KR20170066227A - 복수의 비디오들을 제시하는 사용자 인터페이스를 생성하기 위한 방법 - Google Patents

복수의 비디오들을 제시하는 사용자 인터페이스를 생성하기 위한 방법 Download PDF

Info

Publication number
KR20170066227A
KR20170066227A KR1020160153354A KR20160153354A KR20170066227A KR 20170066227 A KR20170066227 A KR 20170066227A KR 1020160153354 A KR1020160153354 A KR 1020160153354A KR 20160153354 A KR20160153354 A KR 20160153354A KR 20170066227 A KR20170066227 A KR 20170066227A
Authority
KR
South Korea
Prior art keywords
video
videos
units
user interface
display
Prior art date
Application number
KR1020160153354A
Other languages
English (en)
Inventor
피에르 엘리에
발레리 알리
아르뛰르 브라가
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20170066227A publication Critical patent/KR20170066227A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Circuits (AREA)

Abstract

디스플레이 디바이스에 대해 복수의 시간적으로 동기된 비디오를 제시하는 사용자 인터페이스를 생성하기 위한 방법이 개시된다. 사용자 인터페이스는 비디오들로 피드될 복수의 비디오 그래픽 유닛들을 포함한다. 방법은 복수의 비디오들의 각각의 비디오로부터 비디오 품질을 나타내는 값을 획득하는 단계; 및 비디오 유닛들의 각각에서 디스플레이를 위한 복수의 비디오들 중에서 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들을 선택하는 단계를 포함한다. 다른 특징들에 따라, 비디오들은 비디오 기여자 (contributor) 프레임을 나타내는 값 또는 이미 디스플레이된 비디오들과의 비디오 유사성을 나타내는 값에 따라 선택된다.
방법은 또한 그 변형들의 임의의 것에서 사용자 인터페이스를 생성하기 위한 방법을 구현하기 위한 디바이스, 그래픽스 프로세싱 유닛, 및 컴퓨터 판독가능 매체에 관련된다.

Description

복수의 비디오들을 제시하는 사용자 인터페이스를 생성하기 위한 방법{METHOD FOR GENERATING A USER INTERFACE PRESENTING A PLURALITY OF VIDEOS}
본 원리들은 일반적으로 동일한 이벤트에 관련된 복수의 비디오들로부터 비디오들의 프레젠테이션의 분야에 관한 것이다. 보다 구체적으로, 본 원리들은 디스플레이 디바이스 상에 복수의 동기된 비디오들을 제시하는 사용자 인터페이스를 생성하기 위한 방법 및 상기 방법을 구현하기 위한 디바이스와 관련된다.
이 섹션은 하기에 기재되고 및/또는 청구되는 본 원리들의 다양한 양태들에 관련될 수도 있는, 기술의 다양한 양태들을 독자에게 소개하기 위해 의도된다. 이 논의는 본 원리들의 다양한 양태들의 보다 양호한 이해를 용이하게 하기 위해 독자에게 배경 정보를 제공하는데 도움을 줄 것이라 여겨진다. 따라서, 이러한 진술들은 종래 기술의 인용 (admission) 으로서가 아니라 이러한 관점에서 읽혀져야 함을 알아야 한다.
오늘날, 점점 더 많은 디지털 디바이스들의 가용성에 의해, 점점 더 많은 비디오 필름들이 사람들에 의해 캡처된다. 이러한 소셜 네트워크들에서의 비디오 공유의 폭발적인 증가 이외에도, 다중 사용자들이 동일한 이벤트의 많은 비디오들을 잠재적으로 제공한다. 이러한 비디오 컨텐츠의 부분들 (pieces) 모두는 원 (raw) 데이터 자료가 많은 데이터베이스를 구성한다. 따라서, 디스플레이 디바이스에서 비디오를 시청하는 사용자의 용량이 제한되기 때문에, 크라우드 미디어 생성으로부터 발행된 이러한 비디오 데이터의 부분들을 제시하는 것은 도전이다.
비디오들을 제시하기 위한 제 1 기법은, 디스플레이 스크린이 비디오 소스들만큼 많은 유닛들로 분할되는 모자이크를 생성하는 것이다. 하지만, 이 기법은 상이한 비디오 소스들로의 프레젠테이션 및 사용자에 의한 스위칭을 용이하게 하도록 제한된 수의 비디오들로 적응된다. 섬네일 (thumbnail) 이미지 디스플레이로부터 야기된 이 기법은, 사용자가 엄청난 데이터베이스를 파고들어야 하고 디스플레이 스크린이 확장가능하지 않기 때문에, 데이터베이스의 사이즈가 증가할 때 스케일링하지 않는다.
보통 비디오 합성 인터페이스에서 사용되는 비디오들을 제시하기 위한 제 2 기법은, 동일한 순간에 캡처된 비디오들이 디스플레이되는 필름 스트립을 생성하는 것이다. 이를 위해서, 절대 시간 스탬프가 정의되며, 이는 이벤트의 시작일 수 있으며, 비디오들은 이 시간 스템프를 따라 동기된다. 따라서, 제 2 기법에서 디스플레이된 비디오들의 수는 제 1 기법과 비교하여 감소된다: 동시에 그러나 상이한 시점들로부터 동일한 장면을 캡처하는 비디오들만이 디스플레이된다. 하지만, 결정된 시간 스탬프에 대한 비디오들의 수는 동적으로 변화할 수도 있고 여전히 매우 클 수도 있다.
본 원리들은 많은 기여도 (contribution) 들이 프로세싱되어야 할 때 그리고 사용자에게 실제 다중 시점들이 제시되어야 할 때를 렌더링하는 동시 동기된 비디오들의 발행을 해결하여 최상의 시청 경험을 보장하기 쉽다.
본 원리들은 디스플레이 디바이스 상에 복수의 시간적으로 동기된 비디오들을 제시하는 사용자 인터페이스를 제공하며, 사용자 인터페이스는 비디오들이 그 품질에 따라 배열되는 스케일가능한 수의 비디오 유닛들을 포함한다. 그 목적을 달성하기 위해, 디스플레이 상에 복수의 시간적으로 동기된 비디오들을 제시하는 사용자 인터페이스를 생성하는, 컴퓨터에 의해 수행되는 방법이 개시되며, 사용자 인터페이스는 스케일가능한 수의 비디오 유닛들을 포함한다. 방법은:
ㆍ 복수의 비디오들의 각각으로부터 비디오 품질을 나타내는 값을 획득하는 단계;
ㆍ 비디오 유닛들의 각각에서 디스플레이를 위해 복수의 비디오들 중에서 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들을 선택하는 단계
를 포함한다.
이롭게, 품질 랭크에 기초한 동적 동기된 비디오 벽이 최상의 시청 경험을 제공한다.
단독으로 또는 조합으로 취해지는, 다양한 특징들에 따라,
ㆍ 비디오 유닛들은 그 사이즈에 따라 분류되고, 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들이 최대 사이즈의 비디오 유닛들에서 디스플레이되고;
ㆍ 비디오들은 추가로 비디오 기여자 페임 (video contributor fame) 을 나타내는 최상위 값들에 따라 선택되고;
ㆍ 비디오들은 추가로 디스플레이된 비디오들 사이의 비디오 유사성을 나타내는 최하위 값에 따라 선택되며;
ㆍ 비디오 유닛들의 각각에서 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들의 선택은, 제 1 비디오 유닛에서 디스플레이하기 위해 신규 레퍼런스 비디오의 사용자 선택 시, 또는 레퍼런스 비디오의 종료 시, 또는 임의의 디스플레이된 비디오의 종료시 업데이트된다.
이롭게, 복수의 비디오 유닛들은 제 1 (또는 메인) 비디오 유닛 및 세컨더리 비디오 유닛들을 포함한다. 복수의 비디오들 중에서 비디오 품질을 나타내는 최상위 값을 갖는 비디오, 또는 사용자에 의해 선택된 비디오인 레퍼런스 비디오는, 제 1 비디오 유닛에서 디스플레이되고, 예를 들어 비디오의 시간적 정렬을 위해 그리고 컨텐츠 유사성을 위해 레퍼런스로서 작용한다. 그 후, 품질, 기여자 페임 및 유사성에 따라 세컨더리 (또는 보조) 비디오들이 세컨더리 비디오 유닛들에서 디스플레이된다. 이롭게, 하나의 메인 비디오 윈도우 및 보조 비디오들 (또한 정지 화면 (still picture) 들) 윈도우들 덕분에, 그러한 실시형태는 보다 용이한 컨텐츠 브라우징을 허용한다.
제 2 양태에 따라, 디스플레이 디바이스에 대한 비디오 프레젠테이션 사용자 인터페이스 (UI) 를 생성하도록 구성된 프로세서를 포함하는 디바이스가 개시된다.
변형에 있어서, 디바이스는,
ㆍ 디스플레이 디바이스 상에 복수의 시간적으로 동기된 비디오들을 제시하는 사용자 인터페이스를 생성하기 위한 수단으로서, 사용자 인터페이스가 스케일가능한 수의 비디오 유닛들을 포함하는, 사용자 인터페이스를 생성하기 위한 수단,
ㆍ 복수의 비디오들의 각각으로부터 비디오 품질을 나타내는 값을 획득하기 위한 분석 모듈;
ㆍ 사용자 인터페이스의 비디오 유닛들의 각각에서 디스플레이를 위해 복수의 비디오들 중에서 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들을 선택하기 위한 수단
을 포함한다.
특정 실시형태에 따라, 디바이스는 다음을 포함하는 세트에 속한다:
- 모바일 디바이스;
- 통신 디바이스;
- 게임 디바이스;
- 테블릿 (또는 테블릿 컴퓨터);
- 랩탑;
- 정지 화면 카메라;
- 비디오 카메라;
- 비디오 서버 (예를 들어, 웹 서버); 및
- 비디오 공유 플랫폼.
다른 양태에 따라, 본 원리들은 이전에 기재된 방법을 수행하기 위한 코드 명령들을 실행하기 위한 수단을 포함하는 그래픽스 프로세싱 유닛에 관련된다.
제 3 양태에 따라, 컴퓨터 프로그램 제품이 개시되며, 컴퓨터 프로그램 제품은, 이러한 프로그램이 컴퓨터 상에서 실행될 때 그 변형들 중 임의의 것에서 UI 생성 방법의 단계들을 실행하기 위해 프로그램 코드 명령들을 포함한다.
제 4 양태에 따라, 프로세서 판독가능 매체가 개시되며, 프로세서 판독가능 매체는, 프로세서로 하여금, 적어도, 디스플레이 디바이스에 대해 복수의 시간적으로 동기된 비디오들을 제시하는 사용자 인터페이스를 생성하는 것으로서, 사용자 인터페이스는 스케일가능한 수의 비디오 유닛들을 포함하는, 사용자 인터페이스를 생성하고; 복수의 비디오들의 각각으로부터 비디오 품질을 나타내는 값을 획득하고; 그리고 비디오 유닛들의 각각에서 디스플레이를 위해 복수의 비디오들 중에서 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들을 선택하는 것을 수행하게 하기 위한 명령들이 저장된다.
제 5 양태에 따라, 컴퓨터에 의해 판독가능한, 비일시적 프로그램 저장 디바이스가 개시되며, 비일시적 프로그램 저장 디바이스는, 적어도, 디스플레이 디바이스에 대한 복수의 시간적으로 동기된 비디오들을 제시하는 사용자 인터페이스를 생성하는 것으로서, 사용자 인터페이스가 스케일가능한 수의 비디오 유닛들을 포함하는, 사용자 인터페이스를 생성하고; 복수의 비디오들의 각각으로부터 비디오 품질을 나타내는 값을 획득하며; 그리고 비디오 유닛들의 각각에서 디스플레이를 위해 복수의 비디오들 중에서 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들을 선택하기 위한 방법을 수행하기 위해, 컴퓨터에 의해 실행가능한 명령들의 프로그램을 구현한다.
명시적으로 기재되지는 않았지만, 본 실시형태들은 임의의 조합 또는 하위 조합으로 채용될 수도 있다. 예를 들어, 본 실시형태들은 비디오 유닛들의 개시된 배열에 제한되지 않는다.
게다가, UI 생성 방법을 위해 기재된 임의의 특징 또는 실시형태는 개시된 방법을 프로세스하기 위해 의도된 디바이스와 그리고 프로그램 명령들을 저장하는 컴퓨터 판독가능 저장 매체와 양립가능하다.
이제 한정이 아닌 예시로서, 첨부 도면들을 참조하여, 본 원리들의 바람직한 피처들이 기재될 것이며, 도면들에서:
- 도 1 은 본 원리들의 특정 그리고 비제한적 실시형태에 따른 복수의 시간적으로 동기된 비디오들을 제시하는 사용자 인터페이스를 생성하기 위한 프로세싱 디바이스를 도시하고;
- 도 2 는 특정 그리고 비제한적 실시형태에 따른 도 1 의 프로세싱 디바이스의 예시적인 아키텍처를 나타내고;
- 도 3 은 본 원리들의 특정 그리고 비제한적 실시형태에 따른 복수의 동기된 비디오들을 생성하기 위한 방법의 플로우챠트를 나타내고;
- 도 4 는 본 원리들에 따른 데이터베이스 (D) 의 동기된 비디오들을 나타내며;
- 도 5 는 본 원리들의 특정 실시형태에 따른 복수의 동기된 비디오들을 디스플레이하기 위한 사용자 인터페이스를 도시한다.
본 원리들의 가장 중요한 아이디어는 비디오 벽에서 시간적으로 동기된 비디오들의 서브세트를 제시하는 것이며, 여기서 서브세트는 광, 이동 또는 돌극성 (saliency) 과 같은 비디오 파라미터들에 관한 비디오 품질을 나타내는 정보에 따라 선택된다.
도 1 은 본 원리들의 특정 그리고 비제한적 실시형태에 따른 공간 및 시간 접속성에 관하여 복수의 비디오들을 디스플레이하기 위한 프로세싱 디바이스 (1) 를 도시한다. 프로세싱 디바이스 (1) 는 원격 데이터베이스에 저장된 인스턴스에 대한 비디오들의 컬렉션으로부터 복수의 비디오들을 수신하도록 구성된 입력 (10) 을 포함한다. 비디오들의 컬렉션의 비디오들은 소스로부터 획득될 수도 있다. 본 원리들의 상이한 실시형태들에 따라, 소스는 다음을 포함하는 세트에 속한다:
- 로컬 메모리, 예를 들어 비디오 메모리, RAM, 플래시 메모리, 하드 디스크;
- 저장 인터페이스, 예를 들어 대용량 스토리지, ROM, 광학 디스크 또는 자성 서포트와의 인터페이스;
- 통신 인터페이스, 예를 들어 서버에 접속된 유선 인터페이스 (예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스) 또는 무선 인터페이스 (예컨대, IEEE 802.11 인터페이스 또는 블루투스 인터페이스); 및
- 화면 캡처 회로 (예를 들어, 센서 등, 예를 들면, CCD (또는 전하 커플형 디바이스) 또는 CMOS (또는 상보형 금속 산화물 반도체)).
입력 (10) 은 비디오 유닛에서 디스플레이를 위해 비디오를 디코딩하도록 구성된 적어도 하나의 비디오 디코더 (12) 에 링크된다. 입력 (10) 은 또한 각각의 비디오에 대한 시간적 정보 뿐만 아니라, 품질 정보, 유사성 정보 또는 기여자 페임을 컴퓨팅하기 위해 사용된 파라미터들을 획득하도록 구성된 분석 모듈 (14) 에 링크된다. 분석 모듈 (14) 은 후반부에 기재된 바와 같이 품질 정보, 유사성 정보, 기여자 페임 또는 이들의 조합 중 임의의 것을 나타내는 값을 비디오 파라미터들로부터 컴퓨팅하도록 구성된다. 변형에 따라, 분석 모듈 (14) 은 프로세싱 디바이스 (1) 외부에 있고 비디오 파라미터들 또는 대표 값이 입력 (10) 을 통해 프로세싱 디바이스에 입력된다. 모듈 (14) 의 출력들은 복수의 비디오 유닛들을 포함하는 사용자 인터페이스를 생성하고, 각각 시간적으로 동기된 비디오들의 품질 정보에 따라 디스플레이를 위해 비디오들을 선택하도록 구성된 모듈 (16) 에 접속된다. 모듈 (16) 은 또한 선택된 비디오들을 디코딩하기 위해 적어도 하나의 비디오 디코더 (12) 에 접속된다. 비디오 디코더들 (12) 및 모듈 (16) 은 디스플레이 디바이스에 그래픽 정보를 전송하도록 출력 (20) 에 링크된다. 비제한적인 변형들에 있어서, 디스플레이 디바이스는 디바이스 (1) 의 부분이거나 디바이스 (1) 외부에 있다.
도 2 는 본 원리들의 특정 그리고 비제한적 실시형태에 따른 프로세싱 디바이스 (1) 의 예시적인 아키텍처를 나타낸다. 프로세싱 디바이스 (1) 는 내부 메모리 (120)(예를 들어, RAM, ROM, EPROM) 와 함께, 예를 들어 CPU, GPU 및/또는 DSP (디지털 신호 프로세서의 영어 약어) 인, 하나 이상의 프로세서(들)(110) 을 포함한다. 프로세싱 디바이스 (1) 는 출력 정보를 디스플레이하고 및/또는 사용자가 커맨드들 및/또는 데이터를 입력하는 것을 허용하도록 적응된 하나 또는 몇몇 입력/출력 인터페이스(들)(130)(예를 들어, 키보드, 마우스, 터치패드, 웹캠, 디스플레이); 및 프로세싱 디바이스 (1) 외부에 있을 수도 있는 전원 (140) 을 포함한다. 프로세싱 디바이스 (1) 는 또한 네트워크 인터페이스(들)(미도시) 를 포함할 수도 있다.
본 원리들의 예시적이고 비제한적인 실시형태에 따라, 프로세싱 디바이스 (1) 는 메모리 (120) 에 저장된 컴퓨터 프로그램을 더 포함한다. 컴퓨터 프로그램은, 프로세싱 디바이스 (1) 에 의해, 특히 프로세서 (110) 에 의해 실행될 때, 프로세싱 디바이스 (1) 가 도 3 을 참조하여 기재된 프로세싱 방법을 실행하게 하는 명령들을 포함한다. 변형에 따라, 컴퓨터 프로그램은 비일시적 디지털 데이터 서포트 상에, 예를 들어 모두 종래에 알려진, HDD, CD-ROM, DVD, 리드 온니 및/또는 DVD 드라이브 및/또는 DVD 판독/기입 드라이브와 같은, 외부 저장 매체 상에서 프로세싱 디바이스 (1) 외부에 저장된다. 따라서, 프로세싱 디바이스 (1) 는 컴퓨터 프로그램을 판독하기 위해 인터페이스를 포함한다. 또한, 프로세싱 디바이스 (1) 는 하나 이상의 유니버셜 시리얼 버스 (USB)-타입 저장 디바이스들 (예를 들어, "메모리 스틱들") 에 대응 USB 포트들 (미도시) 을 통해 액세스할 수 있다.
예시적이고 비제한적인 실시형태들에 따라, 프로세싱 디바이스 (1) 는 다음을 포함하는 세트에 속하는 디바이스이다:
- 이동 디바이스;
- 통신 디바이스;
- 게임 디바이스;
- 테블릿 (또는 테블릿 컴퓨터);
- 랩탑;
- 정지 화면 카메라;
- 비디오 카메라;
- 비디오 서버 (예를 들어, 웹 서버); 및
- 비디오 공유 플랫폼.
당업자는 본 원리들이 바람직한 실시형태들에 기재된 바와 같이 예를 들면, 디코더들에 관한 또는 비디오 파라미터들의 획득에 관하여 그래픽스 프로세싱 보드 상에서 그래픽스 프로세싱 유닛 (GPU) 을 사용하여 이롭게 컴퓨팅되는 것을 이해할 것이다.
도 3 은 본 원리들의 특정 그리고 비제한적 실시형태에 따른 디스플레이 디바이스에 대해 복수의 시간적으로 동기된 비디오들을 디스플레이하는 사용자 인터페이스를 생성하기 위한 방법의 플로우챠트를 나타낸다.
기재된 방법은 동일한 이벤트의 다양한 비디오들의 입수 (ingest) 를 허용하는 시스템 또는 서비스에 이롭게 잘 적응된다. 이전에 드러낸 바와 같이, 비디오들은 다중 시점들을 갖는 많은 비디오들의 경우에도 최상의 시청 경험을 보장하기 위해 사용자로의 디스플레이 상에 동시에 렌더링된다.
본 원리들에 따라, 디스플레이를 위한 비디오들은 시간적으로 동기된다. 도 4 는 본 원리들에 따른 데이터베이스 (D) 의 동기된 비디오들을 나타낸다. 예를 들면, 제 1 비디오 캡처 디바이스 (GoPro1) 는 세그먼트들 (GoPro1_1 및 Gopro1_2) 로 각각 나타낸 2 개의 비디오들을 캡처하였고, 여기서 제 1 세그먼트 (GoPro1_1) 는 시간 레퍼런스 0 에 관하여 시간 0 부터 대략 시간 1600 까지 정렬되고, 제 2 세그먼트 (GoPro1_2) 는 시간 레퍼런스 0 에 관하여 시간 1600 부터 시간 1700 까지 정렬된다. 게다가, 제 2 디바이스 (GoPro2) 에 의해 캡처된 비디오들을 나타내는 세그먼트들 (GoPro2_1, GoPro2_2) 및 동일한 이벤트의 제 3 디바이스 (GoPro3) 에 의해 캡처된 비디오들을 나타내는 세그먼트들 (GoPro3_1, GoPro3_2) 은 또한 시간 0 에 관하여 시간적으로 정렬된다. 절대 캡처 시간 (또는 시간 레퍼런스 0) 에 관한 시간적 정렬과 같은, 비디오 동기화 정보는 비디오들로 입력되거나 도 3 에 나타내지 않은 예비 동기화 단계로터 획득된다. 절대 캡처 시작 시간을 나타내는 값 및 절대 캡처 종료 시간을 나타내는 값은 도 4 에 나타낸 바와 같이 복수의 비디오들의 각각의 비디오에 대해 획득된다. 예를 들면, 시간 스탬프들로도 칭하는, 그러한 절대 캡처 시간들은, 비디오 캡처 디바이스들이 동일한 내부 클록 (예를 들면, 통신 네트워크에 의해 정렬됨) 을 갖는 경우, 비디오 캡처 디바이스들 (GoPro1, GoPro2, GoPro3) 에서 비디오의 생성 시 획득된다. 예를 들면, 국제 특허 출원 WO 2014/082812 에 개시된 변형에 있어서, 동일한 비디오 이벤트의 절대 캡처 시간들은 캡처된 비디오와 연관된 오디오의 가장 중요한 멜-주파수 (mel-frequency) cepstmm 계수들을 분석하는 것에 의해 획득된다. 다른 변형에 있어서, 시간적 등록은 레퍼런스 비디오의 프레임들에 관하여 비디오의 제 1 프레임에 대해 컴퓨팅된 공간적 지문의 분석에 기초한다. 이롭게, 위의 변형들 중 임의의 것은 정확한 시간적 동기화를 획득하기 위해 결합된다. 도 4 에 도시된 세그먼트들에 의한 비디오들의 표현의 변형에 있어서, 각각의 비디오들 (GoPro1_1, Gopro1_2, GoPro2_1, GoPro2_2, GoPro3_1, GoPro3_2) 은 그 절대 캡처 시간들, 또는 시간 스탬프들 및 예를 들어 소스와 같은 임의의 다른 정보로 테이블에 저장된다. 예를 들어, 테이블의 엔트리는 다음과 같다.
Figure pat00001
또 다른 변형에 있어서, 비디오는 동일한 시간 길이의 시간적으로 정렬된 청크 (chunk) 로 분할되고 시간 스탬프 (예를 들면, 0, 200, 400) 는 비디오를 표현하는 각각의 세그먼트를 위해 획득된다. 다음에 있어서, 비디오의 임의의 세분화는 비디오로서 취급된다. 예를 들면, 시간 길이 200 의 청그를 고려하면, 비디오 (GoPro1_1) 는 다음으로 분할된다:
Figure pat00002
제 1 단계 (S10) 에서, 비디오 품질을 나타내는 값은 복수의 비디오들의 각각의 비디오로부터 획득된다. 그 목적을 위해, 데이터베이스 (D) 의 각각의 비디오는 복수의 비디오 파라미터들을 추출하기 위해 프로세싱된다. 예시적이고 비제한적인 실시형태들에 따라, 파라미터들은 다음을 포함하는 세트에 속한다:
ㆍ 광;
ㆍ 안정화;
ㆍ 이동 메트릭들의 추출이 Viola, Jones & Snow 에 의해 "Detecting pedestrians using patterns of motion and appearance" (International Journal of Computer Vision 2005, pp. 153-161) 에, 또는 Cedras, C., & Shah, M. 에 의해 "Motion-based recognition a survey" (Image and Vision Computing 2005, pp. 129-155) 에 기재되어 있는 이동 또는 액션
ㆍ Cerf, Harel, Einhauser & Koch 에 의해 "Predicting human gaze using low-level saliency combined with face detection" (Advances in neural information processing systems 2008, pp. 241-248) 에, 또는 Judd, Ehinger, Durand & Torralba 에 의해 "Learning to predict where humans look" (IEEE 12th international conference on Computer Vision, 2009, pp. 2106-2113) 에 기재된 바와 같은 돌기성;
ㆍ 블러 측정이 예를 들면, Fang, Shen, Guo, Jacquemin, Zhou & Huang 에 의해 "A consistent pixel-wise blur measure for partially blurred images" (IEEE International Conference on Image Processing 2014, pp. 496-500) 에 개시되어 있는, 블러;
ㆍ 콘트라스트 측정이 예를 들면, Arici, Dikbas & Altunbasak 에 의해 "A histogram modification framework and its application for image contrast enhancement" (IEEE Transactions on Image processing 2009 vol18, pp1921-1935) 에 개시되어 있는, 콘트라스트;
ㆍ 정보가 자동으로 또는 사용자 정의되는, 얼굴들과 같은 시맨틱 오브젝트의 존재;
ㆍ 공간 해상도;
ㆍ 색역 (color gamut) 매핑이 예를 들어, Stone, Cowan & Beatty 에 의해 "Color gamut mapping and the printing of digital color images" (ACM Transactions on Graphics 1988 vol 7, pp 249-292) 에 기재되어 있는, 컬러 볼륨;
ㆍ Hasler, D., & Suesstrunk, S. E. 에 의해 "Measuring colorfulness in natural images" (Electronic Imaging 2003, pp. 87-95) 에 기재된 바와 같은 채도.
상이한 파라미터들에 따라, (블러와 같은) 파리미터 값들은 비디오의 프레임에 대해 또는 (캡처를 위해 설정되는 이동 또는 공간 해상도와 같은) 비디오 시퀀스에 대해 전반적으로 획득된다. 따라서, 비제한적인 예에서, 파라미터들은 비디오 또는 비디오의 각각의 프레임에 대해, 또는 비디오의 정규 프레임 간격, 또는 비디오를 나타내는 프레임 (제 1 프레임 또는 핵심 프레임) 에 대해 결정된다. 다른 예들에서, 돌기성과 같은 주어진 파라미터에 대해, 값들의 세트가 전체 비디오에 대한 정규 시간 간격에서 정의된다. 이롭게, 그 후 주어진 비디오 파라미터에 대한 전반적인 값은 예를 들면 비디오의 시간 길이를 따라 각각의 값들의 평균 값을 사용하여 획득된다. 즉, 값은 각각의 N 프레임들에 대해 즉시 획득되고 값들은 전체 비디오의 P 프레임들에 대해, P/N 프레임들에 대한 평균 파라미터 값을 컴퓨팅하는 것에 의해 통합된다.
위의 비제한적인 예들에 개시된 바와 같이 그러한 파라미터 추출의 상세한 동작은 본 원리들의 범위 외이다. 게다가, 당업자는 그러한 파라미터 값이 오프라인으로 미리 프로세싱되고 비디오 및 시간적 정보와 함께 데이터베이스 (D) 에 저장될 수도 있다는 것을 알 것이다.
특히 이로운 특징에 따라, 비디오 품질을 나타내는 값은 몇몇 비디오 파라미터들의 값들을 통합하는 가중화된 평균값이다. 상이한 파라미터들의 값으로서, 비디오 품질 값은 전체 비디오에 대해 (또는 비디오의 각각의 시간적 청크에 대해) 정의된다. 변형에 따라, 비디오 품질 값을 생성하기 위한 상이한 비디오 파라미터들의 가중화는 시스템 값으로서 정의된다. 다른 변형에서, 가중화는 선호도 설정들을 통해 사용자에 의해 정의된다. 바람직한 변형에서, 품질 값이 더 높을수록, 결정된 파라미터들 및 가중치들에 관한 비디오들의 품질이 더 높다.
다른 특별한 특징에 따라, 비디오 기여자 페임을 대표하는 값은 복수의 비디오들의 각각의 비디오에 대해 획득된다. 대안의 또는 보완적인 정보는 기여자의 명칭 및 그 페임들일 수 있다. 그 페임은 서비스 사용자 피드백들 또는 소셜 네트워크 데이터 덕분에 복구된 시스템 정보라고 말한다. 그 경우, 최상의 비디오들은 가장 유명한 기여자에 의해 업로드된 것들로서 고려된다. 다른 변형에서, 페임은 사용자에 의해 국부적으로 정의된다: 사용자가 레퍼런스로서 비디오를 선택할 때마다, 기여자 로컬 페임 값이 증가된다. 바람직한 변형에서, 기여자 페임 값이 높아질수록, 가장 공산이 큰 비디오들이 디스플레이를 위해 선택된다.
다른 특별한 특징에 따라, 비디오 유사성을 나타내는 값이 복수의 비디오들 중 2 개의 비디오들로부터 획득된다. 여기서 목적은 매우 유사한 시점들을 갖는 비디오들로 구성된 벽을 갖는 것을 회피하기 위함이며, 이는 사용자가 이후 기재되는 풍부한 다양한 시점들을 이용하기를 원할 수도 있기 때문이다. 이롭게, 비디오 유사성 값은 제 1 비디오의 프레임과 제 2 비디오의 대응 프레임 사이의 기하학적 변환을 결정하는 것에 의해 획득되며, 2 개의 대응 프레임들은 시간 레퍼런스에 관하여 시간적으로 정렬된다. 당업자는, 기하학적 변환은 양자의 프레임들에서 관심 지점들을 추출하고, SIFT (International journal of computer vision 2004, vol 60, pp 91-110 에서 Lowe, D. G. 에 의해 "Distinctive image features from scale-invariant keypoints" 에 기재된 바와 같음) 와 같은 이미지 디스크립터를 컴퓨팅하며, 그리고 란삭 (Ransac) 회귀를 통해 프레임들 사이의 기하학적 호모그라피 (homography) 를 추정하는 것에 의해 관행적으로 결정된다. 호모그라피는 보통 3 x 3 매트릭스로 나타낸다. 비디오 i 의 프레임 Xi 와 비디오 j 의 프레임 Xj 사이의 변환을 나타내는 매트릭스 H 는 Hij 로 언급된다. 프레임 Xj 의 지점 xj 에 대응하는 프레임 Xi 의 지점 xi 는 다음의 식으로 나타낸다:
Figure pat00003
그 후, 호모그라피가 추정되는 경우, 유사성 메트릭의 값은 예를 들면, 변환 매트릭스의 프로베니우스 (frobenius) 규범의 역으로서 정의된다. 하지만, 본 원리들은 매트릭스에 적용된 임의의 다른 규범과 양립가능하다. 그 개념은 변환이 더 클수록 유사성 값은 더 낮아진다는 것이다. 호모그라피가 추정될 수 없는, 프레임이 너무 구별되는 경우, 유사성 값이 0 으로 설정된다. 특정 변형에 따라, 변환 매트릭스는 정규 간격에서 제 1 및 제 2 비디오들의 프레임들에 대해 획득되고 유사성 값은 전체 비디오에 대한 유사성 값을 (품질 파라미터들에 대해) 통합하는 것에 의해 획득된다.
다음에서, 이러한 메트릭은 기하학적 유사성 메트릭 또는 유사성 메트릭으로서 지칭될 것이다. 이 메트릭은 실제로 유사성 테이블에 저장된다. 예를 들면, 유사성 테이블은 컬럼 및 로우에서 비디오 GoPro1_1, GoPro1_2, GoPro2_1, GoPro2_2, GoPro3_1, GoPro3_2 를 가지며, 시간적으로 동기되는 GoPro1_2, GoPro1_1 의 쌍에 대한 유사성 값은 (GoPro1_2, GoPro1_1) 에서 테이블에 저장된다. 이롭게, 동일한 비디오에 대한 또는 정렬되지 않은 비디오들의 유사성 값은 0 으로 설정된다. 변형에 있어서, 동일한 비디오에 대한 또는 정렬되지 않은 비디오들의 유사성 값은 음의 값 (예를 들면, -1) 으로 설정된다.
Figure pat00004
여기서, Hwx-yz 는 고려된 비디오들 사이의 유사성 값을 나타낸다. H21 -11 = H11-21, 즉, 유사성이 가환성이기 때문에, 이롭게 테이블의 절반이 위에 나타낸 바와 같이 채워진다.
이롭게, 비디오들은 기재된 값들 (품질, 유사성, 기여자 페임) 을 획득하기 위해 미리 프로세싱되고 값들은 데이터베이스 (D) 에 비디오들과 함께 저장된다.
제 2 단계 (S20) 에서, 사용자 인터페이스가 생성된다. 사용자 인터페이스는 디스플레이 디바이스 상에 복수의 비디오들을 제시하기 위해 설계된다. 사용자 인터페이스는 도 5 에 제시된 바와 같이 스케일가능한 수의 비디오 유닛들을 포함한다. 그러한 사용자 인터페이스는 디스플레이의 벽 또는 비디오 벽으로 칭한다.
비디오 유닛들의 개수, 사이즈, 어스팩트 비 및 포지션은 디스플레이 디바이스 상의 최대 시청 경험을 보장하기 위해 디바이스 능력들을 렌더링하는 것에 따라 정의된다. 바람직한 특징에 따라, 비디오 벽 렌더링은 하나의 메인 유닛 (1) 및 도 5 에 도시된 바와 같이 일련의 소형 비디오 유닛들 (2-18) 로 이루어진다. 비디오 유닛들은 도 5 에 나타낸 바와 같이, 가장 보기 좋은 유닛인 숫자 1 로부터 시작하여 N 까지 증가하는 순서로 그 사이즈 및 포지션에 따라 넘버링되고, N 은 비디오 유닛들의 개수를 나타내는 정수이고, 즉 도 5 에 나타낸 바와 같이, N= 18. 제 1 특징에 따라, 가장 보기 좋은 비디오 그래픽 유닛은 가장 큰 사이즈의 비디오 그래픽 유닛이며, 이에 따라 비디오 유닛들은 그 사이즈에 따라 분류되고 그 감소하는 사이즈에 따라 넘버링된다. 다른 특징에 있어서, 그래픽 유닛은 사용자의 본래의 순서에 따라 넘버링되고, 이에 따라 사용자 인터페이스의 상측 및 좌측 상의 하나의 그래픽 유닛은 4 내지 9 로 넘버링된 유닛들에 대해 나타낸 바와 같이 사용자에게 본질적으로 가장 보기좋은 것으로서 더 낮은 수로 주어질 것이다 (이로써, 최상위 품질의 비디오를 디스플레이함).
변형에 있어서, 벽의 비디오 유닛들은 모두 비디오들로 피드된다. 다른 변형에 있어서, 하위 숫자들 (도 5 에서 1 내지 17) 을 갖는 비디오 유닛들은 비디오들로 피드되는 한편, 상위 숫자들 (도 5 에서 18) 을 갖는 유닛들에 대응하는 마지막 유닛들은, 예를 들면 비디오를 나타내는 핵심적인 프레임들 또는 비디오의 제 1 프레임인, 정지 화면들을 디스플레이한다. 이롭게, 그러한 변형은 사용자 인터페이스를 제시하기 위해 필요한 디코더들의 수 및 프로세싱 전력을 감소한다. 또 다른 변형에 있어서, 마지막 비디오 유닛은 디스플레이되지 않은 동기된 비디오들 모두로부터 추출된 일련의 핵심적인 프레임들을 디스플레이한다. 이러한 비디오 유닛은 선호도 설정을 통해 시스템에 의해 또는 사용자에 의해 정의된 주파수에서 연속적으로 리프레시된다.
제 3 단계에서, 복수의 비디오들 중에서 최상위 품질 값들을 갖는 비디오들이 비디오 유닛들의 각각에서 디스플레이를 위해 선택된다. 레퍼런스 시간에 관하여 주어진 시간에서 품질 값들은 감소하는 순서로 정리된다.
품질 및 기여자 페임 메트릭들이 결합되는 변형에 있어서, 선택은 주어진 시간 스탬프에서 가용 비디오들의 세트 중에서, 비디오 품질을 나타내는 최상위 값들을 갖고 그리고 비디오 기여자 페임을 나타내는 최상위 값들을 갖는 비디오들을 선정하는 것에 의해 수행된다. 가중화된 선형 조합은 비디오 품질을 나타내는 값들 및 비디오 기여자 페임을 나타내는 값들로부터 컴퓨팅된다. 예를 들면, 비디오들 GoPro1_1, GoPro1_2, GoPro2_1, GoPro2_2, GoPro3_1, GoPro3_2 중에서, VideoCurrenti 에 대하여,
Figure pat00005
식중,
Figure pat00006
는 선호도 설정 인터페이스를 통해 시스템에 의해 또는 사용자에 의해 정의된 가중치이고, 이 가중치는 벽의 최종 합성에서의 품질에 관한 기여자의 중요도를 명시적으로 제어한다. 변형에 있어서, 동일한 기여자 업로드들을 더 용이하게 후속하는 것을 허용하기 위해서 동일한 비디오 유닛 내부에서 기여자의 지속성을 고려하는 것이 이롭다. 따라서, 예를 들면 동일한 디바이스에 의해 캡처된 GoPro1_1, GoPro1_2 (여기서 기여자와 연관됨) 는 예를 들면, 비디오 유닛 (1) 에 대해 동일한 비디오 유닛에서 제시되어야 한다.
품질 및 유사도 메트릭들이 결합되는 다른 변형에 있어서, 선택은 주어진 시간 스탬프에서 가용 비디오들의 세트 중에서, 너무 유사하지 않은 최상위 품질 비디오들을 선정하는 것에 의해 수행되어 동일한 장면의 상이한 시점을 선택하는데, 이는 비디오들이 시간적으로 동기되기 때문이다. 이들 2 개의 팩터들의 가중된 선형 조합은 다음의 반복적인 프로세스로 결정을 행하기 위해 사용될 수 있다:
a) VideoCurrent0 로서 표시된 최상위 품질 비디오가 먼저 선택된다
b) 비디오들의 개수 N 이 N 개의 비디오 유닛들의 각각에 대해 선택될 때까지, i 번의 반복을 위해 반복적으로 수행된다:
VideoCurrenti 로 명명된 각각의 남아있는 비디오에 대하여, 다음과 같이 정의되는 스코어가 컴퓨팅된다:
Figure pat00007
식중
Figure pat00008
는 선호도 설정 인터페이스를 통해 시스템 또는 사용자에 의해 정의된 가중치이고, 이 가중치는 벽의 최종 합성에서 시스템/사용자가 예상하는 품질 기준에 관한 유사성 기준의 중요도를 명시적으로 제어한다. 즉, 시점이 이미 디스플레이된 비디오와 유사한 경우, 비디오의 품질 메트릭에 페널티가 적용된다.
그 후, 비디오 VideoCurrenti 는, 비디오 VideoCurrenti 가 디스플레이를 위해 아직 선택되지 않은 비디오들 중에서 최상위 스코어를 갖는 곳에서 디스플레이를 위해 선택된다.
물론, 이 메커니즘은 예를 들면, 기여자 페임에 대해 다른 메트릭들 조합이 고려될 때 적용된다. 고유 품질 메트릭, 페임 메트릭 및 가능 유사성 메트릭을 조합하는 스코어에서 기여자 페임을 제어하는 다른 가중치가 정의된다.
S30 에서 디스플레이하기 위해 비디오가 선택되면, 선택적 렌더링 단계 (미도시) 에서, 비디오를 자동으로 적응하고 비디오 벽의 어스팩트 비 및 사이즈를 크롭하기 위해 테크니컬러 (Technicolor) 비디오 리프레이밍 (reframing) 기술이 적용된다.
게다가, 단계 (S30) 이 벽의 동적 렌더링을 위해 반복된다.
제 1 변형에 따라, 렌더링은 레퍼런스 비디오가 변화할 때마다 업데이트된다. 실제로, 메인 비디오 유닛 (1) 에서 디스플레이된 레퍼런스 비디오는, 그것이 종료할 때까지 또는 사용자가 상술한 바와 같이 벽 내부에서 하나의 비디오를 선택할 때까지 변화하지 않는다. 레퍼런스 비디오가 변화할 때, 단계 (30) 의 전체 비디오 선택 프로세스가 반복되고, 디스플레이하기 위해, 레퍼런스 비디오를 포함한, 비디오들의 신규 분포가 정의되고 사용자 인터페이스를 통해 제시된다. 게다가, 고정된 지속기간의 청크들을 갖는 변형에서, 렌더링은 레퍼런스 비디오 (GoPro1_1) 의 신규 청크 (GoPro1_1_1) 에 도달될 때마다 업데이트된다. 레퍼런스 비디오 세그먼트 주파수는 세컨더리 유닛 업데이트를 제어하는데, 이는 동기된 세컨더리 비디오들의 메트릭들이 변화할 수도 있고, 이로써 디스플레이를 위해 신규 비디오 분포를 생성하기 때문이다. 이롭게, 이전에 기재된 바와 같이, 하나는 동일한 기여자의 비디오 업로드들의 모니터링을 강화하기 위해서 동일한 비디오 유닛 내부에 기여자들의 지속성을 고려할 수 있다. 마지막 비디오 유닛이 여전히 핵심 프레임들의 시퀀스를 디스플레이할 때, 유닛은 선호도 파라미터를 통해 사용자에 의해 정의된, 또는 시스템에 의해 정의된 주파수에서, 통상적으로 세그먼트 길이에서 연속적으로 리프레시된다.
동적 렌더링의 제 2 변형에 따라, 렌더링은 세컨더리 비디오가 종료할 때마다 업데이트된다. 하나의 세컨더리 비디오가 종료할 때, 레퍼런스 비디오를 제외하고 전체 분포가 업데이트된다. 다시, 동일한 비디오 유닛 내부에서 기여자의 지속성은 세컨더리 비디오가 종료한 유닛에 대해서만 가능한 업데이트를 초래하는 관심 변형에 기여한다.
동적 렌더링의 제 3 변형에 따라, 사용자 인터페이스는 사용자가 세컨더리 비디오들 중에서 레퍼런스 비디오를 선택할 수 있도록 구성된다. 그 후 렌더링은 사용자가 레퍼런스 비디오를 변경할 때마다 업데이트된다.
제 4 단계 (S40) 에서, 생성된 사용자 인터페이스 및 선택된 비디오들은 사용자에게 렌더링을 위해 디스플레이 디바이스로 출력되거나 전송된다.
도 5 는 본 원리들의 특정 실시형태에 따른 비디오 품질 메트릭에 기초하여 다중 비디오들을 디스플레이하기 위한 사용자 인터페이스를 나타낸다. 도 5 는 1 부터 18 까지 넘버링된 18 개의 비디오 유닛들을 나타낸다. 각각의 비디오 유닛은 비디오를 디스플레이하도록 적응된다. 도 2 에 나타낸 비디오들에 관하여, 비디오 디바이스들 (GoPro1, GoPro2, GoPro3) 에 의해 캡처된 동일한 장면의 3 개의 상이한 뷰들이 1, 2 및 3 으로 넘버링된 비디오 유닛에서 제시된다. 이롭게, 제시된 3 개의 비디오들은 GoPro1_1, GoPro2_1, GoPro3_1 이다. 본질적으로, 본 원리들은 큰 비디오 데이터 베이스에 잘 적용되며 3 개의 디바이스들 및 6 개의 비디오들을 포함하는 기재된 예는 예시적인 목적으로 주어지며 제한적이지 않다.
본 명세서에 기재된 구현들은, 예를 들어 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호에서 구현될 수도 있다. 구현의 단일 형태의 맥락에서만 논의되었더라도 (예를 들어, 방법 또는 디바이스로서만 논의됨), 논의된 피처들의 구현은 다른 형태들 (예를 들어, 프로그램) 에서 또한 구현될 수도 있다. 장치는, 예를 들어 적절한 하드웨어, 소프트웨어 및 펌웨어에서 구현될 수도 있다. 방법들은, 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그램가능 로직 디바이스를 포함한, 프로세싱 디바이스들을 일반적으로 지칭하는, 예를 들어 프로세서와 같은 장치에서 구현될 수도 있다. 프로세서들은 또한 통신 디바이스들, 예를 들어 컴퓨터들, 셀 폰들, 포터블/개인용 디지털 보조기들 ("PDA들") 및 엔드 사용자들 사이에서 정보의 통신을 용이하게 하는 다른 디바이스들을 포함한다.
본 명세서에 기재된 다양한 프로세스들 및 피처들의 구현들은 다양한 상이한 장비 또는 어플리케이션들, 특히 예를 들어 장비 또는 어플리케이션들에서 구현될 수도 있다. 그러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 포스트 프로세서, 인코더에 입력을 제공하는 프리 프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩탑, 개인용 컴퓨터, 셀폰, PDA 및 다른 통신 디바이스들을 포함한다. 명백한 바와 같이, 장비는 모바일이고 또한 모바일 차량에 설치될 수도 있다
부가적으로, 방법들은 프로세서에 의해 수행되고 있는 명령들에 의해 구현될 수도 있고, 그러한 명령들 (및/또는 구현에 의해 생성된 데이터 값들) 은 프로세서 판독가능 매체, 이를테면, 예를 들어 집적 회로, 소프트웨어 캐리어 또는 다른 저장 디바이스, 이를테면 예를 들어 하드 디스크, 컴팩트 디스켓 ("CD'), 광학 디스크 (이를 테면, 예를 들어 종종 디지털 다기능 디스크 또는 디지털 비디오 디스크로 지칭되는, DVD), 랜덤 액세스 메모리 ("RAM"), 또는 리드 온디 메모리 ("ROM") 상에 저장될 수도 있다. 명령들은 프로세서 판독가능 매체 상에서 유형으로 구현되는 어플리케이션 프로그램을 형성할 수도 있다. 명령들은 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합에서 구현될 수도 있다. 명령들은 예를 들어, 오퍼레이팅 시스템, 별도의 어플리케이션, 또는 이들 2 개의 조합에서 발견될 수도 있다. 이에 따라, 프로세서는 예를 들어, 프로세서를 실행하도록 구성된 디바이스 및 프로세스를 실행하기 위한 명령들을 갖는 프로세서 판독가능 매체 (이를테면 저장 디바이스) 를 포함하는 디바이스의 양자로 특징화될 수도 있다. 또한, 프로세서 판독가능 매체는, 명령들에 부가하여 또는 명령들 대신, 구현에 의해 생성된 데이터 값들을 저장할 수도 있다.
당업자에게 자명하게 될 바와 같이, 구현들은 예를 들어 저장되거나 송신될 수도 있는 정보를 반송하기 위해 포맷된 다양한 신호들을 생성할 수도 있다. 정보는 예를 들어, 방법을 수행하기 위한 명령들, 기재된 구현들 중 하나에 의해 생성된 데이터를 포함할 수도 있다. 예를 들어, 신호는 기재된 실시형태의 신택스를 기입 또는 판독하기 위한 규칙들을 데이터로서 반송하기 위해 또는 기재된 실시형태에 의해 기입된 실제 신택스 값들을 데이터로서 반송하기 위해 포맷될 수도 있다. 그러한 신호는 예를 들어, 전자기파로서 (예를 들어, 스펙트럼의 무선 주파수 부분을 사용하여), 또는 기저 대역 신호로서 포맷될 수도 있다. 포맷팅은 예를 들어, 데이터 스트림을 인코딩하고 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수도 있다. 신호가 반송하는 정보는 예를 들어, 아날로그 또는 디지털 정보일 수도 있다. 신호는 알려진 바와 같이, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수도 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수도 있다.
다수의 구현들이 기재되었다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수도 있다는 것을 이해할 것이다. 예를 들어, 상이한 구현들의 엘리먼트들은 다른 구현들을 생성하기 위해 결합되고, 보충되고, 수정되거나 제거될 수도 있다. 부가적으로, 당업자는 다른 구조들 및 프로세스들이 개신된 것들에 대해 치환될 수도 있고 결과의 구현들은, 적어도 실질적으로 동일한 방식(들) 로, 적어도 실질적으로 동일한 기능(들) 을 수행하여, 개시된 구현들과 적어도 실질적으로 동일한 결과(들) 을 달성할 것이다. 따라서, 이들 및 다른 구현들이 이 출원에 의해 고려된다.

Claims (15)

  1. 디스플레이 디바이스 상에 동일한 이벤트의 복수의 시간적으로 동기된 비디오들을 렌더링하는 사용자 인터페이스를 생성하기 위한, 프로세싱 디바이스에 의해 수행되는, 방법으로서,
    상기 사용자 인터페이스는 복수의 비디오 유닛들을 포함하고,
    상기 방법은,
    ㆍ 복수의 비디오들의 각각의 비디오에 대한 비디오 품질을 나타내는 값을 획득하는 단계 (S10);
    ㆍ 상기 비디오 유닛들의 각각에서 디스플레이를 위해 상기 복수의 비디오들 중에서 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들을 선택하는 단계 (S30);
    ㆍ 상기 디스플레이 디바이스로의 출력을 위해 상기 비디오 유닛들의 각각에서 선택된 상기 비디오들을 동시에 렌더링하는 상기 사용자 인터페이스를 생성하는 단계 (S20, S40) 를 포함하는 것을 특징으로 하는, 사용자 인터페이스를 생성하기 위한 방법.
  2. 제 1 항에 있어서,
    비디오 유닛들은 그 사이즈에 따라 분류되고, 상기 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들은 최대 사이즈의 비디오 유닛들에서 디스플레이되는, 사용자 인터페이스를 생성하기 위한 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    ㆍ 상기 복수의 비디오들의 각각의 비디오로부터 비디오 기여자 페임을 나타내는 값을 획득하는 단계;
    ㆍ 상기 비디오 품질을 나타내는 최상위 값들을 갖고 그리고 상기 비디오 유닛들의 각각에서 디스플레이를 위해 상기 복수의 비디오들 중에서 비디오 기여자 페임을 나타내는 최상위 값들을 갖는 비디오들을 선택하는 단계를 더 포함하는, 사용자 인터페이스를 생성하기 위한 방법.
  4. 제 1 항에 있어서,
    ㆍ 상기 복수의 비디오들 중에서 한 쌍의 비디오들 사이의 비디오 유사성을 나타내는 값을 획득하는 단계;
    ㆍ 상기 비디오 품질을 나타내는 최상위 값들을 갖고 그리고 상기 비디오 유닛들의 각각에서 디스플레이를 위해 한 쌍의 디스플레이된 비디오들 사이의 비디오 유사성을 나타내는 최하위 값들을 갖는 비디오들을 선택하는 단계를 더 포함하는, 사용자 인터페이스를 생성하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 비디오 유닛들의 각각에서 디스플레이를 위해 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들을 선택하는 단계는, 제 1 비디오 유닛에서 디스플레이하기 위해 레퍼런스 비디오의 사용자 선택에 따라 업데이트되는, 사용자 인터페이스를 생성하기 위한 방법.
  6. 제 1 항에 있어서,
    상기 비디오 유닛들의 각각에서 디스플레이를 위해 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들을 선택하는 단계는, 제 1 비디오 유닛에서 디스플레이된 레퍼런스 비디오의 종료 시 업데이트되는, 사용자 인터페이스를 생성하기 위한 방법.
  7. 제 1 항에 있어서,
    상기 비디오 유닛들의 각각에서 디스플레이를 위해 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들을 선택하는 단계는, 디스플레이된 비디오의 종료 시 업데이트되는, 사용자 인터페이스를 생성하기 위한 방법.
  8. 디스플레이 디바이스 상에 동일한 이벤트의 복수의 시간적으로 동기된 비디오들을 렌더링하는 사용자 인터페이스를 생성하기 위한 디바이스 (1) 로서,
    상기 사용자 인터페이스는 복수의 비디오 유닛들을 포함하고,
    상기 디바이스는,
    ㆍ 복수의 비디오들의 각각에 대한 비디오 품질을 나타내는 값을 획득하기 위한 분석 모듈 (14);
    ㆍ 상기 사용자 인터페이스의 상기 비디오 유닛들의 각각에서 디스플레이를 위해 상기 복수의 비디오들 중에서 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들을 선택하기 위한 수단 (16);
    ㆍ 상기 디스플레이 디바이스로의 출력을 위해 상기 비디오 유닛들의 각각에서 선택된 상기 비디오들을 동시에 렌더링하는 상기 사용자 인터페이스를 생성하기 위한 수단 (16) 을 포함하는, 사용자 인터페이스를 생성하기 위한 디바이스 (1).
  9. 제 8 항에 있어서,
    비디오 유닛들은 그 사이즈에 따라 분류되고, 상기 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들은 최대 사이즈의 비디오 유닛들에서 디스플레이되는, 사용자 인터페이스를 생성하기 위한 디바이스 (1).
  10. 제 8 항 또는 제 9 항에 있어서,
    ㆍ 상기 복수의 비디오들의 각각의 비디오로부터 비디오 기여자 페임을 나타내는 값을 획득하기 위한 수단;
    ㆍ 상기 비디오 품질을 나타내는 최상위 값들을 갖고 그리고 상기 비디오 유닛들의 각각에서 디스플레이를 위해 상기 복수의 비디오들 중에서 비디오 기여자 페임을 나타내는 최상위 값들을 갖는 비디오들을 선택하기 위한 수단을 더 포함하는, 사용자 인터페이스를 생성하기 위한 디바이스 (1).
  11. 제 8 항에 있어서,
    상기 비디오 유닛들의 각각에서 디스플레이를 위해 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들을 선택하기 위한 수단은, 제 1 비디오 유닛에서 디스플레이하기 위해 레퍼런스 비디오의 사용자 선택에 따라 상기 선택을 업데이트하기 위한 수단을 더 포함하는, 사용자 인터페이스를 생성하기 위한 디바이스 (1).
  12. 제 8 항에 있어서,
    상기 비디오 유닛들의 각각에서 디스플레이를 위해 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들을 선택하기 위한 수단은, 제 1 비디오 유닛에서 디스플레이된 레퍼런스 비디오의 종료 시 상기 선택을 업데이트하기 위한 수단을 더 포함하는, 사용자 인터페이스를 생성하기 위한 디바이스 (1).
  13. 디스플레이 디바이스 상에 동일한 이벤트의 복수의 시간적으로 동기된 비디오들을 동시에 렌더링하는 사용자 인터페이스를 생성하는 방법을 수행하기 위한 코드 명령들을 실행하기 위한 수단을 포함하는 그래픽스 프로세싱 유닛으로서, 상기 사용자 인터페이스는 복수의 유닛들을 포함하며, 상기 방법은, 복수의 비디오들의 각각의 비디오에 대한 비디오 품질을 나타내는 값을 획득하고; 그리고 상기 비디오 유닛들의 각각에서 디스플레이를 위해 상기 복수의 비디오들 중에서 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들을 선택하는, 그래픽스 프로세싱 유닛.
  14. 디스플레이 디바이스 상에 동일한 이벤트의 복수의 시간적으로 동기된 비디오들을 동시에 렌더링하는 사용자 인터페이스를 생성하는 단계들을 실행하기 위한 프로그램 코드 명령들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 사용자 인터페이스는 복수의 유닛들을 포함하고, 상기 단계들은, 복수의 비디오들의 각각의 비디오에 대한 비디오 품질을 나타내는 값을 획득하고; 상기 비디오 유닛들의 각각에서 디스플레이를 위해 상기 복수의 비디오들 중에서 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들을 선택하는, 컴퓨터 프로그램 제품.
  15. 명령들이 저장된 프로세서 판독가능 매체로서, 상기 명령들은, 프로세서로 하여금, 적어도, 디스플레이 디바이스에 대한 동일한 이벤트의 복수의 시간적으로 동기된 비디오들을 동시에 렌더링하는 사용자 인터페이스를 생성하는 것으로서, 상기 사용자 인터페이스는 복수의 유닛들을 포함하는, 상기 사용자 인터페이스를 생성하는 것; 복수의 비디오들의 각각의 비디오에 대한 비디오 품질을 나타내는 값을 획득하는 것; 및 상기 비디오 유닛들의 각각에서 디스플레이를 위해 상기 복수의 비디오들 중에서 비디오 품질을 나타내는 최상위 값들을 갖는 비디오들을 선택하는 것을 수행하게 하는, 명령들이 저장된 프로세서 판독가능 매체.
KR1020160153354A 2015-11-19 2016-11-17 복수의 비디오들을 제시하는 사용자 인터페이스를 생성하기 위한 방법 KR20170066227A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15306839.0 2015-11-19
EP15306839.0A EP3171599A1 (en) 2015-11-19 2015-11-19 Method for generating a user interface presenting a plurality of videos

Publications (1)

Publication Number Publication Date
KR20170066227A true KR20170066227A (ko) 2017-06-14

Family

ID=54782637

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160153354A KR20170066227A (ko) 2015-11-19 2016-11-17 복수의 비디오들을 제시하는 사용자 인터페이스를 생성하기 위한 방법

Country Status (5)

Country Link
US (1) US20170147170A1 (ko)
EP (2) EP3171599A1 (ko)
JP (1) JP2017098957A (ko)
KR (1) KR20170066227A (ko)
CN (1) CN107018439A (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10542298B2 (en) * 2017-03-02 2020-01-21 Cisco Technology, Inc. Autonomously generated video channels
US10735742B2 (en) * 2018-11-28 2020-08-04 At&T Intellectual Property I, L.P. Adaptive bitrate video testing
CN111385521B (zh) * 2018-12-27 2021-11-16 浙江宇视科技有限公司 一种用户界面分布式显示的方法及解码设备
US10791301B1 (en) * 2019-06-13 2020-09-29 Verb Surgical Inc. Method and system for synchronizing procedure videos for comparative learning
CN111565298B (zh) * 2020-04-30 2024-03-22 腾讯科技（深圳）有限公司 视频处理方法、装置、设备及计算机可读存储介质
CN111629224B (zh) * 2020-06-15 2022-04-29 网易（杭州）网络有限公司 直播信息处理方法及装置、计算机存储介质、电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004514304A (ja) * 1999-12-03 2004-05-13 アワワールド　ライヴ　インコーポレイテッド コンシューマアクセスシステムおよびその提供方法
US20070204238A1 (en) * 2006-02-27 2007-08-30 Microsoft Corporation Smart Video Presentation
KR100890643B1 (ko) * 2007-09-20 2009-03-27 주식회사 알티캐스트 프로그램 가이드 서비스 제공 방법 및 시스템
EP2545466A2 (en) * 2010-03-12 2013-01-16 AOL Inc. Systems and methods for organizing and displaying electronic media content
EP2479684B1 (en) * 2011-01-21 2013-09-25 NTT DoCoMo, Inc. Method and evaluation server for evaluating a plurality of videos
WO2012137404A1 (ja) * 2011-04-08 2012-10-11 パナソニック株式会社 動画サムネイル表示装置及び動画サムネイル表示方法
EP2926337A1 (en) 2012-11-30 2015-10-07 Thomson Licensing Clustering and synchronizing multimedia contents
US10141022B2 (en) * 2013-07-10 2018-11-27 Htc Corporation Method and electronic device for generating multiple point of view video

Also Published As

Publication number Publication date
CN107018439A (zh) 2017-08-04
US20170147170A1 (en) 2017-05-25
EP3171600A1 (en) 2017-05-24
EP3171599A1 (en) 2017-05-24
JP2017098957A (ja) 2017-06-01

Similar Documents

Publication Publication Date Title
KR20170066227A (ko) 복수의 비디오들을 제시하는 사용자 인터페이스를 생성하기 위한 방법
CN112740709B (zh) 一种执行用于视频分析的门控的计算机实现的方法、计算设备及计算机可读介质
CN109803180B (zh) 视频预览图生成方法、装置、计算机设备及存储介质
TWI543610B (zh) 電子裝置及其影像選擇方法
US9449230B2 (en) Fast object tracking framework for sports video recognition
US11475666B2 (en) Method of obtaining mask frame data, computing device, and readable storage medium
US9892324B1 (en) Actor/person centric auto thumbnail
JP6735927B2 (ja) ビデオコンテンツの要約処理
US11871086B2 (en) Method of displaying comment information, computing device, and readable storage medium
JP4895878B2 (ja) 代表色抽出方法、および代表色抽出装置
CN111954060B (zh) 弹幕蒙版的渲染方法、计算机设备及可读存储介质
CN112950640A (zh) 视频人像分割方法、装置、电子设备及存储介质
CN111475676A (zh) 视频数据处理方法、系统、装置、设备及可读存储介质
Yang et al. No‐reference image quality assessment via structural information fluctuation
US10924637B2 (en) Playback method, playback device and computer-readable storage medium
CN112990176A (zh) 书写质量评价方法、装置和电子设备
CN117152660A (zh) 图像显示方法及其装置
WO2018123202A1 (ja) 動画像処理装置、表示装置、動画像処理方法、および制御プログラム
CN108132935B (zh) 图像分类方法及图像展示方法
WO2020233536A1 (zh) Vr视频质量评估方法及装置
CN111954082B (zh) 蒙版文件结构、蒙版文件的读取方法、计算机设备及可读存储介质
CN111954081B (zh) 获取蒙版数据的方法、计算机设备及可读存储介质
CN110866148A (zh) 信息处理系统、信息处理装置及存储介质
Liu et al. Mobile photo recommendation system of continuous shots based on aesthetic ranking
JP7460995B2 (ja) コンピュータビジョンシステム、コンピュータビジョン方法、コンピュータビジョンプログラム及び学習方法