KR102649812B1 - 이미지 처리 방법, 장치, 시스템, 네트워크 기기, 단말기 및 저장 매체 - Google Patents

이미지 처리 방법, 장치, 시스템, 네트워크 기기, 단말기 및 저장 매체 Download PDF

Info

Publication number
KR102649812B1
KR102649812B1 KR1020217011376A KR20217011376A KR102649812B1 KR 102649812 B1 KR102649812 B1 KR 102649812B1 KR 1020217011376 A KR1020217011376 A KR 1020217011376A KR 20217011376 A KR20217011376 A KR 20217011376A KR 102649812 B1 KR102649812 B1 KR 102649812B1
Authority
KR
South Korea
Prior art keywords
interest
information
image
video
region
Prior art date
Application number
KR1020217011376A
Other languages
English (en)
Other versions
KR20210059759A (ko
Inventor
자오 우
밍 리
핑 우
Original Assignee
지티이 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지티이 코포레이션 filed Critical 지티이 코포레이션
Publication of KR20210059759A publication Critical patent/KR20210059759A/ko
Application granted granted Critical
Publication of KR102649812B1 publication Critical patent/KR102649812B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 실시예는 이미지 처리 방법, 장치, 시스템, 네트워크 기기, 단말기 및 저장 매체를 제공하고, 이는 영상 이미지 중 관심 영역 사이의 합성 표시 방식을 지시하기 위한 합성 지시 정보를 획득하고; 상기 합성 지시 정보에 의해 상기 영상 이미지의 미디어 스트림을 생성하며; 즉 상기 합성 지시 정보를 영상 이미지의 코드 스트림에 기록하는 것을 통해 복수 개(최소 2개)의 ROI가 존재할 경우 영상 이미지의 인코딩 과정을 실현한다.

Description

이미지 처리 방법, 장치, 시스템, 네트워크 기기, 단말기 및 저장 매체
본 발명은 2018년 9월 19일 중국 특허청에 출원한 출원번호가 201811095593.9이고 발명의 명칭이 "이미지 처리 방법, 장치, 시스템, 네트워크 기기, 단말기 및 저장 매체"인 중국 특허 출원의 우선권을 주장하는 바, 상술한 출원의 모든 내용은 본 발명에 원용된다.
본 발명의 실시예는 이미지 인코딩 및 디코딩 기술분야에 관한 것이지만 이에 한정되지 않으며, 구체적으로 이미지 처리 방법, 장치, 시스템, 네트워크 기기, 단말기 및 저장 매체에 관한 것이지만 이에 한정되지 않는다.
현재 디지털 미디어 기술의 급속한 발전으로 하드웨어 성능이 배로 향상되고, 네트워크 대역폭이 크게 증가되었으며, 네트워크 속도가 향상되고, 모바일 장치 수가 기하학적으로 증가되여 영상 애플리케이션에 발전 계기를 제공하였다. 영상 애플리케이션은 사용자에게 새로운 영상 콘텐츠 타입 및 영상 프레젠테이션 특성, 더 나은 현장감 및 관람 체험 만족도를 제공하기 위해 단일 시점, 저해상도 및 낮은 비트 전송률로부터 다중 시점, 고해상도 및 높은 비트 전송률로 점차 빠르게 발전하고 있다.
360도 파노라마 영상(이하 파노라마 영상이라고 약칭)은 완전히 새로운 영상 콘텐츠 타입으로서, 사용자는 주관적인 필요에 따라 임의로 어느 한 관람 각도를 선택하여 관람할 수 있음으로, 360도 전방위 관람을 실현할 수 있다. 현재 네트워크 성능 및 하드웨어 처리 성능은 높지만, 사용자 수가 급격히 증가되고 파노라마 영상 데이터의 양이 엄청나기에, 사용자의 관람 체험 만족도를 보장하는 전제하에 네트워크 및 하드웨어 리소스 점유를 줄일 필요가 있다.
현재 관심 영역(Region Of Interest, 이하 ROI로 약칭) 기술은, 전부의 파노라마 영상을 처리할 필요가 없이 사용자의 선호도에 따라 파노라마 영상을 크로핑 표시할 수 있으나, 관련 기술에서 ROI는 일반적으로 하나만 존재하여 파노라마 영상의 일부 이미지만 제한적으로 표시할 수 있으므로, 사용자가 복수 개의 ROI를 관람하려는 요구를 만족시킬 수 없다. 따라서 복수 개의 ROI가 존재할 경우 어떻게 인코딩을 구현하여 각 ROI의 합성 표시를 지시할지가 시급히 해결해야 할 과제이다.
본 발명의 실시예에 따른 이미지 처리 방법, 장치, 시스템, 네트워크 기기, 단말기 및 저장 매체는 주로 복수 개의 ROI가 존재할 경우 어떻게 인코딩을 구현할 것인가 하는 기술적 과제를 해결하는 것을 목적으로 한다.
상술한 기술적 과제를 해결하기 위해, 본 발명의 실시예는,
영상 이미지 중 관심 영역 사이의 합성 표시 방식을 지시하기 위한 합성 지시 정보를 획득하는 단계; 및
상기 합성 지시 정보에 의해 상기 영상 이미지의 미디어 스트림을 생성하는 단계를 포함하는 이미지 처리 방법을 제공한다.
본 발명의 실시예는,
영상 이미지의 영상 스트림 및 설명 데이터를 수신하는 단계;
상기 설명 데이터로부터 해석을 통해 관심 영역의 합성 지시 정보를 획득하는 단계; 및
상기 합성 지시 정보에 따라 상기 영상 스트림 중 관심 영역 이미지의 합성 재생 표시를 제어하는 단계를 포함하는 이미지 처리 방법을 더 제공한다.
본 발명의 실시예는,
네트워크 측이 영상 이미지 중 각 관심 영역의 합성 표시 방식을 지시하기 위한 합성 지시 정보를 획득하고, 상기 합성 지시 정보에 의해 상기 영상 이미지의 미디어 스트림을 생성하며, 미디어 스트림을 타깃 노드에 송신하는 단계; 및
상기 타깃 노드가 상기 미디어 스트림을 수신하고, 상기 미디어 스트림으로부터 해석을 통해 관심 영역의 합성 지시 정보를 획득하며, 상기 합성 지시 정보에 따라 상기 미디어 스트림 중 영상 스트림의 재생 표시를 제어하는 단계를 포함하는 이미지 처리 방법을 더 제공한다.
본 발명의 실시예는,
영상 이미지 중 각 관심 영역의 합성 표시 방식을 지시하기 위한 합성 지시 정보를 획득하는 획득 모듈; 및
상기 합성 지시 정보에 의해 상기 영상 이미지의 미디어 스트림을 생성하는 처리 모듈을 포함하는 이미지 처리 장치를 더 제공한다.
본 발명의 실시예는,
영상 이미지의 영상 스트림 및 설명 데이터를 수신하는 수신 모듈;
상기 설명 데이터로부터 해석을 통해 관심 영역의 합성 지시 정보를 획득하는 해석 모듈; 및
상기 합성 지시 정보에 따라 상기 영상 스트림 중 관심 영역 이미지의 합성 재생 표시를 제어하는 제어 모듈을 포함하는 이미지 처리 장치를 더 제공한다.
본 발명의 실시예는, 상술한 2가지 이미지 처리 장치를 포함하는 이미지 처리 시스템을 더 제공한다.
본 발명의 실시예는,
제1 프로세서, 제1 메모리 및 제1 통신 버스를 포함하고,
상기 제1 통신 버스는 제1 프로세서 및 제1 메모리 사이의 연결 통신을 위한 것이며,
상기 제1 프로세서는 제1 메모리에 저장된 하나 또는 복수 개의 컴퓨터 프로그램을 실행하여, 상술한 임의의 이미지 처리 방법의 단계를 수행하는 네트워크 기기를 더 제공한다.
본 발명의 실시예는, 제2 프로세서, 제2 메모리 및 제2 통신 버스를 포함하고,
상기 제2 통신 버스는 제2 프로세서 및 제2 메모리 사이의 연결 통신을 위한 것이며,
상기 제2 프로세서는 제2 메모리에 저장된 하나 또는 복수 개의 컴퓨터 프로그램을 실행하여, 상술한 임의의 이미지 처리 방법의 단계를 수행하는 단말기를 더 제공한다.
본 발명의 실시예는, 하나 또는 복수 개의 프로그램이 저장되어 있고, 상기 하나 또는 복수 개의 프로그램이 하나 또는 복수 개의 프로세서에 의해 실행될 경우, 상술한 이미지 처리 방법의 단계를 수행할 수 있는 저장 매체를 더 제공한다.
본 발명의 기타 특징 및 상응한 유익한 효과는 명세서의 이하 부분에서 설명되고, 적어도 일부 유익한 효과는 본 발명의 명세서의 기재에 의해 더 명확해질 것이다.
도 1은 본 발명의 실시예 1에 따른 이미지 처리 방법의 흐름 모식도이다.
도 2는 본 발명의 실시예 1에 따른 ROI이미지 스티칭 지시 모식도 1이다.
도 3은 본 발명의 실시예 1에 따른 ROI이미지 스티칭 지시 모식도 2이다.
도 4는 본 발명의 실시예 1에 따른 ROI이미지 스티칭 지시 모식도 3이다.
도 5는 본 발명의 실시예 1에 따른 ROI이미지 스티칭 지시 모식도 4이다.
도 6은 본 발명의 실시예 1에 따른 ROI이미지 스티칭 지시 모식도 5이다.
도 7은 본 발명의 실시예 1에 따른 ROI이미지 융합 지시 모식도 1이다.
도 8은 본 발명의 실시예 1에 따른 ROI이미지 융합 지시 모식도 2이다.
도 9는 본 발명의 실시예 1에 따른 ROI이미지 중첩 영역 모식도이다.
도 10은 본 발명의 실시예 1에 따른 ROI이미지 네스팅 지시 모식도이다.
도 11은 본 발명의 실시예 1에 따른 ROI이미지 투명 채널 처리 모식도이다.
도 12는 본 발명의 실시예 1에 따른 ROI이미지 좌표 위치 모식도이다.
도 13은 본 발명의 실시예 1에 따른 ROI이미지 영상 스트림 생성 모식도 1이다.
도 14는 본 발명의 실시예 1에 따른 ROI이미지 영상 스트림 생성 모식도 2이다.
도 15는 본 발명의 실시예 2에 따른 이미지 처리 방법의 흐름 모식도이다.
도 16은 본 발명의 실시예 3에 따른 이미지 처리 방법의 흐름 모식도이다.
도 17은 본 발명의 실시예 4에 따른 이미지 처리 장치의 구조 모식도이다.
도 18은 본 발명의 실시예 5에 따른 이미지 처리 장치의 구조 모식도이다.
도 19는 본 발명의 실시예 6에 따른 이미지 처리 시스템의 구조 모식도이다.
도 20은 본 발명의 실시예 7에 따른 네트워크 기기의 구조 모식도이다.
도 21은 본 발명의 실시예 8에 따른 단말기의 구조 모식도이다.
본 발명의 목적, 과제의 해결 수단 및 장점이 더 명확해지도록, 이하, 구체적인 실시형태 및 도면을 참조하여 본 발명의 실시예를 더 상세히 설명한다. 이해해야 할 것은, 여기서 설명된 구체적인 실시예는 본 발명을 해석하기 위한 것일 뿐, 본 발명을 한정하는 것이 아니다.
실시예 1
영상 이미지에 복수 개의 ROI가 존재할 경우, 사용자가 복수 개의 ROI에 대해 동시에 관람하는 요구를 만족하기 위해 어떻게 인코딩을 진행할 것인가에 대해서는, 본 발명의 실시예는 이미지 처리 방법을 제공하였고, 이는 주로 네트워크 측 기기, 인코더 등에 적용되며, 서버, 기지국 등 기기를 포함하나 이에 한정되지 않고, 도 1을 참조하면, 다음과 같은 단계를 포함한다.
S101: 영상 이미지 중 관심 영역 사이의 합성 표시 방식을 지시하기 위한 합성 지시 정보를 획득한다.
영상 이미지를 인코딩할 경우, 합성 지시 정보를 획득하여 영상 이미지 중 ROI 사이의 합성 표시 방식을 지시한다. 이해해야 할 것은, 상기 영상 이미지에 ROI가 존재하지 않거나 구분되지 않은 경우, 상기 합성 지시 정보를 획득하는 과정이 존재하지 않는다. 복수 개의 ROI가 존재하는 경우에만, 상응한 합성 지시 정보를 획득한다. 하나의 ROI만 존재하는 경우도 본 해결수단을 사용하여 상기 하나의 ROI의 표시를 제어할 수 있다.
바람직하게는, 인코딩 과정에서, 우선 영상 이미지에 ROI가 존재한다고 결정된 후, 상기 ROI의 합성 표시 방식을 지시하기 위한 상응한 합성 지시 정보를 획득할 수 있다.
ROI는 다음과 같은 방식을 통해 설정될 수 있으나 이에 한정되는 것은 아니다.
1.사전 이미지 처리, ROI 식별 등 기술을 통해 영상 이미지를 분석한 다음, 분석 결과를 통해 파노라마 영상 중 특정 콘텐츠 또는 특정 공간 위치를 구분하여, 상이한 ROI를 형성할 수 있다. 예를 들면, 축구 경기 과정에서, 하나의 카메라를 사용하여 공의 운동 궤적에 대해 별도로 추적 촬영을 진행하고, 이를 ROI로 하거나; 또는 ROI 식별 기술을 통해 촬영된 영상 이미지 중 특정 타깃(예를 들면 어느 축구선수)에 대해 식별 추적을 진행하여 ROI를 형성한다.
2.사용자의 요구 또는 기설정 정보에 따라 영상 이미지에 대해 특정 콘텐츠 또는 특정 공간 위치를 수동으로 구분하여 상이한 관심 영역을 형성한다.
3.영상 이미지 재생 과정에서 사용자의 관심 영역 정보를 수집하고, 이런 정보에 따라 파노라마 영상 중 특정 콘텐츠 또는 특정 공간 위치를 자동으로 구분하여 상이한 관심 영역을 형성한다.
4.사용자가 영상 이미지를 관람하는 과정에서 관심 영역을 스스로 선정한다.
S102: 상기 합성 지시 정보에 의해 상기 영상 이미지의 미디어 스트림을 생성한다.
획득한 합성 지시 정보에 의해 상기 영상 이미지의 미디어 스트림을 생성한다. 즉 상기 합성 지시 정보를 인코딩하여 상기 영상 이미지의 코드 스트림에 기록하여 상기 영상 이미지의 미디어 스트림을 생성한다. 재생 기기는 상기 미디어 스트림을 디코딩할 수 있기에, 적어도 상기 영상 이미지 중 각 ROI에 대해 합성 및 표시 재생이 가능하다.
합성 지시 정보는, 관심 영역을 스티칭 표시하도록 지시하기 위한 제1 지시 정보, 관심 영역을 융합 표시하도록 지시하기 위한 제2 지시 정보, 관심 영역을 네스팅 표시하도록 지시하기 위한 제3 지시 정보, 관심 영역을 축소 또는 확대 표시하도록 지시하기 위한 제4 지시 정보, 관심 영역을 회전 표시하도록 지시하기 위한 제5 지시 정보, 및 관심 영역을 크로핑 표시하도록 지시하기 위한 제6 지시 정보 중 적어도 하나를 포함한다.
여기서, 제1 지시 정보는 각 ROI를 스티칭하도록 지시하고, 스트칭은 2개의 ROI가 인접하나 중첩되지 않음을 의미한다. 도 2를 참조하면, A, B, C, D 영역은 영상 이미지 중 4개의 관심 영역이고, 이들의 사이즈는 같으며, 이들이 파노라마 이미지에 나타난 위치에 따라 스티칭을 진행할 수 있다.
바람직하게는, 도 3에 도시된 바와 같이, A, B, C, D 영역은 임의의 위치 또는 지정된 위치에 따라 스티칭을 진행할 수 있다.
바람직하게는, 도 4에 도시된 바와 같이, A, B, C, D 영역의 사이즈는 다를 수 있다.
바람직하게는, 도 5에 도시된 바와 같이, A, B, C, D 영역의 위치는 임의로 배열될 수 있고 또한 사이즈도 다를 수 있다.
바람직하게는, 도 6에 도시된 바와 같이, A, B, C, D 영역은 스티칭 후 직사각형이 아닌 임의의 형상일 수 있다.
제2 지시 정보는 각 ROI를 융합하도록 지시하고, 융합은 2개의 ROI 사이에 일부 중첩 영역이 존재하지만 어느 하나의 ROI가 다른 하나의 ROI에 완전히 중첩되는 것은 아님을 의미한다. 도 7을 참조하면, A, B, C, D 영역은 영상 이미지 중 4개의 관심 영역이고, 이들은 특정 범위 영역만큼 중첩되어 함께 융합될 수 있다.
바람직하게는, 도 8에 도시된 바와 같이, 4개의 관심 영역의 합성 표시 방식은, 고정된 커버 순서에 따라 픽셀의 직접 커버를 수행하고, 중첩 순서는 A→B→C→D이기에, 마지막으로 커버하는 D는 기타 3개의 ROI에 의해 커버되지 않는다.
바람직하게는, 융합을 통해 생성한 중첩 부분 영역에서, 그 픽셀 값은 다음과 같은 방식으로 처리될 수 있다. 도 9에 도시된 바와 같이, 4개의 ROI의 상이한 영역의 중첩 부분 픽셀은 계산을 통해 새로운 픽셀 값을 생성한다. 예를 들면, 모든 픽셀의 평균값, 또는 상이한 영역 픽셀에 상이한 가중값을 설정하거나, 또는 특징 매칭 방법에 따라 계산을 통해 새로운 픽셀 값을 획득하여 자연스러운 이미지 융합 효과를 얻는다. 여기서, 특징 매칭 방법으로 새로운 픽셀 값을 계산하는 것은 통상적으로 영상 처리 능력이 상대적으로 강한 네트워크 측 기기에 적용되어 최대한 가장 좋은 융합 효과를 얻고, 단말기 측에도 이론적으로 적용이 가능하나 단말기 성능에 대한 요구가 높다.
제3 지시 정보는 ROI을 네스팅 표시하도록 지시하고, 네스팅 표시는 하나의 ROI가 다른 하나의 ROI에 완전히 중첩되는 것을 의미한다. 도 10을 참조하면, A, B 영역은 영상 이미지 중 2개의 관심 영역이고, B는 A에 완전히 중첩되어 A에 네스팅되며, 네스팅 위치는 실제 필요에 따라 설정할 수 있고, 예를 들면, 이미지 화면 크기에 따라 이미지 화면이 상대적으로 작은 ROI를 상대적으로 큰 ROI에 중첩시키거나, 사용자의 설정에 의해 결정될 수 있다.
제4 지시 정보는 ROI를 축소 또는 확대하도록 지시하고. 확대 또는 축소는 이미지의 크기를 변경시키는 것을 의미한다. 축소/확대비율을 포함하고, 예를 들어, 축소/확대비율이 2이면, ROI 대각선 길이를 원래의 2배로 확대하도록 지시할 수 있다.
제5 지시 정보는 ROI를 회전시키도록 지시하고, 회전 유형 및 회전 각도를 포함하며, 여기서 회전 유형은 수평 회전, 수직 회전을 포함하나 이에 한정되는 것은 아니다.
제6 지시 정보는 관심 영역을 크로핑 표시하도록 지시하고, 도 11을 참조하면, A, B 영역은 영상 이미지 중 2개의 관심 영역이고, B 영역 중의 원형 영역을 크로핑하는데, Alpha 투명 채널을 사용하여 실현할 수 있다. 바람직하게는, 또한 크로핑한 B와 A를 네스팅하여 상기 이미지를 합성할 수도 있다.
실제 응용에서, 상기 6가지 지시 정보 중의 복수 개를 조합하여 상응한 ROI에 대한 합성 처리를 진행함으로써, 사용자가 복수 개의 ROI에 대한 관람 요구를 더욱 잘 만족시킬 수 있다.
본 실시예에서, H.264/AVC 표준, H.265/HEVC(High Efficiency Video Coding, 고효율 비디오 부호화) 표준으로 영상 이미지를 인코딩할 수 있다. 인코딩 과정에서, 획득한 합성 지시 정보를 영상 이미지의 코드 스트림에 기록한다.
본 발명의 기타 예시에서, 상기 영상 이미지 중 상응한 ROI의 특징 정보를 획득하고, 상기 획득한 합성 지시 정보 및 상기 특징 정보에 의해 상기 영상 이미지의 미디어 스트림을 생성할 수도 있다. 즉 상기 합성 지시 정보 및 특징 정보를 동시에 영상 이미지의 코드 스트림에 기록한다.
여기서, 생성된 미디어 스트림은 적어도 설명 데이터 및 영상 스트림 두가지 부분을 포함한다. 본 실시예에서, 획득한 합성 지시 정보 및 특징 정보를 상기 설명 데이터에 기록한다. 설명해야 할 것은, 설명 데이터는 주로 영상 스트림에 대한 디코딩을 지시하여 영상 이미지의 재생을 실현한다. 설명 데이터는 예를 들어 시간 동기화 정보, 텍스트 정보 및 기타 관련 정보 등 중 적어도 하나를 포함할 수 있다.
더 설명해야 할 것은, 설명 데이터는 영상 이미지의 일부로서, 바람직하게는, 다음과 같은 두가지 형식이 존재한다. 하나는 코드 스트림 형식으로 영상 스트림과 함께 인코딩되고 즉 영상 스트림 중의 일부 데이터에 속하고, 영상 스트림과 별도로 인코딩되어 영상 스트림과 분리될 수도 있다.
ROI 특징 정보는 위치 정보 및/또는 인코딩 품질 지시 정보를 포함하고, 여기서, 위치 정보는 ROI 특정 위치의 좌표 정보, 및 ROI의 길이 값 및 폭 값을 포함한다. 특정 위치는 ROI 영역의 4개의 각 중 어느 하나의 각의 위치일 수 있고, 예를 들면 좌측 상단의 각의 픽셀점, 우측 하단의 픽셀점일 수 있고, ROI 영역의 중심점의 위치일 수도 있다. 인코딩 품질 지시 정보는 인코딩 과정에서 사용하는 인코딩 품질 레벨이고, 상이한 인코딩 품질 지시 정보는 상이한 인코딩 품질 레벨을 나타내며, 상이한 인코딩 품질 레벨을 통해 인코딩한 후 생성된 이미지 화질도 상이하다. 예를 들어 인코딩 품질 지시 정보는 "1", "2", "3", "4", "5", "6"일 수 있고, 상이한 수치는 상이한 인코딩 품질 레벨을 나타내며, 예를 들어 인코딩 품질 지시 정보가 "1"일 경우, 저품질로 인코딩함을 나타내고, 상대적으로 인코딩 품질 지시 정보가 "2"일 경우, "1"보다 나은 중품질로 인코딩함을 나타내며, 수치가 클 수록 인코딩 품질이 순차적으로 높아진다.
본 발명의 기타 예시에서, ROI위치 정보는 다음과 같은 방식으로 나타낼 수 있다. 도 12를 참조하면, ROI 영역(121)의 상측변은 영상 이미지의 제300항에 위치하고, 하측변은 영상 이미지의 제600항에 위치하며, 좌측변은 영상 이미지의 제500열에 위치하고, 우측변은 영상 이미지의 제800열에 위치한다. 즉 ROI 영역이 위치한 행렬 위치를 통해 그 위치 정보를 식별한다. 1920*1080의 이미지 영역에서, 좌측 상단 각의 픽셀점 위치는 (0,0)이고, 우측 하단 각의 픽셀점 위치는 (1919,1079)이다. 2차원 또는 3차원 이미지 영역에 관하여, 데카르트 좌표계를 사용할 수 있고, 기타 비 데카르트의 곡선 좌표계를 사용할 수도 있으며, 예를 들어 기둥면, 구면 또는 극좌표계일 수 있다.
이해해야 할 것은, ROI의 길이 값은 상기 도12에서 상하 측변의 길이이고, 즉 좌우 측변의 거리를 ROI의 길이 값으로 하는데, 800-500=300 픽셀점이고, 600-300=300픽셀점은 ROI의 폭값으로 할 수 있다. 반대의 경우도 마찬가지이다.
ROI의 합성 지시 정보 및 특징 정보는 이하 표 1을 참조할 수 있다.
table_id：테이블 식별자;
version：버전 정보;
length：길이 정보;
roi_num：포함된 관심 영역 개수;
(roi_position_x, roi_position_y, roi_position_z)：관심 영역이 영상 이미지에서의 좌표 정보;
roi_width：관심 영역 폭;
roi_height：관심 영역 높이;
roi_quality：관심 영역 품질 정보;
relation_type：관심 영역의 합성 지시 정보, 0은 스티칭, 1은 네스팅, 2는 융합;
(roi_new_position_x, roi_new_position_y, roi_new_position_z)：관심 영역이 새로운 이미지에서의 좌표 정보;
scale：관심 영역 축소/확대비율;
rotation：관심 영역 회전 각도;
flip：관심 영역 뒤집기, 0은 수평 뒤집기, 1은 수직 뒤집기;
alpha_flag：투명 채널 식별자, 0은 투명 채널 정보 존재하지 않음, 1은 투명 채널 정보 존재;
alpha_info()：투명 채널 정보, 관심 영역과 조합(크로핑)하여 생성된 새로운 이미지;
filter_info()：relation_type이 융합 방식일 경우, 융합 영역의 필터링 방식을 지시할 수 있고 예를 들면 평균값, 중간값 등;
user_data()：사용자 정보.
상기 ROI 합성 지시 정보 및 특징 정보를 포함하는 roi_info_table을 영상 이미지의 설명 데이터에 기록하고, 설명 데이터는, 바람직하게는, 보충 강화 정보(Supplemental Enhancement Information, SEI), 영상 가용성 정보(Video Usability Information, VUI), 시스템 계층 미디어 속성 설명 유닛 중 적어도 하나를 포함한다.
roi_info_table를 영상 코드 스트림 중 보충 강화 정보에 기록하고, 구체적인 예시는 표 2를 참조할 수 있다.
roi_info_table은 상응한 ROI의 관련 정보(합성 지시 정보, 특징 정보 등)을 포함하고, 이를 보충 강화 정보에 기록하며, SEI 정보로부터 식별자 정보를 획득하여 ROI_INFO의 정보로 할 수 있다. ROI_INFO의 정보를 SEI 정보의 식별자 정보로 하는 것에 해당하다.
roi_info_table을 영상 가용성 정보에 기록하고, 구체적인 예시는 표 3을 참조할 수 있다.
표 3에서, roi_info_flag의 값이 1일 경우, 후속적으로 ROI 정보가 있을을 나타낸다. roi_info_table( )는 즉 상기 표 1에서의 roi_info_table 데이터 구조로서 ROI 관련 정보를 포함한다. VUI 정보로부터 식별자 정보를 roi_info_flag가 1인 관심 영역 정보로 획득할 수 있다.
roi_info_table을 시스템 계층 미디어 속성 설명 유닛에 기록하고, 여기서, 시스템 계층 미디어 속성 설명 유닛은 전송 스트림의 설명자, 텍스트 포맷의 데이터 유닛(예를 들면 Box 중), 전송 스트림의 미디어 설명 정보(예를 들면 미디어 프레젠테이션 설명(Media Presentation Description, MPD) 등 정보 유닛)을 포함하나 이에 한정되지 않는다.
ROI 합성 지시 정보 및 특징 정보를 SEI에 기록하고, 그 시간 영역 모션 제한 타일 세트(temporal Motion-Constrained Tile Sets, MCTS)와 더 조합하며, 바람직하게는, ROI의 관련 정보와 H.265/HEVC 표준을 사용한 시간 영역 모션 제한 타일 세트와 조합한다. ROI의 합성 지시 정보를 타일과 긴밀히 조합하면, ROI 데이터에 대한 별도의 인코딩 및 디코딩을 추가할 필요가 없이 필요한 타일 데이터를 유연하게 추출할 수 있고, 이로써 사용자의 상이한 요구를 만족시킬 수 있어 응용 과정에서 사용자와의 인터랙션에 유리하다. 표 4에 나타낸 바와 같다.
여기서, roi_info_flag: 0은 관심 영역의 관련 정보가 존재하지 않음을 내타내고, 1은 관심 영역의 관련 정보가 존재함을 나타낸다.
roi_info의 일 예시는 표 5와 같다.
length: 길이 정보;
roi_num: 포함된 관심 영역 개수;
(roi_pos_x, roi_pos_y): 관심 영역의 슬라이스 그룹(Slice Group) 또는 타일(Tile)에서의 좌표 정보;
roi_width: 관심 영역 폭;
roi_height: 관심 영역 높이;
roi_quality: 관심 영역 품질 정보;
relation_type: 관심 영역의 관련 관계, 0은 스티칭, 1은 네스팅, 2는 융합;
(roi_new_pos_x, roi_new_pos_y): 관심 영역이 새로운 이미지에서의 좌표 정보;
scale：관심 영역 축소 또는 확대비율;
rotation：관심 영역 회전 각도;
flip：관심 영역 뒤집기, 0은 수평 뒤집기, 1은 수직 뒤집기;
alpha_flag：투명 채널 식별자, 0은 투명 채널 정보 존재하지 않음, 1은 투명 채널 정보 존재;
alpha_info()：투명 채널 정보, 관심 영역과 결합하여 새로운 이미지를 생성할 수 있음;
filter_info()：relation_type이 융합 방식일 경우, 융합 영역의 필터링 방식을 지시할 수 있고, 예를 들면 평균값, 중간값 등.
미디어 스트림에 포함된 영상 스트림은 영상 이미지 데이터를 포함한다. 여기서 상기 영상 스트림을 생성하는 과정은, 상기 영상 이미지의 관심 영역을 획득하고, 동일한 이미지 프레임 중 각 관심 영역의 관련 이미지를 적어도 하나의 슬라이스 유닛에 구분하고 독립적 인코딩을 진행하여 상기 영상 이미지의 제1 영상 스트림을 생성하는 단계를 포함한다.
도 13을 참조하면, 영상 이미지의 제1 프레임 이미지를 획득하고, 상기 제1 프레임 이미지 중 각 ROI의 관련 이미지를 결정하며, 상기 영상 이미지에 2개의 ROI, 각각 ROI131 및 ROI132가 존재하고, 상기 제1 프레임 이미지에 ROI131의 관련 이미지 A1, 및 ROI132의 관련 이미지 B1가 존재한다고 가정하면, 이때 ROI131의 관련 이미지 A1을 적어도 하나의 슬라이스 유닛에 구분하고 독립적으로 인코딩을 진행하는 동시에 ROI132의 관련 이미지 B1을 적어도 하나의 슬라이스 유닛에 구분하고 독립적 인코딩을 진행하거나; 또는 관련 이미지 A1 및 관련 이미지 B1 양자를 적어도 하나의 슬라이스 유닛에 구분하고 독립적 인코딩을 진행하고; 상기 영상 이미지의 기타 모든 프레임에 대해 직렬 또는 병렬 방식으로 상기 영상 이미지의 모든 이미지 프레임에 대한 인코딩이 완료될 때까지 제1 프레임 이미지와 유사한 단계를 수행하여 제1 영상 스트림을 생성한다.
예를 들면, 관련 이미지 A1를 하나의 슬라이스 유닛 a11에 구분하고 독립적 인코딩을 진행하고; 관련 이미지 B1를 2개의 슬라이스 유닛, 각각 b11 및 b12에 구분하고 독립적 인코딩을 진행한다.
영상 이미지에서 ROI 관련 이미지를 제외한 기타 영역(133)은 기존의 임의의 인코딩 방식으로 인코딩될 수 있고, 독립적으로 인코딩될 수도 있고, 비독립적으로 인코딩될 수도 있다. 최종적으로 생성된 제1 영상 스트림은 적어도 각 ROI의 모든 독립적 인코딩 슬라이스 유닛을 포함한다. 수신단에 있어서, 사용자가 ROI 이미지만 관람하고자 하면, 제1 영상 스트림 중 ROI에 대응되는 슬라이스 유닛만 추출하고(모든 슬라이스 유닛을 추출할 필요가 없음), 상기 슬라이스 유닛에 대해 독립적으로 디코딩을 진행하며, 기타 슬라이스에 의존할 필요가 없이 디코딩을 완성할 수 있기에 수신단 디코딩 성능에 대한 요구를 낮출 수 있다.
필요에 따라 영상 이미지 중의 ROI 관련 이미지에 대해서만 인코딩을 진행할 수 있고, 관련 이미지를 제외한 기타 영역에 대해서는 인코딩 처리를 진행하지 않거나 관련 이미지와 기타 영역에 대해서 별도로 인코딩을 진행할 수 있다.
슬라이스 유닛은 H.264/AVC 표준의 슬라이스(Slice), H.265/HEVC 표준의 타일(Tile) 등을 포함한다.
미디어 스트림 중의 영상 스트림은 제2 영상 스트림일 수도 있고, 여기서 상기 제2 영상 스트림을 생성하는 과정은 다음과 같다. 각 관련 이미지를 합성 지시 정보에 따라 합성한 후 하나의 처리할 이미지 프레임으로 하고, 처리할 이미지 프레임을 적어도 하나의 슬라이스 유닛에 구분하여 인코딩을 진행함으로써 관심 영역의 제2 영상 스트림을 생성한다.
도 14를 참조하면, 제1 영상 스트림과 달리 제2 영상 스트림은 영상 이미지의 동일한 이미지 프레임 중 ROI(도 14에서 ROI141 및 ROI142를 포함)의 관련 이미지(각각 C1 및 D1)이고, 우선 합성 지시 정보에 따라 합성을 진행하고, 여기서 스티칭 합성이라고 가정하며, 다음 합성 후의 이미지를 하나의 처리할 이미지 프레임 E1로 하며, 그 다음, 상기 처리할 이미지 프레임 E1을 적어도 하나의 슬라이스 유닛(예를 들면 e11)에 구분하여 인코딩을 진행하고, 인코딩 방식은 여기서 독립적인 인코딩일 수 있고, 비독립적인 인코딩일 수도 있으며, 또는 기타 인코딩 방식일 수 도 있다. 상기 영상 이미지 중의 기타 이미지 프레임에 대해서도 상기 방식으로 처리하고, 각 이미지 프레임은 병렬 또는 직렬 방식으로 처리되어 상기 제2 영상 스트림을 생성한다.
제2 영상 스트림에 대해, 디코딩단은 흔히 사용하는 디코딩 방식으로 처리할 수 있고, 디코딩 후 직접 합성 후의 ROI 이미지를 획득할 수 있기에, ROI 관련 이미지에 대해 합병 처리를 진행할 필요가 없으며, 이런 인코딩 방식은 디코딩단의 처리 부하를 낮추는데 유리하고, 디코딩 효율을 높인다. 그러나 인코딩 시에는 우선 합성 처리를 진행해야 한다.
본 발명의 기타 예시에서, 네트워크 측 또는 인코딩단은 동일한 영상 이미지에 대해 상기 2가지 영상 스트림을 생성할 수 있다.
생성된 미디어 스트림을 저장할 수 있고, 상응한 타깃 노드에 송신할 수도 있다. 예를 들면, 타깃 노드의 영상 이미지에 대한 획득 요청을 수신했을 경우, 상기 미디어 스트림을 상기 타깃 노드에 송신하도록 트리거한다. 바람직하게는, 획득 요청이 지시하는 획득 콘텐츠의 식별자 정보를 해석하고, 상기 식별자 정보에 따라 상기 미디어 스트림을 타깃 노드에 송신한다.
바람직하게는, 식별자 정보가 제1 식별자일 경우, 제1 영상 스트림 및 설명 데이터를 타깃 노드에 송신한다. 예를 들면, 서버단이 단말기의 영상 이미지에 대한 요청을 수신했을 경우, 상기 요청에 따라 상기 영상 이미지의 미디어 스트림(제1 영상 스트림 및 설명 데이터를 포함)을 단말기에 송신한다. 단말기는 상기 미디어 스트림을 디코딩하여 상기 영상 이미지를 완전하게 재생할 수 있다. 물론 단말기는 상기 미디어 스트림을 디코딩하고, 그중 관심 영역이 위치한 독립적 인코딩이 가능한 슬라이스 유닛 데이터를 추출하여 설명 데이터와 조합함으로써 상기 관심 영역 이미지를 재생 표시할 수도 있다.
식별자 정보가 제2 식별자일 경우, 제1 영상 스트림 중 관심 영역의 슬라이스 유닛(디코딩 조작을 진행하지 않음) 및 상기 설명 데이터를 추출하여, 타깃 노드에 송신한다. 예를 들면, 서버단이 단말기의 관심 영역에 대한 요청을 수신했을 경우, 서버단은 요청 정보에 따라 대응하는 관심 영역이 위치한 독립적 인코딩이 가능한 슬라이스 유닛 데이터를 찾고, 추출 후 관심 영역의 관련 정보(합성 지시 정보 및 특징 정보 등) 또는 수정 후의 관심 영역 정보를 추가하여 새로운 코드 스트림을 생성하여 단말기에 송신한다. 모든 코드 스트림을 단말기에 송신하는 것을 방지하여 네트워크 대역폭의 점유 및 전송 지연을 줄인다.
식별자 정보가 제3 식별자일 경우, 제2 영상 스트림 및 상기 설명 데이터를 타깃 노드에 송신한다. 예를 들면, 서버는 단말기에 의해 송신한 요청에 따라 상기 영상 이미지의 제2 영상 스트림 및 설명 데이터를 단말기에 송신하도록 선택할 수 있고, 단말기에 의해 이를 디코딩한 후 직접 합성된 ROI 이미지를 얻을 수 있기에, 설명 데이터 중의 합성 지시 정보에 따라 ROI에 대해 합성 처리를 진행할 필요가 없으므로 단말기 자원 점유를 낮추고 단말기 처리 효율을 높이는데 유리하다.
본 발명의 기타 예시에서, 영상 이미지는 360도 파노라마 영상, 입체 영상 등일 수 있다. 영상 이미지가 입체 영상일 경우, ROI의 관련 정보(합성 지시 정보 및 특징 정보 등을 포함)는 좌우 시야에 동시에 적용될 수 있다.
본 발명의 실시예에 따른 이미지 처리 방법은 합성 지시 정보를 영상 이미지 코드 스트림에 기록하여 영상 이미지 중 ROI 이미지의 합성 표시를 지시하는 것을 통해, 영상 이미지에 복수 개의 ROI이 존재했을 경우의 인코딩 과정을 구현함으로써 사용자가 복수 개의 ROI 이미지를 동시에 관람하는 관람 요구를 만족시킨다.
ROI 이미지에 대한 독립적인 인코딩을 통해, 디코딩단이 독립적으로 디코딩을 진행하도록 할 수 있고, 기타 슬라이스에 의존할 필요가 없이 디코딩을 진행할 수 있기에, 미디어 스트림 송신 방식에 있어서, ROI이 위치한 독립적 디코딩이 가능한 슬라이스 유닛 데이터를 선택 추출하여 단말기에 송신할 수 있고, 모든 슬라이스 데이터를 단말기에 송신할 필요가 없으므로, 네트워크 대역폭 점유를 낮추고 전송 효율 및 디코딩 효율을 높이는데 유리하다.
실시예 2:
본 발명의 실시예는 실시예 1의 기초상에서 이미지 처리 방법을 제공하고, 이는 주로 단말기, 디코더 등에 적용되며, 모바일 전화기, 개인용 컴퓨터 등을 포함하나 이에 한정되지 않는다. 도 15를 참조하면, 상기 이미지 처리 방법은 다음과 같은 단계를 포함한다.
S151: 영상 이미지의 영상 스트림 및 설명 데이터를 수신한다.
S152: 설명 데이터로부터 해석을 통해 관심 영역의 합성 지시 정보를 획득한다.
설명 데이터의 상이한 유형에 따라, 즉 SEI, VUI, MPD 등 ROI 관련 정보가 위치한 상이한 위치에 따라 관심 영역 정보의 합성 지시 정보를 추출한다. 여기서, 합성 지시 정보에 대한 설명은 실시예 1을 참조할 수 있고, 여기서는 중복 설명하지 않는다. 바람직하게는, 설명 데이터로부터 위치 정보 및 인코딩 품질 지시 정보 등을 포함하는 ROI의 특징 정보를 획득할 수도 있다.
상기 ROI의 관련 정보에 따라, ROI 이미지 데이터, 즉 영상 스트림 데이터를 획득한다.
S153: 합성 지시 정보에 따라 영상 스트림 중 관심 영역 이미지의 합성 재생 표시를 제어한다.
합성 지시 정보에 따라, ROI 이미지를 합성한 후 재생 표시한다.
본 발명의 기타 예시에서, 영상 이미지의 영상 스트림 및 설명 데이터를 수신하기 전에, 네트워크 측(또는 인코딩단)에 획득 요청을 송신하는 단계를 더 포함하고, 상기 획득 요청에는 획득 콘텐츠를 지시하기 위한 식별자 정보가 설정될 수 있으며, 상이한 영상 스트림을 획득할 수 있다.
예를 들면, 식별자 정보를 제1 식별자로 설정했을 경우, 상응한 영상 이미지의 제1 영상 스트림 및 설명 데이터를 획득하도록 지시할 수 있고, 식별자 정보를 제2 식별자로 설정했을 경우, 상응한 영상 이미지의 제1 영상 스트림 중 관심 영역의 슬라이스 유닛 및 설명 데이터를 획득하도록 지시할 수 있고, 식별자 정보를 제3 식별자로 설정했을 경우, 상응한 영상 이미지의 제2 영상 스트림 및 설명 데이터를 획득하도록 지시할 수 있다.
획득 요청이 다를 경우, 수신한 네트워크 측에 의해 송신한 미디어 스트림이 다르고, 후속적인 처리 과정도 상응한 차이가 있다. 예를 들면, 획득 요청 중 식별자 정보가 제1 식별자일 경우, 상응한 영상 이미지의 제1 영상 스트림 및 설명 데이터를 획득하고, 이때 제1 영상 스트림 및 설명 데이터를 디코딩하여 상기 영상 이미지의 완전한 이미지를 얻을 수 있으며, 상기 완전한 이미지를 재생할 수도 있다. 또는 제1 영상 스트림 중 ROI 이미지의 독립적 인코딩이 가능한 슬라이스 유닛 데이터를 추출하고, 설명 데이터 중의 ROI 합성 지시 정보에 따라, 상기 ROI 이미지를 합성한 후 재생 표시할 수도 있다.
획득 요청 중 식별자 정보가 제2 식별자일 경우, 상응한 영상 이미지의 ROI이 위치한 독립적 디코딩이 가능한 슬라이스 유닛 및 설명 데이터를 획득하고, 이때 단말기는 직접 상기 ROI의 독립적 디코딩이 가능한 슬라이스 유닛에 대해 디코딩 조작을 진행하고, 설명 데이터 중 합성 지시 정보에 따라 상기 ROI 이미지를 합성한 후, 재생 표시할 수 있다.
획득 요청 중 식별자 정보가 제3 식별자일 경우, 상응한 영상 이미지의 제2 영상 스트림 및 설명 데이터를 획득하고, 이때 단말기는 직접 통상적인 디코딩 방식을 사용하여 이를 디코딩하여 합성 후의 ROI 이미지를 획득하고 재생 표시할 수 있다.
이해해야 할 것은, 획득 요청은 획득 콘텐츠를 지시하기 위한 식별자 정보를 포함하나 이에 한정되지 않고, 로컬단 및 상대단의 주소 정보, 획득 요청 대상인 영상 이미지의 식별자 정보, 인증 정보 등 기타 필요한 정보를 더 포함해야 한다.
실시예 3:
본 발명의 실시예는 실시예 1 및/또는 실시예 2의 기초상에서 이미지 처리 방법을 제공하고, 이는 주로 네트워크 측 및 단말기 측을 포함하는 시스템에 적용되며, 도 16을 참조하면, 상기 이미지 처리 방법은 주로 다음과 같은 단계를 포함한다.
S161: 네트워크 측이 영상 이미지 중 각 관심 영역의 합성 표시 방식을 지시하기 위한 합성 지시 정보를 획득한다.
S162: 네트워크 측이 합성 지시 정보에 따라 영상 이미지의 미디어 스트림을 생성한다.
S163: 네트워크 측이 미디어 스트림을 타깃 노드에 송신한다.
S164: 타깃 노드가 미디어 스트림을 수신한다.
S165: 타깃 노드가 미디어 스트림으로부터 해석을 통해 관심 영역의 합성 지시 정보를 획득한다.
S166: 타깃 노드가 합성 지시 정보에 따라 미디어 스트림 중 영상 스트림의 재생 표시를 제어한다.
구체적으로 실시예 1 및/또는 실시예 2의 관련 설명을 참조할 수 있고, 여기서는 중복 설명하지 않는다.
이해해야 할 것은, 네트워크 측이 생성한 미디어 스트림과 네트워크 측이 타깃 노드에 송신한 미디어 스트림은 같을 수 있고, 차이가 있을 수도 있다. 실시예 1 및/또는 실시예 2와 같이, 네트워크 측은 타깃 노드의 획득 요청에 따라, 특정된 영상 스트림이 아니라 타깃 노드에 송신되는 영상 스트림을 유연하게 선택할 수 있다. 따라서 구별의 편의를 위해 네트워크 측이 생성한 미디어 스트림을 제1 미디어 스트림으로 하고, 타깃 노드에 송신된 미디어 스트림을 제2 미디어 스트림으로 한다.
실시예 4:
본 발명의 실시예는 실시예 1의 기초상에서 실시예 1에 따른 이미지 처리 방법의 단계를 수행하기 위한 이미지 처리 장치를 제공한다. 도 17을 참조하면, 상기 이미지 처리 장치는,
영상 이미지 중 각 관심 영역의 합성 표시 방식을 지시하기 위한 합성 지시 정보를 획득하는 획득 모듈(171); 및 합성 지시 정보에 의해 영상 이미지의 미디어 스트림을 생성하는 처리 모듈(172)을 포함한다. 여기서 이미지 처리 방법의 구체적인 단계는 실시예 1의 설명을 참조할 수 있고, 여기서는 중복 설명하지 않는다.
실시예 5:
본 발명의 실시예는 실시예 2의 기초상에서 실시예 2에 따른 이미지 처리 방법의 단계를 수행하기 위한 이미지 처리 장치를 제공한다. 도 18을 참조하면, 상기 이미지 처리 장치는,
영상 이미지의 영상 스트림 및 설명 데이터를 수신하는 수신 모듈(181);
설명 데이터로부터 해석을 통해 관심 영역의 합성 지시 정보를 획득하는 해석 모듈(182); 및
합성 지시 정보에 따라 영상 스트림 중 관심 영역 이미지의 합성 재생 표시를 제어하는 제어 모듈(183)을 포함한다.
여기서 이미지 처리 방법의 구체적인 단계는 실시예 2의 설명을 참조할 수 있고, 여기서는 중복 설명하지 않는다.
실시예 6:
본 발명의 실시예는 실시예 3의 기초상에서 실시예 4에 따른 이미지 처리 장치(191) 및 실시예 5에 따른 이미지 처리 장치(192)를 포함하는 이미지 처리 시스템을 제공하고, 도 19에 도시된 바와 같다. 상기 이미지 처리 시스템은 실시예 3에 따른 이미지 처리 방법을 수행한다.
여기서 이미지 처리 방법의 구체적인 단계는 실시예 3의 설명을 참조할 수 있고, 여기서는 중복 설명하지 않는다.
실시예 7:
본 발명의 실시예는 실시예 1의 기초상에서 네트워크 기기를 제공하고, 도 20을 참조하면, 이는 제1 프로세서(201), 제1 메모리(202) 및 제1 통신 버스(203)를 포함하고, 여기서 제1 통신 버스(203)는 제1 프로세서(201) 및 제1 메모리(202) 사이의 연결 통신을 위한 것이며, 상기 제1 프로세서(201)는 제1 메모리(202)에 저장된 하나 또는 복수 개의 컴퓨터 프로그램을 실행하여, 실시예 1에 따른 이미지 처리 방법의 단계를 수행한다. 구체적으로 실시예 1의 설명을 참조할 수 있고, 여기서는 중복 설명하지 않는다.
실시예 8:
본 발명의 실시예는 실시예 2의 기초상에서 단말기를 제공하고, 도 21을 참조하면, 이는 제2 프로세서(211), 제2 메모리(212) 및 제2 통신 버스(213)를 포함하고, 여기서 제2 통신 버스(213)는 제2 프로세서(211) 및 제2 메모리(212) 사이의 연결 통신을 위한 것이며, 상기 제2 프로세서(211)는 제2 메모리(212)에 저장된 하나 또는 복수 개의 컴퓨터 프로그램을 실행하여, 실시예 2에 따른 이미지 처리 방법의 단계를 수행한다. 구체적으로 실시예 2의 설명을 참조할 수 있고, 여기서는 중복 설명하지 않는다.
실시예 9:
본 발명의 실시예는 실시예 1, 2의 기초상에서 저장 매체를 제공하고, 상기 저장 매체는 컴퓨터 판독 가능 저장 매체일 수 있으며, 상기 저장 매체에는 하나 또는 복수 개의 컴퓨터 프로그램이 저장되어 있고, 상기 하나 또는 복수 개의 컴퓨터 프로그램이 하나 또는 복수 개의 프로세서에 의해 실행될 경우, 실시예 1 또는 실시예 2에 따른 이미지 처리 방법의 단계를 수행할 수 있다.
구체적으로 실시예 1, 2의 설명을 참조할 수 있고, 여기서는 중복 설명하지 않는다.
상기 저장 매체는 정보(컴퓨터 판독 가능 명령, 데이터 구조, 컴퓨터 프로그램 모듈 또는 기타 데이터)를 저장하기 위한 임의의 방법 또는 기술에서 사용하는 휘발성 또는 비휘발성, 이동 가능 또는 이동 불가능 매체를 포함한다. 저장 매체는 RAM(Random Access Memory, 랜덤 액세스 메모리), ROM(Read-Only Memory, 판독 전용 메모리), EEPROM(Electrically Erasable Programmable read only memory, 전기적 소거 가능 프로그램 가능 판독 전용 메모리), 플래시 또는 기타 메모리 기술, CD-ROM(Compact Disc Read-Only Memory, CD 판독 전용 메모리), 디지털 다기능 디스크(DVD) 또는 기타 디스크 저장, 카세트, 테이프, 디스켓 저장 또는 기타 자기 저장 장치, 또는 필요한 정보를 저장하고 컴퓨터에 의해 액세스 가능한 임의의 기타 매체를 포함하나 이에 한정되는 것은 아니다.
본 실시예는 컴퓨터 프로그램(또는 컴퓨터 소프트웨어)를 더 제공하고, 상기 컴퓨터 프로그램은 컴퓨터 판독 가능 매체에 분포될 수 있으며, 컴퓨팅 장치에 의해 실행되어 상기 실시예 1 및/또는 실시예 2에 따른 이미지 처리 방법중의 적어도 하나의 단계를 수행하고, 일부 상황에서는, 상기 실시예에서 설명한 순서와 다르게 도시된 또는 설명된 적어도 하나의 단계를 수행할 수 있다.
본 실시예는 컴퓨터 프로그램 제품을 더 제공하고, 이는 컴퓨터 판독 가능 장치를 포함하며, 상기 컴퓨터 판독 가능 장치에는 상술한 컴퓨터 프로그램이 저장된다. 본 실시예에서, 상기 컴퓨터 판독 가능 장치는 상술한 컴퓨터 판독 가능 저장 매체를 포함할 수 있다.
본 발명의 유익한 효과는 다음과 같다.
본 발명의 실시예에 따른 이미지 처리 방법, 장치, 시스템, 네트워크 기기, 단말기 및 저장 매체는 영상 이미지 중 관심 영역 사이의 합성 표시 방식을 지시하기 위한 합성 지시 정보를 획득하고; 상기 합성 지시 정보에 의해 상기 영상 이미지의 미디어 스트림을 생성하며; 즉 상기 합성 지시 정보를 영상 이미지의 코드 스트림에 기록하며, 이로써 복수 개(최소 2개)의 ROI가 존재할 경우의 영상 이미지의 인코딩 과정을 실현한다. 영상 재생 시 상기 합성 지시 정보에 의해 각 ROI의 합성 표시 재생을 제어할 수 있고, 사용자가 복수 개의 ROI 이미지를 동시에 관람하는 관람 요구를 만족시킬 수 있으며, 일부 실시 과정에서 상기 기술적 효과를 실현할 수 있으나 이에 한정되지 않는다.
본 기술분야의 통상의 기술자는, 앞에서 공개된 방법 중의 전부 또는 일부 단계, 시스템, 장치 중의 기능 모듈/유닛은 소프트웨어(컴퓨팅 장치에 의해 실행 가능한 컴퓨터 프로그램 코드에 의해 실현될 수 있음), 펌웨어, 하드웨어 또는 이들의 적당한 조합에 의해 실현될 수 있음을 이해할 수 있을 것이다. 하드웨어 실시형태에 있어서, 상술한 설명에서 언급된 기능 모듈/유닛 사이의 구분은 반드시 물리적 컴포넌트의 구분에 대응되는 것이 아니고; 예를 들면 하나의 물리적 컴포넌트는 복수 개의 기능을 구비하거나, 하나의 기능 또는 단계가 여러 개의 물리적 컴포넌트의 협력에 의해 수행될 수 있다. 일부 물리적 컴포넌트 또는 전부 물리적 컴포넌트는 중앙 처리 장치, 디지털 신호 처리 장치 또는 마이크로 프로세서와 같은 프로세서에 의해 수행되는 소프트웨어, 하드웨어, 전용 집적 회로와 같은 집적 회로에 의해 실현될 수 있다.
또한, 당업자에게 있어서, 공지된 기술은 다음과 같다. 통신 매체는 통상적으로 컴퓨터 판독 가능 명령, 데이터 구조, 컴퓨터 프로그램 모듈 또는 반송파 또는 기타 전송 매커니즘과 같은 변조 데이터 신호 중의 기타 데이터를 포함하고, 임의의 정보 전송 매체를 포함할 수도 있다. 따라서 본 발명은 임의의 특정된 하드웨어 및 소프트웨어의 조합에 한정되지 않는다.
상술한 내용은 구체적인 실시형태를 기반으로 본 발명의 실시예에 대해 상세하게 설명한 것이나 본 발명의 구체적인 실시가 이런 설명에 한정되는 것으로 이해해서는 안된다. 본 발명이 속하는 기술분야의 통상의 기술자에게 있어서, 본 발명의 사상을 벗어나지 않는 전제하에 진행한 여러가지 간단한 추리 또는 변환은 모두 본 발명의 보호범위에 속하는 것으로 보아야 한다.
171: 획득 모듈 172: 처리 모듈

Claims (21)

  1. 이미지 처리 방법으로서,
    영상 이미지 중 관심 영역 사이의 합성 표시 방식을 지시하기 위한 합성 지시 정보를 획득하는 단계; 및
    적어도 상기 합성 지시 정보 및 상기 관심 영역의 특징 정보에 의해 상기 영상 이미지의 미디어 스트림을 생성하는 단계를 포함하고,
    적어도 상기 합성 지시 정보 및 상기 관심 영역의 상기 특징 정보에 의해 상기 영상 이미지의 미디어 스트림을 생성하는 단계는,
    상기 합성 지시 정보 및 상기 특징 정보를 설명 데이터에 기록하여 상기 미디어 스트림을 생성하는 단계 - 상기 미디어 스트림은 상기 설명 데이터를 포함함 - ; 및
    상기 영상 이미지의 상기 관심 영역을 획득하고, 동일한 이미지 프레임 중 각 상기 관심 영역의 관련 이미지를 상기 합성 지시 정보에 따라 하나의 동일한 이미지 프레임에 합성한 후 하나의 처리할 이미지 프레임으로 하고, 상기 처리할 이미지 프레임을 적어도 하나의 슬라이스 유닛에 구분하여 인코딩을 진행함으로써 상기 관심 영역의 제2 영상 스트림을 생성하는 단계 - 상기 미디어 스트림은 상기 제2 영상 스트림을 포함함 -
    를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 합성 지시 정보는,
    상기 관심 영역을 스티칭 표시하도록 지시하기 위한 제1 지시 정보;
    상기 관심 영역을 융합 표시하도록 지시하기 위한 제2 지시 정보;
    상기 관심 영역을 네스팅 표시하도록 지시하기 위한 제3 지시 정보;
    상기 관심 영역을 축소 또는 확대 표시하도록 지시하기 위한 제4 지시 정보;
    상기 관심 영역을 회전 표시하도록 지시하기 위한 제5 지시 정보; 및
    상기 관심 영역을 크로핑 표시하도록 지시하기 위한 제6 지시 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  3. 제1항에 있어서,
    상기 특징 정보는,
    위치 정보 - 상기 위치 정보는 상기 관심 영역 특정 위치의 좌표 정보, 상기 관심 영역의 길이 값 및 폭 값을 포함함 - 포함하거나; 또는
    인코딩 품질 지시 정보를 포함하거나; 또는
    상기 위치 정보 및 상기 인코딩 품질 지시 정보를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  4. 제1항에 있어서,
    상기 설명 데이터는 보충 강화 정보, 영상 가용성 정보, 시스템 계층 미디어 속성 설명 유닛 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  5. 제1항에 있어서,
    상기 미디어 스트림은 제1 영상 스트림을 더 포함하고,
    상기 이미지 처리 방법은,
    상기 영상 이미지의 상기 관심 영역을 획득하고, 동일한 이미지 프레임 중 각 상기 관심 영역의 관련 이미지를 적어도 하나의 슬라이스 유닛에 구분하여 독립적으로 인코딩을 진행함으로써 상기 영상 이미지의 제1 영상 스트림을 생성하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  6. 제5항에 있어서,
    상기 미디어 스트림을 저장하거나 타깃 노드에 송신하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  7. 제6항에 있어서,
    상기 미디어 스트림을 타깃 노드에 송신하는 단계 이전에,
    상기 타깃 노드가 상기 영상 이미지에 대한 획득 요청을 수신하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  8. 제7항에 있어서,
    상기 미디어 스트림을 타깃 노드에 송신하는 단계는,
    상기 획득 요청이 지시하는 획득 콘텐츠의 식별자 정보를 해석하고, 상기 식별자 정보에 따라 상기 미디어 스트림을 상기 타깃 노드에 송신하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  9. 제8항에 있어서,
    상기 식별자 정보에 따라 상기 미디어 스트림을 상기 타깃 노드에 송신하는 단계는,
    상기 식별자 정보가 제1 식별자일 경우, 상기 제1 영상 스트림 및 상기 설명 데이터를 상기 타깃 노드에 송신하는 단계;
    상기 식별자 정보가 제2 식별자일 경우, 상기 제1 영상 스트림 중 관심 영역의 슬라이스 유닛 및 상기 설명 데이터를 추출하여 상기 타깃 노드에 송신하는 단계; 및
    상기 식별자 정보가 제3 식별자일 경우, 상기 제2 영상 스트림 및 상기 설명 데이터를 상기 타깃 노드에 송신하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  10. 제1항에 있어서,
    상기 영상 이미지는 파노라마 영상 이미지인 것을 특징으로 하는 이미지 처리 방법.
  11. 이미지 처리 방법으로서,
    영상 이미지의 영상 스트림 및 설명 데이터를 수신하는 단계 - 상기 설명 데이터에는 상기 영상 이미지 중 관심 영역 사이의 합성 표시 방식을 지시하기 위한 합성 지시 정보 및 상기 관심 영역의 특징 정보가 기록되고, 상기 영상 스트림은 제2 영상 스트림을 포함하며, 상기 제2 영상 스트림은 동일한 이미지 프레임 중 각 상기 관심 영역의 관련 이미지를 합성 지시 정보에 따라 하나의 동일한 이미지 프레임에 합성한 후 하나의 처리할 이미지 프레임으로 하고, 상기 처리할 이미지 프레임을 적어도 하나의 슬라이스 유닛에 구분하여 인코딩을 진행함으로써 생성됨 -;
    상기 설명 데이터로부터 해석을 통해 관심 영역의 합성 지시 정보 및 상기 관심 영역의 특징 정보를 획득하는 단계; 및
    상기 합성 지시 정보 및 상기 관심 영역의 상기 특징 정보에 따라 상기 영상 스트림 중 관심 영역 이미지의 합성 재생 표시를 제어하는 단계
    를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  12. 네트워크 기기로서,
    제1 프로세서, 제1 메모리 및 제1 통신 버스를 포함하고,
    상기 제1 통신 버스는 제1 프로세서 및 제1 메모리 사이의 연결 통신을 위한 것이며,
    상기 제1 프로세서는 제1 메모리에 저장된 하나 또는 복수 개의 컴퓨터 프로그램을 실행하여, 제1항 내지 제10항 중 어느 한 항에 기재된 이미지 처리 방법의 단계를 수행하는 것을 특징으로 하는 네트워크 기기.
  13. 단말기로서,
    제2 프로세서, 제2 메모리 및 제2 통신 버스를 포함하고,
    상기 제2 통신 버스는 제2 프로세서 및 제2 메모리 사이의 연결 통신을 위한 것이며,
    상기 제2 프로세서는 제2 메모리에 저장된 하나 또는 복수 개의 컴퓨터 프로그램을 실행하여, 제11항에 기재된 이미지 처리 방법의 단계를 수행하는 것을 특징으로 하는 단말기.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
KR1020217011376A 2018-09-19 2019-07-23 이미지 처리 방법, 장치, 시스템, 네트워크 기기, 단말기 및 저장 매체 KR102649812B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811095593.9A CN110933461B (zh) 2018-09-19 2018-09-19 图像处理方法、装置、系统、网络设备、终端及存储介质
CN201811095593.9 2018-09-19
PCT/CN2019/097355 WO2020057249A1 (zh) 2018-09-19 2019-07-23 图像处理方法、装置、系统、网络设备、终端及存储介质

Publications (2)

Publication Number Publication Date
KR20210059759A KR20210059759A (ko) 2021-05-25
KR102649812B1 true KR102649812B1 (ko) 2024-03-21

Family

ID=69856069

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217011376A KR102649812B1 (ko) 2018-09-19 2019-07-23 이미지 처리 방법, 장치, 시스템, 네트워크 기기, 단말기 및 저장 매체

Country Status (6)

Country Link
US (1) US12058446B2 (ko)
EP (1) EP3855750A4 (ko)
JP (1) JP7425788B2 (ko)
KR (1) KR102649812B1 (ko)
CN (2) CN115883882A (ko)
WO (1) WO2020057249A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965749A (zh) * 2020-12-14 2022-01-21 深圳市云数链科技有限公司 静态摄像机视频传输方法及系统
CN113206853B (zh) * 2021-05-08 2022-07-29 杭州当虹科技股份有限公司 一种视频批改结果保存改进方法
CN113573059B (zh) * 2021-09-23 2022-03-01 中兴通讯股份有限公司 图像显示方法、装置、存储介质及电子装置
CN118101875A (zh) * 2022-11-22 2024-05-28 中兴通讯股份有限公司 多媒体处理方法、媒体服务器和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1889686A (zh) * 2006-07-14 2007-01-03 北京时越网络技术有限公司 一种同时显示多路视频信息的方法
CN101521745A (zh) * 2009-04-14 2009-09-02 王广生 一组多镜头光心重合式全方位摄像装置及全景摄像、转播的方法
JP2016048839A (ja) 2014-08-27 2016-04-07 株式会社小糸製作所 電子制御ユニットおよび車両用映像システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165641A (ja) * 1998-11-24 2000-06-16 Matsushita Electric Ind Co Ltd 画像処理方法，画像処理装置およびデータ記憶媒体
JP2006352539A (ja) 2005-06-16 2006-12-28 Sharp Corp 広視野映像システム
CN102271249B (zh) * 2005-09-26 2014-04-09 韩国电子通信研究院 用于可伸缩视频的感兴趣区域信息设置方法和解析方法
KR101255226B1 (ko) * 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
US9691098B2 (en) * 2006-07-07 2017-06-27 Joseph R. Dollens Method and system for managing and displaying product images with cloud computing
JP5194679B2 (ja) * 2007-09-26 2013-05-08 日産自動車株式会社 車両用周辺監視装置および映像表示方法
KR101176065B1 (ko) 2008-12-22 2012-08-24 한국전자통신연구원 스테레오스코픽 영상에 관한 데이터를 전송하는 방법, 스테레오스코픽 영상을 재생하는 방법, 및 스테레오스코픽 영상 데이터의 파일 생성 방법
US20120140067A1 (en) * 2010-12-07 2012-06-07 Scott Crossen High Definition Imaging Over Legacy Surveillance and Lower Bandwidth Systems
JP5870835B2 (ja) 2012-04-27 2016-03-01 富士通株式会社 動画像処理装置、動画像処理方法および動画像処理プログラム
US9827487B2 (en) * 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
US9497405B2 (en) * 2012-07-17 2016-11-15 Nec Display Solutions, Ltd. Display device for displaying videos side by side without overlapping each other and method for the same
JP6141084B2 (ja) * 2013-04-19 2017-06-07 キヤノン株式会社 撮像装置
CN103402087A (zh) * 2013-07-23 2013-11-20 北京大学 一种基于可分级位流的视频编解码方法
WO2015197815A1 (en) 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream
CN105578204B (zh) 2014-10-14 2020-10-30 海信视像科技股份有限公司 一种多视频数据显示的方法及装置
CN106331732B (zh) 2016-09-26 2019-11-12 北京疯景科技有限公司 生成、展现全景内容的方法及装置
CN108322727A (zh) * 2018-02-28 2018-07-24 北京搜狐新媒体信息技术有限公司 一种全景视频传输方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1889686A (zh) * 2006-07-14 2007-01-03 北京时越网络技术有限公司 一种同时显示多路视频信息的方法
CN101521745A (zh) * 2009-04-14 2009-09-02 王广生 一组多镜头光心重合式全方位摄像装置及全景摄像、转播的方法
JP2016048839A (ja) 2014-08-27 2016-04-07 株式会社小糸製作所 電子制御ユニットおよび車両用映像システム

Also Published As

Publication number Publication date
JP2022501902A (ja) 2022-01-06
CN115883882A (zh) 2023-03-31
CN110933461A (zh) 2020-03-27
KR20210059759A (ko) 2021-05-25
CN110933461B (zh) 2022-12-30
EP3855750A4 (en) 2021-10-20
JP7425788B2 (ja) 2024-01-31
US12058446B2 (en) 2024-08-06
WO2020057249A1 (zh) 2020-03-26
US20220053127A1 (en) 2022-02-17
EP3855750A1 (en) 2021-07-28

Similar Documents

Publication Publication Date Title
KR102649812B1 (ko) 이미지 처리 방법, 장치, 시스템, 네트워크 기기, 단말기 및 저장 매체
US11653065B2 (en) Content based stream splitting of video data
US10742999B2 (en) Methods and apparatus for signaling viewports and regions of interest
KR102258448B1 (ko) 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치
US11272159B2 (en) Method and device for transmitting stereo media content
JP7399224B2 (ja) メディアコンテンツを送信するための方法、装置及びコンピュータプログラム
US20180376152A1 (en) Methods and apparatus for deriving composite tracks with track grouping
US11178377B2 (en) Methods and apparatus for spherical region presentation
KR20210000761A (ko) 콘텐츠를 제공 및 디스플레이하기 위한 장치 및 방법
US10757463B2 (en) Information processing apparatus and information processing method
US20180176650A1 (en) Information processing apparatus and information processing method
TW201841499A (zh) 用於軌道合成的方法以及裝置
KR20200008631A (ko) 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치
KR102413098B1 (ko) 영상 처리 방법 및 이를 이용한 영상 재생 장치
KR102612605B1 (ko) 다수 전방위 영상 기반 프로젝션 다중화 영상 생성 및 재현을 위한 방법 및 그 장치
KR102499900B1 (ko) 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법
KR20210128355A (ko) 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant