KR100700218B1 - 파노라마 영상의 움직임 추정 및 보상을 위해 가상 영상영역을 생성하는 방법 및 장치 - Google Patents

파노라마 영상의 움직임 추정 및 보상을 위해 가상 영상영역을 생성하는 방법 및 장치 Download PDF

Info

Publication number
KR100700218B1
KR100700218B1 KR1020050072969A KR20050072969A KR100700218B1 KR 100700218 B1 KR100700218 B1 KR 100700218B1 KR 1020050072969 A KR1020050072969 A KR 1020050072969A KR 20050072969 A KR20050072969 A KR 20050072969A KR 100700218 B1 KR100700218 B1 KR 100700218B1
Authority
KR
South Korea
Prior art keywords
reference data
virtual image
image
patch
mapping
Prior art date
Application number
KR1020050072969A
Other languages
English (en)
Other versions
KR20060050351A (ko
Inventor
박광훈
Original Assignee
경희대학교 산학협력단
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단, 삼성전자주식회사 filed Critical 경희대학교 산학협력단
Priority to US11/202,090 priority Critical patent/US7627194B2/en
Priority to EP05780537.6A priority patent/EP1779661A4/en
Priority to PCT/KR2005/002653 priority patent/WO2006016789A1/en
Priority to JP2007525554A priority patent/JP4575447B2/ja
Priority to AU2005272288A priority patent/AU2005272288B2/en
Priority to CA 2576707 priority patent/CA2576707C/en
Publication of KR20060050351A publication Critical patent/KR20060050351A/ko
Application granted granted Critical
Publication of KR100700218B1 publication Critical patent/KR100700218B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 추정 및 보상을 효율적으로 수행하기 위해 가상 영상 영역을 설정하는 방법 및 장치에 관한 것으로, 본 발명에 의하면 움직임 추정을 수행하려는 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는지 검색하여 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 선택적으로 매핑함으로써 전방향 영상 정보를 담고 있는 파노라마 영상을 2차원 동영상 영상 코딩 방법을 그대로 이용하여 코딩하면서도 움직임 추정 및 보상 과정에서 코딩 효율을 크게 증대시킬 수 있다.
파노라마 영상, 가상 영상 영역

Description

파노라마 영상의 움직임 추정 및 보상을 위해 가상 영상 영역을 생성하는 방법 및 장치{Method and Device for making virtual image region for motion estimation and compensation of panorama image}
도 1은 파노라마 영상을 타일 형식의 패치들로 분할하여 전송하는 방법을 설명하기 위한 도면,
도 2는 종래 기술에 따라 패딩을 이용하여 가상 영상 영역을 구성하는 방법을 설명하기 위한 도면,
도 3은 본 발명에 따라 타일 형식의 패치에 대한 가상 영상 영역을 8개의 섹션으로 구분한 것을 나타낸 도면,
도 4는 본 발명에 따라 패치의 위치에 따른 가상 영상 영역을 생성하는 방법을 설명하기 위한 도면,
도 5a 내지 도 5b는 본 발명에 따라 코딩하려는 패치의 위치가 파노라마 영상의 최좌측 또는 최우측에 위치하는 경우 가상 영상 영역을 생성하는 방법을 설명하기 위한 도면,
도 6은 본 발명에 따른 가상 영상 영역의 생성 방법과 관련한 부가 정보를 나타낸 도면,
도 7은 본 발명에 따른 가상 영상 영역 생성 방법을 인코더 측에서 수행하는 과정을 나타낸 순서도,
도 8은 본 발명에 따라 디코더에 구비되어 패치의 가상 영상 영역을 생성하는 장치의 블록도,
도 9는 본 발명에 따른 가상 영상 영역이 적용될 수 있는 인코더의 블록도,
도 10은 본 발명에 따른 가상 영상 영역 생성 방법을 디코더 측에서 수행하는 과정을 나타낸 순서도,
도 11은 본 발명에 따라 디코더에 구비되어 패치의 가상 영상 영역을 생성하는 장치의 블록도,
도 12는 본 발명에 따른 가상 영상 영역 생성 장치가 적용될 수 있는 디코더의 블록도이다.
본 발명은 파노라마 영상의 움직임 추정 및 보상에 관한 것으로, 보다 상세하게는 360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 추정 및 보상을 효율적으로 수행하기 위해 가상 영상 영역을 설정하는 방법 및 장치에 관한 것이다.
전 방향(omni-directional) 비디오 카메라 시스템은 고정 시점(視點)을 기준으로 360도 전 방향 영상을 촬영할 수 있는 카메라 시스템을 말한다. 전 방향 비디오 카메라 시스템은 카메라에 쌍곡면 거울과 같은 특수 형태의 거울이나 어안렌즈 와 같은 특수 렌즈를 장착하거나 다수의 카메라를 이용하여 전 방향을 촬영한다.
전 방향 비디오 코딩 방법이 적용되는 일 예로 삼차원 실감 방송이 있다. 삼차원 실감 방송의 일 예를 들면, 야구 경기 등에서 다양한 시점(視點)에서의 광경에 대한 영상 정보는 시청자측 단말기로 모두 주어진다. 즉, 투수의 입장에서의 시점, 포수의 입장에서의 시점, 타자의 입장에서의 시점, 1루석 관중의 입장에서의 시점 등에서의 다양한 영상 정보가 시청자에게 제공된다. 시청자는 보고 싶은 시점을 스스로 결정하여 그 시점에서의 영상을 시청할 수 있다.
전 방향 카메라 시스템에 의해 촬영된 영상은 3차원의 구형 환경에 대응되는 특징을 갖는다. 따라서 전 방향 카메라 시스템에 의해 촬영된 3차원 영상을 2차원 평면 영상으로 변환한다. 이 때 2차원 평면 영상은 360도 전 방향 영상을 포함하는 파노라마 영상이 되며, 2차원 파노라마 영상에 대해 전 방향 비디오 코딩이 수행된다.
이러한 파노라마 영상은 통상적으로 기존의 2차원 영상에 비하여 크기가 매우 크며, 좋은 화질의 영상을 전송하기 위하여 대역폭이 지나치게 커지게 된다. 전방향 영상은 사용자가 한번에 전방향 카메라가 획득한 모든 영상부분에 대하여 관심이 있는 것이 아니라, 전체 영상에 대한 정보를 바탕으로 사용자가 시점 변화를 자유자재로 수행하여, 관심있는 부분의 영상만을 세밀하게 관찰하기 원하므로, 현재 사용자의 관심밖에 해당되는 부분의 영상에 대해서는 최소의 전송 대역폭으로 수신단에 보내도록 하는 코덱이 필요하다. 이러한 측면에서, 파노라마 영상을 타일 형식의 패치로 분할하여 송수신하는 방법이 제안되었다.
도 1은 파노라마 영상을 타일 형식의 패치들로 분할하여 전송하는 방법을 설명하기 위한 도면이다.
이러한 방법은 인코딩을 완료한 파노라마 영상을 부분적으로 작은 타일형식의 패치로 나누어 보관하고 있다가, 사용자의 요구에 의하여 보여져야 하는 부분을 중심으로 몇 개의 패치를 디코더측에 전송하는 방법이다. 이는 파노라마 영상 전체를 일괄적으로 디코더측에 전송하는 것이 아니라, 영상을 타일형식의 패치로 나누어서 전송함으로서 전송되는 데이터의 크기 및 전송 대역폭을 크게 줄이고 모든 영상정보를 보내는데 필요한 초기화지연을 방지하며, 현재 보여지지는 않지만, 사용자의 요구에 의해 보여지고 있는 관심영역의 주변부도 함께 송수신함으로써 사용자로 하여금 시점변환을 비교적 용이하게 한다.
위의 타일 단위의 패치를 디코더측에 전송할 때 기존의 2차원 동영상 코딩 기법을 수정없이 그대로 사용하여 송수신하는 방법이 제안되어 있다. 사용되는 기존의 2차원 동영상 코딩 기법으로는 MPEG-4 Part 2 Visual이나, H.264 등을 예로 들수 있는데, 종래 기술에 의하면 도 2에 도시된 바와 같이, 참조 영상 프레임(reference image frame) 경계상에서 경계부에 걸친 움직임 추정이나 보상시 효율을 높이기 위해 UMV (Unrestricted Motion Vector) 모드를 두어 참조 영상 프레임 밖에 가상영상 영역을 두고 경계부의 픽셀값을 아래,위,좌,우로 패딩을 수행함으로써 현재영상의 움직임 추정을 수행한다. 이는 2차원 동영상 처리 기법에서 전송하여야 할 영상 프레임 밖에는 아무런 영상데이터를 참조할 수 없어서 그 상황에 보다 높은 효율을 획득하기 위해 사용된 방법이나, 본 발명에서 언급하는 거대 크기 의 파노라마 영상을 작은 타일형식의 패치단위의 영상 프레임을 코딩하는 경우에는 각 패치의 위치에 따라 참조 영상이 존재할 수 있으므로, 기존의 2차원 동영상 코딩방법을 그대로 사용하는 것은 적절하지 못하다.
이에, 본 발명은 타일 형식의 패치단위로 분할되어 송수신되는 파노라마 영상의 움직임 보상 및 움직임 추정을 위해 가상 영상 영역을 생성하는 방법에 있어서, 무조건 참조 영상 프레임 경계부의 픽셀을 프레임 외각으로 패딩하는 것이 아니라, 이전의 파노라마 영상내에 가상 영상 영역에 속하는 실제 영상 데이터가 있는 경우 그것을 그대로 사용하여 가상 영상 영역을 생성하는 방법 및 장치를 제공하는데 그 목적이 있다.
이러한 목적을 달성하기 위한 본 발명은, 타일 형식의 패치단위로 분할하여 전송하기 위한 파노라마 영상의 움직임 추정을 위해 가상 영상 영역을 생성하는 방법에 있어서, (a) 움직임 추정을 수행하려는 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는지 검색하는 단계; 및 (b) 상기 검색 결과에 기초하여 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 선택적으로 매핑하는 단계를 포함한다.
상기 (b)단계는, (b1) 상기 검색 결과 상기 참조 데이터가 존재하는 경우 상기 참조 데이터가 소정 시간 내에 갱신된 것인지 판단하는 단계; 및
(b2) 상기 판단 결과 소정 시간 내에 갱신된 것이면 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 매핑하는 단계를 포함하는 것이 바람직하며, 여기서, 상기 판단 결과 상기 소정 시간 내에 갱신된 것이 아니면 상기 참조 데이터를 상기 가상 영상 영역의 전부 또는 일부에 매핑할 것인지 상기 이전의 파노라마 영상 내에서 상기 현재 패치의 위치에 해당하는 참조 영상의 경계부에 있는 화소들을 패딩하여 상기 가상 영상 영역의 전부 또는 일부를 생성할 것인지의 여부를 결정하여 그 결정에 따라 매핑 또는 패딩을 수행하는 것이 바람직하다.
한편, 수신측에서도 동일하게 상기 패치에 대한 가상 영상 영역의 전부 또는 일부를 생성할 수 있도록 하는 부가정보를 전송하기 위해 상기 결정에 관한 정보를 기록하는 단계를 더 포함하는 것이 바람직하다.
또한, 참조 데이터가 존재하지 않는 경우 상기 이전의 파노라마 영상 내에서 상기 현재 패치의 위치에 해당하는 참조 영상의 경계부에 있는 화소들을 패딩하여 상기 가상 영상 영역의 전부 또는 일부를 생성하는 것이 바람직하다.
또한, 상기 검색 단계에서 상기 가상 영상 영역의 전부 또는 일부가 상기 이전의 파노라마 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면 상기 경계의 반대쪽의 경계부터 소정 범위까지의 영상을 상기 하나의 경계의 바깥 쪽에 존재하는 가상 영상 영역 부분에 대한 참조 데이터로 인지하는 것이 바람직하다.
또한 본 발명은, 타일 형식의 패치단위로 분할하여 전송하기 위한 파노라마 영상의 움직임 추정을 위해 가상 영상 영역을 생성하는 장치에 있어서, 움직임 추정을 수행하려는 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는지 검색하는 검색부; 상기 검색부의 검색 결과 상기 참조 데이터가 존재하는 경우 상기 참조 데이터가 소정 시간 내에 갱신된 것인지 여부를 판단하는 판단부; 상기 판단 결과 상기 참조 데이터가 상기 소정 시간 내에 갱신된 것인 경우에 상기 참조 데이터를 상기 가상 영상 영역의 전부 또는 일부에 매핑하는 매핑부; 상기 판단 결과 상기 참조 데이터가 상기 소정 시간 내에 갱신된 것이 아니면 매핑을 수행할 것인지 패딩을 수행할 것인지의 여부를 결정하는 결정부; 상기 검색부의 검색 결과 상기 참조 데이터가 존재하지 않는 경우 상기 이전의 파노라마 영상 내에서 상기 현재 패치의 위치에 해당하는 참조 영상의 경계부에 있는 화소들을 패딩하여 상기 가상 영상 영역의 전부 또는 일부를 생성하는 패딩부를 포함한다.
또한 본 발명은, 타일 형식의 패치단위로 분할되어 수신된 파노라마 영상의 움직임 보상을 위해 가상 영상 영역을 생성하는 방법에 있어서, (a) 움직임 보상을 수행하려는 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는지 검색하는 단계; 및 (b) 상기 검색 결과에 기초하여 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 선택적으로 매핑하는 단계를 포함하며, 상기 (b)단계는, (b1) 상기 검색 결과 상기 참조 데이터가 존재하는 경우 상기 참조 데이터가 소정 시간 내에 갱신된 것인지 판단하는 단계; 및 (b2) 상기 판단 결과 상기 참조 데이터가 상기 소정 시간 내에 갱신된 것이면 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 매핑하는 단계를 포함하는 것이 바람직하다.
또한 본 발명은, 타일 형식의 패치단위로 분할되어 수신된 파노라마 영상의 움직임 보상을 위해 가상 영상 영역을 생성하는 장치에 있어서, 움직임 보상을 수행하려는 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는지 검색하는 검색부; 상기 검색부의 검색 결과 상기 참조 데이터가 존재하는 경우 상기 참조 데이터가 소정 시간 내에 갱신된 것인지 판단하는 판단부; 상기 판단부의 판단 결과 상기 참조 데이터가 상기 소정 시간 내에 갱신된 것인 경우에 상기 참조 데이터를 상기 가상 영상 영역의 전부 또는 일부에 선택적으로 매핑하는 매핑부; 상기 판단부의 판단 결과 상기 참조 데이터가 상기 소정 시간 내에 갱신된 것이 아니면, 송신측으로부터 수신한 부가정보로서, 송신측에서 상기 참조 데이터를 상기 가상 영상 영역의 전부 또는 일부에 매핑하였는지 상기 이전의 파노라마 영상 내에서 상기 현재 패치의 위치에 해당하는 참조 영상의 경계부에 있는 화소들을 패딩하였는지를 나타내는 정보를 해석하는 부가정보해석부; 및 상기 검색부의 검색 결과 상기 참조 데이터가 존재하지 않는 경우 상기 이전의 파노라마 영상 내에서 상기 현재 패치의 위치에 해당하는 참조 영상의 경계부에 있는 화소들을 패딩하여 상기 가상 영상 영역의 전부 또는 일부를 생성하는 패딩부를 포함한다.
또한 본 발명은, 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 움직임 추정 및 움직임 보상을 수행하려는 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는지 검색하는 단계;
상기 검색 결과 상기 참조 데이터가 존재하는 경우 상기 참조 데이터가 소정 시간 내에 갱신된 것인지 판단하는 단계; 및 상기 판단 결과 상기 참조 데이터가 상기 소정 시간 내에 갱신된 것이면 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 매핑하는 단계를 포함하는, 타일 형식의 패치단위로 분할하여 전송하기 위한 파노라마 영상의 움직임 추정 및 움직임 보상을 위해 가상 영상 영역을 생성하는 방법을 수행하기 위한 프로그램을 기록한 기록매체를 제공한다.
또한 본 발명은, 타일 형식의 패치단위로 분할하여 전송하기 위한 파노라마 영상의 움직임 추정 방법에 있어서, (a) 움직임 추정을 수행하려는 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는 경우 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 매핑하는 단계; (b) 상기 참조 데이터가 매핑된 상기 가상 영상 영역의 전부 또는 일부를 이용하여 참조 영상에 대한 상기 현재 패치의 모션 벡터를 생성하는 단계를 포함한다.
또한 본 발명은, 타일 형식의 패치단위로 분할하여 전송하기 위한 파노라마 영상의 부호화 방법에 있어서, (a) 움직임 추정을 수행하려는 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는 경우 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 매핑하는 단계; (b) 상기 참조 데이터가 매핑된 상기 가상 영상 영역의 전부 또는 일부를 이용하여 참조 영상에 대한 상기 현재 패치의 모션 벡터를 생성하는 단계; 및 (c) 상기 모션 벡터를 이용하여 상기 현재 패치에 대한 움직임 보상을 수행하는 단계를 포함한다.
또한 본 발명은, 타일 형식의 패치단위로 분할되어 수신된 파노라마 영상의 움직임 보상 방법에 있어서, (a) 현재 파노라마 영상에 포함된 현재 패치에 대한 모션 벡터를 입력받는 단계; (b) 상기 모션 벡터가 나타내는, 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는 경우 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 매핑하는 단계; 및 (c) 상기 참조 데이터가 매핑된 상기 가상 영상 영역의 전부 또는 일부를 이용하여 상기 모션 벡터가 적용된 참조 영상의 패치를 생성하는 단계를 포함한다.
또한 본 발명은, 타일 형식의 패치단위로 분할되어 수신된 파노라마 영상의 복호화 방법에 있어서, (a) 현재 파노라마 영상에 포함된 현재 패치에 대한 모션 벡터를 입력받는 단계; (b) 상기 모션 벡터가 나타내는 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는 경우 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 매핑하는 단계; (c) 상기 참조 데이터가 매핑된 상기 가상 영상 영역의 전부 또는 일부를 이용하여 참조 영상에 대한 움직임 보상을 수행하는 단계; 및 (d) 상기 현재 패치와 상기 움직임 보상이 수행된 패치 간의 차분 신호 및 상기 움직임 보상이 수행된 패치를 이용하여 상기 현재 패치를 복원하는 단계를 포함한다.
이하에서 첨부된 도면을 참조하여, 본 발명의 바람직한 실시예를 상세히 설명한다.
도 3은 타일 형식의 패치에 대한 가상 영상 영역을 8개의 섹션으로 구분한 것을 나타낸 도면이다. 본 발명에 따르면 파노라마 영상 전체가 타일 형식의 패치로 분할되므로, 패치의 위치에 따라 가상 영상 영역의 생성 방법이 각 섹션별로 달라질 수 있을 것이다. 이하에서 보다 상세히 설명한다.
도 4는 본 발명에 따라 패치의 위치별로 가상 영상 영역을 생성하는 방법을 설명하기 위한 도면이다.
우선, 현재 코딩하려는 패치의 위치가 A와 같이 파노라마 영상의 가장자리에 위치하지 않은 내부 패치의 경우 가상 영상 영역의 섹션별로 이전의 파노라마 영상 내에 그에 해당하는 위치의 영역에 최근에 갱신된 참조 데이터가 존재하면, 해당 참조 데이터를 해당 섹션에 매핑한다.
만약 참조 데이터의 갱신이 오래전에 수행되었을 경우에는 이전의 파노라마 영상 내에서 현재 코딩하려는 패치와 동일한 위치에 해당하는 프레임(이하 참조 패치라 함)의 경계 화소값으로 패딩을 수행할지 또는 해당 참조 데이터를 그대로 사용할 지 결정할 수 있다. 만약 결정을 수행하는 과정이 포함되면, 수신측, 즉 디코딩 측에서도 동일하게 가상 영역을 설정할 수 있도록 하기 위해 그 결정에 대한 부가정보를 생성하여 수신단 측에 전송하도록 하는 것이 바람직하다. 이 부가 정보에 대하여는 후술한다.　　한편, 참조 데이터가 존재하지 않는 경우, 참조 패치의 경계부에 있는 화소들을 패딩하여 해당 섹션을 생성한다.
다음으로, 현재 코딩하려는 패치의 위치가 B와 같이 파노라마 영상의 상단부의 가장자리에 위치한 패치의 경우 도 3에서의 5,6번 섹션에 해당하는 가상 영상 영역은 해당 영역을 화소값128의 값으로 매핑하고 나머지 섹션들에 대하여는 A에서 의 가상 영상 영역 생성 과정과 동일한 절차를 수행한다.
다른 위치에 있는 패치들에 대하여도 전술한 절차가 동일하게 수행된다. 다만, F,D,H,G,E,I와 같이 파노라마 영상의 최좌측 또는 최우측에 위치한 패치의 경우 움직임 추정 및 보상의 효율을 높이기 위해 조금 다른 절차를 수행할 수 있다. 이하에서 상세히 설명한다.
도 5a는 코딩하려는 패치의 위치가 파노라마 영상의 최좌측에 위치하는 경우 가상영상 영역을 설정하는 방법을 설명하기 위한 도면이다.
패치 D의 경우 3,5,7번의 섹션이 파노라마 영상의 바깥쪽에 존재하므로 전술한 알고리즘에 따르면 이에 대한 참조 데이터가 존재하지 않는다. 그러나, 파노라마 영상의 특성상 D는 G,E,I와 상관 관계가 많으므로, 3,5,7에 대한 가상 영상 영역을 무조건적으로 패딩을 이용하여 생성하기 보다는 이전 파노라마 영상의 G,E,I를 참조하여 생성하는 것이 효율적이다. 즉, D패치의 5번 섹션에는 G의 일부 데이터가, 3번 섹션에는 E의 일부 데이터가, 7번 섹션에는 I의 일부데이터가 매핑될 것이다. 다만, G,E,I에서 참조되는 영상 데이터가 존재하지 않거나 오래 전에 갱신된 경우에는 전술한 알고리즘이 사용될 것이다. 도 5b는 코딩하려는 패치의 위치가 파노라마 영상의 최우측에 위치하는 경우 가상영상 영역을 설정하는 방법을 설명하기 위한 도면이다. 이러한 경우 마찬가지로 E패치의 4,6,8섹션을 위해서는 이전 파노라마 영상의 F,D,H가 이용된다.
도 6은 본 발명에 따른 가상 영상 영역의 생성 방법과 관련한 부가 정보를 나타낸 도면이다. 전술한 바와 같이 참조 데이터가 존재하긴 하지만 오래 전에 갱 신되어 신뢰도가 떨어지는 경우, 이러한 참조 데이터를 그냥 이용하여 매핑할 것인지 아니면 참조 패치로부터 패딩하여 가상 영상 영역을 구성할 것인지 결정하고 그에 따라 매핑 또는 패딩을 수행하게 되는데, 수신 측에서도 이와 동일하게 가상 영역을 설정할 필요가 있으므로, 송신측에서는 가상 영상 영역의 각 섹션에 대하여 어떠한 방법을 사용하였는지에 대한 정보를 수신측에 전송할 필요가 있다. 본 실시예에서와 같이 하나의 패치에 대한 가상 영상 영역을 8개의 섹션으로 분할한 경우, 이에 대한 부가정보를 위해 도시된 바와 같이 8비트가 필요하게 될 것이다. 도시된 바와 같이 패딩을 사용한 경우 0, 참조 데이터를 사용하여 매핑한 경우 1을 사용하기로 송신측과 수신측에 미리 정의되어 있다면, 이 8비트의 부가정보 전송으로 송신측과 수신측은 동일하게 가상 영상 영역을 생성할 수 있을 것이다. 예를 들어, 송신측에서 1번, 4번, 6번 섹션에 오래전에 갱신된 참조 데이터를 그대로 이용한다면, "10010100"의 정보를 수신측에 전송하면 되고, 만약 참조 패치로부터의 패딩을 수행하는 경우라면,　 "00000000"의 정보를 수신측에 전송함으로써 수신측에서도 동일한 가상영상영역을 구축해 낼 수 있을 것이다. 본 실시예에서는 고정장(Fixed length Coding) 부호화를 예로 들었지만, 정보의 확률적 분포를 이용한 가변장 (Variable Length Coding) 부호화를 사용할 수도 있을 것이다.
도 7은 본 발명에 따른 가상 영상 영역 생성 방법을 인코더 측에서 수행하는 과정을 나타낸 순서도이다.도시된 바와 같이 움직임 추정을 하려는 현재 패치의 일 섹션에 대하여 이전의 파노라마 영상에서 참조할 수 있는 참조 데이터가 존재하는지 검색한다(710). 이때, 전술한 바와 같이 파노라마 영상의 최좌측 또는 최우측에 존재하는 패치의 경우 반대쪽 끝의 영상에서 참조 데이터를 검색할 수 있다. 참조 데이터가 존재하는 경우, 검색된 참조 데이터가 최근에 갱신된 것인지 판단한다(730). 최근에 갱신된 것인지의 기준시간은 다양하게 설정될 수 있을 것이다. 최근에 갱신된 것으로 판단되면, 해당 참조 데이터를 현재 패치의 가상 영상 영역으로 사용하기 위해 해당 섹션에 매핑한다.
참조 데이터가 최근에 갱신되지 않은 경우에는 참조 데이터에 대한 신뢰도가 떨어지므로, 이러한 참조 데이터를 그대로 사용하기 위해 매핑을 수행할 것인지 아니면 참조 패치의 경계부에 있는 화소들로부터 패딩을 수행할 것인지의 여부를 결정해야 한다(740). 매핑으로 결정한 경우 해당 참조 데이터를 현재 패치의 가상 영상 영역으로 사용하기 위해 해당 섹션에 매핑하고(750), 패딩으로 결정한 경우, 참조 패치의 경계부에 있는 화소들로부터 패딩을 수행하여 가상 영상 영역을 생성한다(760). 이때, 전술한 바와 같이 인코더와 디코더의 동기화를 위해 어떠한 방법을 택하였는지에 대한 부가정보가 생성될 수 있다.
한편, 참조 데이터가 존재하지 않는 경우에는 참조 패치의 경계부에 있는 화소들로부터 패딩을 수행하여 가상 영상 영역을 생성한다.　 　　　　　　
이와 같은 과정을 모든 섹션에 대하여 반복함으로써 하나의 패치에 대한 가상 영상 영역이 생성된다.
도 8은 본 발명에 따라 인코더에서 패치의 가상 영상 영역을 생성하는 장치의 블록도이다. 도시된 바와 같이, 본 발명에 따른 가상 영상 영역 생성 장치는 검색부(810), 판단부(815), 매핑부(820), 패딩부(830), 부가정보 생성부(840) 및 결 정부(850)를 포함한다.　
검색부(810)는 움직임 추정을 수행하려는 현재 패치의 가상 영상 영역의 각 섹션에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는지 검색하고, 매핑부(820)는 검색된 참조 데이터를 해당 섹션에 매핑한다.
판단부(815)는 검색된 참조 데이터가 최근에 갱신된 것인지 여부를 판단하고, 결정부(850)에서는 검색된 참조 데이터가 최근에 갱신된 것이 아니면 매핑을 수행할 것인지 패딩을 수행할 것인지의 여부를 결정한다. 이러한 결정에 따라 매핑 또는 패딩이 수행되는데, 전술한 바와 같이 디코더에서도 동일한 방식으로 가상 영상 영역을 생성하도록 하기 위해 부가정보생성부(840)에서는 인코더의 움직임 추정 과정에서 가상 영상 영역 생성시 어떠한 방식을 사용하였는지에 대한 정보를 생성한다.
패딩부(830)는 참조 데이터가 존재하지 않는 경우 또는 결정부(850)에서 패딩하기로 결정한 경우 이전의 파노라마 영상 내에서 현재 패치의 위치에 해당하는 참조 영상의 경계부에 있는 화소들을 패딩하여 가상 영상 영역을 생성한다.
도 9는 본 발명에 따른 가상 영상 영역이 적용될 수 있는 인코더의 블록도이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 파노라마 영상 인코더는 변환부(910)(transforming unit), 양자화부(quantizing unit)(915), 역양자화부(inverse quantizing unit)(920), 역변환부(inverse transforming unit)(925), 가산부(adding unit)(930), 클리핑부(clipping unit)(940), 프레임 메모리(950), 파 노라마 영상 움직임 추정부(panorama image motion estimation unit)(960), 파노라마 영상 움직임 보상부(panorama image motion compensation unit)(970), 감산부(980) 및 가변장 부호화부(VLC: Variable Length Coder)(990)를 포함한다.
변환부(910)는 파노라마 영상을 입력받아 DCT(Discrete Cosine Transform) 등의 소정 방식의 변환 방법에 따라 입력 파노라마 영상을 변환한 후 변환계수값들을 출력한다. 양자화부(915)는 변환부(910)로부터 입력받은 변환계수값들을 양자화한다. 양자화된 데이터는 역양자화부(920) 및 역변환부(925)에 의해 각각 역양자화 및 역변환되어 디코더단으로 전송된 영상 데이터가 출력된다. 이 영상데이터와 파노라마 영상 움직임 보상부(970)에서 움직임 보상된 이전의 영상이 가산기(930)에서 합산되어 비로소 인코더에서 디코더측으로 전송한 파노라마 영상의 실체가 구현된다. 가산기(930)에서 출력된 파노라마 영상은 클리핑부(940)에 의해 정규화된 후 프레임 메모리(950)에 저장된다. 프레임 메모리(150)에 저장된 파노라마 영상은 현재 디코딩되는 영상의 바로 이전에 재생된 영상으로, 새롭게 입력된 파노라마 영상의 움직임 추정 및 보상에 참조 영상으로 이용된다.
파노라마 영상 움직임 추정부(960)는 프레임 메모리(950)에 저장된 이전의 영상인 참조 파노라마 영상을 이용하여 움직임 추정을 수행한다. 즉, 파노라마 영상 움직임 추정부(160)는 현재 파노라마 영상 정보를 입력받아, 프레임 메모리(150)에 저장된 참조 파노라마 영상을 이용하여 상기 현재 파노라마 영상의 움직임 추정을 수행하여 상기 현재 파노라마 영상의 모션 벡터 및 본 발명에 따른 부가정보를 생성한 후 VLC(190)로 출력한다. 움직임 추정 및 보상은 타일 형식의 패치 단 위로 수행된다. 여기서 모션 벡터를 생성하기 위해 움직임 추정단계에서 본 발명에 따른 가상 영역 생성 방법이 사용된다. 따라서 도 8에 도시한 장치는 파노라마 영상 움직임 추정부(960) 내에 구비되는 것이 바람직할 것이다. 파노라마 영상 움직임 보상부(970)는 모션 벡터에 의한 움직임 보상을 수행하고, 보상된 영상을 감산부(980)로 출력한다. 감산부(980)는 현재 영상과 파노라마 영상 움직임 보상부(970)에 의해 보상된 영상 간의 차분 신호를 변환부(910)로 출력한다. 상기 차분신호는 변환부(910) 및 양자화부(915)에 의해 각각 변환 및 양자화된 후 가변장 부호화부(990)에 의해 가변장부호화된다.
도 10은 본 발명에 따른 가상 영상 영역 생성 방법을 디코더 측에서 수행하는 과정을 나타낸 순서도이다.
디코더 측에서는 인코더 측으로부터 모션 벡터와 차분 신호 및 부가 정보를 수신하고 움직임 보상을 수행하는데, 움직임 보상을 위해 수행되는 가상 영상 영역의 생성 과정은 인코더 측에서 수행되는 가상 영상 영역 생성 과정과 거의 동일하므로 이에 대한 상세한 설명은 생략한다. 다만, 검색된 참조 데이터가 최근에 갱신되지 않은 경우의 처리에 있어서, 디코더 측에서는 인코더 측에서 생성한 가상 영상 영역과 동일한 가상 영상 영역을 생성하기 위해 인코더 측으로부터 수신한 부가 정보를 해석하고, 그에 따라 각 섹션에 매핑 또는 패딩을 수행한다.
도 11은 본 발명에 따라 디코더에 구비되어 패치의 가상 영상 영역을 생성하는 장치의 블록도이다.
도 11에 도시된 바와 같이, 본 발명에 따라 디코더에 구비되는 가상 영상 영 역 생성 장치는 검색부(200), 판단부(230), 매핑부(210), 패딩부(220), 부가정보 해석부(240)을 포함한다.　
검색부(200)는 움직임 추정을 수행하려는 현재 패치의 가상 영상 영역의 각 섹션에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는지 검색하고, 매핑부(210)는 검색된 참조 데이터를 해당 섹션에 매핑한다. 판단부(230)는 검색된 참조 데이터가 최근에 갱신된 것인지의 여부를 판단하고, 검색된 참조 데이터가 최근에 갱신된 것이 아닌 경우, 매핑을 수행할 것인지 패딩을 수행할 것인지를 결정하기 위해 부가정보 해석부(240)는 인코더 측으로부터 수신된 부가정보를 해석하며, 부가정보에 기록된 내용에 따라 각 섹션에 대한 매핑 또는 패딩이 수행된다.
패딩부(830)는 참조 데이터가 존재하지 않는 경우 또는 결정부(850)에서 패딩하기로 결정한 경우 이전의 파노라마 영상 내에서 현재 패치의 위치에 해당하는 참조 영상의 경계부에 있는 화소들을 패딩하여 가상 영상 영역을 생성한다.
도 12는 본 발명에 따른 가상 영상 영역 생성 장치가 적용될 수 있는 디코더의 블록도이다.
도 12를 참조하면, 본 발명의 일 실시예에 따른 파노라마 영상 모션 벡터 디코더는 가변장 복호화부(VLD: Variable Length Decoder)(310), 역양자화부(inverse quantizing unit)(320), 역변환부(inverse transforming unit)(330), 가산부(adding unit)(340), 파노라마 영상 움직임 보상부(panorama image motion compensation unit)(350), 클리핑부(clipping unit)(360) 및 프레임 메모리(370)를 포함한다.
가변장 복호화부(310)는 입력 비트스트림을 가변장 복호한다. 가변장 복호화부(310)의 출력 중 모션 벡터는 파노라마 영상 움직임 보상부(350)로 출력되고, 차분신호는 역양자화부(320)로 출력된다. 프레임 메모리(370)에는 역양자화부(320), 역변환부(330) 및 클리핑부(360)를 거쳐 재생된 참조 영상이 저장된다. 프레임 메모리(370)에 저장된 참조 영상은 새롭게 입력된 파노라마 영상의 움직임 보상에 이용된다.
파노라마 영상 움직임 보상부(350)는 프레임 메모리(370)에 저장된 참조 파노라마 영상을 이용하여 움직임 보상을 수행한다. 여기서 움직임 보상을 수행하기 위해 본 발명에 따른 가상 영상 영역의 생성 방법이 사용된다. 따라서 도 11에 도시한 장치는 파노라마 영상 움직임 보상부(350) 내에 구비되는 것이 바람직할 것이다. 파노라마 영상 움직임 보상부(350)는 인코더로부터 전송된 모션 벡터를 입력받아 현재 패치에 대응하는 참조 패치를 프레임 메모리(370)로부터 독출하여 움직임 보상을 수행하고, 그 결과를 가산부(340)로 출력한다. 가산부(340)는 역양자화부(320) 및 역변환부(330)에 의해 각각 역양자화 및 역변환된, 차분 신호와 파노라마 영상 움직임 보상부(350)로부터 움직임 보상된 참조 패치를 입력받아 현재 패치를 재생한다. 클리핑부(360)는 가산부(340)로부터 출력된 값을 정규화하는 기능을 수행한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명에 의하면, 파노라마 영상을 타일형식의 패치단위로 영상 분할하여 전송할 때 각 패치별로 이전의 파노라마 영상에서 참조 가능한 데이터를 직접 가상 영역에 매핑함으로써 전방향 영상 정보를 담고 있는 파노라마 영상을 2차원 동영상 영상 코딩 방법을 그대로 이용하여 코딩하면서도 움직임 추정 및 보상 과정에서 코딩 효율을 크게 증대시킬 수 있다.

Claims (22)

  1. 타일 형식의 패치단위로 분할하여 전송하기 위한 파노라마 영상의 움직임 추정을 위해 가상 영상 영역을 생성하는 방법에 있어서,
    (a) 움직임 추정을 수행하려는 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는지 검색하는 단계; 및
    (b) 상기 검색 결과에 기초하여 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 선택적으로 매핑하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 (b)단계는,
    (b1) 상기 검색 결과 상기 참조 데이터가 존재하는 경우 상기 참조 데이터가 소정 시간 내에 갱신된 것인지 판단하는 단계; 및
    (b2) 상기 판단 결과 소정 시간 내에 갱신된 것이면 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 매핑하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 제 2항에 있어서,
    상기 (b)단계는,
    상기 판단 결과 상기 소정 시간 내에 갱신된 것이 아니면 상기 참조 데이터를 상기 가상 영상 영역의 전부 또는 일부에 매핑할 것인지 상기 이전의 파노라마 영상 내에서 상기 현재 패치의 위치에 해당하는 참조 영상의 경계부에 있는 화소들을 패딩하여 상기 가상 영상 영역의 전부 또는 일부를 생성할 것인지의 여부를 결정하는 단계; 및
    상기 결정에 따라 매핑 또는 패딩을 수행하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  4. 제 3항에 있어서,
    수신측에서도 동일하게 상기 패치에 대한 가상 영상 영역의 전부 또는 일부를 생성할 수 있도록 하는 부가정보를 전송하기 위해 상기 결정에 관한 정보를 기록하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  5. 제 1항에 있어서,
    상기 (b)단계는,
    상기 검색 결과 상기 참조 데이터가 존재하지 않는 경우 상기 이전의 파노라마 영상 내에서 상기 현재 패치의 위치에 해당하는 참조 영상의 경계부에 있는 화소들을 패딩하여 상기 가상 영상 영역의 전부 또는 일부를 생성하는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서,
    상기 가상 영상 영역의 전부 또는 일부가 상기 이전의 파노라마 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면 상기 경계의 반대쪽의 경계부터 소정 범위까지의 영상을 상기 하나의 경계의 바깥 쪽에 존재하는 가상 영상 영역 부분에 대한 참조 데이터로 인지하는 것을 특징으로 하는 방법.
  7. 타일 형식의 패치단위로 분할하여 전송하기 위한 파노라마 영상의 움직임 추정을 위해 가상 영상 영역을 생성하는 장치에 있어서,
    움직임 추정을 수행하려는 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는지 검색하는 검색부; 및
    상기 검색 결과에 기초하여 선택적으로 상기 참조 데이터를 상기 가상 영상 영역의 전부 또는 일부에 매핑하는 매핑부를 포함하는 것을 특징으로 하는 장치.
  8. 제 7항에 있어서,
    상기 검색부의 검색 결과 상기 참조 데이터가 존재하는 경우 상기 참조 데이터가 소정 시간 내에 갱신된 것인지 여부를 판단하는 판단부를 더 포함하고,
    상기 매핑부는 상기 판단 결과 상기 참조 데이터가 상기 소정 시간 내에 갱신된 것인 경우에 상기 매핑을 수행하는 것을 특징으로 하는 장치.
  9. 제 8항에 있어서,
    상기 판단 결과 상기 참조 데이터가 상기 소정 시간 내에 갱신된 것이 아니면 매핑을 수행할 것인지 패딩을 수행할 것인지의 여부를 결정하는 결정부; 및
    상기 검색부의 검색 결과 상기 참조 데이터가 존재하지 않는 경우 상기 이전의 파노라마 영상 내에서 상기 현재 패치의 위치에 해당하는 참조 영상의 경계부에 있는 화소들을 패딩하여 상기 가상 영상 영역의 전부 또는 일부를 생성하는 패딩부를 더 포함하며,
    상기 판단 결과 상기 참조 데이터가 상기 소정 시간 내에 갱신된 것이 아니면 상기 결정부의 결정에 따라 상기 매핑 또는 상기 패딩을 수행하는 것을 특징으로 하는 장치.
  10. 제 9항에 있어서,
    수신측에서도 동일하게 상기 가상 영상 영역의 전부 또는 일부를 생성할 수 있도록 하는 부가 정보를 전송하기 위해 상기 결정에 관한 정보를 기록하는 부가정보생성부를 더 포함하는 것을 특징으로 하는 장치.
  11. 제 7항에 있어서,
    상기 검색부는 상기 가상 영상 영역의 전부 또는 일부가 상기 이전의 파노라마 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면 상기 경계의 반대쪽의 경계부터 소정 범위까지의 영상을 상기 하나의 경계의 바깥 쪽에 존재하는 가상 영상 영역 부분에 대한 참조 데이터로 인지하고 검색하는 것을 특징으로 하는 장치.
  12. 타일 형식의 패치단위로 분할되어 수신된 파노라마 영상의 움직임 보상을 위해 가상 영상 영역을 생성하는 방법에 있어서,
    (a) 움직임 보상을 수행하려는 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는지 검색하는 단계; 및
    (b) 상기 검색 결과에 기초하여 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 선택적으로 매핑하는 단계를 포함하는 것을 특징으로 하는 방법.
  13. 제 12항에 있어서,
    상기 (b)단계는,
    (b1) 상기 검색 결과 상기 참조 데이터가 존재하는 경우 상기 참조 데이터가 소정 시간 내에 갱신된 것인지 판단하는 단계; 및
    (b2) 상기 판단 결과 상기 참조 데이터가 상기 소정 시간 내에 갱신된 것이면 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 매핑하는 단계를 포함하는 것을 특징으로 하는 방법.
  14. 제 13항에 있어서,
    상기 판단 결과 상기 참조 데이터가 상기 소정 시간 내에 갱신된 것이 아니면 송신측으로부터 수신한 부가정보를 참조하여 상기 참조 데이터를 상기 가상 영상 영역의 전부 또는 일부에 매핑할 것인지 상기 이전의 파노라마 영상 내에서 상기 현재 패치의 위치에 해당하는 참조 영상의 경계부에 있는 화소들을 패딩하여 상기 가상 영상 영역의 전부 또는 일부를 생성할 것인지의 여부를 결정하는 단계; 및
    상기 결정에 따라 상기 매핑 또는 상기 패딩을 수행하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  15. 타일 형식의 패치단위로 분할되어 수신된 파노라마 영상의 움직임 보상을 위해 가상 영상 영역을 생성하는 장치에 있어서,
    움직임 보상을 수행하려는 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는지 검색하는 검색부;　 및
    상기 검색 결과에 기초하여 상기 참조 데이터를 상기 가상 영상 영역의 전부 또는 일부에 선택적으로 매핑하는 매핑부를 포함하는 것을 특징으로 하는 장치.
  16. 제 15항에 있어서,
    상기 검색부의 검색 결과 상기 참조 데이터가 존재하는 경우 상기 참조 데이터가 소정 시간 내에 갱신된 것인지 판단하는 판단부를 더 포함하고,
    상기 매핑부는 상기 판단부의 판단 결과 상기 참조 데이터가 상기 소정 시간 내에 갱신된 것인 경우에 상기 매핑을 수행하는 것을 특징으로 하는 장치.
  17. 제 16항에 있어서,
    상기 판단부의 판단 결과 상기 참조 데이터가 상기 소정 시간 내에 갱신된 것이 아니면, 송신측으로부터 수신한 부가정보로서, 송신측에서 상기 참조 데이터를 상기 가상 영상 영역의 전부 또는 일부에 매핑하였는지 상기 이전의 파노라마 영상 내에서 상기 현재 패치의 위치에 해당하는 참조 영상의 경계부에 있는 화소들을 패딩하였는지를 나타내는 정보를 해석하는 부가정보해석부; 및
    상기 검색부의 검색 결과 상기 참조 데이터가 존재하지 않는 경우 상기 이전의 파노라마 영상 내에서 상기 현재 패치의 위치에 해당하는 참조 영상의 경계부에 있는 화소들을 패딩하여 상기 가상 영상 영역의 전부 또는 일부를 생성하는 패딩부를 더 포함하며,
    상기 판단부의 판단 결과 상기 참조 데이터가 상기 소정 시간 내에 갱신된 것이 아닌 경우 상기 부가정보에 따라 상기 매핑 또는 상기 패딩을 수행하는 것을 특징으로 하는 장치.
  18. 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
    움직임 추정 및 움직임 보상을 수행하려는 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는지 검색하는 단계;
    상기 검색 결과 상기 참조 데이터가 존재하는 경우 상기 참조 데이터가 소정 시간 내에 갱신된 것인지 판단하는 단계; 및
    상기 판단 결과 상기 참조 데이터가 상기 소정 시간 내에 갱신된 것이면 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 매핑하는 단계를 포함하는, 타일 형식의 패치단위로 분할하여 전송하기 위한 파노라마 영상의 움직임 추정 및 움직임 보상을 위해 가상 영상 영역을 생성하는 방법을 수행하기 위한 프로그램을 기록한 기록매체.
  19. 타일 형식의 패치단위로 분할하여 전송하기 위한 파노라마 영상의 움직임 추정 방법에 있어서,
    (a) 움직임 추정을 수행하려는 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는 경우 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 매핑하는 단계;
    (b) 상기 참조 데이터가 매핑된 상기 가상 영상 영역의 전부 또는 일부를 이용하여 참조 영상에 대한 상기 현재 패치의 모션 벡터를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  20. 타일 형식의 패치단위로 분할하여 전송하기 위한 파노라마 영상의 부호화 방법에 있어서,
    (a) 움직임 추정을 수행하려는 현재 패치의 가상 영상 영역의 전부 또는 일 부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는 경우 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 매핑하는 단계;
    (b) 상기 참조 데이터가 매핑된 상기 가상 영상 영역의 전부 또는 일부를 이용하여 참조 영상에 대한 상기 현재 패치의 모션 벡터를 생성하는 단계; 및
    (c) 상기 모션 벡터를 이용하여 상기 현재 패치에 대한 움직임 보상을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
  21. 타일 형식의 패치단위로 분할되어 수신된 파노라마 영상의 움직임 보상 방법에 있어서,
    (a) 현재 파노라마 영상에 포함된 현재 패치에 대한 모션 벡터를 입력받는 단계;
    (b) 상기 모션 벡터가 나타내는, 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는 경우 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 매핑하는 단계; 및
    (c) 상기 참조 데이터가 매핑된 상기 가상 영상 영역의 전부 또는 일부에 상기 모션 벡터를 적용하는 단계를 포함하는 것을 특징으로 하는 방법.
  22. 타일 형식의 패치단위로 분할되어 수신된 파노라마 영상의 복호화 방법에 있어서,
    (a) 현재 파노라마 영상에 포함된 현재 패치에 대한 모션 벡터를 입력받는 단계;
    (b) 상기 모션 벡터가 나타내는 현재 패치의 가상 영상 영역의 전부 또는 일부에 대응되는 참조 데이터가 이전의 파노라마 영상 중에 존재하는 경우 상기 가상 영상 영역의 전부 또는 일부에 상기 참조 데이터를 매핑하는 단계;
    (c) 상기 참조 데이터가 매핑된 상기 가상 영상 영역의 전부 또는 일부를 이용하여 참조 영상에 대한 움직임 보상을 수행하는 단계; 및
    (d) 상기 현재 패치와 상기 움직임 보상이 수행된 패치 간의 차분 신호 및 상기 움직임 보상이 수행된 패치를 이용하여 상기 현재 패치를 복원하는 단계를 포함하는 것을 특징으로 하는 방법.
KR1020050072969A 2004-08-13 2005-08-09 파노라마 영상의 움직임 추정 및 보상을 위해 가상 영상영역을 생성하는 방법 및 장치 KR100700218B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US11/202,090 US7627194B2 (en) 2004-08-13 2005-08-12 Method and device for making virtual image region for motion estimation and compensation of panorama image
EP05780537.6A EP1779661A4 (en) 2004-08-13 2005-08-13 METHOD AND DEVICE FOR GENERATING A VIRTUAL IMAGE REGION FOR MOTION ESTIMATION AND COMPENSATION OF A PANORAMIC IMAGE
PCT/KR2005/002653 WO2006016789A1 (en) 2004-08-13 2005-08-13 Method and device for making virtual image region for motion estimation and compensation of panorama image
JP2007525554A JP4575447B2 (ja) 2004-08-13 2005-08-13 パノラマ画像の動き推定及び補償のために仮想画像領域を生成する方法及び装置
AU2005272288A AU2005272288B2 (en) 2004-08-13 2005-08-13 Method and device for making virtual image region for motion estimation and compensation of panorama image
CA 2576707 CA2576707C (en) 2004-08-13 2005-08-13 Method and device for making virtual image region for motion estimation and compensation of panorama image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20040063891 2004-08-13
KR1020040063891 2004-08-13

Publications (2)

Publication Number Publication Date
KR20060050351A KR20060050351A (ko) 2006-05-19
KR100700218B1 true KR100700218B1 (ko) 2007-03-27

Family

ID=37150010

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050072969A KR100700218B1 (ko) 2004-08-13 2005-08-09 파노라마 영상의 움직임 추정 및 보상을 위해 가상 영상영역을 생성하는 방법 및 장치

Country Status (2)

Country Link
KR (1) KR100700218B1 (ko)
CN (1) CN100581246C (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565916B2 (en) 2016-09-09 2020-02-18 Kt Corporation Providing streaming of virtual reality contents

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101521823B (zh) * 2009-03-27 2010-12-01 北京航空航天大学 空间相关的全景数据压缩方法
CN103871038B (zh) * 2014-03-06 2014-11-05 中国人民解放军国防科学技术大学 一种基于非均匀测量矩阵的超分辨率全向图像重建方法
CN105554513A (zh) * 2015-12-10 2016-05-04 Tcl集团股份有限公司 一种基于h.264的全景视频传输方法及系统
KR20180000279A (ko) 2016-06-21 2018-01-02 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
WO2017222301A1 (ko) * 2016-06-21 2017-12-28 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
CN106101847A (zh) 2016-07-12 2016-11-09 三星电子（中国）研发中心 全景视频交互传输的方法和系统
KR102210274B1 (ko) 2016-09-30 2021-02-01 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 신호를 인코딩 및 디코딩하기 위한 장치들, 방법들 및, 컴퓨터 판독 가능 매체
CN114531588A (zh) 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
CN114531593B (zh) * 2016-10-04 2023-03-21 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
WO2018124822A1 (ko) * 2017-01-02 2018-07-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR102443381B1 (ko) * 2017-01-11 2022-09-15 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR102609477B1 (ko) 2017-02-06 2023-12-04 삼성전자주식회사 파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법
WO2019027201A1 (ko) * 2017-07-31 2019-02-07 에스케이텔레콤 주식회사 360 영상을 부호화 또는 복호화하기 위한 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050055579A (ko) * 2003-12-08 2005-06-13 한국전자통신연구원 비트스트림 지도를 이용한 영상 부호화 및 복호화 장치 및방법과, 그 기록매체
KR20050091278A (ko) * 2004-03-11 2005-09-15 정순기 파노라마 영상의 스트리밍 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050055579A (ko) * 2003-12-08 2005-06-13 한국전자통신연구원 비트스트림 지도를 이용한 영상 부호화 및 복호화 장치 및방법과, 그 기록매체
KR20050091278A (ko) * 2004-03-11 2005-09-15 정순기 파노라마 영상의 스트리밍 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565916B2 (en) 2016-09-09 2020-02-18 Kt Corporation Providing streaming of virtual reality contents

Also Published As

Publication number Publication date
CN101002473A (zh) 2007-07-18
CN100581246C (zh) 2010-01-13
KR20060050351A (ko) 2006-05-19

Similar Documents

Publication Publication Date Title
KR100700218B1 (ko) 파노라마 영상의 움직임 추정 및 보상을 위해 가상 영상영역을 생성하는 방법 및 장치
JP4575447B2 (ja) パノラマ画像の動き推定及び補償のために仮想画像領域を生成する方法及び装置
AU2005272287B2 (en) Method and device for motion estimation and compensation for panorama image
JP4846719B2 (ja) パノラマ映像の動き推定及び補償
KR100677142B1 (ko) 파노라마 영상의 움직임 추정 및 보상
US11057646B2 (en) Image processor and image processing method
KR101340911B1 (ko) 다중 뷰들의 효율적인 인코딩 방법
TW201838407A (zh) 適應性擾動立方體之地圖投影
CN115396645A (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
CN111052746B (zh) 用于编码和解码全向视频的方法和装置
CN112997499A (zh) 基于经全局运动补偿的运动矢量预测值的视频编码
EP1779672A1 (en) Method and device for motion estimation and compensation for panorama image
CN111630862A (zh) 用于对表示全向视频的多视图视频序列进行编码和解码的方法和设备
US20230088144A1 (en) Data processing method and apparatus for immersive media, related device, and storage medium
US11711540B2 (en) Method for encoding video using effective differential motion vector transmission method in omnidirectional camera, and method and device
CN116781676A (zh) 一种点云媒体的数据处理方法、装置、设备及介质
JP2023543048A (ja) マルチビュー映像を符号化及び復号する方法
CN115733576A (zh) 点云媒体文件的封装与解封装方法、装置及存储介质
CN113766272A (zh) 一种沉浸媒体的数据处理方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 14