KR20060015225A - 파노라마 영상의 움직임 추정 및 보상 - Google Patents

파노라마 영상의 움직임 추정 및 보상 Download PDF

Info

Publication number
KR20060015225A
KR20060015225A KR1020040081353A KR20040081353A KR20060015225A KR 20060015225 A KR20060015225 A KR 20060015225A KR 1020040081353 A KR1020040081353 A KR 1020040081353A KR 20040081353 A KR20040081353 A KR 20040081353A KR 20060015225 A KR20060015225 A KR 20060015225A
Authority
KR
South Korea
Prior art keywords
data unit
image
current
boundary
motion
Prior art date
Application number
KR1020040081353A
Other languages
English (en)
Other versions
KR100677142B1 (ko
Inventor
박광훈
손성호
Original Assignee
경희대학교 산학협력단
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단, 삼성전자주식회사 filed Critical 경희대학교 산학협력단
Priority to US11/201,153 priority Critical patent/US20060034374A1/en
Priority to JP2007525548A priority patent/JP4842945B2/ja
Priority to PCT/KR2005/002639 priority patent/WO2006016783A1/en
Priority to EP05780526A priority patent/EP1779672A4/en
Publication of KR20060015225A publication Critical patent/KR20060015225A/ko
Application granted granted Critical
Publication of KR100677142B1 publication Critical patent/KR100677142B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 파노라마 영상의 움직임 추정 및 보상에 관한 것으로서, 본 발명에 따른 영상의 움직임 추정 및 보상은, 360도 전 방향 영상을 포함하는 파노라마 영상의 오른쪽 경계 부분과 왼쪽 경계 부분의 공간적 상관관계가 높은 성질을 이용하여, 파노라마 영상의 움직임 예측 및 보상을 수행하는 것을 특징으로 한다. 본 발명에 따르면, 파노라마 영상의 움직임 추정 및 보상의 효율성과 정확도를 향상 시켜 화질을 개선할 수 있는 효과를 제공한다. 특히, 파노라마 영상의 오른쪽 경계 부분과 왼쪽 경계 부분의 화질 개선에 효과가 있다.

Description

파노라마 영상의 움직임 추정 및 보상{Motion estimation and compensation for panorama image}
도 1은 종래기술에 따른 현재 매크로블록의 모션 벡터의 예측에 이용되는 다수의 이전 매크로블록들을 나타내는 도면,
도 2a 내지 2c는 현재 매크로블록의 모션 벡터의 예측에 이용할 이전 매크로블록들이 존재하지 않는 경우를 나타내는 도면,
도 3은 종래 기술에 따른 참조 영상의 패딩 방법을 설명하기 위한 도면,
도 4a는 360도 전 방향 영상을 포함하는 원통형 영상을 나타내는 도면,
도 4b는 도 4a에 도시된 원통형 영상에 대응하는 2차원 파노라마 영상을 나타내는 도면,
도 5는 본 발명의 일 실시예에 따른 파노라마 영상 모션 벡터 인코더의 블록도,
도 6은 본 발명의 일 실시예에 따른 파노라마 영상 움직임 추정 방법의 흐름도,
도 7a는 현재 매크로블록의 모션 벡터의 예측에 이용할 이전 매크로블록 선택의 일 예를 나타내는 도면,
도 7b는 현재 매크로블록의 모션 벡터의 예측에 이용할 이전 매크로블록 선 택의 다른 일 예를 나타내는 도면,
도 8a는 참조 매크로블록이 참조 영상의 경계에 걸쳐 존재하는 경우를 나타내는 도면,
도 8b는 참조 매크로블록이 참조 영상의 바깥 영역에 존재하는 경우를 나타내는 도면,
도 9는 본 발명의 일 실시예에 따른 참조 영상의 패딩 방법을 설명하기 위한 도면,
도 10은 현재 매크로블록 X의 모션 벡터를 나타내는 도면,
도 11은 본 발명의 일 실시예에 따른 파노라마 영상 모션 벡터 디코더의 블록도,
도 12는 본 발명의 일 실시예에 따른 파노라마 영상 움직임 보상 방법의 흐름도이다.
본 발명은 파노라마 영상의 움직임 추정 및 보상에 관한 것으로, 보다 상세하게는 360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 추정 방법, 움직임 추정 장치, 움직임 보상 방법 및 움직임 보상 장치에 관한 것이다.
전 방향(omni-directional) 비디오 카메라 시스템은 고정 시점(視點)을 기준으로 360도 전 방향 영상을 촬영할 수 있는 카메라 시스템을 말한다. 전 방향 비디 오 카메라 시스템은 카메라에 쌍곡면 거울과 같은 특수 형태의 거울이나 어안렌즈와 같은 특수 렌즈를 장착하거나 다수의 카메라를 이용하여 전 방향을 촬영한다.
전 방향 비디오 코딩 방법이 적용되는 일 예로 삼차원 실감 방송이 있다. 삼차원 실감 방송의 일 예를 들면, 야구 경기 등에서 다양한 시점(視點)에서의 광경에 대한 영상 정보는 시청자측 단말기로 모두 주어진다. 즉, 투수의 입장에서의 시점, 포수의 입장에서의 시점, 타자의 입장에서의 시점, 1루석 관중의 입장에서의 시점 등에서의 다양한 영상 정보가 시청자에게 제공된다. 시청자는 보고 싶은 시점을 스스로 결정하여 그 시점에서의 영상을 시청할 수 있다.
전 방향 카메라 시스템에 의해 촬영된 영상은 3차원의 구형 환경에 대응되는 특징을 갖는다. 따라서 전 방향 카메라 시스템에 의해 촬영된 3차원 영상을 2차원 평면 영상으로 변환한다. 이 때 2차원 평면 영상은 360도 전 방향 영상을 포함하는 파노라마 영상이 된다. 2차원 파노라마 영상에 대해 전 방향 비디오 코딩이 수행된다.
한편, 영상 부호화 기술 중 하나인 움직임 추정(motion estimation)은 소정의 평가 함수를 이용하여 현재 프레임 내의 데이터 유닛과 가장 유사한 데이터 유닛을 이전 프레임에서 탐색하여 양 데이터 유닛의 위치의 차이를 나타내는 모션 벡터를 구하는 과정이다. 여기서, 데이터 유닛은 일반적으로 16X16 크기의 매크로블록이 주로 이용되지만 16X8, 8X16 및 8X8 블록 등의 다양한 크기의 블록들이 이용될 수 있다.
16x16 크기의 매크로블록 단위로 수행되는 종래 기술의 일 예에 따른 움직임 추정 과정을 보다 상세하게 설명한다. 먼저, 현재 매크로블록에 인접하는 다수의 이전 매크로블록들의 모션 벡터들을 이용하여 현재 매크로블록의 모션 벡터를 예측한다. 도 1은 현재 매크로블록의 모션 벡터의 예측에 이용되는 다수의 이전 매크로블록들을 나타내는 도면이다. X는 현재 매크로블록을 나타내고, A, B, C 및 D는 현재 매크로블록 X에 앞서 이미 부호화된 이전 매크로블록들이다.
그러나 현재 프레임 내에서의 현재 매크로블록 X의 위치에 따라 이용할 수 없는 이전 매크로블록들이 발생한다. 도 2a는 현재 매크로블록 X의 모션 벡터의 예측에 이용할 이전 매크로블록B, C 및 D가 존재하지 않는 경우를 나타낸다. 이러한 경우, 현재 매크로블록 X의 모션 벡터는 0으로 설정된다.
도 2b는 현재 매크로블록 X의 모션 벡터의 예측에 이용할 이전 매크로블록 A 및 D가 존재하지 않는 경우를 나타낸다. 이러한 경우, 이전 매크로블록 A 및 D의 모션 벡터는 각각 0으로 설정된다. 현재 매크로블록 X의 모션 벡터는 이전 매크로블록 A, B, C 및 D의 중간값(Median Value)으로 설정된다.
도 2c는 현재 매크로블록 X의 모션 벡터의 예측에 이용할 이전 매크로블록 C가 존재하지 않는 경우를 나타낸다. 이러한 경우, 이전 매크로블록 C의 모션 벡터는 각각 0으로 설정된다. 현재 매크로블록 X의 모션 벡터는 이전 매크로블록 A, B, C 및 D의 중간값(Median Value)으로 설정된다.
현재 매크로블록 X의 예측 모션 벡터(predicted motion vector)가 구해지면, 예측 모션 벡터가 나타내는, 참조 프레임 내의 참조 매크로블록과 현재 매크로블록의 유사정도를 소정 평가함수를 이용하여 계산한다. 그 후 소정 탐색범위(search range)내에서 현재 매크로블록과 가장 유사한 참조 프레임 내의 참조 매크로블록을 탐색한다. 상기 소정의 평가 함수로는 SAD(Sum of Absolute Difference) 함수, SATD((Sum of Absolute Transformed Difference) 함수 또는 SSD(Sum of Squared Difference) 함수를 이용함이 일반적이다.
소정 탐색범위 내에서 현재 매크로블록과 가장 유사한 참조 매크로블록 탐색 시, 참조 매크로블록의 일부 또는 전부 화소가 참조 영상의 외부에 존재할 수도 있다. 이러한 경우, 도 3에 도시한 바와 같이, 참조 영상의 왼쪽 경계에 위치한 화소 값을 참조 영상의 왼쪽 경계의 바깥의 영역에 패딩(padding)하고, 참조 영상의 오른쪽 경계에 위치한 화소 값을 참조 영상의 오른쪽 경계의 바깥의 영역에 패딩한 후 움직임 예측 및 보상을 수행한다. 이러한 방식에 따른 움직임 예측 및 보상을 UMV(Unrestricted Motion Vector) 모드에 따른 움직임 예측 및 보상이라 한다.
도 4a는 360도 전 방향 영상을 포함하는 원통형 영상을 나타내는 도면이고, 도 4b는 도 4a에 도시된 원통형 영상을 기준선 X에 따라 절단함으로써 생성된, 360도 전 방향 영상을 포함하는 파노라마 영상을 나타낸다. 도 4b를 참조하면, 사람 형상의 객체(object)의 왼쪽 부분 A는 파노라마 영상의 오른쪽 경계 부분에 위치하고, 사람 형상의 객체(object)의 오른쪽 부분 B는 파노라마 영상의 왼쪽 경계 부분에 위치함을 알 수 있다. 즉, 360도 전 방향 영상을 포함하는 파노라마 영상의 오른쪽 경계 부분과 왼쪽 경계 부분의 공간적 상관관계는 매우 높다.
전 방향 영상 정보를 포함하는 파노라마 영상의 이러한 특성을 고려하지 않고, 전술한 종래 기술에 따른 움직임 예측 및 보상 방법을 그대로 전 방향 영상 정 보를 포함하는 파노라마 영상에 적용하는 것은 효율적이지 못하다. 따라서, 전 방향 영상 정보를 포함하는 파노라마 영상에 적합한 움직임 예측 및 보상 방법이 요구된다.
본 발명이 이루고자 하는 기술적 과제는, 전 방향 영상 정보를 포함하는 파노라마 영상의 특성에 맞는 보다 효율적이고 보다 정확한 움직임 추정 방법 및 그 장치를 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 전 방향 영상 정보를 포함하는 파노라마 영상의 특성에 맞는 보다 효율적이고 보다 정확한 움직임 보상 방법 및 그 장치를 제공하는데 있다.
상기 과제를 이루기 위한 본 발명의 일 실시예에 따른 움직임 추정 방법은,
360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 추정 방법에 있어서, 현재 파노라마 영상에 포함된 현재 데이터 유닛에 인접한 복수의 이전 데이터 유닛들의 모션 벡터들을 이용하여 상기 현재 데이터 유닛의 모션 벡터를 예측하는 단계; 상기 예측된 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 다른 하나의 경계부터 소정 범위까지의 영상을 상기 하나의 경계의 바깥 쪽에 패딩하는 단계; 패딩된 상기 참조 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻는 단계; 및 소정 평가 함수를 이용하여 상기 현재 데이터 유닛과 상기 참조 데이터 유닛의 유사도를 결정하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 현재 데이터 유닛의 모션 벡터를 예측하는 단계는, 상기 복수의 이전 데이터 유닛들 중 적어도 하나가 상기 현재 파노라마 영상의 왼쪽 경계 또는 오른쪽 경계의 바깥 쪽에 존재하면, 상기 현재 파노라마 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 현재 파노라마 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 복수의 이전 데이터 유닛들을 결정하는 단계를 포함하는 것이 바람직하다.
또한, 상기 복수의 이전 데이터 유닛들은 상기 현재 데이터 유닛의 좌측에 인접한 제1 데이터 유닛, 상기 현재 데이터 유닛의 상측에 인접한 제2 데이터 유닛, 상기 제2 데이터 유닛의 우측에 인접한 제3 데이터 유닛 및 상기 제1 데이터 유닛과 상기 제2 데이터 유닛에 모두 인접하는 제4 데이터 유닛인 것이 바람직하다.
또한, 소정 탐색 범위 내에서 상기 현재 데이터 유닛과 가장 유사한 참조 데이터 유닛을 결정하는 단계; 및 결정된 상기 참조 데이터 유닛을 나타내는 모션 벡터를 결정하는 단계를 포함하는 것이 바람직하다.
상기 과제를 이루기 위한 본 발명의 다른 실시예에 따른 움직임 추정 방법은,
360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 추정 방법에 있어서, 현재 파노라마 영상에 포함된 현재 데이터 유닛에 인접한 복수의 이전 데 이터 유닛들의 모션 벡터들을 이용하여 상기 현재 데이터 유닛의 모션 벡터를 예측하는 단계; 상기 예측된 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 참조 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻는 단계; 및 소정 평가 함수를 이용하여 상기 현재 데이터 유닛과 상기 참조 데이터 유닛의 유사도를 결정하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 현재 데이터 유닛의 모션 벡터를 예측하는 단계는, 상기 복수의 이전 데이터 유닛들 중 적어도 하나가 상기 현재 파노라마 영상의 왼쪽 경계 또는 오른쪽 경계의 바깥 쪽에 존재하면, 상기 현재 파노라마 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 현재 파노라마 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 복수의 이전 데이터 유닛들을 결정하는 단계를 포함하는 것이 바람직하다.
또한, 상기 복수의 이전 데이터 유닛들은 상기 현재 데이터 유닛의 좌측에 인접한 제1 데이터 유닛, 상기 현재 데이터 유닛의 상측에 인접한 제2 데이터 유닛, 상기 제2 데이터 유닛의 우측에 인접한 제3 데이터 유닛 및 상기 제1 데이터 유닛과 상기 제2 데이터 유닛에 모두 인접하는 제4 데이터 유닛인 것이 바람직하다.
또한, 소정 탐색 범위 내에서 상기 현재 데이터 유닛과 가장 유사한 참조 데이터 유닛을 결정하는 단계; 및 결정된 상기 참조 데이터 유닛을 나타내는 모션 벡 터를 결정하는 단계를 포함하는 것이 바람직하다.
상기 과제를 이루기 위한 본 발명의 일 실시예에 따른 움직임 추정 장치는,
360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 추정 장치에 있어서, 현재 파노라마 영상의 움직임 추정에 이용하기 위한 참조 영상 및 현재 파노라마 영상에 포함된 현재 데이터 유닛에 인접한 복수의 이전 데이터 유닛들의 모션 벡터들을 저장하는 메모리; 및 상기 복수의 이전 데이터 유닛들의 상기 모션 벡터들을 이용하여 상기 현재 데이터 유닛의 모션 벡터를 예측하고, 상기 예측된 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 상기 참조 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 다른 하나의 경계부터 소정 범위까지의 영상을 상기 하나의 경계의 바깥 쪽에 패딩하고, 패딩된 상기 참조 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻은 후, 소정의 평가 함수를 이용하여 상기 현재 데이터 유닛과 상기 참조 데이터 유닛의 유사도를 결정하는 움직임 추정부;를 포함하는 것을 특징으로 한다.
또한, 상기 움직임 추정부는, 상기 복수의 이전 데이터 유닛들 중 적어도 하나가 상기 현재 파노라마 영상의 왼쪽 경계 또는 오른쪽 경계의 바깥 쪽에 존재하면, 상기 현재 파노라마 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 현재 파노라마 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 복수의 이전 데이터 유닛들을 결정하는 것이 바람직하다.
또한, 상기 복수의 이전 데이터 유닛들은 상기 현재 데이터 유닛의 좌측에 인접한 제1 데이터 유닛, 상기 현재 데이터 유닛의 상측에 인접한 제2 데이터 유닛, 상기 제2 데이터 유닛의 우측에 인접한 제3 데이터 유닛 및 상기 제1 데이터 유닛과 상기 제2 데이터 유닛에 모두 인접하는 제4 데이터 유닛인 것이 바람직하다.
또한, 상기 움직임 추정부는, 소정 탐색 범위 내에서 상기 현재 데이터 유닛과 가장 유사한 참조 데이터 유닛을 결정하고, 결정된 상기 참조 데이터 유닛을 나타내는 모션 벡터를 결정하는 것이 바람직하다.
상기 과제를 이루기 위한 본 발명의 다른 실시예에 따른 움직임 추정 장치는,
360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 추정 장치에 있어서, 현재 파노라마 영상의 움직임 추정에 이용하기 위한 참조 영상 및 현재 파노라마 영상에 포함된 현재 데이터 유닛에 인접한 복수의 이전 데이터 유닛들의 모션 벡터들을 저장하는 메모리; 및 상기 복수의 이전 데이터 유닛들의 상기 모션 벡터들을 이용하여 상기 현재 데이터 유닛의 모션 벡터를 예측하고, 상기 예측된 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 참조 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻은 후, 소정의 평가 함수를 이용하여 상기 현재 데이터 유닛과 상기 참조 데이터 유닛의 유사도를 결정하는 움직임 추정부;를 포함하는 것을 특징으로 한다.
또한, 상기 움직임 추정부는, 상기 복수의 이전 데이터 유닛들 중 적어도 하나가 상기 현재 파노라마 영상의 왼쪽 경계 또는 오른쪽 경계의 바깥 쪽에 존재하면, 상기 현재 파노라마 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 현재 파노라마 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 복수의 이전 데이터 유닛들을 결정하는 것이 바람직하다.
또한, 상기 복수의 이전 데이터 유닛들은 상기 현재 데이터 유닛의 좌측에 인접한 제1 데이터 유닛, 상기 현재 데이터 유닛의 상측에 인접한 제2 데이터 유닛, 상기 제2 데이터 유닛의 우측에 인접한 제3 데이터 유닛 및 상기 제1 데이터 유닛과 상기 제2 데이터 유닛에 모두 인접하는 제4 데이터 유닛인 것이 바람직하다.
또한, 상기 움직임 추정부는, 소정 탐색 범위 내에서 상기 현재 데이터 유닛과 가장 유사한 참조 데이터 유닛을 결정하고, 결정된 상기 참조 데이터 유닛을 나타내는 모션 벡터를 결정하는 것이 바람직하다.
상기 다른 과제를 이루기 위한 본 발명의 일 실시예에 따른 움직임 보상 방법은,
360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 보상 방법에 있어서, 현재 파노라마 영상에 포함된 현재 데이터 유닛의 모션 벡터를 입력받는 단계; 상기 현재 데이터 유닛의 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 다른 하나의 경계부터 소정 범위까 지의 영상을 상기 하나의 경계의 바깥 쪽에 패딩하는 단계; 패딩된 상기 참조 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻는 단계; 및 상기 참조 데이터 유닛의 화소값들을 이용하여 상기 현재 데이터 유닛을 재생하는 단계;를 포함하는 것을 특징으로 한다.
상기 다른 과제를 이루기 위한 본 발명의 다른 실시예에 따른 움직임 보상 방법은,
360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 보상 방법에 있어서, 현재 파노라마 영상에 포함된 현재 데이터 유닛의 모션 벡터를 입력받는 단계; 상기 현재 데이터 유닛의 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 참조 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻는 단계; 및 상기 참조 데이터 유닛의 화소값들을 이용하여 상기 현재 데이터 유닛을 재생하는 단계;를 포함하는 것을 특징으로 한다.
상기 다른 과제를 이루기 위한 본 발명의 일 실시예에 따른 움직임 보상 장치는,
360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 보상 장치에 있어서, 현재 파노라마 영상의 움직임 보상에 이용하기 위한 참조 영상을 저장하는 메모리; 및 상기 현재 파노라마 영상에 포함된 현재 데이터 유닛의 모션 벡터를 입 력받아, 상기 현재 데이터 유닛의 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 다른 하나의 경계부터 소정 범위까지의 영상을 상기 하나의 경계의 바깥 쪽에 패딩하고, 패딩된 상기 참조 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻은 후, 상기 참조 데이터 유닛의 화소값들을 이용하여 상기 현재 데이터 유닛을 재생하는 움직임 보상부;를 포함하는 것을 특징으로 한다.
상기 다른 과제를 이루기 위한 본 발명의 다른 실시예에 따른 움직임 보상 장치는,
360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 보상 장치에 있어서, 현재 파노라마 영상의 움직임 보상에 이용하기 위한 참조 영상을 저장하는 메모리; 및 상기 현재 파노라마 영상에 포함된 현재 데이터 유닛의 모션 벡터를 입력받아, 상기 현재 데이터 유닛의 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 참조 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻은 후, 상기 참조 데이터 유닛의 화소값들을 이용하여 상기 현재 데이터 유닛을 재생하는 움직임 보상부;를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 실시예를 상세히 설명한다.
도 5는 본 발명의 일 실시예에 따른 파노라마 영상 모션 벡터 인코더의 블록도이다. 도 5를 참조하면, 본 발명의 일 실시예에 따른 파노라마 영상 모션 벡터 인코더는 변환부(110)(transforming unit), 양자화부(quantizing unit)(115), 역양자화부(inverse quantizing unit)(120), 역변환부(inverse transforming unit)(125), 가산부(adding unit)(130), 클리핑부(clipping unit)(140), 프레임 메모리(150), 파노라마 영상 움직임 추정부(panorama image motion estimation unit)(160), 파노라마 영상 움직임 보상부(panorama image motion compensation unit)(170), 감산부(180) 및 가변장 부호화부(VLC: Variable Length Coder)(190)를 포함한다.
변환부(110)는 파노라마 영상을 입력받아 소정 방식의 변환 방법에 따라 입력 파노라마 영상을 변환한 후 변환계수값들을 출력한다. 입력 파노라마 영상은 도 4b는 도 4a에 도시된 원통형 영상을 기준선 X에 따라 절단함으로써 생성된, 360도 전 방향 영상을 포함하는 파노라마 영상이다. 변환부(110)에 의해 수행되는 상기 소정 방식의 변환 방법은 예컨대, 8X8 블록 단위의 DCT(Discrete Cosine Transform)가 있다.
양자화부(115)는 변환부로(110)부터 입력받은 변환계수값들을 양자화한다. 역양자화부(120) 및 역변환부(125)에 의해 각각 역양자화 및 역변환 후 입력 파노라마 영상이 재생된다. 재생된 파노라마 영상은 클리핑부(140)에 의해 정규화된 후 프레임 메모리(150)에 저장된다. 프레임 메모리(150)에 저장된 파노라마 영상은 새롭게 입력된 파노라마 영상의 움직임 추정 및 보상에 참조 영상으로 이용된다.
파노라마 영상 움직임 추정부(160)는 프레임 메모리(150)에 저장된 참조 파노라마 영상을 이용하여 본 발명에 따른 움직임 추정을 수행한다. 즉, 파노라마 영상 움직임 추정부(160)는 현재 파노라마 영상 정보를 입력받아, 프레임 메모리(150)에 저장된 참조 파노라마 영상을 이용하여 상기 현재 파노라마 영상의 움직임 추정을 수행하여 상기 현재 파노라마 영상의 모션 벡터를 생성한 후 VLC(190)로 출력한다. 움직임 추정 및 보상은 소정 크기의 블록 단위로 수행된다. 움직임 추정 및 보상의 단위 블록을 데이터 유닛이라 한다. 본 실시예에서 데이터 유닛은 16X16 매크로 블록으로 가정한다.
파노라마 영상 움직임 보상부(170)는 본 발명에 따른 움직임 보상을 수행한다. 즉, 파노라마 영상 움직임 추정부(160)에 의해 생성된 현재 매크로 블록의 모션 벡터를 입력받아 현재 매크로블록에 대응하는 참조 매크로블록을 감산부(180)로 출력한다. 감산부(180)는 현재 매크로블록과 참조 매크로블록 간의 잔차 신호를 변환부(110)로 출력한다. 상기 잔차신호는 변환부(110) 및 양자화부(115)에 의해 각각 변환 및 양자화된 후 가변장 부호화부(190)에 의해 가변장부호화된다. 한편, 파노라마 영상 움직임 추정부(160)에 의해 생성된 현재 매크로 블록의 모션 벡터는 가변장 부호화부(190)로 직접 입력되어 가변장부호화된다.
이하에서는, 파노라마 영상 움직임 추정부(160)의 동작을 도면을 참조하여 보다 상세하게 설명한다. 도 6은 본 발명의 일 실시예에 따른 파노라마 영상 움직임 추정 방법의 흐름도이다. 파노라마 영상 움직임 추정부(160)는 현재 데이터 유닛에 인접한 복수의 이전 데이터 유닛들의 모션 벡터들을 이용하여 상기 현재 데이 터 유닛의 모션 벡터를 예측한다(S310). 도 1에 도시한 바와 같이 데이터 유닛 X가 현재 데이터 유닛이라 할 때, 데이터 유닛 A, B, C 및 D가 현재 데이터 유닛 X의 모션 벡터 예측을 위해 필요한 이전 데이터 유닛들이다. 본 실시예에서 데이터 유닛은 16X16 크기의 매크로블록이다.
파노라마 영상 움직임 추정부(160)는 내부 메모리에 저장한 이전 매크로블록 A, B, C 및 D의 모션 벡터를 탐색한다. 이전 매크로블록 A, B, C 및 D의 모션 벡터가 모두 존재한다면 이들 모션벡터들을 이용하여 소정 방식 또는 종래 기술에 따라 현재 매크로블록 X의 모션 벡터를 예측한다.
그러나, 이전 매크로블록 A, B, C 및 D의 모션 벡터 중 적어도 하나가 존재하지 않을 수도 있다. 도 7a는 이전 매크로블록 A 및 D가 존재하지 않아 이전 매크로블록 A 및 D의 모션 벡터를 사용할 수 없는 경우를 나타내고 도 7b는 이전 매크로블록 C가 존재하지 않아 이전 매크로블록 C의 모션 벡터를 사용할 수 없는 경우를 나타낸다.
전술한 바와 같이, 360도 전 방향 영상을 포함하는 파노라마 영상의 오른쪽 경계 부분과 왼쪽 경계 부분의 공간적 상관관계는 매우 높다. 즉, 파노라마 영상의 오른쪽 경계 부분과 왼쪽 경계 부분은 실제 공간 상의 거리는 0이다. 따라서, 본 발명에서는 현재 매크로블록 X의 움직임 벡터 예측에 필요한 이전 매크로블록 A, C 및 D 중 존재하지 않는 이전 매크로블록이 있다면, 전술한 파노라마 영상의 특성을 이용하여 필요한 이전 매크로블록의 모션 벡터를 결정한다. 즉, 도 7a에 도시한 예의 경우, 이전 매크로블록 D와 동일한 Y축 상의 오른쪽 경계 부분에 존재하는 이전 매크로블록 D'는 이전 매크로블록 D와 같다고 볼 수 있다. 따라서 이전 매크로블록 D'의 모션 벡터를 이전 매크로블록 D의 모션 벡터로 간주하여 현재 매크로블록 X의 움직임 벡터 예측에 이용한다. 그러나 이전 매크로블록 A와 동일한 Y축 상의 오른쪽 경계 부분에 존재하는 이전 매크로블록은 현재 매크로블록 X의 움직임 추정 후에 움직임 추정되므로 이용할 모션 벡터가 없다. 따라서 현재 매크로블록 X의 모션 벡터 예측에 이용할 이전 매크로블록 A의 모션 벡터는 0으로 설정한다.
도 7b에 도시한 예의 경우, 이전 매크로블록 C와 동일한 Y축 상의 왼쪽 경계 부분에 존재하는 이전 매크로블록 C'는 이전 매크로블록 C와 같다고 볼 수 있다. 따라서 이전 매크로블록 C'의 모션 벡터를 이전 매크로블록 C의 모션 벡터로 간주하여 현재 매크로블록 X의 움직임 벡터 예측에 이용한다.
파노라마 영상 움직임 추정부(160)는 제310 단계에 따라 현재 매크로블록 X의 모션 벡터를 예측한 후, 상기 예측된 모션 벡터가 나타내는 참조 매크로블록이 참조 영상 내에 존재하는지 여부를 판단한다(S315). 참조 영상은 프레임 메모리(150)에 저장되어 있다.
현재 매크로블록 X의 모션 벡터가 나타내는 참조 매크로블록의 모든 화소들이 참조 영상 내에 존재하면, 참조 매크로블록들의 모든 화소값들을 프레임 메모리(150)로부터 가져온 후(S335), 현재 매크로블록 X와 참조 매크로블록 간의 유사도를 소정 평가 함수를 이용하여 평가한다(S335).
그러나, 현재 매크로블록 X의 모션 벡터가 나타내는 참조 매크로블록의 일부 또는 전체 화소들이 참조 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바 깥 쪽에 존재하면, 상기 참조 영상의 다른 하나의 경계부터 소정 범위까지의 영상을 상기 하나의 경계의 바깥 쪽에 패딩한다(S320).
도 8a는 참조 매크로블록이 참조 영상의 경계에 걸쳐 존재하는 경우를 나타내고, 도 8b는 참조 매크로블록이 참조 영상의 바깥 영역에 존재하는 경우를 나타낸다. 도 3에 도시한 종래 기술에 따르면, 참조 영상의 왼쪽 경계에 위치한 화소 값을 참조 영상의 왼쪽 경계의 바깥의 영역에 패딩하고, 참조 영상의 오른쪽 경계에 위치한 화소 값을 참조 영상의 오른쪽 경계의 바깥의 영역에 패딩한 후 움직임 예측 및 보상을 수행하였다.
그러나 본 발명에서는, 360도 전 방향 영상을 포함하는 파노라마 영상의 오른쪽 경계 부분과 왼쪽 경계 부분의 공간적 상관관계는 매우 높은 성질을 이용하여, 도 9에 도시한 바와 같이 참조 영상의 바깥 영역을 패딩한다. 도 9를 참조하면, 참조 영상(400)의 왼쪽 경계의 바깥 영역(480)은 참조 영상(400)의 오른쪽 경계 영역(470)에 위치한 화소 값으로 패딩한다. 참조 영상(400)의 오른쪽 경계의 바깥 영역(460)은 참조 영상(400)의 왼쪽 경계 영역(450)에 위치한 화소 값으로 패딩한다.
파노라마 영상 움직임 추정부(160)는 제320 단계에 따라 참조 영상을 패딩한 후, 패딩된 참조 영상에서 참조 매크로블록의 모든 화소값들을 프레임 메모리(150)로부터 가져온다(S325). 그 후, 현재 매크로블록 X와 참조 매크로블록 간의 유사도를 소정 평가 함수를 이용하여 평가한다(S335). 상기 소정의 평가 함수로는 SAD(Sum of Absolute Difference) 함수, SATD((Sum of Absolute Transformed Difference) 함수 또는 SSD(Sum of Squared Difference) 함수를 이용함이 일반적이다.
한편, 전술한 바와 같은 패딩 과정을 수행하지 않고, 상기 참조 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 참조 영상이 원통형 영상인 것으로 가정함으로써, 상기 원통형 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻을 수도 있다. 부연 설명하면, 참조 영상은 도 4b에 도시한 바와 같은 2차원 평면 영상이다. 이러한 2차원 평면 영상의 왼쪽 경계와 오른쪽 경계를 연결하면 도 4a와 같은 원통형 영상이 된다. 참조 영상이 원통형 영상인 것으로 가정한다면, 상기 원통형 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻을 수 있다.
파노라마 영상 움직임 추정부(160)는 소정 탐색 범위 내에서 참조 매크로블록의 위치를 변경하고 변경된 참조 매크로블록과 현재 매크로블록 X 간의 유사도를 평가한다(S340, S345). 파노라마 영상 움직임 추정부(160)는 소정 탐색 범위 내에서 다수의 참조 매크로블록들과 현재 매크로블록 X 간의 유사도 평가가 완료되면 상기 다수의 참조 매크로블록들 중에서 현재 매크로블록 X 와 가장 유사한 참조 매크로블록을 결정하고 그 참조 매크로 블록을 나타내는 모션 벡터를 생성한다(S350).
도 10은 현재 매크로블록 X의 모션 벡터를 나타내는 도면이다. 도 10을 참조하면, 현재 매크로블록 X(510)와 가장 유사한 참조 매크로블록이 패딩된 참조 영상 상에서는 참조 매크로블록(530)이고, 참조 매크로블록(530)에 대응하는, 패딩되지 않은 참조 영상(500) 상의 매크로블록은 매크로블록(540)이다. 현재 매크로블 록 X(510)와 가장 유사한 참조 매크로블록을 참조 매크로블록(530)이라 할 때, 참조번호 550은 현재 매크로블록 X(510)의 모션 벡터를 나타낸다. 현재 매크로블록 X(510)와 가장 유사한 참조 매크로블록을 참조 매크로블록(540)이라 할 때, 참조번호 560은 현재 매크로블록 X(510)의 모션 벡터를 나타낸다. 즉, 현재 매크로블록 X(510)의 모션 벡터는 전술한 두 가지로 표현 가능하다. 그러나, 움직임 검출을 위한 소정 탐색 범위를 벗어난 매크로블록을 나타내는 움직임 벡터를 디코더측에 전송할 수 없으므로 참조 매크로블록(530)을 나타내는 모션 벡터(550)을 현재 매크로블록 X(510)의 모션 벡터로 결정한다.
이하에서는 본 발명의 일 실시예에 따른 파노마라 영상의 움직임 보상 방법 및 장치에 대해 설명한다.
도 11은 본 발명의 일 실시예에 따른 파노라마 영상 모션 벡터 디코더의 블록도이다. 도 11을 참조하면, 본 발명의 일 실시예에 따른 파노라마 영상 모션 벡터 디코더는 가변장 복호화부(VLD: Variable Length Decoder)(710), 역양자화부(inverse quantizing unit)(720), 역변환부(inverse transforming unit)(730), 가산부(adding unit)(740), 파노라마 영상 움직임 보상부(panorama image motion compensation unit)(750), 클리핑부(clipping unit)(760) 및 프레임 메모리(770)를 포함한다.
가변장 복호화부(710)는 입력 비트스트림을 가변장복호한다. 가변장 복호화부(710)의 출력 중 모션 벡터는 파노라마 영상 움직임 보상부(750)로 출력되고, 현재 매크로블록과 참조 매크로블록 간의 잔차신호는 역양자화부(720)로 출력된다.
프레임 메모리(770)에는 역양자화부(720), 역변환부(730) 및 클리핑부(760)를 거쳐 재생된 참조 영상이 저장된다. 프레임 메모리(770)에 저장된 참조 영상은 새롭게 입력된 파노라마 영상의 움직임 보상에 이용된다.
파노라마 영상 움직임 보상부(750)는 프레임 메모리(770)에 저장된 참조 파노라마 영상을 이용하여 본 발명에 따른 움직임 보상을 수행한다. 도 5에 도시한 바와 같은 파노라마 영샹 모션 벡터 인코더로부터 전송된 현재 매크로 블록의 모션 벡터를 입력받아 현재 매크로블록에 대응하는 참조 매크로블록을 프레임 메모리(770)로부터 독출하여 가산부(740)로 출력한다. 나아가, 가산부(740)는 역양자화부(720) 및 역변환부(730)에 의해 각각 역양자화 및 역변환된, 현재 매크로블록과 참조 매크로블록 간의 잔차 신호를 입력받는다.
가산부(740)는 현재 매크로블록과 참조 매크로블록 간의 잔차 신호와, 파노라마 영상 움직임 보상부(750)로부터 참조 매크로블록을 입력받아 현재 매크로블록을 재생한다. 클리핑부(760)는 가산부(740)로부터 출력된 재생된 현재 매크로블록을 정규화하는 기능을 수행한다.
이하에서는, 파노라마 영상 움직임 보상부(750)의 동작을 도면을 참조하여 보다 상세하게 설명한다. 도 12는 본 발명의 일 실시예에 따른 파노라마 영상 움직임 보상 방법의 흐름도이다.
파노라마 영상 움직임 보상부(750)는 움직임 보상을 수행할 현재 데이터 유닛의 모션 벡터를 VLD(710)로부터 입력받는다(S910). 본 실시예에서 데이터 유닛은 16X16 크기의 매크로블록이다.
파노라마 영상 움직임 보상부(750)는 상기 현재 매크로블록의 모션 벡터가 나타내는 참조 매크로블록이 참조 영상 내에 존재하는지 여부를 판단한다(S920). 참조 영상은 프레임 메모리(770)에 저장되어 있다.
현재 매크로블록의 모션 벡터가 나타내는 참조 매크로블록의 모든 화소들이 참조 영상 내에 존재하면, 참조 매크로블록들의 모든 화소값들을 프레임 메모리(770)로부터 가져온 후(S950), 현재 매크로블록을 재생한다(S960). 가산부(740)는 역변환부(730)로부터 출력된, 현재 매크로블록과 참조 매크로블록 간의 잔차 신호와, 파노라마 영상 움직임 보상부(750)로부터 출력된 참조 매크로블록을 입력받아 현재 매크로블록을 재생한다.
그러나, 현재 매크로블록의 모션 벡터가 나타내는 참조 매크로블록의 일부 또는 전체 화소들이 도 8a 또는 8b에 도시한 바와 같이 참조 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 다른 하나의 경계부터 소정 범위까지의 영상을 상기 하나의 경계의 바깥 쪽에 패딩한다(S930). 본 발명에서는, 360도 전 방향 영상을 포함하는 파노라마 영상의 오른쪽 경계 부분과 왼쪽 경계 부분의 공간적 상관관계는 매우 높은 성질을 이용하여, 도 9에 도시한 바와 같이 참조 영상의 바깥 영역을 패딩한다.
파노라마 영상 움직임 보상부(750)는 제930 단계에 따라 참조 영상을 패딩한 후, 패딩된 참조 영상에서 참조 매크로블록의 모든 화소값들을 프레임 메모리(770)로부터 가져온다(S940).
한편, 전술한 바와 같은 패딩 과정을 수행하지 않고, 상기 참조 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 참조 영상이 원통형 영상인 것으로 가정함으로써, 상기 원통형 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻을 수도 있다. 부연 설명하면, 참조 영상은 도 4b에 도시한 바와 같은 2차원 평면 영상이다. 이러한 2차원 평면 영상의 왼쪽 경계와 오른쪽 경계를 연결하면 도 4a와 같은 원통형 영상이 된다. 참조 영상이 원통형 영상인 것으로 가정한다면, 상기 원통형 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻을 수 있다.
끝으로, 가산부(740)는 현재 매크로블록과 참조 매크로블록 간의 잔차 신호와, 파노라마 영상 움직임 보상부(750)로부터 출력된 참조 매크로블록을 입력받아 현재 매크로블록을 재생한다(S960).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이, 본 발명에 따르면, 360도 전 방향 영상을 포함하는 파노라마 영상의 오른쪽 경계 부분과 왼쪽 경계 부분의 공간적 상관관계는 매우 높은 성질을 이용하여, 파노라마 영상의 움직임 예측 및 보상을 수행함으로써 움직임 추정 및 보상의 효율성과 정확도를 향상 시켜 화질을 개선할 수 있는 효과를 제공한다. 특히, 본 발명에 따르면 360도 전 방향 영상을 포함하는 파노라마 영상의 오른쪽 경계 부분과 왼쪽 경계 부분의 움직임 예측 및 보상의 효율성 및 정확도를 향상 시켜 오른쪽 경계 부분과 왼쪽 경계 부분의 화질을 개선할 수 있다.

Claims (24)

  1. 360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 추정 방법에 있어서,
    현재 파노라마 영상에 포함된 현재 데이터 유닛에 인접한 복수의 이전 데이터 유닛들의 모션 벡터들을 이용하여 상기 현재 데이터 유닛의 모션 벡터를 예측하는 단계;
    상기 예측된 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 다른 하나의 경계부터 소정 범위까지의 영상을 상기 하나의 경계의 바깥 쪽에 패딩하는 단계;
    패딩된 상기 참조 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻는 단계; 및
    소정 평가 함수를 이용하여 상기 현재 데이터 유닛과 상기 참조 데이터 유닛의 유사도를 결정하는 단계;를 포함하는 것을 특징으로 하는 방법.
  2. 제1 항에 있어서,
    상기 현재 데이터 유닛의 모션 벡터를 예측하는 단계는,
    상기 복수의 이전 데이터 유닛들 중 적어도 하나가 상기 현재 파노라마 영상의 왼쪽 경계 또는 오른쪽 경계의 바깥 쪽에 존재하면, 상기 현재 파노라마 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 현재 파노라마 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 복수의 이전 데이터 유닛들을 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 제1 항에 있어서,
    상기 복수의 이전 데이터 유닛들은 상기 현재 데이터 유닛의 좌측에 인접한 제1 데이터 유닛, 상기 현재 데이터 유닛의 상측에 인접한 제2 데이터 유닛, 상기 제2 데이터 유닛의 우측에 인접한 제3 데이터 유닛 및 상기 제1 데이터 유닛과 상기 제2 데이터 유닛에 모두 인접하는 제4 데이터 유닛인 것을 특징으로 하는 방법.
  4. 제1 항에 있어서,
    소정 탐색 범위 내에서 상기 현재 데이터 유닛과 가장 유사한 참조 데이터 유닛을 결정하는 단계; 및
    결정된 상기 참조 데이터 유닛을 나타내는 모션 벡터를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 추정 방법에 있어서,
    현재 파노라마 영상에 포함된 현재 데이터 유닛에 인접한 복수의 이전 데이터 유닛들의 모션 벡터들을 이용하여 상기 현재 데이터 유닛의 모션 벡터를 예측하는 단계;
    상기 예측된 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 참조 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻는 단계; 및
    소정 평가 함수를 이용하여 상기 현재 데이터 유닛과 상기 참조 데이터 유닛의 유사도를 결정하는 단계;를 포함하는 것을 특징으로 하는 방법.
  6. 제5 항에 있어서,
    상기 현재 데이터 유닛의 모션 벡터를 예측하는 단계는,
    상기 복수의 이전 데이터 유닛들 중 적어도 하나가 상기 현재 파노라마 영상의 왼쪽 경계 또는 오른쪽 경계의 바깥 쪽에 존재하면, 상기 현재 파노라마 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 현재 파노라마 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 복수의 이전 데이터 유닛들을 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제5 항에 있어서,
    상기 복수의 이전 데이터 유닛들은 상기 현재 데이터 유닛의 좌측에 인접한 제1 데이터 유닛, 상기 현재 데이터 유닛의 상측에 인접한 제2 데이터 유닛, 상기 제2 데이터 유닛의 우측에 인접한 제3 데이터 유닛 및 상기 제1 데이터 유닛과 상기 제2 데이터 유닛에 모두 인접하는 제4 데이터 유닛인 것을 특징으로 하는 방법.
  8. 제5 항에 있어서,
    소정 탐색 범위 내에서 상기 현재 데이터 유닛과 가장 유사한 참조 데이터 유닛을 결정하는 단계; 및
    결정된 상기 참조 데이터 유닛을 나타내는 모션 벡터를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 추정 장치에 있어서,
    현재 파노라마 영상의 움직임 추정에 이용하기 위한 참조 영상 및 현재 파노라마 영상에 포함된 현재 데이터 유닛에 인접한 복수의 이전 데이터 유닛들의 모션 벡터들을 저장하는 메모리; 및
    상기 복수의 이전 데이터 유닛들의 상기 모션 벡터들을 이용하여 상기 현재 데이터 유닛의 모션 벡터를 예측하고, 상기 예측된 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 상기 참조 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 다른 하나의 경계부터 소정 범위까지의 영상을 상기 하나의 경계의 바깥 쪽에 패딩하고, 패딩된 상기 참조 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻은 후, 소정의 평가 함수를 이용하여 상기 현재 데이터 유닛과 상기 참조 데이터 유닛의 유사도를 결정하는 움직임 추정부;를 포함하는 것을 특징으로 하는 장치.
  10. 제9 항에 있어서,
    상기 움직임 추정부는,
    상기 복수의 이전 데이터 유닛들 중 적어도 하나가 상기 현재 파노라마 영상의 왼쪽 경계 또는 오른쪽 경계의 바깥 쪽에 존재하면, 상기 현재 파노라마 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 현재 파노라마 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 복수의 이전 데이터 유닛들을 결정하는 것을 특징으로 하는 장치.
  11. 제9 항에 있어서,
    상기 복수의 이전 데이터 유닛들은 상기 현재 데이터 유닛의 좌측에 인접한 제1 데이터 유닛, 상기 현재 데이터 유닛의 상측에 인접한 제2 데이터 유닛, 상기 제2 데이터 유닛의 우측에 인접한 제3 데이터 유닛 및 상기 제1 데이터 유닛과 상기 제2 데이터 유닛에 모두 인접하는 제4 데이터 유닛인 것을 특징으로 하는 장치.
  12. 제9 항에 있어서,
    상기 움직임 추정부는, 소정 탐색 범위 내에서 상기 현재 데이터 유닛과 가장 유사한 참조 데이터 유닛을 결정하고, 결정된 상기 참조 데이터 유닛을 나타내는 모션 벡터를 결정하는 것을 특징으로 하는 장치.
  13. 360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 추정 장치에 있어서,
    현재 파노라마 영상의 움직임 추정에 이용하기 위한 참조 영상 및 현재 파노라마 영상에 포함된 현재 데이터 유닛에 인접한 복수의 이전 데이터 유닛들의 모션 벡터들을 저장하는 메모리; 및
    상기 복수의 이전 데이터 유닛들의 상기 모션 벡터들을 이용하여 상기 현재 데이터 유닛의 모션 벡터를 예측하고, 상기 예측된 모션 벡터가 나타내는 참조 데 이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 참조 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻은 후, 소정의 평가 함수를 이용하여 상기 현재 데이터 유닛과 상기 참조 데이터 유닛의 유사도를 결정하는 움직임 추정부;를 포함하는 것을 특징으로 하는 장치.
  14. 제13 항에 있어서,
    상기 움직임 추정부는, 상기 복수의 이전 데이터 유닛들 중 적어도 하나가 상기 현재 파노라마 영상의 왼쪽 경계 또는 오른쪽 경계의 바깥 쪽에 존재하면, 상기 현재 파노라마 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 현재 파노라마 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 복수의 이전 데이터 유닛들을 결정하는 것을 특징으로 하는 장치.
  15. 제13 항에 있어서,
    상기 복수의 이전 데이터 유닛들은 상기 현재 데이터 유닛의 좌측에 인접한 제1 데이터 유닛, 상기 현재 데이터 유닛의 상측에 인접한 제2 데이터 유닛, 상기 제2 데이터 유닛의 우측에 인접한 제3 데이터 유닛 및 상기 제1 데이터 유닛과 상기 제2 데이터 유닛에 모두 인접하는 제4 데이터 유닛인 것을 특징으로 하는 장치.
  16. 제13 항에 있어서,
    상기 움직임 추정부는, 소정 탐색 범위 내에서 상기 현재 데이터 유닛과 가장 유사한 참조 데이터 유닛을 결정하고, 결정된 상기 참조 데이터 유닛을 나타내는 모션 벡터를 결정하는 것을 특징으로 하는 장치.
  17. 360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 보상 방법에 있어서,
    현재 파노라마 영상에 포함된 현재 데이터 유닛의 모션 벡터를 입력받는 단계;
    상기 현재 데이터 유닛의 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 다른 하나의 경계부터 소정 범위까지의 영상을 상기 하나의 경계의 바깥 쪽에 패딩하는 단계;
    패딩된 상기 참조 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻는 단계; 및
    상기 참조 데이터 유닛의 화소값들을 이용하여 상기 현재 데이터 유닛을 재생하는 단계;를 포함하는 것을 특징으로 하는 방법.
  18. 360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 보상 방법에 있어서,
    현재 파노라마 영상에 포함된 현재 데이터 유닛의 모션 벡터를 입력받는 단계;
    상기 현재 데이터 유닛의 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 참조 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻는 단계; 및
    상기 참조 데이터 유닛의 화소값들을 이용하여 상기 현재 데이터 유닛을 재생하는 단계;를 포함하는 것을 특징으로 하는 방법.
  19. 360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 보상 장치에 있어서,
    현재 파노라마 영상의 움직임 보상에 이용하기 위한 참조 영상을 저장하는 메모리; 및
    상기 현재 파노라마 영상에 포함된 현재 데이터 유닛의 모션 벡터를 입력받아, 상기 현재 데이터 유닛의 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 다른 하나의 경계부터 소정 범위까지의 영상을 상기 하나의 경계의 바깥 쪽에 패딩하고, 패딩된 상기 참조 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻은 후, 상기 참조 데이터 유닛의 화소값 들을 이용하여 상기 현재 데이터 유닛을 재생하는 움직임 보상부;를 포함하는 것을 특징으로 하는 장치.
  20. 360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 보상 장치에 있어서,
    현재 파노라마 영상의 움직임 보상에 이용하기 위한 참조 영상을 저장하는 메모리; 및
    상기 현재 파노라마 영상에 포함된 현재 데이터 유닛의 모션 벡터를 입력받아, 상기 현재 데이터 유닛의 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 참조 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻은 후, 상기 참조 데이터 유닛의 화소값들을 이용하여 상기 현재 데이터 유닛을 재생하는 움직임 보상부;를 포함하는 것을 특징으로 하는 장치.
  21. 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    현재 파노라마 영상에 포함된 현재 데이터 유닛에 인접한 복수의 이전 데이터 유닛들의 모션 벡터들을 이용하여 상기 현재 데이터 유닛의 모션 벡터를 예측하는 단계;
    상기 예측된 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 다른 하나의 경계부터 소정 범위까지의 영상을 상기 하나의 경계의 바깥 쪽에 패딩하는 단계;
    패딩된 상기 참조 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻는 단계; 및
    소정 평가 함수를 이용하여 상기 현재 데이터 유닛과 상기 참조 데이터 유닛의 유사도를 결정하는 단계;를 포함하는 것을 특징으로 하는, 360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 추정 방법을 실현시키기 위한 프로그램을 기록한 기록매체.
  22. 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    현재 파노라마 영상에 포함된 현재 데이터 유닛에 인접한 복수의 이전 데이터 유닛들의 모션 벡터들을 이용하여 상기 현재 데이터 유닛의 모션 벡터를 예측하는 단계;
    상기 예측된 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 참조 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻는 단계; 및
    소정 평가 함수를 이용하여 상기 현재 데이터 유닛과 상기 참조 데이터 유닛의 유사도를 결정하는 단계;를 포함하는 것을 특징으로 하는, 360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 추정 방법을 실현시키기 위한 프로그램을 기록한 기록매체.
  23. 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    현재 파노라마 영상에 포함된 현재 데이터 유닛의 모션 벡터를 입력받는 단계;
    상기 현재 데이터 유닛의 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 다른 하나의 경계부터 소정 범위까지의 영상을 상기 하나의 경계의 바깥 쪽에 패딩하는 단계;
    패딩된 상기 참조 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻는 단계; 및
    상기 참조 데이터 유닛의 화소값들을 이용하여 상기 현재 데이터 유닛을 재생하는 단계;를 포함하는 것을 특징으로 하는, 360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 보상 방법을 실현시키기 위한 프로그램을 기록한 기록매체.
  24. 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    현재 파노라마 영상에 포함된 현재 데이터 유닛의 모션 벡터를 입력받는 단계;
    상기 현재 데이터 유닛의 모션 벡터가 나타내는 참조 데이터 유닛에 포함된 화소들 중 일부 또는 전부가 참조 영상의 왼쪽 경계 또는 오른쪽 경계 중 하나의 경계의 바깥 쪽에 존재하면, 상기 참조 영상의 왼쪽 경계와 오른쪽 경계를 연결하여 상기 참조 영상이 원통형 영상인 것으로 가정하여, 상기 원통형 영상에서 상기 참조 데이터 유닛의 모든 화소값들을 얻는 단계; 및
    상기 참조 데이터 유닛의 화소값들을 이용하여 상기 현재 데이터 유닛을 재생하는 단계;를 포함하는 것을 특징으로 하는, 360도 전 방향 영상 정보를 포함하는 파노라마 영상의 움직임 보상 방법을 실현시키기 위한 프로그램을 기록한 기록매체.
KR1020040081353A 2004-08-13 2004-10-12 파노라마 영상의 움직임 추정 및 보상 KR100677142B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US11/201,153 US20060034374A1 (en) 2004-08-13 2005-08-11 Method and device for motion estimation and compensation for panorama image
JP2007525548A JP4842945B2 (ja) 2004-08-13 2005-08-12 パノラマ映像の動き推定及び補償
PCT/KR2005/002639 WO2006016783A1 (en) 2004-08-13 2005-08-12 Method and device for motion estimation and compensation for panorama image
EP05780526A EP1779672A4 (en) 2004-08-13 2005-08-12 METHOD AND DEVICE FOR ESTIMATING AND MOVING COMPENSATION FOR A PANORAMIC IMAGE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US60113704P 2004-08-13 2004-08-13
US60/601,137 2004-08-13

Publications (2)

Publication Number Publication Date
KR20060015225A true KR20060015225A (ko) 2006-02-16
KR100677142B1 KR100677142B1 (ko) 2007-02-02

Family

ID=37124059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040081353A KR100677142B1 (ko) 2004-08-13 2004-10-12 파노라마 영상의 움직임 추정 및 보상

Country Status (4)

Country Link
US (1) US20060034374A1 (ko)
JP (1) JP4842945B2 (ko)
KR (1) KR100677142B1 (ko)
CN (1) CN100544444C (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100688383B1 (ko) * 2004-08-13 2007-03-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
KR20170084275A (ko) * 2014-11-14 2017-07-19 삼성전자주식회사 영역 적응적 평활화를 이용하는 360도 비디오 코딩
WO2017222301A1 (ko) * 2016-06-21 2017-12-28 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
KR20180056730A (ko) * 2015-09-23 2018-05-29 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
KR20180080121A (ko) * 2017-01-02 2018-07-11 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20180124972A (ko) * 2016-03-24 2018-11-21 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US10812824B2 (en) 2016-06-21 2020-10-20 Pixtree Technologies, Inc. Encoding apparatus and method, and decoding apparatus and method

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100455266C (zh) * 2005-03-29 2009-01-28 深圳迈瑞生物医疗电子股份有限公司 宽景成像处理方法
KR100724134B1 (ko) * 2006-01-09 2007-06-04 삼성전자주식회사 이미지 매칭 속도와 블렌딩 방법을 개선한 파노라마 영상제공 방법 및 장치
KR20080035891A (ko) * 2006-10-20 2008-04-24 포스데이타 주식회사 움직임의 스마트 서치를 지원하는 영상 재생 장치 및 방법
JP2009077363A (ja) * 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
KR101396365B1 (ko) * 2007-08-28 2014-05-30 삼성전자주식회사 영상의 시공간적 움직임 추정/보상 방법 및 장치
JP5418127B2 (ja) * 2009-10-09 2014-02-19 ソニー株式会社 画像処理装置および方法、並びにプログラム
PL2563206T3 (pl) * 2010-04-29 2018-12-31 Massachusetts Institute Of Technology Sposób i urządzenie do korekcji ruchu i poprawy jakości obrazu w optycznej tomografii koherencyjnej
KR101663321B1 (ko) 2010-07-30 2016-10-17 삼성전자주식회사 파노라마 사진 촬영 방법
EP3090560A4 (en) * 2014-01-01 2017-08-23 LG Electronics Inc. Method and apparatus for processing video signal for reducing visibility of blocking artifacts
CN103747264B (zh) * 2014-01-03 2017-10-17 华为技术有限公司 预测运动矢量的方法、编码设备和解码设备
US9918094B2 (en) 2014-10-20 2018-03-13 Google Llc Compressing and representing multi-view video
US9918082B2 (en) 2014-10-20 2018-03-13 Google Llc Continuous prediction domain
DE112015004764T5 (de) * 2014-10-20 2017-10-19 Google Inc. Kontinuierlicher prädiktionsbereich
US9917877B2 (en) 2014-10-20 2018-03-13 Google Llc Streaming the visible parts of a spherical video
US10609379B1 (en) * 2015-09-01 2020-03-31 Amazon Technologies, Inc. Video compression across continuous frame edges
WO2017124305A1 (zh) * 2016-01-19 2017-07-27 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
CN105554506B (zh) * 2016-01-19 2018-05-29 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
US20170214937A1 (en) * 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of Inter Prediction for Spherical Images and Cubic Images
US20170230668A1 (en) * 2016-02-05 2017-08-10 Mediatek Inc. Method and Apparatus of Mode Information Reference for 360-Degree VR Video
US10334224B2 (en) 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
GB2548358A (en) * 2016-03-15 2017-09-20 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video
CN105915892A (zh) * 2016-05-06 2016-08-31 乐视控股（北京）有限公司 全景视频质量判断方法及系统
US20170353737A1 (en) * 2016-06-07 2017-12-07 Mediatek Inc. Method and Apparatus of Boundary Padding for VR Video Processing
US20180054613A1 (en) * 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
CN109076215A (zh) * 2016-08-23 2018-12-21 深圳市大疆创新科技有限公司 用于提高对弯曲视图视频进行编码/解码的效率的系统和方法
GB2553315A (en) 2016-09-01 2018-03-07 Nokia Technologies Oy Determining inter-view prediction areas
EP3301914A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
CN117041600A (zh) 2016-10-04 2023-11-10 有限公司B1影像技术研究所 图像编码/解码方法和计算机可读记录介质
CN114245122A (zh) 2016-10-04 2022-03-25 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
CN114531590A (zh) * 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
WO2018066991A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
US12022199B2 (en) 2016-10-06 2024-06-25 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US10404960B2 (en) * 2016-10-10 2019-09-03 Samsung Electronics Co., Ltd. System and method to prevent boundary artifacts
GB2555788A (en) * 2016-11-08 2018-05-16 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
KR20180057789A (ko) * 2016-11-22 2018-05-31 광운대학교 산학협력단 전방향 카메라에서 효과적인 차분 움직임 백터 전송방법을 이용한 비디오 코딩 방법 및 방법 및 장치
EP3565260A1 (en) * 2016-12-28 2019-11-06 Sony Corporation Generation device, identification information generation method, reproduction device, and image generation method
US10506255B2 (en) * 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
US10506196B2 (en) * 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
US10839515B2 (en) 2017-04-28 2020-11-17 Massachusetts Institute Of Technology Systems and methods for generating and displaying OCT angiography data using variable interscan time analysis
WO2018204748A1 (en) 2017-05-05 2018-11-08 Massachusetts Institute Of Technology Systems and methods for generating and displaying oct blood flow speeds by merging mutiple integrated spatial samplings government license rights
JP7224280B2 (ja) * 2017-07-17 2023-02-17 ビー１、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド 画像データ符号化／復号化方法及び装置
US10614609B2 (en) 2017-07-19 2020-04-07 Mediatek Inc. Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images
US10666863B2 (en) * 2018-05-25 2020-05-26 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using overlapping partitioned sections
US10764494B2 (en) 2018-05-25 2020-09-01 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using composite pictures
WO2021054805A1 (ko) * 2019-09-20 2021-03-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2021093837A1 (en) * 2019-11-15 2021-05-20 Mediatek Inc. Method and apparatus for signaling horizontal wraparound motion compensation in vr360 video coding
WO2021100863A1 (en) * 2019-11-22 2021-05-27 Sharp Kabushiki Kaisha Systems and methods for signaling tiles and slices in video coding
KR20220146647A (ko) * 2020-05-19 2022-11-01 구글 엘엘씨 품질-정규화된 비디오 트랜스코딩을 위한 동적 파라미터 선택

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0592136B1 (en) * 1992-10-09 1999-12-08 Sony Corporation Producing and recording images
JPH06351001A (ja) * 1993-06-08 1994-12-22 Matsushita Electric Ind Co Ltd 動きベクトル検出方法および動き補償予測方法並びにその装置
JPH089377A (ja) * 1994-06-15 1996-01-12 Nippon Telegr & Teleph Corp <Ntt> 画像信号符号化装置および画像信号復号装置
JP2894962B2 (ja) * 1994-12-14 1999-05-24 沖電気工業株式会社 動きベクトル検出装置
TW366648B (en) * 1996-10-24 1999-08-11 Matsushita Electric Ind Co Ltd Method of supplementing pixel signal coding device, and pixel signal decoding device
US6005980A (en) * 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
JPH11122618A (ja) * 1997-10-15 1999-04-30 Mega Chips Corp 画像符号化装置
US6356297B1 (en) * 1998-01-15 2002-03-12 International Business Machines Corporation Method and apparatus for displaying panoramas with streaming video
JP4258879B2 (ja) * 1999-03-08 2009-04-30 パナソニック株式会社 画像符号化方法とその装置、画像復号化方法とその装置、コンピュータに画像符号化方法および画像復号化方法を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001298744A (ja) 2000-04-13 2001-10-26 Meidensha Corp 動画像符号化処理方法
JP2001359101A (ja) 2000-06-09 2001-12-26 Toshiba Corp フラッシュバック処理方法とこの方法を用いたデジタル映像信号処理装置及びデジタル放送受信装置
KR100865034B1 (ko) * 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
US7440500B2 (en) * 2003-07-15 2008-10-21 Lsi Logic Corporation Supporting motion vectors outside picture boundaries in motion estimation process

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100688383B1 (ko) * 2004-08-13 2007-03-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
KR20170084275A (ko) * 2014-11-14 2017-07-19 삼성전자주식회사 영역 적응적 평활화를 이용하는 360도 비디오 코딩
KR20180056730A (ko) * 2015-09-23 2018-05-29 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
KR20210077006A (ko) * 2015-09-23 2021-06-24 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
KR20180124972A (ko) * 2016-03-24 2018-11-21 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US10863182B2 (en) 2016-03-24 2020-12-08 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding of a monoscopic picture
KR20210086720A (ko) * 2016-03-24 2021-07-08 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
WO2017222301A1 (ko) * 2016-06-21 2017-12-28 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
US10812824B2 (en) 2016-06-21 2020-10-20 Pixtree Technologies, Inc. Encoding apparatus and method, and decoding apparatus and method
KR20180080121A (ko) * 2017-01-02 2018-07-11 주식회사 케이티 비디오 신호 처리 방법 및 장치

Also Published As

Publication number Publication date
JP2008510358A (ja) 2008-04-03
CN101002479A (zh) 2007-07-18
KR100677142B1 (ko) 2007-02-02
CN100544444C (zh) 2009-09-23
US20060034374A1 (en) 2006-02-16
JP4842945B2 (ja) 2011-12-21

Similar Documents

Publication Publication Date Title
KR100677142B1 (ko) 파노라마 영상의 움직임 추정 및 보상
KR100688383B1 (ko) 파노라마 영상의 움직임 추정 및 보상
US7623682B2 (en) Method and device for motion estimation and compensation for panorama image
JP4591657B2 (ja) 動画像符号化装置及びその制御方法、プログラム
KR100700218B1 (ko) 파노라마 영상의 움직임 추정 및 보상을 위해 가상 영상영역을 생성하는 방법 및 장치
JP4575447B2 (ja) パノラマ画像の動き推定及び補償のために仮想画像領域を生成する方法及び装置
KR102420839B1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20070171970A1 (en) Method and apparatus for video encoding/decoding based on orthogonal transform and vector quantization
JP2010016454A (ja) 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
US8130827B2 (en) Method and apparatus for interpolating a reference pixel in an annular image and encoding/decoding an annular image
RU2494568C2 (ru) Способ и устройство обработки изображения
KR101360279B1 (ko) 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치
US20240064285A1 (en) Image decoding method and device for deriving weight index information for generation of prediction sample
JP2004241957A (ja) 画像処理装置および符号化装置とそれらの方法
KR20170059902A (ko) 다시점 비디오의 부호화/복호화 방법 및 장치
JP2006100871A (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP4898415B2 (ja) 動画像符号化装置及び動画像符号化方法
KR100688382B1 (ko) 환형 영상의 참조 화소 보간 방법, 그 장치, 환형 영상부호화 방법, 그 장치 및 환형 영상 복호화 방법 및 그장치
JP4126044B2 (ja) 動画像符号化装置及び方法
WO2006016783A1 (en) Method and device for motion estimation and compensation for panorama image
KR101407719B1 (ko) 가변적 화면 그룹 예측 구조를 이용한 다시점 영상 부호화방법 및 장치, 영상 복호화 장치 그리고 상기 방법을수행하는 프로그램이 기록된 기록 매체
JP2005167721A (ja) データ処理装置およびその方法と符号化装置
RU2793902C1 (ru) Способ декодирования изображений для выполнения взаимного прогнозирования, когда режим прогнозирования для текущего блока в конечном счете не может выбираться, и устройство для этого
JPH10191347A (ja) 動き検出装置、動き検出方法、及び、記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121228

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141223

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150604

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20171220

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 14