KR101461649B1 - 두 비디오 프레임 간 모션 추정방법 - Google Patents

두 비디오 프레임 간 모션 추정방법 Download PDF

Info

Publication number
KR101461649B1
KR101461649B1 KR1020107018448A KR20107018448A KR101461649B1 KR 101461649 B1 KR101461649 B1 KR 101461649B1 KR 1020107018448 A KR1020107018448 A KR 1020107018448A KR 20107018448 A KR20107018448 A KR 20107018448A KR 101461649 B1 KR101461649 B1 KR 101461649B1
Authority
KR
South Korea
Prior art keywords
video frame
motion vector
motion
frame
spatial direction
Prior art date
Application number
KR1020107018448A
Other languages
English (en)
Other versions
KR20100116194A (ko
Inventor
세드릭 테볼
카를로스 꼬레아
세바스티앙 바이트부르흐
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20100116194A publication Critical patent/KR20100116194A/ko
Application granted granted Critical
Publication of KR101461649B1 publication Critical patent/KR101461649B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/557—Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 두 비디오 프레임 간에 모션을 추정하는 방법에 관한 것이다. 본 발명에 따르면, 모션 추정은 수평 방향으로의 첫번째 한 모션 추정 및 그리고 수직 방향으로의 한 모션 추정을 이용함으로써 이루어진다. 바람직하게는, 수평방향으로 복수의 모션 추정이 수직 방향으로의 모션 추정과 함께 선택적으로 사용된다. 그것은 추정의 복잡도를 감소시킬 수 있다.

Description

두 비디오 프레임 간 모션 추정방법{Method of Estimating Motion Between Two Video Frames}
본 발명은 두 비디오 프레임 간 모션 추정방법에 관한 것이다. 그것은 모션 렌디션(motion rendition)을 향상시키기 위하여 어떠한 종류의 디지털 디스플레이에서도 실행될 수 있다.
모션보상(motion compensation)은 모션 렌디션을 향상시키기 위하여 액정 디스플레이나 플라즈마 디스플레이 패널과 같은 다양한 디스플레이 장치에서 사용되기 때문에, 모션 보상은 오늘날 뜨거운 화제거리이다. 그것은 일반적으로 50/60Hz 소스를 100/120Hz로 변환하는 데에 이용된다.
공지된 모션추정(motion estimation) 방법은 2-차원 검색(2-dimensions search)에 기초하고 있기 때문에, 그것은 매우 비싸다. 예를 들어, 수평축으로 프레임당 +/-n 픽셀까지, 수직축으로 프레임 당 +/-p 픽셀까지 모션을 추정하기 위하여, 표준 방법은 n×p 복잡도(complexity)를 갖는다.
본 발명이 해결하고자 하는 과제는 종래 기술의 문제점을 개선할 수 있는 모션 추정 방법을 제공하는 데 있다.
본 발명은 감소된 복잡도를 갖는 모션 추정 방법을 제공한다.
본 발명에 따르면, 모션 추정은 1-차원 검색을 연속적으로 이용함으로써 이루어지며, 그것은 적어도 제 1 공간방향으로 하나의 모션 추정 및 제 2 공간방향으로 하나의 모션 추정을 의미한다. 만약 제 1 공간방향으로 하나의 모션 추정과 제 2 공간방향으로 하나의 모션 추정이 요구되면, 수평으로 프레임 당 +/-n 픽셀 및 수직으로 프레임 당 +/-p 픽셀까지 모션을 추정하기 위해 본 발명의 복잡도는 n+p로 줄어든다.
본 발명은 적어도 제 1 및 제 2 비디오 프레임을 포함하는 비디오 시퀀스 내 미리 정의된 시간 위치(time position)에서 모션을 추정하는 방법과 관련되며, 이하의 단계:
a) 상기 미리 정의된 시간 위치에 위치하는 프레임의 적어도 한 픽셀에 대하여, 상기 제 1 비디오 프레임과 제 2 비디오 프레임에 기초하여 제 1 공간 방향(spatial direction)으로 제 1 모션 벡터 성분을 추정하는 단계,
b) 상기 추정된 제 1 모션 벡터 성분의 적어도 일부분에 기초하여 상기 제 2 비디오 프레임의 적어도 일부분을 보상하는 단계, 및
c) 상기 미리 정의된 시간 위치에 위치하는 프레임의 상기 적어도 한 픽셀에 대하여, 상기 제 1 비디오 프레임과 상기 보상된 제 2 비디오 프레임에 기초하여 제 2 공간 방향으로 제 2 모션 벡터 성분을 추정하는 단계를 포함한다.
또 다른 실시예에 있어서, 본 발명은:
d) 상기 단계 c)의 종료 시에 제 1 정지 기준(stop criterion)이 도달되는지 여부를 확인하는 단계, 및
e) 제 1 정지 기준이 도달되지 않는 한, 상기 추정된 제 2 모션 벡터 성분의 적어도 일부분에 기초하여 상기 제 2 비디오 프레임을 보상하고, 상기 미리 정의된 시간 위치에 위치한 프레임의 상기 적어도 한 픽셀에 대하여 상기 제 1 비디오 프레임과 상기 보상된 새로운 제 2 비디오 프레임에 기초하여 상기 제 1 공간 방향으로 새로운 제 1 모션 벡터 성분을 추정하며, 상기 단계 b) 내지 d)를 반복하는 단계를 추가적으로 더 포함한다.
상기 제 1 정지 기준은 예를 들어 반복 휫수가 N와 같을 때 도달되며, N은 1 보다 큰 정수이다. 변형예에 있어, 상기 단계 e)에서의 제 1 반복으로부터 기인한 상기 제 1 및 제 2 모션 벡터 성분 간 및 상기 단계 e)에서의 다음 반복으로부터 기인한 상기 제 1 및 제 2 모션 벡터 성분 간 차가 임계값(threshold value)보다 더 큰 한, 상기 제 1 정지 기준은 도달되지 않는다. 상기 차가 0에 가까워지면, 상기 제 1 정지 기준이 도달된다.
또 다른 실시예에 있어, 상기 단계 b) 내지 d)는 제 2 정지 기준이 도달되지 않을 경우에만 단계 e)에서 반복된다. 예를 들어, 단계 e)에서의 제 1 반복으로부터 기인한 새로운 제 1 모션 벡터 성분 및 단계 e)에서의 다음 반복으로부터 기인한 새로운 제 1 모션 벡터 성분 간의 차가 임계값보다 더 큰 한, 상기 제 2 정지 기준은 도달되지 않는다. 그 경우, 상기 차가 0에 가까워지면, 상기 제 2 정지 기준이 도달된다.
본 발명에 따르면, 종래의 문제점을 효과적으로 개선한 모션 추정 방법을 제공할 수 있다.
본 발명의 실시예가 도면에 도시되어 있고 이하의 기재 내용에서 더욱 자세하게 설명된다. 도면에서:
도 1은 본 발명 방법의 제 1 실시예의 단계를 나타내고;
도 2a 내지 도 2g는 도 1의 방법에 따른 모션 추정의 예를 나타내며;
도 3은 본 발명 방법의 제 2 실시예의 단계를 나타내고;
도 4a 내지 도 4n은 도 3의 방법에 따른 모션 추정의 예를 나타내며;
도 5는 본 발명 방법의 제 3 실시예의 단계를 나타내고;
도 6은 본 발명 방법의 제 4 실시예의 단계를 나타내며;
도 7은 본 발명 방법의 제 5 실시예의 단계를 나타내고;
도 8은 본 발명 방법을 실행하기 위한 장치를 나타낸다.
이하의 상세한 설명에서는 예시를 통해 본 발명의 특정 실시예만 도시되고 기재되어 있다. 본 발명에서 통상의 지식을 가진 자가 인식할 수 있는 바와 같이, 기재된 실시예는 본 발명의 사상 또는 범위를 벗어나지 않는 한 다양한 방법으로 수정될 수 있다. 따라서, 도면 및 기재 내용은 한정적이라기 보다는 본래적으로 예시적인 것으로 간주되어야 한다. 유사한 참조번호는 유사한 구성요소를 지시한다. 모션(motion)은 프레임 A와 B를 포함하는 비디오 시퀀스 내 미리 정의된 시간 위치에서 추정된다. 이러한 시간 위치는 프레임 A와 B의 시간 위치 사이의 어떤 시각 또는 또다른 시간 위치에 위치될 수 있다. 모션은 프레임 A 또는 프레임 B의 시간 위치에서 추정될 수도 있다.
도 1은 본 발명에 따라 프레임 A와 B를 포함하는 비디오 시퀀스 내 미리 정의된 시간 위치에서 모션을 추정하는 제 1 방법의 단계를 나타낸다. 이 방법은:
- 상기 미리 정의된 시간 위치에 위치하는 프레임의 적어도 한 픽셀에 대하여, 상기 비디오 프레임 A와 B에 기초하여 제 1 공간 방향(spatial direction)으로 제 1 모션 벡터 성분을 추정하는 단계(100);
- 상기 추정된 제 1 모션 벡터 성분의 적어도 일부분에 기초하여 상기 비디오 프레임 B의 적어도 일부분을 보상하는 단계(110), 및
- 상기 미리 정의된 시간 위치에 위치하는 프레임의 상기 적어도 한 픽셀에 대하여, 상기 비디오 프레임 A와 상기 보상된 비디오 프레임 B에 기초하여 제 2 공간 방향으로 제 2 모션 벡터 성분을 추정하는 단계(120)를 포함한다.
상기 제 1 공간 방향은 예를 들어 수평 방향이고 제 2 공간 방향은 수직방향이다. 변형예에서는, 상기 제 1 공간 방향이 수직방향이고 제 2 공간 방향이 수평 방향이다. 비디오 프레임 B는 비디오 프레임 A에 연속하고 또는 그 반대일 수도 있다. 단계(110)에서, 단계(100)에서 추정된 모션 벡터 성분 또는 그것의 일부분에 따라 비디오 프레임 B를 보상하는 대신에, 단계(100)에서 추정된 모션 벡터 성분의 일부분에 따라 비디오 프레임 A를 보상하고 단계(100)에서 추정된 모션 벡터 성분의 또 다른 일부분에 따라 비디오 프레임 B를 보상하는 것도 가능하다. 상기 두번째의 경우, 추정 단계(120)는 상기 2개의 보상된 비디오 프레임 사이에서 수행된다.
모션 벡터는 주어진 시간 위치에서 한 프레임 내 한 픽셀에 대하여 추정된다. 만약 이러한 시간 위치가 (예를 들어) 상기 두 프레임 A 및 B 중의 하나에 대응하면, 나머지 하나의 프레임만이 보상되어야 한다(상기의 경우 B). 다른 경우에 있어서는, 상기 두 프레임은 모션 벡터의 일부분에 따라 보상되어야 한다.
상기 방법은 도면 2a 내지 2g에서 주어진 일 실시예에 의해 도시되어 있다. 이 실시예에서, 제 1 공간 방향은 수평 방향이고 제 2 공간 방향은 수직 방향이다. 모션 벡터는 프레임 A의 픽셀 P에 대하여 추정된다(상기 미리 정의된 시간 위치는 비디오 프레임 A의 시간 위치에 대응한다). 비디오 프레임 A는 흰색 배경 상의 회색 사각형(20)을 나타내는 화상이다. 그 사각형의 좌상 모서리부의 수평 및 수직 좌표는 X1 및 Y1이다. 비디오 프레임 B에서, 회색 사각형은 이동되었고, 이 프레임의 사각형의 좌상 모서리부의 수평 및 수직 좌표는 x2 및 y2이다.
도 2a는 프레임 A 및 B를 나타낸다. 도 2b에서, 픽셀 P에 중심을 둔 창(window, W)이 프레임 A 내에 정의된다. 창(W)와 일치하는 창(W')은 프레임 B 내에 정의된다. 창(W')은 픽셀 P와 동일한 공간 좌표를 갖는 픽셀 P' 상에 중심을 둔다. 추정 단계(100)는, 창(W)의 콘텐트와 창(W')의 콘텐트 간 최상의 매치를 결정하기 위하여, 창(W')을 수평으로 이동시키는 것에 있다. 프레임 A 또는 B 상에 위치하지 않는 모션 추정의 시간 위치인 경우, 창(W)와 창(W')은 미리 결정된 시간 위치에서 프레임 내 픽셀 상에 위치한 모션 벡터를 따라 자신의 대응하는 중심 픽셀 P와 P'와 함께 이동될 것이다. 도 2c는 최상의 매치 및 모션 벡터의 추정된 수평 성분(Vx)을 나타낸다. 단계(110)는 도 2d에 의해 도시되어 있다. 프레임(B)은 모션 벡터 성분(Vx)에 따라 보상된다. 추정 단계(120)는 도 2e에 의해 도시된 바와 같이 창(W)의 콘텐트와 창(W')의 콘텐트 간 최상의 매치를 결정하기 위하여 창(W')을 수직으로 이동시키는 것에 있다. 도 2f는 최상의 매치 및 모션 벡터의 추정된 수직 성분(Vy)을 나타낸다. 벡터(Vx,Vy)는 픽셀 P에 대하여 추정된 모션 벡터이다. 도 2g는 이전에 추정된 모션 벡터 Vx 및 Vy에 따라 수평 및 수직으로 보상된 프레임 B를 나타낸다. 도 2g는 상기 방법의 일 단계에 대응하지 않으며, 다만 추정이 올바르다는 것을 나타낸다.
본 실시예에서, 상기 올바른 모션 벡터 성분은 제 1 공간 방향으로의 하나의 추정단계 및 제 2 공간 방향으로의 하나의 추정 단계로 결정된다. 몇몇 경우에 있어서는 더 많은 개수의 추정 단계가 필수적이다.
도 3은 프레임 A 및 B를 포함하는 비디오 시퀀스 내 미리 정의된 시간 위치에서 모션을 추정하는 제 2 방법을 나타낸다. 이 방법은 더 많은 개수의 추정 단계를 포함한다. 이 방법은 도 1을 참조하여 기재된 바와 같은 단계(100 내지 120) 및 추가적인 단계를 포함한다.
상기 추가적인 단계는:
- 제 1 정지 기준(stop criterion)이 도달되는지 여부를 확인하기 위한 단계(130); 및
- 제 1 정지 기준이 도달되지 않는 한, 단계(120)에서 추정된 상기 제 2 모션 벡터 성분의 적어도 일부분에 기초하여 상기 제 2 비디오 프레임 B의 적어도 일부분을 보상하는 단계(140), 상기 미리 정의된 시간 위치에 위치한 프레임의 상기 적어도 한 픽셀에 대하여 상기 비디오 프레임 A와 상기 보상된 새로운 비디오 프레임 B에 기초하여 상기 제 1 공간 방향으로 새로운 제 1 모션 벡터 성분을 추정하는 단계(150), 및 단계(110 내지 130)를 반복하는 단계이다.
제 1 정지 기준은 예를 들어 반복 횟수가 N과 같은 경우 도달되며, N은 1보다 큰 정수이다. N은 예를 들어 2 또는 3과 같다. 상기 제 1 정지 기준은 수렴 기준(convergence criterion)일 수도 있다. 예를 들어, 만약 2개의 연속적인 반복의 제 1 및 제 2 모션 벡터 성분 간 차가 어떤 임계값보다 더 작으면(예를 들어 만약 상기 차가 0에 가까우면), 상기 제 1 정지 기준이 도달된다. 단계(140)에서, 단계(120)에서 추정된 모션 벡터 성분에 따라 비디오 프레임 B를 보상하는 대신에, 단계(120)에서 추정된 모션 벡터 성분의 일부분에 따라 비디오 프레임 A를 보상하고 단계(120)에서 추정된 모션 벡터 성분의 또 다른 일부분에 따라 비디오 프레임 B를 보상하는 것도 가능하다. 이러한 두번째 경우, 추정 단계(150)는 상기 두 개의 보상된 비디오 프레임 사이에 수행된다.
상기 제 2 방법은 도 4a 내지 4n에서 주어진 일 실시예에 의해 도시된다. 이 실시예에서, 제 1 공간 방향은 수평 방향이고 제 2 공간 방향은 수직방향이다. 모션 벡터는 프레임 A의 픽셀 P에 대하여 추정된다(미리 정의된 시간 위치는 비디오 프레임 A의 시간 위치에 대응한다). 비디오 프레임 A는 흰색 배경 상의 회색 삼각형(20)을 나타내는 화상이다. 그 삼각형의 좌상 모서리부의 수평 및 수직 좌표는 x1 및 y1이다. 비디오 프레임 B에서, 회색 삼각형은 이동되었고, 이 프레임 내 삼각형의 좌상 모서리부의 수평 및 수직 좌표는 x2 및 y2이다.
도 4a는 프레임 A 및 B를 나타낸다. 도 4b에서, 픽셀 P에 중심을 둔 창(W)이 프레임 A 내에 정의된다. 창(W)과 일치하는 창(W')은 프레임 B 내에 정의된다. 창(W')은 픽셀 P와 동일한 공간 좌표를 갖는 픽셀 P' 상에 중심을 둔다. 추정 단계(100)는, 창(W)의 콘텐트와 창(W')의 콘텐트 간 최상의 매치를 결정하기 위하여, 창(W')을 수평으로 이동시키는 것에 있다. 프레임 A 또는 B 상에 위치하지 않은 모션 추정의 시간 위치인 경우, 창(W)와 창(W')은 미리 결정된 시간 위치에서 프레임 내 픽셀 상에 위치한 모션 벡터를 따라 자신의 대응하는 중심 픽셀 P와 P'와 함께 이동될 것이다. 도 4c는 최상의 매치 및 모션 벡터의 추정된 수평 성분(Vx)을 나타낸다. 단계(110)는 도 4d에 의해 도시되어 있다. 프레임(B)은 모션 벡터 성분(Vx)에 따라 보상된다. 추정 단계(120)는, 도 4e에 의해 도시된 바와 같이 창(W)의 콘텐트와 창(W')의 콘텐트 간 최상의 매치를 결정하기 위하여, 창(W')을 수직으로 이동시키는 것에 있다. 도 4f는 최상의 매치 및 모션 벡터의 추정된 수직 성분(Vy)을 나타낸다. 도 4g는 이전에 추정된 모션 벡터 Vx 및 Vy에 따라 수평 및 수직으로 보상된 프레임 B를 나타낸다. 도 4g는 상기 방법의 일 단계에 대응하지 않으며, 다만 추정이 본 프로세스의 상기 단계에서 올바르지 않다는 것을 나타내기 위하여 제공된다. 상기 추정을 개선하기 위하여 몇몇 추가적인 단계가 수행되어야 한다. 이러한 추가적인 단계는 단계(130)에서의 정지 기준이 도달되지 않는 한 수행된다. 이러한 정지 기준은 예를 들어 단계(110) 및 단계(120)의 반복 횟수이다. 올바른 추정을 확보하기 위하여, 상기 반복 횟수는 예를 들어 2와 같거나 더 많다. 그리고 나서, 단계(140)와 단계(150)가 수행된다. 도 4h는 모션 벡터(Vy)에 따라 수직으로 보상된 프레임 B를 나타낸다. 추정단계(150)는, 창(W)의 콘텐트와 창(W')의 콘텐트 간 최상의 매치를 결정하기 위하여, 도 4i에 도시된 바와 같이 창(W')을 수평으로 이동시키는 것에 있다. 도 4j는 최상의 매치 및 모션 벡터의 추정된 새로운 수평 성분(Vx)을 나타낸다. 단계(150) 이후의 단계(110)가 도 4k에 의해 도시되어 있다. 프레임 B는 새로운 모션 벡터 성분(Vx)에 따라 보상된다. 이후의 추정 단계(120)는, 창(W)의 콘텐트와 창(W')의 콘텐트 간 최상의 매치를 결정하기 위하여, 도 4l에 도시된 바와 같이 창(W')을 수직으로 이동시키는 것에 있다. 도 4m은 최상의 매치 및 모션 벡터의 추정된 새로운 수직 성분(Vy)을 나타낸다. 최종 벡터(Vx,Vy)는 픽셀 P에 대하여 추정된 모션 벡터이다. 도 4n은 이전에 추정된 최종 모션 벡터 Vx 및 Vy에 따라 수평 및 수직으로 보상된 프레임 B를 나타낸다. 상기 도 4는 본 방법의 일 단계에 대응하지 않으며, 다만 추정이 올바르다는 것을 나타낸다.
도 5는 비디오 프레임 A와 비디오 프레임 B 간 모션을 추정하는 제 3 방법을 나타낸다. 이 방법은 도 3을 참조하여 기재된 바와 같은 단계(100 내지 150), 및 단계(150) 후에 제 2 정지 기준이 도달되는지 여부를 확인하기 위한 단계(160)를 포함한다. 단계(110 내지 130)는 제 2 정지 기준이 도달되지 않는 경우에만 반복된다. 상기 제 2 정지 기준은, 예를 들어 단계 d)의 2개의 연속적인 반복으로부터 발생되는 2개의 연속적인 새로운 제 1 모션 벡터 성분 간의 차가 어떤 임계값보다 큰 경우에는, 도달되지 않는다. 예를 들어, 만약 상기 차가 프레임 당 1 픽셀보다 낮으면, 상기 제 2 정지 기준이 도달되고 현재 픽셀에 대하여 추정되는 모션 벡터는 마지막으로 추정된 제 1 및 제 2 모션 벡터 성분에 의해 정의된다.
도 6은 비디오 프레임 A와 비디오 프레임 B 간 모션을 추정하는 제 4 방법을 나타낸다. 이 방법에서는, 주어진 픽셀의 제 1 모션 벡터 성분을 추정하기 위하여, (예를 들어 이전 라인에 속하는) 이웃 픽셀에 대해 추정되는 제 2 모션 벡터 성분을 이용하는 것이 제안된다. 이 방법은 도 3을 참조하여 기재된 바와 같은 단계(100 내지 150), 및 이웃 픽셀에 대해 추정되는 제 2 모션 벡터 성분에 기초하여 제 1 비디오 프레임 B를 보상하는 단계(170)를 포함한다. 이 보상하는 단계는 단계(100) 전에 수행된다. 만약 상기 제 1 정지 기준이 수렴 기준이면, 상기 새로운 단계(170)는 모션 벡터의 정확도를 증가시키도록 할 수 있고 이에 따라 수렴 기준에 더욱 신속히 도달하도록 할 수 있다.
도 7은 비디오 프레임 A와 비디오 프레임 B 간 모션을 추정하는 제 5 방법을 나타낸다. 이 방법에서는, 주어진 픽셀의 제 1 모션 벡터 성분을 추정하기 위하여, 이웃 픽셀에 대해 추정되는 제 2 모션 벡터 성분을 이용하는 것이 또한 제안된다. 이 방법은 도 5를 참조하여 기재된 바와 같은 단계(100 내지 160), 및 이전 또는 다음 라인에 속하는 이웃 픽셀에 대하여 추정되는 제 2 모션 벡터 성분에 기초하여 제 1 비디오 프레임 B를 보상하는 단계(170)를 포함한다. 이 보상하는 단계는 단계(100) 전에 수행된다. 만약 상기 제 1 및 제 2 정지 기준 중 적어도 하나가 수렴 기준이면, 상기 새로운 단계(170)는 모션 벡터의 정확도를 증가시키기 때문에 상기 새로운 단계(170)는 수렴 기준에 더욱 신속히 도달하도록 할 수 있다.
도 8은 도 1 내지 6에 의해 도시된 방법을 실행하기 위한 장치를 나타낸다. 상기 추정 단계는 단 하나의 공간 방향으로 각각 이루어지기 때문에, 상기 장치는 두 개의 블럭: 즉 제 1 공간 방향으로의 모션 추정 및 보상을 위한 블럭(800), 및 제 2 공간 방향으로의 모션 추정 및 보상을 위한 블럭(810)을 포함한다. 단계(100), 단계(110), 및 만약 필요하다면 단계(150) 및 단계(160)가 블럭(800)에 의하여 수행되며, 단계(120), 단계(130) 및 만약 필요하다면 단계(140) 및 단계(160)가 블럭(810)에 의해 수행된다. 단계(170)를 수행하기 위해, 추가적인 라인 메모리(line memories)가 필요하다.
본 발명은 상기 개시된 실시예에 한정되지 않는다. 다양한 수정이 가능하고 이 다양한 수정은 청구범위의 범위 내에 있는 것으로 생각된다.
단계(100, 110 및 120)(140, 150 및 170에 대해서도 마찬가지임)가 비디오 프레임의 일부분 또는 전체 프레임에 대해 단계단계 교대로 행해질 수 있다. 상기 첫번째 경우, 그것은 프레임의 일부분에 대하여 제 1 공간 방향으로의 모션 추정, 그리고 상기 제 1 공간 방향으로 프레임 A 및/또는 B의 일부분의 보상, 및 마지막으로 제 2 공간 방향으로의 추정을 의미한다. 상기 두번째 경우, 그것은 전제 프레임에 대하여 제 1 공간 방향으로의 모션 추정, 그리고 상기 제 1 공간 방향으로 전제 프레임 A 및/또는 B의 보상, 및 마지막으로 제 2 공간 방향으로의 추정을 의미한다.
보상(및 벡터의 사용)과 관련하여 많은 변형예가 또한 가능하다.
단일 픽셀의 모션을 추정하기 위하여 전체 비디오 프레임은 요구되지 않는다; 실제로 모션 추정을 위해 사용되는 픽셀만이 필요하며, 이에 따라 비디오의 이 부분만이 보상될 필요가 있다. (상기에서 기재된 바와 같이 전체 프레임을 보상하는 것도 가능하다)
물론 각 픽셀의 대응하는 벡터를 이용하여 상기 필요로 하는 비디오 영역을 보상하는 것이 가능하며, 다만 얼마간의 자원(resources)과 라인 메모리를 절약하기 위하여 몇몇 픽셀에 대하여 동일한 벡터 정보를 이용하는 것이 가능하다. 예를 들어 (수직적인 추정 전) 수평적인 보상을 위하여, 비디오는 컬럼으로 보상될 수 있으며, 각각의 컬럼은 그 컬럼의 중심 픽셀의 벡터를 이용하여 이동된다.
800 : 제 1 공간 방향으로의 모션 추정 및 보상을 위한 블럭
810 : 제 2 공간 방향으로의 모션 추정 및 보상을 위한 블럭

Claims (10)

  1. 적어도 제 1 및 제 2 비디오 프레임을 포함하는 비디오 시퀀스 내 미리 정의된 시간 위치에서 모션을 추정하는 방법으로서,
    a) 상기 미리 정의된 시간 위치에 위치하는 프레임의 적어도 한 픽셀에 대하여, 상기 제 1 비디오 프레임 및 제 2 비디오 프레임에 기초하여 제 1 공간 방향으로 제 1 모션 벡터 성분을 추정하는 단계;
    b) 상기 추정된 제 1 모션 벡터 성분의 적어도 일부분에 기초하여 상기 제 2 비디오 프레임의 적어도 일부분을 보상하는 단계;
    c) 상기 미리 정의된 시간 위치에 위치하는 프레임의 상기 적어도 한 픽셀에 대하여, 상기 제 1 비디오 프레임 및 상기 보상된 제 2 비디오 프레임에 기초하여 제 2 공간 방향으로 제 2 모션 벡터 성분을 추정하고, 해당 추정을 제 2 방향에서 이용해서 상기 모션을 제 1 방향으로 추정하기 전에 적어도 상기 제 1 비디오 프레임 또는 상기 제2 비디오 프레임을 상기 제 2 방향으로 보상하여 상기 추정을 반복 추정에 의해 두 방향으로 개선시키는 단계; 및
    d) 상기 단계 c)의 종료 시 제 1 정지 기준에 도달되는지의 여부를 확인하는 단계를 포함하여 구성되는, 모션을 추정하는 방법.
  2. 제1항에 있어서, e) 제 1 정지 기준이 도달되지 않는 한, 상기 추정된 제 2 모션 벡터 성분의 적어도 일부분에 기초하여 상기 제 2 비디오 프레임을 보상하고, 상기 미리 정의된 시간 위치에 위치한 프레임의 상기 적어도 한 픽셀에 대하여 상기 제 1 비디오 프레임과 상기 보상된 새로운 제 2 비디오 프레임에 기초하여 상기 제 1 공간 방향으로 새로운 제 1 모션 벡터 성분을 추정하며, 상기 단계 b) 내지 d)를 반복하는 단계를 더 포함하는, 모션을 추정하는 방법.
  3. 제1항에 있어서, 상기 제 1 공간 방향은 수평방향이고, 상기 제 2 공간 방향은 수직 방향인 것인, 모션을 추정하는 방법.
  4. 제1항에 있어서, 상기 제 1 공간 방향은 수직 방향이고, 상기 제 2 공간 방향은 수평 방향인 것인, 모션을 추정하는 방법.
  5. 제1항에 있어서, 상기 제 2 비디오 프레임은 상기 제 1 비디오 프레임에 연속하는 것인, 모션을 추정하는 방법.
  6. 제1항에 있어서, 상기 제 1 비디오 프레임은 상기 제 2 비디오 프레임에 연속하는, 모션을 추정하는 방법.
  7. 제2항에 있어서, 반복 횟수가 N과 같지 않는 한 상기 제 1 정지 기준은 도달되지 않고, N은 1보다 큰 정수인 것인, 모션을 추정하는 방법.
  8. 제2항에 있어서, 단계 e)에서의 제 1 반복으로부터 기인한 상기 제 1 및 제 2 모션 벡터 성분 간 및 단계 e)에서의 다음 반복으로부터 기인한 상기 제 1 및 제 2 모션 벡터 성분 간 차가 임계값보다 더 큰 한, 상기 제 1 정지 기준(130)은 도달되지 않는 것인, 모션을 추정하는 방법.
  9. 제2항에 있어서, 단계 e)에서, 제 2 정지 기준이 도달되지 않는 경우에만 상기 단계 b) 내지 d)가 반복되는 것인, 모션을 추정하는 방법.
  10. 제9항에 있어서, 단계 e)에서의 제 1 반복으로부터 기인한 새로운 제 1 모션 벡터 성분 및 단계 e)에서의 다음 반복으로부터 기인한 새로운 제 1 모션 벡터 성분 간의 차가 임계값보다 더 큰 한, 상기 제 2 정지 기준에 도달되지 않는 것인, 모션을 추정하는 방법.
KR1020107018448A 2008-02-20 2008-03-13 두 비디오 프레임 간 모션 추정방법 KR101461649B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08300104.0 2008-02-20
EP08300104 2008-02-20
PCT/EP2008/053016 WO2009103350A1 (en) 2008-02-20 2008-03-13 Method of estimating motion between two video frames

Publications (2)

Publication Number Publication Date
KR20100116194A KR20100116194A (ko) 2010-10-29
KR101461649B1 true KR101461649B1 (ko) 2014-11-13

Family

ID=39791032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107018448A KR101461649B1 (ko) 2008-02-20 2008-03-13 두 비디오 프레임 간 모션 추정방법

Country Status (5)

Country Link
US (1) US8351512B2 (ko)
EP (1) EP2243289B1 (ko)
KR (1) KR101461649B1 (ko)
CN (1) CN101946502B (ko)
WO (1) WO2009103350A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8903127B2 (en) * 2011-09-16 2014-12-02 Harman International (China) Holdings Co., Ltd. Egomotion estimation system and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285711B1 (en) * 1998-05-20 2001-09-04 Sharp Laboratories Of America, Inc. Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences
US20040109503A1 (en) * 2002-12-05 2004-06-10 Samsung Electronics Co., Ltd. High speed motion vector estimation apparatus and method
EP1755345A2 (en) * 2005-08-19 2007-02-21 Thomson Licensing Iterative global motion estimation

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970011380B1 (ko) * 1992-12-31 1997-07-10 현대전자산업 주식회사 고선명 텔레비전의 2차원 움직임 벡터 계산장치
KR970011380A (ko) 1995-08-25 1997-03-27 김태구 엔진 시동중 재시동 방지 장치
US6128047A (en) * 1998-05-20 2000-10-03 Sony Corporation Motion estimation process and system using sparse search block-matching and integral projection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285711B1 (en) * 1998-05-20 2001-09-04 Sharp Laboratories Of America, Inc. Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences
US20040109503A1 (en) * 2002-12-05 2004-06-10 Samsung Electronics Co., Ltd. High speed motion vector estimation apparatus and method
EP1755345A2 (en) * 2005-08-19 2007-02-21 Thomson Licensing Iterative global motion estimation

Also Published As

Publication number Publication date
EP2243289B1 (en) 2018-12-26
EP2243289A1 (en) 2010-10-27
US8351512B2 (en) 2013-01-08
KR20100116194A (ko) 2010-10-29
US20100321582A1 (en) 2010-12-23
WO2009103350A1 (en) 2009-08-27
CN101946502B (zh) 2013-09-11
CN101946502A (zh) 2011-01-12

Similar Documents

Publication Publication Date Title
KR101135454B1 (ko) 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체
US8817878B2 (en) Method and system for motion estimation around a fixed reference vector using a pivot-pixel approach
JP2005204066A (ja) 補間画像生成方法および装置
CN101572076B (zh) 帧速率变换设备和帧速率变换方法
WO2006072925A3 (en) Method for estimating motion and occlusion
US8355442B2 (en) Method and system for automatically turning off motion compensation when motion vectors are inaccurate
KR20050089886A (ko) 배경 움직임 벡터 검출
CN103369208A (zh) 自适应去隔行方法及装置
US6930728B2 (en) Scan conversion apparatus
KR100976718B1 (ko) 필드 레이트 업변환을 위한 방법 및 장치
US8861605B2 (en) Image processing method with motion estimation and image processing arrangement
US20110255596A1 (en) Frame rate up conversion system and method
JP4786506B2 (ja) テレビジョン受信機
KR101461649B1 (ko) 두 비디오 프레임 간 모션 추정방법
JP4951487B2 (ja) 映像処理装置及びそれを用いた映像表示装置
JP4731356B2 (ja) 画像表示装置及び方法
US20070024608A1 (en) Apparatus for controlling displaying images and method of doing the same
US8200032B2 (en) Image processing method and related apparatus for performing image processing operation according to image blocks in horizontal direction
JP4736456B2 (ja) 走査線補間装置、映像表示装置、映像信号処理装置
US7750974B2 (en) System and method for static region detection in video processing
US8416344B2 (en) Iterative method for interpolating video information values
US10015513B2 (en) Image processing apparatus and image processing method thereof
JP2008193730A (ja) 画像表示装置及び方法、画像処理装置及び方法
CN104683812A (zh) 用于移动估计的视频预处理方法与装置
JP2008118340A (ja) 動きベクトル検出装置及びビデオ信号処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181031

Year of fee payment: 5