KR20080033094A - 모션이 보상된 이미지를 위한 보간 방법 및 이 방법의구현을 위한 디바이스 - Google Patents

모션이 보상된 이미지를 위한 보간 방법 및 이 방법의구현을 위한 디바이스 Download PDF

Info

Publication number
KR20080033094A
KR20080033094A KR1020070101982A KR20070101982A KR20080033094A KR 20080033094 A KR20080033094 A KR 20080033094A KR 1020070101982 A KR1020070101982 A KR 1020070101982A KR 20070101982 A KR20070101982 A KR 20070101982A KR 20080033094 A KR20080033094 A KR 20080033094A
Authority
KR
South Korea
Prior art keywords
pixel
image
pixels
interpolated
source images
Prior art date
Application number
KR1020070101982A
Other languages
English (en)
Other versions
KR101399616B1 (ko
Inventor
조나단 케버치
핫산 구에르모우드
디디에르 도이엔
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20080033094A publication Critical patent/KR20080033094A/ko
Application granted granted Critical
Publication of KR101399616B1 publication Critical patent/KR101399616B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Abstract

본 발명은 모션 평가 벡터에서 에러에 민감하지 않는 모션이 보상된 비디오 보간을 제안한다. 본 발명은 보간 단계가 고려된 픽셀에 대한 평가된 모션 벡터의 크기 및/또는 신뢰성 지수에 따라 가변하는 모션이 보상된 비디오 보간 방법을 제안한다. 보간을 고려할 픽셀의 개수 및 이들 픽셀과 관련된 가중 인자는 평가된 모션 벡터의 크기 및/또는 신뢰성 지수에 따라 가변하도록 이루어진다.
비디오, 모션, 보간, 화상, 픽셀

Description

모션이 보상된 이미지를 위한 보간 방법 및 이 방법의 구현을 위한 디바이스{INTERPOLATION METHOD FOR A MOTION COMPENSATED IMAGE AND DEVICE FOR THE IMPLEMENTATION OF SAID METHOD}
본 발명은 이미지 또는 비디오 처리 분야에 대한 것으로서, 특히 모션 보상을 가지는 이미지 보간 분야에 대한 것이다.
다수의 비디오 처리 동작은 예를 들면, 비디오 보간의 경우 처리 품질을 향상시키기 위한 모션 보상, 또는 예컨대 비디오 압축의 경우 데이터 부피를 감소시키기 위한 모션 보상을 요구한다. 본 발명은 특히 모션 보상, 또는 모션이 보상된 비디오 보간에 대한 것이다.
일반적으로 모션이 보상된 비디오 보간은 모션 평가 단계와, 이 후의 보간 단계로 이루어진다.
모션 평가는 이미지의 각 포인트가 보간하도록 모션 벡터를 정의하는데 있으며, 이때 이 이미지는 일시적으로 2개의 소스 이미지 사이에 위치된다. 보통, 모션 평가 단계는 2 단계로 수행된다: 즉, 예측 단계 및 보정 단계. 예측 단계는 이미지 픽셀 중 각 하나가 보간하도록, 이웃 픽셀을 위해 이미 계산된 모션 벡터들로부터 및 이전 소스 이미지를 위해 계산된 모션 벡터의 투사로부터 하나의 모션 벡터를 한정하고 고려되는 픽셀을 포함하는 데 있다. 이미 계산된 모션 벡터는 예를 들면 픽셀의 이전 라인의 n개 이웃 픽셀의 모션 벡터가 된다. 따라서, 예측은 n+1개의 사전 계산된 모션 벡터 중에서 최소 DFD(Displacement Frame Difference: 변위 프레임 차)값을 생성하는 모션 벡터를 선택하는 데 있다. 후속적으로, 보정 단계는, 만일 가능하다면, 고려되는 픽셀의 DFD를 더 감소시키기 위해 자신의 축을 중심으로 선택된 모션 벡터를 회전시키는 데 있다.
평가 단계에 이어지는 보간 단계는 대다수의 케이스에서 쌍일차(bilinear) 보간이 된다. 이전 소스 이미지(Iprev)와 현재 소스 이미지(Icurr) 사이의 보간(Iint)에 대한 이미지의 경우, 이전에 정의된 모션 벡터는 소스 이미지의 각 하나에 대한 이미지 포인트를 가리키며, 이때 이 이미지 포인트는 4개의 픽셀 사이에 위치되는 픽셀, 또는 포인트가 된다. "단일 프레임"으로 알려진 보간의 경우, 쌍일차 보간은 평가된 모션 벡터에 의해 소스 이미지(일반적으로, 현재 소스 이미지) 중 하나에서 지시된 4개의 픽셀값에 대한 쌍일차 함수(f)인 값을 이미지(Iint)의 관련된 P에 할당하는 데 있다. 예를 들면, 만일 V1, V2, V3 및 V4는 현재의 소스 이미지에서 모션 벡터에 의해 지시된 이미지 포인트에 가까운 4개의 픽셀 값을 나타내고,
Figure 112007072679495-PAT00001
1,
Figure 112007072679495-PAT00002
2,
Figure 112007072679495-PAT00003
3 및
Figure 112007072679495-PAT00004
4가 이미지 포인트에 대한 상기 픽셀의 근접도를 대표하는 가중 인자라면, 이미지(Iint)의 픽셀에 할당된 값은
Figure 112007072679495-PAT00005
이다. 만일 모션 벡터가 4개의 픽셀 중 특정 픽셀을 지시한다면, 다른 3개의 픽셀에 할당된 가중 인자는 영(zero)이 되며, 고려된 픽셀에 할당된 값은 이러한 특정 픽셀의 값이 된다. "이중 프레임"으로 알려진 보간의 경우, 쌍일차 보간도 동일한 방식으로 수행되나 8개의 픽셀, 즉 이전 소스 이미지의 4개 픽셀과 현재 소스 이미지의 4개 픽셀로 이루어진다.
모션 평가가 에러없이는 절대되지 않는다고 한다면, 픽셀사이의 매칭이 이후 가능하지 않으므로, 2개의 연속적인 소스 이미지 사이에 사라지거나 나타나는 이미지 영역에서의 시각적인 결점을 포함한다.
따라서, 본 발명은 2개의 연속적인 소스 이미지 사이에 사라지거나 나타나는 이미지 영역에서의 시각적인 결점을 해소하는 데 그 목적을 두고 있다.
본 발명은 이전에 정의된 비디오 보간 방식보다 특히 객체의 출현 또는 실종에 대하여 덜 결정적인 새로게 모션 보상된 비디오 보간을 제안한다.
본 발명은 보간 단계 그 자체가 평가된 모션 벡터 및/또는 신뢰성 지수의 크기에 따라 다양한 모션 보상된 비디오 보간 방법을 제안한다. 보간을 위해 고려되어야할 픽셀의 개수 및 이들 픽셀과 관련된 가중 인자는 평가된 모션 벡터의 크기 및/또는 신뢰성 지수에 따라 다양하게 된다.
그러므로, 본 발명은 적어도 2개의 소스 이미지의 픽셀로부터 모션이 보상된 이미지의 적어도 하나의 픽셀을 보간하는 방법에 대한 것으로서, 상기 방법은:
- 이미지의 상기 픽셀이 보간하도록, 소스 이미지로부터 모션 벡터를 평가하는 평가 단계와,
- 상기 벡터의 평가를 나타내는 적어도 정보를 결정하는 결정 단계와,
- 상기 벡터의 평가를 나타내는 상기 정보에 따라 보간하기 위해 이미지의 상기 픽셀에 대한 보간 패턴을 선택하는 선택 단계로서, 상기 보간 패턴은 상기 소스 이미지의 적어도 하나에서 픽셀을 식별하고 가중 인자를 상기 식별된 픽셀중 각각 하나에 관련시키는, 선택 단계와,
- 픽셀로부터 이미지의 상기 픽셀 및 상기 선택된 보간 패턴의 인자를 보간하는 단계를 포함한다.
벡터의 평가를 나타내는 정보는 평가된 벡터의 크기 또는 벡터의 평가에 관련한 신뢰성 지수의 하나이거나, 또는 이들 둘 모두일 수 있다.
특정 실시예에 따라, 평가된 모션 벡터의 크기만이 보간 패턴을 선택할 경우 고려된다. 이 경우, 우리는 보간의 여러 레벨을 고려할 수 있다.
만일 보간할 이미지의 픽셀에 대한 평가된 모션 벡터의 크기가 제 1 비제 로(non-zero) 임계값 이하라면, 보간 패턴은 보간할 상기 픽셀의 공간적 위치에 가장 근접한 소스 이미지 중 하나의 n개 픽셀을 포함하되, n은 2 이상이며, 소스 이미지 픽셀의 각각에 할당된 가중 인자는 보간할 상기 픽셀에 대한 자신의 근접성에 의존한다. 이 경우, 보간 패턴은 단일 프레임 보간을 수반한다. 이중 프레임 보간의 경우, 보간패턴은 보간할 상기 픽셀의 공간적 위치에 가장 근접한 소스 이미지 중 하나의 n개 픽셀을 포함하되, n은 2이상 이며, 소스 이미지 픽셀의 각각에 할당된 가중 인자는 보간할 상기 픽셀에 대한 자신의 근접성 및 양쪽 소스 이미지에 대하여 보간할 이미지의 시간적 위치에 의존한다.
만일 보간할 이미지의 픽셀에 대한 평가된 모션 벡터가 상기 제 1 임계값 보다 크다면, 보간 패턴은 보간할 상기 픽셀의 공간적 위치에 가장 근접한 소스 이미지 중 하나에 대한 n개 픽셀을 포함하되, n은 2이상이고, 상기 소스 이미지 픽셀에 할당된 가중 인자는 모두 동일하다. 이중 프레임 보간의 경우, 보간패턴은 소스 이미지 중 하나의 보간할 상기 픽셀의 공간적 위치에 가장 근접한 n개 픽셀을 포함하되, n은 2이상 이며, 소스 이미지 픽셀의 각각에 할당된 가중 인자는 보간할 상기 픽셀에 대한 자신의 근접성 및 양쪽 소스 이미지에 대하여 보간할 이미지의 시간적 위치에 의존한다. 픽셀의 개수(n)는 평가된 벡터의 크기와 함께 적정하게 증가한다.
다른 특정 실시예에 따라, 평가된 모션 벡터에 관련한 신뢰성 지수만이 보간 패턴을 선택하기 위해 고려된다. 이러한 신뢰성 지수는 예를 들면, 보간할 픽셀을 포함하는 m x m개 픽셀의 윈도우에서 모션 벡터의 분산(variance)에 의존한다. 이 경우, 또한 보간의 수개 레벨을 고려할 수 있다.
만일 보간할 이미지의 상기 픽셀에 대한 모션 벡터의 신뢰성 지수가 제 1 신뢰성 임계값보다 크면, 단일 프레임 보간의 경우, 보간 패턴은 보간할 상기 픽셀의 공간적인 위치에 가장 근접한 소스 이미지 중 하나에 대한 n개 픽셀을 포함하되, n은 2이상이고, 상기 소스 이미지 픽셀의 각각에 할당된 가중 인자는 보간할 상기 픽셀에 대한 자신의 근접성에 의존한다. 이중 프레임 보간의 경우, 보간패턴은 소스 이미지 중 하나의 보간할 상기 픽셀의 공간적 위치에 가장 근접한 n개 픽셀을 포함하되, n은 2이상 이며, 소스 이미지 픽셀의 각각에 할당된 가중 인자는 보간할 상기 픽셀에 대한 자신의 근접성 및 양쪽 소스 이미지에 대하여 보간할 이미지의 시간적 위치에 의존한다.
만일 보간할 이미지의 상기 픽셀에 대한 모션 벡터의 신뢰성 지수가 상기 제 1 신뢰성 임계값 이하이면, 단일 프레임 보간의 경우에서, 보간 패턴은 보간할 상기 픽셀의 공간적 위치에 가장 근접한 소스 이미지의 하나에 대한 n개 픽셀을 포함하되, n은 2이상이고, 상기 소스 이미지 픽셀에 할당된 가중 인자는 동일하다. 이중 프레임 보간의 경우, 보간패턴은 소스 이미지 중 하나의 보간할 상기 픽셀의 공간적 위치에 가장 근접한 n개 픽셀을 포함하되, n은 2이상 이며, 각 소스 이미지 픽셀의 각각에 할당된 가중 인자는 보간할 상기 픽셀에 대한 자신의 근접성 및 양쪽 소스 이미지에 대하여 보간할 이미지의 시간적 위치에 의존한다. 픽셀의 개수(n)는 유리하게는 평가된 벡터의 신뢰성 지수의 값과 함께 감소한다.
다른 특정 실시예에 따라, 벡터에 관련한 벡터의 크기 및 신뢰성 지수가 보 간 패턴을 선택하기 위해 고려된다.
마지막으로, 본 발명은 또한 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀의 보간 디바이스에 대한 것으로서, 상기 디바이스는,
- 상기 소스 이미지를 저장하는 메모리와,
- 이미지의 픽셀이 보간하도록 상기 소스 이미지로부터 모션 벡터를 평가하는 모션 평가기와,
- 상기 벡터의 평가를 나타내는 정보를 결정하는 결정 회로와,
- 상기 벡터의 평가를 나타내는 상기 정보에 따라 보간할 이미지의 상기 픽셀에 대하여 보간 패턴을 선택하는 보간 회로로서, 상기 보간 패턴은 상기 소스 이미지 중 적어도 하나에 있는 픽셀을 식별하고 가중 인자를 상기 식별된 픽셀 중 각각의 하나에 관련시키며, 선택된 보간 패턴의 픽셀 및 인자로부터의 상기 픽셀을 보간시키는, 보간 회로를 포함한다.
본 발명에 의하면, 보간 단계 그 자체가 평가된 모션 벡터 및/또는 신뢰성 색인의 크기에 따라 다양한 모션 보상된 비디오 보간 방법을 제안하고, 보간을 위해 고려되어야할 픽셀의 개수 및 이들 픽셀과 관련된 가중 인자는 평가된 모션 벡터의 크기 및/또는 신뢰성 지수에 따라 다양하게 고려하게 되므로, 2개의 연속적인 소스 이미지 사이에 사라지거나 나타나는 이미지 영역에서의 시각적인 결점을 해소하는 효과가 있다.
본 발명은 첨부된 도면을 참조하고 정보를 위해 단지 제공된 이하 설명을 읽는 다면 더 이해가 잘 될 것이다.
이전에 표시한 바와 같이, 본 발명의 원리는 보간 패턴을 다양하게 만드는데, 즉 평가된 모션 벡터와 관련한 신뢰성 지수보 및/또는 고려된 픽셀를 위한 평가된 모션 벡터의 크기에 따라, 및/또는 관련 가중 인자가 의거하는 픽셀의 개수가 변하게 한다.
3개의 실시예가 여기에 기술된다: 제 1 실시예는 평가된 모션 벡터의 크기에 오로지 의거하고, 제 2 실시예는 평가된 모션 벡터의 신뢰성 지수에 오로지 의거하며, 제 3 실시예는 위에서 언급된 두가지의 실시예를 결합한다.
도 1은 본 발명의 제 1 실시예의 단계를 나타내는 순서도이다. 이 순서도는 다음을 포함한다:
- 이미지의 각 픽셀이 보간하도록 모션 벡터(Vx, Vy)를 평가하기 위한 모션 평가 단계(100),
- 평가된 모션 벡터(
Figure 112007072679495-PAT00006
)의 크기(A)를 결정하기 위한 단계(110),
- 이러한 픽셀을 위한 평가된 모션 벡터의 크기에 따라 이미지의 각 픽셀이 보간할 보간 패턴 선택 단계(120),
- 이러한 이미지의 각 픽셀에 대하여, 이러한 픽셀을 위해 선택된 보간 패턴을 사용함으로써 보간된 이미지를 생성하기 위한 보간 단계(130).
도 2는 보간 단계(130)를 더 상세하게 예시하며, 상이한 보간 유형(쌍일차 보간, 평균에 의한 보간) 및 평가된 모션 벡터의 크기에 따라 적용될 다양한 패턴를 보여준다. 모션 벡터의 방향(양 또는 음의 모션 벡터)이 보간의 선택에 관계되지않은 점을 주목할 수 있다. 이 실시예에서, 복수의 이웃 픽셀에 기반한 쌍일차 보간 또는 평균화 보간을 사용한다. 이러한 유형의 보간 중 각각 하나에 대하여, 평가된 모션 벡터의 크기가 높을수록, 보간 패턴의 픽셀의 개수에서의 증가가 더 커진다.
만일 모션 벡터의 크기가 제 1 임계값(SA1)이하라면, 모션은 로우가 되는 것으로 여겨진다. 임계값(SA1)은 예시로서 2픽셀(프레임당)에 고정된다. 따라서, 보간은 예를 들면 4개 픽셀에 기반한 쌍일차 보간이 되며, 이들 4개 픽셀은 소스 이미지에서 고려되는 픽셀의 이웃 픽셀이 된다. 이웃 픽셀은 공간적 좌표가 보간할 이미지의 고려된 픽셀의 좌표에 밀접하는 소스 이미지 픽셀을 의미하는 것으로 이해된다. 단일 프레임 보간의 경우, 소스 이미지 중 하나의 단지 4개 이웃 픽셀이 사용된다. 이러한 경우가 도 3에 의해 예시된다. 4개 이웃 픽셀은 P1, P2, P3 및 P4로 표기되며, 이들 4개 픽셀과 관련된 비디오값은 V1, V2, V3 및 V4에 의해 표시되며, 관련 가중 인자는
Figure 112007072679495-PAT00007
1,
Figure 112007072679495-PAT00008
2,
Figure 112007072679495-PAT00009
3 및
Figure 112007072679495-PAT00010
4로 표시된다. 인자
Figure 112007072679495-PAT00011
1의 값은 보간할 픽셀과 관련된 픽셀(P1)을 분리하는 거리 함수이다. 도 3의 예에서, 픽셀(P1)은 보간할 픽셀에 최근접하며, 그 인자(
Figure 112007072679495-PAT00012
1)는 따라서 최고높다. 픽셀(P4)는 보간할 픽셀로부터 최원거리가 되며, 그 인자(
Figure 112007072679495-PAT00013
4)는 그러므로 최저이다. 보간할 픽셀에 할당된 값은 따라서
Figure 112007072679495-PAT00014
와 같다. 꽤 명백하게, 이전에 표시된 바와 같이, 만일 모션 벡터가 4개 픽셀 중에서 특정 픽셀을 지시한다면, 다른 3개 픽셀에 할당된 가중 인자는 영(zero)이 된다. 이중 프레임 보간의 경우, 쌍일치 보간은 이전 소스 이미지의 4개 이웃 픽셀과 현재 소스 이미지의 4개 픽셀 상에 이루어진다. 만일 V1, V2, V3 및 V4가 현재 소스 이미지의 4개 이웃 픽셀의 값을 지정하고
Figure 112007072679495-PAT00015
1,
Figure 112007072679495-PAT00016
2,
Figure 112007072679495-PAT00017
3 및
Figure 112007072679495-PAT00018
4가 관련 가중 인자를 지정하고, V'1, V'2, V'3 및 V'4가 이전 소스 이미지의 4개 이웃 픽셀의 값을 지정하고
Figure 112007072679495-PAT00019
'1,
Figure 112007072679495-PAT00020
'2,
Figure 112007072679495-PAT00021
'3 및
Figure 112007072679495-PAT00022
'4가 관련된 가중 인자를 지정한다면, 보간할 픽셀에 할당된 값은 따라서
Figure 112007072679495-PAT00023
와 같다. 이 공식에서,
Figure 112007072679495-PAT00024
는 소스 이미지에 대하여 보간할 이미지의 시간적 위치에 의존한다. 만일 보간할 이미지가 일시적으로 소스 이미지 사이의 중간 거리에 놓인다면, β=1/2이다. 만일 보간할 이미지가 이전 소스 이미지보다 더 많은 현재의 소스 이미지라면, β는 1/2 보다 크다.
만일 소정의 픽셀에 대하여 평가된 모션 벡터의 크기가 영이라면, 모션 벡터는 이전 및 현재 소스 이미지의 하나 또는 그 밖의 다른 것에서 동일한 공간적 좌표를 가지는 픽셀을 지시한다. 쌍일차 보간은 결국 이전 또는 현재 소스 이미지 중 하나로부터 동일한 공간적 좌표를 갖는 대응하는 픽셀의 값을 재복사한 것이 된다. 만일 이전 및 현재 소스 이미지가 인터리빙(interleaved)된 비디오 시퀀스를 디인터리빙(deinterleaving)함으로써 획득되는 순차(progressive) 이미지라면, 동일해야만 하는(왜냐하면 영 모션 벡터에 의해 링크되므로) 픽셀의 값이 그렇지 않을 가능성도 있는 것이 주목될 수 있다. 이 경우, 우리는 여전히 모션 벡터에 의해 지시된 픽셀의 값중 하나 또는 그 밖의 다른 것을 재복사하거나 또는 가능하게는 평균을 낼 수 있다.
만일 모션 벡터의 크기가 임계값(SA1)보다 크고 SA1보다 더 큰 제 2 임계값(SA2) 이하이면, 모션이 평균으로 여겨진다. 임계값(SA2)은 예를 들면 6개 픽셀(프레임당)에 고정된다. 따라서, 보간은 소스 이미지에서 고려되는 픽셀의 4개 이웃 픽셀(P1,P2,P3 및 P4)에 기반한 평균화 단계이다. 이에 대한 케이스가 도 4에 의해 예시된다. 4개 이웃 픽셀의 가중 인자는 동일하다(α1=α2=α3=α4=α). 단일 프레임 보간의 경우, 보간할 픽셀에 할당된 값은 따라서
Figure 112007072679495-PAT00025
와 같다. (α'1=α'2=α'3=α'4=α')인 이중 프레임 보간의 경우, 보간할 픽셀에 할당된 값은 따라서,
Figure 112007072679495-PAT00026
와 같다.
최종적으로, 만일 모션 벡터의 크기가 임계값(SA2)보다 크다면, 운동은 하 이(high)일 것으로 여겨진다. 따라서, 보간은 8개의 이웃 픽셀에 기반하는 평균화 단계가 되며, 예를 들면 도 5에 도시된 것과 같다. 8개 이웃 픽셀의 가중 인자는 동일하다(=α). 단일 프레임 보간의 경우, 보간을 위해 픽셀에 할당된 값은
Figure 112007072679495-PAT00027
과 같다. 이중 프레임 보간의 경우, 보간할 픽셀에 할당된 값은 따라서
Figure 112007072679495-PAT00028
와 같다.
도 6은 이전에 기술된 프로세스를 구현할 수 있는 디바이스를 나타낸다. 이러한 디바이스는, 소스 이미지 즉 현재 소스 이미지 및 이전 소스 이미지를 각각이 기억할 수 있는 적어도 2개의 이미지 메모리(200), 이미지 메모리(200) 중 하나에 저장된 이전 이미지와 디바이스의 입력의 현재 소스 이미지로부터 보간할 이미지의 픽셀 중 각각의 하나에 대한 모션 벡터(Vx, Vy)를 결정하는 모션 평가기(210), 이 평가기(210)로부터 오는 평가된 모션 벡터의 크기(A)를 결정하는 회로(220), 및 이미지 메모리(200)에 저장된 전류 및 이전 소스 이미지와 회로(220)에 의해 결정된 크기(A)로부터 보간된 이미지를 생성하는 보간기(230)를 포함한다. 보간기(230)는 각 픽셀이 보간하도록, 임계값(SA1 및 SA2)에서의 이러한 픽셀을 위한 평가된 모션 벡터의 크기(A)와 영값을 비교하여, 후속적으로 적당한 보간 패턴을 적용한다.
도 7은 본 발명의 제 2 실시예의 단계를 보여주는 순서도이다. 제 2 실시예는,
- 이미지의 각 픽셀이 보간하도록 모션 벡터(Vx, Vy)를 평가하는 모션 평가 단계(300),
- 평가된 모션 벡터를 위한 신뢰성 지수(C)를 결정하는 단계(310),
- 이미지의 각 픽셀이 평가된 모션 벡터의 신뢰성 지수에 따라 보간하도록 하는 보간 패턴 선택 단계(320), 및
- 이러한 이미지의 각 픽셀에 대하여, 이 픽셀를 위해 선택된 보간 패턴을 사용함으로써, 보간된 이미지를 생성하는 보간단계(330)를 포함한다.
본 실시예에서, 이러한 신뢰성 지수가 낮아질 수록, 보간 패턴에 의해 사용된 픽셀의 개수는 더 높아진다. 사실, 평가된 모션 벡터의 값을 덜 신뢰한다면, 보간된 이미지는 더 희미해지게 될 수 있다. 이러한 신뢰성 지수는 예를 들면, 고려된 픽셀을 포함하는 이미지 영역에서 모션 벡터의 값의 편차를 분석함으로써 결정된다. 이러한 영역에 있는 모션 벡터의 값이 더 편차가 있을 수 록, 고려된 픽셀에 관련된 신뢰성 지수는 더 낮아진다. 신뢰성 지수(C)는 예를 들면, 고려된 픽셀을 포함하는 5x5 픽셀의 윈도우에 있는 모션 벡터의 분산에 역으로 비례한다:
Figure 112007072679495-PAT00029
.
이 방정식의 2번째 항은 0과 1 사이에 포함되도록 표준화된다. 좌표 픽셀(3,3)은 현재 픽셀을 지정한다. Vxi ,j 및 Vyi ,j는 픽셀(i,j)의 모션 벡터 중 수평 및 수직 성분을 각각 지정한다. Vxmax 및 Vymax는 모션 벡터의 최대 수평 및 수직 성분을 지정한다. 이들 성분의 각각을 8-비트 코딩하는 경우, Vxmax = Vymax = 255이다.
도 8은 보간 단계(330)를 더 상세하게 예시하고, 평가된 모션 벡터와 관련된 신뢰성 지수의 값에 따라 적용할 보간의 예를 보여주는 도면이다.
만일 신뢰성 지수의 값이 제 1 임계값(SC1) 이하이면, 신뢰성 지수는 로우(low)인 것으로 여겨진다. 따라서, 예를 들면 보간은 8개 픽셀에 기반한 평균화 보간이 되며, 이들 8개 픽셀은 소스 이미지에서 고려된 픽셀의 이웃 픽셀이다. 단일 프레임 보간의 경우, 단지 소스 이미지 중 하나에 대한 8개 이웃 픽셀이 사용된다. 만일 도 2 내지 5와 비교된 제 1 실시예를 위해 정의된 표시법을 다시 사용한다면, 보간할 픽셀에 할당된 값은
Figure 112007072679495-PAT00030
와 같다. 이중 프레임 보간의 경우, 보간은 이전 소스 이미지의 8개 이웃 픽셀과 현재 소스 이미지의 8개 픽셀 상에서 이루어진다. 따라서, 보간할 픽셀에 할당된 값은
Figure 112007072679495-PAT00031
와 같다.
만일 신뢰성 지수의 값이 임계값(SC1)보다 크고, SC1보다 큰 제 2 임계값(SC2) 이하이면, 신뢰성 지수는 중간인 것으로 여겨진다. 따라서 보간은 예를 들면 4개 픽셀에 기반한 평균화 보간이 되며, 이 4개 픽셀은 소스 이미지에서 고려된 픽셀의 이웃 픽셀이 된다. 단일 프레임 보간의 경우, 소스 이미지 중 하나에 대한 단지 4개 이웃 픽셀이 사용된다. 만일 도 2 내지 도 5와 관련하여 제 1 실시예를 위해 정의된 표시법을 다시 사용한다면, 보간할 픽셀에 할당된 값은
Figure 112007072679495-PAT00032
와 같다. 이중 프레임 보간의 경우, 보간은 이전 소스 이미지의 4개 이웃 픽셀과 현재 소스 이미지의 4개 픽셀 상에서 이루어진다. 따라 서, 보간할 픽셀에 할당된 값은
Figure 112007072679495-PAT00033
와 같다.
최종적으로, 만일 신뢰성 지수의 값이 임계값(SC2)보다 크다면, 신뢰성 지수는 많이 큰(strong)것으로 여겨진다. 따라서, 예를 들면, 보간은 4개 픽셀상에 기반한 쌍일차 보간이 되며, 이들 4개 픽셀은 소스 이미지에서 고려된 픽셀에 대한 이웃 픽셀이 된다. 단일 프레임 보간의 경우, 소스 이미지 중 하나에 대한 단지 4개 이웃 픽셀이 사용된다. 만일 도 2 내지 도 5와 관련하여 제 1 실시예에 대하여 한정된 표시법을 취한다면, 보간할 픽셀에 할당된 값은
Figure 112007072679495-PAT00034
와 같다. 이중 프레임 보간의 경우, 쌍일차 보간은 이전 소스 이미지의 4개 이웃 픽셀과 현재 소스 이미지의 4개 픽셀 상에서 이루어진다. 따라서, 보간할 픽셀에 할당된 값은
Figure 112007072679495-PAT00035
와 같다.
도 9는 이전에 기술된 방법을 구현할 수 있는 디바이스를 나타낸다. 이러한 디바이스는 각각이 소스 이미지, 즉 현재 소스 이미지 및 이전 소스 이미지를 기억할 수 있는 적어도 2개의 이미지 메모리(400), 이 이미지 메모리(400) 중 하나에 있는 이전 소스 이미지로부터 그리고, 디바이스의 입력에서의 현재 소스 이미지로부터 보간할 이미지의 픽셀의 각각 하나에 대하여 모션 벡터를 결정하는 모션 평가기(410), 이 평가기(410)로부터 오는 평가된 모션 벡터의 각각에 대하여 신뢰성 지수(C)를 결정하는 회로(420), 및 이미지 메모리(400)에 저장된 현재와 이전 소스 이미지, 회로(420)에 의해 결정된 신뢰성 지수(C)로부터 보간된 이미지를 생성하는 보간기(430)를 포함한다. 보간기(430)는 각 픽셀이 보간하도록, 임계값(SC1 및 SC2)의 이 픽셀을 위한 평가된 모션 벡터의 신뢰성 지수(C)를 비교하고, 결과적으로 적절한 보간 패턴을 적용한다.
도 10은 보간 패턴이 평가된 모션 벡터의 크기(A)와 신뢰성 지수(C)에 따라 보간 패턴이 선택되는 본 발명의 방법의 일시예에 대한 단계를 보여주는 순서도이다. 이 순서도는 다음을 포함한다:
- 이미지의 각 픽셀이 보간하도록 모션 벡터(Vx,Vy)를 평가하는 모션 평가 단계(500),
- 평가된 모션 벡터의 각각의 하나에 대하여, 크기 A (A =
Figure 112007072679495-PAT00036
)와 신뢰성 지수(이는 예를 들면 제 2 실시예를 위해 기술된 고려된 픽셀을 포함하는 픽셀의 윈도우에서 모션 벡터의 분산임)를 결정하는 단계(510), 및
- 이미지의 각 픽셀이 평가된 모션 벡터의 크기 및 신뢰성 지수에 따라 보간하도록 하는 보간 패턴 선택 단계(520), 및
- 이러한 이미지의 각 픽셀에 대하여, 이 픽셀을 위해 선택된 보간 패턴를 사용함으로써, 보간된 이미지를 생성하는 보간 단계(530).
보간 단계(530)의 경우, 예를 들면, 보간 패턴이 선택되는 지에 따라 예를 들면 변형된 크기, 즉 Amod로 표기된 값을 계산한다. Amod는 예를 들면, Amod = A x (1-C)와 같다. Amod에 따라 적용될 보간은 예를 들면 도 10에 의해 예시된다. 만일 Amod가 제 1 임계값(SA'1) 이하이면, 적용된 보간은 하나 또는 양쪽 소스 이미지에 있는 고려된 픽셀의 4개 이웃 픽셀에 기반한 쌍일차 보간이 된다. 만일 Amod가 제 1 임계값(SA'1) 보다 크지만 SA1보다 큰 임계값(SA'2) 이하라면, 보간은 하나 또는 양쪽 이미지 소스에서 고려된 픽셀의 4개 이웃 픽셀에 기반한 평균화 단계가 된다. 최종적으로, Amod가 임계값(SA2) 보다 크다면, 보간은 예를 들면 8개 픽셀인 더 큰 수의 이웃 픽셀에 기반하는 평균화 단계가 된다.
도 11은 도 9에 의해 예시된 프로세스를 구현할 수 있는 디바이스를 나타낸다. 이 디바이스는 각기 소스 이미지, 즉 현재 이미지 및 이전 소스 이미지를 기억할 수 있는 적오도 2개의 이미지 메모리(600), 이미지의 픽셀의 각 하나가 디바이스 입력의 현재 소스 이미지로부터 및 이미지 메모리(600) 중 하나에 저장된 이전 소스 이미지로부터 보간하도록 모션 벡터(Vx,Vy)를 결정하는 모션 평가기(610), 이 평가기(610)로부터 오는 평가된 모션 벡터의 크기(A) 및 신뢰성 지수(C)를 결정하는 회로(620), 및 이미지 메모리(610)에 저장된 현재 및 이전 소스 이미지와 회로(620)에 의해 결정된 크기(A) 및 신뢰성 지수(C)로부터 보간된 이미지를 생성하는 보간기(630)를 포함한다.
당연히, 본 발명은 이전에 기술된 실시예에 제한되지 않는다. 당업자라면 다른 개수의 픽셀 또는 다른 가중 인자를 사용함으로써, 여기에 묘사된 이외의 보간 유형 및 보간 패턴의 사용을 예상할 수 있을 것이다.
도 1은 평가된 모션 벡터의 크기에 기반한 제 1 실시예에서의 본 방법의 단계를 나타내는 순서도.
도 2는 평가된 모션 벡터의 크기에 따라 적용될 상이한 보간 패턴을 보여주는 도면.
도 3은 평가된 모션 벡터가 임계값(SA1)보다 작은 경우 보간을 더 상세하게 예시하는 도면.
도 4는 평가된 모션 벡터가 임계값(SA1)과 임계값(SA2) 사이에 있는 경우, 보간을 더 상세하게 예시하는 도면.
도 5는 평가된 모션 벡터가 임계값(SA2)보다 큰 경우, 보간을 더 상세하게 예시하는 도면.
도 6은 도 1의 방법을 구현할 수 있는 디바이스.
도 7은 평가된 운동의 신뢰성 지수에 기반하여 제 2 실시예에서 본 방법의 단계를 나타내는 순서도.
도 8은 평가된 모션 벡터의 신뢰성 지수에 따라 적용될 상이한 보간 패턴을 보여주는 도면.
도 9는 도 7의 방법을 구현할 수 있는 디바이스.
도 10은 평가된 모션 벡터의 크기 및 신뢰성 지수에 기반한 제 3 실시예에서 본 방법의 단계를 나타내는 순서도.
도 11은 평가된 모션 벡터의 크기 및 신뢰성 지수에 따라 적용될 상이한 보 간 패턴을 보여주는 도면.
도 12는 도 10의 프로세스를 구현할 수 있는 디바이스.

Claims (16)

  1. 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀을 보간하는 방법있어서,
    - 보간을 위한 이미지의 상기 픽셀에 대해, 소스 이미지로부터 모션 벡터를 평가하는 평가 단계(100;300;500)와,
    - 상기 벡터의 평가를 나타내는 적어도 하나의 정보를 결정하는 결정 단계(110;310;510)와,
    - 상기 벡터의 평가를 나타내는 상기 정보에 따라 보간하기 위해 이미지의 상기 픽셀에 대한 보간 패턴을 선택하는 선택 단계(120;320;520)로서, 상기 보간 패턴은 상기 소스 이미지의 적어도 하나에서 픽셀을 식별하고 가중 인자(
    Figure 112007072679495-PAT00037
    i)를 상기 식별된 픽셀중 각각 하나에 관련시키는, 선택 단계와,
    - 픽셀 및 상기 선택된 보간 패턴의 인자로부터 이미지의 상기 픽셀을 보간하는 단계
    를 포함하는 것을 특징으로 하는, 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀을 보간하는 방법.
  2. 제 1 항에 있어서,
    상기 벡터의 평가를 나타내는 상기 정보는 평가된 벡터의 크기(A)인, 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀을 보간하는 방법.
  3. 제 2 항에 있어서,
    보간할 이미지의 픽셀에 대한 평가된 모션 벡터의 크기가 제 1 비제로(non-zero) 임계값(SA1) 이하라면, 보간 패턴은 보간할 상기 픽셀의 공간적 위치에 가장 근접한 소스 이미지 중 하나의 n개 픽셀을 포함하되, n은 2이상 이며, 소스 이미지 픽셀의 각각에 할당된 가중 인자는 보간할 상기 픽셀에 대한 자신의 근접성에 의존하는, 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀을 보간하는 방법.
  4. 제 2 항에 있어서,
    만일 보간할 이미지의 상기 픽셀에 대한 평가된 모션 벡터가 제 1 비제로(non zero) 임계값(SA1) 이하라면, 보간 패턴은 보간할 상기 픽셀의 공간적 위치에 가장 근접한 소스 이미지 중 각각 하나의 n개 픽셀을 포함하되, n은 2 이상이며, 소스 이미지 픽셀의 각각에 할당된 가중 인자는 보간할 상기 픽셀에 대한 자신의 근접성 및 양쪽 소스 이미지에 관해 보간할 상기 이미지의 시간적 위치에 의존하는, 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀을 보간하는 방법.
  5. 제 3 항 또는 제 4 항에 있어서,
    만일 보간할 이미지의 픽셀에 대한 평가된 모션 벡터가 상기 제 1 임계값(SA1)보다 크다면, 보간 패턴은 보간할 상기 픽셀의 공간적 위치에 가장 근접한 소스 이미지 중 하나에 대한 n개 픽셀을 포함하되, n은 2이상이고, 상기 소스 이미지 픽셀에 할당된 가중 인자는 동일한, 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀을 보간하는 방법.
  6. 제 3 항 또는 제 4 항에 있어서,
    만일 보간할 이미지의 픽셀에 대한 평가된 모션 벡터가 상기 제 1 임계값(SA1)보다 크다면, 보간 패턴은 소스 이미지 중 각각의 하나에서 보간할 상기 픽셀의 공간적 위치에 가장 근접한 n개 픽셀을 포함하되, n은 2이상이고, 상기 소스 이미지 픽셀의 각각에 할당된 가중 인자는 보간할 상기 픽셀에 대한 자신의 근접성 및 양쪽 소스 이미지에 대하여 보간할 상기 이미지의 시간적 위치에 의존하는, 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀을 보간하는 방법.
  7. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
    픽셀의 개수(n)는 평가된 벡터의 크기와 함께 증가하는, 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀을 보간하는 방법.
  8. 제 1 항에 있어서,
    상기 벡터의 평가를 나타내는 상기 정보는 상기 벡터의 평가에 대한 신뢰성 지수(C)인, 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀을 보간하는 방법.
  9. 제 8 항에 있어서,
    만일 보간할 이미지의 상기 픽셀에 대한 모션 벡터의 신뢰성 지수가 제 1 신뢰성 임계값(SC2)보다 크면, 보간 패턴은 보간할 상기 픽셀의 공간적인 위치에 가장 근접한 소스 이미지 중 하나에 대한 n개 픽셀을 포함하되, n은 2이상이고, 상기 소스 이미지 픽셀의 각각에 할당된 가중 인자는 보간할 상기 픽셀에 대한 자신의 근접성에 의존하는, 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀을 보간하는 방법.
  10. 제 8 항에 있어서,
    만일 보간할 이미지의 상기 픽셀에 대한 모션 벡터의 신뢰성 지수가 제 1 신뢰성 임계값(SC2)보다 크면, 보간 패턴은 보간할 상기 픽셀의 공간적 위치에 가장 근접한 소스 이미지 중 각각의 하나에 대한 n개 픽셀을 포함하되, n은 2이상이고, 상기 소스 이미지 픽셀의 각각에 할당된 가중 인자는 보간할 상기 픽셀에 대한 자신의 근접성 및 양쪽 소스 이미지에 대하여 보간할 상기 이미지의 시간적인 위치에 의존하는, 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀을 보간하는 방법.
  11. 제 9 항 또는 제 10 항에 있어서,
    만일 보간할 이미지의 상기 픽셀에 대한 모션 벡터의 신뢰성 지수가 상기 제 1 신뢰성 임계값(SC2)이하이면, 보간 패턴은 보간할 상기 픽셀의 공간적 위치에 가장 근접한 소스 이미지의 하나에 대한 n개 픽셀을 포함하되, n은 2이상이고, 상기 소스 이미지 픽셀에 할당된 가중 인자는 동일한, 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀을 보간하는 방법.
  12. 제 9 항 또는 제 10 항에 있어서,
    만일 보간할 이미지의 상기 픽셀의 모션 벡터에 대한 신뢰성 지수가 상기 제 1 신뢰성 임계값(SC2) 이하이면, 보간 패턴은 소스 이미지 중 각각의 하나에서 보간할 상기 픽셀의 공간적 위치에 가장 근접한 n개 픽셀을 포함하되, n은 2이상이고, 상기 소스 이미지 픽셀의 각각에 할당된 가중 인자는 보간할 상기 픽셀에 대한 자신의 최근접성 및 양쪽 소스 이미지에 대하여 보간할 상기 이미지의 시간적 위치에 의존하는, 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀을 보간하는 방법.
  13. 제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
    픽셀의 개수(n)는 평가된 벡터의 신뢰성 지수의 값과 함께 감소하는, 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀을 보간하는 방법.
  14. 제 8 항 내지 제 13 항 중 어느 한 항에 있어서,
    보간할 픽셀을 위해 모션 벡터의 평가에 관련한 신뢰성 지수는 상기 픽셀을 포함하는 m x m개 픽셀의 윈도우에 있는 모션 벡터의 분산(variance)에 의존하는, 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀을 보간하는 방법.
  15. 제 1 항에 있어서,
    상기 벡터의 평가를 나타내는 상기 적어도 하나의 정보는 상기 평가된 벡터의 크기(A) 및 상기 벡터의 평가에 관련한 신뢰성 지수인, 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀을 보간하는 방법.
  16. 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀의 보간 디바이스있어,
    - 상기 소스 이미지를 저장하는 메모리(200;400;600)와,
    - 보간할 이미지의 상기 픽셀에 대해, 상기 소스 이미지로부터 모션 벡터를 평가하는 모션 보정 평가기(210, 410, 610)와,
    - 상기 벡터의 평가를 나타내는 적어도 하나의 정보를 결정하는 결정 회 로(220;420;620)와,
    - 상기 벡터의 평가를 나타내는 상기 정보에 따라 보간할 이미지의 상기 픽셀에 대하여 보간 패턴을 선택하는 보간 회로(230;430;630)로서, 상기 보간 패턴은 상기 소스 이미지 중 적어도 하나에 있는 픽셀을 식별하고 가중 인자(
    Figure 112007072679495-PAT00038
    i)를 상기 식별된 픽셀 중 각각의 하나에 관련시키며, 선택된 보간 패턴의 픽셀 및 인자로부터 상기 픽셀을 보간시키는, 보간 회로
    를 포함하는 것을 특징으로 하는, 적어도 2개의 소스 이미지로부터 모션이 보상된 이미지의 적어도 하나의 픽셀의 보간 디바이스.
KR1020070101982A 2006-10-12 2007-10-10 모션이 보상된 이미지를 위한 보간 방법 및 이 방법의 구현을 위한 디바이스 KR101399616B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0654213A FR2907301A1 (fr) 2006-10-12 2006-10-12 Procede d'interpolation d'une image compensee en mouvement et dispositif pour la mise en oeuvre dudit procede
FR0654213 2006-10-12

Publications (2)

Publication Number Publication Date
KR20080033094A true KR20080033094A (ko) 2008-04-16
KR101399616B1 KR101399616B1 (ko) 2014-05-30

Family

ID=37964361

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070101982A KR101399616B1 (ko) 2006-10-12 2007-10-10 모션이 보상된 이미지를 위한 보간 방법 및 이 방법의 구현을 위한 디바이스

Country Status (6)

Country Link
US (1) US8223839B2 (ko)
EP (1) EP1912172B1 (ko)
JP (1) JP5103129B2 (ko)
KR (1) KR101399616B1 (ko)
CN (1) CN101163247B (ko)
FR (1) FR2907301A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120096471A (ko) * 2009-10-20 2012-08-30 톰슨 라이센싱 움직임 벡터 예측 및 미세조정
KR20170095799A (ko) * 2014-12-19 2017-08-23 삼성전자주식회사 초음파 영상 장치 및 그 제어방법

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010026839A1 (ja) * 2008-09-04 2010-03-11 独立行政法人科学技術振興機構 映像信号変換システム
EP2330818A4 (en) * 2008-09-04 2013-06-19 Japan Science & Tech Agency BILDFREQUENZVERWANDLUNGSVÄRICHTUNG AND APPROPRIATE PUNKBAETZUNGSVÄRICHTUNG, CORRESPONDING PUNKSCHÄTZUNGS PROCESS AND CORRESPONDING PARTICULAR RANKING PROGRAM
US8798152B2 (en) * 2008-09-11 2014-08-05 General Instrument Corporation Method and apparatus for fast motion estimation
JP2010288006A (ja) * 2009-06-10 2010-12-24 Sharp Corp 動画像データ処理装置、撮像装置および動画像再生装置
US9363534B2 (en) 2009-10-29 2016-06-07 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and device for processing a video sequence
TR200908303A2 (tr) * 2009-11-03 2011-05-23 Vestel Elektroni̇k San. Ve Ti̇c. A.Ş. Hareket dengelemeli enterpolasyon.
JP5192087B2 (ja) * 2009-12-01 2013-05-08 パナソニック株式会社 画像処理装置及び画像処理方法
JP5645636B2 (ja) * 2010-12-16 2014-12-24 三菱電機株式会社 フレーム補間装置及び方法
JP2013165487A (ja) * 2012-01-11 2013-08-22 Panasonic Corp 画像処理装置、撮像装置、およびプログラム
EP3111630B1 (en) 2014-03-28 2021-06-02 Huawei Technologies Co., Ltd. Method and device for generating a motion-compensated video frame
KR102192488B1 (ko) * 2015-11-25 2020-12-17 삼성전자주식회사 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
CN105915835B (zh) * 2016-02-05 2018-10-19 四川长虹电器股份有限公司 一种可硬件实现的帧频提升方法
KR102467240B1 (ko) * 2018-02-05 2022-11-15 한화테크윈 주식회사 영상의 잡음 제거 장치 및 방법
CN112199140A (zh) * 2020-09-09 2021-01-08 Oppo广东移动通信有限公司 应用插帧方法及相关装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0720238B2 (ja) * 1985-07-26 1995-03-06 ソニー株式会社 動きベクトル検出回路
JPS62206978A (ja) * 1986-03-07 1987-09-11 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像信号のフレ−ム間適応内插方式
JP3181431B2 (ja) * 1993-05-21 2001-07-03 沖電気工業株式会社 動きベクトルを用いた適応動き内挿信号生成装置
US5886745A (en) * 1994-12-09 1999-03-23 Matsushita Electric Industrial Co., Ltd. Progressive scanning conversion apparatus
GB2305569B (en) * 1995-09-21 1999-07-21 Innovision Res Ltd Motion compensated interpolation
JP4083265B2 (ja) * 1997-10-07 2008-04-30 株式会社日立製作所 画像信号の方式変換方法および装置
DE60127866T2 (de) * 2001-01-16 2007-12-20 Koninklijke Philips Electronics N.V. Verringern von aura-artigen effekten bei der bewegungskompensierten interpolation
US6940557B2 (en) * 2001-02-08 2005-09-06 Micronas Semiconductors, Inc. Adaptive interlace-to-progressive scan conversion algorithm
EP1433329A2 (en) * 2001-05-29 2004-06-30 Koninklijke Philips Electronics N.V. Method and device for video transcoding
EP1377040A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Method of stabilizing an image sequence
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
KR100532099B1 (ko) 2002-12-26 2005-11-29 삼성전자주식회사 프레임 레이트 변환 장치 및 방법
JP4210910B2 (ja) * 2003-03-11 2009-01-21 ソニー株式会社 動きベクトル補正装置、動きベクトル補正方法及びプログラム
US7408986B2 (en) * 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
JP2005236937A (ja) 2004-01-21 2005-09-02 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2005287006A (ja) * 2004-03-05 2005-10-13 Canon Inc 画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体及び画像処理装置
JP4514203B2 (ja) * 2004-06-11 2010-07-28 キヤノン株式会社 動きベクトル検出装置及び方法
JP4216796B2 (ja) 2004-12-15 2009-01-28 日本電信電話株式会社 動きベクトル探索方法，動きベクトル探索装置，動きベクトル探索プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US7535517B2 (en) * 2005-04-14 2009-05-19 Samsung Electronics Co., Ltd. Method of motion compensated temporal noise reduction
JP5022366B2 (ja) * 2005-07-28 2012-09-12 トムソン ライセンシング 補間フレームを生成するためのデバイス

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120096471A (ko) * 2009-10-20 2012-08-30 톰슨 라이센싱 움직임 벡터 예측 및 미세조정
US10142650B2 (en) 2009-10-20 2018-11-27 Interdigital Madison Patent Holdings Motion vector prediction and refinement using candidate and correction motion vectors
KR20170095799A (ko) * 2014-12-19 2017-08-23 삼성전자주식회사 초음파 영상 장치 및 그 제어방법
US11272906B2 (en) 2014-12-19 2022-03-15 Samsung Electronics Co., Ltd. Ultrasonic imaging device and method for controlling same

Also Published As

Publication number Publication date
JP2008099281A (ja) 2008-04-24
FR2907301A1 (fr) 2008-04-18
JP5103129B2 (ja) 2012-12-19
CN101163247A (zh) 2008-04-16
US20080089419A1 (en) 2008-04-17
US8223839B2 (en) 2012-07-17
CN101163247B (zh) 2012-12-05
EP1912172B1 (en) 2012-08-01
KR101399616B1 (ko) 2014-05-30
EP1912172A1 (en) 2008-04-16

Similar Documents

Publication Publication Date Title
KR20080033094A (ko) 모션이 보상된 이미지를 위한 보간 방법 및 이 방법의구현을 위한 디바이스
JP4997281B2 (ja) イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置
US7286185B2 (en) Method and de-interlacing apparatus that employs recursively generated motion history maps
US9036082B2 (en) Method, apparatus, and system for line-based motion compensation in video image data
Huang et al. Correlation-based motion vector processing with adaptive interpolation scheme for motion-compensated frame interpolation
US7667778B2 (en) Image processing apparatus and method, and recording medium and program used therewith
US8189105B2 (en) Systems and methods of motion and edge adaptive processing including motion compensation features
US20120093231A1 (en) Image processing apparatus and image processing method
KR20070069615A (ko) 움직임 추정장치 및 움직임 추정방법
JP3960258B2 (ja) 信号処理装置および信号処理方法
US8406305B2 (en) Method and system for creating an interpolated image using up-conversion vector with uncovering-covering detection
US8457424B2 (en) Method for testing a motion vector
US20090310679A1 (en) Video processing apparatus and methods
US9106926B1 (en) Using double confirmation of motion vectors to determine occluded regions in images
JP2009295029A (ja) 動き量検出装置及び動き量検出方法
JP5197374B2 (ja) 動き推定
AU2004200237B2 (en) Image processing apparatus with frame-rate conversion and method thereof
WO2001097510A1 (en) Image processing system, image processing method, program, and recording medium
JP5448983B2 (ja) 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
KR20030082249A (ko) 움직임 적응 시공간 디인터레이싱 방법
JP4886479B2 (ja) 動きベクトル補正装置、動きベクトル補正プログラム、補間フレーム生成装置及び映像補正装置
JPH08242454A (ja) グローバル動きパラメタ検出方法
KR100949137B1 (ko) 영상 보간 장치와 그 방법 및 그 방법이 기록된 컴퓨터로읽을 수 있는 기록매체
Mangiat et al. Block based completion for video stabilization
JP2006041619A (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180417

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190430

Year of fee payment: 6