KR20020020939A - Ｍｃ 상향 변환에서 감소된 헤일로의 이동 추정기 - Google Patents

Ｍｃ 상향 변환에서 감소된 헤일로의 이동 추정기 Download PDF

Info

Publication number
KR20020020939A
KR20020020939A KR1020027000718A KR20027000718A KR20020020939A KR 20020020939 A KR20020020939 A KR 20020020939A KR 1020027000718 A KR1020027000718 A KR 1020027000718A KR 20027000718 A KR20027000718 A KR 20027000718A KR 20020020939 A KR20020020939 A KR 20020020939A
Authority
KR
South Korea
Prior art keywords
vector
image
covering
edge
uncovering
Prior art date
Application number
KR1020027000718A
Other languages
English (en)
Other versions
KR100840133B1 (ko
Inventor
데하안제랄드
메르텐스마크제이.더블유
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=26072246&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20020020939(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20020020939A publication Critical patent/KR20020020939A/ko
Application granted granted Critical
Publication of KR100840133B1 publication Critical patent/KR100840133B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Television Systems (AREA)

Abstract

이전 영상과 다음 영상 사이의 시간상 중간 위치에서 이동을 검출하기 위한 장치는 후보 벡터에 대한 기준 함수를 최적화하는 최적화 수단(1)을 갖고, 여기서 기준 함수는 이전 및 다음 영상 모두로부터의 데이터에 의존한다. 이동은 비커버링 (non-covering) 및 비언커버링(non-uncovering) 영역들의 시간상 중간 위치에서 검출된다. 본 발명에 따른 장치는 커버링 및 언커버링 영역을 검출하기 위한 수단(2)을 갖고, 커버링 영역에서 다음 영상들의 시간상 위치에서, 또한 언커버링 영역들에서 이전 영상의 시간상 위치에서 최적화를 실행하도록 배열된 최적화 수단을 갖는다.

Description

ＭＣ 상향 변환에서 감소된 헤일로의 이동 추정기{Motion estimator for reduced halos in MC up-conversion}
본 발명이 제공하는 기본적인 관찰은 두 영상들 중 어느 하나에서만 정보가 발생하는 영역들에서 전형적인 바와 같이, 커버링(covering) 또는 언커버링(uncovering)이 발생하는 영역들에서 비디오 시퀀스로부터 연속적인 2개의 화상들 사이에 이동을 추정하는 추정기(estimator)가 잘 수행될 수 없다는 점이다. 결과적으로, 블록 정합기들은 정확한 벡터에 대해서도 큰 정합 에러들을 항상 발견하게 된다.
본 발명은 이전 영상과 다음 영상 사이의 시간상 중간 위치에서 이동을 검출하는 방법에 관한 것으로, 여기서 후보 벡터(candidate vector)들에 대한 기준 함수는 최적화되고, 상기 함수는 이전 영상 및 다음 영상 모두로부터의 데이터에 의존하며, 최적화는 비커버링(non-covering) 영역과 비언커버링(non-uncovering) 영역의 시간상 중간 위치에서 실행된다.
도 1은 이동을 추정하기 위한 방법의 예를 설명하는 도면.
도 2는 커버링(covering)으로 인해 모호한 영역을 설명하는 도면.
도 3은 언커버링(uncovering)으로 인해 모호한 영역을 설명하는 도면.
도 4는 리타이머(retimer) 경우들을 설명하는 도면.
도 5는 전면/배경을 검출하기 위한 방법의 실시예를 설명하는 도면.
도 6은 전면/배경을 검출하기 위한 방법의 다른 실시예를 설명하는 도면.
도 7은 전면/배경을 검출하기 위한 방법의 또 다른 실시예를 설명하는 도면.
도 8은 이동을 검출하기 위한 장치의 양호한 실시예를 설명하는 도면.
도 9는 전면/배경 검출기의 실시예를 설명하는 도면.
도 10은 전면/배경 검출기의 다른 실시예를 설명하는 도면.
도 11은 전면/배경 검출기의 또 다른 실시예를 설명하는 도면.
도 12는 본 발명이 포함되는 영상 디스플레이 장치를 설명하는 도면.
본 발명의 목적은 상술된 문제점들, 일반적으로 이전 및/또는 다음 영상들로부터 벡터 필드들을 계산할 때의 문제점들을 제거하는 것이다.
본 발명에 따라, 이 목적은 커버링 영역들에 있는 다음 영상의 시간상 위치와 언커버링 영역에 있는 이전 영상의 시간상 위치에서 실행되어 이루어진다.
더욱이, 본 발명은 이전 영상과 다음 영상 사이에서 이동을 검출하는 장치에 관한 것으로, 이는 후보 벡터에 대한 기준 함수를 최적화하기 위한 수단을 구비하며, 상기 함수는 이전 영상과 다음 영상 모두로부터의 데이터에 의존하고, 여기서 최적화는 비커버링(non-covering) 영역 및 언커버링 영역의 시간상 중간 위치에서 실행되고, 또한 커버링 또는 언커버링 영역들을 검출하기 위한 수단이 제공되고, 여기서 최적화는 커버링 영역들에서 다음 영상의 시간상 위치와 언커버링 영역들에서 이전 영상의 시간상 위치에서 실행된다. 본 발명에 따른 방법 및 장치의 실시예는 종속 청구항에서 상술된다.
본 발명은 다양한 기술적 분야에서 적용될 수 있다. 그 예는 다음과 같다:
화상 비율 변환, 여기서는 본 발명에 따라 개선된 벡터 필드가 보다 만족스러운 인공산물(artefact) 자유 비디오 스트림을 제공하게 된다. 이 응용에 대한 전형적인 디바이스는 TV 및 PC이다.
3D 불균형 분석, 여기서는 회전 카메라에 의해 또는 회전 화면으로부터 영상이 발생된다.
이동 기반 비디오 압축, 여기서는 본 발명에 따라 개선된 벡터 필드가 더 높은 질 예측을 제공하게 되므로, 더 높은 압축 비율이나 개선된 화상질을 제공하게 된다. 그 예는 MPEG에서의 압축이다.
이동 기반 영상 분석, 여기서는 본 발명에 따라 개선된 벡터 필드가 보다 확실한 객체들의 추출을 제공하게 되므로, 더 쉬운 사후 처리를 제공하게 된다. 그 예는 보안 카메라 비디오 분석, 비디오 특수 효과, 및 트래픽 분석이다.
텔레비전 기술들에서의 화상 증진, 예를 들면 배경이 흐려지는 것을 방지하는 것.
과학적 응용, 여기서는 본 발명에 따라 개선된 벡터 필드가 더 나은 데이터 분석을 제공하게 된다. 그 예는 구름과 해안 지형의 위성 사진이다.
이전 화상에서 주어지는 현재 화상의 모든 정보를 커버링하는 경우에는, 언커버링 영역에 있는 동안 다음 화상을 언커버링하는 경우, 현재 화상이 이전 화상(국부적으로 언커버링 영역 주변에 있는)의 모든 정보를 포함하는 것으로 인식된다. 그러므로, 커버링/언커버링 검출기에 의해 제어되는 정합 에러 계산을 수정함으로서, 예를 들면 WO 00/11863에서 설명된 바와 같이 이전 화상을 이동 보상된 현재 화상(언커버링)과 정합시키도록 현재 화상을 이동 보상된 이전 화상(커버링)과 정합시킴으로서, 추정기의 모호성이 방지될 수 있다. 이는 보다 정확하고 일관된 벡터 필드를 산출할 것으로 기대되므로, 헤일로(halo)를 감소시킨다. 이러한 수정은 본 명세서의 추후 부분에서 설명된다.
이와 같이 동적으로 정합 계산을 변화시킨 것에 대한 부작용으로, 결과의 비모호성 벡터 필드는 더 이상 시간상으로 한 순간에 유효하지 않고, 상향 변환이 일어난 순간에 놓이지만, 이러한 '유효성 순간'은 고려되는 영역이 커버링, 언커버링, 또는 단순히 확실하게 이동하는 영역인가에 의존하여 변한다. 이 효과는 본 명세서의 추후 부분에서 설명되는 본 설명의 제 2 구성요소로 제거될 수 있다.
이제는 이동 벡터를 계산하는데 전체-검색 블록-정합 이동 추정기(full-search block-matching motion estimator) 알고리즘을 사용하여 개선된 이동 벡터 계산이 도 1을 참고로 설명된다. 이 알고리즘은 이동 추정 문제점에 대해 비용면에서 매우 효과적인 접근법은 아니지만, 보다 효율적인 것이다. 똑같은 원리는 논문 "True Motion Estimation with 3-D Recursive Search Block-Matching", G. de Haan, P.W.A.C. Biezen, H. Huygen, 및 O.A. Ojo, IEEE Tr. on Circuits andSystems for Video Technology, vol. 3, 1993년 10월, p. 368-388 및 논문 "Sub-Pixel motion estimation with 3-D recursive search block-matching", G. de Haan 및 P.W.A.C. Biezen, Signal Processing: Image Communication 6(1994), p. 220-239에서 설명된다.
블록-정합 이동 추정 알고리즘에서는, 이전 화상(n-1)에서에 또한 중심을 두는 검색 영역내에서 유사한 블록을 검색함으로서 현재 화상(n)에서 픽셀의 블록의 중심에 변위 벡터가 할당된다. 유사한 블록은 변위 벡터를 통해에 대해 쉬프트된 중심을 갖는다.을 찾기 위해, 다수의 후보 벡터는 블록 유사성을 양으로 정하도록 에러 측정을 적용하여 계산된다. 보다 형식적으로, 후보의 세트로 CSmax를 정의하여, 이전 영상의 검색 영역내에서에 대해 모든 가능한(일반적으로 정수) 변위를 설명한다.
여기서, N과 M은를 제한하는 상수이다.에 중심을 두고 크기가 X 대 Y이고, 현재 화상(n)에서 픽셀 위치로 구성된 블록는 다음과 같이 정의된다:
블록-정합 처리로부터 주어지는 변위 벡터는 에러 함수의 최소값을 산출하는 후보 벡터이다:
일반적인 경우로, 최소 정합 에러를 갖는 벡터가 중심 픽셀에만 할당되기 보다 블록에서 모든 픽셀 위치 x에 할당되면:
계산 회수가 많이 감소된다.
관련되어, 연속적인 블록은 오버랩되지 않는다. 소정의 후보 벡터에 대한 에러값은 현재 블록에서 픽셀들의 휘도값과 이전 화상으로부터 쉬프트된 블록의 휘도값에 대한 함수로 블록에 대한 합산이다. 많이 사용되는, 공통적인 선택은 절대 차의 합이다(SAD, sum of the absolute difference):
여기서, α는 상수로, 0 ≤ α ≤ 1이고, 벡터 필드가 유효해야 하는 두 화상 사이의 시간상 위치를 결정한다.
도 2는 모든 가능한 기준 위치 0 ≤ α ≤ 1에 대해 일어나는 것을 보다 명확하게 도시한다. 상단선(a)은 시간에 걸쳐 이동하는 전면 객체의 에지 위치에 대응하는 것으로 가정한다. 미래의 화상에서는 속도 벡터 에지 위치 XE(이동 벡터가 현저한 공간 변화량만큼 변위된 위치)의 어느 한 측면에서 정확한 전면 또는 배경 속도를 찾지만, 통과된 화상 쪽으로 기준 위치 α를 더 이동시킬수록, 모호성 영역이 더 커져, 영상화에 의해 정확한 벡터를 찾는 것이 불가능하다. 모든 후보 벡터가 큰 SAD 값을 가지므로, 최소화는 결과적인 벡터 필드가 거의 정확하기 불가능함을 나타내는 특정 후보를 무작위로 선택한다.
유사하게, 도 3으로부터 기준 위치 α를 0으로 놓으면, 다른 말로, 미래에서 과거로 블록을 투사하면, 언커버링 영역에 대해 비모호성 이동 추정 결과를 알 수 있다. 기준 위치를 중간에 놓으면(예를 들어, α가 0,5이면), 확실한 이동에 대해 에러가 발생하지 않는다. 영역이 커버링 또는 언커버링인가 여부를 결정하는 것은 앞서 계산된 벡터 필드에서 벡터 에지 XE의 어느 한 측으로부터 취해진 이동 벡터의 x-성분의 차의 부호를 근거로 행해질 수 있다.
본 발명은 예를 들어, 커버링의 경우, 미래 화상의 교합(occlusion) 영역과 그 부근에 있는 모든 픽셀 블록이 과거 화상에서도 발견될 수 있지만, 과거 화상에서는 이들이 커버링되기 때문에, 미래 화상에서 더 이상 존재하지 않는 추가 블록이 있다는 내용을 근거로 한다. 블록 정합을 위해 기준 위치 α를 정하는 본래 위치는 교합 영역과 그 부근에 있는 모든 블록에 대해 정확한 이동 벡터가 원리적으로 발견될 수 있으므로 미래 화상의 시간상 위치에 있다.
제안된 개선은 커버링이 일어나는 영역에서 정확한 이동 벡터가 α = 1을 사용하는 추정기로만 추정될 수 있다는 관찰 내용으로부터 기인된다. 유사하게, 언커버링에 대해서도 α = 0을 사용하는 추정기로만 정확한 벡터가 발견된다.
중간의 시간상 순간에 대한 벡터를 계산하는 벡터 추정기는 비모호성이 최악인 영역이 최종 추정기에 대한 것 보다 더 작다는 점에서(최악의 경우의 모호성은 α = 0,5를 적용하는 추정기에 대해 최소이다) 커버링 및 언커버링 모두에서 어려움을 갖는다. 도 2 및 도 3은 모호성 영역의 크기에 대한 α의 효과를 설명한다.
제 1 단계는 삽입 화상에 대한 α의 요구값에 관계없이, 커버링 및 언커버링 상황에서 블록 정합기를 개선시키는 것으로, 식 (5)를 다음과 같이 변화시켜 주어진다:
이는 예를 들어 WO 00/11863에서 설명된 바와 같이 커버링/언커버링 검출기에 의해 나타난 바에 따라 커버링의 영역인 경우이고,
이는 언커버링의 경우이다.
비교합(mom-occlusion) 영역에서는 예를 들어, α = 0,5를 취하며, 과거 및 미래 화상으로부터 기준 블록 위치까지 양방향으로 블록을 투사한다. 즉, 시간상 위치에 삽입된 화상에서 이들을 비교한다. 커버링 블록에서는 α = 1을 취하며,
자체 위치에 있는 미래 화상의 블록을 과거 화상으로부터 후보 이동 벡터로인출된 블록과 정합시킨다. 화상의 언커버링 영역에서는 α = 0을 취한다. 다시 말하면, 과거 화상의 블록을 미래 화상으로부터의 블록과 정합시킨다.
교합 또는 보다 특정한 커버링 및 언커버링 영역이 검출될 수 있는 방법은 여러 가지가 있다.
커버링/언커버링 검출기는 이전 벡터 필드 또는 현재 벡터 필드의 이전 계산(반복)을 사용하거나, 이웃 화상들 사이에서 계산된 정합 에러의 평가를 근거로 하는 방법을 사용한다.
바람직한 커버링/언커버링 검출기는 속도의 부호를 본다. 예를 들어, 서로의 방향으로 이웃하는 속도를 나타내면, 커버링이 일어나야 하는 것으로 이해된다. 다른 경우는 그에 따라 분석될 수 있고, 다음과 같이 요약된다.
vU- vD> δ (커버링)
vU- vD< -δ (언커버링)
여기서, vU는 속도 에지 XE이고, vD는 에지 이하의 속도이고, δ는 잡음 검출을 방지하기 위한 작은 상수이다. 이 방법은 벡터의 특정한 수치값에 의존하지 않으므로 매우 확실하다. 에지의 어느 한 측면에서는 언제나 다소 정확한 벡터값을 갖게 되므로, 값이 부정확하더라도, 그 차이는 정확할 수 있다. 두 번째로, 커버링 및 언커버링에 대한 추정이 전면 FG 영역에서, 즉 모호성 삼각형 외부에서 전통적인 추정(식 7)과 같이 작용하므로, 예측 에지 주변에 큰 대역이 "보호"된다. 이는 에지 XE의 위치 편차에 대해 확실성을 제공하게 된다.
α를 0 또는 1로 교환하여 얻어진 이점은 최소화로부터 부정확한 벡터가 주어지지 않는 것이지만, 얻어진 벡터가 항상 정확한 블록 위치에 있는 것은 아니다. 예를 들면, 실제 위치 U(도 2 및 도 3을 참고) 대신에, 위치 XE에서 전면 FG 에지(벡터가 배경 BG에서 전면 FG 속도로 변하는 블록 위치)가 발견된다. 이는 정합의 시간적 순간이 부정확하기 때문이다(예를 들면, α = 0,5 대신에 α = 0).
영상의 위치에 의존하여 구해진 벡터 필드가 임의의 단일 시간 순간이 아니라 3개의 다른 시간 순간에 유효하다는 사실로, 이 방법은 "삼중시간 이동 추정기(tritemporal motion estimator)"라 칭하여진다. 일반적으로, 벡터 필드는 원하는 중간 위치(예를 들면, α = 0,5)로 재시간조정되어야 한다. 전면 FG 객체가 정적이고 그 뒤에서 배경 BG가 이동하는 특정한 경우의 스퀀스에서는 전면 FG 에지가 이동하지 않으므로(XE= U), 삼중시간 벡터 필드의 재시간조정이 필요하지 않다. 이는 카메라맨이 주인공을 추적하는 영화물(film material)에서 가끔 나타난다.
제안된 수정의 결과로, 벡터 필드가 유효한 경우 정확한 시간상의 순간을 희생시키더라도, 이동 추정기에 모호성이 없어진다. 이는 다음 서브섹션에서 상세히 설명된다.
리타이머(retimer)인 알고리즘의 제 2 단계에서는 시간 에러가 정정된다. 이를 위해, 벡터 필드는 원하는 시간상의 순간으로 '투사'된다. 즉, 커버링에 대해 시간상으로 뒤에 투사되고:
언커버링에 대해 앞으로 투사된다:
이 투사는 모호성 영역, 즉 벡터가 할당되지 않은 영역을 재도입한다. 이 모호성의 원천은 한번의 추정으로 도 2에서 선 'a'을 따라, 또는 선 'b'을 따라 불연속성이 이동되었는지 여부를 알지 못하는 것이므로, 불연속성 위에서 예를 들어 위치로부터 취해진 벡터는 상향 변환 벡터 필드에서 이 위치에 놓여야 하는 배경 벡터인 것은 흔한 일이 아니다. 그러나, 이전 벡터 필드의 도움으로, 가능한 2개의 벡터 중 어느 것의 에지가 이동되었나를 판단하여 어느 것이 배경이고 어느 것이 전면 속도인가를 판단하는 것이 가능하다.
리타이머는 다음과 같은 작용을 실행하며, 어디서 재시간 조정이 일어나야 하는가를 결정한다. 이는 속도 에지 XE를 찾고, 이 에지 주변에서 충분히 넓은 교합 영역을 표시한다. 두 번째로, 정확성을 차단하도록 전면 FG 속도를 반올림함으로서 얼마나 많은 블록이 정확하게 정정되어야 하는가를 계산한다. 세 번째로, 어떠한 리타이머 정정 작용이 적용되어야 하는가를 결정한다.
더욱이, 리타이머는 비모호성 벡터 필드에서 벡터 에지로부터 전면 속도를 투사함으로서 시간 n-1+α에 벡터 필드에서 모호성 영역의 시작 위치를 결정한다. 중간 벡터 필드에서 에지의 위치가 한 벡터 필드로부터 추정치를 쉬프트한 결과가 아니고, 현재 및 이전 벡터 필드에서 위치의 가중치(α로) 평균으로 계산되면, 조금 정제된다. 리타이머는 이어서 전면 영역의 측면(의 좌측이나 우측) 및 전면 속도의 부호에 의존하여 전면이나 배경 속도로와사이의 공간을 채운다. 이 전략이 동작되기 위해서는 확실한 전면/배경 결정 전략이 필요하다.
다음에 의존하여 8가지의 다른 리타이머 경우가 있는 것으로 밝혀진다:
1. 커버링 대 언커버링
2. 전면 FG 속도의 부호
3. 속도 에지 XE중 어느 측면에 전면 FG가 있는가. 이는 α = 0.5인 예에서 중간 영상에 대해 도 4에 도시된다.
도 4의 제 1 상단 부분은 에지의 바닥에서 전면 FG와 전면 FG 속도 VFG< 0을 커버링하는 상황과 관련된다. 이 상황에서는 2개의 블록 전면 FG가 배경 BG 블록으로 대치되어야 한다(BG를 채운다). 도 4의 제 2 상단 부분은 전면 FG 속도 VFG> 0과 에지의 바닥측에서 전면 FG를 커버링하는 것과 관련된다. 단지 하나의 배경 BG 블록만이 전면 FG 블록으로 대치되어야 한다(전면 FG를 채운다). 도 4의 제 3 상단 부분은 전면 속도 VFG< 0과 에지의 바닥측에서 전면 FG를 언커버링하는 것과 관련된다. 이 경우에서는 단지 하나의 배경 BG 블록만이 하나의 전면 FG 블록으로대치되어야 한다(전면 FG를 채운다). 도 4의 제4 상단 부분은 전면 속도 VFG> 0과 에지의 바닥측에서 전면 FG를 언커버링하는 것과 관련된다. 이 경우에는 단지 하나의 전면 FG 블록만이 배경 BG 블록으로 대치되어야 한다(배경 BG를 채운다). 도 4의 제 1 하단 부분은 에지의 바닥측에서 배경 BG와 전면 FG 속도 VFG< 0을 커버링하는 것과 관련된다. 단지 하나의 배경 BG 블록만이 전면 FG 블록으로 대치되어야 한다(전면 FG를 채운다). 도 4의 제 2 하단 부분은 전면 속도 VFG> 0과 에지의 바닥측에서 배경 BG를 커버링하는 것과 관련된다. 단지 하나의 전면 FG 블록만이 배경 BG 블록으로 대치되어야 한다(배경 BG를 채운다). 도 4의 제 3 하단 부분은 전면 속도 VFG< 0과 에지의 상단측에서 전면 FG를 언커버링하는 것과 관련된다. 이 경우에서는 하나의 전면 FG 블록이 배경 BG 블록으로 대치되어야 한다(배경 BG를 채운다). 도 4의 제4 상단 부분은 전면 속도 VFG> 0과 에지의 상단측에서 전면 FG를 언커버링하는 것과 관련된다. 이 경우에는 하나의 배경 BG 블록이 전면 FG 블록으로 대치되어야 한다(전면 FG를 채운다). 도 4의 예에서는 중간 영상이 n+1/2에 있지만, α가 변할 수 있는 이전 영상으로부터 거리 α에 중간 영상이 있을 수 있음이 명백함을 유념하라.
리타이머는 객체 에지 주변의 속도에서 어느 것이 전면이고 어느 것이 배경인가를 알 필요가 있다. 이전 이동 벡터의 도움으로, 어느 객체 영역 또는 속도가 전면에 속하고 어느 것이 배경에 속하는가를 결정할 수 있다. 배경 블록은 그레이(grey)값 픽셀 및 연관된 속도 벡터가 모두 커버링하에서 사라지는 블록이다. 픽셀 기반 측정치 보다 더 간단하고 더 확실한 측정치를 산출하도록 판단되므로, 전면/배경 검출기에서 벡터의 대응관계가 사용된다.
도 5에 도시된 제 1 전략, 평균 벡터 전면/배경 결정(average vector foreground/background determination)에서는, 임의의 벡터란 사실을 사용하고, 여기서 k는 1 보다 작고,및는 위치에서 전면 및 배경 객체의 속도로, 커버링의 경우 이전 벡터 필드로부터 배경 속도를 인출하고 언커버링의 경우 전면 속도를 인출한다. 사용하기에 가장 안전한 벡터는 평균 벡터이다. 보다 형식적으로, 커버링에서는 이전 영상쌍의 에지에서, 예를 들면 커버링에서는 벡터 필드 n내 위치의 수직 에지에서 가능한 2개의및를 계산한다:
또한, 모호성 영역에서 이전 벡터 필드(커버링)의 중간 위치에 주어진 벡터를 인출한다:
보간 벡터 필드의 모호성 영역에서 전면 벡터를 채울 필요가 있으면,와사이에서과 가장 다른 것을 선택한다.
이러한 제 1 전략의 변형은 언커버링에 대해 미래로부터 배경 벡터를 인출한다:
제 2 전략(도 6을 참고), 양면 자체 속도 전면/배경 결정(twosided self speed foreground/background determination)은 언커버링에 대해 배경 속도를 갖는 이전으로 투사된 위치가로 투사될 때 보다 전면 영역 쪽으로 더 높은 교차 확률을 갖는다는 사실을 사용한다. 이는 작은 상대 속도또는 정확하지 않게 추정된 벡터 필드가 발생할 때 흥미롭다. 어느 속도가 배경 속도인가를 미리 알지 못하므로, 자체 속도로 에지의 어느 한 측면에서 두 위치를 투사한다(도 3을 참고). 이상적인 경우에 볼 수 있는 바와 같이, 더 낮은 속도는 n의 배경 속도에서 n-1의 전면 속도로 변한다. n의 전면 블록이 n-1의 전면으로 투사될 확률은 매우 높아 실질적으로는 1인 것으로 생각된다. 다른 가능한 결정은 모두 도표 1에 도시된다.
상단 블록이 실제일 때: 전면 배경
상단 블록에 대한 결정 FG FG 또는 BG
하단 블록에 대한 결정 FG 또는 BG FG
2회의 투사가 똑같은(전면) 벡터를 산출하는 경우, 특정한 결정을 갖는다. 이 벡터가 상단 블록의 벡터와 똑같으면, 이 벡터는 전면 속도 벡터 등이다. 벡터가 다른 경우, 그 방법은 성공적이지 못하므로, 불확실한 결정을 산출한다. 커버링의 경우에서도 미래에 대한 유사한 투사가 적용될 수 있다.
제 3 전략(도 7을 참고), 에지 투사 전면/배경 결정(edge projection foreground/background determination)은 예를 들어, 커버링에 대해 이전 영상(n)에서와사이의 에지가 위치 a 또는 b에 주어지는가 여부를 점검한다(도 2를 참고). 에지가 위치 a에서 검출되면,이다. 투사 주변에서는 다른 속도 에지가 발생할 수 있으므로, n-1에서 속도가 n에서와 똑같은 속도임에 관심을 두어야 한다. 명확하게, 그 원리는 다시 언커버링을 커버링으로 대치하고 미래를 과거로 대치함으로서 적용될 수 있다.
그 전략은 정합 에러를 포함함으로서 증진될 수 있음을 주목하여야 한다. 전면 영역으로의 교차가 일어난 경우, 그 블록에서 벡터의 정합 에러는 낮아야 한다. 이전 영상에서 전면 벡터가 잘못하여 할당된 배경 영역에 투사한 경우, 에러는 더 높아져야 한다.
도 8에는 본 발명의 한 실시예에 따라 이전 영상과 다음 영상 사이의 시간상 중간 위치에서 이동을 검출하기 위한 장치가 도시된다. 이 장치는 이전 영상과 다음 영상 모두로부터의 데이터에 의존하는 함수로 후보 벡터에 대한 기준 함수를 최적화하기 위한 수단(1)을 구비한다. 이러한 최적화 수단은 논문 "True MotionEstimation with 3-D Recursive Search Block-Matching", G. de Haan, P.W.A.C. Biezen, H. Huygen, 및 O.A. Ojo, IEEE Tr. on Circuits and Systems for Video Technology, vol. 3, 1993년 10월, p. 368-388에서 설명된 바와 같이 실시될 수 있다. 후보 벡터에 대한 기준 함수를 최적화하기 위한 수단(1)의 입력에는 영상 신호(J)가 인가되고, 수단(1)의 출력에서는 이동 벡터(MV)가 유도될 수 있다.
상기 영상 신호(E)는 또한 커버링/언커버링 영역을 검출하기 위한 수단(2)에 공급되고, 그 출력은 후보 벡터에 대한 기준 함수를 최적화하기 위한 수단(1)에 연결된다. 커버링/언커버링 영역을 검출하기 위한 상기 수단(2)은 예를 들어, WO 00/1863에서 설명된다.
후보 벡터에 대한 기준 함수를 최적화하기 위한 수단(1)에는 커버링/언커버링 영역을 검출하기 위한 수단(2)에 의해 제어되는 스위칭 수단이 제공되며, 수단(1)에 의한 최적화가 비커버링 및 비언커버링 영역의 시간상 중간 위치에서 실행되는 반면, 커버링 영역에서는 다음 영상의 시간상 위치에서, 언커버링 영역에서는 이전 영상의 시간상 위치에서 최적화가 실행된다.
이전 영상은 분수 α배 후보 벡터에 걸쳐 쉬프트되고, 다음 영상은 1-α배 후보 벡터에 걸쳐 쉬프트되며, 분수 α는 영상 주기내에서 변할 수 있다. 상술된 기준 함수는 최소화된 정합 에러이다. 상기 정합 에러는 또한 분수 α의 함수이다.
정합 에러를 최적화하기 위한 수단은 분수 α가 정합 처리에서 커버링/언커버링 검출기에 의해 제어되도록 배열된다. 바람직하게, 커버링의 경우 분수 α는1로 설정되고, 언커버링의 경우 0으로 설정된다.
커버링/언커버링 영역을 검출하기 위한 수단(2)은 바람직하게 현재 추정에서의 분수 α에 대한 이전 영상에서의 데이터를 결정한다.
영상 신호(J)는 또한 그 출력이 리타이머(3)를 제어하는 전면/배경 검출기(4)에 인가된다. 리타이머(3)의 출력은 기준 함수를 최적화하기 위한 수단(1)에 연결된다.
리타이머(3)는 영상 신호에서 속도 에지 XE를 결정하고, 상기 에지 주변에서 교합 영역을 표시한다. 리타이머(3)는 상기 교합 영역에서 전면 속도가 배경 속도로 대치되거나, 커버링 또는 언커버링 영역이 있는 교합, 전면 속도의 부호, 및 속도 에지 XE의 어느 측이 전면인가에 역으로 될 수 있게 의존하도록 최적화 수단(1)을 제어한다.
도 9에는 본 발명에 따른 전면/배경 검출기의 실시예가 도시된다. 이 검출기는 속도 에지의 위치에서 계산을 실행하도록 영상 신호(J)가 공급되는 계산 수단(5, 6)을 구비한다. 계산 수단(5)은 에지의 한 측면에서 제 1 벡터를 통해을 쉬프트함으로서 이전(커버링) 또는 다음(언커버링) 영상에서 제 1 위치를 계산하고, 계산 수단(6)은 에지의 다른 측면에서 제 2 벡터를 통해을 쉬프트함으로서 이전(커버링) 또는 다음(언커버링) 영상에서 제 2 위치를 계산한다. 이전 영상과 다음 영상 사이의 선택은 커버링/언커버링 검출기(7)에 의해 실행되고, 이 검출기에서는 도 1의 커버링 및 언커버링 영역을 검출하기 위한수단(2)이 사용될 수 있음이 명백하다.
계산 수단(5, 6)의 출력은와사이의 제 3 중간 위치를 계산하는 계산 수단(8)의 입력에 연결된다.
도 9의 전면/배경 검출기에는 한 입력이 제 3 위치를 계산하기 위한 수단(8)의 출력에 연결되고 다른 입력에는 영상 신호(J)가 공급되는 인출 수단(9)이 더 제공된다. 인출 수단(9)의 출력으로부터, 배경 속도 VBG가 유도될 수 있다. 인출 수단(9)은 이전(커버링) 또는 다음(언커버링) 영상으로부터 제 3 위치에서의 속도로 배경 벡터를 인출한다. 이 벡터는 배경 벡터가 채워져야 하는 경우 벡터가 투사되지 않은 에지의 환경에서 영상의 그 영역에 채워지고, 전면 벡터가 채워져야 하는 경우에는와 가장 다른와사이에서 선택된 벡터가 채워진다. 보다 정확하게, 제 3 중간 위치는이다.
전면/배경 검출기의 다른 실시예가 도 10에 도시된다. 이 검출기는 그 입력에 영상 신호(J)가 공급되는 투사 수단(10, 11)을 구비한다. 이들 투사 수단(10, 11)은 영상 신호(J)가 또한 공급되는 커버링/언커버링 검출기(12)에 의해 제어된다. 상기 검출기(12)는 도 1에 도시된 커버링/언커버링 영역들을 검출하기 위한 수단(2)으로 대치될 수 있다. 커버링/언커버링 검출의 제어 동작은 투사 수단(10)이 속도 에지의 한 측면에서 한 위치를 이전(커버링) 또는 다음(언커버링) 영상에 투사하고, 투사 수단(11)이 속도 에지의 다른 측면에서 위치를 이전(커버링) 또는다음(언커버링) 영상에 투사하는 것이다. 식별 수단(14)은 투사 수단(10, 11)에 연결되고, 그 출력에서는 배경 속도및 전면 속도가 유도될 수 있다. 이 식별 수단(14)은 속도 불연속성과 교차하고 이전 화상에서 전면 속도에 투사되는 속도로 배경 속도를 식별하는 반면, 전면 속도는 그 자체에 투사된다.
바람직하게, 점검 수단(13)은 투사 수단(10, 11)에 연결되고, 이는 2회의 투사가 똑같은 벡터를 산출하는가를 점검한다. 그런 경우, 식별은 정확하다.
도 11에서는 전면/배경 검출기의 또 다른 실시예가 도시된다. 이 검출기는 또한 커버링/언커버링 검출기(17)에 의해 제어되고, 이는 또한 도 1의 커버링 및 언커버링 영역을 검출하기 위한 수단(2)으로 대치될 수 있다. 도 11의 검출기에서, 영상 신호(J)는 투사 수단(16)의 입력에 공급되고, 커버링/언커버링 검출기의 제어하에서 커버링 상황에서의 이전 벡터 필드 및 언커버링 상황에서의 미래 벡터 필드에 대한 불연속성을 투사한다. 더욱이, 불연속성의 한 측면에서 속도를 결정하는 수단(18) 및 불연속성의 다른 측면에서 속도를 결정하기 수단(19)이 제공된다. 결정된 속도는 수단(18, 19)의 출력으로부터 테스트 수단(20)에 공급된다. 상기 테스트 수단(20)은 에지가 불연속성의 한 측면에서 제 1 벡터를 통해 또는 불연속성의 다른 측면에서 제 2 벡터를 통해 이동되었나 여부를 테스트하도록 투사 수단(16)에 연결된다. 테스트 수단(20)은 배경 벡터를 전달하고, 배경 벡터는 불연속적인 제 1(제 2) 벡터와 이동한 경우 제 2(제 1) 벡터이다.
더욱이, 필링(filling) 수단이 테스트 수단(20)에 연결될 수 있고, 필링 수단은 전면 벡터가 채워져야 하는 경우 벡터가 투사되지 않은 불연속성의 환경에서투사 벡터 필드의 그런 영역에 제 1(제 2) 벡터를 채우고, 배경 벡터가 채워져야 하는 경우에는 다른 벡터가 채워진다.
도 12에는 영상 디스플레이 장치가 도시된다. 이 장치는 이전 영상과 다음 영상 사이의 시간상 중간 위치에서 이동 벡터를 검출하기 위한 장치(21)를 구비한다. 장치(21) 및 이전 영상과 다음 영상 사이에 영상 일부를 보간하기 위한 수단(22)에는 영상 신호(J)가 공급된다. 장치(21)의 출력에서 검출된 이동 벡터는 보간 수단(22)의 입력에 공급된다. 보간 수단(22)의 출력은 음극선관(cathode ray tube)(23)에 인가된다. 이동 벡터를 검출하기 위한 장치는 상술된 장치에 따라 실시될 수 있다.

Claims (25)

  1. 이전 및 다음 영상들 사이의 시간상 중간 위치에서 이동을 검출하기 위한 방법으로서, 후보 벡터들에 대한 기준 함수가 최적화되고, 상기 함수는 이전 및 다음 영상들 모두로부터의 데이터에 의존하고, 비커버링(non-covering) 및 비언커버링(non-uncovering) 영역들의 시간상 중간 위치에서 최적화가 실행되고,
    커버링 영역들에서 다음 영상의 시간상 위치 및 언커버링 영역들에서 이전 영상의 시간상 위치에서 최적화가 실행되는 것을 특징으로 하는, 방법.
  2. 제 1 항에 있어서, 이전 영상은 분수 α배의 후보 벡터를 통해 쉬프트되고, 다음 영상은 1-α배의 후보 벡터를 통해 쉬프트되고, 또한 분수 α는 영상 주기내에서 변할 수 있는, 방법.
  3. 제 1 항에 있어서, 기준 함수는 최소화되는 정합 에러(match error)인, 방법.
  4. 제 2 항에 있어서, 분수 α는 정합 처리에서 커버링/언커버링 검출기에 의해 제어되는, 방법.
  5. 제 4 항에 있어서, 분수 α는 커버링의 경우 1로 설정되고, 언커버링의 경우0으로 설정되는, 방법.
  6. 제 4 항에 있어서, 커버링/언커버링 검출기는 현재 추정에서 분수 α에 대한 이전 영상에서의 데이터를 결정하는, 방법.
  7. 제 1 항에 있어서, 속도 에지 XE가 결정되고, 상기 에지 주변에서 교합 영역(occlusion area)이 표시되고, 상기 영역에서는 전면 속도가 배경 속도로 대치되거나 커버링 또는 언커버링 영역이 있는 교합, 전면 속도의 부호, 및 속도 에지 XE의 어느 측면에 전면이 있는가에 역으로 될 수 있게 의존하는, 방법.
  8. 제 7 항에 있어서, 속도 에지의 위치에서,
    * 이전(커버링) 또는 다음(언커버링) 영상에서 제 1 위치가 에지의 한 측면에서 제 1 벡터를 통해을 쉬프트하여 계산되고,
    * 이전(커버링) 또는 다음(언커버링) 영상에서 제 2 위치가 에지의 다른 측면에서 제 2 벡터를 통해을 쉬프트하여 계산되고,
    *와사이의 제 3 중간 위치가 계산되고,
    * 마지막으로, 이전(커버링) 또는 다음(언커버링) 영상에서 제 3 위치에서로 인출된 벡터는 배경 벡터가 채워져야 하는 경우 벡터가 투사되지 않은 에지의 환경에서 영상의 그 영역들에 채워지고, 전면 벡터가 채워져야 하는 경우에는와 가장 다른와사이에서 선택된 벡터가 채워지는, 방법.
  9. 제 8 항에 있어서, 중간 위치는인, 방법.
  10. 제 7 항에 있어서, 배경 속도는 속도 불연속성과 교차하고 이전 화상에서 전면 속도에 투사되는 속도로 식별되는 반면, 전면 속도는 그 자체에 투사되는, 방법.
  11. 제 7 항에 있어서, 에지 부근에서 상술된 에지가 에지의 한 측면에서 제 1 벡터를 통해, 또는 에지의 다른 측면에서 제 2 벡터를 통해 이동되었는지 여부를 테스트하고, 에지가 제 1(제 2) 벡터로 이동될 때, 배경 벡터가 채워져야 하는 경우에는 벡터가 투사되지 않은 에지의 환경에서 투사된 벡터 필드의 그 영역들에 제 2(제 1) 벡터가 채워지고, 전면 벡터가 채워져야 하는 경우에는 다른 벡터가 채워지는, 방법.
  12. 제 10 항에 있어서, 이전 영상에서 배경 부분으로부터 전면 부분으로의 교차는 그 블록에서 벡터의 정합 에러에 의해 검증되는, 방법.
  13. 이전 및 다음 영상들 사이의 시간상 중간 위치에서 이동을 검출하기 위한 장치로서, 후보 벡터들에 대한 기준 함수를 최적화하는 수단(1)을 포함하고, 상기 함수는 이전 및 다음 영상들 모두로부터의 데이터에 의존하고, 비커버링 및 비언커버링 영역들의 시간상 중간 위치에서 최적화가 실행되며,
    커버링 또는 언커버링 영역을 검출하기 위한 수단(2)이 제공되고, 커버링 영역들에서 다음 영상의 시간상 위치 및 언커버링 영역들에서 이전 영상의 시간상 위치에서 최적화가 실행되는, 장치.
  14. 제 13 항에 있어서, 이전 영상은 분수 α배의 후보 벡터를 통해 쉬프트되고, 다음 영상은 1-α배의 후보 벡터를 통해 쉬프트되고, 또한 분수 α는 영상 주기내에서 변할 수 있는, 장치.
  15. 제 13 항에 있어서, 기준 함수는 최소화되는 정합 에러인, 장치.
  16. 제 14 항에 있어서, 분수 α는 정합 처리에서 커버링/언커버링 검출기(2)에 의해 제어되는, 장치.
  17. 제 16 항에 있어서, 분수 α는 커버링의 경우 1로 설정되고, 언커버링의 경우 0으로 설정되는, 장치.
  18. 제 16 항에 있어서, 커버링/언커버링 검출기(2)는 현재 추정에서 분수 α에 대한 이전 영상에서의 데이터를 결정하는, 장치.
  19. 제 1 항 내지 제 18 항 중 어느 한 항에 있어서, 속도 에지 XE가 결정되고, 상기 에지 주변에서 교합 영역이 표시되고, 상기 영역에서는 전면 속도가 배경 속도로 대치되거나 커버링 또는 언커버링 영역이 있는 교합, 전면 속도의 부호, 및 속도 에지 XE의 어느 측면에 전면이 있는가에 역으로 될 수 있게 의존하는, 장치.
  20. 제 19 항에 있어서, 계산 수단(5, 6,8)은 속도 에지의 위치에서,
    * 이전(커버링) 또는 다음(언커버링) 영상의 제 1 위치를 에지의 한 측면에서 제 1 벡터를 통해을 쉬프트하여 계산하고,
    * 이전(커버링) 또는 다음(언커버링) 영상의 제 2 위치를 에지의 다른 측면에서 제 2 벡터를 통해을 쉬프트하여 계산하고,
    *와사이의 제 3 중간 위치를 계산하도록 제공되고,
    * 마지막으로, 이전(커버링) 또는 다음(언커버링) 영상의 제 3 위치에서로 인출된(9) 벡터는 배경 벡터가 채워져야 하는 경우 벡터가 투사되지 않은 에지의 환경에서 영상의 그 영역들에 채워지고, 전면 벡터가 채워져야 하는 경우에는와 가장 다른와사이에서 선택된 벡터가 채워지는, 장치.
  21. 제 20 항에 있어서, 중간 위치는인, 장치.
  22. 제 19 항에 있어서, 이전(커버링) 또는 다음(언커버링) 영상에 에지의 어느 한 측면에서 두 위치를 투사하기 위한 수단 (10, 11)이 제공되고, 여기서 배경 속도는 속도 불연속성과 교차하고 이전 화상에서 전면 속도에 투사되는 속도로 식별되는 반면, 전면 속도는 그 자체에 투사되는, 장치.
  23. 제 19 항에 있어서, 에지 부근에서 상술된 에지가 에지의 한 측면에서 제 1 벡터를 통해, 또는 에지의 다른 측면에서 제 2 벡터를 통해 이동되었는지 여부를 테스트하기 위한 수단(20)이 제공되고, 에지가 제 1(제 2) 벡터로 이동될 때, 배경 벡터가 채워져야 하는 경우에는 벡터가 투사되지 않은 에지의 환경에서 투사된 벡터 필드의 그 영역에 제 2(제 1) 벡터가 채워지고, 전면 벡터가 채워져야 하는 경우에는 다른 벡터가 채워지는, 장치.
  24. 제 22 항에 있어서, 이전 영상에서 배경 부분으로부터 전면 부분으로의 교차를 그 블록에서 벡터의 정합 에러에 의해 검증하기 위한 검증 수단이 제공되는, 장치.
  25. 청구항 13에 따라 이동 벡터를 검출하기 위한 검출 장치(21), 상기 검출 장치(21)에 연결된 영상 일부들을 보간하기 위한 수단(22), 및 보간 수단에 연결된 디스플레이 디바이스(23)를 구비하는, 영상 디스플레이 장치.
KR1020027000718A 2000-05-18 2001-04-24 Ｍｃ 업 컨버젼에서 헤일로를 감소시키는 움직임 추정기 KR100840133B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP00201752.3 2000-05-18
EP00201752 2000-05-18
EP01200560.9 2001-02-16
EP01200560 2001-02-16

Publications (2)

Publication Number Publication Date
KR20020020939A true KR20020020939A (ko) 2002-03-16
KR100840133B1 KR100840133B1 (ko) 2008-06-23

Family

ID=26072246

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027000718A KR100840133B1 (ko) 2000-05-18 2001-04-24 Ｍｃ 업 컨버젼에서 헤일로를 감소시키는 움직임 추정기

Country Status (6)

Country Link
US (1) US7010039B2 (ko)
EP (1) EP1287492A2 (ko)
JP (1) JP2003533800A (ko)
KR (1) KR100840133B1 (ko)
CN (1) CN100504925C (ko)
WO (1) WO2001088852A2 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003017649A1 (en) * 2001-08-20 2003-02-27 Koninklijke Philips Electronics N.V. Image size extension
WO2003041416A1 (en) * 2001-11-07 2003-05-15 Koninklijke Philips Electronics N.V. Occlusion detector for and method of detecting occlusion areas
WO2003067523A2 (en) * 2002-02-05 2003-08-14 Koninklijke Philips Electronics N.V. Estimating a motion vector of a group of pixels by taking account of occlusion
EP1481546A1 (en) 2002-02-28 2004-12-01 Koninklijke Philips Electronics N.V. Method and apparatus for field rate up-conversion
KR101135454B1 (ko) * 2003-09-02 2012-04-13 엔엑스피 비 브이 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체
EP1665806A1 (en) * 2003-09-17 2006-06-07 Koninklijke Philips Electronics N.V. Motion vector field re-timing
EP1583364A1 (en) * 2004-03-30 2005-10-05 Matsushita Electric Industrial Co., Ltd. Motion compensated interpolation of images at image borders for frame rate conversion
TW200607355A (en) 2004-05-04 2006-02-16 Qualcomm Inc Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
EP1774779A2 (en) 2004-07-01 2007-04-18 QUALCOMM Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
WO2006012384A2 (en) 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (ea-fruc) for video compression
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US20090251612A1 (en) * 2005-10-24 2009-10-08 Nxp B.V. Motion vector field retimer
EP1950964A4 (en) * 2005-11-07 2012-05-16 Sharp Kk IMAGE DISPLAY DEVICE AND METHOD
CN101313596B (zh) 2005-11-23 2011-01-26 皇家飞利浦电子股份有限公司 为多视图显示设备呈现视图
CN101322409B (zh) * 2005-11-30 2011-08-03 三叉微系统(远东)有限公司 运动矢量场校正单元和校正方法以及图像处理设备
US8634463B2 (en) 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
EP2011334A2 (en) 2006-04-19 2009-01-07 Nxp B.V. Method and system for creating an interpolated image
WO2008032744A1 (fr) * 2006-09-15 2008-03-20 Panasonic Corporation Dispositif de traitement vidéo et procédé de traitement vidéo
KR100855976B1 (ko) * 2007-02-02 2008-09-02 삼성전자주식회사 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법
DE102007015002A1 (de) 2007-03-28 2008-10-02 Micronas Gmbh Iteratives Verfahren zur Interpolation von Bildinformationswerten
JP5657391B2 (ja) * 2007-12-20 2015-01-21 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ハローを低減する画像補間
US20100013992A1 (en) * 2008-07-18 2010-01-21 Zhi Zhou Method and system for detecting motion at an intermediate position between image fields
US20100201870A1 (en) * 2009-02-11 2010-08-12 Martin Luessi System and method for frame interpolation for a compressed video bitstream
WO2010091937A1 (en) 2009-02-12 2010-08-19 Zoran (France) Temporal video interpolation method with 2-frame occlusion handling
US8588553B2 (en) 2009-02-12 2013-11-19 Zoran (France) S.A. Scaling method and device for image signals
WO2010091934A1 (en) 2009-02-12 2010-08-19 Zoran (France) Video sequence analysis for robust motion estimation
KR20110022133A (ko) * 2009-08-27 2011-03-07 삼성전자주식회사 영상의 움직임 추정방법 및 영상처리장치
TR200909120A2 (tr) * 2009-12-04 2011-06-21 Vestel Elektroni̇k San. Ve Ti̇c. A.Ş. Hareket vektör alani yeni̇den zamanlandirma yöntemi̇@
US8233085B1 (en) 2009-12-08 2012-07-31 Kolorific, Inc. Method and system for interpolating a pixel value of a pixel located at an on-screen display
US20110249870A1 (en) * 2010-04-08 2011-10-13 National Taiwan University Method of occlusion handling
JP2017103744A (ja) * 2015-12-04 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置
CN107942095B (zh) * 2017-11-15 2019-11-26 哈尔滨工程大学 波浪滑翔器实际航向预测方法
CN111325673B (zh) * 2018-12-14 2023-06-30 瑞昱半导体股份有限公司 影像处理方法与影像处理电路

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4890160A (en) * 1986-03-19 1989-12-26 British Broadcasting Corporation TV picture motion vector measurement by correlation of pictures
JPH07336650A (ja) * 1994-06-06 1995-12-22 Nippon Hoso Kyokai <Nhk> フィールド内挿方法
DE69811631T2 (de) * 1997-10-29 2003-10-30 Koninkl Philips Electronics Nv Bewegungsvektorschätzung und detektion von bedeckten/unbedeckten bildteilen
EP0936575B1 (fr) * 1998-02-17 2004-07-28 Koninklijke Philips Electronics N.V. Procédé de traitement d'images pour l'estimation de mouvement dans une séquence d'images
US6195389B1 (en) * 1998-04-16 2001-02-27 Scientific-Atlanta, Inc. Motion estimation system and methods
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
WO2000011863A1 (en) * 1998-08-21 2000-03-02 Koninklijke Philips Electronics N.V. Problem area location in an image signal
US6594313B1 (en) * 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients

Also Published As

Publication number Publication date
US20030206246A1 (en) 2003-11-06
JP2003533800A (ja) 2003-11-11
CN1381024A (zh) 2002-11-20
KR100840133B1 (ko) 2008-06-23
CN100504925C (zh) 2009-06-24
EP1287492A2 (en) 2003-03-05
WO2001088852A3 (en) 2002-06-20
WO2001088852A2 (en) 2001-11-22
US7010039B2 (en) 2006-03-07

Similar Documents

Publication Publication Date Title
KR100840133B1 (ko) Ｍｃ 업 컨버젼에서 헤일로를 감소시키는 움직임 추정기
US7346109B2 (en) Motion vector computation for video sequences
US20100271554A1 (en) Method And Apparatus For Motion Estimation In Video Image Data
US20110115790A1 (en) Apparatus and method for converting 2d image signals into 3d image signals
US20110310295A1 (en) Apparatus and method for frame rate conversion
KR20050089886A (ko) 배경 움직임 벡터 검출
KR20050061556A (ko) 고장시 조치를 갖는 이미지 처리 유닛
CN101444094A (zh) 用于对输入图像序列的先前和后继图像插值的方法
US20120113326A1 (en) System and method for detecting motion vectors in a recursive hierarchical motion estimation system using a non-rasterized scan
US20050180506A1 (en) Unit for and method of estimating a current motion vector
KR20040050906A (ko) 모션 추정을 위한 장치 및 방법
US20050226462A1 (en) Unit for and method of estimating a motion vector
JP4213035B2 (ja) オクルージョン領域を検出するオクルージョン検出器および方法
KR100976718B1 (ko) 필드 레이트 업변환을 위한 방법 및 장치
JP2005506626A (ja) 動き推定ユニット及び方法並びにかような動き推定ユニットを備えた画像処理装置
US20050163355A1 (en) Method and unit for estimating a motion vector of a group of pixels
US8102915B2 (en) Motion vector fields refinement to track small fast moving objects
JP2006215655A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
CN113949869B (zh) 估计像素块运动矢量的方法和视频处理装置及设备和介质
Mertens et al. Motion vector field improvement for picture rate conversion with reduced halo
JPH06189297A (ja) 動きベクトル検出方法
JP2743763B2 (ja) 動画像の動き推定方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130610

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140610

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee