KR20030029933A - 움직임 또는 깊이 추정 방법들 및 유닛들과 이러한 움직임추정 유닛이 제공된 이미지 처리 장치 - Google Patents

움직임 또는 깊이 추정 방법들 및 유닛들과 이러한 움직임추정 유닛이 제공된 이미지 처리 장치 Download PDF

Info

Publication number
KR20030029933A
KR20030029933A KR10-2003-7003337A KR20037003337A KR20030029933A KR 20030029933 A KR20030029933 A KR 20030029933A KR 20037003337 A KR20037003337 A KR 20037003337A KR 20030029933 A KR20030029933 A KR 20030029933A
Authority
KR
South Korea
Prior art keywords
segments
motion vectors
tree
candidate motion
generating
Prior art date
Application number
KR10-2003-7003337A
Other languages
English (en)
Inventor
에른스트파비안이.
비린스키피요트르
반오버벨드코르넬리우스더블유.에이.엠.
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20030029933A publication Critical patent/KR20030029933A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Abstract

움직임 추정의 방법에서 이미지(100)의 세그먼트들(102-114)의 트리(120)는 계층적인 분할을 수행함으로써 발생된다. 세그먼트들의 트리(120)는 세그먼트(104)의 후보 움직임 벡터들의 세트(118)의 발생을 제어하도록 분석된다. 세트(118)의 움직임 벡터들에 대해 매치 페널티들이 계산된다. 마지막으로, 특정 움직임 벡터(116)는 매치 페널티들에 기초하여 후보 움직임 벡터들의 세트(118)로부터 선택된다. 깊이 추정 방법에서 깊이 데이터는 움직임 벡터 및 패럴랙스(parallax)의 규칙들에 기초하여 계산된다.

Description

움직임 또는 깊이 추정 방법들 및 유닛들과 이러한 움직임 추정 유닛이 제공된 이미지 처리 장치{Methods of and units for motion or depth estimation and image processing apparatus provided with such motion estimation unit}
서두에 기술된 종류의 움직임 추정 방법은 1993년 10월 vol.3, no.5, 페이지 368-379, 비디오 기술에 대한 회로들과 시스템들에 관한 IEEE Transaction에서, G. de Haan et. al.에 의한 논문 "True-Motion Estimation with 3-D Recursive Search Block Matching"에 공지되어 있다.
움직임 추정은 스캔-레이트(scan-rate) 상향 변환, 디-인터레이싱 및 일시적 잡음 감소와 같은 움직임 보상된 이미지 처리를 위해 비디오 애플리케이션들에서 성공적으로 사용되었다. 움직임 보상 알고리즘들의 카테고리는 "블록 매칭"으로 불린다. 블록 매칭 알고리즘들은 소정의 블록내의 모든 픽셀들이 일정하게 움직인다고 가정하는 인터리브 추정 알고리즘들이다. 그 블록에 대해 매치 페널티는 가능한 움직임 벡터 후보들에 관해 최소화된다. 매치 페널티는 예를 들어 SAD(Sum of Absolute differences) 또는 MSE(Mean Squared Error)일 수 있다. 전형적으로, 블록들은 8×8 픽셀들이다. 그러나, 매치 페널티의 최소화에 의해 움직임 벡터들을 추정하는 원리는 불규칙한 형상을 갖는 세그먼트들에 대해 또한 작용한다. 그 경우에, 움직임 추정/매치 페널티 계산은 세그먼트에 기초한다. 세그먼트 경계들은 광도 또는 컬러 불연속들로 정렬될 수 있다. 이 방식으로, 세그먼트들은 장면에서 물체들이 있는 또는 물체들의 일부분들로서 해석될 수 있다.
이미지들의 다양한 세그먼트들의 최상의 움직임 벡터들을 찾는 방법의 속도는 세그먼트의 수, 이 세그먼트들의 사이즈, 및 각 세그먼트의 가능한 후보 움직임 벡터들의 수에 좌우된다. 정확성은 2개의 팩터들에 좌우된다:
- 첫째로, 보다 큰 세그먼트들이 잡음에 덜 약하므로, 세그먼트들의 사이즈. 그러나 사이즈는 세그먼트의 움직임이 일정해야 한다는 사실에 의해 제한된다. 그러므로, 세그먼트들은 오히려 동일한 움직임을 갖는 가장 큰 영역과 일치해야 한다.
- 둘째로, 후보 움직임 벡터들의 선택. 후보 움직임 벡터들의 제한된 수만이 테스트되는 경우, 후보 움직임 벡터들의 양호한 선택이 중요하다. 인용된 논문에서, 후보 세트는 몇몇 랜덤 후보 움직임 벡터들로 증가된 이웃하는 블록들의 현재 움직임 벡터들을 포함한다. 제 1 가정은 이웃하는 블록들이 유사한 움직임을 가질 수 있다는 것이다. 그러나, 이웃하는 블록들은 그들이 동일한 물체에 속하는 경우 동일한 움직임을 가질 것이다. 그러므로, 동일한 물체에 속하지 않을 것 같은 후보 움직임 벡터들을 사용하는 것은 계산상의 수고를 허비하게 된다. 이는 시간 및 계산상의 수고가 허비되는 알려진 방법의 단점이다.
움직임 추정 방법의 단계들 다음에 깊이 추정 방법을 얻기 위해 계산 단계가 올 수 있음이 알려져 있다. 다음의 문제점이 고려된다: 알려진 움직임을 갖는 카메라에 의해 취해진 정적 장면의 이미지들의 시리즈를 제공하면, 깊이 정보가 재생되어야 한다. 이미지들의 시리즈들에서의 모든 분명한 움직임은 패럴랙스(parallax)로부터 생긴다. 한 세그먼트와 다른 세그먼트간의 움직임에 있어서의 차는 깊이 차를 나타낸다. 실제로, 2개의 연속적인 이미지들을 분석하면, 시간 t에서의 소정의 이미지 세그먼트와 시간 t+1에서의 동일한 세그먼트 사이의 패럴랙스가 계산될 수 있다. 이 패럴랙스는 장면의 상이한 일부분들의 움직임에대응한다. 카메라를 옮기는 경우, 전경에서의 물체들은 배경에서의 물체들 보다 더 많이 움직인다. 기하학적 관계들을 적용함으로써, 깊이 정보는 움직임으로부터 추론될 수 있다. 이 개념은 1998년, 오스트리아, 알프바취(Alpbach), Proceedings of Image and Multidimensional Signal Processing Workshop, 페이지 159-162에서, 논문 "Depth from motion using confidence based block matching"에서, P. Wilinski 및 K. van Overveld에 의해 기술된다.
본 발명은 이미지의 세그먼트들의 움직임 추정 방법에 관한 것으로,
- 특정 세그먼트의 후보 움직임 벡터들의 세트를 발생하는 단계와,
- 각각의 후보 움직임 벡터에 대한 매치 페널티(match penalty)를 계산하는 단계와,
- 매치 페널티들에 기초하여 후보 움직임 벡터들의 세트로부터 특정 움직임 벡터를 선택하는 단계를 포함한다.
본 발명은 또한 이미지의 세그먼트들의 움직임 추정에 대한 움직임 추정기 유닛에 관한 것으로,
- 특정 세그먼트의 후보 움직임 벡터들의 세트를 발생하는 발생기와,
- 각각의 후보 움직임 벡터에 대한 매치 페널티를 계산하는 계산 수단과,
- 매치 페널티들에 기초하여 후보 움직임 벡터들의 세트로부터 특정 움직임 벡터를 선택하는 선택 수단을 포함한다.
본 발명은 또한 이미지의 세그먼트들의 깊이 추정의 방법에 관한 것으로,
- 특정 세그먼트의 후보 움직임 벡터들의 세트를 발생하는 단계와,
- 각각의 후보 움직임 벡터에 대한 매치 페널티를 계산하는 단계와,
- 매치 페널티들에 기초하여 후보 움직임 벡터들의 세트로부터 특정 움직임 벡터를 선택하는 단계와,
- 특정 움직임 벡터에 기초하여 특정 세그먼트의 깊이 데이터를 계산하는 단계를 포함한다.
본 발명은 이미지의 세그먼트들의 깊이 추정에 대한 깊이 추정기 유닛에 관한 것으로,
- 특정 세그먼트의 후보 움직임 벡터들의 세트를 발생하는 발생기와,
- 각각의 후보 움직임 벡터에 대한 매치 페널티를 계산하는 계산 수단과,
- 매치 페널티들에 기초하여 후보 움직임 벡터들의 세트로부터 특정 움직임 벡터를 선택하는 선택 수단과,
- 특정 움직임 벡터에 기초하여 특정 세그먼트의 깊이 데이터를 계산하는 깊이 계산 수단을 포함한다.
본 발명은 또한 이미지의 세그먼트들의 움직임 추정을 위한 움직임 추정기 유닛을 포함하는 이미지 처리 장치에 관한 것으로,
- 특정 세그먼트의 후보 움직임 벡터들의 세트를 발생하는 발생기와,
- 각각의 후보 움직임 벡터에 대한 매치 페널티를 계산하는 계산 수단과,
- 매치 페널티들에 기초하여 후보 움직임 벡터들의 세트로부터 특정 움직임 벡터를 선택하는 선택 수단과,
- 움직임 보상된 이미지 처리 유닛을 포함한다.
도 1은 8개의 세그먼트들로 분할된 이미지 및 대응하는 트리를 도시한 도면.
도 2a는 움직임 벡터들이 하향 접근법의 경우에, 트리의 계층의 2번째로 가장 높은 레벨에서 추정되는 세그먼트들을 개략적으로 도시한 도면.
도 2b는 움직임 벡터들이 하향 접근법의 경우에, 트리의 계층의 3번째로 가장 높은 레벨에서 추정되는 세그먼트들을 개략적으로 도시한 도면.
도 2c는 움직임 벡터들이 하향 접근법의 경우에, 트리의 계층의 가장 낮은 레벨에서 추정되는 세그먼트들을 개략적으로 도시한 도면.
도 3a는 하향 접근법으로 설계된 움직임 추정기의 요소들을 개략적으로 도시한 도면.
도 3b는 상향 접근법으로 설계된 움직임 추정기 유닛의 요소들을 개략적으로 도시한 도면.
도 4는 깊이 추정기 유닛의 요소들을 개략적으로 도시한 도면.
도 5는 이미지 처리 장치의 요소들을 개략적으로 도시한 도면.
본 발명의 제 1 목적은 향상된 성능을 갖는 서두에 기술된 종류의 움직임 추정 방법을 제공하는 것이다.
본 발명의 제 2 목적은 향상된 성능을 갖는 서두에 기술된 종류의 움직임 추정기 유닛을 제공하는 것이다.
본 발명의 제 3 목적은 향상된 성능을 갖는 서두에 기술된 종류의 깊이 추정 방법을 제공하는 것이다.
본 발명의 제 4 목적은 향상된 성능을 갖는 서두에 기술된 종류의 깊이 추정기 유닛을 제공하는 것이다.
본 발명의 제 5 목적은 향상된 성능을 갖는 서두에 기술된 종류의 이미지 처리 장치를 제공하는 것이다.
본 발명의 제 1 목적은 움직임 추정 방법이
- 계층적인 분할을 수행함으로써 이미지의 세그먼트들의 트리를 발생하는 단계와,
- 특정 세그먼트의 후보 움직임 벡터들의 세트의 발생을 제어하기 위해 세그먼트들의 트리를 분석하는 단계를 더 포함한다는 점에서 달성된다.
계층적인 분할은 분할의 트리 구조로 인해 동일한 물체에 속하는 세그먼트들의 유사성(likeliness)에 대한 정보를 제공한다. 트리는 가장 높은 레벨에서 단일 노드를 가지며, 이는 루트(root)로 불린다. 트리에서 각 노드는 다음의 더 높은 레벨에서 유일한 페어런트(parent)를 갖는다. 각 세그먼트는 트리의 노드와 일치한다. 페어런트 세그먼트는 차일드(child) 세그먼트들을 갖는다. 계층적인 분할 방법의 예는 US 5,867,605호에 공지되어 있다. 성능 즉, 움직임 추정 방법의 속도 및/또는 정확성은 2개의 방식들: 하향식(top-down) 및 상향식(bottom-up)에서 트리의 도움으로 개선될 수 있다. 두 경우들에서의 이점은 매치 페널티들이 계산되어야 하는 후보 벡터들의 수가 비교적 적다는 점이다.
본 발명에 따른 움직임 추정 방법의 실시예에서, 트리의 세그먼트들의 움직임 벡터들이 하향 방향으로 순환적으로 세그먼트들의 트리를 처리함으로써 추정된다. 이는 다음의 절차에 따라 행해질 수 있다.
- 적절한 움직임 벡터들의 추정은 트리의 높은 레벨에서 시작하며, 여기서 세그먼트들은 여전히 크다.
- 어떠한 만족스러운 움직임 벡터도 세그먼트에서 발견되지 않으면, 움직임 벡터들은 개별적으로 이 노드의 모든 칠드런(children)에 대해 추정된다.
- 이전 단계는 만족스러운 움직임 벡터들이 획득될 때까지 순환적으로 반복된다.
이 방식에서, 매칭될 세그먼트들의 수는 정확성을 희생시키지 않고 최소로 된다. 만족스런 움직임 벡터들이 획득될 때까지 움직임 벡터들의 추정 처리는 계속된다. 그 결과는 움직임 벡터들만이 트리에서의 비교적 높은 레벨에서 세그먼트들에 대해 추정된다는 것이다. 처리가 가장 크게 정지하여 가장 작은 잡음 경향이 있는 세그먼트들이 가능하다는 점이 이점이다.
본 발명에 따른 움직임 추정 방법의 실시예의 변형에서, 움직임 벡터들은 특정 움직임 벡터의 매치 페널티가 불만족스러운 경우, 특정 세그먼트에 해당하는 트리의 노드의 칠드런에 해당하는 세그먼트들로 추정된다. 이 정지 기준의 이점은 그 간단함이다. 또 다른 기준은 페어런트 세그먼트의 움직임 벡터와 칠드런 세그먼트들의 움직임 벡터들의 매치 페널티들을 비교하는 것에 기초할 수 있다. 그러나, 이 후자의 기준을 적용하는 것은 여분의 계산들을 수반한다.
본 발명에 따른 움직임 추정 방법의 실시예에서, 트리의 세그먼트들의 움직임 벡터들이 상향 방향으로 세그먼트들의 트리를 처리함으로써 추정된다. 2개의 세그먼트들의 가장 낮은 공통 앤세스터(ancestor)는 루트로부터 그 세그먼트들 각각으로의 경로 상에 있는 트리에서의 가장 낮은 노드로서 규정된다. 트리에서의 낮은 위치에서 가장 낮은 공통 조상을 갖는 세그먼트들은 트리에서의 높은 위치에서 가장 낮은 공통 조상을 갖는 세그먼트들보다 동일한 물체에 속하게 될 것이다. 이 정보는 관련된 이웃(neighbor)들만을 고려함으로써 후보 움직임 벡터들의 수를 제한하는데 사용될 수 있다.
본 발명에 따라 움직임 추정 방법의 실시예에서, 특정 세그먼트의 후보 움직임 벡터들의 세트를 발생하는 단계는 다음의 서브-단계들을 포함한다.
- 이웃하는 세그먼트들의 움직임 벡터들을 포함하는 후보 움직임 벡터들의 초기 리스트를 발생하는 단계와,
- 트리내의 대응하는 노드들의 위치들에 따라 후보 움직임 벡터들의 초기 리스트를 정렬하는 단계와,
- 후보 움직임 벡터들의 초기 리스트를 후보 움직임 벡터들의 세트가 되는 비교적 높은 순서를 갖는 후보 움직임 벡터들로 제한하는 단계.
이웃하는 세그먼트들의 움직임 벡터들은 중요도의 순서로 놓여진다. 중요도는 고려되는 특정 세그먼트와 이웃하는 세그먼트의 가장 낮은 공통 조상의 트리에서의 위치에 관한 것이다. 트리에서의 가장 낮은 공통 조상의 위치가 작으면 작을수록, 후보 움직임 벡터는 점점 더 중요해진다.
본 발명의 제 2 목적은 움직임 추정기 유닛이,
- 계층적인 분할을 수행하도록 설계된, 이미지의 세그먼트들의 트리를 발생하는 분할 수단과,
- 발생기를 제어하기 위해 세그먼트들의 트리를 분석하는 분석 수단을 더 포함한다는 점에서 달성된다.
움직임 추정기 유닛의 변경들 및 그 변동들은 기술된 방법의 변경들과 그 변동들에 대응할 수 있다.
본 발명의 제 3 목적은 깊이 추정 방법이,
- 계층적인 분할을 수행함으로써 이미지의 세그먼트들의 트리를 발생하는 단계와,
- 특정 세그먼트의 후보 움직임 벡터들의 세트의 발생을 제어하기 위해 세그먼트들의 트리를 분석하는 단계를 더 포함한다는 점에서 달성된다.
본 발명의 제 4 목적은 깊이 추정기 유닛이,
- 계층적인 분할을 수행하도록 설계된, 이미지의 세그먼트들의 트리를 발생하는 분할 수단과,
- 발생기를 제어하기 위해 세그먼트들의 트리를 분석하는 분석 수단을 더 포함한다는 점에서 달성된다.
본 발명의 제 5 목적은 이미지 처리 장치의 움직임 추정기 유닛이,
- 계층적인 분할을 수행하도록 설계된, 이미지의 세그먼트들의 트리를 발생하는 분할 수단과,
- 발생기를 제어하기 위해 세그먼트들의 트리를 분석하는 분석 수단을 더 포함한다는 점에서 달성된다.
본 발명에 따른 움직임 또는 깊이 추정 방법 및 유닛들 및 이미지 처리 장치의 이러한 양태 및 다른 양태는 하기에 기술된 구현예들과 실시예들 및 첨부한 도면들을 참조하여 명백해질 것이며, 설명되어질 것이다.
동일한 참조 번호들은 모든 도면들에서 동일한 의미를 갖는다.
도 1은 8개의 세그먼트들(102-114)로 계층적으로 분할된 이미지(100)와 대응하는 트리(120)를 도시한다. 트리는 13개의 노드들(122-146)을 가지며, 그 노드들에서 노드(122)는 루트(root)로 불린다. 각 노드(122-146)는 이미지(100)의 세그먼트에 대응한다. 몇몇 노드들에 대해 이는 이미지(100)의 세그먼트가 대응하는, 예를 들어 노드(130)가 세그먼트(102)에 대응함을 나타낸다. 참조 번호는 편리를 위해 A-H가 제공된다.
계층적인 분할의 개념은 간략하게 설명될 것이다. 계층적인 분할은 이미지에서 세그먼트들이 임의의 동질 기준을 만족시키도록 결정되는 영역 기반 분할 기술이다. 그 다음, 이 세그먼트들은 연장, 예를 들어 세그먼트들의 결합이 전체 이미지를 포함하도록, 동질 파라미터를 연속적으로 변경함으로써 성장된다. 그 다음 분할은 완료된다. 기본 접근법은 다음의 단계들로 구성된다.
- 동질에 대한 기준, 예를 들어, 픽셀 주위의 세그먼트에서 광도(luminosity)의 편차가 선택된다. 이는 픽셀이 픽셀 주위의 영역에서 광도 편차에 기초하여 초기 세그먼트의 일부로서 간주될 수 있는지 여부를 결정하는 것을 의미한다.
- 동종(homogeneity) 기준의 각 값에 대해 그 결과로 생긴 세그먼트들이 계산될 수 있다. 그러나, 바람직하게 이는 몇몇의 소정 임계들로 행해진다. 각 임계는 트리에서의 계층의 레벨에 해당한다.
- 트리 구조는 세그먼트들로 이루어진다. 임의의 임계값에 대해 세그먼트가 존재하는 경우, 이 세그먼트는 또한 보다 높은 모든 임계값들에 대해 존재함에 유념하라. 임계가 증가하면, 세그먼트들은 더 커질 수 있으며, 낮은 임계값으로 분리된 세그먼트들은 임계의 더 높은 레벨로 병합될 수 있다. 그러나, 세그먼트들이 생성되는 방식 때문에, 세그먼트들이 사이즈로 감소하거나 임계가 증가하면 분할하는 것은 결코 발생될 수 없다.
- 선택적으로 이 트리는 분할된 세그먼트들을 달성하도록 제거된다.
- 선택적으로 세그먼트들은 형태학상의 동작에 의해 성장된다.
자유 파라미터는 동종 기준의 임계이다. 이 기준은 예를 들어, 임의의 환경에서 광도의 편차, 이웃하는 픽셀들의 유사성 등의 매우 직관적인 방식으로 지정될 수있다. 세그먼트들이 병합되어야 하는 경우, 트리 구조가 세그먼트들이 더 큰 세그먼트들에 도달하기 위해 병합되는지를 유일하게 지정한다. 마지막으로, 트리 그 자체는 세그먼트들 사이의 구조적인 관계를 제공한다.
세그먼트 C(104)의 움직임 벡터(116)의 추정에 대해, 트리(120)가 되는 계층적인 분할의 이점은 하기에 기술된다. 상향 접근법에 따른 움직임 추정 방법은 다음 단계들을 포함한다.
- 세그먼트 C(104)에 대해 후보 움직임 벡터들(Vi)의 세트(CSc)가 발생되며, 여기서 Vi는 C(104)의 이웃하는 세그먼트, 즉 102, 103, 106-114의 움직임 벡터이다.
- 후보 움직임 벡터들은 고려되는 노드 C(140) 및 이웃하는 세그먼트의 트리(120)에서의 가장 낮은 공통 조상의 위치에 따라 정렬된다. 예를 들어 노드(132)는 노드 C(140) 및 노드 D(142)의 가장 낮은 공통 조상이다. 트리에서의 가장 낮은 공통 조상의 위치가 낮으면 낮을수록, 후보 움직임 벡터들(Vi)과 더 관련된다.
- 후보 움직임 벡터들의 세트(CSc)는 가장 높은 관련성을 갖는 그 K 개의 움직임 벡터들(Vi)에만 한정된다.
선행 기술의 경우에, 세그먼트 C(104)의 후보 움직임 벡터들의 세트는 CSc={VA, VB, VD, VE, VF, VG, VH, VR}일 것이며, 여기서 VR는 랜덤 움직임 벡터이다. 그러나, 본발명에 따라 트리 구조로부터 노드 C(104) 및 예를 들어 노드 E(134)의 가장 낮은 공통 조상(122)이 트리(120)에서 아주 높은 곳에 있어서 세그먼트 C(104) 및 세그먼트 E(108)가 동일한 물체에 속하며, 동일한 움직임을 가질 가망이 없음이 도출될 수 있으므로, CSc={VB, VD, VA, VFR}가 취해짐이 허락된다. 이 방식에서, 테스트될 후보 움직임 벡터들의 수를 제한할 수 있다. 후보 움직임 벡터들의 선택이 분할의 트리 구조에 기초하므로, 가장 관련된 이웃하는 세그먼트들로부터의 정보만이 사용된다. 테스트되지 않는 후보 움직임 벡터들이 아마도 상이한 물체들의 일부이며, 따라서 유사한 움직임을 가질 가망이 거의 없는 세그먼트들로부터 존재하므로, 결과는 효율성에 있어서 이득, 즉 정확성에 있어서 손실 없이 테스트될 작은 후보 움직임 벡터들이다.
도 2a는 움직임 벡터들(208, 210 및 212)이 추정되는 세그먼트들(202, 204 및 206)을 개략적으로 도시한다. 도 2a에서 트리(120)는 하향 접근법: 트리의 계층의 두 번째로 가장 높은 레벨에 따른 방법에서의 상태를 도시한다. 노드들(124, 126 및 128)은 움직임 벡터들이 추정되는 세그먼트들과 일치한다. 하향 접근법의 원리는 도 3a와 관련하여 기술된다.
도 2b는 움직임 벡터들(208, 222, 224, 226 및 228)이 추정되는 세그먼트들(202, 216, 214, 218 및 220)을 개략적으로 도시한다. 도 2b에서 트리(120)는 하향 접근법: 트리의 계층의 세 번째로 가장 높은 레벨에 따른 방법에서의 상태를 도시한다. 노드들(128, 130, 132, 134 및 135)은 움직임 벡터들이 추정되는 세그먼트들과 일치한다. 도 2a 및 도 2b를 비교함으로써, 움직임 벡터들에 대한 세그먼트들을 보다 작은 세그먼트들로 분할하는 효과가 도시될 수 있다. 예를 들어, 움직임 벡터(210)는 세그먼트(204)로 추정되며, 움직임 벡터들(226 및 228)은 세그먼트들(214, 216)로 각각 추정된다. 예를 들어, 움직임 벡터(212)는 세그먼트(206)로 추정되며, 움직임 벡터들(222 및 224)은 세그먼트들(220, 218)로 각각 추정된다.
도 2c는 움직임 벡터들(208, 224, 228, 238, 240, 244 및 242)이 추정되는 세그먼트들(202, 216, 218, 230, 232, 234 및 236)을 개략적으로 도시한다. 도 2c에서 트리(120)는 하향 접근법: 트리의 계층의 가장 낮은 레벨에 따른 방법에서의 상태를 도시한다. 노드들(128, 130, 134, 138, 140, 142, 144 및 146)은 움직임 벡터들이 추정되는 세그먼트들과 일치한다. 도 2b 및 도 2c를 비교함으로써, 움직임 벡터들에 대한 세그먼트들을 보다 작은 세그먼트들로 분할하는 효과가 도시될 수 있다. 예를 들어, 움직임 벡터(226)는 세그먼트(214)로 추정되며, 움직임 벡터들(238 및 240)은 세그먼트들(230, 232)로 각각 추정된다. 예를 들어, 움직임 벡터(222)는 세그먼트(220)로 추정되며, 움직임 벡터들(242 및 244)은 세그먼트들(236, 234)로 각각 추정된다.
도 3a는 하향 접근법으로 설계된 움직임 추정기 유닛(300)의 요소들을 개략적인 도시한다. 움직임 추정기 유닛(300)은,
- 특정 세그먼트의 후보 움직임 벡터들의 세트를 발생하는 발생기(310)와,
- 각각의 후보 움직임 벡터에 대해 매치 페널티를 계산하는 계산 수단(306)과,
- 매치 페널티들에 기초하여 후보 움직임 벡터들의 세트로부터 특정 움직임 벡터를 선택하는 선택 수단(308)과,
- 계층적인 분할을 수행하도록 설계된 이미지의 세그먼트들의 트리를 발생하는 분할 수단(302)과,
- 발생기(310)를 제어하기 위해 세그먼트들의 트리를 분석하는 분석 수단(304)을 포함한다.
움직임 추정기 유닛(300)의 입력은 이미지들을 포함하며, 입력 커넥터(312)에 제공된다. 움직임 추정기 유닛(300)의 출력은 세그먼트들의 움직임 벡터들이다. 움직임 추정기 유닛(300)의 가동은 다음과 같다. 먼저, 계층적인 분할은 분할 수단(302)에 의해 수행된다. 이 분할은 US 5,867,605호에 기술되어진 바와 같이 수행된다. 분할의 결과는 세그먼트들의 트리이다. 트리의 세그먼트들의 움직임 벡터들은 하향 방향으로 순환적으로 세그먼트들의 트리를 처리함으로써 추정된다. 이는 다음의 절차에 따라 행해진다.
- 적절한 움직임 벡터들의 추정은 트리의 높은 레벨에서 시작하며, 여기서 세그먼트들은 여전히 크다.
- 어떠한 만족스런 움직임 벡터들도 세그먼트에서 발견되지 않는다면, 움직임 벡터들은 개별적으로 이 노드의 모든 칠드런으로 추정된다. 만족스러운 움직임 벡터에 대한 기준은 특정 움직임 벡터의 매치 페널티가 소정의 임계보다 작다는 것이다.
- 이전 단계는 만족스러운 움직임 벡터들이 획득될 때까지 순환적으로 반복된다.
이 방식에서, 매치될 세그먼트들의 수는 정확성을 만족시키지 않고 최소화된다. 움직임 벡터들을 추정하는 처리는 만족스러운 움직임 벡터들이 획득될 때까지 계속된다. 그 결과는 움직임 벡터들만이 트리에서의 비교적 높은 레벨에서 세그먼트들로 추정된다는 것이다. 처리가 가장 크게 정지하여 가장 작은 잡음 경향이 있는 세그먼트들이 가능하다는 점이 이점이다.
도 3b는 상향 접근법으로 설계된 움직임 추정기 유닛(301)의 요소들을 개략적인 도시한다. 이 움직임 추정기 유닛(301)의 대부분의 요소들은 도 3a에 기술된 바와 같은 움직임 추정기 유닛(300)의 요소와 동일하다. 후보 움직임 벡터들의 세트를 발생하는 제 1 발생 수단(310)은,
- 이웃하는 세그먼트들의 움직임 벡터들을 포함하는 후보 움직임 벡터들의 초기 리스트를 발생하는 제 2 발생 수단(303)과,
- 트리 내에서 대응하는 노드들의 위치들에 따라 후보 움직임 벡터들의 초기 리스트를 정렬하는 정렬 수단(305)과,
- 후보 움직임 벡터들의 초기 리스트를 비교적 높은 정렬을 갖는 후보 움직임 벡터들로 제한하는 필터(307)를 포함한다.
이 트리는 상향 접근법에서 처리된다. 이는 트리의 잎들, 즉 가장 작은 세그먼트들에 대해 후보 움직임 벡터들의 세트들이 도 1에 기술된 바와 같이 결정됨을 의미한다. 움직임 벡터들의 세트가 특정 세그먼트로 결정되는 경우, 매치 페널티들은계산 수단(306)에 의해 계산된다. 그 다음 선택 수단(308)은 매치 페널티들에 기초하여 후보 움직임 벡터들의 세트로부터 특정 움직임 벡터를 선택한다.
도 4는 깊이 추정기 유닛(400)의 요소들을 개략적으로 도시한다. 깊이 추정기 유닛(400)은,
- 특정 세그먼트의 후보 움직임 벡터들의 세트를 발생하는 제 1 발생 수단(310)과,
- 각각의 후보 움직임 벡터에 대해 매치 페널티를 계산하는 계산 수단(306)과,
- 매치 페널티들에 기초하여 후보 움직임 벡터들의 세트로부터 특정 움직임 벡터를 선택하는 선택 수단(308)과,
- 계층적인 분할을 수행하도록 설계된 이미지의 세그먼트들의 트리를 발생하는 분할 수단(302)과,
- 제 1 발생 수단을 제어하기 위해 세그먼트들의 트리를 분석하는 분석 수단(304)과,
- 특정 움직임 벡터에 기초하여 특정 세그먼트의 깊이 데이터를 계산하는 깊이 계산 수단(402)을 포함한다. 깊이 데이터는 스칼라 깊이 값 또는 스칼라 깊이 값 및 물체의 배향(orientation)을 포함할 수 있다.
움직임 추정기 유닛(300)의 입력은 입력 커넥터(312)에 제공되는 이미지들과 입력 커넥터(416)에 제공되는 카메라 교정(calibration) 데이터를 포함한다. 움직임 추정기 유닛(300)의 출력은 세그먼트들에 대한 깊이 값들이다. 깊이 추정기유닛(300)의 가동은 다음과 같다. 먼저 계층적인 분할은 분할 수단(302)에 의해 수행된다. 이 분할은 US 5, 867, 605에 기술된 바와 같이 수행된다. 분할의 결과는 장면에서 물체들 또는 물체들의 부분들에 대응하는 세그먼트들의 트리이다. 특정 물체에 대해 후보 값들의 범위내의 값을 갖는 미리 결정된 출처(origin), 예를 들어 카메라에 대한 깊이를 가짐이 추정된다. 이 깊이는 이미지들에서 물체들의 움직임에 관한 것이다. 이는 카메라에 대한 물체의 움직임이 알려지는 경우, 깊이가 패럴랙스(parallax)의 규칙들로 추정될 수 있다. 이는 움직임 벡터들이 깊이를 추정하기 위해 계산되어야 함을 의미한다. 깊이 추정 방법은 1998년 오스트리아, 알프바취(Alpbach), Proceedings of Image and Multidimensional Signal Processing Workshop, 페이지 159-162에서 논문 "Depth from motion using confidence based block matching"에 기술된 방법에 따른다. 도 4에서 선택 수단(308)은 세그먼트의 특정 움직임 벡터를 깊이 계산 수단(402)에 제공함이 도시된다. 움직임 추정은 도 3a 또는 도 3b에 기술된 바와 같을 수 있다.
도 5는,
- 몇몇 처리가 수행된 후에 디스플레이될 이미지들을 나타내는 신호들을 수신하는 수신 수단(501). 그 신호는 안테나 또는 케이블을 통해 수신된 방송 신호일 수 있지만, 또한 VCR(Video Cassette Recorder) 또는 DVD(Digital Versatile Disk)와 같은 기억 장치로부터의 신호일 수 있다. 그 신호는 입력 커넥터(506)에서 제공된다.
- 도 3a 및 도 3b와 함께 각각 기술된 바와 같이 움직임 추정기 유닛(300 또는 301)과,
- 움직임 보상된 이미지 처리 유닛(502)과,
- 처리된 이미지들을 디스플레이하는 디스플레이 장치를 포함하는 이미지 처리 장치(500)의 요소들을 개략적으로 도시한다.
움직임 보상된 이미지 처리 유닛(502)은 다음 타입들의 처리,
- 디-인터레이싱(De-interacing): 인터레이싱은 대안적으로 홀수 또는 짝수 번호가 붙은 이미지 라인들을 전송하기 위한 공통 비디오 방송 절차이다. 디-인터레이싱은 전체 수직 해상도를 복원하도록 즉, 각 이미지에 대해 동시에 이용 가능한 홀수 및 짝수 라인들을 취하도록 한다.
- 상향 변환: 원래의 입력 이미지들의 시리즈들로부터 출력 이미지들의 보다 큰 시리즈들이 계산된다. 출력 이미지들은 2개의 원래의 입력 이미지들간에 일시적으로 위치한다.
- 일시적(temporal) 잡음 감소를 지원한다.
움직임 보상된 이미지 처리 유닛(502)은 그 입력으로서 이미지들과 움직임 벡터들을 필요로 한다. 예를 들어 렌즈 모양(lenticular)의 스크린을 갖는 3D 디스플레이 장치의 경우에, 깊이 값들은 3D 이미지들을 나타내는데 사용될 수 있다.
상술된 실시예들은 본 발명을 한정한다기 보다는 오히려 예시하며, 당업자는 첨부된 청구항들의 범위에서 벗어나지 않고 대안적인 실시예들을 설계할 수 있음에 유념해야 한다. 청구항들에서, 괄호들 사이에 놓인 임의의 참조 부호들은 청구항을 제한하는 것으로 해석되어서는 안 된다. 단어 '포함하는(comprising)'은 청구항에 기입되지 않은 요소들 또는 단계들의 존재를 배제하지 않는다. 요소의 단수형("a" 또는 "an")은 다수의 이러한 요소들의 존재를 배제하지 않는다. 본 발명은 몇몇 상이한 요소를 포함하는 하드웨어에 의해 그리고 적절하게 프로그램된 컴퓨터에 의해 구현될 수 있다. 몇몇 수단을 열거하는 장치 청구항들에서, 몇몇의 이 수단은 하드웨어와 동일한 항목에 의해 구현될 수 있다.

Claims (13)

  1. 이미지(100)의 세그먼트들(102-114)의 움직임 추정 방법에 있어서,
    - 특정 세그먼트(104)의 후보 움직임 벡터들의 세트(118)를 발생하는 단계와,
    - 각각의 후보 움직임 벡터에 대해 매치 페널티를 계산하는 단계와,
    - 매치 페널티들에 기초하여 후보 움직임 벡터들의 세트(118)로부터 특정 움직임 벡터(116)를 선택하는 단계를 포함하며,
    - 계층적인 분할을 수행함으로써 이미지(100)의 세그먼트들(102-114)의 트리(120)를 발생하는 단계와,
    - 특정 세그먼트(104)의 후보 움직임 벡터들의 세트(118)의 발생을 제어하기 위해 세그먼트들(102-114)의 트리(120)를 분석하는 단계를 더 포함하는 것을 특징으로 하는, 움직임 추정 방법.
  2. 제 1 항에 있어서,
    트리(120)의 세그먼트들(102-114)의 움직임 벡터들은 하향 방향으로 순환적으로 세그먼트들(102-114)의 트리(120)를 처리함으로써 추정되는, 움직임 추정 방법.
  3. 제 2 항에 있어서,
    움직임 벡터들은 특정 움직임 벡터(116)의 매치 페널티가 불만족스러운 경우, 특정 세그먼트(104)에 대응하는 트리(120)의 노드의 칠드런에 대응하여, 세그먼트들(102-114)로 추정되는, 움직임 추정 방법.
  4. 제 1 항에 있어서,
    트리(120)의 세그먼트들(102-114)의 움직임 벡터들은 상향 방향으로 세그먼트들(102-114)의 트리(120)를 처리함으로써 추정되는, 움직임 추정 방법.
  5. 제 4 항에 있어서,
    특정 세그먼트(104)의 후보 움직임 벡터들의 세트(118)를 발생하는 상기 단계는 다음의 서브단계들,
    - 이웃하는 세그먼트들(102-114)의 움직임 벡터들을 포함하는 후보 움직임 벡터들의 초기 리스트를 발생하는 단계와,
    - 트리(120)내에서의 대응하는 노드들(122-146)의 위치들에 따라 후보 움직임 벡터들의 초기 리스트를 정렬하는 단계와,
    - 후보 움직임 벡터들의 초기 리스트를 후보 움직임 벡터들의 세트(118)로 되는 비교적 높은 순서를 갖는 후보 움직임 벡터들로 제한하는 단계를 포함하는, 움직임 추정 방법.
  6. 이미지의 세그먼트들(102-114)의 움직임 추정을 위한 움직임 추정기유닛(300, 301)에 있어서,
    - 특정 세그먼트(104)의 후보 움직임 벡터들의 세트(118)를 발생하는 제 1 발생 수단(310)과,
    - 각각의 후보 움직임 벡터에 대해 매치 페널티를 계산하는 계산 수단(306)과,
    - 매치 페널티들에 기초하여 후보 움직임 벡터들의 세트(118)로부터 특정 움직임 벡터(116)를 선택하는 선택 수단(308)을 포함하며,
    - 계층적인 분할을 수행하도록 설계된, 이미지의 세그먼트들(102-114)의 트리(120)를 발생하는 분할 수단(302)과,
    - 제 1 발생 수단(310)을 제어하기 위해 세그먼트들(102-114)의 트리(120)를 분석하는 분석 수단(304)을 더 포함하는 것을 특징으로 하는, 움직임 추정기 유닛.
  7. 제 6 항에 있어서,
    하향 방식으로 세그먼트들(102-114)의 트리(120)를 순환적으로 처리함으로써 트리(120)의 세그먼트들(102-114)의 움직임 벡터들을 추정하도록 설계되는 것을 특징으로 하는, 움직임 추정기 유닛.
  8. 제 7 항에 있어서,
    특정 움직임 벡터(116)의 매치 페널티가 불만족스러운 경우, 특정 세그먼트(104)에 대응하는 트리(120)의 노드의 칠드런에 대응하여,세그먼트들(102-114)의 움직임 벡터들을 추정하도록 설계되는 것을 특징으로 하는, 움직임 추정기 유닛.
  9. 제 6 항에 있어서,
    상향 방향으로 세그먼트들(102-114)의 트리(120)를 처리함으로써 트리(120)의 세그먼트들(102-114)의 움직임 벡터들을 추정하도록 설계되는 것을 특징으로 하는, 움직임 추정기 유닛.
  10. 제 9 항에 있어서,
    특정 세그먼트(104)의 후보 움직임 벡터들의 세트(118)를 발생하는 제 1 발생 수단(310)은,
    - 이웃하는 세그먼트들(102-114)의 움직임 벡터들을 포함하는 후보 움직임 벡터들의 초기 리스트를 발생하는 제 2 발생 수단(303)과,
    - 트리(120)내에서의 대응하는 노드들(122-146)의 위치들에 따라 후보 움직임 벡터들의 초기 리스트를 정렬하는 정렬 수단(305)과,
    - 후보 움직임 벡터들의 초기 리스트를 비교적 높은 순서를 갖는 후보 움직임 벡터들로 제한하는 필터(307)를 포함하는, 움직임 추정기 유닛.
  11. 이미지의 세그먼트들(102-114)의 깊이 추정 방법에 있어서,
    - 특정 세그먼트(104)의 후보 움직임 벡터들의 세트(118)를 발생하는 단계와,
    - 각각의 후보 움직임 벡터에 대해 매치 페널티를 계산하는 단계와,
    - 매치 페널티들에 기초하여 후보 움직임 벡터들의 세트(118)로부터 특정 움직임 벡터(116)를 선택하는 단계와,
    - 특정 움직임 벡터(116)에 기초하여 특정 세그먼트(104)의 깊이 데이터를 계산하는 단계를 포함하며,
    - 계층적인 분할을 수행함으로써 이미지(100)의 세그먼트들(102-114)의 트리(120)를 발생하는 단계와,
    - 특정 세그먼트(104)의 후보 움직임 벡터들의 세트(118)의 발생을 제어하기 위해 세그먼트들(102-114)의 트리(120)를 분석하는 단계를 더 포함하는 것을 특징으로 하는, 깊이 추정 방법.
  12. 이미지의 세그먼트들(102-114)의 깊이 추정을 위한 깊이 추정기 유닛(400)에 있어서,
    - 특정 세그먼트(104)의 후보 움직임 벡터들의 세트(118)를 발생하는 제 1 발생 수단(310)과,
    - 각각의 후보 움직임 벡터에 대해 매치 페널티를 계산하는 계산 유닛(306)과,
    - 매치 페널티들에 기초하여 후보 움직임 벡터들의 세트(118)로부터 특정 움직임 벡터(116)를 선택하는 선택 수단(308)과,
    - 특정 움직임 벡터(116)에 기초하여 특정 세그먼트(104)의 깊이 데이터를 계산하는 깊이 계산 수단(402)을 포함하며,
    - 계층적인 분할을 수행함으로써 이미지(100)에 대한 세그먼트(102-114)의 트리(120)를 발생하는 분할 수단(302)과,
    - 제 1 발생 수단을 제어하기 위해 세그먼트들(102-114)의 트리(120)를 분석하는 분석 수단(304)을 더 포함하는 것을 특징으로 하는, 깊이 추정기 유닛.
  13. 이미지 처리 장치(500)에 있어서,
    - 이미지(100)의 세그먼트들(102-114)의 움직임 추정을 위한 움직임 추정기 유닛(300, 301)으로서,
    - 특정 세그먼트(104)의 후보 움직임 벡터들의 세트(118)를 발생하는 발생기(310)와,
    - 각각의 후보 움직임 벡터에 대해 매치 페널티를 계산하는 계산 수단(306)과,
    - 매치 페널티들에 기초하여 후보 움직임 벡터들의 세트(118)로부터 특정 움직임 벡터(116)를 선택하는 선택 수단(308)을 포함하는, 상기 움직임 추정기 유닛(300, 301)과,
    - 움직임 보상된 이미지 처리 유닛(502)을 포함하며,
    상기 움직임 추정기 유닛(300, 301)은,
    - 계층적인 분할 방법을 수행하도록 설계된, 이미지(100)의 세그먼트들(102-114)의 트리(120)를 발생하는 분할 수단(302)과,
    - 발생기(310)를 제어하기 위해 세그먼트들(102-114)의 트리(120)를 분석하는 분석 수단(304)을 포함하는 것을 특징으로 하는, 이미지 처리 장치.
KR10-2003-7003337A 2001-07-06 2002-06-21 움직임 또는 깊이 추정 방법들 및 유닛들과 이러한 움직임추정 유닛이 제공된 이미지 처리 장치 KR20030029933A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP01202615 2001-07-06
EP01202615.9 2001-07-06
PCT/IB2002/002446 WO2003005727A1 (en) 2001-07-06 2002-06-21 Methods of and units for motion or depth estimation and image processing apparatus provided with such motion estimation unit

Publications (1)

Publication Number Publication Date
KR20030029933A true KR20030029933A (ko) 2003-04-16

Family

ID=8180611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-7003337A KR20030029933A (ko) 2001-07-06 2002-06-21 움직임 또는 깊이 추정 방법들 및 유닛들과 이러한 움직임추정 유닛이 제공된 이미지 처리 장치

Country Status (6)

Country Link
US (1) US7039110B2 (ko)
EP (1) EP1407613A1 (ko)
JP (1) JP2004534336A (ko)
KR (1) KR20030029933A (ko)
CN (1) CN1284373C (ko)
WO (1) WO2003005727A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011155779A2 (ko) * 2010-06-11 2011-12-15 에스케이텔레콤 주식회사 효율적인 움직임 벡터 부호화/복호화를 위한 적응적 경쟁기반 움직임 후보 벡터 산출 기법 및 이를 이용한 움직임 벡터 부/복호화 장치
KR20140139460A (ko) * 2014-10-29 2014-12-05 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
US9025667B2 (en) 2009-12-08 2015-05-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition
KR20170115021A (ko) * 2017-09-22 2017-10-16 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
KR20180069766A (ko) * 2018-06-07 2018-06-25 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003067868A2 (en) * 2002-02-06 2003-08-14 Koninklijke Philips Electronics N.V. Unit for and method of segmentation
KR101038452B1 (ko) 2003-08-05 2011-06-01 코닌클리케 필립스 일렉트로닉스 엔.브이. 멀티뷰 이미지 생성
US7522749B2 (en) * 2005-04-08 2009-04-21 Microsoft Corporation Simultaneous optical flow estimation and image segmentation
US7769240B2 (en) * 2007-02-07 2010-08-03 At&T Intellectual Property, I, L.P. Methods and systems for image processing
JP4886898B2 (ja) * 2007-07-26 2012-02-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 深さ関連情報伝達のための方法及び装置
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
CN100592338C (zh) * 2008-02-03 2010-02-24 四川虹微技术有限公司 多视角视频图像深度搜索方法及深度估计方法
TW201028964A (en) * 2009-01-23 2010-08-01 Ind Tech Res Inst Depth calculating method for two dimension video and apparatus thereof
TW201030682A (en) * 2009-02-12 2010-08-16 Sunplus Technology Co Ltd Motion vector estimator for reducing film judder
KR101504887B1 (ko) 2009-10-23 2015-03-24 삼성전자 주식회사 데이터 단위 레벨의 독립적 파싱 또는 복호화에 따른 비디오 복호화 방법 및 그 장치, 그리고 데이터 단위 레벨의 독립적 파싱 또는 복호화를 위한 비디오 부호화 방법 및 그 장치
CN101702751B (zh) * 2009-11-03 2011-07-27 上海富瀚微电子有限公司 一种视频降噪处理中的三维块匹配方法
AU2013201504B2 (en) * 2009-12-08 2014-06-12 Samsung Electronics Co., Ltd Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition
EP2595116A1 (en) * 2010-05-07 2013-05-22 Telefónica, S.A. Method for generating depth maps for converting moving 2d images to 3d
CN102572295B (zh) * 2010-12-21 2014-04-02 新奥特（北京）视频技术有限公司 一种特效图调度方法
CN102307310B (zh) * 2011-08-23 2014-10-29 威盛电子股份有限公司 影像深度估计方法及其装置
US9041773B2 (en) * 2011-11-22 2015-05-26 Corel Corporation Conversion of 2-dimensional image data into 3-dimensional image data
CN102819586B (zh) * 2012-07-31 2015-10-07 北京网康科技有限公司 一种基于高速缓存的url分类方法和设备
KR20140029689A (ko) * 2012-08-29 2014-03-11 삼성전자주식회사 영상 처리 시스템에서 움직임 추정 장치 및 방법
US10257506B2 (en) 2012-12-28 2019-04-09 Samsung Electronics Co., Ltd. Method of obtaining depth information and display apparatus
KR101484282B1 (ko) 2013-04-02 2015-01-22 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
KR101677276B1 (ko) * 2015-01-19 2016-11-17 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
CN105809717B (zh) * 2016-03-10 2019-01-11 上海玮舟微电子科技有限公司 一种深度估计方法、系统及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03256485A (ja) * 1990-03-06 1991-11-15 Victor Co Of Japan Ltd 動きベクトル検出回路
WO1994018799A1 (en) * 1993-02-03 1994-08-18 Qualcomm Incorporated Interframe video encoding and decoding system
US5608458A (en) * 1994-10-13 1997-03-04 Lucent Technologies Inc. Method and apparatus for a region-based approach to coding a sequence of video images
US5929940A (en) * 1995-10-25 1999-07-27 U.S. Philips Corporation Method and device for estimating motion between images, system for encoding segmented images
JP3929492B2 (ja) * 1995-10-25 2007-06-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ セグメント化画像符号化方法及びシステム並びにその復号化方法及びシステム
US6084908A (en) * 1995-10-25 2000-07-04 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
US6766037B1 (en) * 1998-10-02 2004-07-20 Canon Kabushiki Kaisha Segmenting moving objects and determining their motion

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9025667B2 (en) 2009-12-08 2015-05-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition
US9294780B2 (en) 2009-12-08 2016-03-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition
US10448042B2 (en) 2009-12-08 2019-10-15 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition
WO2011155779A2 (ko) * 2010-06-11 2011-12-15 에스케이텔레콤 주식회사 효율적인 움직임 벡터 부호화/복호화를 위한 적응적 경쟁기반 움직임 후보 벡터 산출 기법 및 이를 이용한 움직임 벡터 부/복호화 장치
WO2011155779A3 (ko) * 2010-06-11 2012-05-03 에스케이텔레콤 주식회사 효율적인 움직임 벡터 부호화/복호화를 위한 적응적 경쟁기반 움직임 후보 벡터 산출 기법 및 이를 이용한 움직임 벡터 부/복호화 장치
KR20140139460A (ko) * 2014-10-29 2014-12-05 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
KR20170115021A (ko) * 2017-09-22 2017-10-16 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
KR101867597B1 (ko) * 2017-09-22 2018-06-14 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
KR20180069766A (ko) * 2018-06-07 2018-06-25 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치

Also Published As

Publication number Publication date
US20030007667A1 (en) 2003-01-09
US7039110B2 (en) 2006-05-02
EP1407613A1 (en) 2004-04-14
CN1522542A (zh) 2004-08-18
WO2003005727A1 (en) 2003-01-16
CN1284373C (zh) 2006-11-08
JP2004534336A (ja) 2004-11-11

Similar Documents

Publication Publication Date Title
KR20030029933A (ko) 움직임 또는 깊이 추정 방법들 및 유닛들과 이러한 움직임추정 유닛이 제공된 이미지 처리 장치
Bovik The essential guide to video processing
KR100482898B1 (ko) 모션벡터를추정하는방법,장치및그장치를포함하는비디오디스플레이장치
US5748247A (en) Refinement of block motion vectors to achieve a dense motion field
KR100582856B1 (ko) 움직임 추정 및 움직임 보상된 보간법
JP3621152B2 (ja) 特徴点の特定装置及びその方法
EP0737012B1 (en) Method for segmenting and estimating a moving object motion
US7375762B2 (en) Frame interpolation method and apparatus, and image display system
US8149915B1 (en) Refinement of motion vectors in hierarchical motion estimation
US6266443B1 (en) Object boundary detection using a constrained viterbi search
US7519230B2 (en) Background motion vector detection
US8605787B2 (en) Image processing system, image processing method, and recording medium storing image processing program
De Haan et al. An efficient true-motion estimator using candidate vectors from a parametric motion model
US20050180506A1 (en) Unit for and method of estimating a current motion vector
KR20040050906A (ko) 모션 추정을 위한 장치 및 방법
JP2005535028A (ja) セグメント化のためのシステムおよびセグメント化方法
US20050226462A1 (en) Unit for and method of estimating a motion vector
US10225587B1 (en) Motion estimation method for frame rate converter and video processor using the same
US20060098886A1 (en) Efficient predictive image parameter estimation
JP2001076161A (ja) 画像処理方法及び装置並びに記憶媒体
US7881500B2 (en) Motion estimation with video mode detection
US20080144716A1 (en) Method For Motion Vector Determination
US6553069B1 (en) Digital image segmenting method and device
US20050141615A1 (en) Motion vector estimating method and motion vector estimating apparatus using block matching process
US20070008342A1 (en) Segmentation refinement

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid