KR20140029689A - 영상 처리 시스템에서 움직임 추정 장치 및 방법 - Google Patents

영상 처리 시스템에서 움직임 추정 장치 및 방법 Download PDF

Info

Publication number
KR20140029689A
KR20140029689A KR1020120094954A KR20120094954A KR20140029689A KR 20140029689 A KR20140029689 A KR 20140029689A KR 1020120094954 A KR1020120094954 A KR 1020120094954A KR 20120094954 A KR20120094954 A KR 20120094954A KR 20140029689 A KR20140029689 A KR 20140029689A
Authority
KR
South Korea
Prior art keywords
image
depth information
motion
motion estimation
blocks
Prior art date
Application number
KR1020120094954A
Other languages
English (en)
Inventor
김승구
박세혁
안태경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120094954A priority Critical patent/KR20140029689A/ko
Priority to US14/013,650 priority patent/US20140064567A1/en
Publication of KR20140029689A publication Critical patent/KR20140029689A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

영상 처리 시스템에서 움직임 추정 장치는 입력된 영상의 깊이 정보를 미리 설정된 단위로 검출하고, 상기 검출된 깊이 정보를 근거로 상기 영상에 포함된 객체들을 구분하는 깊이 정보 검출부와, 상기 구분된 객체들 각각에 대응하는 영상을 생성하는 영상 재구성부와, 상기 생성된 각 영상에서 객체의 움직임 벡터(Motion Vector)값을 산출하고, 상기 생성된 각 영상에서 산출된 움직임 벡터값을 결합하여 상기 입력된 영상의 최종 움직임 추정값으로서 출력하는 움직임 추정부를 포함한다.

Description

영상 처리 시스템에서 움직임 추정 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING MOTION IN AN IMAGE PROCESSING SYSTEM}
본 발명은 영상 처리 시스템에서 움직임 추정 장치 및 방법에 관한 것이다.
종래에는 시간 축 상에서 전, 후 관계에 있는 다수개의 영상을 2차원 평면 상에서 서로 비교하여 영상의 움직임(구체적으로, 영상을 구성하는 객체들의 프레임 전 후 관계에 따른 움직임)을 추정하였다. 더 자세하게, 종래에는 하나의 영상을 해당 영상의 크기보다 작은 크기를 가지는 블록으로 나눈 뒤, 현재 프레임의 영상을 이전 혹은 이후 프레임의 영상과 비교함으로써 각 블록의 움직임을 추정하였다.
하지만 상기와 같은 움직임 추정 방법이 사용되는 경우, 움직임이 서로 다른 객체들 간의 경계에서 움직임 추정 오류가 빈번하게 발생하는 문제가 있었다. 이는 객체들 간의 경계가 실제로는 3차원적인 특징들, 일 예로 다수개의 객체들이 앞 뒤로 겹쳐지는 것과 같은 깊이(depth) 정보를 가지는데 반해, 종래의 움직임 추정 방법에서는 상기 깊이 정보를 고려하지 않고 단순히 2차원적인 정보들만을 기반으로 움직임을 추정하기 때문이다.
따라서 영상의 움직임 추정 오류를 감소시키고 좀 더 명확하게 움직임 추정을 할 수 있는 방안이 요구되고 있다.
본 발명은 영상 처리 시스템에서 움직임 추정 장치 및 방법을 제안한다.
그리고 본 발명은 깊이 정보를 이용하여 영상 내 각 객체의 움직임을 좀 더 명확하게 추정할 수 있도록 하는 장치 및 방법을 제안한다.
또한 본 발명은 영상 처리 시스템에서 좀 더 간단한 구성으로 움직임 추정의 정확도를 향상시킬 수 있도록 하는 장치 및 방법을 제안한다.
본 발명에서 제안하는 장치는; 영상 처리 시스템에서 움직임 추정 장치에 있어서, 입력된 영상의 깊이 정보를 미리 설정된 단위로 검출하는 깊이 정보 검출부와, 상기 검출된 깊이 정보를 근거로 상기 영상에 포함된 객체들을 구분하고, 상기 구분된 객체들 각각에 대응하는 영상을 생성하는 영상 재구성부와, 상기 생성된 각 영상에서 객체의 움직임 벡터(motion vector)값을 산출하고, 상기 생성된 각 영상에서 산출된 움직임 벡터값을 결합하여 상기 입력된 영상의 최종 움직임 추정값으로서 출력하는 움직임 추정부를 포함한다.
본 발명에서 제안하는 방법은; 영상 처리 시스템에서 움직임 추정 방법에 있어서, 입력된 영상의 깊이 정보를 미리 설정된 단위로 검출하는 과정과, 상기 검출된 깊이 정보를 근거로 상기 영상에 포함된 객체들을 구분하는 과정과, 상기 구분된 객체들 각각에 대응하는 영상을 생성하는 과정과, 상기 생성된 각 영상에서 객체의 움직임 벡터(motion vector)값을 산출하는 과정과, 상기 생성된 각 영상에서 산출된 움직임 벡터값을 결합하여 상기 입력된 영상의 최종 움직임 추정값으로서 출력하는 과정을 포함한다.
본 발명은 영상 처리 시스템에서 움직임 추정의 정밀도를 높일 수 있는 효과가 있다. 또한 본 발명은 기존의 움직임 추정에 있어 하나의 영상 안에서 여러 객체의 위치가 겹치는 경우, 각 객체의 경계에서 움직임 추정 오류가 빈번하게 발생하는 문제를 해결할 수 있는 효과가 있다.
본 발명에서는 영상 안에 존재하는 객체들을 각각 구분함으로써 상기 구분된 객체들 각각에 대응되는 영상을 재구성하고, 재구성된 영상 각각 별로 독립적으로 움직임을 추정함으로써 객체들 간 경계에서 여러 인접해 있는 객체들의 움직임 벡터가 서로 간섭되는 것을 방지한다. 이에 따라 본 발명에서는 움직임 추정 결과의 정확성이 향상되는 이점이 있다.
추가적으로, 본 발명에서는 움직임 추정에 필요한 자원을 줄일 수 있다. 본 발명에 따르면 움직임 추정 전에 원본 영상을 다수의 2차원 영상으로 재구성하므로, 재구성된 각 2차원 영상에 대한 움직임 추정을 기존의 움직임 추정 장치를 사용하여 수행할 수 있다. 즉, 각 2차원 영상에 대한 움직임 추정은 깊이 정보를 사용하여 수행되는 것이 아니므로 기존의 움직임 추정 장치를 그대로 사용할 수 있다. 따라서, 본 발명에서는 3차원 정보를 움직임 추정에 이용하기 위한 별도의 장치를 움직임 추정 장치 내부에 포함하지 않아도 되기 때문에 움직임 추정 장치의 구조를 단순히 할 수 있는 이점이 있다.
도 1은 영상을 구성하는 객체들의 프레임 전 후 관계에 따른 움직임을 나타낸 예시도,
도 2는 일반적인 움직임 추정 장치를 나타낸 도면,
도 3은 본 발명의 실시 예에 따른 다수의 층으로 재구성된 영상의 일 예를 보인 도면,
도 4는 본 발명의 실시 예에 따른 영상 처리 시스템에서 움직임 추정 장치의 블록 구성도,
도 5는 본 발명의 실시 예에 따른 깊이 정보를 사용하여 영상을 재구성하는 과정을 나타낸 도면,
도 6은 본 발명의 실시 예에 따른 다수의 층의 영상을 결합하는 과정을 설명하기 위해 예시된 도면,
도 7은 본 발명의 실시 예에 따른 영상 처리 시스템에서 움직임을 추정하는 과정을 나타낸 도면,
도 8은 본 발명의 실시 예에 따른 영상 처리 시스템에서 움직임 추정 장치의 동작을 나타낸 순서도.
이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
본 발명은 영상 처리 시스템에서 움직임 추정 장치 및 방법을 제안한다. 구체적으로, 본 발명은 입력된 영상의 깊이 정보를 미리 설정된 단위로 검출하고, 상기 검출된 깊이 정보를 근거로 상기 영상에 포함된 객체들을 구분하고, 상기 구분된 객체들 각각에 대응하는 영상을 생성하고, 상기 생성된 각 영상에서 객체의 움직임 벡터(Motion Vector)값을 산출하고, 상기 생성된 각 영상에서 산출된 움직임 벡터값을 결합하여 상기 입력된 영상의 최종 움직임 추정값으로 출력하는 장치 및 방법을 제안한다.
본 발명의 실시 예의 설명에 앞서 일반적인 영상 처리 시스템에서의 움직임 추정 방법 및 장치를 간략하게 설명하기로 한다.
도 1은 영상을 구성하는 객체들의 프레임 전 후 관계에 따른 움직임을 나타낸 예시도이다.
도 1에서는 전경(foreground)(B plane, 이하 'B 객체'라 칭함)과 배경(background)(A plane, 이하 'A 객체'라 칭함)이 포함된 영상을 일 예로 설명하기로 한다.
도 1의 (a)에 나타난 바와 같이 제1프레임 동안 상기 A 객체가 고정되어 있는 상태에서 상기 B 객체는 왼쪽으로 이동할 수 있다. 이 경우, 상기 제1프레임의 다음 프레임인 제2프레임에서는 도 1의 (b)에 나타난 바와 같이 상기 B 객체의 이동에 따라 상기 B 객체에 의해 가려져 있던 새로운 객체(이하 'C 객체'라 칭함)가 나타날 수 있다.
상기 C 객체는 상기 A 객체의 일부(즉, 배경의 새로운 영역)로 보아야 하나, 도 2에 나타난 바와 같이 구성된 일반적인 움직임 추정 장치(200)에서는 상기 C 객체를 상기 B 객체의 일부분으로서 판단하게 된다. 이는 상기 움직임 추정 장치(200)가 3차원적인 특징들에 대한 정보없이 각 객체의 움직임을 추정하기 때문이다. 움직임 추정에 대한 오류는 결과적으로 움직임 추정 결과를 사용하는 상위 시스템(영상 처리 시스템)의 출력, 즉 최종 출력 영상의 화질을 저하시키는 등의 문제를 발생시키게 된다.
상기와 같은 문제를 해결하기 위하여, 본 발명의 실시 예에서는 하나의 층(layer)으로 구성된 2차원 영상을 깊이 정보를 기반으로 다수의 영상으로 재구성하여 움직임을 추정하는 방법을 제안한다. 예를 들어, 본 발명의 실시 예에서는 하나의 2차원 영상을 다수의 블록(block)(또는 픽셀(pixel)이나 영역(region))으로 분할하고, 각 블록의 깊이 정보를 근거로 해당 영상을 다수의 층의 영상으로 재구성할 수 있도록 한다.
도 3은 본 발명의 실시 예에 따른 다수의 층으로 재구성된 영상의 일 예를 보인 도면이다. 도 3의 (a)는 도 1의 (a)에 나타난 영상을 다수의 층의 영상으로 재구성한 예를 보이고 있으며, 도 3의 (b)는 도 1의 (b)에 나타난 영상을 다수의 층의 영상으로 재구성한 예를 보이고 있다.
도 3의 (a) 및 (b)에서는 깊이 정보를 근거로 A 객체와 B 객체가 구분되어, 상기 A 객체가 포함된 제1층 영상과 상기 B 객체가 포함된 제2층 영상이 생성됨을 나타내고 있다. 이 경우, 상기 제1층 영상과 제2층 영상에서 각각 프레임 변화에 따른 해당 객체의 움직임만이 체크됨으로써 움직임 추정 오류는 현저히 감소될 수 있게 된다.
이하 도 4를 참조하여 본 발명의 실시 예에 따른 영상 처리 시스템에서 움직임 추정 장치에 대해 구체적으로 설명하기로 한다.
도 4는 본 발명의 실시 예에 따른 영상 처리 시스템에서 움직임 추정 장치의 블록 구성도이다.
도 4를 참조하면, 상기 움직임 추정 장치(400)는 깊이 정보 검출부(402), 영상 재구성부(404) 및 움직임 추정부(motion estimator)(406)를 포함한다.
상기 깊이 정보 검출부(402)는 영상이 입력되면, 상기 영상을 공간적으로 분할하기 위해 상기 입력된 영상의 깊이 정보를 검출한다. 상기 깊이 정보 검출부(402)는 일 예로 다음 표 1에 나타난 방법을 사용하여 상기 깊이 정보를 검출할 수 있으며, 해당 영상의 미리 설정된 단위(블록 또는 픽셀 또는 영역, 이하 편의상'블록'이라 칭함) 별로 상기 깊이 정보를 검출할 수 있다.
방법 내용
텍스쳐(고주파 성분) 분석(Texture Analysis) 방법 텍스쳐 성분이 높은 영역이 전경(시청자가 위치한 쪽과 가까운 객체)임을 가정함.
기하학적 깊이 분석(Geometric depth analysis)
방법		 기하학적 방법에 의한 깊이 추정 방법.
화면에 수평선 등이 포함되어 있는 경우 수평선을 기준으로 위, 아래 화면의 깊이가 다름을 가정함. 예를 들어, 수평선의 위는 하늘, 아래는 바다인 화면은 하늘은 깊이가 깊고, 바다는 깊이가 얕음을 가정함.
템플릿 매칭(Template matching) 방법 깊이 값을 알고 있는 템플릿과 입력 영상을 비교하여, 가장 유사한 템플릿의 깊이 값을 입력 영상의 깊이 값으로 할당 함.
휘도 분석(Histogram analysis) 방법 화면의 휘도를 분석하여 밝은 곳에 시청자와 가까운 얕은 깊이를 할당하고, 어두운 곳은 시청자와 먼 깊은 깊이를 할당 함.
기타 방법 2D → 3D 모델링(modeling)은 그 외에도 다양한 방법들을 각각 혹은 결합하여 사용할 수 있으며, 그 결과로 영상 각 블록의 깊이 정보를 얻을 수 있음.
상기 깊이 정보 검출부(402)는 일 예로, 2D-3D 변환기와 같이 독립적인 처리 장치가 될 수 있으며, 입력 영상에 대한 깊이 정보가 부가 데이터(Meta-data)로서 제공될 경우 상기 깊이 정보를 검출해 내는 분석 장치(일 예로, 해석기(parser))가 될 수 있다. 여기서, 상기 깊이 정보가 상기 부가 데이터로서 제공될 경우 일 예로 다음과 같은 방식으로 제공될 수 있다.
- 방송국에서 정보 송출 시 영상 정보 이외에 영상의 각 블록에 대한 깊이 정보를 추가적으로 송신함.
- 블루레이 디스크(Bluray Disk: BD) 타이틀과 같은 저장 미디어(storage media)의 경우, 영상 데이터를 구성하는 전송 스트림(transport stream)이외에 깊이 정보를 나타내는 데이터를 별도로 가지고 있다가, 필요시 영상 처리 장치에 송신함.
- 그 외에 다양한 방법으로(즉, 미리 설정된 방법으로) 영상 데이터 이외에 추가적인 B/W를 사용하여 깊이 정보를 영상 처리 장치에 제공함.
상기 영상 재구성부(404)는 상기 깊이 정보 검출부(402)로부터 깊이 정보가 입력되면, 하나의 층(1 layer)으로 되어 있는 2차원 영상을 상기 깊이 정보를 사용하여 다층(Multiple layers)의 독립된 2차원 영상들로 재구성한다. 예를 들어, 상기 영상 재구성부(404)는 상기 깊이 정보 검출부(402)에서 검출된 각 픽셀 별 깊이 정보가 속하는 범위에 따라 다수의 픽셀들을 다수의 그룹으로 구분하고, 상기 구분된 그룹 각각에 대응하는 2차원 영상을 생성한다.
상기 움직임 추정부(406)는 상기 영상 재구성부(404)가 다수의 2차원 영상을 출력하면, 프레임 변화에 따라 상기 다수의 2차원 영상 각각에 대한 움직임 벡터값을 추정한다. 그리고 상기 움직임 추정부(406)는 상기 다수의 2차원 영상 각각에 대한 움직임 추정 결과 즉, 움직임 벡터값을 결합하여 해당 영상에 대한 최종 움직임 추정 결과값으로서 출력한다.
한편, 상기 움직임 추정부(406)는 상기 움직임 벡터값을 결합하기 위한 움직임 추정 결과 결합부를 별도로 포함할 수 있으며, 이와 달리 상기 움직임 추정 결과 결합부가 상기 움직임 추정부(406)와 별개의 장치로 구성되는 것도 가능하다.
도 5는 본 발명의 실시 예에 따른 깊이 정보를 사용하여 영상을 재구성하는 과정을 나타낸 도면이다.
앞서 설명한 바와 같이 본 발명의 실시 예에서 제안하는 움직임 추정 장치는 한 층의 2차원 영상으로 표현되는 입력 영상을 여러 층의 독립된 2차원 영상으로 재구성하여 움직임을 추정한다. 이하 도 5에 도시된 과정을 도 4에서 설명한 움직임 추정 장치를 참조하여 설명하기로 한다.
상기 깊이 정보 검출부(402)는 입력된 영상을 다수개의 블록들로 나누고, 상기 다수개의 블록들 각각에 대한 깊이 정보를 검출함으로써 깊이 정보 맵(map)(500)을 생성할 수 있다. 예를 들어, 도 5에서는 각 블록의 깊이 정보가 1에서부터 10까지의 수들 중 하나로 표현된 깊이 정보 맵을 보이고 있다.
상기와 같이 깊이 정보 맵(500)이 생성되면, 상기 영상 재구성부(404)는 각 블록 별 깊이 정보가 어느 범위에 속하는지에 따라 다수의 블록들을 다수(N개)의 그룹으로 구분한다(502). 예를 들어, 상기 다수의 블록들을 두 개의 그룹으로 구분할 경우(N=2), 두 개의 깊이 정보의 범위값에 따라 2가지 그룹이 결정될 수 있다.
도 5에서는 깊이 정보값이 5~10인 경우 제1그룹으로 결정되며, 깊이 정보값이 1~4인 경우 제2그룹으로 결정됨을 일 예로 보이고 있다. 즉, 도 5에서는 5-6의 깊이 정보값을 포함하는 C 객체와 7~10의 깊이 정보값을 포함하는 A 객체는 제1그룹으로 결정되며, 1~4의 깊이 정보값을 포함하는 B 객체는 상기 제2그룹으로 결정됨을 보이고 있다.
전술한 바와 같이 상기 다수의 블록들이 2개의 그룹으로 구분되면(504), 상기 영상 재구성부(404)는 상기 입력된 영상의 재구성 결과(506)로서, 상기 2개의 그룹 각각에 대한 2차원 영상 즉, 제1층 영상 및 제2층 영상을 생성한다. 그러면, 상기 움직임 추정부(406)는 상기 제1층 영상 및 제2층 영상 각각에 포함된 객체에 대한 움직임을 추정하고, 상기 제1층 영상의 추정 결과와 상기 제2층 영상의 추정 결과를 결합하여 이를 해당 영상의 최종 움직임 추정 결과로서 출력한다.
이하 다수의 층의 영상을 결합하는 방법에 대하여 도 6을 참조하여 구체적으로 설명하기로 한다.
도 6은 본 발명의 실시 예에 따른 다수의 층의 영상을 결합하는 과정을 설명하기 위해 예시된 도면이다.
도 6의 깊이 정보 맵(600)과 다수의 블록들을 다수의 그룹으로 구분한 결과를 나타낸 도면(604)은 각각 도 5의 깊이 정보 맵(500)과 다수의 블록들을 다수의 그룹으로 구분한 결과를 나타낸 도면(504)과 동일하므로, 그 상세한 설명은 생략하기로 한다.
도 6에 나타난 바와 같이, 깊이 정보값에 따라 다수의 블록들이 두 개의 그룹으로 구분된 경우, 상기 2개의 그룹 각각에 대한 2차원 영상 즉, 제1층 영상 및 제2층 영상이 생성되어 각 층 별로 움직임이 추정될 수 있다. 그리고, 구분된 각 층 영상에 대한 움직임 추정 결과는 최종적으로 하나의 원본 영상에 대한 움직임 추정 결과를 생성하기 위해 결합될 수 있다.
이때, 다수의 층 각각에서 동일한 위치에 있는 블록에 대한 움직임 벡터는 블록 매칭 에러(block matching error)값(일 예로, 절대값 차이의 합(Sum of Absolute Difference(SAD))이 가장 낮은 움직임 벡터값이 해당 위치의 블록을 대표하는(즉, 가장 우선 순위가 높은) 움직임 벡터값으로 결정됨으로써 다수의 층의 블록들 각각에 대한 움직임 벡터값이 결합될 수 있다.
이를 도 6을 참조하여 구체적으로 설명하면, 재구성 결과(606)로서 도시된 제1층 영상 및 제2층 영상 각각에 포함된 제1블록(602) 및 제2블록(603)은 2차원 상에 동일한 위치를 가진다. 하지만 상기 제1층 영상에서 상기 제1블록(602)에 대한 블록 매칭 에러값은 상기 제2블록(603)의 블록 매칭 에러값에 비해 훨씬 크다. 왜냐하면 B 객체(제1층 영상의 실선으로 표시된 원)가 상기 제1층 영상에서 분리되고 난 후, 해당 영역은 빈 영역(정보가 없는 영역)으로 남게 되며, 블록 매칭이 수행될 경우 블록 매칭 에러값이 상대적으로 크거나 혹은 정보가 없는 블록이라는 표시로 사용자에 의해 최대 블록 매칭 에러값을 주도록 설계될 수 있기 때문이다.
이에 반해 제2층 영상에서 상기 제2블록(603)에 대한 블록 매칭 에러값은 상기 제1블록(602)의 블록 매칭 에러값에 비해 훨씬 작다. 왜냐하면 상기 2층 영상에서 상기 제2블록(603)의 위치에는 상기 B 객체를 구성하는 픽셀들이 존재하기 때문에(즉, 정보가 있는 영역이기 때문에), 블록 매칭이 수행될 경우 실제 픽셀 값들의 차이(error)를 계산할 수 있기 때문이다. 따라서, 도 6의 실시 예의 경우 상기 제2층 영상의 상기 제2블록(603)의 움직임 벡터값이 해당 위치의 블록에 대한 움직임 벡터값을 대표하게 된다.
한편, 만약 각 층 영상의 동일 위치의 블록들 각각에 대한 블록 매칭 에러값이 모두 동일하거나 아주 비슷하다면(예를 들어, 각 층 영상의 블록 간 블록 매칭 에러값의 차이가 미리 설정된 임계값 보다 작다면), 얕은 깊이를 갖는 블록(전경)의 움직임 벡터값이 깊은 깊이를 갖는 블록의 움직임 벡터값보다 우선적으로 선택된다. 즉, 상기 각 층 영상의 동일한 위치의 블록의 움직임 벡터값들 중 시청자 쪽에 가까운 깊이를 갖는 블록의 움직임 벡터값을 해당 블록 위치를 대표하는 가장 우선순위가 높은 움직임 벡터값으로 선택한다.
한편, 상기에서는 깊이 정보 표현 시, 시청자 쪽에 가까운 객체에 대한 깊이를"깊이가 얕다"라고 표현하고, 시청자로부터 먼 객체에 대한 깊이를 "깊이가 깊다"라고 표현하였으나,"깊이가 깊다/얕다"의 의미는 이에 한정되지 않고 다양하게 변경될 수 있음은 물론이다.
다음으로, 도 7을 참조하여 본 발명의 실시 예에 따른 영상 처리 시스템에서 움직임을 추정하는 과정을 설명하기로 한다.
도 7은 본 발명의 실시 예에 따른 영상 처리 시스템에서 움직임을 추정하는 과정을 나타낸 도면이다.
도 7을 참조하면, 본 발명의 실시 예에 따른 움직임 추정 장치는 2차원으로 구성된 영상(이하 '원본 영상'이라 칭함)(700)이 입력되면, 입력된 영상의 깊이 정보를 검출한다. 이어 상기 움직임 추정 장치는 하나의 층으로 되어 있는 원본 영상을 다수개의 블록들로 분할하고, 상기 다수개의 블록들 각각에 대한 깊이 정보를 검출한다. 그리고, 상기 움직임 추정 장치는 상기 검출된 깊이 정보를 사용하여 상기 다수개의 블록들을 다수개의 그룹으로 구분함으로써 상기 원본 영상을 다층의 독립된 2차원 영상들(일 예로, 제1층 영상(702) 및 제2층 영상(704))로 재구성한다.
이어 상기 움직임 추정 장치는 프레임 단위로 상기 다층의 2차원 영상 각각에 대응하는 객체의 움직임 벡터값을 산출하고(706)(708), 상기 다층의 2차원 영상 각각에 대해 산출된 움직임 벡터값을 결합한다(710). 그리고, 상기 움직임 추정 장치는 상기 결합된 값을 상기 원본 영상에 대한 최종 움직임 추정 결과값으로서 출력한다(712).
도 8은 본 발명의 실시 예에 따른 영상 처리 시스템에서 움직임 추정 장치의 동작을 나타낸 순서도이다.
도 8을 참조하면, 상기 움직임 추정 장치는 800 단계에서 영상이 입력된 것으로 판단되면, 802 단계에서 상기 입력된 영상에 포함된 각 블록의 깊이 정보를 검출한다. 그리고, 상기 움직임 추정 장치는 804 단계에서 상기 검출된 깊이 정보를 근거로 다수의 층에 대응되는 다수의 영상을 생성한다.
이어 상기 움직임 추정 장치는 806 단계에서 상기 다수의 영상 각각 별 움직임을 추정하고, 808 단계에서 상기 각 영상 별 움직임 추정 결과를 결합한다. 그리고, 상기 움직임 추정 장치는 810 단계에서 상기 결합된 결과를 상기 입력된 영상에 대한 움직임 추정 결과로서 출력한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (10)

  1. 영상 처리 시스템에서 움직임 추정 장치에 있어서,
    입력된 영상의 깊이 정보를 미리 설정된 단위로 검출하는 깊이 정보 검출부와,
    상기 검출된 깊이 정보를 근거로 상기 영상에 포함된 객체들을 구분하고, 상기 구분된 객체들 각각에 대응하는 영상을 생성하는 영상 재구성부와,
    상기 생성된 각 영상에서 객체의 움직임 벡터(motion vector)값을 산출하고, 상기 생성된 각 영상에서 산출된 움직임 벡터값을 결합하여 상기 입력된 영상의 최종 움직임 추정값으로서 출력하는 움직임 추정부를 포함하는 움직임 추정 장치.
  2. 제1항에 있어서,
    상기 움직임 추정부는 상기 생성된 각 영상을 구성하는 블록들에 대한 블록 매칭 에러값을 근거로, 상기 생성된 각 영상에서 산출된 움직임 벡터값을 결합함을 특징으로 하는 움직임 추정 장치.
  3. 제1항에 있어서,
    상기 깊이 정보 검출부는 상기 입력된 영상을 다수개의 블록들로 분할하고, 상기 다수개의 블록들 각각에 대한 깊이 정보를 검출함을 특징으로 하는 움직임 추정 장치.
  4. 제3항에 있어서,
    상기 영상 재구성부는 상기 다수개의 블록들 각각에 대한 깊이 정보를 근거로 상기 다수개의 블록들을 적어도 두 개의 그룹으로 구분하고, 상기 적어도 두 개의 그룹 각각에 대응하여 상기 영상에 포함된 객체들을 구분함을 특징으로 하는 움직임 추정 장치.
  5. 제1항에 있어서,
    상기 깊이 정보 검출부는 상기 입력된 영상에 대한 깊이 정보가 입력되는 경우, 상기 입력된 깊이 정보를 해석하기 위한 해석기(parser)를 포함하는 움직임 추정 장치.
  6. 영상 처리 시스템에서 움직임 추정 방법에 있어서,
    입력된 영상의 깊이 정보를 미리 설정된 단위로 검출하는 과정과,
    상기 검출된 깊이 정보를 근거로 상기 영상에 포함된 객체들을 구분하는 과정과,
    상기 구분된 객체들 각각에 대응하는 영상을 생성하는 과정과,
    상기 생성된 각 영상에서 객체의 움직임 벡터(motion vector)값을 산출하는 과정과,
    상기 생성된 각 영상에서 산출된 움직임 벡터값을 결합하여 상기 입력된 영상의 최종 움직임 추정값으로서 출력하는 과정을 포함하는 움직임 추정 방법.
  7. 제6항에 있어서,
    상기 생성된 각 영상에서 산출된 움직임 벡터값을 결합하는 과정은,
    상기 생성된 각 영상을 구성하는 블록들에 대한 블록 매칭 에러값을 근거로, 상기 생성된 각 영상에서 산출된 움직임 벡터값을 결합하는 과정을 포함하는 움직임 추정 방법.
  8. 제6항에 있어서,
    상기 깊이 정보를 미리 설정된 단위로 검출하는 과정은,
    상기 입력된 영상을 다수개의 블록들로 분할하고, 상기 다수개의 블록들 각각에 대한 깊이 정보를 검출하는 과정을 포함하는 움직임 추정 방법.
  9. 제8항에 있어서,
    상기 영상에 포함된 객체들을 구분하는 과정은,
    상기 다수개의 블록들 각각에 대한 깊이 정보를 근거로 상기 다수개의 블록들을 적어도 두 개의 그룹으로 구분하고, 상기 적어도 두 개의 그룹 각각에 대응하여 상기 영상에 포함된 객체들을 구분하는 과정을 포함하는 움직임 추정 방법.
  10. 제6항에 있어서,
    상기 깊이 정보를 검출하는 과정은,
    상기 입력된 영상에 대한 깊이 정보가 입력되는 경우, 상기 입력된 깊이 정보를 해석함으로써 상기 깊이 정보를 검출하는 과정을 포함하는 움직임 추정 방법.
KR1020120094954A 2012-08-29 2012-08-29 영상 처리 시스템에서 움직임 추정 장치 및 방법 KR20140029689A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120094954A KR20140029689A (ko) 2012-08-29 2012-08-29 영상 처리 시스템에서 움직임 추정 장치 및 방법
US14/013,650 US20140064567A1 (en) 2012-08-29 2013-08-29 Apparatus and method for motion estimation in an image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120094954A KR20140029689A (ko) 2012-08-29 2012-08-29 영상 처리 시스템에서 움직임 추정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140029689A true KR20140029689A (ko) 2014-03-11

Family

ID=50187667

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120094954A KR20140029689A (ko) 2012-08-29 2012-08-29 영상 처리 시스템에서 움직임 추정 장치 및 방법

Country Status (2)

Country Link
US (1) US20140064567A1 (ko)
KR (1) KR20140029689A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015141977A1 (ko) * 2014-03-20 2015-09-24 엘지전자 주식회사 3d 비디오 부호화/복호화 방법 및 장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
US10121254B2 (en) * 2013-08-29 2018-11-06 Disney Enterprises, Inc. Methods and systems of detecting object boundaries
US9955187B2 (en) * 2014-03-28 2018-04-24 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for encoding of video using depth information
CN108112072A (zh) * 2016-11-24 2018-06-01 光宝电子(广州)有限公司 定位系统及其定位方法
US11240488B2 (en) * 2019-09-24 2022-02-01 Facebook Technologies, Llc Volumetric display including liquid crystal-based lenses

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003005727A1 (en) * 2001-07-06 2003-01-16 Koninklijke Philips Electronics N.V. Methods of and units for motion or depth estimation and image processing apparatus provided with such motion estimation unit
TWI250423B (en) * 2004-07-30 2006-03-01 Ind Tech Res Inst Method for processing video images
TWI355615B (en) * 2007-05-11 2012-01-01 Ind Tech Res Inst Moving object detection apparatus and method by us
US8218818B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object tracking
US8515134B2 (en) * 2009-12-11 2013-08-20 Nxp B.V. System and method for motion estimation using image depth information
TWI469088B (zh) * 2010-12-31 2015-01-11 Ind Tech Res Inst 前景深度地圖產生模組及其方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015141977A1 (ko) * 2014-03-20 2015-09-24 엘지전자 주식회사 3d 비디오 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
US20140064567A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
KR20140029689A (ko) 영상 처리 시스템에서 움직임 추정 장치 및 방법
EP2451164B1 (en) Improved view synthesis
TWI483612B (zh) Converting the video plane is a perspective view of the video system
KR102464523B1 (ko) 이미지 속성 맵을 프로세싱하기 위한 방법 및 장치
US20120127270A1 (en) Depth estimation based on global motion
EP2722816A2 (en) Spatio-temporal confidence maps
US20120293615A1 (en) Real-time depth-aware image enhancement system
US11803980B2 (en) Method for generating layered depth data of a scene
KR102074555B1 (ko) 비디오 처리를 위한 블록 기반 정적 영역 검출
TR201810139T4 (tr) Çoklu görünümler için etkili görüntü alıcısı.
US8369609B2 (en) Reduced-complexity disparity map estimation
US10586345B2 (en) Method for estimating aggregation results for generating three dimensional images
CN104144334A (zh) 用于立体视频内容的字幕检测
KR101797035B1 (ko) 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치
US20150172705A1 (en) Window detection device and method on multi-media system
US10397540B2 (en) Method for obtaining and merging multi-resolution data
US9082176B2 (en) Method and apparatus for temporally-consistent disparity estimation using detection of texture and motion
US20130176388A1 (en) Method and device for providing temporally consistent disparity estimations
KR20140058744A (ko) 영상 이동 영역의 메움 처리 기능을 구비한 입체 영상 제작 시스템 및 그 방법
KR101760463B1 (ko) 깊이 지도 보정 방법 및 그 장치
Wei et al. Iterative depth recovery for multi-view video synthesis from stereo videos
Brites et al. Epipolar plane image based rendering for 3D video coding
Zheng et al. Effective removal of artifacts from views synthesized using depth image based rendering
KR101629414B1 (ko) 휴먼 팩터에 기초한 스테레오스코픽 이미지 추출 방법 및 장치
Muddala et al. Edge-preserving depth-image-based rendering method

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid