KR20130122419A - 깊이 에지를 사용한 영상 합성 장치 및 방법 - Google Patents

깊이 에지를 사용한 영상 합성 장치 및 방법 Download PDF

Info

Publication number
KR20130122419A
KR20130122419A KR1020120045725A KR20120045725A KR20130122419A KR 20130122419 A KR20130122419 A KR 20130122419A KR 1020120045725 A KR1020120045725 A KR 1020120045725A KR 20120045725 A KR20120045725 A KR 20120045725A KR 20130122419 A KR20130122419 A KR 20130122419A
Authority
KR
South Korea
Prior art keywords
depth
image
pixel
gradient information
reliability
Prior art date
Application number
KR1020120045725A
Other languages
English (en)
Inventor
이승신
위호천
이석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120045725A priority Critical patent/KR20130122419A/ko
Publication of KR20130122419A publication Critical patent/KR20130122419A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

깊이 에지를 사용한 영상 합성 장치 및 방법이 개시된다. 영상 합성 장치는 깊이 에지를 사용하여 깊이 영상들에 대응하는 컬러 영상들의 픽셀 신뢰도를 판단하고, 픽셀 신뢰도에 따라 각 픽셀의 가중치를 설정하여 컬러 영상을 합성함으로써, 저해상도 깊이 영상에서 고주파 신호의 손실에 의한 블러링 현상을 방지할 수 있다.

Description

깊이 에지를 사용한 영상 합성 장치 및 방법{APPARATUS AND METHOD FOR IMAGE SYNTHESIS USING DEPTH EDGE}
이하의 일실시예들은 영상 합성 장치 및 방법에 관한 것으로 복수의 시점에 대응하는 컬러 영상과 깊이 영상을 처리하여 3차원 영상을 합성하는 장치 및 방법에 관한 것이다.
2차원 영상과 달리, 3차원 영상은 깊이감을 통해 사용자로 하여금 보다 실감나는 효과를 제공한다. 3차원 영상은 좌시점 깊이 영상과 우시점 깊이 영상을 사용하여 3차원 영상에 대응하는 가상 시점의 깊이(depth)를 결정하고, 가상 시점의 깊이에 따라 좌시점 컬러 영상과 우시점 컬러 영상을 합성하여 생성된다.
이때, 합성 과정에서 좌시점 컬러 영상과 우시점 컬러 영상을 가상 시점에 따라 이동하면, 오브젝트에 의해 가려져 있던 배경에 의해 배경 정보가 없는 홀(hole)이 발생을 하게 된다. 따라서, 3차원 영상 합성 장치는 다른 시점의 컬러 영상을 사용하여 홀의 픽셀값을 결정한다.
그리고, 3차원 영상 합성 장치는, 홀의 픽셀값들이 모두 결정되면 좌시점 컬러 영상과 우시점 컬러 영상의 픽셀값을 혼합하여 가상 시점에 따른 3차원 영상의 픽셀값을 결정하였다.
그러나, 상기와 같은 종래의 3차원 영상 합성 장치는 깊이 영상의 신뢰도가 기준값 이상이라는 가정하여 수행되는 것이며, 깊이 영상의 신뢰도가 낮아지는 경우에는 합성된 영상에 오류가 발생할 수 있다.
예를 들어, 전송할 정보량을 감소시키기 위하여 깊이 영상의 해상도를 감소시키는 경우, 깊이 영상의 정보 중에서 고주파 성분이 손상되어 깊이 영상의 신뢰도가 낮아질 수 있다. 이때, 신뢰도가 낮은 깊이 영상을 사용하여 3차원 영상을 합성하면, 영상에 포함된 오브젝트의 경계 영역에 블러링(blurring) 현상이 발생할 수 있다는 문제가 있었다.
따라서, 저해상도 깊이 영상과 같이 신뢰도가 낮은 깊이 영상을 사용하여도 오류가 발생하지 않는 3차원 영상을 합성하는 방법이 요구된다.
일실시예에 따른 영상 합성 장치는 복수의 시점에 대응하는 깊이 영상들을 이용하여 복수의 시점에 대응하는 컬러 영상들의 픽셀 신뢰도를 판단하는 신뢰도 판단부; 및 상기 픽셀 신뢰도에 기초하여 상기 컬러 영상들을 가상 시점에서 합성한 합성 영상을 생성하는 합성 영상 생성부를 포함할 수 있다.
일실시예에 따른 영상 합성 장치의 신뢰도 판단부는, 깊이 영상들에서 검출한 깊이 에지(depth edge)를 사용하여 깊이 영상에 대응하는 컬러 영상들의 픽셀 신뢰도를 판단하는 픽셀 신뢰도 판단부; 상기 깊이 에지를 사용하여 결정된 깊이 그래디언트 정보를 가상 시점에 따라 조정하는 깊이 그래디언트 정보 조정부; 및 픽셀 신뢰도와 가상 시점에 따라 조정한 깊이 그래디언트 정보를 사용하여 컬러 영상들 각각의 픽셀에 가중치를 설정하는 가중치 설정부를 포함할 수 있다.
일실시예에 따른 영상 합성 장치의 픽셀 신뢰도 판단부는, 깊이 영상들 각각에서 깊이 에지의 부호와 깊이 영상에 대응하는 컬러 영상들 각각의 시점에 따라 깊이 영상에서 홀이 발생하는 홀 영역을 결정하고, 홀 영역의 위치에 따라 컬러 영상들의 픽셀 신뢰도를 판단할 수 있다.
일실시예에 따른 영상 합성 장치의 픽셀 신뢰도 판단부는 깊이 영상들 각각에 에지 검출 필터를 사용하여 깊이 에지를 검출하고, 깊이 에지를 사용하여 깊이 영상들 각각의 깊이 그래디언트 정보를 결정할 수 있다.
일실시예에 따른 영상 합성 장치는 가중치의 최대값과 최소값에 따라 깊이 그래디언트 정보를 정규화(Normalization)하는 깊이 그래디언트 정보 정규화부를 더 포함할 수 있다.
일실시예에 따른 영상 합성 장치의 가중치 설정부는, 조정한 깊이 그래디언트 정보들을 합성하여 컬러 영상들 각각의 픽셀에 가중치가 설정된 가중치 정보를 생성할 수 있다.
일실시예에 따른 영상 합성 장치의 가중치 설정부는, 조정한 깊이 그래디언트 정보들, 가상 시점과 컬러 영상들 각각의 시점 간의 거리. 합성 영상의 픽셀 각각에서 복수의 시점에 따른 깊이값의 차이, 컬러 영상의 픽셀 각각에서 일정 범위 안에 위치한 홀의 개수, 및 컬러 영상의 픽셀 각각이 전경 픽셀, 또는 배경 픽셀인지 여부에 대한 정보 중 적어도 하나를 사용하여 컬러 영상들 각각의 픽셀에 가중치가 설정된 가중치 정보를 생성할 수 있다.
일실시예에 따른 영상 합성 방법은 복수의 시점에 대응하는 깊이 영상들을 이용하여 복수의 시점에 대응하는 컬러 영상들의 픽셀 신뢰도를 판단하는 단계; 및 상기 픽셀 신뢰도에 기초하여 상기 컬러 영상들을 가상 시점에서 합성한 합성 영상을 생성하는 단계를 포함할 수 있다.
실시예에 따르면, 깊이 에지를 사용하여 깊이 영상들에 대응하는 컬러 영상들의 픽셀 신뢰도를 판단하고, 픽셀 신뢰도에 따라 각 픽셀의 가중치를 설정하여 컬러 영상을 합성함으로써, 저해상도 깊이 영상에서 고주파 신호의 손실에 의한 블러링 현상을 방지할 수 있다.
도 1은 일실시예에 따른 영상 합성 장치의 구조를 도시한 도면이다.
도 2는 일실시예에 따라 영상을 합성하는 과정을 도시한 도면이다.
도 3은 일실시예에 따른 신뢰도 판단부의 구조를 도시한 도면이다.
도 4는 일실시예에 따른 픽셀 신뢰도 판단부가 시점과 깊이 정보의 변화에 따라 홀 영역의 위치를 판단하는 과정을 도시한 도면이다.
도 5는 일실시예에 따른 픽셀 신뢰도 판단부가 깊이 에지를 검출하는 과정을 도시한 도면이다.
도 6은 일실시예에 따른 픽셀 신뢰도 판단부가 깊이 그래디언트 정보를 결정하는 과정을 도시한 도면이다.
도 7은 일실시예에 따른 깊이 그래디언트 정보 정규화부가 깊이 그래디언트 정보를 정규화하는 과정을 도시한 도면이다.
도 8은 일실시예에 따른 깊이 그래디언트 정보 조정부가 깊이 그래디언트 정보를 조정하는 과정을 도시한 도면이다.
도 9는 일실시예에 따른 가중치 설정부가 가중치 정보를 생성하는 과정을 도시한 도면이다.
도 10은 일실시예에 따른 영상 합성 과정을 도시한 도면이다.
도 11은 일실시예에 따른 영상 합성 장치를 사용한 영상 합성 시스템의 일례이다.
도 12는 일실시예에 따른 영상 전송 방법을 도시한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 영상 합성 장치의 구조를 도시한 도면이다.
일실시예에 따른 영상 합성 장치(100)는 홀이 발생하는 영역에 따라 복수의 시점에 대응하는 컬러 영상들의 픽셀 신뢰도를 판단하고, 픽셀 신뢰도에 따라 컬러 영상들의 픽셀값에 가중치를 설정하여 합성 영상을 생성할 수 있다.
도 1을 참고하면, 영상 합성 장치(100)는 신뢰도 판단부(110)와 합성 영상 생성부(120)를 포함한다.
신뢰도 판단부(110)는 복수의 시점에 대응하는 깊이 영상들을 이용하여 복수의 시점에 대응하는 컬러 영상들의 픽셀 신뢰도를 판단할 수 있다. 이때, 픽셀 신뢰도는 해당 픽셀의 픽셀값을 신뢰할 수 있는 정도를 나타내는 값일 수 있다. 예를 들어 신뢰도 판단부(110)는 홀(hole)이 발생한 좌 시점 깊이 영상의 픽셀, 또는 상기 픽셀과 인접한 픽셀의 픽셀 신뢰도를 낮게 판단할 수 있다.
이때, 픽셀 신뢰도는 좌시점 컬러 영상과 우시점 컬러 영상 중에서 어떤 시점의 컬러 영상의 픽셀의 픽셀값을 더 신뢰할 수 있는지를 나타내는 값일 수 있다. 따라서, 좌시점 컬러 영상의 픽셀 신뢰도가 감소하는 경우, 우시점 컬러 영상에서 동일 픽셀의 픽셀 신뢰도는 증가할 수 있다. 예를 들어. 좌시점 컬러 영상에 포함된 픽셀이 홀인 경우, 해당 픽셀에 대한 픽셀값은 우시점 컬러 영상에만 존재하므로 좌시점 컬러 영상의 픽셀 신뢰도는 0이고, 우시점 컬러 영상에 포함된 픽셀의 픽셀 신뢰도는 최대일 수 있다.
신뢰도 판단부(110)가 홀에 인접한 픽셀의 픽셀 신뢰도를 낮게 판단하는 이유는 이하 도 2를 참조하여 상세히 설명한다.
또한, 신뢰도 판단부(110)는 깊이 영상들의 깊이 에지(depth edge)와 깊이 영상 또는 컬러 영상의 시점을 사용하여 컬러 영상들의 픽셀 신뢰도를 판단할 수 있다. 그리고, 신뢰도 판단부(110)는 깊이 영상들의 깊이 에지를 사용하여 깊이 영상에서 홀이 발생하는 홀 영역을 결정하고, 홀 영역의 위치에 따라 컬러 영상들 각각의 픽셀에 가중치를 설정할 수 있다.
신뢰도 판단부(110)가 홀 영역의 위치에 따라 가중치를 설정하는 과정은 이하 도 3을 참조하여 상세히 설명한다.
합성 영상 생성부(120)는 신뢰도 판단부(110)가 판단한 픽셀 신뢰도에 기초하여 상기 컬러 영상들을 가상 시점에서 합성한 합성 영상을 생성할 수 있다.
이때, 합성 영상 생성부(120)는 컬러 영상들 각각의 시점에 따라 컬러 영상들 각각의 픽셀값에 신뢰도 판단부(110)가 설정한 가중치 정보를 적용하고, 가중치를 적용한 컬러 영상들 각각의 픽셀값을 사용하여 합성 영상의 픽셀값을 결정할 수 있다.
합성 영상 생성부(120)가 합성 영상을 생성하는 과정은 이하 도 10을 참조하여 상세히 설명한다.
도 2는 일실시예에 따라 영상을 합성하는 과정을 도시한 도면이다.
일실시예에 따른 영상 합성 장치(100)는 좌시점 깊이 영상(210), 좌시점 컬러 영상(220), 우시점 깊이 영상(230) 및 우시점 컬러 영상(240)을 사용하여 합성 영상(260)을 생성할 수 있다.
이때, 홀은 오브젝트에 의하여 가려진 영역에 생성되므로 깊이 영상의 시점에 따라 특정 방향에 집중적으로 발생할 수 있다. 예를 들어 좌시점 깊이 영상(210)에서는 깊이 영상의 우측 영역(212)에 홀들이 발생하고, 우시점 깊이 영상(230)에서는 깊이 영상의 좌측 영역(231)에 홀들이 발생할 수 있다.
이때, 영역(211)에 포함된 픽셀들의 픽셀값들은 동일한 영상을 표시하며 홀이 발생한 영역(231)에 포함된 픽셀들의 픽셀값들에 비하여 신뢰성(credibility)이 높은 것으로 판단할 수 있다.
또한, 오브젝트의 외각에서는 오브젝트의 따라 홀이 형성된 픽셀과 홀이 형성되지 않은 픽셀이 분포될 수 있다. 예를 들어 머리카락의 경우, 머리카락에 가려진 부분의 픽셀은 홀이 발생하고, 머리카락들 사이에 위치한 부분의 픽셀은 홀이 발생하지 않을 수 있다. 이때, 홀이 발생한 픽셀의 픽셀값은 다른 시점의 컬러 영상의 픽셀값을 사용하여 결정되고, 홀이 발생하지 않은 픽셀의 픽셀값은 좌시점 컬러 영상의 픽셀값과 우시점 컬러 영상의 픽셀값을 모두 고려하여 결정된다. 따라서, 컬러 영상의 해당 영역(222,341)에서는 인접한 픽셀들의 픽셀값이 급격히 변화함에 따른 블러링(blurring) 현상(222,341)이 발생할 수 있다.
그리고, 깊이 영상의 해상도가 낮아서 깊이 정보의 신뢰성이 떨어지는 경우, 깊이 정보를 사용하여 홀이 발생하는 것으로 예측한 위치와 홀이 실제로 발생하는 위치가 다를 수 있다. 이 경우에도 홀이 아닌 곳으로 홀로 판단하고 홀을 홀이 아닌 것으로 판단함에 따른 블러링 현상이 발생할 수 있다.
따라서, 일실시예에 따른 영상 합성 장치(100)는 깊이 정보의 값 대신 깊이 정보의 변화를 나타내는 깊이 에지를 사용함으로써, 신뢰성이 낮은 깊이 정보에서도 홀이 발생하는 영역을 정확하게 예측할 수 있다.
또한, 영상 합성 장치(100)는 좌시점 깊이 영상(210)에서 홀이 발생하는 영역(212)의 픽셀은 모두 우시점 깊이 영상(230)에서 대응하는 영역(232)의 픽셀값에 가중치를 높게 설정하여 픽셀값을 결정함으로써, 블러링 현상을 방지할 수 있다. 그리고, 영상 합성 장치(100)는 우시점 깊이 영상(230)에서 홀이 발생하는 영역(231)의 픽셀은 모두 좌시점 깊이 영상(210)에서 대응하는 영역(211)의 픽셀값에 가중치를 높게 설정하여 픽셀값을 결정함으로써, 블러링 현상을 방지할 수 있다.
예를 들어 영상 합성 장치(100)는 블러링 현상이 발생하지 않은 좌시점 컬러 영상(220)의 영역(221)과 우시점 컬러 영상(240)의 영역(242)를 사용하여 합성 영상(260)를 생성함으로써, 합성 영상(260)에 블러링 현상이 발생하는 것을 방지할 수 있다.
이때, 영상 합성 장치(100)는 도 3에 도시된 바와 같이 좌시점 깊이 영상(210), 우시점 깊이 영상(230)의 홀 영역을 참조하여 시점에 따른 픽셀들의 가중치를 설정한 가중치 정보(250)를 생성할 수 있다. 그리고, 영상 합성 장치(100)는 좌시점 컬러 영상(220), 우시점 컬러 영상(240)에 포함된 픽셀들의 픽셀값에 가중치 정보(250)를 사용하여 합성 영상(260)을 생성할 수 있다.
일실시예에 따른 영상 합성 장치(100)는 깊이 영상의 깊이 에지를 사용하여 홀이 발생하는 영역을 결정하고, 홀이 발생한 영역을 기준으로 각 시점의 영상 중에서 해당 픽셀에 신뢰성이 높은 영상을 선택하여 해당 영상에 가중치를 높게 설정함으로써, 블러링 현상을 방지할 수 있다.
도 3은 일실시예에 따른 신뢰도 판단부의 구조를 도시한 도면이다.
도 3을 참고하면, 신뢰도 판단부(110)는 픽셀 신뢰도 판단부(310), 깊이 그래디언트 정보 정규화부(320), 깊이 그래디언트 정보 조정부(330) 및 가중치 설정부(340)를 포함한다.
픽셀 신뢰도 판단부(310)는 깊이 영상들에서 검출한 깊이 에지(depth edge)를 사용하여 깊이 영상에 대응하는 컬러 영상들의 픽셀 신뢰도를 판단할 수 있다.
그리고, 가중치 설정부(340)가 설정하는 픽셀들의 가중치는 각 픽셀의 픽셀 신뢰도와 비례 관계에 있을 수 있다. 또한, 깊이 에지는 깊이 정보의 변화 방향과 변화 정도를 나타내는 정보일 수 있다.
구체적으로 픽셀 신뢰도 판단부(310)는 깊이 영상들 각각에서 깊이 에지의 부호와 깊이 영상들 각각의 시점에 따라 깊이 영상들의 홀 영역을 결정하고, 홀 영역의 위치에 따라 칼라 영상들의 픽셀 신뢰도를 판단할 수 있다. 이때, 홀 영역은 홀이 발생할 수 있는 영역일 수 있다.
예를 들어, 깊이 영상에서 검출한 깊이 에지가 양수인 경우, 픽셀 신뢰도 판단부(310)는 우시점 깊이 영상에서 깊이 에지에 대응하는 위치를 홀 영역으로 결정할 수 있다. 이때, 홀은 픽셀 신뢰도가 0이므로 홀이 포함되는 홀 영역은 다른 영역에 비해 픽셀 신뢰도가 낮을 수 있다. 따라서, 픽셀 신뢰도 판단부(310)는 해당 영역에서 좌시점 컬러 영상의 픽셀 신뢰도가 우시점 컬러 영상의 픽셀 신뢰도보다 높다고 판단할 수 있다.
또한, 깊이 영상에서 검출한 깊이 에지가 음수인 경우, 픽셀 신뢰도 판단부(310)는 좌시점 깊이 영상에서 깊이 에지에 대응하는 위치를 홀 영역으로 결정할 수 있다. 따라서, 픽셀 신뢰도 판단부(310)는 해당 영역에서 우시점 컬러 영상의 픽셀 신뢰도가 좌시점 컬러 영상의 픽셀 신뢰도보다 높다고 판단할 수 있다.
픽셀 신뢰도 판단부(310)가 깊이 에지를 사용하여 홀 영역의 위치를 판단하는 과정은 이하 도 4를 참조하여 상세히 설명한다.
그리고, 픽셀 신뢰도 판단부(310)는 깊이 에지의 상승 또는 하강 여부를 판단할 수 있는 에지 검출 필터를 사용하여 깊이 영상들에서 깊이 에지를 검출할 수 있다. 이때, 에지 검출 필터는 소벨 에지 디텍터(Sobel edge detector)와 유사한 특성을 가질 수 있다.
예를 들어 픽셀 신뢰도 판단부(310)는 깊이 정보에 수학식 1과 같은 필터를 적용하여 깊이 에지를 검출할 수 있다.
픽셀 신뢰도 판단부(310)가 깊이 영상들에서 깊이 에지를 검출하는 과정은 이하 도 5를 참조하여 상세히 설명한다.
Figure pat00001
이때, 픽셀 신뢰도 판단부(310)는 검출한 깊이 에지를 사용하여 깊이 영상들 각각의 깊이 그래디언트 정보(depth gradient map)를 결정할 수 있다.
픽셀 신뢰도 판단부(310)가 깊이 에지를 사용하여 깊이 그래디언트 정보를 결정하는 과정은 이하 도 6을 참조하여 상세히 설명한다.
깊이 그래디언트 정보 정규화부(320)는 가중치의 최대값과 최소값에 따라 깊이 그래디언트 정보를 정규화(Normalization)할 수 있다.
픽셀 신뢰도 판단부(310)가 결정한 깊이 에지의 값은 가중치 설정부(340)가 설정하는 가중치에 대응한다. 따라서, 깊이 그래디언트 정보 정규화부(320)는 깊이 에지의 값을 가중치의 범위에 따라 정규화함으로써, 깊이 에지의 값을 가중치로 사용할 수 있다.
깊이 그래디언트 정보 정규화부(320)가 깊이 그래디언트 정보를 정규화하는 과정은 이하 도 7을 참조하여 상세히 설명한다.
깊이 그래디언트 정보 조정부(330)는 깊이 에지를 사용하여 결정된 깊이 그래디언트 정보를 가상 시점에 따라 조정하여 깊이 영상의 홀 영역을 설정할 수 있다.
이때, 깊이 그래디언트 정보 조정부(330)는 깊이 영상들의 홀 영역에서 가중치가 감소하도록 깊이 그래디언트 정보를 보정할 수 있다. 예를 들어, 깊이 그래디언트 정보 조정부(330)는 깊이 영상들의 홀 영역에 대응하는 깊이 에지의 폭을 증가 시킴으로써 가중치로 사용되는 깊이 에지의 값을 낮출 수 있다.
깊이 그래디언트 정보 조정부(330)가 깊이 그래디언트 정보를 조정하는 과정은 이하 도 8을 참조로 상세히 설명한다.
가중치 설정부(340)는 깊이 그래디언트 정보 조정부(330)가 조정한 깊이 그래디언트 정보에 따라 컬러 영상들 각각의 픽셀에 가중치를 설정할 수 있다. 이때, 가중치 설정부(340)가 설정하는 가중치는 그래디언트 정보에서 각 픽셀에 대응하는 깊이 에지의 값과 관련될 수 있다.
이때, 가중치 설정부(340)는 깊이 그래디언트 정보 조정부(330)가 조정한 깊이 그래디언트 정보들을 합성하여 컬러 영상들 각각의 픽셀에 가중치가 설정된 가중치 정보를 생성할 수 있다.
또한, 가중치 설정부(340)는 깊이 그래디언트 정보 조정부(330)가 조정한 깊이 그래디언트 정보들, 가상 시점과 컬러 영상들 각각의 시점 간의 거리. 합성 영상의 픽셀 각각에서 복수의 시점에 따른 깊이값의 차이, 컬러 영상의 픽셀 각각에서 일정 범위 안에 위치한 홀의 개수, 및 컬러 영상의 픽셀 각각이 전경 픽셀, 또는 배경 픽셀인지 여부에 대한 정보 중 적어도 하나를 사용하여 컬러 영상들 각각의 픽셀에 가중치가 설정된 가중치 정보를 생성할 수 있다. 가중치 설정부(340)가 가중치 정보를 생성하는 과정은 이하 도 9를 참조하여 상세히 설명한다.
도 4는 일실시예에 따른 픽셀 신뢰도 판단부가 시점과 깊이 정보의 변화에 따라 홀 영역의 위치를 판단하는 과정을 도시한 도면이다.
일실시예에 따른 영상 합성 장치(100)에서 깊이 정보는 카메라와 촬영된 물체간의 거리이므로 도 4에 도시된 바와 같이 오브젝트(401)가 촬영된 영역(402)에서 상승할 수 있다. 이때, 픽셀 신뢰도 판단부(310)는 깊이 영상의 시점과 깊이 변화에 따라 홀이 발생하는 영역을 판단할 수 있다.
예를 들어 도 4에서 깊이 정보가 상승하기 직전의 영역(411)은 오브젝트(401)의 좌측에 밀착된 영역이다. 따라서, 우측에서 오브젝트(401)를 촬영하는 우시점 카메라(410)에 의하여 홀이 발생할 수 있다.
즉, 우시점 카메라(410)가 촬영한 영상(412)에 포함된 오브젝트의 이미지를 합성 영상에 대응하는 가상 시점(430)에 따라 보정할 경우(432), 홀(440)이 발생하는 위치와 깊이 정보가 상승하기 직전의 영역(411)은 대응한다.
따라서, 픽셀 신뢰도 판단부(310)는 깊이 정보가 증가하는 경우, 깊이 정보가 상승하기 직전의 영역(411)을 우시점 깊이 영상의 홀 영역으로 판단할 수 있다. 이때, 픽셀 신뢰도 판단부(310)는 영역(411)에 포함된 픽셀들에 대하여 영역(411)이 홀 영역인 우시점 컬러 영상의 픽셀 신뢰도 보다 좌시점 컬러 영상의 픽셀 신뢰도가 높은 것으로 판단할 수 있다.
또한, 도 4에서 깊이 정보가 하강한 직후의 영역(421)은 오브젝트(401)의 우측에 밀착된 영역이다. 따라서, 좌측에서 오브젝트(401)를 촬영하는 좌시점 카메라(410)에 의하여 홀이 발생할 수 있다.
즉, 좌시점 카메라(420)가 촬영한 영상(422)에 포함된 오브젝트의 이미지를 가상 시점(430)에 따라 보정할 경우(431), 홀(440)이 발생하는 위치와 깊이 정보가 상승하기 직전의 영역(421)은 대응한다.
따라서, 픽셀 신뢰도 판단부(310)는 깊이 정보가 감소하는 경우, 깊이 정보가 감소한 직후의 영역(421)을 좌시점 깊이 영상의 홀 영역으로 판단할 수 있다. 이때, 픽셀 신뢰도 판단부(310)는 영역(421)에 포함된 픽셀들에 대하여 영역(421)이 홀 영역인 좌시점 컬러 영상의 픽셀 신뢰도 보다 우시점 컬러 영상의 픽셀 신뢰도가 높은 것으로 판단할 수 있다.
도 5는 일실시예에 따른 픽셀 신뢰도 판단부가 깊이 에지를 검출하는 과정을 도시한 도면이다.
깊이 정보(510)는 도 5에 도시된 바와 같이 깊이 영상(500)에서 오브젝트가 포함된 영역이 배경 영역에 비하여 높은 값을 가질 수 있다.
이때, 픽셀 신뢰도 판단부(310)는 에지 검출 필터로 깊이 정보(510)를 필터링하여 깊이 에지(521, 531)들이 형성된 에지 맵(edge map)(520)을 생성할 수 있다. 이때, 에지 맵(520)은 깊이 정보(510)가 증가하는 구간에서 양의 값을 가지는 깊이 에지(521)를 형성하고, 깊이 정보(510)가 감소하는 구간에서 음의 값을 가지는 깊이 에지(522)를 형성할 수 있다.
즉, 픽셀 신뢰도 판단부(310)는 에지 맵을 사용하여 깊이 에지들의 위치와 깊이 에지들의 값을 검출할 수 있다.
도 6은 일실시예에 따른 픽셀 신뢰도 판단부가 깊이 그래디언트 정보를 결정하는 과정을 도시한 도면이다.
도 6에 도시된 바와 같이 구형 오브젝트를 촬영한 좌시점 깊이 영상(610)과 우시점 깊이 영상(620)은 오브젝트와 배경을 포함할 수 있다.
이때, 픽셀 신뢰도 판단부(310)는 좌시점 깊이 영상(610)에서 생성한 에지 맵(633)을 사용하여 양의 값을 가진 깊이 에지의 영역(631)과 음의 값을 가진 깊이 에지의 영역(632)를 생성할 수 있다. 다음으로, 픽셀 신뢰도 판단부(310)는 양의 값을 가진 깊이 에지의 영역(631)과 음의 값을 가진 깊이 에지의 영역(632)를 포함하는 정보를 좌시점 깊이 영상(610)의 깊이 그래디언트 정보(630)로 결정할 수 있다. 이때, 깊이 그래디언트 정보는 깊이 그래디언트 맵(depth gradient map)일 수 있다.
또한, 픽셀 신뢰도 판단부(310)는 우시점 깊이 영상(620)에서 생성한 에지 맵(643)을 사용하여 양의 값을 가진 깊이 에지의 영역(641)과 음의 값을 가진 깊이 에지의 영역(642)를 생성할 수 있다. 다음으로, 픽셀 신뢰도 판단부(310)는 양의 값을 가진 깊이 에지의 영역(641)과 음의 값을 가진 깊이 에지의 영역(642)를 포함하는 정보를 우시점 깊이 영상(620)의 깊이 그래디언트 정보(640)로 결정할 수 있다.
그리고, 픽셀 신뢰도 판단부(310)는 도 4에서 설명한 바와 같이 깊이 정보가 상승하기 직전의 영역(411)을 우시점 깊이 영상(620)의 홀 영역으로 판단하고 있다. 또한, 도 4의 영역(411)는 도 6의 영역(631)과 영역(641)에 대응한다. 따라서, 픽셀 신뢰도 판단부(310)는 영역(641)를 우시점 그래디언트 정보(640)의 홀 영역으로 결정할 수 있다.
그리고, 픽셀 신뢰도 판단부(310)는 깊이 정보가 감소한 직후의 영역(421)을 좌시점 깊이 영상(610)의 홀 영역으로 판단하고 있다. 또한, 도 4의 영역(421)는 도 6의 영역(632)과 영역(642)에 대응한다. 따라서, 픽셀 신뢰도 판단부(310)는 영역(632)를 좌시점 그래디언트 정보(630)의 홀 영역으로 결정할 수 있다.
도 7은 일실시예에 따른 깊이 그래디언트 정보 정규화부가 깊이 그래디언트 정보를 정규화하는 과정을 도시한 도면이다.
픽셀 신뢰도 판단부(310)가 도 5에 따라 검출한 깊이 에지의 값은 가중치 설정부(340)가 설정하는 가중치에 대응한다. 그러나, 깊이 에지의 값(710)은 도 7에 도시된 바와 같이 깊이 정보의 변화가 없는 영역에서는 0이고, 깊이 정보가 변화하면 에지 검출 필터의 값에 따라 양수 a 에서 음수 - a 사이에 분포하므로 보정 없이 가중치로 사용할 수는 없다.
따라서, 깊이 그래디언트 정보 정규화부(320)는 깊이 에지의 값을 가중치의 범위인 0에서 1사이의 값으로 정규화 함으로써, 깊이 에지값을 가중치로 사용할 수 있도록 할 수 있다.
또한, 도 7의 일례에서 깊이 그래디언트 정보 정규화부(320)는 깊이 정보의 변화가 없는 영역을 0.5로 정규화 함으로써 좌시점 컬러 영상과 우시점 컬러 영상의 가중치를 동일하게 설정하였다. 그러나, 깊이 그래디언트 정보 정규화부(320)는 가상 시점의 거리를 고려하여 깊이 정보의 변화가 없는 영역의 값을 다르게 설정할 수도 있다.
도 8은 일실시예에 따른 깊이 그래디언트 정보 조정부가 깊이 그래디언트 정보를 조정하는 과정을 도시한 도면이다.
픽셀 신뢰도 판단부(310)는 도 6에서 각 시점에 따라 깊이 그래디언트 정보를 결정하였다.
그러나, 복수의 그래디언트 정보를 사용하여 각 픽셀의 가중치를 결정하고자 하면 동일 픽셀에 대하여 복수의 그래디언트 정보가 존재하므로 각 픽셀의 가중치를 결정하기 어려운 점이 있다.
따라서, 깊이 그래디언트 정보 조정부(330)는 깊이 그래디언트 정보들을 하나로 통합하기 위한 전 처리를 수행할 수 있다. 구체적으로 깊이 그래디언트 정보 조정부(330)는 좌시점 깊이 그래디언트 정보(640)와 우시점 깊이 그래디언트 정보(640)를 가상 시점에 따라 조정함으로써 공통된 값을 가지는 픽셀을 최대화할 수 있다. 이때, 깊이 그래디언트 정보 조정부(330)는 홀 영역으로 결정된 영역에서 가중치가 감소하도록 홀 영역에서 가중치가 낮아 지도록 깊이 그래디언트 정보를 보정할 수 있다.
예를 들어, 깊이 그래디언트 정보 조정부(330)는 좌시점 깊이 그래디언트 정보(630)의 깊이 에지를 가상 시점에 대응하는 위치로 이동하기 위하여 좌측으로 이동 시킬 수 있다. 이때, 깊이 그래디언트 정보 조정부(330)는 좌시점 깊이 그래디언트 정보(630)의 홀 영역인 영역(632)을 증가(811) 시킴으로써 가중치로 사용되는 깊이 에지의 값을 낮출 수 있다.
또한, 깊이 그래디언트 정보 조정부(330)는 우시점 깊이 그래디언트 정보(640)의 깊이 에지를 가상 시점에 대응하는 위치로 이동하기 위하여 좌측으로 이동 시킬 수 있다. 이때, 깊이 그래디언트 정보 조정부(330)는 우시점 깊이 그래디언트 정보(640)의 홀 영역인 영역(641)을 증가(821) 시킴으로써 가중치로 사용되는 깊이 에지의 값을 낮출 수 있다.
도 9는 일실시예에 따른 가중치 설정부가 가중치 정보를 생성하는 과정을 도시한 도면이다.
가중치 설정부(340)는 도 8에서 가상 시점에 따라 보정한 좌시점 깊이 그래디언트 정보(810)와 우시점 깊이 그래디언트 정보(820)를 합성하여 가상 시점 깊이 그래디언트 정보(900)을 생성할 수 있다. 이때, 가상 시점 그래디언트 정보(900)에 포함된 깊이 에지들의 값은 컬러 영상들 각각의 픽셀에 대한 가중치일 수 있다. 즉, 가상 시점 그래디언트 정보(900)는 합성 영상의 가중치 정보일 수 있다. 또한, 가상 시점 그래디언트 정보(900)는 신뢰성 맵(Credibility map)의 형태로 표현될 수 있다.
또한, 가상 시점 깊이 그래디언트 정보(900)는 좌시점 깊이 그래디언트 정보(810) 중에서 홀 영역(811)과 우시점 깊이 그래디언트 정보(820) 중에서 홀 영역(821)를 결합한 형태의 깊이 그래디언트 정보일 수 있다.
이때, 보정한 좌시점 깊이 그래디언트 정보(810)의 에지 맵(910)은 도9에 도시된 바와 같이 홀 영역(811)에 대응하는 깊이 에지(911)가 다른 영역에 대응하는 깊이 에지에 비하여 넓게 형성된다. 또한, 보정한 우시점 깊이 그래디언트 정보(820)의 에지 맵(920)도 홀 영역(821)에 대응하는 깊이 에지(921)가 다른 영역에 대응하는 깊이 에지에 비하여 넓게 형성된다.
따라서, 가상 시점 깊이 그래디언트 정보(900)의 에지 맵(930)은 도 9에 도시된 바와 같이 넓게 형성된 깊이 에지(931, 932)을 포함할 수 있다.
또한, 가중치 설정부(340)는 가상 시점과 컬러 영상들 각각의 시점 간의 거리. 합성 영상의 픽셀 각각에서 복수의 시점에 따른 깊이값의 차이, 컬러 영상의 픽셀 각각에서 일정 범위 안에 위치한 홀의 개수, 및 컬러 영상의 픽셀 각각이 전경 픽셀, 또는 배경 픽셀인지 여부에 대한 정보 중 적어도 하나를 사용하여 가상 시점 깊이 그래디언트 정보(900)의 깊이 에지값을 보정함으로써, 깊이 에지 이외에도 다양한 조건을 고려한 가중치 정보를 생성할 수 있다.
도 10은 일실시예에 따른 영상 합성 과정을 도시한 도면이다.
합성 영상 생성부(120)는 도 10에 도시된 바와 같이 좌시점 컬러 영상(1010)과 우시점 컬러 영상(1020) 및 가상 시점 깊이 그래디언트 정보(900)를 사용하여 합성 영상(1030)를 생성할 수 있다.
예를 들어, 좌시점 컬러 영상(1010)에 포함된 픽셀의 픽셀값이 PL이고, 우시점 컬러 영상(1020)에 포함된 픽셀의 픽셀값이 PR이며 및 가상 시점 깊이 그래디언트 정보(900)의 깊이 에지값이 가중치인 W라 할 경우, 합성 영상 생성부(120)는 수학식 2를 사용하여 합성 영상의 픽셀값 PV를 결정할 수 있다.
Figure pat00002
이때, 가중치 W로 사용되는 깊이 에지값은 도 7에 도시된 바와 같이 0에서 1사이의 값으로 정규화되어 있다. 따라서, (1-W)는 W가 증가할수록 감소하고, W가 감소할수록 증가할 수 있다.
예를 들어 오브젝트의 좌측 경계에 위치한 홀 영역(821)의 깊이 에지값은 에지 맵(930)에 도시된 바와 같이 양수이다. 이때, 정규화 된 깊이 에지값은 중간값이 0.5이므로 중간값보다 큰 양수는 0.5와 1사이의 값이 된다.
따라서, 합성 영상(1030)에서 오브젝트의 좌측 경계에 위치한 홀 영역(821)에 대응하는 픽셀에는 우시점 컬러 영상(1020)의 픽셀값보다 좌시점 컬러 영상(1010)의 픽셀값에 높은 가중치가 설정된다. 이때, 홀 영역(821)은 도 6에서 결정한 바와 같이 우시점 깊이 영상의 홀 영역이며, 우시점 컬러 영상의 픽셀 신뢰도 보다 좌시점 컬러 영상의 픽셀 신뢰도가 높은 것으로 판단할 수 있다.
즉, 합성 영상 생성부(120)는 픽셀 신뢰도 판단부(310)가 픽셀 신뢰도가 높은 것으로 판단한 픽셀의 픽셀값에 높은 가중치를 설정하여 합성 영상의 픽셀값을 결정할 수 있다.
도 11은 일실시예에 따른 영상 합성 장치를 사용한 합성 영상 전송 시스템의 일례이다.
합성 영상 전송 시스템은 도 11에 도시된 바와 같이 부호화기(1110)를 사용하여 입력 컬러 영상(1111)과 깊이 영상(1112)를 부호화하고, 부호화한 입력 컬러 영상(1111)과 입력 깊이 영상(1112)를 전송할 수 있다.
이때, 입력 깊이 영상(1112)은 입력 컬러 영상(1111)에 비하여 해상도가 높을 필요가 적으므로 다운 샘플러(1120)가 입력 깊이 영상(1112)를 저해상도로 변환한 다음에 부호화 함으로써 부호화하는 정보의 크기를 감소시킬 수 있다. 또한, 저해상도 깊이 카메라를 사용하여 처음부터 입력 컬러 영상(1111)에 비하여 해상도가 낮은 입력 깊이 영상(1112)를 생성하여 부호화할 수도 있다.
다음으로, 복호화기(1130)는 수신한 정보를 복호화하여 복원 컬러 영상(1131)과 복원 깊이 영상(1132)을 생성할 수 있다. 이때, 복호화기(1130)는 복원 컬러 영상(1131)을 사용자에게 제공할 수도 있다(1151).
이때, 복원 깊이 영상(1132)는 해상도가 복원 컬러 영상에 비하여 낮으므로 업 샘플러(1140)가 복원 깊이 영상(1132)를 고해상도로 변환할 수 있다.
그러나, 저해상도 깊이 영상은 고해상도 깊이 영상과 비교하여 고주파 성분이 손상되어 있으므로, 홀이 발생하는 오브젝트의 경계에서 블러링이 발생할 수 있다.
따라서, 일실시예에 따른 영상 합성 장치(100)는 고해상도로 변환된 복원 깊이 영상에서 깊이 에지를 검출하여 각 픽셀의 가중치를 설정함으로써, 블러링 현상 없이도 복원 컬러 영상(1131)들로 합성 영상(1150)을 생성할 수 있다.
도 12는 일실시예에 따른 영상 합성 방법을 도시한 도면이다.
단계(S1210)에서 픽셀 신뢰도 판단부(310)는 깊이 영상들에서 검출한 깊이 에지(depth edge)를 사용하여 깊이 영상에 대응하는 컬러 영상들의 픽셀 신뢰도를 판단할 수 있다.
구체적으로 먼저, 픽셀 신뢰도 판단부(310)는 에지 검출 필터를 사용하여 깊이 영상들에서 깊이 에지를 검출할 수 있다. 다음으로 픽셀 신뢰도 판단부(310)는 깊이 영상들 각각에서 깊이 에지의 부호와 깊이 영상들 각각의 시점에 따라 깊이 영상들의 홀 영역을 결정하고, 홀 영역의 위치에 따라 칼라 영상들의 픽셀 신뢰도를 판단할 수 있다.
단계(S1220)에서 픽셀 신뢰도 판단부(310)는 단계(S1220)에서 검출한 깊이 에지를 사용하여 깊이 영상들 각각의 깊이 그래디언트 정보를 결정할 수 있다.
단계(S1230)에서 깊이 그래디언트 정보 정규화부(320)는 가중치의 최대값과 최소값에 따라 단계(S1220)에서 결정한 깊이 그래디언트 정보를 정규화(Normalization)할 수 있다.
단계(S1240)에서 깊이 그래디언트 정보 조정부(330)는 단계(S1230)에서 정규화된 깊이 그래디언트 정보를 가상 시점에 따라 조정할 수 있다.
이때, 깊이 그래디언트 정보 조정부(330)는 깊이 영상들의 홀 영역에서 가중치가 감소하도록 깊이 그래디언트 정보를 보정할 수 있다.
단계(S1250)에서 가중치 설정부(340)는 단계(S1240)에서 조정한 깊이 그래디언트 정보를 사용하여 컬러 영상들 각각의 픽셀에 가중치를 설정할 수 있다. 이때, 가중치 설정부(340)는 단계(S1250)에서 조정한 깊이 그래디언트 정보들을 합성하여 컬러 영상들 각각의 픽셀에 가중치가 설정된 가중치 정보를 생성할 수 있다.
단계(S1260)에서 합성 영상 생성부(120)는 단계(S1250)에서 생성한 가중치 정보를 사용하여 복수의 시점에 대응하는 컬러 영상들을 가상 시점에서 합성한 합성 영상을 생성할 수 있다.
이때, 합성 영상 생성부(120)는 컬러 영상들 각각의 픽셀값에 단계(S1250)에서 생성한 가중치 정보를 적용하고, 가중치를 적용한 컬러 영상들 각각의 픽셀값을 사용하여 합성 영상의 픽셀값을 결정할 수 있다.
실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 영상 합성 장치
110: 신뢰도 판단부
120: 합성 영상 생성부
310: 픽셀 신뢰도 판단부
320: 깊이 그래디언트 정보 정규화부
330: 깊이 그래디언트 정보 조정부
340: 가중치 설정부

Claims (19)

  1. 복수의 시점에 대응하는 깊이 영상들을 이용하여 복수의 시점에 대응하는 컬러 영상들의 픽셀 신뢰도를 판단하는 신뢰도 판단부; 및
    상기 픽셀 신뢰도에 기초하여 상기 컬러 영상들을 가상 시점에서 합성한 합성 영상을 생성하는 합성 영상 생성부
    를 포함하는 영상 합성 장치.
  2. 제1항에 있어서,
    상기 신뢰도 판단부는,
    깊이 영상들에서 검출한 깊이 에지(depth edge)를 사용하여 깊이 영상에 대응하는 컬러 영상들의 픽셀 신뢰도를 판단하는 픽셀 신뢰도 판단부;
    상기 깊이 에지를 사용하여 결정된 깊이 그래디언트 정보를 가상 시점에 따라 조정하는 깊이 그래디언트 정보 조정부; 및
    픽셀 신뢰도와 가상 시점에 따라 조정한 깊이 그래디언트 정보를 사용하여 컬러 영상들 각각의 픽셀에 가중치를 설정하는 가중치 설정부
    를 포함하는 것을 특징으로 하는 영상 합성 장치.
  3. 제2항에 있어서,
    상기 픽셀 신뢰도 판단부는,
    깊이 영상들 각각에서 깊이 에지의 부호와 깊이 영상에 대응하는 컬러 영상들 각각의 시점에 따라 깊이 영상에서 홀이 발생하는 홀 영역을 결정하고, 홀 영역의 위치에 따라 컬러 영상들의 픽셀 신뢰도를 판단하는 것을 특징으로 하는 영상 합성 장치.
  4. 제2항에 있어서,
    상기 픽셀 신뢰도 판단부는,
    깊이 영상들 각각에 에지 검출 필터를 사용하여 깊이 에지를 검출하고, 깊이 에지를 사용하여 깊이 영상들 각각의 깊이 그래디언트 정보를 결정하는 것을 특징으로 하는 영상 합성 장치.
  5. 제4항에 있어서,
    가중치의 최대값과 최소값에 따라 깊이 그래디언트 정보를 정규화(Normalization)하는 깊이 그래디언트 정보 정규화부
    를 더 포함하는 영상 합성 장치.
  6. 제3항에 있어서,
    상기 깊이 그래디언트 정보 조정부는,
    깊이 영상들의 홀 영역에서 가중치가 감소하도록 깊이 그래디언트 정보를 보정하는 것을 특징으로 하는 영상 합성 장치.
  7. 제2항에 있어서,
    상기 가중치 설정부는,
    조정한 깊이 그래디언트 정보들을 합성하여 컬러 영상들 각각의 픽셀에 가중치가 설정된 가중치 정보를 생성하는 것을 특징으로 하는 영상 합성 장치.
  8. 제2항에 있어서,
    상기 가중치 설정부는,
    조정한 깊이 그래디언트 정보들, 가상 시점과 컬러 영상들 각각의 시점 간의 거리. 합성 영상의 픽셀 각각에서 복수의 시점에 따른 깊이값의 차이, 컬러 영상의 픽셀 각각에서 일정 범위 안에 위치한 홀의 개수, 및 컬러 영상의 픽셀 각각이 전경 픽셀, 또는 배경 픽셀인지 여부에 대한 정보 중 적어도 하나를 사용하여 컬러 영상들 각각의 픽셀에 가중치가 설정된 가중치 정보를 생성하는 것을 특징으로 하는 영상 합성 장치.
  9. 제1항에 있어서,
    상기 합성 영상 생성부는,
    컬러 영상들 각각의 시점에 따라 컬러 영상들 각각의 픽셀값에 가중치 정보를 적용하고, 가중치를 적용한 컬러 영상들 각각의 픽셀값을 사용하여 합성 영상의 픽셀값을 결정하는 것을 특징으로 하는 영상 합성 장치.
  10. 복수의 시점에 대응하는 깊이 영상들을 이용하여 복수의 시점에 대응하는 컬러 영상들의 픽셀 신뢰도를 판단하는 단계; 및
    상기 픽셀 신뢰도에 기초하여 상기 컬러 영상들을 가상 시점에서 합성한 합성 영상을 생성하는 단계
    를 포함하는 영상 합성 방법.
  11. 제10항에 있어서,
    상기 신뢰도를 판단하는 단계는,
    깊이 영상들에서 검출한 깊이 에지(depth edge)를 사용하여 깊이 영상에 대응하는 컬러 영상들의 픽셀 신뢰도를 판단하는 단계;
    상기 깊이 에지를 사용하여 결정된 깊이 그래디언트 정보를 가상 시점에 따라 조정하는 단계; 및
    픽셀 신뢰도와 가상 시점에 따라 조정한 깊이 그래디언트 정보를 사용하여 컬러 영상들 각각의 픽셀에 가중치를 설정하는 단계
    를 포함하는 것을 특징으로 하는 영상 합성 방법.
  12. 제11항에 있어서,
    상기 깊이 영상에 대응하는 컬러 영상들의 픽셀 신뢰도를 판단하는 단계는,
    깊이 영상들 각각에서 깊이 에지의 부호와 깊이 영상에 대응하는 컬러 영상들 각각의 시점에 따라 깊이 영상에서 홀이 발생하는 홀 영역을 결정하고, 홀 영역의 위치에 따라 컬러 영상들의 픽셀 신뢰도를 판단하는 것을 특징으로 하는 영상 합성 방법.
  13. 제11항에 있어서,
    상기 깊이 영상에 대응하는 컬러 영상들의 픽셀 신뢰도를 판단하는 단계는,
    깊이 영상들 각각에 에지 검출 필터를 사용하여 깊이 에지를 검출하고, 깊이 에지를 사용하여 깊이 영상들 각각의 깊이 그래디언트 정보를 결정하는 것을 특징으로 하는 영상 합성 방법.
  14. 제13항에 있어서,
    가중치의 최대값과 최소값에 따라 깊이 그래디언트 정보를 정규화(Normalization)하는 단계
    를 더 포함하는 영상 합성 방법.
  15. 제12항에 있어서,
    상기 깊이 그래디언트 정보를 가상 시점에 따라 조정하는 단계는,
    깊이 영상들의 홀 영역에서 가중치가 감소하도록 깊이 그래디언트 정보를 보정하는 것을 특징으로 하는 영상 합성 방법.
  16. 제11항에 있어서,
    상기 가중치를 설정하는 단계는,
    조정한 깊이 그래디언트 정보들을 합성하여 컬러 영상들 각각의 픽셀에 가중치가 설정된 가중치 정보를 생성하는 것을 특징으로 하는 영상 합성 방법.
  17. 제11항에 있어서,
    상기 가중치를 설정하는 단계는,
    조정한 깊이 그래디언트 정보들, 가상 시점과 컬러 영상들 각각의 시점 간의 거리. 합성 영상의 픽셀 각각에서 복수의 시점에 따른 깊이값의 차이, 컬러 영상의 픽셀 각각에서 일정 범위 안에 위치한 홀의 개수, 및 컬러 영상의 픽셀 각각이 전경 픽셀, 또는 배경 픽셀인지 여부에 대한 정보 중 적어도 하나를 사용하여 컬러 영상들 각각의 픽셀에 가중치가 설정된 가중치 정보를 생성하는 것을 특징으로 하는 영상 합성 방법.
  18. 제10항에 있어서,
    상기 합성 영상을 생성하는 단계는,
    컬러 영상들 각각의 시점에 따라 컬러 영상들 각각의 픽셀값에 가중치 정보를 적용하고, 가중치를 적용한 컬러 영상들 각각의 픽셀값을 사용하여 합성 영상의 픽셀값을 결정하는 것을 특징으로 하는 영상 합성 방법.
  19. 제10항 내지 제18항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
KR1020120045725A 2012-04-30 2012-04-30 깊이 에지를 사용한 영상 합성 장치 및 방법 KR20130122419A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120045725A KR20130122419A (ko) 2012-04-30 2012-04-30 깊이 에지를 사용한 영상 합성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120045725A KR20130122419A (ko) 2012-04-30 2012-04-30 깊이 에지를 사용한 영상 합성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130122419A true KR20130122419A (ko) 2013-11-07

Family

ID=49852219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120045725A KR20130122419A (ko) 2012-04-30 2012-04-30 깊이 에지를 사용한 영상 합성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20130122419A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019139441A1 (ko) * 2018-01-12 2019-07-18 삼성전자 주식회사 영상 처리 장치 및 방법
KR20200107217A (ko) * 2019-03-06 2020-09-16 한국전자통신연구원 영상 처리 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019139441A1 (ko) * 2018-01-12 2019-07-18 삼성전자 주식회사 영상 처리 장치 및 방법
KR20200107217A (ko) * 2019-03-06 2020-09-16 한국전자통신연구원 영상 처리 방법 및 장치

Similar Documents

Publication Publication Date Title
US8885922B2 (en) Image processing apparatus, image processing method, and program
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
EP3198852B1 (en) Image processing apparatus and control method thereof
US8224069B2 (en) Image processing apparatus, image matching method, and computer-readable recording medium
JP6309210B2 (ja) 深さ映像生成方法及び装置、深さ映像処理方法及び装置
US9378583B2 (en) Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume
KR102464523B1 (ko) 이미지 속성 맵을 프로세싱하기 위한 방법 및 장치
US20110032341A1 (en) Method and system to transform stereo content
EP3582488A1 (en) Autofocus for stereoscopic camera
US11210842B2 (en) Image processing apparatus, image processing method and storage medium
RU2423018C2 (ru) Способ и система для преобразования стереоконтента
US9338437B2 (en) Apparatus and method for reconstructing high density three-dimensional image
US11153552B2 (en) Image processing apparatus, image processing method and non-transitory computer-readable storage medium
US20140340486A1 (en) Image processing system, image processing method, and image processing program
US9613403B2 (en) Image processing apparatus and method
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
JP2013172190A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6020471B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
JP2010152521A (ja) 画像立体化処理装置及び方法
JPWO2018147059A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2013185905A (ja) 情報処理装置及び方法、並びにプログラム
KR20130122419A (ko) 깊이 에지를 사용한 영상 합성 장치 및 방법
KR101353038B1 (ko) 깊이 영상 경계부분 처리 장치 및 방법
JP6601893B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016156702A (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination