KR20120049636A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20120049636A
KR20120049636A KR1020100110994A KR20100110994A KR20120049636A KR 20120049636 A KR20120049636 A KR 20120049636A KR 1020100110994 A KR1020100110994 A KR 1020100110994A KR 20100110994 A KR20100110994 A KR 20100110994A KR 20120049636 A KR20120049636 A KR 20120049636A
Authority
KR
South Korea
Prior art keywords
boundary
image
covering
area
depth
Prior art date
Application number
KR1020100110994A
Other languages
English (en)
Inventor
임화섭
이승규
김용선
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100110994A priority Critical patent/KR20120049636A/ko
Priority to US13/183,718 priority patent/US20120114225A1/en
Publication of KR20120049636A publication Critical patent/KR20120049636A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features

Abstract

영상 처리 장치가 제공된다. 상기 영상 처리 장치는 입력 깊이 영상에 에지 검출 알고리즘을 적용하여 상기 입력 깊이 영상 내의 오브젝트 간의 가리움 경계를 검출할 수 있다. 그리고 상기 가리움 경계의 깊이 그래디언트 벡터 방향을 이용하여 상기 가리움 경계를 전경 영역 경계와 배경 영역 경계로 구별하며, 상기 전경 영역 경계를 이용하여 상기 입력 깊이 영상의 가리움 영역을 추출할 수 있다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}
3D(3-Dimensional) 영상을 제공하기 위해 다수의 시점 영상을 생성하는 장치 및 방법에 연관되며, 보다 특정하게는, 시점 간의 시점 차이에 따른 가리움(occlusion) 영역을 검출하고, 이를 이용하여 다시점 영상을 생성하는 영상 처리 장치 및 방법에 연관된다.
본 발명의 실시예들은 지식경제부에서 지원하는 국가과제 연구로부터 도출된 것이다[과제고유번호: 10037931, 과제명: 능동형 센서 기반 HD급 3D Depth 카메라 개발].
최근 3D 영상에 대한 관심이 높아지고 있다. 3D 영상의 경우, 복수 개의 시점에 대응하여, 서로 다른 시점에 대응하는 영상들을 제공함으로써 구현되는데, 복수 개의 시점에 대응하는 멀티 뷰(multi view) 영상이나, 두 개의 시점에 대응하는 좌안(left eye) 및 우안(right eye) 영상들을 제공하는 스테레오스코픽(stereoscopic) 영상이 이에 해당한다.
한편, 멀티 뷰 영상이나 스테레오스코픽 영상에 대응하는 각 시점 영상이 직접 촬영되지 않고, 하나의 시점에서 촬영된 후, 영상 처리 과정을 통해 다른 시점 영상이 생성되는 경우에는, 오브젝트 간에 가리움 영역(occlusion region)을 검출하고, 가리움 영역의 칼라 정보를 복원하는 것이 관건이다.
따라서, 시점 차이에 따른 이미지 워핑(warping) 시 드러나는(dis-occluded) 가리움 영역(occlusion region)을 적절히 검출하고, 이러한 가리움 영역의 칼라 정보를 획득하는 영상 처리 방법이 요구된다.
한 장의 칼라 영상 및 깊이(depth) 영상을 이용하여, 다시점 영상을 빠르고 정확하게 생성할 수 있는 영상 처리 장치 및 방법이 제공된다.
가리움 영역을 정확하고 빠르게 검출하고, 자연스러운 시점 변경 영상을 생성할 수 있는 영상 처리 장치 및 방법이 제공된다.
본 발명의 일측에 따르면, 입력 깊이 영상에 에지 검출 알고리즘을 적용하여 상기 입력 깊이 영상 내의 오브젝트 간의 가리움 경계를 검출하는 가리움 경계 검출부, 상기 가리움 경계의 깊이 그래디언트 벡터 방향을 이용하여 상기 가리움 경계를 전경 영역 경계와 배경 영역 경계로 구별하는 가리움 경계 라벨링부, 및 상기 전경 영역 경계를 이용하여 상기 입력 깊이 영상의 가리움 영역을 추출하는 영역 구별부를 포함하는, 영상 처리 장치가 제공된다.
본 발명의 일실시예에 따르면, 상기 영상 처리 장치는, 상기 입력 깊이 영상 중 상기 가리움 영역 이외의 영역의 깊이 값을 이용하여 상기 가리움 영역의 깊이 값을 복원하는 가리움 레이어 생성부를 더 포함한다.
여기서, 상기 가리움 레이어 생성부는, 상기 입력 깊이 영상에 매칭되는 입력 칼라 영상의 적어도 일부 픽셀 값을 이용하여 상기 가리움 영역의 칼라 값을 복원할 수 있다.
또한, 상기 가리움 레이어 생성부는, Patch 복사 방식의 Inpainting 또는 PDE 방식의 Inpainting 중 적어도 하나의 알고리즘을 사용하여, 상기 입력 깊이 영상에 매칭되는 입력 칼라 영상의 적어도 일부 픽셀 값을 이용하여 상기 가리움 영역의 칼라 값을 복원할 수 있다. 그리고, 상기 에지 검출 알고리즘은, Canny Edge Detection 알고리즘일 수 있다.
한편, 본 발명의 일실시예에 따르면, 상기 가리움 경계 라벨링부는, 상기 가리움 경계 픽셀 중 깊이 값이 커지는 깊이 그래디언트 벡터 방향에 인접한 픽셀을 전경 영역 경계로 결정하고, 상기 깊이 그래디언트 벡터의 반대 방향에 인접한 픽셀을 배경 영역 경계로 결정하여, 상기 가리움 경계를 전경 영역 경계와 배경 영역 경계로 구별한다.
또한, 상기 영역 구별부는, 상기 전경 영역 경계를 시드로 사용하여 영역 확장 및 세그먼테이션 알고리즘을 사용하여, 상기 입력 깊이 영상의 가리움 영역을 추출한다.
여기서, 상기 세그먼테이션 알고리즘은, Watershed 또는 Graphcut 중 적어도 하나의 알고리즘일 수 있다.
본 발명의 일실시예에 따르면, 상기 영상 처리 장치는, 상기 가리움 영역의 깊이 값 및 칼라 값을 이용하여, 상기 입력 깊이 영상과 상이한 적어도 하나의 변경 시점 각각에 대하여, 깊이 영상 및 칼라 영상 중 적어도 하나를 생성하는 다시점 영상 생성부를 더 포함한다.
이 경우, 상기 다시점 영상 생성부는, 상기 적어도 하나의 변경 시점에 대응하도록 상기 입력 깊이 영상 및 상기 입력 칼라 영상을 워핑하고, 상기 가리움 영역의 칼라 값을 이용하여 상기 가리움 영역을 채우고, Hole filling 알고리즘을 수행하여, 상기 적어도 하나의 변경 시점 각각에 대하여, 깊이 영상 및 칼라 영상 중 적어도 하나를 생성할 수 있다.
본 발명의 다른 일측에 따르면, 입력 깊이 영상에 에지 검출 알고리즘을 적용하여 상기 입력 깊이 영상 내의 오브젝트 간의 가리움 경계를 검출하는 가리움 경계 검출 단계, 상기 가리움 경계의 깊이 그래디언트 벡터 방향을 이용하여 상기 가리움 경계를 전경 영역 경계와 배경 영역 경계로 구별하는 가리움 경계 라벨링 단계, 및 상기 전경 영역 경계를 이용하여 상기 입력 깊이 영상의 가리움 영역을 추출하는 영역 구별 단계를 포함하는, 영상 처리 방법이 제공된다.
한 장의 칼라 영상 및 깊이(depth) 영상을 이용하여, 다시점 영상을 빠르고 정확하게 생성할 수 있다.
가리움 영역을 정확하고 빠르게 검출하고, 자연스러운 시점 변경 영상을 생성할 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 도시한다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치에 입력되는 입력 칼라 영상 및 입력 깊이 영상을 도시한다.
도 3은 본 발명의 일실시예에 따라 가리움 영역 경계를 검출한 결과를 도시한다.
도 4는 본 발명의 일실시예에 따라 전경 영역 경계와 배경 영역 경계가 구별된 결과를 도시한다.
도 5는 본 발명의 일실시예에 따라 가리움 영역이 구별된 결과를 도시한다.
도 6은 본 발명의 일실시예에 따라 입력 칼라 영상을 이용하여 가리움 영역 레이어의 칼라 값이 복원된 결과를 도시한다.
도 7은 본 발명의 일실시예에 따라 변경 시점 영상을 생성하는 과정 설명하기 위한 개념도이다.
도 8은 본 발명의 일실시예에 따라 다수의 변경 시점 영상을 생성한 결과를 도시한다.
도 9는 본 발명의 일실시예에 따른 영상 처리 방법을 도시한다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치(100)를 도시한다.
가리움 경계 검출부(110)는, 입력 깊이 영상에 에지 검출 알고리즘(edge detection algorithm)을 적용하여, 입력 깊이 영상 내에서 가리움 경계(occlusion boundary)를 검출한다.
본 발명의 일실시예에 따르면, 가리움 경계 검출부(110)는 Canny Edge Detection 알고리즘 등 연속된 에지(edge)를 검출하는 다양한 기법을 사용할 수 있으며, 본 발명이 일부 실시예에 의해 제한적으로 해석되어서는 안 된다.
한편, 상기 가리움 경계는 가리움 영역으로 판단되는 영역과 그 외의 영역을 나누는 부분으로서, 단일의 픽셀 라인이 아닌 일정한 넓이를 가지는 밴드일 수 있다. 즉, 가리움 영역과 그 외의 영역 중 어디에 속하도록 할 지가 명확하지 않은 부분은 상기 가리움 경계로 분류될 수 있다.
가리움 경계 검출부(110)가 가리움 경계를 검출하는 과정은 도 3을 참조하여 보다 상세히 후술한다.
가리움 경계 라벨링부(120)는 상기 가리움 경계의 깊이 그래디언트 벡터 방향을 이용하여 상기 가리움 경계를 전경 영역(foreground region)에 접하는 전경 영역 경계와, 배경 영역(background region)에 접하는 배경 영역 경계로 구별하여 라벨링할 수 있다.
이 경우, 가리움 경계 라벨링부(120)는, 가리움 경계의 인접 픽셀에서 Depth Gradient Vector의 방향에 의해 전/배경 경계로 분류할 수 있다. Depth Gradient Vector(Depth값이 커지는 방향) 방향의 인접 픽셀은 전경 경계에 해당하며 반대 방향의 인접 픽셀은 배경 경계에 해당한다.
가리움 경계 라벨링부(120)가 전경 영역 경계와 배경 영역 경계를 구별하여 라벨링하는 과정은 도 4를 참조하여 보다 상세히 후술한다.
한편, 영역 구별부(130)는, 상기 전경 영역 경계를 이용하여, 상기 입력 깊이 영상에서 가리움 영역을 추출한다. 이러한 가리움 영역 추출 과정은, 상기 입력 깊이 영상에서 배경 영역과 전경 영역을 구별하는 영역 세그먼테이션(segmentation) 과정으로 이해될 수 있다.
즉, 깊이 영상 또는 칼라 영상에서, 전경 영역이 배경 영역의 일부를 가리고 있고, 시점 이동에 따른 워핑(warping) 과정에서 가리워져 있던(occluded) 부분의 일부가 다시 드러나게(dis-occluded)되므로, 상기 가리움 영역은 상기 전경 영역에 대응한다.
영역 구별부(130)가 가리움 영역을 추출하는 과정은 도 5를 참조하여 보다 상세히 후술한다.
그리고, 가리움 레이어 생성부(140)는 상기 입력 깊이 영상 중 상기 가리움 영역 이외의 영역의 깊이 값을 이용하여 상기 가리움 영역의 깊이 값을 복원한다.
또한, 가리움 레이어 생성부(140)는 상기 입력 깊이 영상에 매칭되는 입력 칼라 영상의 적어도 일부 픽셀 값을 이용하여 상기 가리움 영역의 칼라 값을 복원한다.
이렇게 복원된 가리움 영역의 칼라 값은 도 6을 참조하여 보다 상세히 후술한다.
그리고, 다시점 영상 생성부(150)는 입력된 깊이 영상 및/또는 칼라 영상과 다른 변경 시점의 영상을 생성하고자 하는 경우, 이러한 변경 시점 영상의 생성을 수행한다.
시점 변경을 위한 영상 워핑(warping) 과정과 이렇게 생성된 다시점 영상은 도 7 내지 도 8을 참조하여 보다 상세히 후술한다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치(100)에 입력되는 입력 칼라 영상 및 입력 깊이 영상을 도시한다.
본 발명의 일실시예에 따르면, 입력 칼라 영상(210)과 입력 깊이 영상(220)은 동시에 또는 서로 다른 시점에 획득된 것으로서, 시점과 스케일에 있어서 서로 매칭되어 있다.
입력 칼라 영상(210)과 입력 깊이 영상(220)의 매칭은, 동일한 카메라 센서에 의해 칼라 영상과 깊이 영상이 동시에 또는 서로 다른 시점에 획득되어 이루어질 수도 있으며, 서로 다른 시점에서 서로 다른 센서에 의해 촬영된 칼라 영상과 깊이 영상을 이미지 처리 과정에서 매칭시키는(matching) 과정에 의해 수행될 수도 있다.
이하에서는, 입력 칼라 영상(210)과 입력 깊이 영상(220)은 시점 및 스케일에 있어서 매칭된 것으로 간주하며, 칼라 영상과 깊이 영상의 획득 과정이나 매칭에 있어서의 다양한 실시예 중 어느 것도 본 발명의 범위에서 의도적으로 배제되지 않는다.
도 3은 본 발명의 일실시예에 따라 가리움 영역 경계를 검출한 결과(300)를 도시한다.
영상 처리 장치(100)의 가리움 경계 검출부(110)는, 입력 깊이 영상에 에지 검출 알고리즘을 적용하여, 입력 깊이 영상 내에서 가리움 경계를 검출한다.
본 발명의 일실시예에 따르면, 가리움 경계 검출부(110)는 Canny Edge Detection 알고리즘 등 연속된 에지를 검출하는 다양한 기법을 사용할 수 있으며, 상기한 바와 같이, 본 발명이 일부 실시예에 의해 제한적으로 해석되어서는 안 된다.
깊이 영상(220) 내에서, 인접한 픽셀 사이의 불연속적인 (discontinuous) 깊이 값(depth value)은, 시점 변경 시 가리움 영역(Occlusion region)의 경계에 해당할 수 있으므로, 본 발명의 일실시예에 따르면, 가리움 경계 검출부(110)는 입력 깊이 영상(220)에 에지 검출 알고리즘을 적용해서, 가리움 경계(331 및 332)를 검출한다.
이렇게 검출된 가리움 경계(331 및 332)에 의해, 상기 깊이 영상(220)은 두 개 이상의 영역으로 분리된다.
깊이 값에 따라 전경 영역(311 및 312)과 배경 영역(320)으로 구별된다. 다만, 본 발명의 일실시예에 따르면, 이러한 과정을 아래 도 4 이하를 참조하여 설명되는 과정에 의해 수행한다.
도 4는 본 발명의 일실시예에 따라 전경 영역 경계와 배경 영역 경계가 구별된 결과(400)를 도시한다.
가리움 경계 라벨링부(120)는 상기 가리움 경계의 깊이 그래디언트 벡터 방향을 이용하여 상기 가리움 경계를 전경 영역(foreground region)에 접하는 전경 영역 경계(411 및 412)와, 배경 영역(background region)에 접하는 배경 영역 경계(421 및 422)로 구별하여 라벨링할 수 있다.
이 경우, 가리움 경계 라벨링부(120)는, 가리움 경계의 인접 픽셀에서 Depth Gradient Vector의 방향에 의해 전/배경 경계로 분류할 수 있다. Depth Gradient Vector(Depth값이 커지는 방향) 방향의 인접 픽셀은 전경 경계(411 및 412)에 해당하며 반대 방향의 인접 픽셀은 배경 경계(421 및 422)에 해당한다.
도 5는 본 발명의 일실시예에 따라 가리움 영역이 구별된 결과(500)를 도시한다.
영역 구별부(130)는, 상기 전경 영역 경계(411 및 412)를 이용하여, 상기 입력 깊이 영상(220)에서 가리움 영역(511 및 512)을 추출한다. 이러한 가리움 영역(511 및 512) 추출 과정은, 상기 입력 깊이 영상에서 배경 영역과 전경 영역을 구별하는 영역 세그먼테이션(segmentation) 과정으로 이해될 수 있다.
본 발명의 일실시예에 따르면, 영역 구별부(130)는, 전경 영역 경계(411 및 412)를 시드(Seed)로 하여 영역 확장을 하여 전경 영역(511 및 512)을 결정하고, 배경 영역 경계(421 및 422)을 시드로 하여 영역 확장을 하여 배경 영역(520)을 결정하는 영역 세그먼테이션을 수행할 수 있다.
이렇게 구별된 전경 영역(511 및 512)이 가리움 영역으로서 추출되는 것은 도 1을 참조하여 상술한 바와 같다.
이러한 과정에서, 영역 구별부(130)는 Watershed 또는 Graphcut 등과 같은 다양한 세그먼테이션(Segmentation) 알고리즘을 사용할 수 있다.
도 6은 본 발명의 일실시예에 따라 입력 칼라 영상을 이용하여 가리움 영역 레이어의 칼라 값이 복원된 결과(600)를 도시한다.
가리움 레이어 생성부(140)는 상기 입력 깊이 영상 중 상기 가리움 영역 이외의 영역인 배경 영역(520)의 깊이 값을 이용하여 상기 가리움 영역인 전경 영역(511 및 512)의 깊이 값을 복원한다. 이 과정에서, 깊이 값의 수평적인 복사 및 확장이 이용될 수 있다.
또한, 가리움 레이어 생성부(140)는 상기 입력 깊이 영상에 매칭되는 입력 칼라 영상(210)의 적어도 일부 픽셀 값을 이용하여 상기 가리움 영역의 칼라 값을 복원하며, 영역(611 및 612)은 이러한 결과를 도시한다.
대부분의 경우, 가리움 영역은 전경 영역의 뒤쪽 배경 영역에서 발생하고, 가리움 영역이 시점 변경에서 다시 드러나는(dis-occluded) 과정은 수평 방향으로 발생하므로, 가리움 레이어(Occlusion Layer)는 배경 영역을 이용하여, 배경 영역의 경계가 연속이 되고 배경 영역과 유사하게 수평 방향 패턴 복사(Pattern copy)를 수행함으로서 구현된다.
이 과정에서, 가리움 레이어 생성부(140)는 유사 Patch 복사 방식의 Inpainting 또는 PDE 방식의 Inpainting 등 다양한 알고리즘을 사용할 수 있다. 다만, 본 발명이 일부 실시예에 의해 제한적으로 해석되어서는 안 된다.
도 7은 본 발명의 일실시예에 따라 변경 시점 영상을 생성하는 과정 설명하기 위한 개념도(700)이다.
다시점 영상 생성부(150)는 입력된 깊이 영상 및/또는 칼라 영상과 다른 변경 시점의 영상을 생성하고자 하는 경우, 이러한 변경 시점 영상의 생성을 수행한다.
이러한 변경 시점은, 스테레오스코픽 방식의 두 개 시점 중, 입력 칼라 영상(210)이나 입력 깊이 영상(220)과는 다른 하나의 시점 영상일 수도 있으며, 멀티 뷰 영상의 다른 시점 영상일 수도 있다.
다시점 영상 생성부(150)는 가리움 영역(711 및 712)에 해당하는 깊이 픽셀들 및 칼라 픽셀들을 이미지 워핑(Image Warping) 방식으로 수평이동 한다.
이러한 과정에서, 시점 차이가 클수록 워핑의 정도가 크며, 이는 통상적인 디스패러티(disparity) 계산에 의해 간단히 이해될 수 있다. 한편, 배경 영역(720)은 상대적으로 디스패러티가 작으며, 본 발명의 일실시예에서는 디스패러티가 무시되어, 배경 영역(720)의 이미지 워핑은 매우 작거나 무시될 수도 있다.
그리고, 다시점 영상 생성부(150)는 입력 칼라 영상(210) 및 입력 깊이 영상(220) 중 상기 이미지 워핑 후에 홀(hole)로 남아있는 기존의 가리움 영역 부분(731 및 732)은 도 6의 가리움 레이어 복원 결과(611 및 612)로 채운다.
이 과정에서, 영상의 미세한 불일치로 인한 홀(hole)은 통상적인 이미지 처리 기법인 Hole Filling 알고리즘 등에 의해 간단히 해결될 수 있다.
도 8은 본 발명의 일실시예에 따라 다수의 변경 시점 영상을 생성한 결과를 도시한다.
상기한 과정을, 입력 칼라 영상(210) 및 입력 깊이 영상(220)에 대응하는 기준 시점보다 왼쪽의 시점인 제1 변경 시점으로 수행한 결과(810)와, 상기 기준보다 오른쪽의 시점인 제2 변경 시점으로 수행한 결과(820)가 도시되었다.
이러한 식으로, 임의의 위치에 변경 시점 영상을 생성하여 제공하면, 멀티 뷰 영상을 생성할 수 있다.
이상에서 설명한 본 발명의 다양한 살시예에 따르면, 변경 시점 생성 시 하나의 깊이 영상의 깊이 값을 스케일(Scale)하여 많은 수의 다시점 영상을 빠르고 비교적 정확하게 생성할 수 있다.
또한, 본 발명은 공통으로 사용하는 Occlusion Layer를 생성하여, 매 시점에서 Occlusion 영역을 복원할 필요가 없으며 동일 가리움 레이어(Occlusion Layer)를 사용하므로 복원된 가리움 영역이 일관성을 가지고 있어 다시점 3D 영상 시청 시 발생하는 Ghost Effect등 Artifact 발생이 크게 감소된다.
도 9는 본 발명의 일실시예에 따른 영상 처리 방법을 도시한다.
단계(910)에서 입력 칼라 영상(210)과 입력 깊이 영상(220)이 입력된다.
그러면, 단계(920)에서, 영상 처리 장치(100)의 가리움 경계 검출부(110)는, 입력 깊이 영상에 에지 검출 알고리즘을 적용하여, 입력 깊이 영상 내에서 가리움 경계를 검출한다.
단계(920)에서 가리움 경계 검출부(110)가 가리움 경계를 검출하는 과정은 도 3을 참조하여 상술한 바와 같다.
그러면, 단계(930)에서, 가리움 경계 라벨링부(120)는 상기 가리움 경계의 깊이 그래디언트 벡터 방향을 이용하여 상기 가리움 경계를 전경 영역에 접하는 전경 영역 경계와, 배경 영역에 접하는 배경 영역 경계로 구별하여 라벨링한다.
단계(930)에서 가리움 경계 라벨링부(120)가 전경 영역 경계와 배경 영역 경계를 구별하여 라벨링하는 과정은 도 4를 참조하여 상술한 바와 같다.
그리고, 단계(940)에서, 영상 처리 장치(100)의 영역 구별부(130)는, 상기 전경 영역 경계를 이용하여, 상기 입력 깊이 영상에서 가리움 영역을 추출한다.
이러한 가리움 영역 추출 과정은, 상기 입력 깊이 영상에서 배경 영역과 전경 영역을 구별하는 영역 세그먼테이션 과정으로 이해될 수 있으며, 보다 상세한 과정은 도 5를 참조하여 상술한 바와 같다.
그러면, 단계(950)에서, 영상 처리 장치(100)의 가리움 레이어 생성부(140)는 상기 입력 깊이 영상 중 상기 가리움 영역 이외의 영역의 깊이 값을 이용하여 상기 가리움 영역의 깊이 값을 복원하며, 보다 상세한 과정은 도 6을 참조하여 상술한 바와 같다.
단계(960)에서는, 다시점 영상 생성부(150)가 입력된 깊이 영상 및/또는 칼라 영상과 다른 변경 시점의 영상을 생성하고자 하는 경우, 이러한 변경 시점 영상의 생성을 수행한다.
시점 변경을 위한 영상 워핑 과정 및 이렇게 생성된 다시점 영상은 도 7 내지 도 8을 참조하여 상술한 바와 같다.
본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 영상 처리 장치
110: 가리움 경계 검출부
120: 가리움 경계 라벨링부
130: 영역 구별부
140: 가리움 레이어 생성부
150: 다시점 영상 생성부

Claims (18)

  1. 입력 깊이 영상에 에지 검출 알고리즘을 적용하여 상기 입력 깊이 영상 내의 오브젝트 간의 가리움 경계를 검출하는 가리움 경계 검출부;
    상기 가리움 경계의 깊이 그래디언트 벡터 방향을 이용하여 상기 가리움 경계를 전경 영역 경계와 배경 영역 경계로 구별하는 가리움 경계 라벨링부; 및
    상기 전경 영역 경계를 이용하여 상기 입력 깊이 영상의 가리움 영역을 추출하는 영역 구별부
    를 포함하는, 영상 처리 장치.
  2. 제1항에 있어서,
    상기 입력 깊이 영상 중 상기 가리움 영역 이외의 영역의 깊이 값을 이용하여 상기 가리움 영역의 깊이 값을 복원하는 가리움 레이어 생성부
    를 더 포함하는, 영상 처리 장치.
  3. 제2항에 있어서,
    상기 가리움 레이어 생성부는,
    상기 입력 깊이 영상에 매칭되는 입력 칼라 영상의 적어도 일부 픽셀 값을 이용하여 상기 가리움 영역의 칼라 값을 복원하는, 영상 처리 장치.
  4. 제3항에 있어서,
    상기 가리움 레이어 생성부는,
    Patch 복사 방식의 Inpainting 또는 PDE 방식의 Inpainting 중 적어도 하나의 알고리즘을 사용하여, 상기 입력 깊이 영상에 매칭되는 입력 칼라 영상의 적어도 일부 픽셀 값을 이용하여 상기 가리움 영역의 칼라 값을 복원하는, 영상 처리 장치.
  5. 제1항에 있어서,
    상기 에지 검출 알고리즘은, Canny Edge Detection 알고리즘인, 영상 처리 장치.
  6. 제1항에 있어서,
    상기 가리움 경계 라벨링부는,
    상기 가리움 경계 픽셀 중 깊이 값이 커지는 깊이 그래디언트 벡터 방향에 인접한 픽셀을 전경 영역 경계로 결정하고, 상기 깊이 그래디언트 벡터의 반대 방향에 인접한 픽셀을 배경 영역 경계로 결정하여, 상기 가리움 경계를 전경 영역 경계와 배경 영역 경계로 구별하는, 영상 처리 장치.
  7. 제1항에 있어서,
    상기 영역 구별부는,
    상기 전경 영역 경계를 시드로 사용하여 영역 확장 및 세그먼테이션 알고리즘을 사용하여, 상기 입력 깊이 영상의 가리움 영역을 추출하는, 영상 처리 장치.
  8. 제7항에 있어서,
    상기 세그먼테이션 알고리즘은, Watershed 또는 Graphcut 중 적어도 하나의 알고리즘인, 영상 처리 장치.
  9. 제3항에 있어서,
    상기 가리움 영역의 깊이 값 및 칼라 값을 이용하여, 상기 입력 깊이 영상과 상이한 적어도 하나의 변경 시점 각각에 대하여, 깊이 영상 및 칼라 영상 중 적어도 하나를 생성하는 다시점 영상 생성부
    를 더 포함하는, 영상 처리 장치.
  10. 제9항에 있어서,
    상기 다시점 영상 생성부는,
    상기 적어도 하나의 변경 시점에 대응하도록 상기 입력 깊이 영상 및 상기 입력 칼라 영상을 워핑하고, 상기 가리움 영역의 칼라 값을 이용하여 상기 가리움 영역을 채우고, Hole filling 알고리즘을 수행하여, 상기 적어도 하나의 변경 시점 각각에 대하여, 깊이 영상 및 칼라 영상 중 적어도 하나를 생성하는, 영상 처리 장치.
  11. 입력 깊이 영상에 에지 검출 알고리즘을 적용하여 상기 입력 깊이 영상 내의 오브젝트 간의 가리움 경계를 검출하는 가리움 경계 검출 단계;
    상기 가리움 경계의 깊이 그래디언트 벡터 방향을 이용하여 상기 가리움 경계를 전경 영역 경계와 배경 영역 경계로 구별하는 가리움 경계 라벨링 단계; 및
    상기 전경 영역 경계를 이용하여 상기 입력 깊이 영상의 가리움 영역을 추출하는 영역 구별 단계
    를 포함하는, 영상 처리 방법.
  12. 제11항에 있어서,
    상기 입력 깊이 영상 중 상기 가리움 영역 이외의 영역의 깊이 값을 이용하여 상기 가리움 영역의 깊이 값을 복원하는 가리움 레이어 생성 단계
    를 더 포함하는, 영상 처리 방법.
  13. 제12항에 있어서,
    상기 가리움 레이어 생성 단계는,
    상기 입력 깊이 영상에 매칭되는 입력 칼라 영상의 적어도 일부 픽셀 값을 이용하여 상기 가리움 영역의 칼라 값을 복원하는, 영상 처리 방법.
  14. 제11항에 있어서,
    상기 가리움 경계 라벨링 단계는,
    상기 가리움 경계 픽셀 중 깊이 값이 커지는 깊이 그래디언트 벡터 방향에 인접한 픽셀을 전경 영역 경계로 결정하는 단계;
    상기 깊이 그래디언트 벡터의 반대 방향에 인접한 픽셀을 배경 영역 경계로 결정하는 단계; 및
    상기 가리움 경계를 전경 영역 경계와 배경 영역 경계로 구별하는 단계
    를 포함하는, 영상 처리 방법.
  15. 제11항에 있어서,
    상기 영역 구별 단계는,
    상기 전경 영역 경계를 시드로 사용하여 영역 확장 및 세그먼테이션 알고리즘을 사용하여, 상기 입력 깊이 영상의 가리움 영역을 추출하는, 영상 처리 방법.
  16. 제13항에 있어서,
    상기 가리움 영역의 깊이 값 및 칼라 값을 이용하여, 상기 입력 깊이 영상과 상이한 적어도 하나의 변경 시점 각각에 대하여, 깊이 영상 및 칼라 영상 중 적어도 하나를 생성하는 다시점 영상 생성 단계
    를 더 포함하는, 영상 처리 방법.
  17. 제16항에 있어서,
    상기 다시점 영상 생성 단계는,
    상기 적어도 하나의 변경 시점에 대응하도록 상기 입력 깊이 영상 및 상기 입력 칼라 영상을 워핑하는 단계;
    상기 가리움 영역의 칼라 값을 이용하여 상기 가리움 영역을 채우는 단계; 및
    상기 가리움 영역을 채운 결과에 구멍 채우기 알고리즘을 수행하여, 상기 적어도 하나의 변경 시점 각각에 대하여, 깊이 영상 및 칼라 영상 중 적어도 하나를 생성하는 단계
    를 포함하는, 영상 처리 방법.
  18. 제11항 내지 제17항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020100110994A 2010-11-09 2010-11-09 영상 처리 장치 및 방법 KR20120049636A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100110994A KR20120049636A (ko) 2010-11-09 2010-11-09 영상 처리 장치 및 방법
US13/183,718 US20120114225A1 (en) 2010-11-09 2011-07-15 Image processing apparatus and method of generating a multi-view image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100110994A KR20120049636A (ko) 2010-11-09 2010-11-09 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120049636A true KR20120049636A (ko) 2012-05-17

Family

ID=46019674

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100110994A KR20120049636A (ko) 2010-11-09 2010-11-09 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US20120114225A1 (ko)
KR (1) KR20120049636A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014035103A1 (ko) * 2012-08-31 2014-03-06 에스케이텔레콤 주식회사 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
WO2017007048A1 (ko) * 2015-07-08 2017-01-12 재단법인 다차원 스마트 아이티 융합시스템 연구단 에지의 깊이 전파 방향을 이용한 이미지에서의 깊이 결정 방법 및 장치
US9582856B2 (en) 2014-04-14 2017-02-28 Samsung Electronics Co., Ltd. Method and apparatus for processing image based on motion of object
US9811883B2 (en) 2014-11-25 2017-11-07 Samsung Electronics Co., Ltd. Image processing method and apparatus
US11164319B2 (en) 2018-12-20 2021-11-02 Smith & Nephew, Inc. Machine learning feature vector generator using depth image foreground attributes

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120269458A1 (en) * 2007-12-11 2012-10-25 Graziosi Danillo B Method for Generating High Resolution Depth Images from Low Resolution Depth Images Using Edge Layers
KR101281961B1 (ko) * 2009-12-21 2013-07-03 한국전자통신연구원 깊이 영상 편집 방법 및 장치
US9116011B2 (en) 2011-10-21 2015-08-25 Here Global B.V. Three dimensional routing
US9047688B2 (en) * 2011-10-21 2015-06-02 Here Global B.V. Depth cursor and depth measurement in images
US8553942B2 (en) 2011-10-21 2013-10-08 Navteq B.V. Reimaging based on depthmap information
CN104254870B (zh) * 2011-12-30 2017-08-01 英特尔公司 用于局部优化纹理综合3‑d图像修复的方法和装置
US9024970B2 (en) 2011-12-30 2015-05-05 Here Global B.V. Path side image on map overlay
US9404764B2 (en) 2011-12-30 2016-08-02 Here Global B.V. Path side imagery
US20130202194A1 (en) * 2012-02-05 2013-08-08 Danillo Bracco Graziosi Method for generating high resolution depth images from low resolution depth images using edge information
JP6131546B2 (ja) * 2012-03-16 2017-05-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US9269155B2 (en) * 2012-04-05 2016-02-23 Mediatek Singapore Pte. Ltd. Region growing method for depth map/color image
KR101994319B1 (ko) * 2013-02-20 2019-06-28 삼성전자주식회사 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
US9042649B2 (en) * 2013-09-24 2015-05-26 Konica Minolta Laboratory U.S.A., Inc. Color document image segmentation and binarization using automatic inpainting
KR102156402B1 (ko) * 2013-11-05 2020-09-16 삼성전자주식회사 영상 처리 방법 및 장치
CN108475330B (zh) 2015-11-09 2022-04-08 港大科桥有限公司 用于有伪像感知的视图合成的辅助数据
EP3273686A1 (en) 2016-07-21 2018-01-24 Thomson Licensing A method for generating layered depth data of a scene
US10165259B2 (en) * 2017-02-15 2018-12-25 Adobe Systems Incorporated Generating novel views of a three-dimensional object based on a single two-dimensional image
CN108279809B (zh) * 2018-01-15 2021-11-19 歌尔科技有限公司 一种校准方法和装置
CN108764186B (zh) * 2018-06-01 2021-10-26 合肥工业大学 基于旋转深度学习的人物遮挡轮廓检测方法
CN110798677B (zh) * 2018-08-01 2021-08-31 Oppo广东移动通信有限公司 三维场景建模方法及装置、电子装置、可读存储介质及计算机设备
CN111325763B (zh) * 2020-02-07 2023-04-07 清华大学深圳国际研究生院 一种基于光场重聚焦的遮挡预测方法和装置
CN113205518B (zh) * 2021-07-05 2021-09-07 雅安市人民医院 医疗车图像信息处理方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5420971A (en) * 1994-01-07 1995-05-30 Panasonic Technologies, Inc. Image edge finder which operates over multiple picture element ranges
ATE386311T1 (de) * 2002-03-23 2008-03-15 Koninkl Philips Electronics Nv Verfahren zur interaktiven segmentierung einer in einem objekt enthaltenen struktur
US6856314B2 (en) * 2002-04-18 2005-02-15 Stmicroelectronics, Inc. Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling
US7876974B2 (en) * 2003-08-29 2011-01-25 Vladimir Brajovic Method for improving digital images and an image sensor for sensing the same
KR100568105B1 (ko) * 2003-10-02 2006-04-05 삼성전자주식회사 에지 기반의 영상 적응형 디인터레이싱 방법
US7522314B2 (en) * 2003-12-19 2009-04-21 Hewlett-Packard Development Company, L.P. Image sharpening
US20060291697A1 (en) * 2005-06-21 2006-12-28 Trw Automotive U.S. Llc Method and apparatus for detecting the presence of an occupant within a vehicle
US8073292B2 (en) * 2006-02-28 2011-12-06 Koninklijke Philips Electronics N.V. Directional hole filling in images
JP4607208B2 (ja) * 2007-05-23 2011-01-05 コワングウーン ユニバーシティー リサーチ インスティテュート フォー インダストリー コーオペレーション 立体映像ディスプレイ方法
KR101367284B1 (ko) * 2008-01-28 2014-02-26 삼성전자주식회사 시점 변화에 따른 영상 복원 방법 및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014035103A1 (ko) * 2012-08-31 2014-03-06 에스케이텔레콤 주식회사 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
US9367742B2 (en) 2012-08-31 2016-06-14 Sk Telecom Co., Ltd. Apparatus and method for monitoring object from captured image
US9582856B2 (en) 2014-04-14 2017-02-28 Samsung Electronics Co., Ltd. Method and apparatus for processing image based on motion of object
US9811883B2 (en) 2014-11-25 2017-11-07 Samsung Electronics Co., Ltd. Image processing method and apparatus
WO2017007048A1 (ko) * 2015-07-08 2017-01-12 재단법인 다차원 스마트 아이티 융합시스템 연구단 에지의 깊이 전파 방향을 이용한 이미지에서의 깊이 결정 방법 및 장치
US11164319B2 (en) 2018-12-20 2021-11-02 Smith & Nephew, Inc. Machine learning feature vector generator using depth image foreground attributes
US11688075B2 (en) 2018-12-20 2023-06-27 Smith & Nephew, Inc. Machine learning feature vector generator using depth image foreground attributes

Also Published As

Publication number Publication date
US20120114225A1 (en) 2012-05-10

Similar Documents

Publication Publication Date Title
KR20120049636A (ko) 영상 처리 장치 및 방법
US11838606B2 (en) Methods and systems for large-scale determination of RGBD camera poses
Ahn et al. A novel depth-based virtual view synthesis method for free viewpoint video
KR102350235B1 (ko) 영상 처리 방법 및 장치
KR20120014876A (ko) 영상 처리 장치 및 방법
KR101055411B1 (ko) 입체 영상 생성 방법 및 그 장치
US20130100256A1 (en) Generating a depth map
JP7004493B2 (ja) 映像処理方法及び装置
KR20120003232A (ko) 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법
KR101960852B1 (ko) 배경 픽셀 확장 및 배경 우선 패치 매칭을 사용하는 멀티 뷰 렌더링 장치 및 방법
US9948913B2 (en) Image processing method and apparatus for processing an image pair
KR101683164B1 (ko) 폐색 영역 복원 장치 및 방법
Luo et al. Foreground removal approach for hole filling in 3D video and FVV synthesis
KR102362345B1 (ko) 이미지 처리 방법 및 장치
WO2013072212A1 (en) Apparatus and method for real-time capable disparity estimation for virtual view rendering suitable for multi-threaded execution
KR101282742B1 (ko) 3차원 영상을 이용한 객체 검출 장치 및 그 방법
Nguyen et al. New hole-filling method using extrapolated spatio-temporal background information for a synthesized free-view
Lim et al. Bi-layer inpainting for novel view synthesis
Orozco et al. HDR multiview image sequence generation: Toward 3D HDR video
JP2015033047A (ja) 複数カメラを用いた奥行き推定装置
Kakaletsis et al. A technique for fake 3d (2d-to-3d converted) video recognition
JP5838112B2 (ja) 複数の被写体領域を分離する方法、プログラム及び装置
Yin et al. A stereo pairs disparity matching algorithm by mean-shift segmentation
Wei et al. Iterative depth recovery for multi-view video synthesis from stereo videos
KR101278636B1 (ko) 2차원 영상을 스테레오스코픽 입체 영상으로 변환하기 위한 객체 검출 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid