KR20100121492A - 홀 채움을 위한 방법 및 이미지-프로세싱 디바이스 - Google Patents

Abstract

본 발명은 할당되지 않은 픽셀 값들을 갖는 이미지(705)에서의 인접한 픽셀 위치들에 픽셀 값들을 할당하는 이미지-프로세싱 디바이스 및 방법에 관한 것이다. 상기 방법은 적어도 상기 할당되지 않은 픽셀 위치들에 인접한 제 1 영역에서의 할당된 픽셀 값들을 기반으로 하는, 제 1 방향에서 상기 인접한 픽셀 위치들로의 전파를 위한 제 1 전파 픽셀 값(730)들을 발생시키고; 상기 제 1 방향을 따라 홀에 인접한 제 2 영역에서의 할당된 픽셀 값들의 픽셀 값들에서의 불연속성들을 고려하여, 상기 제 1 방향을 따라 상기 할당된 픽셀 값들에서의 불연속성의 발생이 더 낮은 전파 가중치들(735)을 발생시키도록 상기 제 1 전파 픽셀 값들(730)에 대한 제 1 전파 가중치들(735)을 발생시킴으로써 제 1 전파 픽셀 값들(730) 및 상기 제 1 전파 픽셀 값들(730)을 제 1 방향을 따라 상기 인접한 픽셀 위치들 쪽으로 전파하기 위한 제 1 전파 가중치들(735)을 발생시키는 단계; 및 적어도 부분적으로 상기 제 1 전파 픽셀 값들(730) 및 제 1 전파 가중치들(735)을 기반으로 하여 상기 인접한 픽셀 위치들에 픽셀 값들을 할당하는 단계를 포함한다. 본 발명은 또한 상기 방법을 구현하는 컴퓨터 프로그램 및 상기 프로그램을 포함하는 컴퓨터 프로그램 제품에 관한 것이다.

Description

홀 채움을 위한 방법 및 이미지-프로세싱 디바이스{METHOD AND IMAGE-PROCESSING DEVICE FOR HOLE FILLING}

본 발명은 할당되지 않은 픽셀 값(pixel value)들을 갖는 이미지에서의 인접한 픽셀 위치들에 픽셀 값들을 할당하는 방법 및 이미지-프로세싱 디바이스 뿐만 아니라, 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 상기 방법이 실행되도록 하는 컴퓨터 프로그램 및 컴퓨터 프로그램 제품에 관한 것이다.

현재, 가전 산업(consumer electronics industry)은 집에서 3-차원 이미지/비디오 경험을 소비자에게 제공하는 것에 점점 관심이 있다. 성장하는 수의 디스플레이들이 대중에게 이용 가능하게 되고 있다. 이러한 디스플레이들은 2개의 뷰(view)들을 사용자에게 제공하는 글래스-기반 입체 시스템(glass-based stereoscopic system)들, 및 배리어 및/또는 렌티큘러-기반 자동입체 디스플레이(barrier and/or lenticular-based autostereoscopic display)들과 같은 자동 입체 시스템들을 포함한다.

입체 및 자동입체 시스템들 둘 모두는 2개의 약간 이격된 뷰잉 위치(viewing position)들로부터 뷰잉되는 하나이고 동일한 장면의 적어도 2개의 이미지들을 표현하고 뷰어의 좌안(left eye) 및 우안(right eye) 사이의 거리를 미미킹(mimicking)함으로써 깊이의 지각을 제공하는 것이 가능하다는 사실을 이용한다. 2개의 상이한 위치들로부터 뷰잉되는 동일한 장면의 오브젝트(object)들의 명백한 변위 및 명백한 방향의 차이가 시차(parallax)라고 칭해진다. 시차는 뷰어가 장면에서 오브젝트들의 깊이를 지각하도록 한다. 상이한 가상 위치들로부터 뷰잉되는 동일한 장면의 복수의 이미지들이 2-차원 이미지의 각각의 픽셀 값에 대한 깊이 데이터가 공급된 2-차원 이미지를 변환함으로써 획득될 수 있다. 장면에서의 각각의 포인트에 대하여, 픽셀 값 이외에, 상기 포인트로부터 이미지-캡처 디바이스(image-capturing device)까지, 또는 또 다른 기준 포인트까지, 또는 프로젝션 스크린(projection screen)과 같은 플레인(plane)까지의 거리가 캡처된다. 이와 같은 포맷(format)은 통상적으로 이미지 + 깊이 비디오 포맷이라고 칭해진다.

이미지 + 깊이 비디오 포맷을 상이한 위치들로부터 뷰잉되는 복수의 이미지들로 변환할 때, 입력 데이터가 특정 출력 픽셀들에 대해 이용 가능하지 않은 것이 발생할 수 있다. 그러므로, 이러한 출력 픽셀들은 자신들의 픽셀 위치들 내에 할당된 임의의 명확한 값들을 갖지 않는다. 이러한 할당되지 않은 픽셀 값들은 종종 변환된 이미지에서의 "홀(hole)들"로서 칭해진다. 본 문서에서, 용어 "홀" 또는 "할당되지 않은 픽셀 값들을 갖는 인접한 픽셀 위치들"은 할당되지 않은 픽셀 값들의 인접한 픽셀 위치들을 포함하는 영역을 칭하기 위하여 상호교환 가능하게 사용될 것이다.

홀은 예를 들어, 이미지 + 깊이 포맷에서 인코딩된 이미지에서 보이는 오브젝트가 새로운 뷰를 발생시키는데 사용될 때 발생할 수 있다. 새로운 뷰에서, 이미지 + 깊이 비디오 포맷의 원래 이미지 정보에 존재하는 오브젝트가 자신의 깊이 값의 결과로서 변위됨으로써, 이용 가능하였던 이미지 정보의 부분을 오클루딩(occluding)하고 이미지 정보가 이미지 + 깊이 비디오 포맷에서 이용 가능하지 않은 영역을 디-오클루딩(de-occluding)하는 것이 발생할 수 있다. 홀-채움 알고리즘(hole-filling algorithm)들이 이와 같은 아티팩트(artifact)들을 극복하기 위하여 사용될 수 있다.

홀들은 또한 전방향 모션 보상(forward motion compensation)을 사용하여 널리-공지된 비디오 압축 방식들에 따라 인코딩되었던 이미지 시퀀스(image sequence)들을 포함하는 2D 비디오 정보의 디코딩된 출력에서 발생할 수 있다. 이와 같은 비디오 압축 방식에서, 프레임(frame) 내의 픽셀들의 영역들은 이전 프레임의 픽셀들의 투영된 영역들로부터 예측된다. 이것은 시프트 모션 예측 방식(shift motion prediction scheme)이라고 칭해진다. 이 예측 방식에서, 프레임들 내의 오브젝트들의 모션으로 인하여 일부 영역들은 중첩되고 일부 영역들은 디스조인트(disjoint)된다. 디스조인트 에어리어들 내의 픽셀 위치들은 명확한 픽셀 값들을 할당받지 못한다. 결과적으로, 홀들이 이미지 시퀀스들을 포함하는 2D 비디오 정보의 디코딩된 출력에서 발생한다. 더욱이, 홀들을 초래하는 레퍼런싱되지 않은 에어리어(unreferenced area)들이 배경들 및 전경들이 별도로 인코딩되는 오브젝트-기반 비디오-인코딩 방식들, 예를 들어, MPEG-4의 배경에서 발생할 수 있다. 홀-채움 알고리즘들이 이러한 아티팩트들을 극복하기 위하여 사용될 수 있다.

명칭이 "Directional hole filling in images"인 국제 특허 출원 WO2007/099465는 다른 방법들에 비하여 이미지에서 시각적인 왜곡을 감소시키는 방법을 제공하는 목적을 갖는다. 상기 해결책이 시각적인 왜곡을 감소시키는 뚜렷한 개선점을 제공할지라도, 상기 해결책에 의해 충분히 처리되지 않는 문제들이 여전히 존재한다.

본 발명의 목적은 할당되지 않은 픽셀 값들을 갖는 이미지에서의 인접한 픽셀 위치들에 픽셀 값들을 할당하는 대안적인 구현예를 제공하는 것이다.

이 목적은 할당되지 않은 픽셀 값들을 갖는 이미지에서의 인접한 픽셀 위치들에 픽셀 값들을 할당하는 방법에 의해 성취되는데, 상기 방법은: 적어도 상기 할당되지 않은 픽셀 위치들에 인접한 제 1 영역에서의 할당된 픽셀 값들을 기반으로 하는, 제 1 방향에서 상기 인접한 픽셀 위치들로의 전파를 위한 제 1 전파 픽셀 값들을 발생시키고, 상기 제 1 방향을 따라 홀에 인접한 제 2 영역에서의 할당된 픽셀 값들의 픽셀 값들에서의 불연속성들을 고려하여, 상기 제 1 방향을 따라 상기 할당된 픽셀 값들에서의 불연속성의 발생이 더 낮은 전파 가중치들을 발생시키도록 상기 제 1 전파 픽셀 값들에 대한 제 1 전파 가중치들을 발생시킴으로써 제 1 전파 픽셀 값들 및 상기 제 1 전파 픽셀 값들을 제 1 방향을 따라 상기 인접한 픽셀 위치들 쪽으로 전파하기 위한 제 1 전파 가중치들을 발생시키는 단계; 및 적어도 부분적으로 상기 제 1 전파 픽셀 값들 및 제 1 전파 가중치들을 기반으로 하여 상기 인접한 픽셀 위치들에 픽셀 값들을 할당하는 단계를 포함한다.

본 발명은 적어도 부분적으로 홀을 통한 후보 픽셀 값들의 전파를 기반으로 하는 홀-채움 해결책을 제공한다. 이를 위해, 적어도 부분적으로 홀에 인접한 제 1 영역으로부터의 할당된 픽셀 값들을 기반으로 하는 제 1 전파 픽셀 값들이 결정된다. 제 1 영역의 위치는 제 1 방향에 의해 결정된다. 전형적으로, 제 1 영역은 제 1 방향을 따라 홀 내로 전파될 수 있는 홀 경계 상의 할당된 픽셀 값들을 포함한다. 상술된 방법에 의해 또한 확립되는 제 1 가중치들이 제 1 전파 픽셀 값들이 할당되지 않은 픽셀 위치들에 픽셀 값들을 할당하는데 사용될 수 있는 신뢰성(confidence)에 관한 표시를 제공한다.

가중치들은 제 1 방향을 따라 제 2 영역으로부터의 할당된 픽셀 값들을 기반으로 한다. 픽셀 값들에서의 강한 불연속성이 홀들을 "크로싱(crossing)할" 때, (제 1 방향을 따라 이동할 때 지각되는 바와 같은) "크로싱" 이전의 픽셀 위치들과 연관된 가중치가 "크로싱" 이후의 픽셀 위치들보다 더 높은 신뢰성을 가질 것이다. 이 방식으로, 본 발명은 부적절한 픽셀 값들의 에러 있는 전파를 방지한다.

픽셀 값들은 제 1 전파 값들 및 전파 가중치들에 의해 표현되는 바와 같은 신뢰성을 기반으로 하여 할당될 수 있다. 전파 가중치가 낮은 경우에, 예를 들어, 홀을 둘러싸는 평균 픽셀 값과 같은 다른 값들이 제 1 전파 픽셀 값들의 전파 가중치 대신 사용될 수 있다. 이 방식으로, 홀 에지 상에서 종료되는 강한 불연속성이 제 1 전파 픽셀 값들의 에러 있는 전파를 방지하는데 사용될 수 있다.

하나의 실시예에서, 제 1 전파 픽셀 값들은 할당되지 않은 픽셀 위치들에 인접한 제 1 영역에서의 할당된 픽셀 값들을 갖는 픽셀 위치들을 포함하는 할당된 픽셀 값들을 통하여 제 1 방향성 필터에 의하여 발생된다. 이 방식으로, 제 1 전파 값들은 다수의 픽셀들이 사용되는 바와 같이, 잡음에 더 로버스트(robust)하게 될 수 있다. 더구나, 오클루전(occlusion) 및 디-오클루전(de-occlusion)이 일반적으로 점진적인 프로세스이기 때문에, 프레임 당 다수의 픽셀들의 필터링은 또한 제 1 전파 값들이 단지 홀에 바로 인접한 제 1 영역에서의 픽셀 위치들에 의존하지 않기 때문에, 추가적인 시간 일관성을 제공한다.

부가적인 실시예에서, 제 1 전파 가중치들은 제 1 방향에 따라 제 2 영역에서의 할당된 픽셀 값들에 대해 에지 검출기를 사용함으로써 발생된다. 제 1 방향에 따라 제 2 영역에서의 할당된 픽셀 값들에서 불연속성들을 확립하는 다른 방법들이 존재할지라도, 에지 검출기는 프로세싱 관점에서 상대적으로 저-비용 구현예이다.

또 다른 실시예에서, 상기 방법은 제 2 전파 픽셀 값들 및 상기 제 2 전파 픽셀 값을 제 2 방향을 따라 인접한 픽셀 위치들 쪽으로 전파하기 위한 제 2 전파 가중치들을 발생시키는 단계를 더 포함하며, 상기 인접한 픽셀 위치들에 할당된 픽셀 값들은 적어도 부분적으로 상기 제 1 및 제 2 전파 픽셀 값들 및 상기 제 1 및 제 2 전파 가중치들을 기반으로 한다. 이 방식으로, 다수의 전파들로부터의 결과들이 홀 내의 픽셀 위치들에 픽셀 값을 할당할 시에 결합될 수 있다. 이 실시예가 부가적인 홀-채움 방법들로부터 획득된 다른 픽셀 값들의 부가적인 사용을 배제하지 않는다는 점을 주의하라. 제 1 및 제 2 방향은 바람직하게는, 수직 방향들이므로, 수평 및 수직 오클루전/디-오클루전을 핸들링하도록 한다.

또 다른 실시예에서, 상기 인접한 픽셀 위치들에 픽셀 값들을 할당하는 단계는 상기 제 1 전파 가중치들로 가중된 상기 제 1 전파 픽셀 값들을 상기 제 2 전파 가중치들로 가중된 상기 제 2 전파 픽셀 값들과 블렌딩하는 단계를 포함한다. 이 방식으로, 요구가 많은 프로세싱 단계들을 필요로 하지 않는 간단한 구현예가 성취된다.

상기 목적은 또한 청구항 8에 규정된 바와 같은 할당되지 않은 픽셀 값들 내의 인접한 픽셀 위치들에 픽셀 값들을 할당하는 이미지-프로세싱 디바이스에 의해 성취된다.

상기 목적은 또한 청구항들 12 및 13에서 각각 규정된 바와 같은 컴퓨터 프로그램 제품에 구현된 컴퓨터 프로그램에 의해 성취된다.

본 발명에 의하면, 할당되지 않은 픽셀 값들을 갖는 이미지에서의 인접한 픽셀 위치들에 픽셀 값들을 할당하는 대안적인 구현예가 제공된다.

도 1은 본 발명에 따른 홀-채움 방법을 도시한 도면.
도 2a는 채워질 홀을 포함하는 예시적 이미지를 도시한 도면.
도 2b는 홀을 채우기 위한 제 1 전파 픽셀 값들을 도시한 도면.
도 2c는 홀을 채우기 위한 제 2 전파 픽셀 값들을 도시한 도면.
도 2d는 홀을 채우기 위한 제 1 전파 가중치들을 도시한 도면.
도 2e는 홀을 채우기 위한 제 2 전파 가중치들을 도시한 도면.
도 2f는 채워진 홀을 갖는 예시적 이미지를 도시한 도면.
도 3a는 방향성 필터링 방법을 도시한 도면.
도 3b는 전파 가중치 발생을 도시한 도면.
도 4는 홀-세그먼팅(hole-segmenting)을 도시한 도면.
도 5는 전파 가중치 발생을 도시한 도면.
도 6a는 장면의 우-안 뷰를 도시한 도면.
도 6b는 도 6a의 우-안 뷰로부터 도출되는 좌-안 뷰를 도시한 도면.
도 6c는 본 발명에 따라 채워진 홀을 갖는 이미지를 도시한 도면.
도 6d는 본 발명을 사용함으로써 도출되는 부가적인 좌-안 뷰를 도시한 도면.
도 7a는 본 발명에 따른 이미지-프로세싱 디바이스를 도시한 도면.
도 7b는 본 발명에 따른 부가적인 이미지-프로세싱 디바이스를 도시한 도면.
도 8은 본 발명에 따른 디스플레이 디바이스를 도시한 도면.

본 발명의 이러한 양상들 및 다른 유용한 양상들이 다음 도면들을 참조하여 더 상세히 설명될 것이다.

도면들은 크기대로 도시되어 있지는 않다. 일반적으로, 도면들에서 동일한 구성요소들에는 동일한 참조 번호들이 병기되어 있다.

홀 채움의 개념을 다루는 여러 애플리케이션들이 이미지 프로세싱의 세계에서 공지되어 있다. 이와 같은 애플리케이션들 중 2개, 즉, 이미지 + 깊이 비디오 포맷에서 제공된 비디오 정보를 기반으로 한 뷰 렌더링을 위한 이미지들 내의 디-오클루딩된 에어리어들에서의 채움, 및 비디오 압축 방식들에서의 시프트 모션 예측에서의 정보의 예측이 이전에 이미 제안되었다. 부가적인 대안적 애플리케이션 에어리어들은 예를 들어, 이미지 복구이다.

상이한 방식들로 홀 채움을 다루는 여러 방법들이 공지되어 있다. 이와 같은 방식은 국제 특허 출원 WO2007/099465에 개시되어 있다. 그러나, 이러한 기술들은 일반적으로 시간적으로 안정된 해결책이 된다는 결점을 갖는다. 본 발명의 특정 실시예들, 특히, 다수의 전파 픽셀 값들의 블렌딩을 포함하는 실시예들은 계산적으로 간단하지만, 시간적으로 안정된 홀-채움 해결책을 제공한다.

도 1은 본 발명에 따른 홀-채움 방법을 도시한다. 도 1은 할당된 픽셀 값들을 갖는 (인접한) 픽셀 위치들 뿐만 아니라, 할당되지 않은 픽셀 값들을 갖는 (인접한) 픽셀 위치들, 즉, 원형 홀(20)을 포함하는 이미지(10)를 도시한다. 이미지(10) 내에서, 인접할 픽셀 값들의 대부분은 이미지의 상부로부터 상부 홀 에지로, 그리고 하부 홀 에지로부터 이미지(10)의 하부로 확장되는 수직으로 지향된 어두운 바(dark bar)(30)를 제외하고는, 그레이 톤(gray tone)을 갖는다.

기본적인 아이디어(idea)는 홀(20) 바로 외부의 픽셀 값들이 홀(20) 내의 할당되지 않은 픽셀 위치들에 대한 추정된 픽셀 값들을 발생시키는데 사용된다는 것이다. 할당되지 않은 픽셀 위치에 대한 실제 픽셀 값의 추정치는 홀(20) 바로 외부의 픽셀 값들을 전파 방향을 따라 전파함으로써 발생될 수 있다.

본 발명에 따르면, 제 1 전파 픽셀 값들 및 제 1 전파 가중치들이 홀(20) 내의 픽셀 위치들에 픽셀 값들을 할당할 시에 사용하기 위하여 결정된다. 이를 위해, 본 발명은 화살표 95로 표시된 제 1 방향으로, 여기서는, 홀(20)을 통해 좌측으로부터 우측으로 제 1 전파 픽셀 값들을 전파하는 것을 제안한다.

실제 제 1 전파 픽셀 값들은 다양한 방식들로 발생될 수 있다. 그러나, 제 1 전파 픽셀 값들은 전형적으로 할당되지 않은 픽셀 위치들(홀(20))에 인접한 제 1 영역에서의 할당된 픽셀 값들을 기반으로 한다. 도 1은 픽셀 위치(x_i, y_i)에서의 픽셀(i)에 대한 픽셀 값의 결정을 도시한다. 이 특정 픽셀 위치에 대하여, 제 1 영역은 할당된 픽셀 값을 갖는 픽셀 위치(x_j, y_j)에서의 픽셀(j)을 포함한다. 픽셀 위치(x_j, y_j)는 제 1 방향과 반대로, 홀(20)에 인접하게 위치된다. 제 1 전파 픽셀 값들을 홀(20) 내에서 전파 방향을 따라 전파할 때, (x_j, y_j)에서의 픽셀 값을 기반으로 한 제 1 전파 픽셀 값이 홀(20)을 통하여 우측으로 전파될 것이다.

본 발명은 또한 제 1 전파 픽셀 값들을 제 1 방향을 따라 전파할 시에 사용하기 위한 전파 가중치들의 발생에 관한 것이다. 전파 가중치들은 제 1 방향을 따라 홀 경계에 인접한 제 2 영역에서의 할당된 픽셀 값들의 픽셀 값들에서의 불연속성들을 고려하는데 사용된다. 여기서 도시된 예에서, 제 2 영역은 실제로 홀(20)의 경계 주위의 모든 할당된 픽셀 위치들을 포함한다. 이 경계에서 발견되는 불연속성들은 이어서, 제 1 방향을 따른 상기 할당된 픽셀 값들에서의 불연속성의 발생이 더 낮은 전파 가중치를 발생시키는 방식으로 전파 가중치들에 영향을 주는데 사용된다. 바람직하게는, 경계를 따라 마주치게 되는 불연속성이 더 클수록, 이 불연속성을 넘어선 전파 가중치가 더 작아진다.

예를 들어, y-좌표(y=y_j) 및 x-좌표(x>x_j)를 갖는 할당되지 않은 픽셀 위치들(즉, 픽셀 위치(x_j, y_j) 우측의 픽셀 위치들)을 고려하자. 이 실시예에서, 제 1 전파 픽셀 값들은 전파 방향의 반대 측 상에서, 홀에 인접한 픽셀 값들이도록 선택된다. 픽셀 i에 대하여, 이것은 픽셀 j의 픽셀 값이다. 픽셀 j의 바로 우측에 홀 경계를 따른 불연속성들이 존재하지 않기 때문에, 픽셀 j의 우측의 픽셀 위치가 제 1 전파 픽셀 값과 동일한 픽셀 값을 갖는다는 높은 신뢰성이 존재한다; 1(또는 대안적으로 1에 가까운)의 전파 가중치에서의 변환. 실제로, 전파 가중치는 y=y_j 및 y_i인 모든 다음의 할당되지 않은 픽셀들에 대하여 1의 값으로 설정될 수 있다. x-좌표(x=x_i)를 갖는, 즉, 픽셀 위치(x_l, y_l)에서의 픽셀 l 아래의 픽셀 위치들에 대하여, 홀(20)의 상부 경계 및 하부 경계 둘 모두에서 할당된 픽셀 값들에서의 강한 불연속성이 발견될 수 있다. 이러한 강한 불연속성들로 인하여, x>x_l에 대하여 제 1 전파 픽셀 값이 전파되어야 하는 신뢰성 레벨이 낮다. 그러므로, 제 1 방향을 따른 픽셀들에 대한 전파 가중치들이 실질적으로 낮아져야 한다. 결과적으로, x<x_l인 픽셀 위치들, 즉, 파선(35) 좌측의 픽셀 위치들에 대한 전파 가중치들이 x≥x_l인 픽셀 위치들, 즉, 컬럼(x_l) 우측의 픽셀 위치들에 대한 전파 가중치들보다 더 크다.

상술된 것은 전파 가중 프로세스를 발생시키는 질적 표시를 제공한다. 더 정교한 질적 분석이 아래에 제공될 것이다. 상기 방법이 실질적인 방식으로 개선될 수 있다는 점이 주의된다. 상술된 제 1 전파 픽셀 값들 및 제 1 전파 가중치들은 다른 홀-채움 기술들로 더 보완될 수 있다. 예를 들어, 하나의 실시예에서, 홀 내의 할당되지 않은 픽셀 위치들에 할당될 픽셀 값들은 제 1 전파 픽셀 값들, 제 1 전파 가중치 및 홀 경계 상의 모든 할당된 픽셀 위치들의 평균 픽셀 값을 기반으로 할 수 있다. 대안적으로, 홀-채움 방법은 또한 바람직하게는 제 1 방향에 수직인 제 2 방향을 따라 제 2 전파 가중치들을 사용한 제 2 전파 픽셀 값들의 전파와 관련되며, 모든 3개의 추정치들을 기반으로 하여 홀 내의 픽셀 위치들에 대한 픽셀 값들을 결정한다.

도 2a 내지 도 2f는 이제 도 2a에 표현되고 50% 루미넌스 값(luminance value)을 갖는 할당된 픽셀 위치들(210) 및 0% 루미넌스 값을 갖는 할당된 픽셀 위치들(220)을 포함하는 루미넌스 이미지의 좌측-대-우측 및 우측-대-좌측 전파 둘 모두를 포함하는 본 발명에 따른 방법을 설명하는데 사용될 것이다. 파선 아웃라인(dashed outline)(230)은 할당되지 않은 픽셀 값들을 갖는 픽셀 위치들, 즉, 거의 원형 홀을 포함한다. 도시된 이미지가 루미넌스 이미지일지라도, 동일한 방법이 RGB 이미지들, 깊이 이미지들, 디스패러티 이미지(disparity image)들, 또는 다른 픽셀-기반 이미지들과 같은 다른 이미지들에 적용 가능하다.

도 2b는 제 1 전파 픽셀 값들을 화살표(235)로 표시된 제 1 방향을 따라, 즉, 좌측으로부터 우측으로 전파하기 위한 제 1 전파 픽셀 값들의 발생을 도시한다. 이 특정 실시예에서, 좌측으로부터 우측으로의 전파를 위한 제 1 전파 픽셀 값들은 파선 아웃라인(230) 내에 포함되는 할당되지 않은 픽셀 위치들에 바로 인접한, 여기서는 좌측-대-우측 전파 방향 때문에 홀의 좌측 상의 할당된 픽셀 위치들로서 선택된다. 제 1 전파 픽셀 값들은 예를 들어, 픽셀 위치(211)와 같이 대각선으로 해칭(hatching)된 패턴에 의해 강조된다.

도 2c는 제 1 전파 픽셀 값들을 화살표(290)로 표시된 제 2 방향을 따라, 즉, 우측으로부터 좌측으로 전파하기 위한 제 2 전파 픽셀 값들의 발생을 도시한다. 이 특정 실시예에서, 우측으로부터 좌측으로의 전파를 위한 제 2 전파 픽셀 값들은 파선 아웃라인(230) 내에 포함되는 할당되지 않은 픽셀 위치들에 바로 인접한, 여기서는 우측-대-좌측 전파 방향 때문에 홀의 우측 상의 할당된 픽셀 위치들로서 선택된다. 제 1 전파 픽셀 값들은 예를 들어, 픽셀 위치(211)와 같이 수평으로 해칭된 패턴에 의해 강조된다.

도 2d는 홀 내의 픽셀 위치들에 대한 제 1 전파 가중치들의 발생을 도시한다. 픽셀들의 단일 컬럼(column)을 따른 불연속성들의 측정치가 예를 들어, 픽셀 값들(215)의 사용에 의해 표시된 픽셀들의 각각의 컬럼에 대하여 홀의 상부 및 하부 경계들을 따라 불연속성들이 존재하는지를 확인함으로써 결정될 수 있다. 이 예에서, 총 루미넌스 범위의 10%의 임계값을 초과하는 불연속성을 마주치게 될 때, 전파 가중치는 1로부터 0으로 변화된다. 백색 픽셀이 1의 전파 가중치를 나타내고 흑색 픽셀들(240)이 0의 전파 가중치를 나타낸다는 점이 주의된다.

이 예에서, 도 2d에서 점선 박스(dotted box)(225)에 의해 표시된 컬럼에 대한 전파 가중치들은 점선 박스들(215)에 의해 표시된 홀 경계의 상부 및 하부 에지들 상에서 발견되는 픽셀 값들에서의 차이들을 사용함으로써 발생된다.

도 2e는 홀 내의 픽셀 위치들에 대한 제 2 전파 가중치들의 발생을 도시한다. 제 2 전파 가중치들의 결정은 이 결정이 상이한 전파 방향, 즉, 화살표(290)로 표시된 바와 같은 제 2 방향, 즉, 우측으로부터 좌측으로의 방향을 기반으로 한다는 점을 제외하고는, 도 2d와 실질적으로 유사하다.

실제로, 특정한 공간적 콘텍스트(spatial context)에서 발생하는 전파 픽셀 값은 이 공간적 콘텍스트에 매우 근접한 픽셀 값들을 예측하기 위하여 더 높은 신뢰성 레벨을 갖는다. 상기 개념은 전파 가중치가 결정되는 특정 컬럼의 전파 픽셀 값의 원점(origin)까지의 거리를 고려함으로써 전파 가중치 결정에서 상당히 용이하게 통합될 수 있다. 그러나, 간소화를 위하여, 이것은 도 2d 및 도 2e에서의 제 1 및 제 2 전파 가중치들에 대해 행해지지 않는다.

그 후, 도 2d 및 도 2e의 전파 가중치들이 파선 아웃라인(230) 내의 픽셀 위치들에 픽셀 값들을 할당하는데 사용된다. 이를 위해, 도 2b로부터의 제 1 전파 픽셀 값들은 도 2d로부터의 제 1 전파 가중치들을 사용함으로써 제 1 방향을 따라 전파된다. 게다가, 도 2c로부터의 제 2 전파 픽셀 값들은 도 2e로부터의 제 2 전파 가중치들을 사용함으로써 제 2 방향을 따라 전파된다. 그 후, 제 1 및 제 2 전파 가중치들 둘 모두로부터의 전파된 픽셀 값들이 결합되어, 새로운 픽셀 값들을 형성한다.

이 경우에, 픽셀 위치(x_p, y_p)에서의 위치(p)에 할당될 픽셀 값(

)은 제 1 전파 가중치(

)로 가중된 제 1 전파 픽셀 값(

) 및 제 2 전파 가중치(

)로 가중된 제 2 전파 픽셀 값(

)을 기반으로 한다. 게다가, 홀(

)에 인접한 할당된 픽셀들의 평균 픽셀 값이 할당되지 않은 채로 유지되는 영역들을 채우는데 사용된다. 따라서,

는:

(1)로서 규정되고,

여기서

및

이다.

도 2f는 상기 식을 기반으로 하여 채워진 홀을 도시한다; 홀의 더 큰 부분이 좌측-대-우측 또는 우측-대-좌측 전파 중 하나로부터의 제 1 전파 값들로 채워진다는 점이 주의된다. 그러나, 중앙의 어떤 픽셀 값들은 전파 가중치의 특정한 발생 때문에 제 1 전파 값을 할당받지 못한다. 불연속성들 부근의 더 어두운 픽셀들로 인하여 0% 루미넌스 쪽으로 약간 바이어싱(biasing)되는 이러한 픽셀 위치들은 홀에 인접한 할당된 픽셀들의 평균 픽셀 값을 할당받는다. 상기 프로세스가 더 정교한 전파 가중치 할당을 사용함으로써 더 개선될 수 있다는 점이 명백할 것이다.

식 (1)로부터 인식될 수 있는 바와 같이,

를 결정할 시에 다양한 추정 값들을 블렌딩하는 것이 가능하다. 예를 들어, 대안적인 구현예에서, 좌측-대-우측 및/또는 우측-대-좌측 픽셀 전파는 상부-대-하부 및/또는 하부-대-상부 전파와 결합된다. 이 구현예는 이어서 블렌딩 프로세스에서 홀 경계 주위의 할당된 값들의 평균 픽셀 값을 통합함으로써 보완될 수 있다. 예를 들어, 더 정교한 전파 가중치 할당의 사용과 같은 부가적인 개선들이 또한 구상된다.

다중-뷰 발생에서 디-오클루딩된 영역을 채울 때, 여기서, 영역이 디-오클루딩되는 방법은 공지되어 있는데, 즉, 오브젝트가 배경에 대해 변위되는 방법이 공지되어 있을 때, 2개의 반대의 픽셀 전파들 및 반대의 2개에 수직인 방향의 하나의 픽셀 전파를 기반으로 하여 홀 채움을 위한 픽셀 값들을 결정하는 것으로 실제로 종종 충분하다.

도 3a 및 도 3b는 전파 픽셀 값들 및 전파 가중치들을 각각 발생시키기 위한 잠재적인 개선들을 도시한다. 도 3a는 전파 픽셀 값을 결정할 시에 사용하기 위한 방향성 필터의 적용을 도시한다.

이 특정 구현예에서, 전파 픽셀 값들은 도 2b를 참조하여 상술된 바와 같은 제 1 전파 픽셀 값들에 대한 발생에 대응하는, 여기서는 좌측으로부터 우측으로의 방향성 필터를 사용함으로써 발생된다. 도 3b의 방향성 필터는 모두가 동일한 라인 상에 있는 5개의 픽셀들의 풋프린트(footprint)를 갖는다. 그러나, 본 발명은 이 특정 풋프린트 크기로 제한되지 않는다. 도 3b는 또한 예를 들어, 이미지 경계의 부근 또는 또 다른 홀의 부근에서 불충분한 수의 할당된 픽셀 값들이 이용 가능할 때 더 적은 풋프린트가 사용될 수 있다는 것을 도시한다. 결과적인 값들이 적절한 전파 픽셀 값을 제공하기 위하여 표준화된다는 점이 주의되어야 한다.

전파의 방향과 일치하는 풋프린트를 사용함으로써, 전파의 방향과 일치하는 에지들이 홀 내에서 전파된다. 더구나, 이 방향성 필터를 적용함으로써, 홀 경계 부근의 공간적 잡음이 효율적으로 억제된다. 만족스러운 방향성 필터들은 다양한 유형들, 예를 들어, 저역 통과 필터들, 및/또는 단계들과 같은 특정 이미지 특성들에 적응 가능한 필터들로 이루어질 수 있다.

도 3b는 홀 경계를 따른 불연속성들이 또한 방향성 필터에 의해 고려될 수 있다는 것을 도시하며, 여기서, 인접한 할당된 픽셀들 사이의 차이들이 결정되고 나서, 전파 방향과 각을 이룬 방향을 따라; 도 3b에 도시된 예에서, 수직 방향으로 필터링된다. 전파 방향에 각을 이룰 풋프린트를 갖는 방향성 필터를 사용함으로써, 전파 방향과 동일한 각도를 갖는 이미지의 피처(feature)의 크기가 전파 가중치들에 영향을 주는데 사용될 수 있다.

방향성 필터가 수평 전파 방향에 수직인 여기서 도시된 예에서, 불연속성들의 길이가 가중치들을 발생시킬 때 고려될 수 있다. 결과적으로, 다수의 픽셀들에 걸쳐 확장되는 불연속성들은 더 짧은 불연속성들보다 더 큰 정도로 전파 가중치들을 낮출 것이다. 이에 대한 이유는 예를 들어, 린텔 또는 윈도우 프레임(lintel or window frame)의 수평 부분과 같은 이미지의 수평 에지들이 윈도우의 홀 중첩 부분에서 전파될 필요가 있을 수 있기 때문이다. 그러나, 이 전파는 윈도우 프레임의 수직 포스트(vertical post)에 대응할 수 있는 강한 수직 에지가 존재하는 포인트에서 종료해야 한다.

블렌딩 비율

전파된 픽셀 값들을 결합하는 프로세스가 도 2a 내지 도 2f를 참조하여 상술되었다. 전파된 픽셀 값들이 가중된 추가를 통한 것과 같이, 다양한 방식들로 결합될 수 있을지라도, 예에서의 픽셀들은 블렌딩에 의해 결합되었다. 2개 이상의 컬러(color)들이 투명 효과(transparency effect)들을 허용하기 위하여 평균화되는 '알파 블렌딩(alpha blending)'이 컴퓨터 그래픽들에서 공지된 기술이다. 본 발명자들은 컬러들의 가중된 평균이 또한 홀-채움 문제점들에서의 시간적인 불안정성을 해결할 수 있다는 것을 인식하였다.

예를 들어, 픽셀 위치(x_i, y_i)에서의 픽셀 i의 실제이지만, 공지되지 않은 컬러(c_i)에 대하여 2개의 상이한 추정치들(

및

)이 존재하는 경우를 고려하자. 이러한 상이한 추정치들은 예를 들어, 픽셀(x_i, y_i)의 공간적 및/또는 시간적 부근의 다른 픽셀들에 대하여 발견되는 컬러들이다. 대부분의 종래 기술의 홀-채움 방법들은 홀을 채우기 위하여 2개의 추정치들 중 하나를 선택할 것이다. 실제 선택은 통상적으로 이미지에 따른 메트릭(image-dependent metric)을 기반으로 하여 행해진다.

그러나, 문제점은 메트릭이 아니라, 선택 프로세스에 있다. 신뢰성 레벨들, 또는 가중치들이 상이한 추정치들(

및

)과 각각 관련되는 상황을 고려하자. 이러한 신뢰성들은 시간에 걸쳐 변화할 수 있고, 이미지 시퀀스 내의 각각의 이미지에 대해 상이할 수 있다. 결과적으로,

이 하나의 프레임에 대해 유지될 수 있지만,

이 다음 프레임에 대해 유지될 수 있다.

컬러 추정치(

)가 '밝은 청색'에 대응하고 컬러 추정치(

)가 '어두운 청색'에 대응하는 경우에, 결과는 이러한 2개의 컬러들 사이의 성가신 시간적인 플릭커(flicker)인 반면, 실제 컬러는 '밝은 청색' 또는 '어두운 청색' 중 하나일 수 있다. 본 발명자들은 이미지들 둘 모두에 대한 실제 컬러와 관계없이, '밝은 청색' 및 '어두운 청색'의 가중된 평균을 디스플레이함으로써, 이미지들 사이의 성가신 시간적인 플릭커를 피하는 것이 더 양호할 것이라는 점을 인식하였다. 그러므로, 본 발명자들은 컬러 추정치들의 블렌딩 및 2개 이상의 추정치들의 가중된 평균의 계산을 제안한다.

추정치들의 확립 및 결합

블렌딩은 숨겨진 텍스처 층(texture layer)을 계산하는 시간적 불안정성의 문제점을 해결하는 것을 돕는다. 그러나, 추정치들을 블렌딩하기 위하여, 추정치들 및 대응하는 신뢰성들이 발생되어야 한다. 상술된 실시예들에서, 상대적으로 간단한 예들이 본 발명의 동작을 설명하기 위하여 사용되었다.

3개의 공간적 추정치들을 사용하는 더 정교한 실시예가 이제 설명될 것이다. 그러나, 이 실시예는 제 4 또는 심지어 더 많은 공간적 추정치들의 통합으로 용이하게 확장될 수 있다.

도 1을 참조하여 설명된 바와 같이, 픽셀 위치(x_i, y_i)에서의 픽셀 i를 고려하자. 여기서,

로 표기된 제 1 추정치는 이미지를 통해 좌측으로부터 우측으로의 전파 픽셀 값들의 전파의 결과이고, 제 2 추정치(

)는 이미지를 통해 우측으로부터 좌측으로의 전파 픽셀 값들의 전파의 결과이다. 최종적으로, 제 3 추정치(

)는 이미지를 통해 상부로부터 하부로의 픽셀 값들의 전파에 기인한다. 가능한 제 4 추정치(

)는 하부로부터 상부로 계산될 수 있다. 원칙적으로, 더 많은, 아마도 또한 시간적인 추정치들이 이러한 공간적 추정치들과 함께 블렌딩될 수 있다.

상이한 추정치들이 블렌딩을 사용함으로써 결합된다. 3개의 추정치들의 경우에 대하여, 식 (2)는 홀 내의 할당되지 않은 픽셀 i에 할당될 픽셀 값들의 블렌딩 및 결정을 표시한다.

(2)

3개의 추정치들 모두는 동일한 방식으로 계산된다. 3개의 추정치들은 각각의 추정치에 대해 상이한 전파 방향이 사용된다는 점에서 상이하다. 기본적인 아이디어는 상이한 전파 방향들을 사용하고 나서, 식 (2)의 가중된 평균이 계산됨으로써 홀 바로 외부의 픽셀 값이 홀 내로 확장되는 것이다.

이 실시예에서, 제 1 전파 픽셀 값들은 도 1에 표시된 바와 같은 픽셀 위치(x_j, y_j)에서의 픽셀 j를 포함하는 좌측-대-우측 전파 방향으로 홀 외부의 할당된 픽셀 값들에 적용되는 이동 평균 필터를 기반으로 한다. 픽셀 i로의 할당을 위한 픽셀 값을 결정하는 제 1 전파 픽셀 값(

)은 픽셀 j에 대한 이동 평균 필터를 사용함으로써 발생되므로,

이고, 여기서

는:

(3)로서 규정되고,

여기서 c(x_j, y_j)는 픽셀 위치(x_j, y_j)에서의 픽셀 값에 대응하고, 파라미터 γ는 다음 픽셀이 이미지를 통하여 좌측으로부터 우측으로 스캐닝하는 동안 이동 평균에서 가중되는 량을 제어한다. 필터링은 잡음의 경우 및 비-방향성(예를 들어, 랜덤으로 지향된) 텍스처들의 경우에 효율적일 수 있다. γ에 대한 전형적인 값은 0.5이다. 그러나, 더 작거나 더 큰 값들이 또한 수용 가능한 결과들을 산출할 수 있다.

그 후, 픽셀 i에 대한 제 1 전파 값(

)과 함께 사용하기 위한 전파 가중치(

)가 확립된다. 이 실시예에서,

는 홀 에지로부터의 거리, 여기서는 좌측-대-우측 전파 방향에서 픽셀 위치(x_j, y_j)에서의 픽셀 j로부터 픽셀 위치(x_i, y_i)에서의 픽셀 i까지의 거리 뿐만 아니라, 이하에 설명되는 '통합된 에지 레지스턴스(integrated edge resistance)'에 종속된다. 이 실시예에서의 픽셀 i에 대한 제 1 전파 가중치는:

(4)로서 규정된다.

인식될 수 있는 바와 같이, 가중치는 홀로의 거리가 증가함에 따라 지수적으로 감소한다. 이 방식으로, 상기 식은 더 긴 거리를 따라 전파되는 추정치에서의 신뢰성의 감소를 고려한다. 파라미터 λ는 감소율을 거리의 함수로서 제어한다. λ에 대한 전형적인 값은 10.0이다. 그러나, 더 작거나 더 큰 값들이 또한 사용될 수 있다. 상술된 거리 종속성을 고려하지 않고도 수용 가능한 결과들이 획득될 수 있다는 점이 또한 주의된다.

는 좌측-대-우측 전파 방향에 대한 '통합된 에지 레지스턴스'라고 칭해진다. 인식될 수 있는 바와 같이, 높은 통합된 에지 레지스턴스는 이 특정 전파 방향의 추정치에 대해 낮은 가중치를 발생시킨다.

통합된 에지 레지스턴스는 홀 경계를 따른 전파 방향에 각을 이룬 다른 방향들에서 에지들의 발생의 타당성(plausibility)을 고려하기 위하여 도입된다. 도 1을 참조하여 상술된 바와 같이, 바(30)는 파선(35)을 따라 홀(20)을 통해 확장될 것이다. 결과적으로, 좌측으로부터의 전파 후보들이 에지(35)를 지나서 전파되어야 하는지가 명확하지 않다는 사실 때문에, 파선(35)의 좌측 상의 전파 가중치들은 파선(35)의 우측 상의 가중치들보다 더 높아야 한다. 따라서, 여기서, 상부-대-하부 방향에서 계산된 수직 에지 강도가 추정치의 전파 가중치, 즉, 좌측-대-우측 픽셀 값 전파에서 사용하기 위한 전파 픽셀 값에 영향을 준다.

파라미터 α는 통합된 에지 레지스턴스의 중요성을 결정한다. α에 대한 전형적인 값은 0.01이다. 그러나, 더 작거나 더 큰 값들이 또한 수용 가능한 결과들을 산출할 수 있다. 픽셀 i에 대한 에지 레지스턴스는:

(5)로서 계산된다.

식 (5)에서, E^{( TD )}는 이미지 내의 할당된 픽셀들을 통하여 상부-대-하부 방식으로 계산되는 수직 에지 강도이다. 상기 수직 에지 강도는 홀의 경계 바로 외부에서 측정된 수평 픽셀 값 차이들을 홀 내로 수직으로 외삽(extrapolating)함으로써 계산된다. 따라서, 에지 정보는 홀 내부로 전파된다. 식 (5)의 합산에서 E^{( TD )} 및/또는 E^{( DT )}만을 사용하는 대신에, 상기 합산은 다른 비-수평 방향들을 통해서도 행해질 수 있으므로, 더 높은 각도의 해결책을 획득할 수 있다.

할당되지 않은 픽셀에 대한 수직 에지 강도는 바람직하게는, 전파 방향에 수직인 방향을 따라 홀 경계 외부의 할당된 픽셀들에 대하여 평가되는 이동 평균 계산을 기반으로 한다. 픽셀 i의 경우에, 수직 에지 강도(E^{( TD )}(x_i, y))는:

(6)로서 규정되고,

여기서

은:

(7)로서 규정되며,

은 도 1에 도시된 바와 같이 픽셀 i 바로 위에 위치된 픽셀 위치(x_k, y_k)에서의 픽셀 k를 기반으로 한다. β는 가중되는 텍스처들의 스케일(scale)을 제어하는데 사용된다. β에 대한 작은 값은 긴 직선 에지들만을 가중시키는 반면, β에 대한 큰 값은 작은 직선 에지들에 어떤 가중치를 제공한다. β에 대한 전형적인 값은 0.5이다. 그러나, 더 작거나 더 큰 값들이 또한 수용 가능한 결과들을 산출할 수 있다.

상술된 방법이 제 1 전파 값들 및 제 1 전파 가중치들을 결정하는 선호 방식일지라도, 변화들이 또한 구성된다.

더 복잡한 홀 형상들 핸들링

도 4는 더 복잡한 홀이 본 발명을 사용함으로써 핸들링될 수 있는 방법을 도시한다. 이 경우에, 픽셀들은 화살표(235)로 표시된 바와 같이, 좌측으로부터 우측으로 전파된다. 더 복잡한 홀 형상들을 핸들링하기 위하여, 홀은 인접한 할당되지 않은 픽셀들을 포함하는 2개의 세그먼트들로 세그먼팅될 수 있다. 하나의 구현예에서, 세그먼테이션(segmentation)은 전파 방향을 따른 스캔을 포함한다. 할당된 픽셀들로부터 할당되지 않은 픽셀들로의 전이가 이 스캔에서 마주치게 될 때마다. 할당되지 않은 픽셀들은 더 빠른 할당되지 않은 픽셀들과 상이한 세그먼트에 속하는 것으로 간주된다. 그 후, 세그먼트들이 이 스캔을 기반으로 하여 전파 방향을 따라 형성될 수 있고, 그 후에, 개별적인 세그먼트들이 분리하여 다루어질 수 있다. 2개의 세그먼트들: 실선 아웃라인(405)에 포함된 인접한 할당되지 않은 픽셀 위치들 및 파선 아웃라인(410)에 포함된 인접한 할당되지 않은 픽셀 위치들이 도 4의 이미지에서 표시되어 있다. 세그먼트들 둘 모두에 대하여, 제 1 전파 픽셀 값들은 대각선 해칭을 사용하여 표시된다.

대안적인 방향들

본 발명이 주로 수평 및/또는 수직 픽셀 전파에 대하여 설명되었을지라도, 본 발명의 이에 제한되지 않는다. 기술적으로, 픽셀 값들은 대각선 또는 임의의 각도의 방향을 따라 동일한 효과로 전파될 수 있다. 그러나, 통상적인 비디오 풋티지(footage)에서, 수평 및 수직 에지들의 수가 지배적인 것으로 나타나고, 결과적으로, 수평 및 수직 픽셀 전파가 바람직하다. 그러나, 예를 들어, 하나이고 동일한 각도에서 많은 에지들이 존재하는 어떤 상황들에서, 또 다른 전파 방향을 사용하는 것이 유용할 수 있다.

에지 레지스턴스 분석이 전파 방향에 수직인 방향에서 제 2 영역에서의 할당된 픽셀 값들의 평가를 포함하는 프로세스로서 상술되었다. 그러나, 본 발명은 이에 제한되지 않고, 에지 레지스턴스는 이미지 콘텐트(image content)의 특성들에 따라, 전파 방향에 대한 다른 각도들을 따라 동등하게 유리하게 설정될 수 있다.

예를 들어, 도 5는 홀(510)을 채우기 위한 픽셀 값들에 대한 추정치들이 수평 픽셀 전파를 사용함으로써 발생되지만, 전파 가중치 발생이 파선(520)의 방향을 따라 불연속성들에 대해 제 2 영역에서의 할당된 픽셀 값들을 평가하도록 배열되는 상황을 도시한다. 결과적으로, 파선의 좌측 상의 전파 가중치들은 우측 상의 전파 가중치들보다 더 클 것이다.

디- 오클루전 데이터의 발생

상기에 표시된 바와 같이, 디-오클루전 데이터의 발생은 본 발명의 적용에 대한 잠재적인 에어리어를 나타낸다. 본 발명은 (자동)입체 디스플레이 시스템에 대한 뷰들을 렌더링할 시에 기존의 이미지 + 깊이 정보를 보완할 수 있는 오클루전 데이터를 발생시키는데 사용될 수 있다.

도 6a는 배경에서 2개의 컬러화된 직사각형들(602) 앞에 위치된 실선 원(601)을 포함하는 장면의 이미지를 도시한다. 도 6a의 이미지는 우-안 뷰를 반영한다. 도 6b는 시점의 차이를 고려하기 위하여 청색 원(601)이 우-안 뷰에서의 자신의 위치에 대해 수평으로 변위되는 좌-안 뷰를 나타낸다. 상기 프로세스에서, 컬러화된 직사각형들(602)의 부분들은 디-오클루딩되어, 흑색 픽셀들로서 표시된 홀(605)을 남긴다.

본 발명은 홀(605)을 채우기 위한 디-오클루전 데이터를 제공하는데 사용될 수 있다. 도 6c는 본 발명에 따른 좌측-대-우측, 우측-대-좌측, 상부-대-하부 및 하부-대-상부 전파의 결과를 도시한다. 명확화를 위하여, 홀(605) 외부의 픽셀이 흑색 픽셀들로서 표현된다는 점을 주의하라. 도 6c의 이미지는 다음의 파라미터 값들: α=0.01, β=0.5, γ= 0.5 및 λ=0을 사용함으로써 계산되었다. λ=0이 이 예에서, 가중치가 전파 거리에 종속되지 않는다는 것을 나타낸다는 점을 주의하라.

예상되는 바와 같이, 직사각형들이 아웃라인(605) 내로 적절히 전파된다는 것이 도 6c로부터 인식될 수 있다. 전파된 픽셀 값들의 블렌딩은 2개의 직사각형들의 교차점에서 발생한다. 최종적인 결과는 아웃라인(605)으로 표시된 홀이 채워진 도 6d에서 표현된다.

본 발명이 종래의 RGB 이미지에서 홀을 채우는데 사용될 수 있는 방법이 상기에 제시되었을지라도, 본 발명은 또한 깊이 맵들 또는 다른 이미지들에서의 채움에 동등하게 유리하게 적용될 수 있다.

이미지-프로세싱 디바이스

도 7a는 할당되지 않은 픽셀 값들을 갖는 이미지(705)를 획득하도록 배열되는 획득 수단(710)을 포함하는 이미지-프로세싱 디바이스(700)의 블록도이다. 상기 이미지(705)는 단일 이미지 또는 이미지 시퀀스로부터의 이미지일 수 있다. 획득 수단은 이미지 또는 이미지 시퀀스 수신 유닛으로서 배열될 수 있다. 그 후, 수신된 이미지는 적어도 할당되지 않은 픽셀 위치들에 인접한 제 1 영역에서의 할당된 픽셀 값들을 기반으로 하는, 제 1 방향에서 상기 인접한 픽셀 위치들로의 전파를 위한 제 1 전파 픽셀 값들(730)을 발생시키고; 상기 제 1 방향을 따라 홀에 인접한 제 2 영역에서의 할당된 픽셀 값들의 픽셀 값들에서의 불연속성들을 고려하여, 상기 제 1 방향을 따라 상기 할당된 픽셀 값들에서의 불연속성의 발생이 더 낮은 전파 가중치들(735)을 발생시키도록 상기 제 1 전파 픽셀 값들(730)에 대한 제 1 전파 가중치들(735)을 발생시킴으로써 제 1 전파 픽셀 값들(730) 및 상기 제 1 전파 픽셀 값들(730)을 제 1 방향을 따라 상기 인접한 픽셀 위치들 쪽으로 전파하기 위한 제 1 전파 가중치들(735)을 발생시키는 제 1 발생 수단(725)에 제공된다. 상기 이미지-프로세싱 디바이스(700)는 부가적으로 적어도 부분적으로 상기 제 1 전파 픽셀 값들(730) 및 제 1 전파 가중치들(735)을 기반으로 하여 인접한 픽셀 위치들(홀을 형성하는)에 픽셀 값들을 할당하는 할당 수단(740)을 가지고 있다. 할당 수단의 출력은 이미지(705) 내의 적어도 하나의 홀이 채워진 이미지(745)이다.

도 7b는 발생 수단의 4개의 경우들, 즉, 좌측-우측 방향을 따른 전파를 위한 제 1 전파 픽셀 값들 및 제 1 전파 가중치들을 발생시키는 제 1 발생 수단(725(LR)), 우측-좌측 방향을 따른 전파를 위한 제 2 전파 픽셀 값들 및 제 2 전파 가중치들을 발생시키는 제 2 발생 수단(725(RL)), 상부-하부 방향을 따른 전파를 위한 제 3 전파 픽셀 값들 및 제 3 전파 가중치들을 발생시키는 제 3 발생 수단(725(UD)), 및 하부-상부 방향을 따른 전파를 위한 제 4 전파 픽셀 값들 및 제 4 전파 가중치들을 발생시키는 제 4 발생 수단(725(DU))을 포함하는 이미지-프로세싱 디바이스(790)의 블록도이다. 대안적으로, 할당되지 않은 픽셀들을 갖는 이미지에 전파 픽셀 값들 및 전파 가중치들 둘 모두를 제공하기 위하여 단일 발생 수단이 시간-멀티플렉싱된 방식으로 사용될 수 있다는 점이 주의된다.

도 8은 본 발명에 따른 이미지-프로세싱 디바이스(790) 및 디스플레이(810)를 포함하는 디스플레이 디바이스(800)의 블록도이다. 디스플레이 디바이스(800)는 예를 들어, LCD 디스플레이 디바이스, 플라즈마 디스플레이 디바이스, 또는 다른 디스플레이 디바이스, 바람직하게는, 입체 디스플레이 디바이스, 그리고 더 바람직하게는, 자동입체 디스플레이 디바이스일 수 있다.

본 발명에 따른 이미지-프로세싱 디바이스 및/또는 디스플레이는 하나 이상의 주문형 반도체(Application Specific Integrated Circuit: ASIC)들을 사용하여 주로 하드웨어 내의 디바이스에 효율적으로 구현될 수 있다. 대안적으로, 본 발명은 충분한 계산 능력을 갖는 디지털 신호 프로세서 또는 개인용 컴퓨터 형태의 프로그래밍 가능한 하드웨어 플랫폼 상에 구현될 수 있다. 하드웨어/소프트웨어 분할의 많은 상이한 변화들이 청구항들의 범위 내에서 가능하다는 점이 당업자들에게 명백할 것이다.

본 발명에 따른 컴퓨터 프로그램은 임베딩된 소프트웨어(embedded software)로서 집적 회로 또는 컴퓨팅 기계와 같은 디바이스에 임베딩되거나 또는 표준 저장장치 또는 메모리 디바이스들 중 하나로부터 사전-로딩 또는 로딩된 채로 유지될 수 있다. 상기 컴퓨터 프로그램은 표준의 포함되거나 탈착 가능한 저장장치, 예를 들어, 고체-상태 메모리 또는 하드 디스크 또는 CD에서 핸들링될 수 있다. 상기 컴퓨터 프로그램은 기계 레벨 코드(machine level code)들 또는 어셈블리 언어(assembly language)들 또는 더 높은 레벨 언어들과 같은 공지된 코드들 중 어느 하나에서 표현될 수 있고, 휴대용 디바이스들 또는 개인용 컴퓨터들 또는 서버들과 같은 이용 가능한 플랫폼(platform)들 중 어느 하나 상에서 동작하게 될 수 있다.

상술된 실시예들이 본 발명을 제한하기보다는 오히려 설명한다는 점, 및 당업자들이 첨부된 청구항들의 범위로부터 벗어남이 없이 많은 대안적인 실시예들을 설계할 수 있을 것이라는 점이 주의되어야 한다.

청구항들에서, 괄호들 사이에 배치된 임의의 참조 부호들은 청구항을 제한하는 것으로 해석되어서는 안될 것이다.

많은 변화들이 본 발명의 프레임워크(framework) 내에서 가능하다는 점이 명백할 것이다. 본 발명이 상기에 특정하게 제시 및 설명되었던 것에 의해 제한되지 않는다는 점이 당업자들에 의해 인식될 것이다. 본 발명은 각각의 그리고 모든 신규한 특징적인 특성 및 특징적인 특성들의 각각의 그리고 모든 조합에서 존재한다. 청구항들에서의 참조 번호들은 청구항의 보호 범위를 제한하지 않는다.

동사 "포함한다" 및 이의 활용형들의 사용이 청구항에서 진술된 요소들 또는 단계들 이외의 요소들 또는 단계들의 존재를 배제하지 않는다. 요소 앞의 관사 "a" 또는 "an"은 복수의 이와 같은 요소들의 존재를 배제하지 않는다.

Claims (13)

1. 할당되지 않은 픽셀 값들을 갖는 이미지(705)에서의 인접한 픽셀 위치들에 픽셀 값들을 할당하는 방법에 있어서:
   - 적어도 상기 할당되지 않은 픽셀 위치들에 인접한 제 1 영역에서의 할당된 픽셀 값들을 기반으로 하는, 제 1 방향에서 상기 인접한 픽셀 위치들로의 전파를 위한 제 1 전파 픽셀 값(730)들을 발생시키고, 상기 제 1 방향을 따라 홀에 인접한 제 2 영역에서의 할당된 픽셀 값들의 픽셀 값들에서의 불연속성들을 고려하여, 상기 제 1 방향을 따라 상기 할당된 픽셀 값들에서의 불연속성의 발생이 더 낮은 전파 가중치들(735)을 발생시키도록 상기 제 1 전파 픽셀 값들(730)에 대한 제 1 전파 가중치들(735)을 발생시킴으로써 제 1 전파 픽셀 값들(730) 및 상기 제 1 전파 픽셀 값들(730)을 제 1 방향을 따라 상기 인접한 픽셀 위치들 쪽으로 전파하기 위한 제 1 전파 가중치들(735)을 발생시키는 단계, 및
   - 적어도 부분적으로 상기 제 1 전파 픽셀 값들(730) 및 제 1 전파 가중치들(735)을 기반으로 하여 상기 인접한 픽셀 위치들에 픽셀 값들을 할당하는 단계를 포함하는, 픽셀 값 할당 방법.
2. 제 1 항에 있어서, 상기 제 1 전파 픽셀 값들(730)은 상기 할당되지 않은 픽셀 위치들에 인접한 상기 제 1 영역에서의 할당된 픽셀 값들을 갖는 픽셀 위치들을 포함하는 할당된 픽셀 값들을 통하여 제 1 방향성 필터에 의하여 발생되는, 픽셀 값 할당 방법.
3. 제 1 항 또는 제 2 항에 있어서, 상기 제 1 전파 가중치들(735)은 상기 제 1 방향을 따라 상기 제 2 영역에서의 할당된 픽셀 값들에 대해 에지 검출기를 사용함으로써 발생되는, 픽셀 값 할당 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, - 제 2 전파 픽셀 값들 및 상기 제 2 전파 픽셀 값을 제 2 방향을 따라 상기 인접한 픽셀 위치들 쪽으로 전파하기 위한 제 2 전파 가중치들을 발생시키는 단계를 더 포함하며,
   상기 인접한 픽셀 위치들에 할당된 픽셀 값들은 적어도 부분적으로 상기 제 1 및 제 2 전파 픽셀 값들 및 상기 제 1 및 제 2 전파 가중치들을 기반으로 하는, 픽셀 값 할당 방법.
5. 제 4 항에 있어서, 상기 제 2 전파 픽셀 값들 및 제 2 전파 가중치들을 발생시키는 단계는:
   - 적어도 상기 할당되지 않은 픽셀 위치들에 인접한 제 3 영역에서의 할당된 픽셀을 기반으로 하는, 상기 제 2 방향에서 상기 인접한 픽셀 위치들로의 전파를 위한 제 2 전파 픽셀 값들을 발생시키는 단계,
   - 상기 제 1 방향을 따라 홀에 인접한 제 4 영역에서의 할당된 픽셀 값들의 픽셀 값들에서의 불연속성들을 고려하여, 상기 제 2 방향을 따라 상기 할당된 픽셀 값들에서의 불연속성의 발생이 더 낮은 제 2 전파 가중치들을 발생시키도록 상기 제 2 전파 픽셀 값들에 대한 제 2 전파 가중치들을 발생시키는 단계를 포함하는, 픽셀 값 할당 방법.
6. 제 4 항 또는 제 5 항에 있어서, 상기 인접한 픽셀 위치들에 픽셀 값들을 할당하는 단계는 상기 제 1 전파 가중치들(735)로 가중된 상기 제 1 전파 픽셀 값들(730)을 상기 제 2 전파 가중치들로 가중된 상기 제 2 전파 픽셀 값들과 블렌딩하는 단계를 포함하는, 픽셀 값 할당 방법.
7. 제 4 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 제 1 및 제 2 방향이 수직 방향들인, 픽셀 값 할당 방법.
8. 할당되지 않은 픽셀 값들을 갖는 이미지(705)에서의 인접한 픽셀 위치들에 픽셀 값들을 할당하는 이미지-프로세싱 디바이스(700, 790)에 있어서:
   - 적어도 상기 할당되지 않은 픽셀 위치들에 인접한 제 1 영역에서의 할당된 픽셀 값들을 기반으로 하는, 제 1 방향에서 상기 인접한 픽셀 위치들로의 전파를 위한 제 1 전파 픽셀 값(730)들을 발생시키고, 상기 제 1 방향을 따라 홀에 인접한 제 2 영역에서의 할당된 픽셀 값들의 픽셀 값들에서의 불연속성들을 고려하여, 상기 제 1 방향을 따라 상기 할당된 픽셀 값들에서의 불연속성의 발생이 더 낮은 제 1 전파 가중치들을 발생시키도록 상기 제 1 전파 픽셀 값들(730)에 대한 제 1 전파 가중치들(735)을 발생시킴으로써 제 1 전파 픽셀 값들(730) 및 상기 제 1 전파 픽셀 값들(730)을 제 1 방향을 따라 상기 인접한 픽셀 위치들 쪽으로 전파하기 위한 제 1 전파 가중치들(735)을 발생시키는 제 1 발생 수단(725), 및
   - 적어도 부분적으로 상기 제 1 전파 픽셀 값들(730) 및 제 1 전파 가중치들(735)을 기반으로 하여 상기 인접한 픽셀 위치들에 픽셀 값들을 할당하는 할당 수단(740)을 포함하는, 이미지-프로세싱 디바이스.
9. 제 8 항에 있어서, - 제 2 전파 픽셀 값들 및 상기 제 2 전파 픽셀 값을 제 2 방향을 따라 상기 인접한 픽셀 위치들 쪽으로 전파하기 위한 제 2 전파 가중치들을 발생시키는 제 2 발생 수단(725) 더 포함하며,
   상기 할당 수단은 적어도 부분적으로 상기 제 1 및 제 2 전파 픽셀 값들 및 상기 제 1 및 제 2 전파 가중치들을 기반으로 하여 상기 인접한 픽셀 위치들에 픽셀 값들을 할당하도록 배열되는, 이미지-프로세싱 디바이스(790).
10. 제 9 항에 있어서, 상기 제 2 발생 수단은:
    - 적어도 상기 할당되지 않은 픽셀 위치들에 인접한 제 3 영역에서의 할당된 픽셀 값들을 기반으로 하는, 상기 제 2 방향에서 상기 인접한 픽셀 위치들로의 전파를 위한 제 2 전파 픽셀 값들을 발생시키고,
    - 상기 제 1 방향을 따라 홀에 인접한 제 4 영역에서의 할당된 픽셀 값들의 픽셀 값들에서의 불연속성들을 고려하여, 상기 제 2 방향을 따라 상기 할당된 픽셀 값들에서의 불연속성의 발생이 더 낮은 제 2 전파 가중치들을 발생시키도록 상기 제 2 전파 픽셀 값들에 대한 제 2 전파 가중치들을 발생시킴으로써 상기 제 2 전파 픽셀 값들 및 상기 제 2 전파 가중치들을 발생시키도록 배열되는, 이미지-프로세싱 디바이스(790).
11. 제 8 항 내지 제 10 항 중 어느 한 항에 따른 이미지-프로세싱 디바이스(700, 790)를 포함하는, 디스플레이 디바이스(800).
12. 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 제 1 항 내지 제 7 항 중 어느 한 항에 따른 픽셀 값 할당 방법이 실행되도록 하는, 컴퓨터 프로그램.
13. 프로그램 제품이 컴퓨터 상에서 실행될 때 제 1 항 내지 제 7 항 중 어느 한 항에 따른 픽셀 값 할당 방법을 수행하기 위하여 컴퓨터-판독 가능한 매체 상에 저장되는 프로그램 코드 수단을 포함하는, 컴퓨터 프로그램 제품.

Images