KR20170070148A - ３차원 이미지의 시차의 프로세싱 - Google Patents

Abstract

에지들, 특히 오버레이들에서 시차 추정 에러들의 가시도를 감소시키기 위한 장치가 개시된다. 장치는 적어도 이미지 값들(밝기/콘트라스트 값들) 및 시차 값에 의해 표현된 3차원 이미지를 수신하기 위한 수신기(401)를 포함한다. 서브세트 선택기(403)는 픽셀들의 그룹에 대한 이미지 값에 대한 이미지 속성 기준을 평가하고 이미지 속성 기준이 충족되는 픽셀들의 그룹 중 픽셀들의 서브세트를 결정한다. 기준은 예를 들면, 픽셀이 이미지 객체 에지에 속하는 지의 여부를 반영할 수 있다. 분포 평가기(405)는 픽셀들의 서브세트의 시차 값들에 대한 빈도 분포를 생성하고 분석기(407)는 빈도 분포에 대한 형상 속성(피크의 존재)을 결정한다. 적응기(409)는 형상 속성에 응답하여 시차 리매핑을 결정하고, 리매퍼(411)는 시차 리매핑을 적용함으로써 3차원 이미지의 시차 값들을 수정한다. 접근법은 예로서, 오버레이 그래픽들이 존재할 것 같을 때 이미지 깊이를 감소시킬 수 있다.

Description

３차원 이미지의 시차의 프로세싱{PROCESSING OF DISPARITY OF A THREE DIMENSIONAL IMAGE}

본 발명은 3차원 이미지의 프로세싱에 관한 것이고, 구체적으로, 배타적이지 않게 그래픽 오버레이(graphic overlay)들을 포함하는 3차원 이미지들을 위한 시차 프로세싱에 관한 것이다.

3차원(3D) 디스플레이들은 보여지고 있는 장면의 상이한 뷰(view)을 뷰어의 2개의 눈들에 제공함으로써 입체성(third dimension)을 뷰잉 경험에 부가한다. 이것은 디스플레이되는 2개의 뷰들을 분리하기 위해 이용자로 하여금 안경을 쓰게함으로써 성취될 수 있다. 그러나, 이것이 이용자에게 불편한 것으로 고려될 수 있기 때문에, 많은 시나리오들에서, 뷰들을 분리하고, 그들을 그들이 개별적으로 이용자의 눈들에 도달할 수 있는 상이한 방향들로 전송하기 위해 디스플레이에서의 수단(렌티큘라 렌즈들, 또는 배리어들과 같은)을 이용하는 무안경 입체영상(autostereoscopic) 디스플레이들을 이용하는 것이 바람직하다. 3차원 디스플레이들에 대해, 2개의 뷰들이 요구되는 반면에, 무안경 입체영상 디스플레이들은 전형적으로, 더 많은 뷰들(예로서, 9개의 뷰들)을 요구한다.

3D 이미지 효과들에 대한 욕구를 충족시키기 위해, 캡처(capture)된 장면의 3D 애스팩트(aspect)들을 설명하는 데이터를 포함하는 콘텐트가 생성된다. 예를 들면, 컴퓨터 생성 그래픽스에 대해, 3차원 모델이 주어진 뷰잉 위치로부터 이미지를 산출하기 위해 개발되고 이용될 수 있다. 이러한 접근법은 예를 들면, 3차원 효과를 제공하는 컴퓨터 게임들을 위해 종종 이용된다.

또 다른 예로서, 영화들 또는 텔레비전 프로그램들과 같은, 비디오 콘텐트가 점점 더 일부 3D 정보를 포함하도록 생성된다. 이러한 정보는 약간 오프셋(offset)된 카메라 위치들로부터 2개의 동시의 이미지들을 캡처하는 전용 3D 카메라들을 이용하여 캡처될 수 있다. 일부 경우들에서, 더 많은 동시의 이미지들은 또 다른 오프셋된 위치들로부터 캡처될 수 있다. 예를 들면, 서로에 대해 오프셋된 9개의 카메라들은 9-뷰 무안경 입체영상 디스플레이의 9개의 방향들에 대응하는 이미지들을 생성하기 위해 이용될 수 있다.

그러나, 심각한 문제점은 부가적인 정보가 실질적으로 증가된 양의 데이터를 야기하는 것이고, 이는 비디오 데이터의 분배, 전달, 프로세싱 및 저장을 위해 비현실적이다. 그에 따라, 3D 정보의 효율적인 인코딩이 중요하다. 따라서, 요구된 데이터 비율(rate)을 실질적으로 감소시킬 수 있는 효율적인 3D 이미지 및 비디오 인코딩 포맷들이 개발되었다.

3차원 이미지들을 표현하기 위한 대중적인 접근법은 연관된 깊이 데이터를 갖는 하나 이상의 적층된 2차원 이미지들을 이용하는 것이다. 예를 들면, 연관된 깊이 정보를 갖는 전경 및 배경 이미지는 3차원 장면을 표현하기 위해 이용될 수 있거나, 단일 이미지 및 연관된 깊이 맵이 이용될 수 있다.

인코딩 포맷들은 직접적으로 인코딩된 이미지들의 고 품질 렌더링을 허용하고 즉, 그들은 이미지 데이터가 인코딩되는 방향에 대응하는 이미지들의 고 품질 렌더링을 허용한다. 인코딩 포맷은 또한, 이미지 프로세싱 유닛이 캡처된 이미지들의 방향에 관하여 이동되는 방향들에 대한 이미지들을 생성하는 것을 허용한다. 유사하게, 이미지 객체들은 이미지 데이터가 제공된 깊이 정보에 기초하여 이미지(또는 이미지들)로 시프트될 수 있다. 게다가, 이미지에 의해 표현되지 않은 영역들은 이러한 정보가 이용가능하면 폐색 정보를 이용할 때에 채워질 수 있다.

그러나, 깊이 정보를 제공하는 연관된 깊이 맵들을 갖는 하나 이상의 이미지들을 이용하는 3D 장면들의 인코딩이 매우 효율적인 표현을 허용하는 반면에, 결과로 발생하는 3차원 경험은 깊이 맵(들)에 의해 제공되는 충분하게 정확한 깊이 정보에 매우 의존한다.

또한, 많은 콘텐트는 연관된 깊이 정보 없이 스테레오 이미지들로서 생성되거나 제공된다. 많은 동작들을 위해, 따라서 깊이 추정에 기초하여 장면 및 이미지 객체들에 대한 깊이 정보를 결정하는 것이 바람직하다. 실제로, 이미지들 사이의 시차는 객체의 깊이를 직접적으로 반사하고, 용어들(깊이 및 시차)은 종종 상호교환가능하게 이용된다. 구체적으로, 시차 값은 또한 깊이 값이고 깊이 값은 또한 시차 값이다.

많은 상이한 기술들이 깊이/시차 정보를 위해 공지된다. 시차 추정은 예를 들면, 스테레오로부터의 멀티 뷰 렌더링, 스테레오 뷰잉을 위한 시차 조정, 로봇 항법을 위한 머신 비전(machine vision), 등을 포함하는 다양한 3D 관련 적용들을 위해 이용될 수 있다.

시차 추정에서, 2개 이상의 이미지에서의 대응하는 지점들 사이의 간격은, 일반적으로 공지된 카메라 파라미터들을 이용하는 삼각측량을 통해 깊이를 추론하려는 의도로 추정된다. 예를 들면, 상이한 뷰잉 각들에 대응하는 2개의 이미지들이 제공되면, 매칭 이미지 영역들은 2개의 이미지들에서 식별될 수 있고 깊이/시차는 영역들의 위치들 사이의 상대적 오프셋에 의해 추정될 수 있다. 따라서, 알고리즘들은 대응하는 객체들의 깊이를 직접적으로 나타내는 시차들을 갖는 이미지들 사이의 시차들을 추정하기 위해 적용될 수 있다. 매칭 영역들의 검출은 예를 들면, 2개의 이미지들에 걸친 이미지 영역들의 교차 상관에 기초할 수 있다. 시차 추정의 일례는 디. 샤스테인(D. Scharstein) 및 알. 젤리스키(R. Szeliski)에 의한 "조밀한 2-프레임 스테레오 대응 알고리즘들의 분류학 및 평가(A taxonomy and evaluation of dense two-frame stereo correspondence algorithms)", 컴퓨터 비전의 국제 저널, 47(1/2/3):7-42, 2002년 4월-6월에서 발견될 수 있다.

그러나, 시차 추정이 많은 상황들에서 깊이 정보를 결정하기 위해 유용할 수 있을지라도, 그것은 이상적인 성과를 제공하지 않는 경향이 있고 생성된 깊이 정보가 상당히 노이지(noisy)할 수 있고 부정확도들을 포함할 수 있다.

US2011/234765는 전경과 배경 사이의 경계의 부근에서 용이하게 발생하는 잘못된 정정을 억제하고 높은 정확도를 갖는 시차 맵(parallax map)을 생성할 수 있는 장치를 개시한다.

US2013/308826은 빈도 분포의 피크가, 시차(간격 정보)가 변수이고, 간격 정보의 분포 폭이 넓은 히스토그램(histogram) 상에 분리되어 나타날 때, 히스토그램으로서 표현된 타겟 영역이 정상적으로, 스테레오 카메라로부터의 간격들이 별개인 더 가까운 객체 및 더 먼 객체가 공존하는 영역이고 소위 "시각 충돌 영역(perspective conflict region)"이다.

많은 경우들에서, 대형 필터 커널을 갖는 컬러 적응형(쌍방) 필터는 저 해상도 시차 추정치를 업 스케일(up-scale)하거나 더 종종, 시차 추정치들의 에러들/노이즈를 감소시키기 위해 적용된다. 3D 비디오의 이미지 기반 렌더링에 적용될 때, 이 필터는 안정적이고 종종 평탄한(smooth) 시차 맵들을 보장한다. 그러나, 그것은 또한 필터링 동작에 의해 야기된 새로운 아티팩트(artifact)들을 야기한다. 객체 특히, 그것의 에지가 변하는 컬러 프로파일을 가지면, 시차 값들은 또한, 에지에 따라 (부정확하게) 변하는 경향이 있을 것이다. 이러한 변하는 컬러 프로파일은 예를 들면, 광 변화들 또는 그림자들에 의해 야기될 수 있다. 이것은 객체에 따라 시차 변형들을 야기하고, 합성된 뷰들에서 왜곡된 에지들을 야기한다. 이들 왜곡들은 인간 관측자를 방해하는데, 이는 우리의 인간 시각 시스템이 특히, 스트레이트 에지들(의 왜곡들)에 민감하기 때문이다.

이러한 왜곡들은 예로서, 그래픽 오버레이들이 존재할 때와 같은, 인간 관측자에 의한 상당히 감지된 품질 감소를 야기할 수 있다.

이것을 도시하기 위해, 도 1의 스테레오 이미지들이 고려될 수 있다. 예에서, 텍스처(texture)된 이미지는 그래픽 오버레이에 의해 덮어씌워진다. 도 2는 좌측 이미지 및 추정된 블록 기반 시차를 도시한다. 에러들이 시차 맵에 분명하게 보인다. 도 3은 좌측 이미지 및 컬러 적응형 필터링이 도 2의 시차 맵에 적용된 후의 추정된 시차를 도시한다. 시차 맵이 덜 뭉특하고(blocky) 더 평탄하게 나타날지라도, 텍스트 주위의 영역에서 여전히 실질적인 시차 에러들이 존재한다.

유사한 깊이 및 시차 아티팩트들은 3차원 이미지들에 대한 깊이 정보를 생성하는 다른 접근법들에 대해 발생할 수 있고, 이용자에게 제공되는 결과로 발생하는 3차원 이미지들의 감지된 품질을 저하시킬 수 있다.

따라서, 개선된 시차 데이터의 생성이 이로울 것이고 특히, 증가된 유연성, 감소된 복잡도, 용이한 구현, 개선된 감지된 깊이, 개선된 성과, 감소된 감지된 깊이 아티팩트들, 및/또는 개선된 3차원 이미지를 허용하는 시차 값들의 생성 또는 결정이 이로울 것이다.

그에 따라, 본 발명은 상기 언급된 단점들 중 하나 이상을 개별적으로 또는 임의의 조합으로 바람직하게 완화시키거나, 경감하거나 제거하려고 시도한다.

본 발명의 일 양태에 따라, 청구항 제 1 항에 따른 장치가 제공된다.

본 발명은 많은 적용들을 위해 그리고 많은 시나리오들에서 개선된 3차원 이미지를 제공할 수 있고, 많은 실시예들에서, 시차 에러들, 부정확도들 또는 아티팩트들이 완화되거나 감소될 수 있는 개선된 3차원 이미지를 제공할 수 있다. 본 발명은 특히, 많은 실시예들에서, 3차원 이미지들에 대해 시차 아티팩트들, 에러들 및 부정확도들을 완화시키기 위해 적합할 수 있고 시차 데이터는 예로서, 스테레오 이미지들에 기초하여 시차 추정에 의해 생성된다. 개선들은 특히, 자막들, 텍스트, 제목들, 등과 같은, 오버레이 그래픽들을 잠재적으로 포함할 수 있는 이미지들에 대해 생성될 수 있다.

접근법은 많은 실시예들에서, 이미지가 오버레이 그래픽들을 포함할 가능성을 반영하기 위해 프로세싱의 효과에 자동으로 적응시키도록 배열될 수 있다.

특히, 발명자들은 시차 에러들 및 노이즈가 그래픽 오버레이들 주위에서 더 우세할 수 있을 뿐만 아니라(예로서, 시차가 시차 추정에 의해 생성될 때), 이미지가 그래픽 오버레이들을 포함할 가능성이 특정한 특성들 및 이들이 깊이 차원에서 분포되는 방법을 고려함으로써 추정될 수 있음을 인식했다. 발명자들은 또한, 이미지 플러스 깊이로부터의 렌더링에 관한 시차 저하의 역효과가 이러한 깊이/시차 분포의 이러한 특성들에 의해 제어된 (종종 위치적으로 비 특정한) 시차 리매핑에 의해 완화될 수 있다.

시차 값은 픽셀에 대한 시차 또는 깊이를 나타내는 임의의 값일 수 있다. 시차 값은 구체적으로, 2개의 이미지들이 상이한 뷰잉 방향들에 대응하는 장면의 2개의 이미지들에서의 대응하는 픽셀들 사이의 수평 간격을 나타낼 수 있다. 시차 값은 대응하는 픽셀의 깊이를 나타내고, 등가적으로 깊이 값은 시차를 나타낸다. 따라서, 깊이 값은 또한, 시차 값이고, 시차 값은 깊이 값이다. 용어(깊이 및 시차)가 적절하게 등가의 용어들로 고려될 수 있음이 이해될 것이다. 따라서, 시차에 대한 참조들은 적절하게 깊이에 대한 참조들로서 대체될 수 있고, 깊이에 대한 참조들은 적절하게 시차에 대한 참조들로서 대체될 수 있다.

시차 값들은 이미지 값들과 상이한 해상도를 가질 수 있고, 구체적으로 시차 값들은 이미지 값들보다 낮은 해상도로 제공될 수 있다. 따라서, 일부 실시예들에서, 2개 이상의 픽셀들은 동일한 시차 값을 공유할 수 있고 즉, 시차 값은 복수의 픽셀들에 대해 공통이거나 공유될 수 있다.

픽셀의 이미지 값은 픽셀의 색차, 채도, 휘도, 루마(luma), 세기, 밝기, 또는 컬러 속성 중 임의의 하나를 나타내는 임의의 값일 수 있다. 이미지 값은 복수의 구성요소들 또는 값들을 포함하는 합성 이미지 값일 수 있다. 구체적으로, 이미지 값은 예로서, RGB 값들과 같은, 상이한 컬러 채널들에 대한 값들의 세트일 수 있다.

시차 리매핑은 입력된 시차 값으로부터 출력된 시차 값을 생성하는 기능 또는 매핑일 수 있다. 시차 리매핑은 예로서, 수학식/함수에 의해, 또는 룩 업 테이블(look-up table)로서 표현될 수 있다.

본 발명의 선택적 특징에 따라, 형상 속성은 빈도 분포의 적어도 하나의 피크의 속성을 나타낸다.

이것은 특정하게 이로운 성과를 제공할 수 있고 많은 시나리오들에서, 이미지가 오버레이 그래픽 요소들을 포함하는지의 여부의 특정하게 양호한 표시를 제공할 수 있다.

적어도 하나의 피크의 속성은 예를 들면, 크기, 폭 또는 존재 확률 추정치일 수 있다.

일부 실시예들에서, 형상 속성은 빈도 분포의 피크화(peakedness)를 나타낼 수 있다. 피크화 측정치는 형상 속성으로서 생성되고 이용될 수 있다. 피크화는 복수의 피크들의 고려를 포함할 수 있고, 예를 들면, (적합한 피크 기준에 따라) 얼마나 많은 피크들이 존재하는지의 고려를 포함할 수 있다.

본 발명의 선택적 특징에 따라, 적응기는 빈도 분포의 증가하는 피크화에 응답하여 시차 리매핑에 의해 제공된 시차 압축을 증가시키도록 배열된다.

이것은 많은 실시예들에서 개선된 성과를 제공할 수 있다. 특히, 시차 리매핑은 시차 레벨들의 적어도 하나의 범위에 대한 시차 압축을 포함할 수 있다. 시차 압축은 시차 범위를 더 적은 시차 범위에 매핑할 수 있고, 따라서 깊이 변동을 감소시킬 수 있다.

본 발명의 선택적 특징에 따라, 분석기는: 빈도 분포의 최대 빈도; 빈도 분포에 대한 평균화된 빈도에 대한 빈도 분포의 최대 빈도; 빈도 분포의 피크에 대한 폭 측정치; 피크 빈도의 시차 레벨 이웃에서 빈도들에 대한 빈도 분포의 피크 빈도의 그룹으로부터 선택된 적어도 하나의 파라미터에 응답하여 형상 속성을 결정하도록 배열된다.

이것은 많은 실시예들에서 개선된 성과를 제공할 수 있다.

본 발명의 선택적 특징에 따라, 분석기는 빈도 분포의 모드의 적어도 하나의 크기에 응답하여 형상 속성을 결정하도록 배열된다.

이것은 많은 실시예들에서 개선된 성과를 제공할 수 있다.

본 발명의 선택적 특징에 따라, 서브세트 선택기는 픽셀들의 그룹 중 픽셀들에 대한 에지 검출 표시를 생성하도록 배열되고, 에지 검출 표시는 픽셀이 이미지 객체 에지에 속하는지의 여부를 나타내며; 이미지 속성 기준은 에지 검출 표시에 대한 요구조건을 포함한다.

이것은 특정하게 이로운 성과를 제공할 수 있고, 특히 오버레이 그래픽들을 검출하고 이것을 반영하기 위해 시차 데이터를 적응시킬 때에 효율적이다. 이미지 속성 기준은 구체적으로, 에지 검출 표시가 임계치를 초과한다는(예를 들면, 컬러 채널 값이 현재 픽셀과 인접 픽셀 사이의 총 범위 이상 즉, 25%만큼 다르다는) 요구조건을 포함할 수 있다.

본 발명의 선택적 특징에 따라, 서브세트 선택기는 픽셀들의 그룹의 각각의 픽셀들에 대한 이미지 속성 전이 측정치를 생성하도록 배열되고, 이미지 속성 기준은 이미지 속성 전이 측정치에 대한 요구조건을 포함한다.

이것은 특정하게 이로운 성과를 제공할 수 있고, 특히 오버레이 그래픽들을 검출하고 이것을 반영하기 위해 시차 데이터를 적응시킬 때에 효율적이다. 이미지 속성 기준은 구체적으로, 이미지 속성 전이 측정치가 임계치를 초과한다는(예를 들면, 컬러 채널 값이 현재 픽셀과 인접 픽셀 사이의 총 범위 이상 즉, 25%만큼 다르다는) 요구조건을 포함할 수 있다. 이미지 속성 전이 측정치는 구체적으로, 픽셀의 이웃에서 이미지 속성의 (공간) 그래디언트 또는 변화도(예로서, 밝기 및/또는 컬러 변화)를 나타낼 수 있다.

본 발명의 선택적 특징에 따라, 이미지 속성 기준은 픽셀에 대한 휘도 및 채도 중 적어도 하나에 대한 요구조건을 포함한다.

이것은 많은 실시예들에서, 특정하게 이로운 성과를 제공할 수 있고, 특히 오버레이 그래픽을 검출하고 이것을 반영하기 위해 시차 데이터를 적응시킬 때에 효율적이다. 이미지 속성 기준은 구체적으로, 휘도가 값을 초과하거나 채도가 주어진 컬러 범위에 속한다는 요구조건을 포함할 수 있다.

일부 실시예들에서, 서브세트 선택기는 픽셀들의 그룹의 각각의 픽셀에 대한 컬러 포화 측정치를 생성하도록 배열될 수 있고, 이미지 속성 기준은 컬러 포화 측정치에 대한 요구조건을 포함할 수 있다.

이것은 많은 실시예들에서, 특정하게 이로운 성과를 제공할 수 있고, 특히 오버레이 그래픽을 검출하고 이것을 반영하기 위해 시차 데이터를 적응시킬 때에 효율적일 수 있다. 이미지 속성 기준은 구체적으로, 컬로 포화 측정치가 임계치를 초과한다는(예로서, 픽셀의 컬러로부터 백색까지의 컬러 공간 간격 측정치가 예로서, 최대 값의 50%를 초과한다는) 요구조건을 포함할 수 있다.

본 발명의 선택적 특징에 따라, 리매퍼는 시차 값들에 대한 시차 범위의 단지 서브범위에서 시차 값들을 수정하도록 배열된다.

이것은 성과를 개선할 수 있고 특히, 많은 실시예들에서 감지된 품질 개선을 제공할 수 있다. 많은 실시예들에서, 서브범위는 디스플레이/스크린 레벨 앞의 즉, 이미지들 사이의 제로 시차에 대응하는 이미지 평면 앞의 서브범위일 수 있다.

본 발명의 선택적 특징에 따라, 분석기는 빈도 분포의 단지 시차 값 서브범위에 응답하여 형상 속성을 결정하도록 배열된다.

이것은 성과를 개선할 수 있고 특히, 많은 실시예들에서 감지된 품질 개선을 제공할 수 있다. 많은 실시예들에서, 서브범위는 디스플레이/스크린 레벨 앞의 즉, 이미지들 사이의 제로 시차에 대응하는 이미지 평면 앞의 서브범위일 수 있다.

본 발명의 선택적 특징에 따라, 시차 리매핑은 적어도 하나의 시차 레벨 서브범위에서의 선형 리매핑이고, 적응기는 형상 속성에 응답하여 선형 리매핑에 대한 리매핑 계수를 결정하도록 배열된다.

이것은 많은 실시예들에서 개선된 성과 및/또는 용이한 구현을 제공할 수 있다.

본 발명의 선택적 특징에 따라, 분포 평가기는 빈도 분포를 생성할 때, 픽셀들의 서브세트의 픽셀들을 가중하도록 배열되고, 픽셀에 대한 가중치는 픽셀의 이미지 위치에 의존한다.

이것은 많은 실시예들 및 시나리오들에서 시차 아티팩트들의 개선된 감지된 완화를 제공할 수 있다.

본 발명의 선택적 특징에 따라, 서브세트 선택기는 픽셀들의 그룹의 각각의 픽셀에 대한 제 2 이미지 속성 기준을 평가하고, 제 2 이미지 속성 기준이 충족되는 픽셀들의 그룹 중 픽셀들의 제 2 서브세트를 결정하도록 배열되며; 장치는 픽셀들의 제 2 서브세트에 대한 시차 값들에 대한 빈도 분포에 응답하여 시차 리매핑을 결정하도록 배열된다.

이것은 많은 실시예들 및 시나리오들에서 시차 아티팩트들의 개선된 감지된 완화를 제공할 수 있다.

일부 실시예들에서, 장치는 제 2 빈도 분포에 대한 제 2 형상 속성을 결정하고 형상 속성 및 제 2 형상 속성에 응답하여 시차 리매핑을 결정하도록 배열될 수 있다.

일부 실시예들에서, 장치는 픽셀들의 서브세트 및 픽셀들의 제 2 서브세트 둘 모두에 대한 시차 값들에 대한 빈도 분포를 결정하도록 배열될 수 있다.

본 발명의 일 양태에 따라, 청구항 제 11 항에 따른 방법이 제공된다.

본 발명의 이들 및 다른 양태들, 특징들 및 장점들은 이하에 설명된 실시예(들)로부터 명백하고 이들을 참조하여 더 자세하게 설명될 것이다.

본 발명의 실시예들은 도면들을 참조하여 단지 예로서 설명될 것이다.

도 1은 오버레이 그래픽들을 갖는 좌측 및 우측 눈 사진을 포함하는 스테레오 3D 이미지의 일례를 도시한 도면.
도 2는 좌측 눈 사진 및 도 1의 스테레오 이미지로부터 시차 추정에 의해 생성된 시차 맵에 의해 표현된 도 1의 3D 이미지의 일례를 도시한 도면.
도 3은 시차 맵의 필터링 후의 도 2의 3D 이미지의 일례를 도시한 도면.
도 4는 본 발명의 일부 실시예들에 따라 3D 이미지를 프로세싱하기 위한 장치의 일례를 도시한 도면.
도 5는 도 4의 장치의 일 예시적인 실시예에 의한 처리 후의 도 3의 3D 이미지의 일례를 도시한 도면.

다음의 설명은, 이미지가 오버레이 그래픽들을 포함하는지의 여부의 추정에 기초하여 입력된 3차원 이미지가 프로세싱되는 실시예들에 초점을 맞출 것이다. 그러나, 본 발명은 이러한 실시예 또는 적용으로 제한되지 않지만, 많은 상이한 적용들 및 이미지들에 적용가능할 수 있음이 이해될 것이다.

도 4는 3차원(3D) 이미지를 프로세싱하기 위한 장치를 도시한다.

장치는 3D 이미지를 수신하도록 배열되는 수신기(401)를 포함한다. 3D 이미지는 픽셀들로 구성되고 이들 픽셀들의 각각은 그 위치에서 보여진 객체로부터 방사하는 가시광선을 나타내는 이미지 값 및 장면에서 객체의 깊이를 나타내는 시차 값과 연관된다.

수신기는 예를 들면, 네트워크 인터페이스, 매체 판독기, 광학 디스크 판독기, 텔레비전 수신기, 등일 수 있거나, 실제로 적합한 외부 또는 내부 소스로부터 이미지 데이터를 수신할 수 있는 임의의 적합한 하드웨어로서 구현될 수 있다.

전형적으로, 이미지 값들은 이미지의 픽셀들에 대해 제공된다. 이미지 값들은 픽셀의 공간 위치에 대한 가시광선 방사 특성들을 나타낼 수 있고, 즉 이미지 값은 이미지의 뷰잉 방향에 대해 그 픽셀 위치로부터 방사된 광의 속성들을 설명한다. 이미지 값들은 전형적으로, 광 세기(밝기) 및/또는 관련된 컬러이고 구체적으로, 휘도, 루마, 채도, 색차, 컬러 및 밝기 중 하나 이상을 나타낼 수 있다.

많은 실시예들에서, 이미지 값들은 예로서, Yuv 표현의 휘도 값 및 2개의 채도 값들 또는 RGB 표현의 3개의 컬러 채널 값들과 같은, 예로서, 컬러 표현의 상이한 구성요소들에 대응하는 복수의 서브 값들을 포함하는 합성 값들일 수 있다.

전형적으로, 이미지 값들은 이미지에 대한 픽셀 해상도에 대응하는 해상도로 제공되거나, 등가적으로 픽셀 해상도는 각각의 해상도에 대해 제공되는 하나의 값을 갖는 이미지 값 해상도에 의해 정의될 수 있다.

이미지 값들에 더하여, 3D 이미지는 깊이 정보를 더 포함한다. 예에서, 이 깊이 정보는 시차 값들의 형태로 제공된다. 시차 값들은 대응하는 픽셀 위치에서 보여지는 이미지 객체의 깊이를 나타낸다.

시차 값들이 예로서, 직접적인 시차 표시(예로서, 주어진 뷰잉 각 차에 대해 픽셀들에서 측정됨)를 포함하는 이미지 객체의 깊이를 나타내는 임의의 값 또는 깊이 표시를 단순하게 제공하는 z-값일 수 있음이 이해될 것이다. 시차 값들이 서명된 값들일 수 있고, 종종 스크린 레벨 또는 디스플레이 깊이에 대응하는 제로 시차에 대한 제로 값을 가질 수 있음이 또한 이해될 것이고, 시차 값들은 디스플레이 레벨의 뒤로부터 앞까지 달라진다. 다음에서, 시차 값들에 대한 참조들이 직접적인 Z-값들 또는 절대 시차 표시들을 포함하는 서명되지 않은 값들을 포함할 수 있음이 또한 이해될 것이다.

이미지에 대한 시차 값들은 디지털 값들로서 제공된다. 따라서, 시차 값들은 정량화된 값들로서 제공되고 따라서, 복수의 가능한 시차 레벨들 중 하나에 의해 표현된다. 따라서, 시차 범위는 복수의 시차 레벨들로 분할되고 각각의 시차 값은 이들 가능한 시차 레벨들 중 하나로서 주어진다. 시차 레벨들은 그에 따라, 시차 값들이 취할 수 있고 시차 값이 픽셀에 대한 단일 시차 레벨에 대응하는 가능한 값들을 언급한다. 시차 레벨은 따라서, 시차 값들의 가능한 값이다.

많은 실시예들에서, 이미지 값의 해상도와 시차 값들은 상이할 수 있다. 실제로, 전형적으로, 시차 값들은 이미지 값들 또는 픽셀들에 대한 감소된 해상도를 갖는 깊이 또는 시차 맵에서 제공된다. 따라서, 일부 실시예들에서, 하나의 시차 값이 픽셀들의 그룹에 대해 제공될 수 있고 즉, 하나의 그룹의 픽셀들의 각각은 동일한 시차 값에 연결될 수 있다.

수신기(401)는 서브세트 선택기(403)에 결합되고, 상기 서브세트 선택기는 픽셀들의 그룹의 각각의 픽셀의 이미지 값에 대한 이미지 속성 기준을 평가하도록 배열된다. 서브세트 선택기(430)는 그 다음, 이미지 속성 기준이 충족되는 모든 픽셀들을 포함하는 픽셀들의 서브세트를 생성한다.

따라서, 각각의 픽셀에 대해 서브세트 선택기(403)는 이미지 값에 즉, 휘도 및/또는 채도 값과 같은 시각적 구성요소에 관련된 기준을 고려한다. 이 평가에 기초하여, 픽셀들의 서브세트가 생성되고 따라서, 구체적으로 특정한 시각적 기준을 충족시키는 픽셀들의 서브세트가 식별된다.

서브세트 선택기(403)는 적합한 프로세싱 플랫폼 또는 임의의 다른 적합한 하드웨어로 구현될 수 있다. 예를 들면, 마이크로프로세서는 설명된 비교를 수행하고 서브세트에 대한 픽셀들을 선택하도록 배열될 수 있다. 프로세서는 이들 픽셀들에 대한 데이터를 외부 소스들로 송신할 수 있는 출력 인터페이스 회로들을 포함할 수 있다.

서브세트 선택기(403)는 분포 평가기(405)에 결합되고, 상기 분포 평가기는 픽셀들의 서브세트에 대한 시차 값들에 대한 빈도 분포를 생성한다. 분포 평가기(405)는 예를 들면, 서브세트 선택기(403)를 구현하는 마이크로제어기 또는 마이크로프로세서로부터 데이터를 수신하기 위한 인터페이스 회로들을 갖는 마이크로제어기 또는 마이크로프로세서와 같은 별개의 하드웨어로서 구현될 수 있다.

빈도 분포는 따라서, 시차 레벨들의 상이한 그룹들 또는 클래스(class)들에 대한 서브세트에서 픽셀들의 발생들의 수를 반영할 수 있다. 클래스들의 각각은 빈(bin)(빈도 분포의 히스토그램 표현에 대응함)으로서 언급될 수 있다. 많은 실시예들에서, 시차 값은 주어진 전형적으로, 상대적으로 낮은 해상도를 가질 수 있다. 예를 들면, 시차들은 256개의 상이한 시차 레벨들을 허용하는 8 비트 값들로 주어질 수 있다. 일부 실시예들에서, 각각의 클래스는 시차 레벨에 대응할 수 있고 즉, 각각의 가능한 시차 값에 대해 하나의 클래스가 존재한다(적어도 주어진 범위에서). 다른 실시예들에서, 클래스들은 복수의 가능한 시차 레벨들을 커버할 수 있고 예로서, 각각의 클래스는 하나 이상의 시차 레벨들을 포함하는 각각의 범위를 갖는 시차 레벨 범위로서 주어질 수 있다.

많은 실시예들에서, 각각의 클래스에 대한 빈도 분포 값은 단순하게, 클래스에 속하는 시차 값을 갖는, 서브세트에서의 픽셀들의 수의 합으로서 주어진다. 구체적으로, 각각의 클래스가 단일 시차 레벨로서 주어지는 실시예들에서, 분포 평가기(405)는 클래스에 대한 주파수 분포 값을, 클래스에 대한 시차 레벨에 대응하는 시차 값을 갖는, 서브세트에서의 픽셀들의 수로서 결정하도록 배열될 수 있다.

따라서, 분포 평가기(405)는 이미지 속성 기준에 의해 정의된 것들에 대응하는 시각적 특성들을 가지는 픽셀들이 깊이/시차 차원에서 분포되는 방법을 반영하는 빈도 분포를 생성한다.

분포 평가기(405)는 분석기(407)에 결합되고, 상기 분석기는 빈도 분포에 대한 형상 속성을 결정하도록 배열된다. 형상 속성은 분포의 형상을 반영하고 구체적으로, 클래스들/빈들의 크기가 분포에 따라 달라지는 방법을 반영한다.

분석기(407)는 예를 들면, 분포 평가기를 구현하는 하드웨어로부터 데이터를 수신하기 위한 인터페이스 회로들을 갖는 프로세싱 플랫폼의 형태의 독립 하드웨어로서 구현될 수 있다. 예를 들면, 마이크로프로세서 또는 전용 하드웨어 집적 회로는 분석기(407)를 구현하기 위해 이용될 수 있다.

분석기(407)는 구체적으로, 빈도 분포의 형상 속성을 나타내는 단일 값을 생성할 수 있다. 형상 속성은 예를 들면, 분포의 최대 크기일 수 있다. 최대 값은 다수의 검출된 픽셀들이 좁은 깊이 범위에 위치되는지의 여부 즉, 검출된 픽셀들이 특정한 깊이에 집중(concentrate)되는지의 여부, 또는 검출된 픽셀들이 깊이 범위에 걸쳐 더 균등하게 분산되는지의 여부의 표시일 수 있다.

일례로서, 형상 속성은 예로서, 백색 오버레이 그래픽들이 이미지에 존재하는 가능성을 반영하기 위해 생성될 수 있다. 예를 들면, 일부 시나리오들에서, 제목들을 포함할 수 있거나 포함하지 않을 수 있는 이미지들이 수신될 수 있다. 이들 제목들은 구체적으로, 백색인 것으로 가정(또는 공지)될 수 있고 전형적으로, 제목들은 스크린 레벨 앞의 하나의 특정 깊이에 위치되는 그래픽 객체들일 것이다. 따라서, 예에서, 그래픽 (제목) 오버레이는 스크린 앞의 하나의 특정 시차 레벨에 있는 백색 픽셀들에 의해 형성됨으로써 특징지워진다. 서브세트 선택기(403)는 먼저, 이미지에서 모든 픽셀들의 컬러를 평가하고 적합한 이미지 속성 기준에 따라 백색인 것으로 고려되는(즉, RGB 값들이 모두 충분하게 높은) 모든 픽셀들을 포함하는 픽셀들의 서브세트를 생성한다. 빈도 분포는 그 다음, 상이한 시차 레벨들에 대응하는 클래스들/빈들을 갖는 이들 픽셀들에 대해 생성된다. 이 경우에, 오버레이 그래픽들(제목들)의 부분인 모든 백색 픽셀들은 동일한 빈/클래스에 속할 것인 반면에, 다른 백색 픽셀들은 아마도 상이한 클래스들/빈들에 걸쳐 더 균일하게 분포할 것 같다(즉, 그들은 깊이로 분포될 경향이 있을 것이다).

분석기(470)는 이 경우에, 백색 픽셀들이 단일 빈/클래스에 집중될(즉, 동일한 깊이에 있을) 경향이 있는지의 여부 또는 그들이 더 균일하게 분포될 경향이 있는지의 여부를 나타내는 형상 속성을 결정할 수 있다. 이 예에서, 분석기(407)는 단순하게, 얼마나 많은 픽셀들이 대부분의 픽셀들을 갖는 클래스/빈에 있는지를 나타내는 형상 속성을 생성할 수 있고 즉, 그것은 형상 속성을 최대 크기로서 생성할 수 있다. 이미지가 제목 오버레이를 포함할 때, 이것은 아마도 높을 것인데, 이는 제목의 모든 백색 픽셀들이 동일한 깊이에 있고 따라서, 동일한 클래스에 속하기 때문이다. 이미지가 제목 오버레이를 포함하지 않을 때, 그것은 아마도, 백색 픽셀들이 균일하게 분산되기 때문에 더 낮을 것이다. 일부 경우들에서, 크기는 서브세트에서의 픽셀들의 총 수로 정규화될 수 있다. 따라서, 하나의 클래스에서 최대 수의 픽셀들의 형태의 형상 속성은 이미지가 제목 오버레이를 포함하는지의 여부의 양호한 표시를 제공할 수 있다.

더 일반적으로, 현재 이미지가 특정 시각적 기준을 충족시키는 다수의 픽셀들을 포함하는지의 여부를 반영하고 또한, 좁은 깊이 범위에(및 구체적으로, 동일한 깊이/시차 레벨에) 위치되는 형상 속성이 생성될 수 있다. 이러한 형상 속성은 구체적으로, 주어진 시각적 특성들을 갖는 평평한 이미지 객체가 이미지에 존재할 확률을 반영할 수 있다. 이 접근법은 특히, 종종 동종의 그리고 특정 시각적 특성들을 가짐으로써, 그리고 매우 평평하게 됨(및 전형적으로, 하나의 시차 레벨로 제한됨)으로써 특징지워질 수 있는 오버레이 그래픽들과 같은 객체들을 검출하기 위해 적합할 수 있다.

그래픽 객체들이 종종 스크린의 앞에 위치되기 때문에(좌측 눈 이미지가 시차 벡터에 대한 기준으로서 이용될 때의 네거티브(negative) 시차들에서), 예로서, 최다 수의 픽셀들을 포함하는 시차 빈이 스크린 앞(즉, 예에서 네거티브 또는 제로 시차)에 있는 위치에 대응해야함이 또한 요구될 수 있다. 스크린 뒤에 놓이는 객체들에 대응하는 빈들은 따라서 무시된다.

분석기(407)는 형상 속성에 응답하여 시차 리매핑을 결정하도록 배열되는 적응기(409)에 결합된다.

적응기(409)는 수신기(401)에 또한 결합되는 리매퍼(411)에 결합된다. 리매퍼(411)는 수신기(401)로부터 3D 이미지 및 적응기(409)로부터 리매핑하는 시차를 수신한다.

적응기(406) 및 리매퍼(411)는 별개의 하드웨어로 구현될 수 있고, 구체적으로 적합한 마이크로프로세서 또는 마이크로제어기 뿐만 아니라, 장치의 다른 기능적 부분들을 구현하는 다른 하드웨어 프로세싱 플랫폼들로부터 데이터를 수신하고 송신하며 상기 다른 하드웨어 프로세싱 플랫폼들로 상기 데이터를 송신할 수 있는 연관된 인터페이스 회로를 포함하는 별개의 프로세싱 플랫폼들로서 구현될 수 있다.

리매퍼(411)는 시차 리매핑을 시차 값들에 적용함으로써 수신된 3D 이미지의 시차 값들을 수정하도록 배열된다. 시차 리매핑은 출력된 시차 값을 형상 속성에 의존하는 함수/매핑을 갖는 입력된 시차 값의 함수로서 제공한다.

구체적으로, 시차 리매핑은 적어도 하나의 시차 범위가 형상 속성의 적어도 일부 값들에 대한 더 작은 시차 범위로 압축되도록 시차 압축을 포함할 수 있다.

특정 예로서, 형상 속성이 상대적으로 낮은 최대 크기의 빈도 분포를 나타내면(따라서, 수신된 이미지가 임의의 오버레이 그래픽들을 포함할 상대적으로 낮은 확률을 나타냄), 시차 리매핑은 임의의 시차 값들을 실제로 변경하지 않도록 생성될 수 있고 즉, 출력된 값은 입력된 시차 값과 정확하게 동일한 것이 되도록 생성될 수 있다. 이 예에서, 출력된/수정된 3D 이미지는 수신기에 의해 수신된 이미지와 같을 수 있다.

그러나, 형상 속성이 상대적으로 높은 최대 크기의 빈도 분포를 나타내면(따라서, 수신된 이미지가 임의의 오버레이 그래픽들을 포함할 상대적으로 높은 확률을 나타냄), 시차 리매핑은 스크린 레벨 앞의 객체들에 대한 시차 범위를 감소시키도록 생성될 수 있다. 예를 들면, 128로부터 155까지의 시차 값들이 스크린 앞의 깊이 레벨들을 나타내면, 시차 리매핑은 그것이 이 범위를 128로부터 160까지의 값들로 하향 압축하도록 생성될 수 있다. 따라서, 스크린 앞의 깊이 범위는 결과로 발생하는 출력된/수정된 3D 이미지에서 실질적으로 감소된다.

결과로서, 시차 값들의 에러들 및 부정확도들의 감지된 영향은 깊이 범위가 감소됨에 따라 실질적으로 감소될 수 있다. 이러한 아티팩트들이 종종 특히, 오버레이 그래픽들 주위에서 우세하고 현저하기 때문에, 장치는 이것이 오버레이 그래픽 요소들을 포함할 확률의 표시를 결정하기 위해 수신된 3D 이미지의 특정 분석에 의존하는 적응을 허용한다.

실제로, 발명자들은 시차 추정을 수행할 때의 시차 추정 에러들이 특히, 오버레이 그래픽 객체들 주위에서 상당함을 인식했다. 발명자들은, 에러들이 시각적 속성들(컬러/밝기) 및 깊이 차들 둘 모두에 관하여 주위 영역들로부터 전형적으로 두드러지는 것들로 인해 오버레이 그래픽 객체들 주위에서 더 감지가능할 경향이 있고, 에러들이 오버레이 그래픽 객체들 주위에서 더 우세할 경향이 있음을 인식했다(이는 이들이 전형적으로, 시차 필터링을 겪는 얇은 객체들(라인들, 텍스트)을 포함하기 때문임). 따라서, 발명자들은 시차 에러들이 예로서, 오버레이 그래픽 객체들 주위에서 더 우세할 경향이 있고 또한, 그러한 객체들 주위에서 더 감지가능할 경향이 있음을 인식했다.

발명자들은 이들 효과들이 이미지의 시차 값들의 적응형 리매핑을 적용함으로써 완화될 수 있고 적응형 리매핑이 이미지가 오버레이 그래픽들을 포함할 확률의 표시에 의존할 수 있음을 또한 인식했다. 도 4의 장치는 이 기능을 수행하기 위해 특정한 그리고 이로운 접근법을 제공할 수 있다.

그러나, 도 4의 장치가 오버레이 그래픽들의 잠재적인 존재의 검출로 제한되지 않지만, 많은 다른 가능한 이미지 객체들 또는 특성들의 검출을 위해 이용될 수 있음이 이해될 것이다. 특히, 설명된 접근법이, 깊이 리매핑이 특정 시각적 및 깊이 특성들을 갖는 속성들의 존재에 의존하는 것을 허용하는 접근법을 제공함에 주의한다.

시차 리매핑이 반드시 시차 압축을 수행해야하는 것은 아니지만, 다른 실시예들에서, 예로서 설명된 접근법에 의해 검출되는 특정 이미지 속성들 또는 객체들의 경우에 깊이 범위를 확장하는 것이 바람직할 수 있음이 또한 이해될 것이다.

그러나, 설명된 특정 예에서, 도 4의 장치는 수신된 3D 이미지가 오버레이 그래픽 객체들을 포함할 증가된 확률을 나타내는 형상 속성에 응답하여 시차 레벨들의 적어도 하나의 범위에 대한 시차 압축의 정도를 증가시키도록 배열된다.

접근법은 그래픽 오버레이들의 대부분이 이미지 속성들 뿐만 아니라, 시차에 관한 특정한 특성들을 갖는다는 발명자의 인식을 반영한다. 예를 들면, 매우 종종 그래픽 객체들은 (가상 카메라 평면과 평행한) 일정한 시차를 갖는 평면 상에 놓이는데, 이는 임의의 카메라 방향 때문에 장면들의 다른 콘텐트/정상 이미지들에 대해 매우 종종 있는 그러한 경우가 아니다. 종종, 그래픽 객체들은 다른 콘텐트보다 급격한 에지들을 포함한다. 또한, 실생활 장면들의 전형적인 사진들은 카메라의 제한된 피사계 심도(depth-of-field)를 겪는 반면에, 그래픽들은 이후에 삽입되고 전형적으로 선명하다. 특정 접근법은 또한, 오프닝 크레딧(opening credit)들, 자막들 및 로고들과 같은, 그래픽 객체들이 종종 스크린 레벨 밖의 다소 먼 그러나, 일정한 시차를 갖는 곳에 위치된다는 발명자의 인식을 반영한다. 이것은 또한, 오버레이 그래픽 객체들 주위에서 매우 현저한 시차 아티팩트들을 야기하는데, 이는 오버레이 그래픽 객체들의 시차 값들과 믹싱(mixing)하는 배경으로부터의 시차 값이 큰 시차 차로 인해 큰 에러를 야기할 것이기 때문이다.

특정 예에서, 이들 고려들은 시차 또는 깊이의 함수로서의, 선명한 에지들과 같은 특정 이미지 속성들의 발생의 빈도 분포의 생성에 의해 반영된다. 특정 스크린 밖의 시차에서, 선명한 에지들의 빈도가 임계치를 초과하면, 아마도 스크린 밖의 그래픽 객체가 존재할 것이고 따라서, 시차 아티팩트들의 가능한 존재를 완화시키기 위해 시차/깊이 맵이 수정된다(구체적으로, 시차 압축에 의해).

현실적인 평가는 예로서, 주어진 시차 레벨에 대해 발견된 복수의 선명한 에지들의 빈도 분포의 형상 속성에 의존하는 스크린 밖의 모든 시차를 감소시키는 것이 매우 효율적인 완화를 제공함을 설명했다. 효과적으로, 그래픽 객체(및 스크린 밖의 시차를 갖는 모든 다른 콘텐트)는 스크린 깊이를 향해 다시 압축되고 그에 의해, 에러들을 덜 현저하게 한다. 특정 예로서, 장치는 스크린 밖의 시차 효과가 스크린 밖의 그래픽 객체들을 포함하지 않는 이미지들에 대해 변화되지 않는 채로 유지되는 동안 스크린 밖의 그래픽 객체들을 포함하는 장면들에 대해 스크린 밖의 시차 효과를 감소시키도록 배열될 수 있다. 이것은 실질적으로 개선된 이용자 경험을 제공하기 위해 발견되었다.

이용된 특정 이미지 속성 기준은 특정 선호도들 및 특정 실시예와 적용의 요구조건들에 의존할 것이다.

많은 실시예들에서, 특정하게 이로운 성과는 이미지 객체 에지에 속하고, 특히 상이한 이미지 객체들 사이의 전이 영역에 속할 것 같은 픽셀들을 선택하는 것에 관한 이미지 속성 기준에 의해 성취된다.

많은 실시예들에서, 이미지 속성 기준은 픽셀과 이웃하는 픽셀 사이의 이미지 속성 차가 임계치를 초과한다는 요구조건을 포함할 수 있다. 이웃 픽셀은 예를 들면, 하나, 2개, 3개, 5개 또는 10개의 픽셀들 중 현재 픽셀까지의 최대 간격을 갖는 것과 같은, 예를 들면 현재 픽셀의 주어진 간격 내에 있는 픽셀이 되도록 요구받을 수 있다. 픽셀과 이웃하는 픽셀 사이의 이미지 속성 차가 임계치를 초과하면, 현재 픽셀이 이미지 객체 에지의 부분인 것으로 고려될 수 있고, 픽셀은 서브세트에 포함될 수 있다. 임계치는 예를 들면, 컬러 차(예로서, 개별적인 컬러 채널(예로서, RGB) 값들 사이의 총 누적된 차로서 측정됨)가 예로서, 하나의 컬러 채널 값에 대한 총 범위의 100%를 초과하는 것일 수 있다(예로서, 8 비트 RGB 값들에 대해, 대응하는 컬러 채널 값들 사이의 합 차가 256을 초과함이 요구될 수 있음).

많은 실시예들에서, 이미지 속성 기준은, 현재 픽셀과 인접 픽셀 사이의 이미지 속성 차(예로서, 세기)가 주어진 임계치(즉, 현재 픽셀과 현재 픽셀로부터의 하나의 픽셀과 아주 가까이 있고/상기 하나의 픽셀의 간격 내에 있는 이웃 픽셀 사이의 이미지 속성 차)를 초과할 것을 요구할 수 있다. 예를 들면, 세기의 차가 즉, 최대 세기의 30%를 초과함이 요구될 수 있다. 이 기준이 충족되면, 픽셀은 에지 픽셀인 것으로 고려된다. 이 기준이 특히, 오버레이 그래픽 객체의 에지에 있는 픽셀들을 검출하고 선택하기 위해 매우 적합할 수 있는데, 이는 그들이 매우 선명한 에지들(전형적으로, 인접 픽셀들 사이의 선명한 전이들)을 갖는 경향이 있기 때문이다. 예를 들면, 밝은 백색 그래픽 요소가 상대적으로 더 어두운 이미지 상에 덮어씌워지면, 그래픽 객체의 백색 에지 픽셀들은 전형적으로, 기본(underlying) 이미지에 대응하는 더 어두운 픽셀에 인접할 것이다. 이러한 선명한 전이들은 정상적인(natural) 장면들의 이미지들에서 발생하지 않을 것 같고 따라서, 정상적 이미지 변동들 사이의 매우 정확한 미분 및 그래픽 객체들과 이미지 콘텐트 사이의 전이들을 제공한다.

따라서, 많은 실시예들에서, 서브세트 선택기(403)는, 에지 검출 표시가 픽셀이 이미지 객체 에지에 속하는지의 여부를 나타내는 픽셀들에 대한 에지 검출 표시를 생성하도록 배열될 수 있다. 적합한 에지 검출 표시는 예를 들면, 픽셀과 하나 이상의 이웃 또는 인접 픽셀들 사이의 이미지 속성 차일 수 있다. 이웃(또는 인접) 픽셀은 예를 들면, 가장 큰 차를 야기하고 현재 픽셀로부터 단지 2개의 픽셀들의 간격을 갖는 픽셀과 같은, 주어진 이웃 내에서 예를 들면, 미리 정의되거나 발견될 수 있다. 이 방식으로, 픽셀이 이미지 객체 에지에 속할 확률을 나타내는 에지 검출 표시가 생성된다.

이미지 속성 기준은 그 다음, 이 에지 검출 표시가 주어진 레벨 위에 있음을 요구할 수 있다. 그렇다면, 이미지 객체들 사이의 에지, 및 아마도 그래픽 객체와 기본 이미지 사이의 에지가 발견되었음이 고려된다. 따라서, 픽셀이 에지 픽셀이고 그것이 그에 따라, 빈도 분포의 생성을 위해 서브세트에 포함됨이 고려된다.

일부 실시예들에서, 서브세트 선택기(403)는 각각의 픽셀에 대한 이미지 속성 전이 측정치를 생성하도록 배열된다. 현재 픽셀과 하나 이상의 이웃 픽셀들 사이의 차의 설명된 에지 검출 표시는 또한, 적합한 이미지 속성 전이 측정치일 수 있다. 이미지 속성 전이 측정치는 구체적으로, 픽셀의 위치에서 이미지 속성의 그래디언트(gradient) 또는 변화를 나타낼 수 있다.

다른 실시예들에서, 이미지 속성 전이 측정치는 구체적으로, 에지들을 검출하는 것을 목표로 하지 않고 대신에, 이미지 객체들의 평평한 영역들을 검출하도록 적응될 수 있다. 예를 들면, 이웃(예로서, 10개의 픽셀 반경의)에서 이미지 속성의 분산이 결정될 수 있다. 분산은 이미지 속성 전이 측정치로서 이용될 수 있고 이미지 속성 기준은 분산이 임계치 미만이면, 픽셀이 서브세트에 단지 포함된다는 요구조건을 포함할 수 있다. 그에 따라, 픽셀이 평평하고 균질의(homogenous) 이미지 영역에 속하면, 픽셀이 단지 포함된다.

이러한 접근법은 예를 들면, 균질의 객체(전형적으로, 카메라들이 실생활 상황들을 캡처함으로써 생성된 이미지들과 같은)의 다른 큰 영역들을 포함하도록 예상되지 않는 이미지에서 균질의 그래픽들(예로서, 단일 컬러 그래픽들)의 존재를 검출하기 위해 유용할 수 있다. 결과로 발생하는 빈도 분포가 특정 깊이에서 다수의 픽셀들을 보여주면, 이것은 이미지가 매우 균질의 영역들의 부분이고 특정 깊이 레벨에 있는 다수의 픽셀들을 포함함을 나타낸다. 이것은 수신된 3D 이미지에서 오버레이 그래픽 객체들의 존재를 나타낸다.

많은 실시예들에서, 장치가 예로서, 상이한 컬러 채널 값들과 같은, 복수의 값들을 고려할 수 있음이 이해될 것이다. 이러한 경우들에서, 설명된 접근법은 예로서, 각각의 컬러 채널에 개별적으로 적용될 수 있다. 장치는 예로서, 각각의 컬러 채널에 대해 에지 검출 표시 값 또는 이미지 속성 전이 측정치 값을 생성하고 그 다음, 이들을 이미지 속성 기준을 평가하기 위해 이용되는 단일 에지 검출 표시 값 또는 이미지 속성 전이 측정치 값으로 조합할 수 있다. 일부 실시예들에서, 이미지 속성 기준은 컬러 채널들의 각각에 대한 요구조건을 포함할 수 있다.

다른 파라미터들이 대안적으로 또는 부가적으로, 다른 실시예들에서 이미지 속성 기준에 의해 고려될 수 있음이 이해될 것이다.

많은 실시예들에서, 이미지 속성 기준은 픽셀의 휘도 및/또는 채도에 대한 요구조건을 포함할 수 있다. 예를 들면, 픽셀의 밝기가 주어진 레벨보다 높고/거나 채도/컬러가 특정 영역의 범위 내에 있음이 요구될 수 있다.

예를 들면, 휘도가 주어진 레벨보다 높고 (예로서, RGB 표현의) 컬러 채널 값들 사이의 최대 차가 임계치(즉, 총 범위의 20%의) 미만 임이 요구될 수 있다. 이것은 오버레이 그래픽들이 밝고 실질적으로 백색(일부 실시예들에서 그러한 경우인 것으로 공지될 수 있음)이라는 고려를 반영할 수 있다. 따라서, 이러한 예에서, 장치는 이미지가 실질적으로 동일한 깊이에 위치된 충분하게 많은 수의 실질적으로 백색 및 충분하게 밝은 픽셀들을 포함하는지의 여부의 고려에 기초하여 수정된 이미지의 깊이 범위를 조정하도록 적응될 수 있다.

일부 실시예들에서, 서브세트 선택기(403)는 각각의 픽셀에 대한 픽셀 컬러 속성 측정치를 생성할 수 있고 이미지 속성 기준은 컬러 속성 측정치에 대한 요구조건을 포함할 수 있다.

컬러 속성 측정치는 구체적으로, 컬러 포화 측정치일 수 있다. 일부 실시예들에서, 오버레이 그래픽들은 매우 포화된 컬러들을 이용함으로써 특징지워질 수 있다. 이러한 실시예들에서, 서브세트 선택기(403)는 컬러의 포화의 표시를 생성할 수 있다. 예를 들면, 가장 큰 컬러 채널 값과 다음 가장 큰 컬러 채널 값 사이의 차는 컬러 포화 측정치로서 결정될 수 있다. 이미지 속성 기준은 그 다음, 이 컬러 포화 측정치가 임계치(예로서, 최대 값의 50%와 같은)를 초과함을 요구할 수 있다.

분석기(407)에 의해 결정되고 적응기(409)에 의해 고려된 형상 속성은 선호도들 및 본 발명의 요구조건들에 의존할 수 있다.

많은 실시예들에서, 형상 속성은 크기와 같은, 빈도 분포의 적어도 하나의 피크의 속성을 나타낼 수 있다. 형상 속성은 빈도 분포의 피크화를 나타내는 속성일 수 있다.

평가된 이미지가 오버레이 그래픽들을 포함하는 상황들에서, 픽셀들의 서브세트는 모두 동일한 깊이 계층에 있는 다수의 픽셀들을 포함할 것 같다. 그에 따라, 많은 픽셀들은 동일한 시차 레벨 클래스 또는 빈에 속할 것이다. 결과로서, 빈도 분포는 매우 특정한 시차 레벨들(즉, 매우 특정한 빈들)에서 픽셀들의 높은 집중을 가질 경향이 있을 것이다. 실제로, 전형적으로, 모든 오버레이 그래픽 객체들은 동일한 깊이 레벨에 위치될 경향이 있을 것이고, 그에 따라 주파수 분포의 하나의 빈/클래스에 서브세트의 픽셀들의 매우 높은 집중이 존재할 것이다.

시스템은 많은 실시예들에서 그에 따라, 얼마나 많은 주파수 분포가 개별적인 피크들로 집중되는지를 반영하는 형상 속성을 생성할 수 있다. 하나의 넓고 협소한 피크를 갖는 빈도 분포는 오버레이 그래픽들의 존재를 나타낼 것 같다. 상대적으로 평평하고 임의의 피크들을 포함하지 않는 빈도 분포는, 이미지가 임의의 오버레이 그래픽들을 포함하지 않음을 나타낼 것 같다.

일부 시나리오들에서, 이미지는 상이한 깊이 레벨들에서의 오버레이 그래픽들을 포함할 수 있고 그에 따라, 이것은 빈도 분포에서 하나보다 많은 피크를 야기할 수 있다. 따라서, 일부 실시예들에서, 시스템은 하나보다 많은 피크의 고려를 포함할 수 있다.

빈도 분포의 피크화의 정도를 반영하는 상이한 형상 속성들이 이용될 수 있음이 이해될 것이다. 피크화는 클래스들/빈들/시차 레벨들로의 픽셀들의 집중의 측정치인 것으로 고려될 수 있다.

빈도 분포의 피크화는 픽셀들이 클래스들에 걸쳐 대략적으로 분포되는지의 여부 또는 그들이 하나 또는 몇몇 빈들(또는 가능하게 인접 빈들의 그룹들)로 집중되는 경향이 있는지의 여부를 나타낼 수 있다. 피크는 전형적으로, 피크의 이웃에서 클래스들보다 상당히 큰 크기를 가짐으로써 표시될 수 있다. 피크는 따라서, 전형적으로 극댓값(local maximum) 또는 최댓값(global maximum)일 수 있다. 피크는 최대 크기 뿐만 아니라, 그것이 얼마나 빨리 줄어드는지에 의해 특징지워질 수 있다. 따라서, 예로서, 피크는 크기 및 폭(예로서, 최대 크기의 50%에서의)에 의해 특징지워질 수 있다. 피크화는 따라서 예를 들면, 최대 크기 및/또는 폭에 의해 표시될 수 있다. 대안적으로 또는 부가적으로, 피크화는 빈도 분포에 대해 존재하는 피크들의 수에 의해 표시될 수 있다(여기서, 적합한 피크 표시 기준이 이용된다). 예를 들면, 빈도 분포가 하나 이상의 피크들을 포함하면, 이미지가 오버레이 그래픽들을 포함함이 고려될 수 있고 그것이 임의의 피크들을 포함하지 않으면, 그것이 임의의 오버레이 그래픽들을 포함하지 않음이 고려될 수 있다.

예를 들면, 일부 실시예들에서, 분석기(407)는 빈도 분포에서 피크들의 존재를 검출하도록 배열되는 피크 검출기를 포함할 수 있다. 임의의 적합한 피크 기준은 예로서, 피크의 크기가 평균 크기, 또는 예로서, 2개의 인접 빈들의 크기들을 주어진 임계치만큼 초과해야하는 것과 같은 피크를 검출하기 위해 이용될 수 있다. 예를 들면, 빈의 크기가 인접 빈들 둘 모두의 크기들보다 3배 크면, 피크가 존재하는 것으로 고려될 수 있다. 분석기(407)는 그 다음, 형상 속성을 예로서, 최대 피크의 높이로서, 또는 예로서 검출된 피크들의 조합된 높이로서 결정하기 위해 진행할 수 있다.

상이한 형상 속성들이 상이한 실시예들에서 이용될 수 있음이 이해될 것이다.

특정하게 이로운 접근법은 형상 속성을 주파수 분포의 모드의 크기에 기반으로 하게 하기 위해 발견되었다. 구체적으로, 형상 속성은 일부 실시예들에서 가장 큰 크기를 가지는 모드 즉, 메인 모드의 크기에 응답하여 생성될 수 있다.

따라서, 일부 실시예들에서, 모드는 최댓값일 수 있고 따라서, 가장 자주 발생하는 클래스 즉, 빈도 분포가 최댓값을 갖는 시차 레벨(또는 시차 레벨 범위)을 반영할 수 있다. 그러나, 일부 실시예들에서, 접근법은 하나 이상의 국부 최댓값을 고려할 수 있다(예로서, 그들에게 적어도 즉, 최댓값의 50%의 값을 갖는 것과 같은 특정 특성들을 충족시키도록 요구함).

일부 실시예들에서, 형상 속성을 결정하기 위한 상대적으로 낮은 복잡도 접근법이 이용될 수 있다.

예를 들면, 일부 실시예들에서, 분석기(407)는 빈도 분포의 최대 빈도에 기초하여 형상 속성을 결정하도록 배열될 수 있고, 구체적으로 형상 속성은 일부 실시예들에서, 빈도 분포의 최대 빈도로서 직접적으로 결정될 수 있다. 따라서, 일부 실시예들에서, 분석기(407)는 단순하게, 가장 큰 크기를 갖는 것을 찾기 위해 빈도 분포의 클래스들을 통해 검색하기 위해 진행할 수 있다. 형상 속성은 그 다음, 이 값과 같게 설정될 수 있거나, 예로서 서브세트에서 픽셀들의 총 수에 대하여 정규화될 수 있다. 이러한 접근법은 형상 속성을 빈도 분포의 (메인) 모드의 크기로 설정하는 것에 대응하기 위해 고려될 수 있다.

이러한 접근법은 낮은 복잡도 접근법을 허용할 수 있고, 이는 이미 실제로 매우 이로운 결과들을 제공하기 위해 발견되었다.

일부 실시예들에서, 분석기(407)는 빈도 분포에 대해 평균화된 빈도에 관한 빈도 분포의 최대 빈도에 기초하여 형상 속성을 결정하도록 배열될 수 있다.

일부 실시예들에서, 분석기(407)는 피크 빈도의 시차 레벨 이웃에서의 빈도들에 관한 빈도 분포의 피크 빈도에 기초하여 형상 속성을 결정하도록 배열될 수 있다. 최대 크기는 구체적으로, 최대 크기 빈의 이웃에서 다른 빈들의 크기들과 비교될 수 있다. 예를 들면, 그것은 즉, 4개의 주위의 빈들의 평균 크기들과 비교될 수 있다. 이러한 접근법은 픽셀들이 많은 실시예들에서 오버레이 그래픽들에 대응하는지의 여부의 더 강한(stronger) 표시를 제공할 수 있다.

일부 실시예들에서, 형상 속성은 예를 들면, 최대 빈도 즉, 빈도 분포의 최대 크기를 식별함으로써 결정될 수 있다. 분석기(407)는 그 다음, 현재 빈의 어느 한 측에 대한 2개의 빈들의 최고치를 검색할 수 있다. 그것은 그 다음, 이들 4개의 빈들의 평균을 결정하기 위해 진행할 수 있다. 마지막으로, 형상 속성은 결정된 평균 값으로 나누어진 빈도 분포의 최대 크기로서 주어질 수 있다. 따라서, 형상 속성은 빈도 분포의 메인 피크가 주위의 값들에 관해 얼마나 큰지를 나타낸다. 그에 따라, 피크의 크기 및 폭 둘 모두를 반영하는 형상 속성이 생성된다.

일부 실시예들에서, 형상 속성은 이웃과 비교할 수 있을 뿐만 아니라, 전체 빈도 분포에 대한 비교일 수 있다. 예를 들면, 최대 빈도의 이웃에서 빈들로부터 평균 빈도를 단지 생성하기보다, 분석기(407)는 전체 빈도 분포(예로서, 모드 빈을 배제하는)에 대한 평균 빈도를 결정할 수 있다. 이 경우에, 형상 속성은 예로서, 빈도 분포에 대한 평균 빈도로 나누어진 최대 크기로서 생성될 수 있다. 이 파라미터는 정규화된 최대 크기의 양호한 표시를 제공할 수 있지만 메인 피크의 폭을 정확하게 반영할 수 없다.

일부 실시예들에서, 분석기(407)는 빈도 분포의 피크에 대한 폭 측정치에 기초하여 형상 속성을 결정하도록 배열될 수 있다. 예를 들면, 분석기(407)는 빈도 분포의 최대 크기를 검출할 수 있다. 그것은 그 다음, 크기가 즉, 검출된 크기의 50% 미만이 되기 전에 (빈들의 수(또는 예로서, 각각의 빈이 하나보다 많은 시차를 포함하면 시차 레벨들)에 관한) 간격을 결정하기 위해 진행할 수 있다. 오버레이 그래픽들이 전형적으로, 단일 시차 레벨로 제한되기 때문에(즉, 오버레이 그래픽들에 속하는 모든 픽셀들은 정확한 동일한 깊이 레벨에 있고 따라서, 동일한 시차 값을 가짐), 오버레이 그래픽들의 존재는 단일 빈의 폭을 갖는 피크를 야기할 경향이 있을 것이고 즉, 인접 빈들은 크기의 50% 미만의 크기를 가질 것 같다. 그러나, 전형적인 이미지들 또는 실제 장면들의 이미지 객체들은 훨씬 더 점진적인 전이를 갖는 경향이 있다. 예를 들면, 이미지가 큰 백색 볼(ball)을 포함하면, 이 볼에 대응하는 픽셀들은 서브세트에 포함될 수 있다. 그러나, 이들 픽셀들이 적은 범위에 있지만 볼의 중심으로부터 끝까지 변하는 볼의 깊이에 집중될 수 있기 때문에, 전이는 훨씬 더 점진적인 것이 될 경향이 있고 빈도 분포에서의 피크는 복수의 시차 레벨들에 걸쳐 분산될 것 같다. 그에 따라, 폭은 오버레이 그래픽들에 대해서보다 클 것이고 이것은 빈도 분포에서 검출된 피크의 폭을 반영하는 형상 속성에서 반영될 것이다. 따라서, 많은 시나리오들에서, 접근법은 오버레이 그래픽들과 동일한 이미지 속성들을 갖는 다른 이미지 객체들 사이를 구별할 수 있다.

많은 실시예들에서, 리매퍼(411)는 시차 값들의 시차 압축을 수행하도록 배열될 수 있다. 따라서, 시차 리매핑은 제 2 범위가 제 1 범위보다 적은 시차 레벨들의 제 2 범위에 대한 시차 범위들의 제 1 범위의 매핑을 포함할 수 있다. 일부 실시예들에서, 제 1 범위는 시차 레벨들의 전체 범위에 즉, 시차 값들의 모든 가능한 값들에 대응할 수 있다. 그러나, 다른 실시예들에서, 시차 압축은 단지, 전체 시차 레벨 범위의 서브범위에서 적용될 수 있다.

실제로, 많은 실시예들에서, 시차 압축은 디스플레이/스크린 레벨 앞의 범위로 제한될 수 있고 즉, 압축은 시차 값들이 그것이 스크린 앞에 있는지를 나타내는 픽셀들에 대해서만 수행된다. 이것은 오버레이 그래픽들이 전형적으로, 스크린 레벨 앞에 위치됨을 반영할 수 있다.

시차 압축은 전형적으로, 시차 감소이다. 따라서, 리매퍼(411)는 전형적으로, (시차들의 범위에 대해 적어도) 이미지에서 시차를 감소시키는 시차 리매핑을 제공할 수 있다.

리매퍼(411)는 많은 실시예들에서, 더 높은 피크화의 정도를 나타내는 형상 속성에 응답하여 시차 리매핑에 의해 제공된 시차 압축의 정도를 증가시키도록 배열될 수 있다. 구체적으로, (메인) 모드의 크기가 더 높아질 수록, 메인 피크의 폭이 더 좁아지고, 등이며, 시차 리매핑을 적용하는 것으로부터 발생하는 압축이 더 높아진다.

일부 실시예들에서, 시차 리매핑은 단순하게, 시차 압축을 도입하거나 형상 속성에 의존하지 않는 것 사이를 스위칭함으로써 적응될 수 있다. 구체적으로, 형상 속성이 이미지가 중요한 오버레이 그래픽들을 포함하지 않음을 나타나면(예로서, (메인) 모드의 크기가 임계치 미만 예로서, 이미지에서 픽셀들의 총 수의 20% 또는 서브세트에서 픽셀들의 수의 50%이면), 시차 리매핑은 단순하게, 출력된 값이 (시차 값들에 적용되지 않는 시차 매핑과 등가인) 입력된 값과 같은 유니티 함수(unity function)일 수 있다. 그러나, 형상 속성이 이미지가 중요한 오버레이 그래픽들을 포함함을 나타내면(예로서, (메인) 모드의 크기가 임계치를 초과하면), 시차 리매핑은 스크린 밖의 모든 시차 값들을 제로(zero)로 압축할 수 있다.

그에 따라, 이러한 실시예에서, 시스템은 오버레이 그래픽들을 포함하도록 검출되는 입력된 이미지가 수신될 때, 스크린 레벨 앞의 임의의 객체들이 스크린 레벨로 되돌리도록 동작을 적응시킬 수 있다. 그에 따라, 오버레이 그래픽들을 둘러싸는 시차 값들의 에러들 및 부정확도들은 주위 영역들을 갖는 그래픽들의 시차 차가 전형적으로 감소할 것이기 때문에, 덜 중요하게 될 것이다. 따라서, 시차 추정 에러들은 완화된다(3D 효과를 희생하여). 그러나, 오버레이 그래픽들을 포함하지 않도록 검출되는 입력된 이미지가 수신되면, 어떠한 변화들도 도입되지 않고 스크린 앞의 깊이 특성들을 포함하는 원래 이미지가 렌더링(rendering)될 수 있다.

많은 실시예들에서, 시차 압축은 덜 극단적이고(drastic) 형상 속성에 관한 의존도는 또한 덜 극단적일 것이다. 예를 들면, 많은 실시예들에서, 시차 리매핑은 예를 들면, 스크린 레벨 앞의 시차 레벨들에 대한 것과 같은, 적어도 하나의 시차 레벨 서브범위에서의 선형 리매핑일 수 있다.

예를 들면, 스크린 앞의 시차 값들은 구체적으로, 0부터 1까지의 간격일 수 있는 리매핑 계수 또는 이득으로 곱해질 수 있다. 실제 이득은 형상 속성에 응답하여 결정된다. 예를 들면, 이득은 (메인) 모드의 크기의 함수로서 결정될 수 있다. 특정 예로서, 이득은 서브세트에서의 픽셀들의 총 수 마이너스 서브세트에서의 픽셀들의 총 수로 나누어진 (메인) 모드 시차 레벨의 시차 값을 갖는 픽셀들의 수로서 설정될 수 있다. 이것은 빈도 분포의 증가된 피크화에 대해 점진적으로 증가되는 시차 압축을 야기할 수 있다.

설명된 바와 같이, 일부 실시예들에서, 리매퍼는 시차 값들에 대한 시차 범위의 서브범위에서만 시차 값들을 수정하도록 배열될 수 있다. 서브범위는 예를 들면, 스크린 앞의 시차 값들의 범위일 수 있다. 다른 실시예들에서, 서브범위는 예를 들면, 더 제한되거나 특정 범위일 수 있다.

또한, 일부 실시예들에서, 분석기(407)는 빈도 분포에 대한 시차 값 서브범위에만 응답하여 형상 속성을 결정하도록 배열될 수 있다. 예를 들면, (메인) 모드를 결정할 때, 주어진 범위에서의 시차 레벨들만 고려될 수 있다. 예를 들면, 오버레이 그래픽들이 전형적으로, 스크린 앞에 있기 때문에, 분석기(407)는 스크린 레벨 앞의 깊이들에 대응하는 시차 값들만 고려할 수 있다.

일부 실시예들에서, 오버레이 그래픽들이 발생할 것 같은 범위에 관한 정보가 이용가능할 수 있거나 가정될 수 있고 분석기(407)는 형상 속성을 결정할 때, 그 범위만을 고려할 수 있다. 예를 들면, 오버레이 그래픽들이 단지, (8 비트 시차 값에 대해) 예로서 230으로부터 255까지의 시차 레벨들에서 존재할 것임이 가정될 수 있다. 이 경우에, 분석기(407)는 단지, 이 특정 범위에 대한 빈도 분포를 평가(또는 실제로 생성)할 수 있다. 예를 들면, 형상 속성은 230으로부터 255까지의 간격에서 최대 크기로서 생성될 수 있다.

다음에서, 상세한 구현의 특정 예가 설명될 것이다. 예는 스텝 에지 픽셀들인 픽셀들의 서브세트를 검출하는 것에 기초한다. 구체적으로, 인접 픽셀들에 대한 이미지 값 차가 임계치를 초과하는 픽셀들을 포함하는 서브세트가 생성된다. 빈도 분포는 그 다음, 이 서브세트에 대해 생성되고 리매핑은 빈도 분포의 특성들에 기초하여 적응된다.

예는 다음의 메인 파라미터들 및 변수들을 활용할 것이다.

파라미터들

E_min 픽셀이 스텝 에지인지의 여부 즉, 그것이 픽셀들의 서브세트에 속하는지의 여부를 결정하기 위해 이용된 임계치. E_min=30이다.

D_low 리매핑이 적용되는 깊이/시차 값. D_low=128(0부터 255까지의 8 비트 시차 값들이 이용됨).

N_low 리매핑이 적용되는 에지 주파수(이득 g>0). N_low=10000이다.

변수들

N_edge 시차 레벨의 함수로서의 스텝 에지 픽셀들의 수 k∈{0,...,255}.

픽셀(i,j)에서의 이미지의 컬러 채널(c)(RGB 값들이 고려됨).

D_{i ,j} 픽셀(위치)(i,j)에서의 입력된 시차 맵 값.

픽셀(위치)(i,j)에서의 출력된(리매핑된) 시차 값.

g 시차 값들({D_low,...,255})의 리매핑에서 이용된 이득([0,1]).

먼저, 에지 픽셀들의 빈도는 시차 레벨들의 함수로서 결정된다.

스텝 에지 픽셀들의 수는 특히, 유용한 측정치인데, 이는 스텝 에지 픽셀들의 높은 수가 종종 그래픽 객체들의 발생과 일치하기 때문이다. 이것은 이들 에지들이 '스크린 밖의' 시차 값들에 대해 발생하는 경우에 훨씬 더 그러한데, 이는 (오프닝 크레딧들과 같은) 그래픽 객체들이 종종 전경에서 렌더링되기 때문이다.

예에서, 시차 레벨의 함수로서 에지 픽셀들의 수는 다음으로서 결정된다:

따라서, 수학식은 다음의 이미지 속성 기준에 기초하여 빈도 분포의 예시적인 생성을 도시한다:

다음의 코드 단편은 이 수학식이 오픈CV(OpenCV) 유형들을 이용하여 C++로 구현될 수 있는 방법을 도시한다. 코드 단편은 에지 정보를 저장하지만, 상기 수학식으로부터 이것이 반드시 필요하지 않음이 분명하다. 단지 N_edge가 각각의 깊이 레벨(k∈{0,...,255})에 대해 저장될 필요가 있다.

범위({0,...,255})에서의 입력 시차 맵은 이제 다음의 공식을 이용하여 범위({0,...,255})에서의 출력된 깊이 맵에 리매핑되고:

여기서, 이득은 다음으로서 산출된다:

따라서, 상기 표시된 시차 리매핑은 다음에 의해 주어진 형상 속성에 기초하여 적응된다:

즉, 형상 속성은 (스크린 앞의 서브범위에서) 빈도 분포의 (메인) 모드로서 주어진다.

예에서, 최대 빈도는 {128,...,255}의 서브범위에 대해 결정되고, 여기서 128의 값은 제로 시차에 대응한다. 128보다 적은 값들을 배제하는 것은 선명한 에지들이 스크린 앞에 존재하는 경우에, 이득이 단지 1보다 적은 값으로 설정됨을 의미한다.

다음의 코드 단편은 리매핑이 C++로 구현될 수 있는 방법을 도시한다.

도 5는 이 접근법을 도 1 내지 도 3의 예들에 적용한 결과를 도시한다. 보여질 수 있는 바와 같이, 텍스트의 결과로 발생하는 시차 값들은 주위 배경의 시차 값들에 훨씬 가깝고, 그에 의해 시차 에러들로 인한 큰 렌더링 에러들을 회피한다. 따라서, 실질적으로 개선된 3D 이미지 렌더링이 성취될 수 있다.

이전 설명은 픽셀들의 서브세트의 선택 및 분석이 하나의 파라미터에 기초하여 생성되는 예들에 초점을 맞췄다. 예를 들면, 서브세트는 에지 검출 또는 컬러 포화에 기초하여 생성될 수 있고, 이것의 빈도 분포가 그에 따라 결정될 수 있다. 그러나, 다른 실시예들에서, 접근법은 복수의 파라미터들 및 특성들을 고려할 수 있다. 구체적으로, 이미지 속성 기준은 복수의 파라미터들의 고려를 포함할 수 있다. 예를 들면, 픽셀이 서브세트에 포함되도록 하기 위해, 이미지 속성 기준은 그것이 에지 픽셀로 고려되기 위한 요구조건을 충족하고 그것이 주어진 임계치보다 큰 포화 레벨을 가짐을 요구할 수 있다(예로서, 최대 및 최소 컬러 채널 값들 사이의 차는 최대 범위의 적어도 50%이어야 함).

일부 실시예들에서, 서브세트 선택기(403)는 복수의 서브세트들을 생성하고 복수의 서브세트들에 기초하여 매핑을 적응시키도록 배열될 수 있다. 예를 들면, 제 1 이미지 속성 기준 즉, 픽셀이 에지 픽셀이 되기 위한 요구조건을 충족시키는 픽셀들의 하나의 서브세트가 생성될 수 있다. 픽셀들의 제 2 서브세트는, 픽셀들이 주어진 임계치보다 큰 포화 레벨을 가져야 하는 것과 같은, 제 2 이미지 속성 기준을 충족하는 픽셀들을 포함하도록 생성될 수 있다(예로서, 최대 및 최소 컬러 채널 값들 사이의 차는 최대 범위의 적어도 50%이어야 함).

시차 리매핑은 그 다음, 서브세트들 둘 모두에 기초하여 적응될 수 있다.

이것은 예를 들면, 각각의 서브세트에 대해 빈도 분포를 생성함으로써 행해질 수 있다. 형상 속성은 그 다음, 각각의 빈도 분포에 대해 별개로 생성될 수 있다. 예를 들면, 모드의 크기는 픽셀들이 제 1 서브세트에 대한 제 1 빈도 분포 및 픽셀들의 제 2 서브세트에 대한 제 2 빈도 분포 둘 모두에 대해 결정될 수 있다. 시차 리매핑은 그 다음, 모드들 둘 모두에 기초하여 결정된다. 구체적으로, 제 1 형상 속성 및 제 2 형상 속성은 공통 형상 속성으로 조합될 수 있고, 시차 리매핑은 이것에 기초하여 결정될 수 있다. 예로서, (메인) 모드들의 크기는 단순하게, 함께 부가될 수 있고 시차 압축에 대한 이득은 총 조합된 크기의 함수로서 산출될 수 있다.

다른 실시예들에서, 픽셀들의 제 1 및 제 2 서브세트는 픽셀들의 조합된 서브세트로 조합될 수 있고 조합된 서브세트에 대한 빈도 분포가 산출될 수 있다(픽셀이 서브세트에 포함되도록 하기 위해 충족될 수 있는 대안적인 요구조건들을 가지는 이미지 속성 기준으로부터 결정되는 픽셀들의 단일 서브세트에 대응함). 등가적으로, 제 1 및 제 2 주파수 분포는 제 1 및 제 2 서브세트에 대해 각각 산출될 수 있고 2개의 빈도 분포들은 그 다음, 단일 빈도 분포로 조합될 수 있다.

이전 설명에서, 빈도 분포는 동일하게 가중되는 각각의 픽셀의 발생에 의해 산출되었고 즉, 주어진 클래스 또는 깊이 계층에 대한 크기/빈도(또는 각각의 클래스가 하나보다 많은 깊이 계층을 포함하는 경우에 깊이 계층들의 범위)는 그 클래스에 대한 서브세트에서의 픽셀들의 수로서 주어진다.

그러나, 일부 실시예들에서, 분포 평가기(405)는 빈도 분포를 생성할 때, 픽셀을 가중시키도록 배열될 수 있다. 구체적으로, 클래스에 대한 각각의 픽셀의 기여는 상이한 픽셀들 사이에서 달라질 수 있는 값으로서 주어질 수 있다.

가중치는 구체적으로, 픽셀의 이미지 위치에 의존할 수 있다. 예를 들면, 가중치는 픽셀로부터 이미지의 중심 위치까지 증가하는 간격에 따라 감소할 수 있다. 따라서, 이러한 실시예들에서, 중심 픽셀들은 빈도 분포에서 이미지 경계 픽셀들보다 많이 가중할 것이고, 리매핑은 경계 픽셀들보다 중심 픽셀들에 더 많이 의존할 것이다.

일부 실시예들에서, 예로서, 0과 1 사이의 가중치는 이미지/스크린의 중심 위치에 대한 픽셀의 간격에 기초하여 각각의 픽셀에 대해 산출될 수 있다. 빈도 분포를 생성할 때, 주어진 클래스/시차 레벨에 대한 크기는 그 다음, 그 클래스/시차 레벨에 대응하는 시차 값을 가지는 서브세트에서 각각의 픽셀의 가중치들의 합으로서 결정될 수 있다. 따라서, 접근법은 단편적인 발생들(단순한 바이너리 발생 대신에 또는 아닌)이 고려되는 빈도 분포의 생성에 대응하도록 고려될 수 있다.

명료성을 위한 상기 설명이 상이한 기능 회로들, 유닛들 및 프로세서들에 관하여 본 발명의 실시예들을 설명했음이 이해될 것이다. 그러나, 상이한 기능 회로들, 유닛들 또는 프로세서들 사이의 기능의 임의의 적합한 분포가 본 발명의 가치를 손상시키지 않고 이용될 수 있음이 명백할 것이다. 예를 들면, 별개의 프로세서들 또는 제어기들에 의해 수행되도록 도시된 기능은 동일한 프로세서 또는 제어기들에 의해 수행될 수 있다. 따라서, 특정 기능 유닛들 또는 회로들에 대한 참조들은 완전한(strict) 논리 또는 물리 구조 또는 구성을 나타내는 대신에 설명된 기능을 제공하기 위한 적합한 수단에 대한 참조들로서 단지 보여질 것이다.

본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함하는 임의의 적합한 형태로 구현될 수 있다. 본 발명은 선택적으로, 하나 이상의 데이터 프로세서들 및/또는 디지털 신호 프로세서들 상에서 구동하는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 일 실시예의 요소들 및 구성요소들은 물리적으로, 기능적으로 그리고 논리적으로 임의의 적합한 방식으로 구현될 수 있다. 실제로, 기능은 단일 유닛으로, 복수의 유닛들로 또는 다른 기능 유닛들의 부분으로서 구현될 수 있다. 이와 같이, 본 발명은 단일 유닛으로 구현될 수 있거나 물리적으로 및 기능적으로, 상이한 유닛들, 회로들 및 프로세서들 사이에 분포될 수 있다.

본 발명이 일부 실시예들과 관련하여 설명되었을지라도, 그것은 본 명세서에서 제시된 특정 형태로 제한되도록 의도되지 않는다. 오히려, 본 발명의 범위는 첨부된 청구항들에 의해서만 제한된다. 부가적으로, 특징이 특정한 실시예들과 관련하여 설명되기 위해 나타날 수 있을지라도, 당업자는 설명된 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수 있음을 인식할 것이다. 청구항들에서, 용어(포함하는(comprising))는 다른 요소들 또는 단계들의 존재를 배제하지 않는다.

또한, 개별적으로 열거될지라도, 복수의 수단들, 요소들, 회로들 또는 방법 단계들은 예로서, 단일 회로, 유닛 또는 프로세서에 의해 구현될 수 있다. 부가적으로, 개별적인 특징들이 상이한 청구항들에 포함될 수 있을지라도, 이들은 가능하게, 이롭게 조합될 수 있고, 상이한 청구항들로의 포함은 특징들의 조합이 실현가능하고/하거나 이롭지 않음을 암시하지 않는다. 또한, 하나의 범주의 청구항들로의 특징의 포함은 이 범주에 대한 제한을 암시하지 않고 오히려, 특징이 적절하게 다른 청구항 범주들로 동등하게 적용가능함을 나타낸다. 또한, 청구항들에서 특징들의 순서는 특징들이 효과가 있어야하는 임의의 특정 순서를 암시하지 않고 특히, 방법 청구항에서 개별적인 단계들의 순서는 단계들이 이 순서로 수행되어야 함을 암시하지 않는다. 오히려, 단계들은 임의의 적합한 순서로 수행될 수 있다. 게다가, 단수 참조들은 복수를 배제하지 않는다. 따라서, 부정관사("a", "an"), "제 1", "제 2", 등에 대한 참조들은 복수를 배제하지 않는다. 청구항들에서의 참조 부호들은 단지 명확한 예로서 제공되고 임의의 방식으로 청구항들의 범위를 제한하는 것으로서 해석되지 않을 것이다.

401: 수신기 403: 서브세트 수신기
405: 분포 평가기 407: 분석기
409: 적응기 411: 리매퍼

Claims (12)

1. 3차원 이미지를 프로세싱하기 위한 장치에 있어서:
   3차원 이미지를 수신하기 위한 수신기(401)로서, 상기 3차원 이미지의 픽셀들의 적어도 하나의 그룹의 각각의 픽셀은 이미지 값 및 시차 값과 연관되는, 상기 수신기;
   서브세트 선택기(403)로서, 상기 픽셀들의 그룹의 각각의 픽셀의 이미지 값에 대한 이미지 속성 기준을 평가하도록 배열되고, 상기 이미지 속성 기준이 충족되는 상기 픽셀들의 그룹 중 픽셀들의 서브세트를 결정하는, 상기 서브세트 선택기;
   상기 픽셀들의 서브세트의 시차 값들에 대한 빈도 분포를 생성하기 위한 분포 평가기(405);
   상기 빈도 분포에 대한 형상 속성을 결정하기 위한 분석기(407)로서, 상기 형상 속성은 상기 빈도 분포의 적어도 하나의 피크의 속성을 나타내는, 상기 분석기;
   상기 형상 속성에 응답하여 시차 리매핑을 결정하기 위한 적응기(409)로서, 상기 빈도 분포의 증가하는 피크화(peakedness)에 응답하여 상기 시차 리매핑에 의해 제공된 시차 압축을 증가시키도록 배열되는, 상기 적응기; 및
   상기 시차 리매핑을 적어도 일부 픽셀들에 대한 상기 시차 값들에 적용함으로써 상기 3차원 이미지의 적어도 일부 픽셀들에 대한 상기 시차 값들을 수정하기 위한 리매퍼(411)를 포함하는, 3차원 이미지를 프로세싱하기 위한 장치.
2. 제 1 항에 있어서,
   상기 분석기(409)는:
   - 상기 빈도 분포의 최대 빈도;
   - 상기 빈도 분포에 대한 평균화된 빈도에 대한 상기 빈도 분포의 최대 빈도;
   - 상기 빈도 분포의 피크에 대한 폭 측정치;
   - 상기 피크 빈도의 시차 레벨 이웃에서 빈도들에 대한 상기 빈도 분포의 피크 빈도의 그룹으로부터 선택된 적어도 하나의 파라미터에 응답하여 상기 형상 속성을 결정하도록 배열되는, 3차원 이미지를 프로세싱하기 위한 장치.
3. 제 1 항에 있어서,
   상기 서브세트 선택기(403)는 상기 픽셀들의 그룹 중 픽셀들에 대한 에지 검출 표시를 생성하도록 배열되고, 상기 에지 검출 표시는 상기 픽셀이 이미지 객체 에지에 속하는지의 여부를 나타내며; 상기 이미지 속성 기준은 상기 에지 검출 표시에 대한 요구조건을 포함하는, 3차원 이미지를 프로세싱하기 위한 장치.
4. 제 1 항에 있어서,
   상기 서브세트 선택기(403)는 상기 픽셀들의 그룹의 각각의 픽셀에 대한 이미지 속성 전이 측정치를 생성하도록 배열되고, 상기 이미지 속성 기준은 상기 이미지 속성 전이 측정치에 대한 요구조건을 포함하는, 3차원 이미지를 프로세싱하기 위한 장치.
5. 제 1 항에 있어서,
   상기 이미지 속성 기준은 상기 픽셀에 대한 휘도 및 채도 중 적어도 하나에 대한 요구조건을 포함하는, 3차원 이미지를 프로세싱하기 위한 장치.
6. 제 1 항에 있어서,
   상기 리매퍼(411)는 상기 시차 값들에 대한 시차 범위의 서브범위에서만 시차 값들을 수정하도록 배열되는, 3차원 이미지를 프로세싱하기 위한 장치.
7. 제 1 항에 있어서,
   상기 분석기(407)는 상기 빈도 분포의 시차 값 서브범위에만 응답하여 상기 형상 속성을 결정하도록 배열되는, 3차원 이미지를 프로세싱하기 위한 장치.
8. 제 1 항에 있어서,
   상기 시차 리매핑은 적어도 하나의 시차 레벨 서브범위에서의 선형 리매핑이고, 상기 적응기(409)는 상기 형상 속성에 응답하여 상기 선형 리매핑에 대한 리매핑 계수를 결정하도록 배열되는, 3차원 이미지를 프로세싱하기 위한 장치.
9. 제 1 항에 있어서,
   상기 분포 평가기(405)는 상기 빈도 분포를 생성할 때, 상기 픽셀들의 서브세트의 픽셀들을 가중하도록 배열되고, 픽셀에 대한 상기 가중치는 상기 픽셀의 이미지 위치에 의존하는, 3차원 이미지를 프로세싱하기 위한 장치.
10. 제 1 항에 있어서,
    상기 서브세트 선택기(403)는 상기 픽셀들의 그룹의 각각의 픽셀에 대한 제 2 이미지 속성 기준을 평가하고, 상기 제 2 이미지 속성 기준이 충족되는 상기 픽셀들의 그룹 중 픽셀들의 제 2 서브세트를 결정하도록 배열되며;
    상기 장치는 상기 픽셀들의 제 2 서브세트에 대한 상기 시차 값들에 대한 빈도 분포에 응답하여 상기 시차 리매핑을 결정하도록 배열되는, 3차원 이미지를 프로세싱하기 위한 장치.
11. 3차원 이미지를 프로세싱하기 위한 방법에 있어서:
    3차원 이미지를 수신하는 단계로서, 상기 3차원 이미지의 픽셀들의 적어도 하나의 그룹의 각각의 픽셀은 이미지 값 및 시차 값과 연관되는, 상기 3차원 이미지를 수신하는 단계;
    상기 픽셀들의 그룹의 각각의 픽셀의 이미지 값에 대한 이미지 속성 기준을 평가하는 단계;
    상기 이미지 속성 기준이 충족되는 상기 픽셀들의 그룹 중 픽셀들의 서브세트를 결정하는 단계;
    상기 픽셀들의 서브세트의 시차 값들에 대한 빈도 분포를 생성하는 단계;
    상기 빈도 분포에 대한 형상 속성을 결정하는 단계로서, 상기 형상 속성은 상기 빈도 분포의 적어도 하나의 피크의 속성을 나타내는, 상기 형상 속성을 결정하는 단계;
    상기 형상 속성에 응답하여 시차 리매핑을 결정하는 단계로서, 상기 시차 리매핑에 의해 제공된 시차 압축은 상기 빈도 분포의 증가하는 피크화에 응답하여 증가하는, 상기 시차 리매핑을 결정하는 단계; 및
    상기 시차 리매핑을 적어도 일부 픽셀들에 대한 상기 시차 값들에 적용함으로써 상기 3차원 이미지의 적어도 일부 픽셀들에 대한 상기 시차 값들을 수정하는 단계를 포함하는, 3차원 이미지를 프로세싱하기 위한 방법.
12. 컴퓨터 프로그램 제품에 있어서,
    상기 프로그램이 컴퓨터 상에서 구동될 때, 제 11 항의 모든 단계들을 수행하도록 적응된 컴퓨터 프로그램 코드 수단을 포함하는, 컴퓨터 프로그램 제품.

Images