KR20130084341A - 이미지 변환 메커니즘을 갖는 디스플레이 시스템 및 그 운용 방법 - Google Patents

Abstract

디스플레이 시스템의 운용 방법은 입력 픽셀들을 갖는 입력 픽셀들을 갖는 입력 이미지를 수신하는 단계; 의미 카테고리(semantic category)에 대응하는 상기 입력 픽셀들에 픽셀 정보를 할당하는 단계; 상기 픽셀 정보를 갖는 상기 입력 픽셀들로부터 입력 배경(background) 픽셀들을 검출하는 단계; 상기 입력 배경 픽셀들을 갖는 상기 입력 픽셀들로부터 입력 전경(foreground) 픽셀들을 식별하는 단계; 상기 입력 배경 픽셀들과 상기 입력 전경 픽셀들에 픽셀 깊이를 할당하는 단계; 상기 입력 배경 픽셀들과 상기 입력 전경 픽셀들을 갖는 깊이 맵(depth map)을 생성하는 단계;및 소정의 장치에 디스플레이하기 위해 상기 깊이 맵을 갖는 상기 입력 이미지로부터 처리된 이미지를 생성하는 단계를 포함한다.

Description

이미지 변환 메커니즘을 갖는 디스플레이 시스템 및 그 운용 방법 {DISPLAY SYSTEM WITH IMAGE CONVERSION MECHANISM AND METHOD OF OPERATION THEREOF}

본 발명은 디스플레이 시스템 및 그 운용 방법에 관한 것으로, 더욱 상세하게는 이미지 변환을 위한 것이다.

그래픽 디스플레이 시스템, 텔레비전, 프로젝터, 핸드폰, 휴대용 디지털 단말기, 및 조합 장치와 같은, 현대의 소비자용 및 산업용 전자제품들, 특히 장치들은3차원 디스플레이 서비스들을 포함하는 현대 생활을 지원하는 높은 수준의 기능을 제공한다. 현존하는 기술에서 연구와 개발은 무수히 다른 방향을 가질 수 있다.

3차원 디스플레이 장치들의 성장과 함께 사용자에게 더 많은 권한이 부여됨에 따라, 신구의 패러다임들은 이러한 새로운 장치에 대한 여지를 이용하기 시작한다. 이러한 새로운 디스플레이 장치에 대한 기회를 이용하기 위한 많은 기술적인 해결책이 있다. 한 가지 현재의 접근은 비디오 프로젝터, 텔레비전, 모니터, 게임 시스템, 또는 개인 휴대 정보 단말기(PDA)와 같은 소비자, 산업 및 이동성 전자제품 상에 3차원 이미지를 표시하는 것이다.

3차원 디스플레이 기반 서비스들은 "현실 세계"에서 사용자가 생성, 전달, 저장 및 소비하도록 사용자가 정보를 생성, 전달, 저장 및/또는 소비하도록 한다. 3차원 디스플레이 기반 서비스들 중 한가지 이러한 사용은 디스플레이 상에 3차원 이미지들을 효율적으로 제공하는 것이다.

3차원 디스플레이 시스템들은 프로젝터, 텔레비젼, 노트북, 핸드헬드 장치(handheld device), 및 다른 휴대용 제품들에 포함되어 왔다. 오늘날, 이러한 시스템들은 다이어그램, 맵 또는 비디오와 같은 유용한 관련 정보를 디스플레이 함으로써 사용자를 돕는다. 3차원 이미지들의 표시는 매우 귀중한 관련 정보를 제공한다.

그런데, 정보를 3차원 형태로 디스플레이 하는 것은 소비자에게 최고의 관심이 되었다. 실제 세계와 무관한 3차원 이미지는 3차원 디스플레이 시스템을 이용하는 이익을 감소시킨다.

이에, 3차원 이미지를 디스플레이하는 이미지 변환 메커니즘을 갖는 3차원 디스플레이 시스템이 여전히 필요하다. 시장에서 의미 있는 제품 차별화에 있어 점점 줄어드는 기회와 커지는 소비자 기대심과 함께, 언제나 증가하는 상업적 경쟁력 때문에, 이러한 문제들에 대한 답을 발견하는 것은 점점 중요하다. 그리고, 비용을 줄이고, 효율과 성능을 향상시키고, 경쟁력을 만족시켜야 함은 이러한 문제들에 대한 답을 찾기 위한 필요성에 대한 긴급성을 훨씬 더 가중시킨다.

이러한 문제들에 대한 해결책을 오래 찾았지만, 이전의 개발들은 어떠한 해결책도 교시 또는 제안하지 못했기에, 이러한 문제들에 대한 해결책들은 당업자들에게 오랫동안 인지되지 못하였다.

본 발명이 해결하고자 하는 과제는 상기 언급한 제반 환경을 인식하여 기존 환경에서의 문제점을 해결함과 아울러 소정의 요구되는 환경에 부응하는 것이며, 이의 일환으로 이미지 변환 메커니즘을 갖는 디스플레이 시스템 및 그 운용 방법을 제시한다.

상기 과제를 해결하기 위해 개시하는 디스플레이 시스템의 운용 방법은 입력 픽셀들을 갖는 입력 이미지를 수신하는 단계; 의미 카테고리(semantic category)에 대응하는 상기 입력 픽셀들에 픽셀 정보를 할당하는 단계; 상기 픽셀 정보를 갖는 상기 입력 픽셀들로부터 입력 배경(background) 픽셀들을 검출하는 단계; 상기 입력 배경 픽셀들을 갖는 상기 입력 픽셀들로부터 입력 전경(foreground) 픽셀들을 식별하는 단계; 상기 입력 배경 픽셀들과 상기 입력 전경 픽셀들에 픽셀 깊이를 할당하는 단계; 상기 입력 배경 픽셀들과 상기 입력 전경 픽셀들을 갖는 깊이 맵(depth map)을 생성하는 단계;및 소정의 장치에 디스플레이하기 위해 상기 깊이 맵을 갖는 상기 입력 이미지로부터 처리된 이미지를 생성하는 단계를 포함하여 상기한 과제를 해결한다.

상기 과제를 해결하기 위해 개시하는 디스플레이 시스템은 입력 픽셀들을 갖는 입력 이미지를 수신하는 통신부; 상기 통신부에 결합되고, 의미 카테고리(semantic category)에 대응하는 상기 입력 픽셀들에 픽셀 정보를 할당하는 의미 할당 모듈; 상기 의미 할당 모듈에 결합되고, 상기 픽셀 정보를 갖는 상기 입력 픽셀들로부터 입력 배경(background) 픽셀들을 검출하는 배경 검출 모듈; 상기 배경 검출 모듈에 결합되고, 상기 입력 배경 픽셀들을 갖는 상기 입력 픽셀들로부터 입력 전경(foreground) 픽셀들을 검출하는 전경 검출 모듈; 상기 의미 할당 모듈에 결합되고, 상기 입력 배경 픽셀들에 픽셀 깊이를 할당하는 배경 깊이 모듈; 상기 배경 깊이 모듈에 결합되고, 상기 입력 전경 픽셀들에 픽셀 깊이를 할당하는 객체 깊이 모듈; 상기 의미 할당 모듈에 결합되고, 상기 입력 배경 픽셀들과 상기 입력 전경 픽셀들을 갖는 깊이 맵을 생성하는 깊이 맵 모듈; 및 상기 깊이 맵 모듈에 결합되고, 소정의 장치에 디스플레이하기 위해 상기 깊이 맵을 갖는 상기 입력 이미지로부터 처리된 이미지를 생성하는 이미지 디스플레이 모듈을 포함하여 상기한 과제를 해결한다.

본 발명의 특정 실시예들은 상기 언급한 것들에 추가로 또는 대신에 다른 단계들 또는 구성요소들을 가진다. 이러한 단계들 또는 구성요소들은 첨부한 도면을 참조하여 아래의 상세한 설명을 읽음으로써 당업자들에게 명확해질 것이다.

본 발명은 배경 픽셀들 또는 전경 픽셀들의 검출 결과가 개선된 디스플레이 시스템 및 그 운용 방법을 제공한다. 배경 검출 모듈 또는 전경 검출 모듈이 배경 또는 전경을 나타내는 픽셀들과 그러하지 아니한 픽셀들을 구분하기 위해 픽셀 정보를 이용함으로써 픽셀 밀도 모듈과 배경 비율 모듈이 픽셀들을 배경 픽셀들로 또는 전경 픽셀들로 더욱 정확히 판단할 수 있어, 배경 픽셀 또는 전경 픽셀들의 검출을 개선할 수 있는 효과를 제공한다.

도 1은 본 발명의 일실시예에 따른 이미지 변환 메커니즘을 갖는 디스플레이 시스템이다.
도 2는 도 1의 제1장치의 디스플레이 인터페이스의 예이다.
도 3은 디스플레이 시스템의 블록도이다.
도 4는 디스플레이 시스템의 제어흐름도이다.
도 5는 의미 할당 모듈을 나타낸 도이다.
도 6은 입력 이미지의 일부를 나타낸 예이다.
도 7은 배경 검출 모듈을 나타낸 도이다.
도 8은 전경 검출 모듈을 나타낸 도이다.
도 9는 깊이 맵 모듈을 나타낸 도이다.
도 10은 입력 이미지의 예이다.
도 11은 처리된 배경을 갖는 입력 이미지의 예이다.
도 12는 처리된 이미지의 예이다.
도 13은 본 발명의 다른 실시예에 따른 디스플레이 시스템의 운용 방법을 나타낸 흐름도이다.

이하의 실시예들은 당업자들이 본 발명을 실시하고 이용할 수 있도록 충분히 상세하게 서술된다. 본 설명을 기초로 다른 실시예들도 명백할 것이고, 시스템, 프로세스 또는 기계적 변경 또한 본 발명의 범위를 벗어나지 않는 한 이루어질 수 있음을 알아야 한다.

다음의 설명에서, 본 발명의 완전한 이해를 제공하기 위해 다수의 구체적 세부사항들이 주어졌다. 그러나, 본 발명이 이러한 구체적인 세부사항들 없이 실시될 수 있음은 명백하다. 본 발명을 불분명하게 만드는 것을 피하기 위해, 일부 잘 알려진 회로들, 시스템 구성들 및 처리 단계들은 상세히 설명하지 않았다.

본 시스템의 실시예들을 도시하는 도면들은 개략적으로 척도에 맞지 않게, 특히 일부 크기는 명확한 표현을 위하여 과장되었다. 마찬가지로, 설명의 용이함을 위해 도면의 관점을 일반적으로 유사한 방향으로 도시함에 불구하고, 도면들에서의 묘사는 대개 임의적이다. 일반적으로, 본 발명은 모든 방향으로 동작할 수 있다. 실시예에는 제1실시예, 제2실시예 등으로 번호를 편의상 붙인 것으로 어떤 다른 의미를 갖거나 본 발명을 한정하려는 의도가 아니다.

당업자는 이미지 정보가 표현되는 형식이 본 발명의 일부 실시예들에 필수가 아님을 이해할 수 있을 것이다. 예를 들어, 일부 실시예들에서, 이미지 정보는 (X, Y)의 형식으로 나타내어지는데, 여기서 X와 Y는 이미지에서의 픽셀의 위치를 정의하는 두 개의 좌표이다.

다른 실시예로, 3차원 이미지 정보는 픽셀의 칼라에 대한 정보와 함께 (X, Y, Z)의 형식으로 나타낸다. 본 발명의 또 다른 실시예로, 3차원 이미지 정보는 강도(intensity)와 밝기(brightness) 요소를 포함할 수 있다.

여기에서 쓰인 "이미지"라는 용어는 2차원 이미지, 3차원 이미지, 비디오 프레임, 컴퓨터 파일 표시, 카메라로부터의 이미지, 비디오 프레임 또는 이들의 결합을 포함할 수 있다. 예를 들면, 이미지는 기계가 읽을 수 있는 디지털 파일, 물리적인 사진, 디지털 사진, 동영상 프레임, 비디오 프레임, 엑스레이 이미지, 스캔 이미지, 또는 이들의 결합일 수 있다. 또한, 예를 들어, 하드웨어는 회로소자, 프로세서, 컴퓨터, 집적회로, 집적회로 코어, 압력 센서, 관성 센서, 마이크로 전기 기계 시스템 (MEMS), 수동 소자, 또는 이들의 결합일 수 있다.

여기에서 쓰인 "모듈"이라는 용어는 소프트웨어, 하드웨어 또는 이들의 결합일 수 있다. 예를 들어, 소프트웨어는 기계 코드, 펌웨어, 내장 코드, 어플리케이션 소프트웨어일 수 있다. 또한, 예를 들어, 하드웨어는 회로소자, 프로세서, 컴퓨터, 집적회로, 집적회로 코어, 압력 센서, 관성 센서, 마이크로 전기 기계 시스템 (MEMS), 수동 소자, 또는 이들의 결합일 수 있다.

도 1을 참조하면, 본 발명의 일실시예에 따른 이미지 변환 메커니즘을 갖는 디스플레이 시스템(100)이 도시된다. 디스플레이 시스템(100)은 클라이언트 또는 서버와 같은 제2장치(106)에 연결된, 클라이언트 또는 서버와 같은 제1장치(102)를 포함한다. 제1장치(102)는 무선 또는 유선 네트워크와 같은 통신경로(104)로 제2장치(106)와 통신할 수 있다.

예를 들어, 제1장치(102)는 핸드폰, 개인 휴대 정보 단말기, 노트북 컴퓨터, 액정 디스플레이 시스템, 또는 다른 다기능 디스플레이 또는 오락 장치와 같은 다양한 디스플레이 장치 중 어떠한 것이라도 가능하다. 제1장치(102)는 제2장치(106)와 통신하기 위하여 직접 또는 간접 중 어느 하나로 통신경로(104)에 연결되거나, 독립형 장치(stand-alone device)일 수 있다.

예로써, 제1장치(102)는 다른 형태의 장치일 수 있음에도 디스플레이 시스템(100)은 디스플레이 장치로서의 제1장치(102)를 포함하는 것으로 설명된다. 예를 들면, 제1장치(102)는 이미지를 나타내기 위한 또는 멀티-미디어 표시를 위한 장치일 수 있다. 멀티-미디어 표시는 사운드, 일련의 스트리밍 이미지들 또는 비디오 피드(video feed), 또는 이들의 결합일 수 있다. 예로써, 제1장치(102)는 고화질 텔레비전, 3차원 텔레비전, 컴퓨터 모니터, 개인 휴대 정보 단말기, 셀룰러 폰, 또는 멀티미디어 세트일 수 있다.

제2장치(106)는 다양한 중앙 또는 분산 컴퓨팅 장치 또는 비디오 전송 장치들 중 어느 하나일 수 있다. 예를 들어, 제2장치(106)는 멀티미디어 컴퓨터, 랩탑 컴퓨터, 데스크탑 컴퓨터, 비디오 게임 콘솔, 그리드 컴퓨팅 리소스, 가상 컴퓨터 리소스, 클라우드 컴퓨팅 리소스, 라우터, 스위치, 피어-투-피어 분산 컴퓨팅 장치, 미디어 재생 장치, 디지털 비디오 디스크 (DVD) 플레이어, 3차원 가능 DVD 플레이어, 카메라 혹은 비디오 카메라와 같은 기록 장치, 또는 이들의 결합일 수 있다. 다른 예로, 제2장치(106)는 텔레비전 수신기, 케이블 박스, 위성 접시 수신기, 또는 TiVo™ 또는 Slingbox™와 같은 웹 가능 장치(web enabled device)일 수 있다.

제2장치(106)는 단일 방에 집중되거나, 여러 방에 분산되거나, 여러 지리적인 위치에 분산되거나, 전기 통신 네트워크 내에 내장될 수 있다. 제2장치(106)는 제1장치(102)와 통신하기 위하여 통신경로(104)와 결합하기 위한 수단을 가질 수 있다.

예로써, 제2장치(106)는 다른 타입의 장치가 될 수 있음에도 디스플레이 시스템(100)은 컴퓨팅 장치로서의 제2장치(106)를 포함하는 것으로 설명된다. 또한, 예로써, 디스플레이 시스템(100)은 제1장치(102), 제2장치(106) 및 통신경로(104) 사이에 다른 부분(different partition)을 가질 수 있음에도 디스플레이 시스템(100)은 제2장치(106)와 제1장치(102)가 통신경로(104)의 종단 점(end point)들로서 도시된다. 예를 들어, 제1장치(102), 제2장치(106) 또는 이들의 결합은 통신경로(104)의 일부로 기능할 수 있다.

통신경로(104)는 다양한 네트워크들일 수 있다. 예를 들어, 통신경로(104)는 무선 통신, 유선 통신, 광학 통신, 초음파 통신, 또는 이들의 결합을 포함할 수 있다. 위성 통신, 셀방식 통식, 블루투스, IrDA, WiFi, WiMax들은 통신경로(104)에 포함될 수 있는 무선 통신의 예들이다. 이더넷, 디지털 가입자 회선(DSL), 광가입자망(FTTH), 기존 전화 서비스(POTS)들은 통신경로(104)에 포함될 수 있는 유선통신의 예이다.

그리고, 통신경로(104)는 수많은 네트워크 토폴로지 및 거리(distance)를 통과(traverse)할 수 있다. 예를 들어, 통신경로(104)는 직접 연결, 개인 영역 네트워크(PAN), 근거리 통신망(LAN), 대도시통신망(MAN), 광역통신망(WAN), 또는 이들의 결합을 포함할 수 있다.

도 2를 참조하면, 도 1의 제1장치(102)의 디스플레이 인터페이스(210)의 예를 도시한다. 디스플레이 인터페이스(210)는 이미지를 표현하기 위한 또는 멀티미디어 표현을 위한 물리적 장치이다. 예를 들면, 디스플레이 인터페이스는 LCD 패널, 플라즈마 스크린 또는 프로젝션 스크린을 포함하는 스크린일 수 있다.

디스플레이 인터페이스(210)는 소정의 처리된 이미지(212)를 디스플레이할 수 있다. 처리된 이미지(212)는, 디스플레이 인터페이스(210)에 제시되었을 때, 인지된 깊이(perceived depth)를 갖도록 처리된 수많은 픽셀들을 갖는 영역으로 정의된다.

인지된 깊이(perceived depth)는, 디스플레이 인터페이스(210)를 멀리서 봤을 때, 이미지 내에서 어떤 객체가 다른 객체 또는 배경보다 상대적으로 가까이 또는 멀게 나타나는 것을 의미한다. 예를 들어, 이미지의 하단 왼쪽 코너에 원점이 위치하는 3차원 Cartesian좌표계에서, x축(213)은 폭(width)을 측정하기 위한 기준으로 정의되고, y축(215)은 깊이(depth)를 측정하기 위한 기준으로 정의되고, z축(217)은 높이(height)를 측정하기 위한 기준으로 정의된다. 큰 값의 y좌표를 갖는 객체들은 작은 값의 y좌표를 갖는 객체보다 큰 인지된 깊이를 가질 수 있다. 큰 인지된 깊이를 갖는 객체들은 작은 인지된 깊이를 갖는 객체들 보다 더 가깝게 나타날 것이다.

다른 예로써, 사용자는 처리된 이미지(212)에서 객체들이 디스플레이 인터페이스(210) 면의 바깥 혹은 앞에 나타나는 것으로 인지함으로써 깊이를 인지할 수 있다. 마찬가지로, 사용자는 처리된 이미지(21)에서 객체들이 디스플레이 인터페이스(210) 면 안의 뒤쪽 깊게 나타나는 것으로 인지함으로써 깊이를 인지할 수 있다. 예를 들어, 처리된 이미지(212)는 거리를 표현하는 방법으로써 픽셀들을 흐리게 할 수 있다. 또한, 인지 깊이를 주기 위해 밝기와 컬러의 강도를 줄인다.

처리된 이미지(212)는 처리된 전경 객체(214)와 처리된 배경(216)을 포함할 수 있다. 처리된 전경 객체(214)는 배경 위에 객체의 위치에 상대적으로 균일한 깊이(uniform depth)를 가질 수 있는 객체로서 정의된다. 균일한 깊이는 동일한 인지된 깊이를 갖는 객체의 모든 부분을 의미한다. 예를 들어, 처리된 전경 객체(214)는 축구장에 똑바로 서있는 축구선수이거나, 야구장에 똑바로 서있는 야구선수일 수 있다. 예를 들어, 처리된 전경 객체(214)에 동일한 인지된 깊이를 제공하기 위하여, 처리된 전경 객체(214)의 영역 내에 있는 픽셀들을 흐리게 또는 부드럽게 하는 것은 질감(texture)을 제공할 수 있고 처리된 이미지(212)에서 처리된 전경 객체(214)의 무엇이든 사이에서의 분리를 의미한다.

처리된 배경(216)은 다른 객체들을 위한 시각적 토대(visual base)를 제공하는 이미지의 부분으로서 정의된다. 처리된 배경(216)은 점점 또는 지속적으로 변하는 인지된 깊이를 갖는다. 예를 들어, 처리된 이미지(212)의 바닥(bottom)에 가까운 처리된 배경(216)의 부분들은 처리된 이미지(212)의 중심 또는 꼭대기(top) 에 가까운 처리된 배경(216)의 부분들보다 작은 인지된 깊이를 가질 수 있다. 축구장을 특정 예로 들면, 처리된 이미지(212)의 바닥에 인접한 축구장은 가깝게 나타날 수 있고 처리된 이미지(212)의 중심과 꼭대기를 향하여 점점 멀어질 것이다.

일반적으로, 처리된 배경(216)은 단일 또는 균일한 배경 타입을 나타낼 수 있다. 예를 들어, 처리된 배경(216)은 축구 경기에서 잔디 경기장, 항해 장면에서 바다, 또는 하늘을 나타낼 수 있다. 그러나, 처리된 배경(216)은 야구 다이아몬드의 흙과 내야와 외야의 잔디의 결합 또는 축구장의 잔디 주변의 경기장 좌석과 같은 여러 조각들 또는 부분들로 구성될 수 있다.

처리된 이미지(212)는 이미지 시각(image viewpoint, 218)을 가질 수 있다. 이미지 시각(218)은 이미지의 카메라 각도로서 정의된다. 예를 들어, 이미지 관점(218)은 비행기, 헬리콥터 또는 소형 비행선과 같은 것으로부터 하늘에서 내려다본 조감도(aerial view), 스포츠 스타디움에서 크레인 또는 승강대로부터의 시선과 같은 고각도 시각(high angle view), 눈높이 시각 (eye level view), 또는 저각도 시각(low angle view)일 수 있다.

일반적으로, 처리 이미지(212)는 투시도인 이미지 시각을 가질 수 있다. 투시도는 축구장이나 야구장의 스타디움 또는 아나운서의 관점과 같은, 배경의 넓은 영역들을 제공하는 고각도 시각의 형태로서 정의된다. 또한, 투시도는 일반적으로 전경 객체들을 배경의 큰 영역 위의 작은 객체들(경기장에서 축구 선수 또는 야구 선수와 같은 객체들)로서 나타낸다.

도 3을 참조하면, 디스플레이 시스템(100)의 블록도이다. 디스플레이 시스템(100)은 제1장치(102), 통신경로(104) 및 제2장치(106)를 포함할 수 있다. 제1장치(102)는 제1장치 전송(308)에서 통신경로(104)를 거쳐 제2장치(106)로 정보를 보낼 수 있다. 제2장치(106)는 제2장치 전송(310)에서 통신경로(104)를 거쳐 제1장치(102)로 정보를 보낼 수 있다.

예로써, 디스플레이 시스템(100)은 제1장치(102)를 클라이언트 장치로서 가지고 있다고 도시되나, 디스플레이 시스템(100)은 제1장치(102)를 다른 타입의 장치로서 가질 수 있음을 이해할 수 있을 것이다. 예들 들어, 제1 장치(102)는 디스플레이 인터페이스를 갖는 서버일 수 있다.

또한 예로써, 디스플레이 시스템(100)은 제2장치(106)를 서버로서 가지고 있다고 도시되나, 디스플레이 시스템(100)은 제2장치(106)를 다른 타입의 장치로서 가질 수 있음을 이해할 수 있을 것이다. 예들 들어, 제2장치(106)는 클라이언트 장치일 수 있다.

본 발명에 따른 이 실시예에서 간결한 설명을 위해, 제1장치(102)는 클라이언트 장치로서 설명되고, 제2장치(106)는 서버 장치로서 설명될 것이다. 본 발명은 이러한 타입의 장치들에 대한 선택에 한정되지 않는다. 이러한 선택은 본 발명의 일례일 뿐이다.

제1장치(102)는 제1제어부(312), 제1저장부(314), 제1통신부(316), 제1사용자 인터페이스(318)를 포함할 수 있다. 제1제어부(312)는 제1제어인터페이스(322)를 포함할 수 있다. 제1제어부(312)는 디스플레이 시스템(100)의 정보를 제공하기 위해 제1소프트웨어(326)를 실행시킬 수 있다.

제1제어부(312)는 수많은 여러 방식으로 구현될 수 있다. 예를 들어, 제1제어부(312)는 프로세서, 주문형 집적회로(ASIC), 내장프로세서, 마이크로프로세서, 하드웨어 제어 로직, 하드웨어 유한 상태 기계(FSM), 디지털 신호 처리기(DSP), 또는 이들의 결합일 수 있다. 제1제어인터페이스(322)는 제1장치(102)에서 제1제어부(312)와 다른 기능부들 간의 통신을 위해 이용될 수 있다. 제1제어인터페이스(322)는 제1장치(102)의 외부에서 통신을 위해 이용될 수도 있다.

제1제어인터페이스(322)는 다른 기능부 또는 외부 소스로부터 정보를 수신하거나, 다른 기능부 또는 외부의 목적지로 정보를 전송할 수 있다. 외부 소스와 외부 목적지는 제1장치(102) 외부에 있는 소스와 목적지를 말한다.

제1제어인터페이스(322)는 여러 방법으로 구현될 수 있고, 어느 기능부 또는 외부 유닛들이 제1제어인터페이스(322)와 접속되어 있는지에 따라 다양한 구현들을 포함할 수 있다. 예를 들어, 제1제어인터페이스(322)는 압력 센서, 관성 센서, 마이크로 전기 기계 시스템 (MEMS), 광학 회로소자, 도파관, 무선 회로소자, 와이어라인 회로, 또는 이들의 결합으로 구현될 수 있다.

제1저장부(314)는 제1소프트웨어(326)를 저장할 수 있다. 또한, 제1저장부(314)는 입수되는 이미지들(incoming images)을 나타내는 데이터, 이전에 제공된 이미지를 나타내는 데이터, 소리 파일, 또는 이들의 결합과 같은 관련정보를 저장할 수 있다.

제1저장부(314)는 휘발성 메모리, 비휘발성 메모리, 내부 메모리, 외부 메모리, 또는 이들의 결합일 수 있다. 예를 들어, 제1저장부(314)는 비휘발성 램(NVRAM), 플래시 메모리, 디스크 저장부와 같은 비휘발성 저장부, 또는 정적램(SRAM)과 같은 휘발성 저장부일 수 있다.

제1저장부(314)는 제1저장인터페이스(324)를 포함할 수 있다. 제1저장인터페이스(324)는 제1장치(102)의 다른 기능부들 사이에서 통신을 위해 이용될 수 있다. 또한, 제1저장인터페이스(324)는 제1장치(102)의 외부에서 통신을 위해 이용될 수 있다.

제1저장인터페이스(324)는 다른 기능부 또는 외부 소스로부터 정보를 수신하거나, 다른 기능부 또는 외부의 목적지로 정보를 전송할 수 있다. 외부 소스와 외부 목적지는 제1장치(102) 외부에 있는 소스와 목적지를 말한다.

제1제어인터페이스(322)는 어느 기능부 또는 외부 유닛들이 제1제어인터페이스(322)와 접속되어 있는지에 따라 다양한 구현을 포함할 수 있다. 예를 들어, 제1제어인터페이스(322)는 압력 센서, 관성 센서, 마이크로 전기 기계 시스템 (MEMS), 광학 회로소자, 도파관, 무선 회로소자, 와이어라인 회로, 또는 이들의 결합으로 구현될 수 있다.

제1통신부(316)는 제1장치(102)와의 외부 통신을 가능하게 한다. 예를 들어, 제1통신부(316)는 제1장치(102)가 도 1의 제2장치(106), 주변장치 또는 컴퓨터 데스크탑과 같은 연결장치, 및 통신경로(104)와 통신하도록 한다.

제1통신부(316)는 제1장치(102)가 통신경로(104)의 일부로서 기능하도록 하는 통신허브로서 기능할 수 있으나, 통신경로(104)의 종단 점 또는 말단 (terminal)으로 한정되지 않을 것이다. 제1통신부(316)는 통신경로(104)와의 상호작용(interaction)을 위한, 마이크로일렉트로닉스 또는 안테나와 같은, 능동 및 수동 부품을 포함할 수 있다.

제1통신부(316)는 제1통신인터페이스(328)을 포함할 수 있다. 제1통신인터페이스(328)는 제1통신부(316)와 제1장치(102)의 다른 기능부들 사이에서 통신을 위해 이용될 수 있다. 제1통신인터페이스(328)는 다른 기능부들로부터 정보를 수신하거나 다른 기능부들에 정보를 전송할 수 있다.

제1통신인터페이스(328)는 어느 기능부가 제1통신부(316)와 접속되어(interfaced) 있는지에 따라 다양한 구현들을 포함할 수 있다. 제1통신인터페이스(328)는 제1제어인터페이스(322)와 유사한 기술 및 기법으로 구현될 수 있다.

제1사용자인터페이스(318)는 사용자(미도시)에게 제1장치(102)와 접속(interface) 및 상호작용하도록 한다. 제1사용자인터페이스(318)는 입력장치와 출력장치를 포함할 수 있다. 제1사용자인터페이스(318)의 입력장치의 예들은 키패드, 터치패드, 소프트키, 키보드, 마이크로폰, 원격신호를 수신하기 위한 적외선 센서, 또는 데이터와 통신 입력을 제공할 수 있는 이들의 어떠한 결합도 포함할 수 있다.

제1사용자인터페이스(318)는 제1디스플레이 인터페이스(330)를 포함할 수 있다. 제1디스플레이 인터페이스(330)는 디스플레이, 프로젝터, 비디오 스크린, 스피커, 또는 이들의 어떠한 결합도 포함할 수 있다.

제1제어부(312)는 제1사용자인터페이스(318)가 디스플레이 시스템(100)에 의해 발생한 정보를 표시할 수 있도록 운용한다. 또한, 제1제어부(312)는 디스플레이 시스템(100)의 다른 기능들을 위한 제1소프트웨어(326)를 실행할 수 있다. 제1제어부(312)는 제1통신부(316)을 통해 통신경로(104)와 상호작용하기 위한 제1소프트웨어(326)를 더 실행할 수 있다.

제2장치(106)는 제1장치(102)를 갖는 다중 장치 실시예에서 본 발명을 구현하기 위해 최적화 될 수 있다. 제2장치(106)는 제1장치(102)와 비교하여 추가 또는 더 높은 성능 처리 파워를 제공할 수 있다. 제2장치(106)는 제2제어부(334), 제2통신부(336) 및 제2사용자 인터페이스(338)를 포함할 수 있다.

제2사용자 인터페이스(338)는 사용자(미도시)가 제2장치(106)와 접속 및 상호작용하도록 한다. 제2사용자 인터페이스(338)는 입력장치와 출력장치를 포함할 수 있다. 제2사용자인터페이스(338)의 입력장치의 예들은 키패드, 터치패드, 소프트키, 키보드, 마이크로폰, 또는 데이터와 통신 입력을 제공할 수 있는 이들의 어떠한 결합도 포함할 수 있다. 제2사용자 인터페이스(338)의 출력장치의 예들은 제2디스플레이 인터페이스(340)를 포함할 수 있다. 제2디스플레이 인터페이스(340)는 디스플레이, 프로젝터, 비디오 스크린, 스피커 또는 이들의 어떠한 결합도 포함할 수 있다.

제2제어부(334)는 디스플레이 시스템(100)의 제2장치(106)의 정보를 제공하기 위하여 제2소프트웨어(324)를 실행할 수 있다. 제2소프트웨어(342)는 제1소프트웨어(326)와 함께 작동할 수 있다. 제2제어부(334)는 제1제어부(312)와 비교하여 추가의 성능을 제공할 수 있다.

제2제어부(334)는 제2사용자 인터페이스(338)가 정보를 표시하도록 조종할 수 있다. 또한, 제2제어부(334)는 제2통신부(336)가 제1장치(102)와 통신경로(104)를 통해 통신하도록 운용하면서, 디스플레이 시스템(100)의 다른 기능들을 위한 제2소프트웨어(342)를 실행할 수 있다.

제2제어부(334)는 수많은 여러 방식으로 구현될 수 있다. 예를 들어, 제2제어부(334)는 프로세서, 내장프로세서, 마이크로프로세서, 하드웨어 제어 로직, 하드웨어 유한 상태 기계(FSM), 디지털 신호 처리기(DSP), 또는 이들의 결합일 수 있다.

제2제어부(334)는 제2제어기 인터페이스(344)를 포함할 수 있다. 제2제어기 인터페이스(344)는 제2장치(106)에서 제2제어부(334)와 다른 기능부들 간의 통신을 위해 이용될 수 있다. 제2제어기 인터페이스(344)는 제2장치(106)의 외부에서 통신을 위해 이용될 수 있다.

제2제어기 인터페이스(344)는 다른 기능부 또는 외부 소스로부터 정보를 수신하거나, 다른 기능부 또는 외부의 목적지로 정보를 전송할 수 있다. 외부 소스와 외부 목적지는 제2장치(106) 외부에 있는 소스와 목적지를 말한다.

제2제어기 인터페이스(344)는 여러 가지 방법으로 구현될 수 있고, 어느 기능부 또는 외부 유닛들이 제2제어기 인터페이스(344)와 접속되어 있는지에 따라 다양한 구현을 포함할 수 있다. 예를 들어, 제2제어기 인터페이스(344)는 압력 센서, 관성 센서, 마이크로 전기 기계 시스템 (MEMS), 광학 회로소자, 도파관, 무선 회로소자, 와이어라인 회로, 또는 이들의 결합으로 구현될 수 있다.

제2저장부(346)는 제2소프트웨어(342)를 저장할 수 있다. 또한, 제2저장부(346)는 입수되는 이미지들(incoming images)을 나타내는 데이터, 이전에 제공된 이미지를 나타내는 데이터, 소리 파일, 또는 이들의 결합을 저장할 수 있다. 제2저장부(346)는 제1저장부(314)를 보충하는 추가의 저장 용량을 제공하는 크기를 가질 수 있다.

예로써, 제2저장부(346)는 단일 구성요소로 도시되었지만, 제2저장부(346)는 저장 요소들의 분포일 수 있다. 또한 예로써, 디스플레이 시스템(100)은 제2저장부(346)를 단일 계층의 저장 시스템으로서 포함하는 것으로 도시되었지만, 디스플레이 시스템(100)은 다른 구성으로 제2저장부(346)를 가질 수 있다. 예를 들어, 제2저장부(346)는 캐싱, 메인 메모리, 회전 미디어(rotating media), 또는 오프라인 저장부의 여러 가지 레벨을 포함하는 메모리 계층 시스템을 형성하는 다양한 저장 기술로 형성될 수 있다.

제2저장부(346)는 휘발성 메모리, 비휘발성 메모리, 내부메모리, 외부메모리, 또는 이들의 결합일 수 있다. 예를 들어, 제2저장부(346)는 비휘발성 램(NVRAM), 플래시 메모리, 디스크 저장부와 같은 비휘발성 저장부, 또는 정적램(SRAM)과 같은 휘발성 저장부일 수 있다.

제2저장부(346)는 제2저장인터페이스(348)를 포함할 수 있다. 제2저장인터페이스(348)는 제2장치(106)의 다른 기능부들 사이에서 통신을 위해 이용될 수 있다. 또한, 제2저장인터페이스(348)는 제2장치(106)의 외부에서 통신을 위해 이용될 수 있다.

제2저장인터페이스(348) 다른 기능부 또는 외부 소스로부터 정보를 수신하거나, 다른 기능부 또는 외부의 목적지로 정보를 전송할 수 있다. 외부 소스와 외부 목적지는 제2장치(106) 외부에 있는 소스와 목적지를 말한다.

제2저장인터페이스(348)는 어느 기능부 또는 외부 유닛들이 제2저장부(346)와 접속되어 있는지에 따라 다양한 구현을 포함할 수 있다. 제2저장인터페이스(348)는 제2제어기 인터페이스(344)의 구현과 유사한 기술 또는 기법으로 구현될 수 있다.

제2통신부(336)는 제2장치(106)와의 외부 통신을 가능하게 한다. 예를 들어, 제2통신부(336)는 제2장치(106)가 제1장치(102)와 통신경로(104)를 통해 통신하도록 한다.

제2통신부(336)는 제2장치(106)가 통신경로(104)의 일부로서 기능하도록 하는 통신허브로서 기능할 수 있으나, 통신경로(104)의 종단 점 또는 말단으로 한정되지 않을 것이다. 제2통신부(336)는 통신경로(104)와 상호작용을 위한, 마이크로일렉트로닉스 또는 안테나와 같은, 능동 및 수동 부품을 포함할 수 있다.

제2통신부(336)는 제2통신인터페이스(350)을 포함할 수 있다. 제2통신인터페이스(350)는 제2장치(106)의 제2통신부(336)와 다른 기능부들 사이에서 통신을 위해 이용될 수 있다. 제2통신인터페이스(350)는 다른 기능부들로부터 정보를 수신하거나 다른 기능부들에 정보를 전송할 수 있다.

제2통신인터페이스(350)는 어느 기능부가 제2통신부(336)와 접속되어 있는지에 따라 다양한 구현들을 포함할 수 있다. 제2통신인터페이스(350)는 제2 제어기 인터페이스(344)와 유사한 기술 및 기법으로 구현될 수 있다.

제1통신부(316)는 제1장치전송(308)에서 제2장치(106)로 정보를 전송하기 위해 통신경로(104)와 결합할 수 있다. 제2장치(106)는 제2 통신부(336)에서 통신경로(104)의 제1장치전송(308)으로부터 정보를 수신할 수 있다.

제2통신부(336)는 제2장치전송(310)에서 제1장치(102)로 정보를 전송하기 위해 통신경로(104)와 결합할 수 있다. 제1장치(102)는 제1통신부(316)에서 통신경로(104)의 제2장치전송(310)으로부터 정보를 수신할 수 있다. 디스플레이 시스템(100)은 제1제어부(312), 제2제어부(334), 또는 이들의 결합에 의해 실행될 수 있다.

예로써, 제2장치(106)는 제2사용자인터페이스(338), 제2저장부(346), 제2제어부(334) 및 제2통신부(336)를 갖는 부분으로 도시되었지만, 제2장치(106)는 다른 부분을 가질 수 있음은 물론이다. 예를 들어, 제2소프트웨어(342)는 그 기능의 일부 또는 전부가 제2제어부(334)와 제2통신부(336)에 있도록 다르게 분할될 수 있다. 또한, 제2장치(106)는 명확함을 위해 도3에 도시되지 않은 다른 기능부들을 포함할 수 있다.

제1장치(102)에서의 기능부들은 개별적으로 그리고 다른 기능부들과 독립적으로 동작할 수 있다. 제1장치(102)는 개별적으로 그리고 제2장치(106) 및 통신경로(104)와는 독립적으로 동작할 수 있다.

제2장치(106)에서의 기능부들은 개별적으로 그리고 다른 기능부들과 독립적으로 동작할 수 있다. 제2장치(106)는 개별적으로 그리고 제1장치(102) 및 통신경로(104)와는 독립적으로 동작할 수 있다.

예로써, 디스플레이 시스템(100)은 제1장치(102)와 제2장치(106)의 동작으로 설명된다. 제1장치(102)와 제2장치(106)는 디스플레이 시스템(100)의 모든 모듈 및 기능들을 운용할 수 있음을 알 수 있다.

도 4를 참조하면, 디스플레이 시스템(100)의 제어 흐름이 도시된다. 디스플레이 시스템(100)은 입력 이미지(424)를 포함한다. 입력이미지(424)는 도 2의 디스플레이 인터페이스(210)에 디스플레이하기 위해 제1장치(102)에 의해 수신된 이미지로 정의된다. 입력 이미지(424)는 입력 이미지(424)를 생성하는데 이용된 개별적인 픽셀들로서 정의되는 입력 픽셀들(426)을 포함할 수 있는데, 이는 도 2의 처리 이미지(212)로 변환될 수 있다.

입력 픽셀들(426)은 픽셀 값(428)을 가질 수 있다. 픽셀 값(428)은 픽셀의 컬러를 묘사하는 정보를 나타내는 값으로 정의된다. 예를 들어, 픽셀 값(428)은 색공간(color space)에서 특정 색깔을 나타내는 좌표들의 집합일 수 있다.

색공간은 특정 색깔을 묘사하기 위해 이용될 수 있는 측정 기준으로 정의된다. 색공간은 "YUV" 색 공간에 의해 표현될 수 있다. Y성분은 이미지에서 색의 휘도 또는 밝기를 결정할 수 있는데, 여기에서 낮은 Y값들은 낮은 밝기에 대응하고 높은 Y값들은 높은 밝기에 대응한다. U와 V 성분들은 이미지의 색차 또는 색깔을 결정할 수 있다. 예를 들어, U성분은 이미지의 청색 성분을 판단하는 기준일 수 있고, V성분은 이미지의 적색 성분을 판단하는 기준일 수 있다.

예로서, U와 V 색차 성분들은 색공간의 x와 y축을 따라 측정될 수 있다. 또 다른 예로, V성분은 y축을 따라 측정되고, U 성분은 x축을 따라 측정될 수 있다.

픽셀 값(428)은 색공간에서의 그 좌표에 기초하여 입력 픽셀(428)의 색을 묘사할 수 있다. 예를 들어, (x1, y1)인 픽셀 값(428)은 초록의 특정 명암을 나타낼 수 있고, (x2, y2)인 픽셀 값(428)은 빨강의 특정 명암을 나타낼 수 있다.

디스플레이 시스템(100)은 히스토그램 모듈(430)을 포함할 수 있다. 히스토그램 모듈(430)은 이미지로부터 픽셀들과 관련된 값들의 분포를 도표 또는 그래프로 생성한다. 히스토그램 모듈(430)은 입력 이미지(424)의 픽셀 값(428)으로부터 입력 히스토그램(432)을 생성할 수 있다.

입력 히스토그램(432)은 이미지에 나타난 색깔들의 2차원 히스토그램으로 정의된다. 입력 히스토그램(432)은 입력 이미지(424)에서 특정 색깔의 주파수를 나타낼 수 있다. 예를 들어, 많은 수의 입력 픽셀(426)들이 초록의 명암을 나타내는 픽셀 값(428)을 갖는다면, 초록의 명암은 높은 주파수를 가질 수 있다. 입력 히스토그램(432)은 픽셀 값(428)에 따라 "YUV" 색공간에서 컬러에 대응하는 입력 픽셀들(426)의 총 수를 합하여 생성될 수 있다.

디스플레이 시스템(100)은 의미(semantic) 할당 모듈(434)을 포함할 수 있다. 의미 할당 모듈(434)은 이미지를 나타내는 히스토그램에서 국부 최대치들(local maxima)를 확인하고, 국부 최대치들을 분류하고, 분류된 로컬 최대치들에 기초하여 이미지에서의 잔여 픽셀들을 분류하기 위한 것이다. 이러한 기능들 각각은 아래에서 더욱 상세하게 논의될 것이다.

디스플레이 시스템(100)은 배경(background) 검출 모듈(436)을 포함할 수 있다. 배경 검출 모듈(434)은 특정 픽셀의 총 수와 특정 픽셀의 밀도에 기초하여 이미지의 픽셀들이 이미지의 배경을 구성하는지 판단한다. 이러한 기능들 각각은 아래에서 더욱 상세하게 논의될 것이다.

디스플레이 시스템(100)은 전경(foreground) 검출 모듈(438)을 포함할 수 있다. 전경 검출 모듈(438)은 픽셀들 그룹이 배경 픽셀들에 의해 둘러싸여 있거나, 픽셀들의 그룹이 배경 픽셀들과 비교하여 상대적으로 적은지를 판단하여 이미지에서 배경 위에 있는 객체를 검출한다. 이러한 기능들 각각은 아래에서 더욱 상세하게 논의될 것이다.

디스플레이 시스템(100)은 깊이 맵(depth map) 모듈(440)을 포함할 수 있다. 깊이 맵 모듈(440)은 이미지가 특정한 시각(view)을 제공하는지를 판단하고, 특정한 시각(view)이 검출되면 이미지에서 배경과 전경 객체들의 맵을 생성한다. 이러한 기능들 각각은 아래에서 더욱 상세하게 논의될 것이다.

깊이 맵 모듈(440)은 깊이 맵(442)을 생성할 수 있다. 깊이 맵(442)은 이미지에서 픽셀들 각각에 대한 깊이 정보를 나타내는 지도로 정의된다.

디스플레이 시스템(100)은 이미지 디스플레이 모듈(444)을 포함할 수 있다. 이미지 디스플레이 모듈(444)은 장치에서의 디스플레이를 위한 처리 이미지(212)를 생성하기 위해 입력 이미지에 깊이 정보를 적용하는 것으로 정의된다. 이미지 디스플레이 모듈(444)은 입력 이미지(424)를 처리 이미지(212)로 변환할 수 있다. 이미지 디스플레이 모듈(444)은 도 1의 제1장치(102)에서의 디스플레이를 위한 처리 이미지(212)를 생성하기 위하여 입력 이미지(424)의 픽셀들에 깊이 맵(442)을 적용할 수 있다.

디스플레이 시스템(100)은 도1의 제1장치(102)와 제2장치(106)에 구현되거나, 제1장치(102)와 제2장치(106)에 분산되어 구현될 수 있다. 예를 들어, 제2장치(106)는 도 3의 제2장치 전송(310)으로서 도 3의 통신경로(104)를 통하여 입력 이미지(424)를 전송할 수 있다. 제1장치(102)는 도 3의 제1통신부(316)로 입력 이미지(424)를 수신할 수 있다. 도 3의 제1통신인터페이스(328)는 도 3의 제1저장부(314) 또는 도 3의 제1제어부(312)로 입력 이미지(424)를 전송할 수 있다.

도 3의 제1소프트웨어(326) 또는 제1제어부(312)는 히스토그램 모듈(430), 의미 할당 모듈(434), 배경 검출 모듈(436), 전경 검출 모듈(438), 깊이 맵 모듈(440) 및 이미지 디스플레이 모듈(444)을 실행할 수 있다.

제1제어인터페이스(322) 또는 제1저장인터페이스(324)는 도 3의 제1디스플레이 인터페이스(330)에 처리 이미지(212)를 전송할 수 있다. 제1디스플레이 인터페이스(330)는 처리 이미지(212)를 수신하여 디스플레이할 수 있다.

디스플레이 시스템(100)은 모듈 기능 또는 명령(order)을 예로써 설명한다. 모듈들은 다르게 분할될 수 있다. 예를 들어, 제2소프트웨어(342)는 히스토그램 모듈(430)을 포함할 수 있다. 모듈들 각각은 개별적으로 그리고 다른 모듈들과는 독립적으로 동작할 수 있다.

그리고, 하나의 모듈에서 발생한 데이터는 서로 직접 결합하지 않고 다른 모듈에 의해서 이용될 수 있다. 예를 들어, 의미 할당 모듈(434)은 픽셀 값(428)을 수신할 수 있다.

도 5를 참조하면, 의미 할당 모듈(434)이 도시된다. 의미 할당 모듈(434)은 피크 식별 모듈(550)을 포함할 수 있다. 피크 식별 모듈(550)은 히스토그램에서 피크들을 식별한다. 피크 식별 모듈(550)은 입력 피크들(552)을 식별할 수 있다.

입력 피크들(552)은 입력 히스토그램(432)에서 국부 최대치들로 정의된다. 국부 최대치들은 최대 주파수로 발생하는 "YUV" 색공간에서의 색깔들로 정의된다. 입력 피크들(552)은 입력 이미지(424)에서 픽셀 값(428)의 개별적인(particular) 하나와 대응할 수 있다.

피크 식별 모듈(550)은 입력 히스토그램(432)에서 입력 피크들(552)을 국부 최대치들로 식별할 수 있다. 특수한 예로, 피크 식별 모듈(550)은 8개까지의 국부 최대치를 입력 피크들(552)로 식별할 수 있다.

의미 할당 모듈(434)은 피크 분류 모듈(554)을 포함할 수 있다. 피크 분류 모듈(554)은 히스토그램에서 국부 최대치를 분류한다. 피크 분류 모듈(554)은 픽셀 정보(556)에 따라 입력 피크들(552)을 분류할 수 있다.

픽셀 정보(556)는 이미지에서 입력 피크들(552)이나 입력 픽셀들(426)에 의해 나타나는 객체의 타입 또는 속성(nature)을 식별하는 정보로 정의된다. 입력 피크(552)와 입력 픽셀(426)은 픽셀 정보(556)를 포함할 수 있다. 픽셀 정보(556)는 의미 카테고리(558)과 연관된다.

의미 카테고리(558)는 이미지에서 나타나는 물리적인 소재들 또는 객체들의 카테고리로 정의된다. 의미 카테고리(558)는 소정 개수의 다른 소재들 또는 객체들에 대해 설정될 수 있다. 예를 들어, 의미 카테고리(558)는 잔디, 물, 흙, 나무, 콘크리트, 또는 피부와 같은 객체 또는 소재들을 나타낼 수 있다. 또 다른 예로, 의미 카테고리(558)는 입력 이미지(424)에 있는 입력 배경(560)과 연관된 객체들을 나타낼 수 있다.

입력 배경(560)은 이미지의 배경 영역을 나타내는 픽셀 그룹으로 정의된다. 예를 들어, 입력 배경(560)은 스포츠 경기 장의 잔디 영역, 바다의 물, 또는 하늘과 같은 입력 이미지에서의 처리된 배경(216)을 나타낼 수 있다.

의미 카테고리(558)는 의미 값(562)을 가질 수 있다. 의미 값(562)은 이미지에 나타나는 객체 또는 소재와 연관된 값으로 정의된다. 예를 들어, 의미 값(562)은 개별적인 객체 또는 소재와 관련된 색깔에 기초할 수 있다.

피크 분류 모듈(554)은 의미 카테고리(558)의 의미 값(562)에 입력 피크들(552) 중 하나에 대응하는 픽셀 값(428)을 비교함으로써 입력 피크들(552)을 분류할 수 있다. 피크 분류 모듈(554)은 의미 카테고리(558)에 대응하는 입력 피크(552)들의 각각에 대해 픽셀 정보(556)를 할당할 수 있다.

입력 피크들(552)의 픽셀 값(428)이 의미 카테고리(558) 중 하나의 의미 값(562)과 일치하면, 입력 피크들(552)의 픽셀 정보(556)는 의미 값(562)에 대응하는 의미 카테고리(558)로서 분류될 수 있다. 예를 들어, 잔디의 의미 값(562)에 대응하는 픽셀 값(428)을 갖는 입력 피크들(552)은 잔디의 픽셀 정보(556)를 가질 수 있다.

반대로, 입력 피크들(552) 중 하나의 픽셀 값(428)이 의미 카테고리(558) 중 하나의 의미 값(562)과 일치하지 않으면, 픽셀 분류 모듈(554)은 픽셀 정보(556)를 기타(misc)로 분류할 수 있다. 기타(misc)의 의미 카테고리(558)는 입력 픽셀들(426)이 의미 카테고리(558)의 미리 정의된 카테고리들 중 어느 것과도 일치하지 않는다는 것을 의미한다.

의미 할당 모듈(434)은 픽셀 분류 모듈(564)을 포함할 수 있다. 픽셀 분류 모듈(564)은 이미지에서 픽셀들에 의미 정보(semantic information)를 할당한다. 픽셀 분류 모듈(564)은 입력 픽셀들(426)과 입력 피크들(552)을 분류 문턱 값(566)에 연관시켜 입력 픽셀들(426)을 분류할 수 있다.

분류 문턱 값(566)은 하나의 값이 관련되는지 또는 다른 값으로서 보통 그룹 내에 있는지를 판단하기 위해 이용되는 것으로 정의된다. 분류 문턱 값(566)은 반복(iterative) 또는 회귀(recursive) 방법을 통하여 체험적으로 결정될 수 있다.

기본 예로, 입력 픽셀들(426) 중 하나를 입력 피크들(552) 중 하나에 비교할 때, 그 차이가 분류 문턱 값(566)보다 크면, 이 둘은 아무 관련 또는 연결이 없다. 반면, 입력 픽셀들(426) 중 하나와 입력 피크들(552) 중 하나 사이의 차이가 분류 문턱 값(566)보다 작으면, 이 둘 은 서로 관련 또는 연관되었다고 할 수 있다.

픽셀 분류 모듈(564)은 픽셀 값(428)에 기초하여 입력 피크(552)를 갖는 하나 이상의 입력 픽셀들(426)을 그룹 짓도록 분류 문턱 값(566)을 이용할 수 있다. 예를 들어, 픽셀 분류 모듈(564)은 입력 피크들(552) 각각의 픽셀 값(428)과 입력 픽셀들(426) 중 하나의 픽셀 값(428) 사이의 유클리드 거리(Euclidian distance)를 계산할 수 있다.

픽셀 분류 모듈(564)은 분류 문턱 값(566) 이하인 최단의 유클리드 거리를 갖는 입력 피크들(552)과 입력 픽셀들(426)을 연관시킬 수 있다.

입력 픽셀들(426)이 입력 피크들(552) 중 하나와 연관되면, 입력 픽셀들(426)은 입력 피크들(552) 중 연관된 하나와 같은 픽셀 정보(556)를 갖는 것으로 분류될 수 있다. 반대로, 픽셀 분류 모듈(564)이 입력 픽셀들(426) 중 하나와 입력 피크들(552) 사이의 유클리드 거리를 분류 문턱 값(556)보다 큰 것으로 계산하면, 픽셀 분류 모듈(564)은 분류되고 있는 입력 픽셀들(426)의 픽셀 정보(556)를 "기타"로 분류할 수 있다.

특수한 예로, 입력 피크들(552)이 "잔디", "바다", "하늘", 및 "피부"와 같은 픽셀 정보(556)를 갖는 경우, 픽셀 분류 모듈(564)은 입력 픽셀들(426) 각각을 입력 피크들(552)의 각각과 비교할 수 있다. 만일 분류 문턱 값(566)이 20이고, 픽셀 분류 모듈(564)이 입력 픽셀들(426) 중 하나와 "잔디", "바다", "하늘", 및 "피부"를 나타내는 입력 피크들(552)과의 유클리드 거리를 각각16, 32, 29 및 18로 계산한다면, 픽셀 분류 모듈(564)은 픽셀 정보(556)를 "잔디"로 분류할 수 있다. 이는 분류되고 있는 입력 픽셀들(426)과 "잔디"를 나타내는 입력 피크(552) 사이의 유클리드 거리가 분류 문턱 값(566) 이하이면서 또한 분류 문턱 값(566) 보다 낮은 "피부"를 나타내는 입력 피크(552)에 비해 값이 낮기 때문이다.

예로써, 픽셀 분류 모듈(564)은 유클리드 거리에 기초하여 통계적인 분석을 수행하지만, 분류 모듈은 다른 방법들을 이용할 수도 있다. 예를 들어, 픽셀 분류 모듈(564)은 마할라노비스의 거리(Mahalanobis distance) 또는 클러스터링 알고리즘을 활용할 수 있다.

디스플레이 시스템(100)은 도 1의 제1장치(102), 도 1의 제2장치(106) 또는 제1장치(102)와 제2장치(106)에 분산되어 구현될 수 있다. 예를 들면, 도 3의 제1저장부(314) 또는 도 3의 제1제어부(312)는 피크 식별 모듈(550), 피크 분류 모듈(554) 또는 픽셀 분류 모듈(564)을 저장할 수 있다.

디스플레이 시스템(100)은 모듈 기능(module functions) 또는 명령(order)을 예로써 설명한다. 모듈들은 다르게 분할될 수 있다. 예를 들어, 제1제어부(312)는 피크 식별 모듈(55)을 저장 및 실행할 수 있고, 제1저장부(314)는 피크 분류 모듈(554)를 저장할 수 있다. 모듈들 각각은 개별적으로 그리고 다른 모듈들과는 독립적으로 동작할 수 있다.

그리고, 하나의 모듈에서 발생한 데이터는 서로 직접 결합하지 않고 다른 모듈에 의해서 이용될 수 있다. 예를 들어, 픽셀 분류 모듈(564)은 픽셀 값(428)을 수신할 수 있다.

도 6을 참조하면, 입력 이미지(424)의 부분이 일례로 도시되어 있다. 입력 이미지(424)의 부분은 입력 이미지들(426)의 픽셀 블록(602)을 묘사한다. 픽셀들 각각 안에 있는 단어들은 입력 픽셀들(426) 각각에 대한 픽셀 정보(556)를 나타낸다. 픽셀 블록(602)의 바닥을 따라 있는 숫자들은 픽셀 열을 나타내고, 픽셀 블록(602)의 좌측을 따라 있는 숫자들은 픽셀 행을 나타낸다. 도 4의 의미 할당 모듈(434)은 입력 픽셀들(426) 각각에 픽셀 정보(556)를 할당할 수 있다.

예로써, 픽셀 블록(602)은 픽셀 정보(556)를 갖는 대부분의 입력 픽셀들(426)을 "잔디"로 픽셀 정보(556)를 갖는 열3-5과 행3-6의 적은 클러스터의 픽셀들은 "기타"로 나타내지만, 입력 픽셀들(426)의 분포와 배열이 픽셀 정보(556)의 다른 하나를 가질 수 있음은 물론이다. 예를 들어, 픽셀 블록(602)에서 입력 픽셀들(426)의 대부분은 "하늘" 또는 "흙"의 픽셀 정보(556)를 가질 수 있다.

도 7을 참조하면, 배경 검출 모듈(436)이 도시된다. 배경 검출 모듈(436)은 픽셀 정보(556)를 갖는 입력 배경 픽셀들(770)을 검출할 수 있다. 입력 배경 픽셀들(770)은 입력 배경(560)을 나타내는 픽셀들로서 정의된다.

배경 검출 모듈(436)은 배경 비율 모듈(772)와 픽셀 밀도 모듈(774)을 통해 많은 입력 픽셀들(426)이 입력 배경 픽셀들(770)인지를 판단할 수 있다. 배경 비율 모듈(772)은 동일 또는 유사한 의미 정보를 갖는 픽셀들의 비율을 판단한다. 배경 비율 모듈(772)은 픽셀 정보(556)와 비율 문턱 값(778)에 기초하여 배경 비율(776)을 계산할 수 있다. 배경 비율(776)은 이미지에서 픽셀들의 총 개수에 대한 배경을 나타내는 픽셀들의 비율로서 정의된다. 비율 문턱 값(778)은 픽셀들의 비율이 배경을 구성하기에 충분한 지를 판단하기 위한 값으로 정의된다.

배경 비율 모듈(772)은 입력 이미지(424)에서 입력 픽셀들(426)의 총 개수에 의해 나누어진 픽셀 정보(556)와 동일한 것을 갖는 입력 픽셀들(426)의 수를 합하여 배경 비율(776)을 계산할 수 있다. 배경 비율 모듈(772)은 입력 이미지(424)에서 픽셀 정보(556) 각각에 대한 배경 비율(776)을 계산할 수 있다. 예를 들어, 픽셀 정보 중 특정 하나를 갖는 입력 픽셀들(426)에 대하여, 배경 비율(776)이 비율 문턱 값(778)보다 크다면, 배경 비율 모듈(772)은 입력 배경 픽셀들(770)을 구성하기 위한 충분한 입력 픽셀들(426)이 있다고 판단할 수 있다. 일반적으로, 비율 문턱 값(778) 이상의 배경 비율(776) 중 가장 높은 하나를 갖는 입력 픽셀들(426)은 입력 배경 픽셀(770)을 구성한다. 특별한 예로, 배경 비율(776)은 78%가 될 수 있다.

배경 비율 모듈(772)의 기능은 도 6에 도시될 수 있다. 예를 들어, 배경 비율 모듈(772)은 픽셀 블록(602)에서 49개의 입력 픽셀들(426)에 대해 배경 비율(776)을 계산할 수 있다. 픽셀 블록(602)은 "잔디"의 픽셀 정보(556)를 갖는 입력 픽셀들(426)과 "기타"의 픽셀 정보(556)를 갖는 입력 픽셀(426)을 포함한다. 배경 비율 모듈(772)은 "잔디"의 픽셀 정보(566)를 갖는 41개의 입력 픽셀들(426)이 있음을 판단할 수 있고, 이에 배경 비율(776)은 49에 대한 41, 또는 대략 0.84이다. 마찬가지로, 배경 비율 모듈(772)은 "기타"의 픽셀 정보(556)를 갖는 8개의 입력 픽셀들(426)이 있음을 판단하여, 배경 비율(776)이 49에 대한 8, 또는 대략 0.16이 될 것이다. 예로써, 비율 문턱 값(778)이 0.80이면, 배경 비율 모듈(772)은 "잔디"의 픽셀 정보(556)를 갖는 입력 픽셀들(426)이 입력 배경 픽셀들(770)이 될 충분한 입력 픽셀들(426)을 구성한다고 판단할 수 있다.

픽셀 밀도 모듈(774)은 특정 의미 정보와 연관되는 픽셀들이 이미지의 배경을 구성하기 위해 충분한 밀도를 갖는지 판단한다. 픽셀 밀도 모듈(774)은 밀도 문턱 값(780)과 픽셀 밀도(782)에 기초하여 픽셀 정보(556) 중 특정 하나를 갖는 입력 픽셀들(426)이 입력 배경 픽셀들(770)을 구성하는지 판단할 수 있다.

밀도 문턱 값(780)은 픽셀 그룹의 밀도가 배경을 구성하기에 충분한지를 판단하기 위한 값으로 정의된다. 픽셀 밀도 문턱 값(780)은 반복적이고 회귀적인 방법들을 통하여 체험적으로 결정될 수 있다.

픽셀 밀도(782)는 같은 의미 정보를 갖는 픽셀들이 다른 의미 정보를 갖는 픽셀들에 인접하는 경우들의 수에 대해 같은 의미 정보를 갖는 픽셀들의 총수에 대한 비율로 정의될 수 있다. 픽셀 밀도 모듈(774)은 픽셀 정보(556) 중 동일한 하나를 갖는 입력 픽셀들(426)의 총 수를 의미 버퍼(786)로 나누어 픽셀 밀도(782)를 계산할 수 있다. 의미 버퍼(786)는 특정 의미 정보를 갖는 픽셀들이 다른 의미 정보를 갖는 픽셀들에 인접하는 경우의 총 수이다.

픽셀 밀도 모듈(774)은 버퍼 합계(sum) 모듈(784)을 포함할 수 있다. 버퍼 합계 모듈(784)은 한 픽셀로부터 다른 픽셀로 특성의 변화를 추적한다. 버퍼 합계 모듈(784)은 입력 픽셀들(426) 각각에 대해 의미 변화(788)를 합계하여 의미 버퍼(786)를 계산할 수 있다.

의미 변화(semantic change, 788)는 한 픽셀과 인접한 다른 픽셀 사이에서 의미 정보의 변화로 정의된다. 예를 들어, 입력 픽셀들(426) 중 제1하나는 "잔디"의 픽셀 정보(556)를 가질 수 있고, 입력 픽셀들(426) 중 인접한 제2하나는 "흙"에 대응하는 픽셀 정보(556)를 가질 수 있다. 입력 픽셀들(426)의 제1하나와 입력 픽셀들(426)의 제2하나 사이의 의미 변화(788)는 하나이다.

2차원 평면에서, 입력 픽셀들(426) 각각은 4개까지의 의미 변화(788)를 가질 수 있다. 정사각형 모양을 갖는 입력 픽셀들(426)은, 입력 이미지(424)의 가장자리(edge)를 따라 또는 꼭지점(corner)에서의 입력 픽셀들(426)을 제외하고, 그 경계 또는 변(side)을 네 개의 입력 픽셀들(426)과 공유할 수 있다. 더욱 상세하게, 입력 픽셀들(426) 중 하나는 입력 픽셀들(426)의 다른 하나와 위, 아래, 왼쪽 그리고 오른쪽으로 변을 공유할 수 있다. 입력 픽셀들(426) 각각은 픽셀 정보(556)의 다른 것들을 갖는 4개의 입력 픽셀들(426)에 인접할 수 있다. 마찬가지로, 가장자리를 따라 위치한 입력 픽셀들(426)은 3개까지의 의미 변화(788)를 가질 수 있고, 입력 이미지(424)의 꼭지점에 위치한 입력 픽셀들(426)은 2개까지의 의미 변화를 가질 수 있다.

버퍼 합계 모듈(784)은 입력 이미지(424)에 제공된 픽셀 정보(556) 각각에 대해 의미 버퍼(786)를 계산할 수 있다. 예를 들어, 도 5의 피크 분류 모듈(554)이 "잔디", "흙" 및 "기타"의 픽셀 정보를 갖는 도 5의 입력 피크들(552)를 식별한다면, 픽셀 밀도 모듈(774)은 "잔디", "흙" 및 "기타"에 대응하는 의미 버퍼(786)를 계산할 수 있다.

버퍼 합계 모듈(784)은 픽셀 정보(556) 각각에 대해 의미 변화(788)를 판단하기 위해 입력 픽셀들(426) 각각을 체크할 수 있다. 버퍼 합계 모듈(784)은 버퍼 합계 모듈(784)이 픽셀 정보(556) 중 특정 하나를 갖는 입력 픽셀들(426) 중 하나에 대해 의미 변화(788)를 검출할 때마다 의미 버퍼(786)의 값을 증가시킬 수 있다.

버퍼 합계 모듈(784)이 의미 버퍼(786)를 계산한 이후에, 픽셀 밀도 모듈(774)은 의미 버퍼(786)의 대응하는 하나로 픽셀 정보(556)의 동일한 하나를 갖는 입력 픽셀들(426)의 총 개수를 나누어 픽셀 밀도(782)를 결정할 수 있다. 픽셀 밀도(782)가 밀도 문턱 값(780)보다 크면, 픽셀 밀도 모듈(774)은 픽셀 정보(556)의 특정한 하나의 입력 픽셀들(426)이 입력 배경 픽셀들(770)을 구성하기에 충분하다고 결정할 수 있다. 일반적으로, 밀도 문턱 값(780) 이상의 픽셀 밀도(782) 중 가장 큰 하나를 갖는 입력 픽셀들(426)은 입력 배경 픽셀들(770)을 구성한다.

픽셀 밀도 모듈(774)와 버퍼 합계 모듈(784)의 기능은 도 6에서 설명될 수 있다. 예를 들면, 픽셀 블록(602)에서, 버퍼 합계 모듈(784)은 "잔디"와 "기타"의 픽셀 정보(556)에 대해 의미 버퍼(786)를 각각 계산할 수 있다. 버퍼 합계 모듈(784)은 의미 변화(788)을 체크하기 위해 입력 픽셀들(426)의 각 행을 스캔할 수 있다. 예를 들어, (3,1)의 입력 픽셀들(426)은 (3,2) 위쪽 입력 픽셀들(426)로 의미 변화(788)를 가지기 때문에 버퍼 합계 모듈(784)은 첫 번째 행을 스캔하여 픽셀 정보(556)에 대한 의미 버퍼(786)를 하나 증가시킨다.

마찬가지로, 버퍼 합계 모듈(784)은 제2행을 스캔하여 잔디의 픽셀 정보(556)에 대한 의미 버퍼(786)를 3만큼 총 4까지 증가시킨다. 이는 (2,2)의 입력 픽셀(426)이 오른쪽 (3,2)의 입력 픽셀(426)로의 의미 변화(788)를 갖고, (4,2)의 입력 픽셀(426)이 왼쪽 위 (4,3)이 입력 픽셀(426)로의 의미 변화(788)를 갖기 때문이다. 버퍼 합계 모듈(784)은 픽셀 블록(602)에서 의미 변화(788)에 대한 각 행을 반복하여 스캔하여 "잔디"의 픽셀 정보(556)의 의미 버퍼(786)를 14로 계산한다.

그리고, 픽셀 밀도 모듈(774)은 "잔디"의 픽셀 정보(556)를 갖는 입력 픽셀들(426)에 대한 픽셀 밀도(782)를 대략 2.9 또는 41 나누기 14로 계산할 수 있다. 예로써, 밀도 문턱 값(780)이 2.5이면, 픽셀 밀도 모듈(774)은 "잔디"의 픽셀 정보(556)를 갖는 입력 픽셀들(426)이 입력 배경 픽셀들(770)을 구성하기에 충분하다고 판단할 수 있다.

배경 검출 모듈(436)은 하나의 의미 카테고리(558)와 일치하는 픽셀 정보(556)를 갖는 입력 픽셀들(426)이 입력 배경 픽셀들(770)인지 결정할 수 있다. 배경 비율 모듈(772)이 배경 비율(776)이 비율 문턱 값(778)보다 크다고 판단하고 픽셀 밀도 모듈(774)이 픽셀 밀도(782)가 밀도 문턱 값(780)보다 크다고 판단한다면, 배경 검출 모듈(436)은 하나의 의미 카테고리(558)에 대응하는 입력 픽셀들(426)이 입력 배경 픽셀들(770)이라고 판단할 수 있다.

일반적으로, 가장 높은 배경 비율(776)과 가장 높은 픽셀 밀도(782)를 모두 갖는 입력 픽셀들(426)은 입력 배경 픽셀들(770)로 결정될 수 있다. 그러나, 몇몇 경우, 입력 배경 픽셀들(770)은 다른 픽셀 정보(556)를 갖는 입력 픽셀들(426)의 다른 조각들(segments) 또는 부분들을 포함할 수 있다. 예를 들어, 야구장의 흙과 내야와 외야의 잔디의 결합 또는 축구장의 잔디 주변의 경기장 좌석을 축구장의 잔디 둘레의 스타디움 좌석을 나타내는 입력 픽셀들(426)은 입력 배경 픽셀들(770)에 의해 표현될 수 있다.

이와 달리, 픽셀 밀도 모듈(774)은 입력 픽셀들(426)의 픽셀 밀도(782)가 소정의 밀도 범위(density range, 750) 내에 있을 때 특정한 하나의 픽셀 정보(556)와 연관된 입력 픽셀들(426)이 입력 배경 픽셀들(770)을 구성하는 지 결정할 수 있다.

밀도 범위(750)는 의미 신뢰도(semantic reliability, 752)에 대응하는 픽셀 밀도(782)의 범위로 정의된다. 의미 신뢰도(752)는 의미 정보의 차이에 기초하여 이미지에서 픽셀들에 대한 세그멘팅(segmenting) 또는 그룹핑(grouping) 정밀도의 척도로서 정의된다. 의미 신뢰도는 픽셀 밀도(782)의 함수일 수 있다.

일반적으로, 의미 신뢰도(752)는 의미 신뢰도(752)가 최대 신뢰도(754)에 도달할 때까지 픽셀 밀도(782)의 증가 값과 함께 증가하고, 최대 신뢰도(754) 이후에는 픽셀 밀도(782)의 증가 값과 함께 감소할 수 있다. 최대 신뢰도(754)는 입력 이미지(424)에 대한 의미 신뢰도(752)의 최대 값으로서 정의된다.

의미 신뢰도(752)와 픽셀 밀도(782) 사이의 관계는 신뢰도 곡선(758)을 갖는 신뢰도 그래프(756)에 도시될 수 있다. 신뢰도 그래프(756)의 x축은 픽셀 밀도(782)의 척도를 나타내고, y축은 의미 신뢰도(752)의 척도를 나타낼 수 있다.

신뢰도 곡선(758)은 0부터 최대 신뢰도(754)까지의 값을 갖는 의미 신뢰도(752)로부터 증가할 수 있다. 최대 신뢰도(754)는, 신뢰도 곡선(758)의 피크로 도시한 바와 같이, 의미 신뢰도(752)의 최대값이 될 수 있다. 예로써, 최대 신뢰도(754)는, x축을 따라 점 A1으로 도시한 바와 같이, 입력 이미지(424)의 폭에서 입력 픽셀들(426)의 총 개수의 부분(fraction)에 상당하는 픽셀 밀도(782)의 값에 대응할 수 있다. 특수한 예로써, 상기 부분(fraction)은 입력 이미지(424)의 폭에서 입력 픽셀들(426)의 총 개수로 나눈 처리된 전경 객체(214)의 픽셀들의 총 개수 또는 입력 이미지(424)의 폭에서 입력 픽셀들(426)의 총 개수로 나눈 처리된 전경 객체(214)와 연관된 픽셀들의 총 개수일 수 있다.

신뢰도 곡선(758)은 최대 신뢰도(754) 이후로 0의 값을 갖는 의미 신뢰도(752)까지 감소할 수 있다. 예를 들어, 신뢰도 곡선(752)은, x축을 따라 점 A2로 도시한 바와 같이, 입력 이미지(424)의 폭에서 입력 픽셀들(426)의 총 개수의 부분(fraction)의 3배에 상당하는 픽셀 밀도(782)의 값에서 0의 값을 갖는 의미 신뢰도(752)일 수 있다. 특수한 예로써, 상기 부분(fraction)은 입력 이미지(424)의 폭에서 입력 픽셀들(426)의 총 개수로 나눈 처리된 전경 객체(214)의 픽셀들의 총 개수 또는 입력 이미지(424)의 폭에서 입력 픽셀들(426)의 총 개수로 나눈 처리된 전경 객체(214)와 연관된 픽셀들의 총 개수일 수 있다.

밀도 범위(750)는, x 축을 따라 점들 "X1"과 "X2"로 도시한 바와 같이, 신뢰도 곡선(758)을 따라 최대 신뢰도(754)의 절반 값에 대응하는 픽셀 밀도와 같거나 그 사이에 있는 픽셀 밀도(782)의 값일 수 있다. 최대 신뢰도(754)의 절반 값은 점 "Y1"과 쇄선으로 신뢰도 그래프(756)에 도시된다. 픽셀 밀도 모듈(774)은 입력 픽셀들(426)의 픽셀 밀도(782)가 밀도 범위(750) 내에 있을 때, 특수한 하나의 픽셀 정보(556)를 갖는 입력 픽셀들(426)을 입력 배경 픽셀들(770)로 결정할 수 있다.

본 발명은 입력 배경 픽셀들(770)의 검출이 개선된 디스플레이 시스템(100)을 제공한다. 배경 검출 모듈(436)은 입력 배경(560)을 나타내는 입력 픽셀들(426)과 입력 배경(560)을 나타내지 않는 것들을 구분하기 위해 픽셀 정보(556)를 이용함으로써 픽셀 밀도 모듈(774)과 배경 비율 모듈(772)로 입력 픽셀들(426)을 입력 배경 픽셀들(770)로 더욱 정확히 판단할 수 있어, 입력 배경 픽셀들(770)의 검출을 개선한다.

디스플레이 시스템(100)은 도 1의 제1장치(102)에, 도 1의 제2장치(106)에 또는 제1장치(102)와 제2장치(106)에 분산되어 구현될 수 있다. 예를 들어, 도 3의 제1소프트웨어(326) 또는 도 3의 제1제어부(312)는 배경 비율 모듈(772)과 픽셀 밀도 모듈(774)을 실행시킬 수 있다.

디스플레이 시스템(100)은 모듈 기능 또는 명령을 예로써 설명한다. 모듈들은 다르게 분할될 수 있다. 모듈들 각각은 개별적으로 그리고 다른 모듈들과는 독립적으로 동작할 수 있다. 나아가, 하나의 모듈에서 발생한 데이터는 서로 직접 결합될 필요 없이 다른 모듈에 의해 이용될 수 있다.

도 8을 참조하면, 전경 검출 모듈(438)이 도시된다. 전경 검출 모듈(438)은 배경 프레임 모듈(804), 전경 비율 모듈(806), 또는 이들의 결합을 이용하여 입력 이미지(424)의 입력 배경(560) 위로 전경 픽셀들(802)을 식별할 수 있다.

입력 전경 픽셀들(802)은 이미지의 배경 위로 객체를 나타내는 픽셀들의 그룹으로 정의된다. 입력 전경 픽셀들(802)은 입력 전경 객체(814)를 나타낼 수 있다. 입력 전경 객체(814)는 배경 위를 움직이는 객체들, 축구선수 또는 야구선수와 같은 사람, 자동차 또는 오토바이와 같은 탈 것, 말과 개와 같은 동물을 나타낼 수 있다. 전경 검출 모듈(438)은 입력 배경 픽셀들(770)을 갖는 입력 픽셀들(426)로부터 입력 전경 픽셀들(802)을 식별할 수 있다.

입력 전경 픽셀들(802)은 "기타"의 픽셀 정보(556)를 갖는 입력 픽셀들(426)의 그룹일 수 있다. 일반적으로, 입력 전경 픽셀들(802)은 도 7의 입력 배경 픽셀들(770)에 의해 부분적으로 또는 완전히 둘러싸일 수 있다. 특수한 예로, 입력 전경 픽셀들(802)은 축구 선수의 이미지를 나타내는 입력 픽셀들(426)의 그룹일 수 있고, 입력 배경 픽셀들(770)은 경기장의 잔디를 나타낼 수 있다.

배경 프레임 모듈(804)은 객체가 배경에 의해 테두리 또는 둘러싸여 있는지 판단한다. 배경 프레임 모듈(804)은 입력 이미지(424)에서의 입력 배경 픽셀들(770)을 배경 프레임(808)으로 분할할 수 있다. 배경 프레임(808)은 입력 배경 픽셀들(770)의 그룹 또는 블록이다. 배경 프레임(808)은 입력 배경 픽셀들(770)의 사각 블록과 같은 특정 프레임 모양을 갖는 소정 개수의 입력 배경 픽셀들(770)이거나, 입력 배경 픽셀들(770)의 전체 몸체를 구성할 수 있다.

배경 프레임 모듈(804)은 입력 전경 픽셀들(802)에 대해 배경 프레임(808)을 검색할 수 있다. 배경 프레임 모듈(804)은 입력 픽셀들(426)에 대한 배경 프레임(808) 내에서 또는 "기타"의 픽셀 정보(556)를 갖는 입력 픽셀들(426)의 그룹내에서 검색할 수 있다. 배경 프레임 모듈(804)이 "기타"에 대응하는 입력 픽셀들(426)이 입력 배경 픽셀들(770)에 의해 둘러싸여 있다고 판단하면, 배경 프레임 모듈(804)은 "기타"에 대응하는 입력 픽셀들(426)을 입력 전경 픽셀들(802)로 식별할 수 있다.

배경 프레임 모듈(804)의 기능은 도 6에 도시될 수 있다. 예를 들어, 도 7의 배경 검출 모듈(436)이 입력 배경 픽셀들(770)을 "잔디"의 픽셀 정보(556)를 갖는 입력 픽셀들(426)로 결정했다고 가정하자. 배경 프레임 모듈(804)은 픽셀 블록(602)에 따라 입력 배경 픽셀(770)의 블록을 분할할 수 있다. 배경 프레임 모듈(804)은 픽셀 블록(602) 내에서 검색하고, "기타"의 픽셀 정보(556)를 갖는 입력 픽셀들(426) 전부를 식별하여, 입력 픽셀들(426)의 그룹이 입력 배경 픽셀들(770)에 의해 둘러싸여 있다고 판단할 수 있다. 이에, 배경 프레임 모듈(804)은 입력 픽셀들(426)의 그룹이 입력 전경 객체(814)라고 판단할 것이다.

이와 달리, 전경 검출 모듈(438)은 입력 전경 픽셀들(802)을 식별하기 위해 전경 비율 모듈(806)을 활용할 수 있다. 전경 비율 모듈(806)은 이미지의 배경 내에서 특정 그룹의 픽셀들이 배경의 픽셀 수에 비해 작은 지를 결정한다. 전경 비율 모듈(806)은 전경 비율(810)과 전경 문턱 값(812)에 기초하여 입력 픽셀들(426)의 그룹이 입력 전경 픽셀들(802)을 구성하는지 결정할 수 있다.

전경 비율(810)은 배경에서 전체 픽셀들의 수에 대한 동일한 의미 정보를 갖는 픽셀들의 비율로 정의된다. 전경 비율(810)은 입력 배경 픽셀들(770)의 총 수로 나눈 입력 배경 픽셀들(770) 내의 "기타" 의미 카테고리에 대응하는 픽셀 정보(556)를 갖는 입력 픽셀들(426)의 수로 계산될 수 있다.

전경 문턱 값(812)은 이미지의 전경에서 객체를 구성하기 위해 픽셀들의 그룹이 배경에 대해 상대적으로 충분히 작은지 결정할 값으로 정의된다. 전경 비율(810)이 전경 문턱 값(812)보다 낮다면, 전경 비율 모듈(806)은 "기타"에 대응하는 입력 픽셀들(426)을 입력 전경 픽셀들(802)로 식별할 수 있다. 예를 들어, 전경 문턱 값(812)은 높이와 폭의 차원에서 "기타"에 대응하는 입력 픽셀들(426)의 수에 기초하여 판단될 수 있다.

전경 비율 모듈(806)의 기능은 도 6에 도시될 수 있다. 예를 들어, 배경 검출 모듈(436)이 입력 배경 픽셀들(770)을 "잔디"의 픽셀 정보(556)를 갖는 입력 픽셀(426)로 판단했다고 가정하자. 전경 비율 모듈(806)은 픽셀 블록(602) 내에서 검색하여 총 8개의 입력 픽셀들(426)에 대해 "기타"의 픽셀 정보(556)를 갖는 모든 입력 픽셀들(426)을 합계할 수 있다. 전경 비율 모듈(806)은 41분의 8의 전경 비율(810), 또는 대략 0.195을 산출할 수 있다. 전경 문턱 값(812)이 0.2라면, "기타"의 픽셀 정보(556)를 갖는 입력 픽셀들(426)은 입력 전경 픽셀들(802)이 될 수 있다.

본 발명은 입력 전경 픽셀들(802)의 검출이 개선된 디스플레이 시스템(100)을 제공한다. 전경 검출 모듈(438)은 배경 프레임 모듈(804)과 전경 비율 모듈(806)로 입력 픽셀들(426)을 입력 전경 객체(814)로 정확히 결정할 수 있다. 픽셀 정보(556)는 입력 배경(560)을 나타내는 입력 픽셀들(426)과 전경 객체(814)를 나타내는 것들을 구분하기 위해 이용될 수 있어, 입력 전경 픽셀들(802)의 검출을 개선시킬 수 있다.

디스플레이 시스템(100)은 도 1의 제1장치(102), 도1의 제2장치(106), 또는 제1장치(102)와 제2장치(106)에 분산되어 구현될 수 있다. 예를 들어, 도 3의 제1저장부(314) 또는 도 3의 제1제어부(312)는 배경 프레임 모듈(804) 또는 전경 비율 모듈(806)을 저장할 수 있다.

디스플레이 시스템(100)은 모듈 기능 또는 명령을 예로써 설명한다. 모듈들은 다르게 분할될 수 있다. 예를 들어, 제1제어부(312)는 배경 프레임 모듈(804)를 저장 및 실행할 수 있고, 제1저장부(314)는 전경 비율 모듈(806)을 저장할 수 있다. 모듈들 각각은 개별적으로 그리고 다른 모듈들과는 독립적으로 동작할 수 있다. 나아가, 하나의 모듈에서 발생한 데이터는 서로 직접 결합될 필요 없이 다른 모듈에 의해 이용될 수 있다.

도 9를 참조하면, 깊이 맵 모듈(440)이 도시된다. 깊이 맵 모듈(440)은 시각 검출 모듈(919)을 포함할 수 있다. 시각 검출 모듈(919)은 이미지가 특정 시각 또는 카메라 각도를 제공하는 지를 결정한다. 시각 검출 모듈(919)은 입력 이미지(424)의 이미지 시각(image viewpoint, 218)을 판단할 수 있다.

이미지 시각(218)은 입력 이미지(424)를 분석하여 판단될 수 있다. 예를 들어, 시각 검출 모듈(919)은 이미지 시각(218)이 투시도(perspective view)인지 판단할 수 있다. 특수한 예로, 관점 검출 모듈(919)은 많은 수의 입력 배경 픽셀들(770)이 동일한 한가지의 픽셀 정보(556)를 갖거나 입력 전경 픽셀들(802)의 수가 입력 배경 픽셀들(770)에 비해 적다면 투시도로 판단할 수 있다. 이와 달리, 이미지 관점(218)은 제2장치(106)에 의해 제공될 수 있다.

깊이 맵 모듈(440)은 픽셀 깊이(924)를 입력 배경 픽셀들(770)과 입력 전경 픽셀들(802)에 할당할 수 있다. 픽셀 깊이(924)는 객체 또는 배경의 인지된 거리 또는 인지된 깊이의 척도로 정의된다. 예를 들어, 입력 픽셀들(426)의 제1하나가 입력 픽셀들(426)의 제2하나보다 픽셀 깊이(924)가 크다면, 입력 픽셀들(426)의 제1하나는 입력 픽셀들(426)의 제2하나보다 가깝게 나타날 수 있다.

깊이 맵 모듈(440)은 이미지 시각(218)에 기초하여 입력 픽셀들(426)에 픽셀 깊이(924)를 할당할 수 있다. 시각 검출 모듈(919)이 이미지 시각(218)을 투시도로 판단하면, 깊이 맵 모듈(440)은 배경 깊이 모듈(920)과 객체 깊이 모듈(922)로 입력 이미지(424)의 깊이 맵(442)을 생성할 수 있다.

깊이 맵 모듈(440)은 배경 깊이 모듈(920)을 포함할 수 있다. 배경 깊이 모듈(920)은 이미지의 배경에 깊이를 할당한다. 배경 깊이 모듈(920)은 처리된 배경 픽셀들(926)을 생성하기 위해 동일한 행에 위치하는 입력 배경 픽셀들(770)의 각각에 동일한 값의 픽셀 깊이(924)를 할당할 수 있다.

처리된 배경 픽셀들(926)은 픽셀 깊이(924)의 할당된 값을 갖는 입력 배경 픽셀들(770)로 정의된다. 처리된 배경 픽셀들(926)은 인지된 깊이를 가질 수 있다. 처리된 배경 픽셀들(926)은 도 2의 처리된 배경(216)을 나타낼 수 있다.

배경 깊이 모듈(920)은 일정한 비율로 픽셀 깊이(924)의 값을 증가시킬 수 있다. 예를 들어, 배경 깊이 모듈(920)은 입력 이미지(424)에서 입력 픽셀들(426)의 첫 번째 또는 가장 아래 행부터 시작하여 입력 배경 픽셀들(770)에 대한 입력 픽셀들(426)의 행을 스캔할 수 있다. 특수한 예로, 입력 배경 픽셀들(770)을 갖도록 검출된 첫 번째 행의 입력 픽셀들(426)은 입력 이미지(424)에 대한 픽셀 깊이(924)의 최소값이 할당될 수 있다.

입력 픽셀들(426)의 다음 행의 각각에서 입력 배경 픽셀들(770)에 대한 픽셀 깊이(924)의 값은 일정한 비율로 증가될 수 있다. 일정한 비율로 픽셀 깊이(924)의 값을 증가시키는 것은 균일하게 증가하는 인지된 깊이를 갖는 처리된 배경(216)을 생성할 수 있다.

깊이 맵 모듈(440)은 객체 깊이 모듈(922)을 포함할 수 있다. 객체 깊이 모듈(922)은 배경 위로 객체들 각각에 균일한 깊이를 할당한다. 객체 깊이 모듈(922)은 동일한 값의 픽셀 깊이(924)를 한 개의 입력 전경 객체(814)의 입력 전경 픽셀들(802) 각각에 할당함으로써 균일한 인지된 깊이를 갖는 처리된 전경 객체(214)를 생성할 수 있다.

객체 깊이 모듈(922)은 입력 전경 픽셀들(802)에 인접한 처리된 배경 픽셀들(926)의 픽셀 깊이(924)를 입력 전경 픽셀들(802) 각각에 할당할 수 있다. 더욱 구체적인 예로, 객체 깊이 모듈(922)은 최소값의 픽셀 깊이(924)를 갖는 처리된 배경 픽셀들(926)에 기초하여 입력 전경 픽셀들(802)에 대해 픽셀 깊이(924)를 할당할 수 있다.

예를 들어, 객체 깊이 모듈(922)은 입력 전경 픽셀들(802)에 대해, 입력 이미지(424)의 바닥(가장 아래 행)으로부터 시작하여, 처리된 배경 픽셀들(926)의 각 행을 스캔할 수 있다. 객체 깊이 모듈(922)이 처리된 배경 픽셀들(926) 중 하나에 인접한 입력 전경 픽셀들(802) 중 하나를 검출하면, 하나의 입력 전경 객체(814)의 입력 전경 객체들(802) 각각은 처리된 배경 픽셀들(926)의 인접한 하나의 픽셀 깊이(924)로 할당될 수 있다. 일반적으로, 입력 이미지(424)의 바닥에 가까운 처리된 배경 픽셀들(926)은 픽셀 깊이(924) 가 낮은 값들을 가질 것이고, 따라서, 하나의 입력 전경 객체(814)에서 입력 전경 픽셀들(802) 각각은 픽셀 깊이(924) 가 가능한 최소인 값을 가질 수 있다.

객체 깊이 모듈(922)은 처리된 전경 픽셀들(928)을 생성할 수 있다. 처리된 전경 픽셀들(928)은 픽셀 깊이(924)의 할당된 값을 갖는 입력 전경 픽셀들(802)이다.

깊이 맵 모듈(440)은 입력 배경 픽셀들(770)과 입력 전경 픽셀들(802)로 깊이 맵(442)을 생성할 수 있다. 깊이 맵(442)은 픽셀 깊이(924)의 할당된 값들을 갖는 입력 이미지(424)에서의 입력 픽셀들(426) 각각의 맵일 수 있다.

처리된 이미지(212)를 디스플레이하는 것으로부터 물리적 변환은 게임을 하거나 3D 이미지를 볼 때 처리된 이미지(212)에 응답하여 움직이는 사람처럼, 물리적 세계에서의 움직임으로 나타난다. 제1디스플레이 인터페이스(330)는 제1장치(102)에서의 픽셀들을 조작함으로써 처리된 이미지(212)를 디스플레이할 수 있어, 물리적인 세계에서의 움직임으로 나타난다.

디스플레이 시스템(100)은 도 1의 제1장치(102), 도 1의 제2장치(106) 또는 제1장치(102)와 제2장치(106)에 분산되어 구현될 수 있다. 예를 들면, 도 3의 제1소프트웨어(326) 또는 도 3의 제1제어부(312)는 시각 검출 모듈(919), 배경 깊이 모듈(920) 및 객체 깊이 모듈(922)을 저장할 수 있다.

디스플레이 시스템(100)은 모듈 기능 또는 명령을 예로써 설명한다. 모듈들은 다르게 분할될 수 있다. 예를 들어, 시각 검출 모듈(919)는 제2장치(106)에 의해 제공될 수 있다. 모듈들 각각은 개별적으로 그리고 다른 모듈들과는 독립적으로 동작할 수 있다. 그리고, 하나의 모듈에서 발생한 데이터는 서로 직접 결합하지 않고 다른 모듈에 의해서 이용될 수 있다.

도 10을 참조하면, 입력 이미지(424)의 예를 도시하고 있다. 입력 이미지(424)는 도 2의 처리된 이미지(212)로 변환시키기 이전의 이미지를 나타낸다. 입력 이미지(424)는 입력 배경(560)을 가질 수 있다. 예를 들어, 입력 배경(560)은 경기장의 잔디, 경주로에서의 흙, 길 또는 운동장의 콘크리트, 호수나 바다의 물, 또는 그 밖의 전형적인 배경인 것들과 같은 정지된 객체 또는 재료들을 나타낼 수 있다.

입력 이미지(424)는 입력 전경 객체(814)를 포함할 수 있다. 입력 전경 객체(814)는 입력 배경(560) 위에 있을 수 있다. 타원형 실선으로 도시한 입력 전경 객체(814)는 축구선수 또는 야구선수와 같은 사람, 자동차나 오토바이와 같은 탈 것, 말이나 개와 같은 동물들처럼, 배경 위를 움직이는 객체를 나타낼 수 있다.

도 11을 참조하면, 처리된 배경(216)을 갖는 입력 이미지(424)의 예가 도시된다. 이미지 디스플레이 모듈(444)은 처리된 배경(216)을 생성하기 위해 도 10의 입력 배경에 깊이 맵(442)을 적용할 수 있다.

처리된 배경(216)은 도 9의 처리된 배경 픽셀들(926)의 픽셀 깊이(924)에 의해 결정되는 인지된 깊이를 가질 수 있다. 인지된 깊이는 수평 선들로 도시된다. 낮은 선 밀도(line density)를 갖는 처리된 배경(216)의 영역들은 높은 선 밀도를 갖는 영역들 보다 가까운 인지된 깊이를 갖는 영역들을 나타낸다. 예를 들어, 처리된 배경(216)의 바닥 부분들은 높은 선 밀도를 가지고 처리된 배경의 상단 부분에 비해 낮은 선 밀도를 가지고 입력 이미지(424)의 아래 부분에 도시한 바와 같이 더 가깝게 나타날 수 있다.

도 12를 참조하면, 처리된 이미지(212)의 예가 도시된다. 처리된 이미지(212)는 처리된 배경(216) 위로 처리된 전경 객체(214)를 나타낸다. 도 4의 이미지 디스플레이 모듈(444)은 처리된 전경 객체(214)를 생성하기 위해 도 10의 입력 전경 객체(814)에 도 4의 깊이 맵(442)을 적용할 수 있다.

처리된 이미지(212)에서 처리된 전경 객체(214) 각각은 처리된 전경 픽셀들(928)의 픽셀 깊이(924)에 의해 결정된 바와 같은 인지된 깊이를 가질 수 있다. 처리된 전경 객체(214)는 객체 기반(1230)에 있는 처리된 배경의 부분과 동일한 인지된 깊이를 가질 수 있고, 이는 처리된 전경 객체(214)의 가장 바닥 부분이다.

인지된 깊이는 타원형 실선 내에 수평선들로 도시될 수 있다. 낮은 선 밀도를 갖는 처리된 전경 객체(214)는 높은 선 밀도를 갖는 것들 보다 가까운 인지된 깊이를 가질 수 있다.

도 13을 참조하면, 본 발명의 다른 실시예에 따른 디스플레이 시스템의 운용 방법(1300)의 흐름도가 도시된다. 본 방법(1300)은 입력 픽셀들을 갖는 입력 이미지를 수신하고 (1302); 의미 카테고리에 대응하는 입력 픽셀들에 대해 픽셀 정보를 할당하고 (1304); 픽셀 정보를 갖는 입력 픽셀들로부터 입력 배경 픽셀들을 검출하고 (1306); 입력 배경 픽셀들을 갖는 입력 픽셀들로부터 입력 전경 픽셀들을 식별하고 (1308); 입력 배경 픽셀들과 입력 전경 픽셀들에 픽셀 깊이를 할당하고 (1310), 입력 배경 픽셀들과 입력 전경 픽셀들로 깊이 맵을 생성하고 (1312); 장치에서 디스플레이를 위해 깊이 맵을 갖는 입력 이미지로부터 처리된 이미지를 생성하는(1314) 것을 포함한다.

그 결과 방법, 프로세스, 장치, 디바이스, 제품 및/또는 시스템은 수월하고, 비용 효과가 높고, 단순하고, 꽤 다목적적이고, 정밀하고, 민감하고 그리고 효과적이며, 준비된, 효율적인, 경제적인 제조, 응용 및 활용에 공지된 구성을 적응시켜 구현될 수 있다. 본 발명의 다른 중요한 측면은 비용을 줄이고, 시스템을 간략화시키며, 성능을 증가시키는 역사적인 추세를 가치 있게 지원하고 돕는다는 것이다.

본 발명의 이러한 그리고 다른 가치있는 측면들은 결과적으로 최점단 기술을 적어도 그 다음 수준으로 높인다.

최선의 방식으로 본 발명이 설명되었지만, 전술한 설명에 비추어 당업자에게는 많은 대안들, 수정들 및 변경들이 당연하다는 것을 이해해야만 한다. 이에 따라, 모든 이러한 대안들, 수정들 및 변경들은 첨부된 특허 청구 범위 내에서 수용할 수 있도록 의도되었다. 지금까지 여기에 설명되고 첨부한 도면에 도시한 모든 것들은 예시적인 것이며 한정적이 아닌 것으로 해석되어야 한다.

Claims (20)

1. 입력 픽셀들을 갖는 입력 이미지를 수신하는 단계;
   의미 카테고리(semantic category)에 대응하는 상기 입력 픽셀들에 픽셀 정보를 할당하는 단계;
   상기 픽셀 정보를 갖는 상기 입력 픽셀들로부터 입력 배경(background) 픽셀들을 검출하는 단계;
   상기 입력 배경 픽셀들을 갖는 상기 입력 픽셀들로부터 입력 전경(foreground) 픽셀들을 식별하는 단계;
   상기 입력 배경 픽셀들과 상기 입력 전경 픽셀들에 픽셀 깊이를 할당하는 단계;
   상기 입력 배경 픽셀들과 상기 입력 전경 픽셀들을 갖는 깊이 맵(depth map)을 생성하는 단계; 및
   소정의 장치에 디스플레이하기 위해 상기 깊이 맵을 갖는 상기 입력 이미지로부터 처리된 이미지를 생성하는 단계를 포함하는 디스플레이 시스템의 운용 방법.
2. 제1항에 있어서,
   상기 픽셀 정보를 할당하는 단계는
   상기 입력 픽셀들의 픽셀 값과 상기 의미 카테고리의 의미 값을 비교하는 단계; 및
   상기 픽셀 값이 상기 의미 값과 동일할 때 상기 픽셀 정보를 상기 의미 카테고리로서 분류하는 단계를 포함하는 것을 포함하는 디스플레이 시스템의 운용 방법.
3. 제1항에 있어서,
   상기 입력 배경 픽셀들과 상기 입력 전경 픽셀들에 픽셀 깊이를 할당하는 단계는,
   인지된 깊이(perceived depth)를 갖는 처리된 배경 픽셀들을 생성하는 단계; 및
   상기 인지된 깊이를 갖는 처리된 전경 픽셀들을 생성하는 단계를 포함하는 디스플레이 시스템의 운용 방법.
4. 제1항에 있어서,
   상기 픽셀 깊이를 할당하는 것은 상기 입력 이미지의 이미지 시각(view)에 기초하여 상기 픽셀 깊이를 할당하는 것을 포함하는 디스플레이 시스템의 운용 방법.
5. 제1항에 있어서,
   상기 입력 픽셀들의 픽셀 값의 입력 히스토그램을 생성하는 단계;
   상기 의미 카테고리에 기초하여 상기 픽셀 값으로써 상기 입력 히스토그램의 입력 피크들을 분류하는 단계를 더 포함하고,
   상기 입력 픽셀들의 상기 픽셀 정보를 할당하는 것은 상기 입력 피크들에 상기 입력 픽셀들을 연결 짓는 것을 포함하는 디스플레이 시스템의 운용 방법.
6. 입력 픽셀들을 갖는 입력 이미지를 수신하는 단계;
   상기 입력 픽셀들의 픽셀 값으로부터 입력 히스토그램을 생성하는 단계;
   의미 카테고리에 대응하는 상기 입력 히스토그램의 입력 피크들을 분류하는 단계;
   상기 입력 피크들과의 비교에 기초하여, 상기 의미 카테고리에 대응하는 픽셀 정보를 상기 입력 픽셀들에 할당하는 단계;
   상기 픽셀 정보를 갖는 상기 입력 픽셀들로부터 입력 배경 픽셀들을 검출하는 단계;
   상기 입력 배경 픽셀들을 갖는 상기 입력 픽셀들로부터 입력 전경 픽셀들을 식별하는 단계;
   상기 입력 배경 픽셀들과 상기 입력 전경 픽셀들에 픽셀 깊이를 할당하는 단계;
   상기 입력 배경 픽셀들과 상기 입력 전경 픽셀들을 갖는 깊이 맵을 생성하는 단계; 및
   소정의 장치에 디스플레이하기 위해 상기 깊이 맵을 갖는 상기 입력 이미지로부터 처리된 이미지를 생성하는 단계를 포함하는 디스플레이 시스템의 운용 방법.
7. 제6항에 있어서,
   상기 입력 배경 픽셀들을 검출하는 단계는
   상기 입력 픽셀들의 배경 비율을 비율 문턱 값과 비교하는 단계; 및
   상기 배경 비율이 상기 비율 문턱 값보다 큰 경우, 상기 입력 픽셀들을 상기 입력 배경 픽셀들로서 판단하는 단계를 포함하는 디스플레이 시스템의 운용 방법.
8. 제6항에 있어서,
   상기 입력 배경 픽셀들을 검출하는 단계는
   상기 입력 픽셀들의 픽셀 밀도를 밀도 문턱 값과 비교하는 단계; 및
   상기 픽셀 밀도가 상기 밀도 문턱 값보다 큰 경우, 상기 입력 픽셀들을 상기 입력 배경 픽셀들로서 판단하는 단계를 포함하는 디스플레이 시스템의 운용 방법.
9. 제6항에 있어서,
   상기 입력 전경 픽셀들을 검출하는 것은,
   상기 입력 전경 픽셀들에 대해 상기 입력 배경 픽셀들의 배경 프레임을 검색하는 것을 포함하는 디스플레이 시스템의 운용 방법.
10. 제6항에 있어서,
    상기 입력 배경 픽셀들에 상기 픽셀 깊이를 할당하는 것은 일정한 비율로 상기 픽셀 깊이를 할당하는 것을 포함하는 디스플레이 시스템의 운용 방법.
11. 입력 픽셀들을 갖는 입력 이미지를 수신하는 통신부;
    상기 통신부에 결합되고, 의미 카테고리(semantic category)에 대응하는 상기 입력 픽셀들에 픽셀 정보를 할당하는 의미 할당 모듈;
    상기 의미 할당 모듈에 결합되고, 상기 픽셀 정보를 갖는 상기 입력 픽셀들로부터 입력 배경(background) 픽셀들을 검출하는 배경 검출 모듈;
    상기 배경 검출 모듈에 결합되고, 상기 입력 배경 픽셀들을 갖는 상기 입력 픽셀들로부터 입력 전경(foreground) 픽셀들을 검출하는 전경 검출 모듈;
    상기 의미 할당 모듈에 결합되고, 상기 입력 배경 픽셀들에 픽셀 깊이를 할당하는 배경 깊이 모듈;
    상기 배경 깊이 모듈에 결합되고, 상기 입력 전경 픽셀들에 픽셀 깊이를 할당하는 객체 깊이 모듈;
    상기 의미 할당 모듈에 결합되고, 상기 입력 배경 픽셀들과 상기 입력 전경 픽셀들을 갖는 깊이 맵을 생성하는 깊이 맵 모듈; 및
    상기 깊이 맵 모듈에 결합되고, 소정의 장치에 디스플레이하기 위해 상기 깊이 맵을 갖는 상기 입력 이미지로부터 처리된 이미지를 생성하는 이미지 디스플레이 모듈을 포함하는 디스플레이 시스템.
12. 제11항에 있어서,
    상기 의미 할당 모듈은 상기 입력 픽셀들의 픽셀 값이 상기 의미 카테고리의 의미 값(semantic value)과 동일할 때 상기 픽셀 정보를 상기 의미 카테고리로서 분류하는 피크 분류 모듈을 포함하는 디스플레이 시스템.
13. 제11항에 있어서,
    상기 배경 깊이 모듈은 인지된 깊이를 갖는 처리된 배경 픽셀들을 생성하는 것을 특징으로 하는 디스플레이 시스템.
14. 제11항에 있어서,
    상기 깊이 맵 모듈은 이미지 시각(view)에 기초하여 상기 픽셀 깊이를 할당하는 시각 검출 모듈을 포함하는 디스플레이 시스템.
15. 제11항에 있어서,
    상기 통신부에 결합되고, 상기 입력 픽셀들의 픽셀 값의 입력 히스토그램을 생성하는 히스토그램 모듈을 더 포함하고,
    상기 의미 할당 모듈은,
    상기 의미 할당 모듈에 결합되고, 상기 의미 카테고리에 기초한 상기 픽셀 값으로써 상기 입력 히스토그램의 입력 피크들을 분류하는 피크 분류 모듈; 및
    상기 피크 분류 모듈에 결합되고, 상기 입력 피크들과 연결 지어진 상기 입력 픽셀들의 상기 픽셀 정보를 할당하는 픽셀 분류 모듈을 포함하는 디스플레이 시스템.
16. 제11항에 있어서,
    상기 입력 이미지로부터 입력 히스토그램을 생성하는 히스토그램 모듈을 더 포함하고,
    상기 의미 할당 모듈은
    상기 의미 할당 모듈에 결합되고, 상기 의미 카테고리에 대응하는 상기 입력 히스토그램의 입력 피크들을 분류하는 피크 분류 모듈; 및
    상기 피크 분류 모듈에 결합되고, 상기 입력피크들과의 비교에 기초하여 상기 의미 카테고리에 대응하는 상기 픽셀 정보를 할당하는 픽셀 분류 모듈을 포함하는 것을 특징으로 하는 디스플레이 시스템.
17. 제16항에 있어서,
    상기 배경 검출 모듈은 상기 입력 픽셀들의 배경 비율이 비율 문턱 값보다 큰 경우, 상기 입력 픽셀들을 상기 입력 배경 픽셀들로 판단하는 배경 비율 모듈을 포함하는 디스플레이 시스템.
18. 제16항에 있어서,
    상기 배경 검출 모듈은 상기 입력 픽셀들의 픽셀 밀도가 밀도 문턱 값보다 큰 경우, 상기 입력 픽셀들을 상기 입력 배경 픽셀들로서 판단하는 픽셀 밀도 모듈을 포함하는 디스플레이 시스템.
19. 제16항에 있어서,
    상기 전경 검출 모듈은 상기 입력 전경 픽셀들에 대한 상기 입력 배경 픽셀들의 배경 프레임을 검색하는 배경 프레임 모듈을 포함하는 디스플레이 시스템.
20. 제16항에 있어서,
    상기 배경 깊이 모듈은 상기 입력 배경 픽셀들에 픽셀 깊이를 일정한 비율로 할당하는 것을 특징으로 하는 디스플레이 시스템.

Images