KR101910071B1 - 깊이 맵 매커니즘을 구비한 삼차원 디스플레이 시스템 및 이의 운용 방법 - Google Patents

깊이 맵 매커니즘을 구비한 삼차원 디스플레이 시스템 및 이의 운용 방법 Download PDF

Info

Publication number
KR101910071B1
KR101910071B1 KR1020120060031A KR20120060031A KR101910071B1 KR 101910071 B1 KR101910071 B1 KR 101910071B1 KR 1020120060031 A KR1020120060031 A KR 1020120060031A KR 20120060031 A KR20120060031 A KR 20120060031A KR 101910071 B1 KR101910071 B1 KR 101910071B1
Authority
KR
South Korea
Prior art keywords
line
module
diagonal
missing
map
Prior art date
Application number
KR1020120060031A
Other languages
English (en)
Other versions
KR20130023054A (ko
Inventor
리 타오
김영택
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/218,444 external-priority patent/US8571314B2/en
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP12175617.5A priority Critical patent/EP2562717B1/en
Publication of KR20130023054A publication Critical patent/KR20130023054A/ko
Application granted granted Critical
Publication of KR101910071B1 publication Critical patent/KR101910071B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

삼차원 디스플레이 시스템의 운용 방법은: 소스 이미지로부터 가장자리 픽셀 이미지를 계산하는 단계; 변환을 적용하여 상기 가장자리 픽셀 이미지로부터 라인 히스토그램를 발생하는 단계; 수평 라인 카테고리, 수직 라인 카테고리, 대각선의 라인 카테고리, 또는 그것들의 조합을 위한 라인 카테고리 임계값에 부응하거나 초과하는 상기 라인 히스토그램로부터 후보 라인을 계산하는 단계; 그리고 첫 번째 장치 상에서 상기 소스 이미지를 디스플레이하기 위한 상기 소실점에 대한 깊이 맵을 발생하는 단계를 포함한다.

Description

깊이 맵 매커니즘을 구비한 삼차원 디스플레이 시스템 및 이의 운용 방법{Three-Demensional Display System with Depth Map Mechanism And Method of Operation Thereof}
본 발명은 그래픽 디스플레이 시스템에 관한 것으로서, 더욱 상세하게는 삼차원 이미지를 디스플레이하는 시스템에 관한 것이다.
현대 소비자 및 산업의 전자장치들 특히, 그래픽 디스플레이 시스템, 텔레비전, 프로젝터, 휴대폰, PDA(portable digital assistants), 결합장치와 같은 그래픽 표시 능력을 구비한 장치가, 삼차원 디스플레이 서비스를 포함하는 현재 생활을 지원하기 위하여 기능성의 레벨이 향상되도록 제공된다. 존재하는 기술에서 조사 및 개발은 무수한 다른 방향으로 진행할 수 있다.
사용자가 삼차원 디스플레이 장치의 성장과 함께 더 많은 권한을 갖게 되므로, 신구 패러다임은 이 새로운 장치 공간의 이점을 이용하기 시작한다. 이러한 새로운 디스플레이 장치를 이용하기 위한 많은 기술적 솔루션이 있다. 하나의 존재하는 접근은 비디오 프로젝터, 텔레비전, 모니터, 게임 시스템 또는 PDA와 같은 소비자, 산업용 및 이동 전자기기 상에서 삼차원 이미지를 디스플레이하기 위한 것이다.
서비스 기반의 삼차원 디스플레이는 진짜 세상에서 사용자가 발생, 전달, 저장, 및 소비를 위해 정보를 발생, 전달, 저장 및 소비하도록 허용한다. 서비스 기반의 삼차원 디스플레이의 이와 같은 사용의 하나는 디스플레이 상에서 삼차원 이미지를 효과적으로 나타내는 것이다.
삼차원 디스플레이 시스템은 프로젝터, 텔레비전, 노트북, 휴대용 장치, 및 다른 휴대용 제품에 일부로 포함되어 왔다. 오늘날, 이러한 시스템은 다이어그램, 맵, 비디오와 같이 가용한 관련 정보를 디스플레이하여 사용자를 돕는다.
그러나 삼차원 형식에서 디스플레이 되는 정보는 소비자들에게 최고의 관심사가 되고 있다. 진짜 세상과 연관성이 없는 삼차원 이미지를 디스플레이하는 것은 도구를 사용하는 이익을 감소시킨다.
결국, 환경에 가장 적합한 삼차원 이미지를 디스플레이하기 위해 깊이 맵(map) 매커니즘을 구비한 삼차원 디스플레이 시스템에 대한 필요성이 아직 남아 있다. 소비자의 기대가 성장과 시장에서 의미 있는 제품 차별에 대한 줄어드는 기회에 따라 끊임없이 늘고 있는 상업적 경쟁 압력을 고려하여, 이러한 문제들에 대한 해답이 발견되는 것은 대단히 중요하다. 추가로, 비용을 감소하고, 효율과 실행을 개선하고, 경쟁 압력을 충족하기 위한 필요성이 이러한 문제들에 대한 대답을 찾기 위해 중요한 필요성에 더 큰 긴급성이 더해진다.
이러한 문제들에 대한 해결책이 찾아졌으나, 종래의 개발은 어떤 해결책도 가르치거나 제시하지 못했으며, 결국 이러한 문제들에 대한 해결책은 동일 분야에서 숙련된 사람이 이룰 수가 없었다.
본 발명의 목적은 이상에서 설명한 종래 기술의 문제점을 해소하기 위하여 안출한 것으로서, 소스 이미지에서 후보 라인의 개선된 깊이 맵 매커니즘을 구비하는 삼차원 디스플레이 시스템 및 이의 운용 방법을 제공하기 위한 것이다.
본 발명의 다른 목적은 소스 이미지에 의해 나타나는 규격화된 화면에서 실세계 객체의 물리적 분포를 나타내기 위한 깊이 맵을 생성하는 개선된 수단을 구비하는 삼차원 디스플레이 시스템 및 이의 운용 방법을 제공하기 위한 것이다.
본 발명의 또 다른 목적은 라인 히스토그램에서 많은 양의 입력과 조합 때문에 후보 라인을 식별하기 위한 라인 카테고리 임계값의 사용은 적은 계산 시간과 적은 컴퓨터 저장소를 이용하는 후보 라인을 발견하는 삼차원 디스플레이 시스템 및 이의 운용 방법을 제공하기 위한 것이다.
본 발명은 삼차원 디스플레이 시스템의 운용 방법을 제공하며, 상기 운용 방법은: 소스 이미지로부터 가장자리 픽셀 이미지를 계산하는 단계; 변환을 적용하여 상기 가장자리 픽셀 이미지로부터 라인 히스토그램를 발생하는 단계; 수평 라인 카테고리, 수직 라인 카테고리, 대각선의 라인 카테고리, 이것들의 조합을 위한 라인 카테고리 임계값에 부응하거나 초과하는 상기 라인 히스토그램로부터 후보 선을 계산하는 단계; 그리고 첫 번째 장치 상에서 소스 이미지를 디스플레이하기 위한 소실점에 대한 깊이 맵을 발생하는 단계를 포함한다.
본 발명은 삼차원 디스플레이 시스템을 제공하며, 상기 시스템은: 소스 이미지를 저장하기 위한 제1 저장 유닛과; 상기 제1 저장 유닛과 연결되며, 상기 소스 이미지로부터 가장자리 픽셀 이미지를 계산하기 위한 가장자리 검출 모듈(edge detection module)과; 상기 가장자리 검출 모듈과 연결되고, 변환을 사용하여 상기 가장자리 픽셀 이미지로부터 라인 히스토그램를 발생하기 위한 직선 검색 모듈(straight line search module)과; 상기 직선 검색 모듈과 연결되어, 상기 라인 히스토그램로부터 후보 선(candidate line)을 계산하기 위한 선 검출 모듈(line detection module)과; 상기 선 검출 모듈에 연결되며, 상기 후보 선 상에서 소실점을 계산하기 위한 점 계산 모듈과; 그리고 상기 소실점 계산 모듈과 연결되며, 제1 장치 상에서 상기 소스 이미지를 디스플레이하기 위한 소실점으로부터 깊이 맵을 발생하기 위한 깊이 발생 모듈(depth generation module)을 포함한다.
이상에서 설명한 본 발명에 따른 삼차원 디스플레이 시스템 및 이의 운용 방법에 따르면, 검출된 라인의 제한된 세트를 이용하는 제1 소실선과 제2 소실선을 식별하는 것은, 소실점을 계산하기 위해 요구되는 처리량을 줄일 수 있다. 소스 이미지에서 모든 라인의 세트를 대신하는 라인의 결정된 세트에 잠재적인 소실선을 제한하는 것은, 많은 라인에서 상계를 배치함으로서, 소실선을 발견하기 위해 요구되는 계산을 줄인다. 요구된 처리량을 줄이는 것에 의해, 소실점은 적은 처리 유닛과 적은 시간으로 계산될 수 있다.
본 발명의 임의의 실시 예는 위에서 언급된 것을 이외에 다른 단계 또는 구성 요소를 갖는다. 상기 단계 및 구성 요소는 첨부된 도면을 참조하여 설명되는 다음의 상세한 설명서의 읽기로부터 동일 분야에 숙련된 사람에게 명백할 것이다.
도 1은 본 발명의 실시 예에 따른 깊이 맵 매커니즘을 구비한 삼차원 디스플레이 시스템을 도시한다.
도 2는 가장자리 픽셀 이미지의 예를 도시한다.
도 3은 선 분할의 예를 도시한다.
도 4는 라인 히스토그램의 예를 도시한다.
도 5는 소실점의 예를 도시한다.
도 6은 삼차원 디스플레이 시스템의 블록 구성도를 도시한다.
도 7은 삼차원 디스플레이 시스템의 제어 흐름도를 도시한다.
도 8은 가장자리 검출 모듈의 상세한 제어 흐름도를 도시한다.
도 9는 직선 검색 모듈의 상세한 제어 흐름도를 도시한다.
도 10은 선 검출 모듈의 상세한 제어 흐름도를 도시한다.
도 11은 소실점 검색 모듈의 첫 번째 상세한 제어 흐름도를 도시한다.
도 12는 소실점 검색 모듈의 두 번째 상세한 제어 흐름도를 도시한다.
도 13은 소실점 검색 모듈의 세 번째 상세한 제어 흐름도를 도시한다.
도 14는 소실점 검색 모듈의 네 번째 상세한 제어 흐름도를 도시한다.
도 15는 소실점 검색 모듈의 다섯 번째 상세한 제어 흐름도를 도시한다.
도 16은 소실점 검색 모듈의 여섯 번째 상세한 제어 흐름도를 도시한다.
도 17은 수평 변화 맵의 예를 도시한다.
도 18은 수평 변화 챠트의 예를 도시한다.
도 19는 결합 변화 맵의 에를 도시한다.
도 20은 하이브리드 변화 맵의 첫 번째 예를 도시한다.
도 21은 하이브리드 변화 맵의 두 번째 예를 도시한다.
도 22는 깊이 발생 모듈의 상세한 제어 흐름도를 도시한다.
도 23은 본 발명의 추가적인 실시 예에서 삼차원 디스플레이 시스템의 운용 방법의 제어 흐름도이다.
다음 실시 예는 본 발명을 만들고 사용하기 위해 동일 분야에서 익숙한 사람이 실시 가능하도록 충분히 자세하게 설명된다. 본 발명의 요지의 벗어남 없이 다른 실시 예들이 본 설명서, 시스템, 프로세스, 매커니컬 변경을 분명한 기반으로 행해질 수 있는 것은 명백하다는 것을 이해할 것이다.
다음의 설명서, 참조 번호는 본 발명의 이해를 돕고자 제공된다. 그러나, 본 발명은 이러한 특정한 세부사항들 없이도 실시될 수 있음은 명백한 것이다. 본 발명의 모호함을 피하기 위하여, 일부 잘 알려진 회로, 시스템, 구성 및 공정 절차는 상세하게 기술되지 않는다.
본 시스템의 실시 예들을 보이는 도면은 반 도식적이고, 확대하기 위한 것은 아니고, 특별히, 규격의 일부는 표현의 명료함을 위하여 있고, 도시되는 도면들에서 과장되도록 보인다. 유사하게, 설명이 편하도록 도면에서 보는 것이 일반적으로 유사한 방향을 보일지라도, 도면에서 이런 서술은 중요한 부분에 대해 임의적이다. 일반적으로, 본 발명은 어떤 방향에서도 동작될 수 있다. 본 실시 예는 서술의 편의상 제1 실시 예 및 제2 실시 예, 등등으로 세어지며, 본 발명을 위해 다른 어떤 중요성을 갖거나 제한을 두는 의도는 없다.
동일 분야에서 숙련된 사람은, 이미지 정보가 표현되는 형식이 본 발명의 일부 실시 예에서는 중요하지 않은 것에 감사할 것이다. 예를 들어, 어떤 실시 예에서는, 이미지 정보가 X,Y가 이미지에서 픽셀의 위치를 정의하는 2개의 세로좌표인 X, Y 형식으로 나타내진다.
추가적인 예로서, 삼차원 이미지 정보가 픽셀의 색상에 대한 관련된 정보와 함께 X,Y,Z 의 형식에 의해 나타내진다. 본 발명의 추가적인 실시 예에서, 삼차원 이미지 정보는 또한 강도 또는 휘도 요소를 포함한다.
설명적인 목적을 위하여, 여기서 사용된 “수평적인” 용어는, 도면을 볼 때 “FIG”의 도면 지정에 의해 지시되듯이, 보이는 수평 방향을 참조한다. 여기서 사용된 “수직적인” 용어는, 수평의 직각방향으로 정의한다. “위에, 아래, 밑에, 위에, 측면, 높은, 낮은, 위에 그리고 아래에”와 같은 용어는 도면에 도시된 바와 같이 수평적인 것에 관하여 정의된다.
여기서 사용된 “대각선의” 용어는 0도 또는 90도가 아닌 수평으로부터 각도를 갖는 방향으로 참조하게 한다. 용어“ 대각선의”는 양성 또는 음성 경사를 갖는 대각선 방향을 참조하게 한다.
용어 “이미지”는 객체의 그림을 이용한 나타낸 것으로 정의된다. 이미지는 이차원 이미지, 삼차원 이미지, 비디오 프레임, 컴퓨터 파일 묘사, 카메라에서부터 이미지, 비디오 플레임, 또는 그에 의한 조합을 포함할 수 있다. 예를 들어, 이미지는 디지털 파일을 읽을 수 있는 기계, 물리적인 사진, 디지털 사진, 모션 사진 프레임, 비디오 프레임, X 레이 이미지, 스캔된 이미지, 또는 그에 의한 조합이 될 수 있다. 이미지는, 직사각형 어레이에 정렬된 픽셀에 의해 형성될 수 있다. 이미지는 열의 방향을 따라 x축과 줄의 방향을 따라 y축을 포함한다.
수평 방향은 이미지의 X 축 평행 방향이다. 수직 방향은 이미지의 y 축은 평행 방향이다. 대각선 방향은 X-축에 비 평행하고 Y-축에 비 평행 방향이다.
여기서 참조되는 용어 "모듈“은 소프트웨어, 하드웨어, 또는 그의 조합을 포함한다. 예를 들어, 소프트웨어는 기계 코드, 펌웨어, 내장된 코드(embedded code), 응용 소프트웨어가 될 수 있다. 또한, 예로서, 하드웨어는 전기 회로망, 프로세서, 컴퓨터, 직접 회로, 직접 회로 핵심부, 압력 센서, 관성의 센서, 마이크로 전자 기계 시스템(MEMS), 수동 소자들, 그들의 조합일 수 있다.
이제, 도 1을 참조하면, 본 발명의 실시 예에서 깊이 맵 매커니즘을 구비한 삼차원 디스플레이 시스템(100)이 도시된다. 삼차원 디스플레이 시스템(100)은, 무선 또는 유선 네트워크와 같은 통신 경로(104)와 같이 클라이언트 또는 서버와 같은 두 번째 장치(106)에 연결된 클라이언트 또는 서버와 같은 첫 번째 장치(102)를 포함할 수 있다.
첫 번째 장치(102)는 그래픽 이미지가 디스플레이하는 하드웨어 유닛으로서 정의된다. 예를 들어, 첫 번째 장치(102)는, 텔레비전, 프로젝터 시스템, 휴대폰, PDA, 노트북 컴퓨터, 상업적인 디스프레이 시스템, 다른 멀티 기능의 이동 통신 또는 오락 장치와 같이, 어떤 다양한 디스플레이 장치가 될 수 있다. 첫 번째 장치(102)는 독립 장치가 될 수 있고, 또는 추가적인 오락 또는 디스플레이 시스템과 결합될 수 있다. 첫 번째 장치(102)는 상기 두 번째 장치(106)와 함께 통신 경로(104)에 결합될 수 있다.
실례가 되는 목적을 위해, 첫 번째 장치(102)가 다른 타입의 디스플레이 장치가 될 수 있는 것이 이해되지만, 삼차원 디스플레이 시스템(100)은 텔레비전 디스플레이 장치로서 첫 번째 장치(102)와 함께 기술된다. 예를 들어, 첫 번째 장치(102)는 프로젝터, 태블릿 컴퓨터, 게임 시스템, 휴대폰, 데스크톱 컴퓨터, 또는 서버와 같은 디스플레이 시스템이 될 수 있다. 첫 번째 장치(102)는 서버, 클라우드 컴퓨터 자원, 또는 데스크톱 컴퓨터와 같은 컴퓨팅 유닛을 포함할 수 있다.
첫 번째 장치(102)는 그래픽 이미지를 디스플레이하는 하드웨어 유닛으로서 정의된다. 두 번째 장치(106)는 임의의 다양한 디스플레이 장치가 될 수 있다. 예를 들어, 두 번째 장치(106)는 텔레비전, 프로젝터, 태블릿 컴퓨터, 휴대폰, 데스크톱 컴퓨터, 또는 서버가 될 수 있다. 두 번째 장치(106)는 또한 컴퓨터, 그리드 컴퓨팅 자원, 가상화된 컴퓨터 자원, 클라우드 컴퓨팅 자원, 라우터, 스위치, 피어 두 피어 분배된 컴퓨팅 장치, 또는 그들의 조합과 같은 컴퓨팅 유닛을 포함할 수 있다.
두 번째 장치(106)는 단일 장치, 분배 어크로스 차동장치, 분배 어크로스 차동 지리학적 위치, 일체화된 전신 네트워크에서 중앙 집중화될 수 있다. 두 번째 장치(106)는 첫 번째 장치(102)와 통신하기 위해 통신 경로(104)와 결합하기 위한 수단을 가질 수 있다. 두 번째 장치(106)는 또한 첫 번째 장치(102)를 위해 설명된 바와 같은 장치가 될 수 있다.
다른 실시 예에서, 첫 번째 장치(102)는 텔레비전, 프로젝터, 메인 프레임, 서버, 클러스터 서버, 랙 마운트(rack mounted) 서버, 또는 블레드(blade) 서버, 또는 더욱 특정한 예로서, IBM 시스템 z10(TM) 비즈니스 클래스 메인 프레임 또는 HP ProLiant ML(TM) 서버와 같은 특정한 기계가 될 수 있다. 또 다른 실시 예에서, 두 번째 장치(106)는, 텔레비전, 프로젝터, 휴대용 컴퓨팅 장치, 신 클라이언트(thin client), 노트북, 넷북, 스마트폰, PDA, 또는 휴대폰, 그리고 특별한 예로서, 애플 iPhone(TM), 팜 센트로(TM), 또는 모토롤라 Q 글로벌(TM)과 같은 특별한 기계가 될 수 있다.
실례가 되는 목적을 위해, 두 번째 장치(106)가 디스플레이 장치의 다른 타입이 될 수 있는 것이 이해될지라도, 삼차원 디스플레이 시스템(100)은 비 이동 디스플레이 장치로서, 두 번째 장치(106)와 함께 기술된다. 예를 들어, 두 번째 장치(106)는 또한 노트북 컴퓨터, 또 다른 클라이언트 장치, 클라이언트 장치의 다른 타입과 같은 이동 컴퓨팅 장치가 될 수 있다. 두 번째 장치(106)는 독립형 장치가 될 수 있고, 또는 예를 들어, 승용차, 트럭, 버스, 기차와 같은 자동차와 일체형으로 결합될 수 있다.
또한, 실례가 되는 목적을 위해, 삼차원 디스플레이 시스템(100)이 첫 번째 장치(102)와 두 번째 장치(106)와 통신 경로(104) 사이에서 다른 칸막이를 갖고 있는 것으로 이해될지라도, 삼차원 디스플레이 시스템(100)은 두 번째 장치(106)와 통신 경로(104)의 종단으로서 첫 번째 장치(102)와 함께 도시된다.
예를 들어, 첫 번째 장치(102), 두 번째 장치(106) 또는 이들의 조합은 통신 경로(104)의 부분으로서 동작될 수 있다.
통신 경로(104)는 첫 번째 장치(102)와 두 번째 장치(106) 사이에서 정보가 지나가곤 하는 통신 시스템으로서 정의된다. 통신 경로(104)는 다양한 네트워크일 수 있다. 예를 들어, 통신 경로(104)는 무선 통신, 유선 통신, 광 통신, 초음파 통신, 또는 이들의 조합을 포함할 수 있다. 위성 통신, 무선전화 통신, 블루투스, IrDA, Wi-Fi, WiMAX를 위한 전 세계적인 정보처리 상호운용은 통신 경로(104)에 포함될 수 있다. 이더넷, 디지털 가입자 라인(DSL), FTTH(fiber to the home), POTS(plain old telephone service)는 통신 경로(104)에 포함될 수 있는 유선 통신의 예이다.
더욱이, 통신 경로(104)는 수많은 망 위상과 거리를 통과할 수 있다. 예를 들어, 통신 경로(104)는 직접 접속, 개인 영역 통신망(PAN), 근거리 통신망(LAN), 도시권 통신망(MAN), 광역 종합통신망(WAN) 및 임의의 이들의 조합을 포함할 수 있다.
삼차원 디스플레이 시스템(100)은 소스 이미지(130)의 삼차원 묘사를 디스플레이할 수 있다. 소스 이미지(130)는 삼차원 장면의 이차원 정적 사진으로서 정의된다. 예를 들어, 소스 이미지(130)는 비디오 프레임, 영화 프레임, 사진, 엑스레이 이미지, 디지털 이미지, 스캔 이미지, 이들의 조합을 포함하는 다양한 이미지로 나타낼 수 있다.
소스 이미지(130)는 직사각형의 어레이에 배열된 픽셀의 행과 열을 포함할 수 있다. 소스 이미지(130)는 x축(134) 및 y축(136)을 포함할 수 있다. 픽셀의 열은 x축(134)을 따라 연장될 수 있다. 픽셀의 행은 y축(136)을 따라 연장될 수 있다.
소스 이미지(130)는 소실점(132)을 포함할 수 있다. 소실점(132)은 소스 이미지(130)의 최대 깊이를 나타내는 위치로서 정의된다. 소실점(132)은 소스 이미지(130)의 관점이 점으로 만나는 위치를 나타낼 수 있다. 삼차원 디스플레이 시스템(100)은 소스 이미지(130)의 삼차원 묘사로서, 삼차원 이미지(140)를 디스플레이 할 수 있다.
도 2를 참조하면, 가장자리 픽셀 이미지(202)의 예가 도시된다. 가장자리 픽셀 이미지(202)는 도 1의 소스 이미지(130)로부터 생성되고, 소스 이미지(130)에서 객체의 가장자리를 나타낸다.
가장자리 픽셀 이미지(202)는 소스 이미지(130)에서 객체의 가장자리의 그래픽 묘사로서 정의된다. 가장자리는 객체 사이에서 경계를 나타내는 소스 이미지(130)에서 인접한 영역 사이에서 밝기 또는 색상의 변화로 정의된다. 가장자리 픽셀 이미지(202)에서 가장자리는 라인 세그먼트(216)에 의해 나타내진다.
라인 세그먼트(216)는 가장자리를 나타내는 라인의 부분을 묘사하는 가장자리 픽셀 이미지(202)에서 요소로서 정의된다. 객체의 가장자리를 나타내는 라인은 라인 세그먼트(216)의 다중 사례를 포함한다.
가장자리 픽셀 이미지(202)는 소스 이미지(130)로서 동일한 규격으로 행과 열에 배치된 픽셀의 직사각형 어레이에 의해 디지털 이미지로 정의된다. 가장자리 픽셀 이미지(202)는 x축(134)과 y축(136)의 방향을 포함하는 소스 이미지(130)로서의 동일한 방향을 포함한다.
가장자리 픽셀 이미지(202)에서 각각의 픽셀은 라인의 부분 또는 라인의 부분의 부족으로 나타낼 수 있다. 라인의 부분을 나타내는 각각의 픽셀은 라인 세그먼트(216)에 의해 나타내진다. 가장자리 픽셀 이미지(202)는 소스 이미지(130)에서 가장자리의 검출과, 소스 이미지(130)에서 객체의 검출 가능한 가장자리의 그래픽 묘사의 생성에 의해 발생될 수 있다.
소스 이미지(130)에서 객체의 가장자리는 가장자리 픽셀 이미지(202)에서 라인에 의해 나타내진다. 예를 들어, 가장자리 픽셀 이미지(202)는 수평 라인(204), 수평선(206), 수직 라인(208) 제1 대각선(210), 제2 대각선(212), 제3 대각선(214)의 묘사를 포함할 수 있다. 가장자리 픽셀 이미지(202)는 소실점(132)을 포함할 수 있다.
수평 라인(204)는 수평 방향의 선으로 정의된다. 수평 라인(204)는 소스 이미지(130)의 도 1의 x축(134)에 평행하다. 수직 라인(208)은 수직 방향으 선으로 정의된다. 수직 라인(208)은 소스 이미지(130)의 도 1의 y축(136)에 평행하다.
제1 대각선(210), 제2 대각선(212), 제3 대각선(214)은 대각선 방향과 함께 라인으로 정의된다. 제1 대각선(210), 제2 대각선(212), 제3 대각선(214)은 도 1의 x축(134)과 y축(136)에 평행하지 않는다.
도 3을 참조하면, 라인 세그먼트(216)의 예가 도시된다. 라인 세그먼트(216)는 도 2의 가장자리 픽셀 이미지(202)에서 나타낸 라인의 부분으로 나타낼 수 있다.
가장자리 픽셀 이미지(202)는 행렬에서 배치된 픽셀 어레이이다. 픽셀은 색상과 위치를 가지고, 이미지의 부분을 나타내는 화면 요소로 정의된다. 가장자리 픽셀 이미지(202)에서 각각의 픽셀은 행을 나타내는 x 좌표와 열을 나타내는 y 좌표를 구비한 직교 좌표계로 나타내질 수 있다. 라인의 존재를 나타내는 픽셀은 온(on) 또는 양의 값을 갖는다. 라인 사이에 공간으로 나타나는 픽셀은 오프 또는 제로 값을 갖는다. 라인 존재를 나타내는 각각의 픽셀은 가장자리 픽셀(302)이다.
가장자리 픽셀(302)은, 가장자리 픽셀(302)이 비 제로 값을 갖는, 가장자리 픽셀(302)의 위치에서 라인의 존재를 나타내는 화면 요소로 정의된다. 가장자리 픽셀(302)은 라인 세그먼트(216)를 포함할 수 있다. 라인 세그먼트(216)는 극좌표 시스템에서 표현되는 가장자리 픽셀(302)의 묘사가 될 수 있다.
라인 세그먼트(216)는 위치와 가장자리 방향(304)을 가질 수 있다. 라인 세그먼트(216)의 위치는 가장자리 픽셀 이미지(202)에서 라인 세그먼트(216)의 행렬 좌표로서 정의된다. 가장자리 방향(304)은 라인 세그먼트(216)가 위치되는 라인 세그먼트(216)에 의해 나타내지는 라인의 방향으로서 정의된다.
라인 세그먼트(216)는, 로(rho)가 라인 세그먼트(216)에서 가장자리 픽셀 이미지(202)의 원점까지 일반적인 직각의 거리이며, 세타(theta)가 양성 x 방향과 원점에서 라인 세그먼트(216)에 연결하는 직각 라인 사이에서 각도일 경우, 로와 세타를 이용하는 극좌표 표기법에서 나타내질 수 있다. 로와 세타를 이용하여 극좌표 표기법에서 각각의 가장자리 픽셀을 나타내는 것은 로-세타 공간에서 가장자리 픽셀을 나타내는 것이다.
예를 들어, x, y 위치에서 가장자리 방향(304)은 가장자리 픽셀 이미지(202)에서 x, y 위치에서 라인 세그먼트(216)로 나타낼 수 있다. 라인 세그먼트(216)는 로 및 세타 극좌표에 의해 나타내질 수 있다. 라인 세그먼트(216)는 다음과 같은 식으로 나타내질 수 있다.
Figure 112012044673966-pat00001
도 4를 참조하면, 라인 히스토그램(402)의 예가 도시된다. 라인 히스토그램(402)도 2의 가장자리 픽셀 이미지(202)로부터 생성될 수 있고, 특별한 라인을 형성하는 도 2의 라인 세그먼트(216)의 숫자로 나타날 수 있다.
라인 히스토그램(402)은 가장자리 픽셀 이미지(202)에서 라인 세그먼트(216)의 분배의 묘사로 정의된다. 라인 히스토그램(402)은 극좌표와 로 및 세타를 이용하여 나타내질 수 있다. 예를 들어, 라인 히스토그램(402)은, 수평축이 가장자리 픽셀 이미지(202)에서 위치를 나타내고, 수직 축이 이러한 위치에서 라인 세그먼트(216)의 숫자를 나타내는 이차원 바 챠트로 나타내질 수 있다. 각각의 위치는 한 쌍의 로와 세타로 나타내질 수 있다.
라인 히스토그램(402)은 특별한 로 및 세타 값과 함께 라인 세그먼트(216)의 각각에 대한 카운터 값을 포함할 수 있다. 결국, 예로서, 라인 히스토그램(402) 동일 라인에서 라인 세그먼트(216)의 숫자로 나타날 수 있다.
라인 히스토그램(402)은 가장자리 픽셀 이미지(202)에서 라인의 분배를 나타낼 수 있다. 라인 히스토그램(402)은 전체 최고점(global maxima)(404)과 국부 최대점(local maxima)(406)을 포함할 수 있다. 전체 최고점(404)는 로 및 세타의 특별한 조합에 대한 라인 세그먼트(216)의 최고값 또는 최고 카운트를 갖는 라인 히스토그램(402)에서 위치로서 정의된다. 국부 최대점(406)은 라인 히스토그램(402)에서 인접한 위치보다 높은 값을 갖는 라인 히스토그램(402)에서 위치로서 정의된다.
라인 히스토그램(402)은 다른 라인을 나타내는 하나 이상의 국부 최대점(406)을 포함할 수 있다. 국부 최대점(406)은 그들의 로와 세타 값으로 표시된 바와 같이 비슷한 방향과 위치를 갖는 라인 세그먼트(216)의 숫자를 나타낼 수 있다.
도 5를 참조하면, 소실점(132)의 예가 도시된다. 소실점(132)은 제1 소실선(504) 및 제2 소실선(506)이 만나는 도 1의 소스 이미지(130)에서 점이다.
소실점(132)은 배경 이미지에서 평행선이 만나는 점으로서 정의된다. 소실점(132)은 소스 이미지(130)에서 가장 큰 깊이를 구비한 점으로 나타낼 수 있다. 예를 들어, 소실점(132)은, 로드의 측면을 나타내는 두 개의 라인이 수평선에서 만나는, 점을 나타낼 수 있다.
제1 소실선(504)은 객체의 가장자리를 나타내는 소스 이미지(130)에서 검출된 직선 라인으로서 정의된다. 제2 소실선(506)은 객체의 가장자리로 나타내는 소스 이미지(130)에서 검출된 직선 라인으로서 정의된다.
제1 소실선(504)은 거리(로 1)와 각도(세타 1)를 이용하는 극좌표에서 나타내질 수 있다. 제2 소실선(506)은 거리(로 2)와 각도(세타 2)를 이용하는 극좌표에서 나타내질 수 있다.
도 6을 참조하면, 삼차원 디스플레이 시스템(100)의 블록 구성도의 예가 도시된다. 삼차원 디스플레이 시스템(100)은 제1 디스플레이 유닛(620)을 구비한 제1 장치(102)를 포함할 수 있다. 제1 장치(102)는 제1 디스플레이 유닛(620) 상에서 디스플레이를 위한 정보를 수신할 수 있다. 제1 장치(102)는 통신 경로(104)를 통하여 정보를 제2 장치(106)로 보낼 수 있다. 제2 장치(106)는 통신 경로(104)를 통하여 정보를 제1 장치(102)로 보낼 수 있다.
실례가 되는 목적을 위해, 삼차원 디스플레이 시스템(100)은, 삼차원 디스플레이 시스템(100)이 다른 타입의 장치로서 제1 장치(102)를 가질 수 있는 것으로 이해될지라도, 도 1의 삼차원 이미지(140)가 디스플레이 되는 클라이언트 장치로서 제1 장치(102)가 도시된다. 예를 들어, 제1 장치(102)는 서버일 수 있다.
또한, 실례가 되는 목적을 위해, 삼차원 디스플레이 시스템(100)은, 삼차원 디스플레이 시스템(100)이 다른 타입의 장치로서, 제2 장치(106)를 가질 수 있는 것으로 이해될지라도, 삼차원 이미지(140)가 디스플레이 되는 서버 장치로서 제2 장치(106)가 도시된다.
다른 실시 예에서, 제1 장치(102) 및 제2 장치(106)는 프로젝션 텔레비전, LCD, 디지털 영화 프로젝터, 타블렛 컴퓨터, 휴대폰, 게임 장치, 착용식 입체적인 디스플레이 시스템, 서버, PC, PDA, 또는 이들의 결합이 될 수 있다.
본 발명의 실시 예에서 간단한 설명을 위하여, 제1 장치(102)는 클라이언트 장치로서 설명될 것이다. 본 발명은 장치의 타입에 대해 이런 선택에 대해 제한되지 않는다. 선택은 본 발명의 예이다.
제1 장치(102)는 제1 제어 유닛(602), 제1 저장유닛(614), 제1 통신 유닛(610), 제1 사용자 인터페이스(606), 제1 디스플레이 유닛(620)을 포함할 수 있다. 제1 제어 유닛(602)은 제1 제어 인터페이스(604)를 포함할 수 있다. 제1 제어 유닛(602)은 삼차원 디스플레이 시스템(100)의 지능을 제공하기 위해 제1 소프트웨어(618)를 수행할 수 있다.
제1 제어 유닛(602)은 수많은 다른 방식으로 시행될 수 있다. 예를 들어, 제1 제어 유닛(602)은 프로세서, 내장된 프로세서(embedded processor), 마이크로프로세서, 하드웨어 제어 로직, 하드웨어 유한 상태 기계(finite state machine: FSM), 디지털 신호 프로세서(DSP), 또는 이들의 조합이 될 수 있다. 제1 제어 인터페이스(604)는 제1 장치(102)에서 제1 제어 유닛(602)과 다른 기능 유닛 사이에서 통신을 위해 사용될 수 있다. 제1 제어 인터페이스(604)는 제1 장치(102)에 연장되어 통신을 위해 사용될 수 있다.
제1 제어 인터페이스(604)는 다른 기능의 유닛 또는 외부 소스로부터 정보를 수신할 수 있고, 정보를 다른 기능의 유닛 또는 외부 목적지에 전송할 수 있다. 외부 소스 및 외부 목적지는 제1 장치(102)에 연장되는 소스와 목적지를 나타낸다.
제1 제어 인터페이스(604)는 다른 방식으로 일체화 될 수 있고, 기능의 유닛 또는 외부 유닛이 제1 제어 인터페이스(604)와 인터페이스 되는 것에 따라 다른 구현을 포함할 수 있다. 예를 들어, 제1 제어 인터페이스(604)는 전자 회로, MEMS, 광회로, 무선 회로, 유선 라인 회로, 또는 이들의 조합과 함께 통합될 수 있다.
제1 디스플레이 유닛(620)은 직접적으로 또는 디스플레이 표면에 투영하여 삼차원 이미지(140)를 디스플레이할 수 있다. 제1 디스플레이 유닛(620)은 프로젝터 장치, 디지털 디스플레이 장치, LCD 장치, 유기 발광 다이오드 디스플레이 장치, 능동 디스플레이 글래스 또는 이런 방식의 어떤 결합 등을 포함할 수 있다.
제1 디스플레이 유닛(620)은 제1 디스플레이 인터페이스(622)를 포함할 수 있다. 제1 디스플레이 인터페이스(622)는 제1 디스플레이 유닛(620)과 제1 장치(102)에서 다른 기능의 유닛 사이에서 통신을 위해 사용될 수 있다.
제1 디스플레이 인터페이스(622)는 다른 기능의 유닛 또는 외부 소스로부터 정보를 수신할 수 있고, 또한 다른 기능의 유닛 또는 외부 목적지로 정보를 송신할 수 있다. 외부 소스 및 외부 목적지는 제1 장치(102)의 외부에 있는 소스 및 목적지를 나타낸다.
제1 디스플레이 인터페이스(622)는 기능의 유닛 또는 외부의 유닛이 제1 디스플레이 유닛(620)과 함께 인터페이스 되는 것에 따라 다른 구현을 포함할 수 있다. 제1 디스플레이 유닛(622)은 기술과 제1 제어 인터페이스(604)의 구현에 유사한 기술로 구현될 수 있다.
제1 저장 유닛(614)은 제1 소프트웨어(618)를 저장할 수 있다. 제1 저장 유닛(614)은 또한 이미지, 비디오, 기울기정보, 이미지 프로파일, 기하학 정보, 또는 그들의 조합과 같은 관련된 정보를 저장 할 수 있다.
제1 저장 유닛(614)은 휘발성 메모리, 비휘발성 메모리, 내부 메모리, 외부 메모리, 또는 그들의 조합이 될 수 있다. 예를 들어, 제1 저장 유닛(614)은 비휘발성 RAM(NVRAM), 후레쉬 메모리, 디스크 저장매체와 같은 비 휘발성 메모리와 정적 RAM(SRAM)과 같은 휘발성 저장매체가 될 수 있다.
제1 저장 유닛(614)은 제1 저장 인터페이스(616)를 포함할 수 있다. 제1 저장 인터페이스(616)는 제1 장치(102)에서 제1 제어 유닛(602) 및 다른 기능의 유닛 사이에서 통신을 위해 사용될 수 있다. 제1 저장 인터페이스(616)는 또한 제1 장치(102)로 연장되는 통신을 위해 사용될 수 있다.
제1 저장 인터페이스(616)는 다른 기능의 유닛 또는 외부의 소스로부터 정보를 수신할 수 있으며, 다른 기능의 유닛 또는 외부의 목적지로 정보를 전송할 수 있다. 외부의 소스 및 외부의 목적지는 제1 장치(102)로 연장된 소스 및 목적지를 나타낸다.
제1 저장 인터페이스(616)는 기능의 유닛 또는 외부의 유닛이 제1 저장 유닛(614)에 인터페이스 되는 것에 따라 다른 구현을 포함할 수 있다. 제1 저장 인터페이스(616)는 기술과 제1 제어 인터페이스(604)의 구현에 유사한 기술로 구현될 수 있다.
제1 통신 유닛(610)은 제1 장치(102)와 외부 통신을 하는 것이 가능하다. 예를 들어, 제1 통신 유닛(610)은 제1 장치(102)가 제2 장치(106), 주변 장치, 또는 컴퓨터 데스크톱, 통신경로(104)와 같은 부가 장치와의 통신을 허용할 수 있다.
제1 통신 유닛(610)은 또한 제1 장치(102)가 통신 경로(104)의 일부로서 작동하는 것을 허용하는 통신 허브로서 작용하며, 통신 경로(104)까지 종단점 또는 단말 유닛이 되는 것에 국한되지 않는다. 제1 통신 유닛(610)은 통신 경로(104)와의 상호작용을 위한 마이크로 전자공학기술 또는 안테나와 같은 능동 또는 수동 소자를 포함할 수 있다.
제1 통신 유닛(610)은 제1 통신 인터페이스(612)를 포함할 수 있다. 제1 통신 인터페이스(612)는 제1 장치(102)에서 제1 통신 유닛(610)과 다른 기능의 유닛 사이에서 통신을 위해 사용될 수 있다. 제1 통신 인터페이스(612)는 다른 기능의 유닛으로부터 정보를 수신할 수 있으며, 다른 기능의 유닛으로 정보를 전송할 수 있다.
제1 통신 인터페이스(612)는 기능의 유닛이 제1 통신 유닛(610)과 인터페이스 되는 것에 따라 다른 구현을 포함할 수 있다. 제1 통신 인터페이스(612)는 기술과 제1 제어 인터페이스(604)의 구현에 유사한 기술로 구현될 수 있다.
제1 사용자 인터페이스(606)는 사용자(미도시)가 제1 장치(102)와 인터페이스하고 상호작용을 하도록 허용한다. 제1 사용자 인터페이스(606)는 제1 사용자 입력장치(608)를 포함할 수 있다. 제1 사용자 입력장치(608)는 버튼, 슬라이더, 가상 버튼, 납스(knops), 음성 인식 제어기, 또는 그들의 조합을 포함할 수 있다.
제1 제어 유닛(602)은 제1 디스플레이 유닛(620) 상에 삼차원 디스플레이 시스템(100)에 의해 생성된 정보를 디스플레이하기 위해 제1 사용자 인터페이스(606)를 동작할 수 있다. 제1 제어 유닛(602)은 또한 제1 디스플레이 유닛(620) 상에서 디스플레이를 위한 제1 저장 유닛(614)으로부터 디스플레이 정보를 수신하는 것을 포함하는 삼차원 디스플레이 시스템(100)의 다른 기능을 위한 제1 소프트웨어(618)를 실행할 수 있다. 제1 제어 유닛(602)은 제1 통신 유닛(610)을 통하여 통신 경로(104)와 상호작용을 위하여 제1 소프트웨어(618)를 추가로 실행할 수 있다.
삼차원 디스플레이 시스템(100)은 제2 장치(106)를 포함할 수 있다. 제2 장치(106)는 제1 장치(102)와 함께 다목적장치에서 본 발명을 구현하기 위해 최적화 될 수 있다. 제2 장치(106)는 제1 장치(102)와 비교해서 추가적이고 높은 수행 처리 능력을 제공할 수 있다.
제2 장치(106)는 제2 제어 유닛(632), 제2 저장 유닛(644), 제2 통신 유닛(640), 제2 사용자 인터페이스(636), 제2 디스플레이 유닛(650)을 포함할 수 있다. 제2 제어 유닛(632)은 제2 제어 인터페이스(634)를 포함할 수 있다.
제2 제어 유닛(632)은 삼차원 디스플레이 시스템(100)의 인공지능을 제공하기 위해서 제2 소프트웨어(648)를 실행 할 수 있다. 제2 소프트웨어(648)는 제1 소프트웨어(618)와 함께 작동될 수 있다. 제2 제어 유닛은 제1 제어 유닛(602)과 비교하여 추가적인 수행을 제공할 수 있다.
제2 제어 유닛(632)은 많은 다른 방식으로 구현될 수 있다. 예를 들어 제2 제어 유닛(632)은 프로세서, 내장된 프로세서(embedded processor), 마이크로프로세서, 하드웨어 제어 로직, 하드웨어 한정 상태 기계(FSM), 디지털 신호 처리기(DSP), 또는 그것들의 결합이 될 수 있다. 제2 제어 인터페이스(634)는 제2 장치(106)에서 제2 제어 유닛(632)과 다른 기능의 유닛 사이에서 통신을 위해 사용될 수 있다. 제2 제어 인터페이스(634)는 또한 외부에 있는 제2 장치(106)에 통신하기 위해 사용될 수 있다.
제2 제어 인터페이스(634)는 다른 기능의 유닛 또는 외부 자원으로부터 정보를 수신 할 수 있으며 또한 다른 기능의 유닛 또는 외부 목적지로 정보를 전송할 수 있다. 외부 자원과 외부 목적지는 외부에 있는 제2 장치(106)의 자원과 목적지를 나타낸다.
제2 제어 인터페이스(634)는 여러 가지 방식으로 구현될 수 있고 기능의 유닛 또는 외부 유닛이 제2 제어 인터페이스(634)와 인터페이스 되는 것에 따라 다른 구현을 포함할 수 있다. 예를 들어 제2 제어 인터페이스(634)는 전자 회로, 마이크로 전자 기계 시스템(MEMS), 광회로, 웨이브가이드, 무선 회로, 유선 회로, 또는 그것들의 조합으로 구현될 수 있다.
제2 디스플레이 유닛(650)은 디스플레이 화면에 삼차원 이미지(140)를 직접 디스플레이 하거나 프로젝션에 의해 디스플레이 할 수 있다. 제2 디스플레이 유닛(650)은 프로젝터 유닛, 디지털 디스플레이 유닛(LCD), 유기 LED 디스플레이, 능동 디스플레이 글레스, 또는 그것들의 조합을 포함할 수 있다.
제2 디스플레이 유닛(650)은 제2 디스플레이 인터페이스(652)를 포함할 수 있다. 제2 디스플레이 인터페이스(652)는 제2 장치(106)에서 제2 디스플레이 유닛(650)과 다른 기능의 유닛 사이에서 통신을 위해 사용될 수 있다.
제2 디스플레이 인터페이스(652)는 다른 기능의 유닛 또는 외부 자원으로부터 정보를 수신할 수 있으며 또한 다른 기능의 유닛 또는 외부 목적지로 정보를 전송 할 수 있다. 외부 자원과 외부 목적지는 외부에 있는 제2 장치(106)에 자원과 목적지로 나타난다.
제2 디스플레이 인터페이스(652)는 기능의 유닛 또는 외부 유닛이 제2 디스플레이 유닛(650)과 인터페이스 되는 것에 따라 다른 구현을 포함할 수 있다. 제2 디스플레이 인터페이스(652)는 기술과 제2 제어 인터페이스(634)의 구현에 유사한 기술로 구현될 수 있다.
제2 저장 유닛(644)은 제2 소프트웨어(648)를 저장할 수 있다. 제2 저장 유닛(644)은 또한 이미지, 비디오, 변화 정보, 이미지 프로파일, 기하학 정보 또는 그것들의 조합과 같은 관련 정보를 저장할 수 있다. 제2 저장 유닛(644)은 제1 저장 유닛(614)에 추가적인 저장 능력을 제공하기 위해 크기가 조절될 수 있다.
제2 저장 유닛((644)은 휘발성 메모리, 비휘발성 메모리, 내부 메모리, 외부 메모리, 또는 그것들의 조합이 될 수 있다. 예를 들어 제2 저장 유닛(644)은 비휘발성 RAM과 같은 비휘발성 저장소, 정적 RAM과 같은 플레시 메모리, 디스크 저장소, 휘발성 저장소가 될 수 있다.
제2 저장 유닛(644)은 제2 저장 인터페이스(646)를 포함할 수 있다. 제2 저장 인터페이스(646)는 제2 장치(106)에서 제2 디스플레이 유닛(650)과 다른 기능의 유닛 사이에서 통신을 위해 사용될 수 있다. 제2 저장 인터페이스(646)는 또한 외부에 잇는 제2 장치(106)의 통신을 위해 사용될 수 있다.
제2 저장 인터페이스(646)는 다른 기능의 유닛 또는 외부 자원으로부터 정보를 수신할 수 있으며, 또한 다른 기능의 유닛 또는 외부 목적지로 정보를 전송할 수 있다. 외부 자원 또는 외부 목적지는 외부에 있는 제2 장치(106)의 자원과 목적지로 나타난다.
제2 저장 인터페이스(646)는 기능의 유닛, 또는 외부 유닛이 제2 저장 유닛(644)과 인터페이스 되는 것에 따라 다른 구현을 포함할 수 있다. 제2 저장 인터페이스(646)는 기술과 제2 제어 인터페이스(634)의 구현에 유사한 기술로 구현될 수 있다.
제2 통신 유닛(640)은 제2 장치(106)와 외부 통신이 가능할 수 있다. 예를 들어 제2 통신 유닛(640)은 제2 장치(106)가 통신 경로(104)를 통하여 제1 장치(102)와 통신 하는 것을 허용할 수 있다.
제2 통신 유닛(640)은 또한 통신경로(104)의 부분으로써 작동하기 위하여 제2 장치(106)를 허용하는 통신 허브로써 작동하고 통신경로(104)에 대한 종점 또는 단말기 유닛이 되는 것에 국한되지 않는다. 제2 통신 유닛(640)은 통신경로(104)와의 상호작용을 위해서 마이크로 전자 공학 기술, 안테나와 같은 능동 및 수동 요소를 포함할 수 있다.
제2 통신 유닛(640)은 제2 통신 인터페이스(642)를 포함할 수 있다. 제2 통신 인터페이스(642)는 제2 장치(106)에서 제2 통신 유닛(640)과 다른 기능의 유닛 사이에서 통신을 위해 사용될 수 있다. 제2 통신 인터페이스(642)는 다른 기능의 유닛으로부터 정보를 수신할 수 있고 또한 다른 기능의 유닛으로 정보를 전송할 수 있다.
제2 통신 인터페이스(642)는 기능의 유닛이 제2 통신 유닛(640)과 인터페이스 되는 것에 따라 다른 구현을 포함할 수 있다. 제2 통신 인터페이스(642)는 기술과 제2 제어 인터페이스(634)의 구현에 유사한 기술로 구현될 수 있다.
제1 통신 유닛(610)은 제2 장치(106)로 정보를 전송하기 위하여 통신 경로(104)와 결합할 수 있다. 제2 장치(106)는 제2 통신 유닛(640)에서 정보를 수신할 수 있다.
제2 통신 유닛(640)은 제1 장치(102)에 정보를 전송하기 위하여 통신 경로(104)와 결합할 수 있다. 제1 장치(102)는 제1 통신 유닛(610)에서 정보를 수신할 수 있다.
제2 사용자 인터페이스(636)는 사용자(미도시)가 제2 장치(106)와 인터페이스 및 상호 작용을 하도록 허용한다. 제2 사용자 인터페이스(636)는 제2 사용자 입력장치(638)와 출력장치를 포함할 수 있다. 제2 사용자 입력장치(638)는 버튼, 슬라이더, 노브, 가상 버튼, 음성 인식 제어기, 그것들의 임의의 조합을 포함할 수 있다.
제2 제어 유닛(632)은 삼차원 디스플레이 시스템(100)에 의해 생성된 정보를 디스플레이 하기 위하여 제2 사용자 인터페이스(636)를 작동할 수 있다. 제2 제어 유닛(632)은 또한, 제2 디스플레이 유닛(650)으로부터 디스플레이 정보를 수신하는 것을 포함하는 삼차원 디스플레이 시스템(100)의 다른 기능을 위하여 제2 소프트웨어(648)를 실행할 수 있다. 제2 제어 유닛(632)은 제2 통신 유닛(640)을 경유하여 통신 경로(104)와 상호작용을 위해 제2 소프트웨어(648)를 추가로 실행할 수 있다.
실례가 되는 목적을 위하여, 다른 분할을 갖는 것으로 이해될 지라도 제2 장치(106)는 제2 사용자 인터페이스(636), 제2 저장 유닛(644), 제2 제어 유닛(632), 제2 통신 유닛(640)을 갖도록 분할 될 수 있다. 예를 들어, 제2 소프트웨어(648)는 기능의 일부 또는 전체가 제2 제어 유닛(632)과 제2 통신 유닛(640) 있도록 다르게 분할될 수 있다. 또한, 제2 장치(106)는 명확성을 위해 도 6에 도시 되지 않은 다른 기능의 유닛을 포함할 수 있다.
제1 장치(102)에서 기능 유닛은 개별적으로 동작할 수 있고 다른 기능의 유닛들은 독립적으로 동작할 수 있다. 실례적인 목적을 위하여 삼차원 디스플레이시스템(100)은 제1 장치(102)의 동작에 의해 기술된다. 재1 장치(102)는 임의의 모듈과 삼차원 디스플레이 시스템(100)의 기능을 작동 시킬 수 있는 것을 이해된다. 예를 들어 제1 장치(102)는 제1 디스플레이 유닛(620)을 작동시키기 위하여 기술 될 수 있다.
제2 장치(106)에서 기능 유닛은 개별적으로 동작할 수 있고 다른 기능의 유닛들은 독립적으로 동작할 수 있다. 실례적인 목적을 위하여 삼차원 디스플레이시스템(100)은 제2 장치(106)의 동작에 의해 기술된다. 재2 장치(106)는 임의의 모듈과 삼차원 디스플레이 시스템(100)의 기능을 작동 시킬 수 있는 것으로 이해된다. 예를 들어 제2 장치(106)는 제2 디스플레이 유닛(650)을 작동시키기 위하여 기술 될 수 있다.
실례적인 목적을 달성하기 위하여 삼차원 디시플레이 시스템(100)은 제1 장치(102)와 제2 장치(106)의 동작에 의해 기술된다. 제1 장치(102)와 제2 장치(106)는 임의의 모듈과 삼차원 디스플레이 시스템(100)의 기능을 작동 시킬 수 있다. 예를 들어 제2 장치(106)가 또한 제2 디스플레이 유닛(650)을 작동시키는 것으로 이해될 지라도 제1 장치(102)는 제2 디스플레이 유닛(650)을 작동시키기 위하여 기술된다.
도 7을 참조하면 도 1의 삼차원 디스플레이 시스템(100)의 제어 흐름(701)이 도치된다. 삼차원 디스플레이 시스템(100)은 소스 이미지(130)를 수신할 수 있고 도 1의 삼차원 이미지(140)를 도 1의 제1 장치(102)상에 디스플레이 할 수 있다.
삼차원 디스플레이 시스템(100)은 가장자리 픽셀 이미지(202)를 계산하기 위해 가장자리 검출 모듈(702)을 포함할 수 있다. 삼차원 디스플레이 시스템(100)은 라인 히스토그램(402)을 생성하기 위하여 직선 검색 모듈(704)을 포함할 수 있다. 삼차원 디스플레이 시스템(100)은 가장자리 픽셀 이미지(202)에서 직선 라인을 검출하기 위하여 라인 검출 모듈(706)을 포함할 수 있다. 삼차원 디스플레이 시스템(100)은 제1 소실선(504) 및 제2 소실선(506)을 식별하기 위하여 소멸 라인 검색 모듈(708)을 포함할 수 있다.
삼차원 디스플레이 시스템(100)은 제1 소실선(504) 및 제2 소실선(506)으로부터 소실점(132)을 계산하기 위하여 소실점 계산 모듈(710)을 포함할 수 있다. 삼차원 디스플레이 시스템(100)은 깊이 맵(770)을 생성하기 위하여 깊이 생성 모듈(712)을 포함할 수 있다. 삼차원 디스플레이 시스템(100)은 삼차원 이미지(140)를 만들기 위하여 출력 모듈(714)을 포함할 수 있다.
일례로써 삼차원 디스플레이 시스템(100)의 제어 흐름(701)에서 각각의 모듈은 한 번호와 연속적으로 뒤따르는 높은 모듈 번호에 의해 나타난다. 제어 흐름은 한 모듈에서부터 다음 높은 번호가 매겨진 모듈까지 지나갈 수 있고 그렇지 않으면 명쾌하게 나타난다.
삼차원 디스플레이 시스템(100)은 가장자리 검출 모듈(702)을 포함할 수 있다. 가장자리 검출 모듈(702)은 가장자리 픽셀 이미지(202)를 계산하기 위하여 모듈로써 된다. 가장자리 검출 모듈(702)은 가장자리 픽셀 이미지(202)를 계산하기 위하여 소스 이미지(130) 상에서 특징적인 검출 동작을 실행할 수 있다. 가장자리 검출 모듈(702)은 선 라인 검색 모듈(704)에 의해 제어 절차를 통과할 수 있다.
가장자리 픽셀 이미지(202)는 소스 이미지(130)에서 객체의 가장자리를 검출할 수 있는 가장자리 검출 작동 적용에 의해 계산될 수 있다.
예를 들어, 가장자리는 소스 이미지(130)에서 객체들 사이에서 경계를 나타내는 이미지 밝기 또는 색상에서 분명한 변경을 포함할 수 있다. 가장자리 검출 프로세서는 나중에 상세히 기술된다.
가장자리 픽셀 이미지(202)는 가장자리가 소스 이미지(130)에 존재하는 가장자리 픽셀 이미지(202)에서 동일한 위치에 있는 가장자리를 가리키는 값과 함께 픽셀의 존재에 의한 라인으로 표시될 수 있다. 예를 들어 가장자리 픽셀 이미지(202)는 가장자리가 소스 이미지(130)에 있는 값 1과 함께 픽셀을 가질 수 있다. 가장자리 픽셀 이미지(202)는 가장자리가 소스 이미지(130)에서 검출되지 않는 값0과 함께 픽셀을 질 수 있다.
다른 예에서 가장자리 픽셀 이미지(202)는 수평 라인, 수직 라인, 대각선, 또는 그들의 조합을 나타내는 픽셀 정보를 포함할 수 있다. 수평 라인은 수평선, 빌딩의 꼭대기, 거리, 창문, 이들의 조합을 포함하는 다양한 객체의 가장자리를 나타낼 수 있다. 수직라인은 막대기, 빌딩의 측면, 거리, 창문, 문, 또는 그들의 임의의 조합을 포함하는 다양한 객체의 가장자리를 나타낼 수 있다. 대각선은 장면에서 연장된 거리, 빌딩 전망, 풍경, 또는 그들의 조합과 같은 다양한 객체의 가장자리로 나타낼 수 있다.
삼차원 디스플레이 시스템(100)은 직선 검색 모듈(704)을 포함할 수 있다. 직선 검색 모둘(704)은 라인 히스토그램(402)을 생성하는 모듈로써 정의된다. 직선 검색 모듈(704)은 가장자리 픽셀 이미지(202)를 처리할 수 있고 가장자리 픽셀 이미지(202)에서 나타나는 직선을 식별할 수 있다. 직선 검색 모듈(704)은 라인 히스토그램(402)을 생성하기 위하여 가장자리 픽셀 이미지(202)에 변형(720)을 적용할 수 있다. 직선 검색 모듈(704)은 라인 검출 모듈(706)의 제어 흐름을 통과할 수 있다. 직선 검색 절차는 나중 부분에서 상세히 기술된다.
삼차원 디스플레이 시스템(100)은 라인 검출 모듈(706)을 포함할 수 있다. 라인 검출 모듈(706)은 라인 히스토그램(402)에서 직선을 나타내는 후보 라인(730)을 계산하기 위한 모듈로써 정의된다. 후보 라인(730)은 수평 라인, 수직 라인, 대각선의 카테고리가 될 수 있는 라인 히스토그램(402)에서 식별된 라인으로 정의된다. 후보 라인(730)은 수평 라인(204), 수직 라인(208), 제1 대각선(210), 제2 대가선(212), 제3 대각선(214)을 포함하는 다양한 라인으로 나타날 수 있다. 라인 검출 모듈(706)은 제어흐름을 소실선 검색 모듈(708)에 통과 시킬 수 있다.
라인 검출 모듈(706)은 미리 설정된 라인 카테고리 임계값(733)보다 큰 값과 함께 도면 4의 국부 최대점(406)을 식별함으로써 라인 히스토그램(402)로부터 후보 라인(730)을 계산할 수 있다. 라인 카테고리 임계값(733)은 라인 카테고리(731)를 정의할 수 있는 미리 설정된 값으로써 정의된다. 예를 들어 수평라인을 위한 라인 카테고리 임계값(733)은 세타가 라인 세그먼트(216)가 수평라인을 지시하는 로-세타 값의 영역을 위한 값으로 미리 정의된다. 만일 수평라인을 지시하는 특별한 영역 로-세타 값을 위해 라인 히스토그램(402)에서 국부 최대점(406)이 미리 정의된 레벨 위에 있다면 국부 최대점(406)을 위한 후보 라인(730)은 수평 라인으로 지정될 수 있다.
라인 카테고리(731)는 라인 형태로써 정의된다. 라인 카테고리(731)는 수평라인, 수직라인, 대각선, 그들의 조합을 포함할 수 있다. 라인 카테고리(731)에 대한 각각의 다른 값을 위하여 라인 카테고리 임계값(733)의 결합된 값이 될 수 있다.
예를 들어 수평 라인을 나타내는 라인 카테고리(731)는 수평 라인을 식별하기 위하여 미리 결정된 임계값을 착수하는 라인 카테고리 임계값(733)을 가질 수 있다. 높고 충분한 히스토그램 값을 갖는 라인 히스토그램(402)에서 입력은 수평 라인을 나타내는 라인 카테고리(731)를 위해 후보 라인(730)으로 식별될 수 있다.
다른 예에서 수직 라인을 나타내는 라인 카테고리(731)는 수직 라인을 식별하기 위해 미리 설정된 임계값을 착수하는 라인 카테고리 임계값(733)을 가질 수 있다. 높고 충분한 히스토그램 값을 갖는 라인 히스토그램(402)에서 입력은 수직 라인을 나타내는 라인 카테고리(731)를 위해 후보 라인(730)으로 식별될 수 있다.
또 다른 예에서 대각선을 나타내는 라인 카테고리(731)는 대각선을 식별하기 위해 미리 설정된 임계값을 착수하는 라인 카테고리 임계값(733)을 가질 수 있다. 높고 충분한 히스토그램 값을 갖는 라인 히스토그램(402)에서 입력은 대각선을 나타내는 라인 카테고리(731)를 위해 후보 라인(730)으로 식별될 수 있다.
라인 검출 모듈(706)은 수평 라인(204), 수직 라인(208), 제1 대각선(210), 제2 대각선(212), 제3 대각선(214)을 포함하는 라인 카테고리(731)의 다른 값을 위해 후보 라인(730)을 계산할 수 있다. 게다가 가장자리 픽셀 이미지(202)를 기반으로 하나 이상의 후보 라인(730)이 가장자리 픽셀 이미지(202)에서 라인이 없는 타입을 나타내는 무효 값으로 설정되는 것이 가능하다. 라인 검색 모듈(706)은 나중 부분에서 상세하게 기술된다. 본 발명은 소스 이미지(130)에서 후보 라인(730)의 개선된 검출을 갖는 삼차원 디스플레이 시스템(100)을 제공하는 것을 발명하였다. 후보 라인(730)을 찾기 위해 요구되는 시간의 양은 가장자리 픽셀 이미지(202)로부터 후보 라인(730)을 식별하기 위해 라인 히스토그램(402)과 함께 라인 카테고리 임계값(733)의 미리 설정된 값을 이용함으로써 감소할 수 있다. 라인 히스토그램(402)에서 많은 양의 입력과 조합 때문에 후보 라인(730)을 식별하기 위한 라인 카테고리 임계값(733)의 사용은 적은 계산 시간과 적은 컴퓨터 저장소를 이용하는 후보 라인(730)을 발견하는 개선된 방법을 제공한다. 결과적으로 사용될 수 있는 후보 라인(730)은 주어진 시간에서 식별될 수 있는 라인의 숫자를 증가될 수 있다.
삼차원 디스플레이 시스템(100)은 소실선 검색 모듈(708)을 포함할 수 있다. 소실선 검색 모듈(708)은 라인 카테고리(731)의 다른 결합을 위해 후보 라인(730)의 유무를 기반으로 제1 소실선(504)과 제2 소실선(506)을 식별하기 위한 모듈로써 정의된다. 제1 소실선(504)과 제2 소실선(506)은 소스 이미지(130)에서 가장 깊은 깊이를 나타내는 소실점(132) 상에서 만나는 가장자리 픽셀 이미지(202)에서 두 개의 가장자리로 나타날 수 있다. 소실선 검색 모듈(708)은 소실점 계산 모듈(710)에 제어 흐름을 통과시킬 수 있다.
소실선 검색 모듈(708)은 라인 카테고리(731)의 다양한 타입을 위한 후보 라인(730)의 유용성에 의해 정의된 다른 기준을 기반으로 제1 소실선(504)과 제2 소실선(506)을 식별할 수 있다. 이것은 가장자리 픽셀 라인(202)에서 검출된 라인의 형식을 기반으로 소실선을 위한 선택기준에 상응한다. 검출된 라인의 세트는 수평선(204), 수직선(208), 제1 대각선(210), 제2 대각선(212), 제3 대각선(214) 또는 그것들의 부분 집합을 포함 할 수 있다.
검출된 라인의 세트를 구성하는 라인의 미리 결정된 다른 조합을 위해 소실선 검색 모듈(708)은 제1 소실선(504)과 제2 소실선(506)을 계산할 수 있다. 각각의 결합을 위한 소실선 계산의 세부 사항은 이하에서 기술한다.
예를 들어 만일 검출된 라인의 세트가 수평선(204), 수직선(208), 제1 대각선(210), 제2 대각선(212), 제3 대각선(214)을 포함한다면, 제1 소실선(504)과 제2 소실선(506)은 다섯 개의 라인 형식의 특성을 기반으로 계산될 수 있다.
두 번째 예에서 만일 검출된 라인의 세트가 오직 수평선(204), 수직선(208), 제1 대각선(210), 제2 대각선(212), 제3 대각선(214)을 포함한다면, 제1 소실선(504)과 제2 소실선(506)은 네 개의 가용한 라인 형식의 특성을 기반으로 계산될 수 있다.
세 번째 예에서 만일 검출된 라인의 세트가 오직 수평선(204), 수직선(208), 제1 대각선(210), 제2 대각선(212)을 포함한다면, 제1 소실선(504)과 제2 소실선(506)은 네 개의 라인 형식의 특성을 기반으로 계산될 수 있다.
네 번째 예에서 만일 검출된 라인의 세트가 오직 수평선(204), 제1 대각선(210), 제2 대각선(212)을 포함한다면, 제1 소실선(504)과 제2 소실선(506)은 세 개의 라인 형식의 특성을 기반으로 계산될 수 있다.
다섯 번째 예에서 만일 검출된 라인의 세트가 오직 수평선(204), 수직선(208), 제1 대각선(210)을 포함한다면, 제1 소실선(504)과 제2 소실선(506)은 세 개의 라인 형식의 특성을 기반으로 계산될 수 있다.
여섯 번째 예에서, 만일 검출된 라인의 세트가 오직 수평선(204), 제1 대각선(210)을 포함한다면, 제1 소실선(504)과 제2 소실선(506)은 두 개의 라인 형식의 특성을 기반으로 계산될 수 있다.
본 발명은 제1 소실선(504)과 제2 소실선(506)의 적어도 두 배 향상된 계산을 갖는 삼차원 디스플레이 시스템(100)을 제공하는 것이 발명 되었다. 소실선 검색 모듈(708)은 미리 정의된 검출된 라인의 세트를 이용하는 것에 의해 제1 소실선(504)과 제2 소실선(506)의 계산을 단순화 할 수 있다. 제1 소실선(504)과 제2 소실선(506)의 계산은 계산적으로 강렬하고 많은 시간을 요구하고, 그래서 미리 정의된 검출된 라인의 세트는 여러 번과 유사한 소실점(132)을 발생시키기 위하여 요구되는 시간을 줄일 수 있다. 제1 소실선(504)과 제2 소실선(506)의 계산의 단순화 에 의해 깊이 맵(770)을 발생시키는 실시간 수행은 향상될 수 있다.
삼차원 디스플레이 시스템(100)은 소실점 계산 모듈(710)을 포함할 수 있다. 소실점 계산 모듈(710), 제1 소실선(504)과 제2 소실선(506)이 식별되었을 때 소실점(132)을 계산하기 위한 모듈로써 정의된다. 가장자리를 기반으로 소스 이미지(130)에서 가장 깊은 깊이를 나타내는 소실점(132)은 가장자리 픽셀 이미지(202)에서 식별된다. 소실점 계산 모듈(710)은 제어 흐름을 깊이 발생모듈(712)로 통과시킬 수 있다.
소실점 계산 모듈(710)은 두 개의 소실선이 평행하지 않는 제1 소실선(504)과 제2 소실선(506)사이에서 관계를 기반으로 소실점(132)을 계산할 수 있다. 소실점(132)은 제1 소실선(504)과 제2 소실선(506)이 교차하는 위치를 나타낸다. 소실점(132)은 다음과 같은 식으로 계산될 수 있다.
Figure 112012044673966-pat00002
제1 소실선(504)이 투플(tuple) (r1,θ1)으로 표시되고 제2 소실선(506)은 투플 (r2, θ2)에 의해서 표시된다.
삼차원 디스플레이 시스템(100)은 깊이 발생 모듈(712)을 포함할 수 있다. 깊이 발생 모듈(712)은 소실점 계산 모듈(710)과 이미지 기울기 맵(772)에서 식별된 소실점(132)을 기반으로 소스 이미지(130)를 위한 깊이 맵(770)을 발생시키는 모듈로써 정의된다. 깊이 발생 모듈(712)은 제어 흐름을 출력 모듈(714)로 통과시킬 수 있다.
깊이 맵(770)은 소스 이미지(130)에서 각각의 픽셀의 분명한 깊이로 나타날 수 있다. 분명한 깊이는 도 1의 삼차원 이미지(140)에서 인식됨으로써 이미지의 정면에 관련된 픽셀의 거리로써 정의된다. 깊이 맵(770)은 소실점(132)과 관련된 각각의 픽셀의 분명한 깊이를 결정하기 위해 소실점(132)의 깊이와 이미지 기울기 맵(772)의 결합에 의해 발생될 수 있다. 이미지 기울기 맵(772)은 소스 이미지(130)와 같이 동일한 규격을 갖는 요소의 직사각형 배열로써 정의된다. 각각의 배열 요소(x, y)는 이웃한 픽셀과 연관되는 소스 이미지(130)에서 상응하는 픽셀과 관련된 깊이를 나타낸다. 소실점(132)의 분명한 깊이는 장면 유형의 기반으로 미리 정의된 값에 의해 결정될 수 있다. 예를 들어 장면 유형은 실외, 실내 또는 그것들의 조합과 같이 소수의 카테고리로 분류될 수 있다.
이미지 기울기 맵(772)은 소스 이미지(130)에서 다른 픽셀들과 비교해 볼 때 소스 이미지(130)에서 각각의 픽셀의 관련된 깊이를 나타낼 수 있다. 이미지 기울기 맵(772)은 영역 상에서 깊이의 변화율을 기반으로 각각의 픽셀의 관련된 깊이를 나타낼 수 있다. 영역 상에서 깊이의 변화율은 기울기 분포(778)에 의해 나타난다.
이미지 기울기 맵(772)은 제1 기울기 맵(774)과 제2 기울기 맵(776)의 결합에 의해 계산될 수 있다. 이미지 기울기 맵(772)은 수평 기울기 맵, 소실점을 기반으로 하는 조합 기울기 맵, 마름모 형상의 깊이 분배, 다른 기울기 맵의 결합을 기반으로 하는 하이브리드 기울기 맵, 또는 그것들의 조합을 포함하는 다양한 방법으로 계산될 수 있다. 이미지 기울기 맵(772)의 계산의 상세한 설명은 나중부분에서 제공된다.
삼차원 디스플레이 시스템(100)은 출력 모듈(714)을 포함할 수 있다. 출력 모듈(714)은 도 6의 제1 디스플레이 유닛(620)상에서 소스 이미지(130)의 삼차원 표현을 발생시키기 위해 깊이 맵(770)과 소스 이미지(130)를 결합하기 위한 모듈로써 정의된다.
깊이 맵(770)은 각각 소스 이미지(130)의 입체적인 이미지를 형성하기 위해 보여 질 수 있는 왼쪽 및 오른쪽 눈을 위한 좌측 스테레오 이미지(780)와 우측 스테레오 이미지(782)의 발생에 의해 소스 이미지(130)의 삼차원 이미지(140)를 발생시키기 위해 소스 이미지(130)와 결합할 수 있다. 삼차원 이미지(140)는 좌측 스테레오 이미지(780)와 우측 스테레오 이미지(782)를 포함할 수 있다.
좌측 스테레오 이미지(780)는 입체적인 삼차원 이미지가 디스플레이 되는 왼쪽 눈에 보이는 이미지로써 정의된다.
우측 스테레오 이미지(782)는 입체적인 삼차원 이미지가 디스플레이 되는 오른쪽 눈에 보이는 이미지로써 정의된다.
좌측 스테레오 이미지(780)와 우측 스테레오 이미지(782)는 시청자의 눈 사이에서 안구 내의 분리를 나타나는 픽셀과 값을 위해 깊이 맵(770)에서 표시된 깊이를 기반으로 소스 이미지(130)에서 각각의 픽셀에 대한 좌측 또는 우측 대체를 결정하는 것에 의해 계산될 수 있다. 왼쪽 눈 또는 오른쪽 눈에 각각 나타날 때 좌측 스테레오 이미지(780)와 우측 스테레오 이미지(782)는 소스 이미지(130)의 픽셀의 위치를 결정하는 것에 의해 계산될 수 있다. 좌측 스테레오 이미지(780)와 우측 스테레오 이미지(782)는 각각의 픽셀에 대해 좌측과 우측 오프셋을 결정하기 위해 깊이 맵(770)을 이용하여 소스 이미지(130)를 제공하는 것에 의해 생성될 수 있다.
삼차원 디스플레이 시스템(100)은 소스 이미지(130)의 삼차원 표현을 발생시키기 위해 좌측 스테레오 이미지(780)와 우측 스테레오 이미지(782)를 계산하고 디스플레이 할 수 있다. 예를 들어 삼차원 디스플레이 시스템(100)은 셔터 유리를 사용하여 삼차원 이미지를 보는 것을 허용하기 위해 비디오 리프레시 비율에서 교차적인 방법으로 좌측 스테레오 이미지(780)와 우측 스테레오 이미지(782)를 디스플레이 할 수 있다. 다른 예에서 삼차원 디스플레이 시스템(100)은 양극화된 보이는 유리를 사용하여 삼차원 이미지를 보는 것을 허용하기 위하여 수평적으로 양극화된 빛을 이용하는 좌측 스테레오 이미지(780)와 수직적으로 양극화된 빛을 이용하는 우측 스테레오 이미지(782)를 디스플레이 할 수 있다.
소스 이미지(130)의 삼차원 표현을 발생하는 것으로부터 물리적인 변형은 삼차원 디스플레이 시스템(100)의 도 6의 제1 저장 유닛(614)의 영구 파일에 저장된 좌측 스테레오 이미지(780)와 우측 스테레오 이미지(782)의 생성되는 결과를 나을 수 있다. 좌측 스테레오 이미지(780)와 우측 스테레오 이미지(782)는 왼쪽 눈 이미지와 오른쪽 눈 이미지에 각각 제공되고, 제1 저장 유닛(614)의 비 일시적인 이미지 파일에 저장된 소스 이미지(130)의 변형이다. 이것은 디스크 플래터 상에서 자화 또는 물질의 위상 변화뿐만 아니라 제1 저장 유닛(614)의 디스크 드라이브와 디스크 드라이브 헤드 유닛의 조작을 초래할 수 있는 제1 저장 유닛(614)에서 삼차원 이미지 파일(786)생성의 결과를 나았다. 디스크 드라이브가 제1 저장 유닛(614)로 논의될 지라도 제1 저장 유닛(614)은 광디스크, 플래시 메모리, 전하 결합 장치, 고체 상태 메모리, 또는 그것들의 결합을 포함하는 다른 저장 매체를 포함할 수 있다. 게다가 제1 저장 유닛(614)은 도 6의 제2 저장 유닛(644)을 포함할 수 있다. 물리적 세계에서 변형이 발생할 때 변형은 스스로 삼차원 디스플레이 시스템(100)의 연속된 동작과 물리적 세계에서 변형을 계속하기 위해 사용될 수 있는 추가적인 정보를 생성한다.
소스 이미지(130)의 삼차원 이미지 표현의 발생으로부터 또 다른 물리적 변형은 도 6의 제1 디스플레이 유닛(620) 상에서 삼차원 이미지의 생성이다. 좌측 스테레오 이미지(780)와 우측 스테레오 이미지(782)는 삼차원 이미지를 디스플레이하는 셔터 글래스 상에서 두 개의 이미지의 빠른 스위칭과 조직화된 셔터 동작의 결과로 나타나는 제1 디스플레이 유닛(620) 상에서 결합되고 디스플레이 된다. 추가로 좌측 스테레오 이미지(780)와 우측 스테레오 이미지(782)는 이미지를 디스플레이하거나 투사하는 디스플레이 픽셀 요소가 활성화되는 것의 물리적 변형을 야기한다. 이것은 LCD 요소, 플라즈마 디스플레이 요소, 인광체 디스플레이 요소, 또는 그들의 임의적인 조합을 포함할 수 있다. 변형이 물리 세계에서 발생할 때, 변형은 삼차원 디스플레이 시스템(100)의 연속된 동작을 위하고 물리 세계에서 변형을 계속하기 위한 좌측 스테레오 이미지(780)와 우측 스테레오 이미지(782)에 대한 추가적인 자체 정보를 생성시킨다.
삼차원 이미지(140)에서 이미지를 디스플레이 하는 것으로부터 다른 물리적 변형은, 게임을 하거나 삼차원 이미지를 볼 때, 삼차원 이미지(140)에 응답하여 이동하는 사람들과 같이, 물리 세계에서 이동의 결과를 야기한다. 제1 디스플레이 유닛(620)은 제1 장치(102) 상에서 픽셀을 조작하는 것에 의해 삼차원 이미지(140)를 디스플레이 할 수 있어, 결국 물리 세계에서 이동의 결과를 야기할 수 있다.
도 1의 제1 장치(102)의 도 6의 제1 소프트웨어(618)는 삼차원 디스플레이 시스템(100)을 포함할 수 있다. 예를 들어 제1 소프트웨어(618)는 가장자리 검출 모듈(702), 직선 검색 모듈(704), 라인 검출 모듈(706), 소실선 검색 모듈(708), 소실점 계산 모듈(710), 깊이 생성 모듈(712), 출력 모듈(714)을 포함할 수 있다.
삼차원 디스플레이 시스템(100) 또는 그것들의 모듈은 도 6의 하드웨어 블록 구성도에서 기능 유닛으로써 구현될 수 있다. 모듈들은 소프트웨어, 하드웨어, 펌웨어, 또는 그것들의 조합에서 구현될 수 있다. 도 6의 제1 제어 유닛(602)은 소스 이미지(130)로부터 가장자리 픽셀 이미지(202)를 계산하기 위하여 가장자리 검출 모듈(702)을 위한 제1 소프트웨어(618)를 실행할 수 있다. 제1 제어 유닛(602)은 가장자리 픽셀 이미지(202)에서 라인을 식별하기 위해 직선 검색 모듈(704)을 위한 제1 소프트웨어(618)를 실행할 수 있다. 제1 제어 유닛(602)은 후보 라인(730)에 대한 라인 히스토그램(402)을 생성하기 위해 라인 검출 모듈(706)에 대한 제1 소프트웨어(618)를 실행할 수 있다.
제1 제어 유닛(602)은 제1 소실선(504)과 제2 소실선(506)을 식별하기 위해 소실선 검색 모듈(708)에 대한 제1 소프트웨어(618)를 실행할 수 있다. 제1 제어 유닛(602)은 소실점(132)을 계산하기 위해 소실점 계산 모듈(710)에 대한 제1 소프트웨어(618)를 실행할 수 있다. 제1 제어 유닛(602)은 깊이 맵(770)을 생성하기 위해 깊이 생성 모듈(712)에 대한 제1 소프트웨어(618)를 행할 수 있다. 제1 제어 유닛(602)은 삼차원 이미지(140)를 제공하고 디스플레이 하기 위해 출력 모듈(714)에 대한 제1 소프트웨어(618)를 실행할 수 있다.
도 1의 제2 장치(106)의 도 6의 제2 소프트웨어(648)는 삼차원 디스플레이 시스템(100)을 포함할 수 있다. 예를 들어 제2 소프트웨어(648)는 가장자리 검출 모듈(702), 직선 검색 모듈(704), 라인 검출 모듈(706), 소실선 검색 모듈(708), 소실점 계산 모듈(710), 깊이 생성 모듈(712), 출력 모듈(714)을 포함할 수 있다.
도 6의 제2 제어 유닛(632)은 소스 이미지(130)로부터 가장자리 픽셀 이미지(202)를 계산하기 위하여 가장자리 검출 모듈(702)에 대한 제2 소프트웨어(648)를 실행할 수 있다. 제2 제어 유닛(632)은 가장자리 픽셀 이미지(202)에서 라인을 식별하기 위해 직선 검색 모듈(704)에 대한 제2 소프트웨어(648)를 실행할 수 있다. 제2 제어 유닛(632)은 후보 라인(730)에 대한 라인 히스토그램(402)을 생성하기위해 라인 검출 모듈(706)에 대한 제2 소프트웨어(648)를 실행할 수 있다.
제2 제어 유닛(632)은 제1 소실선(504)과 제2 소실선(506)을 식별하기 위해 소실선 검색 모듈(708)에 대한 제2 소프트웨어(648)를 실행할 수 있다. 제2 제어 유닛(632)은 소실점(132)을 계산하기 위해 소실점 계산 모듈(710)에 대한 제2 소프트웨어(648)를 실행할 수 있다. 제2 제어 유닛(632)은 깊이 맵(770)을 생성하기 위해 깊이 생성 모듈(712)에 대한 제2 소프트웨어(648)를 실행할 수 있다. 제2 제어 유닛(632)은 삼차원 이미지(140)를 제공하거나 디스플레이하기 위해 출력 모듈(714)에 대한 제2 소프트웨어(648)를 실행할 수 있다.
삼차원 디스플레이 시스템은 제1 소프트웨어(618)와 제2 소프트웨어(648)사이에서 분할될 수 있다. 예를 들어 제1 소프트웨어(618)는 가장자리 검출 모듈(702), 직선 검색 모듈(704), 라인 검출 모듈(706), 소실선 검색 모듈(708), 소실점 계산 모듈(710), 깊이 생성 모듈(712), 출력 모듈(714), 또는 그것들의 임의의 조합을 포함할 수 있다. 제1 제어 유닛(602)은 이전에 설명한 바와 같이 제2 소프트웨어(648) 상에서 분할된 모듈을 실행할 수 있다.
추가적인 예에서 제2 소프트웨어(648)는 가장자리 검출 모듈(702), 직선 검색 모듈(704), 라인 검출 모듈(706), 소실선 검색 모듈(708), 소실점 계산 모듈(710), 깊이 생성 모듈(712), 출력 모듈(714), 또는 그것들의 임의의 조합을 포함할 수 있다. 제2 제어 유닛(632)은 이전에 설명한 바와 같이 제2 소프트웨어(648) 상에서 분할된 모듈을 실행할 수 있다.
제1 소프트웨어(618)는 가장자리 검출 모듈(702)과 직선 검색 모듈(704)을 포함할 수 있다. 제1 저장 유닛(614)의 크기를 기반으로 제1 소프트웨어(618)는 삼차원 디스플레이 시스템(100)의 추가적인 모듈을 포함할 수 있다. 제1 제어 유닛(602)은 이전에 설명된 바와 같이 제1 소프트웨어(618) 상에서 분할된 모듈을 실행할 수 있다.
도 6의 제1 사용자 인터페이스(606)는 사용자, 삼차원 디스플레이 시스템(100), 또는 그것들의 조합에 의해 명령 입력을 수신할 수 있다. 제1 제어 유닛(602)은 제2 장치(106)에 명령 입력을 전달하기 위해 도 6의 제1 통신 유닛(610)을 조작할 수 있다.
도 6의 제2 통신 유닛(640)은 도 1의 통신 경로(104)를 경유하여 제1 장치(102)에 삼차원 이미지(140)를 전달할 수 있다. 삼차원 이미지(140)는 제1 디스플레이 유닛(620)에 디스플레이 될 수 있다.
본 발명은 소스 이미지(130)에 의해 나타나는 규격화된 화면에서 실세계 객체의 물리적 분포를 나타내기 위한 깊이 맵(770)을 생성하는 개선된 수단을 구비한 삼차원 디스플레이 시스템(100)을 제공하는 것으로 발명된 것이다. 제1 장치(102)와 제2 장치(106)는 깊이 맵(770)을 구비한 소스 이미지(130)의 삼차원 표현을 발생하기 위하여 결합될 수 있는 제1 소실선(504)과 제2 소실선(506), 소실점(132)을 계산할 수 있다. 제1 장치(102)와 제2 장치(106)로부터 삼차원 이미지(140)를 생성하기 위한 가능성은 오직 단일 장치로부터 삼차원 이미지(140)를 발생시키는 것의 단점을 극복할 수 있다. 결과로써 삼차원 이미지(140)의 속도, 정확성, 품질은 항상 향상될 수 있다.
본 발명은 제1 장치(102)와 같은 예와 같이 소비자 유닛에 대한 50% 이상의 개선된 배터리 수명을 구비한 삼차원 디스플레이 시스템(100)을 제공한다. 삼차원 이미지(140)와 제2 저장 유닛(644)에서 삼차원 이미지(140)에 대한 공유 액세스는 제1 장치(102)에서 삼차원 이미지(140)를 생성하기 보다는 제2 장치(106)에서 삼차원 이미지(140)를 생성하는 것에 의해 이익을 생기게 한다. 제1 장치(102)에서부터 제2 장치(106)까지 삼차원 이미지(140)를 생성하기 위해 요구되는 계산을 없애는 것에 의해 제1 장치(102)의 배터리 수명은 증가 된다. 제2 장치(106)는 삼차원 이미지(140)를 빠르게 제공하고 도 6의 제1 디스플레이 유닛(620)에 디스플레이하기 위해 삼차원 이미지(140)를 제1 장치(102)로 전송할 수 있는 계산적으로 강력한 기계가 될 수 있다.
삼차원 디스플레이 시스템(100)은 예와 같이 모듈 기능 또는 명령을 기술한다. 모듈은 다르게 분할될 수 있다. 예를 들어 가장자리 검출 모듈(702)과 직선 검색 모듈(704)은 결합될 수 있다. 다른 예에서 소실선 검색 모듈(708)과 소실점 계산 모듈(710)은 결합될 수 있다. 각각의 모듈은 개별적으로 작동하고 다른 모듈들은 독립적으로 작동할 수 있다.
게다가 하나의 모듈에서 발생된 데이터는 서로 직접 결합됨이 없이 다른 모듈에 의해 사용될 수 있다. 예를 들어 깊이 생성 모듈(712)은 가장자리 검출 모듈(702)로부터 소스 이미지(130)를 수신할 수 있다.
도 8을 참조하면 가장자리 검출 모듈(702)의 상세한 제어 흐름이 도시된다. 가장자리 검출 모듈(702)은 소스 이미지(130)로 변형하는 가장자리 검출을 적용함으로써 가장자리 픽셀 이미지(202)를 계산할 수 있다. 가장자리 검출 모듈(702)은 로우 패스 필터 모듈(802), 검출 가장자리 모듈(804), 가장자리 두께 모듈(806), 가장자리 축소 모듈(808), 중요 요소 분석 모듈(810), 부호 변경 검출 모듈(812)을 포함할 수 있다.
가장자리 검출 모듈(702)은 다양한 가장자리 검출 모듈 동작을 이용하여 소스 이미지(130)에서 가장자리를 검출할 수 있다. 예를 들어 가장자리 검출 모듈 동작은 소벨(Sovel) 작동기, 케니(Canny) 가장자리 검출, 서브-샘플링, 필터링된 로 패스 입력 처리, 가장자리 축소, 가장자리 두께, 소벨-맥스(Sovel-Max) 마스킹, 중요한 요서 분석( PCA), 부호 변경 검출, 라플라시안(LaPlacian) 제로 크로싱, 임계, 연결, 차동 가장자리 검출, Marr-Hildreth 작동기, 위상 일치, 또는 그것들의 조합을 포함할 수 있다. 가장자리는 소스 이미지(130)에서 객체들 사이에 경계를 나타내는 이미지 밝기 또는 색상에서 예리한 변경을 초래할 수 있다.
탄탄한 가장자리 검출을 위해 여러 개의 가장자리 검출 모듈은 개별적으로 실행될 수 있고 그 결과들은 가장자리 픽셀 이미지(202)를 계산하기 위해 비교된다. 가장자리 픽셀 이미지(202)는 하나의 가장자리 검출 동작으로부터 도 2의 라인 세그먼트(216)를 비교하고 다른 가장자리 검출로부터 라인 세그먼트(216)의 비교를 이용하는 것에 의해 계산될 수 있다. 만약 라인 세그먼트(216)가 하나 이상의 가장자리 검출 결과에서 검출된다면 라인 세그먼트(216)는 가장자리를 표시 하는 높은 가능성을 갖는다. 예를 들어 가장자리 검출 모듈(702)은 가장자리 맵, 중요 요소 분석(PCA)율, 부호 변경 검출(SCD)율을 계산할 수 있다.
가장자리 검출 모듈(702)은 소스 이미지(130)에서 로 패스 필터의 실행, 가장자리 검출, 가장자리 두께, 가장자리 축소에 의해 가장자리 맵 정보를 평가하기 위한 가장자리 맵(820)을 계산할 수 있다.
로우 패스 필터 모듈(802)은 소스 이미지(130)에서 고주파 노이즈 정보를 감쇠하기 위한 모듈로써 정의된다. 로우 패스 필터 모듈(802)은 고주파 노이즈 정보를 줄이고 소스 이미지(130)에서 정보의 영역을 줄이는 것에 의해 소스 이미지(130)에서 에일리어싱 또는 뾰족한 가장자리를 줄일 수 있다. 로우 패스 필터 모듈(802)은 가장자리 맵(820)의 초기 버전을 생성한다. 로우 패스 필터 모듈(802)은 제어흐름을 검출 가장자리 모듈(804)로 통과시킬 수 있다.
검출 가장자리 모듈(804)은 로우 패스 필터 모듈(802)에 의해 생성된 가장자리 맵(820)의 로 패스 필터링된 이미지에서 기울기를 계산하기 위한 모듈로써 정의된다. 검출 가장자리 모듈(804)은 가장자리 맵(820)에서 가장자리 검출 동작을 실행할 수 있다. 예를 들어 기울기 계산은 소벨-맥스(Sovel-Max) 마스킹, 케니(Canny) 가장자리 검출, 차동 가장자리, 또는 그것들의 조합을 이용하여 실행될 수 있다. 검출 가장자리 모듈(804)은 기울기 계산의 결과와 함께 가장자리 맵(820)을 갱신할 수 있다. 검출 가장자리 모듈(804)은 제어흐름을 가장자리 두께 모듈(806)로 통과시킬 수 있다.
가장자리 두께 모듈(806)은 검출 가장자리 모듈(804)에 의해 갱신된 가장자리 맵(820)에서 강도 임계 동작을 실행하는 모듈로써 정의된다. 도 3의 가장자리 픽셀(320)의 강도가 강도 임계값 아래에 있을 때, 가장자리 두께는 도 3의 가장자리 픽셀(302)의 제거에 의해 가장자리에서 가짜 점(spurious points)을 제거할 수 있다. 가장자리 두께 모듈(806)은 가장자리 맵(820)에서 두툼한 가장자리를 막거나 감소하기 위해 가장자리 맵(820)에 후처리 공정으로서 가장자리 맵(820)을 갱신할 수 있다. 가장자리 두께 모듈(806)은 제어 흐름을 가장자리 축소 모듈(808)로 통과시킬 수 있다.
가장자리 검출 모듈(702)은 중요 요소 분석 모듈(810)을 포함할 수 있다. 중요 요소 분석 모듈(810)은 소스 이미지(130)에서 가장자리를 검출하기 위한 모듈로써 정의된다. 가장자리 검출은 소스 이미지(130)에서 중요 요소 분석을 이용하여 실행될 수 있다. 데이터 세트에서 최대 분산을 식별하는 것에 의해 값을 상관하기 위한 직교 변형으로써 정의된다. 중요 요소 분석 모듈(810)은 큰 기울기와 함께 소스 이미지(130)에서 픽셀 상의 지배적인 방향 정보를 제공하기 위하여 중요 요소 분석률을 계산할 수 있다. 지배적인 방향 정보는 가장 일반적인 방향 값을 나타낸다. 중요 요소 분석 모듈(810)은 제어 흐름을 가장자리 축소 모듈(808)로 통과시킬 수 있다.
가장자리 검출 모듈(702)은 부호 변경 검출 모듈(812)을 포함할 수 있다. 부호 변경 검출 모듈(812)은 가장자리를 나타내는 처리된 이미지에서 부호변경의 검출에 의해 소스 이미지(130)에서 가장자리를 검출하기 위한 모듈로써 정의된다. 부호 변경 검출 모듈(812)은 픽셀의 국부 방향 변경 특성을 기술하는 부호 변경률을 계산할 수 있다. 예를 들어 만약 가장자리를 나타내기 위해 변경된 제2 파생물의 보호가 검출되면 부호 변경 검출 모듈(812)은 결정하기 위한 픽셀 세트의 제2 파생물 기능에서 부호의 변경을 계산 할 수 있다. 부호 변경 검출 모듈(812)은 제어 흐름을 가장자리 축소 모듈(808)로 통과시킬 수 있다.
가장자리 검출 모듈(702)은 가장자리 축소 모듈(808)을 포함할 수 있다. 가장자리 축소 모듈(808)은 가장자리 맵, 중요한 변경 분석률, 가장자리 픽셀 이미지(202)를 계산하기 위한 부호 변경률의 결과를 상관할 수 있는 모듈로써 정의된다. 가장자리 축소 모듈(808)은 결과들을 상관할 수 있고 하나 이상의 결과에서 식별된 라인 세그먼트(216)를 식별할 수 있다. 가장자리 축소 모듈(808)은 계산적인 부화를 감소하기 위하여 감소 데이터 세트를 사용하는 소멸 동작을 실행할 수 있다. 감소된 데이터 세트는 서브 샘플 풀 HD 이미지, 양자화, 다른 비슷한 방법들과 같이 데이터 감소 기술을 이용하여 결정될 수 있다.
도 9를 참조하면 직선 검색 모듈(704)의 상세한 제어 흐름이 도시된다. 직선 검색 모듈(704)은 가장자리 픽셀 이미지(202)에서 직선을 식별할 수 있고 라인 히스토그램(402)을 생성할 수 있다. 직선 검색 모듈(704)은 변환 모듈(902), 변형 모듈(904)을 포함할 수 있다. 직선 검색 모듈(704)은 변환 모듈(902)을 포함할 수 있다. 변환 모듈(902)은 가장자리 픽셀 이미지(202)에서 각각의 가장자리 픽셀(302)을 극좌표에서 나타나는 라인 세그먼트(216)로 변환할 수 있다.
데카르트 좌표(x,y)를 구비한 각각의 가장자리 픽셀(302)은 거리 요소, 로, 각도 요소, 세타를 구비한 극좌표를 갖는 라인 세그먼트(216)와 상응할 수 있다. 극 표기법에서 로는 가장자리 픽셀 이미지(202)의 원점에서 라인 세그먼트(216)까지의 거리이고 세타는 도 1의 양성 x축(134)과 원점에서 부터 직선 세그먼트까지 연결하는 직각선 사이에 각도이다. 가장자리 픽셀 이미지(202)에서 각각의 가장자리 픽셀(302)을 위하여 가장자리 방향은 라인 세그먼트(216)를 형성하기 위해 수직과 수평방향에서의 기울기를 기반으로 계산될 수 있다.
직선 검색 모듈(704)은 변형 모듈(904)에서 가장자리 픽셀 이미지(202)에 있는 직선을 식별할 수 있다. 변형 모듈(904)은 라인 히스토그램(402)을 생성하기 위해 변형(720)을 가장자리 픽셀 이미지(202)에 적용할 수 있다.
라인 히스토그램(402)은 가장자리 픽셀 이미지(202)에서 라인의 분배의 표현으로써 정의된다. 라인 히스토그램(402)은 가장자리 픽셀 이미지(202)의 극좌표 표현의 변형(720)을 적용함으로써 계산될 수 있다. 변형(720)은 가장자리 픽셀 이미지(202)에서 라인을 식별하는 특정 추출 기술이다. 변형(720)은 그레디언트-기반 호프 변형, 임계화(thresholdimg) 또는 그것들의 조합을 표현할 수 있다.
예를 들어 변형 모듈(904)은 이차원 호프 변형 히스토그램을 얻기 위해 가장자리 픽셀 이미지(202)에서 그레디언트-기반 호프 변형을 적용할 수 있다. 그레디언트-기반 호프 변형은 호프 변형 히스토그램을 계산하기 위해 요구되는 계산적인 부화를 줄이는 호프 변형의 변형된 버전으로써 정의된다. 변형된 호프 변화는 계산적인 복잡함을 줄이기 위해 모방을 포함할 수 있다.
호프 변형에 대한 하나의 모방은 픽셀을 위한 주어진 세타(theta)값과 로(rho)값이 원점과 관련된 픽셀의 위치에 따라 양성이거나 음성일 수 있다는 것이다. 그러므로 일반적인 로-세타 공간의 크기는 180·(rhomax+1), 세타(-90에서 +90도)에 대한 대략 180이상 값 및 로에 대한 2·rhomax+1의 이산값이다. 모방된 호프 변형에서 음성 로값을 산출하는 픽셀은 로 및 세타의 계산된 값이 ‘세타=세타+파이 및 로= |로|‘의 결과 처럼 계산된다. 결국 로-세타의 공간의 크기는 rhomax가 대략 수십 거리단위 일 때 270·(rhomax+1)이 될 수 있다. 로 및 세타 공간의 감소된 크기는 호프 히스토그램의 크기를 줄일 수 있고 적은 메모리와 적은 계산을 요구한다.
호프 변형의 다른 모방은 각각의 가장자리 픽셀(302)에 대해 사용된 다수의 로 및 세타값을 줄이기 위해 사용된다. 라인 검출에 대한 호프 변형에서, 이산 세타값(theta ∈ [-π/2,π/2])의 완전 세트는 상응하는 로값을 계산하기 위해 모든 픽셀에 적용될 수 있다. 이러한 수정은 수평과 수직 기울기를 기반으로 가장자리 방향을 계산되고, 세타값을 갖기 위해 가장자리 각도 90도를 바꾸는 것에 의해 얻어진 단일 값에 대한 세타를 한정한다. 오직 한 쌍의 로 및 세타 값에 대한 계산을 한정하는 것에 의해, 호프 히스토그램 뿐만 아니라 로 및 세타 값에 대한 계산은 실시간 적용에서 충분한 처리 속도를 초래하도록 크게 감쇠될 수 있다. 라인 히스토그램(402)은 각각의 한 쌍(로, 세타)에 대한 연산값을 갖는 로 및 세타 축을 가질 수 있다. 연산값은 로 및 세타의 주어진 값에 대한 다수의 라인 세그먼트를 나타낸다. 각각의 라인 세그먼트(216)를 위해, 로 및 세타 좌표와 상응하는 연산값은 증가된다. 예를 들어, 라인 히스토그램(402)의 값은 로 및 람다(lambda)의 특정값에 대한 각각의 직선 세그먼트에 대한 하나에 의해 증가될 수 있다. 또 다른 예로서, 극좌표 (로, 세타)에 의해 표현되는 라인 세그먼트(216)을 위한 축적기 값(accumulator value)은 라인 세그먼트(216)가 온(on) 또는 로(rho)와 람다(lambda)의 특정 값으로 인접할 때를 위한 하나에 의해 증가될 수 있다. 이것은 잘 정의되지 않은 가장자리에 대한 보상을 위해 실행될 수 있다. 종료 이후, 라인 히스토그램(402)은 가장자리 픽셀 이미지(202)에서 모든 직선의 분포로 나타난다.
본 발명은 계산 도중에 요구된 메모리 용량이 감소하는 것에 의해 라인 히스토그램(402)의 개선된 계산 기능을 갖는 삼차원 디스플레이 시스템(100)을 제공하는 것을 발명했다. 그래디언트 기반 호프 변환과 같이, 라인 히스토그램(402)의 크기를 줄이기 위한 변형(720)의 사용은 도 6의 제1 저장 유닛(614)에서 사용된 메모리 용량을 줄일 수 있고, 라인을 검출하기 위해 요구된 도 6의 제1 제어 유닛(602)에서 계산 노력의 량을 줄일 수 있다. 변형(720)은 라인 히스토그램(402)을 계산하기 위해 요구된 다수의 로 및 세타값을 줄이기 위해 각각의 가장자리 픽셀(302)의 가장자리 방향을 사용할 수 있고, 그 결과 계산 노력의 양을 줄이고, 가장자리 픽셀 이미지(202)에서 직선 세그먼트의 검출을 단순화할 수 있다.
도 10을 참조하면, 라인 검출 모듈(706)의 자세한 제어 흐름이 도시된다. 라인 검출 모듈(706)은 수평선(204), 수직선(208), 제1 대각선(210), 제2 대각선(212), 제3 대각선(214)을 포함하는 도 2의 가장자리 픽셀 이미지(202)에서 후보 라인(730)을 포함할 수 있다.
라인 검출 모듈(706)은 라인 카테고리(731)에 대한 라인 카테고리 임계값(733)의 미리 설정된 값에 부응하거나 초과하는 후보 라인(730)을 계산할 수 있다. 카테고리 임계값(733)에 대한 값은 삼차원 디스플레이 시스템(100)의 동작 전에 계산될 수 있다. 라인 카테고리 임계값(733)은 도 6의 제1 저장 유닛(614)에 저장될 수 있다. 라인 카테고리 임계값(733)의 기 정의된 값은 제1 저장 유닛(614)으로부터 검색될 수 있다.
라인 카테고리 임계값(733)은 다양한 라인 형식을 위한 다양한 값을 포함할 수 있다. 라인 카테고리(731)는 수평선 카테고리(1010), 수직선 카테고리(1012), 대각선 카테고리(1014), 또는 그것들의 조합을 포함할 수 있다.
후보 라인(730)은 다양한 라인을 포함할 수 있다. 후보 라인(730)은 수평선(204), 수직선(208), 제1 대각선(210), 제2 대각선(212), 제3 대각선(214)을 포함할 수 있다. 라인 식별의 실패를 방지하기 위하여, 라인 신뢰성 검사 절차는 실폐 또는 잘못된 라인 검출을 제거하기 위해 도입될 수 있다. 라인 신뢰성 검사는 라인 히스토그램(402)을 미리 설정된 값과 비교할 수 있다. 미리 설정된 값은 도 6의 제1 저장 유닛(614), 도 6의 제2 저장 유닛(644), 또는 그들의 조합과 같은 메모리로부터 검색될 수 있다.
라인 검출 모듈(706)은 수평선 모듈(1002)에서 수평선(204)을 위한 후보 라인(730)을 검출할 수 있다. 수평선 모듈(1002)은, 수평선을 위한 라인 카테고리(731)을 위한 라인 카테고리 임계값(733)의 미리 정의된 값에 대하여 라인 히스토그램(402)의 값의 비교에 의해, 라인 히스토그램(402)에서 후보 라인(730)을 계산할 수 있다.
예를 들어, 수평선 모듈(1002)은 수평선을 나타내는 세타값에 근접한 라인 히스토그램(402)의 국부 최대점(406)을 식별할 수 있다. 이것은 수평방향과 함께 대부분의 라인 세그먼트를 갖는 후보 라인(730)으로 나타낼 수 있다.
라인 검출 모듈(706)은 수직선 모듈(1004)에서 수직선(208)을 위한 후보 라인(730)을 검출할 수 있다. 수직선 모듈(1004)은 수직선의 라인 카테고리(731)에 대한 카테고리 임계값(733)의 미리 결정된 값에 대해 라인 히스토그램(402)의 값의 비교에 의해 라인 히스토그램(402)에서 후보 라인(730)을 계산할 수 있다. 라인 카테고리(731)에 대한 카테고리 임계값(733)의 미리 정의된 값은 미리 결정되고, 제1 저장 유닛(614), 제2 저장 유닛(644) 또는 그들의 조합과 같은 메모리에 저장될 수 있다. 예를 들어, 카테고리 임계값(733)의 미리 결정된 값은 수평선을 나타내는 로-세타 영역에서 라인 히스토그램(402)에서 국부 최대점(406)을 나타낼 수 있다.
다른 실시 예에서, 수직선 모듈(1004)은 수직선을 나타내는 세타값에 근접한 라인 히스토그램(402)의 국부 최대점(406)을 식별할 수 있다. 이것은 수직 방향과 함께 대부분의 라인 세그먼트를 갖는 후보 라인(730)을 나타낼 수 있다.
라인 검출 모듈(706)은 대각선 모듈(1006)에서 제1 대각선(210), 제2 대각선(212), 제3 대각선(214)을 위한 후보 라인(730)을 계산할 수 있다. 대각선 모듈(1006)은 대각선에서 라인 카테고리(731)를 위한 카테고리 임계값(733)의 미리 정의된 값에 대한 라인 히스토그램(402)의 값의 비교에 의해 라인 히스토그램(402)에서 대각선을 위한 후보 라인(730)을 검출할 수 있다.
예를 들어, 대각선 모듈(1006)은 비 수직선 또는 비 수평선을 나타내는 세타 영역에서의 라인 히스토그램(402)의 하나 이상의 국부 최대점(406)을 식별 할 수 있다. 이것은 비 수직과 비 수평 방향과 함께 대부분의 라인 세그먼트를 갖는 후보 라인(730)으로 나타낼 수 있다.
다른 예에서, 대각선 모듈(1006)은 라인 히스토그램(402)에서 국부 최대점(406)의 가장 높은 세 개의 값의 각각에 대해 후보 라인(730)을 식별함에 의해 제1 대각선(210), 제2 대각선(212), 제3 대각선(214)을 검출할 수 있다.
라인 카테고리(731)에서 카테고리 임계값(733)에 대한 미리 결정된 임계값은 미리 결정된 임계값 보다 위에 있는 우세한 라인을 오직 검출하고 선택하기 위해 결정될 수 있다. 예를 들어, 임계값은 사진, 장면의 형식, 또는 그들의 조합의 크기를 기반으로 될 수 있다. 우세한 라인은 연속선, 다중 라인 세그먼트로 구성되는 깨진 라인, 또는 그들의 조합을 포함할 수 있다.
국부 최대점(406)에 대한 미리 결정된 임계값은 이미지, 장면, 밝기, 이미지 구성, 또는 그들의 조합을 기반으로 하는 미리 결정된 임계값을 기반으로 결정될 수 있다. 임계값은 수직, 수평, 대각, 또는 그들의 조합과 같은 라인 형식을 기반으로 하는 특정 값 또는 세타 값의 영역이 될 수 있다. 로 값은 라인 검출에서 고려되지 않는다.
도 6의 제1 제어 유닛(602)은 수평선(204)에 대한 후보 라인(730)을 검출하기 위해 수평선 모듈(1002)에 대해 도 6의 제1 소프트웨어(618)를 실행할 수 있다. 제1 제어 유닛(602)은 수직선(208)에 대한 후보 라인(730)을 검출하기 위해 수직선 모듈(1004)에 대한 제1 소프트웨어(618)를 실행할 수 있다. 제1 제어 유닛(602)은 제1 대각선(210), 제2 대각선(212), 제3 대각선(214)에 대한 후보 라인(730)을 검출하기 위하여 대각선 모듈(1006)에 대한 제1 소프트웨어(618)를 실행 할 수 있다.
본 발명은 깊이와 도 1의 소스 이미지(130)에 의해 표시되는 삼차원 장면의 전망의 결정을 위한 후보 라인(730)의 개선된 계산 기능을 갖는 삼차원 디스플레이 시스템(100)을 제공하는 것이 발견된다. 카테고리 임계값(733)의 미리 정의된 값을 사용하는 후보 라인(730)에 의해, 제1 대각선(210), 제2 대각선(212), 제3 대각선(214)의 검출을 단순화할 수 있다. 미리 결정된 값은 추가적인 계산에 대한 요구 없이도 메모리로부터 검색될 수 있고, 후보 라인(730)을 검출의 복잡성을 줄일 수 있다. 후보 라인(730)은 카테고리 임계값(733)의 미리 결정된 값을 각각의 국부 최대점(406)에 비교함에 의해 계산될 수 있다. 이것은 전체 처리 시간을 줄일 수 있으며, 실시간으로 적은 처리기에서 가동되는 라인 검출 절차를 가능하게 한다.
도 11을 참조하면, 도 7의 소실선 검색 모듈(708)의 제어 흐름이 도시된다. 도 2의 수평선(204), 도 2의 수직선(208), 도 2의 제1 대각선(210), 도 2의 제2 대각선(212), 도 2의 제3 대각선(214)가 검출될 때, 소실선 검색 모듈(708)은 도 5의 제1 소실선(504)과 제2 소실선(506)을 계산할 수 있다.
예와 같은 도 1의 삼차원 디스플레이 시스템(100)에서, 제어 흐름은 표시된 바와 같이 하나의 모듈에서 다음 모듈까지 명확히 통과 할 수 있다. 소실선 검색 모듈(708)은 제어 흐름을 소실점 계산 모듈(710)을 통과 시킬 수 있다.
소실선 검색 모듈(708)은 도 1의 소스 이미지(130)에서 도 7의 라인 카테고리(731)의 특별한 형식의 라인의 검출과 라인들 사이의 관계를 기반으로 제1 소실선(504)과 제2 소실선(506)을 계산할 수 있다. 제1 소실선(504)과 제2 소실선(506)은 소스 이미지(130)의 도 1의 소실점(132)을 계산하기 위해 사용될 수 있다.
예를 들어, 제1 소실선(504)은 제1 대각선(210)의 값으로 지정될 수 있고, 제2 소실선(506)은 두 경우에서 제2 대각선(212)의 값으로 지정될 수 있다. 첫 번째, 만일 모든 3개의 대각선이 발견되면, 제1 대각선(210)과 제2 대각선(212)은 평행되지 않는다. 두 번째, 제1 대각선(210)과 제2 대각선(212) 만이 발견되면, 이들은 서로 평행하지 않는다.
다른 예에서, 만일 세 조건이 만족하면, 제1 소실선(504)은 제1 대각선(210)의 값으로 지정될 수 있고, 제2 소실선(506)은 제3 대각선(214)의 값으로 지정될 수 있다. 첫 번째, 만일 모든 3개의 대각선이 발견된다. 두 번째, 제1 대각선(210)과 제2 대각선(212)은 서로 평행하다. 세 번째, 제2 대각선(212)와 제3 대각선(214)은 서로 평행하지 않다.
또 다른 예에서, 제1 소실선(504)은 제1 대각선(210)의 값으로 지정될 수 있고, 제2 소실선(506)은 세 가지 경우에서 수평선(204)의 값으로 지정될 수 있다. 첫 번째, 만일 모든 세 개의 대각선이 발견되고 모두 평행하면, 수평선(204)이 발견된다. 두 번째, 만약 제1 대각선(210)과 제2 대각선(212)만이 발견되고 양쪽이 평행하면, 수평선(204)이 발견된다. 세 번째, 제1 대각선(210)이 발견되면, 수평선(204)이 발견된다.
또 다른 예에서 제1 소실선(504)은 제1 대각선(210)의 값으로 지정될 수 있고 제2 소실선(506)은 세 가지 경우에서 수직선(208)의 값으로 지정될 수 있다. 첫 번째, 만일 모든 세 가지 대각선이 발견되고 모두 평행하면 수평선(204)이 발견되지 않고 수직선(208)이 발견된다. 두 번째, 만약 제1 대각선(210)과 제2 대각선(212) 수직선(208)만이 발견되면, 제1 대각선(210)과 제2 대각선(212)은 평행한다. 세 번째, 오직 제1 대각선(210)과 수직선(208)이 발견된다.
추가적인 예에서 제1 대각선(210)만이 발견되면 제1 소실선(504)과 제2 소실선(506)은 값이 없이 지정될 수 있다. 이것은 소실선이 계산될 수 없는 경우를 나타낸다. 제1 소실선(504)과 제2 소실선(506)의 계산하는 것은 제1 소실선(504)과 제2 소실선(506)이 계산될 수 없는 경우를 포함될 수 있는 것으로 이해된다. 그러므로 제1 소실선(504)과 제2 소실선(506)은 둘 다 지정된 값을 갖지 않을 수 있다.
삼차원 디스플레이 시스템(100)은 D1-D2-D3 발견 모듈(1102), D1-D2 평행 모듈(1104), D1-D2 선택 모듈(1106), D2-D3 평행 모듈(1114) D1-D3 선택 모듈(1116)을 포함할 수 있다. 삼차원 디스플레이 시스템(100)은 D1-D2 발견 모듈(1112), D1-D2만의 평행 모듈(1118), D1 발견 모듈(1122), H 발견 모듈(1124), D1-H 선택 모듈(1126)을 포함할 수 있다. 삼차원 디스플레이 시스템(100)은 또한 V 발견 모듈(1134), D1-V 선택 모듈(1136), VL 비선택 모듈(1138)을 포함할 수 있다.
삼차원 디스플레이 시스템(100)에서 모듈의 이름들은 모듈의 기능과 모듈에 의해 처리된 이름 붙여진 요소들을 기반으로 될 수 있다. 이름 붙여진 요소들 (D1,D2,D3,V1,H1)은 제1 대각선(210)(D1), 제2 대각선(212)(D2), 제3 대각선(214)(D3), 수직선(208)(V), 수평선(204)(H)으로써 정의된다.
용어 ‘발견’은 이름 붙여진 요소들이 모두 발견되는 것을 나타낼 수 있다. 용어 ‘평행’은 요소들이 평행한 것을 나타낼 수 있다. 용어 ‘오직 평행’은 이름 붙여진 요소만이 평행한 것을 나타낼 수 있다. ‘비 VL’은 소실선이 검출되지 않았음을 나타낼 수 있다. 용어 ‘선택’은 이름 붙여진 요소가 제1 소실선(504)과 제2 소실선(506)에 대해 선택된 것을 나타낼 수 있다.
예를 들어 D1-D2-D3 발견 모듈(1102)은 제1 대각선(210), 제2 대각선(212), 제3 대각선(214)이 모두 발견된 것을 나타낼 수 있다. 다른 예에서 H 발견 모듈(1124)은 수평선(204)이 발견된 것을 나타낼 수 있다.
예로써 삼차원 디스플레이 시스템(100)의 제어 흐름에서, 제어흐름은 나타난 바와 같이 하나의 모듈에서 다음 모듈까지 분명하게 통과할 수 있다.
D1-D2-D3 발견 모듈(1102)은 제1 대각선(210), 제2 대각선(212),제3 대각선(214)이 모두 검출되고 이용 가능할 때 검출할 수 있다. 만약 제1 대각선(210), 제2 대각선(212), 제3 대각선(214)이 검출되면 제어흐름은 D1-D2 평행 모듈(1104)로 통과할 수 있다. 만약 세 개의 대각선이 모두 검출되지 않으면 그때 제어흐름은 D1-D2 발견 모듈(1112)을 통과할 수 있다.
만약 제1 대각선(210)과 제2 대각선(212)이 평행하다면 D1-D2 평행 모듈(1104)은 검출될 수 있다. 만약 제1 대각선(210)이 제2 대각선(212)과 평행하지 않다면, 그때 제어 흐름은 D1-D2 선택 모듈(1106)로 통과할 수 있다. 만약 제1 대각선(210)이 제2 대각선(212)과 평행하다면 제어흐름은 D2-D3 평행 모듈(1114)로 통과할 수 있다.
D1-D2 선택 모듈(1106)은 제1 대각선(210)으로써 제1 소실선(504)을, 제2 대각선(212)으로써 제2 소실선(506)을 식별할 수 있다. 제1 소실선(504)은 제1 소실선(504)을 제1 대각선(210)의 값에 지정하는 것에 의해 식별될 수 있다. 제2 소실선(506)은 제2 소실선(506)을제2 대각선(212)의 값에 지정하는 것에 의해 식별될 수 있다.
D1-D2 발견 모듈(1112)은 제1 대각선(210)과 제2 대각선(212)이 발견되면 결정할 수 있다. 만약 제1 대각선(210)과 제2 대각선(212)이 발견되면 그때 제어 흐름은 D1-D2만의 평행 모듈(1118)로 통과할 수 있다. 만약 제1 대각선(210)과 제2 대각선(212)이 발견되지 않으면 제어 흐름은 D1 발견 모듈(1122)로 통과할 수 있다.
D2-D3 평행 모듈(1114)은 제2 대각선(212)과 제3 대각선(214)이 평행하면 결정할 수 있다. 만약 제2 대각선(212)과 제3 대각선(214)이 평행하지 않으면, 그때 제어흐름은 D1-D3 선택 모듈(1116)로 통과할 수 있다. 만약 제2 대각선(212)과 제3 대각선(214)이 평행하면 그때 제어 흐름은 H 발견 모듈(1124)로 통과할 수 있다.
D1-D3 선택 모듈(1116)은 제2 대각선(212)으로써 제1 소실선(504)을 식별할 수 있고 제3 대각선(214)으로써 제2 소실선(506)을 식별할 수 있다. 제1 소실선(504)은 제1 소실선(504)을 제1 대각선(210)의 값에 지정함으로써 식별할 수 있다. 제2 소실선(506)은 제2 소실선(506)을 제3 대각선(214)의 값에 지정함으로써 식별할 수 있다.
D1-D2만의 평행 모듈(1118)은 제1 대각선(210)과 제2 대각선(212)이 평행하면 결정할 수 있다. 만약 제1 대각선(210)과 제2 대각선(212)이 평행하다면, 그때 제어 흐름은 H 발견 모듈(1124)로 통과할 수 있다. 만약 제1 대각선(210)과 제2 대각선(212)이 평행하지 않으면, 그때 제어 흐름은 D1-D2 선택 모듈(1106)로 통과할 수 있다.
D1 발견 모듈(1122)은 제1 대각선(210)이 발견되면 결정할 수 있다. 만약 제1 대각선(210)이 발견되면 그때 제어 흐름은 H 발견 모듈(1124)로 통과할 수 있다. 만약 제1 대각선(210)과 제2 대각선(212)이 발견되지 않으면 그때 제어 흐름은 VL비선택 모듈(1138)로 통과할 수 있다.
H 발견 모듈(1124)은 수평선(204)이 사용가능하면 결정할 수 있다. 만약 수평선(204)이 사용가능하면, 그때 제어 흐름은 D1-H 선택 모듈(1126)로 통과할 수 있다. 만약 수평선(204)이 사용가능하지 않으면 그때 제어 흐름은 V 발견 모듈(1134)로 통과할 수 있다.
D1-H 선택 모듈(1126)은 제1 대각선(210)으로써 제1 소실선(504)과 수평선(204)으로써 제2 소실선(506)을 식별할 수 있다. 제1 소실선(504)은 제1 소실선(504)을 제1 대각선(210)의 값에 지정하는 것에 의해 식별될 수 있다. 제2 소실선(506)은 제2 소실선(506)을 수평선(204)에 지정하는 것에 의해 식별될 수 있다.
V 발견 모듈(1134)은 수직선(208)이 사용가능하면 결정할 수 있다. 만약 수직선(208)이 사용가능하면, 그때 제어 흐름은 D1-V 선택 모듈(1136)로 통과할 수 있다. 만일 수직선(208)이 사용가능하지 않으면, 그때 제어 흐름은 VL비선택 모듈(1138)로 통과할 수 있다.
D1-V 선택 모듈(1136)은 제1 대각선(210)으로써 제1 소실선(504), 수직선(208)으로써 제2 소실선(506)을 식별할 수 있다. 제1 소실선(504)은 제1 소실선(504)을 제1 대각선(210)의 값에 지정하는 것에 의해 식별될 수 있다. 제2 소실선(506)은 제2 소실선(506)을 수직선(208)의 값에 지정하는 것에 의해 식별될 수 있다.
제1 소실선(504)과 제2 소실선(506) 값으로 지정되는 않는 것을 나타내기 위해 값을 갖지 않을 때 VL 비선택 모듈(1138)은 제1 소실선(504)과 제2 소실선(506)을 식별할 수 있다.
본 발명이 소스 이미지(130)에 의해 나타난 삼차원 장면에서 개선된 깊이의 검출과 전망을 갖는 삼차원 디스플레이 시스템(100)을 제공하는 것으로 발견되었다. 수평선(204), 수직선(208), 제1 대각선(210), 제2 대각선(212), 제3 대각선(214)을 포함하는 라인의 제한된 세트를 이용하는 제1 소실선(504)과 제2 소실선(506)을 식별하는 것은 소실점(132)을 계산하기 위해 요구되는 처리량을 줄인다. 소스 이미지(130)에서 모든 라인의 세트를 대신하는 라인의 결정된 세트에 잠재적인 소실선을 제한하는 것은, 많은 라인에서 상계를 배치함으로서, 소실선을 발견하기 위해 요구되는 계산을 줄인다. 요구된 처리량을 줄이는 것에 의해 소실점(132)은 적은 처리 유닛과 적은 시간으로 계산될 수 있다.
도 12를 참조하면 소실선 검색 모듈(708)의 자세한 제어 흐름이 도시된다. 도 2의 수평선(204), 도 2의 제1 대각선(210), 도 2의 제2 대각선(212), 도 2의 제3 대각선(214)만이 검출될 때 소실선 검색 모듈(708)은 도 5의 제1 소실선(504)과 도 5의 제2 소실선(506)을 계산할 수 있다.
예로써 도 1의 삼차원 디스플레이 시스템(100)의 제어흐름은 나타난 바와 같이 하나의 모듈로부터 다음 모듈까지 명확하게 통과할 수 있다. 소실선 검색 모듈(708)은 제어 흐름을 소실점 계산 모듈(710)로 통과할 수 있다.
삼차원 디스플레이 시스템(100)은 D1-D2-D3 발견 모듈(1202). D1-D2 평행 모듈(1204), D1-D2 선택 모듈(1206), D2-D3 평행 모듈(1214), D1-D3 선택 모듈(1216)을 포함할 수 있다. 삼차원 디스플레이 시스템(100)은 D1-D2 발견 모듈(1212), D1-D2만의 평행 모듈(1218), D1 발견 모듈(1222), H 발견 모듈(1224), D1-H 모듈(1226), VL 비선택 모듈(1238)을 포함할 수 있다.
D1-D2-D3 발견 모듈(1202)은 제1 대각선(210), 제2 대각선(212), 제3 대각선(214)이 모두 검출되고 사용 가능하면 결정할 수 있다. 만약 제1 대각선(210), 제2 대각선(212), 제3 대각선(214)이 검출되면, 그때 제어 흐름은 D1-D2 평행 모듈(1204)로 통과될 수 있다. 만일 세 개의 대각선 라인이 전혀 검출되지 않으면, 제어 흐름(flow)은 D1-D2 발견 모듈(1212)로 통과할 수 있다.
D1-D2 평행 모듈(1204)은 제1 대각선(210)과 제2 대각선(212)이 평행하면 결정할 수 있다. 만약 제1 대각선(210)이 제2 대각선(212)과 평행하지 않으면, 그때 제어 흐름은 D1-D2 선택 모듈(1206)로 통과할 수 있다. 만약 제1 대각선(210)이 제2 대각선(212)과 평행하면, 그때 제어 흐름은 D2-D3 평행 모듈(1214)로 통과될 수 있다.
D1-D2 선택 모듈(1206)은 제1 대각선(210)으로써 제1 소실선(504)과 제2 대각선(212)으로써 제2 소실선(506)을 식별할 수 있다. 제1 소실선(504)은 제2 소실선(506)을 제1 대각선(210)의 값에 지정함으로써 식별될 수 있다. 제2 소실선(506)은 제2 소실선(506)을 제2 대각선(212)의 값에 지정함으로써 식별될 수 있다.
D1-D2 발견 모듈(1212)은 제1 대각선(210)과 제2 대각선(212)이 발견되면 결정할 수 있다. 제1 대각선(210)과 제2 대각선(212)이 발견되면, 그때 제어 흐름은 D1-D2만의 평행 모듈(1218)로 통과할 수 있다. 만약 제1 대각선(210)과 제2 대각선(212)이 발견되지 않으면, 그때 제어 흐름은 D1 발견 모듈(1222)로 통과할 수 있다.
D2-D3 평행 모듈(1214)은 제2 대각선(212)과 제3 대각선(214)이 평행하면 결정할 수 있다. 만약 제2 대각선(212)과 제3 대각선(214)이 평행하지 않으면, 그때 제어 흐름은 D1-D3 선택 모듈(1216)로 통과할 수 있다. 만약 제2 대각선(212)과 제3 대각선(214)이 평행하면, 그때 제어 흐름 H 발견 모듈(1224)로 통과할 수 있다.
D1-D3 선택 모듈(1216)은 제2 대각선(212)으로써 제1 소실선(504)과 제3 대각선(214)으로써 제2 소실선(506)을 식별할 수 있다. 제1 소실선(504)은 제1 소실선(504)을 제1 대각선(210)의 값에 지정하는 것에 의해 식별될 수 있다. 제2 소실선(506)은 제2 소실선(506)을 제3 대각선(214)의 값에 지정하는 것에 의해 식별될 수 있다.
D1-D2만의 평행 모듈(1218)은 제1 대각선(210)과 제2 대각선(212)이 평행하면 결정할 수 있다. 만일 제1 대각선(210)이 제2 대각선(212)과 평행하면, 그때 제어 흐름은 H 발견 모듈(1224)로 통과할 수 있다. 만일, 제1 대각선(210)이 제2 대각선(212)과 평행하지 않으면, 그때 제어 흐름은 D1-D2 선택 모듈(1206)로 통과할 수 있다.
D1 발견 모듈(1222)은 제1 대각선(210)이 발견되면 결정할 수 있다. 만일 제1 대각선(210)이 발견되면, 그때 제어 흐름은 H 발견 모듈(1224)을 통과할 수 있다. 만일 제1 대각선(210)과 제2 대각선(212)이 발견되지 않으면, 그때 제어 흐름은 VL비선택 모듈(1238)을 통과할 수 있다.
H 발견 모듈(1224)은 수평선(204)이 사용가능하면 결정할 수 있다. 만일 수평선(204)이 사용 가능하면, 그때 제어 흐름은 D1-H 모듈(1226)을 통과할 수 있다. 만일 수평선(204)이 사용 가능하지 않으면, 그때 제어 흐름은 VL비선택 모듈(1238)을 통과할 수 있다.
D1-H 모듈(1226)은 제1 대각선(210)으로써 제1 소실선(504)과 수평선(204)으로써 제2 소실선(506)을 식별할 수 있다. 제1 소실선(504)은 제1 소실선(504)을 제1 대각선(210)의 값에 지정하는 것에 의해 식별될 수 있다. 제2 소실선(506)은 제2 소실선(506)을 수평선(204)의 값에 지정하는 것에 의해 식별될 수 있다.
제1 소실선(504)과 제2 소실선(506)이 값으로 지정되지 않음을 나타내기 위해 값을 갖지 않을 때, VL 비선택 모듈(1238)은 제1 소실선(504)과 제2 소실선(506)을 식별할 수 있다.
본 발명은 도 1의 소스 이미지(130)에 의해 표시된 개선된 깊이의 검출과 삼차원 장면에서 전망을 구비한 삼차원 디스플레이 시스템(100)을 제공하는 것을 발견하였다. 수평선(204), 수직선(208), 제1 대각선(210), 제2 대각선(212), 제3 대각선(214)의 라인의 제한된 세트를 이용하는 제1 소실선(504)과 제2 소실선(506)을 식별하는 것은, 도 1의 소실점(132)을 계산하기 위해 요구되는 처리량을 줄일 수 있다. 소스 이미지(130)에서 모든 라인의 세트를 대신하는 라인의 결정된 세트에 잠재적인 소실선을 제한하는 것은, 많은 라인에서 상계를 배치함으로서, 소실선을 발견하기 위해 요구되는 계산을 줄인다. 요구된 처리량을 줄이는 것에 의해, 소실점(132)은 적은 처리 유닛과 적은 시간으로 계산될 수 있다.
도 13을 참조하면 소실선 검색 모듈(708)의 자세한 제어 흐름이 도시된다. 도 2의 수평선(204), 도 2의 수직선(208), 도 2의 제1 대각선(210), 도 2의 제2 대각선(212)만이 검출될 때, 소실선 검색 모듈(708)은 도 5의 제1 소실선(504)과 도 5의 제2 소실선(506)을 계산할 수 있다.
예로써 도 1의 삼차원 디스플레이 시스템(100)의 제어 흐름에서, 제어흐름은 나타난 바와 같이, 하나의 모듈로부터 다음 모듈까지 명확하게 통과할 수 있다. 소실선 검색 모듈(708)은 제어 흐름을 소실점 계산 모듈(710)로 통과할 수 있다.
소실선 검색 모듈(708)은 소스 이미지(130)에서 라인 카테고리(731)의 특별한 형식의 라인 검출과 라인들 사이에서 관계를 기반으로 제1 소실선(504)과 제2 소실선(506)을 계산할 수 있다. 제1 소실선(504)과 제2 소실선(506)은 도 1의 소스 이미지(130)의 도 1의 소실점(132)을 계산하기 위하여 사용될 수 있다.
삼차원 디스플레이 시스템(100)은 D1-D2 발견 모듈(1312), D1-D2 만의 평행 모듈(1318), D1-D2 선택 모듈(1306), D1 발견 모듈(1322), H 발견 모듈(1324), D1-H 선택 모듈(1326)을 포함할 수 있다. 삼차원 디스플레이 시스템(100)은 V 발견 모듈(1334), D1-V 선택 모듈(1336), VL 비선택 모듈(1338)을 포함할 수 있다.
D1-D2 선택 모듈(1306)은 제1 대각선(210)으로써 제1 소실선(504)과 제2 대각선(212)으로써 제2 소실선(506)을 식별할 수 있다. 제1 소실선(504)은 제2 소실선(506)을 제1 대각선(210)의 값에 지정함으로써 식별될 수 있다. 제2 소실선(506)은 제2 소실선(506)을 제2 대각선(212)의 값에 지정함으로써 식별될 수 있다.
D1-D2 발견 모듈(1312)은 제1 대각선(210)과 제2 대각선(212)이 발견되면 결정할 수 있다. 만약 제1 대각선(210)과 제2 대각선(212)이 발견되면, 그때 제어 흐름은 D1-D2 만의 평행 모듈(1318)로 통과할 수 있다. 만약 제1 대각선(210)과 제2 대각선(212)이 발견되지 않으면, 그때 제어 흐름은 D1 발견 모듈(1322)로 통과할 수 있다.
D1-D2 만의 평행 모듈(1318)은 제1 대각선(210)과 제2 대각선(212)이 평행하면 결정할 수 있다. 만약 제1 대각선(210)이 제2 대각선(212)과 평행하면, 그때 제어 흐름은 H 발견 모듈(1324)로 통과할 수 있다. 만일, 제1 대각선(210)이 제2 대각선(212)과 평행하지 않으면, 그때 제어 흐름은 D1-D2 선택 모듈(1306)로 통과할 수 있다.
D1 발견 모듈(1322)은 제1 대각선(210)이 발견되면 결정할 수 있다. 만약 제1 대각선(210)이 발견되면, 그때 제어 흐름은 H 발견 모듈(1324)을 통과할 수 있다. 만약 제1 대각선(210)과 제2 대각선(212)이 발견되지 않으면 그때 제어흐름은 VL 비선택 모듈(1338)로 통과할 수 있다.
H 발견 모듈(1324)은 수평선(204)이 사용가능하면 결정할 수 있다. 만약 수평선(204)이 사용 가능하면, 그때 제어 흐름은 D1-H 선택 모듈(1326)로 통과할 수 있다. 만약 수평선(204)이 사용 가능하지 않으면, 그때 제어 흐름은 V 발견 모듈(1334)로 통과할 수 있다.
D1-H 선택 모듈(1326)은 제1 대각선(210)으로써 제1 소실선(504)과 수평선(204)으로써 제2 소실선(506)을 식별할 수 있다. 제1 소실선(504)은 제1 소실선(504)을 제1 대각선(210)의 값에 지정하는 것에 의해 식별될 수 있다. 제2 소실선(506)은 제2 소실선(506)을 수평선(204)의 값에 지정하는 것에 의해 식별될 수 있다.
V 발견 모듈(1334)은 수직선(208)이 사용 가능하면 결정할 수 있다. 만약 수직선(208)이 사용가능하면, 그때 제어 흐름은 D1-V 선택 모듈(1336)을 통과할 수 있다. 만약 수직선(208)이 사용가능하지 않으면, 그때 제어 흐름은 VL 비선택 모듈(1338)을 통과할 수 있다.
D1-V 선택 모듈(1336)은 제1 대각선(210)으로써 제1 소실선(504)과 수직선(208)으로써 제2 소실선(506)을 식별할 수 있다. 제1 소실선(504)은 제1 소실선(504)을 제1 대각선(210)의 값에 지정하는 것에 의해 식별될 수 있다. 제2 소실선(506)은 수직선(208)의 값에 지정하는 것에 의해 식별될 수 있다.
VL 비선택 모듈(1338)은 제1 소실선(504)과 제2 소실선(506)이 값으로 지정되지 않았음을 나타내기 위하여 값을 갖지 않을 때, 제1 소실선(504)과 제2 소실선(506)을 식별할 수 있다.
본 발명은 도 1의 소스 이미지(130)에 의해 나타난 개선된 깊이의 검출과 삼차원 장면에서 전망을 기반으로 삼차원 디스플레이 시스템(100)을 제공하는 것으로 발견되었다. 수평선(204), 수직선(208), 제1 대각선(210), 제2 대각선(212)의 라인의 제한된 세트를 이용하는 제1 소실선(504)과 제2 소실선(506)을 식별하는 것은, 도 1의 소실점(132)을 계산하기 위해 요구되는 처리량을 줄일 수 있다. 소스 이미지(130)에서 모든 라인의 세트를 대신하는 라인의 결정된 세트에 잠재적인 소실선을 제한하는 것은, 많은 라인에서 상계를 배치함으로서, 소실선을 발견하기 위해 요구되는 계산을 줄인다. 요구된 처리량을 줄이는 것에 의해, 소실점(132)은 적은 처리 유닛과 적은 시간으로 계산될 수 있다.
도 14를 참조하면 소실선 검색 모듈(708)의 제어 흐름의 4 번째 자세한 제어흐름이 도시된다. 도 2의 수평선(204), 도 2의 제1 대각선(210), 도 2의 제2 대각선(212)만이 검출될 때, 소실선 검색 모듈(708)은 도 5의 제1 소실선(504)과 도 5의 제2 소실선(506)을 계산할 수 있다.
예와 같이 도 1의 삼차원 디스플레이 시스템(100)의 제어 흐름에서 제어 흐름은 나타난 바와 같이 하나의 모듈에서 다음 모듈로 명확하게 통과할 수 있다. 소실선 검색 모듈(708)은 제어 흐름을 소실점 계산 모듈(710)로 통과시킬 수 있다.
삼차원 디스플레이 시스템(100)은 D1-D2 발견 모듈(1412), D1-D2 만의 평행 모듈(1418), D1-D2 선택 모듈(1406)을 포함할 수 있다. 삼차원 디스플레이 시스템(100)은 D1 발견 모듈(1422), H 발견 모듈(1424), D1-H 선택 모듈(1426), VL 비선택 모듈(1438)을 선택할 수 있다.
D1-D2 선택 모듈(1406)은 제1 대각선(210)으로써 제1 소실선(504)과 제2 대각선(212)으로써 제2 소실선(506)을 식별할 수 있다. 제1 소실선(504)은 제1 소실선(504)을 제1 대각선(210)의 값에 지정하는 것에 의해 식별될 수 있다. 제2 소실선(506)은 제2 소실선(506)을 제2 대각선(212)의 값에 지정하는 것에 의해 식별될 수 있다.
D1-D2 발견 모듈(1412)은 제1 대각선(210)과 제2 대각선(212)이 발견되면 결정할 수 있다. 만약 제1 대각선(210)과 제2 대각선(212)이 발견되면, 그때 제어 흐름은 D1-D2 만의 평행 모듈(1418)로 통과할 수 있다. 만약 제1 대각선(210)과 제2 대각선(212)이 발견되지 않으면, 그때 제어 흐름은 D1 발견 모듈(1422)로 통과할 수 있다.
D1-D2 만의 평행 모듈(1418)은 제1 대각선(210)과 제2 대각선(212)이 평행하면 결정할 수 있다. 만약 제1 대각선(210)과 제2 대각선(212)이 평행하면 그때 H 발견 모듈(1424)로 통과할 수 있다. 만약 제1 대각선(210)과 제2 대각선(212)이 평행하지 않으면, 그때 제어 흐름은 D1-D2 선택 모듈(1406)로 통과할 수 있다.
D1 발견 모듈(1422)은 제1 대각선(210)이 발견되면 결정할 수 있다. 만약 제1 대각선(210)이 발견 되면 그때 제어흐름은 H 발견 모듈(1424)로 통과할 수 있다. 만약 제1 대각선(210)과 제2 대각선(212)이 발견되지 않으면, 그때 제어 흐름은 VL 비선택 모듈(1438)로 통과할 수 있다.
H 발견 모듈(1424)은 수평선(204)이 사용가능하면 결정할 수 있다. 만약 수평선(204)이 사용가능하면, 그때 제어 흐름은 D1-H 선택 모듈(1426)로 통과할 수 있다. 만약 수평선(204)이 사용가능하지 않으면, 그때 제어 흐름은 VL 비선택 모듈(1438)로 통과할 수 있다.
D1-H 선택 모듈(1426)은 제1 대각선(210)으로써 제1 소실선(504)과 수평선(204)으로써 제2 소실선(506)을 식별할 수 있다. 제1 소실선(504)은 제1 소실선(504)을 제1 대각선(210)의 값에 지정하는 것에 의해 식별될 수 있다. 제2 소실선(506)은 제2 소실선(506)을 수평선(204)의 값에 지정하는 것에 의해 식별될 수 있다.
제1 소실선(504)과 제2 소실선(506)이 값으로 지정 되지 않은 것을 나타내기 위하여 값을 갖지 않을 때, VL 비선택 모듈(1438)은 제1 소실선(504)과 제2 소실선(506)을 식별할 수 있다.
본 발명은 도 1의 소스 이미지(130)에 의해 나타난 개선된 깊이의 검출과 삼차원 장면에서 전망을 기반으로 삼차원 디스플레이 시스템(100)을 제공하는 것으로 발견되었다. 수평선(204), 제1 대각선(210), 제2 대각선(212)의 라인의 제한된 세트를 이용하는 제1 소실선(504)과 제2 소실선(506)을 식별하는 것은, 도 1의 소실점(132)을 계산하기위해 요구되는 처리량을 줄일 수 있다. 소스 이미지(130)에서 모든 라인의 세트를 대신하는 라인의 결정된 세트에 잠재적인 소실선을 제한하는 것은, 많은 라인에서 상계를 배치함으로서 소실선을 발견하기 위해 요구되는 계산을 줄인다. 요구된 처리량을 줄이는 것에 의해, 소실점(132)은 적은 처리 유닛과 적은 시간으로 계산될 수 있다.
도 15를 참조하면 소실선 검색 모듈(708)의 제어 흐름의 다섯 번째 자세한 제어흐름이 도시된다. 도 2의 수평선(204), 도 2의 수직선(208), 도 2의 제1 대각선(210)만이 검출될 때, 소실선 검색 모듈(708)은 도 5의 제1 소실선(504)과 도 5의 제2 소실선(506)을 계산할 수 있다. 예와 같이, 도 1의 삼차원 디스플레이 시스템(100)의 제어 흐름에서, 제어 흐름은 나타난 바와 같이, 하나의 모듈에서 다음 모듈로 명확하게 통과할 수 있다. 소실선 검색 모듈(708)은 제어 흐름을 소실점 계산 모듈(710)로 통과시킬 수 있다.
소실선 검색 모듈(708)은, 도 1의 소스 이미지(130)에서 라인 카테고리(731)의 특별한 형식의 라인 검출과 라인들 사이에서 관계를 기반으로 제1 소실선(504)과 제2 소실선(506)을 계산할 수 있다. 제1 소실선(504)과 제2 소실선(506)은 소스 이미지(130)의 도 1의 소실점(132)을 계산하기 위하여 사용될 수 있다.
삼차원 디스플레이 시스템(100)은 D1 발견 모듈(1522), H 발견 모듈(1524), D1-H 선택 모듈(1526)을 포함할 수 있다.
삼차원 디스플레이 시스템(100)은 또한 V 발견 모듈(1534), D1-V 선택 모듈(1536), VL 비선택 모듈(1538)을 선택할 수 있다.
D1 발견 모듈(1522)은 제1 대각선(210)이 발견되면 결정할 수 있다. 만약 제1 대각선(210)이 발견 되면, 그때 제어흐름은 H 발견 모듈(1524)로 통과할 수 있다. 만약 제1 대각선(210)과 제2 대각선(212)이 발견되지 않으면, 그때 제어 흐름은 VL 비선택 모듈(1538)로 통과할 수 있다.
H 발견 모듈(1524)은 수평선(204)이 사용가능하면 결정할 수 있다. 만약 수평선(204)이 사용가능하면, 그때 제어 흐름은 D1-H 선택 모듈(1526)로 통과할 수 있다. 만약 수평선(204)이 사용가능하지 않으면, 그때 제어 흐름은 V 발견 모듈(1534)로 통과할 수 있다.
D1-H 선택 모듈(1526)은 제1 대각선(210)으로써 제1 소실선(504)과 수평선(204)으로써 제2 소실선(506)을 식별할 수 있다. 제1 소실선(504)은 제1 소실선(504)을 제1 대각선(210)의 값에 지정하는 것에 의해 식별될 수 있다. 제2 소실선(506)은 제2 소실선(506)을 수평선(204)의 값에 지정하는 것에 의해 식별될 수 있다.
V 발견 모듈(1534)은 수직선(208)이 사용 가능하면 결정할 수 있다. 만약 수직선(208)이 사용가능하면, 그때 제어 흐름은 D1-V 선택 모듈(1536)을 통과할 수 있다. 만약 수직선(208)이 사용가능하지 않으면, 그때 제어 흐름은 VL 비선택 모듈(1538)을 통과할 수 있다.
D1-V 선택 모듈(1536)은 제1 대각선(210)으로써 제1 소실선(504)과 수직선(208)으로써 제2 소실선(506)을 식별할 수 있다. 제1 소실선(504)은 제1 소실선(504)을 제1 대각선(210)의 값에 지정하는 것에 의해 식별될 수 있다. 제2 소실선(506)은 수직선(208)의 값에 지정하는 것에 의해 식별될 수 있다.
제1 소실선(504)과 제2 소실선(506)이 값으로 지정 되지 않은 것을 나타내기 위하여 값을 갖지 않을 때, VL 비선택 모듈(1538)은 제1 소실선(504)과 제2 소실선(506)을 식별할 수 있다.
본 발명은 도 1의 소스 이미지(130)에 의해 나타난 개선된 깊이의 검출과 삼차원 장면에서 전망을 기반으로 삼차원 디스플레이 시스템(100)을 제공하는 것으로 발견되었다. 수평선(204), 수직선(208), 제1 대각선(210)의 라인의 제한된 세트를 이용하는 제1 소실선(504)과 제2 소실선(506)을 식별하는 것은, 도 1의 소실점(132)을 계산하기 위해 요구되는 처리량을 줄일 수 있다. 소스 이미지(130)에서 모든 라인의 세트를 대신하는 라인의 결정된 세트에 잠재적인 소실선을 제한하는 것은, 많은 라인에서 상계를 배치함으로서 소실선을 발견하기 위해 요구되는 계산을 줄인다. 요구된 처리량을 줄이는 것에 의해, 소실점(132)은 적은 처리 유닛과 적은 시간으로 계산될 수 있다.
도 16을 참조하면, 소실선 검색 모듈(708)의 제어 흐름의 여섯 번째 자세한 제어흐름이 도시된다. 도 2의 수평선(204)와 도 2의 제1 대각선(210)만이 검출될 때, 소실선 검색 모듈(708)은 도 5의 제1 소실선(504)과 도 5의 제2 소실선(506)을 계산할 수 있다.
예와 같이, 도 1의 삼차원 디스플레이 시스템(100)의 제어 흐름에서, 제어 흐름은 나타난 바와 같이, 하나의 모듈에서 다음 모듈로 명확하게 통과할 수 있다. 소실선 검색 모듈(708)은 제어 흐름을 소실점 계산 모듈(710)로 통과시킬 수 있다.
삼차원 디스플레이 시스템(100)은 D1 발견 모듈(1622), H 발견 모듈(1624), D1-H 선택 모듈(1626), VL 비선택 모듈(1638)을 포함할 수 있다. 제1 소실선(504)과 제2 소실선(506)은 도 1의 소스 이미지(130)의 도 1의 소실점(132)를 계산하기 위해 사용될 수 있다. D1 발견 모듈(1622)은 제1 대각선(210)이 발견되면 결정할 수 있다. 만약 제1 대각선(210)이 발견 되면, 그때 제어흐름은 H 발견 모듈(1624)로 통과할 수 있다. 만약 제1 대각선(210)과 제2 대각선(212)이 발견되지 않으면, 그때 제어 흐름은 VL 비선택 모듈(1638)로 통과할 수 있다.
H 발견 모듈(1624)은 수평선(204)이 사용가능하면 결정할 수 있다. 만약 수평선(204)이 사용가능하면, 그때 제어 흐름은 D1-H 선택 모듈(1626)로 통과할 수 있다. 만약 수평선(204)이 사용가능하지 않으면, 그때 제어 흐름은 VL 비선택 모듈(1638)로 통과할 수 있다.
D1-H 선택 모듈(1626)은 제1 대각선(210)으로써 제1 소실선(504)과 수평선(204)으로써 제2 소실선(506)을 식별할 수 있다. 제1 소실선(504)은 제1 소실선(504)을 제1 대각선(210)의 값에 지정하는 것에 의해 식별될 수 있다. 제2 소실선(506)은 제2 소실선(506)을 수평선(204)의 값에 지정하는 것에 의해 식별될 수 있다.
제1 소실선(504)과 제2 소실선(506)이 값으로 지정 되지 않은 것을 나타내기 위하여 값을 갖지 않을 때, VL 비선택 모듈(1638)은 제1 소실선(504)과 제2 소실선(506)을 식별할 수 있다.
본 발명은 도 1의 소스 이미지(130)에 의해 나타난 개선된 깊이의 검출과 삼차원 장면에서 전망을 기반으로 삼차원 디스플레이 시스템(100)을 제공하는 것으로 발견되었다. 수평선(204), 수직선(208), 제1 대각선(210)의 라인의 제한된 세트를 이용하는 제1 소실선(504)과 제2 소실선(506)을 식별하는 것은, 도 1의 소실점(132)을 계산하기위해 요구되는 처리량을 줄일 수 있다. 도 1의 소스 이미지(130)에서 모든 라인의 세트를 대신하는 라인의 결정된 세트에 잠재적인 소실선을 제한하는 것은, 많은 라인에서 상계를 배치함으로서, 소실선을 발견하기 위해 요구되는 계산을 줄인다. 요구된 처리량을 줄이는 것에 의해, 도 1의 소실점(132)은 적은 처리 유닛과 적은 시간으로 계산될 수 있다.
도 17을 참조하면 수평 기울기 맵(1706)의 예가 도시된다. 수평선(204)이 가장자리 픽셀 이미지(202)에서 검출될 때, 수평 기울기 맵(1706)은 도 1의 소스 이미지(130)에서 픽셀에 대한 깊이의 분포를 나타낼 수 있다. 수평 기울기 맵(1706)은 소스 이미지(130)에 대한 도 7의 이미지 기울기 맵(772)을 발생시키기 위해 다른 기울기 분포와 결합될 수 있다,
수평 기울기 맵은, 각각의 배열요소(x,y)가 인접한 픽셀과 관련된 소스 이미지(130)에서 상응하는 픽셀의 관련된 깊이를 나타내는, 소스 이미지(130)와 동일한 규격을 갖는 요소의 직사각형 배열로써 정의된다. 수평 기울기 맵(1706)은 소스 이미지(130)의 위치를 위한 깊이의 배치이다. 수평 기울기 맵(1706)의 각각 위치는 소스 이미지(130)의 픽셀의 상대적인 깊이에 대응될 수 있다.
수평 기울기 맵(1706)은 상위 영역(1708)과 하위 영역(1710)으로 나누어지고 수평 소멸 선(1712)에 의해 분리된다. 예를 들어 수평 소멸 선(1712)은 풍경이나 또는 해양 풍경처럼 자연적인 외부전망을 보여주는 이미지에서 수평선을 나타낼 수 있다.
상위 영역(1708)의 상위 깊이 분포(1716)는 수평 기울기 맵(1706)의 수직축을 따라 선으로 가변될 수 있다. 예를 들어 수직 축은 수평 소멸 선(1712)에 직각인 방향에 의해 나타날 수 있다.
하위 영역(1710)의 하위 깊이 분포(1714)는 수평 기울기 맵(1706)의 수직축을 따라 선으로 가변될 수 있다. 하위 깊이 분포(1714)와 상위 깊이 분포(1716)는 가변될 수 있고 다른 경사를 갖는다. 예를 들어 하위 깊이 분포(1714)와 상위 깊이 분포(1716)는 깊이의 감지와 전망에서의 거리를 부응할 수 있는 깊이 프로파일을 형성할 수 있다.
다른 예에서 수평 기울기 맵(1706)의 값은, 가장 먼 깊이를 갖는 픽셀이 가장 낮은 회색 값(즉 0 또는 어두움)이 나타날 수 있고 가장 짧고 근접한 깊이를 갖는 픽셀은 가장 높은 회색값(즉 255 또는 밝음)에 의해 나타내질 수 있을 경우, 회색 이미지에 의해서 나타날 수 있다. 결국 낮은 회색 값은 어둠이고 더 깊은 깊이를 나타낼 수 있는 반면, 높은 회색 값은 밝고 근접한 깊이를 나타낼 수 있다.
깊이 지정은 다음에 식으로 표현될 수 있다.
Figure 112012044673966-pat00003
여기서 Gmap(x,y)은 좌표(x,y)에서 픽셀의 깊이이고 a1 그리고 a2는 깊이 기울기의 경사를 나타내는 상수이고 b1, b2는 y축의 경사선의 교차를 나타내는 상수이다.
도 18을 참조하면 수평 기울기 차트(1802)의 예가 도시된다. 수평 기울기 차트(1802)는 도 1의 130에서 픽셀에 대한 깊이의 분포를 나타낼 수 있다.
수평 기울기 차트(1802)는, 각각의 배열요소(x,y)가 인접한 픽셀과 관련된 소스 이미지(130)에서 픽셀에 상응하는 관련된 깊이를 나타내는 경우, 소스 이미지(130)와 동일한 규격을 갖는 요소의 직사각형 배열로써 정의된다. 수평 기울기 차트(1802)는 수평 소멸 선(1712)을 갖는 도 17의 수평 기울기 맵(1706)을 위해 상위 깊이 분포(1716)와 하위 깊이 분포(1714)를 보여준다. 예를 들어 수평 기울기 차트(1802)는 상위 깊이 분포(1716)와 하위 깊이 분포(1714)에 대한 기울기에 대해 다른 경사가 있는 것을 보여줄 수 있다.
도 19를 참조하면 조합 기울기 맵(1914)의 예가 도시된다. 조합 기울기 맵(1914)은 도 1의 소스 이미지(130)에서 픽셀에 대한 깊이의 분포를 나타낼 수 있다. 조합 기울기 맵(1914)은 소스 이미지(130)에 대한 도 7의 이미지 기울기 맵(772)을 생성하기 위해 다른 기울기 분포와 결합될 수 있다.
조합 기울기 맵(1914)은, 각각의 배열요소(x,y)가 인접한 픽셀과 관련된 소스 이미지(130)에서 상응하는 픽셀의 관련된 깊이를 나타내는 경우, 소스 이미지(130)와 동일한 규격을 갖는 요소의 직각으로써 정의된다. 조합 기울기 맵(1914)은 소스 이미지(130)에서 위치에 대한 깊이를 지정하기 위해 사용될 수 있다.
조합 기울기 맵(1914)은, 소스 이미지(130)가 소스 이미지(130)의 상응 가장자리에 근접하는 소실점(132)을 포함하고 제1 소실선(504)과 제2 소실선(506)이 대각선을 나타낼 때 생성된다. 소스 이미지(130)의 상응 가장자리에 근접한 소실점(132)은 소스 이미지(130)의 상위 영역이 될 수 있다. 예를 들어 가장자리 픽셀 이미지(202)는 제1 소실선(504), 제2 소실선(506), 소실점(132)을 포함할 수 있다.
예를 들어 조합 기울기 맵(1914)은 객체를 구비한 장면의 일반적인 사시도를 나타낼 수 있다. 이와 같은 장면은 소실점(132)을 가로지는 빌딩, 거리, 사람, 또는 그것들의 조합을 포함할 수 있다. 소실점(132)은 소스 이미지(130)의 장면에서 가장 깊은 깊이를 나타낼 수 있다.
조합 기울기 맵(1914)은 도 7의 제1 기울기 맵(774)과 제2 기울기 맵(776)의 조합을 포함할 수 있다. 제1 기울기 맵(774)은 소실점(132)을 기반으로 도 7의 기울기 분포(778)를 나타낼 수 있다. 제2 기울기 맵(776)은 제1 소실선(504)과 제2 소실선(506)을 기반으로 기울기 분포(778)를 나타낼 수 있다.
예를 들어, 제1 기울기 맵(774)은, 깊이 기울기가 등방성이고 소실점(132)의 주위의 원형적인 대칭인 경우, 소실점(132)에서 더 깊은 깊이를 갖는 원형 기울기 맵(1910)이다. 제1 기울기 맵(774)은 다음 식으로 나타날 수 있다.
Figure 112012044673966-pat00004
여기서 xvp 와 yvp는 소실점(132)의 좌표를 나타내고 a와 b는 상수이다.
제2 기울기 맵(776)은 또한 소실점(132)에서 더 깊은 깊이를 갖는 마름모 형상의 기울기 맵(1912)을 포함하고, 기울기 분포(778)는 피라미드의 정점에서 소실점(132)을 구비한 피라미드와 같이 형성된다. 제2 기울기 맵(776)의 추가적인 더 깊은 깊이는 더 큰 깊이를 나타내는 낮은 회색 값에 의해 나타내질 수 있다. 마름모 형상의 기울기 맵(1912)은 소실점(132)과 마름모의 형상을 결정하기 위한 미리 결정된 값을 기반으로 한다. 제2 기울기 맵(776)의 기울기 분포(778)는 90도 대칭을 갖는다. 낮은 회색 값을 나타내는 더 깊은 깊이는 마름모 형상을 형성한다.
제2 기울기 맵(776)은 다음 식으로 나타내질 수 있다.
Figure 112012044673966-pat00005
조합 기울기 맵(1914)은 제1 기울기 맵(774)과 제2 기울기 맵(776)의 결합에 의해 형성될 수 있다. 결합된 기울기 맵을 형성하는 것은 기울기를 더하는 것, 기울기를 조절하는 것, 또는 그것들의 임의의 조합을 포함할 수 있다. 조합 기울기 맵(1914)은 다음과 같은 식으로 나타내 질 수 있다.
Figure 112012044673966-pat00006
조합 기울기 맵(1914)은 제1 기울기 맵(774)과 제2 기울기 맵(776)의 결합에 의해 결정된다. 제1 기울기 맵(774)과 제2 기울기 맵(776)은 제1 기울기 맵(774)과 제2 기울기 맵(776)에 있는 각각의 상응하는 점에서 기울기를 더하는 것에 의해 결합될 수 있다.
도 20을 참조하면 하이브리드 기울기 맵(2004)의 예가 도시된다. 하이브리드 기울기 맵(2004)은, 소실점(132)이 수평선(204)의 아래에 있는 경우, 도 1의 소스 이미지(130)에서 픽셀에 대한 깊이의 분포를 나타낼 수 있다. 하이브리드 기울기 맵(2004)은 소스 이미지(130)에 대한 도 7의 이미지 기울기 맵(772)을 생성하기 위해 다른 기울기 분포와 결합될 수 있다.
하이브리드 기울기 맵(2004)은, 각각의 배열 요소(x,y)가 인접한 픽셀과 관련된 소스 이미지(130)에서 상응하는 픽셀의 관련된 깊이를 나타내는 경우, 소스 이미지(130)와 동일한 규격을 갖는 요소의 직사각형 배열로 정의 된다. 하이브리드 기울기 맵(2004)에 있는 각각의 위치는 소스 이미지(130)에서 픽셀의 관련된 깊이와 상응할 수 있다. 하이브리드 기울기 맵(2004)의 각각의 위치는 소스 이미지(130)의 픽셀의 상대적인 깊이에 대응될 수 있다.
하이브리드 기울기 맵(2004)은 가장자리 픽셀 이미지(202)가 소실점(132)과 가장자리 픽셀 이미지(202)의 수평선(204)을 포함할 때 생성될 수 있다. 소실점(132)은 소스 이미지(130)의 상위 가장자리에 근접하고 소스 이미지(130)의 상위 영역에 있을 수 있다. 소실점(132)은 제1 소실선(504)과 제2 소실선(506)의 교차에 있다.
예를 들어 하이브리드 기울기 맵(2004)은, 제1 소실선(504)이 수평선(204)을 나타내는 경우, 소실점(132)과 제1 소실선(504)에 의해 나타난 바와 같이 소실점(132)과 수평선을 포함하는 장면의 일반적인 사시도를 나타낼 수 있다. 소실점(132)은 소스 이미지(130)의 장면에서 더 깊은 깊이를 나타낼 수 있다.
하이브리드 기울기 맵(2004)은 도 7의 제1 기울기 맵(774)과 제2 기울기 맵(776)의 결합을 포함할 수 있다. 제1 기울기 맵(774)은 도 17의 수평 기울기 맵(1706)을 나타낼 수 있다. 제2 기울기 맵(776)은 도 19의 조합 기울기 맵(1914)를 나타낼 수 있다.
하이브리드 기울기 맵(2004)은 제1 기울기 맵(774)과 제2 기울기 맵(776)의 결합에 의해 형성될 수 있다. 하이브리드 기울기 맵(2004)을 형성하는 것은 기울기를 추가하는 것, 기울기를 조정하는 것, 또는 그것들의 임의의 조합을 포함할 수 있다. 하이브리드 기울기 맵(2004)의 깊이 지정은 다음의 식으로 나타내질 수 있다.
Figure 112012044673966-pat00007
여기서 Gmap_vp(x,y)는 하나의 소실선 경우에 대한 깊이 기울기인 반면, Gmap_h(x,y)은 단지 수평선인 경우에 대한 깊이 기울기이다. 계수 d_vp(y)와 d_h(y)는 의존적인 y좌표이다.
하이브리드 기울기 맵(2004)은 제1 기울기 맵(774)과 제2 기울기 맵(776)의 결합에 의해 계산될 수 있다. 제1 기울기 맵(774)과 제2 기울기 맵(776)은 제1 기울기 맵(774)과 제2 기울기 맵(776)의 각각의 상응점에서 기울기를 더하는 것에 의해 결합 될 수 있다.
조합 기울기 맵(1914)은 단일 소실점(Gmap_vp)을 기반으로 하고 윈형의 형상, 마름모 형상 또는 그것들의 조합을 기반으로 할 수 있다. 조합 기울기 맵(1914)은 수평 기울기 맵(1706)과 단일 소실점(Gmap_vp)을 기반으로 하는 기울기 맵의 결합이 될 수 있다.
도 21을 참조하면 하이브리드 기울기 맵(2104)의 두 번째 예가 도시된다. 하이브리드 기울기 맵(2104)은, 소실점(132)이 가장자리 픽셀 이미지(202)에 있는 수평선(204) 위에 있을 때, 도 1의 소스 이미지(130)에서 픽셀에 대한 깊이 분포를 나타낼 수 있다. 하이브리드 기울기 맵(2104)은 소스 이미지(130)에 대한 도 7의 이미지 기울기 맵(772)을 생성하기 위하여 다른 기울기 분포와 결합될 수 있다. 소실점(132)은 제1 소실선(504)과 제2 소실선(506)의 교차에 있다.
도 22를 참조하면 깊이 생성 모듈(712)의 상세한 제어 흐름이 도시된다. 깊이 생성 모듈(712)은 이미지 기울기 맵(772)의 계산에 의해 도 1의 소스 이미지(130)에 대한 깊이 맵(770)을 생성할 수 있다. 깊이 생성 모듈(712)은 제1 기울기 맵 계산 모듈(2202), 제2 기울기 맵 계산 모듈(2204), 이미지 기울기 맵 계산 모듈(2206), 깊이 맵 생성 모듈(2208)을 포함할 수 있다.
제1 기울기 맵 계산 모듈(2202)은 소실점(132), 제1 소실선(504), 제2 소실선(506)의 존재를 포함하는 소스 이미지(130)의 특성을 기반으로 소스 이미지(130)의 제1 기울기 맵(774)을 계산할 수 있다. 제1 소실선(504)과 제2 소실선(506)의 도 2의 수평선(204), 도 2의 수직선(208), 도 2의 제1 대각선(210), 도 2의 제2 대각선(212), 도 2의 제3 대각선(214), 또는 그것들의 조합을 포함할 수 있다.
제1 기울기 맵(774)은 도 17의 수평 기울기 맵(1706), 도 19의 원형 기울기 맵(1910), 도 19의 마름모 형상의 기울기 맵(1912), 도 19의 조합 기울기 맵(1914) 또는 그것들의 조합을 포함할 수 있다. 제1 기울기 맵(774)의 계산은 소실점(132)의 미리 설정된 맵핑과 제1 소실선(504)과 제2 소실선(506)의 도 7의 라인 카테고리(731)를 기반으로 한다.
예를 들어 제1 소실선(504)만이 사용 가능하고 제1 소실선(504)이 수평선(204)에 지정되면, 그때 제1 기울기 맵(774)은 수평 기울기 맵(1706)으로써 계산될 수 있다. 수평 기울기 맵(1706)은 도 17의 하위 영역(1710)에서 보다 도 17의 상위 영역(1708)에서 다른 기울기를 가질 수 있다.
다른 예에서, 만약 소실점(132)이 소스 이미지(130)의 상위 부분에 위치하고 제1 소실선(504)과 제2 소실선(506)이 정의되면, 그때 제1 기울기 맵(774)은 원형 기울기 맵(1910)으로써 계산될 수 있다. 원형 기울기 맵(1910)은 등방성인 깊이 기울기와 소실점(132) 주변의 원형 대칭을 기반으로 계산될 수 있다.
다른 예에서 만약, 소실점이 소스 이미지(130)의 상위 부분에 위치하고 제1 소실선(504)과 제2 소실선(506)이 정의되면, 그때 제1 기울기 맵(774)은 결합 기울기 맵(1914)으로써 계산될 수 있다. 결합 기울기 맵(1914)은 원형 기울기 맵(1910)과 마름모 형상의 기울기 맵(1912)의 결합에 의해 계산될 수 있다.
제2 기울기 맵 계산 모듈(2204)은 소실점(132), 제1 소실선(504), 제2 소실선(506)의 존재를 포함하는 소스 이미지(130)의 특성을 기반으로 소스 이미지(130)의 두 번째 기울기 맵을 계산할 수 있다. 제1 소실선(504)과 제2 소실선(506)은 수평선(204), 수직선(208), 제1 대각선(210), 제2 대각선(212), 제3 대각선(214) 또는 그것들의 조합을 포함할 수 있다.
제2 기울기 맵(776)은 마름모 형상의 기울기 맵(1912), 결합 기울기 맵(1914), 또는 그것들의 조합을 포함할 수 있다. 제2 기울기 맵(776)의 계산은 소실점(132)의 미리 정의된 맵핑과 제1 소실선(504)과 제2 소실선(506)의 라인 카테고리(731)를 기반으로 한다.
예를 들어, 만일 소실점(132)가 소스 이미지(130), 제1 소실선(504) 및 제2 소실선(506)이 정의된 상부에 위치한다면, 제2 기울기 맵(776)은 마름모 형상의 기울기 맵(1912)으로서 계산될 수 있다. 마름모 형상의 기울기 맵(1912)은 소실점(132) 주위에 집중되고 90도 대칭을 나타내는 마름모 깊이 기울기를 기반으로 계산될 수 있다.
이미지 기울기 맵 계산 모듈(2206)은 제1 기울기 맵(774)과 제2 기울기 맵(776)의 결합에 의해 이미지 기울기 맵(772)을 계산할 수 있다. 제1 기울기 맵(774)과 제2 기울기 맵(776)은 다양한 방법으로 결정될 수 있다. 예를 들어 제1 기울기 맵(774)과 제2 기울기 맵(776)은 제1 기울기 맵(774)과 제2 기울기 맵(776)에 있는 각각의 대응하는 점에서 기울기를 더하는 것에 의해 결합될 수 있다. 다른 예에서 제1 기울기 맵(774)과 제2 기울기 맵(776)은 두 개의 기울기 맵을 함께 곱하는 것에 의해 결합될 수 있다.
깊이 맵 생성 모듈(2208)은 이미지 기울기 맵(772)과 소실점(132)을 결합하는 것에 의해 도 7의 깊이 맵(770)을 생성할 수 있다. 깊이 맵(770)은 소스 이미지(130)에서 각각의 픽셀의 명백한 깊이를 나타낼 수 있다. 이미지 기울기 맵(772)은 소스 이미지(130)에서 각각의 픽셀의 관련된 깊이를 나타낸다. 깊이 맵(770)은 다양한 방법으로 생성될 수 있다. 예를 들어 깊이 맵(770)은 소실점(132)의 깊이와 이미지 기울기 맵(772)의 관련된 깊이의 조정에 의해 생성될 수 있다.
도 6의 제1 제어 유닛(602)은 제1 기울기 맵(774)을 계산하기 위해 제1 기울기 맵 계산 모듈(2202)에 대한 도 6의 제1 소프트웨어(618)를 실행할 수 있다. 제1 제어 유닛(602)은 제2 기울기 맵(776)을 계산하기 위해 제2 기울기 맵 계산 모듈(2204)에 대한 제1 소프트웨어(618)를 실행할 수 있다. 제1 제어 유닛(620)은 이미지 기울기 맵(772)을 계산하는 이미지 기울기 맵 계산 모듈(2206)을 위해 제1 소프트웨어(618)을 실행할 수 있다. 제1 제어 유닛(602)은 깊이 맵(770)을 생성하기 위해 깊이 맵 생성 모듈(2208)에 대한 제1 소프트웨어(618)를 실행할 수 있다.
도 23을 참조하면 본 발명의 추가적인 예에서, 도 1의 삼차원 디스플레이 시스템(100)의 동작의 방법을 나타내는 제어 흐름도가 도시된다. 상기 방법(2300)은: 모듈(2302)에서 소스 이미지로부터 가장자리 픽셀 이미지를 계산하는 단계; 모듈(2304)에서 변환을 적용하여 상기 가장자리 픽셀 이미지로부터 라인 히스토그램을 발생하는 단계; 모듈(2306)에서 수평 라인 카테고리, 수직 라인 카테고리, 대각선의 라인 카테고리, 이것들의 조합을 위한 라인 카테고리 임계값에 부응하거나 초과하는 상기 라인 히스토그램으로부터 후보 선을 계산하는 단계; 모듈(2308)에서 후보 라인에 있는 소멸 점을 계산하는 단계; 그리고 모듈(2310)에서 첫 번째 장치 상에서 소스 이미지를 디스플레이하기 위한 소실점에 대한 깊이 맵을 발생하는 단계를 포함한다.
본 발명은 많은 관점을 갖는 것으로 발견되었다.
기대치 않게 발명된 중요한 관점은 본 발명이 삼차원 이미지에 대한 단순한 메커니즘을 제공할 수 있는 것이다.
또 다른 관점은 본 발명이 계산적인 요구를 줄이는 것이고 좋은 삼차원 이미지 품질을 제공하는 것이다. 이것은 삼차원 실시간 디스플레이를 허용한다.
본 발명의 또 다른 중요한 관점은 가치 있게 지원하고 비용을 줄이는 역사적인 경향과 시스템을 단순화하는 것과 퍼포먼스를 증가시키는 것을 서비스한다.
본 발명의 이런 저런 가치 있는 관점은 적어도 다른 레벨에 대한 기술적인 상태를 발전시킨다.
결국 본 발명의 그래픽 디스플레이 시스템은 삼차원 이미지를 디스플레이하기 위한 중요하고 이전까지 알려지지 않았고 이용 가능하지 않은 해결책, 능력, 기능적인 관점을 제공하는 것이 밝혀졌다. 결과의 방법, 과정, 장치, 제품, 및/또는 시스템이 간단하고 비용이 효율적이고 복잡하지 않고 높은 기능성 및 효과적이고 놀랍고 잘 알려진 기술을 적용함으로써 개선될 수 있고, 결국 종래 제조 방법 또는 절차와 기술과 완전히 양립할 수 있다.
본 발명의 요지가 특정 실시 예에 대해 상세하게 설명되었지만, 당업자는 전술된 것을 이해하고 나면 이러한 실시 예의 대안 예, 변경예 및 등가물을 용이하게 생성할 수 있다는 것을 알 수 있다. 따라서, 본 개시의 범위는 한정이 아닌 예시를 위한 것이고, 본 개시는 당업자에게 용이하게 명백해질 수 있는 것처럼 본 발명의 요지에 대한 이러한 변형예, 변경예 및/또는 추가물의 포함을 배제하지 않는다.
606 : 제1 사용자 인터페이스 608 : 제1 사용자 입력장치
604 : 제1 통신 인터페이스 616 ; 제1 저장 인터페이스
615 : 제1 저장 유닛 610 : 제1 통신 유닛
612 : 제1 통신 인터페이스 602 : 제1 제어 유닛
618 : 제1 소프트웨어 620 : 제1 디스플레이 유닛
622 : 제1 디스플레이 인터페이스 636 : 제2 사용자 인터페이스
638 : 제2 사용자 입력장치 634 : 제2 통신 인터페이스
646 ; 제2 저장 인터페이스 644 : 제2 저장 유닛
640 : 제2 통신 유닛 642 : 제2 통신 인터페이스
632 : 제2 제어 유닛 648 : 제2 소프트웨어
650 : 제2 디스플레이 유닛 652 : 제2 디스플레이 인터페이스
802 : 가장자리 맵 130 : 소스 이미지(130)
802 : 로우 패스 필터 모듈 804 : 검출 가장자리 모듈
806 : 가장자리 두께 모듈 808 : 가장자리 축소 모듈
202 : 가장자리 픽셀 이미지 810 : 중요 요소 분석 모듈
812 : 부호 변경 검출 모듈 902 : 변환 모듈
904 : 변형 모듈 202 : 가장자리 픽셀 이미지
302 : 가장자리 픽셀 216 : 라인 세그먼트
402 : 라인 히스토그램 720 : 변형
1002 : 수평선 모듈 1004 : 수직선 모듈
1006 : 대각선 모듈 402 : 라인 히스토그램
730 : 후보 라인 731 : 라인 카테고리
733 : 카테고리 임계값 406 : 국부 최대점
1010 : 수평 라인 카테고리 204 : 수평선
1012 : 수직선 카테고리 208 : 수직선
1014 : 대각선 카테고리 210 : 제1 대각선
212 : 제2 대각선 214 : 제3 대각선

Claims (20)

  1. 소스 이미지로부터 가장자리 픽셀 이미지를 계산하는 단계;
    변환을 적용하여 상기 가장자리 픽셀 이미지로부터 라인 히스토그램을 획득하는 단계;
    상기 획득된 라인 히스토그램 중, 수평 라인 카테고리, 수직 라인 카테고리 및 대각선의 라인 카테고리 중 적어도 하나의 라인 카테고리의 임계값 이상인 라인 히스토그램으로부터 후보 라인을 계산하는 단계;
    상기 후보 라인 상에서 소실점을 계산하는 단계; 및
    상기 소스 이미지를 디스플레이하기 위한 상기 소실점에 대한 깊이 맵을 획득하는 단계;를 포함하는 디스플레이 시스템의 운용 방법.
  2. 제 1항에 있어서,
    상기 라인 히스토그램을 획득하는 단계는, 가장자리 픽셀 이미지 상에서 그래디언트(Gradient) 기반 허프 변환의 계산을 포함하는 것을 특징으로 하는 디스플레이 시스템의 운용 방법.
  3. 제 1항에 있어서,
    대각선의 방향을 갖는 상기 후보 라인을 위한 제1 소실선을 식별하는 단계;
    상기 대각선 방향을 갖고 상기 제1 소실선에 평행하지 않은 상기 후보 라인에 대한 제2 소실선을 식별하는 단계; 및
    상기 제1 소실선과 상기 제2 소실선의 상호 작용을 위한 소실점을 계산하는 단계;를 더 포함하는 디스플레이 시스템의 운용 방법.
  4. 제 1항에 있어서,
    대각선 방향을 갖는 상기 후보 라인을 위한 제1 소실선을 식별하는 단계;
    수평 방향을 갖는 상기 후보 라인을 위한 제2 소실선을 식별하는 단계; 및
    상기 제1 소실선과 상기 제2 소실선의 상호 작용을 위한 상기 소실점을 계산하는 단계;를 더 포함하는 디스플레이 시스템의 운용 방법.
  5. 제 1항에 있어서,
    대각선 방향을 갖는 상기 후보 라인을 위한 제1 소실선을 식별하는 단계;
    수직 방향을 갖는 상기 후보 라인을 위한 제2 소실선을 식별하는 단계; 및
    상기 제1 소실선과 상기 제2 소실선의 상호 작용을 위한 상기 소실점을 계산하는 단계;를 더 포함하는 디스플레이 시스템의 운용 방법.
  6. 소스 이미지로부터 가장자리 픽셀 이미지를 계산하는 단계;
    변환을 적용하여 상기 가장자리 픽셀 이미지로부터 라인 히스토그램을 획득하는 단계;
    수평 라인 카테고리, 수직 라인 카테고리 및 대각선의 라인 카테고리 중 적어도 하나의 라인 카테고리의 임계값을 선택하는 단계;
    상기 수평 라인 카테고리, 상기 수직 라인 카테고리 및 상기 대각선의 라인 카테고리 중 적어도 하나의 임계값 이상인 상기 라인 히스토그램으로부터 후보 라인을 계산하는 단계;
    상기 후보 라인 상에서 소실점을 계산하는 단계; 및
    상기 소스 이미지를 디스플레이하기 위한 상기 소실점에 대한 깊이 맵을 획득하는 단계;를 포함하는 디스플레이 시스템의 운용 방법.
  7. 제 6항에 있어서,
    상기 후보 라인을 계산하는 단계는,
    상기 수평 라인 카테고리, 상기 수직 라인 카테고리 및 상기 대각선의 라인 카테고리 중 적어도 하나의 상기 라인 히스토그램의 국부 최대점(local maxima)을 식별하는 단계; 및
    상기 수평 라인 카테고리, 상기 수직 라인 카테고리 및 상기 대각선의 라인 카테고리 중 적어도 하나의 라인 카테고리에 임계값을 할당하는 단계를 포함하는 것을 특징으로 하는 디스플레이 시스템의 운용 방법.
  8. 제 6항에 있어서,
    상기 깊이 맵을 획득하는 단계는,
    수평 라인을 검출하는 단계;
    상부 깊이 분포를 갖는 상기 수평 라인 위에 상기 소스 이미지의 상부 영역을 위한 제1 기울기 맵(gradient map)을 계산하는 단계;
    하부 깊이 분포를 갖는 상기 수평 라인 아래에 상기 소스 이미지의 상부 영역을 위한 제2 기울기 맵을 계산하는 단계; 및
    상기 제1 기울기 맵 및 상기 제2 기울기 맵의 결합에 의해 상기 깊이 맵을 획득시키는 단계;를 포함하는 것을 특징으로 하는 디스플레이 시스템의 운용 방법.
  9. 제 6항에 있어서,
    상기 깊이 맵을 획득하는 단계는,
    제1 대각선 라인을 검출하는 단계;
    상기 소스 이미지의 상부 영역에서 상기 제1 대각선 라인 및 제2 대각선 라인이 상호 작용하는 상기 제2 대각선 라인을 검출하는 단계;
    상기 소실점을 기반으로 하여 원형 대칭으로 등방성(isotropic)의 기울기 분포를 갖는 제1 기울기 맵을 계산하는 단계;
    90도 대칭으로 상호 작용 소실점 상에서 중심에 있는 마름모 형상의 기울기 분포를 갖는 제2 기울기 맵을 계산하는 단계; 및
    상기 제1 기울기 맵 및 상기 제2 기울기 맵의 결합에 의해 상기 깊이 맵을 획득하는 단계;를 포함하는 것을 특징으로 하는 디스플레이 시스템의 운용 방법.
  10. 제 6항에 있어서,
    상기 깊이 맵을 획득하는 단계는,
    수평 기울기 맵 및 마름모 형상의 기울기 맵의 결합에 의해 상기 깊이 맵을 획득하는 단계;를 포함하는 것을 특징으로 하는 디스플레이 시스템의 운용 방법.
  11. 소스 이미지를 저장하기 위한 제1 저장 유닛;
    상기 제1 저장 유닛과 연결되며, 상기 소스 이미지로부터 가장자리 픽셀 이미지를 계산하기 위한 가장자리 검출 모듈;
    상기 가장자리 검출 모듈과 연결되고, 변환을 사용하여 상기 가장자리 픽셀 이미지로부터 라인 히스토그램을 획득하기 위한 직선 검색 모듈;
    상기 직선 검색 모듈과 연결되어, 상기 라인 히스토그램 중 수평 라인 카테고리, 수직 라인 카테고리 및 대각선의 라인 카테고리 중 적어도 하나의 라인 카테고리의 임계값 이상인 라인 히스토그램으로부터 후보 라인을 계산하기 위한 라인 검출 모듈;
    상기 라인 검출 모듈에 연결되며, 상기 후보 라인 상에서 소실점을 계산하기 위한 소실점 계산 모듈; 및
    상기 소실점 계산 모듈과 연결되며, 상기 소스 이미지를 디스플레이하기 위한 상기 소실점에 대한 깊이 맵을 획득하기 위한 깊이 획득 모듈;을 포함하는 삼차원 디스플레이 시스템.
  12. 제 11항에 있어서,
    상기 직선 검색 모듈은, 상기 가장자리 픽셀 이미지 상에서 기울기(gradient) 기반 허프(Hough) 변환의 계산에 의해 상기 라인 히스토그램을 획득하는 것을 특징으로 하는 삼차원 디스플레이 시스템.
  13. 제 11항에 있어서,
    상기 라인 검출 모듈에 연결되며, 대각 방향을 갖는 제1 소실선과 대각 방향을 가지고 상기 제1 소실선과 평행하지 않는 제2 소실선을 식별하는 소실선 검색 모듈;을 더 포함하며,
    상기 소실점 계산 모듈은 제1 소실선 및 제2 소실선의 상호 작용을 위한 상기 소실점을 계산하는 것을 특징으로 하는 삼차원 디스플레이 시스템.
  14. 제 11항에 있어서,
    상기 라인 검출 모듈에 연결되고, 대각 방향을 갖는 제1 소실선과 수평 방향을 갖는 제2 소실선을 식별하기 위한 소실선 검출 모듈;을 더 포함하고,
    상기 소실점 계산 모듈은 상기 제1 소실선 및 상기 제2 소실선의 상호 작용을 위한 상기 소실점을 계산하는 것을 특징으로 하는 삼차원 디스플레이 시스템.
  15. 제 11항에 있어서,
    상기 라인 검출 모듈에 연결되고, 대각선 방향을 갖는 제1 소실선과 수직 방향을 갖는 제2 소실선을 식별하기 위한 소실선 검출 모듈;을 더 포함하고,
    상기 소실점 계산 모듈은 상기 제1 소실선 및 상기 제2 소실선의 상호 작용을 위한 상기 소실점을 계산하는 것을 특징으로 하는 삼차원 디스플레이 시스템.
  16. 제 11항에 있어서,
    상기 라인 검출 모듈은 상기 수평 라인 카테고리, 수직 라인 카테고리 및 대각선 카테고리 중 적어도 하나의 라인 히스토그램의 국부 최대점(local maxima)을 식별하는 것을 특징으로 하는 삼차원 디스플레이 시스템.
  17. 제 16항에 있어서,
    상기 라인 검출 모듈에 연결되고, 제1 소실선 및 제2 소실선의 계산을 위한 소실선 검출 모듈;을 더 포함하는 삼차원 디스플레이 시스템.
  18. 제 16항에 있어서,
    상기 깊이 획득 모듈과 연결되고, 상부 깊이 분포를 갖는 수평 라인 위에 상기 소스 이미지의 상부 영역을 위한 제1 기울기 맵을 계산하기 위한 제1 기울기 맵 계산 모듈; 및
    상기 깊이 획득 모듈과 연결되고, 하부 깊이 분포를 갖는 수평 라인 아래에 상기 소스 이미지의 상부 영역을 위한 제2 기울기 맵을 계산하기 위한 제2 기울기 맵 계산 모듈;을 더 포함하고,
    상기 깊이 획득 모듈은 상기 제1 기울기 맵과 상기 제2 기울기 맵으로부터 상기 깊이 맵을 획득하는 것을 특징으로 하는 삼차원 디스플레이 시스템.
  19. 제 16항에 있어서,
    상기 깊이 획득 모듈과 연결되고, 상기 소실점의 주위에서 원형의 대칭으로 등방성 기울기 분포를 갖는 제1 기울기 맵을 계산하기 위한 제1 기울기 맵 계산 모듈; 및
    상기 깊이 획득 모듈과 연결되고, 상기 소실점 주변에 마름모 형상의 기울기 분포를 갖는 제2 기울기 맵을 계산하기 위한 제2 기울기 맵 계산 모듈;을 더 포함하고,
    상기 깊이 획득 모듈은 상기 제1 기울기 맵 및 상기 제2 기울기 맵으로부터 상기 깊이 맵을 획득하는 것을 특징으로 하는 삼차원 디스플레이 시스템.
  20. 제 16항에 있어서,
    상기 깊이 획득 모듈과 연결되고, 수평 기울기 맵을 계산하기 위한 제1 기울기 맵 계산 모듈; 및
    상기 깊이 획득 모듈과 연결되고, 상기 소실점 주변에 마름모 형상의 기울기 분포를 갖는 제2 기울기 맵을 계산하기 위한 제2 기울기 맵 계산 모듈;을 더 포함하고,
    상기 깊이 획득 모듈은 상기 제1 기울기 맵 및 상기 제2 기울기 맵으로부터 상기 깊이 맵을 획득하기 위한 것을 특징으로 하는 삼차원 디스플레이 시스템.
KR1020120060031A 2011-08-25 2012-06-04 깊이 맵 매커니즘을 구비한 삼차원 디스플레이 시스템 및 이의 운용 방법 KR101910071B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP12175617.5A EP2562717B1 (en) 2011-08-25 2012-07-09 Three-dimensional display system with depth map mechanism and method of operation thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/218,444 2011-08-25
US13/218,444 US8571314B2 (en) 2010-09-02 2011-08-25 Three-dimensional display system with depth map mechanism and method of operation thereof

Publications (2)

Publication Number Publication Date
KR20130023054A KR20130023054A (ko) 2013-03-07
KR101910071B1 true KR101910071B1 (ko) 2018-12-20

Family

ID=48246086

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120060031A KR101910071B1 (ko) 2011-08-25 2012-06-04 깊이 맵 매커니즘을 구비한 삼차원 디스플레이 시스템 및 이의 운용 방법

Country Status (1)

Country Link
KR (1) KR101910071B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004520660A (ja) * 2001-05-23 2004-07-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 深度マップの計算
KR101637229B1 (ko) * 2008-12-23 2016-07-08 고려대학교 산학협력단 Sift 기반의 특징점 추출 장치 및 방법과 이를 이용한 얼굴 인식 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Battiato S et al, "3D stereoscopic image pairs by depth-map generation", Proceedings of the 2nd International Sysmpsium on 3D Data Processing, Visualization, and Transmission (2004-09-06)*
Horst Wildenauer et al, "Vanishing Point Detection in Complex Manmade Worlds" (2007-09-11)

Also Published As

Publication number Publication date
KR20130023054A (ko) 2013-03-07

Similar Documents

Publication Publication Date Title
US8571314B2 (en) Three-dimensional display system with depth map mechanism and method of operation thereof
US10540576B1 (en) Panoramic camera systems
JP6125100B2 (ja) 点特徴と線特徴とを使用する堅牢な追跡
US8933927B2 (en) Display system with image conversion mechanism and method of operation thereof
US11050994B2 (en) Virtual reality parallax correction
US9300947B2 (en) Producing 3D images from captured 2D video
US20210225038A1 (en) Visual object history
US11720996B2 (en) Camera-based transparent display
WO2020259412A1 (zh) 展示资源的方法、装置、设备及存储介质
EP2562717B1 (en) Three-dimensional display system with depth map mechanism and method of operation thereof
US20100253682A1 (en) Image generating apparatus and computer program
US11972556B2 (en) Mobile multi-camera multi-view capture
US8233664B2 (en) Determining relative depth of points in multiple videos
US8749548B2 (en) Display system with image conversion mechanism and method of operation thereof
JP2006284704A (ja) 立体地図簡略化装置及び立体地図簡略化方法
WO2022126921A1 (zh) 全景图片的检测方法、装置、终端及存储介质
KR101910071B1 (ko) 깊이 맵 매커니즘을 구비한 삼차원 디스플레이 시스템 및 이의 운용 방법
CN105323577A (zh) 多视图图像显示设备及其视差估计方法
US8938129B2 (en) Display system with edge map conversion mechanism and method of operation thereof
EP2536160B1 (en) Display system with image conversion mechanism and method of operation thereof
US9165339B2 (en) Blending map data with additional imagery
CN116091572B (zh) 获取图像深度信息的方法、电子设备及存储介质
EP2624208A2 (en) Display system with image conversion mechanism and method of operation thereof
WO2024072722A1 (en) Smooth continuous zooming in a multi-camera system by image-based visual features and optimized geometric calibrations
CN117456134A (zh) 无人机vr显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant