KR20130097014A - 확장형 3차원 입체영상 디스플레이 시스템 - Google Patents

확장형 3차원 입체영상 디스플레이 시스템 Download PDF

Info

Publication number
KR20130097014A
KR20130097014A KR1020120018690A KR20120018690A KR20130097014A KR 20130097014 A KR20130097014 A KR 20130097014A KR 1020120018690 A KR1020120018690 A KR 1020120018690A KR 20120018690 A KR20120018690 A KR 20120018690A KR 20130097014 A KR20130097014 A KR 20130097014A
Authority
KR
South Korea
Prior art keywords
display device
display
space
stereoscopic
stereoscopic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020120018690A
Other languages
English (en)
Other versions
KR101926577B1 (ko
Inventor
양웅연
김혜미
김진호
김기홍
이길행
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120018690A priority Critical patent/KR101926577B1/ko
Priority to US13/565,421 priority patent/US9230500B2/en
Publication of KR20130097014A publication Critical patent/KR20130097014A/ko
Application granted granted Critical
Publication of KR101926577B1 publication Critical patent/KR101926577B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

확장형 3차원 입체영상 디스플레이 시스템이 개시된다. 본 발명의 일 실시예에 따른 확장형 3차원 입체영상 디스플레이 시스템은 동종 및 이기종의 디스플레이 장치를 하나의 공간에서 융합시켜서 통일된 서비스를 제시할 수 있는 디스플레이 플랫폼 및 운영 기술을 제공한다.

Description

확장형 3차원 입체영상 디스플레이 시스템 {Expanded 3D stereoscopic display system}
본 발명의 일 양상은 3D 입체영상을 가시화시키는 디스플레이 플랫폼 기술과 이를 활용한 디지털 콘텐츠를 서비스하는 기술에 관한 것이다.
영화나 TV 등에서 대중화가 진행되고 있는 3D 입체영상 기술은 일반적으로 인간이 3차원 입체감을 느끼는 다양한 원인인 휴먼팩터(human factor)들 중에서 인간 외부 환경의 3차원 물체가 양쪽 눈의 망막에 맺히는 상의 차이인 양안 시차 효과를 사용하고 있다.
그러나, 양안 시차 효과에 의존하는 3D 입체영상 제시기술은 자연스러운 입체감 표현에 있어서 근본적으로 해결하기 어려운 한계점을 가진다. 예를 들어, 전술한 기술은 고정된 거리에 있는 영상 출력면(예: LCD, 스크린)에 양안 시차 정보를 출력함으로써 영상 출력면 앞-뒤 공간에 형성되는 가상의 깊이감을 가진 영상을 사용자에게 제시하기 때문에, 입체감의 증대에 따른 컨버전스(convergence)-수용(accommodation) 불일치 문제를 증가시켜서 인간의 시각 운동 및 인지 구조에 상당한 피로감을 유발시킬 수 있다. 컨버전스-수용 불일치 문제는 컨버전스 거리(convergence distance)와 초점 거리(focal distance)가 일치하지 않는 현상이다. 컨버전스는 두 눈이 대상 물체를 기준으로 가운데로 모이는 현상으로, 사용자의 초점은 영상 출력면에 형성되고, 컨버전스는 영상 출력면의 앞-뒤 공간에 형성됨에 따라 컨버전스 거리와 초점 거리가 불일치하게 된다.
레이저 광원을 이용하여 영상을 기록하고 복원하는 순수한 홀로그래픽 출력 장치를 제외한 상용화된 3D 입체영상 장치(예: 3DTV, 3D 영화관, 무안경식 3D 디스플레이, HMD, EGD 등)는 모두 양안 시차 기반의 입체영상 출력 장치이므로 전술한 문제를 가진다. 그래서, 기존 시스템들은 콘텐츠의 내용 및 시청 시간 제한, 시청 위치 제한 등의 시청 환경 변경을 통해서 역효과를 줄이려고 노력하고 있다. 그러나, 근본적인 문제를 해결하지 못하는 상황에서 부작용에 대한 사회 인식이 커지게 되어, 최근에는 3D 입체영상에 대한 휴먼팩터 연구협회와 포럼이 창립되는 등 산업 및 연구계의 관심이 증가하고 있는 상황이다.
영화와 같은 콘텐츠에서 제시되는 3차원 영상 제시기술인 인터랙티브 홀로그램 디스플레이 기술은 인간의 입체 시각 인지특성을 완전히 수용하는 이상적인 디스플레이 기술이다. 그러나, 시각적 품질이 떨어지거나 반사광학계 구조를 활용한 가상의 홀로그램 효과를 표현하고, 정지된 사진 이미지만을 표현할 수 있는 등 현재 기술 수준으로는 미래 공상과학 영화와 같이는 실현이 요원한 상태이므로, 일반 소비자들에게는 3D 입체영상 실용화 기술 대한 오해와 현재 기술에 대한 실망감을 높이는 부작용이 있다.
3D 영화와 3D TV가 일반인의 관심을 끌면서, 스크린에서 튀어나온 공이 시청자의 옆을 스쳐 지나가거나 높은 수준의 입체감 효과를 연출하는 장면으로 CF 영상이 제시되고 있다. 이와 같은 현상은 생산자와 소비자가 3D 입체영상을 통해서 실감나는 입체 콘텐츠를 즐기고 싶다는 바람을 표현하는 현상으로 해석될 수 있다. 그러나, 전술한 양안 시차 원리에 기반을 둔 기술은 관찰 대상 물체가 디스플레이 장치의 영상 출력 스크린과 사용자 눈 사이의 공간에 정의되는 시각공간(view volume)의 범위 내에서 이탈하거나, 관찰 대상 물체의 과도한 입체효과를 표현하는 경우 휴먼팩터 이슈(예: 눈 통증, 어지러움 등)가 발생하게 되므로, 현실적으로는 가상의 CF용 영상으로만 묘사되고 있다.
일 양상에 따라, 3D 입체영상을 가시화시키는 디스플레이 플랫폼 기술과 이를 활용한 디지털 콘텐츠를 서비스하기 위한 확장형 3차원 입체영상 디스플레이 시스템을 제안한다.
일 양상에 따른 확장형 3D 입체영상 디스플레이 시스템은, 확장형 3D 입체영상 공간을 제공하는 다수의 디스플레이 장치와, 3D 입체영상을 표시하기 위한 물리공간을 각 디스플레이 장치별로 분할 또는 공유하도록 디스플레이 장치별 3D 입체영상 표시공간을 설정하고, 디스플레이 장치별로 설정된 3D 입체영상 표시공간정보와 시연되는 콘텐츠의 연출 시나리오 및 사용자 시선정보를 기초로 하여 콘텐츠를 각 디스플레이 장치로 공유 및 분배하여, 최종적으로 다중 3D 입체영상을 하나의 입체영상 표시공간에 융합하는 제어부를 포함한다.
이때, 다수의 디스플레이 장치 중 적어도 하나는 다중영상을 혼합 표시하는 거치형 디스플레이 장치일 수 있다. 또는 영상출력 모듈의 위치 및 자세가 콘텐츠의 시연 중간에 변경될 수 있는 이동형 디스플레이 장치일 수 있다. 또는 영상 출력 부분이 투명한 투시공간으로 형성된 디스플레이 장치일 수 있다. 또는 투명 디스플레이 패널 형태 또는 투명 디스플레이 기능을 갖는 휴대형 디스플레이 장치일 수 있다. 또는 안경처럼 머리에 착용하거나 안구의 움직임을 감지하여 사용자 시선정보를 획득하는 기능을 부가적으로 보유한 착용형 디스플레이 장치일 수 있다.
일 실시 예에 따르면, 1개의 3D 입체 디스플레이 장치를 이용하여 제한적인 3D 공간감을 표현하는 기존 기술의 한계점을 극복할 수 있다. 즉, 동종 및 이기종의 디스플레이 장치를 하나의 공간에서 융합시켜서 통일된 서비스를 제시할 수 있는 디스플레이 플랫폼 및 운영 기술을 제공하여, 3D 입체영상에 대해 사용자의 체험감을 완전하게 재현하고, 깊이감을 과도하게 표현하는 3D 입체영상 시청으로 인한 시각적 피로도를 없애고, 자연스러운 3D 입체영상 공간감을 제공할 수 있다.
세부적으로는, 다중의 거치형 디스플레이 장치를 통해 동일한 입체영상 표시공간에 영상을 혼합하여 가시화시키는 방법, 이동형 장치의 다양한 변형을 가능하게 하는 모듈형 구조 및 투명 디스플레이 공간을 구현하는 방법, 휴대형 디스플레이 장치와 투명 디스플레이 패널을 E3D 플랫폼으로 활용하는 방법, 착용형 디스플레이 장치에서 두 가지 이상의 센서를 혼합한 하이브리드 기법으로 정밀도가 높고 안정적인 사용자 시선 추적 방법, 외부 환경 센서를 활용한 차광막 제어 및 사용자 상호작용 시나리오별로 필요에 따라서 다양한 가상 스크린의 영상 위치를 바꿀 수 있는 다중 광학식 초점 제어 방법을 제공한다.
본 발명의 활용은 현재의 디스플레이 장치에서 지원되는 3D 입체 공간감 표현의 한계를 극복한 다양한 3D 입체영상 콘텐츠 서비스를 가능하게 할 수 있으므로, 3D 디스플레이 플랫폼 기반의 가전, 교육, 훈련, 의료 및 군사 분야 등 다양한 분야의 가상현실 및 혼합현실 시스템을 구현하는 핵심 기술로 활용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 확장형 3D 입체영상 디스플레이 시스템의 구성도,
도 2는 본 발명의 일 실시예에 따른 도 1의 제어부의 세부 구성도,
도 3a 내지 도 3d는 본 발명의 다양한 실시예에 따라 다수의 디스플레이 장치를 이용하여 융합된 입체영상을 제시함으로써 E3D를 구현하는 실시예들을 나타내는 참조도,
도 4는 본 발명의 일 실시예에 따른 확장형 3D 입체영상 디스플레이 시스템에 포함되는 거치형 디스플레이 장치의 외관도,
도 5는 본 발명의 일 실시예에 따라 다수의 거치형 디스플레이 장치를 이용하여 다중영상을 혼합 출력하는 예를 도시한 참조도,
도 6은 본 발명의 일 실시예에 따른 확장형 3D 입체영상 디스플레이 시스템에 포함되는 이동형 디스플레이 장치의 외관도,
도 7a 내지 도 7c는 본 발명의 일 실시예에 따른 이동형 디스플레이 장치 사용 예를 도시한 참조도,
도 8a 내지 도 8c는 본 발명의 다른 실시예에 따른 이동형 디스플레이 장치 사용 예를 도시한 참조도,
도 9는 본 발명의 일 실시예에 따른 확장형 3D 입체영상 디스플레이 시스템에 포함되는 휴대형 디스플레이 장치의 외관도,
도 10은 본 발명의 일 실시예에 따라 확장형 3D 입체영상 디스플레이 시스템에 포함되는 EGD의 구조도,
도 11a 및 도 11b는 신체 접촉식 시선 추적부와 신체 비접촉식 시선 추적부를 포함하는 EGD의 외관도,
도 12는 본 발명의 일 실시예에 따른 신체 비접촉식 시선 추적부의 외관도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 확장형 3D 입체영상 디스플레이 시스템(1)의 구성도이다.
확장형 3D 입체영상 디스플레이 시스템(1)은 다수의 디스플레이 장치와 제어부(20)를 포함한다. 다수의 디스플레이 장치는 거치형 디스플레이 장치(11), 이동형 디스플레이 장치(12), 휴대형 디스플레이 장치(13) 및 착용형 디스플레이 장치(14) 중 어느 하나 이상을 포함한다.
본 발명은 3D 입체영상에 대해 사용자의 체험감을 완전하게 재현하고, 1개의 3D 입체 디스플레이 장치를 이용하는 경우의 편안한 입체영상 출력 공간 제시의 한계, 예를 들어 깊이감을 과도하게 표현하는 3D 입체영상 시청으로 인한 시각적 피로도를 없애고, 자연스러운 3D 입체영상 공간감을 제공하기 위한 것이다. 이를 위해 본 발명은 확장형 3D 입체영상 디스플레이 플랫폼 및 그 운영 기술인 Expanded 3D(E3D) 기술을 제안하여, 동종(homogeneous) 또는 이기종(heterogeneous)의 디스플레이 장치별로 디스플레이되는 다중 3D 입체영상을 하나의 입체영상 표시공간에 융합시키고자 한다. 동종 또는 이기종의 디스플레이는 동일하거나 서로 다른 H/W 구성과 S/W 운영 환경 기반에서 동작하는 디스플레이를 말한다. 본 발명에서는 현존하는 다양한 2D 및 3D 디스플레이 장치와 추후 새롭게 제안되는 디스플레이 장치로부터 출력되는 다중 3D 입체영상을 하나의 입체영상 표시공간을 융합하여 하나로 통합 제어되는 입체영상 상호작용 공간을 제공한다.
전술한 동종 또는 이기종의 디스플레이는 사용자 시점으로부터의 거리가 먼 정도에 따라, 거치형 디스플레이 장치(11), 이동형 디스플레이 장치(12), 휴대형 디스플레이 장치(13) 및 착용형 디스플레이 장치(14)로 분류될 수 있다.
거치형 디스플레이 장치(11)는 설치 위치가 고정될 수 있는 디스플레이로, 예를 들면 TV, 3DTV, 일반 프로젝터, 3D 프로젝터 등일 수 있다. 1개의 단일 디스플레이 장치 또는 다수의 2D 및 3D 장치를 혼합하여 입체영상 표시공간을 구성할 수 있고, 사용자 주변공간의 벽을 모두 채우는 가상현실 가시화 시스템 CAVE(Cave Automatic Virtual Environment) 형태의 디스플레이 공간을 구성하여, 사용자의 가상참여 공간을 물리적인 벽을 초월한 공간으로 확장할 수도 있다.
이동형 디스플레이 장치(12)는 이동 가능한 형태의 디스플레이로, 입체영상 표시공간이 3면인 TriView-Display, 입체영상 표시공간이 4면인 QuadView-Display, 입체영상 표시공간이 6면인 HexaView-Display 등의 구성이 가능한 플렉시블 ㄷ디딧디스플레이(le-Display)가 포함될 수 있다. 나아가, 이동식 바퀴 등이 내장되어 이동시킬 수 있는 거치형 디스플레이 장치, 예를 들면 이동식 키오스크 디스플레이도 포함될 수 있다.
휴대형 디스플레이 장치(13)는 사용자가 휴대 가능한 모바일 형태의 디스플레이로, 예를 들면 휴대폰, 스마트폰, 스마트패드 등일 수 있다.
착용형 디스플레이 장치(14)는 사용자가 착용 가능한 형태의 디스플레이로, 예를 들어 헤드 마운트 디스플레이(head mounted display: HMD) 또는 안경형 디스플레이(Eye glassed display: EGD)일 수 있다. EGD는 사용자의 두 눈에 직접적으로 3D 입체영상을 가시화시켜서 몰입형 혼합환경을 제시할 수 있다.
설명의 편의를 위하여, 도 1에서는 거치형 디스플레이 장치(11), 이동형 디스플레이 장치(12), 휴대형 디스플레이 장치(13), 착용형 디스플레이 장치(14)를 각각 하나씩 도시하였지만, 반드시 이 네 가지 디스플레이 장치가 구비되어야 하는 것은 아니며, 각 디스플레이 장치는 두 개 이상 구비될 수 있다.
제어부(20)는 3D 입체영상을 표시하기 위한 물리공간을 각 디스플레이 장치별로 분할 또는 공유하도록 디스플레이 장치별 3D 입체영상 표시공간을 설정하고, 디스플레이 장치별로 설정된 3D 입체영상 표시공간정보와 사용자 시선정보를 기초로 하여 콘텐츠를 각 디스플레이 장치(11,12,13,14)로 분배하여, 최종적으로 다중 3D 입체영상을 하나의 입체영상 표시공간에 융합한다.
도 1에서는 제어부(20)가 각 디스플레이 장치(11,12,13,14)를 직접 제어하는 것으로 도시하였지만, 제어부(20)와 각 디스플레이 장치(11,12,13,14) 사이에 각 디스플레이 장치를 제어하기 위한 개별 제어 유닛을 둘 수도 있다. 예를 들면, 거치형 디스플레이 장치(11)를 제어하는 거치형 디스플레이 장치 제어 유닛, 이동형 디스플레이 장치(12)를 제어하는 이동형 디스플레이 장치 제어 유닛, 휴대형 디스플레이 장치(13)를 제어하는 휴대형 디스플레이 장치 제어 유닛, 착용형 디스플레이 장치(14)를 제어하는 착용형 디스플레이 장치 제어 유닛 등을 각각 둘 수 있다.
본 발명은, 거치형 디스플레이 장치(11)에 있어서 다중영상을 혼합 표시하는 기술을 중심으로(도 4 및 도 5 참조), 이동형 디스플레이 장치(12)에 있어서 무안경식 입체 디스플레이 기술을 중심으로(도 6 내지 도 8 참조), 휴대형 디스플레이 장치(13)에 있어서 투명 디스플레이 패널을 중심으로(도 9 참조), 착용형 디스플레이 장치(14)에 있어서 E3D용 EGD를 중심으로(도 10 내지 도 12 참조), 각 디스플레이 장치의 구성 및 운영 방법을 제안한다.
도 2는 본 발명의 일 실시예에 따른 도 1의 제어부(20)의 세부 구성도이다.
도 2를 참조하면, 제어부(20)는 사전정보 관리부(22)와 실시간 정보 제어부(24) 및 입출력 제어부(26)를 포함한다.
사전정보 관리부(22)는 최종적으로 완성되는 융합된 하나의 가상 입체영상 표시공간을 구성하기 위해서, 하드웨어적인 구성 요소와 소프트웨어적인 구성 요소 및 사용자의 입체영상 체험에 관련된 인공학적 파라미터들 사이의 관계를 사전에 설정하고 설정된 정보들을 데이터베이스 구조로 저장 및 관리한다.
사전정보 관리부(22)는 본 발명의 실시예에 따른 증강형 3D 입체영상 제시를 위한 혼합현실 디스플레이 플랫폼 내에 포함될 수 있는 특정 디스플레이 장치가 표현할 수 있는 최적의 입체영상 표시공간에 대한 정보를 각각의 디스플레이 장치인 거치형 디스플레이 장치(11), 이동형 디스플레이 장치(12), 휴대형 디스플레이 장치(13) 및 착용형 디스플레이 장치(14)로부터 별도의 프로토콜을 통하여 획득한다. 양안시차 효과를 활용하는 입체 디스플레이 장치는 관찰자와 영상 출력면을 기준으로 사용자의 시각 피로도를 높이지 않고, 자연스럽게 입체감을 느낄 수 있는 콘텐츠 표현이 가능한 안정적인 가시화 영역을 정의할 수 있다. 각 디스플레이 장치(11,12,13,14)가 표현할 수 있는 입체영상 표시공간은 거치형 디스플레이 장치(11) 또는 이동형 디스플레이 장치(12)를 통해 표시할 수 있는 VPS(Volume of Public Screen), 휴대형 디스플레이 장치(13)를 통해 표시할 수 있는 VMS(Volume of Mobile Screen), 착용형 디스플레이 장치(14)를 통해 표시할 수 있는 VpVS(Volume of personal Virtual Screen)를 포함한다.
실시간 정보 제어부(24)는 전체 시스템의 운영 순간마다 참여하는 단수 또는 복수의 사용자 정보를 추출하여, 자연스러운 입체영상 표시공간 제시를 위해서 초기값으로 설정된 파라미터를 변경한다. 사용자 정보로는 사용자의 양안 각각의 시각에 관련된 6 자유도(DOF) 정보, 시선 방향을 나타내는 뷰 벡터(view vector) 및 초점(focusing) 정보를 포함할 수 있으며, 사용자가 현재 어떤 종류의 입출력 장치 및 센서와 상호작용할 수 있는지에 대한 정보 또한 포함할 수 있다. 6 DOF 정보는 X/Y/Z 위치값과, Pitch/Yaw/Roll 각도값을 포함한다.
입출력 제어부(26)는 콘텐츠를 다중 사용자 조건과 개인에게 최적화된 조건을 기준으로 분할해서 각각의 디스플레이 장치들(11,12,13,14)로 전송하여, 최종적으로 다중 3D 입체영상을 하나의 입체영상 표시공간에 융합한다.
도 3a 내지 도 3d는 본 발명의 다양한 실시예에 따라 다수의 디스플레이 장치를 이용하여 융합된 입체영상을 제시함으로써 E3D를 구현하는 실시예들을 나타내는 참조도이다.
도 3a 내지 도 3d를 참조하면, 본 발명은 다수의 디스플레이 장치를 이용하여 다수의 3D 입체영상 표시공간(VPS, VpVS, MVS)의 공간 공유 및 분할을 통해 입체영상을 표시함으로써 기존 디스플레이 기술의 3차원 공간감 표현의 한계를 극복한다. 도 3a는 깊이 방향의 공간 확장을, 도 3b는 스크린 외부의 수평 방향의 공간 확장을, 도 3c는 다수의 디스플레이의 융합 활용을, 도 3d는 다수의 사용자의 E3D 플랫폼에서의 콘텐츠 공유 및 개별 체험 활용의 예를 각각 도시한 것이다.
도 3a을 참조하면, 시청자가 거치형 디스플레이가 위치한 방향을 주시하고 마름모 모양의 관찰 대상 물체가 시청자에게 다가올 때, 외부 스크린(Public Screen: PS)에 의해서 정의되는 자연스러운 입체영상 표시 구간(Volume of PS: VPS)을 이탈하여 시청자에게 다가올 때, 디스플레이 제어부는 해당 콘텐츠를 착용형 디스플레이로 전이시켜서 VpVS의 영역에서 3D 콘텐츠가 자연스럽게 가시화 도도록 한다.
도 3b는 시청자가 좌측으로 시선을 이동하는 경우를 나타내는 것으로서, 도 3b를 참조하면 시청자의 시점이 거치형 디스플레이 장치의 입체영상 표시공간(VPS), 즉 외부 스크린(PS)의 가시화 가능 영역을 벗어나는 경우에도 사용자 시점에 따라서 이동하는 착용형 디스플레이 장치의 입체영상 표시공간(VpVS)을 이용하여 연속적으로 입체영상을 표시할 수 있다.
도 3c를 참조하면, 시청자는 추가의 스크린(Mobile Screen: MS)을 표시할 수 있는 휴대형 디스플레이를 휴대함으로써 입체영상 표시공간을 세분화시키고, 더욱 자연스럽고 다양한 공간에 표현되는 입체영상을 체험할 수 있다. 특히, 도 3c에서와 같이 휴대형 디스플레이 장치를 사용하면, 착용형 디스플레이 장치가 갖고 있는 좁은 시야각(FOV) 문제를 해결할 수 있다.
도 3d를 참조하면, 소정의 디스플레이로부터 돌출되는 동일한 입체영상 콘텐츠를 서로 다른 사용자가 각각 자신의 관점에서 실감나는 3차원 영상을 체험할 수 있다. 이때, 각 사용자는 자신의 휴대형 디스플레이 장치 또는 착용형 디스플레이 장치 등을 활용할 수 있다.
나아가, 본 발명에서 제안된 E3D 기술은 사용자의 신체 도달 범위 내에 있는 가상객체를 사용자가 직접 만지는 등의 상호작용이 가능하도록 입체영상 체험공간을 모든 방향으로 확장할 수 있다.
도 4는 본 발명의 일 실시예에 따른 확장형 3D 입체영상 디스플레이 시스템에 포함되는 거치형 디스플레이 장치의 외관도이다.
거치형 디스플레이 장치는 평면 디스플레이 장치(TV, 3DTV, 프로젝터, 3D 프로젝터)를 포함하여 설치 위치가 고정되는 형태이다. 1개의 단일 디스플레이 장치 또는 다수의 2D 및 3D 장치를 혼합하여 공간을 구성할 수 있고, 사용자 주변 공간의 벽을 모두 채우는 CAVE 형태의 디스플레이 공간을 구축하여, 사용자의 가상 참여 공간을 물리적인 벽을 초월한 공간으로 확장할 수 있다.
E3D에 융합되는 디스플레이 장치는 6DOF 트래킹 장치를 포함할 수 있으므로, 도 4에서 reconfigurable로 표기된 특징은 시스템 실행 중에도 디스플레이 장치의 위치 및 자세가 변경될 수 있음을 나타낸 것이다. E3D 플랫폼을 운영하는 SW 부분에서는 디스플레이의 배치환경 등 영상 가시화 조건을 입력받아서, 각각의 디스플레이의 영상을 생성하는 컴퓨터 그래픽 렌더링(computer graphics rendering)을 위한 가상 카메라(virtual camera)의 6 DOF 정보 및 프로젝션 매트릭스에 반영시킴으로써, 변형된 공간에서도 자연스럽게 융합된 3D 콘텐츠를 가시화시킬 수 있다. 6 DOF 정보는 X/Y/Z 위치값과, Pitch/Yaw/Roll 각도값을 포함하고, 프로젝션 매트릭스에는 가시화 영상 생성에 관련된 광학계 정보 및 출력 스크린의 특성 정보를 반영하는 컴퓨터 그래픽스 쉐이더코드가 추가될 수 있다.
도 5는 본 발명의 일 실시예에 따라 다수의 거치형 디스플레이 장치를 이용하여 다중영상을 혼합 출력하는 예를 도시한 참조도이다.
도 5를 참조하면, 다수의 거치형 디스플레이 장치를 활용하여 동일한 입체영상 표시공간에 여러 층(layer)의 영상을 투사함으로써, 동일한 입체영상 표시공간에 다양한 2D 및 3D 효과를 연출할 수 있다. 참조부호 502와 참조부호 504는 거치형 디스플레이 장치를 나타내는데, 예를 들어 이종의 영상 프로젝터 장치일 수 있다. 도 5에서는 두 개의 영상 프로젝터 장치를 도시하였으나, 그 수와 종류는 한정되지 않는다. 참조부호 512는 투영 대상 물체, 예를 들어 벽면 또는 반사 물질이 코팅된 디스플레이 표면 자체를 의미하고, 참조부호 508과 참조부호 510은 각각 투영면과 투영면을 중심으로 형성되는 3차원 공간상에 가시화되는 콘텐츠를 의미한다. 이때, 사용자는 착용형 디스플레이 장치(506)를 이용하여 3차원 공간에 융합된 콘텐츠를 체험할 수 있다.
도 6은 본 발명의 일 실시예에 따른 확장형 3D 입체영상 디스플레이 시스템에 포함되는 이동형 디스플레이 장치의 외관도이다.
도 6을 참조하면, 이동형 디스플레이 장치는 DualView-display를 기본으로 확장된 TriView-Display, QuadView-Display, HexaView-Display 등의 구성 변경이 가능한 플렉서블 구조의 디스플레이(Flexible-Display)일 수 있다. 또한 이동 가능한 형태, 예를 들어 이동식 바퀴가 내장된 거치형 디스플레이, 예를 들어 이동식 키오스크 디스플레이일 수 있다.
일 실시예에 따르면, DualView-Display를 모듈 단위로 합체 및 분해 등의 조작이 가능하도록 설계를 변경하여, 입체영상 표시공간의 규모 및 콘텐츠 시나리오(물체의 가시화 위치 및 이동궤적 등)에 적합하도록 사용자의 주변공간에 모듈을 재조립하여 배치할 수 있다.
예를 들어, DualView-display를 4개의 모듈로 통합하여 360° 입체영상 출력이 가능한 QuadView-display를 제작할 수 있다. 이때, E3D 플랫폼을 활용하는 SW 콘텐츠의 특징으로 다수의 동종 및 이기종 디스플레이 장치 사이를 콘텐츠(예: 3D 공, 비행체 등)가 연속적으로 이동하는 효과를 구현한다. 나아가, 도 4에서 전술한 거치형 디스플레이 장치의 reconfigurable 설명과 같이, 시연 공간에 위치하는 모든 디스플레이 장치의 6DOF를 추적할 수 있다. 이에 따라, 이동형 디스플레이 장치 등이 시연공간에서 이동되는 경우에도 이동위치에 적합한 콘텐츠가 가시화되고, 각 디스플레이 장치 사이를 이동하는 콘텐츠를 SW적으로 제어할 수 있다.
도 7a 내지 도 7c는 본 발명의 일 실시예에 따른 이동형 디스플레이 장치 사용 예를 도시한 참조도이다.
일 실시예에 따라 이동형 디스플레이 장치 중 하나인 투명 형태의 QuadView-Display인 QVST(QuadViewSeeThrough) 디스플레이는 도 7a 내지 도 7c에 도시된 바와 같이 입체영상 표시공간에 홀로그램과 유사한 3D 입체영상을 가시화시키고, 사용자와의 인터랙션을 통해 사용자에게 현실 체감형 환경을 제공할 수 있다. 사용자 인터랙션은 예를 들어 터치 방식 또는 제스처 인식 방식 등일 수 있다.
일 실시예에 따르면, 도 7a와 도 7b에 도시된 바와 같이, 제어 유닛이 내장된 QVST 디스플레이 장치 본체의 표면과 모서리에 2D 또는/및 3D 디스플레이 장치와 3D 카메라를 배치하여 물리적으로 장치 뒷면에 위치한 입체영상 표시공간을 투영하여 마치 투명 디스플레이와 같은 효과를 연출할 수 있다. 3D 카메라는 예를 들어 마이크로소프트 사의 키넥트(KINECT)일 수 있다. 도 7a에서의 참조부호 700은 카메라가 영상을 취득할 수 있는 시각 공간(view volume)의 예시를 나타내며, 도 7b에서의 참조부호 710은 3D 카메라를 나타낸다.
카메라 1대의 시야각(FOV, view volume)의 제약을 고려하여 6면체인 경우 장치의 각각의 모서리 최대 12곳에 카메라를 배치할 수 있으며, 카메라 사이의 중간영역에서 Computer Vision 및 Computer Graphics 분야의 camera view interpolation 기법을 활용하여 가상의 카메라가 촬영한 영상을 생성할 수 있다.
본 발명에 따르면, 이동형 디스플레이 장치를 투명창 디스플레이처럼 사용하고 싶은 경우 다음과 같은 방법을 이용할 수 있다.
일 예로, 유리창 스크린의 뒷부분이 보이는 투명 디스플레이 패널을 사용할 수 있다. 다른 예로, 도 7c를 참조하면 불투명한 일반 디스플레이 장치를 사용하는 경우에는 A영역(720)에 위치하는 카메라들로부터 획득한 장치 뒷면의 공간 영상 정보를 E 영역(722)의 스크린에 출력할 수 있다. 여기에서 A 영역(720)에 위치하는 다수의 카메라를 통해서 다양한 각도에서 바라볼 수 있는 영상을 취득하고, E 영역(722)에 위치하는 카메라를 활용해서 B 위치(730)에 있는 사용자의 시선 정보(눈의 위치 및 스크린을 바라보는 각도)를 추적하여, 해당 위치의 영상이 C(740)와 같이 출력되어서 마치 사용자가 투명 창을 보는 효과를 줄 수 있다. 전술한 구조 내 다수의 카메라를 통해서 QVST의 주변 영상을 동시에 복원해서 필요한 영상을 출력시킬 수 있다.
예를 들어, 도 7c를 참조하면 QVST 디스플레이 장치 본체 내부를 투명한 공간으로 표현하고, 그 공간에 3D 콘텐츠(예: 우주 행성계)를 가시화하고 싶은 경우, A 영역(720)의 다중 카메라로부터 획득한 공간정보들로부터 가상의 카메라 위치인 E 영역(722)에 영상을 생성하여 C 영역(740)과 같이 장치 뒷면의 D 영상(750) 부분을 연속적으로 가시화시킬 수 있다.
일 실시예에 따르면, 이동형 디스플레이 장치는 광학적 투시영역(optical see-through)(760)와 카메라 기반 투시영역(camera based see-through)(770)을 가질 수 있다. 광학적 투시영역(760)은 인간의 자연 시각을 사용하고, 카메라 기반 투시영역(770)은 외부 영상 획득, 예를 들어 카메라를 사용하여 카메라와 사용자 시각을 연동한 영역이다.
이때, 도 7c에 도시된 바와 같이, QuadView display 장치 본체 부분의 가상 투명 디스플레이 공간에 형성된 콘텐츠(예: 특정 행성)를 사용자가 선택하여 상부의 광학적 투시공간(760)으로 이동시키는 방식(예: 터치 스크린 또는 3D 제스쳐 등 인터랙션)을 통해 콘텐츠를 체험할 수 있다. 참조부호 780은 하부영역의 콘텐츠를 상부영역으로 이동 및 확대한 것을 나타낸다.
도 8a 내지 도 8c는 본 발명의 다른 실시예에 따른 이동형 디스플레이 장치 사용 예를 도시한 참조도이다.
도 8a 내지 도 8c는 이동형 디스플레이를 Tri-View display 형태로 설계한 구조이다. 도 8a 내지 도 8c에 도시된 바와 같이, 주 사용자(800)의 시선 방향을 기준으로 DualView display를 배치하고 배경이 되는 스크린을 설치하면, 물리적으로 영상이 출력되는 스크린을 2개 이상(도 8a 내지 도 8c에서는 3개) 배치할 수 있다. 하나의 물리적인 스크린은 시각적 피로감을 유발시키지 않는 안정적인 3D 입체영상 표시공간을 형성할 수 있으므로, 도 8b와 도 8c의 Va,Vb,Vc와 같이 3개의 입체영상 표시공간이 연속적으로 설정되는 효과를 연출할 수 있다. 스크린에 종속되는 안정적인 입체영상 가시화 영역은 도 3a 내지 도 3d에서 도시된 바와 같이 사각뿔의 형태로 정의되지만, 여기에서는 설명의 편의상 사각형 영역으로 도시하였다. 이 연속적인 3D 입체영상 표시공간에 예를 들어 스키점프와 같은 콘텐츠를 디스플레이하는 경우, A 스크린에는 배경이 되는 넓은 산악 지형을, B 스크린에는 스키점프대를, C 스크린에는 스키점프 선수를 디스플레이함에 따라, 주 사용자(800)는 멀리 떨어진 스키 점프대에서 자신의 앞으로 스키점프 선수가 다가오는 것과 같은 3D 입체감을 효과적으로 체험할 수 있고, 관람자 1,2(810,820)는 스키점프 선수가 공중을 활강하는 순간에 이동형 디스플레이 장치의 내부공간을 가로질러서 날아가는 모습을 체험할 수 있다. 그러므로 도 8a 내지 도 8c는 본 발명의 E3D 플랫폼이 목적으로 하는 사용자 주변 바로 앞까지 3D 콘텐츠를 자연스럽게 출력할 수 있음을 보여준다.
도 9는 본 발명의 일 실시예에 따른 확장형 3D 입체영상 디스플레이 시스템에 포함되는 휴대형 디스플레이 장치의 외관도이다.
E3D 플랫폼 있어서 다중 입체영상 융합을 위해 기본적으로 디스플레이 장치가 투시(see-through) 기능을 구현할 수 있는 것을 가정한다. 그러나, 현재 상용화된 휴대형 디스플레이와 같이 투시 기능을 지원하지 못하는 디스플레이는, 디스플레이 뒷부분에 위치한 3D 콘텐츠를 동시에 렌더링하는 방법으로 가상의 투시효과를 구현할 수 있다. 예를 들면, 휴대용 디바이스에 있어서 Head-Coupled Perspective 기술과 같이, 머리 추적(head tracking) 기능을 활용하여 motion parallax human factor 효과를 구현하여 가상의 3D 디스플레이를 구현할 수 있다. motion parallax human factor 효과는 콘텐츠의 움직임이나 콘텐츠를 바라보는 사용자의 움직임의 관계에 따라서 시차가 형성되는 속성을 이용하는 것이다.
다른 예로, OLED 기술 등을 활용한 투명 디스플레이 패널의 상용화가 진행되고 있으므로, 이를 활용하여 E3D 플랫폼을 위한 휴대형 디스플레이를 구현할 수 있다. 이때, 투명 패널(STP: see-through panel)에 단일 입체영상 표시를 위한 필터 또는 능동형 입체영상 표시를 위한 고주파수(Hz)의 필터를 통합하여 양안 시차에 대한 영상을 출력하는 방법으로 투명 패널에 3D 콘텐츠를 가시화시킬 수 있다. 또 다른 예로, 무안경 입체영상 디스플레이 패널에 활용되는 기법, 예를 들어 렌티큘러 렌즈(Lenticular Lens) 또는 패러랙스 배리어(Parallax barrier)를 투명 패널에 통합하여 E3D 플랫폼용 휴대형 디스플레이 장치를 제작할 수 있다.
도 10은 본 발명의 일 실시예에 따라 확장형 3D 입체영상 디스플레이 시스템에 포함되는 EGD의 구조도이다.
본 발명에 따른 EGD(Eye glassed display)를 이용한 확장형 3D(E3D) 입체영상 디스플레이 프로세스를 설명하면, 사용자의 위치, 눈의 위치, 시선의 방향 및 초점거리 등 사용자의 시각정보를 추출하고, 추출된 사용자의 시각정보에 따라 입체영상 신호를 생성하며, 사용자 주변의 실사영상과 입체영상 신호를 합성하여 다중 외부영상 신호를 사용자에게 출력한다.
본 발명의 EGD는 사용자의 시선추적을 위해 신체 접촉식 시선 추적부(1000)와 신체 비접촉식 시선 추적부(1010)를 포함한다. 나아가, 몰입도 증대를 위해서 전자식 투과 차단막(1020), 다중 광학식 초점 제어 렌즈부(1030), 환경정보 획득 센서(1040) 및 위치 추적 센서(1050), 광학 투과식 반투명 반사 렌즈(1060), 영상정보 혼합계층 제어용 마스크(1070), 외부 입체 디스플레이 연동형 필터(1080) 및 초소형 영상 투사부(1090)를 더 포함할 수 있다.
신체 접촉식 시선 추적부(1000)는 사용자 주변의 EOG(electrooculogram) 신호를 획득하여 사용자의 시선을 추적한다. 신체 접촉식 시선 추적부(1000)의 세부기능에 대해서는 후술되는 도 11a 및 도 11b에서 후술한다.
신체 비접촉식 시선 추적부(1010)는 광섬유를 이용한 광 센싱을 통해 사용자의 시선을 추적한다. 신체 비접촉식 시선 추적부(1010)의 세부기능에 대해서는 후술되는 도 12에서 후술한다.
전자식 투과 차단막(1020)은 일반적인 안경형 디스플레이 장치에서 느껴질 수 있는 안경테 외부의 공간이 보이는 낮은 수준의 몰입감을 높이고, 필요한 경우에는 보행의 안전성을 확보하기 위하여 전자적으로 투과도 및 밝기를 제어한다. 이에 따라, 사용자는 외부환경으로부터 EGD 내부의 영상을 능동적으로 분리시켜서 높은 몰입감을 얻을 수 있다.
일반적으로 HMD 및 EGD는 마이크로 출력 모듈이 영상을 확대하는 광학계를 통해서 사용자 앞에 큰 사이즈의 영상을 제시하는 구조를 가지므로, 단일 초점 거리를 가지는 광학계는 고정된 위치에만 가상의 스크린을 형성시키는 단점을 가진다. 다중 광학식 초점 제어 렌즈부(1030)는 초소형 액체 렌즈 및 일반 렌즈와 형태가 동일한 전자식 초점 제어 렌즈로 구성되어, 다양한 시나리오 별로 적합한 거리에 영상이 맺힐 수 있도록 광학계의 초점거리를 변화시킬 수 있다.
환경정보 획득 센서(1040)는 외부의 광량(밝고 어두움 등)을 측정하여 내외부 영상의 밝기를 조절함으로써, EGD의 다중영상 융합이 자연스러운 밝기를 가질 수 있도록 외부 영상의 전체 또는 특정 위치에 대한 투과도를 제어한다. 위치 추적 센서(1050)는 EGD를 착용한 사용자의 머리 위치 및 자세 정보 값을 센싱한다.
광학 투과식 반투명 반사 렌즈(1060)는 초소형 영상 투사부(1090)의 영상을 반사시켜서 가상의 스크린의 사용자 눈 앞의 일정한 거리에 형성시키는 렌즈이면서 외부의 영상도 광학적으로 일부분을 볼 수 있는 half-mirror의 성질을 가지는 광학 부품이다.
영상정보 혼합계층 제어용 마스크(1070)는 E3D EGD의 가상 영상 스크린과 혼합되는 외부의 영상의 투과도를 능동적으로 조정하는 부분으로, 필요에 따라서 장치 외부에서 들어오는 빛의 양을 전체적으로 조정하거나, 화소(pixel) 단위로 제어할 수 있는 mask의 역할을 하는 전자 부품이다.
외부 입체 디스플레이 연동형 필터(1080)는 EGD 장치 외부에서 생성되는 다양한 입체영상 출력 장치의 신호를 수신하기 위한 모듈을 내장하는 것으로, 입체감 영역 확장을 위해서 동시에 다양한 기법의 입체영상 출력 장치의 결과물을 혼합하여 시청하는 것을 가능하게 하는 부분이다.
초점거리 제어가 가능한 초소형 영상 투사부(1090)는 pico-projector의 사례와 같이 안경테 내부에 내장할 수 있는 크기의 초소형 프로젝터 부품이다.
도 11a 및 도 11b는 신체 접촉식 시선 추적부(1000)와 신체 비접촉식 시선 추적부(1010)를 포함하는 EGD의 외관도이다.
본 발명의 E3D 플랫폼은 정밀한 수준의 다중 입체영상 융합을 실현하기 위해서, 사용자 머리의 위치 추적정보뿐만 아니라 사용자 안구의 움직임 추적정보가 필요하다. 일반적인 가상 및 증강현실 시스템은 사용자의 머리의 위치추적에 한정된다.
본 발명은 신체 접촉식 시선 추적부(1000)를 통해 안구 주변의 근육 움직임을 전자기적 신호를 통해 추적해서 복원하는 EOG 기반의 방법과, 신체 비접촉식 시선 추적부(1010)를 통한 컴퓨터 비전 및 이미지 프로세싱 기술을 활용한 방법의 특장점을 융합하여 사용한다. 즉, EOG 기반 방법의 단점인 착용성 문제를 해결하고, 비전 기반 방법의 단점인 연속성 지원 문제를 해결하며, 장치의 소형화에 필요한 방법을 제안한다. 연속성 지원 문제는 사용자가 눈을 감은 상태에서는 시선 방향 추적이 불가능한 문제를 의미하는 것으로, EOG 기반 방법을 통해 지속적으로 안정된 시선정보를 획득할 수 있다.
일 실시예에 따라 신체 접촉식 시선 추적부(1000)는 도 11a 및 도 11b에 도시된 바와 같이 사용자의 얼굴과 접촉되는 부분, 예를 들어 코 받침(1000-1), 귀 받침(1000-2) 등에 EOG 신호 획득용 전극 형태로 배치된다. 나아가, 부가적인 신호 획득을 위해서 전술한 사용자 얼굴과 접촉되는 부분 이외의 영역에 EOG 신호 획득용 전극이 추가 배치될 수 있다. 예를 들어 도 11b에 도시된 바와 같이 이어폰과 마이크를 포함하는 헤드셋 부분(1000-3)에 추가 EOG 신호 획득용 전극을 내장하여 EOG 신호를 획득할 수 있다.
도 12는 본 발명의 일 실시예에 따른 신체 비접촉식 시선 추적부(1010)의 외관도이다.
실시간(real-time) 신호 획득이 가능한 EOG 신호는 미세한 전류 및 전압의 변화량을 측정하는 것이므로, 주변의 전자기파 노이즈에 영향을 받을 수 있다. 따라서, 본 발명은 신체 비접촉식 시선 추적부(1010)의 비젼 기반 영상정보를 활용하여 필터링 기능을 실현함으로써 안정적인 신호를 획득할 수 있다. 비젼 센서는 부피 및 무게가 커서 EGD의 신체에 접촉되는 영역에 내장하기 어려운 카메라 기반의 모듈 대신에, 도 12에 도시된 바와 같이 광섬유 기반의 신체 비접촉식 시선 추적부(1010)을 활용하여 소형화 및 경량화를 실현한다.
본 발명에서 제안하는 광섬유 기반의 신체 비접촉식 시선 추적부(1010)는 참조부호 1010-1처럼 영상정보 출력 유닛과 통합될 수 있는 하이브리드형이기 때문에, 영상정보 출력 유닛을 통해 획득된 안구의 영상정보를 활용하여 사용자 시선의 3차원 벡터 및 초점거리 정보 등을 실시간으로 획득할 수 있다. 그러므로, 사용자가 주변의 3차원 공간에서 특정 방향과 위치에 있는 대상체(target object)를 바라보고 있는 정보를 정확하게 획득해서, 현재의 관찰 대상물체를 표현해야 할 디스플레이 장치 선택이나 휴먼팩터 영향인자를 고려해서 영상 출력 파라미터를 제어할 때 중요한 기준 정보로 활용할 수 있다. 광섬유 기반의 신체 비접촉식 시선 추적부(1010)는 참조부호 1010-2와 같이 반사된 영상정보를 획득하는 방법으로 사용자 시선정보를 추출할 수도 있다.
이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
1 : 확장형 3D 입체영상 디스플레이 시스템
11 : 거치형 디스플레이 장치 12 : 이동형 디스플레이 장치
13 : 휴대형 디스플레이 장치 14 : 착용형 디스플레이 장치
20 : 제어부

Claims (17)

  1. 3D 입체영상 표시공간을 제공하는 다수의 디스플레이 장치; 및
    3D 입체영상을 표시하기 위한 물리공간을 각 디스플레이 장치별로 분할 또는 공유하도록 디스플레이 장치별 3D 입체영상 표시공간을 설정하고, 상기 디스플레이 장치별로 설정된 3D 입체영상 표시공간정보와 시연되는 콘텐츠의 연출 시나리오 및 사용자 시선정보 중 적어도 하나를 기초로 하여 콘텐츠를 각 디스플레이 장치로 분할 또는 공유하여, 최종적으로 다중 3D 입체영상을 하나의 입체영상 표시공간에 융합하는 제어부; 를 포함하며,
    상기 다수의 디스플레이 장치 중 적어도 하나는 다중영상을 혼합 표시하는 거치형 디스플레이 장치인 것을 특징으로 하는 확장형 3D 입체영상 디스플레이 시스템.
  2. 제 1 항에 있어서, 상기 제어부는,
    상기 거치형 디스플레이 장치를 이용하여 동일한 입체영상 표시공간에 다중 층(layer)의 영상을 동시에 디스플레이하는 것을 특징으로 하는 확장형 3D 입체영상 디스플레이 시스템.
  3. 제 1 항에 있어서, 상기 제어부는,
    상기 거치형 디스플레이 장치를 통해 6 자유도 정보와 프로젝션 매트릭스를 획득하고, 획득된 6 자유도 정보 및 프로젝션 메트릭스를 이용하여 다수의 거치형 디스플레이 장치의 위치와 자세를 포함하는 배치환경을 변경하는 것을 특징으로 하는 확장형 3D 입체영상 디스플레이 시스템.
  4. 제 1 항에 있어서,
    상기 거치형 디스플레이 장치는 사용자 주변공간의 벽면을 채우는 몰입형의 투영 디스플레이 형태로 형성되는 것을 특징으로 하는 확장형 3D 입체영상 디스플레이 시스템.
  5. 3D 입체영상 표시공간을 제공하는 다수의 디스플레이 장치; 및
    3D 입체영상을 표시하기 위한 물리공간을 각 디스플레이 장치별로 분할 또는 공유하도록 디스플레이 장치별 3D 입체영상 표시공간을 설정하고, 상기 디스플레이 장치별로 설정된 3D 입체영상 표시공간정보와 시연되는 콘텐츠의 연출 시나리오 및 사용자 시선정보 중 적어도 하나를 기초로 하여 콘텐츠를 각 디스플레이 장치로 분할 또는 공유하여, 최종적으로 다중 3D 입체영상을 하나의 입체영상 표시공간에 융합하는 제어부; 를 포함하며,
    상기 다수의 디스플레이 장치 중 적어도 하나는 콘텐츠 시연 중에 위치 및 자세가 변경 가능한 이동형 디스플레이 장치인 것을 특징으로 하는 확장형 3D 입체영상 디스플레이 시스템.
  6. 제 5 항에 있어서, 상기 제어부는,
    상기 이동형 디스플레이 장치와 상기 이동형 디스플레이 장치에 설치된 다수의 3차원 카메라를 통해 영상 표시공간을 투명한 투시공간으로 표현하고,
    상기 다수의 3차원 카메라로부터 획득한 공간정보로부터 상기 투시공간 내에 3D 입체영상을 생성하는 것을 특징으로 하는 확장형 3D 입체영상 디스플레이 시스템.
  7. 제 6 항에 있어서, 상기 제어부는,
    상기 투시공간을 광학적 투시공간과 카메라 기반 투시공간으로 분류하여, 사용자 인터렉션을 통해 콘텐츠를 상기 광학적 투시공간과 상기 카메라 기반 투시공간 사이에서 이동 가능하도록 제어하는 것을 특징으로 하는 확장형 3D 입체영상 디스플레이 시스템.
  8. 제 5 항에 있어서, 상기 제어부는,
    각 디스플레이 장치를 통해 제공되는 입체영상 표시공간에 사용자 시점에 따라서 연속으로 콘텐츠를 디스플레이하는 것을 특징으로 하는 확장형 3D 입체영상 디스플레이 시스템.
  9. 3D 입체영상 표시공간을 제공하는 다수의 디스플레이 장치; 및
    3D 입체영상을 표시하기 위한 물리공간을 각 디스플레이 장치별로 분할 또는 공유하도록 디스플레이 장치별 3D 입체영상 표시공간을 설정하고, 상기 디스플레이 장치별로 설정된 3D 입체영상 표시공간정보와 시연되는 콘텐츠의 연출 시나리오 및 사용자 시선정보 중 적어도 하나를 기초로 하여 콘텐츠를 각 디스플레이 장치로 분할 또는 공유하여, 최종적으로 다중 3D 입체영상을 하나의 입체영상 표시공간에 융합하는 제어부; 를 포함하며,
    상기 다수의 디스플레이 장치 중 적어도 하나는 투명 디스플레이 패널 형태 또는 투명 디스플레이 기능을 갖는 휴대형 디스플레이 장치인 것을 특징으로 하는 확장형 3D 입체영상 디스플레이 시스템.
  10. 3D 입체영상 표시공간을 제공하는 다수의 디스플레이 장치; 및
    3D 입체영상을 표시하기 위한 물리공간을 각 디스플레이 장치별로 분할 또는 공유하도록 디스플레이 장치별 3D 입체영상 표시공간을 설정하고, 상기 디스플레이 장치별로 설정된 3D 입체영상 표시공간정보와 시연되는 콘텐츠의 연출 시나리오 및 사용자 시선정보 중 적어도 하나를 기초로 하여 콘텐츠를 각 디스플레이 장치로 분할 또는 공유하여, 최종적으로 다중 3D 입체영상을 하나의 입체영상 표시공간에 융합하는 제어부; 를 포함하며,
    상기 다수의 디스플레이 장치 중 적어도 하나는 안구의 움직임을 감지하여 사용자 시선정보를 획득하는 착용형 디스플레이 장치인 것을 특징으로 하는 확장형 3D 입체영상 디스플레이 시스템.
  11. 제 10 항에 있어서, 상기 착용형 디스플레이 장치는,
    사용자 주변의 EOG 신호를 획득하여 사용자의 시선을 추적하는 신체 접촉식 시선 추적부; 및
    광섬유를 이용한 광 센싱을 통해 사용자의 시선을 추적하는 신체 비접촉식 시선 추적부;
    를 포함하는 것을 특징으로 하는 확장형 3D 입체영상 디스플레이 시스템.
  12. 제 11 항에 있어서, 상기 신체 접촉식 시선 추적부는,
    상기 착용형 디스플레이 장치 중 사용자의 얼굴과 접촉되는 부분 및 상기 착용형 디스플레이 장치에 장착된 부품의 소정 부분을 포함하는 지점에 EOG 신호를 획득하기 위한 전극을 장착하는 것을 특징으로 하는 확장형 3D 입체영상 디스플레이 시스템.
  13. 제 12 항에 있어서,
    상기 착용형 디스플레이 장치에 장착된 부품은 이어폰 또는 헤드폰을 포함하는 악세서리인 것을 특징으로 하는 확장형 3D 입체영상 디스플레이 시스템.
  14. 제 11 항에 있어서, 상기 신체 비접촉식 시선 추적부는,
    광 센싱을 통해 안구의 영상정보를 획득하여, 획득한 안구 영상정보를 사용자 관찰 대상물체를 표현해야 할 디스플레이 장치 선택 또는 휴먼팩터 영향인자를 고려한 영상출력 파라미터 조정을 위한 기준정보로 이용하는 것을 특징으로 하는 확장형 3D 입체영상 디스플레이 시스템.
  15. 제 11 항에 있어서, 상기 착용형 디스플레이 장치는,
    외부 환경으로부터 착용형 디스플레이 장치 내부의 영상을 분리시키고, 전자적으로 투과도 및 밝기를 조절하는 전자식 투과 차단막;
    을 더 포함하는 것을 특징으로 하는 확장형 3D 입체영상 디스플레이 시스템.
  16. 제 11 항에 있어서, 상기 착용형 디스플레이 장치는,
    가변되는 위치에 초점이 맺히도록 제어하여 가상 스크린의 영상 위치를 바꾸는 다중 광학식 초점 제어 렌즈;
    를 더 포함하는 것을 특징으로 하는 확장형 3D 입체영상 디스플레이 시스템.
  17. 제 11 항에 있어서, 상기 착용형 디스플레이 장치는,
    상기 착용형 디스플레이 장치 내부의 영상의 밝기를 조절하기 위해 외부환경의 광량을 포함하는 환경정보를 측정하는 환경정보 획득센서;
    를 더 포함하는 것을 특징으로 하는 확장형 3D 입체영상 디스플레이 시스템.
KR1020120018690A 2012-02-23 2012-02-23 확장형 3차원 입체영상 디스플레이 시스템 Active KR101926577B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120018690A KR101926577B1 (ko) 2012-02-23 2012-02-23 확장형 3차원 입체영상 디스플레이 시스템
US13/565,421 US9230500B2 (en) 2012-02-23 2012-08-02 Expanded 3D stereoscopic display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120018690A KR101926577B1 (ko) 2012-02-23 2012-02-23 확장형 3차원 입체영상 디스플레이 시스템

Publications (2)

Publication Number Publication Date
KR20130097014A true KR20130097014A (ko) 2013-09-02
KR101926577B1 KR101926577B1 (ko) 2018-12-11

Family

ID=49002439

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120018690A Active KR101926577B1 (ko) 2012-02-23 2012-02-23 확장형 3차원 입체영상 디스플레이 시스템

Country Status (2)

Country Link
US (1) US9230500B2 (ko)
KR (1) KR101926577B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9602808B2 (en) 2013-05-10 2017-03-21 Electronics & Telecommunications Research Institute Stereoscopic display system
KR20180017668A (ko) * 2016-08-10 2018-02-21 주식회사 케이티 초점 각도에 기초하여 가상 현실에 대한 컨텐츠를 렌더링하는 방법 및 장치

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2906899B1 (fr) * 2006-10-05 2009-01-16 Essilor Int Dispositif d'affichage pour la visualisation stereoscopique.
US9934614B2 (en) 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
US20140201015A1 (en) * 2013-01-17 2014-07-17 Wal-Mart Stores, Inc. Adjustable kiosk system
KR102097705B1 (ko) * 2013-09-10 2020-04-07 삼성디스플레이 주식회사 디스플레이 장치, 디스플레이 시스템 및 그 제어 방법
KR102135770B1 (ko) 2014-02-10 2020-07-20 한국전자통신연구원 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
US10547825B2 (en) * 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
EP3151554A1 (en) * 2015-09-30 2017-04-05 Calay Venture S.a.r.l. Presence camera
US20170365097A1 (en) * 2016-06-20 2017-12-21 Motorola Solutions, Inc. System and method for intelligent tagging and interface control
CN107203050B (zh) * 2016-11-28 2019-07-30 四川大学 基于全息光学元件的双视集成成像3d显示方法
US10261470B2 (en) 2017-06-01 2019-04-16 International Business Machines Corporation Extended projection boundary of holographic display device
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
KR102422929B1 (ko) * 2017-08-16 2022-07-20 삼성전자 주식회사 디스플레이장치, 서버 및 그 제어방법
US10521013B2 (en) 2018-03-01 2019-12-31 Samsung Electronics Co., Ltd. High-speed staggered binocular eye tracking systems
KR102153922B1 (ko) 2018-12-20 2020-09-09 주식회사 원더풀플랫폼 가상 캐릭터를 이용한 엔터테인먼트 시스템
CN117121475A (zh) * 2021-04-12 2023-11-24 索尼集团公司 信息处理装置、信息处理方法和程序
KR20240098787A (ko) * 2022-12-21 2024-06-28 엘지전자 주식회사 디스플레이 장치 및 그것의 제어방법
WO2025074591A1 (ja) * 2023-10-05 2025-04-10 日本電信電話株式会社 情報提示システムおよび情報提示方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
KR100656342B1 (ko) 2004-12-16 2006-12-11 한국전자통신연구원 다중 입체 영상 혼합 제시용 시각 인터페이스 장치
KR100809479B1 (ko) 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
FR2906899B1 (fr) * 2006-10-05 2009-01-16 Essilor Int Dispositif d'affichage pour la visualisation stereoscopique.
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
KR101828017B1 (ko) 2010-11-19 2018-02-13 한국전자통신연구원 입체 영상 디스플레이 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9602808B2 (en) 2013-05-10 2017-03-21 Electronics & Telecommunications Research Institute Stereoscopic display system
KR20180017668A (ko) * 2016-08-10 2018-02-21 주식회사 케이티 초점 각도에 기초하여 가상 현실에 대한 컨텐츠를 렌더링하는 방법 및 장치

Also Published As

Publication number Publication date
US20130222548A1 (en) 2013-08-29
US9230500B2 (en) 2016-01-05
KR101926577B1 (ko) 2018-12-11

Similar Documents

Publication Publication Date Title
KR101926577B1 (ko) 확장형 3차원 입체영상 디스플레이 시스템
CN113168007B (zh) 用于增强现实的系统和方法
CN102566049B (zh) 用于扩展现实显示的自动可变虚拟焦点
KR100809479B1 (ko) 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
Schmalstieg et al. Augmented reality: principles and practice
US8576276B2 (en) Head-mounted display device which provides surround video
US20120146894A1 (en) Mixed reality display platform for presenting augmented 3d stereo image and operation method thereof
WO2016204914A1 (en) Complementary augmented reality
CN102445756A (zh) 用于扩展现实显示的自动焦点改善
KR20150026455A (ko) 사용자 인터랙션을 위한 디스플레이를 설계하는 장치 및 방법
US20220270217A1 (en) Reprojection and wobulation at head-mounted display device
JP2012079291A (ja) プログラム、情報記憶媒体及び画像生成システム
US11488365B2 (en) Non-uniform stereo rendering
CN205195880U (zh) 观看设备及观看系统
JP7426413B2 (ja) ブレンドモード３次元ディスプレイシステムおよび方法
JP6712557B2 (ja) ステレオ立体視装置
Kara et al. Connected without disconnection: Overview of light field metaverse applications and their quality of experience
Broll et al. VR/AR output devices
Pan et al. 3D displays: their evolution, inherent challenges and future perspectives
Yang et al. Mixed display platform to expand comfortable zone of stereoscopic 3D viewing
JP2017079389A (ja) 表示装置、表示装置の制御方法、及び、プログラム
Luo et al. Development of a three-dimensional multimode visual immersive system with applications in telepresence
WO2020137088A1 (ja) ヘッドマウントディスプレイ、表示方法、及び表示システム
Wu et al. Development of a visual reality headset and its applications in 3D interactive bike race games
JP2018186319A (ja) 立体画像表示制御装置、立体画像表示制御方法及び立体画像表示制御プログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120223

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20161107

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120223

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20171211

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20180411

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180917

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20181203

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20181204

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20221121

Start annual number: 5

End annual number: 5