KR102116551B1 - 입체 디스플레이 시스템 - Google Patents
입체 디스플레이 시스템 Download PDFInfo
- Publication number
- KR102116551B1 KR102116551B1 KR1020130053375A KR20130053375A KR102116551B1 KR 102116551 B1 KR102116551 B1 KR 102116551B1 KR 1020130053375 A KR1020130053375 A KR 1020130053375A KR 20130053375 A KR20130053375 A KR 20130053375A KR 102116551 B1 KR102116551 B1 KR 102116551B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- unit
- mixed
- display system
- optical fiber
- Prior art date
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 32
- 239000013307 optical fiber Substances 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 48
- 230000006835 compression Effects 0.000 claims description 16
- 238000007906 compression Methods 0.000 claims description 16
- 238000002156 mixing Methods 0.000 claims description 10
- 239000000835 fiber Substances 0.000 claims description 9
- 230000006698 induction Effects 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 26
- 210000001508 eye Anatomy 0.000 description 23
- 238000012937 correction Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 239000007788 liquid Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 4
- 241000238633 Odonata Species 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 239000013585 weight reducing agent Substances 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/04—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
- G02B6/06—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/346—Image reproducers using prisms or semi-transparent mirrors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
고해상도와 광시야각을 제공하고 착용시 편안함을 제공하는 입체 디스플레이 시스템이 개시된다. 영상을 표시하고 상기 영상이 표시되는 표시 영역을 축소하는 영상 생성 장치와, 상기 축소된 표시 영역에 표시되는 영상을 전송하는 영상 전송 장치 및 상기 전송된 영상을 확대하고 상기 확대한 영상과 실사 정보를 혼합한 혼합 영상을 출력하는 영상 출력 장치를 포함한다. 따라서, HMD/FMD/EGD 기술에 있어 해상도, 시야각 무게 등의 주요 요구사항을 만족시킬 수 있으며, 자연스러운 몰입형 입체 영상을 제시할 수 있다.
Description
본 발명은 입체 디스플레이 기술에 관한 것으로, 더욱 상세하게는 사용자에게 높은 해상도와 넓은 시야각을 제공하면서 디스플레이 장치를 경량화 시킬 수 있는 입체 디스플레이 시스템에 관한 것이다.
입체 디스플레이 기술은 많은 발전과 정체를 거듭해 왔으며, 현대에 이르러서는 가상현실의 기반 기술로 사용되고 있고, 국방, 건축, 관광, 영화, 멀티미디어, 게임에 적용되고 있으며 최근에는 방송, 통신은 물론 개인에 의한 영상취득 분야에도 적극적으로 활용되고 있다.
특히, 인간의 감각 기관 중에서 외부의 정보를 수용하는 과정에서 가장 많은 역할을 하는 것은 시감각 기관이기 때문에, 가상현실에서 입체 디스플레이 기술은 사용자에게 가상현실 속으로 들어가는 것과 같은 몰입감을 제공하는 가장 기본적인 장치로 사용되고 있다.
한편, 개인에게 가상/혼합/증강현실 콘텐츠를 사실적으로 제공하는 대표적인 방법은 완전 몰입형 시각 인터페이스를 활용하는 것이다.
대형(반구 형태의 돔형) 디스플레이를 사용해서 3D 영화 및 4D 테마파크의 서비스를 구형하지만, 양안 시차 정보를 활용하는 입체 영상 생성의 원리에 따르면, 1개의 스크린을 여러 사람이 보는 앞의 방법은 개개인에게는 부정확한 3D 입체 영상 효과를 전달하고 있는 단점이 있다. 그래서 개인에게 최적화된 정확한 몰입형 입체 영상 출력 장치로 착용형 HMD(Head Mounted Display)/FMD(Face Mounted Display)/EGD(Eye Glass Display)를 활용한다.
이론적으로 사용자에게 완전한 몰입감을 제시하기 위해서는 인터페이스 장치가 시야각이 100ㅀ이상으로 넓은 영상을 제시해야 하지만, 현재 상용화된 해외의 HMD 장치들은 앞의 요구조건을 만족하기 위한 광학부 및 영상 출력부의 구성으로 kg 단위의 무게와 비행기 파일럿 헬멧 정도의 부피를 가지고 있어서, 해당 장치의 활용에 따른 편의성 및 사용성을 낮추고 있다.
착용성을 고려하면 안경처럼 가벼워야 하고, 영상의 사실성과 품질을 높이기 위해서는 기본적으로 높은 해상도(예를 들어 HD(High Definition) 급 이상)를 지원해야 하고, 자연스러운 영상 체험을 지원하기 위해서는 인간의 시야각 특성과 같이 광시야각(wide field of view)을 지원해야 하지만, 앞의 요구 조건을 모두 최대로 만족하는 기술은 없는 상태이다.
최근 국내에서 출시된 A사의 HMD는 착용부의 무게가 100g 미만으로 가볍지만 해상도 852×480(WVGA) 및 대각선 시야각이 약 35도 정도이기 때문에, 자연스러운 몰입형 영상을 사용자에게 전달하기 어렵다는 문제점이 있다.
Full HD(1920ㅧ1080)급의 높은 해상도를 지원하는 방법으로 기존 기술은 투사형 TV(projection TV)와 프로젝터에 활용되는 마이크로 디스플레이 소자를 HMD에 내장(예를 들어, 미국 Silicon Micro Display사의 제품)하거나, 마이크로 디스플레이 패널을 2차원 배열형으로 연결시키는 tiled display 기법(예를 들어, 미국 Sensics사에서 사용하는 방법)으로 해상도와 시야각을 확장시키고 있다.
그러나, 상술한 방법들은 시야각, 무게 및 부피의 문제를 동시에 해결하지는 못하는 문제점을 가지고 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 높은 해상도와 넓은 시야각을 제공하고 착용을 하는 경우 편안함을 제공하는 입체 디스플레이 시스템을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 생성 장치에 따르면, 복수의 픽셀을 포함하는 영상 표시 패널로 구성되어 영상을 표시하는 영상 생성부 및 상기 영상이 표시되는 표시 영역을 축소하는 영상 압축부를 포함한다.
여기서, 상기 영상 생성부는, 제1 우선 순위를 만족하는 경우 상기 영상 표시 패널 중 제1 크기의 표시 영역을 할당하여 영상을 표시하고, 제2 우선 순위를 만족하는 경우 상기 제1 크기 보다 작은 제2 크기의 표시 영역을 할당하여 영상을 표시할 수 있다.
여기서, 상기 영상 압축부는, 상기 영상 표시 패널의 표시 영역을 균등 또는 비균등하게 분할할 수 있다.
또한, 본 발명의 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 출력 장치에 따르면, 수신된 영상을 확대하는 영상 확대부 및 상기 확대한 영상과 실사 정보를 혼합한 혼합 영상을 출력하는 혼합 영상 출력부를 포함한다.
여기서, 영상 출력 장치는, 상기 출력되는 혼합 영상의 출력 방향을 1자 유도 내지 6자 유도 중 적어도 하나의 유도로 제어하는 투사 방향 제어부를 더 포함할 수 있다.
여기서, 상기 혼합 영상 출력부는, 상기 확대한 영상의 초점 또는 배율을 조정할 수 있다.
여기서, 상기 혼합 영상 출력부는, 상기 확대한 영상을 투사하고 상기 투사된 영상을 특정 위치로 반사시킬 수 있다.
여기서, 상기 혼합 영상 출력부는, 상기 투사된 영상을 에지 블렌딩(edge blending) 기법과 이미지 와핑(image warping) 기법을 이용하여 하나의 화면으로 정합할 수 있다.
또한, 본 발명의 또 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 입체 디스플레이 시스템에 따르면, 영상을 표시하는 복수의 픽셀을 포함하는 영상 표시 패널과, 상기 복수의 픽셀에 대응하도록 설치되고 상기 복수의 픽셀에서 표시되는 영상을 출사시키는 광섬유 다발 및 상기 영상 표시 패널과 상기 광섬유 다발 사이에 설치되고, 상기 복수의 픽셀과 상기 광섬유 다발의 입사면을 대응시키는 마스크를 포함한다.
여기서, 상기 입체 디스플레이 시스템은, 상기 광섬유 다발을 통해 전송된 영상을 반사시키는 반투명 거울을 더 포함할 수 있다.
여기서, 상기 반투명 거울은 비구면의 형상을 가질 수 있다.
여기서, 상기 반투명 거울은, 배율 조정이 가능한 적어도 하나의 마이크로 렌즈가 상기 광섬유 다발의 출사면과 상기 반투명 거울의 반사면 사이에 설치될 수 있다.
여기서, 상기 입체 디스플레이 시스템은, 상기 광섬유 다발과 상기 반투명 거울의 반사면 사이에 설치되는 등간격 또는 비등간격의 곡면 형태의 방사형 구조를 가지는 보정 곡면 마스크를 더 포함할 수 있다.
여기서, 상기 입체 디스플레이 시스템은, 상기 반투명 거울의 반사면에 부착되는 곡면형 화소 반사투과 조절 마스크를 더 포함할 수 있다.
여기서, 상기 입체 디스플레이 시스템은, 상기 영상 표시 패널의 일면과 상기 마스크의 일면 사이에 설치되고, 상기 영상 표시 패널의 영상 표시 영역을 균등 또는 비균등하게 분할하도록 구성되는 배열형 다중 렌즈를 더 포함할 수 있다.
여기서, 상기 마스크는, 상기 복수의 픽셀 각각과 상기 광섬유 다발에 포함된 각각의 광섬유의 입사면이 1:1로 대응되도록 구성될 수 있다.
여기서, 상기 마스크는, 상기 복수의 픽셀 각각과 복수의 광섬유의 입사면이 대응되도록 구성될 수 있다.
여기서, 상기 입체 디스플레이 시스템은, 상기 광섬유 다발의 출사면에 설치되는 고정 배율의 투사용 렌즈 또는 액체 렌즈 더 포함할 수 있다.
여기서, 상기 입체 디스플레이 시스템은, 상기 영상 표시 패널, 상기 광섬유 다발 및 상기 마스크가 설치되는 프레임을 더 포함하고, 상기 광섬유 다발은 상기 프레임 내부에 배치될 수 있다.
또한, 본 발명의 또 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 입체 디스플레이 시스템에 따르면, 복수의 픽셀을 포함하는 영상 표시 패널로 구성되어 영상을 표시하고, 상기 영상이 표시되는 표시 영역을 축소하는 영상 생성 장치와, 상기 축소된 표시 영역에서 표시되는 영상을 전송하는 영상 전송 장치 및 상기 전송된 영상을 확대하고 확대한 영상과 실사 정보를 혼합한 혼합 영상을 출력하는 영상 출력 장치를 포함한다.
여기서, 상기 영상 출력 장치는, 상기 출력되는 혼합 영상의 출력 방향을 1자 유도 내지 6자 유도 중 적어도 하나의 유도로 제어할 수 있다.
여기서, 상기 영상 생성 장치는, 상기 영상 표시 패널의 표시 영역을 균등 또는 비균등하게 분할할 수 있다.
여기서, 상기 영상 생성 장치는, 제1 우선 순위를 만족하는 경우 상기 영상 표시 패널 중 제1 크기의 표시 영역을 할당하여 영상을 표시하고, 제2 우선 순위를 만족하는 경우 상기 제1 크기 보다 작은 제2 크기의 표시 영역을 할당하여 영상을 표시할 수 있다.
여기서, 상기 영상 출력 장치는, 상기 확대한 영상을 투사하고 상기 투사된 영상을 에지 블렌딩(edge blending) 기법과 이미지 와핑(image warping) 기법을 이용하여 하나의 화면으로 정합할 수 있다.
상기와 같은 본 발명의 일 실시예에 따른 입체 디스플레이 시스템에 따르면, 영상을 표시하고 상기 영상이 표시되는 표시 영역을 축소하는 영상 생성 장치와, 상기 축소된 표시 영역에 표시되는 영상을 전송하는 영상 전송 장치 및 상기 전송된 영상을 확대하고 상기 확대한 영상과 실사 정보를 혼합한 혼합 영상을 출력하는 영상 출력 장치를 포함한다.
따라서, HMD/FMD/EGD 기술이 해상도, 시야각 무게 등의 주요 요구사항을 만족시킬 수 있으며, 자연스러운 몰입형 입체 영상을 제시할 수 있다.
도 1은 본 발명의 일 실시예에 따른 입체 디스플레이 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 입체 디스플레이 시스템의 구조를 나타내는 개념도이다.
도 3은 광섬유 내부 영상 전송 및 열화를 나타내는 개념도이다.
도 4는 울트라 씬 파이버 옵틱스 연구 사례를 나타내는 개념도이다.
도 5는 본 발명의 다른 실시예에 따른 입체 디스플레이 시스템의 구조를 나타내는 개념도이다.
도 6은 눈에 광시야갹 영상을 전달하는 환경을 나타내는 개념도이다.
도 7은 본 발명의 일 실시예에 따른 영상 확대부 및 혼합 영상 출력부의 구조를 나타내는 개념도이다.
도 8은 본 발명의 일 실시예에 사용되는 액체 렌즈를 나타내는 개념도이다.
도 9는 본 발명의 다른 실시예에 따른 영상 확대부 및 혼합 영상 출력부의 구조를 나타내는 개념도이다.
도 10은 본 발명의 일 실시예에 따라 영상 확대부를 구성하는 방법을 나타내는 개념도이다.
도 11은 곡면 스크린에 투영된 다수의 프로젝션 영상을 하나의 화면으로 정합하는 것을 나타내는 개념도이다.
도 12는 본 발명의 또 다른 실시예에 따른 영상 확대부 및 혼합 영상 출력부의 구조를 나타내는 개념도이다.
도 13은 고정 배율의 투사용 렌즈를 나타낸다.
도 14는 본 발명의 또 다른 실시예에 따른 영상 확대부 및 혼합 영상 출력부의 구조를 나타내는 개념도이다.
도 15a는 영상 생성부와 혼합 영상 출력부의 대응 면적을 차별화 시키는 방법을 나타내는 개념도이다.
도 15b는 혼합 영상 출력부의 투영 패턴 변형 및 투사된 스크린의 면적을 차별화 시키는 방법을 나타내는 개념도이다.
도 16은 본 발명의 일 실시예에 따른 입체 디스플레이 시스템의 구현 예를 나타낸다.
도 17은 본 발명의 다른 실시예에 따른 입체 디스플레이 시스템의 구현 예를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 입체 디스플레이 시스템의 구조를 나타내는 개념도이다.
도 3은 광섬유 내부 영상 전송 및 열화를 나타내는 개념도이다.
도 4는 울트라 씬 파이버 옵틱스 연구 사례를 나타내는 개념도이다.
도 5는 본 발명의 다른 실시예에 따른 입체 디스플레이 시스템의 구조를 나타내는 개념도이다.
도 6은 눈에 광시야갹 영상을 전달하는 환경을 나타내는 개념도이다.
도 7은 본 발명의 일 실시예에 따른 영상 확대부 및 혼합 영상 출력부의 구조를 나타내는 개념도이다.
도 8은 본 발명의 일 실시예에 사용되는 액체 렌즈를 나타내는 개념도이다.
도 9는 본 발명의 다른 실시예에 따른 영상 확대부 및 혼합 영상 출력부의 구조를 나타내는 개념도이다.
도 10은 본 발명의 일 실시예에 따라 영상 확대부를 구성하는 방법을 나타내는 개념도이다.
도 11은 곡면 스크린에 투영된 다수의 프로젝션 영상을 하나의 화면으로 정합하는 것을 나타내는 개념도이다.
도 12는 본 발명의 또 다른 실시예에 따른 영상 확대부 및 혼합 영상 출력부의 구조를 나타내는 개념도이다.
도 13은 고정 배율의 투사용 렌즈를 나타낸다.
도 14는 본 발명의 또 다른 실시예에 따른 영상 확대부 및 혼합 영상 출력부의 구조를 나타내는 개념도이다.
도 15a는 영상 생성부와 혼합 영상 출력부의 대응 면적을 차별화 시키는 방법을 나타내는 개념도이다.
도 15b는 혼합 영상 출력부의 투영 패턴 변형 및 투사된 스크린의 면적을 차별화 시키는 방법을 나타내는 개념도이다.
도 16은 본 발명의 일 실시예에 따른 입체 디스플레이 시스템의 구현 예를 나타낸다.
도 17은 본 발명의 다른 실시예에 따른 입체 디스플레이 시스템의 구현 예를 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 입체 디스플레이 시스템의 구성을 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 입체 디스플레이 시스템(1000)는 영상 생성 장치(100), 영상 전송 장치(200) 및 영상 출력 장치(300)을 포함할 수 있다.
먼저, 영상 생성 장치(100)는 영상 생성부(110) 및 영상 압축부(120)를 포함할 수 있다. 영상 생성부(110)는 다양한 영상 출력 소자(예를 들어 복수의 픽셀)를 활용하여 영상을 발생시키고, 영상 압축부는 다량의 영상 정보를 영상 확대부(310)로 전달하기 위하여 필요한 물리적인 공간을 축소시킨다.
여기서, 영상 생성부(110)는 위치 보정 마스크를 포함할 수 있다. 상기 위치 보정 마스크는 임의의 다각형 형상을 가질 수 있으며 영상 생성부(110)의 형태에 따라서 마스크의 형태로 변경될 수 있다. 또한, 위치 보정 마스크는 RGBW 형광 물질의 배치 패턴의 다양함 및 영상 확대부(310) 및 혼합 영상 출력부(320)의 구조적 특징(예를 들어 투영되는 스크린의 형태)에 대응하여 격자형, 방사형, 균등형, 비균등형 분할 구조 등 다양한 패턴으로 변경될 수 있다. 발생된 영상이 다양한 형태의 투영면에 투사되는 경우 각각의 이미지가 겹치게 되는 영역의 크기와 형태가 달라지는 경우에 능동적으로 대응하기 위해 상술한 바와 같이 다양한 패턴이 필요하다.
또한, 영상 생성부(110)는 1개의 화소를 형성하는 색상원(레드, 그린, 블루, 화이트) 그룹이 1개의 광섬유에 투영될 수 있도록 한다.
예를 들어, 풀 HD급(1920×1080) 화소를 생성하는 마이크로 디스플레이 패널을 영상 표시 패널로 사용하는 경우, 영상 생성부(110)는 m×n(1920×1080)개의 수 um 단위의 구멍(hole)이 뚫려 있는 2차원 마스크를 적용하여 1개의 화소를 형성하는 색상원 그룹이 1개의 광섬유에 투영될 수 있도록 한다.
본 발명의 다른 실시예에서 마스크는 2차원적인 평면에 국한되지 않으며 영상 생성부(110)의 형태에 대응하여 임의의 다각형 모양 또는 곡면의 형태로 구성될 수도 있다.
또한, 영상 생성부(110)는 복수의 픽셀을 포함하는 영상 표시 패널로 구성되고, 사용자 관심 영역(제1 우선 순위 영역)인 경우 상기 영상 표시 패널 중 제1 크기의 표시 영역을 할당하여 영상을 표시하며, 사용자 비 관심 영역(제2 우선 순위 영역)인 경우 상기 영상 표시 패널 중 상기 제1 크기 보다 작은 제2 크기의 표시 영역을 할당하여 영상을 표시할 수 있다.
또한, 영상 생성부(110)의 패널은 단수 또는 복수의 패널(또는 패널 형태가 아닌 임의의 영상 정보 생성 모듈 예컨대 CRT) 모듈로 구성될 수 있다. 즉, 영상 생성부(110)는 마이크로 디스플레이 소형 디스플레이, 데스트톱형 디스플레이, 대형 스크린 디스플레이 등으로 구성될 수 있다.
영상 압축부(120)는 영상 생성부(110)에 포함된 영상 표시 패널의 영상 표시 영역을 균등 또는 비균등하게 분할한다.
여기서, 영상 압축부(120)는 2차원 배열형 또는 다층(multi) 렌즈 형태 등의 3차원 구조의 광학계를 적용하여 영상 표시 패널의 영상 표시 영역을 균등 또는 비균등하게 분할할 수 있다.
영상 전송 장치(200)는 영상 전송부(210)를 포함하고, 영상 전송부(130)는 유선 또는 무선 통신 기술을 활용하여 영상 압축부(120)의 영상 정보를 영상 확대부(310)로 전송한다. 또한, 영상 전송부(130)는 영상 압축부(120)에 의해 축소된 표시 영역에서 표시되는 영상을 영상 확대부(310)로 전송한다.
상술한 바와 같이 영상 생성부(110) 및 영상 압축부(120)를 구성하면, 마이크로 디스플레이 패널 소자, 소형 디스플레이 패널 및 일반 디스플레이 패널 등 다양한 패널의 크기를 적용할 수 있다. 또한, 상술한 패널에 대응하고 영상 확대부(310) 및 혼합 영상 출력부(320)의 요구 조건(예를 들어 착용성을 고려한 경량화)에 대응하는 다양한 사양(예를 들어 광섬유의 단면적 및 케이블에 통합되는 섬유의 수)에 대응하는 영상 전송부(130)를 제작할 수 있다.
영상 출력 장치(300)는 영상 확대부(310), 혼합 영상 출력부(320) 및 투사 방향 제어부(330)를 포함할 수 있다. 영상 확대부(310)는 영상 전송부(130)로부터 전송된 영상을 광시야각 효과를 위해서 확대한다.
또한, 영상 확대부(310)는 영상 전송부(130)를 통해 전송되는 영상을 다양한 출력 기법을 통해 확대할 수 있다. 예를 들어, 영상 확대부(310)는 전송된 복수의 영상 각각에 대해 확대 배율을 다르게 제어하여 영상을 확대할 수 있다.
혼합 영상 출력부(320)는 영상 확대부(310) 및 장치 내부와 외부에서 생성된 영상과 실사 정보를 혼합한 혼합 영상을 출력한다. 즉, 혼합 영상 출력부(320)는 영상 확대부(310)로부터 확대된 영상 영상을 특정 위치로 반사시켜 사용자의 눈으로 영상을 전달한다.
투사 방향 제어부(330)는 출력되는 혼합 영상의 출력 방향을 1자 유도 ~ 6자 유도(X, Y, Z축 방향 회전 및 위치 이동을 개별적으로 1개만 지원 ~ 6축을 변경하는 지원)을 제어할 수 있다.
또한, 혼합 영상 출력부(320)는 영상 확대부(310)로부터 확대된 영상의 초점 또는 배율을 조정할 수 있다.
또한, 혼합 영상 출력부(320)는 투영된 복수의 영상을 하나의 화면으로 정합할 수 있다. 구체적으로, 혼합 영상 출력부(320)는 몰입형 영상 디스플레이를 구현하는 가상현실 및 컴퓨터 그래픽스 분야의 에지 블렌딩(edge blending) 기법과 이미지 와핑(image wraping) 기법을 이용하여 투영된 복수의 영상을 하나의 화면으로 정합하여 자연스러운 영상을 만들 수 있다.
또한, 혼합 영상 출력부(320)는 복수의 픽셀 각각에 대해 활성화 또는 비활성화를 제어한다. 즉, 혼합 영상 출력부(320)는 픽셀(pixel) 단위로 화소를 제어하여 특정 위치의 화소를 오픈(open) 또는 클로즈(close) 할 수 있다.
이와 같이, 특정 위치의 화소를 오픈 하는 경우 외부 영상의 투영이 증가되어 투사(see through) 효과를 보여줄 수 있으며, 클로즈하는 경우 외부 영상의 차단 및 내부 영상의 반사도를 증가시켜 보다 선명한 영상을 사용자의 눈으로 전달할 수 있다.
본 발명의 일 실시예에 따른 입체 디스플레이 시스템(1000)에 따르면 HMD/FMD/EGD 기술에 있어 해상도, 시야각 무게 등의 주요 요구사항을 만족시킬 수 있으며, 자연스러운 몰입형 입체 영상을 제시할 수 있다.
도 2는 본 발명의 일 실시예에 따른 입체 디스플레이 시스템의 구조를 나타내는 개념도이고, 도 3은 광섬유 내부 영상 전송 및 열화를 나타내는 개념도이며, 도 4는 울트라 씬 파이버 옵틱스 연구 사례를 나타내는 개념도이다.
도 2 내지 도 4를 참조하면, 본 발명의 일 실시예에 따른 입체 디스플레이 시스템(1000)은 영상을 표시하는 복수의 픽셀을 포함하는 영상 표시 패널(111)과 상기 복수의 픽셀에 대응하도록 설치되고 상기 복수의 픽셀에서 표시되는 영상을 출사시키는 광섬유 다발(211) 및 영상 표시 패널(111)과 광섬유 다발(211) 사이에 설치되고 상기 복수의 픽셀 각각과 광섬유 다발(211)에 포함된 각각의 광섬유의 입사면이 1:1로 대응되도록 구성된다.
따라서, 영상 표시 패널(111)의 픽셀에 각각 1:1로 대응하는 크기의 광섬유가 배치되어 영상을 손실 없이 전송할 수 있다.
여기서, 영상 표시 패널(111)은 혼합 영상 출력부(110) 곡면 정보를 반영한 프리 디스토션(pre-distortion) 영상을 생성할 수 있다.
일반적으로 광섬유를 이용한 영상을 전송하는 경우 도 3에 도시된 바와 같이 다수의 영상 정보(화소들)를 동시에 전송하면 광섬유 내부에서 수 차례 반사 및 굴절 작용으로 출력단의 영상이 흐려지게 되는 문제(즉, 화질 열화)가 발생한다.
여기서, 다수의 영상 정보를 동시에 전송하는 것은 예를 들어 영상 표시 패널의 면적과 동일한 단면적으로 가진 광섬유 1개를 사용하는 경우일 수 있다.
따라서, 스크린 이미지의 1개의 픽셀을 1개의 광섬유가 전송을 담당하도록 영상 생성부(110)를 구성하고, 정확하게 1개의 화소를 형성하는 색상원(예를 들어 레드(red), 그린(green), 블루(blue), 화이트(white) 형광체) 그룹이 1개의 광섬유에 투영될 수 있도록 위치 보정 마스크(112)를 적용해서 정밀하게 광섬유의 배치를 조정한다.
예를 들어, 풀 HD급(1920 × 1080) 화소를 생성하는 마이크로 디스플레이 패널을 영상 표시 패널로 사용하는 경우 m × n(1920 × 1080)개의 수 um 단위의 구멍(hole)이 뚫려 있는 2차원 마스크(112)를 적용할 수 있다. 특히, 도 4에 도시된 바와 같이 울트라 씬 파이버 옵틱스(ultra thin fiber optics)의 연구가 계속되고 있으며 생산 또한 가능하므로 300 DPI(Dots Per Inch) 급 이상의 초고해상도 패널에도 대응할 수 있다.
한편, 본 발명의 다른 실시예에 따른 영상 전송부(130)는 매우 작은 지름의 광섬유로 구성되어 영상 생성부(110)에 포함된 각각의 RGBW 픽셀이 독립적으로 하나의 광섬유를 타고 영상이 전송될 수도 있다.
도 5는 본 발명의 다른 실시예에 따른 입체 디스플레이 시스템의 구조를 나타내는 개념도이다.
도 2 내지 도 4를 통해 설명한 바와 같이 입체 디스플레이 시스템(1000)을 구성하는 경우 전송에 필요한 광섬유 케이블의 단면 면적이 최소한 영상 표시 패널(111)의 면적에 상응하게 된다.
이 경우 영상 생성부(110)의 해상도가 증가하여 필요한 광섬유의 수가 증가하거나 영상 생성부(110)의 단면적이 증가하는 경우 영상 전송부(130)의 단면적 및 부피가 증가하여 영상 확대부(310) 및 혼합 영상 출력부(320)를 사용자 머리부분에 착용하기 어렵게 되는 문제점이 있다. 또한, 착용형 디스플레이 장치(HMD/FMD/EGD)의 개발에 있어서 수급 가능한 영상 표시 패널 부품의 크기와 사용자 안구에 투사되는 최종 이미지의 해상도가 일치하지 않아도 되는 경우 또는 영상 전송부(130)의 부피(단면적)를 최소화시키는 것을 원할 경우에는 도 5와 같이 영상 압축부(120)를 구성할 수 있다.
도 5의 우측 상단의 그림과 같이 영상 표시 패널의 전체 화소에 대응할 수 있는 울트라 씬 광 케이블을 사용하여 일정 비율 화질의 열화를 감안하더라도 영상 전송부의 부피를 감소시킬 수 있다.
다만, 우측 상단의 그림과 같이 단일 광학계(렌즈)를 사용해서 생성된 영상을 압축시키는 경우에는 영상 표시 패널의 중심에서 멀어질수록 영상의 왜곡이 심해지고 수차가 발생하는 등의 문제가 발생할 수 있기 때문에 m' × n'형태의 2차원 배열형 다중 렌즈(121)를 적용한다.
여기서, 2차원 배열형 다중 렌즈(121)는 영상 표시 패널(111)의 일면과 2차원 마스크(위치 보정 마스크)(113)의 일면 사이에 설치되고 영상 표시 패널(111)의 영상 표시 영역을 균등 또는 비균등하게 분할하도록 구성된다.
상기 2차원 마스크(113)는 2차원 배열형 다중 렌즈(121)의 각각의 셀에 소수의 광섬유를 묶은 소그룹 광섬유 다발(213)이 정확하게 배치되도록 위치를 보정하는 역할을 한다.
본 발명의 일 실시예에 따른 입체 디스플레이 시스템(1000)을 착용형 디스플레이 장치로 구현할 때 도 5에 도시된 바와 같이 영상 생성부(110) 및 영상 확대부(120)를 구성하면, 마이크로 디스플레이 패널 소자(예를 들어 1인치 미만의 디스플레이 패널 소자), 소형 디스플레이 패널(예를 들어 실질적으로 250DPI 이상의 HD급 고해상도를 지원하는 스마트폰용 패널 부품) 및 일반 디스플레이 패널 등 적용할 수 있는 패널의 크기의 제약에서 자유롭게 될 수 있다.
또한, 상술한 영상 표시 패널에 대응하고 입체 디스플레이 시스템(1000)의 다양한 사양에 대응하는 영상 전송부(130)를 제작할 수 있다.
여기서, 영상 확대부(310) 및 혼합 영상 출력부(320)의 요구 조건은 예를 들어 착용성을 고려한 경량화이고, 영상 확대부(310) 및 영상 출력부(320)의 요구 조건에 대응하는 다양한 사양은 예를 들어 광섬유의 단면적 및 케이블에 통합되는 섬유의 수이다.
또한, 영상 생성부(110) 및 영상 압축부(120) 부품의 특징 및 영상 확대부(310) 및 혼합 영상 출력부(320)의 구조적 특징에 대응하여, 위치를 보정할 수 있는 2차원 마스크(113)를 격자형, 방사형, 균등형, 비균등형 분할 구조 등 다양한 패턴으로 변경할 수 있다.
여기서, 생성 장치(100) 부품의 특징은 예를 들어 도 2의 우측 상단에 도시된 바와 같이 RGBW 형광 물질의 배치 패턴의 다양함일 수 있고, 출력 장치(300)의 구조적 특징은 예를 들어 투영되는 스크린의 형태일 수 있다.
영상 표시 패널(111)에서 생성된 영상이 영상 확대부(310)에서 다양한 출력 기법에 의해서 확대되는 경우에 각각의 소형 렌즈가 담당하여 전송된 영상 정보가 다양한 형태의 투영면에 투사되는 경우(도 11 참조) 각각의 이미지가 겹치게 되는 영역의 크기와 형태가 달라지는 경우에 능동적으로 대응하기 위해 상술한 바와 같이 다양한 패턴이 필요하다.
여기서, 영상 표시 패널(111)은 혼합 영상 출력부(320)의 곡면 정보를 반영한 프리 디스토션(pre-distortion) 영상을 생성하고 에지 블렌딩(edge blending) 과정을 위한 경계 보정 영상을 생성할 수 있다.
도 6은 눈에 광시야갹 영상을 전달하는 환경을 나타내는 개념도이다.
도 6을 참조하면, 영상 전송부(130)는 광섬유 다발(212, 213)을 통해 사용자의 눈 가까이로 영상 정보를 전송하고, 영상 확대부(310)는 광섬유 다발(212, 213)을 통해 전송된 영상 정보를 사용자의 눈으로 직접 투사 하거나 반사 광학계를 통해 사용자의 눈으로 투사한다.
또한, 혼합 영상 출력부(320)는 다수의 디스플레이 장치로부터 생성된 영상 정보를 자연스럽게 사용자가 수용할 수 있도록 출력한다.
또한, 영상 전송부(130)는 단면적이 um 이하의 광섬유를 활용하는 경우 구현이 가능한 방법이다.
도 7은 본 발명의 일 실시예에 따른 영상 확대부 및 혼합 영상 출력부의 구조를 나타내는 개념도이고, 도 8은 본 발명의 일 실시예에 사용되는 액체 렌즈를 나타내는 개념도이다.
도 7 및 도 8을 참조하면, 대그룹 광섬유 다발(212)로 구성된 영상 전송부(130)의 끝 부분이 사용자의 눈 옆까지 연장되고, 광케이블의 끝에서 출력되는 영상을 반사시켜서 사용자의 눈으로 전달할 수 있는 비구면 형상을 가지는 반투명 거울(321)이 위치된다.
여기서, 출력된 영상의 초점거리, 배율 및 왜곡 보정 등을 위해 배율이 고정된 다수의 마이크로 렌즈의 센트가 부착될 수 있으나, 다양한 사용자의 시각 조건에 대응할 수 있도록 도 8에 도시된 바와 같이 배율 조정이 가능한 액체 렌즈 단일 또는 복수개를 중첩 활용하여 프로젝션 렌즈부를 구성한다.
도 9는 본 발명의 다른 실시예에 따른 영상 확대부 및 혼합 영상 출력부의 구조를 나타내는 개념도이고, 도 10은 본 발명의 일 실시예에 따라 영상 확대부를 구성하는 방법을 나타내는 개념도이며, 도 11은 곡면 스크린에 투영된 다수의 프로젝션 영상을 하나의 화면으로 정합하는 것을 나타내는 개념도이다.
단일 프로젝션부로는 넓은 영역의 비구면 곡면에 대응하는 자연스러운 영상의 생성이 어려울 수 있고 많은 수의 영상 보정용 렌즈의 조합을 사용하게 되므로 소형의 투사 렌즈부를 제작하기 어려운 문제가 있어 도 7에서 제안한 마이크로 렌즈의 조합으로 된 영상 프로젝션부의 구성으로 사용자의 시야를 가득 채우는 영상을 제시하기는 어렵다. 이와 같은 문제를 해결할 수 있는 방법을 이하 설명하도록 한다.
도 9 내지 도 11을 참조하면, 도 10에 도시된 바와 같이 잠자리의 눈의 구조와 유사하게 다수의 마이크로 프로젝션부의 구성으로 영상 확대부(310)를 구성하여, 출력단 위치를 보정할 수 있는 보정 곡면 마스크(312)를 활용해서 등간격 또는 비등간격의 곡면 형태로 방사형의 프로젝션 구조를 형성한다.
여기서, 보정 곡면 마스크(312)는 광섬유 다발과 반투명 거울(321)의 반사면 사이에 설치되고 등간격 또는 비 등간격의 곡면 형태의 방사형 구조를 가진다. 또한, 잠자리의 눈의 구조는 수많은 낱눈이 뭉쳐있는 형태로, 사물을 모자이크 방식으로 형상화 한다. 잠자리 눈의 낱눈은 직선으로 들어오는 빛만 받아들이고, 각각의 낱눈은 동시에 영상신호를 뇌로 보내며, 빠르게 지나가는 영상 인식에 효용성이 크다.
이와 같이 각각의 소규모 광섬유 다발(213)이 연결된 방사형 영상 출력단 (311)으로부터 투영된 영상은 반투명 거울(321)에 도 11에 도시된 바와 같이 각각의 투영된 영상의 경계가 겹치도록 가시화된다.
여기서, 도 11에 도시된 바와 같이 넓은 곡면을 작은 단위의 영상의 조합으로 출력하는 기술(대형 돔형 스크린 프로젝션 기술)에서는 몰입형 영상 디스플레이를 구현하는 가상현실 및 컴퓨터 그래픽스 분야의 에지 블렌딩(edge blending) 기법과 이미지 와핑(image warping) 기법을 적용해서 하나의 자연스러운 영상을 만들 수 있다.
곡면형 화소 반사투과 조절 마스크(322)는 반투명 거울(321)의 반사면에 부착되고, 픽셀(pixel) 단위로 화소를 제어할 수 있는 투과 및 반사도 조절용 마스크 부품으로 특정 위치의 화소를 오픈(open)하는 경우 외부 영상의 차단 및 내부 영상의 반사도를 증가시켜서 보다 선명한 영상을 사용자에게 제시할 수 있다.
도 12는 본 발명의 또 다른 실시예에 따른 영상 확대부 및 혼합 영상 출력부의 구조를 나타내는 개념도이고, 도 13은 고정 배율의 투사용 렌즈를 나타낸다.
도 12 및 도 13을 참조하면, 보정 곡면 마스크(312)에 고정된 소그룹 광섬유 다발(213)의 출사면에 고정 배율의 투사용 렌즈 또는 도 8에 도시된 바와 같은 액체 렌즈를 설치하여 프로젝션 광학부를 구성할 수 있다.
착용형 디스플레이(HMD/FMD/EGD)에서는 사용자 눈 앞에 형성된 가상 영상면(virtual screen)이 광학계의 고유 수치값(예를 들어 배율, 초점 거리 등)에 따라서 특정 거리 및 위치에 고정되는 특징을 가지고 있다. 또한, 3D 입체영상을 표현하기 위해서 양쪽 눈에 출력되는 영상에 시차 정보(disparity)를 반영하여 일정한 거리감을 사용자가 느낄 수 있도록 한다.
다만, 상술한 방법과 같이 영상 출력을 위한 가상 스크린이 고정된 경우에는 스크린을 기준으로 제한된 범위 이내에서만 음시차(negative parallax) 및 양시차(positive parallax)의 특징을 가지는 자연스러운 입체 영상만 표현할 수 있는 한계점이 있다.
도 12와 같은 기술을 적용하는 경우 착용형 디스플레이의 가상 스크린의 위치를 능동적으로 제어할 수 있어, 종래보다 더 다양한 값으로 사용자의 눈앞에 자연스러운 깊이감(depth perception)이 느껴지는 거리에 가상의 객체를 표현할 수 있는 장점을 가지게 된다.
도 14는 본 발명의 또 다른 실시예에 따른 영상 확대부 및 혼합 영상 출력부의 구조를 나타내는 개념도이다.
도 14를 참조하면, 도 12에서 설명한 방법에서는 집중되어 있는 광섬유의 영상 정보를 방사형 형태의 확대부를 통해 사용자의 눈(동공)에 정보를 전달하지만, 도 14에서는 광섬유를 직접 착용부의 프레임을 따라서 방사형으로 배치한 후 다시 사용자의 눈(동공)을 중심으로 수렴하도록 개별적으로 투사시킨다.
일반적으로 사람의 눈이 인지하는 영상은 주요 관찰 영역을 고해상도로 인지하고 주변의 영상을 흐리게 인지하는 특성을 가지고 있으므로, 도 12에서 설명한 방법(방사형 투사)을 혼용하는 방법이 가능하다.
즉, 황반(시신경이 밀집해서 고해상도 영상 이미지를 인지할 수 있는 망막의 부분)에 고해상도 영상을 제시하는 부분에 낮은 배율로 확대한 다수의 영상 투사부를 밀집시키고, 주변 영상 부분을 높은 배율로 확대하여 낮은 해상도가 제시되고 투사 면적을 확대한 적은 수의 영상 출력 조합으로 전체 영상을 구현하면 사용자는 현실과 동일한 완전 몰입형 광시야각의 영상을 체험할 수 있다.
도 15a는 영상 생성부와 혼합 영상 출력부의 대응 면적을 차별화 시키는 방법을 나타내는 개념도이다.
도 15a를 참조하면, 인간의 광시야갹 및 관심 영역을 고해상도로 관찰하는 시각의 특성에 대응할 수 있는 인터페이스를 제작하는 것으로 영상 생성부의 영상 표시 패널에서 전송부로 영상을 분할 전송할 때 영상 압축 단계에서 할당되는 영상 표시 패널의 면적으로 비균등하게 할당한다. 즉, 영상 표시 패널의 면적을 RA 및 RB로 비 균등하게 할당하고, 동일한 배율로 같은 영역에 투사를 한다.
이후, 영상 확대부(310) 및 혼합 영상 출력부(320)에서 동일한 배율(일정한 간격의 위치 보정 마스크 적용)로 투영하는 경우에 사용자 관심영역에 높은 해상도의 영상을 제시하는 광시야각 디스플레이가 가능하다.
도 15b는 혼합 영상 출력부의 투영 패턴 변형 및 투사된 스크린의 면적을 차별화 시키는 방법을 나타내는 개념도이다.
도 15b를 참조하면, 다중 영상 확대 투영부의 배치 패턴을 제어하는 위치 보정 마스크(312)를 제어하여 비 균등하게 투사 모듈을 배열하고, 각각의 확대 배율을 다르게 제어하면 고해상도 영역에 보다 많은 영상이 전송되어 보다 선명하고 몰입도가 높은 광시야각의 디스플레이가 가능하다.
도 16은 본 발명의 일 실시예에 따른 입체 디스플레이 시스템의 구현 예를 나타낸다.
도 16을 참조하면, 영상 전송부는 광섬유 케이블의 집합으로(안경형) 착용부의 다리부분에 내장될 수 있는 부피를 가질 수 있다.
혼합 영상 출력부(320)는 사용자 눈의 옆(관자놀이) 부분의 내부 공간을 여유 있게 착용부를 설계하면 충분히 내장될 수 있는 부피를 가지고 있다.
영상 확대부(310)의 위치와 사용자 눈의 위치를 중심점으로 하는 타원형 반사 렌즈부를 혼합 영상 출력부(320)의 스크린으로 제작할 수 있으며, 착용부의 외관 및 영상 확대부의 위치를 변경하고 비구면 형태의 반투명 반사렌즈를 혼합 영상 출력부(320)에 내장할 수도 있다.
도 17은 본 발명의 다른 실시예에 따른 입체 디스플레이 시스템의 구현 예를 나타낸다.
도 17을 참조하면, 본 발명의 다른 실시예에 따른 입체 디스플레이 시스템은 결과물을 사용자의 몸에 착용하지 않고 동일한 효과를 제공한다.
구체적으로, 사용자 시선 주변(예를 들어 의자의 머리 받침 근처)에 영상 투사부가 위치하도록 제작하고, 양쪽 시야에 제시될 영상을 개인 완전 몰입형 구면 또는 비구면 또는 사람의 입체 시각 특징 면을 표현하는 호롭터(horopter)면의 스크린(180)에 투영할 수 있다.
개인 완전 몰입형 투영 스크린(180)은 반투명/부분 반사형 또는 완전 반사형 재질로 제작되어 있으며, 외부 영상 투과도 조절용 마스크(170)에 의해서 외부 영상 제시용 스크린(2000)의 정보를 선택적으로 사용자에게 제시할 수 있다.
입체 디스플레이 시스템(1000)(예를 들어, 거치형 광시야각 출력 인터페이스 장치)는 착석부의 설계 및 콘텐츠 시나리오의 요구에 대응하여 단수 또는 복수의 구성으로 배치될 수 있다.
혼합 영상 출력부(320) 종단에 투사 방향을 1자유도 내지 6자유도(X, Y, Z축 방향 회전 및 위치 이동을 개별적으로 1개만 지원하는 것 내지 모든 6축을 변경하는 지원) 를 능동적으로 제어할 수 있는 투사 방향 제어부(330)를 구비하고, 개인용 영상 투영 스크린 내부에 위치한 사용자 시선 추적 모듈을 활용하면 사용자 시선(view vector)의 방향에 따라서 도 15에서 설명한 영상 효과를 사용자에게 제시할 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1000: 입체 디스플레이 시스템 100: 영상 생성 장치
110: 영상 생성부 111: 영상 표시 패널
113: 2차원 마스크 120: 영상 압축부
121: 2차원 배열형 다중 렌즈 200: 영상 전송 장치
210: 영상 전송부 211, 212, 213: 광섬유 다발
300: 영상 출력 장치 310: 영상 확대부
311: 방사형 영상 출력단 312: 보정 곡면 마스크
320: 혼합 영상 출력부 321: 반투명 거울
322: 곡면형 화소 반사투과 조절 마스크
330: 투사 방향 제어부 170: 외부 영상 투과도 조절용 마스크
180: 개인 완전 몰입형 투영 스크린 2000: 외부 영상 제시용 스크린
110: 영상 생성부 111: 영상 표시 패널
113: 2차원 마스크 120: 영상 압축부
121: 2차원 배열형 다중 렌즈 200: 영상 전송 장치
210: 영상 전송부 211, 212, 213: 광섬유 다발
300: 영상 출력 장치 310: 영상 확대부
311: 방사형 영상 출력단 312: 보정 곡면 마스크
320: 혼합 영상 출력부 321: 반투명 거울
322: 곡면형 화소 반사투과 조절 마스크
330: 투사 방향 제어부 170: 외부 영상 투과도 조절용 마스크
180: 개인 완전 몰입형 투영 스크린 2000: 외부 영상 제시용 스크린
Claims (20)
- 복수의 픽셀을 포함하는 영상 표시 패널로 구성되어 영상을 표시하는 영상 생성부; 및
상기 영상이 표시되는 표시 영역을 축소하는 영상 압축부를 포함하되,
상기 영상 압축부는,
상기 영상 표시 패널의 표시 영역을 균등 또는 비균등하게 분할하는, 영상 생성 장치. - 청구항 1에 있어서,
상기 영상 생성부는,
제1 우선 순위를 만족하는 경우 상기 영상 표시 패널 중 제1 크기의 표시 영역을 할당하여 영상을 표시하고, 제2 우선 순위를 만족하는 경우 상기 제1 크기 보다 작은 제2 크기의 표시 영역을 할당하여 영상을 표시하는 것을 특징으로 하는 영상 생성 장치. - 청구항 1에 있어서,
상기 영상 압축부는, 배열형 다중렌즈인, 영상 생성 장치. - 영상 생성 장치로부터 송신된 영상을 확대하는 영상 확대부; 및
상기 확대한 영상과 실사 정보를 혼합한 혼합 영상을 출력하는 혼합 영상 출력부를 포함하되,
상기 혼합 영상 출력부는,
상기 확대한 영상의 초점 또는 배율을 조정하여 혼합 영상을 출력하는, 영상 출력 장치. - 청구항 4에 있어서,
영상 출력 장치는,
상기 출력되는 혼합 영상의 출력 방향을 1자 유도 내지 6자 유도 중 적어도 하나의 유도로 제어하는 투사 방향 제어부를 더 포함하는 것을 특징으로 하는 영상 출력 장치. - 청구항 4에 있어서,
상기 영상 확대부로 송신되는 영상은, 광섬유 다발에 의해 상기 영상 생성 장치로부터 송신되는, 영상 출력 장치. - 청구항 4에 있어서,
상기 혼합 영상 출력부는,
상기 확대한 영상을 투사하고 상기 투사된 영상을 특정 위치로 반사시키는 것을 특징으로 하는 영상 출력 장치. - 청구항 7에 있어서,
상기 혼합 영상 출력부는,
상기 투사된 영상을 에지 블렌딩(edge blending) 기법과 이미지 와핑(image warping) 기법을 이용하여 하나의 화면으로 정합하는 것을 특징으로 하는 영상 출력 장치. - 복수의 픽셀을 포함하는 영상 표시 패널로 구성되어 영상을 표시하고, 상기 영상이 표시되는 표시 영역을 축소하는 영상 생성 장치;
상기 축소된 표시 영역에서 표시되는 영상을 전송하는 영상 전송 장치; 및
상기 전송된 영상을 확대하고 확대한 영상과 실사 정보를 혼합한 혼합 영상을 출력하는 영상 출력 장치를 포함하되,
상기 영상 생성 장치는,
상기 영상 표시 패널의 표시 영역을 균등 또는 비균등하게 분할하는, 입체 디스플레이 시스템. - 청구항 9에 있어서,
상기 영상 전송 장치는,
상기 복수의 픽셀에 대응하도록 설치되고 상기 복수의 픽셀에서 표시되는 영상을 출사시키는 광섬유 다발인, 입체 디스플레이 시스템. - 청구항 10에 있어서,
상기 영상 생성 장치는,
상기 영상 표시 패널 및 상기 광섬유 다발 사이에 설치되고,
상기 복수의 픽셀과 상기 광섬유 다발의 입사면을 대응시키는 마스크를 포함하는, 입체 디스플레이 시스템. - 청구항 9항에 있어서,
상기 영상 출력 장치는,
상기 영상 전송 장치로부터 전송된 영상을 확대하는 영상 확대부; 및
상기 영상 확대부로부터 생성된 영상을 특정 위치로 반사시켜 사용자에게 전송하는 혼합 영상 출력부를 포함하는, 입체 디스플레이 시스템. - 청구항 12항에 있어서,
상기 혼합 영상 출력부는,
상기 영상 전송 장치가 광섬유 다발로 제공될 경우, 상기 광섬유 다발을 통해 전송된 영상을 반사시키는 반투명 거울을 더 포함하는, 입체 디스플레이 시스템. - 청구항 13항에 있어서,
상기 영상 확대부는,
상기 영상 전송 장치 및 상기 반투명 거울의 반사면 사이에 설치되어, 상기 전송된 영상을 등간격 또는 비등간격의 곡면 형태의 방사형 구조로 영상을 확대하는, 보정 곡면 마스크를 포함하는, 입체 디스플레이 시스템. - 청구항 13항에 있어서,
상기 반투명 거울은,
상기 광섬유 다발의 출사면과 상기 반투명 거울의 반사면 사이에 설치되고, 배율 조정이 가능한 적어도 하나의 마이크로 렌즈를 포함하는, 입체 디스플레이 시스템. - 청구항 11항에 있어서,
상기 마스크는,
상기 복수의 픽셀 각각과 상기 광섬유 다발에 포함된 각각의 광섬유의 입사면이 1:1로 대응하도록 구성되는, 입체 디스플레이 시스템. - 청구항 11항에 있어서,
상기 마스크는,
상기 복수의 픽셀 각각과 복수의 광섬유의 입사면이 대응하도록 구성되는, 입체 디스플레이 시스템. - 청구항 9항에 있어서,
상기 영상 생성 장치, 상기 영상 전송 장치 및 상기 영상 출력 장치가 설치되는 프레임을 더 포함하고,
상기 영상 전송 장치는 상기 프레임 내부에 배치되는, 입체 디스플레이 시스템. - 청구항 11에 있어서,
상기 영상 생성 장치는,
상기 영상 표시 패널의 일면과 상기 마스크의 일면 사이에 설치되어, 상기 영상 표시 영역을 균등 또는 비균등하게 분할하는 배열형 다중 렌즈인, 입체 디스플레이 시스템. - 청구항 9에 있어서,
상기 영상 출력 장치는,
상기 확대한 영상을 투사하고 상기 투사된 영상을 에지 블렌딩(edge blending) 기법과 이미지 와핑(image warping) 기법을 이용하여 하나의 화면으로 정합하는, 입체 디스플레이 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130053375A KR102116551B1 (ko) | 2013-05-10 | 2013-05-10 | 입체 디스플레이 시스템 |
| US14/140,101 US9602808B2 (en) | 2013-05-10 | 2013-12-24 | Stereoscopic display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130053375A KR102116551B1 (ko) | 2013-05-10 | 2013-05-10 | 입체 디스플레이 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140133330A KR20140133330A (ko) | 2014-11-19 |
| KR102116551B1 true KR102116551B1 (ko) | 2020-05-28 |
Family
ID=51864495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130053375A KR102116551B1 (ko) | 2013-05-10 | 2013-05-10 | 입체 디스플레이 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9602808B2 (ko) |
| KR (1) | KR102116551B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024177258A1 (ko) * | 2023-02-23 | 2024-08-29 | 삼성전자 주식회사 | 입체 영상을 표시하는 전자 장치 및 그 제어 방법 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015064935A1 (en) * | 2013-10-28 | 2015-05-07 | Lg Electronics Inc. | Electronic device and control method thereof |
| US11609427B2 (en) | 2015-10-16 | 2023-03-21 | Ostendo Technologies, Inc. | Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays |
| KR102330237B1 (ko) * | 2016-03-15 | 2021-11-23 | 매직 립, 인코포레이티드 | 낮은-레이턴시 렌더링을 위한 와이드 베이스라인 스테레오 |
| US10823966B2 (en) * | 2016-12-08 | 2020-11-03 | Darwin Hu | Light weight display glasses |
| US11002967B2 (en) * | 2016-12-08 | 2021-05-11 | Darwin Hu | Method and system for communication between a wearable display device and a portable device |
| US11391955B2 (en) * | 2016-12-08 | 2022-07-19 | Darwin Hu | Display devices for displaying holograms |
| US11231589B2 (en) * | 2016-12-08 | 2022-01-25 | Darwin Hu | Ultralight wearable display device |
| US11086197B1 (en) * | 2020-08-28 | 2021-08-10 | Yongtong Hu | Photographing system and method of photographing human |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6246413B1 (en) | 1998-08-17 | 2001-06-12 | Mgi Software Corporation | Method and system for creating panoramas |
| JP2009530661A (ja) * | 2006-03-15 | 2009-08-27 | ゼブラ・イメージング・インコーポレイテッド | 動的裸眼立体視ディスプレイ |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5416876A (en) | 1994-01-28 | 1995-05-16 | Hughes Training, Inc. | Fiber optic ribbon subminiature display for head/helmet mounted display |
| US5767924A (en) * | 1995-06-09 | 1998-06-16 | Semiconductor Energy Laboratory Co., | Display unit which is immersed in a coolant |
| US5748194A (en) * | 1996-05-08 | 1998-05-05 | Live Picture, Inc. | Rendering perspective views of a scene using a scanline-coherent look-up table |
| US6466254B1 (en) * | 1997-05-08 | 2002-10-15 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
| US6128108A (en) * | 1997-09-03 | 2000-10-03 | Mgi Software Corporation | Method and system for compositing images |
| US6192393B1 (en) * | 1998-04-07 | 2001-02-20 | Mgi Software Corporation | Method and system for panorama viewing |
| KR20010004427A (ko) | 1999-06-28 | 2001-01-15 | 김차남 | 광섬유다발을 이용한 영상디스플레이장치 |
| KR20020016029A (ko) | 2000-08-24 | 2002-03-04 | 송혁규 | 광 영상전송에 의한 헤드마운트디스플레이 장치 |
| WO2004106982A2 (en) | 2003-05-22 | 2004-12-09 | Optical Research Associates | Optical combiner designs and head mounted displays |
| KR20060070002A (ko) * | 2004-12-20 | 2006-06-23 | (주)시리브이알 | 3ｄ 컨텐츠 제공 시스템 및 그 운영방법 |
| KR100713024B1 (ko) | 2005-04-14 | 2007-04-30 | (주)디오컴 | 프로젝션 유형 헤드 마운트 디스플레이 장치 |
| US7841728B2 (en) * | 2005-10-20 | 2010-11-30 | Seiko Epson Corporation | Image display apparatus |
| US8836848B2 (en) * | 2010-01-26 | 2014-09-16 | Southwest Research Institute | Vision system |
| KR20120064557A (ko) | 2010-12-09 | 2012-06-19 | 한국전자통신연구원 | 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법 |
| KR101926577B1 (ko) | 2012-02-23 | 2018-12-11 | 한국전자통신연구원 | 확장형 3차원 입체영상 디스플레이 시스템 |
-
2013
- 2013-05-10 KR KR1020130053375A patent/KR102116551B1/ko active IP Right Grant
- 2013-12-24 US US14/140,101 patent/US9602808B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6246413B1 (en) | 1998-08-17 | 2001-06-12 | Mgi Software Corporation | Method and system for creating panoramas |
| JP2009530661A (ja) * | 2006-03-15 | 2009-08-27 | ゼブラ・イメージング・インコーポレイテッド | 動的裸眼立体視ディスプレイ |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024177258A1 (ko) * | 2023-02-23 | 2024-08-29 | 삼성전자 주식회사 | 입체 영상을 표시하는 전자 장치 및 그 제어 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20140133330A (ko) | 2014-11-19 |
| US9602808B2 (en) | 2017-03-21 |
| US20140333734A1 (en) | 2014-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102116551B1 (ko) | 입체 디스플레이 시스템 | |
| US11551602B2 (en) | Non-uniform resolution, large field-of-view headworn display | |
| JP6829285B2 (ja) | 仮想および拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示する方法およびシステム | |
| TWI708985B (zh) | 影像投影系統 | |
| CN107430277B (zh) | 用于沉浸式虚拟现实的高级折射光学器件 | |
| JP6415608B2 (ja) | 目用投影システム | |
| JP7185331B2 (ja) | インテグラルイメージング方式のライトフィールドディスプレイ用にライトフィールド画像をレンダリングする方法 | |
| CA2815447C (en) | Head-mounted display apparatus employing one or more reflective optical surfaces | |
| CA2815461C (en) | Head-mounted display apparatus employing one or more fresnel lenses | |
| CA2821401C (en) | Collimating display with pixel lenses | |
| AU2011319481B2 (en) | Head-mounted display apparatus employing one or more Fresnel lenses | |
| JP6797799B2 (ja) | 湾曲した小レンズ配列を有する頭部装着型画像装置 | |
| CN104813218A (zh) | 人机工程学的头戴显示设备和光学系统 | |
| JP2020510241A (ja) | インテグラルイメージングおよびリレー光学部品を用いたヘッドマウント・ライトフィールド・ディスプレイ | |
| CN114365027A (zh) | 显示具有景深的物体的系统与方法 | |
| US20140266985A1 (en) | System and method for chromatic aberration correction for an image projection system | |
| Broll et al. | VR/AR output devices | |
| JP6832318B2 (ja) | 目用投影システム | |
| CN206133120U (zh) | 一种显示面板和显示装置 | |
| TWI802826B (zh) | 顯示一個具有景深的物體的系統與方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right |