KR20230057494A - 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 시스템 - Google Patents
증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 시스템 Download PDFInfo
- Publication number
- KR20230057494A KR20230057494A KR1020210140662A KR20210140662A KR20230057494A KR 20230057494 A KR20230057494 A KR 20230057494A KR 1020210140662 A KR1020210140662 A KR 1020210140662A KR 20210140662 A KR20210140662 A KR 20210140662A KR 20230057494 A KR20230057494 A KR 20230057494A
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- light emitting
- image
- reality content
- light
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 204
- 230000033001 locomotion Effects 0.000 claims abstract description 104
- 210000001747 pupil Anatomy 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims description 72
- 238000012545 processing Methods 0.000 claims description 51
- 230000004888 barrier function Effects 0.000 claims description 35
- 230000003287 optical effect Effects 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 11
- 239000011347 resin Substances 0.000 claims description 8
- 229920005989 resin Polymers 0.000 claims description 8
- 238000009792 diffusion process Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 239000000758 substrate Substances 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 26
- 239000004065 semiconductor Substances 0.000 description 26
- 238000000034 method Methods 0.000 description 21
- 230000000903 blocking effect Effects 0.000 description 16
- 229910052738 indium Inorganic materials 0.000 description 16
- APFVFJFRJDLVQX-UHFFFAOYSA-N indium atom Chemical compound [In] APFVFJFRJDLVQX-UHFFFAOYSA-N 0.000 description 16
- 210000001508 eye Anatomy 0.000 description 9
- 102100023817 26S proteasome complex subunit SEM1 Human genes 0.000 description 7
- 101000684297 Homo sapiens 26S proteasome complex subunit SEM1 Proteins 0.000 description 7
- 101000873438 Homo sapiens Putative protein SEM1, isoform 2 Proteins 0.000 description 7
- 101150089655 Ins2 gene Proteins 0.000 description 6
- 101100072652 Xenopus laevis ins-b gene Proteins 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000004397 blinking Effects 0.000 description 5
- 101100243945 Fusarium vanettenii PDAT9 gene Proteins 0.000 description 4
- 101001072191 Homo sapiens Protein disulfide-isomerase A2 Proteins 0.000 description 4
- 208000012204 PDA1 Diseases 0.000 description 4
- 102100036351 Protein disulfide-isomerase A2 Human genes 0.000 description 4
- 208000030825 patent ductus arteriosus 2 Diseases 0.000 description 4
- 101150102492 pda1 gene Proteins 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000193 eyeblink Effects 0.000 description 3
- 210000003195 fascia Anatomy 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000002096 quantum dot Substances 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 239000002019 doping agent Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000007769 metal material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 description 1
- 229910002704 AlGaN Inorganic materials 0.000 description 1
- 229910001218 Gallium arsenide Inorganic materials 0.000 description 1
- 229910004298 SiO 2 Inorganic materials 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 239000011146 organic particle Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000002161 passivation Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 229910052814 silicon oxide Inorganic materials 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
- 229910052725 zinc Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B33/00—Electroluminescent light sources
- H05B33/12—Light sources with substantially two-dimensional radiating surfaces
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- User Interface Of Digital Computer (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Abstract
본 발명은 사용자가 주시하는 사물이나 텍스트 등을 정확하게 검출하고, 검출된 사물이나 텍스트 등에 따른 이미지를 증강 현실 콘텐츠 이미지로 표시할 수 있는 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 시스템에 관한 것이다. 본 발명의 일 실시예에 따른 증강 현실 제공 장치는 적어도 하나의 투명성 렌즈를 통해 증강 현실 콘텐츠 이미지를 표시하는 적어도 하나의 표시 모듈, 좌우상하 방향의 움직임 신호들과 사용자 주시 방향의 영상 데이터를 생성하는 센싱 모듈, 사용자의 동공을 감지하여 동공 감지 신호를 출력하는 제1 및 제2 생체 센서, 및 동공 감지 신호를 기초로 사용자의 주시 방향 좌표 정보를 검출하고 영상 데이터로부터 주시 방향 좌표 정보와 대응되는 사물이나 텍스트를 추출하여 추출된 사물이나 텍스트가 포함된 증강 현실 콘텐츠 데이터를 생성하는 제어 모듈을 포함한다.
Description
본 발명은 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 시스템에 관한 것이다.
최근, 가상 현실(virtual reality, VR)을 구현할 수 있는 전자기기 및 디스플레이 장치가 개발되면서, 이에 대한 관심이 높아지고 있다. 가상 현실의 다음 단계로 증강 현실(augmented reality, AR) 및 혼합 현실(mixed reality, MR)을 실현할 수 있는 기술도 연구되고 있다.
증강 현실은 완전 가상 세계를 전제로 하는 가상 현실과는 달리, 현실 세계의 환경 위에 가상의 대상이나 영상 정보를 겹쳐 보여줌으로써 현실의 효과를 더욱 증가시키는 디스플레이 기술이다.
가상 현실이 게임이나 가상 체험과 같은 분야에만 한정적으로 적용되었다면, 증강 현실은 현실 환경에 다양하게 응용이 가능하다는 장점이 있다. 특히, 증강 현실은 유비쿼터스(ubiquitous) 환경이나 사물 인터넷(internet of things, IoT) 환경 등에 적합한 차세대 디스플레이 기술로 주목받고 있다. 이러한 증강 현실은 현실 세계와 가상 세계의 부가적인 정보를 혼합하여 보여준다는 점에서 혼합 현실의 일례라고 할 수 있다.
본 발명이 해결하고자 하는 과제는 사용자가 주시하는 사물이나 텍스트 등을 정확하게 검출하고, 검출된 사물이나 텍스트 등에 따른 이미지를 증강 현실 콘텐츠 이미지로 표시할 수 있는 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 사용자가 주시하는 사물이나 텍스트에 관련된 정보들을 증강 현실 콘텐츠 정보로 표시하고 공유할 수 있는 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 시스템을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 일 실시예에 따른 증강 현실 제공 장치는 적어도 하나의 투명성 렌즈를 통해 증강 현실 콘텐츠 이미지를 표시하는 적어도 하나의 표시 모듈, 좌우상하 방향의 움직임 신호들과 사용자 주시 방향의 영상 데이터를 생성하는 센싱 모듈, 사용자의 동공을 감지하여 동공 감지 신호를 출력하는 제1 및 제2 생체 센서, 및 상기 동공 감지 신호를 기초로 상기 사용자의 주시 방향 좌표 정보를 검출하고 상기 영상 데이터로부터 상기 주시 방향 좌표 정보와 대응되는 사물이나 텍스트를 추출하여 상기 추출된 사물이나 텍스트가 상기 증강 현실 콘텐츠 이미지로 표시되도록 증강 현실 콘텐츠 데이터를 생성하는 제어 모듈을 포함한다.
상기 제어 모듈은 상기 주시 방향 좌표 정보가 미리 설정된 기간 동안 일정하게 검출되면, 상기 증강 현실 콘텐츠 데이터를 상기 적어도 하나의 표시 모듈로 공급하고, 상기 움직임 신호들에 따른 상기 사용자의 움직임 정보를 확인하여 사용자의 거부 의사 표시 움직임 정보 확인 결과에 따라 상기 증강 현실 콘텐츠 이미지의 표시 동작을 중단할 수 있다.
상기 제어 모듈은 상기 사용자의 움직임 정보를 확인하여 확인 의사 표시 움직임 정보 확인 결과에 따라 상기 추출된 사물이나 텍스트와 관련된 세부 정보들을 검색해서 저장하고, 검색된 세부 정보들이 추가로 상기 증강 현실 콘텐츠 이미지로 표시되도록 상기 증강 현실 콘텐츠 데이터를 생성하며, 상기 증강 현실 콘텐츠 데이터를 다른 콘텐츠 표시장치와 공유할 수 있다.
상기 제어 모듈은 상기 증강 현실 콘텐츠 이미지의 표시 이후에 상기 사용자의 움직임 정보를 확인하고, 삭제 의사 표시 움직임 정보 확인 결과에 따라 상기 증강 현실 콘텐츠 데이터에 의한 상기 증강 현실 콘텐츠 이미지의 표시 및 공유 동작을 중단할 수 있다.
상기 제어 모듈은 상기 동공 감지 신호를 분석하여 상기 사용자의 주시 방향 좌표 정보를 검출하는 주시 좌표 생성부, 상기 주시 방향 좌표 정보가 가변되지 않고 유지되는 주시 기간을 카운트하는 주시 기간 검출부, 상기 주시 기간 검출부로부터 카운트되는 주시 기간이 미리 설정된 기준 기간 이상이 되면 영상 데이터 검출 신호, 및 상기 주시 방향 좌표 정보를 송출하는 영상 처리 제어부, 상기 영상 데이터 검출 신호에 응답해서 상기 센싱 모듈의 이미지 센서를 통해 상기 사용자 주시 방향의 영상 데이터를 추출하는 영상 데이터 검출부, 상기 사용자 주시 방향의 영상 데이터를 미리 설정된 복수의 블록 영역으로 분할하고, 복수의 분할 블록 영역 중 상기 주시 방향 좌표 정보와 대응되는 해당 분할 블록 영역의 영상 데이터를 추출하는 분할 블록 처리부를 포함한다.
상기 제어 모듈은 상기 움직임 신호들에 기초하여 좌측이나 우측 방향 회전 움직임 동작 검출함으로써, 거부 의사 표시 움직임 신호 또는 확인 의사 표시 움직임 신호를 상기 영상 처리 제어부로 전송하는 움직임 감지부를 더 포함한다. 상기 움직임 감지부는 상기 동공 감지 신호들의 수신 여부에 따라서는 삭제 의사 표시 움직임 신호를 상기 영상 처리 제어부로 전송할 수 있다.
상기 영상 처리 제어부는 에지 검출, 명암차 검출, 윤곽선 검출, 텍스트 필터링 중 적어도 하나의 영상 처리 프로그램을 수행하여 상기 분할 블록 영역의 영상에 포함된 사물이나 텍스트 정보를 추출하고, 상기 추출된 사물이나 텍스트 정보가 포함된 증강 현실 콘텐츠 영상 데이터를 표시 제어부, 및 정보 검출 제어부로 전송할 수 있다.
상기 정보 검출 제어부는 무선 통신부를 통해 상기 사물이나 텍스트 정보를 외부의 데이터 베이스 서버로 전송하고, 검색 엔진이나 검색 프로그램을 통해 상기 사물이나 텍스트 정보와 관련된 세부 정보들을 검색 및 추출하여 상기 영상 처리 제어부와 공유할 수 있다.
상기 표시 제어부는 상기 세부 정보들이 포함된 이미지에 특정 색의 테두리 라인이 더해지거나, 상기 세부 정보들의 이미지가 특정 색의 배경 이미지 내에 표시되도록 상기 증강 현실 콘텐츠 데이터를 변조하고, 변조된 상기 증강 현실 콘텐츠 영상 데이터를 상기 적어도 하나의 표시 모듈로 전송할 수 있다.
상기 적어도 하나의 표시 모듈은 상기 적어도 하나의 투명성 렌즈를 지지하는 지지 프레임의 일 측 또는 양측에 조립되거나 상기 지지 프레임과 일체로 형성되어, 이미지 전송 부재와 반사 부재들을 통해 상기 증강 현실 콘텐츠 이미지를 표시할 수 있다.
상기 적어도 하나의 표시 모듈은 상기 증강 현실 콘텐츠 이미지를 표시하는 적어도 하나의 영상 표시기기, 및 적어도 하나의 확산 렌즈, 적어도 하나의 초점 형성 렌즈, 상기 증강 현실 콘텐츠 이미지의 표시 경로를 변경하는 굴절 렌즈와 광 도파로 중 적어도 하나의 광학 부재를 포함할 수 있다.
상기 적어도 하나의 영상 표시기기는 기판상에 펜타일 매트릭스 구조로 구획 및 배치되는 격벽, 상기 격벽의 구획에 의해 상기 펜타일 매트릭스 구조로 배열된 복수의 발광 영역에 각각 배치되며, 상기 기판의 두께 방향으로 연장되는 복수의 발광 소자, 상기 복수의 발광 소자를 포함하는 상기 복수의 발광 영역에 형성된 베이스 수지, 및 상기 복수의 발광 영역 중 적어도 하나의 발광 영역 상에 선택적으로 배치된 복수의 광학 패턴을 포함할 수 있다.
상기 복수의 발광 영역은 각각의 화소 영역에 제1 내지 제3 발광 영역, 또는 제1 내지 제4 발광 영역이 펜타일 매트릭스 구조로 배치되도록 형성될 수 있다.
상기 제1 발광 영역은 적색, 녹색, 청색 중 어느 하나의 색을 구현하는 파장 대역의 제1 광을 발광하는 제1 발광 소자, 상기 제2 발광 영역은 적색, 녹색, 청색 중 상기 제1 광과는 상이한 어느 하나의 색을 구현하는 파장 대역의 제2 광을 발광하는 제2 발광 소자, 상기 제3 발광 영역은 적색, 녹색, 청색 중 상기 제1 및 제2 광과는 상이한 어느 하나의 색을 구현하는 파장 대역의 제3 광을 발광하는 제3 발광 소자, 및 상기 제4 발광 영역은 상기 제1 내지 제3 광 중 어느 한 광과 동일한 파장 대역의 제4 광을 발광하는 제4 발광 소자를 각각 포함한다.
상기 제1 내지 제4 발광 영역 각각의 크기 또는 평면 면적은 서로 동일하게 형성되고, 수평 방향 또는 대각선 방향으로 서로 이웃하는 상기 제1 발광 영역과 상기 제2 발광 영역 사이의 거리, 상기 제2 발광 영역과 상기 제3 발광 영역 사이의 거리, 상기 제1 발광 영역과 상기 제3 발광 영역 사이의 거리, 및 상기 제3 발광 영역과 상기 제4 발광 영역 사이의 거리는 상기 제1 내지 제4 발광 영역 각각의 크기 또는 평면 면적에 따라 서로 동일하게 배치될 수 있다.
상기 제1 내지 제4 발광 영역 각각의 크기 또는 평면 면적은 선택적으로 서로 다르게 형성되고, 상기 제1 발광 영역과 상기 제2 발광 영역 사이의 거리, 상기 제2 발광 영역과 상기 제3 발광 영역 사이의 거리, 상기 제1 발광 영역과 상기 제3 발광 영역 사이의 거리, 및 상기 제3 발광 영역과 상기 제4 발광 영역 사이의 거리는 상기 제1 내지 제4 발광 영역 각각의 크기 또는 평면 면적에 따라 서로 동일하거나 다르게 형성될 수 있다.
상기 과제를 해결하기 위한 일 실시예에 따른 증강 현실 제공 시스템은 사용자 주시 방향 좌표 정보와 대응되는 사물이나 텍스트를 추출하여 상기 추출된 사물이나 텍스트를 증강 현실 콘텐츠 이미지로 표시하는 증강 현실 제공 장치, 상기 추출된 사물이나 텍스트에 관련된 세부 정보를 상기 증강 현실 제공 장치로 공급하는 데이터 베이스 서버, 및 상기 증강 현실 제공 장치로부터 상기 증강 현실 콘텐츠 이미지를 제공받아서 동일하게 표시하는 적어도 하나의 콘텐츠 표시장치를 포함한다.
상기 증강 현실 제공 장치는 적어도 하나의 투명성 렌즈를 지지하는 지지 프레임, 적어도 하나의 투명성 렌즈를 통해 증강 현실 콘텐츠 이미지를 표시하는 적어도 하나의 표시 모듈, 상기 지지 프레임에 장착되어 좌우상하 방향의 움직임 신호들과 사용자 주시 방향의 영상 데이터를 생성하는 센싱 모듈, 상기 지지 프레임을 착용한 사용자의 동공을 감지하여 동공 감지 신호를 출력하는 제1 및 제2 생체 센서, 및 상기 동공 감지 신호를 기초로 상기 사용자의 주시 방향 좌표 정보를 검출하고, 상기 추출된 사물이나 텍스트가 상기 증강 현실 콘텐츠 이미지로 표시되도록 증강 현실 콘텐츠 데이터를 생성하는 제어 모듈을 포함한다.
상기 적어도 하나의 표시 모듈은 상기 증강 현실 콘텐츠 이미지를 표시하는 적어도 하나의 영상 표시기기, 및 적어도 하나의 확산 렌즈, 적어도 하나의 초점 형성 렌즈, 상기 증강 현실 콘텐츠 이미지의 표시 경로를 변경하는 굴절 렌즈와 광 도파로 중 적어도 하나의 광학 부재를 포함한다.
상기 제어 모듈은 상기 추출된 사물이나 텍스트와 관련된 세부 정보들을 상기 데이터 베이스 서버를 통해 검색해서 저장하고, 상기 데이터 베이스 서버로부터 검색된 세부 정보들이 추가로 상기 증강 현실 콘텐츠 이미지로 표시되도록 상기 증강 현실 콘텐츠 데이터를 생성하며, 상기 증강 현실 콘텐츠 데이터를 상기 적어도 하나의 콘텐츠 표시장치와 공유할 수 있다.
본 발명의 일 실시예에 따른 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 시스템은 사용자가 주시하는 사물이나 텍스트 등에 따른 이미지를 증강 현실 콘텐츠 이미지로 구현함으로써, 증강 현실 제공 장치의 활용성을 높일 수 있다.
또한, 본 발명의 일 실시예에 따른 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 시스템은 사용자가 주시하는 사물이나 텍스트에 따른 관련 정보들을 증강 현실 콘텐츠 정보로 표시하고 활용함으로써, 증강 현실 제공 장치의 이용 만족도와 신뢰성을 향상시킬 수 있다.
실시예들에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 장치를 보여주는 도면이다.
도 2는 도 1에 도시된 증강 현실 제공 장치를 구체적으로 보여주는 사시도이다.
도 3은 도 2에 도시된 증강 현실 제공 장치의 측면 방향 분해 사시도이다.
도 4는 도 2 및 도 3에 도시된 증강 현실 제공 장치의 배면 방향 분해 사시도이다.
도 5는 도 2 내지 도 4에 도시된 증강 현실 제공 장치의 표시 모듈을 개략적으로 나타낸 구성도이다.
도 6은 도 5에 도시된 영상 표시기기를 구체적으로 나타낸 레이아웃 도이다.
도 7은 도 6의 A 영역을 상세히 보여주는 레이아웃 도이다.
도 8은 도 7의 B 영역에 도시된 화소들을 상세히 보여주는 레이아웃 도이다.
도 9는 도 8의 I-I' 선을 따라 절단한 영상 표시기기의 일 예를 보여주는 단면도이다.
도 10은 도 9의 발광 소자의 일 예를 상세히 보여주는 확대 단면도이다.
도 11은 도 2 내지 도 4의 제어 모듈을 이루는 구성 요소들을 개략적으로 나타낸 구성 블록도이다.
도 12는 일 실시예에 따른 증강 현실 제공 장치의 증강 현실 콘텐츠 이미지 생성 및 관련 정보 표시 방법을 설명하기 위한 순서도이다.
도 13은 일 실시예에 증강 현실 제공 장치를 이용한 사용자 주시 방향 및 주시 위치 인식 방법을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 동공 추적 및 이미지 분석을 통한 사용자 주시 방향 및 주시 위치 인식 방법을 보여주는 도면이다.
도 15는 일 실시예에 따른 사용자 주시 방향의 사물 및 블록 이미지 표시 방법을 보여주는 도면이다.
도 16은 일 실시예에 따른 증강 현실 제공 시스템을 통한 증강 현실 콘텐츠 생성 및 표시 방법을 보여주는 도면이다.
도 17은 일 실시예에 따른 사용자 주시 사물이나 텍스트 관련 정보 표시 방법을 보여주는 도면이다.
도 18은 일 실시예에 따른 표시 모듈을 포함하는 워치형 스마트 기기를 보여주는 예시 도면이다.
도 19는 일 실시예에 따른 표시 모듈을 포함하는 자동차 계기판과 센터페시아를 보여주는 일 예시 도면이다.
도 20은 일 실시예에 따른 표시 모듈을 포함하는 투명표시장치를 보여주는 일 예시 도면이다.
도 2는 도 1에 도시된 증강 현실 제공 장치를 구체적으로 보여주는 사시도이다.
도 3은 도 2에 도시된 증강 현실 제공 장치의 측면 방향 분해 사시도이다.
도 4는 도 2 및 도 3에 도시된 증강 현실 제공 장치의 배면 방향 분해 사시도이다.
도 5는 도 2 내지 도 4에 도시된 증강 현실 제공 장치의 표시 모듈을 개략적으로 나타낸 구성도이다.
도 6은 도 5에 도시된 영상 표시기기를 구체적으로 나타낸 레이아웃 도이다.
도 7은 도 6의 A 영역을 상세히 보여주는 레이아웃 도이다.
도 8은 도 7의 B 영역에 도시된 화소들을 상세히 보여주는 레이아웃 도이다.
도 9는 도 8의 I-I' 선을 따라 절단한 영상 표시기기의 일 예를 보여주는 단면도이다.
도 10은 도 9의 발광 소자의 일 예를 상세히 보여주는 확대 단면도이다.
도 11은 도 2 내지 도 4의 제어 모듈을 이루는 구성 요소들을 개략적으로 나타낸 구성 블록도이다.
도 12는 일 실시예에 따른 증강 현실 제공 장치의 증강 현실 콘텐츠 이미지 생성 및 관련 정보 표시 방법을 설명하기 위한 순서도이다.
도 13은 일 실시예에 증강 현실 제공 장치를 이용한 사용자 주시 방향 및 주시 위치 인식 방법을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 동공 추적 및 이미지 분석을 통한 사용자 주시 방향 및 주시 위치 인식 방법을 보여주는 도면이다.
도 15는 일 실시예에 따른 사용자 주시 방향의 사물 및 블록 이미지 표시 방법을 보여주는 도면이다.
도 16은 일 실시예에 따른 증강 현실 제공 시스템을 통한 증강 현실 콘텐츠 생성 및 표시 방법을 보여주는 도면이다.
도 17은 일 실시예에 따른 사용자 주시 사물이나 텍스트 관련 정보 표시 방법을 보여주는 도면이다.
도 18은 일 실시예에 따른 표시 모듈을 포함하는 워치형 스마트 기기를 보여주는 예시 도면이다.
도 19는 일 실시예에 따른 표시 모듈을 포함하는 자동차 계기판과 센터페시아를 보여주는 일 예시 도면이다.
도 20은 일 실시예에 따른 표시 모듈을 포함하는 투명표시장치를 보여주는 일 예시 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
소자(elements) 또는 층이 다른 소자 또는 층의 "상(on)"으로 지칭되는 것은 다른 소자 바로 위에 또는 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 실시예들을 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
본 발명의 여러 실시예들의 각각 특징들은 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하고, 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시할 수도 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 시스템에 대해 설명한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 장치를 보여주는 도면이다.
도 1을 참조하면, 증강 현실 제공 장치(200)는 사용자가 용이하게 휴대해서 장착 또는 탈착할 수 있는 안경 형태의 프레임과 일체로 형성되거나, 안경형 프레임에 장착 또는 조립되는 형태로 구성될 수도 있다. 증강 현실 제공 장치(200)는 투명성 렌즈를 통해 사용자의 눈으로 보이는 현실 이미지에 증강 현실 콘텐츠의 이미지가 겹쳐 보이도록 하기 위해, 투명성 렌즈를 통해 사용자의 눈으로 증강 현실 콘텐츠 이미지를 제공한다. 증강 현실 콘텐츠는 그래픽 이미지, 촬영 이미지, 텍스트 등이 조합된 2차원 또는 3차원의 이미지 콘텐츠와 음향 콘텐츠 등을 포함할 수 있다.
증강 현실 제공 장치(200)는 증강 현실 콘텐츠 이미지를 표시하는 적어도 하나의 표시 모듈, 및 표시 모듈에 표시되는 증강 현실 콘텐츠 이미지가 투명성 렌즈를 통해 사용자의 눈에 인지되도록 증강 현실 콘텐츠 이미지의 표시 경로(또는, 광 경로)를 형성하는 광학 부재들을 더 포함할 수 있다.
증강 현실 제공 장치(200)는 사용자의 동공을 인식하여 사용자의 주시 방향 좌표 정보(Pu)를 검출하고, 주시 방향 좌표 정보(Pu)가 미리 설정된 기간 동안 일정하게 검출되면 주시 방향의 영상 데이터를 획득한다. 그리고 영상 데이터에서 주시 방향 좌표 정보(Pu)와 대응되는 사물이나 텍스트 등의 이미지를 추출하여, 추출된 사물이나 텍스트 이미지를 증강 현실 콘텐츠 이미지로 표시한다.
증강 현실 제공 장치(200)는 증강 현실 콘텐츠 이미지 표시 이후의 사용자의 움직임 정보를 감지하여, 미리 설정된 사용자의 거부 의사 표시 움직임 정보 확인 결과에 따라 증강 현실 콘텐츠 이미지의 표시 동작을 중단하고 표시 이미지를 삭제할 수 있다. 반면, 증강 현실 제공 장치(200)는 미리 설정된 사용자의 확인 의사 표시 움직임 정보 확인 결과에 따라 해당 증강 현실 콘텐츠 이미지의 사물이나 텍스트와 관련된 세부 정보들을 내려받아 저장한다. 그리고, 내려받은 세부 정보들 또한 영상 데이터화 하여 증강 현실 콘텐츠 이미지로 표시한다. 증강 현실 제공 장치(200)로 표시되는 증강 현실 콘텐츠 이미지들과 영상 데이터들은 모두 태블릿 PC(tablet personal computer)나 스마트폰 등 별도의 콘텐츠 표시장치에서도 동일하게 표시되도록 공유될 수 있다. 증강 현실 제공 장치(200)는 증강 현실 콘텐츠 이미지들의 표시 이후에 추가로 감지되는 삭제 의사 표시 움직임 정보 확인 결과에 따라 증강 현실 콘텐츠 이미지를 비롯한 사물이나 텍스트에 따른 세부 정보들의 표시 동작 및 공유 동작을 중단할 수 있다.
증강 현실 제공 장치(200)는 사용자가 주시하는 방향, 주시 방향의 사물, 및 텍스트 등을 보다 정확하게 검출하기 위해, 적어도 3축(예를 들어, X축, Y축, Z축) 방향에 대한 동공 움직임 정보, 및 증강 현실 제공 장치(200) 자체의 움직임 정보를 검출한다. 여기서, X축은 가로축 방향, Y축은 세로축 방향, Z축은 깊이(또는, 거리) 축 방향이 될 수 있다. 이에, 증강 현실 제공 장치(200)는 증강 현실 콘텐츠 이미지가 표시되는 표시 기간에 사용자의 눈 깜박임 동작, 좌측 또는 우측 방향 고개 회전 동작, 상측 또는 하측 방향 끄덕이는 동작(또는, 상하 이동 동작) 등의 움직임 정보를 실시간으로 검출한다. 또한, 증강 현실 제공 장치(200)는 사용자의 손 모양, 손동작, 손 위치 외에도 필기도구 등의 지시 도구에 대한 위치 및 움직임 정보를 검출할 수도 있다. 이하에서는 사용자의 눈 깜박임 동작, 좌측 또는 우측 방향 고개 회전 동작, 상측 또는 하측 방향 끄덕이는 동작에 따른 움직임 정보를 검출하는 예를 설명하기로 하며, 본 명세서의 실시예는 이에 한정되지 않는다.
도 2는 도 1에 도시된 증강 현실 제공 장치를 구체적으로 보여주는 사시도이다. 그리고, 도 3은 도 2에 도시된 증강 현실 제공 장치의 측면 방향 분해 사시도이며, 도 4는 도 2 및 도 3에 도시된 증강 현실 제공 장치의 배면 방향 분해 사시도이다.
도 2 내지 도 4를 참조하면, 증강 현실 제공 장치(200)는 적어도 하나의 투명성 렌즈(201)를 지지하는 지지 프레임(202), 적어도 하나의 표시 모듈(210(a),210(b)), 움직임 동작을 인식하는 센싱 모듈(240), 및 적어도 하나의 제어 모듈(220)을 포함한다.
지지 프레임(202)은 적어도 하나의 투명성 렌즈(201)의 테두리를 지지하는 안경테와 안경테 다리를 포함하는 안경 타입으로 형성될 수 있다. 지지 프레임(202)의 형태는 안경 타입으로 한정되지 않고 투명성 렌즈(201)를 포함하는 고글 타입이나, 헤드 마운틴 타입으로 형성될 수도 있다.
투명성 렌즈(201)는 좌우 일체형으로 형성될 수 있으며, 좌우가 분리된 제1 및 제2 투명성 렌즈로 구성될 수도 있다. 좌우 일체형 또는 제1 및 제2 투명성 렌즈로 분리 구성된 투명성 렌즈(201)는 유리(glass) 또는 플라스틱(plastic)으로 투명 또는 반투명하게 형성될 수 있다. 이로 인해, 사용자는 좌우 일체형 또는 제1 및 제2 투명성 렌즈로 분리 구성된 투명성 렌즈(201)를 통해서 현실의 이미지를 볼 수 있다. 여기서, 투명성 렌즈(201) 즉, 일체형 렌즈 또는 제1 및 제2 투명성 렌즈는 사용자의 시력을 고려하여 굴절력을 가질 수 있다.
투명성 렌즈(201)에는 적어도 하나의 표시 모듈(210(a),210(b))로부터 제공되는 증강 현실 콘텐츠 이미지를 투명성 렌즈(201)나 사용자의 눈 방향으로 반사시키는 적어도 하나의 반사 부재, 및 초점과 크기를 조절하는 광학 부재들이 더 포함될 수 있다. 적어도 하나의 반사 부재들은 투명성 렌즈(201)와 일체로 투명성 렌즈(201)에 내장될 수 있으며, 소정의 곡률을 가진 복수의 굴절 렌즈나 복수의 프리즘으로 형성될 수 있다.
적어도 하나의 표시 모듈(210(a),210(b))은 마이크로 LED 표시 장치(micro-LED), 나노 LED 표시 장치(nano-LED), 유기 발광 표시 장치(OLED), 무기 발광 표시 장치(inorganic EL), 퀀텀 닷 발광 표시 장치(QED), 음극선 표시 장치(CRT), 액정 표시 장치(LCD) 등을 포함할 수 있다. 하기에서는 적어도 하나의 표시 모듈(210(a),210(b))에 마이크로 LED 표시 장치가 포함된 예를 설명하며, 특별한 구분을 요하지 않는 이상 실시예에 적용된 마이크로 LED 표시 장치를 단순히 표시 장치로 약칭할 것이다. 그러나, 실시예가 마이크로 LED 표시 장치에 제한되는 것은 아니고, 기술적 사상을 공유하는 범위 내에서 상기 열거된 또는 본 기술분야에 알려진 다른 표시 장치가 적용될 수도 있다.
센싱 모듈(240)은 지지 프레임(202)에 조립되거나 일체로 형성되어, 지지 프레임(202)의 전면 방향 사물과의 거리(또는, 깊이), 조도, 지지 프레임(202)의 이동 방향, 이동 거리, 기울기 등을 센싱한다. 이를 위해, 센싱 모듈(240)은 적외선 센서나 라이다 센서 등의 깊이 센서(241), 및 카메라 등의 이미지 센서(260)를 포함한다. 아울러, 센싱 모듈(240)은 사용자의 안구 또는 동공의 움직임 정보를 검출하는 제1 및 제2 생체 센서(231,232)를 더 포함한다. 또한, 센싱 모듈(240)은 조도 센서, 인체 감지 센서, 자이로 센서, 기울기 센서, 가속도 센서 중 적어도 하나의 모션 센서 등을 더 포함할 수 있다.
제1 및 제2 생체 센서(231,232)는 사용자의 눈과 마주하는 방향인 지지 프레임(202) 내측에 배치되며, 적어도 하나의 적외선 광원, 및 적어도 하나의 적외선 카메라를 포함한다. 적어도 하나의 적외선 광원은 적외선을 출력하고, 적어도 하나의 적외선 카메라는 피사체인 안구 또는 동공으로부터 반사되는 적외선을 검출한다. 여기서, 적어도 하나의 적외선 광원은 행렬 구조의 적외선 LED 어레이로 구성될 수 있다. 그리고, 적외선 카메라는 적외선을 통과시키고 적외선 이외의 파장 대역을 차단하는 필터, 필터를 통과한 적외선을 포커싱하는 렌즈계, 및 렌즈계에 의해 형성된 광학 이미지를 전기적인 이미지 신호로 변환해서 출력하는 광학 이미지 센서 등을 포함할 수 있다. 광학 이미지 센서는 적외선 LED 어레이와 마찬가지로 행렬 구조의 어레이로 구성될 수 있다.
센싱 모듈(240)은 깊이 센서(241), 및 적어도 하나의 모션 센서 등을 통해 생성되는 센싱 신호들을 실시간으로 제어 모듈(220)로 전송한다. 그리고, 이미지 센서(260)는 실시간으로 생성되는 적어도 한 프레임 단위의 영상 데이터를 제어 모듈(220)로 전송한다. 센싱 모듈(240)의 제1 및 제2 생체 센서(231,232)는 각각 검출되는 동공 감지 신호들을 제어 모듈(220)로 전송한다.
제어 모듈(220)은 적어도 하나의 표시 모듈(210(a),210(b))과 함께 지지 프레임(202)의 적어도 일 측에 조립되거나 지지 프레임(202)과 일체로 형성될 수 있다. 제어 모듈(220)은 적어도 하나의 표시 모듈(210(a),210(b))이 증강 현실 콘텐츠, 일 예로 증강 현실 콘텐츠 이미지를 표시하도록 적어도 하나의 표시 모듈(210(a),210(b))에 증강 현실 콘텐츠 데이터를 공급한다. 이와 동시에, 제어 모듈(220)은 센싱 모듈(240)로부터의 센싱 신호들, 이미지 센서(260)로부터의 영상 데이터들, 및 제1 및 제2 생체 센서(231,232)로부터의 동공 감지 신호들을 실시간으로 수신한다.
제어 모듈(220)은 제1 및 제2 생체 센서(231,232)에 포함된 광학 이미지 센서들의 행렬 배치 구조, 광학 이미지 센서들의 적외선 수신 위치, 및 동공 감지 신호들의 분석 결과에 따라 사용자의 주시 방향 좌표 정보(Pu)를 검출한다. 그리고, 제어 모듈(220)은 센싱 모듈(240)로부터의 센싱 신호들을 통해 증강 현실 제공 장치(200)의 움직임 정보를 검출하고, 이미지 센서(260)를 통해 사용자 주시 방향(또는, 증강 현실 제공 장치(200)의 전면 방향)의 영상 데이터를 확보 및 저장한다. 이에, 제어 모듈(220)은 사용자 주시 방향의 영상 데이터를 미리 설정된 복수의 블록 영역으로 분할하고, 사용자의 주시 방향 좌표 정보(Pu)와 대응되는 분할 블록 영역의 영상 데이터를 검출할 수 있다. 제어 모듈(220)은 주시 방향 좌표 정보(Pu)와 대응되는 블록 영역의 영상 데이터, 또는 분할 블록 영역의 영상 데이터에 포함된 사물이나 텍스트 정보 등을 증강 현실 콘텐츠 영상 데이터로 보정하고, 적어도 하나의 표시 모듈(210(a),210(b))로 전송한다. 적어도 하나의 표시 모듈(210(a),210(b))에 의해 분할 블록 영역의 영상 데이터에 포함된 사물이나 텍스트 정보가 투명성 렌즈(201)에 증강 현실 콘텐츠 이미지로 표시될 수 있다.
제어 모듈(220)은 증강 현실 콘텐츠 영상 데이터 전송 이후에, 센싱 모듈(240)로부터의 센싱 신호들을 수신하여 사용자의 움직임 정보, 즉 사용자의 눈 깜박임, 좌측 또는 우측 방향 고개 회전, 상측 또는 하측 방향 끄덕임 등의 움직임 정보를 감지한다. 그리고, 좌측 또는 우측 방향 고개 회전 등의 거부 의사 표시 움직임 정보에 따라 증강 현실 콘텐츠 이미지의 표시 동작을 중단할 수 있다. 또한, 제어 모듈(220)은 사용자의 눈 깜박임 등의 확인 의사 표시 움직임 정보에 따라서는 증강 현실 콘텐츠 이미지의 사물이나 텍스트에 관련된 세부 정보들을 추출하고, 추출된 세부 정보들 또한 증강 현실 콘텐츠 영상 데이터로 변조하여, 적어도 하나의 표시 모듈(210(a),210(b))로 전송한다. 이에, 증강 현실 콘텐츠 이미지의 사물이나 텍스트에 따른 세부 정보들 또한 적어도 하나의 표시 모듈(210(a),210(b))에 의해 증강 현실 콘텐츠 이미지로 표시될 수 있다. 한편, 제어 모듈(220)은 상측 또는 하측 방향 끄덕임 등의 삭제 의사 표시 움직임 정보에 따라 사물이나 텍스트에 따른 세부 정보들의 표시 동작을 중단할 수 있다.
도 5는 도 2 내지 도 4에 도시된 증강 현실 제공 장치의 표시 모듈을 개략적으로 나타낸 구성도이다.
도 2 내지 도 5를 참조하면, 증강 현실 콘텐츠 이미지를 표시하는 적어도 하나의 표시 모듈(210(a),210(b))은 지지 프레임(202)의 일 측 또는 양측에 조립되거나 지지 프레임(202)과 일체로 형성될 수 있다.
어느 하나의 표시 모듈(210(a))을 일 예로 설명하면, 어느 하나의 표시 모듈(210(a))은 적어도 하나의 투명성 렌즈(201)에 증강 현실 콘텐츠 이미지가 표시되도록 함으로써, 적어도 하나의 투명성 렌즈(201)를 통해 사용자에게 보이는 현실 이미지에 증강 현실 콘텐츠 이미지가 겹쳐 보이도록 한다. 이를 위해, 표시 모듈(210(a))은 증강 현실 콘텐츠 이미지를 표시하는 적어도 하나의 영상 표시기기(110), 및 증강 현실 콘텐츠 이미지를 적어도 하나의 투명성 렌즈(201)로 전송하는 이미지 전송 부재(211)를 포함한다. 여기서, 이미지 전송 부재(211)는 광 도파로(예를 들어: 프리즘), 확산 렌즈(112), 및 초점 형성 렌즈(114) 중 적어도 하나의 광학 부재를 포함할 수 있다. 이에, 각각의 영상 표시기기(110)를 통해 표시되는 증강 현실 콘텐츠 이미지는 광 도파로와 확산 렌즈(112), 및 적어도 하나의 초점 형성 렌즈(114) 등을 통해서 적어도 하나의 투명성 렌즈(201)와 사용자의 눈으로 제공될 수 있다.
표시 모듈(210)에 포함된 영상 표시기기(110)는 마이크로 LED 표시 장치(micro-LED), 나노 LED 표시 장치(nano-LED), 유기 발광 표시 장치(OLED), 무기 발광 표시 장치(inorganic EL), 퀀텀 닷 발광 표시 장치(QED), 음극선 표시 장치(CRT), 액정 표시 장치(LCD) 등을 포함할 수 있다. 하기에서는 영상 표시기기(110)는 마이크로 LED 표시 장치가 포함된 예를 설명한다. 그러나, 실시예가 마이크로 LED 표시 장치에 제한되는 것은 아니고, 기술적 사상을 공유하는 범위 내에서 상기 열거된 또는 본 기술분야에 알려진 다른 표시 장치가 적용될 수도 있다.
도 6은 도 5에 도시된 영상 표시기기를 구체적으로 나타낸 레이아웃 도이다. 그리고, 도 7은 도 6의 A 영역을 상세히 보여주는 레이아웃 도이며, 도 8은 도 7의 B 영역에 도시된 화소들을 상세히 보여주는 레이아웃 도이다.
도 6 내지 도 8에 따른 일 실시예에서의 영상 표시기기(110)는 반도체 공정으로 형성된 반도체 회로 기판상에 발광 다이오드 소자들을 배치한 LEDoS(Light Emitting Diode on Silicon) 구조를 예로 설명하였다. 그러나, 본 명세서의 실시예는 이에 한정되지 않음에 주의하여야 한다. 또한, 본 명세서의 일 실시예에 따른 영상 표시기기(110)는 발광 소자로서 초소형 발광 다이오드(마이크로 또는 나노 발광 다이오드)를 포함하는 초소형 발광 다이오드 표시 모듈(마이크로 또는 나노 발광 다이오드 표시 모듈)인 것을 중심으로 설명하였으나, 본 명세서의 실시예는 이에 한정되지 않는다.
도 6 내지 도 8에 따른 제1 방향(DR1)은 영상 표시기기(110)의 가로 방향을 가리키고, 제2 방향(DR2)은 영상 표시기기(110)의 세로 방향을 가리키며, 제3 방향(DR3)은 표시 패널(212)의 두께 방향 또는 반도체 회로 기판(215)의 두께 방향을 가리킨다. 아울러, 제4 방향(DR4)은 표시 패널(212)의 대각선 방향을 가리키며, 제5 방향(DR5)은 제4 방향(DR4)과 교차하는 대각선 방향을 가리킨다. 이 경우, "좌", "우", "상", "하"는 표시 패널(212)을 평면에서 바라보았을 때의 방향을 나타낸다. 예를 들어, "우측"은 제1 방향(DR1)의 일측, "좌측"은 제1 방향(DR1)의 타측, "상측"은 제2 방향(DR2)의 일측, "하측"은 제2 방향(DR2)의 타측을 나타낸다. 또한, "상부"는 제3 방향(DR3)의 일측을 가리키고, "하부"는 제3 방향(DR3)의 타측을 가리킨다.
도 6 내지 도 8을 참조하면, 영상 표시기기(110)는 표시 영역(DA)과 비표시 영역(NDA)을 포함하는 표시 패널(212)을 구비한다.
영상 표시기기(110)의 표시 패널(212)은 제1 방향(DR1)의 장변과 제2 방향(DR2)의 단변을 갖는 사각형의 평면 형태를 가질 수 있다. 다만, 표시 패널(212)의 평면 형태는 이에 한정되지 않으며, 사각형 이외의 다른 다각형, 원형, 타원형 또는 비정형의 평면 형태를 가질 수 있다.
표시 영역(DA)은 화상이 표시되는 영역이고, 비표시 영역(NDA)은 화상이 표시되지 않는 영역일 수 있다. 표시 영역(DA)의 평면 형태는 표시 패널(212)의 평면 형태를 추종할 수 있다. 도 6에서는 표시 영역(DA)의 평면 형태가 사각형인 것을 예시하였다. 표시 영역(DA)은 표시 패널(212)의 중앙 영역에 배치될 수 있다. 비표시 영역(NDA)은 표시 영역(DA)의 주변에 배치될 수 있다. 비표시 영역(NDA)은 표시 영역(DA)을 둘러싸도록 배치될 수 있다.
제1 패드부(PDA1)는 비표시 영역(NDA)에 배치될 수 있다. 제1 패드부(PDA1)는 표시 패널(212)의 상측에 배치될 수 있다. 제1 패드부(PDA1)는 외부의 회로 보드와 연결되는 제1 패드(PD1)들을 포함할 수 있다. 한편, 제2 패드부(PDA2)는 비표시 영역(NDA)에 배치될 수 있다. 제2 패드부(PDA2)는 반도체 회로 기판의 하측에 배치될 수 있다. 제2 패드부(PDA2)는 외부의 회로 보드와 연결되기 위한 제2 패드들을 포함할 수 있다. 이러한, 제2 패드부(PDA2)는 생략될 수 있다.
표시 패널(212)의 표시 영역(DA)은 복수의 화소(PX)들을 포함할 수 있다. 각각의 화소(PX)는 각각 정의된 화소 영역(PX_d)에서 화이트 광을 표시할 수 있는 최소 발광 단위로 정의될 수 있다.
각각의 화소 영역(PX_d)에 화이트 광을 표시할 수 있는 최소 단위로 배치된 화소(PX)들은 복수의 발광 영역들(EA1,EA2,EA3,EA4)을 포함할 수 있다. 본 명세서의 실시예에서는 각각의 화소(PX)들이 펜타일 매트릭스(PenTile matrix) 구조로 배치된 4개의 발광 영역들(EA1,EA2,EA3,EA4)을 포함하는 것을 예시하였으나, 이에 한정되지 않는다. 예를 들어, 복수의 화소(PX)들 각각은 3개의 발광 영역들(EA1, EA2, EA3) 만을 포함할 수도 있다.
각 화소 영역(PX_d)별 복수의 발광 영역들(EA1,EA2,EA3,EA4)은 격벽(PW)에 의해 구획될 수 있다. 격벽(PW)은 발광 영역들(EA1,EA2,EA3,EA4)에 배치된 제1 내지 제4 발광 소자(LE1 내지 LE4)를 각각 둘러싸도록 배치될 수 있다. 격벽(PW)은 각각의 제1 내지 제4 발광 소자(LE1 내지 LE4)와 떨어져 배치될 수 있다. 이러한, 격벽(PW)은 메쉬 형태, 그물망 형태 또는 격자 형태의 평면 형태를 가질 수 있다.
도 7과 도 8에서는 격벽(PW)에 의해 정의되는 복수의 발광 영역들(EA1,EA2,EA3,EA4) 각각이 펜타일 매트릭스 구조를 이루는 마름모 형상의 평면 형태를 갖는 것을 예시하였으나, 본 명세서의 실시예는 이에 한정되지 않는다. 예를 들어, 격벽(PW)에 의해 정의되는 복수의 발광 영역들(EA1,EA2,EA3,EA4) 각각은 마름모 이외의 사각형이나 삼각형 등의 다각형, 원형, 타원형, 또는 비정형의 형태를 가질 수 있다.
도 8을 참조하면, 복수의 발광 영역들(EA1,EA2,EA3,EA4) 중 제1 발광 영역(EA1)은 제1 광을 발광하는 제1 발광 소자(LE1), 제2 발광 영역(EA2)은 제2 광을 발광하는 제2 발광 소자(LE2), 제3 발광 영역(EA3)은 제3 광을 발광하는 제3 발광 소자(LE4), 제4 발광 영역(EA4)은 제4 광을 발광하는 제4 발광 소자(LE4)를 각각 포함할 수 있다. 제1 광은 적색, 녹색, 청색 중 어느 하나의 색을 구현하는 파장 대역의 광일 수 있다. 그리고, 제2 광은 적색, 녹색, 청색 중 제1 광과는 상이한 어느 하나의 색을 구현하는 파장 대역의 광일 수 있다. 반면, 제3 광은 적색, 녹색, 청색 중 제1 및 제2 광과는 상이한 어느 하나의 색을 구현하는 파장 대역의 광일 수 있다. 그리고, 제4 광은 상기 제1 내지 제3 광 중 어느 한 광과 동일한 파장 대역의 광일 수 있다.
펜타일 매트릭스 구조로 배치된 제1 내지 제4 발광 영역(EA1 내지 EA4)에 각각 포함된 제1 내지 제4 발광 소자(LE1 내지 LE4) 각각이 마름모 형상의 평면 형태를 갖는 것을 예시하였으나, 본 명세서의 실시예는 이에 한정되지 않는다. 예를 들어, 제1 내지 제4 발광 소자(LE1) 내지 LE4) 각각은 마름모 형상 이외의 삼각형이나 사각형 등의 다각형, 원형, 타원형, 또는 비정형의 형태로 형성될 수 있다.
제1 발광 영역(EA1)들 각각은 제1 광을 발광하는 영역을 가리킨다. 제1 발광 영역(EA1)들 각각은 제1 발광 소자(LE1)로부터 출광되는 제1 광을 출력한다. 전술한 바와 같이, 제1 광은 적색, 녹색, 청색 중 어느 하나의 색을 구현하는 파장 대역의 광일 수 있다. 일 예로, 제1 광은 적색 파장 대역의 광일 수 있다. 적색 파장 대역은 대략 600㎚ 내지 750㎚일 수 있으나, 본 명세서의 실시예는 이에 한정되지 않는다.
제2 발광 영역(EA2)들 각각은 제2 광을 발광하는 영역을 가리킨다. 제2 발광 영역(EA2)들 각각은 제2 발광 소자(LE2)로부터 출광되는 제2 광을 출력한다. 제2 광은 적색, 청색, 녹색 중 제1 광과는 다른 어느 하나의 색을 구현하는 파장 대역의 광일 수 있다. 일 예로, 제2 광은 청색 파장 대역의 광일 수 있다. 청색 파장 대역은 대략 370㎚ 내지 460㎚일 수 있으나, 본 명세서의 실시예는 이에 한정되지 않는다.
제3 발광 영역(EA3)들 각각은 제3 광을 발광하는 영역을 가리킨다. 제3 발광 영역(EA3)들 각각은 제3 발광 소자(LE3)로부터 출광되는 제3 광을 출력한다. 제3 광은 적색, 청색, 녹색 중 제1 및 제2 광과는 다른 어느 하나의 색을 구현하는 파장 대역의 광일 수 있다. 일 예로, 제3 광은 녹색 파장 대역의 광일 수 있다. 녹색 파장 대역은 대략 480㎚ 내지 560㎚일 수 있으나, 본 명세서의 실시예는 이에 한정되지 않는다.
제4 발광 영역(EA4)들 각각은 제4 광을 발광하는 영역을 가리킨다. 제4 발광 영역(EA4)들 각각은 제4 발광 소자(LE4)로부터 출광되는 제4 광을 출력한다. 여기서, 제4 광은 제1 내지 제3 광 중 어느 한 광과 동일한 색을 구현하는 파장 대역의 광일 수 있다. 일 예로, 제4 광은 제2 광과 동일한 청색 파장 대역의 광일 수 있으며, 제3 광과 동일한 녹색 파장 대역의 광일 수도 있다. 본 명세서의 실시예는 이에 한정되지 않는다.
각 화소(PX)들의 제2 발광 영역(EA2)들은 가로(또는, 행) 방향인 제1 방향(DR1)을 따라서 인접한 다른 화소(PX)들의 제4 발광 영역(EA4)들과 교대로 교번해서 배치될 수 있다. 그리고, 각 화소(PX)들의 제1 발광 영역(EA1)들, 및 제3 발광 영역(EA3)들은 가로(또는, 행) 방향인 제1 방향(DR1)을 따라서 교대로 교번해서 배치될 수 있다. 반면, 각 화소(PX)들의 제4 발광 영역(EA4)들은 가로(또는, 행) 방향인 제1 방향(DR1)을 따라서 인접한 다른 화소(PX)들의 제2 발광 영역(EA2)들과 교대로 교번해서 배치될 수 있다.
제1 발광 영역(EA1)과 제4 발광 영역(EA4)은 제1 대각선 방향인 제4 방향(DR4)으로 교대로 배치되고, 제2 발광 영역(EA2)과 제3 발광 영역(EA3) 또한 제1 대각선 방향인 제4 방향(DR4)으로 교대로 배치된다. 이에, 제2 발광 영역(EA2)과 제1 발광 영역(EA1)은 제1 대각선 방향과 교차하는 제2 대각선 방향인 제5 방향(DR5)으로 교대로 배치되고, 제3 발광 영역(EA3)과 제4 발광 영역(EA4) 또한 제2 대각선 방향인 제5 방향(DR5)으로 교대로 배치됨으로써, 전체적으로 각각의 화소(PX)들 또한 펜 타일 매트릭스 구조로 배치 및 배열될 수 있다.
각 화소(PX)의 제1 내지 제4 발광 영역(EA1 내지 EA4) 각각의 크기 또는 평면 면적은 서로 동일하거나 다르게 형성될 수 있다. 이와 마찬가지로, 제1 내지 제4 발광 영역(EA1 내지 EA4)에 각각 형성된 제1 내지 제4 발광 소자(LE1 내지 LE4) 각각의 크기 또는 평면 면적 또한 서로 동일하거나 다르게 형성될 수 있다.
구체적으로, 제1 발광 영역(EA1)의 면적, 제2 발광 영역(EA2)의 면적, 제3 발광 영역(EA3)의 면적, 및 제4 발광 영역(EA4)의 면적은 실질적으로 동일할 수 있으나, 본 명세서의 실시예는 이에 한정되지 않는다. 예를 들어, 제1 및 제2 발광 영역(EA1,EA2)의 면적이 상이하고, 제2 및 제3 발광 영역(EA2,EA3)의 면적 또한 상이하며, 제3 및 제4 발광 영역(EA3,EA4)의 면적 또한 상이할 수도 있다. 이때, 제1 내지 제4 발광 영역(EA1 내지 EA4) 중 적어도 두 개씩의 발광 영역의 면적이 서로 동일할 수도 있다.
수평 방향 또는 대각선 방향으로 서로 이웃하는 제1 및 제2 발광 영역(EA1,EA2) 사이의 거리, 제2 및 제3 발광 영역(EA2,EA3) 사이의 거리, 제3 및 제4 발광 영역(EA3,EA4) 사이의 거리, 및 제1 및 제4 발광 영역(EA1,EA4) 사이의 거리는 서로 동일할 수 있으나, 달라지는 면적에 따라서 서로 상이할 수도 있다. 본 명세서의 실시예는 이에 한정되지 않는다.
제1 발광 영역(EA1)이 제1 광을 발광하고, 제2 발광 영역(EA2)이 제2 광을 발광하며, 제3 발광 영역(EA3)이 제3 광을 발광하고, 제4 발광 영역(EA4)이 제1 내지 제3 광 중 어느 한 광과 동일한 광을 발광하는 예시 또한 이에 한정되지 않는다. 제1 내지 제4 발광 영역(EA1 내지 EA4) 중 적어도 하나의 발광 영역이 제5 광을 발광할 수도 있다. 여기서, 제5 광은 노란색 파장 대역의 광일 수 있다. 즉, 제5 광의 메인 피크 파장은 대략 550㎚ 내지 600㎚에 위치할 수 있으나, 본 명세서의 실시예는 이에 한정되지 않는다.
도 9는 도 8의 I-I' 선을 따라 절단한 영상 표시기기의 일 예를 보여주는 단면도이다. 그리고, 도 10은 도 9의 발광 소자의 일 예를 상세히 보여주는 확대 단면도이다.
도 9 및 도 10을 참조하면, 표시 패널(212)은 반도체 회로 기판(215), 도전 연결층(216)과 발광 소자층(217)을 포함할 수 있다.
반도체 회로 기판(215)은 복수의 화소 회로부(PXC)들과 화소 전극(214)들을 포함할 수 있다. 도전 연결층(216)은 연결 전극(213)들, 제1 패드(PD1)들, 공통 연결 전극(CCE), 제1 절연막(INS1), 및 도전 패턴(213R)을 포함할 수 있다.
반도체 회로 기판(215)은 반도체 공정을 이용하여 형성된 실리콘 웨이퍼 기판일 수 있다. 반도체 회로 기판(215)의 복수의 화소 회로부(PXC)들은 반도체 공정을 이용하여 형성될 수 있다.
복수의 화소 회로부(PXC)들은 표시 영역(도 6의 DA)에 배치될 수 있다. 복수의 화소 회로부(PXC)들 각각은 그에 대응되는 화소 전극(214)에 연결될 수 있다. 즉, 복수의 화소 회로부(PXC)들과 복수의 화소 전극(214)들은 일대일로 대응되게 연결될 수 있다. 복수의 화소 회로부(PXC)들 각각은 제3 방향(DR3)에서 각각 대응되는 발광 소자들(LE1 내지 LE4) 중 하나씩과 중첩될 수 있다. 화소 회로부(PXC)들 각각은 3T1C 구조, 2T1C 구조, 7T1C 구조, 6T1C 구조 등 다른 다양한 변형 회로 구조가 적용될 수도 있다.
화소 전극(214)들 각각은 그에 대응되는 화소 회로부(PXC)상에 배치될 수 있다. 화소 전극(214)들 각각은 화소 회로부(PXC)로부터 노출된 노출 전극일 수 있다. 즉, 화소 전극(214)들 각각은 화소 회로부(PXC)의 상면으로부터 돌출될 수 있다. 화소 전극(214)들 각각은 화소 회로부(PXC)와 일체로 형성될 수 있다. 화소 전극(214)들 각각은 화소 회로부(PXC)로부터 화소 전압 또는 애노드 전압을 공급받을 수 있다. 화소 전극(214)들은 알루미늄(Al)으로 형성될 수 있다.
연결 전극(213)들 각각은 그에 대응되는 화소 전극(214) 상에 배치될 수 있다. 연결 전극(213)들 각각은 화소 전극(214) 상에 배치될 수 있다. 연결 전극(213)들은 화소 전극(214)들과 각각의 발광 소자(LE1 내지 LE4)들을 접착하기 위한 금속 물질을 포함할 수 있다.
공통 연결 전극(CCE)은 화소 전극(214) 및 연결 전극(213)과 떨어져 배치될 수 있다. 공통 연결 전극(CCE)은 화소 전극(214) 및 연결 전극(213)을 둘러싸도록 배치될 수 있다. 공통 연결 전극(CCE)은 비표시 영역(NDA)의 제1 패드부(PDA1)의 제1 패드(PD1)들 중 어느 하나에 연결되어 공통 전압을 공급받을 수 있다. 공통 연결 전극(CCE)은 연결 전극(213)들과 동일한 물질을 포함할 수 있다.
공통 연결 전극(CCE) 상에는 제1 절연막(INS1)이 배치될 수 있다. 제1 방향(DR1) 또는 제2 방향(DR2)에서 제1 절연막(INS1)의 폭은 공통 연결 전극(CCE)의 폭보다 작을 수 있다. 이로 인해, 공통 연결 전극(CCE)의 상면 일부는 제1 절연막(INS1)에 의해 덮이지 않고 노출될 수 있다. 제1 절연막(INS1)에 의해 덮이지 않고 노출된 공통 연결 전극(CCE)의 상면 일부는 공통 전극(CE)과 접촉할 수 있다. 그러므로, 공통 전극(CE)은 공통 연결 전극(CCE)에 연결될 수 있다.
제1 절연막(INS1) 상에 도전 패턴(112R)이 배치될 수 있다. 도전 패턴(213R)은 제1 절연막(INS1)과 격벽(PW) 사이에 배치될 수 있다. 도전 패턴(213R)의 폭은 제1 절연막(INS1)의 폭 또는 격벽(PW)의 폭과 실질적으로 동일할 수 있다. 도전 패턴(213R)은 연결 전극(213)들 및 공통 연결 전극(CCE)과 동일한 공정으로 형성되는 잔존물에 해당한다.
발광 소자층(217)은 각각의 발광 소자들(LE1,LE2,LE3,LE4), 격벽(PW), 제2 절연막(INS2), 공통 전극(CE), 반사막(RF), 차광 부재(BM), 및 광학 패턴(LP)들을 포함할 수 있다.
발광 소자층(217)은 격벽(PW)에 의해 구획된 제1 내지 제4 발광 영역(EA1 내지 EA4)들을 포함할 수 있다. 제1 내지 제4 발광 영역(EA1 내지 EA4)들 각각에는 각각의 발광 소자(LE), 및 광학 패턴(LP) 중 적어도 하나의 구성 요소들이 배치될 수 있다.
도 9의 발광 소자들(LE1,LE2,LE3)은 각 발광 영역(EA1 내지 EA3)들에서 연결 전극(213) 상에 배치될 수 있다. 각 발광 소자들(LE1,LE2,LE3)의 제3 방향(DR3)의 길이(또는, 높이)는 수평 방향의 길이보다 길 수 있다. 수평 방향의 길이는 제1 방향(DR1)의 길이 또는 제2 방향(DR2)의 길이를 가리킨다. 예를 들어, 제1 발광 소자(LE1)의 제3 방향(DR3)의 길이는 대략 1㎛ 내지 5㎛일 수 있다.
도 10을 참조하면, 각각의 발광 소자들(LE1,LE2,LE3,LE4)은 제1 반도체층(SEM1), 전자 저지층(EBL), 활성층(MQW), 초격자층(SLT), 및 제2 반도체층(SEM2)을 포함한다. 제1 반도체층(SEM1), 전자 저지층(EBL), 활성층(MQW), 초격자층(SLT), 및 제2 반도체층(SEM2)은 제3 방향(DR3)으로 순차적으로 적층될 수 있다.
제1 반도체층(SEM1)은 연결 전극(213) 상에 배치될 수 있다. 제1 반도체층(SEM1)은 Mg, Zn, Ca, Se, Ba 등과 같은 제1 도전형 도펀트가 도핑된 반도체층일 수 있다. 예를 들어, 제1 반도체층(31)은 p형 Mg로 도핑된 p-GaN일 수 있다. 제1 반도체층(SEM1)의 두께는 대략 30 내지 200㎚일 수 있다.
전자 저지층(EBL)은 제1 반도체층(SEM1) 상에 배치될 수 있다. 전자 저지층(EBL)은 너무 많은 전자가 활성층(MQW)으로 흐르는 것을 억제 또는 방지하기 위한 층일 수 있다. 예를 들어, 전자 저지층(EBL)은 p형 Mg로 도핑된 p-AlGaN일 수 있다. 전자 저지층(EBL)의 두께는 대략 10 내지 50㎚일 수 있다. 전자 저지층(EBL)은 생략될 수 있다.
활성층(MQW)은 제1 내지 제3 활성층으로 구분될 수 있다. 제1 내지 제3 활성층 각각은 단일 또는 다중 양자 우물 구조의 물질을 포함할 수 있다. 제1 내지 제3 활성층 각각이 다중 양자 우물 구조의 물질을 포함하는 경우, 복수의 우물층(well layer)과 배리어층(barier layer)이 서로 교번하여 적층된 구조일 수도 있다. 이때, 제1 활성층은 InGaN 또는 GaAs를 포함하고, 제2 활성층과 제3 활성층은 InGaN를 포함할 수 있으나, 이에 한정되지 않는다. 여기서, 제1 활성층은 전기 신호에 따라 전자-정공 쌍의 결합에 의해 광을 발광할 수 있다. 제1 활성층은 메인 피크 파장이 대략 600㎚ 내지 750㎚의 범위를 갖는 제1 광, 즉 적색 파장 대역의 광을 방출할 수 있다. 제2 활성층은 전기 신호에 따라 전자-정공 쌍의 결합에 의해 광을 발광할 수 있다. 제2 활성층은 메인 피크 파장이 대략 480㎚ 내지 560㎚의 범위를 갖는 제3 광, 즉 녹색 파장 대역의 광을 방출할 수 있다. 제3 활성층은 전기 신호에 따라 전자-정공 쌍의 결합에 의해 광을 발광할 수 있다. 제3 활성층은 메인 피크 파장이 대략 370㎚ 내지 460㎚의 범위를 갖는 제2 광, 즉 청색 파장 대역의 광을 방출할 수 있다.
제1 내지 제3 활성층 각각은 인듐의 함량에 따라 방출하는 광의 색이 달라질 수 있다. 예를 들어, 인듐의 함량이 감소할수록 제1 내지 제3 활성층 각각이 방출하는 광의 파장 대역이 적색 파장 대역으로 이동하고, 인듐의 함량이 증가할수록 방출하는 광의 파장 대역이 청색 파장 대역으로 이동할 수 있다. 제1 활성층의 인듐(In)의 함량은 제2 활성층의 인듐(In)의 함량보다 높고, 제2 활성층의 인듐(In)의 함량은 제3 활성층 인듐(In)의 함량보다 높을 수 있다. 예를 들어, 제3 활성층의 인듐(In)의 함량은 15%이고, 제2 활성층의 인듐(In)의 함량은 25%이며, 제1 활성층의 인듐(In)의 함량은 35% 이상일 수 있다.
제1 내지 제3 활성층 각각의 인듐의 함량에 따라 방출하는 광의 색이 달라질 수 있으므로, 각 발광 소자들(LE1,LE2,LE3)의 발광 소자층(217)은 인듐의 함량에 따라 서로 동일하거나 다르게 제1 광, 제2 광, 제3 광 등의 광을 방출할 수 있다. 예를 들어, 제1 발광 소자(LE1)의 제1 내지 제3 활성층 내 인듐(In)의 함량을 15% 이내로 하면 메인 피크 파장이 대략 600㎚ 내지 750㎚의 범위를 갖는 적색 파장 대역의 제1 광을 방출할 수 있다. 그리고, 제2 발광 소자(LE2)의 제1 내지 제3 활성층 내 인듐(In)의 함량을 25%로 하면 메인 피크 파장이 대략 480㎚ 내지 560㎚의 범위를 갖는 녹색 파장 대역의 제2 광을 방출할 수 있다. 또한, 제3 발광 소자(LE3)의 제1 내지 제3 활성층 내 인듐(In)의 함량을 35% 이상으로 하면 메인 피크 파장이 대략 370㎚ 내지 460㎚의 범위를 갖는 청색 파장 대역의 제3 광을 방출할 수 있다. 제4 발광 소자(LE4)의 제1 내지 제3 활성층 내 인듐(In)의 함량을 조절 및 설정함으로써, 제4 발광 소자(LE4) 또한 제1 내지 제3 광을 방출하거나, 또 다른 제4 광을 방출하도록 할 수도 있다.
활성층(MQW) 상에는 초격자층(SLT)이 배치될 수 있다. 초격자층(SLT)은 제2 반도체층(SEM2)과 활성층(MQW) 사이의 응력을 완화하기 위한 층일 수 있다. 예를 들어, 초격자층(SLT)은 InGaN 또는 GaN로 형성될 수 있다. 초격자층(SLT)의 두께는 대략 50 내지 200㎚일 수 있다. 초격자층(SLT)은 생략될 수 있다.
제2 반도체층(SEM2)은 초격자층(SLT) 상에 배치될 수 있다. 제2 반도체층(SEM2)은 Si, Ge, Sn 등과 같은 제2 도전형 도펀트가 도핑되어 있을 수 있다. 예를 들어, 제2 반도체층(32)은 n형 Si로 도핑된 n-GaN일 수 있다. 제2 반도체층(32)의 두께는 대략 2 내지 4㎛일 수 있다.
격벽(PW)은 제1 내지 제4 발광 영역(EA1 내지 EA4)들 각각에 배치되는 각각의 발광 소자들(LE1 내지 LE4)과 떨어져 배치될 수 있다. 격벽(PW)은 제1 내지 제4 발광 영역(EA1 내지 EA4)들 각각에 배치되는 발광 소자들(LE1 내지 LE4)을 둘러싸도록 배치될 수 있다.
격벽(PW)은 공통 전극 연결 전극(CCE)들 상에 배치될 수 있다. 제1 방향(DR1)과 제2 방향(DR2)에서 격벽(PW)의 폭은 공통 연결 전극(CCE)의 폭보다 작을 수 있다. 격벽(PW)은 발광 소자(LE)들과 떨어져 배치될 수 있다.
격벽(PW)은 제1 격벽(PW1), 제2 격벽(PW2), 및 제3 격벽(PW3)을 포함할 수 있다. 제1 격벽(PW1)은 제1 절연막(INS1) 상에 배치될 수 있다. 제1 격벽(PW1)은 발광 소자(LE)와 동일한 공정으로 형성되므로, 제1 격벽(PW1)의 적어도 일부 영역은 발광 소자(LE)와 동일한 물질을 포함할 수 있다.
제2 절연막(INS2)은 공통 연결 전극(CCE)의 측면들, 격벽(PW)의 측면들, 화소 전극(214)들 각각의 측면들, 연결 전극(213)들 각각의 측면들, 및 각 발광 소자들(LE1 내지 LE4) 각각의 측면들 상에 배치될 수 있다. 제2 절연막(INS2)은 실리콘 산화막(SiO2)과 같은 무기막으로 형성될 수 있다. 제2 절연막(INS2)의 두께는 대략 0.1㎛일 수 있다.
공통 전극(CE)은 각 발광 소자들(LE1 내지 LE4)의 상면과 측면들, 및 격벽(PW)의 상면과 측면들 상에 배치될 수 있다. 즉, 공통 전극(CE)은 발광 소자들(LE1 내지 LE4) 각각의 상면과 측면들, 및 격벽(PW)의 상면과 측면들을 덮도록 배치될 수 있다.
공통 전극(CE)은 공통 연결 전극(CCE)의 측면들, 격벽(PW)의 측면들, 화소 전극(214)들 각각의 측면들, 연결 전극(213)들 각각의 측면들, 및 발광 소자들(LE1 내지 LE4) 각각의 측면들 상에 배치되는 제2 절연막(INS2)과 접촉할 수 있다. 또한, 공통 전극(CE)은 공통 연결 전극(CCE)의 상면, 발광 소자들(LE1 내지 LE4) 각각의 상면, 및 격벽(PW)의 상면과 접촉할 수 있다.
공통 전극(CE)은 제2 절연막(INS2)에 의해 덮이지 않고 노출된 공통 연결 전극(CCE)의 상면 및 발광 소자들(LE1 내지 LE4)의 상면과 접촉할 수 있다. 그러므로, 공통 연결 전극(CCE)에 공급된 공통 전압은 발광 소자들(LE1 내지 LE4)에 인가될 수 있다. 즉, 발광 소자들(LE1 내지 LE4)의 일 단은 연결 전극(213)을 통해 화소 전극(214)의 화소 전압 또는 애노드 전압을 공급받고, 타 단은 공통 전극(CE)을 통해 공통 전압을 공급받을 수 있다. 발광 소자(LE)는 화소 전압과 공통 전압 간의 전압 차에 따라 소정의 휘도로 광을 발광할 수 있다.
반사막(RF)은 공통 연결 전극(CCE)의 측면들, 격벽(PW)의 측면들, 화소 전극(214)들 각각의 측면들, 연결 전극(213)들 각각의 측면들, 및 발광 소자들(LE1 내지 LE4) 각각의 측면들 상에 배치될 수 있다. 반사막(RF)은 발광 소자들(LE1 내지 LE4)로부터 발광된 광 중에서 상부 방향이 아니라 상하좌우 측면 방향으로 진행하는 광을 반사하는 역할을 한다. 반사막(RF)은 알루미늄(Al)과 같은 반사율이 높은 금속 물질을 포함할 수 있다. 반사막(RF)의 두께는 대략 0.1㎛일 수 있다.
베이스 수지(BRS)는 발광 소자들(LE1 내지 LE4) 각각에서 보호막(PTF) 상에 배치될 수 있다. 베이스 수지(BRS)는 투광성 유기 물질을 포함할 수 있다. 베이스 수지(BRS)는 발광 소자들(LE1 내지 LE4)의 광을 랜덤한 방향으로 산란시키기 위한 산란체를 더 포함할 수도 있다. 이 경우, 산란체는 금속 산화물 입자 또는 유기 입자를 포함할 수 있다.
격벽(PW) 상에는 차광 부재(BM)가 배치될 수 있다. 차광 부재(BM)는 광 차단 물질을 포함할 수 있다. 차광 부재(BM)는 인접한 각각의 발광 영역들(EA1,EA2,EA3,EA4) 사이에 배치되어, 각 발광 영역들(EA1,EA2,EA3,EA4)의 발광 소자들(LE1 내지 LE4)로부터 발광되는 서로 다른 파장 대역의 광 간의 혼색을 방지할 수 있다. 또한, 차광 부재(BM)는 외부에서 발광 소자층(217)으로 입사되는 외광의 적어도 일부를 흡수하여 외광 반사를 줄일 수 있다. 차광 부재(BM)는 격벽(PW) 상에 위치하되, 각 발광 영역들(EA1,EA2,EA3,EA4)에 더 연장되어 배치될 수 있다. 즉, 차광 부재(BM)의 폭은 격벽(PW)의 폭보다 더 클 수 있다.
각각의 광학 패턴(LP)은 각각의 발광 영역들(EA1,EA2,EA3,EA4) 상에 선택적으로 배치될 수 있다. 각각의 광학 패턴(LP)은 각 발광 영역들(EA1,EA2,EA3,EA4)의 베이스 수지(BRS) 상에 직접 배치될 수 있다. 광학 패턴(LP)은 상부 방향(예컨대, 발광 소자들(LE1 내지 LE4)로부터 각각의 광학 패턴(LP)을 향하는 방향)으로 돌출된 형상을 가질 수 있다. 예를 들어, 각 광학 패턴(LP)의 단면 형상은 상부로 볼록한 렌즈(Lens) 형상을 포함할 수 있다. 각 광학 패턴(LP)은 하부의 베이스 수지(BRS), 및 차광 부재(BM) 상에 배치될 수 있다. 각 광학 패턴(LP)의 폭은 각 발광 영역들(EA1,EA2,EA3,EA4)의 폭과 같거나, 더 크거나, 또는 더 작을 수도 있다. 각 광학 패턴(LP)은 각 발광 영역들(EA1,EA2,EA3,EA4)에서 베이스 수지(BRS)를 투과한 제1 내지 제3 광 또는 제4 광을 집광할 수 있다.
도 11은 도 2 내지 도 4에 도시된 제어 모듈을 이루는 구성 요소들을 개략적으로 나타낸 구성 블록도이다.
도 11에 도시된 제어 모듈(220(a))은 주시 좌표 생성부(221), 주시 기간 검출부(222), 움직임 감지부(223), 영상 처리 제어부(224), 영상 데이터 검출부(225), 분할 블록 처리부(226), 정보 검출 제어부(227), 무선 통신부(228), 및 표시 제어부(229)를 포함한다.
주시 좌표 생성부(221)는 제1 및 제2 생체 센서(231,232)로부터 수신되는 동공 감지 신호들을 필터링하고, 디지털 신호로 변환하는 등의 전처리 과정을 수행한다. 구체적으로, 주시 좌표 생성부(221)는 제1 및 제2 생체 센서(231,232)에 배치된 적외선 센서들과 광학 이미지 센서들의 행렬 배치 구조, 광학 이미지 센서들의 적외선 수신 위치, 및 동공 감지 신호들의 이동 분석 결과에 따라 사용자의 주시 방향 좌표 정보(Pu)를 검출한다.
주시 기간 검출부(222)는 주시 좌표 생성부(221)를 통해 검출된 주시 방향 좌표 정보(Pu)를 미리 설정된 기간 단위로 저장하고 비교함으로써, 주시 방향 좌표 정보(Pu)가 가변되지 않고 일정하게 유지되는 주시 기간을 카운트한다.
영상 처리 제어부(224)는 주시 기간 검출부(222)로부터 카운트되는 주시 기간이 미리 설정된 기준 기간 이상이 되면 영상 데이터 검출부(225)로 영상 데이터 검출 신호를 송출한다. 그리고, 분할 블록 처리부(226)로 사용자의 주시 방향 좌표 정보(Pu)를 전송한다.
영상 처리 제어부(224)는 분할 블록 처리부(226)를 통해 사용자의 주시 방향 좌표 정보(Pu)와 대응되는 분할 블록 영역의 영상 데이터를 수신한다. 영상 처리 제어부(224)는 분할 블록 영역의 영상 데이터를 분석하여 분할 블록 영역의 영상에 포함된 사물이나 텍스트 등의 정보를 검출한다. 이를 위해, 영상 처리 제어부(224)는 에지 검출, 명암차 검출, 윤곽선 검출, 텍스트 필터링 등의 영상 처리 프로그램을 수행할 수 있다. 영상 처리 제어부(224)는 분할 블록 영역의 영상 데이터에서 검출된 사물이나 텍스트 정보 등을 증강 현실 콘텐츠 영상 데이터로 추출해서 표시 제어부(229)로 전송한다.
영상 처리 제어부(224)는 움직임 감지부(223)를 통해 수신되는 거부 의사 표시 움직임 정보에 따라 분할 블록 영역의 영상 데이터 생성을 중단시킬 수 있다. 반면, 움직임 감지부(223)를 통해 수신되는 확인 의사 표시 움직임 정보에 따라 분할 블록 영역의 영상 데이터에서 검출된 사물이나 텍스트 정보에 따른 세부 정보들을 추출할 수 있다. 이를 위해, 영상 처리 제어부(224)는 사물이나 텍스트 정보를 정보 검출 제어부(227)로 전송함으로써, 정보 검출 제어부(227)를 통해 사물이나 텍스트 정보와 관련된 세부 정보들이 검색 및 수신되도록 할 수 있다.
영상 처리 제어부(224)는 정보 검출 제어부(227)를 통해 검색 및 추출된 세부 정보들을 표시 제어부(229)로 전송하고, 표시 제어부(229)를 통해 사물이나 텍스트 정보와 관련된 세부 정보들이 증강 현실 콘텐츠 영상 데이터로 변조되도록 제어할 수 있다.
움직임 감지부(223)는 기울기 센서와 자이로 센서 등을 포함하는 센싱 모듈(240)로부터 센싱 신호들을 수신하여 센싱 신호들을 필터링하고, 디지털 신호로 변환하는 등의 전처리 과정을 수행한다. 움직임 감지부(223)는 전처리된 기울기 센싱 신호, 이동 속도 신호, 이동 방향 신호들의 변화에 기초하여 증강 현실 제공 장치(200)의 이동 방향 정보 즉, 움직임 정보를 검출한다. 움직임 감지부(223)는 전처리된 기울기 센싱 신호, 이동 속도 신호, 이동 방향 신호들의 변화에 기초하여 좌측이나 우측 방향 회전 움직임 동작을 검출하고, 회전 움직임 동작 검출시 거부 의사 표시 움직임 신호를 영상 처리 제어부(224)로 전송할 수 있다. 또한, 움직임 감지부(223)는 상측이나 하측 방향 끄덕임 움직임 동작을 검출하고, 상하방향 움직임 동작 검출시 확인 의사 표시 움직임 신호를 영상 처리 제어부(224)로 전송할 수 있다. 한편, 움직임 감지부(223)는 주시 좌표 생성부(221)를 통해서 동공 감지 신호들을 실시간으로 수신하여, 동공 감지 신호들의 수신 기간과 미수신 기간에 따라 사용자의 눈 깜박임을 확인해서 눈 깜박임에 따른 확인 의사 표시 움직임 신호를 영상 처리 제어부(224)로 전송할 수 있다.
영상 데이터 검출부(225)는 영상 데이터 검출 신호가 입력되면, 이미지 센서(260)로부터 적어도 한 프레임 단위로 영상 데이터들을 수신하고, 영상 데이터들을 적어도 한 프레임 단위로 정렬해서 저장한다. 그리고, 적어도 한 프레임 단위의 영상 데이터를 분할 블록 처리부(226)로 전송한다.
분할 블록 처리부(226)는 영상 데이터 검출부(225)를 통해 적어도 한 프레임 단위로 입력되는 사용자 주시 방향의 영상 데이터를 미리 설정된 복수의 블록 영역으로 분할한다. 그리고, 복수의 분할 블록 영역 중 주시 방향 좌표 정보(Pu)와 대응되는 해당 분할 블록 영역의 영상 데이터를 추출 및 검출한다. 주시 방향 좌표 정보(Pu)와 대응되는 해당 분할 블록 영역의 영상 데이터는 실시간으로 영상 처리 제어부(224)로 전송한다.
정보 검출 제어부(227)는 영상 처리 제어부(224)를 통해서 분할 블록 영역의 영상 데이터에 포함된 사물이나 텍스트 정보가 입력되면, 무선 통신부(228)를 통해 사물이나 텍스트 정보를 외부의 데이터 베이스 서버로 전송한다. 구체적으로, 정보 검출 제어부(227)는 무선 통신부(228)를 통해 외부의 데이터 서버와 연계되어, 검색 엔진이나 검색 프로그램을 통해 해당 사물이나 텍스트 정보와 관련된 세부 정보들을 검색 및 추출한다. 해당 사물이나 텍스트 정보와 관련된 세부 정보들은 영상 처리 제어부(224), 및 표시 제어부(229)와 실시간으로 공유된다.
무선 통신부(228)는 와이 파이, 블루투스 등의 근거리 무선 통신 모듈을 포함하여 스마트폰 등의 무선 통신 단말기기를 통해 외부의 데이터 베이스 서버와 무선 통신을 수행할 수 있다. 이와 달리, 무선 통신부(228)는 LTE, 5G 등의 원거리 무선 통신 모듈을 포함하여 외부의 데이터 베이스 서버와 무선 통신을 수행할 수 있다.
표시 제어부(229)는 정보 검출 제어부(227)를 통해 추출된 사물이나 텍스트에 관련된 세부 정보들을 증강 현실 콘텐츠 영상 데이터화 하여 변조 처리하고, 변조된 증강 현실 콘텐츠 영상 데이터를 적어도 하나의 표시 모듈(210(a),210(b))로 전송한다. 표시 제어부(229)는 사물이나 텍스트에 관련된 세부 정보들이 현실 이미지와는 명확하게 구분되어 표시되도록 세부 정보들의 이미지에 특정 색의 테두리 라인이 더해지거나, 세부 정보들의 이미지가 특정 색의 배경 이미지 내에 표시되도록 해당 영상 데이터를 변조해서 출력한다.
도 12는 일 실시예에 따른 증강 현실 제공 장치의 증강 현실 콘텐츠 이미지 생성 및 관련 정보 표시 방법을 설명하기 위한 순서도이다. 그리고, 도 13은 일 실시예에 증강 현실 제공 장치를 이용한 사용자 주시 방향 및 주시 위치 인식 방법을 설명하기 위한 도면이다.
도 12 및 도 13을 참조하면, 사용자는 증강 현실 제공 장치(200)를 착용한 상태로 좌우 및 상하 방향의 시야각(PSL 내지 PSR) 내에서 입간판이나 나무, 화초 등의 특정 사물이나 텍스트 등을 주시할 수 있다. 이에, 주시 좌표 생성부(221)는 제1 및 제2 생체 센서(231,232)로부터 수신되는 동공 감지 신호들과 제1 및 제2 생체 센서(231,232)에 배치된 적외선 센서들과 광학 이미지 센서들의 행렬 배치 구조, 광학 이미지 센서들의 적외선 수신 위치(동공 반사 적외선 수신 위치)를 분석한다. 이때, 좌표 생성부(221)는 증강 현실 제공 장치(200)의 정면 방향 포인트(PS)를 기준으로 좌우 및 상하 방향의 시야각(PSL 내지 PSR) 범위를 복수의 좌표로 구분한다. 그리고, 광학 이미지 센서들의 동공 반사 적외선 수신 위치와 복수의 좌표별 위치에 따라 사용자의 주시 방향 좌표 정보(Pu)를 검출할 수 있다.(도 12의 ST1 단계) 본 발명에 따른 주시 방향 좌표 정보(Pu) 검출 방법은 이로 한정되지 않고 동공 감지, 동공 추적 등의 다양한 알고리즘으로 구현될 수 있다.
주시 기간 검출부(222)는 주시 좌표 생성부(221)를 통해 주시 방향 좌표 정보(Pu)가 수신되면, 주시 방향 좌표 정보(Pu)를 미리 설정된 기간 단위로 저장하고 순차적으로 비교한다. 그리고, 비교 결과에 따라 주시 방향 좌표 정보(Pu)가 가변되지 않고 일정하게 유지되는 주시 기간을 카운트하여, 카운트 정보를 영상 처리 제어부(224)로 전송한다. 이에, 영상 처리 제어부(224)는 주시 기간 검출부(222)로부터 카운트되는 주시 기간이 미리 설정된 기준 기간 이상이 되면, 사용자가 특정 사물이나 텍스트를 주시하는 것으로 판단한다. 영상 처리 제어부(224)는 주시 기간이 미리 설정된 기준 기간 이상이 되면 영상 데이터 검출부(225)로 영상 데이터 검출 신호를 송출하고, 분할 블록 처리부(226)로 사용자의 주시 방향 좌표 정보(Pu)를 전송한다.(도 12의 ST2 단계)
도 14는 일 실시예에 따른 동공 추적 및 이미지 분석을 통한 사용자 주시 방향 및 주시 위치 인식 방법을 보여주는 도면이다.
도 12 및 도 14를 참조하면, 영상 데이터 검출부(225)는 영상 데이터 검출 신호가 입력되면, 이미지 센서(260)로부터 적어도 한 프레임 단위로 영상 데이터들을 수신하고, 적어도 한 프레임 단위의 영상 데이터를 분할 블록 처리부(226)로 전송한다.
분할 블록 처리부(226)는 영상 데이터 검출부(225)를 통해 적어도 한 프레임 단위로 입력되는 사용자 주시 방향의 영상 데이터를 미리 설정된 복수의 블록 영역(Dn(Bx,By))으로 분할한다. 그리고, 복수의 분할 블록 영역 중 주시 방향 좌표 정보(Pu)와 대응되는 해당 분할 블록 영역(Dn)의 영상 데이터를 추출 및 검출한다. 주시 방향 좌표 정보(Pu)와 대응되는 해당 분할 블록 영역의 영상 데이터는 실시간으로 영상 처리 제어부(224)로 전송한다.(도 12의 ST3 단계)
도 15는 일 실시예에 따른 사용자 주시 방향의 사물 및 블록 이미지 표시 방법을 보여주는 도면이다.
도 12 및 도 15를 참조하면, 영상 처리 제어부(224)는 분할 블록 영역(Dn)의 영상 데이터에서 검출된 사물(PI)이나 텍스트 정보 등을 증강 현실 콘텐츠 영상 데이터로 추출해서 표시 제어부(229)로 전송한다.
이에, 표시 제어부(229)는 분할 블록 영역(Dn)의 영상 데이터에서 검출된 사물(PI)이나 텍스트 정보들을 증강 현실 콘텐츠 영상 데이터화 하여 변조 처리하고, 변조된 증강 현실 콘텐츠 영상 데이터를 적어도 하나의 표시 모듈(210(a),210(b))로 전송한다. 이때, 표시 제어부(229)는 분할 블록 영역(Dn)의 영상 데이터에서 검출된 사물(PI)이나 텍스트 정보들이 현실 이미지와는 명확하게 구분되어 표시되도록 사물(PI)이나 텍스트 정보들의 이미지에 특정 색의 테두리 라인이 더해지도록 해당 영상 데이터를 변조해서 출력할 수 있다. 이와 달리, 사물(PI)이나 텍스트 정보들의 이미지가 특정 색의 배경 이미지 내에 표시되도록 해당 영상 데이터를 변조해서 적어도 하나의 표시 모듈(210(a),210(b))로 출력할 수도 있다.(도 12의 ST4 단계)
도 16은 일 실시예에 따른 증강 현실 제공 시스템을 통한 증강 현실 콘텐츠 생성 및 표시 방법을 보여주는 도면이다. 그리고, 도 17은 일 실시예에 따른 사용자 주시 사물이나 텍스트 관련 정보 표시 방법을 보여주는 도면이다.
도 16 및 도 17을 참조하면, 적어도 하나의 표시 모듈(210(a),210(b))은 특정 색의 테두리 라인이 더해진 사물(PI)이나 텍스트 정보들의 이미지를 표시하고, 표시 이미지가 투명성 렌즈(201)로도 표시되도록 한다. 또한, 적어도 하나의 표시 모듈(210(a),210(b))은 특정 색의 배경 이미지 내에 사물(PI)이나 텍스트 정보들의 포함된 이미지를 표시하고, 표시 이미지가 투명성 렌즈(201)로도 표시되도록 할 수 있다.
움직임 감지부(223)는 기울기 센싱 신호, 이동 속도 신호, 이동 방향 신호들의 변화에 기초하여 좌측이나 우측 방향 회전 움직임 동작을 검출하고, 회전 움직임 동작 검출시 거부 의사 표시 움직임 신호를 영상 처리 제어부(224)로 전송할 수 있다.(도 12의 ST5 단계의 '아니요') 이 경우, 영상 처리 제어부(224)는 움직임 감지부(223)를 통해 수신되는 거부 의사 표시 움직임 정보에 따라 분할 블록 영역의 영상 데이터 생성을 중단시킬 수 있다.
반면, 움직임 감지부(223)는 눈 깜박임 동작을 검출하고, 눈 깜박임 동작 검출시 확인 의사 표시 움직임 신호를 영상 처리 제어부(224)로 전송할 수 있다.(도 12의 ST5 단계의 '예')
영상 처리 제어부(224)는 움직임 감지부(223)를 통해 수신되는 확인 의사 표시 움직임 정보에 따라 분할 블록 영역의 영상 데이터에서 검출된 사물이나 텍스트 정보를 검출한다. 즉, 영상 처리 제어부(224)는 동공 주시 방향 좌표 정보(Pu)와 대응되는 분할 블록 영역(Dn)에 대해 화소 간 계조 또는 휘도차 검출, 에지 검출, 명암차 검출, 윤곽선 검출, 또는 텍스트 필터링 등의 영상 처리 프로그램을 수행한다. 그리고, 그 영상 처리 결과에 따라 분할 블록 영역(Dn)의 영상 데이터에 포함된 사물(PI)이나 텍스트 등을 검출할 수 있다. 영상 처리 제어부(224)는 검출된 사물이나 텍스트 정보를 정보 검출 제어부(227)로 전송한다.(도 12의 ST6 단계)
정보 검출 제어부(227)는 영상 처리 제어부(224)를 통해서 분할 블록 영역의 영상 데이터에 포함된 사물이나 텍스트 정보가 입력되면, 무선 통신부(228)를 통해 사물이나 텍스트 정보를 외부의 데이터 베이스 서버로 전송한다. 이때, 정보 검출 제어부(227)는 검색 엔진이나 검색 프로그램을 통해 해당 사물이나 텍스트 정보와 관련된 세부 정보들을 검색 및 추출하고, 추출된 사물이나 텍스트 정보와 관련된 세부 정보들을 표시 제어부(229)로 전송한다.(도 12의 ST7 단계)
표시 제어부(229)는 정보 검출 제어부(227)를 통해 추출된 사물이나 텍스트에 관련된 세부 정보들을 증강 현실 콘텐츠 영상 데이터화 하여 변조 처리하고, 변조된 증강 현실 콘텐츠 영상 데이터를 적어도 하나의 표시 모듈(210(a),210(b))로 전송한다.
표시 제어부(229)는 세부 정보들의 이미지에 특정 색의 테두리 라인이 더해지거나, 세부 정보들의 이미지가 특정 색의 배경 이미지 내에 표시되도록 해당 영상 데이터를 변조해서 적어도 하나의 표시 모듈(210(a),210(b))로 전송한다.
영상 처리 제어부(224)는 표시 제어부(229)로부터 변조된 세부 정보들의 영상 데이터를 무선 통신부(228)를 통해 외부의 다른 적어도 하나의 콘텐츠 표시장치(300)로 전송할 수 있다. 이에, 정보 검출 제어부(227)를 통해 추출된 사물이나 텍스트에 관련된 세부 정보들이 태블릿 PC(tablet personal computer) 등 다른 적어도 하나의 콘텐츠 표시장치(300)에서도 동일하게 표시되도록 할 수 있다.
적어도 하나의 콘텐츠 표시장치(300)는 증강 현실 제공 장치(200)로부터 공유 및 수신되는 증강 현실 콘텐츠, 예를 들어 증강 현실 콘텐츠 이미지를 화면으로 표시할 수 있다. 적어도 하나의 콘텐츠 표시장치(300)는 사용자가 주시하는 사물이나 텍스트 등에 관련된 세부 정보들이 증강 현실 콘텐츠 이미지 화면으로 표시되도록 한다.
적어도 하나의 콘텐츠 표시장치(300)는 스마트폰, 태블릿 PC 등의 태블릿 이동 통신기기, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 텔레비전, 게임기, 손목시계형 전자 기기, 헤드 마운트 디스플레이, 퍼스널 컴퓨터의 모니터, 노트북 컴퓨터, 평판형 영상 표시장치, 자동차 내비게이션, 자동차 계기판, 디지털 카메라, 캠코더, 외부 광고판, 전광판, 의료 장치, 검사 장치, 냉장고와 세탁기 등과 같은 다양한 가전제품, 또는 사물 인터넷 장치에 적용될 수 있다. 본 명세서에서는 콘텐츠 표시장치(300)들의 예로, 학습 또는 강의에 사용되는 평판형 영상 표시장치를 설명하며, 평판형 영상 표시장치는 HD, UHD, 4K, 8K 등의 고해상도 내지 초고해상도를 가질 수 있다.
적어도 하나의 콘텐츠 표시장치(300)로 사용되는 평판형 영상 표시장치는 표시 방식에 따라 유기 발광 표시 장치(OLED), 무기 발광 표시 장치(inorganic EL), 퀀텀 닷 발광 표시 장치(QED), 마이크로 LED 표시 장치(micro-LED), 나노 LED 표시 장치(nano-LED), 플라즈마 표시 장치(PDP), 전계 방출 표시 장치(FED), 음극선 표시 장치(CRT), 액정 표시 장치(LCD), 전기 영동 표시 장치(EPD) 등으로 분류될 수도 있다. 하기에서는 콘텐츠 표시장치(300)로서 마이크로 LED 표시 장치를 예로 설명하며, 특별한 구분을 요하지 않는 이상 실시예에 적용된 마이크로 LED 표시 장치를 단순히 표시 장치로 약칭할 것이다. 그러나, 실시예가 마이크로 LED 표시 장치에 제한되는 것은 아니고, 기술적 사상을 공유하는 범위 내에서 상기 열거된 또는 본 기술분야에 알려진 다른 콘텐츠 표시장치(300)가 적용될 수도 있다.
이후, 영상 처리 제어부(224)는 상측 또는 하측 방향 끄덕이는 동작 등의 삭제 의사 표시 움직임 정보에 따라 사물이나 텍스트에 따른 세부 정보들의 표시 동작을 중단할 수 있다. 즉, 영상 처리 제어부(224)는 증강 현실 콘텐츠 이미지들의 표시 이후에 추가로 감지되는 삭제 의사 표시 움직임 정보 확인 결과에 따라 증강 현실 콘텐츠 이미지를 비롯한 사물이나 텍스트에 따른 세부 정보들의 표시 동작 및 공유 동작을 중단할 수 있다.(도 12의 ST8 단계)
도 18은 일 실시예에 따른 표시 모듈을 포함하는 워치형 스마트 기기를 보여주는 예시 도면이다.
도 18을 참조하면, 본 발명의 증강 현실 제공 장치(200)에 포함된 영상 표시기기(110)는 스마트 기기 중 하나인 워치형 스마트 기기(2)에 적용될 수 있다. 또한, 일 실시예에 따른 워치형 스마트 기기(2)는 머리에 장착할 수 있는 머리 장착 밴드를 포함하는 헤드 장착형 디스플레이(head mounted display)에 적용될 수도 있다. 즉, 일 실시예에 따른 워치형 스마트 기기(2)는 도 18에 도시된 것에 한정되지 않으며, 그 밖에 다양한 전자 장치에서 다양한 형태로 적용 가능하다.
도 19는 일 실시예에 따른 표시 모듈을 포함하는 자동차 계기판과 센터페시아를 보여주는 일 예시 도면이다.
도 19를 참조하면, 본 발명의 증강 현실 제공 장치(200)에 포함된 영상 표시기기(110)는 자동차의 계기판(10_a)에 적용되거나, 자동차의 센터페시아(center fascia, 10_b)에 적용되거나, 자동차의 대쉬보드에 배치된 CID(Center Information Display, 10_d, 10_e)에 적용될 수 있다. 또한, 일 실시예에 따른 영상 표시기기(110)는 자동차의 사이드미러를 대신하는 룸미러 디스플레이(room mirror display, 10_d, 10e)), 내비게이션 기기 등에 적용될 수도 있다.
도 20은 일 실시예에 따른 표시 모듈을 포함하는 투명표시장치를 보여주는 일 예시 도면이다.
도 20을 참조하면, 본 발명의 증강 현실 제공 장치(200)에 포함된 영상 표시기기(110)는 투명 표시 장치에 적용될 수 있다. 투명 표시 장치는 영상(IM)을 표시하는 동시에, 광을 투과시킬 수 있다. 그러므로, 투명 표시 장치의 전면(前面)에 위치한 사용자는 영상 표시기기(110)에 표시된 영상(IM)을 시청할 수 있을 뿐만 아니라, 투명 표시 장치의 배면(背面)에 위치한 사물(RS) 또는 배경을 볼 수 있다. 영상 표시기기(110)가 투명 표시 장치에 적용되는 경우, 영상 표시기기(110)의 표시 패널(212)은 광을 투과시킬 수 있는 광 투과부를 포함하거나 광을 투과시킬 수 있는 재료로 형성될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
110: 영상 표시기기
200: 증강 현실 제공 장치
201: 투명성 렌즈 210: 표시 모듈
211: 이미지 전송 부재 212: 표시 패널
221: 좌표 생성부 222: 주시 기간 검출부
223: 움직임 감지부 224: 영상 처리 제어부
225: 영상 데이터 검출부 226: 분할 블록 처리부
227: 정보 검출 제어부 228: 무선 통신부
229: 표시 제어부 300: 콘텐츠 표시장치
201: 투명성 렌즈 210: 표시 모듈
211: 이미지 전송 부재 212: 표시 패널
221: 좌표 생성부 222: 주시 기간 검출부
223: 움직임 감지부 224: 영상 처리 제어부
225: 영상 데이터 검출부 226: 분할 블록 처리부
227: 정보 검출 제어부 228: 무선 통신부
229: 표시 제어부 300: 콘텐츠 표시장치
Claims (20)
- 투명성 렌즈를 통해 증강 현실 콘텐츠 이미지를 표시하는 적어도 하나의 표시 모듈;
좌우상하 방향의 움직임 신호들과 사용자 주시 방향의 영상 데이터를 생성하는 센싱 모듈;
사용자의 동공을 감지하여 동공 감지 신호를 출력하는 제1 및 제2 생체 센서; 및
상기 동공 감지 신호를 기초로 상기 사용자의 주시 방향 좌표 정보를 검출하고, 상기 영상 데이터로부터 상기 주시 방향 좌표 정보와 대응되는 사물이나 텍스트를 추출하여 상기 추출된 사물이나 텍스트가 포함된 증강 현실 콘텐츠 데이터를 생성하는 제어 모듈을 포함하는 증강 현실 제공 장치.
- 제1 항에 있어서,
상기 제어 모듈은
상기 주시 방향 좌표 정보가 미리 설정된 기간 동안 일정하게 검출되면, 상기 증강 현실 콘텐츠 데이터를 상기 적어도 하나의 표시 모듈로 공급하고,
상기 사용자의 움직임 정보를 확인하여 사용자의 거부 의사 표시 움직임 정보 확인 결과에 따라 상기 증강 현실 콘텐츠 이미지의 표시 동작을 중단하는 증강 현실 제공 장치.
- 제2 항에 있어서,
상기 제어 모듈은
상기 사용자의 움직임 정보를 확인하여 확인 의사 표시 움직임 정보 확인 결과에 따라 상기 추출된 사물이나 텍스트와 관련된 세부 정보들을 검색해서 저장하고, 검색된 세부 정보들이 추가로 상기 증강 현실 콘텐츠 이미지로 표시되도록 상기 증강 현실 콘텐츠 데이터를 생성하며,
상기 증강 현실 콘텐츠 데이터를 다른 콘텐츠 표시장치와 공유하는 증강 현실 제공 장치.
- 제3 항에 있어서,
상기 제어 모듈은
상기 증강 현실 콘텐츠 이미지의 표시 이후에 상기 사용자의 움직임 정보를 확인하고, 삭제 의사 표시 움직임 정보 확인 결과에 따라 상기 증강 현실 콘텐츠 데이터에 의한 상기 증강 현실 콘텐츠 이미지의 표시 및 공유 동작을 중단하는 증강 현실 제공 장치.
- 제1 항에 있어서,
상기 제어 모듈은
상기 동공 감지 신호를 분석하여 상기 사용자의 주시 방향 좌표 정보를 검출하는 주시 좌표 생성부;
상기 주시 방향 좌표 정보가 가변되지 않고 유지되는 주시 기간을 카운트하는 주시 기간 검출부;
상기 주시 기간 검출부로부터 카운트되는 주시 기간이 미리 설정된 기준 기간 이상이 되면 영상 데이터 검출 신호, 및 상기 주시 방향 좌표 정보를 송출하는 영상 처리 제어부;
상기 영상 데이터 검출 신호에 응답해서 상기 센싱 모듈의 이미지 센서를 통해 상기 사용자 주시 방향의 영상 데이터를 추출하는 영상 데이터 검출부; 및
상기 사용자 주시 방향의 영상 데이터를 미리 설정된 복수의 블록 영역으로 분할하고, 복수의 분할 블록 영역 중 상기 주시 방향 좌표 정보와 대응되는 해당 분할 블록 영역의 영상 데이터를 추출하는 분할 블록 처리부를 포함하는 증강 현실 제공 장치.
- 제5 항에 있어서,
상기 제어 모듈은
상기 움직임 신호들에 기초하여 좌측이나 우측 방향 회전 움직임 동작 검출함으로써, 거부 의사 표시 움직임 신호 또는 확인 의사 표시 움직임 신호를 상기 영상 처리 제어부로 전송하는 움직임 감지부를 더 포함하고,
상기 움직임 감지부는 상기 동공 감지 신호의 수신 여부에 따라서는 삭제 의사 표시 움직임 신호를 상기 영상 처리 제어부로 전송하는 증강 현실 제공 장치.
- 제5 항에 있어서,
상기 영상 처리 제어부는
에지 검출, 명암차 검출, 윤곽선 검출, 텍스트 필터링 중 적어도 하나의 영상 처리 프로그램을 수행하여 상기 분할 블록 영역의 영상에 포함된 사물이나 텍스트 정보를 추출하고,
상기 추출된 사물이나 텍스트 정보가 포함된 증강 현실 콘텐츠 영상 데이터를 표시 제어부, 및 정보 검출 제어부로 전송하는 증강 현실 제공 장치.
- 제7 항에 있어서,
상기 정보 검출 제어부는
무선 통신부를 통해 상기 사물이나 텍스트 정보를 외부의 데이터 베이스 서버로 전송하고, 검색 엔진이나 검색 프로그램을 통해 상기 사물이나 텍스트 정보와 관련된 세부 정보들을 검색 및 추출하여 상기 영상 처리 제어부와 공유하는 증강 현실 제공 장치.
- 제8 항에 있어서,
상기 표시 제어부는
상기 세부 정보들이 포함된 이미지에 특정 색의 테두리 라인이 더해지거나, 상기 세부 정보들의 이미지가 특정 색의 배경 이미지 내에 표시되도록 상기 증강 현실 콘텐츠 데이터를 변조하고,
변조된 상기 증강 현실 콘텐츠 영상 데이터를 상기 적어도 하나의 표시 모듈로 전송하는 증강 현실 제공 장치.
- 제1 항에 있어서,
상기 적어도 하나의 표시 모듈은
상기 투명성 렌즈를 지지하는 지지 프레임의 일 측 또는 양측에 조립되거나 상기 지지 프레임과 일체로 형성되어, 이미지 전송 부재와 반사 부재들을 통해 상기 증강 현실 콘텐츠 이미지를 표시하는 증강 현실 제공 장치.
- 제1 항에 있어서,
상기 적어도 하나의 표시 모듈은
상기 증강 현실 콘텐츠 이미지를 표시하는 적어도 하나의 영상 표시기기, 및
적어도 하나의 확산 렌즈, 적어도 하나의 초점 형성 렌즈, 상기 증강 현실 콘텐츠 이미지의 표시 경로를 변경하는 굴절 렌즈와 광 도파로 중 적어도 하나의 광학 부재를 포함하는 증강 현실 제공 장치.
- 제11 항에 있어서,
상기 적어도 하나의 영상 표시기기는
기판상에 펜타일 매트릭스 구조로 구획 및 배치되는 격벽;
상기 격벽의 구획에 의해 상기 펜타일 매트릭스 구조로 배열된 복수의 발광 영역에 각각 배치되며, 상기 기판의 두께 방향으로 연장되는 복수의 발광 소자;
상기 복수의 발광 소자를 포함하는 상기 복수의 발광 영역에 형성된 베이스 수지; 및
상기 복수의 발광 영역 중 적어도 하나의 발광 영역 상에 선택적으로 배치된 복수의 광학 패턴을 포함하는 증강 현실 제공 장치.
- 제12 항에 있어서,
상기 복수의 발광 영역은
각각의 화소 영역에 제1 내지 제3 발광 영역, 또는 제1 내지 제4 발광 영역이 상기 펜타일 매트릭스 구조로 배치되도록 형성된 증강 현실 제공 장치.
- 제13 항에 있어서,
상기 제1 발광 영역은 적색, 녹색, 청색 중 어느 하나의 색을 구현하는 파장 대역의 제1 광을 발광하는 제1 발광 소자;
상기 제2 발광 영역은 적색, 녹색, 청색 중 상기 제1 광과는 상이한 어느 하나의 색을 구현하는 파장 대역의 제2 광을 발광하는 제2 발광 소자;
상기 제3 발광 영역은 적색, 녹색, 청색 중 상기 제1 및 제2 광과는 상이한 어느 하나의 색을 구현하는 파장 대역의 제3 광을 발광하는 제3 발광 소자; 및
상기 제4 발광 영역은 상기 제1 내지 제3 광 중 어느 한 광과 동일한 파장 대역의 제4 광을 발광하는 제4 발광 소자를 각각 포함하는 증강 현실 제공 장치.
- 제13 항에 있어서,
상기 제1 내지 제4 발광 영역 각각의 크기 또는 평면 면적은 서로 동일하게 형성되고,
수평 방향 또는 대각선 방향으로 서로 이웃하는 상기 제1 발광 영역과 상기 제2 발광 영역 사이의 거리, 상기 제2 발광 영역과 상기 제3 발광 영역 사이의 거리, 상기 제1 발광 영역과 상기 제3 발광 영역 사이의 거리, 및 상기 제3 발광 영역과 상기 제4 발광 영역 사이의 거리는 상기 제1 내지 제4 발광 영역 각각의 크기 또는 평면 면적에 따라 서로 동일하게 배치된 증강 현실 제공 장치.
- 제13 항에 있어서,
상기 제1 내지 제4 발광 영역 각각의 크기 또는 평면 면적은 선택적으로 서로 다르게 형성되고,
상기 제1 발광 영역과 상기 제2 발광 영역 사이의 거리, 상기 제2 발광 영역과 상기 제3 발광 영역 사이의 거리, 상기 제1 발광 영역과 상기 제3 발광 영역 사이의 거리, 및 상기 제3 발광 영역과 상기 제4 발광 영역 사이의 거리는 상기 제1 내지 제4 발광 영역 각각의 크기 또는 평면 면적에 따라 서로 동일하거나 다르게 형성된 증강 현실 제공 장치.
- 사용자 주시 방향 좌표 정보와 대응되는 사물이나 텍스트를 추출하여 상기 추출된 사물이나 텍스트를 증강 현실 콘텐츠 이미지로 표시하는 증강 현실 제공 장치;
상기 추출된 사물이나 텍스트에 관련된 세부 정보를 상기 증강 현실 제공 장치로 공급하는 데이터 베이스 서버; 및
상기 증강 현실 제공 장치로부터 상기 증강 현실 콘텐츠 이미지를 제공받아서 동일하게 표시하는 적어도 하나의 콘텐츠 표시장치를 포함하는 증강 현실 제공 시스템.
- 제17 항에 있어서,
상기 증강 현실 제공 장치는
적어도 하나의 투명성 렌즈를 지지하는 지지 프레임;
적어도 하나의 투명성 렌즈를 통해 증강 현실 콘텐츠 이미지를 표시하는 적어도 하나의 표시 모듈;
상기 지지 프레임에 장착되어 좌우상하 방향의 움직임 신호들과 사용자 주시 방향의 영상 데이터를 생성하는 센싱 모듈;
상기 지지 프레임을 착용한 사용자의 동공을 감지하여 동공 감지 신호를 출력하는 제1 및 제2 생체 센서; 및
상기 동공 감지 신호를 기초로 상기 사용자의 주시 방향 좌표 정보를 검출하고, 상기 추출된 사물이나 텍스트가 상기 증강 현실 콘텐츠 이미지로 표시되도록 증강 현실 콘텐츠 데이터를 생성하는 제어 모듈을 포함하는 증강 현실 제공 시스템.
- 제18 항에 있어서,
상기 적어도 하나의 표시 모듈은
상기 증강 현실 콘텐츠 이미지를 표시하는 적어도 하나의 영상 표시기기, 및
적어도 하나의 확산 렌즈, 적어도 하나의 초점 형성 렌즈, 상기 증강 현실 콘텐츠 이미지의 표시 경로를 변경하는 굴절 렌즈와 광 도파로 중 적어도 하나의 광학 부재를 포함하는 증강 현실 제공 시스템.
- 제18 항에 있어서,
상기 제어 모듈은
상기 추출된 사물이나 텍스트와 관련된 세부 정보들을 상기 데이터 베이스 서버를 통해 검색해서 저장하고, 상기 데이터 베이스 서버로부터 검색된 세부 정보들이 추가로 상기 증강 현실 콘텐츠 이미지로 표시되도록 상기 증강 현실 콘텐츠 데이터를 생성하며,
상기 증강 현실 콘텐츠 데이터를 상기 적어도 하나의 콘텐츠 표시장치와 공유하는 증강 현실 제공 시스템.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210140662A KR20230057494A (ko) | 2021-10-21 | 2021-10-21 | 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 시스템 |
| US17/841,422 US11997250B2 (en) | 2021-10-21 | 2022-06-15 | Device for providing augmented reality and system for providing augmented reality using the same |
| CN202210993294.7A CN116009254A (zh) | 2021-10-21 | 2022-08-18 | 增强现实提供装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210140662A KR20230057494A (ko) | 2021-10-21 | 2021-10-21 | 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230057494A true KR20230057494A (ko) | 2023-05-02 |
Family
ID=86025446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210140662A KR20230057494A (ko) | 2021-10-21 | 2021-10-21 | 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 시스템 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11997250B2 (ko) |
| KR (1) | KR20230057494A (ko) |
| CN (1) | CN116009254A (ko) |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101272811B1 (ko) | 2011-08-03 | 2013-06-10 | 동국대학교 산학협력단 | 인터페이스 시스템 및 방법 |
| WO2014115186A1 (ja) * | 2013-01-24 | 2014-07-31 | 富士通株式会社 | 携帯情報端末、制御方法、制御プログラム |
| KR102098277B1 (ko) | 2013-06-11 | 2020-04-07 | 삼성전자주식회사 | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 |
| US9799719B2 (en) | 2014-09-25 | 2017-10-24 | X-Celeprint Limited | Active-matrix touchscreen |
| US20160188585A1 (en) * | 2014-12-27 | 2016-06-30 | Lenitra Durham | Technologies for shared augmented reality presentations |
| KR20160142940A (ko) * | 2015-06-03 | 2016-12-14 | 삼성디스플레이 주식회사 | 유기 발광 표시 장치 |
| US20170092002A1 (en) * | 2015-09-30 | 2017-03-30 | Daqri, Llc | User interface for augmented reality system |
| KR102470377B1 (ko) * | 2015-12-31 | 2022-11-23 | 엘지디스플레이 주식회사 | 개인 몰입형 기기의 표시장치 |
| KR102651591B1 (ko) * | 2016-06-30 | 2024-03-27 | 삼성디스플레이 주식회사 | 두부 장착 표시 장치 및 이의 구동 방법 |
| CN106774912B (zh) | 2016-12-26 | 2020-04-07 | 宇龙计算机通信科技(深圳)有限公司 | 一种操控vr设备的方法及装置 |
| KR102411145B1 (ko) * | 2017-04-19 | 2022-06-20 | 삼성디스플레이 주식회사 | 헤드 마운티드 디스플레이 장치 |
| KR102422386B1 (ko) | 2017-04-21 | 2022-07-20 | 주식회사 루멘스 | 마이크로 led 디스플레이 장치 및 그 제조방법 |
| KR20200129210A (ko) * | 2019-05-07 | 2020-11-18 | 삼성디스플레이 주식회사 | 표시 장치 |
| KR102262521B1 (ko) * | 2019-12-10 | 2021-06-08 | 한국과학기술연구원 | 다양한 확장현실 모드의 통합 렌더링 방법 및 그것이 적용된 장치 |
| US11106915B1 (en) * | 2020-03-26 | 2021-08-31 | International Business Machines Corporation | Generating in a gaze tracking device augmented reality representations for objects in a user line-of-sight |
| US11977676B2 (en) * | 2021-07-07 | 2024-05-07 | Lenovo (Singapore) Pte. Ltd. | Adjusting content of a head mounted display |
-
2021
- 2021-10-21 KR KR1020210140662A patent/KR20230057494A/ko unknown
-
2022
- 2022-06-15 US US17/841,422 patent/US11997250B2/en active Active
- 2022-08-18 CN CN202210993294.7A patent/CN116009254A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US11997250B2 (en) | 2024-05-28 |
| US20230127028A1 (en) | 2023-04-27 |
| CN116009254A (zh) | 2023-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9684174B2 (en) | Imaging structure with embedded light sources | |
| CN111133366B (zh) | 用于头戴式显示器的多层投影仪 | |
| US20210209364A1 (en) | Ar device and method for controlling the same | |
| US20170301270A1 (en) | Imaging Structure Emitter Configurations | |
| US9726887B2 (en) | Imaging structure color conversion | |
| KR20230076815A (ko) | 근안 디스플레이에서 광원을 구동하는 방법 | |
| US20130242056A1 (en) | Imaging structure emitter calibration | |
| US11509883B2 (en) | Electronic device | |
| US20220262976A1 (en) | Reducing bowing of materials before wafer-to-wafer bonding for led manufacturing | |
| US20200004023A1 (en) | Electronic device | |
| CN111801803A (zh) | 显示组件及显示器装置 | |
| US20230077804A1 (en) | Augmented reality content providing apparatus and augmented reality content providing method using the same | |
| EP3460785A1 (en) | Multiple layer projector for a head-mounted display | |
| WO2021118709A1 (en) | Left and right projectors for display device | |
| US20210333548A1 (en) | Wearable electronic device on head | |
| KR20230057494A (ko) | 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 시스템 | |
| KR20230040414A (ko) | 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 방법 | |
| US11947744B2 (en) | Device for providing augmented reality and method for providing augmented reality using the same | |
| CN114815240A (zh) | 增强现实镜片及包括其的增强现实眼镜和增强现实系统 | |
| KR20230041121A (ko) | 증강 현실 콘텐츠 제공 장치 | |
| US20230152584A1 (en) | Device for providing augmented reality contents | |
| KR20230041895A (ko) | 증강 현실 제공 장치 | |
| KR20240083222A (ko) | 영상 표시 모듈을 포함하는 웨어러블 장치 | |
| CN115698903A (zh) | 显示装置、可穿戴显示设备及注视点的位置的确定方法 | |
| KR20220049548A (ko) | 머리에 착용할 수 있는 전자 디바이스 |