KR20230040414A - 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 방법 - Google Patents
증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 방법 Download PDFInfo
- Publication number
- KR20230040414A KR20230040414A KR1020210123183A KR20210123183A KR20230040414A KR 20230040414 A KR20230040414 A KR 20230040414A KR 1020210123183 A KR1020210123183 A KR 1020210123183A KR 20210123183 A KR20210123183 A KR 20210123183A KR 20230040414 A KR20230040414 A KR 20230040414A
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- light emitting
- user
- hand
- image
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 198
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000033001 locomotion Effects 0.000 claims abstract description 104
- 230000004888 barrier function Effects 0.000 claims description 35
- 230000003287 optical effect Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 19
- 210000001747 pupil Anatomy 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 10
- 239000011347 resin Substances 0.000 claims description 8
- 229920005989 resin Polymers 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 5
- 239000000758 substrate Substances 0.000 claims description 5
- 238000009792 diffusion process Methods 0.000 claims description 4
- 210000005252 bulbus oculi Anatomy 0.000 claims description 3
- 230000009471 action Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 29
- 239000004065 semiconductor Substances 0.000 description 26
- 230000000903 blocking effect Effects 0.000 description 16
- 229910052738 indium Inorganic materials 0.000 description 16
- APFVFJFRJDLVQX-UHFFFAOYSA-N indium atom Chemical compound [In] APFVFJFRJDLVQX-UHFFFAOYSA-N 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 102100023817 26S proteasome complex subunit SEM1 Human genes 0.000 description 7
- 101000684297 Homo sapiens 26S proteasome complex subunit SEM1 Proteins 0.000 description 7
- 101000873438 Homo sapiens Putative protein SEM1, isoform 2 Proteins 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 7
- 101150089655 Ins2 gene Proteins 0.000 description 6
- 101100072652 Xenopus laevis ins-b gene Proteins 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 101100243945 Fusarium vanettenii PDAT9 gene Proteins 0.000 description 4
- 101001072191 Homo sapiens Protein disulfide-isomerase A2 Proteins 0.000 description 4
- 208000012204 PDA1 Diseases 0.000 description 4
- 102100036351 Protein disulfide-isomerase A2 Human genes 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 208000030825 patent ductus arteriosus 2 Diseases 0.000 description 4
- 101150102492 pda1 gene Proteins 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000003195 fascia Anatomy 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000002096 quantum dot Substances 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000002019 doping agent Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000007769 metal material Substances 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 description 1
- 229910002704 AlGaN Inorganic materials 0.000 description 1
- 229910001218 Gallium arsenide Inorganic materials 0.000 description 1
- 229910004298 SiO 2 Inorganic materials 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000011368 organic material Substances 0.000 description 1
- 239000011146 organic particle Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000002161 passivation Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 229910052814 silicon oxide Inorganic materials 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
- 229910052725 zinc Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Abstract
본 발명은 사용자의 손동작 또는 지시 도구의 움직임 정보에 따라 증강 현실 콘텐츠의 표시 정보를 변경시켜 표시할 수 있는 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 방법에 관한 것이다. 본 발명의 일 실시예에 따른 증강 현실 제공 장치는 적어도 하나의 투명성 렌즈를 지지하는 지지 프레임, 적어도 하나의 투명성 렌즈를 통해 증강 현실 콘텐츠를 표시하는 적어도 하나의 표시 모듈, 사용자의 손 동작, 손 모양, 손 위치, 및 지시 도구의 위치에 따른 센싱 신호들과 상기 지지 프레임의 전면 방향 이미지 데이터들을 검출하는 센싱 모듈, 및 상기 센싱 신호들과 상기 이미지 데이터들을 이용해서 상기 사용자의 손과 상기 지시 도구에 대한 움직임 정보를 검출하고, 상기 움직임 정보와 대응되도록 상기 증강 현실 콘텐츠를 변조해서 상기 적어도 하나의 표시 모듈로 제공하는 제어 모듈을 포함한다.
Description
본 발명은 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 방법에 관한 것이다.
최근, 가상 현실(virtual reality, VR)을 구현할 수 있는 전자기기 및 디스플레이 장치가 개발되면서, 이에 대한 관심이 높아지고 있다. 가상 현실의 다음 단계로 증강 현실(augmented reality, AR) 및 혼합 현실(mixed reality, MR)을 실현할 수 있는 기술도 연구되고 있다.
증강 현실은 완전 가상 세계를 전제로 하는 가상 현실과는 달리, 현실 세계의 환경 위에 가상의 대상이나 영상 정보를 겹쳐 보여줌으로써 현실의 효과를 더욱 증가시키는 디스플레이 기술이다.
가상 현실이 게임이나 가상 체험과 같은 분야에만 한정적으로 적용되었다면, 증강 현실은 현실 환경에 다양하게 응용이 가능하다는 장점이 있다. 특히, 증강 현실은 유비쿼터스(ubiquitous) 환경이나 사물 인터넷(internet of things, IoT) 환경 등에 적합한 차세대 디스플레이 기술로 주목받고 있다. 이러한 증강 현실은 현실 세계와 가상 세계의 부가적인 정보를 혼합하여 보여준다는 점에서 혼합 현실의 일례라고 할 수 있다.
본 발명이 해결하고자 하는 과제는 사용자의 손동작 또는 지시 도구의 움직임 정보에 따라 증강 현실 콘텐츠의 표시 정보를 변경시켜 표시할 수 있는 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 사용자의 손동작이나 지시 도구의 움직임 정보를 더욱 정확하게 검출해서 증강 현실 콘텐츠 변조에 활용할 수 있는 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 일 실시예에 따른 증강 현실 제공 장치는 적어도 하나의 투명성 렌즈를 지지하는 지지 프레임, 상기 적어도 하나의 투명성 렌즈를 통해 증강 현실 콘텐츠를 표시하는 적어도 하나의 표시 모듈, 사용자의 손 동작, 손 모양, 손 위치, 및 지시 도구의 위치 변화에 따른 센싱 신호들과 상기 지지 프레임의 전면 방향 이미지 데이터들을 검출하는 센싱 모듈, 및 상기 센싱 신호들과 상기 이미지 데이터들을 이용해서 상기 사용자의 손과 상기 지시 도구에 대한 움직임 정보를 검출하고, 상기 움직임 정보와 대응되도록 상기 증강 현실 콘텐츠를 변조해서 상기 적어도 하나의 표시 모듈로 제공하는 제어 모듈을 포함한다.
상기 적어도 하나의 표시 모듈은 상기 지지 프레임의 일 측 또는 양측에 조립되거나 상기 지지 프레임과 일체로 형성되어, 이미지 전송 부재와 상기 투명성 렌즈의 반사 부재들을 통해 상기 증강 현실 콘텐츠의 이미지를 표시한다.
상기 센싱 모듈은 상기 지지 프레임에 조립되거나 상기 지지 프레임과 일체로 형성되며, 깊이 센서, 및 이미지 센서를 이용해서 상기 센싱 신호들과 상기 사용자의 손이나 상기 지시 도구가 포함된 상기 이미지 데이터들을 검출하고, 제1 및 제2 생체 센서를 이용해서 사용자의 안구 또는 동공 움직임을 검출한다.
상기 제어 모듈은 상기 센싱 모듈의 전면 방향 이미지 데이터를 미리 설정된 복수의 블록 영역으로 분할하고, 상기 제1 및 제2 생체 센서를 통한 동공 감지 신호들의 분석 결과에 따라 사용자의 주시 방향 좌표를 검출하며, 상기 사용자의 주시 방향 좌표와 대응되는 분할 블록 영역의 이미지에서 상기 사용자의 손이나 상기 지시 도구를 검출함으로써, 상기 사용자의 손이나 상기 지시 도구의 좌표 정보들을 생성한다.
상기 제어 모듈은 상기 분할 블록 영역의 이미지에서 상기 사용자의 손이나 상기 지시 도구가 검출되면, 상기 사용자의 손 위치, 및 모양에 따른 3축(X축, Y축, Z축) 방향 위치 좌표 정보들이 포함된 상기 움직임 정보를 연속적으로 산출하고, 상기 3축 방향 위치 좌표 정보들이 연결된 이동 경로 데이터를 생성하며, 상기 이동 경로 데이터에 포함된 상기 사용자의 손이나 상기 지시 도구의 위치 좌표와 증강 현실 콘텐츠 이미지의 객체들을 매칭시켜 상기 증강 현실 콘텐츠의 데이터를 변조한다.
상기 제어 모듈은 상기 사용자의 손이나 상기 지시 도구의 위치 좌표 변화에 대응되도록 상기 증강 현실 콘텐츠의 전체적인 이미지나 매칭된 객체들의 표시 특성 데이터를 변조하고, 상기 변조된 증강 현실 콘텐츠의 전체적인 이미지나 매칭된 객체들의 표시 특성 데이터를 상기 적어도 하나의 표시 모듈, 및 외부에 비치된 적어도 하나의 콘텐츠 표시장치로 전송한다.
상기 제어 모듈은 상기 센싱 모듈로부터 상기 센싱 신호들과 동공 감지 신호들을 수신하여 전처리하고, 상기 이미지 데이터들을 적어도 한 프레임 단위 또는 수평 라인 단위로 정렬해서 순차적으로 출력하는 센싱 신호 검출부, 상기 이미지 데이터들을 미리 설정된 복수의 블록 영역으로 분할하고, 분할된 블록 영역의 이미지에서 상기 사용자의 손이나 상기 지시 도구가 검출되면, 상기 사용자의 손이나 상기 지시 도구에 대한 3축(X축, Y축, Z축) 방향 위치 좌표 정보들이 연결된 이동 경로 데이터를 생성하는 센싱 신호 분석부, 상기 이동 경로 데이터에 포함된 상기 사용자의 손이나 상기 지시 도구의 위치 좌표와 증강 현실 콘텐츠 이미지의 객체들을 매칭시키는 감지 위치 매칭부, 및 상기 사용자의 손이나 상기 지시 도구의 3축 방향 위치 좌표 변화에 대응되도록 상기 증강 현실 콘텐츠의 전체적인 이미지나 매칭된 객체들의 표시 특성 데이터를 변조하는 콘텐츠 변조부를 포함한다.
상기 센싱 신호 분석부는 상기 센싱 모듈의 전면 방향 이미지 데이터를 미리 설정된 복수의 블록 영역으로 분할하고, 상기 센싱 모듈에 포함된 적외선 센서들의 행렬 배치 정보, 상기 행렬 배치 정보에 따른 동공 감지 신호들의 이동 분석 결과에 따라 사용자의 주시 방향 좌표를 검출하며, 상기 사용자의 주시 방향 좌표와 대응되는 분할 블록 영역의 이미지에서 상기 사용자의 손이나 상기 지시 도구를 검출함으로써, 상기 사용자의 손이나 상기 지시 도구에 대한 3축 방향 위치 좌표 정보들 검출한다.
상기 센싱 신호 분석부는 상기 사용자의 주시 방향 좌표와 대응되는 분할 블록 영역의 화소 간 계조 또는 휘도 차이 분석 결과, 또는 화소 데이터와 상기 사용자의 손이나 지시 도구 형상 마스크와의 대조 분석 결과 중 적어도 어느 한 분석 결과에 따라 상기 사용자의 손이나 상기 지시 도구 형상의 이미지를 검출한다.
상기 센싱 신호 분석부는 상기 사용자의 손이나 상기 지시 도구의 X축 좌표, Y축 좌표, Z축 좌표를 미리 설정된 좌표 기입 공간 데이터, 또는 증강 현실 콘텐츠 크기의 블록 데이터에 연속적으로 저장해서 상기 사용자의 손이나 상기 지시 도구의 이동 경로 데이터를 생성한다.
적어도 하나의 표시 모듈은 상기 증강 현실 콘텐츠의 이미지를 표시하는 적어도 하나의 영상 표시기기, 및 상기 증강 현실 콘텐츠의 이미지를 상기 적어도 하나의 투명성 렌즈로 전송하는 이미지 전송 부재를 포함하며, 상기 이미지 전송 부재는 광 도파로, 확산 렌즈, 및 초점 형성 렌즈 중 적어도 하나의 광학 부재를 포함한다.
상기 적어도 하나의 영상 표시기기는 기판상에 펜타일 매트릭스 구조로 구획 및 배치되는 격벽, 상기 격벽의 구획에 의해 상기 펜타일 매트릭스 구조로 배열된 복수의 발광 영역에 각각 배치되며, 상기 기판의 두께 방향으로 연장되는 복수의 발광 소자, 상기 복수의 발광 소자를 포함하는 상기 복수의 발광 영역에 형성된 베이스 수지, 및 상기 복수의 발광 영역 중 적어도 하나의 발광 영역 상에 선택적으로 배치된 복수의 광학 패턴을 포함한다.
상기 복수의 발광 영역은 각각의 화소 영역에 제1 내지 제3 발광 영역, 또는 제1 내지 제4 발광 영역이 상기 펜타일 매트릭스 구조로 배치되도록 형성된다.
상기 제1 발광 영역은 적색, 녹색, 청색 중 어느 하나의 색을 구현하는 파장 대역의 제1 광을 발광하는 제1 발광 소자, 상기 제2 발광 영역은 적색, 녹색, 청색 중 상기 제1 광과는 상이한 어느 하나의 색을 구현하는 파장 대역의 제2 광을 발광하는 제2 발광 소자, 상기 제3 발광 영역은 적색, 녹색, 청색 중 상기 제1 및 제2 광과는 상이한 어느 하나의 색을 구현하는 파장 대역의 제3 광을 발광하는 제3 발광 소자, 및 상기 제4 발광 영역은 상기 제1 내지 제3 광 중 어느 한 광과 동일한 파장 대역의 제4 광을 발광하는 제4 발광 소자를 각각 포함한다.
상기 제1 내지 제4 발광 영역 각각의 크기 또는 평면 면적은 서로 동일하게 형성되고, 수평 방향 또는 대각선 방향으로 서로 이웃하는 상기 제1 발광 영역과 상기 제2 발광 영역 사이의 거리, 상기 제2 발광 영역과 상기 제3 발광 영역 사이의 거리, 상기 제1 발광 영역과 상기 제3 발광 영역 사이의 거리, 및 상기 제3 발광 영역과 상기 제4 발광 영역 사이의 거리는 상기 제1 내지 제4 발광 영역 각각의 크기 또는 평면 면적에 따라 서로 동일하게 배치된다.
상기 제1 내지 제4 발광 영역 각각의 크기 또는 평면 면적은 선택적으로 서로 다르게 형성되고, 상기 제1 발광 영역과 상기 제2 발광 영역 사이의 거리, 상기 제2 발광 영역과 상기 제3 발광 영역 사이의 거리, 상기 제1 발광 영역과 상기 제3 발광 영역 사이의 거리, 및 상기 제3 발광 영역과 상기 제4 발광 영역 사이의 거리는 상기 제1 내지 제4 발광 영역 각각의 크기 또는 평면 면적에 따라 서로 동일하거나 다르게 형성된다.
상기 과제를 해결하기 위한 일 실시예에 따른 증강 현실 제공 방법은 증강 현실 콘텐츠를 적어도 하나의 표시 모듈과 투명성 렌즈를 통해 표시하는 단계, 사용자의 손 동작, 손 모양, 손 위치, 및 지시 도구의 위치에 따른 센싱 신호들과 지지 프레임의 전면 방향 이미지 데이터들을 검출하는 단계, 상기 센싱 신호들과 상기 이미지 데이터들을 이용해서 상기 사용자의 손과 상기 지시 도구에 대한 움직임 정보를 검출하는 단계, 상기 움직임 정보와 대응되도록 상기 증강 현실 콘텐츠를 변조해서 상기 적어도 하나의 표시 모듈로 제공하는 단계, 및 상기 움직임 정보와 대응되도록 변조된 상기 증강 현실 콘텐츠를 외부의 적어도 하나의 콘텐츠 표시장치로 전송하는 단계를 포함한다.
상기 움직임 정보와 대응되도록 상기 증강 현실 콘텐츠를 변조하는 단계는 상기 이미지 데이터들을 미리 설정된 복수의 블록 영역으로 분할하는 단계, 분할된 상기 복수의 블록 영역의 이미지에서 상기 사용자의 손이나 상기 지시 도구가 검출되면, 상기 사용자의 손이나 상기 지시 도구에 대한 3축(X축, Y축, Z축) 방향 위치 좌표 정보들이 연결된 이동 경로 데이터를 생성하는 단계, 상기 이동 경로 데이터에 포함된 상기 사용자의 손이나 상기 지시 도구의 위치 좌표와 증강 현실 콘텐츠 이미지의 객체들을 매칭시키는 단계, 상기 사용자의 손이나 상기 지시 도구의 위치 좌표 변화에 대응되도록 상기 증강 현실 콘텐츠의 전체적인 이미지나 매칭된 객체들의 표시 특성 데이터를 변조하는 단계를 포함한다.
상기 복수의 블록 영역의 이미지에서 상기 사용자의 손이나 상기 지시 도구를 검출하는 단계는 상기 사용자의 주시 방향 좌표와 대응되는 분할 블록 영역의 화소 간 계조 또는 휘도 차이 분석 결과, 또는 화소 데이터와 상기 사용자의 손이나 지시 도구 형상의 마스크와의 대조 분석 결과 중 적어도 어느 한 분석 결과에 따라 상기 사용자의 손이나 상기 지시 도구 형상의 이미지를 검출한다.
상기 이동 경로 데이터를 생성하는 단계는 상기 사용자의 손이나 상기 지시 도구의 X축 좌표, Y축 좌표, Z축 좌표를 미리 설정된 좌표 기입 공간 데이터, 또는 증강 현실 콘텐츠 크기의 블록 데이터에 연속적으로 저장해서 상기 사용자의 손이나 상기 지시 도구의 이동 경로 데이터를 생성한다.
본 발명의 일 실시예에 따른 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 방법은 더욱 용이하게 증강 현실 콘텐츠의 표시 정보를 변경시켜 표시할 수 있도록 하여 증강 현실 제공 장치의 이용 만족도를 높일 수 있다.
본 발명의 일 실시예에 따른 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 방법은 보다 다양한 움직임 형태로 증강 현실 콘텐츠를 변조 및 표시할 수 있도록 하여 증강 현실 제공 장치의 활용성과 신뢰성을 향상시킬 수 있다.
실시예들에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 장치를 보여주는 도면이다.
도 2는 도 1에 도시된 증강 현실 제공 장치를 구체적으로 보여주는 사시도이다.
도 3은 도 2에 도시된 증강 현실 제공 장치의 배면 방향 분해 사시도이다.
도 4는 도 2 및 도 3에 도시된 증강 현실 제공 장치의 정면 방향 분해 사시도이다.
도 5는 도 2 내지 도 4에 도시된 증강 현실 제공 장치의 표시 모듈을 개략적으로 나타낸 구성도이다.
도 6은 도 5에 도시된 영상 표시기기를 구체적으로 나타낸 레이아웃 도이다.
도 7은 도 6의 A 영역을 상세히 보여주는 레이아웃 도이다.
도 8은 도 7의 B 영역에 도시된 화소들을 상세히 보여주는 레이아웃 도이다.
도 9는 도 8의 I-I' 선을 따라 절단한 영상 표시기기의 일 예를 보여주는 단면도이다.
도 10은 도 9의 발광 소자의 일 예를 상세히 보여주는 확대 단면도이다.
도 11은 도 2 내지 도 4의 증강 현실 제공 장치에 구비된 제어 모듈을 개략적으로 나타낸 블록도이다.
도 12는 일 실시예에 따른 증강 현실 제공 장치의 증강 현실 콘텐츠 변경 및 표시 방법을 설명하기 위한 순서도이다.
도 13은 일 실시예에 따른 증강 현실 제공 장치를 이용한 증강 현실 콘텐츠 표시 및 손 위치 인식 방법을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 이미지 데이터를 이용한 손 위치 인식 방법을 설명하기 위한 도면이다.
도 15는 일 실시예에 증강 현실 제공 장치를 이용한 손동작 및 위치 인식 방법을 보여주는 도면이다.
도 16은 일 실시예에 증강 현실 제공 장치를 이용한 전자펜 및 위치 인식 방법을 보여주는 도면이다.
도 17은 일 실시예에 증강 현실 제공 장치를 이용한 다양한 손동작 및 움직임 인식 방법을 보여주는 도면이다.
도 18은 일 실시예에 따른 사용자의 손 위치 움직임 정보와 증강 현실 콘텐츠의 매칭 및 변조 방법을 나타낸 도면이다.
도 19는 일 실시예에 따른 사용자의 손동작과 증강 현실 콘텐츠의 매칭 및 변조 방법을 나타낸 도면이다.
도 20은 일 실시예에 따른 표시 모듈을 포함하는 워치형 스마트 기기를 보여주는 예시 도면이다.
도 21은 일 실시예에 따른 표시 모듈을 포함하는 자동차 계기판과 센터페시아를 보여주는 일 예시 도면이다.
도 22는 일 실시예에 따른 표시 모듈을 포함하는 투명표시장치를 보여주는 일 예시 도면이다.
도 2는 도 1에 도시된 증강 현실 제공 장치를 구체적으로 보여주는 사시도이다.
도 3은 도 2에 도시된 증강 현실 제공 장치의 배면 방향 분해 사시도이다.
도 4는 도 2 및 도 3에 도시된 증강 현실 제공 장치의 정면 방향 분해 사시도이다.
도 5는 도 2 내지 도 4에 도시된 증강 현실 제공 장치의 표시 모듈을 개략적으로 나타낸 구성도이다.
도 6은 도 5에 도시된 영상 표시기기를 구체적으로 나타낸 레이아웃 도이다.
도 7은 도 6의 A 영역을 상세히 보여주는 레이아웃 도이다.
도 8은 도 7의 B 영역에 도시된 화소들을 상세히 보여주는 레이아웃 도이다.
도 9는 도 8의 I-I' 선을 따라 절단한 영상 표시기기의 일 예를 보여주는 단면도이다.
도 10은 도 9의 발광 소자의 일 예를 상세히 보여주는 확대 단면도이다.
도 11은 도 2 내지 도 4의 증강 현실 제공 장치에 구비된 제어 모듈을 개략적으로 나타낸 블록도이다.
도 12는 일 실시예에 따른 증강 현실 제공 장치의 증강 현실 콘텐츠 변경 및 표시 방법을 설명하기 위한 순서도이다.
도 13은 일 실시예에 따른 증강 현실 제공 장치를 이용한 증강 현실 콘텐츠 표시 및 손 위치 인식 방법을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 이미지 데이터를 이용한 손 위치 인식 방법을 설명하기 위한 도면이다.
도 15는 일 실시예에 증강 현실 제공 장치를 이용한 손동작 및 위치 인식 방법을 보여주는 도면이다.
도 16은 일 실시예에 증강 현실 제공 장치를 이용한 전자펜 및 위치 인식 방법을 보여주는 도면이다.
도 17은 일 실시예에 증강 현실 제공 장치를 이용한 다양한 손동작 및 움직임 인식 방법을 보여주는 도면이다.
도 18은 일 실시예에 따른 사용자의 손 위치 움직임 정보와 증강 현실 콘텐츠의 매칭 및 변조 방법을 나타낸 도면이다.
도 19는 일 실시예에 따른 사용자의 손동작과 증강 현실 콘텐츠의 매칭 및 변조 방법을 나타낸 도면이다.
도 20은 일 실시예에 따른 표시 모듈을 포함하는 워치형 스마트 기기를 보여주는 예시 도면이다.
도 21은 일 실시예에 따른 표시 모듈을 포함하는 자동차 계기판과 센터페시아를 보여주는 일 예시 도면이다.
도 22는 일 실시예에 따른 표시 모듈을 포함하는 투명표시장치를 보여주는 일 예시 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
소자(elements) 또는 층이 다른 소자 또는 층의 "상(on)"으로 지칭되는 것은 다른 소자 바로 위에 또는 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 실시예들을 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
본 발명의 여러 실시예들의 각각 특징들은 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하고, 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시할 수도 있다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 제공 장치를 보여주는 도면이다.
도 1을 참조하면, 증강 현실 제공 장치(200)는 사용자의 손 동작, 손 모양, 손 위치를 비롯하여, 필기구, 전자펜, 레이저 포인터 등의 지시 도구에 대한 움직임 정보를 검출한다. 그리고, 검출된 움직임 정보에 대응되도록 증강 현실 콘텐츠의 표시 정보를 변경시켜서 표시한다. 구체적으로, 증강 현실 제공 장치(200)는 사용자의 손동작, 손 위치, 및 지시 도구 등의 움직임 정보와 대응되도록 증강 현실 콘텐츠의 이미지, 및 음향 등을 변경시켜 표시할 수 있다. 이때, 변경되어 표시되는 증강 현실 콘텐츠의 이미지(FH), 및 음향 등은 태블릿 PC(tablet personal computer)나 스마트폰 등 별도의 콘텐츠 표시장치에서도 동일하게 표시되도록 할 수 있다.
증강 현실 제공 장치(200)는 사용자가 용이하게 휴대해서 장착 또는 탈착할 수 있는 안경 형태의 프레임과 일체로 형성되거나, 안경형 프레임에 장착 또는 조립되는 형태로 구성될 수도 있다. 증강 현실 제공 장치(200)는 투명성 렌즈를 통해 사용자의 눈으로 보이는 현실 이미지에 증강 현실 콘텐츠의 이미지(FH)가 겹쳐 보이도록 하기 위해, 투명성 렌즈를 통해 사용자의 눈으로 증강 현실 콘텐츠 이미지(FH)를 제공한다. 증강 현실 콘텐츠는 그래픽 이미지, 촬영 이미지, 텍스트 등이 조합된 2차원 또는 3차원의 이미지 콘텐츠와 음향 콘텐츠 등을 포함할 수 있다.
증강 현실 제공 장치(200)는 증강 현실 콘텐츠 이미지(FH)를 표시하는 적어도 하나의 표시 모듈, 및 표시 모듈에 표시되는 증강 현실 콘텐츠 이미지(FH)가 사용자의 눈에 인지될 수 있도록 증강 현실 콘텐츠 이미지(FH)의 표시 경로(또는, 광 경로)를 변경하는 광학 부재들을 더 포함할 수 있다.
증강 현실 제공 장치(200)는 증강 현실 콘텐츠 이미지(FH)가 표시되는 표시 기간에 사용자의 손 동작, 손 모양, 손 위치, 및 지시 도구 등의 움직임 정보를 실시간으로 검출한다. 전술한 바와 같이, 사용자의 손 모양, 손 동작, 손 위치 외에도 필기도구 등의 지시 도구에 대한 위치 및 움직임 정보를 검출할 수도 있다. 하지만, 이하에서는 사용자의 손 모양, 손 동작, 손 위치에 따른 움직임 정보를 검출하는 예를 설명하기로 하며, 본 명세서의 실시예는 이에 한정되지 않는다.
증강 현실 제공 장치(200)는 손 동작과 손 위치 등의 움직임 정보를 보다 세밀하고 정확하게 검출하기 위해, 적어도 3축(예를 들어, X축, Y축, Z축) 방향에 대한 움직임 정보를 검출한다. 여기서, X축은 가로축 방향, Y축은 세로축 방향, Z축은 깊이(또는, 거리) 축 방향이 될 수 있다. 이에, 증강 현실 제공 장치(200)는 손의 이동 위치 변화 등에 대한 움직임 정보가 검출되면, 손의 위치 좌표 정보에 따라 증강 현실 콘텐츠 이미지(FH)의 객체들을 매칭시킨다. 그리고 손의 위치, 이동 방향, 이동 거리, 손 모양 등의 손동작에 대응되도록 증강 현실 콘텐츠의 전체적인 이미지 특성이나 매칭된 객체들의 크기, 위치, 색, 움직임 특성에 대한 데이터를 변조한다. 이때, 전체적인 이미지나 객체들의 움직임 변조에 맞게 음향 등의 연계 데이터 또한 변조할 수 있다. 손의 움직임 정보에 따라서 변조된 증강 현실 콘텐츠 데이터들은 실시간으로 증강 현실 제공 장치(200)의 표시 모듈 등을 통해 표시될 수 있다. 또한, 증강 현실 제공 장치(200)는 변조된 증강 현실 콘텐츠 데이터를 외부 기기인 적어도 하나의 콘텐츠 표시장치로 전송 및 공유하여 적어도 하나의 다른 콘텐츠 표시장치에서도 동일하게 표시되도록 할 수 있다.
도 2는 도 1에 도시된 증강 현실 제공 장치를 구체적으로 보여주는 사시도이다. 그리고, 도 3은 도 2에 도시된 증강 현실 제공 장치의 배면 방향 분해 사시도이며, 도 4는 도 2 및 도 3에 도시된 증강 현실 제공 장치의 정면 방향 분해 사시도이다.
도 2 내지 도 4를 참조하면, 증강 현실 제공 장치(200)는 적어도 하나의 투명성 렌즈(201)를 지지하는 지지 프레임(202), 적어도 하나의 표시 모듈(210), 센싱 모듈(240), 및 제어 모듈(220)을 포함한다.
지지 프레임(202)은 적어도 하나의 투명성 렌즈(201)의 테두리를 지지하는 안경테와 안경테 다리를 포함하는 안경형으로 형성될 수 있다. 지지 프레임(202)의 형태는 안경형으로 한정되지 않고 투명성 렌즈(201)를 포함하는 고글 형이나, 헤드 마운틴 형으로 형성될 수도 있다.
투명성 렌즈(201)는 좌우 일체형으로 형성될 수 있으며, 좌우가 분리된 제1 및 제2 투명성 렌즈로 구성될 수도 있다. 좌우 일체형 또는 제1 및 제2 투명성 렌즈로 분리 구성된 투명성 렌즈(201)는 유리(glass) 또는 플라스틱(plastic)으로 투명 또는 반투명하게 형성될 수 있다. 이로 인해, 사용자는 좌우 일체형 또는 제1 및 제2 투명성 렌즈로 분리 구성된 투명성 렌즈(201)를 통해서 현실의 이미지를 볼 수 있다. 여기서, 투명성 렌즈(201) 즉, 일체형 렌즈 또는 제1 및 제2 투명성 렌즈는 사용자의 시력을 고려하여 굴절력을 가질 수 있다.
투명성 렌즈(201)에는 적어도 하나의 표시 모듈(210)로부터 제공되는 증강 현실 콘텐츠 이미지(FH)를 투명성 렌즈(201)나 사용자의 눈 방향으로 반사시키는 적어도 하나의 반사부재, 및 초점과 크기를 조절하는 광학부재들이 더 포함될 수 있다. 적어도 하나의 반사 부재들은 투명성 렌즈(201)와 일체로 투명성 렌즈(201)에 내장될 수 있으며, 소정의 곡률을 가진 복수의 굴절 렌즈나 복수의 프리즘으로 형성될 수 있다.
적어도 하나의 표시 모듈(210)은 마이크로 LED 표시 장치(micro-LED), 나노 LED 표시 장치(nano-LED), 유기 발광 표시 장치(OLED), 무기 발광 표시 장치(inorganic EL), 퀀텀 닷 발광 표시 장치(QED), 음극선 표시 장치(CRT), 액정 표시 장치(LCD) 등을 포함할 수 있다. 하기에서는 표시 모듈(210)에 마이크로 LED 표시 장치가 포함된 예를 설명하며, 특별한 구분을 요하지 않는 이상 실시예에 적용된 마이크로 LED 표시 장치를 단순히 표시 장치로 약칭할 것이다. 그러나, 실시예가 마이크로 LED 표시 장치에 제한되는 것은 아니고, 기술적 사상을 공유하는 범위 내에서 상기 열거된 또는 본 기술분야에 알려진 다른 표시 장치가 적용될 수도 있다.
센싱 모듈(240)은 지지 프레임(202)에 조립되거나 일체로 형성되어, 지지 프레임(202)의 전면 방향 사물과의 거리(또는, 깊이), 조도, 지지 프레임(202)의 이동 방향, 이동 거리, 기울기 등을 센싱한다. 이를 위해, 센싱 모듈(240)은 적외선 센서나 라이다 센서 등의 깊이 센서(241), 카메라 등의 이미지 센서(260)를 포함한다. 또한, 센싱 모듈(240)은 조도 센서, 인체 감지 센서, 자이로 센서, 기울기 센서, 가속도 센서 중 적어도 하나의 모션 센서 등을 더 포함할 수 있다. 또한, 센싱 모듈(240)은 사용자의 안구 또는 동공의 움직임 정보를 검출하는 제1 및 제2 생체 센서(231,232)를 더 포함할 수도 있다.
제1 및 제2 생체 센서(231,232)는 사용자의 눈과 마주하는 방향인 지지 프레임(202) 내측에 배치되며, 적어도 하나의 적외선 광원, 및 적어도 하나의 적외선 카메라를 포함한다. 적어도 하나의 적외선 광원은 적외선을 출력하고, 적어도 하나의 적외선 카메라는 피사체인 안구 또는 동공으로부터 반사되는 적외선을 검출한다. 여기서, 적어도 하나의 적외선 광원은 행렬 구조의 적외선 LED 어레이로 구성될 수 있다. 그리고, 적외선 카메라는 적외선을 통과시키고 적외선 이외의 파장 대역을 차단하는 필터, 필터를 통과한 적외선을 포커싱하는 렌즈계, 및 렌즈계에 의해 형성된 광학 이미지를 전기적인 이미지 신호로 변환해서 출력하는 광학 이미지 센서 등을 포함할 수 있다. 광학 이미지 센서는 적외선 LED 어레이와 마찬가지로 행렬 구조의 어레이로 구성될 수 있다.
센싱 모듈(240)은 깊이 센서(241), 및 적어도 하나의 모션 센서 등을 통해 생성되는 센싱 신호들을 실시간으로 제어 모듈(220)로 전송한다. 그리고, 이미지 센서(260)는 실시간으로 생성되는 적어도 한 프레임 단위의 이미지 데이터를 제어 모듈(220)로 전송한다. 센싱 모듈(240)의 제1 및 제2 생체 센서(231,232)는 각각 검출되는 동공 감지 신호들을 제어 모듈(220)로 전송한다.
제어 모듈(220)은 적어도 하나의 표시 모듈(210)과 함께 지지 프레임(202)의 적어도 일 측에 조립되거나 지지 프레임(202)과 일체로 형성될 수 있다. 제어 모듈(220)은 적어도 하나의 표시 모듈(210)이 증강 현실 콘텐츠, 일 예로 증강 현실 콘텐츠 이미지를 표시하도록 적어도 하나의 표시 모듈(210)에 증강 현실 콘텐츠 데이터를 공급한다. 이와 동시에, 제어 모듈(220)은 센싱 모듈(240)로부터는 센싱 신호들, 이미지 데이터들, 및 동공 감지 신호들을 실시간으로 수신한다.
제어 모듈(220)은 센싱 모듈(240)로부터의 센싱 신호들과 이미지 센서(260)로부터의 이미지 데이터들을 통해 증강 현실 제공 장치(200)의 움직임 정보를 검출하고, 전면 방향의 이미지 데이터를 확보 및 저장한다. 그리고, 제어 모듈(220)은 행렬에 따른 동공 감지 신호들의 변화 및 동공 감지 신호들의 분석 결과에 따라 사용자의 주시 방향 좌표를 검출한다. 이에, 제어 모듈(220)은 증강 현실 제공 장치(200)의 전면 방향 이미지 데이터를 미리 설정된 복수의 블록 영역으로 분할하고, 사용자의 주시 방향 좌표와 대응되는 분할 블록 영역의 이미지를 분석하여 사용자의 손이나 지시 도구 등을 검출할 수 있다.
제어 모듈(220)은 사용자의 주시 방향 좌표와 대응되는 분할 블록 영역의 이미지에서 사용자의 손 모양(또는, 지시 도구)이 검출되면, 연속해서 실시간으로 사용자 손 위치, 및 손 모양 변화에 따른 3축(X축, Y축, Z축) 방향 좌표 정보들을 산출하고, 좌표 정보 연결 및 추적을 통한 움직임 정보를 검출한다. 그리고, 움직임 정보에 포함된 손의 위치 좌표 정보와 증강 현실 콘텐츠 데이터의 이미지 객체들을 매칭시켜서, 손의 위치 좌표 변화에 따라 증강 현실 콘텐츠의 전체적인 이미지나 매칭된 이미지 객체들의 표시 특성 데이터를 변조한다. 이와 더불어, 전체적인 이미지나 객체들의 움직임 변조에 맞게 음향 등의 연계 데이터 또한 변조할 수 있다.
도 5는 도 2 내지 도 4에 도시된 증강 현실 제공 장치의 표시 모듈을 개략적으로 나타낸 구성도이다.
도 2 내지 도 5를 참조하면, 증강 현실 콘텐츠 이미지(FH)를 표시하는 적어도 하나의 표시 모듈(210)은 지지 프레임(202)의 일 측 또는 양측에 조립되거나 지지 프레임(202)과 일체로 형성될 수 있다.
표시 모듈(210)은 적어도 하나의 투명성 렌즈(201)에 증강 현실 콘텐츠 이미지(FH)가 표시되도록 함으로써, 적어도 하나의 투명성 렌즈(201)를 사용자에게 보이는 현실 이미지에 증강 현실 콘텐츠 이미지(FH)가 겹쳐 보이도록 한다. 이를 위해, 적어도 하나의 표시 모듈(210)은 증강 현실 콘텐츠 이미지(FH)를 표시하는 적어도 하나의 영상 표시기기(110), 및 증강 현실 콘텐츠 이미지(FH)를 적어도 하나의 투명성 렌즈(201)로 전송하는 이미지 전송 부재(211)를 포함한다. 여기서, 이미지 전송 부재(211)는 광 도파로(예를 들어: 프리즘), 확산 렌즈(112), 및 초점 형성 렌즈(114) 중 적어도 하나의 광학 부재를 포함할 수 있다. 이에, 각각의 영상 표시기기(110)를 통해 표시되는 증강 현실 콘텐츠 이미지(FH)는 광 도파로와 확산 렌즈(112), 및 적어도 하나의 초점 형성 렌즈(114) 등을 통해서 적어도 하나의 투명성 렌즈(201)와 사용자의 눈으로 제공될 수 있다.
표시 모듈(210)에 포함된 영상 표시기기(110)는 마이크로 LED 표시 장치(micro-LED), 나노 LED 표시 장치(nano-LED), 유기 발광 표시 장치(OLED), 무기 발광 표시 장치(inorganic EL), 퀀텀 닷 발광 표시 장치(QED), 음극선 표시 장치(CRT), 액정 표시 장치(LCD) 등을 포함할 수 있다. 하기에서는 영상 표시기기(110)는 마이크로 LED 표시 장치가 포함된 예를 설명한다. 그러나, 실시예가 마이크로 LED 표시 장치에 제한되는 것은 아니고, 기술적 사상을 공유하는 범위 내에서 상기 열거된 또는 본 기술분야에 알려진 다른 표시 장치가 적용될 수도 있다.
도 6은 도 5에 도시된 영상 표시기기를 구체적으로 나타낸 레이아웃 도이다. 그리고, 도 7은 도 6의 A 영역을 상세히 보여주는 레이아웃 도이며, 도 8은 도 7의 B 영역에 도시된 화소들을 상세히 보여주는 레이아웃 도이다.
도 6 내지 도 8에 따른 일 실시예에서의 영상 표시기기(110)는 반도체 공정으로 형성된 반도체 회로 기판상에 발광 다이오드 소자들을 배치한 LEDoS(Light Emitting Diode on Silicon) 구조를 예로 설명하였다. 그러나, 본 명세서의 실시예는 이에 한정되지 않음에 주의하여야 한다. 또한, 본 명세서의 일 실시예에 따른 영상 표시기기(110)는 발광 소자로서 초소형 발광 다이오드(마이크로 또는 나노 발광 다이오드)를 포함하는 초소형 발광 다이오드 표시 모듈(마이크로 또는 나노 발광 다이오드 표시 모듈)인 것을 중심으로 설명하였으나, 본 명세서의 실시예는 이에 한정되지 않는다.
도 6 내지 도 8에 따른 제1 방향(DR1)은 영상 표시기기(110)의 가로 방향을 가리키고, 제2 방향(DR2)은 영상 표시기기(110)의 세로 방향을 가리키며, 제3 방향(DR3)은 표시 패널(212)의 두께 방향 또는 반도체 회로 기판(215)의 두께 방향을 가리킨다. 아울러, 제4 방향(DR4)은 표시 패널(212)의 대각선 방향을 가리키며, 제5 방향(DR5)은 제4 방향(DR4)과 교차하는 대각선 방향을 가리킨다. 이 경우, "좌", "우", "상", "하"는 표시 패널(212)을 평면에서 바라보았을 때의 방향을 나타낸다. 예를 들어, "우측"은 제1 방향(DR1)의 일측, "좌측"은 제1 방향(DR1)의 타측, "상측"은 제2 방향(DR2)의 일측, "하측"은 제2 방향(DR2)의 타측을 나타낸다. 또한, "상부"는 제3 방향(DR3)의 일측을 가리키고, "하부"는 제3 방향(DR3)의 타측을 가리킨다.
도 6 내지 8을 참조하면, 영상 표시기기(110)는 표시 영역(DA)과 비표시 영역(NDA)을 포함하는 표시 패널(212)을 구비한다.
영상 표시기기(110)의 표시 패널(212)은 제1 방향(DR1)의 장변과 제2 방향(DR2)의 단변을 갖는 사각형의 평면 형태를 가질 수 있다. 다만, 표시 패널(212)의 평면 형태는 이에 한정되지 않으며, 사각형 이외의 다른 다각형, 원형, 타원형 또는 비정형의 평면 형태를 가질 수 있다.
표시 영역(DA)은 화상이 표시되는 영역이고, 비표시 영역(NDA)은 화상이 표시되지 않는 영역일 수 있다. 표시 영역(DA)의 평면 형태는 표시 패널(212)의 평면 형태를 추종할 수 있다. 도 6에서는 표시 영역(DA)의 평면 형태가 사각형인 것을 예시하였다. 표시 영역(DA)은 표시 패널(212)의 중앙 영역에 배치될 수 있다. 비표시 영역(NDA)은 표시 영역(DA)의 주변에 배치될 수 있다. 비표시 영역(NDA)은 표시 영역(DA)을 둘러싸도록 배치될 수 있다.
제1 패드부(PDA1)는 비표시 영역(NDA)에 배치될 수 있다. 제1 패드부(PDA1)는 표시 패널(212)의 상측에 배치될 수 있다. 제1 패드부(PDA1)는 외부의 회로 보드와 연결되는 제1 패드(PD1)들을 포함할 수 있다. 한편, 제2 패드부(PDA2)는 비표시 영역(NDA)에 배치될 수 있다. 제2 패드부(PDA2)는 반도체 회로 기판의 하측에 배치될 수 있다. 제2 패드부(PDA2)는 외부의 회로 보드와 연결되기 위한 제2 패드들을 포함할 수 있다. 이러한, 제2 패드부(PDA2)는 생략될 수 있다.
표시 패널(212)의 표시 영역(DA)은 복수의 화소(PX)들을 포함할 수 있다. 각각의 화소(PX)는 각각 정의된 화소 영역(PX_d)에서 화이트 광을 표시할 수 있는 최소 발광 단위로 정의될 수 있다.
각각의 화소 영역(PX_d)에 화이트 광을 표시할 수 있는 최소 단위로 배치된 화소(PX)들은 복수의 발광 영역들(EA1,EA2,EA3,EA4)을 포함할 수 있다. 본 명세서의 실시예에서는 각각의 화소(PX)들이 펜타일 매트릭스(PenTile matrix) 구조로 배치된 4개의 발광 영역들(EA1,EA2,EA3,EA4)을 포함하는 것을 예시하였으나, 이에 한정되지 않는다. 예를 들어, 복수의 화소(PX)들 각각은 3개의 발광 영역들(EA1, EA2, EA3) 만을 포함할 수도 있다.
각 화소 영역(PX_d)별 복수의 발광 영역들(EA1,EA2,EA3,EA4)은 격벽(PW)에 의해 구획될 수 있다. 격벽(PW)은 발광 영역들(EA1,EA2,EA3,EA4)에 배치된 제1 내지 제4 발광 소자(LE1 내지 LE4)를 각각 둘러싸도록 배치될 수 있다. 격벽(PW)은 각각의 제1 내지 제4 발광 소자(LE1 내지 LE4)와 떨어져 배치될 수 있다. 이러한, 격벽(PW)은 메쉬 형태, 그물망 형태 또는 격자 형태의 평면 형태를 가질 수 있다.
도 7과 도 8에서는 격벽(PW)에 의해 정의되는 복수의 발광 영역들(EA1,EA2,EA3,EA4) 각각이 펜타일 매트릭스 구조를 이루는 마름모 형상의 평면 형태를 갖는 것을 예시하였으나, 본 명세서의 실시예는 이에 한정되지 않는다. 예를 들어, 격벽(PW)에 의해 정의되는 복수의 발광 영역들(EA1,EA2,EA3,EA4) 각각은 마름모 이외의 사각형이나 삼각형 등의 다각형, 원형, 타원형, 또는 비정형의 형태를 가질 수 있다.
도 8을 참조하면, 복수의 발광 영역들(EA1,EA2,EA3,EA4) 중 제1 발광 영역(EA1)은 제1 광을 발광하는 제1 발광 소자(LE1), 제2 발광 영역(EA2)은 제2 광을 발광하는 제2 발광 소자(LE2), 제3 발광 영역(EA3)은 제3 광을 발광하는 제3 발광 소자(LE4), 제4 발광 영역(EA4)은 제4 광을 발광하는 제4 발광 소자(LE4)를 각각 포함할 수 있다. 제1 광은 적색, 녹색, 청색 중 어느 하나의 색을 구현하는 파장 대역의 광일 수 있다. 그리고, 제2 광은 적색, 녹색, 청색 중 제1 광과는 상이한 어느 하나의 색을 구현하는 파장 대역의 광일 수 있다. 반면, 제3 광은 적색, 녹색, 청색 중 제1 및 제2 광과는 상이한 어느 하나의 색을 구현하는 파장 대역의 광일 수 있다. 그리고, 제4 광은 상기 제1 내지 제3 광 중 어느 한 광과 동일한 파장 대역의 광일 수 있다.
펜타일 매트릭스 구조로 배치된 제1 내지 제4 발광 영역(EA1 내지 EA4)에 각각 포함된 제1 내지 제4 발광 소자(LE1 내지 LE4) 각각이 마름모 형상의 평면 형태를 갖는 것을 예시하였으나, 본 명세서의 실시예는 이에 한정되지 않는다. 예를 들어, 제1 내지 제4 발광 소자(LE1) 내지 LE4) 각각은 마름모 형상 이외의 삼각형이나 사각형 등의 다각형, 원형, 타원형, 또는 비정형의 형태로 형성될 수 있다.
제1 발광 영역(EA1)들 각각은 제1 광을 발광하는 영역을 가리킨다. 제1 발광 영역(EA1)들 각각은 제1 발광 소자(LE1)로부터 출광되는 제1 광을 출력한다. 전술한 바와 같이, 제1 광은 적색, 녹색, 청색 중 어느 하나의 색을 구현하는 파장 대역의 광일 수 있다. 일 예로, 제1 광은 적색 파장 대역의 광일 수 있다. 적색 파장 대역은 대략 600㎚ 내지 750㎚일 수 있으나, 본 명세서의 실시예는 이에 한정되지 않는다.
제2 발광 영역(EA2)들 각각은 제2 광을 발광하는 영역을 가리킨다. 제2 발광 영역(EA2)들 각각은 제2 발광 소자(LE2)로부터 출광되는 제2 광을 출력한다. 제2 광은 적색, 청색, 녹색 중 제1 광과는 다른 어느 하나의 색을 구현하는 파장 대역의 광일 수 있다. 일 예로, 제2 광은 청색 파장 대역의 광일 수 있다. 청색 파장 대역은 대략 370㎚ 내지 460㎚일 수 있으나, 본 명세서의 실시예는 이에 한정되지 않는다.
제3 발광 영역(EA3)들 각각은 제3 광을 발광하는 영역을 가리킨다. 제3 발광 영역(EA3)들 각각은 제3 발광 소자(LE3)로부터 출광되는 제3 광을 출력한다. 제3 광은 적색, 청색, 녹색 중 제1 및 제2 광과는 다른 어느 하나의 색을 구현하는 파장 대역의 광일 수 있다. 일 예로, 제3 광은 녹색 파장 대역의 광일 수 있다. 녹색 파장 대역은 대략 480㎚ 내지 560㎚일 수 있으나, 본 명세서의 실시예는 이에 한정되지 않는다.
제4 발광 영역(EA4)들 각각은 제4 광을 발광하는 영역을 가리킨다. 제4 발광 영역(EA4)들 각각은 제4 발광 소자(LE4)로부터 출광되는 제4 광을 출력한다. 여기서, 제4 광은 제1 내지 제3 광 중 어느 한 광과 동일한 색을 구현하는 파장 대역의 광일 수 있다. 일 예로, 제4 광은 제2 광과 동일한 청색 파장 대역의 광일 수 있으며, 제3 광과 동일한 녹색 파장 대역의 광일 수도 있다. 본 명세서의 실시예는 이에 한정되지 않는다.
각 화소(PX)들의 제2 발광 영역(EA2)들은 가로(또는, 행) 방향인 제1 방향(DR1)을 따라서 인접한 다른 화소(PX)들의 제4 발광 영역(EA4)들과 교대로 교번해서 배치될 수 있다. 그리고, 각 화소(PX)들의 제1 발광 영역(EA1)들, 및 제3 발광 영역(EA3)들은 가로(또는, 행) 방향인 제1 방향(DR1)을 따라서 교대로 교번해서 배치될 수 있다. 반면, 각 화소(PX)들의 제4 발광 영역(EA4)들은 가로(또는, 행) 방향인 제1 방향(DR1)을 따라서 인접한 다른 화소(PX)들의 제2 발광 영역(EA2)들과 교대로 교번해서 배치될 수 있다.
제1 발광 영역(EA1)과 제4 발광 영역(EA4)은 제1 대각선 방향인 제4 방향(DR4)으로 교대로 배치되고, 제2 발광 영역(EA2)과 제3 발광 영역(EA3) 또한 제1 대각선 방향인 제4 방향(DR4)으로 교대로 배치된다. 이에, 제2 발광 영역(EA2)과 제1 발광 영역(EA1)은 제1 대각선 방향과 교차하는 제2 대각선 방향인 제5 방향(DR5)으로 교대로 배치되고, 제3 발광 영역(EA3)과 제4 발광 영역(EA4) 또한 제2 대각선 방향인 제5 방향(DR5)으로 교대로 배치됨으로써, 전체적으로 각각의 화소(PX)들 또한 펜 타일 매트릭스 구조로 배치 및 배열될 수 있다.
각 화소(PX)의 제1 내지 제4 발광 영역(EA1 내지 EA4) 각각의 크기 또는 평면 면적은 서로 동일하거나 다르게 형성될 수 있다. 이와 마찬가지로, 제1 내지 제4 발광 영역(EA1 내지 EA4)에 각각 형성된 제1 내지 제4 발광 소자(LE1 내지 LE4) 각각의 크기 또는 평면 면적 또한 서로 동일하거나 다르게 형성될 수 있다.
구체적으로, 제1 발광 영역(EA1)의 면적, 제2 발광 영역(EA2)의 면적, 제3 발광 영역(EA3)의 면적, 및 제4 발광 영역(EA4)의 면적은 실질적으로 동일할 수 있으나, 본 명세서의 실시예는 이에 한정되지 않는다. 예를 들어, 제1 및 제2 발광 영역(EA1,EA2)의 면적이 상이하고, 제2 및 제3 발광 영역(EA2,EA3)의 면적 또한 상이하며, 제3 및 제4 발광 영역(EA3,EA4)의 면적 또한 상이할 수도 있다. 이때, 제1 내지 제4 발광 영역(EA1 내지 EA4) 중 적어도 두 개씩의 발광 영역의 면적이 서로 동일할 수도 있다.
수평 방향 또는 대각선 방향으로 서로 이웃하는 제1 및 제2 발광 영역(EA1,EA2) 사이의 거리, 제2 및 제3 발광 영역(EA2,EA3) 사이의 거리, 제3 및 제4 발광 영역(EA3,EA4) 사이의 거리, 및 제1 및 제4 발광 영역(EA1,EA4) 사이의 거리는 서로 동일할 수 있으나, 달라지는 면적에 따라서 서로 상이할 수도 있다. 본 명세서의 실시예는 이에 한정되지 않는다.
제1 발광 영역(EA1)이 제1 광을 발광하고, 제2 발광 영역(EA2)이 제2 광을 발광하며, 제3 발광 영역(EA3)이 제3 광을 발광하고, 제4 발광 영역(EA4)이 제1 내지 제3 광 중 어느 한 광과 동일한 광을 발광하는 예시 또한 이에 한정되지 않는다. 제1 내지 제4 발광 영역(EA1 내지 EA4) 중 적어도 하나의 발광 영역이 제5 광을 발광할 수도 있다. 여기서, 제5 광은 노란색 파장 대역의 광일 수 있다. 즉, 제5 광의 메인 피크 파장은 대략 550㎚ 내지 600㎚에 위치할 수 있으나, 본 명세서의 실시예는 이에 한정되지 않는다.
도 9는 도 8의 I-I' 선을 따라 절단한 영상 표시기기의 일 예를 보여주는 단면도이다. 그리고 도 10은 도 9의 발광 소자의 일 예를 상세히 보여주는 확대 단면도이다.
도 9 및 도 10을 참조하면, 표시 패널(212)은 반도체 회로 기판(215), 도전 연결층(216)과 발광 소자층(217)을 포함할 수 있다.
반도체 회로 기판(215)은 복수의 화소 회로부(PXC)들과 화소 전극(214)들을 포함할 수 있다. 도전 연결층(216)은 연결 전극(213)들, 제1 패드(PD1)들, 공통 연결 전극(CCE), 제1 절연막(INS1), 및 도전 패턴(213R)을 포함할 수 있다.
반도체 회로 기판(215)은 반도체 공정을 이용하여 형성된 실리콘 웨이퍼 기판일 수 있다. 반도체 회로 기판(215)의 복수의 화소 회로부(PXC)들은 반도체 공정을 이용하여 형성될 수 있다.
복수의 화소 회로부(PXC)들은 표시 영역(도 6의 DA)에 배치될 수 있다. 복수의 화소 회로부(PXC)들 각각은 그에 대응되는 화소 전극(214)에 연결될 수 있다. 즉, 복수의 화소 회로부(PXC)들과 복수의 화소 전극(214)들은 일대일로 대응되게 연결될 수 있다. 복수의 화소 회로부(PXC)들 각각은 제3 방향(DR3)에서 각각 대응되는 발광 소자들(LE1 내지 LE4) 중 하나씩과 중첩될 수 있다. 화소 회로부(PXC)들 각각은 3T1C 구조, 2T1C 구조, 7T1C 구조, 6T1C 구조 등 다른 다양한 변형 회로 구조가 적용될 수도 있다.
화소 전극(214)들 각각은 그에 대응되는 화소 회로부(PXC)상에 배치될 수 있다. 화소 전극(214)들 각각은 화소 회로부(PXC)로부터 노출된 노출 전극일 수 있다. 즉, 화소 전극(214)들 각각은 화소 회로부(PXC)의 상면으로부터 돌출될 수 있다. 화소 전극(214)들 각각은 화소 회로부(PXC)와 일체로 형성될 수 있다. 화소 전극(214)들 각각은 화소 회로부(PXC)로부터 화소 전압 또는 애노드 전압을 공급받을 수 있다. 화소 전극(214)들은 알루미늄(Al)으로 형성될 수 있다.
연결 전극(213)들 각각은 그에 대응되는 화소 전극(214) 상에 배치될 수 있다. 연결 전극(213)들 각각은 화소 전극(214) 상에 배치될 수 있다. 연결 전극(213)들은 화소 전극(214)들과 각각의 발광 소자(LE1 내지 LE4)들을 접착하기 위한 금속 물질을 포함할 수 있다.
공통 연결 전극(CCE)은 화소 전극(214) 및 연결 전극(213)과 떨어져 배치될 수 있다. 공통 연결 전극(CCE)은 화소 전극(214) 및 연결 전극(213)을 둘러싸도록 배치될 수 있다. 공통 연결 전극(CCE)은 비표시 영역(NDA)의 제1 패드부(PDA1)의 제1 패드(PD1)들 중 어느 하나에 연결되어 공통 전압을 공급받을 수 있다. 공통 연결 전극(CCE)은 연결 전극(213)들과 동일한 물질을 포함할 수 있다.
공통 연결 전극(CCE) 상에는 제1 절연막(INS1)이 배치될 수 있다. 제1 방향(DR1) 또는 제2 방향(DR2)에서 제1 절연막(INS1)의 폭은 공통 연결 전극(CCE)의 폭보다 작을 수 있다. 이로 인해, 공통 연결 전극(CCE)의 상면 일부는 제1 절연막(INS1)에 의해 덮이지 않고 노출될 수 있다. 제1 절연막(INS1)에 의해 덮이지 않고 노출된 공통 연결 전극(CCE)의 상면 일부는 공통 전극(CE)과 접촉할 수 있다. 그러므로, 공통 전극(CE)은 공통 연결 전극(CCE)에 연결될 수 있다.
제1 절연막(INS1) 상에 도전 패턴(112R)이 배치될 수 있다. 도전 패턴(213R)은 제1 절연막(INS1)과 격벽(PW) 사이에 배치될 수 있다. 도전 패턴(213R)의 폭은 제1 절연막(INS1)의 폭 또는 격벽(PW)의 폭과 실질적으로 동일할 수 있다. 도전 패턴(213R)은 연결 전극(213)들 및 공통 연결 전극(CCE)과 동일한 공정으로 형성되는 잔존물에 해당한다.
발광 소자층(217)은 각각의 발광 소자들(LE1,LE2,LE3,LE4), 격벽(PW), 제2 절연막(INS2), 공통 전극(CE), 반사막(RF), 차광 부재(BM), 및 광학 패턴(LP)들을 포함할 수 있다.
발광 소자층(217)은 격벽(PW)에 의해 구획된 제1 내지 제4 발광 영역(EA1 내지 EA4)들을 포함할 수 있다. 제1 내지 제4 발광 영역(EA1 내지 EA4)들 각각에는 각각의 발광 소자(LE), 및 광학 패턴(LP) 중 적어도 하나의 구성 요소들이 배치될 수 있다.
도 9의 발광 소자들(LE1,LE2,LE3)은 각 발광 영역(EA1 내지 EA3)들에서 연결 전극(213) 상에 배치될 수 있다. 각 발광 소자들(LE1,LE2,LE3)의 제3 방향(DR3)의 길이(또는, 높이)는 수평 방향의 길이보다 길 수 있다. 수평 방향의 길이는 제1 방향(DR1)의 길이 또는 제2 방향(DR2)의 길이를 가리킨다. 예를 들어, 제1 발광 소자(LE1)의 제3 방향(DR3)의 길이는 대략 1㎛ 내지 5㎛일 수 있다.
도 10을 참조하면, 각각의 발광 소자들(LE1,LE2,LE3,LE4)은 제1 반도체층(SEM1), 전자 저지층(EBL), 활성층(MQW), 초격자층(SLT), 및 제2 반도체층(SEM2)을 포함한다. 제1 반도체층(SEM1), 전자 저지층(EBL), 활성층(MQW), 초격자층(SLT), 및 제2 반도체층(SEM2)은 제3 방향(DR3)으로 순차적으로 적층될 수 있다.
제1 반도체층(SEM1)은 연결 전극(213) 상에 배치될 수 있다. 제1 반도체층(SEM1)은 Mg, Zn, Ca, Se, Ba 등과 같은 제1 도전형 도펀트가 도핑된 반도체층일 수 있다. 예를 들어, 제1 반도체층(31)은 p형 Mg로 도핑된 p-GaN일 수 있다. 제1 반도체층(SEM1)의 두께는 대략 30 내지 200㎚일 수 있다.
전자 저지층(EBL)은 제1 반도체층(SEM1) 상에 배치될 수 있다. 전자 저지층(EBL)은 너무 많은 전자가 활성층(MQW)으로 흐르는 것을 억제 또는 방지하기 위한 층일 수 있다. 예를 들어, 전자 저지층(EBL)은 p형 Mg로 도핑된 p-AlGaN일 수 있다. 전자 저지층(EBL)의 두께는 대략 10 내지 50㎚일 수 있다. 전자 저지층(EBL)은 생략될 수 있다.
활성층(MQW)은 제1 내지 제3 활성층으로 구분될 수 있다. 제1 내지 제3 활성층 각각은 단일 또는 다중 양자 우물 구조의 물질을 포함할 수 있다. 제1 내지 제3 활성층 각각이 다중 양자 우물 구조의 물질을 포함하는 경우, 복수의 우물층(well layer)과 배리어층(barier layer)이 서로 교번하여 적층된 구조일 수도 있다. 이때, 제1 활성층은 InGaN 또는 GaAs를 포함하고, 제2 활성층과 제3 활성층은 InGaN를 포함할 수 있으나, 이에 한정되지 않는다. 여기서, 제1 활성층은 전기 신호에 따라 전자-정공 쌍의 결합에 의해 광을 발광할 수 있다. 제1 활성층은 메인 피크 파장이 대략 600㎚ 내지 750㎚의 범위를 갖는 제1 광, 즉 적색 파장 대역의 광을 방출할 수 있다. 제2 활성층은 전기 신호에 따라 전자-정공 쌍의 결합에 의해 광을 발광할 수 있다. 제2 활성층은 메인 피크 파장이 대략 480㎚ 내지 560㎚의 범위를 갖는 제3 광, 즉 녹색 파장 대역의 광을 방출할 수 있다. 제3 활성층은 전기 신호에 따라 전자-정공 쌍의 결합에 의해 광을 발광할 수 있다. 제3 활성층은 메인 피크 파장이 대략 370㎚ 내지 460㎚의 범위를 갖는 제2 광, 즉 청색 파장 대역의 광을 방출할 수 있다.
제1 내지 제3 활성층 각각은 인듐의 함량에 따라 방출하는 광의 색이 달라질 수 있다. 예를 들어, 인듐의 함량이 감소할수록 제1 내지 제3 활성층 각각이 방출하는 광의 파장 대역이 적색 파장 대역으로 이동하고, 인듐의 함량이 증가할수록 방출하는 광의 파장 대역이 청색 파장 대역으로 이동할 수 있다. 제1 활성층의 인듐(In)의 함량은 제2 활성층의 인듐(In)의 함량보다 높고, 제2 활성층의 인듐(In)의 함량은 제3 활성층 인듐(In)의 함량보다 높을 수 있다. 예를 들어, 제3 활성층의 인듐(In)의 함량은 15%이고, 제2 활성층의 인듐(In)의 함량은 25%이며, 제1 활성층의 인듐(In)의 함량은 35% 이상일 수 있다.
제1 내지 제3 활성층 각각의 인듐의 함량에 따라 방출하는 광의 색이 달라질 수 있으므로, 각 발광 소자들(LE1,LE2,LE3)의 발광 소자층(217)은 인듐의 함량에 따라 서로 동일하거나 다르게 제1 광, 제2 광, 제3 광 등의 광을 방출할 수 있다. 예를 들어, 제1 발광 소자(LE1)의 제1 내지 제3 활성층 내 인듐(In)의 함량을 15% 이내로 하면 메인 피크 파장이 대략 600㎚ 내지 750㎚의 범위를 갖는 적색 파장 대역의 제1 광을 방출할 수 있다. 그리고, 제2 발광 소자(LE2)의 제1 내지 제3 활성층 내 인듐(In)의 함량을 25%로 하면 메인 피크 파장이 대략 480㎚ 내지 560㎚의 범위를 갖는 녹색 파장 대역의 제2 광을 방출할 수 있다. 또한, 제3 발광 소자(LE3)의 제1 내지 제3 활성층 내 인듐(In)의 함량을 35% 이상으로 하면 메인 피크 파장이 대략 370㎚ 내지 460㎚의 범위를 갖는 청색 파장 대역의 제3 광을 방출할 수 있다. 제4 발광 소자(LE4)의 제1 내지 제3 활성층 내 인듐(In)의 함량을 조절 및 설정함으로써, 제4 발광 소자(LE4) 또한 제1 내지 제3 광을 방출하거나, 또 다른 제4 광을 방출하도록 할 수도 있다.
활성층(MQW) 상에는 초격자층(SLT)이 배치될 수 있다. 초격자층(SLT)은 제2 반도체층(SEM2)과 활성층(MQW) 사이의 응력을 완화하기 위한 층일 수 있다. 예를 들어, 초격자층(SLT)은 InGaN 또는 GaN로 형성될 수 있다. 초격자층(SLT)의 두께는 대략 50 내지 200㎚일 수 있다. 초격자층(SLT)은 생략될 수 있다.
제2 반도체층(SEM2)은 초격자층(SLT) 상에 배치될 수 있다. 제2 반도체층(SEM2)은 Si, Ge, Sn 등과 같은 제2 도전형 도펀트가 도핑되어 있을 수 있다. 예를 들어, 제2 반도체층(32)은 n형 Si로 도핑된 n-GaN일 수 있다. 제2 반도체층(32)의 두께는 대략 2 내지 4㎛일 수 있다.
격벽(PW)은 제1 내지 제4 발광 영역(EA1 내지 EA4)들 각각에 배치되는 각각의 발광 소자들(LE1 내지 LE4)과 떨어져 배치될 수 있다. 격벽(PW)은 제1 내지 제4 발광 영역(EA1 내지 EA4)들 각각에 배치되는 발광 소자들(LE1 내지 LE4)을 둘러싸도록 배치될 수 있다.
격벽(PW)은 공통 전극 연결 전극(CCE)들 상에 배치될 수 있다. 제1 방향(DR1)과 제2 방향(DR2)에서 격벽(PW)의 폭은 공통 연결 전극(CCE)의 폭보다 작을 수 있다. 격벽(PW)은 발광 소자(LE)들과 떨어져 배치될 수 있다.
격벽(PW)은 제1 격벽(PW1), 제2 격벽(PW2), 및 제3 격벽(PW3)을 포함할 수 있다. 제1 격벽(PW1)은 제1 절연막(INS1) 상에 배치될 수 있다. 제1 격벽(PW1)은 발광 소자(LE)와 동일한 공정으로 형성되므로, 제1 격벽(PW1)의 적어도 일부 영역은 발광 소자(LE)와 동일한 물질을 포함할 수 있다.
제2 절연막(INS2)은 공통 연결 전극(CCE)의 측면들, 격벽(PW)의 측면들, 화소 전극(214)들 각각의 측면들, 연결 전극(213)들 각각의 측면들, 및 각 발광 소자들(LE1 내지 LE4) 각각의 측면들 상에 배치될 수 있다. 제2 절연막(INS2)은 실리콘 산화막(SiO2)과 같은 무기막으로 형성될 수 있다. 제2 절연막(INS2)의 두께는 대략 0.1㎛일 수 있다.
공통 전극(CE)은 각 발광 소자들(LE1 내지 LE4)의 상면과 측면들, 및 격벽(PW)의 상면과 측면들 상에 배치될 수 있다. 즉, 공통 전극(CE)은 발광 소자들(LE1 내지 LE4) 각각의 상면과 측면들, 및 격벽(PW)의 상면과 측면들을 덮도록 배치될 수 있다.
공통 전극(CE)은 공통 연결 전극(CCE)의 측면들, 격벽(PW)의 측면들, 화소 전극(214)들 각각의 측면들, 연결 전극(213)들 각각의 측면들, 및 발광 소자들(LE1 내지 LE4) 각각의 측면들 상에 배치되는 제2 절연막(INS2)과 접촉할 수 있다. 또한, 공통 전극(CE)은 공통 연결 전극(CCE)의 상면, 발광 소자들(LE1 내지 LE4) 각각의 상면, 및 격벽(PW)의 상면과 접촉할 수 있다.
공통 전극(CE)은 제2 절연막(INS2)에 의해 덮이지 않고 노출된 공통 연결 전극(CCE)의 상면 및 발광 소자들(LE1 내지 LE4)의 상면과 접촉할 수 있다. 그러므로, 공통 연결 전극(CCE)에 공급된 공통 전압은 발광 소자들(LE1 내지 LE4)에 인가될 수 있다. 즉, 발광 소자들(LE1 내지 LE4)의 일 단은 연결 전극(213)을 통해 화소 전극(214)의 화소 전압 또는 애노드 전압을 공급받고, 타 단은 공통 전극(CE)을 통해 공통 전압을 공급받을 수 있다. 발광 소자(LE)는 화소 전압과 공통 전압 간의 전압 차에 따라 소정의 휘도로 광을 발광할 수 있다.
반사막(RF)은 공통 연결 전극(CCE)의 측면들, 격벽(PW)의 측면들, 화소 전극(214)들 각각의 측면들, 연결 전극(213)들 각각의 측면들, 및 발광 소자들(LE1 내지 LE4) 각각의 측면들 상에 배치될 수 있다. 반사막(RF)은 발광 소자들(LE1 내지 LE4)로부터 발광된 광 중에서 상부 방향이 아니라 상하좌우 측면 방향으로 진행하는 광을 반사하는 역할을 한다. 반사막(RF)은 알루미늄(Al)과 같은 반사율이 높은 금속 물질을 포함할 수 있다. 반사막(RF)의 두께는 대략 0.1㎛일 수 있다.
베이스 수지(BRS)는 발광 소자들(LE1 내지 LE4) 각각에서 보호막(PTF) 상에 배치될 수 있다. 베이스 수지(BRS)는 투광성 유기 물질을 포함할 수 있다. 베이스 수지(BRS)는 발광 소자들(LE1 내지 LE4)의 광을 랜덤한 방향으로 산란시키기 위한 산란체를 더 포함할 수도 있다. 이 경우, 산란체는 금속 산화물 입자 또는 유기 입자를 포함할 수 있다.
격벽(PW) 상에는 차광 부재(BM)가 배치될 수 있다. 차광 부재(BM)는 광 차단 물질을 포함할 수 있다. 차광 부재(BM)는 인접한 각각의 발광 영역들(EA1,EA2,EA3,EA4) 사이에 배치되어, 각 발광 영역들(EA1,EA2,EA3,EA4)의 발광 소자들(LE1 내지 LE4)로부터 발광되는 서로 다른 파장 대역의 광 간의 혼색을 방지할 수 있다. 또한, 차광 부재(BM)는 외부에서 발광 소자층(217)으로 입사되는 외광의 적어도 일부를 흡수하여 외광 반사를 줄일 수 있다. 차광 부재(BM)는 격벽(PW) 상에 위치하되, 각 발광 영역들(EA1,EA2,EA3,EA4)에 더 연장되어 배치될 수 있다. 즉, 차광 부재(BM)의 폭은 격벽(PW)의 폭보다 더 클 수 있다.
각각의 광학 패턴(LP)은 각각의 발광 영역들(EA1,EA2,EA3,EA4) 상에 선택적으로 배치될 수 있다. 각각의 광학 패턴(LP)은 각 발광 영역들(EA1,EA2,EA3,EA4)의 베이스 수지(BRS) 상에 직접 배치될 수 있다. 광학 패턴(LP)은 상부 방향(예컨대, 발광 소자들(LE1 내지 LE4)로부터 각각의 광학 패턴(LP)을 향하는 방향)으로 돌출된 형상을 가질 수 있다. 예를 들어, 각 광학 패턴(LP)의 단면 형상은 상부로 볼록한 렌즈(Lens) 형상을 포함할 수 있다. 각 광학 패턴(LP)은 하부의 베이스 수지(BRS), 및 차광 부재(BM) 상에 배치될 수 있다. 각 광학 패턴(LP)의 폭은 각 발광 영역들(EA1,EA2,EA3,EA4)의 폭과 같거나, 더 크거나, 또는 더 작을 수도 있다. 각 광학 패턴(LP)은 각 발광 영역들(EA1,EA2,EA3,EA4)에서 베이스 수지(BRS)를 투과한 제1 내지 제3 광 또는 제4 광을 집광할 수 있다.
도 11은 도 2 내지 도 4의 증강 현실 제공 장치에 구비된 제어 모듈을 개략적으로 나타낸 블록도이다.
도 11에 도시된 제어 모듈(220)은 센싱 신호 검출부(221), 센싱 신호 분석부(222), 감지 위치 매칭부(223), 콘텐츠 데이터 제공부(224), 콘텐츠 변조부(225), 표시 제어부(226), 및 무선 통신부(227)를 포함한다.
구체적으로, 센싱 신호 검출부(221)는 깊이 센서(241)를 포함하는 센싱 모듈(240)로부터의 센싱 신호들을 수신한다. 그리고 이미지 센서(260)로부터는 이미지 데이터들을 수신하고, 제1 및 제2 생체 센서(231,232)로부터는 동공 감지 신호들을 수신한다. 센싱 신호 검출부(221)는 깊이 센서(241) 등으로부터의 센싱 신호들과 동공 감지 신호들을 필터링하고, 디지털 신호로 변환하는 등의 전처리 과정을 수행한다. 그리고, 센싱 신호 검출부(221)는 이미지 데이터들을 적어도 한 프레임 단위 또는 수평 라인 단위로 정렬해서 순차적으로 출력한다.
센싱 신호 분석부(222)는 센싱 신호 검출부(221)로부터 전처리된 센싱 신호들과 이미지 데이터들을 이용해서 증강 현실 제공 장치(200)의 이동 방향 정보, 및 전면 방향의 이미지 데이터들을 검출한다. 그리고, 센싱 신호 분석부(222)는 증강 현실 제공 장치(200)의 전면 방향 이미지 데이터를 미리 설정된 복수의 블록 영역으로 분할한다. 또한, 센싱 신호 분석부(222)는 제1 및 제2 생체 센서(231,232)에 배치된 적외선 센서들의 행렬 배치 정보, 행렬 배치 정보에 따른 동공 감지 신호들의 이동 분석 결과에 따라 사용자의 주시 방향 좌표를 검출한다. 그리고, 분할된 복수의 전면 방향 이미지 데이터 중 사용자의 주시 방향 좌표와 대응되는 분할 블록 영역의 이미지를 분석하여 사용자의 손이나 지시 도구 등을 검출한다.
센싱 신호 분석부(222)는 사용자의 주시 방향 좌표와 대응되는 분할 블록 영역의 이미지에서 사용자의 손 모양(또는, 지시 도구 모양) 등이 검출되면, 검출 시작 신호를 감지 위치 매칭부(223), 및 콘텐츠 변조부(225) 등으로 송출한다. 이후에, 센싱 신호 분석부(222)는 사용자의 손 위치, 이동 방향, 모양 변화 등에 따른 3축 위치 좌표(예를 들어, X축 좌표, Y축 좌표, Z축 좌표) 정보들을 연속적으로 검출해서, 손에 대한 3축 위치 좌표 정보들이 연결된 이동 경로 데이터를 생성한다. 구체적으로, 센싱 신호 분석부(222)는 연속적으로 검출되는 손의 3축 위치 좌표를 미리 설정된 좌표 기입 공간 데이터, 또는 증강 현실 콘텐츠 크기의 블록 데이터에 연속적으로 저장해서 손의 모양 변화와 위치 이동에 따른 이동 경로 데이터를 생성한다.
감지 위치 매칭부(223)는 센싱 신호 분석부(222)로부터 손의 모양 변화와 위치 이동에 따른 이동 경로 데이터를 순차적으로 수신한다. 그리고, 콘텐츠 데이터 제공부(224)로부터는 증강 현실 콘텐츠 데이터를 순차적으로 수신한다. 그리고, 감지 위치 매칭부(223)는 이동 경로 데이터에 포함된 손의 3축 위치 좌표들을 증강 현실 콘텐츠 데이터 중 프레임별 이미지 데이터와 실시간으로 대응시킴으로써, 손의 위치 좌표들과 증강 현실 콘텐츠 데이터의 이미지 객체들을 매칭시킨다. 그리고, 매칭되는 손의 위치 좌표들과 이미지 객체의 데이터들을 적어도 한 프레임 단위로 순차적으로 출력한다.
콘텐츠 변조부(225)는 감지 위치 매칭부(223)로부터 매칭되는 손의 위치 좌표들과 이미지 객체의 데이터들을 적어도 한 프레임 단위로 순차적으로 수신한다. 그리고, 적어도 한 프레임 단위로 변화되는 손의 위치 좌표들에 대응되도록 증강 현실 콘텐츠의 전체적인 이미지 데이터나 매칭된 이미지 객체들의 크기, 위치, 색, 움직임 등의 데이터를 변조한다. 콘텐츠 변조부(225)는 전체적인 이미지나 객체들의 움직임 변조에 맞게 음향 등의 연계 데이터 또한 변조할 수 있다.
표시 제어부(226)는 콘텐츠 데이터 제공부(224)로부터의 증강 현실 콘텐츠 데이터가 적어도 하나의 표시 모듈(210)과 투명성 렌즈(201) 등을 통해 표시되도록 적어도 하나의 표시 모듈(210)의 영상 표시 동작을 제어한다. 그리고, 표시 제어부(226)는 콘텐츠 변조부(225)에 의해 증강 현실 콘텐츠 데이터가 변조되면, 변조된 증강 현실 콘텐츠 데이터가 표시되도록 적어도 하나의 표시 모듈(210)의 영상 표시 동작을 제어한다. 이때, 표시 제어부(226)는 콘텐츠 변조부(225)를 통해 변조된 증강 현실 콘텐츠 데이터들을 적어도 하나의 표시 모듈(210)과 음향 기기 등의 표시 특성이나 구동 특성에 맞게 변조하여, 적어도 하나의 표시 모듈(210)과 음향 기기 등으로 공급할 수 있다. 그리고, 표시 제어부(226)는 적어도 하나의 표시 모듈(210)과 음향 기기 등에 구동 타이밍을 제어하는 제어신호들을 전송하여, 적어도 하나의 표시 모듈(210)과 음향 기기 등을 통해서 상기 변조되었던 증강 현실 콘텐츠가 표시되도록 할 수 있다.
무선 통신부(227)는 블루투스(bluetooth) 모듈, 적외선 통신(IrDA, infrared data association) 모듈, 와이파이 다이렉트(WiFi-Direct) 통신 모듈, NFC(Near Field Communication) 모듈 중 적어도 하나의 통신 모듈을 포함한다. 이에, 무선 통신부(227)는 블루투스 통신 방식, 적외선 통신 방식, 와이파이 다이렉트 통신 방식, 및 NFC 통신 방식 중 적어도 하나의 통신 방식으로 외부 기기인 적어도 하나의 콘텐츠 표시장치 등과 무선 통신을 수행할 수 있다. 이에, 무선 통신부(227)는 콘텐츠 변조부(225)를 통해 변조된 증강 현실 콘텐츠 데이터들을 외부 기기인 적어도 하나의 콘텐츠 표시장치로 전송 및 공유하여 적어도 하나의 다른 콘텐츠 표시장치에서도 동일하게 표시되도록 지원할 수 있다.
도 12는 일 실시예에 따른 증강 현실 제공 장치의 증강 현실 콘텐츠 변경 및 표시 방법을 설명하기 위한 순서도이다. 그리고, 도 13은 일 실시예에 따른 증강 현실 제공 장치를 이용한 증강 현실 콘텐츠 표시 및 손 위치 인식 방법을 설명하기 위한 도면이며, 도 14는 일 실시예에 따른 이미지 데이터를 이용한 손 위치 인식 방법을 설명하기 위한 도면이다.
도 12 및 도 13을 먼저 참조하면, 표시 제어부(226)는 콘텐츠 데이터 제공부(224)로부터의 증강 현실 콘텐츠 데이터가 적어도 하나의 표시 모듈(210)과 투명성 렌즈(201)를 통해 표시되도록 적어도 하나의 표시 모듈(210)의 영상 표시 동작을 제어한다.(도 12의 S1)
도 13 및 도 14를 참조하면, 센싱 신호 분석부(222)는 센싱 신호 검출부(221)로부터 실시간으로 수신되는 센싱 신호들과 이미지 데이터들에 기초해서 증강 현실 제공 장치(200)의 전면 방향의 이미지 데이터(IMD)들을 검출한다. 여기서, 전면 방향 이미지 데이터(IMD)들은 이미지 센서(260)의 좌우 및 상하 방향의 화각(PSL 내지 PSR)에 따라 미리 설정된 크기 및 해상도의 프레임 데이터로 촬영 및 검출될 수 있다. 센싱 신호 분석부(222)는 이미지 센서(260)의 정면 방향이나 정면 포인트(PS)를 기준으로 해서, 화각(PSL 내지 PSR) 범위에 대응되는 크기의 프레임 단위로 이미지 데이터(IMD)를 검출 및 생성할 수 있다. 그리고, 별도의 메모리 등에 적어도 한 프레임 단위로 전면 방향의 이미지 데이터(IMD)를 저장한다.
센싱 신호 분석부(222)는 전면 방향 이미지 데이터(IMD)들을 미리 설정된 복수의 블록 영역(Dn(Bx,By))으로 분할한다. 센싱 신호 분석부(222)는 제1 및 제2 생체 센서(231,232)에 배치된 적외선 센서들의 행렬 배치 정보와 동공 감지 신호들의 행렬 방향 이동 분석 결과에 따라 사용자의 주시 방향 좌표 정보(Pu)를 검출한다. 그리고, 분할된 복수의 전면 방향 이미지 데이터(IMD)들 중 사용자의 동공 주시 방향 좌표 정보(Pu)와 대응되는 분할 블록 영역(Dn)의 이미지를 분석하여 사용자의 손 모양을 검출한다. 이때, 센싱 신호 분석부(222)는 각 분할 블록 영역(Dn(Bx,By))의 화소 간 계조 또는 휘도 차이 분석 결과, 또는 화소 데이터와 손 모양 마스크의 대조 결과 등의 분석 결과에 따라 손 모양의 이미지를 검출할 수 있다.
도 15는 일 실시예에 증강 현실 제공 장치를 이용한 손동작 및 위치 인식 방법을 보여주는 도면이다.
도 15를 참조하면, 센싱 신호 분석부(222)는 전면 방향 이미지 데이터(IMD) 내에서 사용자의 손(H1) 모양 이미지가 검출되면, 사용자 손(H1)의 위치, 이동 방향, 모양 변화 등에 따른 X축, Y축, Z축의 3축 위치 좌표 정보(SSn(Sx,Sy,Sz))들을 연속적으로 검출해서, 손(H1)에 대한 위치 좌표 정보들이 연결된 이동 경로 데이터를 생성한다.(도 12의 S2)
센싱 신호 분석부(222)는 연속적으로 검출되는 X축, Y축, Z축의 3축 위치 좌표 정보(SSn(Sx,Sy,Sz))들을 미리 설정된 좌표 기입 공간 데이터, 또는 증강 현실 콘텐츠 크기의 블록 데이터에 연속적으로 저장해서 손(H1)의 모양 변화와 위치 이동(화살표 방향 이동)에 따른 이동 경로 데이터를 생성한다.(도 12의 S3)
도 16은 일 실시예에 증강 현실 제공 장치를 이용한 전자펜 및 위치 인식 방법을 보여주는 도면이다.
도 16을 참조하면, 센싱 신호 분석부(222)는 전면 방향 이미지 데이터(IMD) 내에서 전자펜, 필기도구, 레이저 포인터 등의 지시 도구(P1)를 검출할 수도 있다. 센싱 신호 분석부(222)는 전면 방향 이미지 데이터(IMD) 내에서 지시 도구(P1) 모양이 검출되면, 사용자 지시 도구(P1)의 위치, 이동 방향, 모양 변화 등에 따른 X축, Y축, Z축의 위치 좌표 정보(SSn(Sx,Sy,Sz))들을 연속적으로 검출해서, 지시 도구(P1)에 대한 위치 좌표 정보들이 연결된 이동 경로 데이터를 생성할 수 있다. 이때, 센싱 신호 분석부(222)는 연속적으로 검출되는 X축, Y축, Z축의 위치 좌표 정보(SSn(Sx,Sy,Sz))들을 미리 설정된 좌표 기입 공간 데이터, 또는 증강 현실 콘텐츠 크기의 블록 데이터에 연속적으로 저장해서 지시 도구(P1)의 위치 이동(화살표 방향 이동)에 따른 이동 경로 데이터를 생성할 수 있다.
도 17은 일 실시예에 증강 현실 제공 장치를 이용한 다양한 손동작 및 움직임 인식 방법을 보여주는 도면이다.
도 17을 참조하면, 센싱 신호 분석부(222)는 전면 방향 이미지 데이터(IMD) 내에서 사용자의 손(H1) 모양이 검출되면, 사용자 손(H1)의 위치, 이동 방향 변화에 따른 X축, Y축, Z축의 3축 위치 좌표 정보(SSn(Sx,Sy,Sz))들을 연속적으로 검출한다. 그리고, X축, Y축, Z축의 3축 위치 좌표 정보(SSn(Sx,Sy,Sz))와 대응되는 이미지 데이터의 분할 블록 영역(Dn(Bx,By,Bz))을 구분하고, 각 이미지 데이터의 분할 블록 영역(Dn(Bx,By,Bz))별 깊이 센싱 신호 차이 값, 화소 간 계조 또는 휘도 차이 분석 결과, 또는 화소 데이터와 손 모양 마스크의 대조 결과 등의 분석 결과에 따라 손 모양의 이미지를 캡처 또는 검출할 수 있다. 손 모양의 이미지 데이터는 연속적으로 검출해서 감지 위치 매칭부(223)로 전송할 수 있다.
도 18은 일 실시예에 따른 사용자의 손 위치 움직임 정보와 증강 현실 콘텐츠의 매칭 및 변조 방법을 나타낸 도면이다.
도 18을 참조하면, 감지 위치 매칭부(223)는 센싱 신호 분석부(222)로부터 손의 모양 변화와 위치 이동, 즉 3축 위치 좌표 정보(SSn(Sx,Sy,Sz)) 변화에 따른 이동 경로 데이터를 순차적으로 수신한다. 이와 동시에, 감지 위치 매칭부(223)는 무선 통신부(227)를 통한 외부의 증강 현실 콘텐츠 데이터 또는 콘텐츠 데이터 제공부(224)로부터의 증강 현실 콘텐츠 데이터를 순차적으로 수신한다.
감지 위치 매칭부(223)는 이동 경로 데이터에 포함된 손의 3축 위치 좌표 정보(SSn(Sx,Sy,Sz))들을 증강 현실 콘텐츠 데이터 중 프레임별 이미지 데이터와 실시간으로 대응시킴으로써, 손의 위치 좌표 정보(SSn(Sx,Sy,Sz))들과 증강 현실 콘텐츠의 이미지 객체(C)들을 매칭시킨다. 그리고, 매칭되는 손의 3축 위치 좌표 정보(SSn(Sx,Sy,Sz))들과 이미지 객체의 데이터들을 적어도 한 프레임 단위로 콘텐츠 변조부(225)로 전송한다.(도 12의 S4)
콘텐츠 변조부(225)는 손의 3축 위치 좌표 정보(SSn(Sx,Sy,Sz)) 변화 여부에 따라 이미지 객체 데이터들의 변조 또는 유지 여부를 결정할 수 있다. 즉, 콘텐츠 변조부(225)는 미리 설정된 기준 프레임 단위로 변화되는 손의 위치 좌표 변화 크기 등에 따라 이미지 데이터들의 변조 과정을 수행 여부를 결정할 수 있다.(도 12의 S5) 또한, 콘텐츠 변조부(225)는 미리 설정된 기준 프레임 단위로 변화되는 손의 3축 위치 좌표 변화 크기 외에도 손 모양의 이미지 데이터를 통해 손 모양 변화를 연속적으로 검출하고, 손 모양별로 미리 설정된 명령에 따라 이미지 데이터들의 변조 과정을 수행 여부를 결정할 수 있다.(도 12의 S6)
도 19는 일 실시예에 따른 사용자의 손동작과 증강 현실 콘텐츠의 매칭 및 변조 방법을 나타낸 도면이다.
도 19로 도시된 바와 같이, 콘텐츠 변조부(225)는 이미지 데이터들의 변조 과정 수행 시, 적어도 한 프레임 단위로 변화되는 손의 위치 좌표 정보(SSn(Sx,Sy,Sz))들에 대응되도록 증강 현실 콘텐츠의 전체적인 이미지 데이터나 매칭된 객체(C)들의 크기, 위치, 색, 움직임 등의 데이터를 변조한다.(도 12의 S7)
특히, 콘텐츠 변조부(225)는 손 모양의 이미지 데이터(DE1)를 통해 손 모양 변화를 연속적으로 검출하고, 손 모양별로 미리 설정된 명령에 따라 증강 현실 콘텐츠의 전체적인 이미지 데이터나 매칭된 객체(C)들의 크기, 위치, 색, 움직임 등의 데이터를 변조할 수 있다.(도 12의 S7)
이미지 데이터의 객체(C)들은 손 모양이나 움직임 정보에 따라 회전되거나, 크기, 위치, 색, 움직임 등이 변화될 수 있다. 일 예로, 객체가 책 이미지인 경우에는 책 이미지의 책장을 넘기거나 책을 교체 또는 이동시킬 수 있다. 그리고, 객체가 영상 객체인 경우에는 표시 영상의 크기나 위치 동영상 재생 등의 옵션을 가변시킬 수 있다. 단순히 객체가 텍스트인 경우에는 텍스트들을 원근감 있게 이동 및 배치시킬 수 있으며, 텍스트들을 기입하거나 삭제하는 등의 작업을 수행할 수 있다.
표시 제어부(226)는 증강 현실 콘텐츠 데이터가 변조되면, 변조된 증강 현실 콘텐츠 데이터가 표시되도록 적어도 하나의 표시 모듈(210)의 영상 표시 동작을 제어한다. 이때, 표시 제어부(226)는 변조된 증강 현실 콘텐츠 데이터들과 함께 각 표시 모듈(210)별 구동 타이밍을 제어하는 제어신호들을 적어도 하나의 표시 모듈(210)로 공급하여, 적어도 하나의 표시 모듈(210)을 통해서 증강 현실 콘텐츠가 표시되도록 할 수 있다.(도 12의 S8) 한편으로, 무선 통신부(227)는 변조된 증강 현실 콘텐츠 데이터들을 외부 기기인 적어도 하나의 콘텐츠 표시장치로 전송 및 공유하여 적어도 하나의 다른 콘텐츠 표시장치(300)에서도 동일하게 표시되도록 지원할 수 있다.(도 12의 S8)
적어도 하나의 콘텐츠 표시장치(300)는 증강 현실 제공 장치(200)로부터 공유 및 수신되는 증강 현실 콘텐츠, 예를 들어 증강 현실 콘텐츠 이미지를 화면으로 표시할 수 있다. 적어도 하나의 콘텐츠 표시장치(300)는 콘텐츠 변조부(225)를 통해 변조된 증강 현실 콘텐츠 데이터가 수신되면, 수신된 증강 현실 콘텐츠 이미지를 화면으로 표시한다. 다시 말해, 적어도 하나의 콘텐츠 표시장치(300)는 증강 현실 제공 장치(200)로부터 변조된 증강 현실 콘텐츠 데이터가 수신되면 증강 현실 제공 장치(200)와 동일 타이밍에 변조된 증강 현실 콘텐츠 데이터를 화면으로 표시할 수 있다.
적어도 하나의 콘텐츠 표시장치(300)는 스마트폰, 태블릿 PC 등의 태블릿 이동 통신기기, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 텔레비전, 게임기, 손목시계형 전자 기기, 헤드 마운트 디스플레이, 퍼스널 컴퓨터의 모니터, 노트북 컴퓨터, 평판형 영상 표시장치, 자동차 내비게이션, 자동차 계기판, 디지털 카메라, 캠코더, 외부 광고판, 전광판, 의료 장치, 검사 장치, 냉장고와 세탁기 등과 같은 다양한 가전제품, 또는 사물 인터넷 장치에 적용될 수 있다. 본 명세서에서는 콘텐츠 표시장치(300)들의 예로, 학습 또는 강의에 사용되는 평판형 영상 표시장치를 설명하며, 평판형 영상 표시장치는 HD, UHD, 4K, 8K 등의 고해상도 내지 초고해상도를 가질 수 있다.
적어도 하나의 콘텐츠 표시장치(300)로 사용되는 평판형 영상 표시장치는 표시 방식에 따라 유기 발광 표시 장치(OLED), 무기 발광 표시 장치(inorganic EL), 퀀텀 닷 발광 표시 장치(QED), 마이크로 LED 표시 장치(micro-LED), 나노 LED 표시 장치(nano-LED), 플라즈마 표시 장치(PDP), 전계 방출 표시 장치(FED), 음극선 표시 장치(CRT), 액정 표시 장치(LCD), 전기 영동 표시 장치(EPD) 등으로 분류될 수도 있다. 하기에서는 콘텐츠 표시장치(300)로서 마이크로 LED 표시 장치를 예로 설명하며, 특별한 구분을 요하지 않는 이상 실시예에 적용된 마이크로 LED 표시 장치를 단순히 표시 장치로 약칭할 것이다. 그러나, 실시예가 마이크로 LED 표시 장치에 제한되는 것은 아니고, 기술적 사상을 공유하는 범위 내에서 상기 열거된 또는 본 기술분야에 알려진 다른 콘텐츠 표시장치(300)가 적용될 수도 있다.
도 20은 일 실시예에 따른 표시 모듈을 포함하는 워치형 스마트 기기를 보여주는 예시 도면이다.
도 20을 참조하면, 본 발명의 증강 현실 제공 장치(200)에 포함된 영상 표시기기(110)는 스마트 기기 중 하나인 워치형 스마트 기기(2)에 적용될 수 있다. 또한, 일 실시예에 따른 워치형 스마트 기기(2)는 머리에 장착할 수 있는 머리 장착 밴드를 포함하는 헤드 장착형 디스플레이(head mounted display)에 적용될 수도 있다. 즉, 일 실시예에 따른 워치형 스마트 기기(2)는 도 20에 도시된 것에 한정되지 않으며, 그 밖에 다양한 전자 장치에서 다양한 형태로 적용 가능하다.
도 21은 일 실시예에 따른 표시 모듈을 포함하는 자동차 계기판과 센터페시아를 보여주는 일 예시 도면이다.
도 21을 참조하면, 본 발명의 증강 현실 제공 장치(200)에 포함된 영상 표시기기(110)는 자동차의 계기판(10_a)에 적용되거나, 자동차의 센터페시아(center fascia, 10_b)에 적용되거나, 자동차의 대쉬보드에 배치된 CID(Center Information Display, 10_d, 10_e)에 적용될 수 있다. 또한, 일 실시예에 따른 영상 표시기기(110)는 자동차의 사이드미러를 대신하는 룸미러 디스플레이(room mirror display, 10_d, 10e)), 내비게이션 기기 등에 적용될 수도 있다.
도 22는 일 실시예에 따른 표시 모듈을 포함하는 투명표시장치를 보여주는 일 예시 도면이다.
도 22를 참조하면, 본 발명의 증강 현실 제공 장치(200)에 포함된 영상 표시기기(110)는 투명 표시 장치에 적용될 수 있다. 투명 표시 장치는 영상(IM)을 표시하는 동시에, 광을 투과시킬 수 있다. 그러므로, 투명 표시 장치의 전면(前面)에 위치한 사용자는 영상 표시기기(110)에 표시된 영상(IM)을 시청할 수 있을 뿐만 아니라, 투명 표시 장치의 배면(背面)에 위치한 사물(RS) 또는 배경을 볼 수 있다. 영상 표시기기(110)가 투명 표시 장치에 적용되는 경우, 도 7에 도시된 영상 표시기기(110)의 표시 패널(212)은 광을 투과시킬 수 있는 광 투과부를 포함하거나 광을 투과시킬 수 있는 재료로 형성될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
110: 영상 표시기기
112: 확산 렌즈
200: 증강 현실 제공 장치 201: 투명성 렌즈
202: 지지 프레임 210: 표시 모듈
211: 이미지 전송 부재 212: 표시 패널
220: 제어 모듈 221: 센싱 신호 검출부
222: 센싱 신호 분석부 223: 감지 위치 매칭부
224: 콘텐츠 데이터 제공부 225: 콘텐츠 변조부
226: 표시 제어부 227: 무선 통신부
200: 증강 현실 제공 장치 201: 투명성 렌즈
202: 지지 프레임 210: 표시 모듈
211: 이미지 전송 부재 212: 표시 패널
220: 제어 모듈 221: 센싱 신호 검출부
222: 센싱 신호 분석부 223: 감지 위치 매칭부
224: 콘텐츠 데이터 제공부 225: 콘텐츠 변조부
226: 표시 제어부 227: 무선 통신부
Claims (20)
- 적어도 하나의 투명성 렌즈를 지지하는 지지 프레임;
상기 적어도 하나의 투명성 렌즈를 통해 증강 현실 콘텐츠를 표시하는 적어도 하나의 표시 모듈;
사용자의 손 동작, 손 모양, 손 위치, 및 지시 도구의 위치 변화에 따른 센싱 신호들과 상기 지지 프레임의 전면 방향 이미지 데이터들을 검출하는 센싱 모듈; 및
상기 센싱 신호들과 상기 이미지 데이터들을 이용해서 상기 사용자의 손과 상기 지시 도구에 대한 움직임 정보를 검출하고, 상기 움직임 정보와 대응되도록 상기 증강 현실 콘텐츠를 변조해서 상기 적어도 하나의 표시 모듈로 제공하는 제어 모듈을 포함하는 증강 현실 제공 장치.
- 제 1 항에 있어서,
상기 적어도 하나의 표시 모듈은
상기 지지 프레임의 일 측 또는 양측에 조립되거나 상기 지지 프레임과 일체로 형성되어, 이미지 전송 부재와 상기 투명성 렌즈의 반사 부재들을 통해 상기 증강 현실 콘텐츠의 이미지를 표시하는 증강 현실 제공 장치.
- 제 1 항에 있어서,
상기 센싱 모듈은
상기 지지 프레임에 조립되거나 상기 지지 프레임과 일체로 형성되며,
깊이 센서, 및 이미지 센서를 이용해서 상기 센싱 신호들과 상기 사용자의 손이나 상기 지시 도구가 포함된 상기 이미지 데이터들을 검출하고, 제1 및 제2 생체 센서를 이용해서 사용자의 안구 또는 동공 움직임을 검출하는 증강 현실 제공 장치.
- 제 3 항에 있어서,
상기 제어 모듈은
상기 센싱 모듈의 전면 방향 이미지 데이터를 미리 설정된 복수의 블록 영역으로 분할하고, 상기 제1 및 제2 생체 센서를 통한 동공 감지 신호들의 분석 결과에 따라 사용자의 주시 방향 좌표를 검출하며,
상기 사용자의 주시 방향 좌표와 대응되는 분할 블록 영역의 이미지에서 상기 사용자의 손이나 상기 지시 도구를 검출함으로써, 상기 사용자의 손이나 상기 지시 도구의 좌표 정보들을 생성하는 증강 현실 제공 장치.
- 제 4 항에 있어서,
상기 제어 모듈은
상기 분할 블록 영역의 이미지에서 상기 사용자의 손이나 상기 지시 도구가 검출되면, 상기 사용자의 손 위치, 및 모양에 따른 3축(X축, Y축, Z축) 방향 위치 좌표 정보들이 포함된 상기 움직임 정보를 연속적으로 산출하고, 상기 3축 방향 위치 좌표 정보들이 연결된 이동 경로 데이터를 생성하며,
상기 이동 경로 데이터에 포함된 상기 사용자의 손이나 상기 지시 도구의 위치 좌표와 증강 현실 콘텐츠 이미지의 객체들을 매칭시켜 상기 증강 현실 콘텐츠의 데이터를 변조하는 증강 현실 제공 장치.
- 제 5 항에 있어서,
상기 제어 모듈은
상기 사용자의 손이나 상기 지시 도구의 위치 좌표 변화에 대응되도록 상기 증강 현실 콘텐츠의 전체적인 이미지나 매칭된 객체들의 표시 특성 데이터를 변조하고,
상기 변조된 증강 현실 콘텐츠의 전체적인 이미지나 매칭된 객체들의 표시 특성 데이터를 상기 적어도 하나의 표시 모듈, 및 외부에 비치된 적어도 하나의 콘텐츠 표시장치로 전송하는 증강 현실 제공 장치.
- 제 1 항에 있어서,
상기 제어 모듈은
상기 센싱 모듈로부터 상기 센싱 신호들과 동공 감지 신호들을 수신하여 전처리하고, 상기 이미지 데이터들을 적어도 한 프레임 단위 또는 수평 라인 단위로 정렬해서 순차적으로 출력하는 센싱 신호 검출부;
상기 이미지 데이터들을 미리 설정된 복수의 블록 영역으로 분할하고, 분할된 블록 영역의 이미지에서 상기 사용자의 손이나 상기 지시 도구가 검출되면, 상기 사용자의 손이나 상기 지시 도구에 대한 3축(X축, Y축, Z축) 방향 위치 좌표 정보들이 연결된 이동 경로 데이터를 생성하는 센싱 신호 분석부;
상기 이동 경로 데이터에 포함된 상기 사용자의 손이나 상기 지시 도구의 위치 좌표와 증강 현실 콘텐츠 이미지의 객체들을 매칭시키는 감지 위치 매칭부; 및
상기 사용자의 손이나 상기 지시 도구의 3축 방향 위치 좌표 변화에 대응되도록 상기 증강 현실 콘텐츠의 전체적인 이미지나 매칭된 객체들의 표시 특성 데이터를 변조하는 콘텐츠 변조부를 포함하는 증강 현실 제공 장치.
- 제 7 항에 있어서,
상기 센싱 신호 분석부는
상기 센싱 모듈의 전면 방향 이미지 데이터를 미리 설정된 복수의 블록 영역으로 분할하고, 상기 센싱 모듈에 포함된 적외선 센서들의 행렬 배치 정보, 상기 행렬 배치 정보에 따른 동공 감지 신호들의 이동 분석 결과에 따라 사용자의 주시 방향 좌표를 검출하며,
상기 사용자의 주시 방향 좌표와 대응되는 분할 블록 영역의 이미지에서 상기 사용자의 손이나 상기 지시 도구를 검출함으로써, 상기 사용자의 손이나 상기 지시 도구에 대한 3축 방향 위치 좌표 정보들 검출하는 증강 현실 제공 장치.
- 제 8 항에 있어서,
상기 센싱 신호 분석부는
상기 사용자의 주시 방향 좌표와 대응되는 분할 블록 영역의 화소 간 계조 또는 휘도 차이 분석 결과, 또는 화소 데이터와 상기 사용자의 손이나 지시 도구 형상 마스크와의 대조 분석 결과 중 적어도 어느 한 분석 결과에 따라 상기 사용자의 손이나 상기 지시 도구 형상의 이미지를 검출하는 증강 현실 제공 장치.
- 제 9 항에 있어서,
상기 센싱 신호 분석부는
상기 사용자의 손이나 상기 지시 도구의 X축 좌표, Y축 좌표, Z축 좌표를 미리 설정된 좌표 기입 공간 데이터, 또는 증강 현실 콘텐츠 크기의 블록 데이터에 연속적으로 저장해서 상기 사용자의 손이나 상기 지시 도구의 이동 경로 데이터를 생성하는 증강 현실 제공 장치.
- 제 1 항에 있어서,
상기 적어도 하나의 표시 모듈은
상기 증강 현실 콘텐츠의 이미지를 표시하는 적어도 하나의 영상 표시기기, 및 상기 증강 현실 콘텐츠의 이미지를 상기 적어도 하나의 투명성 렌즈로 전송하는 이미지 전송 부재를 포함하며,
상기 이미지 전송 부재는 광 도파로, 확산 렌즈, 및 초점 형성 렌즈 중 적어도 하나의 광학 부재를 포함하는 증강 현실 제공 장치.
- 제 11 항에 있어서,
상기 적어도 하나의 영상 표시기기는
기판상에 펜타일 매트릭스 구조로 구획 및 배치되는 격벽;
상기 격벽의 구획에 의해 상기 펜타일 매트릭스 구조로 배열된 복수의 발광 영역에 각각 배치되며, 상기 기판의 두께 방향으로 연장되는 복수의 발광 소자;
상기 복수의 발광 소자를 포함하는 상기 복수의 발광 영역에 형성된 베이스 수지; 및
상기 복수의 발광 영역 중 적어도 하나의 발광 영역 상에 선택적으로 배치된 복수의 광학 패턴을 포함하는 증강 현실 제공 장치.
- 제 12 항에 있어서,
상기 복수의 발광 영역은
각각의 화소 영역에 제1 내지 제3 발광 영역, 또는 제1 내지 제4 발광 영역이 상기 펜타일 매트릭스 구조로 배치되도록 형성된 증강 현실 제공 장치.
- 제 13 항에 있어서,
상기 제1 발광 영역은 적색, 녹색, 청색 중 어느 하나의 색을 구현하는 파장 대역의 제1 광을 발광하는 제1 발광 소자;
상기 제2 발광 영역은 적색, 녹색, 청색 중 상기 제1 광과는 상이한 어느 하나의 색을 구현하는 파장 대역의 제2 광을 발광하는 제2 발광 소자;
상기 제3 발광 영역은 적색, 녹색, 청색 중 상기 제1 및 제2 광과는 상이한 어느 하나의 색을 구현하는 파장 대역의 제3 광을 발광하는 제3 발광 소자; 및
상기 제4 발광 영역은 상기 제1 내지 제3 광 중 어느 한 광과 동일한 파장 대역의 제4 광을 발광하는 제4 발광 소자를 각각 포함하는 증강 현실 제공 장치.
- 제 13 항에 있어서,
상기 제1 내지 제4 발광 영역 각각의 크기 또는 평면 면적은 서로 동일하게 형성되고,
수평 방향 또는 대각선 방향으로 서로 이웃하는 상기 제1 발광 영역과 상기 제2 발광 영역 사이의 거리, 상기 제2 발광 영역과 상기 제3 발광 영역 사이의 거리, 상기 제1 발광 영역과 상기 제3 발광 영역 사이의 거리, 및 상기 제3 발광 영역과 상기 제4 발광 영역 사이의 거리는 상기 제1 내지 제4 발광 영역 각각의 크기 또는 평면 면적에 따라 서로 동일하게 배치된 증강 현실 제공 장치.
- 제 13 항에 있어서,
상기 제1 내지 제4 발광 영역 각각의 크기 또는 평면 면적은 선택적으로 서로 다르게 형성되고,
상기 제1 발광 영역과 상기 제2 발광 영역 사이의 거리, 상기 제2 발광 영역과 상기 제3 발광 영역 사이의 거리, 상기 제1 발광 영역과 상기 제3 발광 영역 사이의 거리, 및 상기 제3 발광 영역과 상기 제4 발광 영역 사이의 거리는 상기 제1 내지 제4 발광 영역 각각의 크기 또는 평면 면적에 따라 서로 동일하거나 다르게 형성된 증강 현실 제공 장치.
- 증강 현실 콘텐츠를 적어도 하나의 표시 모듈과 투명성 렌즈를 통해 표시하는 단계;
사용자의 손 동작, 손 모양, 손 위치, 및 지시 도구의 위치에 따른 센싱 신호들과 지지 프레임의 전면 방향 이미지 데이터들을 검출하는 단계;
상기 센싱 신호들과 상기 이미지 데이터들을 이용해서 상기 사용자의 손과 상기 지시 도구에 대한 움직임 정보를 검출하는 단계;
상기 움직임 정보와 대응되도록 상기 증강 현실 콘텐츠를 변조해서 상기 적어도 하나의 표시 모듈로 제공하는 단계; 및
상기 움직임 정보와 대응되도록 변조된 상기 증강 현실 콘텐츠를 외부의 적어도 하나의 콘텐츠 표시장치로 전송하는 단계를 포함하는 증강 현실 제공 방법.
- 제 17 항에 있어서,
상기 움직임 정보와 대응되도록 상기 증강 현실 콘텐츠를 변조하는 단계는
상기 이미지 데이터들을 미리 설정된 복수의 블록 영역으로 분할하는 단계;
분할된 상기 복수의 블록 영역의 이미지에서 상기 사용자의 손이나 상기 지시 도구가 검출되면, 상기 사용자의 손이나 상기 지시 도구에 대한 3축(X축, Y축, Z축) 방향 위치 좌표 정보들이 연결된 이동 경로 데이터를 생성하는 단계;
상기 이동 경로 데이터에 포함된 상기 사용자의 손이나 상기 지시 도구의 위치 좌표와 증강 현실 콘텐츠 이미지의 객체들을 매칭시키는 단계;
상기 사용자의 손이나 상기 지시 도구의 위치 좌표 변화에 대응되도록 상기 증강 현실 콘텐츠의 전체적인 이미지나 매칭된 객체들의 표시 특성 데이터를 변조하는 단계를 포함하는 증강 현실 제공 방법.
- 제 18 항에 있어서,
상기 복수의 블록 영역의 이미지에서 상기 사용자의 손이나 상기 지시 도구를 검출하는 단계는
상기 사용자의 주시 방향 좌표와 대응되는 분할 블록 영역의 화소 간 계조 또는 휘도 차이 분석 결과, 또는 화소 데이터와 상기 사용자의 손이나 지시 도구 형상의 마스크와의 대조 분석 결과 중 적어도 어느 한 분석 결과에 따라 상기 사용자의 손이나 상기 지시 도구 형상의 이미지를 검출하는 증강 현실 제공 방법.
- 제 19 항에 있어서,
상기 이동 경로 데이터를 생성하는 단계는
상기 사용자의 손이나 상기 지시 도구의 X축 좌표, Y축 좌표, Z축 좌표를 미리 설정된 좌표 기입 공간 데이터, 또는 증강 현실 콘텐츠 크기의 블록 데이터에 연속적으로 저장해서 상기 사용자의 손이나 상기 지시 도구의 이동 경로 데이터를 생성하는 증강 현실 제공 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210123183A KR20230040414A (ko) | 2021-09-15 | 2021-09-15 | 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 방법 |
| US17/736,615 US20230081258A1 (en) | 2021-09-15 | 2022-05-04 | Apparatus for providing augmented reality and method of providing augmented reality using the same |
| CN202210692096.7A CN115808797A (zh) | 2021-09-15 | 2022-06-17 | 增强现实提供装置及利用其的增强现实提供方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210123183A KR20230040414A (ko) | 2021-09-15 | 2021-09-15 | 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230040414A true KR20230040414A (ko) | 2023-03-23 |
Family
ID=85479340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210123183A KR20230040414A (ko) | 2021-09-15 | 2021-09-15 | 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230081258A1 (ko) |
| KR (1) | KR20230040414A (ko) |
| CN (1) | CN115808797A (ko) |
-
2021
- 2021-09-15 KR KR1020210123183A patent/KR20230040414A/ko unknown
-
2022
- 2022-05-04 US US17/736,615 patent/US20230081258A1/en active Pending
- 2022-06-17 CN CN202210692096.7A patent/CN115808797A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN115808797A (zh) | 2023-03-17 |
| US20230081258A1 (en) | 2023-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9684174B2 (en) | Imaging structure with embedded light sources | |
| US9726887B2 (en) | Imaging structure color conversion | |
| US20170301270A1 (en) | Imaging Structure Emitter Configurations | |
| CN111133366B (zh) | 用于头戴式显示器的多层投影仪 | |
| US20130242056A1 (en) | Imaging structure emitter calibration | |
| WO2019165620A1 (zh) | 具有多重景深显像的近眼显示方法 | |
| US20230077804A1 (en) | Augmented reality content providing apparatus and augmented reality content providing method using the same | |
| KR20200021579A (ko) | 증강 현실 제공 장치 | |
| US20230252918A1 (en) | Eyewear projector brightness control | |
| KR20230040414A (ko) | 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 방법 | |
| US11947744B2 (en) | Device for providing augmented reality and method for providing augmented reality using the same | |
| TW201937235A (zh) | 具有多重景深顯像的近眼顯示方法 | |
| KR20230057494A (ko) | 증강 현실 제공 장치 및 이를 이용한 증강 현실 제공 시스템 | |
| US20230152584A1 (en) | Device for providing augmented reality contents | |
| KR20230041121A (ko) | 증강 현실 콘텐츠 제공 장치 | |
| US11726252B2 (en) | Self-lit display panel | |
| US11860395B2 (en) | Self-lit display panel | |
| US20230092317A1 (en) | Augmented reality providing device | |
| KR20230123534A (ko) | 표시 장치 및 이를 포함하는 터치 입력 시스템 | |
| KR20230064636A (ko) | 증강 현실 제공 장치 | |
| KR20230133989A (ko) | 위치 입력 장치 및 이를 포함하는 위치 입력 시스템 | |
| KR20230139878A (ko) | 전자 펜, 그 구동 방법, 및 표시 장치 | |
| KR20230092077A (ko) | 표시 장치 및 이를 포함하는 입력 시스템 | |
| KR20230118720A (ko) | 표시 장치 및 이를 포함하는 터치 입력 시스템 |