KR20240027520A - 감지된 객체를 이용한 컨텐츠 제공 장치 - Google Patents

감지된 객체를 이용한 컨텐츠 제공 장치 Download PDF

Info

Publication number
KR20240027520A
KR20240027520A KR1020230032386A KR20230032386A KR20240027520A KR 20240027520 A KR20240027520 A KR 20240027520A KR 1020230032386 A KR1020230032386 A KR 1020230032386A KR 20230032386 A KR20230032386 A KR 20230032386A KR 20240027520 A KR20240027520 A KR 20240027520A
Authority
KR
South Korea
Prior art keywords
display
user
content
processor
sensor
Prior art date
Application number
KR1020230032386A
Other languages
English (en)
Inventor
김필재
Original Assignee
김필재
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김필재 filed Critical 김필재
Priority to PCT/KR2023/003399 priority Critical patent/WO2024043424A1/ko
Publication of KR20240027520A publication Critical patent/KR20240027520A/ko

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

컨텐츠 제공 장치가 개시된다. 일 실시예에 따른 컨텐츠 제공 장치는, 복수의 픽셀(pixel) 또는 복수의 복셀(voxel)로 구성되는 디스플레이와, 상기 디스플레이의 사용자의 형상을 감지하는 제1 센서와, 상기 디스플레이의 외부에 위치한 객체를 감지하는 제2 센서와, 상기 사용자의 형상에 기초하여 상기 사용자의 눈의 위치를 검출하고, 상기 객체의 형상 및 상기 눈의 위치에 기초하여 상기 객체를 상기 디스플레이에 매핑하기 위한 상기 픽셀 또는 상기 복셀의 제어 신호를 생성함으로써 상기 사용자에게 상기 객체에 관한 컨텐츠를 제공하는 프로세서를 포함한다.

Description

감지된 객체를 이용한 컨텐츠 제공 장치{APPARATUS FOR PROVIDING CONTENTS USING SENSED OBJECT}
실시예들은 감지된 객체를 이용한 컨텐츠 제공 장치에 관한 것이다.
정보 디스플레이는 기술의 발전에 따라 새로운 형태로 발전하고 있다. 투명 디스플레이는 디스플레이가 나타나는 영역이 투명하여 디스플레이 뒤편의 사물이 보이는 형태의 디스플레이를 의미할 수 있다.
근래의 투명 디스플레이는 HUD(Head-Up Display) 사용에서 벗어나 투명 평판 디스플레이 영역으로 확대되어 왔다. 제품의 확대와 함께 투명 디스플레이를 이용한 응용 분야도 확장되고 있다.
하지만, 디스플레이를 통해 제공되는 대부분의 컨텐츠는 종래의 불투명한 디스플레이에 초점을 맞추고 있기 때문에, 투명 디스플레이의 특성을 이용한 컨텐츠의 제공이 요구된다.
일 실시예에 따른 컨텐츠 제공 장치는, 복수의 픽셀(pixel) 또는 복수의 복셀(voxel)로 구성되는 디스플레이와, 상기 디스플레이의 사용자의 형상을 감지하는 제1 센서와, 상기 디스플레이의 외부에 위치한 객체를 감지하는 제2 센서와, 상기 사용자의 형상에 기초하여 상기 사용자의 눈의 위치를 검출하고, 상기 객체의 형상 및 상기 눈의 위치에 기초하여 상기 객체를 상기 디스플레이에 매핑하기 위한 상기 픽셀 또는 상기 복셀의 제어 신호를 생성함으로써 상기 사용자에게 상기 객체에 관한 컨텐츠를 제공하는 프로세서를 포함한다.
상기 디스플레이는, 투명 디스플레이, 라이트 필드 디스플레이(light field display), 홀로그램(hologram) 디스플레이 또는 볼류메트릭(volumetric display) 디스플레이를 포함할 수 있고, 상기 제1 센서는 안구의 위치를 직접적 혹은 간접적으로 측정/추정할 수 있는 임의의 센서로 예시적으로 이미지 센서를 포함하고, 상기 제2 센서는 디스플레이 후면의 물체의 정보를 직접적 또는 간접적으로 추정 혹은 추출할 수 있는 임의의 센서로, 예시적으로 라이다(LiDAR(Light Detection And Ranging), 레이더(RADAR(RAdio Detection And Ranging)) 또는 이미지 센서를 포함할 수 있다.
상기 프로세서는, 상기 객체의 위치, 상기 객체의 크기, 상기 객체의 모양, 상기 객체의 재질, 상기 객체의 반사도 및 상기 객체의 투명도에 기초하여 상기 객체를 상기 픽셀 또는 상기 복셀로 매핑할 수 있다.
상기 프로세서는,, 상기 사용자의 형상에 기초하여 상기 사용자의 움직임(motion)을 획득하고, 상기 움직임 및 상기 객체의 형상에 기초하여 상기 사용자에게 제공할 컨텐츠를 생성할 수 있다. 구현례에 따라서, 상기 프로세서는 상기 눈의 위치에 기초하여 상기 사용자의 객체 응시 시간을 측정하고, 응시시간을 고려하여 컨텐츠를 생성할 수도 있다.
예를 들어, 사용자의 움직임은 사용자 안구의 움직임일 수 있으며, 프로세서는 안구의 움직임 뿐만 아니라 데이터 처리를 통해 안구의 미래 위치를 추정할 수도 있다.
상기 프로세서는, 상기 사용자의 선택에 응답하여 상기 컨텐츠의 차원을 결정하고, 상기 차원, 상기 타겟 객체의 윤곽, 상기 타겟 객체의 색상, 상기 타겟 객체의 종류, 상기 타겟 객체의 재질, 상기 타겟 객체와 상기 디스플레이 간의 거리 및 상기 디스플레이와 상기 사용자 간의 거리에 기초하여 상기 컨텐츠를 생성할 수 있다.
도 1은 일 실시예에 따른 컨텐츠 제공 장치의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 컨텐츠 제공 장치의 구현의 예를 나타낸다.
도 3은 사용자의 눈의 위치를 검출하는 과정을 설명하기 위한 도면이다.
도 4a 및 도 4b 디스플레이에 객체 및 컨텐츠를 표현하는 방식을 설명하기 위한 도면이다.도 5는 사용자의 눈을 추적한 결과를 나타낸다.
도 6은 도 1에 도시된 컨텐츠 제공 장치의 동작의 예를 나타낸다.
도 7은 컨텐츠 제공 과정의 흐름도의 예를 나타낸다.
도 8은 도 1에 도시된 컨텐츠 제공 장치의 동작의 흐름도를 나타낸다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 예를 들어, '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함할 수 있다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU, NPU, AP 혹은 양자역학적 성질을 가지고 데이터를 처리하는 프로세서 등을 포함하는 모든 종류의 프로세서 유닛들을 재생시키도록 구현될 수도 있다. 또한, '~부'는 하나 이상의 프로세서를 포함할 수 있다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 컨텐츠 제공 장치의 개략적인 블록도를 나타낸다.
도 1을 참조하면, 컨텐츠 제공 장치(10)는 컨텐츠 제공 장치(10)의 사용자에게 컨텐츠를 제공할 수 있다. 컨텐츠는 인간의 감각으로 향유할 수 있는 디지털 정보를 포함할 수 있다. 예를 들어, 컨텐츠는 시각 컨텐츠 및/또는 청각 컨텐츠를 포함할 수 있다.
컨텐츠 제공 장치(10)는 프로세서(100), 메모리(200), 제1 센서(310), 제2 센서(320) 및 디스플레이(400)를 포함한다. 제1 센서(310) 및 제2 센서(320)는 별도의 엔티티로 구비될 수 있으나, 실시예에 따라서, 제1 센서(310) 및 제2 센서(320)는 단일 센서(300)의 형태로 구현될 수도 있다.
컨텐츠 제공 장치(10)는 마더보드(motherboard)와 같은 인쇄 회로 기판(printed circuit board(PCB)), 집적 회로(integrated circuit(IC)), 또는 SoC(system on chip)로 구현될 수 있다. 기업 리스크 관리 장치(10)는 애플리케이션 프로세서(application processor)로 구현될 수 있다. 컨텐츠 제공 장치(10)는 디스플레이(400)의 내부 또는 외부에 구현될 수 있다.
또한, 컨텐츠 제공 장치(10)는 PC(personal computer), 데이터 서버, 또는 휴대용 장치 내에 구현될 수 있다.
휴대용 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 또는 스마트 디바이스(smart device)로 구현될 수 있다. 스마트 디바이스는 스마트 와치(smart watch), 스마트 밴드(smart band), 또는 스마트 링(smart ring), 스마트 글라스(smart glass) 형태의 안경 혹은 헬멧 등의 고정된 위치에서 사용하는 컴퓨터가 아닌 외부 환경에서 사용 혹은 이동하며 활용될 수 있는 스마트 기기로 구현될 수 있다.
프로세서(100)는 메모리(200)에 저장된 데이터를 처리할 수 있다. 프로세서(100)는 메모리(200)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(100)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
프로세서(100)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함하는 형태의 하드웨어로 구현되거나, VM(Virtual machine)과 같은 형태로 구현되어 vCPU를 포함할 수도 있다.
프로세서(100)는 수신 인터페이스를 포함할 수 있다. 프로세서(100)는 외부 또는 메모리(200)로부터 데이터를 수신할 수 있다.
메모리(200)는 연산을 위한 데이터 또는 연산 결과를 저장할 수 있다. 메모리(200)는 프로세서에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서의 동작 및/또는 프로세서의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
메모리(200)는 휘발성 메모리 장치 또는 비휘발성 메모리 장치로 구현될 수 있다.
휘발성 메모리 장치는 vRAM(Video random access memory), DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)로 구현될 수도 있으며, 이와 더불어, 양자역학적 매커니즘으로 구동되는 휘발성 메모리 장치 등으로 프로세서에서 처리된 변수 혹은 데이터를 일시적으로 저장하는 모든 종류의 장치 등으로 구현될 수도 있다.
비휘발성 메모리 장치는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque(STT)-MRAM), Conductive Bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM), 저항 메모리(Resistive RAM(RRAM)), 나노 튜브 RRAM(Nanotube RRAM), 폴리머 RAM(Polymer RAM(PoRAM)), 나노 부유 게이트 메모리(Nano Floating Gate Memory(NFGM)), 홀로그래픽 메모리(holographic memory), 분자 전자 메모리 소자(Molecular Electronic Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory) 로 구현될 수 있다. 또한, 비휘발성 메모리 장치에는 하드 디스크 가상화가 적용될 수도 있으며, 양자역학적 매커니즘으로 구동되는 비휘발성 메모리 장치 등으로 프로세서에서 처리된 변수 혹은 데이터를 일시적으로 저장하는 모든 종류의 장치 등으로 구현될 수도 있다. 실시예에 따라서 비휘발성 메모리 장치는 가상화된 하드웨어에 의해 구현될 수도 있다.
제1 센서(310)는 사용자의 형상을 감지할 수 있다. 예를 들어, 사용자는 디스플레이 주변의 소정 거리 내에 위치하는 사용자 일 수 있으며, 제1 센서(310)는 눈의 위치를 직접적 또는 간접적으로 추정 혹은 추출할 수 있는 모든 종류의 센서로 구현되어 사용자의 눈의 위치를 감지할 수 있으며, 예시적으로 제1 센서(310)는 이미지 센서를 포함할 수 있다. 제2 센서(320)는 디스플레이 외부(예를 들어 후면)의 물체의 정보를 직접적 또는 간접적으로 추정 혹은 추출할 수 있는 임의의 센서로 구현될 수 있으며,예를 들어, 제2 센서(320)는 라이다(LiDAR(Light Detection And Ranging), 레이더(RADAR(RAdio Detection And Ranging)) 또는 이미지 센서를 포함할 수 있다.
객체는 전자기파를 이용하여 검출 가능한 대상 포함할 수 있다. 객체는 사물을 포함할 수 있다.
디스플레이(400)는 시각 정보를 출력하는 전자 장치를 의미할 수 있다. 디스플레이(400)는 복수의 픽셀(pixel) 또는 복수의 복셀(voxel)로 구성될 수 있다. 디스플레이(400)는 투명 디스플레이, 라이트 필드 디스플레이(light field display), 홀로그램(hologram) 디스플레이 또는 볼류메트릭(volumetric display) 디스플레이 등 디스플레이 후면의 전자기파가 투과되어 일부 혹은 전부가 보여지는 투명한 디스플레이 등을 포함할 수 있다.
프로세서(100)는 사용자의 형상에 기초하여 사용자의 눈의 위치를 검출할 수 있다.
프로세서(100)는 객체의 형상 및 눈의 위치에 기초하여 객체를 디스플레이(400)에 매핑하기 위한 픽셀 또는 복셀의 제어 신호를 생성함으로써 사용자에게 객체에 관한 컨텐츠를 제공할 수 있다.
프로세서(100)는 객체의 위치, 객체의 크기, 객체의 모양, 객체의 재질, 객체의 반사도 및 객체의 투명도에 기초하여 객체를 픽셀 또는 복셀로 매핑할 수 있다.
프로세서(100)는 눈의 위치에 기초하여 사용자의 객체에 대한 응시 시간을 측정할 수 있다. 프로세서(100)는 사용자의 형상에 기초하여 사용자의 움직임(motion)을 획득할 수 있다. 프로세서(100)는 응시 시간, 움직임 및 객체의 형상에 기초하여 사용자에게 제공할 컨텐츠를 생성할 수 있다.
프로세서(100)는 응시 시간에 기초하여 컨텐츠에 포함될 타겟 객체를 결정할 수도 있다. 프로세서(100)는 사용자의 선택에 응답하여 컨텐츠의 차원을 결정할 수도 있다. 다만, 응시 시간에 기초하여 컨텐츠에 포함될 타겟 객체를 결정하는 구성은 구현에 따라 선택적으로 포함될 수 있다.
프로세서(100)는 차원, 상기 타겟 객체의 윤곽, 타겟 객체의 색상, 타겟 객체의 종류, 타겟 객체의 재질, 타겟 객체와 디스플레이(400) 간의 거리 및 디스플레이(400)와 사용자 간의 거리에 기초하여 컨텐츠를 생성할 수 있다.
도 2는 도 1에 도시된 컨텐츠 제공 장치의 구현의 예를 나타낸다.
도 2를 참조하면, 컨텐츠 제공 장치(예: 도 1의 컨텐츠 제공 장치(10))는 프로세서(예: 도 1의 프로세서(100)) 및 센서(300)를 포함할 수 있다.
프로세서(100) 및 센서(300)는 디스플레이(400) 상에 또는 디스플레이(400)의 내부에 구현될 수 있다.
프로세서(100)는 추적기(110), 시선 방향 검출기(130), 객체 인식기(150) 및 컨텐츠 제공기(170)를 포함할 수 있다. 센서(300)는 제1 센서 및 제2 센서를 포함할 수 있다.
제1 센서는 직접적으로 또는 간접적으로 눈의 위치를 추정 또는 추출할 수 잇는 임의의 센서를 포함할 수 있으며, 예시적으로 이미지 센서, 생체 신호를 감지하는 센서를 포함할 수 있다. 제1 센서는 사용자의 형상을 감지하거나, 혹은 단순히 안구의 위치만 추정할 수 있다. 제1 센서는 사용자의 신체, 안면, 안구 또는 동공을 비롯하여 사용자의 눈의 위치를 직접적 혹은 간접적으로 추정 또는 특정할 수 있는 물리적 특성을 센싱할 수 있다. 제1 센서는 사용자의 움직임을 감지할 수도 있다.
제2 센서는 디스플레이(400) 외부에 위치하는 객체의 형상, 위치 및 크기 등의 물체의 다양한 물리적 특징들 중 복수 혹은 단일 특성에 대해 감지할 수 있다. 제2 센서는 3 차원 카메라, 2 차원 카메라, 레이저 센서, 라이다 센서 및/또는 IR(InfraRed) 센서 등의 물체의 물리적 특성을 측정할 수 있는 센서 등을 포함할 수 있다.
프로세서(100)는 디스플레이(400) 외부에 위치한 객체를 감지하여 디스플레이(400) 상에 표시함으로써 사용자에게 컨텐츠를 제공할 수 있다.
디스플레이(400)는 사용자의 신체에 착용되는 웨어러블 디바이스 또는 사용자의 신체와 이격된 임의의 전자 장치 상에 구현될 수 있다. 예를 들어, 웨어러블 디스플레이는 HMD(Head Mounted Display)를 포함할 수 있다.
디스플레이(400)는 입사된 전자기파를 투과하는 특성을 가진 시각 표시 장치로서, 시각 정보를 픽셀 및 복셀로 표현하는 임의의 장치일 수 있으며 예시적으로 PDLC(Polymer Dispersed Liquid Crystal)를 포함하는 패널을 이용하여 구현될 수 있다. PDLC는 패널의 외부 또는 내부에서 제공되는 제어 신호에 기초하여 빛의 투과도를 조절할 수 있다.
PDLC는 고분자 물질의 모체 안에 미세한 액정 방울들을 포함할 수 있다. 프로세서(100)는 전압 또는 전류에 기초한 제어 신호를 생성하고 PDLC에 인가하여 디스플레이(400)의 투과도를 조절할 수도 있다.
프로세서(100)는 제어 신호의 세기를 조절함으로써 디스플레이(400)의 투과도를 0 내지 100%로 조절할 수도 있다. 프로세서(100)는 제어 신호를 오프시킴으로써 디스플레이(400)를 불투명하게 변화시킬 수 있다.
디스플레이(400)는 디스플레이(400)의 외부에 위치한 객체를 투영하여 표시하는 동시에 픽셀 또는 복셀을 통해 컨텐츠를 제공할 수 있다.
실시예에 따라 디스플레이(400)는 PDLC 이외의 다른 형식의 디스플레이로 구현될 수 있다. 프로세서(100)는 디스플레이(400)를 구성하는 픽셀 또는 복셀에 인가되는 제어신호를 조절함으로써 방출하는 광선을 산란시켜 이미지를 생성할 수 있다.
디스플레이(400)는 프로세서(100)의 제어에 응답하여 사용자 인터페이스(예: 그래픽 사용자 인터페이스)를 제공할 수 있다. 디스플레이(400)는 사용자로부터 신호를 입력 받는 입력 수단을 포함할 수 있다. 예를 들어, 입력 수단은 터치 스크린을 포함할 수 있다.
사용자 인터페이스는 데이터를 제공하는 다양한 메뉴, 아이콘 및/또는 콤보 박스를 포함할 수 있다.
추적기(110)는 아이트래킹(eyetracking) 알고리즘을 이용하여 사용자의 눈(또는, 안구)의 위치를 인식하고, 인식된 눈의 움직임을 추적할 수 있다. 추적기(110)는 동공 중심 부분(pupil center) 및 각막 반사(cornea reflex)를 감지하여 눈의 움직임을 추적할 수 있다.
아이트랙킹 알고리즘은 디자인 분야에서 소비자의 시선을 분석하여 웹 사이트의 디자인, 광고의 배치를 결정하는 요소로 활용될 수 있다. 아이트랙킹 알고리즘은 이미지 분야에서 3 차원 이미지의 응용 및 제어에 이용될 수 있다.
시선 방향 검출기(130)는 눈의 움직임을 측정함으로써 사용자가 바라보는 지점(또는, 시선)을 추정할 수 있다. 시선 방향 검출기(130)는 눈을 추적하거나 사용자의 머리의 움직임을 측정함으로써 시선을 추정할 수 있다.
시선 방향 검출기(130)는 눈의 움직임에 따른 사용자의 시선을 검출할 수 있다. 시선 방향 검출기(130)는 사용자의 얼굴에서 눈이 검출되지 않을 경우, 얼굴의 움직임 또는 코의 위치에 기초하여 눈의 위치 및/또는 시선을 추정할 수 있다
시선 방향 검출기(130)는 시선에 기초하여 사용자의 집중도 또는 사용자의 심리를 예측할 수 있다. 시선 방향 검출기(130)는 시선 또는 대상을 주시하는 시간에 기초하여 사용자의 심리를 예측할 수 있다.
객체 인식기(140)는 센서(300)의 감지 결과에 기초하여 객체를 인식할 수 있다. 객체 인식기(140)는 시선 방향 검출기(130)에 의해 검출된 시선, 객체에 대한 응시 시간 및 응시 경로에 기초하여 타겟 객체를 결정할 수 있다.
객체 인식기(140)는 객체의 위치, 객체의 크기, 객체의 모양, 객체의 재질, 객체의 반사도 및/또는 객체의 투명도를 검출할 수 있다.
객체 인식기(140)는 사용자의 눈의 위치를 감지할 수 있다.
컨텐츠 제공기(170)는 타겟 객체에 기초하여 디스플레이(400)에 표시할 투영 객체 및/또는 컨텐츠를 생성할 수 있다. 컨텐츠 제공기(170)는 2 차원 또는 3 차원 컨텐츠를 제공할 수 있다.
컨텐츠 제공기(170)는 사용자의 눈의 위치와 객체의 위치의 공간적 최단 거리 및 두 위치를 잇는 가상의 직선과 디스플레이(400)와의 교차점을 계산하고, 계산된 교차점에 기초하여 디스플레이(400)에 타깃 객체를 출력할 수 있다. 컨텐츠 제공기(170)는 앞서 산출된 교차점에 대응되는 픽셀(또는 복셀)에, 대응되는 객체 정보(예를 들어, 객체의 색채 정보)를 매핑함으로써, 디스플레이(400)에 객체를 출력할 수 있다. 컨텐츠 제공기(170)는 디스플레이(400)에 출력된 객체에 대응하는 컨텐츠를 출력된 객체에 오버랩하거나, 객체 주변부에 출력할 수 있다.
컨텐츠는 타겟 객체를 설명하거나 강조하기 위한 정보를 포함할 수 있다. 정보는 타겟 객체를 강조하기 위한 타겟 객체의 윤곽선, 말풍선, 픽셀(또는 복셀)의 밝기,이모티콘, 그림 혹은 이미지 또는 객체 자체의 이미지, 이미지에 대한 정도 등을 포함할 수 있다. 정보는 타겟 객체와 오버랩되어 출력될 수 있다. 실시예에 따라서, 정보는 타겟 객체 주변부에 표현될 수도 있다. 정보는 2 차원 또는 3 차원 가상 정보를 포함할 수 있다. 또한, 컨텐츠는 픽셀 또는 복셀의 색상, 명암, 채도, 투명도 및/또는 밝기 등의 제어를 통해 구현되어 객체 또는 앞서 설명된 정보를 강조하기 위한 시각적인 형태로 구현될 수도 있다.
컨텐츠 제공기(170)는 GUI(Graphical User Interface) 제공기를 포함할 수 있다. GUI 제공기는 사용자의 움직임에 기초하여 디스플레이(400)를 통해 사용자에게 GUI를 제공할 수 있다.
컨텐츠 제공기(170)는 객체에 관하여 검출한 정보에 기초하여 디스플레이(400)에 표시될 이미지에 객체를 매핑할 수 있다.
컨텐츠 제공기(170)는 앞서 설명된 객체 및 컨텐츠를 출력하기 위하여 교차점에 기초하여 픽셀 또는 복셀을 제어하기 위한 제어 신호를 생성할 수 있다. 컨텐츠 제공기(170)는 픽셀 또는 복셀의 호출 및 정보 처리를 수행할 수 있다.
컨텐츠 제공기(170)는 사용자와 디스플레이(400) 사이의 거리, 디스플레이(400)와 객체 사이의 거리, 사용자와 후면 물체 사이의 거리에 기초하여 사용자의 위치에서 디스플레이(400) 상에 표시되는 투영 객체의 크기 및 비율을 계산함으로써, 상황에 따라 객체 및 컨텐츠를 출력할 수 있다. 이에 따라 디스플레이(400)에 객체가 멀리 떨어져 있는 경우에도 적절한 비율 조정을 통해 객체를 적절히 출력할 수 있는 수단을 제공할 수 있다.
컨텐츠 제공기(170)는 사용자의 응시각에 기초하여 디스플레이(400) 상에 표시되는 객체의 수를 결정할 수 있다.
컨텐츠 제공기(170)는 디스플레이 외부의 객체와 사용자에게 제공하는 컨텐츠를 매칭할 수 있다. 컨텐츠 제공기(170)는 객체의 위치와 사용자의 시야를 고려하여 픽셀 또는 복셀을 제어함으로써 사용자에게 객체의 형상 또는 상태를 직관적으로 제공할 수 있다.
컨텐츠 제공기(170)는 복수의 사용자에게 서로 다른 컨텐츠(예: 이미지)를 제공할 수 있다. 컨텐츠 제공기(170)는 복수의 사용자의 위치(예: 복수의 사용자의 눈의 위치)에 기초하여 사용자의 위치에 적합한 형태로 가공된 컨텐츠를 제공할 수 있다. 예를 들어, 컨텐츠 제공기(170)는 사용자의 위치에 따라 서로 다른 각도로 보이는 객체의 모습을 디스플레이(400) 상에 나타내는 컨텐츠를 제공할 수 있다.
도 3은 사용자의 눈의 위치를 검출하는 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 추적기(예: 도 2의 추적기(110))는 사용자의 형상에 기초하여 사용자의 눈(또는, 안구)을 검출할 수 있다.
추적기(110)는 센서(예: 도 2의 센서(300))로부터 수신한 사용자의 형상에 기초하여 사용자의 눈을 검출할 수 있다.
센서(300)는 디스플레이(400) 상에 구현될 수 있다. 추적기(110)는 사용자의 눈이 응시하는 지점(예: 타겟 픽셀 또는 타겟 복셀)을 검출할 수 있다.
추적기(110)는 사용자의 안구의 중심, 안구의 반지름, 안구의 중심과 디스플레이(400)의 중심 사이를 연결하는 가상의 직선이 안구의 중심과 타겟 픽셀 사이를 연결하는 가상의 직선과 이루는 각도(예: α 및 β)에 기초하여 사용자의 눈을 검출할 수 있다.
도 4a 및 도 4b 디스플레이에 객체 및 컨텐츠를 표현하는 방식을 설명하기 위한 도면이다.
도 4a를 참조하면, 컨텐츠 제공기(예: 도 2의 컨텐츠 제공기(170))는 안구(410)와 및 타겟 객체(420)를 잇는 직선(430)과 디스플레이(400)와의 교점(440)에 기초하여 타겟 객체를 디스플레이(400)에 출력(450)할 수 있다. 보다 구체적으로, 컨텐츠 제공기는 타겟 객체(420)와 안구(410)을 잇는 직선과 디스플레이의 교점(440)에 대응되는 픽셀(또는 복셀)에 타겟 객체(420)의 정보(예를 들어, 색상 값을 할당함으로써, 타겟 객체(420)를 디스플레이(400)에 출력한 출력 결과(450)를 생성할 수 있다. 이와 더불어, 컨텐츠 제공기는 출력 결과(450)에 대응되는 컨텐츠를 디스플레이(400)에 추가적으로 제공할 수 있으며, 이는 앞서 설명된 바와 동일할 수 있다.
도 4b를 참조하면, 컨텐츠 제공기(예: 도 2의 컨텐츠 제공기(170))는 컨텐츠의 차원, 객체의 윤곽, 객체의 색상, 객체의 종류, 객체의 재질, 객체와 디스플레이(예: 도 1의 디스플레이(400)) 간의 거리 및 디스플레이(400)와 사용자 간의 거리에 기초하여 컨텐츠를 생성할 수 있다.
컨텐츠 제공기(170)는 객체에 기초하여 사용자에게 제공할 투영 객체를 사용자에게 제공할 수 있다. 컨텐츠 제공기(170)는 깊이 정보에 기초하여 컨텐츠를 생성할 수 있다.
컨텐츠 제공기(170)는 디스플레이(400)와 객체 사이의 거리에 기초하여 깊이 정보를 계산할 수 있다. 컨텐츠 제공기(170)는 디스플레이(400)와 객체 사이의 거리에 기초하여 가상 이미지의 깊이를 결정할 수 있다.
컨텐츠 제공기(170)는 제1 깊이(d1)에 대응하는 제1 가상 이미지(VI1), 제2 깊이(d2)에 대응하는 제2 가상 이미지(VI2) 및 제3 깊이에 대응하는 제3 가상 이미지(VI3)를 생성할 수 있다.
도 5는 사용자의 눈을 추적한 결과를 나타내고, 도 6은 도 1에 도시된 컨텐츠 제공 장치의 동작의 예를 나타낸다.
도 5 및 도 6을 참조하면, 추적기(예: 도 2의 추적기(110))는 사용자의 형상에 기초하여 사용자의 시선을 추적할 수 있다.
도 5의 예시와 같이 텍스트가 포함된 컨텐츠가 디스플레이(예: 도 1의 디스플레이(400))를 통해 제공되는 경우에, 센서(예: 도 1의 센서)는 사용자의 형상을 감지할 수 있다. 추적기(110)는 감지한 형상에 기초하여 사용자의 눈을 추적할 수 있다. 도 5의 예시에서, 사용자의 시선은 텍스트의 밀도가 높은 화면의 왼쪽에 집중되는 것을 확인할 수 있다.
도 6의 예시는, 디스플레이(400)에 수족관에 관련된 컨텐츠를 제공하는 경우를 예시적으로 나타낼 수 있다. 컨텐츠 제공기(예: 도 2의 컨텐츠 제공기(170))는 수조의 일측(또는, 일면)에 부착된 디스플레이(400)를 통해 수조의 타측에 위치한 객체에 대한 정보를 포함하는 컨텐츠를 제공할 수 있다.
컨텐츠 제공기(170)는 수조에 위치한 열대어와 타측에 위치한 객체가 구분될 수 있도록 열대어 및/또는 객체를 강조하기 위한 표시(예를 들어, 각각의 물고기에 대하여 물고기의 종류(예를 들어, "열대어")를 나타내는 물풍선을 디스플레이(400) 상에 배치할 수 있다. 다만, 위 컨텐츠는 예시적인 것으로 임의의 컨텐츠가 디스플레이(400)를 통해 제공될 수 있음은 통상의 기술자가 이해할 것이다.
도 7은 컨텐츠 제공 과정의 흐름도의 예를 나타낸다.
도 7을 참조하면, 센서(예: 도 1의 센서(300))는 사용자의 안면 이미지를 촬영할 수 있다(711).
프로세서(예: 도 1의 프로세서(100))는 사용자의 안면 이미지의 기초하여 안구를 인식할 수 있다(713).
프로세서(100)는 안구가 인식될 경우 프로세서(100)는 안구 위치 및 시선 경로를 추적할 수 있다. 프로세서(100)는 안구가 인식되지 않을 경우에는 안면 사용자의 안면에 기초하여 안구의 위치를 추정할 수 있다(715).
프로세서(100)는 안구의 위치 및 타겟 객체의 위치에 기초하여 디스플레이에 타겟 객체를 출력할 수 있다(721). 보다 구체적으로, 프로세서(100)는 앞서 설명된 바와 같이, 안구와 타겟 객체를 잇는 직선과 디스플레이의 교차점에 대응되는 픽셀(또는 복셀)에 타겟 객체의 정보를 할당함으로써, 타겟 객체를 디스플레이에 출력할 수 있다.
실시예에 따라서, 프로세서(100)는 컨텐츠를 선택할 수 있는 사용자 GUI를 제공할 수 있다(723). 예를 들어, 사용자 GUI는 객체별 컨텐츠의 종류, 2차원 컨텐츠인지 여부, 3차원 컨텐츠인지 여부 등을 결정하는 형태일 수 있으나, 실시예는 이에 한정되는 것이 아니고 임의의 컨텐츠 관련 선택 정보를 제공하는 요소일 수 있다.
프로세서(100)는 사용자 GUI에 대한 사용자의 선택에 응답하여 2 차원 및/또는 3 차원 컨텐츠를 생성할 수 있다(725). 2 차원 또는 3 차원 컨텐츠는 객체의 윤곽을 표시하는 윤곽선, 말풍선을 포함할 수 있다. 컨텐츠는 객체와 오버랩되는 3 차원 가상 정보를 포함할 수 있다. 실시예에 따라서, 컨텐츠는 객체와 오버랩되는 정보 이외에 객체 주변부에 표현되는 임의의 정보의 형태로 제공될 수도 있다. 프로세서(100)는 디스플레이(400)를 구성하는 픽셀 또는 복셀의 밝기 또는 색상을 제어하기 위한 제어 신호를 생성할 수 있다.
프로세서(100)는 생성한 2 차원 및/또는 3 차원 컨텐츠를 디스플레이(예: 도 1의 디스플레이(400))를 통해 표시할 수 있다(727).
도 8은 도 1에 도시된 컨텐츠 제공 장치의 동작의 흐름도를 나타낸다.
도 8을 참조하면, 제1 센서는 디스플레이(예: 도 1의 디스플레이(400))의 사용자의 형상을 감지할 수 있다(810). 예를 들어, 제1 센서는 이미지 센서를 포함할 수 있다.
제2 센서는 디스플레이(400)의 외부에 위치한 객체를 감지할 수 있다(830). 예를 들어, 제2 센서는 라이다, 레이더 또는 이미지 센서를 포함할 수 있다.
디스플레이(400)는 복수의 픽셀(pixel) 또는 복수의 복셀(voxel)로 구성될 수 있다. 디스플레이(400)는 투명 디스플레이, 라이트 필드 디스플레이(light field display), 홀로그램(hologram) 디스플레이 또는 볼류메트릭(volumetric display) 디스플레이를 포함할 수 있다.
프로세서(예: 도 1의 프로세서(100))는 사용자의 형상에 기초하여 사용자의 눈의 위치를 검출할 수 있다(850).
프로세서(100)는 객체의 형상 및 눈의 위치에 기초하여 객체를 디스플레이(400)에 매핑하기 위한 픽셀 또는 복셀의 제어 신호를 생성함으로써 사용자에게 객체에 관한 컨텐츠를 제공할 수 있다(870).
프로세서(100)는 객체의 위치, 객체의 크기, 객체의 모양, 객체의 재질, 객체의 반사도 및 객체의 투명도에 기초하여 객체를 픽셀 또는 복셀로 매핑할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (5)

  1. 복수의 픽셀(pixel) 또는 복수의 복셀(voxel)로 구성되는 디스플레이;
    상기 디스플레이의 사용자의 형상을 감지하는 제1 센서;
    상기 디스플레이의 외부에 위치한 객체를 감지하는 제2 센서; 및
    상기 사용자의 형상에 기초하여 상기 사용자의 눈의 위치를 검출하고,
    상기 객체의 형상 및 상기 눈의 위치에 기초하여 상기 객체를 상기 디스플레이에 매핑하기 위한 상기 픽셀 또는 상기 복셀의 제어 신호를 생성함으로써 상기 사용자에게 상기 객체에 관한 컨텐츠를 제공하는 프로세서
    를 포함하는 컨텐츠 제공 장치.
  2. 제1항에 있어서,
    상기 디스플레이는,
    투명 디스플레이, 라이트 필드 디스플레이(light field display), 홀로그램(hologram) 디스플레이 또는 볼류메트릭(volumetric display) 디스플레이를 포함하고,
    상기 제1 센서는 이미지 센서를 포함하고,
    상기 제2 센서는 라이다(LiDAR(Light Detection And Ranging), 레이더(RADAR(RAdio Detection And Ranging)) 또는 이미지 센서를 포함하는,
    컨텐츠 제공 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 객체의 위치, 상기 객체의 크기, 상기 객체의 모양, 상기 객체의 재질, 상기 객체의 반사도 및 상기 객체의 투명도에 기초하여 상기 객체를 상기 픽셀 또는 상기 복셀로 매핑하는,
    컨텐츠 제공 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 눈의 위치와 상기 객체의 위치를 잇는 선과 디스플레이와의 교점에 대응되는 픽셀 또는 복셀에 상기 객체의 정보를 할당함으로써, 상기 객체를 디스플레이에 출력하는,
    컨텐츠 제공 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 사용자의 선택에 응답하여 상기 컨텐츠의 차원을 결정하고,
    상기 차원, 상기 타겟 객체의 윤곽, 상기 타겟 객체의 색상, 상기 타겟 객체의 종류, 상기 타겟 객체의 재질을 포함하는 상기 타겟 객체의 물리적 특징과 더불어 심리적 특징, 암묵적 특징, 상기 타겟 객체와 상기 디스플레이 간의 거리 및 상기 디스플레이와 상기 사용자 간의 거리에 기초하여 상기 컨텐츠를 생성하는,
    컨텐츠 제공 장치.
KR1020230032386A 2022-08-23 2023-03-13 감지된 객체를 이용한 컨텐츠 제공 장치 KR20240027520A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2023/003399 WO2024043424A1 (ko) 2022-08-23 2023-03-14 감지된 객체를 이용한 컨텐츠 제공 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220105596 2022-08-23
KR1020220105596 2022-08-23

Publications (1)

Publication Number Publication Date
KR20240027520A true KR20240027520A (ko) 2024-03-04

Family

ID=90297870

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230032386A KR20240027520A (ko) 2022-08-23 2023-03-13 감지된 객체를 이용한 컨텐츠 제공 장치

Country Status (1)

Country Link
KR (1) KR20240027520A (ko)

Similar Documents

Publication Publication Date Title
US10013793B2 (en) Focus guidance within a three-dimensional interface
US9910513B2 (en) Stabilizing motion of an interaction ray
KR101108743B1 (ko) 홀로그래픽 사용자 인터페이스 통신을 위한 방법 및 장치
US20180246635A1 (en) Generating user interfaces combining foreground and background of an image with user interface elements
US20160026242A1 (en) Gaze-based object placement within a virtual reality environment
US20180143693A1 (en) Virtual object manipulation
JP2017531221A (ja) 仮想現実環境の中に没入したときのつまずき対抗
US11443490B2 (en) Snapping, virtual inking, and accessibility in augmented reality
CN105612478A (zh) 用户接口程序化的缩放
US20200066059A1 (en) Mixed reality objects
KR20150116871A (ko) Ｈｄｍ에 대한 인간―신체―제스처―기반 영역 및 볼륨 선택
US10127711B2 (en) Method and apparatus rendering caustics
CN109643469B (zh) 增强现实渲染的结构化内容
US20100328353A1 (en) Method and system for displaying an image on a display of a computing device
US11195323B2 (en) Managing multi-modal rendering of application content
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
US11308685B2 (en) Rendering computer-generated reality text
US20240019982A1 (en) User interface for interacting with an affordance in an environment
KR20240027520A (ko) 감지된 객체를 이용한 컨텐츠 제공 장치
WO2024043424A1 (ko) 감지된 객체를 이용한 컨텐츠 제공 장치
US20160065953A1 (en) Image processing method and apparatus
US20240069632A1 (en) Augmented reality device for obtaining depth information of object and operating method thereof
US11740756B1 (en) Display adjustments to provide cues for improved viewer posture
US20240104958A1 (en) User Eye Model Match Detection
US20230229281A1 (en) Scene information access for electronic device applications