KR20160014418A - 유저 인터페이스 장치 및 유저 인터페이스 방법 - Google Patents

유저 인터페이스 장치 및 유저 인터페이스 방법 Download PDF

Info

Publication number
KR20160014418A
KR20160014418A KR1020140096631A KR20140096631A KR20160014418A KR 20160014418 A KR20160014418 A KR 20160014418A KR 1020140096631 A KR1020140096631 A KR 1020140096631A KR 20140096631 A KR20140096631 A KR 20140096631A KR 20160014418 A KR20160014418 A KR 20160014418A
Authority
KR
South Korea
Prior art keywords
change
sound
light
user interface
unit
Prior art date
Application number
KR1020140096631A
Other languages
English (en)
Inventor
이준행
류현석
신창우
우주연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140096631A priority Critical patent/KR20160014418A/ko
Priority to US14/687,574 priority patent/US9947289B2/en
Publication of KR20160014418A publication Critical patent/KR20160014418A/ko
Priority to US15/952,944 priority patent/US10665203B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/02—Flexible displays

Abstract

유저 인터페이스 장치 및 유저 인터페이스 방법이 개시된다. 일 실시예에 따른 유저 인터페이스 장치는 입사되는 빛의 변화를 감지하고, 감지된 빛의 변화가 영상 컨텐츠 위에 오버레이되어 표현되도록 디스플레이를 제어한다.

Description

유저 인터페이스 장치 및 유저 인터페이스 방법{USER INTERFACE APPARATUS AND USER INTERFACE METHOD}
아래 실시예들은 유저 인터페이스 장치 및 유저 인터페이스 방법에 관한 것이다.
인간-컴퓨터 상호작용(Human-Computer Interaction, HCI) 기술은 사용자와 컴퓨터 사이의 상호작용을 향상시키는 기술이다. 마우스, 키보드, 터치 스크린 등 다양한 사용자 인터페이스를 이용하여 사용자의 입력을 컴퓨터로 전달될 수 있다. 이러한 사용자 인터페이스는 하드웨어 컴포넌트, 소프트웨어 컴포넌트, 또는 이들의 조합을 통하여 구현될 수 있다.
전자 장치들 내 카메라, 마이크, 및 다른 컴포넌트들의 광범위한 활용으로 인하여, 사용자 인터페이스는 사용자와 컴퓨터 사이의 상호작용을 보다 향상시킬 수 있다. 이로 인하여, 전자 장치들의 다양한 기능들이 풍부하게 활용될 수 있다.
일 측에 따른 유저 인터페이스 장치는 영상 컨텐츠를 표시하는 디스플레이; 입사되는 빛의 변화를 감지하는 감지부; 및 상기 빛의 변화가 상기 영상 컨텐츠 위에 오버레이되어 표현되도록 상기 디스플레이를 제어하는 제어부를 포함한다.
상기 감지부는 상기 입사되는 빛이 변하는 이벤트를 감지하여 시간 비동기적으로 상기 빛의 변화를 지시하는 신호를 생성하는 이벤트 기반 비전 센서를 포함할 수 있다.
상기 제어부는 상기 디스플레이의 복수의 픽셀들 중 상기 빛의 변화에 대응하는 픽셀들을 검출하고, 상기 빛의 변화가 상기 영상 컨텐츠 위에 오버레이되어 표현되도록 상기 검출된 픽셀들의 값들을 제어할 수 있다.
상기 제어부는 상기 빛의 변화가 상기 영상 컨텐츠 위에 오버레이되어 표현되는 부분이 최소가 되도록 상기 빛의 변화를 분석할 수 있다.
상기 제어부는 상기 빛의 변화가 사용자의 손에 의하여 발생된 것인지 여부를 판단하고, 상기 빛의 변화가 사용자의 손에 의하여 발생된 것이라고 판단되는 경우 상기 빛의 변화에 기초하여 사용자 입력을 처리할 수 있다.
다른 일 측에 따른 유저 인터페이스 장치는 사운드 컨텐츠를 출력하는 사운드 출력부; 입력되는 사운드의 변화를 감지하는 감지부; 및 상기 사운드의 변화가 출력되도록 상기 사운드 출력부를 제어하는 제어부를 포함한다.
또 다른 일 측에 따른 유저 인터페이스 방법은 디스플레이에 영상 컨텐츠를 표시하는 단계; 입사되는 빛의 변화를 감지하는 단계; 및 상기 빛의 변화가 상기 영상 컨텐츠 위에 오버레이되어 표현되도록 상기 디스플레이를 제어하는 단계를 포함한다.
또 다른 일 측에 따른 유저 인터페이스 방법은 사운드 출력부를 통하여 사운드 컨텐츠를 출력하는 단계; 입력되는 사운드의 변화를 감지하는 단계; 및 상기 사운드의 변화가 출력되도록 상기 사운드 출력부를 제어하는 단계를 포함한다.
도 1은 일 실시예에 따른 유저 인터페이스 장치를 나타낸 블록도.
도 2 내지 도 7은 실시예들에 따른 유저 인터페이스 장치의 동작들을 설명하는 도면들.
도 8은 일 실시예에 따른 유저 인터페이스 장치를 포함하는 모바일 디바이스를 설명하는 도면.
도 9는 일 실시예에 따른 유저 인터페이스 장치를 포함하는 웨어러블 디바이스를 설명하는 도면.
도 10은 일 실시예에 따른 제어부의 구체적인 구성을 설명하는 도면.
도 11 내지 도 14는 실시예들에 따른 감지부의 구체적인 구성들을 설명하는 도면들.
도 15는 일 실시예에 따른 정부 분석부의 구체적인 구성을 설명하는 도면.
도 16 및 도 17은 실시예들에 따른 유저 인터페이스 방법들을 나타낸 동작 흐름도들.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
하기에서 설명될 실시예들은 휴먼-컴퓨터 인터액션 기술에 적용될 수 있고, 안경 형태, 머리 밴드 형태, 또는 모자 형태의 헤드 마운트(head mount) 장치 등 웨어러블 디바이스 및 휴대폰, 스마트 폰, PDA, 또는 테블릿 컴퓨터 등 모바일 디바이스에 사용될 수 있다.
도 1은 일 실시예에 따른 유저 인터페이스 장치를 나타낸 블록도이다. 도 1을 참조하면, 일 실시예에 따른 유저 인터페이스 장치(100)는 디스플레이(110), 감지부(120), 및 제어부(130)를 포함한다.
디스플레이(110)는 영상 컨텐츠를 표시할 수 있다. 영상 컨텐츠는 동영상, 정지영상, 그래픽 유저 인터페이스(graphic user interface, GUI), 및 텍스트 중 적어도 하나를 포함할 수 있다. 예를 들어, 디스플레이(110)는 영화, 스트리밍 방송, 영상 통화 등 동영상을 표시할 수 있다. 또는, 디스플레이(110)는 사진 등 정지영상을 표시할 수 있다. 또는, 디스플레이(110)는 아이콘 등 그래픽 유저 인터페이스를 표시할 수 있다. 또는, 디스플레이(110)는 이 메일, 문서 등 텍스트를 표시할 수 있다.
감지부(120)는 빛의 변화, 사운드의 변화, 또는 주변 환경의 변화 중 적어도 하나를 감지할 수 있다. 빛의 변화는 빛의 세기의 변화, 빛의 색깔의 변화 등을 포함할 수 있다. 사운드의 변화는 사운드의 세기의 변화, 사운드의 주파수의 변화 등을 포함할 수 있다. 주변 환경의 변화는 사용자 주변의 온도 변화 또는 사용자 주변의 습도 변화 등을 포함할 수 있다. 또는, 주변 환경의 변화는 미세 먼지 또는 이산화탄소 등 특정 물질의 농도 변화를 포함할 수 있다.
예를 들어, 감지부(120)는 입사되는 빛이 밝아지는지 여부, 또는 입사되는 빛이 어두워지는지 여부를 감지할 수 있다. 또는, 감지부(120)는 입사되는 빛의 파장이 길어지는지 여부, 또는 입사되는 빛의 파장이 짧아지는지 여부를 감지할 수 있다. 또는, 감지부(120)는 입력되는 사운드가 커지는지 여부, 입력되는 사운드가 작아지는지 여부, 입력되는 사운드의 주파수가 높아지는지 여부, 또는 입력되는 사운드의 주파수가 낮아지는지 여부 등을 감지할 수 있다. 감지부(120)의 구성에 대한 보다 상세한 사항들은 후술한다.
제어부(130)는 감지부(120)에 의하여 감지된 빛의 변화, 사운드의 변화, 또는 주변 환경의 변화 중 적어도 하나가 영상 컨텐츠 위에 오버레이되어 표현되도록 디스플레이(110)를 제어할 수 있다. 예를 들어, 제어부(130)는 디스플레이(110)의 복수의 픽셀들 중 빛의 변화에 대응하는 픽셀들을 검출할 수 있다. 제어부(130)는 빛의 변화가 영상 컨텐츠 위에 오버레이되어 표현되도록, 검출된 픽셀들의 값들을 제어할 수 있다. 제어부(130)의 구성에 대한 보다 상세한 사항들은 후술한다.
도 2 내지 도 7은 실시예들에 따른 유저 인터페이스 장치의 동작들을 설명하는 도면들이다. 도 2를 참조하면, 일 실시예에 따른 유저 인터페이스 장치(100)는 일 측에 디스플레이(110)를 포함하고, 다른 일 측에 감지부(120)를 포함할 수 있다. 예를 들어, 사용자(200)를 향하여 디스플레이(110)에 영상 컨텐츠가 표시되는 동안, 감지부(120)는 반대 방향으로부터 입사되는 빛의 변화를 감지할 수 있다. 이하, 설명의 편의를 위하여 디스플레이(110)가 향하는 방향을 정면 방향이라고 지칭하고, 감지부(120)가 향하는 방향을 후면 방향이라고 지칭한다.
후면 방향으로 정지된 물체(210)와 움직이는 물체(220)가 존재할 수 있다. 이 경우, 감지부(120)는 빛의 변화를 감지함으로써, 움직이는 물체(220)를 선택적으로 감지할 수 있다. 예를 들어, 감지부(120)는 정지된 물체(210)에 반사된 빛과 움직이는 물체(220)에 반사된 빛을 함께 수신할 수 있다. 임의의 시간 구간(예를 들어, 1초)에서 광원(예를 들어, 태양)이 실질적으로 변하지 않는다고 가정하면, 정지된 물체(210)에 반사되어 감지부(120)로 입사되는 빛은 변하지 않는다. 반면, 움직이는 물체(220)에 반사되어 감지부(120)로 입사되는 빛은 변한다. 이처럼, 감지부(120)는 입사되는 빛의 변화를 감지함으로써, 움직이는 물체(220)를 선택적으로 감지할 수 있다.
보다 구체적으로, 후면 방향으로 건물, 신호등, 도로 등 정지된 물체(210)가 존재할 수 있다. 정지된 물체(210)에 반사되어 감지부(120)로 입사되는 빛은 변하지 않으므로, 감지부(120)에 의하여 빛의 변화가 감지되지 않는다. 후면 방향으로 움직이는 사람(221), 움직이는 자동차(222) 등 움직이는 물체(220)가 존재할 수 있다. 움직이는 물체(220)에 반사되어 감지부(120)로 입사되는 빛은 변하므로, 감지부(120)에 의하여 빛의 변화가 감지된다.
유저 인터페이스 장치(100)의 제어부(130)는 감지된 빛의 변화가 영상 컨텐츠 위에 오버레이되어 표현되도록 디스플레이(110)를 제어할 수 있다. 사용자는 디스플레이(110)에 표시되는 영상 컨텐츠에 집중하고 있을 수 있다. 이로 인하여, 사용자는 주변의 물체를 인지하지 못하여 부딪히는 등 위험에 노출될 수 있다. 유저 인터페이스 장치(100)는 사용자 주변의 물체들 중 움직이는 물체를 선택적으로 표시함으로써, 사용자에게 주변 환경의 변화 정보를 제공할 수 있다. 이 때, 유저 인터페이스 장치(100)는 주변 환경의 변화 정보를 영상 컨텐츠 위에 오버레이하여 표현함으로써, 사용자는 지속적으로 영상 컨텐츠를 이용하면서 주변 환경의 변화 정보를 제공 받을 수 있다.
제어부(130)는 감지부(120)에 의하여 감지된 빛의 변화에 대응하는 픽셀들을 검출할 수 있다. 제어부(130)는 검출된 픽셀들의 값들을 제어함으로써, 빛의 변화가 영상 컨텐츠 위에 오버레이 시킬 수 있다.
제어부(130)는 검출된 픽셀들의 값들을 다양한 방식으로 제어할 수 있다. 예를 들어, 제어부(130)는 검출된 픽셀들의 값들을 미리 정해진 값으로 설정할 수 있다. 제어부(130)는 검출된 픽셀들에서 검정 색, 또는 흰 색 등 미리 정해진 색이 표시되도록 할 수 있다. 또는, 제어부(130)는 검출된 픽셀들의 값들을 미리 정해진 방식으로 조절할 수 있다. 검출된 픽셀들은 영상 컨텐츠에 의하여 원래 표시되어야 하는 값들(이하, '컨텐츠 값들'이라고 함)을 가진다. 제어부(130)는 검출된 픽셀들을 위한 컨텐츠 값들을 조절할 수 있다. 제어부(130)는 검출된 픽셀들을 위한 컨텐츠 값들의 밝기를 증가시키거나, 검출된 픽셀들을 위한 컨텐츠 값들의 밝기를 감소시킬 수 있다.
일 예로, 도 3을 참조하면, 디스플레이(110)에는 동영상 컨텐츠(300)가 재생될 수 있다. 제어부(130)는 동영상 컨텐츠(300) 위에 빛의 변화가 오버레이되어 표현되도록 디스플레이(110)를 제어할 수 있다. 감지부(120)는 디스플레이(110)에 동영상 컨텐츠(300)가 재생되는 동안, 후면 방향으로부터 입사되는 빛의 변화를 감지할 수 있다. 동영상 컨텐츠(300) 위에 오버레이되는 제1 객체(310)는 도 2의 움직이는 사람(221)에 대응할 수 있다. 또한, 동영상 컨텐츠(300) 위에 오버레이되는 제2 객체(320)는 도 2의 움직이는 자동차(222)에 대응할 수 있다.
다른 예로, 도 4를 참조하면, 디스플레이(110)에는 아이콘들을 포함하는 메뉴 컨텐츠(400)가 표시될 수 있다. 제어부(130)는 메뉴 컨텐츠(400) 위에 빛의 변화가 오버레이되어 표현되도록 디스플레이(110)를 제어할 수 있다. 메뉴 컨텐츠(400) 위에 오버레이되는 제1 객체(410)는 도 2의 움직이는 사람(221)에 대응할 수 있다. 또한, 메뉴 컨텐츠(400) 위에 오버레이되는 제2 객체(420)는 도 2의 움직이는 자동차(222)에 대응할 수 있다.
또 다른 예로, 도 5를 참조하면, 디스플레이(110)에는 이 메일 어플리케이션 컨텐츠(500)가 표시될 수 있다. 제어부(130)는 이 메일 어플리케이션 컨텐츠(500) 위에 빛의 변화가 오버레이되어 표현되도록 디스플레이(110)를 제어할 수 있다. 이 메일 어플리케이션 컨텐츠(500) 위에 오버레이되는 제1 객체(510)는 도 2의 움직이는 사람(221)에 대응할 수 있다. 또한, 이 메일 어플리케이션 컨텐츠(500) 위에 오버레이되는 제2 객체(520)는 도 2의 움직이는 자동차(222)에 대응할 수 있다.
다시 도 2를 참조하면, 제어부(130)는 빛의 변화가 영상 컨텐츠 위에 오버레이되어 표현되는 부분이 최소가 되도록 빛의 변화를 분석할 수 있다. 예를 들어, 감지부(120)는 움직이는 사람(221)에 반사되어 입사되는 빛을 모두 감지할 수 있다. 이 경우, 제어부(130)는 감지부(120)에 의하여 감지된 빛의 변화에 대응하는 픽셀들을 검출할 수 있다. 제어부(130)는 검출된 픽셀들 중 빛의 변화를 표현 가능한 최소한의 픽셀들을 추출할 수 있다. 보다 구체적으로, 제어부(130)는 검출된 픽셀들 중 외곽선에 대응하는 최소한의 픽셀들을 추출할 수 있다. 제어부(130)는 추출된 최소한의 픽셀들의 값들을 제어함으로써, 빛의 변화가 영상 컨텐츠 위에 오버레이되어 표현되도록 할 수 있다.
제어부(130)는 추출된 최소한의 픽셀들의 값들을 다양한 방식으로 제어할 수 있다. 예를 들어, 제어부(130)는 추출된 최소한의 픽셀들의 값들을 미리 정해진 값으로 설정할 수 있다. 제어부(130)는 추출된 최소한의 픽셀들에서 검정 색, 또는 흰 색 등 미리 정해진 색이 표시되도록 할 수 있다. 또는, 제어부(130)는 추출된 최소한의 픽셀들의 값들을 미리 정해진 방식으로 조절할 수 있다. 제어부(130)는 추출된 최소한의 픽셀들을 위한 컨텐츠 값들을 조절할 수 있다. 제어부(130)는 추출된 최소한의 픽셀들을 위한 컨텐츠 값들의 밝기를 증가시키거나, 추출된 최소한의 픽셀들을 위한 컨텐츠 값들의 밝기를 감소시킬 수 있다.
이상에서, 움직이는 물체(220)에 의한 빛의 변화를 감지하는 실시예들을 설명하였으나, 전술한 실시예들은 사용자(200)의 움직임에 의한 빛의 변화를 감지하는 경우에도 그대로 적용될 수 있다.
예를 들어, 사용자(200)가 유저 인터페이스 장치(100)를 들고 길을 걷고 있다고 가정하면, 움직이는 물체(220)뿐 아니라 정지된 물체(210)에 의하여도 빛이 변할 수 있다. 이 경우, 감지부(120)에 의하여 움직이는 물체(220)에 대응하는 빛의 변화뿐 아니라 정지된 물체(210)에 대응하는 빛의 변화도 감지될 수 있다.
제어부(130)는 감지된 빛의 변화가 영상 컨텐츠 위에 오버레이되어 표현되도록 디스플레이(110)를 제어할 수 있다. 유저 인터페이스 장치(100)는 빛의 변화에 대응하는 물체들을 표시함으로써, 사용자에게 주변 환경의 변화 정보를 제공할 수 있다. 이 때, 유저 인터페이스 장치(100)는 주변 환경의 변화 정보를 영상 컨텐츠 위에 오버레이하여 표현함으로써, 사용자는 지속적으로 영상 컨텐츠를 이용하면서 주변 환경의 변화 정보를 제공 받을 수 있다.
제어부(130)는 빛의 변화에 기초하여 사용자 주변의 물체와 관련된 정보를 생성할 수 있다. 예를 들어, 제어부(130)는 빛의 변화에 기초하여 물체의 종류, 물체의 속도, 사용자와 물체 사이의 거리, 및 물체의 위치 중 적어도 하나의 정보를 생성할 수 있다. 제어부(130)는 생성된 정보를 이용하여 디스플레이(110)를 제어할 수 있다. 예를 들어, 제어부(130)는 생성된 정보가 영상 컨텐츠 위에 오버레이되어 표시되도록 디스플레이(110)를 제어할 수 있다.
제어부(130)는 빛의 변화가 사용자의 손에 의하여 발생된 것인지 여부를 판단할 수 있다. 제어부(130)는 빛의 변화가 사용자의 손에 의하여 발생된 것이라고 판단되는 경우, 빛의 변화에 기초하여 사용자 입력을 처리할 수 있다. 예를 들어, 제어부(130)는 빛의 변화에 기초하여 사용자의 손 동작을 인식할 수 있다. 제어부(130)는 인식된 동작에 대응하는 명령을 수행할 수 있다.
감지부(120)는 사운드의 변화를 감지할 수 있다. 사운드의 변화는 사운드의 세기의 변화, 사운드의 주파수의 변화 등을 포함할 수 있다. 감지부(120)는 입력되는 사운드가 커지는지 여부, 입력되는 사운드가 작아지는지 여부, 입력되는 사운드의 주파수가 높아지는지 여부, 또는 입력되는 사운드의 주파수가 낮아지는지 여부 등을 감지할 수 있다.
사운드의 변화는 사용자의 주변에서 움직이는 물체에 의하여 발생될 수 있다. 예를 들어, 일정한 사운드를 발생하는 물체가 사용자에게 다가오는 경우, 도플러 효과에 의하여 감지부(120)는 사운드의 변화를 감지할 수 있다. 또는, 일정한 사운드를 발생하는 물체가 사용자로부터 멀어지는 경우, 도플러 효과에 의하여 감지부(120)는 사운드의 변화를 감지할 수 있다. 물론, 움직이는 물체에 의하여 사운드의 변화가 발생되는 것과 동일한 원리에 의하여, 사용자의 움직임으로 인하여 사운드의 변화가 발생될 수 있다.
도 6을 참조하면, 일 실시예에 따른 유저 인터페이스 장치(100)는 사운드 출력부(140)를 더 포함할 수 있다. 사운드 출력부(140)는 사운드 컨텐츠를 출력할 수 있다. 사운드 컨텐츠는 음악, 라디오 방송, 언어 학습, 음성 통화 등을 포함할 수 있다.
제어부(130)는 감지부(120)에 의하여 감지된 사운드의 변화가 출력되도록 사운드 출력부(140)를 제어할 수 있다. 예를 들어, 감지부(120)에 의하여 사운드의 변화가 감지되는 경우, 제어부(130)는 사운드 컨텐츠 대신 외부 사운드가 출력되도록 사운드 출력부(140)를 제어할 수 있다. 또는, 제어부(130)는 사운드 컨텐츠와 외부 사운드가 함께 출력되도록 사운드 출력부(140)를 제어할 수 있다. 이 경우, 제어부(130)는 사용자에게 외부 사운드가 효과적으로 전달될 수 있도록, 사운드 컨텐츠의 볼륨을 감소시킬 수 있다.
제어부(130)는 사운드의 변화가 출력되는 시간이 최소가 되도록 사운드의 변화를 분석할 수 있다. 예를 들어, 제어부(130)는 감지부(120)에 의하여 감지된 사운드의 변화의 정도를 미리 정해진 임계값과 비교할 수 있다. 제어부(130)는 사운드 변화의 정도가 미리 정해진 임계값보다 큰 경우에 한하여, 사운드의 변화가 출력되도록 사운드 출력부(140)를 제어할 수 있다.
제어부(130)는 사운드의 변화에 기초하여 사용자 주변의 음원과 관련된 정보를 생성할 수 있다. 예를 들어, 제어부(130)는 사운드의 변화에 기초하여 음원의 종류, 및 음원의 위치 중 적어도 하나의 정보를 생성할 수 있다. 제어부(130)는 생성된 정보를 이용하여 디스플레이(110) 및 사운드 출력부(140) 중 적어도 하나를 제어할 수 있다. 예를 들어, 제어부(130)는 생성된 정보가 영상 컨텐츠 위에 오버레이되어 표시되도록 디스플레이(110)를 제어할 수 있다. 또는, 제어부(130)는 생성된 정보가 출력되도록 사운드 출력부(140)를 제어할 수 있다.
감지부(120)는 다양한 주변 환경의 변화를 감지할 수 있다. 일 예로, 감지부(120)는 사용자 주변의 온도 변화나 습도 변화를 감지할 수 있다. 다른 예로, 감지부(120)는 미세 먼지 또는 이산화탄소 등 특정 물질의 농도 변화를 감지할 수 있다.
제어부(130)는 감지된 주변 환경의 변화에 기초하여 사용자 주변 환경과 관련된 정보를 생성할 수 있다. 예를 들어, 제어부(130)는 감지된 주변 환경의 변화를 지시하는 정보를 생성할 수 있다. 제어부(130)는 생성된 정보가 영상 컨텐츠 위에 오버레이되어 표시되도록 디스플레이(110)를 제어할 수 있다. 또는, 제어부(130)는 생성된 정보가 출력되도록 사운드 출력부(140)를 제어할 수 있다.
도 7을 참조하면, 일 실시예에 따른 유저 인터페이스 장치(100)는 사운드 출력부(140), 감지부(120), 및 제어부(130)를 포함할 수 있다. 사운드 출력부(140)는 사운드 컨텐츠를 출력할 수 있다. 사운드 컨텐츠는 음악, 라디오 방송, 언어 학습, 음성 통화 등을 포함할 수 있다. 감지부(120)는 사운드의 변화를 감지할 수 있다. 예를 들어, 감지부(120)는 입력되는 사운드가 커지는지 여부, 입력되는 사운드가 작아지는지 여부, 입력되는 사운드의 주파수가 높아지는지 여부, 또는 입력되는 사운드의 주파수가 낮아지는지 여부 등을 감지할 수 있다.
제어부(130)는 감지부(120)에 의하여 감지된 사운드의 변화가 출력되도록 사운드 출력부(140)를 제어할 수 있다. 예를 들어, 감지부(120)에 의하여 사운드의 변화가 감지되는 경우, 제어부(130)는 사운드 컨텐츠 대신 외부 사운드가 출력되도록 사운드 출력부(140)를 제어할 수 있다. 또는, 제어부(130)는 사운드 컨텐츠와 외부 사운드가 함께 출력되도록 사운드 출력부(140)를 제어할 수 있다. 이 경우, 제어부(130)는 사용자에게 외부 사운드가 효과적으로 전달될 수 있도록, 사운드 컨텐츠의 볼륨을 감소시킬 수 있다.
제어부(130)는 사운드의 변화가 출력되는 시간이 최소가 되도록 사운드의 변화를 분석할 수 있다. 예를 들어, 제어부(130)는 감지부(120)에 의하여 감지된 사운드의 변화의 정도를 미리 정해진 임계값과 비교할 수 있다. 제어부(130)는 사운드 변화의 정도가 미리 정해진 임계값보다 큰 경우에 한하여, 사운드의 변화가 출력되도록 사운드 출력부(140)를 제어할 수 있다.
제어부(130)는 사운드의 변화에 기초하여 사용자 주변의 음원과 관련된 정보를 생성할 수 있다. 예를 들어, 제어부(130)는 사운드의 변화에 기초하여 음원의 종류, 및 음원의 위치 중 적어도 하나의 정보를 생성할 수 있다. 제어부(130)는 생성된 정보를 이용하여 사운드 출력부(140)를 제어할 수 있다. 예를 들어, 제어부(130)는 생성된 정보가 출력되도록 사운드 출력부(140)를 제어할 수 있다.
도 8은 일 실시예에 따른 유저 인터페이스 장치를 포함하는 모바일 디바이스를 설명하는 도면이다. 도 8을 참조하면, 일 실시예에 따른 유저 인터페이스 장치는 모바일 디바이스(800)로 구현될 수 있다. 모바일 디바이스(800)는 휴대폰, 스마트 폰, PDA, 또는 테블릿 컴퓨터 등으로 구현될 수 있다. 모바일 디바이스(800)는 디스플레이(810), 제1 감지부(820), 제2 감지부(830), 및 사운드 출력부(840)를 포함할 수 있다.
디스플레이(810)는 영상 컨텐츠를 표시하고, 사운드 출력부(840)는 사운드 컨텐츠를 출력할 수 있다. 사운드 출력부(840)는 스피커 또는 이어폰 포트로 구성될 수 있다. 제1 감지부(820)는 입사되는 빛의 변화를 감지하고, 제2 감지부(830)는 입력되는 사운드의 변화를 감지할 수 있다. 모바일 디바이스(800)의 제어부는 빛의 변화가 영상 컨텐츠 위에 오버레이되어 표현되도록 디스플레이(810)를 제어할 수 있다. 제어부는 사운드의 변화가 출력되도록 사운드 출력부(840)를 제어할 수 있다.
도 8에 도시된 각 모듈들에는 도 1 내지 도 5를 통하여 전술한 사항들이 그대로 적용될 수 있으므로 보다 상세한 설명은 생략한다.
도 9는 일 실시예에 따른 유저 인터페이스 장치를 포함하는 웨어러블 디바이스를 설명하는 도면이다. 도 9를 참조하면, 일 실시예에 따른 유저 인터페이스 장치는 웨어러블 디바이스(900)로 구현될 수 있다. 웨어러블 디바이스(900)는 안경 형태, 머리 밴드 형태, 또는 모자 형태의 헤드 마운트 장치로 구현될 수 있다. 웨어러블 디바이스(900)는 디스플레이(910), 제1 감지부(920), 제2 감지부(940), 및 사운드 출력부(930)를 포함할 수 있다.
디스플레이(910)는 영상 컨텐츠를 표시하고, 사운드 출력부(930)는 사운드 컨텐츠를 출력할 수 있다. 제1 감지부(920)는 입사되는 빛의 변화를 감지하고, 제2 감지부(940)는 입력되는 사운드의 변화를 감지할 수 있다. 웨어러블 디바이스(900)의 제어부는 빛의 변화가 영상 컨텐츠 위에 오버레이되어 표현되도록 디스플레이(910)를 제어할 수 있다. 제어부는 사운드의 변화가 출력되도록 사운드 출력부(930)를 제어할 수 있다.
도 9에 도시된 각 모듈들에는 도 1 내지 도 5를 통하여 전술한 사항들이 그대로 적용될 수 있으므로 보다 상세한 설명은 생략한다.
도 10은 일 실시예에 따른 제어부의 구체적인 구성을 설명하는 도면이다. 도 10을 참조하면, 일 실시예에 따른 유저 인터페이스 장치(1000)는 디스플레이(1010), 감지부(1020), 제어부(1030), 및 사운드 출력부(1040)를 포함한다.
디스플레이(1010)는 영상 컨텐츠를 표시하고, 사운드 출력부(1040)는 사운드 컨텐츠를 출력할 수 있다. 감지부(1020)는 입사되는 빛의 변화를 감지하거나, 입력되는 사운드의 변화를 감지할 수 있다. 제어부(1030)는 빛의 변화가 영상 컨텐츠 위에 오버레이되어 표현되도록 디스플레이(1010)를 제어할 수 있다. 제어부(1030)는 사운드의 변화가 출력되도록 사운드 출력부(1040)를 제어할 수 있다.
제어부(1030)는 정보 분석부(1031), 컨텐츠 제어부(1032), 화면 제어부(1033), 및 사운드 제어부(1034)를 포함할 수 있다. 정보 분석부(1031)는 감지부(1020)에 의하여 감지된 빛의 변화 또는 사운드의 변화를 분석함으로써, 사용자에게 제공될 정보를 생성할 수 있다. 사용자에게 제공될 정보는 감지된 빛의 변화를 표현하기 위한 픽셀들, 감지된 빛의 변화에 대응하는 물체와 관련된 정보, 감지된 사운드의 변화에 대응하는 외부 사운드, 또는 감지된 사운드의 변화에 대응하는 음원과 관련된 정보 중 적어도 하나를 포함할 수 있다.
컨텐츠 제어부(1032)는 디스플레이(1010)에 표시할 영상 컨텐츠를 제공하거나, 사운드 출력부(1040)에 출력할 사운드 컨텐츠를 제공할 수 있다. 화면 제어부(1033)는 컨텐츠 제어부(1032)에 의해 제공되는 영상 컨텐츠와 정보 분석부(1031)에 의하여 생성된 정보에 기초하여 디스플레이(1010)를 제어할 수 있다. 예를 들어, 화면 제어부(1033)는 영상 컨텐츠를 디스플레이(1010)에 표시하면서, 감지된 빛의 변화를 표현하기 위한 픽셀들을 별도로 제어할 수 있다.
사운드 제어부(1034)는 컨텐츠 제어부(1032)에 의해 제공되는 사운드 컨텐츠와 정보 분석부(1031)에 의하여 생성된 정보에 기초하여 사운드 출력부(1040)를 제어할 수 있다. 예를 들어, 사운드 제어부(1034)는 감지된 사운드의 변화에 대응하는 외부 사운드 및 사운드 컨텐츠가 함께 출력되도록 사운드 출력부(1040)를 제어할 수 있다.
도 11 내지 도 14는 실시예들에 따른 감지부의 구체적인 구성들을 설명하는 도면들이다. 도 11을 참조하면, 일 실시예에 따른 감지부는 수집부(1110) 및 생성부(1120)를 포함한다. 수집부(1110)는 입사되는 빛을 수집할 수 있다. 생성부(1120)는 수집부(1110)에 의하여 수집된 빛을 분석하여 빛의 변화를 지시하는 신호를 생성할 수 있다. 예를 들어, 수집부(1110)는 프레임 기반 비전 센서로 구성될 수 있다. 수집부(1110)는 매 프레임마다 입력 영상을 획득할 수 있다. 생성부(1120)는 인접한 프레임들 사이의 입력 영상의 변화를 검출할 수 있다. 생성부(1120)는 입력 영상의 변화를 지시하는 신호를 생성할 수 있다. 생성부(1120)는 입력 영상이 변화된 픽셀들을 지시하는 신호를 생성할 수 있다.
도 12를 참조하면, 일 실시예에 따른 감지부는 사운드 수집부(1210) 및 생성부(1220)를 포함한다. 사운드 수집부(1210)는 입력되는 사운드를 수집할 수 있다. 생성부(1220)는 사운드 수집부(1210)에 의하여 수집된 사운드를 분석하여 사운드의 변화를 지시하는 신호를 생성할 수 있다. 예를 들어, 사운드 수집부(1210)는 매 시간 구간마다 입력 사운드를 획득할 수 있다. 생성부(1220)는 인접한 시간 구간들 사이의 입력 사운드의 변화를 검출할 수 있다. 생성부(1220)는 입력 사운드의 변화를 지시하는 신호를 생성할 수 있다. 생성부(1120)는 입력 사운드의 변화가 감지되었음을 알리는 신호를 생성할 수 있다.
도 13을 참조하면, 일 실시예에 따른 감지부는 이벤트 기반 비전 센서(1300)를 포함한다. 이벤트 기반 비전 센서(1300)는 빛이 변하는 이벤트를 감지함에 따라 시간 비동기적으로 이벤트 신호를 출력할 수 있다. 이벤트 신호는 빛의 변화를 지시하는 신호일 수 있다. 프레임 기반 비전 센서는 각 픽셀의 포토 다이오드의 출력을 프레임 단위로 스캔하는 반면, 이벤트 기반 비전 센서(1300)는 빛의 변화가 있는 픽셀의 이벤트 신호만을 출력할 수 있다. 이벤트 기반 비전 센서(1300)는 프레임 기반 비전 센서에 비하여 응답시간(latency)이 매우 짧으므로, 이벤트 기반 비전 센서(1300)를 통하여 실질적으로 딜레이(delay)가 없는 실시간 피드백이 구현될 수 있다.
이벤트 기반 비전 센서(1300)는 미리 정해진 이벤트를 감지할 수 있다. 예를 들어, 이벤트 기반 비전 센서(1300)는 빛의 밝기가 밝아지는 이벤트를 감지할 수 있다. 또는, 이벤트 기반 비전 센서(1300)는 빛의 밝기가 어두워지는 이벤트를 감지할 수 있다. 또는, 이벤트 기반 비전 센서(1300)는 빛의 파장이 짧아지는 이벤트를 감지할 수 있다. 또는, 이벤트 기반 비전 센서(1300)는 빛의 파장이 길어지는 이벤트를 감지할 수 있다.
이벤트 기반 비전 센서(1300)는 빛의 변화를 감지하는 복수의 픽셀들로 구성될 수 있다. 일 예로, 이벤트 기반 비전 센서(1300)는 사전에 정한 기준 값보다 빛이 밝아지는 이벤트를 감지하는 제1 픽셀들을 포함할 수 있다. 이벤트 기반 비전 센서(1300)는 제1 픽셀들 중 적어도 일부에서 빛이 사전에 정한 기준 값보다 밝아지는 이벤트를 감지하는 경우, 해당 픽셀에 대응하는 제1 이벤트 신호를 출력할 수 있다.
다른 예로, 이벤트 기반 비전 센서(1300)는 사전에 정한 기준 값보다 빛이 어두워지는 이벤트를 감지하는 제2 픽셀들을 포함할 수 있다. 이벤트 기반 비전 센서(1300)는 제2 픽셀들 중 적어도 일부에서 빛이 사전에 정한 기준 값보다 어두워지는 이벤트를 감지하는 경우, 해당 픽셀에 대응하는 제2 이벤트 신호를 출력할 수 있다.
또 다른 예로, 이벤트 기반 비전 센서(1300)는 사전에 정한 기준 값보다 빛이 밝아지는 이벤트를 감지하는 제1 픽셀들 및 사전에 정한 기준 값보다 빛이 어두워지는 이벤트를 감지하는 제2 픽셀들의 조합으로 구성될 수 있다. 이벤트 기반 비전 센서(1300)는 제1 픽셀들 중 적어도 일부에서 빛이 사전에 정한 기준 값보다 밝아지는 이벤트를 감지하는 경우 해당 픽셀에 대응하는 제1 이벤트 신호를 출력하고, 제2 픽셀들 중 적어도 일부에서 빛이 사전에 정한 기준 값보다 어두워지는 이벤트를 감지하는 경우 해당 픽셀에 대응하는 제2 이벤트 신호를 출력할 수 있다.
또 다른 예로, 이벤트 기반 비전 센서(1300)는 사전에 정한 기준 값보다 빛이 밝아지거나 어두워지는 이벤트를 감지하는 제3 픽셀들을 포함할 수 있다. 이벤트 기반 비전 센서(1300)는 제3 픽셀들 중 적어도 일부에서 빛이 사전에 정한 기준 값보다 밝아지는 이벤트를 감지하는 경우, 해당 픽셀에 대응하는 제1 이벤트 신호를 출력할 수 있다. 또한, 이벤트 기반 비전 센서(1300)는 제3 픽셀들 중 적어도 일부에서 빛이 사전에 정한 기준보다 어두워지는 이벤트를 감지하는 경우, 해당 픽셀에 대응하는 제2 이벤트 신호를 출력할 수 있다.
도 14를 참조하면, 일 실시예에 따른 감지부는 이벤트 기반 청각 센서(1400)를 포함한다. 이벤트 기반 청각 센서(1400)는 사운드가 변하는 이벤트를 감지함에 따라 시간 비동기적으로 이벤트 신호를 출력할 수 있다. 이벤트 신호는 사운드의 변화를 지시하는 신호일 수 있다. 일반적인 청각 센서(예를 들어, 마이크)는 입력되는 사운드를 아날로그 신호 또는 디지털 신호로 변환하는 반면, 이벤트 기반 청각 센서(1400)는 사운드의 변화에 반응하여 이벤트 신호만을 출력할 수 있다.
이벤트 기반 청각 센서(1400)는 일반적인 청각 센서에 비하여 응답시간이 매우 짧으므로, 이벤트 기반 청각 센서(1400)를 통하여 실질적으로 딜레이가 없는 실시간 피드백이 구현될 수 있다.
이벤트 기반 청각 센서(1400)는 미리 정해진 이벤트를 감지할 수 있다. 예를 들어, 이벤트 기반 청각 센서(1400)는 사운드의 세기가 커지는 이벤트를 감지할 수 있다. 또는, 이벤트 기반 청각 센서(1400)는 사운드의 세기가 작아지는 이벤트를 감지할 수 있다. 또는, 이벤트 기반 청각 센서(1400)는 사운드의 주파수가 높아지는 이벤트를 감지할 수 있다. 또는, 이벤트 기반 청각 센서(1400)는 사운드의 주파수가 낮아지는 이벤트를 감지할 수 있다.
이벤트 기반 청각 센서(1400)는 사운드의 변화를 감지하는 복수의 원소들로 구성될 수 있다. 일 예로, 이벤트 기반 청각 센서(1400)는 사전에 정한 기준 값보다 사운드의 세기가 커지는 이벤트를 감지하는 제1 원소들을 포함할 수 있다. 이벤트 기반 청각 센서(1400)는 제1 원소들 중 적어도 일부에서 사운드의 세기가 사전에 정한 기준 값보다 커지는 이벤트를 감지하는 경우, 해당 원소에 대응하는 제3 이벤트 신호를 출력할 수 있다.
다른 예로, 이벤트 기반 청각 센서(1400)는 사전에 정한 기준 값보다 사운드의 세기가 작아지는 이벤트를 감지하는 제2 원소들을 포함할 수 있다. 이벤트 기반 청각 센서(1400)는 제2 원소들 중 적어도 일부에서 사운드의 세기가 사전에 정한 기준 값보다 작아지는 이벤트를 감지하는 경우, 해당 원소에 대응하는 제4 이벤트 신호를 출력할 수 있다.
또 다른 예로, 이벤트 기반 청각 센서(1400)는 사전에 정한 기준 값보다 사운드의 세기가 커지는 이벤트를 감지하는 제1 원소들 및 사전에 정한 기준 값보다 사운드의 세기가 작아지는 이벤트를 감지하는 제2 원소들의 조합으로 구성될 수 있다. 이벤트 기반 청각 센서(1400)는 제1 원소들을 통하여 사운드의 세기가 사전에 정한 기준 값보다 커지는 이벤트를 감지하는 경우 해당 원소에 대응하는 제3 이벤트 신호를 출력하고, 제2 원소들을 통하여 사운드의 세기가 사전에 정한 기준 값보다 작아지는 이벤트를 감지하는 경우 해당 원소에 대응하는 제4 이벤트 신호를 출력할 수 있다.
또 다른 예로, 이벤트 기반 청각 센서(1400)는 사전에 정한 기준 값보다 사운드의 세기가 커지거나 작아지는 이벤트를 감지하는 제3 원소들을 포함할 수 있다. 이벤트 기반 청각 센서(1400)는 제3 원소들 중 적어도 일부에서 사운드의 세기가 사전에 정한 기준 값보다 커지는 이벤트를 감지하는 경우, 해당 원소에 대응하는 제3 이벤트 신호를 출력할 수 있다. 또한, 이벤트 기반 청각 센서(1400)는 제3 원소들 중 적어도 일부에서 사운드의 세기가 사전에 정한 기준보다 작아지는 이벤트를 감지하는 경우, 해당 원소에 대응하는 제4 이벤트 신호를 출력할 수 있다.
도 15는 일 실시예에 따른 정부 분석부의 구체적인 구성을 설명하는 도면이다. 도 15를 참조하면, 일 실시예에 따른 정보 분석부는 데이터 인터페이스(1510), 분석부(1520), 영상 생성부(1530), 및 사운드 생성부(1540)를 포함한다. 데이터 인터페이스(1510)는 감지부에 의하여 감지된 정보를 수신할 수 있다. 감지된 정보는 빛의 변화 또는 사운드의 변화를 포함할 수 있다.
분석부(1520)는 감지된 정보를 분석할 수 있다. 예를 들어, 분석부(1520)는 감지된 정보에 기초하여 물체 인식을 할 수 있다. 분석부(1520)는 감지된 정보에 기초하여 물체의 속도를 추출하거나, 물체까지의 거리를 추출할 수 있다. 분석부(1520)는 감지된 정보에 기초하여 물체의 위치를 추적할 수 있다. 분석부(1520)는 감지된 정보에 기초하여 음원의 위치를 추적할 수 있다. 분석부(1520)는 감지된 정보에 기초하여 음원을 분석할 수 있다. 분석부(1520)는 감지된 정보를 분석함으로써, 사용자 주변의 상황을 인지할 수 있다. 분석부(1520)는 사용자 주변에서 위험요소를 분석할 수 있다.
영상 생성부(1530)는 데이터 인터페이스(1510)를 통하여 수신된 정보 및 분석부(1520)에 의하여 분석된 정보에 기초하여 사용자에게 제공할 영상 정보를 생성할 수 있다. 사운드 생성부(1540)는 데이터 인터페이스(1510)를 통하여 수신된 정보 및 분석부(1520)에 의하여 분석된 정보에 기초하여 사운드 정보를 생성할 수 있다.
도 16 및 도 17은 실시예들에 따른 유저 인터페이스 방법을 나타낸 동작 흐름도들이다. 도 16을 참조하면, 일 실시예에 따른 유저 인터페이스 방법은 디스플레이에 영상 컨텐츠를 표시하는 단계(1810), 입사되는 빛의 변화를 감지하는 단계(1820), 및 빛의 변화가 영상 컨텐츠 위에 오버레이되어 표현되도록 디스플레이를 제어하는 단계(1830)를 포함한다.
도 17을 참조하면, 일 실시예에 따른 유저 인터페이스 방법은 사운드 출력부를 통하여 사운드 컨텐츠를 출력하는 단계(1710), 입력되는 사운드의 변화를 감지하는 단계(1720), 및 사운드의 변화가 출력되도록 사운드 출력부를 제어하는 단계(1730)를 포함한다. 도 16 및 도 17에 도시된 각 단계들에는 도 1 내지 도 15를 통하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
헤드 마운드 타입의 웨어러블 디바이스는 사용자의 시야를 차단할 수 있다. 또는, 안경 타입의 웨어러블 디바이스 또는 모바일 디바이스의 경우, 사용자의 시야를 직접적으로 차단하지 않지만, 사용자가 컨텐츠에 집중함으로써 전방에서 발생하는 환경 변화를 인지하기 어려울 수 있다. 이로 인하여, 안전 사고가 발생할 수 있다.
실시예들은 사용자가 웨어러블 디바이스 또는 모바일 디바이스를 이용 중 사용자의 안전을 위하여 최소한의 시야를 확보해주는 기술을 제공할 수 있다. 실시예들은 웨어러블 디바이스 또는 모바일 디바이스를 이용하는 사용자가 화면에 시선을 집중하고 있을 때, 주변 환경의 변화 정보를 디스플레이에 부가적으로 보여주는 기술을 제공할 수 있다. 실시예들은 웨어러블 디바이스를 장착한 상태에서 또는 컨텐츠를 이용하는 도중에도 사용자의 시야를 확보하고, 주변 환경의 변화를 사용자에게 알릴 수 있다. 이로 인하여, 실시예들은 안전 사고를 예방할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (21)

  1. 영상 컨텐츠를 표시하는 디스플레이;
    입사되는 빛의 변화를 감지하는 감지부; 및
    상기 빛의 변화가 상기 영상 컨텐츠 위에 오버레이되어 표현되도록 상기 디스플레이를 제어하는 제어부
    를 포함하는, 유저 인터페이스 장치.
  2. 제1항에 있어서,
    상기 감지부는
    상기 입사되는 빛이 변하는 이벤트를 감지하여 시간 비동기적으로 상기 빛의 변화를 지시하는 신호를 생성하는 이벤트 기반 비전 센서
    를 포함하는, 유저 인터페이스 장치.
  3. 제1항에 있어서,
    상기 감지부는
    상기 입사되는 빛을 수집하는 수집부; 및
    상기 수집된 빛을 분석하여 상기 빛의 변화를 지시하는 신호를 생성하는 생성부
    를 포함하는, 유저 인터페이스 장치.
  4. 제1항에 있어서,
    상기 입사되는 빛은
    사용자의 주변에서 움직이는 물체에 의하여 변하는, 유저 인터페이스 장치.
  5. 제1항에 있어서,
    상기 제어부는
    상기 디스플레이의 복수의 픽셀들 중 상기 빛의 변화에 대응하는 픽셀들을 검출하고, 상기 빛의 변화가 상기 영상 컨텐츠 위에 오버레이되어 표현되도록 상기 검출된 픽셀들의 값들을 제어하는, 유저 인터페이스 장치.
  6. 제1항에 있어서,
    상기 제어부는
    상기 빛의 변화가 상기 영상 컨텐츠 위에 오버레이되어 표현되는 부분이 최소가 되도록 상기 빛의 변화를 분석하는, 유저 인터페이스 장치.
  7. 제1항에 있어서,
    상기 제어부는
    상기 빛의 변화에 기초하여 사용자 주변의 물체와 관련된 정보를 생성하고, 상기 생성된 정보를 이용하여 상기 디스플레이를 제어하는, 유저 인터페이스 장치.
  8. 제7항에 있어서,
    상기 물체와 관련된 정보는
    상기 물체의 종류, 상기 물체의 속도, 사용자와 상기 물체 사이의 거리, 및 상기 물체의 위치 중 적어도 하나를 포함하는, 유저 인터페이스 장치.
  9. 제1항에 있어서,
    상기 제어부는
    상기 빛의 변화가 사용자의 손에 의하여 발생된 것인지 여부를 판단하고, 상기 빛의 변화가 사용자의 손에 의하여 발생된 것이라고 판단되는 경우 상기 빛의 변화에 기초하여 사용자 입력을 처리하는, 유저 인터페이스 장치.
  10. 사운드 컨텐츠를 출력하는 사운드 출력부;
    입력되는 사운드의 변화를 감지하는 감지부; 및
    상기 사운드의 변화가 출력되도록 상기 사운드 출력부를 제어하는 제어부
    를 포함하는, 유저 인터페이스 장치.
  11. 제10항에 있어서,
    상기 감지부는
    상기 입력되는 사운드가 변하는 이벤트를 감지하여 시간 비동기적으로 상기 사운드의 변화를 지시하는 신호를 생성하는 이벤트 기반 청각 센서
    를 포함하는, 유저 인터페이스 장치.
  12. 제10항에 있어서,
    상기 감지부는
    상기 입력되는 사운드를 수집하는 사운드 수집부; 및
    상기 수집된 사운드를 분석하여 상기 사운드의 변화를 지시하는 신호를 생성하는 생성부
    를 포함하는, 유저 인터페이스 장치.
  13. 제10항에 있어서,
    상기 입력되는 사운드는
    사용자의 주변에서 움직이는 물체에 의하여 변하는, 유저 인터페이스 장치.
  14. 제10항에 있어서,
    상기 제어부는
    상기 사운드의 변화가 출력되는 시간이 최소가 되도록 상기 사운드의 변화를 분석하는, 유저 인터페이스 장치.
  15. 제10항에 있어서,
    상기 제어부는
    상기 사운드의 변화에 기초하여 사용자 주변의 음원과 관련된 정보를 생성하고, 상기 생성된 정보를 이용하여 상기 디스플레이 및 상기 사운드 출력부 중 적어도 하나를 제어하는, 유저 인터페이스 장치.
  16. 제15항에 있어서,
    상기 음원과 관련된 정보는
    상기 음원의 종류, 및 상기 음원의 위치 중 적어도 하나를 포함하는, 유저 인터페이스 장치.
  17. 제1항 내지 제16항 중 어느 하나의 항에 기재된 유저 인터페이스 장치를 포함하는 모바일 디바이스.
  18. 제1항 내지 제16항 중 어느 하나의 항에 기재된 유저 인터페이스 장치를 포함하는 웨어러블 디바이스.
  19. 디스플레이에 영상 컨텐츠를 표시하는 단계;
    입사되는 빛의 변화를 감지하는 단계; 및
    상기 빛의 변화가 상기 영상 컨텐츠 위에 오버레이되어 표현되도록 상기 디스플레이를 제어하는 단계
    를 포함하는, 유저 인터페이스 방법.
  20. 사운드 출력부를 통하여 사운드 컨텐츠를 출력하는 단계;
    입력되는 사운드의 변화를 감지하는 단계; 및
    상기 사운드의 변화가 출력되도록 상기 사운드 출력부를 제어하는 단계
    를 포함하는, 유저 인터페이스 방법.
  21. 제19항 및 제20항 중 어느 한 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020140096631A 2014-07-29 2014-07-29 유저 인터페이스 장치 및 유저 인터페이스 방법 KR20160014418A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140096631A KR20160014418A (ko) 2014-07-29 2014-07-29 유저 인터페이스 장치 및 유저 인터페이스 방법
US14/687,574 US9947289B2 (en) 2014-07-29 2015-04-15 User interface apparatus and user interface method
US15/952,944 US10665203B2 (en) 2014-07-29 2018-04-13 User interface apparatus and user interface method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140096631A KR20160014418A (ko) 2014-07-29 2014-07-29 유저 인터페이스 장치 및 유저 인터페이스 방법

Publications (1)

Publication Number Publication Date
KR20160014418A true KR20160014418A (ko) 2016-02-11

Family

ID=55180654

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140096631A KR20160014418A (ko) 2014-07-29 2014-07-29 유저 인터페이스 장치 및 유저 인터페이스 방법

Country Status (2)

Country Link
US (2) US9947289B2 (ko)
KR (1) KR20160014418A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI614729B (zh) * 2016-05-18 2018-02-11 華冠通訊股份有限公司 虛擬實境顯示裝置的威脅警示系統及其威脅警示方法
JP7285058B2 (ja) * 2018-10-04 2023-06-01 株式会社ソニー・インタラクティブエンタテインメント センサモジュール、電子機器、被写体の検出方法、プログラムおよび処理回路

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05300544A (ja) * 1992-04-23 1993-11-12 Sony Corp 映像表示装置
JPH05304646A (ja) 1992-04-24 1993-11-16 Sony Corp 映像表示装置
JP3376690B2 (ja) * 1994-04-28 2003-02-10 株式会社ニコン 露光装置、及び該装置を用いた露光方法
US6253161B1 (en) * 1997-07-10 2001-06-26 Universite Laval Integrated motion vision sensor
WO1999010866A1 (en) * 1997-08-25 1999-03-04 Imagicolor Corp A system for distributing and controlling color reproduction at multiple sites
US20150297949A1 (en) * 2007-06-12 2015-10-22 Intheplay, Inc. Automatic sports broadcasting system
JP3492942B2 (ja) 1999-06-30 2004-02-03 株式会社東芝 装着型情報呈示装置および方法および記憶媒体
US6542436B1 (en) * 2000-06-30 2003-04-01 Nokia Corporation Acoustical proximity detection for mobile terminals and other devices
GB2389960A (en) * 2002-06-20 2003-12-24 Suisse Electronique Microtech Four-tap demodulation pixel
WO2004061519A1 (ja) 2002-12-24 2004-07-22 Nikon Corporation ヘッドマウントディスプレイ
JP4321083B2 (ja) 2003-01-31 2009-08-26 株式会社ニコン ヘッドマウントディスプレイ
JP3851907B2 (ja) * 2004-02-18 2006-11-29 株式会社ソニー・コンピュータエンタテインメント 画像表示システム及びビデオゲームシステム
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
CN101080691B (zh) 2004-12-14 2010-12-22 松下电器产业株式会社 信息提示装置及信息提示方法
JP4200328B2 (ja) * 2005-04-18 2008-12-24 パナソニック電工株式会社 空間情報検出システム
CA2609623C (en) 2005-06-03 2015-12-29 Universitaet Zuerich Photoarray for detecting time-dependent image data
US20070030343A1 (en) * 2005-08-06 2007-02-08 Rohde Mitchell M Interactive, video-based content for theaters
US8139142B2 (en) * 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
US7775437B2 (en) * 2006-06-01 2010-08-17 Evryx Technologies, Inc. Methods and devices for detecting linkable objects
US20070293188A1 (en) * 2006-06-20 2007-12-20 Philip John Houghton Method and system for an audio speaker with proximity sensing
EP1965344B1 (en) * 2007-02-27 2017-06-28 Accenture Global Services Limited Remote object recognition
US8306272B2 (en) * 2007-05-31 2012-11-06 Microsemi Corporation Method and system for dynamically altering the analysis methodology of millimeter wave imagery in response to the range and direction of motion of a subject
US20090079830A1 (en) * 2007-07-27 2009-03-26 Frank Edughom Ekpar Robust framework for enhancing navigation, surveillance, tele-presence and interactivity
US20090077214A1 (en) * 2007-09-17 2009-03-19 Honeywell International Inc. System for fusing information from assets, networks, and automated behaviors
JP5171329B2 (ja) * 2007-09-28 2013-03-27 株式会社ジャパンディスプレイウェスト 表示装置
US8218811B2 (en) * 2007-09-28 2012-07-10 Uti Limited Partnership Method and system for video interaction based on motion swarms
US8471868B1 (en) * 2007-11-28 2013-06-25 Sprint Communications Company L.P. Projector and ultrasonic gesture-controlled communicator
WO2009120616A1 (en) * 2008-03-25 2009-10-01 Wms Gaming, Inc. Generating casino floor maps
TWI381717B (zh) * 2008-03-31 2013-01-01 Univ Nat Taiwan 數位視訊動態目標物體分割處理方法及系統
US20090322489A1 (en) * 2008-04-14 2009-12-31 Christopher Jones Machine vision rfid exciter triggering system
US20120011454A1 (en) * 2008-04-30 2012-01-12 Microsoft Corporation Method and system for intelligently mining data during communication streams to present context-sensitive advertisements using background substitution
EP2164043A1 (en) * 2008-09-12 2010-03-17 March Networks Corporation Video camera calibration and perspective calculation
WO2010050110A1 (ja) * 2008-10-27 2010-05-06 パナソニック株式会社 移動体検出方法及び移動体検出装置
JP2010145436A (ja) * 2008-12-16 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
US8237909B2 (en) * 2009-02-06 2012-08-07 Gentex Corporation Vehicular rearview mirror assembly including integrated backlighting for a liquid crystal display (LCD)
WO2010099416A1 (en) * 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle
WO2010144900A1 (en) * 2009-06-12 2010-12-16 Magna Electronics Inc. Scalable integrated electronic control unit for vehicle
EP2271134A1 (en) * 2009-07-02 2011-01-05 Nxp B.V. Proximity sensor comprising an acoustic transducer for receiving sound signals in the human audible range and for emitting and receiving ultrasonic signals.
US9186548B2 (en) * 2009-07-20 2015-11-17 Disney Enterprises, Inc. Play sequence visualization and analysis
US10375287B2 (en) * 2009-10-21 2019-08-06 Disney Enterprises, Inc. Object trail-based analysis and control of video
US8688443B2 (en) * 2009-12-23 2014-04-01 At&T Intellectual Property I, L.P. Multimodal augmented reality for location mobile information service
US8694258B2 (en) * 2010-02-14 2014-04-08 Vermeer Manufacturing Company Derivative imaging for subsurface object detection
US20110276922A1 (en) * 2010-05-06 2011-11-10 Jeffrey Edwin Boyd Method and System for Video Interaction Based on Motion Swarms
US8743145B1 (en) * 2010-08-26 2014-06-03 Amazon Technologies, Inc. Visual overlay for augmenting reality
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
DE102012210145A1 (de) * 2011-06-17 2012-12-20 Robert Bosch Gmbh Verfahren und Vorrichtung zur Unterstützung eines Fahrers bei einer Spurführung eines Fahrzeugs auf einer Fahrbahn
EP2751742A1 (en) * 2011-08-31 2014-07-09 metaio GmbH Method of matching image features with reference features
JP2013061848A (ja) 2011-09-14 2013-04-04 Panasonic Corp 非接触入力装置
US9124783B2 (en) * 2011-09-30 2015-09-01 Camiolog, Inc. Method and system for automated labeling at scale of motion-detected events in video surveillance
CN104272723B (zh) * 2011-12-19 2018-08-21 苏黎世大学 特别用于将时变图像数据的取样亮度感测和异步检测相结合的光电阵列
WO2013101438A1 (en) * 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
JP6065370B2 (ja) * 2012-02-03 2017-01-25 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2013164737A (ja) 2012-02-10 2013-08-22 Nec Corp 障害物アラーム表示システム、情報処理装置、障害物アラーム表示方法および障害物アラーム表示プログラム
KR101304111B1 (ko) * 2012-03-20 2013-09-05 김영대 댄싱 가라오케 시스템
US9292085B2 (en) * 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
US20150262208A1 (en) * 2012-10-04 2015-09-17 Bernt Erik Bjontegard Contextually intelligent communication systems and processes
US9197861B2 (en) * 2012-11-15 2015-11-24 Avo Usa Holding 2 Corporation Multi-dimensional virtual beam detection for video analytics
US9357165B2 (en) * 2012-11-16 2016-05-31 At&T Intellectual Property I, Lp Method and apparatus for providing video conferencing
US20140152530A1 (en) * 2012-12-03 2014-06-05 Honeywell International Inc. Multimedia near to eye display system
US20160019427A1 (en) * 2013-03-11 2016-01-21 Michael Scott Martin Video surveillence system for detecting firearms
EP2967297B1 (en) * 2013-03-15 2022-01-05 Synaptive Medical Inc. System for dynamic validation, correction of registration for surgical navigation
US9753285B2 (en) * 2013-03-29 2017-09-05 Sony Corporation Information processing device, notification state control method, and program
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9304594B2 (en) * 2013-04-12 2016-04-05 Microsoft Technology Licensing, Llc Near-plane segmentation using pulsed light source
US9390561B2 (en) * 2013-04-12 2016-07-12 Microsoft Technology Licensing, Llc Personal holographic billboard
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US8988345B2 (en) * 2013-06-25 2015-03-24 Microsoft Technology Licensing, Llc Adaptive event recognition
US20150062164A1 (en) * 2013-09-05 2015-03-05 Seiko Epson Corporation Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus
US20150187224A1 (en) * 2013-10-15 2015-07-02 Mbfarr, Llc Driving assessment and training method and apparatus
US9403482B2 (en) * 2013-11-22 2016-08-02 At&T Intellectual Property I, L.P. Enhanced view for connected cars
US9645654B2 (en) * 2013-12-04 2017-05-09 Leap Motion, Inc. Initializing predictive information for free space gesture control and communication
US9613262B2 (en) * 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US20150206337A1 (en) * 2014-01-17 2015-07-23 Nokia Corporation Method and apparatus for visualization of geo-located media contents in 3d rendering applications
CN106030427B (zh) * 2014-02-20 2020-09-08 M·奥利尼克 用于在机器人烹饪厨房中制备食物的方法和系统
US9485416B2 (en) * 2014-03-11 2016-11-01 Wipro Limited Method and a guided imaging unit for guiding a user to capture an image
NL2012399B1 (en) * 2014-03-11 2015-11-26 De Vroome Poort B V Autonomous camera system for capturing sporting events.
US9987554B2 (en) * 2014-03-14 2018-06-05 Sony Interactive Entertainment Inc. Gaming device with volumetric sensing
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US20150329217A1 (en) * 2014-05-19 2015-11-19 Honeywell International Inc. Aircraft strike zone display
US9354488B2 (en) * 2014-05-23 2016-05-31 Howard Preston Methods, apparatuses, systems and software for focusing a camera
US10782657B2 (en) * 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
JP6341759B2 (ja) * 2014-05-30 2018-06-13 キヤノン株式会社 頭部装着型情報表示装置及び頭部装着型情報表示装置の制御方法
US20160042621A1 (en) * 2014-06-13 2016-02-11 William Daylesford Hogg Video Motion Detection Method and Alert Management

Also Published As

Publication number Publication date
US9947289B2 (en) 2018-04-17
US10665203B2 (en) 2020-05-26
US20180233104A1 (en) 2018-08-16
US20160035315A1 (en) 2016-02-04

Similar Documents

Publication Publication Date Title
KR102159313B1 (ko) 증강 현실 디바이스를 제어하기 위한 장치 및 방법
KR102058891B1 (ko) 헤드 장착식 디스플레이를 위한 반응성 사용자 인터페이스
US8073203B2 (en) Generating effects in a webcam application
US20200097093A1 (en) Touch free interface for augmented reality systems
KR102076773B1 (ko) 영상 데이터 획득 방법 및 그 방법을 처리하는 전자 장치
US10095033B2 (en) Multimodal interaction with near-to-eye display
US7142231B2 (en) Method and apparatus for improved handset multi-tasking, including pattern recognition and augmentation of camera images
US9807300B2 (en) Display apparatus for generating a background image and control method thereof
KR20160121287A (ko) 이벤트에 기반하여 화면을 디스플레이하는 방법 및 장치
US10600189B1 (en) Optical flow techniques for event cameras
KR102203810B1 (ko) 사용자 입력에 대응되는 이벤트를 이용한 유저 인터페이싱 장치 및 방법
US11490217B2 (en) Audio rendering for augmented reality
US20200012347A1 (en) Systems and Methods for Providing Automatic Haptic Generation for Video Content
KR20200051591A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
KR20150007875A (ko) 전자 장치의 촬영 이미지 생성 방법 및 장치
WO2018198499A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
Liu et al. Infrasee: An unobtrusive alertness system for pedestrian mobile phone users
US10665203B2 (en) User interface apparatus and user interface method
KR101862128B1 (ko) 얼굴을 포함하는 영상 처리 방법 및 장치
KR20220095218A (ko) 이미지 검출 방법 및 장치, 전자 기기 및 저장 매체
CN111415421A (zh) 虚拟物体控制方法、装置、存储介质及增强现实设备
KR20220128833A (ko) 유저 인터페이스 장치 및 유저 인터페이스 방법
KR20170084458A (ko) 헤드 마운트 디스플레이 장치
US10860847B2 (en) Visual perception assistant
WO2021068729A1 (zh) 图像合成方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination