KR20160074388A - 전자 장치의 제어 방법 및 장치 - Google Patents

전자 장치의 제어 방법 및 장치 Download PDF

Info

Publication number
KR20160074388A
KR20160074388A KR1020150156883A KR20150156883A KR20160074388A KR 20160074388 A KR20160074388 A KR 20160074388A KR 1020150156883 A KR1020150156883 A KR 1020150156883A KR 20150156883 A KR20150156883 A KR 20150156883A KR 20160074388 A KR20160074388 A KR 20160074388A
Authority
KR
South Korea
Prior art keywords
electronic device
user
information
screen
status
Prior art date
Application number
KR1020150156883A
Other languages
English (en)
Other versions
KR102362042B1 (ko
Inventor
이호영
김남인
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP15200877.7A priority Critical patent/EP3035656B1/en
Priority to CN201910033386.9A priority patent/CN109782915B/zh
Priority to CN201510958852.6A priority patent/CN105718043B/zh
Priority to US14/975,080 priority patent/US20160180801A1/en
Priority to CN201910032787.2A priority patent/CN109753159B/zh
Publication of KR20160074388A publication Critical patent/KR20160074388A/ko
Priority to US16/660,319 priority patent/US11257459B2/en
Application granted granted Critical
Publication of KR102362042B1 publication Critical patent/KR102362042B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work

Abstract

본 발명은 사용자 눈의 피로도에 반응하는 전자 장치 및 그 전자 장치의 표시 제어 방법에 관한 것이다. 본 발명의 실시 예에 따르면, 전자 장치의 동작 방법에 있어서, 동작 이벤트를 감지하는 과정과, 상기 동작 이벤트에 응답하여 사용자의 상태 및 전자 장치의 상태를 트래킹 하는 과정과, 상기 트래킹 수행 결과에 기반하여 상기 전자 장치에서 화면 표시와 관련된 옵션을 변경하는 과정과, 상기 옵션 변경에 대응하는 결과를 출력하는 과정을 포함할 수 있다.

Description

전자 장치의 제어 방법 및 장치{METHOD AND APPARATUS FOR CONTROLING AN ELECTRONIC DEVICE}
본 발명은 사용자의 상태를 검출하고 검출된 상태에 대응하여 전자 장치를 제어하는 방법 및 그 장치에 관한 것이다.
최근 디지털 기술의 발달과 함께 이동통신 단말기, 스마트 폰(smart phone), 태블릿(tablet) PC(Personal Computer), PDA(Personal Digital Assistant), 전자수첩, 노트북(notebook), 웨어러블 기기(wearable device), 또는 TV(television) 등과 같은 다양한 유형의 전자 장치가 널리 사용되고 있다. 상기 전자 장치는, 다른 장치들의 기능까지 아우르는 모바일 컨버전스(mobile convergence) 단계에 이르고 있다. 예를 들어, 전자 장치는 음성통화 및 영상통화 등과 같은 통화 기능, SMS(Short Message Service)/MMS(Multimedia Message Service) 및 전자메일(e-mail) 등과 같은 메시지 송수신 기능, 전자수첩 기능, 촬영 기능, 방송 재생 기능, 동영상 재생 기능, 음악 재생 기능, 인터넷 기능, 메신저 기능, 게임 기능, 또는 소셜 네트워크 서비스(SNS, Social Networking Service) 기능 등을 제공할 수 있다.
상기 전자 장치의 사용자는 전자 장치의 다양한 기능들 지원에 대응하여 전자 장치를 마주하는 시간이 점차적으로 증가하고 있다. 예를 들어, 수많은 전자 장치의 보급으로 인해 사용자들은 시간과 장소에 상관없이 다양한 전자 장치들을 접하고 있다. 한 실시 예에 따르면, 사용자는 전자 장치를 통해 고선명 고화질의 영상 화면을 시청할 수 있고, 또는 게임 등의 특정 어플리케이션을 장시간 동안 즐길 수 있다. 따라서 사용자들은 전자 장치를 사용함에 따라 전자 장치에서 발생하는 조명(빛)에 노출되는 시간이 증가하고 있다.
따라서 사용자가 전자 장치를 사용하는 시간이 장기화 될수록 사용자의 눈의 피로가 가중될 수 있고, 이로 인해 사용자는 시력 저하, 안구 건조, 충혈 등의 악영향을 받을 수 있다. 또한 눈의 피로는 단지 눈에만 국한되지 않고 뇌의 활동과 연관되어 집중력의 감소와 기억력의 감소 및 정신 이상을 초래하게 되는 경우도 발생할 수 있다.
본 발명의 실시 예에서는, 전자 장치의 사용을 개시하거나, 또는 전자 장치를 사용 중에 사용자의 상태를 판단하고, 판단된 사용자의 상태에 대응하여 사용자의 상태 정보를 제공하면서, 그에 대응하게 전자 장치의 다양한 설정을 변경할 수 있는 전자 장치 및 그 동작 방법을 제공할 수 있다.
본 발명의 실시 예에 따르면, 전자 장치가 동작하는 중에 사용자 눈의 상태를 확인하여 사용자 눈의 피로도를 판단하고, 판단된 눈의 피로도에 따라 전자 장치에서 화면을 위한 다양한 설정을 적응적으로 변경하여 표시할 수 있는 전자 장치 및 그 동작 방법을 제공할 수 있다.
본 발명의 실시 예에 따르면, 전자 장치의 사용을 개시하거나, 또는 전자 장치를 사용 중에 사용자의 눈의 피로도를 자동으로 측정하고, 측정된 눈의 피로도(사용자의 상태 정보), 전자 장치의 동작 정보, 전자 장치의 사용 정보, 전자 장치가 사용되는 주변 환경 정보 등의 다양한 정보들에 기반하여, 사용자의 눈의 피로도를 낮출 수 있도록 전자 장치의 화면 설정과 관련된 다양한 변수를 자동 조정할 수 있는 전자 장치 및 그 동작 방법을 제공할 수 있다.
본 발명의 실시 예에 따르면, 사용자 상태를 고려하여 전자 장치를 제어하기 위한 최적의 환경을 구현하여 사용자의 편의성 및 전자 장치의 사용성을 향상시킬 수 있는 전자 장치 및 그 동작 방법을 제공할 수 있다.
본 발명의 실시 예에 따른 전자 장치는, 사용자의 상태 및 전자 장치의 상태 트래킹을 위한 센서와, 상기 사용자의 상태 및 상기 전자 장치의 상태 트래킹에 대응하는 정보를 저장하는 저장부와, 동작 이벤트에 반응하여 상태 트래킹 수행을 제어하고, 상기 트래킹 수행 결과에 기반하여 상기 전자 장치에서 화면 표시와 관련된 옵션을 변경하고 그 결과 출력을 제어하는 제어부를 포함할 수 있다.
본 발명의 실시 예에 따른 전자 장치의 동작 방법은, 동작 이벤트를 감지하는 과정과, 상기 동작 이벤트에 응답하여 사용자의 상태 및 전자 장치의 상태를 트래킹 하는 과정과, 상기 트래킹 수행 결과에 기반하여 상기 전자 장치에서 화면 표시와 관련된 옵션을 변경하는 과정과, 상기 옵션 변경에 대응하는 결과를 출력하는 과정을 포함할 수 있다.
본 발명의 실시 예에 따른 기록 매체는, 동작 이벤트를 감지하는 동작, 상기 동작 이벤트에 응답하여 사용자의 상태 및 전자 장치의 상태를 트래킹 하는 동작, 상기 트래킹 수행 결과에 기반하여 상기 전자 장치에서 화면 표시와 관련된 옵션을 변경하는 동작, 상기 옵션 변경에 대응하는 결과를 출력하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
본 발명의 실시 예에 따른 전자 장치 및 그 동작 방법은, 사용자와 전자 장치의 상태를 고려하여 화면 표시와 관련된 다양한 옵션들을 자동 변경할 수 있고, 사용자의 상태에 대한 정보를 피드백 할 수 있다. 또한 본 발명의 실시 예에 따르면, 상기 옵션 변경 및 상기 정보 피드백의 경우, 사용자가 전자 장치를 일상적으로 사용하는 중에, 사용자와 전자 장치를 자동적으로 트래킹 하여 동작할 수 있으며, 사용자에게 직관적이고 실시간으로 사용자의 눈을 보호 및 가이드 할 수 있다. 따라서 본 발명의 실시 예에 따르면, 전자 장치를 통해 사용자에게 다양한 유해 요소로부터의 회피를 유도하여 헬스 케어(health care) 서비스를 적응적으로 지원할 수 있다. 또한 본 발명의 실시 예에 따르면, 상대적으로 화면을 사용자 눈에 가까이 접하게 되는 전자 장치(예: HMD(Head Mounted Display))에서 상기 화면으로부터 발생되는 빛이 눈 건강에 악영향을 미치는 것을 사전 방지할 수 있다.
또한 본 발명의 실시 예에 따르면, 트래킹 하는 다양한 상태(예: 사용자의 상태, 전자 장치의 상태)에 기반하여, 화면 또는 필터의 다양한 옵션(예: 강도, 밝기, 블루라이트 등)의 자동 조정이 가능할 수 있다. 따라서 본 발명의 실시 예에 따르면, 전자 장치의 노티바를 이용하여 화면의 밝기만 조절 가능한 기존 기술에 비하여, 사용자에게 다양한 옵션 조정의 편의성을 제공할 수 있다. 한 실시 예에 따르면, 사용자가 밤에 전자 장치 100을 사용할 시 기존의 네이티브(native) 설정의 최하 밝기보다 더 어둡게 설정이 가능할 수 있으며, 따라서 사용자의 눈부심을 보다 효과적으로 방지할 수 있다.
또한 본 발명의 실시 예에 따르면 시간 등의 특정 조건으로 특정 옵션(예: 밝기, 블루라이트)만 조절하는 것이 아니라, 전자 장치를 사용하는 사용자의 상태, 사용하는 어플리케이션(예: 동영상(영화), 인터넷, 메신저, 게임 등)의 상황, 어플리케이션 또는 전자 장치의 사용 시간, 전자 장치가 사용되는 주변 환경 등에 대응하여 하나 또는 그 이상의 옵션들을 자동 조절할 수 있으므로 사용자에게 최적의 화면을 제공할 수 있다. 또한 본 발명의 실시 예에 따르면, 사용자가 전자 장치를 사용할 때 전자 장치에서 자동으로 사용자 눈의 충혈 상태를 알람하고, 그에 대응하여 화면 옵션을 자동 조절하여 줌으로써, 사용자 눈의 상태를 사용자에게 통지할 수 있고, 전자 장치에 의해 사용자의 헬스 케어에 대한 인터랙션이 가능할 수 있다.
도 1은 본 발명의 실시 예에 따른 전자 장치의 구성을 개략적으로 도시하는 도면이다.
도 2는 본 발명의 실시 예 따른 전자 장치에서 제어부의 구성 예시를 도시하는 도면이다.
도 3은 본 발명의 실시 예에 따른 전자 장치에서 화면 설정을 변경하는 동작 절차를 도시하는 흐름도이다.
도 4, 도 5, 도 6 및 도 7은 본 발명의 실시 예에 따른 전자 장치에서 사용자의 상태 트래킹을 개시하는 동작을 설명하기 위해 도시하는 도면들이다.
도 8은 본 발명의 실시 예에 따른 전자 장치에서 제공하는 설정 메뉴의 예시를 도시하는 도면이다.
도 9, 도 10 및 도 11은 본 발명의 실시 예에 따른 전자 장치에서 사용자 상태에 대한 정보를 출력하는 예시를 도시하는 도면들이다.
도 12, 도 13, 도 14 및 도 15는 본 발명의 실시 예에 따른 전자 장치에서 화면 설정의 변경에 의한 출력 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 16은 본 발명의 실시 예에 따른 전자 장치에서 화면 설정을 변경하는 동작 절차를 도시하는 흐름도이다.
도 17, 도 18 및 도 19는 본 발명의 실시 예에 따른 전자 장치에서 다양한 정보들을 고려하여 화면 설정을 변경하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
이하, 본 발명의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
제안하는 본 발명은 사용자 눈의 피로도에 반응하는 전자 장치 및 그 전자 장치의 표시 제어 방법에 관한 것이다. 본 발명의 다양한 실시 예들에서는 사용자의 상태와 전자 장치의 상태를 트래킹(tracking) 할 수 있고, 트래킹의 결과에 기반하여 전자 장치에서 화면 표시와 관련된 다양한 옵션(option)을 자동으로 변경할 수 있는 전자 장치 및 그 동작 방법을 제안한다.
본 발명의 실시 예에 따르면, 전자 장치를 주시하고 있는 사용자의 눈의 상태를 측정하여 사용자 눈의 피로도를 분석할 수 있다. 또한 본 발명의 실시 예에 따르면, 측정된 사용자 눈의 상태에, 전자 장치의 다양한 상황(예: 사용 시간, 주변 환경, 동작 상태 등)을 접목하여 사용자 눈의 피로도를 분석할 수 있다. 예를 들어, 본 발명의 실시 예에서 상기 사용자 눈의 피로도는 사용자 눈의 상태를 측정하는 결과(예: 상태 정보)에 기반하여 분석될 수 있고, 또한 사용자 눈의 상태를 측정하는 결과(예: 상태 정보)와 전자 장치에 대한 상황 인지를 통해 획득하는 결과(예: 상황 정보(context information))의 복합적인 요소를 고려하여 분석될 수 있다.
본 발명의 실시 예에 따르면, 복합 요소에 의해 분석된 사용자 눈의 피로도에 대응하여 화면 옵션을 자동으로 변경하여 표시할 수 있다. 즉, 본 발명의 실시 예에서는 사용자 눈의 피로도에 대응하여 화면 표시를 위한 여러 가지 화면 옵션(변수)을 자동 조정하여 사용자 눈의 피로도에 적합한 화면이 표시되도록 할 수 있다. 또한 본 발명의 실시 예에 따르면, 복합 요소에 의해 분석된 사용자 눈의 피로도에 대한 정보를 사용자에게 직접적으로 피드백(feedback)할 수 있다.
본 발명의 다양한 실시 예들에서 전자 장치는 본 발명의 다양한 실시 예들에 따른 기능을 지원하는 모든 정보통신기기, 멀티미디어기기, 웨어러블(wearable) 기기 및 그에 대한 응용기기와 같이 AP(Application Processor), GPU(Graphic Processing Unit), 및 CPU(Central Processing) 등의 다양한 프로세서(예: 프로세서(processor)) 중 하나 또는 그 이상을 사용하는 모든 장치를 포함할 수 있다.
이하에서 설명되는 본 발명의 다양한 실시 예들에서는 하드웨어(hardware)적인 접근 방법을 예시로서 설명한다. 하지만, 본 발명의 다양한 실시 예들에서는 하드웨어와 소프트웨어(software)를 모두 사용하는 기술을 포함하고 있으므로, 본 발명의 다양한 실시 예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
도 1은 본 발명의 실시 예에 따른 전자 장치의 구성을 개략적으로 도시하는 도면이다.
상기 도 1을 참조하면, 본 발명의 다양한 실시 예들에 따른 전자 장치 100은 무선 통신부 110, 사용자 입력부 120, 터치스크린(touchscreen) 130, 오디오 처리부 140, 저장부 150, 인터페이스부 160, 카메라 모듈 170, 제어부 180, 그리고 전원 공급부 190을 포함할 수 있다. 본 발명의 다양한 실시 예들에서 전자 장치 100은 도 1에 도시된 구성들이 필수적인 것은 아니어서, 도 1에 도시된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.
상기 무선 통신부 110은 전자 장치 100와 무선 통신 시스템 사이 또는 전자 장치 100와 다른 외부 장치(예: 다른 전자 장치, 또는 서버) 사이의 무선 통신을 가능하게 하는 하나 또는 그 이상의 모듈들을 포함할 수 있다. 예를 들어, 무선 통신부 110은 이동통신 모듈 111, 무선 랜(WLAN, wireless local area network) 모듈 113, 근거리 통신 모듈 115, 위치 산출 모듈 117, 그리고 방송 수신 모듈 119 등을 포함하여 구성될 수 있다.
상기 이동통신 모듈 111은 이동통신 네트워크 상에서 기지국, 외부의 전자 장치, 그리고 다양한 서버들(예: 통합 서버(integration server), 프로바이더 서버(provider server), 컨텐츠 서버(content server), 인터넷 서버(internet server), 또는 클라우드 서버(cloud server)) 중 적어도 하나와 무선 신호를 송수신할 수 있다. 상기 무선 신호는 기준 데이터(예: 홍채 이미지(iris image), 음성통화 신호, 화상통화 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
상기 이동통신 모듈 111은 하나 또는 그 이상의 데이터들(예: 기준 데이터, 컨텐츠(contents), 메시지(message), 메일(mail), 이미지, 동영상, 날씨 정보, 위치 정보 또는, 시간 정보 등)을 수신할 수 있다. 한 실시 예에 따르면, 상기 이동통신 모듈 111은 전자 장치 100와 네트워크(예: 이동통신 네트워크)를 통해 연결되어 있는 외부 장치(예: 다른 전자 장치 또는 서버) 중 적어도 하나와 연결되어 다양한 데이터들을 획득(수신)할 수 있다. 상기 이동통신 모듈 111은 전자 장치 100의 동작에 필요한 다양한 데이터들을 사용자 요청에 응답하여 외부 장치로 전송할 수 있다.
상기 이동통신 모듈 111은 통신 기능을 수행할 수 있다. 예를 들어, 제어부 180의 제어 하에 RF(radio frequency) 신호를 기저대역 신호로 변환하여 제어부 180에게 제공하거나, 제어부 180으로부터의 기저대역 신호를 RF 신호로 변환하여 송신할 수 있다. 여기서, 제어부 180은 다양한 통신 방식에 기반하여 기저대역 신호를 처리할 수 있다. 예를 들어, 상기 통신 방식은, 이들에 한정하지는 않지만, GSM(global system for mobile communication) 통신 방식, EDGE(enhanced data GSM environment) 통신 방식, CDMA(code division multiple access) 통신 방식, W-CDMA(w-code division multiple access) 통신 방식, LTE(long term evolution) 통신 방식, OFDMA(orthogonal frequency division multiple access) 통신 방식, Wi-Fi(wireless fidelity) 통신 방식, WiMax(world interoperability for microwave access) 통신 방식 또는 블루투스(Bluetooth) 통신 방식 등을 포함할 수 있다.
상기 무선 랜 모듈 113은 무선 인터넷 접속 및 다른 외부 장치와 무선 랜 링크(link)를 형성하기 위한 모듈을 나타낼 수 있다. 상기 무선 랜 모듈 113은 전자 장치 100에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 무선 랜(Wi-Fi), Wibro(wireless broadband), WiMax, HSDPA(high speed downlink packet access), 또는 mmWave(millimeter wave) 등이 이용될 수 있다.
상기 무선 랜 모듈 113은 사용자로부터 선택된 하나 또는 그 이상의 데이터들을 외부로 전송하거나, 또는 외부로부터 수신할 수 있다. 한 실시 예에 따르면, 상기 무선 랜 모듈 113은 전자 장치 100과 네트워크(예: 무선 인터넷 네트워크)를 통해 연결되어 있는 다른 전자 장치 또는 서버 중 적어도 하나로부터 데이터를 획득할 수 있다. 상기 무선 랜 모듈 113은 전자 장치 100의 다양한 데이터들을 사용자 요청에 응답하여 외부(예: 서버)로 전송하거나, 또는 외부로부터 수신할 수 있다. 상기 무선 랜 모듈 113은 다른 전자 장치와 무선 랜 링크가 형성될 시 사용자 선택에 대응하는 다양한 데이터들을 다른 전자 장치로 전송하거나 수신 받을 수 있다. 상기 무선 랜 모듈 113은 상시 온(on) 상태를 유지하거나, 전자 장치 100의 설정 또는 사용자 입력에 따라 턴-온(turn-on)될 수 있다.
상기 근거리 통신 모듈 115은 근거리 통신(short range communication)을 수행하기 위한 모듈을 나타낼 수 있다. 근거리 통신 기술로 블루투스(bluetooth), 저전력 블루투스(BLE, bluetooth low energy), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra wideband), 지그비(zigbee), 또는 NFC(near field communication) 등이 이용될 수 있다.
상기 근거리 통신 모듈 115은 하나 또는 그 이상의 데이터들을 수신할 수 있다. 한 실시 예에 따르면, 상기 근거리 통신 모듈 115은 전자 장치 100과 네트워크(예: 근거리 통신 네트워크)를 통해 연결되어 있는 다른 전자 장치로부터 데이터를 획득할 수 있다. 상기 근거리 통신 모듈 115은 다른 전자 장치와 근거리 통신이 연결될 시 사용자 선택에 대응하는 데이터들을 다른 전자 장치로 전송하거나 수신 받을 수 있다. 상기 근거리 통신 모듈 115은 상시 온 상태를 유지하거나, 전자 장치 400의 설정 또는 사용자 입력에 따라 턴-온(turn-on)될 수 있다.
상기 위치 산출 모듈 117은 전자 장치 100의 위치를 획득하기 위한 모듈로서, 대표적인 예로는 GPS(global position system) 모듈을 포함할 수 있다. 상기 위치 산출 모듈 115은 삼각 측량의 원리로 전자 장치 100의 위치를 측정할 수 있다. 예를 들어, 상기 위치 산출 모듈 117은 3개 이상의 기지국들로부터 떨어진 거리 정보와 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도(latitude), 경도(longitude), 및 고도(altitude)에 따른 3차원의 현 위치 정보를 산출할 수 있다. 또는 상기 위치 산출 모듈 117은 3개 이상의 위성들로부터 전자 장치 100의 위치 정보를 실시간으로 계속 수신함으로써 위치 정보를 산출할 수 있다. 전자 장치 100의 위치 정보는 다양한 방법에 의해 획득될 수 있다.
상기 방송 수신 모듈 119는 방송 채널(예: 위성 방송 채널, 지상파 방송 채널 등)을 통하여 외부의 방송 관리 서버로부터 방송 신호(예: TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호 등) 및/또는 방송과 관련된 정보(예: 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보 등)를 수신할 수 있다.
상기 사용자 입력부 120은 전자 장치 100의 동작 제어를 위한 입력 데이터를 사용자 입력에 응답하여 발생할 수 있다. 상기 사용자 입력부 120은 사용자의 다양한 입력을 검출하기 위한 적어도 하나의 입력 수단을 포함할 수 있다. 예를 들어, 상기 사용자 입력부 120은 키패드(key pad), 돔 스위치(dome switch), 물리 버튼, 터치패드(정압/정전), 조그셔틀(jog & shuttle), 그리고 센서 등을 포함할 수 있다.
본 발명의 실시 예에서, 상기 센서는 전자 장치 100의 상황 인지를 위한 다양한 센서에 의해 구현될 수 있다. 예를 들어, 상기 센서는 물리량을 계측하거나 전자 장치 100의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 상기 센서는, 예를 들면, 홍채 인식 센서(iris scan sensor), 지문 인식 센서(finger scan sensor), 이미지 센서(image sensor) 또는 조도 센서(illuminance sensor)를 포함할 수 있다. 또한 상기 센서는 제스처 센서(gesture sensor), 자이로 센서(gyro sensor), 압력 센서(pressure sensor), 마그네틱 센서(magnetic sensor), 가속도 센서(acceleration sensor), 지자기 센서(terrestrial sensor), 동작 인식 센서(motion recognition sensor), 그립 센서(grip sensor), 근접 센서(proximity sensor), 컬러 센서(color sensor)(예: RGB(red, green, blue) 센서), 생체 센서(medical sensor), 온/습도 센서(temperature-humidity sensor), UV(ultra violet) 센서, 또는 HRM(heart rate monitor) 센서 중의 적어도 하나를 포함할 수 있다. 또한 상기 센서는, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서 등을 포함할 수 있다. 본 발명의 실시 예에서 전자 장치 100은 제어부 180의 일부로서 또는 별도로, 상기 센서를 제어하도록 구성된 프로세서를 더 포함하여, 제어부 100이 슬립(sleep) 상태에 있는 동안, 상기 센서를 제어할 수 있다.
상기 사용자 입력부 120은 일부가 전자 장치 100의 외부에 버튼 형태로 구현될 수 있으며, 일부 또는 전체가 터치 패널(touch panel)로 구현될 수도 있다. 상기 사용자 입력부 120은 본 발명의 다양한 실시 예들에 따른 전자 장치 100의 동작을 개시(initiation)하기 위한 사용자 입력을 수신할 수 있고, 사용자 입력에 따른 입력 신호를 발생할 수 있다. 예를 들어, 상기 사용자 입력부 120은 상태 트래킹 기능 실행, 홍채 인식 기능 실행, 어플리케이션 실행, 데이터 입력(작성, 삽입), 전자 장치 100의 자세 변화, 컨텐츠 표시, 네트워크 연결, 데이터 전송 또는 수신 등을 수행하기 위한 다양한 사용자 입력을 수신할 수 있고, 상기 사용자 입력에 따른 입력 신호를 발생할 수 있다.
상기 터치스크린 130은 입력 기능과 표시 기능을 동시에 수행할 수 있는 입출력 수단을 나타내며, 표시부 131과 터치감지부 133을 포함할 수 있다. 상기 터치스크린 130은 전자 장치 100과 사용자 사이에 입출력 인터페이스를 제공하며, 사용자의 터치 입력을 전자 장치 100에게 전달할 수 있고, 또한 전자 장치 100으로부터의 출력을 사용자에게 보여주는 매개체 역할을 담당할 수 있다. 상기 터치스크린 130은 사용자에게 시각적인 출력(visual output)을 보여줄 수 있다. 상기 시각적 출력은 텍스트(text), 그래픽(graphic), 비디오(video)와 이들의 조합의 형태로 나타날 수 있다. 예를 들어, 본 발명의 실시 예에서 상기 터치스크린 130은 표시부 131를 통해 전자 장치 100의 동작에 따른 다양한 화면을 표시할 수 있다. 상기 다양한 화면은 예를 들어, 홍채 인식 화면, 홍채 인식 결과 화면, 피로도 측정 결과 화면, 메신저 화면, 통화 화면, 게임 화면, 동영상 재생 화면, 갤러리(gallery) 화면, 웹 페이지 화면, 홈 화면, 또는 그룹 네트워크 연결 화면 등이 포함될 수 있다.
상기 터치스크린 130은 상기 표시부 131를 통해 특정 화면을 표시하는 중에 상기 터치감지부 133를 통해 사용자로부터 터치(touch), 호버링(hovering) 또는 에어 제스처(air gesture) 중 적어도 하나에 기반하는 이벤트(예: 터치 이벤트, 호버링 이벤트, 에어 제스처 이벤트)를 감지할 수 있고, 상기 이벤트에 따른 입력 신호를 상기 제어부 180에게 전달할 수 있다. 상기 제어부 180은 전달되는 이벤트를 구분하고, 구분된 이벤트에 따른 동작 수행을 제어할 수 있다.
상기 표시부 131은 전자 장치 100에서 처리되는 다양한 정보를 표시(출력)할 수 있다. 예를 들어, 상기 표시부 131은 전자 장치 100가 홍채 인식 모드로 동작하는 경우 홍채 인식과 관련된 유저 인터페이스(UI, user interface) 또는 그래픽 유저 인터페이스(GUI, graphical UI)를 표시할 수 있다. 또한 상기 표시부 131은 전자 장치 100가 통화 모드인 경우 통화와 관련된 UI 또는 GUI를 표시할 수 있다. 상기 표시부 131은 전자 장치 100가 화상통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상과 해당 모드 운영과 관련된 UI 또는 GUI를 표시할 수 있다. 상기 표시부 131은 전자 장치 100의 사용과 관련된 데이터, 컨텐츠, 또는 네트워크에 연결된 다른 전자 장치들에 대한 정보를 표시할 수 있다. 상기 표시부 131은 실행되는 어플리케이션에 대응하는 다양한 어플리케이션 실행화면을 표시할 수 있다.
상기 표시부 131은 전자 장치 100의 회전 방향(또는 놓인 방향)에 따라 가로모드에 의한 화면 표시, 세로모드에 의한 화면 표시, 또는 가로모드와 세로모드 간의 변화에 따른 화면 표시를 지원할 수 있다. 상기 표시부 131은 다양한 디스플레이가 사용될 수 있다. 예를 들면, 상기 표시부 131은 액정 디스플레이(LCD, liquid crystal display), 발광 다이오드(LED, light-emitting diode) 디스플레이, 유기 발광 다이오드(OLED, organic light-emitting diode) 디스플레이, 마이크로 전자기계 시스템(MEMS, microelectromechanical systems) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이 등을 포함할 수 있다. 일부 디스플레이는 투명형 또는 광투명형으로 구성되는 투명 디스플레이(transparent display)로 구현될 수 있다.
상기 터치감지부 133은 상기 표시부 131에 안착될 수 있으며, 상기 터치스크린 130 표면에 접촉 또는 근접하는 사용자 입력을 감지할 수 있다. 상기 사용자 입력은 싱글터치(single-touch), 멀티터치(multi-touch), 호버링(hovering), 또는 에어 제스처 중 적어도 하나에 기반하여 입력되는 터치 이벤트 또는 근접 이벤트를 포함할 수 있다. 예를 들어, 상기 사용자 입력은 탭(tap), 드래그(drag), 스윕(sweep), 플릭(flick), 드래그앤드롭(drag&drop), 또는 드로잉 제스처(drawing gesture)(예: 필기) 등)의 방식으로 입력될 수 있다. 상기 터치감지부 133는 상기 터치스크린 130 표면에서 사용자 입력(예: 터치 이벤트 또는 근접 이벤트)을 감지하고, 감지된 사용자 입력에 대응하는 신호를 생성하여 상기 제어부 180에게 전달할 수 있다. 상기 제어부 180은 상기 터치감지부 133에서 전달되는 신호에 의해 사용자 입력(예: 터치 이벤트 또는 근접 이벤트)이 발생된 영역에 해당하는 기능 실행을 제어할 수 있다.
상기 터치감지부 133은 본 발명의 실시 예에서 전자 장치 100의 사용과 관련된 동작을 개시하기 위한 사용자 입력을 수신할 수 있고, 사용자 입력에 따른 입력 신호를 발생할 수 있다. 상기 터치감지부 133은 표시부 131의 특정 부위에 가해진 압력 또는 표시부 131의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 상기 터치감지부 133은 입력 수단(예: 사용자 손가락, 전자 펜 등)이 표시부 131의 표면 상에 터치 또는 근접되는 위치 및 면적을 검출할 수 있다. 또한 상기 터치감지부 133은 적용한 터치 방식에 따라 터치 시의 압력까지도 검출할 수 있도록 구현될 수 있다. 상기 터치감지부 133에 대한 터치 또는 근접 입력이 있는 경우, 그에 대응하는 신호(들)는 터치스크린 제어기(미도시)로 전달될 수 있다. 상기 터치스크린 제어기(미도시)는 그 신호(들)를 처리한 다음 해당 데이터를 제어부 180에게 전달할 수 있다. 이로써, 제어부 180은 터치스크린 130의 어느 영역이 터치 또는 근접 되었는지 확인할 수 있고, 그에 대응하는 기능 실행 등을 처리할 수 있다.
상기 오디오 처리부 140은 상기 제어부 180로부터 입력 받은 오디오 신호를 스피커(SPK, speaker) 141로 전송하고, 마이크(MIC, microphone) 143로부터 입력 받은 음성 등의 오디오 신호를 제어부 180에 전달하는 기능을 수행할 수 있다. 상기 오디오 처리부 140은 음성/음향 데이터를 제어부 180의 제어에 따라 스피커 141를 통해 가청음으로 변환하여 출력하고, 마이크 143로부터 수신되는 음성 등의 오디오 신호를 디지털 신호로 변환하여 제어부 180에게 전달할 수 있다. 상기 오디오 처리부 140은 데이터에 삽입된 오디오 처리 정보(예: 효과음, 음악 파일 등)에 따라 사용자 입력에 반응하는 오디오 신호를 출력할 수 있다.
상기 스피커 141은 무선 통신부 110로부터 수신되거나, 또는 저장부 150에 저장된 오디오 데이터를 출력할 수 있다. 상기 스피커 141은 전자 장치 100에서 수행되는 다양한 동작(기능)과 관련된 음향 신호를 출력할 수도 있다. 상기 스피커 141은 음성 인식, 디지털 레코딩(recording) 및 전화 기능과 같은 오디오 스트림(stream)의 출력을 담당할 수 있다. 본 발명의 실시 예에서는 도시하지 않았지만, 상기 스피커 141은 탈부착 가능한(attachable and detachable) 이어폰(ear phone), 헤드폰(head phone) 또는 헤드셋(head set)이 외부 포트를 통해 전자 장치 100에 연결될 수 있다.
상기 마이크 143은 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리할 수 있다. 상기 마이크 143을 통해 처리되는 음성 데이터는 전자 장치 100이 통화 모드인 경우 이동통신 모듈 111을 통하여 외부로 송신 가능한 형태로 변환되어 출력될 수 있다. 상기 마이크 143에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘(noise reduction algorithm)이 구현될 수 있다. 상기 마이크 143은 음성 인식, 디지털 레코딩(recording) 및 전화 기능과 같은 오디오 스트림의 입력을 담당할 수 있다. 예를 들어, 상기 마이크 143은 음성 신호를 전기 신호로 변환할 수 있다. 본 발명의 실시 예에 따르면, 상기 마이크 143은 전자 장치 100에 실장되는 내장 마이크와 전자 장치에 연결되는 외장 마이크를 포함할 수 있다.
상기 저장부 150은 제어부 180에 의해 실행되는 하나 또는 그 이상의 프로그램들(one or more programs)을 저장할 수 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 입/출력되는 데이터들은 예를 들어, 기준 데이터, 옵션 설정 정보, 피로도 정보, 상태 정보, 상황 정보, 녹음 파일, 컨텐츠, 메신저 데이터(예: 대화 데이터), 컨택트(contact) 정보(예: 유선 또는 무선 전화번호 등), 메시지, 미디어 파일(예: 오디오, 동영상, 이미지 등의 파일) 등이 포함될 수 있다. 본 발명의 실시 예에서, 상기 저장부 150은 사용자의 상태 트래킹 및 전자 장치 100의 상태 트래킹에 대응하는 하나 또는 그 이상의 정보들을 저장할 수 있다.
상기 저장부 150은 전자 장치 100의 표시 제어 기능과 관련되는 다양한 프로그램들과 데이터를 저장할 수 있다. 예를 들어, 상기 저장부 150은 본 발명의 실시 예에서 본 발명의 동작을 개시하기 위한 동작 이벤트에 반응하여 사용자의 상태 트래킹과 전자 장치 100의 상태 트래킹(예: 상황 인식)을 처리하고, 상기 상태 트래킹에 대응하여 획득하는 상태 정보 및 상황 정보의 적어도 일부에 기반하여 사용자의 피로도 및 화면 옵션 조정을 위한 조정 정보를 획득하고, 획득된 조정 정보에 기반하여 화면 옵션의 자동 변경을 처리하는 하나 또는 그 이상의 프로그램들 및 그에 따라 처리되는 데이터(예: 인식 결과, 피로도, 상태 정보, 상황 정보, 조정 정보)를 저장할 수 있다.
상기 저장부 150은 전자 장치 100의 동작에 따른 사용 빈도(예: 기준 데이터 사용빈도, 어플리케이션 사용빈도, 컨텐츠 사용빈도 등), 중요도 및 우선순위도 함께 저장할 수 있다. 상기 저장부 150에는 터치스크린 130 상의 터치 입력 또는 근접 입력에 응답하여 출력되는 다양한 패턴(pattern)의 진동 및 음향에 관한 데이터를 저장할 수도 있다. 상기 저장부 150은 전자 장치 100의 운영 체제(OS, operating system), 터치스크린 130을 이용한 입력 및 표시 제어와 관련된 프로그램, 전자 장치 100의 다양한 동작(기능)들의 제어와 관련된 프로그램, 그리고 각 프로그램들의 동작에 의해 발생되는 다양한 데이터 등을 지속적으로 또는 일시적으로 저장할 수 있다.
상기 저장부 150은 확장 메모리(예: 외장 메모리) 또는 내부 메모리를 포함할 수 있다. 상기 저장부 150은 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, DRAM(Dynamic Random Access Memory), SRAM(Static RAM), ROM(Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 저장 매체(storage medium)를 포함할 수 있다. 전자 장치 100은 인터넷 상에서 상기 저장부 150의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
상기 저장부 150은 다양한 소프트웨어를 저장할 수 있다. 예를 들어, 소프트웨어 구성요소는 운영 체제(operating system) 소프트웨어 모듈, 통신 소프트웨어 모듈, 그래픽 소프트웨어 모듈, 사용자 인터페이스 소프트웨어 모듈, MPEG(Moving Picture Experts Group) 모듈 및 카메라 소프트웨어 모듈, 하나 이상의 어플리케이션 소프트웨어 모듈 등을 포함할 수 있다. 또한 소프트웨어 구성요소인 모듈은 명령어들의 집합으로 표현할 수 있으므로, 모듈을 명령어 세트(instruction set)라고 표현하기도 한다. 모듈은 또한 프로그램으로 표현하기도 한다. 본 발명의 실시 예에서 상기 저장부 150은 앞서 기술한 모듈 이외에 추가적인 모듈(명령어들)을 포함할 수 있다. 또는 필요에 따라, 일부의 모듈(명령어들)을 사용하지 않을 수도 있다.
상기 운영 체제 소프트웨어 모듈은 일반적인 시스템 동작(system operation)을 제어하는 여러 가지의 소프트웨어 구성요소를 포함할 수 있다. 이러한 일반적인 시스템 작동의 제어는, 예를 들면, 메모리 관리 및 제어, 저장 하드웨어(장치) 제어 및 관리, 전력 제어 및 관리 등을 의미할 수 있다. 또한 운영 체제 소프트웨어 모듈은 여러 가지의 하드웨어(장치)와 소프트웨어 구성요소(모듈) 사이의 통신을 원활하게 하는 기능도 수행할 수 있다.
상기 통신 소프트웨어 모듈은 무선 통신부 110을 통해 컴퓨터, 서버 또는 휴대용 단말기 등 다른 전자 장치와 통신을 가능하게 할 수 있다. 그리고, 통신 소프트웨어 모듈은 해당 통신 방식에 해당하는 프로토콜 구조로 구성될 수 있다.
상기 그래픽 소프트웨어 모듈은 터치스크린 130 상에 그래픽을 제공하고 표시하기 위한 여러 가지 소프트웨어 구성요소를 포함할 수 있다. 상기 그래픽(graphics)이란 용어는 텍스트(text), 웹 페이지(web page), 아이콘(icon), 디지털 이미지(digital image), 비디오(video), 애니메이션(animation) 등을 포함하는 의미로 사용될 수 있다.
상기 사용자 인터페이스 소프트웨어 모듈은 사용자 인터페이스(UI)에 관련한 여러 가지 소프트웨어 구성요소를 포함할 수 있다. 예를 들어, 사용자 인터페이스의 상태가 어떻게 변경되는지 또는 사용자 인터페이스 상태의 변경이 어떤 조건에서 이루어지는지 등에 대한 내용을 포함할 수 있다.
상기 MPEG 모듈은 디지털 컨텐츠(예: 비디오, 오디오) 관련 프로세스 및 기능들(예: 컨텐츠의 생성, 재생, 배포 및 전송 등)을 가능하게 하는 소프트웨어 구성요소를 포함할 수 있다.
상기 카메라 소프트웨어 모듈은 카메라 관련 프로세스 및 기능들을 가능하게 하는 카메라 관련 소프트웨어 구성요소를 포함할 수 있다.
상기 어플리케이션 모듈은 렌더링 엔진(rendering engine)을 포함하는 웹브라우저(browser), 이메일(email), 즉석 메시지(instant message), 워드 프로세싱(word processing), 키보드 에뮬레이션(keyboard emulation), 어드레스 북(address book), 접촉 리스트(touch list), 위젯(widget), 디지털 저작권 관리(DRM, digital right management), 홍채 인식(iris scan), 상황 인지(context cognition), 음성 인식(voice recognition), 위치 결정 기능(position determining function), 위치 기반 서비스(location based service) 등을 포함할 수 있다. 본 발명의 다양한 실시 예들에 따라, 상기 어플리케이션 모듈은 홍채 인식과 상황 인지 등을 위한 명령어들을 포함할 수 있다. 예를 들어, 상기 어플리케이션 모듈은 홍채 인식 시 설정된 정보에 기반하여 트래킹 결과를 획득하고, 획득된 결과에 대응하는 정보를 제공하고, 또한 획득된 결과에 대응하여 화면 옵션을 자동 변경하여 제공하는 동작(기능)을 처리할 수 있다.
상기 인터페이스부 160은 전자 장치 100에 연결되는 모든 외부 기기와의 인터페이스 역할을 수행할 수 있다. 상기 인터페이스부 160은 외부 기기로부터 데이터를 전송 받거나, 전원을 공급받아 전자 장치 100 내부의 각 구성들에 전달하거나, 전자 장치 400 내부의 데이터가 외부 기기로 전송되도록 할 수 있다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 입/출력(Input/Output) 포트, 비디오 입/출력 포트, 이어폰 포트 등이 인터페이스부 160에 포함될 수 있다.
상기 카메라 모듈 170은 전자 장치 100의 촬영 기능을 지원하는 구성을 나타낸다. 상기 카메라 모듈 170은 피사체의 영상(정지 영상 또는 동영상) 촬영을 지원할 수 있다. 상기 카메라 모듈 170은 제어부 180의 제어에 따라 임의의 피사체를 촬영하고, 촬영된 데이터를 표시부 131 및 제어부 180에 전달할 수 있다. 상기 카메라 모듈 170은 입력된 광 신호를 전기적 신호로 변환하는 이미지 센서(또는 카메라 센서)(미도시)와, 상기 이미지 센서로부터 입력되는 전기적 신호를 디지털 영상 데이터로 변환하는 이미지 신호 처리부(미도시) 등을 포함하여 구성될 수 있다. 상기 이미지 센서는 CCD(charge-coupled device) 또는 CMOS(complementary metal-oxide-semiconductor) 등의 방식을 이용하는 센서를 포함할 수 있다. 상기 카메라 모듈 170은 하나 이상의 이미지 센서를 포함할 수 있다. 예를 들어, 상기 카메라 모듈 170은 전자 장치 100의 전면(예: 표시부 131와 동일한 평면) 상에 구비되는 전면 센서(예: 전면 카메라)와 전자 장치 100의 후면(예: 배면) 상에 구비되는 후면 센서(예: 후면 카메라)를 포함할 수 있다. 상기 카메라 모듈 170은 사용자 설정에 따른 다양한 촬영 옵션(예: 주밍(zooming), 화면 비율, 효과(effect)(예: 스케치, 모노, 세피아, 빈티지, 모자이크, 액자 등)에 따른 촬영을 지원하기 위한 이미지 처리 기능을 지원할 수 있다.
상기 제어부 180은 전자 장치 100의 전반적인 동작을 제어할 수 있다. 예를 들어, 상기 제어부 180은 음성 통신, 데이터 통신, 화상 통신 등에 관련된 제어를 수행할 수 있다. 상기 제어부 180은 하나 이상의 프로세서를 포함하거나, 또는 제어부 180을 프로세서로 칭할 수도 있다. 예를 들어, 상기 제어부 180은 통신 프로세서(CP, communication processor), 어플리케이션 프로세서(AP, application processor), 인터페이스(예: GPIO(general purpose input/output)), 또는 내부 메모리 등을 별개의 구성요소로 포함하거나, 또는 하나 이상의 집적화된 회로에 집적화될 수 있다. 상기 어플리케이션 프로세서는 여러 가지의 소프트웨어 프로그램을 실행하여 전자 장치 100을 위한 여러 기능을 수행할 수 있고, 상기 통신 프로세서는 음성 통신 및 데이터 통신을 위한 처리 및 제어를 수행할 수 있다. 또한 상기 제어부 180은 저장부 150에 저장되어 있는 특정한 소프트웨어 모듈(명령어 세트(instruction set))을 실행하여 그 모듈에 대응하는 특정한 여러 가지의 기능을 수행하는 역할을 담당할 수 있다.
본 발명의 실시 예에 따르면, 상기 제어부 180은 표시 제어 기능을 수행하는 것과 관련된 동작을 제어할 수 있다. 예를 들어, 상기 제어부 180은 전자 장치 100의 동작 이벤트에 반응하여 홍채 인식과 상황 인지 등의 트래킹 동작을 개시할 수 있다. 상기 제어부 180은 상기 트래킹 동작에 대응하여 사용자 기반의 상태 정보와 전자 장치 100 기반의 상황 정보를 획득할 수 있다. 상기 제어부 180은 상기 상태 정보에 대응하여 사용자의 피로도에 대한 피드백 하는 것과 관련된 동작을 제어할 수 있다. 상기 제어부 180은 상기 상재 정보와 상기 상황 정보의 적어도 일부에 기반하여 상기 사용자의 피로도에 대응하게 화면 옵션을 자동 변경하고 그에 대응하게 화면 표시가 이루어지도록 처리할 수 있다. 또한 상기 제어부 180은 트래킹 동작을 수행하는 결과에 따른 다양한 정보(예: 상태 측정 결과, 홍채 이미지, 기준 데이터)를 저장하는 동작을 처리할 수 있다.
본 발명의 실시 예에 따르면, 상기 제어부 180은 저장부 150에 저장된 소프트웨어 모듈들)과 연동하여 본 발명의 실시 예에 따른 전자 장치 100의 표시 제어 동작을 수행할 수 있다. 본 발명의 다양한 실시 예들에 따르면, 상기 제어부 180은 상기한 다양한 기능들을 처리할 수 있는 하나 이상의 모듈들로 구현될 수 있다.
본 발명의 실시 예에 따르면, 상기 제어부 180은 저장부 150에 저장되는 하나 또는 그 이상의 프로그램들을 실행하여 본 발명의 실시 예에 따른 전자 장치 100의 동작을 제어하는 하나 또는 그 이상의 프로세서들(one or more processors)로 구현될 수 있다. 예를 들어, 상기 제어부 180은 후술하는 동작 이벤트 검출 모듈, 트래킹 모듈, 그리고 산출 모듈 등 적어도 일부를 포함하는 상태 트래킹부 181와, 변수 설정 모듈 및 결과 출력 모듈 등 적어도 일부를 포함하는 출력 처리부 183을 포함하여 구현될 수 있다.
본 발명의 실시 예에서 상기 상태 트래킹부 181은 본 발명의 표시 제어 기능을 개시하는 동작 이벤트를 감지하고, 상기 동작 이벤트에 반응하여 사용자와 전자 장치 100의 상태에 대한 트래킹을 처리하는 구성을 나타낸다. 상기 상태 트래킹부 181은 상기 트래킹 수행에 따른 결과에 기반하여 사용자의 피로도와 화면 옵션 변경을 위한 정보(예: 조정 정보)를 획득하는 것과 관련된 동작을 처리할 수 있다.
본 발명의 실시 예에서 상기 출력 처리부 183은 상기 상태 트래킹부 181의 동작 수행 결과로부터 획득된 피로도와 옵션 변경을 위한 정보에 대응하는 결과를 출력하는 것과 관련된 동작을 처리할 수 있다. 예를 들어, 상기 출력 처리부 183은 상기 피로도에 기반하여 사용자에게 알람을 통지하는 피드백을 처리할 수 있고, 상기 조정 정보에 기반하여 화면 옵션에 따른 하나 또는 그 이상의 변수들을 변경 설정하고 그에 대응하게 화면이 표시되도록 처리할 수 있다.
본 발명의 다양한 실시 예들에 따른 제어부 180은 상기의 기능 외에 전자 장치 100의 통상적인 기능과 관련된 각종 동작을 제어할 수 있다. 예를 들어, 제어부 180은 특정 어플리케이션 실행 시 그의 운영 및 화면 표시를 제어할 수 있다. 또한 제어부 180은 터치 기반 또는 근접 기반의 입력 인터페이스(예: 터치스크린 130)에서 지원하는 다양한 터치 이벤트 또는 근접 이벤트 입력에 대응하는 입력 신호를 수신하고 그에 따른 기능 운영을 제어할 수 있다. 또한 제어부 180은 유선통신 기반 또는 무선통신 기반으로 각종 데이터의 송수신을 제어할 수도 있다.
상기 전원 공급부 190은 제어부 180의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성 요소들의 동작에 필요한 전원을 공급할 수 있다. 본 발명의 실시 예에서 상기 전원 공급부 190은 제어부 180의 제어에 의해 상기 표시부 131, 상기 카메라 모듈 170 등에 전원을 공급 또는 차단(on/off)할 수 있다.
본 발명에서 설명되는 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 발명에서 설명되는 실시 예들은 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
본 발명의 실시 예에서, 상기 기록 매체는 동작 이벤트를 감지하는 동작, 상기 동작 이벤트에 응답하여 사용자의 상태 및 전자 장치의 상태를 트래킹 하는 동작, 상기 트래킹 수행 결과에 기반하여 상기 전자 장치에서 화면 표시와 관련된 옵션을 변경하는 동작, 상기 옵션 변경에 대응하는 결과 출력을 처리하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
그리고 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부 180 자체로 구현될 수 있다. 또한 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수도 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
또한 본 발명의 실시 예에 따르면, 전자 장치 100이 수행하는 기능(예: 표시 제어 기능) 중의 적어도 일부는 그 외부 장치(예: 서버)에 의해 수행될 수 있다. 예를 들면, 상기 서버는 제어부 180에 대응하는 처리 모듈을 포함하고, 상기 처리 모듈을 이용하여 전자 장치 100에서 전송되는 상태 정보와 상황 정보의 적어도 일부에 기반하여 사용자에 대응하는 피로도 및 화면 옵션 설정을 위한 조정 정보를 획득하는 것과 관련된 기능의 적어도 일부를 처리하고 그 결과를 전자 장치 100에 전송할 수 있다.
도 2는 본 발명의 실시 예에 따른 전자 장치에서 제어부의 구성 예시를 도시하는 도면이다.
상기 도 2를 참조하면, 본 발명의 실시 예에 따른 전자 장치 100의 제어부 180은, 앞서 살펴본 바와 같이 상태 트래킹부 181와 출력 처리부 183을 포함할 수 있다.
본 발명의 실시 예에서 상기 상태 트래킹부 181은 동작 이벤트 검출 모듈 210, 제1 트래킹 모듈 220, 제2 트래킹 모듈 230, 그리고 산출 모듈 240을 포함할 수 있다.
상기 동작 이벤트 검출 모듈 210은 본 발명의 실시 예에 따른 표시 제어 기능(예: 상태 트래킹)을 개시하기 위한 동작 이벤트를 검출할 수 있다. 상기 동작 이벤트와 관련하여 후술하는 도 4, 도 5, 도 6 및 도 7에서 상세히 설명한다.
상기 제1 트래킹 모듈 220은 상기 동작 이벤트에 반응하여 사용자의 상태를 트래킹 하는 것과 관련된 동작을 처리할 수 있다. 예를 들어, 상기 제1 트래킹 모듈 220은 상기 동작 이벤트에 반응하여 홍채 인식 과정을 처리하고, 홍채 인식 결과로부터 눈의 상태를 측정할 수 있다. 상기 제1 트래킹 모듈 220은 상기 사용자의 상태 트래킹에 대응하여 상태 정보(피로도)를 생성할 수 있다. 한 실시 예에 따르면, 상기 제1 트래킹 모듈 220은 홍채 인식 결과와 미리 설정된 기준 데이터를 비교할 수 있고, 그에 대응하는 상태 정보를 획득할 수 있다.
상기 제2 트래킹 모듈 230은 상기 제1 트래킹 모듈 220과 병렬적으로 또는 순차적으로 동작할 수 있다. 상기 제2 트래킹 모듈 230은 상기 동작 이벤트에 반응하여 전자 장치 100의 다양한 상태를 트래킹 하는 것과 관련된 동작을 처리할 수 있다. 예를 들어, 상기 제2 트래킹 모듈 230은 상황 인지 기술(context cognition technology)에 기반하여 전자 장치 100의 다양한 상황(예: 전자 장치 100의 사용 시간, 동작 상태, 주변 환경 등)을 측정할 수 있다. 상기 제2 트래킹 모듈 230은 상기 전자 장치 100의 상태 트래킹에 대응하여 적어도 하나의 상황 정보를 생성할 수 있다. 한 실시 예에 따르면, 상기 제2 트래킹 모듈 220은 전자 장치 100의 동작 정보, 전자 장치 100의 사용 정보, 전자 장치 100의 주변 환경 정보 등 중 적어도 일부에 기반하여 상기 상황 정보를 획득할 수 있다.
본 발명의 실시 예에서 상기 제2 트래킹 모듈 230은 사용 상태 검출 모듈 231, 동작 상태 검출 모듈 233, 그리고 주변 환경 검출 모듈 235를 포함할 수 있다.
상기 사용 상태 검출 모듈 231은 사용자에 의해 전자 장치 100 또는 실행 중인 어플리케이션의 사용 시간 또는 사용 누적 상태를 검출할 수 있다.
상기 동작 상태 검출 모듈 233은 전자 장치 100에서 현재 실행 중이거나, 사용자에 의해 실행 요청된 어플리케이션의 속성(예: 동영상, 게임, 웹, 메신저 등)을 검출할 수 있다.
상기 주변 환경 검출 모듈 235은 전자 장치 100이 사용되는 주변 환경(예: 낮, 밤, 조도, 조명, 날씨, 위치(실내/실외) 등)을 검출할 수 있다.
상기 산출 모듈 240은 상기 제1 트래킹 모듈 220과 상기 제2 트래킹 모듈 230의 트래킹 결과(예: 상태 정보, 상황 정보)에 기반하여 사용자의 피로도를 산출할 수 있다. 또한 상기 산출 모듈 240은 상기 트래킹 결과에 기반하여 화면 옵션을 변경하기 위한 조정 정보(예: 옵션들의 설정 변수 값)를 산출할 수 있다.
본 발명의 실시 예에서 상기 출력 처리부 183은 변수 설정 모듈 270과 결과 출력 모듈 280을 포함할 수 있다.
상기 변수 설정 모듈 250은 현재 설정되어 있는 화면 옵션의 변수들을 상기 산출 모듈 240에서 제공되는 상기 조정 정보에 대응하는 변수로 변경 설정할 수 있다.
상기 결과 출력 모듈 260은 상기 변수 설정 모듈 250에 의해 변경된 변수에 따른 옵션에 대응하는 화면 출력을 처리할 수 있다. 본 발명의 실시 예에 따르면, 상기 결과 출력 모듈 260은 상기 변경된 변수에 따른 옵션에 대응하는 소프트웨어적인 필터(filter)를 현재 표시 중인 화면 상에 구현하여 상기 변경되는 화면 출력을 처리할 수도 있다. 또한 상기 결과 출력 모듈 260은 상기 산출 모듈 240에서 산출하는 피로도에 대응하는 정보 출력을 처리할 수 있다. 한 실시 예에 따르면, 상기 결과 출력 모듈 260은 피로도에 대응하는 홍채 이미지와 그에 대응하는 경고 메시지를 다양한 그래픽적 요소(예: UI 또는 GUI)로 구현하여 화면 상에 표시되도록 처리할 수 있다.
도 3은 본 발명의 실시 예에 따른 전자 장치에서 화면 설정을 변경하는 동작 절차를 도시하는 흐름도이다.
상기 도 3을 참조하면, 동작 301에서, 제어부 180은 사용자 상태 판단을 위한 입력을 감지할 수 있다. 예를 들어, 사용자는 전자 장치 100의 사용을 위해 표시부 131를 턴-온(turn-on)하는 이벤트를 설정된 인터페이스(예: 전원 버튼)를 이용하여 입력할 수 있고, 제어부 180은 상기 이벤트에 반응하여 상기 표시부 131의 턴-온을 제어할 수 있고, 또한 상기 이벤트에 대해 표시 제어 동작 개시(예: 상태 트래킹에 의한 사용자/전자 장치 100의 상태 판단)을 위한 동작 이벤트로 감지할 수 있다. 또는 전자 장치 100에서 다양한 보안 기능(예: 락스크린(lock screen), 전자 결제, 금융 거래, 로그인 등)에 따른 사용자 인증을 위한 수단으로 홍재 인식(iris scan)이 설정될 수 있고, 상기 보장 기능 해제를 위한 홍채 인식 동작이 개시되는 경우, 이를 상기 동작 이벤트로 감지할 수 있다. 또는 전자 장치 100은 어플리케이션 실행 중에 사용자의 눈을 추적하는 아이 트래킹(eye tracking) 기능이 설정될 수 있고, 제어부 180은 상기 아이 트래킹 기능이 동작(예: 설정된 주기, 또는 설정된 조건 등에 따라 동작)하는 경우, 이를 상기 동작 이벤트로 감지할 수 있다.
동작 303에서, 제어부 180은 상기 동작 이벤트 입력을 감지하면, 사용자 상태를 자동 측정(판단)하여 상태 정보를 획득할 수 있다. 예를 들어, 제어부 180은 상기 동작 이벤트에 반응하여 선택적으로 카메라 모듈 170(예: 전면 카메라)을 턴-온 제어할 수 있고, 상기 카메라 모듈 170을 통해 아이 트래킹 및 홍채 인식을 처리할 수 있다. 제어부 180은 상기 홍채 인식을 통해 인식된 사용자 눈의 이미지(예: 홍채 이미지)로부터 사용자 눈의 상태(예: 충혈 정도 등)를 판단할 수 있고, 판단된 결과로부터 상기 상태 정보(예: 눈의 피로도)를 획득할 수 있다.
동작 305에서, 제어부 180은 전자 장치 100에 대한 상황 인지에 의해 상황 정보를 획득할 수 있다. 예를 들어, 제어부 180은 상황 인지 기술(context cognition technology)에 기반하여 전자 장치 100의 다양한 상황(예: 현재 상태, 사용 누적 상태, 사용 환경 등)을 트래킹 하여 그 상태를 판단할 수 있고, 상황 인지에 따라 하나 또는 그 이상의 상황들에 대응하는 상황 정보(context information)를 획득할 수 있다. 본 발명의 실시 예에서 상기 상황 정보는 전자 장치 100의 동작 정보(예: 실행 중이거나 실행 요청된 어플리케이션의 속성(동영상, 게임, 웹, 메신저 등), 전자 장치 100의 사용 정보(예: 전자 장치 100 또는 어플리케이션 사용 시간 등), 전자 장치 100이 사용되는 주변 환경 정보(예: 낮, 밤, 조도, 조명, 날씨, 위치(실내/실외) 등) 등을 포함할 수 있다.
동작 307에서, 제어부 180은 상기 상태 정보와 상기 상황 정보에 기반하여 화면 설정을 위한 조정 정보를 산출할 수 있다. 예를 들어, 제어부 180은 화면의 HSV(색상(hue), 채도(saturation), 명도(value)) 또는 HSB(색상(hue), 채도(saturation), 밝기(brightness)), 블루라이트(blue light), 그리고 해상도(resolution) 등의 옵션(option)들 중 적어도 일부를 설정하기 위한 조정 정보(예: 화면 설정을 위한 각 옵션 별 변수)를 상기 상태 정보와 상기 상황 정보의 복합 요소에 기반하여 산출할 수 있다.
또한 제어부 180은 상기 조정 정보를 산출할 시 상기 조정 정보를 화면 전체에 일괄적으로 적용하는 제1방식(예: 일괄 적용 방식)과 표시되는 오브젝트(object), 컨텐츠 또는 영역 별로 구분하여 상이하게 적용하는 제2방식(예: 구분 적용 방식)을 결정하는 동작을 수행할 수 있다. 한 실시 예에 따르면, 제어부 180은 사용자 설정에 기반하여 상기 제1방식 또는 제2방식을 결정할 수 있고, 또는 상기 상황 정보에서 전자 장치 100에서 실행되고 있는 어플리케이션의 형태 또는 화면의 표시 형태(예: 오브젝트의 종류(텍스트, 이미지 등), 컨텐츠의 속성, 구분되는 영역들의 수 등)에 대응하여 상기 제1방식 또는 제2방식을 결정할 수 있다.
동작 309에서, 제어부 180은 상기 조정 정보에 기반하여 전자 장치 100의 적어도 하나의 화면 설정을 변경할 수 있다. 예를 들어, 제어부 180은 상기 조정 정보에 대응하여 조정이 필요한 적어도 하나의 옵션의 설정을 변경할 수 있다.
동작 311에서, 제어부 180은 변경 결과를 출력할 수 있다. 예를 들어, 제어부 180은 적어도 하나의 옵션 설정을 변경할 수 있고, 변경된 옵션 설정에 대응하는 화면 출력을 제어할 수 있다. 또한 제어부 180은 상기 옵션 설정에 대응하는 화면 출력에 병렬적으로 또는 순차적으로 상기 상태 정보와 상기 상황 정보의 적어도 일부에 기반하여 판단하는 사용자 상태에 대한 출력 정보(예: 피로도 정보)를 제공할 수도 있다.
도 4, 도 5, 도 6 및 도 7은 본 발명의 실시 예에 따른 전자 장치에서 사용자의 상태 트래킹을 개시하는 동작을 설명하기 위해 도시하는 도면들이다.
본 발명의 실시 예에 따르면, 사용자의 상태(예: 눈의 상태)를 측정하는 상태 트래킹의 개시(initiation)는, 전자 장치 100의 사용을 위해 사용자가 전자 장치 100를 조작하는 동작 이벤트, 전자 장치 100이 동작하는 중에 아이 트래킹과 관련된 기능을 실행하는 동작 이벤트, 전자 장치 100이 동작하는 중에 설정된 주기마다 동작하는 동작 이벤트, 전자 장치 100에서 실행 중인 어플리케이션을 변경하는 동작 이벤트, 전자 장치 100이 사용되는 환경의 변화(예: 실내->실외, 낮->밤, 조도 낮음 -> 조도 높음 등)에 따라 동작하는 동작 이벤트 등의 적어도 하나의 동작 이벤트에 기반하여 이루어질 수 있다.
본 발명의 실시 예에 따르면, 상기 도 4에 도시한 바와 같이, 전자 장치 100의 표시부 131이 오프(off)된 상태이고, 사용자가 상기 표시부 131을 턴-온하기 위해 설정된 인터페이스(예: 전원 버튼 410)를 이용한 동작 이벤트를 입력할 수 있다. 제어부 180은 상기 전원 버튼 410에 의한 동작 이벤트 입력에 반응하여 상기 표시부 131을 턴-온 제어할 수 있다. 그리고 제어부 180은 표시부 131의 제어와 함께 카메라 모듈 170(예: 전면 카메라)을 턴-온 제어하고, 상기 카메라 모듈 170에 기반하여 사용자의 상태 트래킹(예: 아이 트래킹, 홍채 인식)을 수행할 수 있다.
본 발명의 실시 예에 따르면, 상기 도 5에 도시한 바와 같이, 전자 장치 100의 락스크린이 제공된 상태이고, 상기 락스크린 해제를 위한 인증 수단이 홍채 인식인 경우, 사용자는 락스크린 해제를 위해 카메라 모듈 170(예: 전면 카메라)을 통해 사용자의 홍채를 인식시키기 위한 일련의 과정(동작 이벤트)을 수행할 수 있다. 제어부 180은 상기 락스크린 해제를 위한 홍채 인식 과정을 수행하는 동작 이벤트에 반응하여 사용자의 상태 트래킹을 처리할 수 있다. 제어부 180은 상기 홍채 인식 과정에 병렬적으로 또는 순차적으로 사용자의 상태 트래킹을 수행할 수 있다.
본 발명의 실시 예에 따르면, 상기 도 6에 도시한 바와 같이, 사용자가 임의의 웹사이트에서 홍채 인식을 통해 사용자 인증(예: 로그인, 전자 결제 등)을 수행하려고 하는 경우의 동작 예시를 나타낼 수 있다. 본 발명의 실시 예에서 사용자가 카메라 모듈 170(예: 전면 카메라)을 이용한 홍채 인증 기반으로 사용자 인증을 수행할 때, 표시 중인 웹사이트 화면 상의 일 영역(예: 화면 하단)에 홍채 인식 과정 진행과 관련된 다양한 그래픽적 요소(UI 또는 GUI)가 제공될 수 있다. 제어부 180은 전자 장치 100이 동작하는 중에 홍채 인식에 의한 사용자 인증 과정을 수행하는 동작 이벤트에 반응하여 사용자의 상태 트래킹을 처리할 수 있다. 제어부 180은 상기 사용자 인증 과정에 병렬적으로 또는 순차적으로 사용자의 상태 트래킹을 수행할 수 있다.
본 발명의 실시 예에 따르면, 상기 도 7에 도시한 바와 같이, 전자 장치 100에, 아이 트래킹을 통해 전자 장치 100의 동작 상태를 일시 정지하는 기능, 또는 사용자의 얼굴이 화면을 향해 있는지 여부를 판단하여 화면을 오프(off)하지 않고 유지하는 기능(예: 스마트 스테이(smart stay)) 등이 사용자에 의해 설정될 수 있다. 상기 일시 정지 기능 또는 스마트 스테이 기능 등은 사용자에 의해 사전 설정될 수 있고, 전자 장치 100에서 설정된 주기에 대응하여 카메라 모듈 170(예: 전면 카메라)을 활성화 하여 수행될 수 있다. 전자 장치 100에 상기의 기능들 중 적어도 하나의 기능이 설정되어 있는 경우, 제어부 180은 전자 장치 100가 동작하는 중에 사용자의 상태를 인지하여 상기한 기능을 수행하는 동작 이벤트에 반응하여 사용자의 상태 트래킹을 처리할 수 있다. 제어부 180은 상기 기능 처리 과정에 병렬적으로 또는 순차적으로 사용자의 상태 트래킹을 수행할 수 있다. 제어부 180은 상기한 기능을 동작할 때 기능 실행을 알리는 관련 아이템(예: 눈 모양의 아이콘 710)을 표시부 131의 어느 일 영역(예: 상태바(status bar), 노티바(notification bar))에 제공할 수 있다.
또한 본 발명의 실시 예에 따르면, 전자 장치 100은 동작 이벤트를 특정 주기(예: 5분, 10분, 20분 등)마다 발생되도록 사용자에 의해 설정될 수 있다. 제어부 100은 전자 장치 100를 동작할 때 상기 특정 주기를 체크할 수 있고, 상기 특정 주기가 되면 이를 동작 이벤트로 인지하여 사용자의 상태 트래킹을 처리할 수도 있다.
또한 본 발명의 실시 예에 따르면, 사용자가 상태 트래킹을 의도하는 의도된 입력을 설정할 수 있고, 제어부 180은 상기 의도된 입력을 감지할 시 동작 이벤트로 인지하여 사용자의 상태 트래킹을 처리할 수도 있다. 상기 의도된 입력은 버튼 입력, 메뉴 선택 입력, 터치(또는 제스처) 입력, 전자 장치 100의 모션 제어 입력, 전자 장치 100 상의 에어 제스처 입력, 어플리케이션 실행 입력 등을 포함할 수 있다.
도 8은 본 발명의 실시 예에 따른 전자 장치에서 제공하는 설정 메뉴의 구성 예시를 설명하기 위해 도시하는 도면이다.
상기 도 8을 참조하면, 상기 도 8은 본 발명의 전자 장치 100에서 지원하는 화면 설정을 위한 다양한 옵션들의 예시를 나타낸다.
본 발명의 실시 예에 따르면, 화면 설정과 관련하여 밝기 810, 화면모드 820, 해상도 830, 블루라이트 840, 자동 조정 850 등의 다양한 옵션을 포함할 수 있다. 상기 밝기 옵션 810은 색상, 채도, 밝기, 자동 등의 항목을 설정할 수 있다. 상기 화면모드 옵션 820은 화면 최적화, 선명한 화면, 표준 화면, 사진 전용 화면, 영화 전용 화면 등의 항목을 설정할 수 있다. 상기 해상도 옵션 830은 높음, 보통, 낮음, 자동 등의 항목을 설정할 수 있다. 상기 블루라이트 옵션 840은 차단(cutoff), 로우(low), 보통(medium), 하이(high) 등의 항목을 설정할 수 있다. 상기 자동 조정 옵션 850은 활성화/비활성화(예: On/Off), 등록(예: 표준, 데이터1, 데이터2, 데이터3 등), 구분(예: 전체, 영역, 오브젝트 등), 디바이스(예: 동작, 사용, 환경 등), 표시(예: 활성화/비활성화, 팝업, 상태바, 전체 등) 등의 항목을 설정할 수 있다.
본 발명의 실시 예에서, 상기 자동 조정 옵션 850은 사용자 상태를 트래킹하여 상기 화면 설정과 관련된 다양한 옵션들(예: 밝기 810, 화면모드 820, 해상도 830, 블루라이트 840 등)을 트래킹된 사용자 상태에 따라 자동 조정하기 위한 옵션을 나타낼 수 있다.
상기 자동 조정 옵션 850을 살펴보면, 상기 활성화/비활성화 항목을 통해 화면 옵션을 트래킹 하는 사용자 상태에 따라 자동 변경 설정하는 동작의 수행 여부가 설정될 수 있다.
상기 등록 항목은 사용자 상태를 트래킹 하는 데 필요한 하나 또는 그 이상의 기준 데이터(예: 홍채 정보(사용자 홍채 이미지))를 생성 및 등록하는 항목을 나타낼 수 있다. 예를 들어, 상기 등록 항목은 화면 설정을 사용자 상태에 따라 자동 변경 설정하는 기능을 사용할 때 전자 장치 100에 기준 데이터(예: 홍채 정보)를 등록하여 저장하기 위한 항목으로, 하나 또는 그 이상의 기준 데이터가 등록될 수 있다. 한 실시 예에 따르면, 전자 장치 100은 카메라 모듈 170(예: 전면 카메라) 또는 홍채 인식 센서 등을 이용한 홍채 스캔에 따른 이미지를 처리할 수 있고, 처리된 이미지(예: 사용자에 의해 등록되는 적어도 하나의 홍채(또는 홍채 이미지))를 저장할 수 있다.
사용자는 홍채를 인식하는 동작에서 인식된 기준 데이터(예: 홍채 이미지)에 대하여 표준, 데이터1, 데이터2 또는 데이터3 등과 같이 등록할 수 있다. 본 발명의 실시 예에서 상기 표준은 예를 들어, 사용자의 눈이 양호한 상태(예: 피로(충혈 등) 없이 정상적인 상태, 설정된 피로도 기준과 비교하여 이하인 상태)를 나타낼 수 있고, 상기 데이터1, 데이터2, 데이터3은 예를 들어, 사용자의 눈이 피로한 정도(예: 충혈 정도)에 따라 다양하게 구분되어 등록될 수 있다. 상기 표준, 데이터1, 데이터2 또는 데이터3은 어느 하나 또는 복수가 등록될 수 있다. 상기 표준, 데이터1, 데이터2 또는 데이터3 등에 따른 기준 데이터는 사용자 눈의 홍채 인식을 통해 직접 등록하거나, 외부 장치(예: 다른 전자 장치, 외부 서버)로부터 수신하여 등록하거나, 또는 전자 장치 100에서 피로도별 통계적인 데이터에 의해 제공될 수도 있다.
상기 구분 항목은 사용자 상태에 대응하게 변경 설정된 옵션에 따라 화면을 표시하는 방식을 설정하는 항목을 나타낼 수 있다. 예를 들어, 상기 구분 항목에서 ‘전체’ 선택인 경우 변경 설정된 옵션에 기반하여 전체 화면에 일괄 적용하여 표시할 수 있고, 상기 구분 항목에서 ‘속성’ 선택인 경우 변경 설정된 옵션에 기반하여 화면에 표시되는 컨텐츠의 속성(예: 동영상, 텍스트, 이미지 등) 별로 구분하여 상이하게 적용하여 표시할 수 있고, 상기 구분 항목에서 ‘오브젝트’ 선택인 경우 변경 설정된 옵션에 기반하여 화면에 표시되는 오브젝트(object) 별로 구분하여 상이하게 적용하여 표시할 수 있다.
상기 디바이스 항목은 사용자 상태를 트래킹 하는 다른 요소를 설정하는 항목을 나타낼 수 있다. 예를 들어, 상기 디바이스 항목에서 ‘사용’은 사용자가 전자 장치 100을 사용하는 시간(예: 게임 시간, 어플리케이션 사용 시간 등)을 사용자 상태 트래킹에 반영할 시 선택될 수 있다. 상기 디바이스 항목에서 ‘동작’은 트래킹 시점에 전자 장치 100에서 실행 중이거나 또는 실행 요청된 어플리케이션의 속성(예: 동영상, 게임, 웹, 메신저 등)을 사용자 상태 트래킹에 반영할 시 선택될 수 있다. 상기 디바이스 항목에서 ‘환경’은 트래킹 시점에 전자 장치 100가 사용되고 있는 주변 환경(예: 낮, 밤, 조도, 조명, 날씨, 위치(실내/실외) 등)을 사용자 상태 트래킹에 반영할 시 선택될 수 있다. 상기 디바이스 항목은 사용자 선택에 따라 ‘사용’, ‘동작’ 또는 ‘환경’ 중 하나 또는 그 이상이 설정될 수 있다.
상기 표시 항목은 트래킹된 사용자 상태(예: 상태 정보, 상황 정보)에 관련된 출력 정보(예: 측정 정보, 피로도 정보)를 표시하는 방식을 설정하는 항목을 나타낼 수 있다. 예를 들어, 상기 표시 항목에서 ‘활성화/비활성화’를 통해 상기 출력 정보를 표시하는 동작의 수행 여부가 설정될 수 있다. 상기 표시 항목에서 ‘팝업(pop-up)’은 상기 출력 정보를 팝업 윈도우(popup window)를 통해 텍스트, 이미지 등의 다양한 그래픽적 요소(예: UI 또는 GUI)에 기반하여 표시하는 방식을 나타낼 수 있다. 상기 표시 항목에서 ‘상태바’는 상기 관련 정보를 전자 장치 100의 상태바(예: 노티바(notification bar), 인디케이터 영역)를 통해 노티 아이템(notification item)(예: 텍스트(text), 노티 아이콘(notification icon) 등)에 기반하여 표시하는 방식을 나타낼 수 있다. 상기 표시 항목에서 ‘전체’는 상기 출력 정보를 전체 화면(예: 화면 전환)을 통해 텍스트, 이미지 등의 그래픽적 요소(예: UI 또는 GUI)에 기반하여 표시하는 방식을 나타낼 수 있다.
본 발명의 실시 예에 따르면, 사용자의 상태 트래킹은 앞서의 예시와 같이 사용자의 눈의 상태를 트래킹하는 것과, 전자 장치 100의 상황 인지에 의해 전자 장치 100의 다양한 상황(예: 동작, 사용, 환경 등의 상태)을 트래킹(예: 상황 인지) 하는 것을 포함할 수 있다. 따라서 본 발명의 실시 예에 따르면, 사용자 상태에 따른 화면 설정을 변경할 때 사용자의 생체(예: 눈의 피로) 상태를 고려하는 제1요소(예: 상태 정보)와, 사용자의 전자 장치 100 사용 상태 및 전자 장치 100의 동작 상태 등을 고려하는 제2요소(예: 상황 정보)를 복합적으로 고려하여 변경할 수 있다.
예를 들어, 본 발명의 실시 예에 따르면, 제어부 180은 사용자의 상태(예: 눈의 충혈 상태) 트래킹에 의해 상기 등록 항목에서 등록된 표준에 대응하는 상태 정보를 획득하면, 현재 설정된 옵션에 따른 화면을 유지하도록 처리할 수 있다. 또한 제어부 180은 상기 상태 정보와, 상기 디바이스 항목에서 설정된 요소에 대응하는 상황 정보를 획득하여 옵션 변경을 위한 정보(예: 조정 정보)를 획득할 수 있다. 그리고 제어부 180은 상기 조정 정보에 기반하여 하나 또는 그 이상의 옵션을 자동 변경할 수 있다.
또한 본 발명의 실시 예에 따르면, 제어부 180은 사용자의 상태(예: 눈의 충혈 상태) 트래킹에 의해 상기 등록 항목에서 등록된 데이터1, 데이터2, 또는 피로도3에 대응하는 상태 정보를 획득하면, 해당 상태 정보에 대응하여 현재 설정된 옵션을 다양하게 변경하여 화면을 표시하도록 처리할 수 있다. 한 실시 예에 따르면, 데이터1의 경우 옵션1(예: 밝기)에서 하나 또는 그 이상의 항목을 조정하도록 처리할 수 있고, 데이터2의 경우 옵션1(예: 밝기), 옵션4(예: 블루라이트)에서 하나 또는 그 이상의 항목을 조정하도록 처리할 수 있고, 데이터3의 경우 옵션1(예: 밝기), 옵션2(예: 화면모드), 옵션3(예: 해상도) 및 옵션4(예: 블루라이트)에서 하나 또는 그 이상의 항목을 조정하도록 처리할 수 있다.
또한 본 발명의 실시 예에 따르면, 제어부 180은 상기 상태 정보(예: 표준, 데이터1, 데이터2, 데이터3)를 획득하여 옵션 변경을 위한 제1 조정 정보를 획득할 수 있고, 상기 디바이스 항목에서 설정된 요소에 대응하는 상황 정보를 획득하여 옵션 변경을 위한 상기 제1 조정 정보에 상기 상황 정보에 대응하여 추가적으로 옵션이 변경된 제2 조정 정보를 획득할 수 있다. 제어부 180은 상기 제2 조정 정보에 기반하여 현재 설정된 옵션을 다양하게 변경하여 화면을 표시하도록 처리할 수 있다.
이상에서와 같이, 본 발명의 실시 예에 따르면, 사용자에 대응하는 상태 정보에 기반하여 일차적으로 옵션 설정을 변경할 수 있고, 전자 장치 100에 대응하는 상황 정보에 기반하여 이차적으로 옵션 설정을 추가 변경할 수 있다. 또는 본 발명의 실시 예에 따르면, 사용자에 대응하는 상태 정보와 전자 장치 100에 대응하는 상황 정보를 동시에 고려하여 옵션 설정을 변경할 수 있다. 즉, 본 발명의 실시 예에 따르면, 옵션 설정 변경은 상태 정보와 상황 정보를 병렬적 또는 순차적으로 처리하여 변경할 수 있으며, 병렬적 또는 순차적 처리에 대한 결과는 동일한 결과를 가질 수 있다.
도 9, 도 10 및 도 11은 본 발명의 실시 예에 따른 전자 장치에서 사용자 상태에 대한 정보를 출력하는 예시를 도시하는 도면들이다.
상기 도 9, 도 10 및 도 11에 도시한 바와 같이, 상기 도 9, 도 10 및 도 11은 트래킹된 상태 정보와 상황 정보에 기반하여 판단된 사용자의 피로도 정도를 다양한 그래픽적 요소(예: UI 또는 GUI)로 시각화 하여 표시하는 예시를 나타낸 것이다.
상기 도 9를 참조하면, 상기 도 9는 상기 피로도 정도에 대응하는 출력 정보를 현재 표시 중인 실행 화면 910 상에 팝업 윈도우 930을 실행하여 표시하는 경우의 예시를 나타낸다. 예를 들어, 상기 팝업 윈도우 930은 트래킹된 사용자의 상태 정보에 대응하는 이미지 950(예: 눈 형상의 이미지)와 경고 메시지 970(예: 텍스트(예: 눈 보호를 위해 사용을 보류해주세요), 피로도 지수(예: 피로도F))를 포함하는 출력 정보를 표시할 수 있다. 본 발명의 실시 예에 따르면, 트래킹된 사용자 상태에 대응하여 상기 출력 정보(예: 이미지 950, 경고 메시지 970)가 다양하게 제공될 수 있다. 한 실시 예에 따르면, 상기 눈 형상의 이미지 950에서 눈의 충혈 상태에 따라 충혈 정도가 다르게 표시될 수 있고, 그에 대응하여 경고 메시지 970가 다르게 제공될 수 있다. 또한 본 발명의 실시 예에 따르면, 상기 눈 형상의 이미지 950는 동공 크기 변화에 대한 정보도 포함하여 제공될 수 있다.
상기 도 10을 참조하면, 상기 도 10은 현재 표시 중인 화면 910은 유지하면서 상기 피로도 정도에 대응하는 출력 정보를 표시부 131의 어느 일 영역(예: 상태바 1010)에 표시하는 경우의 예시를 나타낸다. 예를 들어, 상기 상태바 1010은 트래킹된 사용자의 상태 정보에 대응하는 노티 아이템 1030에 기반하여 출력 정보를 표시할 수 있다. 상기 상태바 1010은 트래킹된 사용자 상태에 대응하는 눈 형상의 이미지(또는 아이콘)와 메시지(예: 피로도 지수(fatigue rate index)(예: 피로도F) 등)를 포함하는 노티 아이템을 표시할 수 있다. 한 실시 예에 따르면, 사용자 눈의 피로도를 A등급부터 G등급까지 구분하는 것으로 가정할 수 있으며, G등급으로 갈수록 피로도가 많은 것을 나타낼 수 있다. 본 발명의 실시 예에 따르면, 트래킹된 사용자 상태에 대응하여 상기 노티 아이템(예: 눈 형상의 이미지, 피로도 지수)가 다양하게 제공될 수 있다.
또한 본 발명의 실시 예에 따르면, 사용자가 상기 상태바 1010에서 상기 노티 아이템 1030을 선택(예: 터치(touch), 드래그(drag), 스윕/플릭(sweep/flick) 등)할 시 전자 장치 100에 설정된 방식에 기반하여 상기 도 9와 같이 팝업 윈도우를 통해 출력 정보가 표시되거나, 또는 후술하는 도 11과 같이 전체 화면을 통해 출력 정보가 표시될 수 있다.
상기 도 11을 참조하면, 상기 도 11은 상기 피로도 정도에 대응하는 출력 정보를 전체 화면(예: 화면 전환)을 통해 표시하는 경우의 예시를 나타낸다. 예를 들어, 트래킹된 사용자의 상태 정보에 대응하는 이미지 1150(예: 눈 형상의 이미지)와 경고 메시지(예: 텍스트(예: 눈 보호를 위해 사용을 보류해주세요), 피로도 지수(예: 피로도F) 등)를 포함하는 출력 정보를 화면 전환에 기반하여 전체 화면으로 표시할 수 있다.
한편, 본 발명의 실시 예에서 상기 도 9, 도 10 또는 도 11의 예시에 대응하는 출력 정보를 제공할 시, 사용자 상태에 대응하게 변경된 화면 옵션에 기반하여 표시할 수 있다.
도 12, 도 13, 도 14 및 도 15는 본 발명의 실시 예에 따른 전자 장치에서 화면 설정의 변경에 의한 출력 동작 예시를 설명하기 위해 도시하는 도면들이다.
상기 도 12, 도 13, 도 14 및 도 15에 도시한 바와 같이, 상기 도 12, 도 13, 도 14 및 도 15는 사용자의 눈 상태를 트래킹하는 결과(예: 상태 정보)와 전자 장치 100의 상태를 트래킹하는 결과(예: 상황 정보)에 기반하여 획득된 조정 정보에 따라 화면 설정을 변경하여 표시하는 과정을 예시한 도면들이다.
전자 장치 100을 주시하는 사용자의 눈은, 사용자가 상기 전자 장치 100를 사용하는 시간의 증가에 따라 눈의 피로도도 급격히 증가할 수 있다. 본 발명의 실시 예에서, 상기 사용자의 눈 피로도는, 동공의 확장 또는 축소 상태 측정(예: 동공 크기의 변화), RGB 값(예: red 값)을 바탕으로 충혈된 상태 측정(예: 충혈 상태의 변화(충혈 정도)), 눈의 윤기를 비교하여 상태 측정(예: 윤기 정도), 눈 주위 열 상태 측정, 또는 눈 조직의 변화를 바탕으로 상태 측정 등과 같은 다양한 측정에 기반하여 판단될 수 있다. 본 발명의 실시 예에 따르면, 상기 전자 장치 100는 상기 동공 크기와 충혈 상태 등에 연관된 눈 상태 트래킹 정보(예: 상태 정보)와 전자 장치 100의 사용 상태에 연관된 트래킹 정보(예: 상황 정보)의 적어도 일부에 기반하여, 상기 사용자의 눈 피로도를 판단할 수 있다.
상기 도 12를 참조하면, 상기 도 12는 전자 장치 100가 사용자 입력에 대응하는 동작(기능)을 실행하고 관련 화면을 표시하는 예시를 나타낸 것이다. 전자 장치 100은 상기 사용자 입력(예: 동작 이벤트)에 반응하여 사용자의 상태(예: 눈 1210의 상태)를 측정하는 상태 트래킹을 개시할 수 있다. 예를 들어, 상기 도 12에 도시한 바와 같이, 사용자의 시선이 전자 장치 100에 표시 중인 화면을 바라보고 있는 상태이고, 전자 장치 100은 아이 트래킹 기술에 기반하여 카메라 모듈 170(예: 전면 카메라)을 통해 사용자 눈 1210을 촬영할 수 있다. 전자 장치 100은 촬영된 사용자 눈의 이미지(예: 홍채 이미지), 사전 설정된 기본 데이터에 기반하여 상태 정보를 획득할 수 있고, 상황 인지 기술에 기반하여 전자 장치 100의 사용 시간, 동작 상태, 주변 환경 등에 대응하는 상황 정보를 획득할 수 있다.
전자 장치 100은 상기 상태 정보와 상기 상황 정보에 기반하여 조정 정보를 획득(산출)할 수 있고, 획득된 조정 정보에 기반하여 화면 옵션의 설정을 실시간으로 변경하여 표시할 수 있다. 상기 도 12의 예시에서는 전자 장치 100이 동작을 개시하는 시점(예: 사용자가 전자 장치 100의 사용을 시작하는 시점)이고, 트래킹된 사용자 상태가 양호(예: 피로도 없음)한 경우의 예시를 나타낼 수 있다. 본 발명의 실시 예에서는 상기 도 12의 예시와 같이 사용자의 피로도가 없는 것으로 판단하는 경우, 전자 장치 100에 이전(또는 현재) 설정된 화면 옵션에 기반하여 화면 표시를 처리할 수 있다. 예를 들어, 전자 장치 100이 동작을 개시할 때 표시되는 화면을 유지하여 제공할 수 있다. 또는 본 발명의 실시 예에 따라, 상기 트래킹된 사용자 상태에 대응하게 화면 옵션을 실시간으로 변경하여 표시할 수도 있다.
상기 도 13을 참조하면, 상기 도 13은 상기 도 12와 같은 상태에서 사용자가 전자 장치 100을 일정 시간 이상 사용하는 상태이고, 설정된 동작 이벤트가 감지되는 경우의 예시를 나타낸 것이다. 전자 장치 100은 상기 동작 이벤트에 반응하여 사용자의 상태(예: 눈 1310의 상태) 트래킹과 전자 장치 100의 상황을 트래킹하는 상태 트래킹을 개시할 수 있다. 예를 들어, 상기 도 13에 도시한 바와 같이, 사용자의 시선이 전자 장치 100에 표시 중인 화면을 계속하여 바라보고 있는 상태에서, 전자 장치 100은 카메라 모듈 170(예: 전면 카메라)을 통해 사용자 눈 1310을 트래킹하여 상태 정보를 획득할 수 있다. 또한 전자 장치 100은 전자 장치 100의 사용 시간, 동작 상태, 주변 환경 등을 트래킹하여 상황 정보를 획득할 수 있다.
전자 장치 100은 상기 상태 정보와 상기 상황 정보에 기반하여 조정 정보를 획득할 수 있고, 획득된 조정 정보에 기반하여 화면 옵션의 설정을 실시간으로 변경하여 참조부호 1330과 같이 표시할 수 있다. 예를 들어, 상기 도 13의 예시에서는 전자 장치 100이 일정 시간(예: N시간(N은 시, 분, 초 단위)(예: 10분, 30분, 1시간 등) 이상 사용되고 그에 대응하여 사용자의 눈이 충혈된 상태의 예시를 나타낼 수 있다. 따라서 전자 장치 100은 상기 조정 정보에 대응하게 화면 옵션을 실시간으로 변경하여 표시할 수 있다. 한 실시 예에 따르면, 상기 도 13에 나타낸 바와 같이, 전자 장치 100의 화면 옵션 중 적어도 일부(예: 밝기, 화면모드, 해상도, 블루라이트 중 적어도 일부 옵션 설정)를 조정하여 사용자의 피로도(예: 조정 정보)에 반응하는 화면을 표시할 수 있다. 한 실시 예에 따르면, 전자 장치 100은 블루라이트를 로우(low)로 설정하고, 밝기에서 색상을 일정 비율 감소하여 설정하고, 이에 대응하여 변경된 화면(예: 참조부호 1330의 해칭(hatching) 상태)이 표시되도록 동작할 수 있다.
상기 도 14를 참조하면, 상기 도 14는 상기 도 13과 같은 상태에서 사용자가 전자 장치 100을 상기 도 13에서의 일정 시간보다 더 오랜 시간 사용하는 상태이고, 설정된 동작 이벤트가 감지되는 경우의 예시를 나타낸 것이다. 전자 장치 100은 상기 동작 이벤트에 반응하여 사용자의 상태(예: 눈 1410의 상태) 트래킹과 전자 장치 100의 상황을 트래킹하는 상태 트래킹을 개시할 수 있다. 예를 들어, 상기 도 14에 도시한 바와 같이, 사용자의 시선이 전자 장치 100에 표시 중인 화면을 계속하여 바라보고 있는 상태에서, 전자 장치 100은 카메라 모듈 170(예: 전면 카메라)을 통해 사용자 눈 1410을 트래킹하여 상태 정보를 획득할 수 있다. 또한 전자 장치 100은 전자 장치 100의 사용 시간, 동작 상태, 주변 환경 등을 트래킹하여 상황 정보를 획득할 수 있다.
전자 장치 100은 상기 상태 정보와 상기 상황 정보에 기반하여 조정 정보를 획득할 수 있고, 획득된 조정 정보에 기반하여 화면 옵션의 설정을 실시간으로 변경하여 참조부호 1430과 같이 표시할 수 있다. 예를 들어, 상기 도 14의 예시에서는 전자 장치 100이 일정 시간(예: M시간(M은 시, 분, 초 단위)(예: 1시간20분, 2시간 등) 이상 사용하고 그에 대응하여 사용자의 눈이 충혈된 상태의 예시를 나타낼 수 있다. 여기서, 상기 도 14의 일정 시간(예: M시간)은 상기 도 13의 일정 시간(예: N시간)보다 크고(예: M시간 > N시간), 상기 도 14에서 사용자 눈의 충혈 상태가 상기 도 13에서 눈의 충혈 상태보다 높은 경우로 나타날 수 있다. 따라서 전자 장치 100은 상기 조정 정보에 대응하게 화면 옵션을 실시간으로 변경하여 표시할 수 있다. 한 실시 예에 따르면, 상기 도 14에 나타낸 바와 같이, 전자 장치 100의 화면 옵션이 적어도 일부(예: 밝기, 화면모드, 해상도, 블루라이트 중 적어도 일부 옵션)를 조정(예: 도 13에서 조정되는 옵션의 수보다 많거나 옵션에서 조정되는 변화량이 클 수 있음)하여 사용자의 피로도(예: 조정 정보)에 반응하는 화면을 표시할 수 있다. 한 실시 예에 따르면, 전자 장치 100은 블루라이트를 차단(cutoff)으로 설정하고, 밝기에서 색상 및 채도를 일정 비율 감소하여 설정하고, 해상도를 낮음으로 설정하고, 이에 대응하여 변경된 화면(예: 참조부호 1430의 해칭 상태)이 표시되도록 동작할 수 있다. 한 실시 예에 따르면, 상기 도 14의 예시와 같이, 전자 장치 100은 상기 도 13에서의 경우보다 사용자 피로도에 보다 민감하게 반응하는 화면(예: 도 13의 화면보다 어두운 화면)을 표시할 수 있다.
본 발명의 실시 예에 따르면, 상기 상태 정보와 상기 상황 정보에 기반하여 화면 설정을 위한 조정 정보를 산출할 수 있다. 예를 들어, 화면의 HSV 또는 HSB, 블루라이트, 해상도, 또는 화면 모드 등의 다양한 옵션들 중 적어도 일부를 설정하기 위한 조정 정보(예: 화면 설정을 위한 각 옵션 별 변수)를 상기 상태 정보와 상기 상황 정보의 복합 요소에 기반하여 산출할 수 있다.
본 발명의 실시 예에 따르면, 상기 조정 정보를 기반으로 변경하는 옵션의 적용 방식은 상기 도 12, 도 13 및 도 14의 예시에서 살펴본 바와 같이, 화면 전체에 일괄적으로 적용하여 변경할 수 있다. 또한 본 발명의 실시 예에 따르면, 상기 변경하는 옵션의 적용 방식은 컨텐츠, 영역, 또는 오브젝트 중 적어도 일부를 구분하고, 구분되는 컨텐츠, 영역, 또는 오브젝트 별로 옵션 설정을 상이하게 적용하여 변경할 수 있다. 이러한 예시가 상기 도 15에 나타나 있으며, 상기 도 15는 컨텐츠(또는 구분되는 영역) 별로 옵션 설정을 적용하는 경우의 예시일 수 있다.
상기 도 15의 예시와 같이, 서로 다른 속성(예: 동영상, 텍스트, 이미지 등)을 가지는 컨텐츠들(1510, 1520, 1530)이 표시될 수 있고, 전자 장치 100은 상기 조정 정보에서 상기 컨텐츠들(1510, 1520, 1530)의 속성에 따라 적어도 일부의 옵션을 선택적으로 변경하여 적용할 수 있다. 한 실시 예에 따르면, 상기 도 15에 도시한 바와 같이, 제1컨텐츠 1510(예: 동영상)의 경우 상기 조정 정보에 기반하여 적어도 일부의 옵션(이하, 제1옵션)의 설정을 변경하여 참조부호 1515와 같이 표시할 수 있다. 제2컨텐츠 1520(예: 텍스트)의 경우 상기 조정 정보에 기반하여 적어도 일부의 옵션(이하, 제2옵션)의 설정을 변경하여 참조부호 1525와 같이 표시할 수 있다. 제3컨텐츠 1530(예: 이미지)의 경우 상기 조정 정보에 기반하여 적어도 일부의 옵션(이하, 제3옵션)의 설정을 변경하여 참조부호 1535와 같이 표시할 수 있다.
본 발명의 실시 예에 따르면, 상기 컨텐츠들(1510, 1520, 1530)에 대응하게 설정되는 제1옵션, 제2옵션 및 제3옵션은 상기 조정 정보에서 일부 또는 전체가 선택될 수 있고, 서로 동일하게 설정되거나 또는 적어도 일부가 상이하게 구현될 수 있다. 한 실시 예에 따르면, 동영상 컨텐츠의 경우 텍스트 컨텐츠 보다 사용자의 피로도에 보다 많은 영향을 끼칠 수 있으므로, 동영상 컨텐츠에 대해서는 상기 조정 정보에 기반하여 변경 대상의 모든 옵션의 설정을 반영할 수 있고, 상기 텍스트 컨텐츠에 대해서는 상기 조정 정보에 기반하여 변경 대상의 모든 옵션 중 일부 옵션의 설정을 반영할 수 있다.
또한 본 발명의 실시 예에 따르면, 상기 도 15의 예시에 따른 컨텐츠 별 옵션 설정에 추가적으로 또는 대체적으로, 오브젝트 별로 옵션 설정을 변경할 수도 있다. 본 발명의 실시 예에서 상기 오브젝트는 예를 들어, 배경 화면은 물론, 상기 배경 화면에 표시되는 아이콘, 인디케이터, 포인터, 이미지, 그리고 텍스트 등을 포함할 수 있고, 각 오브젝트들의 색상, 밝기, 선명도 또는 투명도 중 적어도 하나를 변경할 수 있다.
한편, 본 발명의 실시 예에 따르면, 상기 조정 정보를 기반으로 변경되는 옵션 설정의 적용은 사용자의 눈을 보호할 수 있는 적어도 하나의 보호용 필터(filter)로 구현되어 제공될 수 있다. 예를 들어, 상기 도 13의 예시와 같이, 사용자 눈 1310의 피로도에 대응하여 화면 상에 밝은 색과 높은 투명도 계열의 보호용 필터(예: 참조부호 1330 형태의 필터)를 중첩하여 표시할 수 있고, 이후, 상기 도 14의 예시와 같이, 사용자 눈 1410의 피로도에 대응하여 화면 상에, 어두운 색과 낮은 투명도 계열의 보호용 필터(예: 참조부호 1430 형태의 필터)를 중첩하여 표시할 수 있다. 한 실시 예에 따르면, 상기 참조부호 1330 형태의 필터(제1 필터)에서 상기 참조부호 1430 형태의 필터(제2 필터) 간의 전환은, 상기 제1 필터 1330를 변경되는 피로도에 대응하여 추가 조정하는 방식으로 상기 제2 필터 1430을 생성하는 방식으로 이루어질 수 있다. 또는 상기 제1 필터 1300과 상기 제2 필터 1430 간의 전환은, 상기 제1 필터 1330는 제거하고 상기 제2 필터 1430로 대체하는 방식으로 이루어질 수 있다.
또한 본 발명의 실시 예에 따르면, 상기 조정 정보를 기반으로 변경되는 옵션 설정의 적용은 사용자의 눈을 보호할 수 있는 복수의 보호용 필터들로 구현되어 제공될 수 있다. 예를 들어, 상기 도 15의 예시와 같이, 사용자 눈의 피로도에 대응하여 컨텐츠들 1510, 1520, 1530 마다 서로 다른 계열(예: 색상, 어두운 정도 등이 다르게 적용되는)의 보호용 필터들(예: 참조부호 1515, 1525, 1535 형태의 다른 필터)를 각각 중첩하여 표시할 수 있다. 상기 도 15의 예시에서 컨텐츠들이 1510, 1520, 1530 화면에 위치되는 영역에 대응하여 보호용 필터들(1515, 1525, 1535)이 컨텐츠의 해당 영역 상에 대응되는 크기로 중첩되어 표시될 수 있다.
본 발명의 실시 예에서, 상기 보호용 필터는 전자 장치 100의 제어부 180의 제어에 따라, 밝기, 화면 모드, 해상도, 블루라이트, 선명도, 또는 투명도 중 적어도 하나가 변경되어 표시될 수 있도록 다양하게 구현될 수 있다. 본 발명의 실시 예에서, 상기 보호용 필터는 하드웨어(hardware)적인 구성 요소가 아니라, 표시부 131의 화면 상에 소프트웨어(software)적으로 생성 및 변경되는 구성 요소를 나타낼 수 있다.
이상에서와 같이, 본 발명의 실시 예에 따르면, 트래킹 하는 다양한 상태(예: 사용자의 상태, 전자 장치의 상태)에 기반하여, 화면 또는 필터의 다양한 옵션들(예: 강도, 밝기, 블루라이트 등)을 자동으로 조정할 수 있다. 한 실시 예에 따르면, 사용자가 밤에 전자 장치 100을 사용할 시 기존의 네이티브(native) 설정의 최하 밝기보다 더 어둡게 설정이 가능할 수 있으며, 따라서 사용자의 눈부심을 보다 효과적으로 방지할 수 있다. 또한 본 발명의 실시 예에 따르면, 상대적으로 화면을 사용자 눈에 가까이 접하게 되는 전자 장치(예: HMD(Head Mounted Display))에서 상기 화면으로부터 발생되는 빛이 눈 건강에 악영향을 미치는 것을 사전 방지할 수 있다.
또한 본 발명의 실시 예에 따르면 시간 등의 조건으로 특정 옵션(예: 밝기, 블루라이트)만 조절하는 것이 아니라, 전자 장치 100를 사용하는 사용자의 상태, 사용하는 어플리케이션(예: 동영상(영화), 인터넷, 메신저, 게임 등)의 상황, 어플리케이션 또는 전자 장치 100의 사용 시간, 전자 장치 100이 사용되는 주변 환경 등에 대응하여 하나 또는 그 이상의 옵션들을 자동 조절할 수 있으므로 사용자에게 최적의 화면을 제공할 수 있다. 또한 본 발명의 실시 예에 따르면, 사용자가 전자 장치 100을 사용할 때 전자 장치 100에서 자동으로 사용자 눈의 충혈 상태를 알람(예: 피로도, 경고 메시지)하고, 그에 대응하여 화면 옵션을 자동 조절하여 줌으로써, 사용자 눈의 상태를 사용자에게 통지할 수 있고, 전자 장치 100에 의해 사용자의 헬스 케어(health care)에 대한 인터랙션이 가능할 수 있다.
도 16은 본 발명의 실시 예에 따른 전자 장치에서 화면 설정을 변경하는 동작 절차를 도시하는 흐름도이다.
상기 도 16을 참조하면, 동작 1601에서, 제어부 180은 앞서 살펴본 바와 같이 동작 이벤트에 반응하여 사용자 상태를 트래킹하고 그에 대응하여 상태 정보를 획득할 수 있다.
동작 1603에서, 제어부 180은 전자 장치 100의 상태를 트래킹할 수 있다. 예를 들어, 제어부 180은 상기 상태 정보를 획득하는 동작에 순차적으로 또는 병렬적으로 전자 장치 100의 사용 시간, 동작 상태, 주변 환경 등에 대한 상황 인지를 수행할 수 있다.
동작 1605에서, 제어부 180은 상기 전자 장치 100의 상태 트래킹에 대응하여 조정 정보를 위해 고려할 대상이 있는지 판단할 수 있다. 예를 들어, 제어부 180은 상태 트래킹을 개시하는 시점에서 전자 장치 100의 사용 이력, 사용 시간, 실행 중인 어플리케이션, 주변 환경 등과 같은 다양한 요소에 대한 상황 인지를 수행할 수 있다. 제어부 180은 상기 상황 인지에 대응하여 조정 정보를 위한 고려 대상이 있는지 판단할 수 있다. 한 실시 예에 따르면, 전자 장치 100가 처음 구동되거나, 또는 사용자의 전자 장치 100의 사용이 시작되고 주변 환경이 맑은 날 오후의 실내인 경우 등에서 고려 대상이 없는 것으로 판단할 수 있다. 반면, 제어부 180은 전자 장치 100가 계속 사용 중인 경우 고려 대상이 있는 것으로 판단할 수 있다.
상기 동작 1605에서, 제어부 180은 고려 대상이 없는 것으로 판단하는 경우(동작 1605의 NO), 동작 1607에서, 상기 상태 정보에 기반하여 사용자의 피로도 정도를 판단할 수 있다. 예를 들어, 제어부 180은 트래킹에 따라 획득된 홍채 이미지와 기준 데이터에 기반하여 획득된 상태 정보를 참조하여 사용자의 피로도가 양호한 상태(예: 설정된 피로도 기준 이하)인지 판단할 수 있다.
상기 동작 1607에서, 제어부 180은 상기 상태 정보에 기반하는 사용자의 피로도가 양호한 것으로 판단하는 경우(동작 1607의 YES), 동작 1609에서, 전자 장치 100의 현재 설정을 유지할 수 있다. 또는 전자 장치 100의 설정에 대응하여 현재 설정을 상기 상태 정보에 대응하도록 적어도 일부 옵션 설정을 변경할 수도 있다.
상기 동작 1607에서, 제어부 180은 상기 상태 정보에 기반하는 사용자의 피로도가 양호하지 않는 것으로 판단하는 경우(동작 1607의 NO), 동작 1611에서, 상기 상태 정보에 기반하여 조정 정보를 산출할 수 있다. 이후, 제어부 180은 후술하는 동작 1621로 진행하여 이하의 동작 수행을 처리할 수 있다.
상기 동작 1605에서, 제어부 180은 고려 대상이 있는 것으로 판단하는 경우(동작 1605의 YES), 동작 1613에서, 고려 대상에 대응하는 적어도 하나의 상황 정보를 획득할 수 있다. 예를 들어, 제어부 180은 전자 장치 100의 사용 시간, 동작 상태, 주변 환경 등에 대한 상황 인지에 따라 획득하는 각각의 정보로부터 상황 정보를 산출할 수 있다.
동작 1615에서, 제어부 180은 상기 상태 정보와 상기 상황 정보에 기반하여 조정 정보를 산출할 수 있다.
동작 1617에서, 제어부 180은 상기 상태 정보와 상기 상황 정보에 기반하는 사용자의 피로도가 양호한 상태(예: 설정된 피로도 기준 이하)인지 판단할 수 있다.
상기 동작 1617에서, 제어부 180은 상기 상태 정보와 상기 상황 정보에 기반하는 사용자의 피로도가 양호한 것으로 판단하는 경우(동작 1617의 YES), 동작 1619에서, 전자 장치 100의 현재 설정을 유지할 수 있다. 또는 전자 장치 100의 설정에 대응하여 현재 설정을 상기 상태 정보와 상기 상황 정보에 대응하도록 적어도 일부 옵션 설정을 변경할 수도 있다.
상기 동작 1617에서, 제어부 180은 상기 상태 정보와 상기 상황 정보에 기반하는 사용자의 피로도가 양호하지 않는 것으로 판단하는 경우(동작 1617의 NO), 동작 1621에서, 상기 조정 정보에 기반하여 적어도 하나의 옵션 설정을 변경할 수 있다.
상기 동작 1623에서, 제어부 180은 변경 결과를 출력할 수 있다. 예를 들어, 제어부 180은 적어도 하나의 옵션 설정을 변경할 수 있고, 변경된 옵션 설정에 대응하는 화면 출력을 제어할 수 있다. 또한 제어부 180은 상기 옵션 설정에 대응하는 화면 출력에 병렬적으로 또는 순차적으로 상기 상태 정보와 상기 상황 정보의 적어도 일부에 기반하여 판단하는 사용자 상태에 대한 출력 정보(예: 피로도 정보)를 설정된 방식(예: 팝업 출력, 상태바 출력, 전체 출력)에 대응하여 제공할 수 있다.
도 17, 도 18 및 도 19는 본 발명의 실시 예에 따른 전자 장치에서 다양한 정보들을 고려하여 화면 설정을 변경하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
상기 도 17, 도 18 및 도 19에 도시한 바와 같이, 상기 도 17은 본 발명의 실시 예에서 상태 정보에, 상황 정보 중 환경 정보(예: 주간(day)과 야간(night))을 고려하여 화면 옵션을 변경하는 예시를 나타낸 것이고, 상기 도 18은 본 발명의 실시 예에서 상태 정보에, 상황 정보 중 환경 정보(예: 조도 밝기)을 고려하여 화면 옵션을 변경하는 예시를 나타낸 것이고, 상기 도 19는 본 발명의 실시 예에서 상태 정보에, 상황 정보 중 동작 정보(예: 어플리케이션의 속성)와 사용 정보(예: 어플리케이션 사용 시간)를 고려하여 화면 옵션을 변경하는 예시를 나타낸 것이다.
상기 도 17을 참조하면, 제어부 180은 상기 사용자의 눈 상태를 트래킹하여 획득하는 상태 정보(예: 눈 상태) 1710과 환경 정보(예: 주간 1721과 야간 1723) 1720에 기반하여 사용자 눈의 피로도를 다르게 판단할 수 있다.
예를 들어, 제어부 180은 상기 사용자 눈의 피로도가 동일한 조건(예: 상태 정보 동일) 하에, 현재 시간이 주간 1721에 해당하는 경우 참조부호 1730의 예시와 같이 화면 옵션을 밝은 색과 투명도를 높여 표시하거나, 또는 관련 필터의 표시를 제어할 수 있다. 또한 제어부 180은 상기 사용자 눈의 피로도가 동일한 조건(예: 상태 정보 동일) 하에, 현재 시간이 야간 1723에 해당하는 경우 참조부호 1740의 예시와 같이 화면 옵션을 어두운 색과 투명도를 낮추어 표시하거나, 또는 관련 필터의 표시를 제어할 수 있다.
상기 도 18을 참조하면, 제어부 180은 상기 사용자의 눈 상태를 트래킹 하여 획득하는 상태 정보(예: 눈 상태) 1810과 환경 정보(예: 조도1(예: 저조도(low lux)) 1821과 조도2(예: 고조도(high lux)) 1823) 1820에 기반하여 사용자 눈의 피로도를 다르게 판단할 수 있다.
예를 들어, 제어부 180은 상기 사용자 눈의 피로도가 동일한 조건(예: 상태 정보 동일) 하에, 현재 주변 조도가 조도1(예: 저조도) 1821에 해당하는 경우 참조부호 1830의 예시와 같이 화면 옵션을 밝은 색과 투명도를 높여 표시하거나, 또는 관련 필터의 표시를 제어할 수 있다. 또한 제어부 180은 상기 사용자 눈의 피로도가 동일한 조건(예: 상태 정보 동일) 하에, 현재 주변 조도가 조도2(예: 고조도) 1823에 해당하는 경우 참조부호 1840의 예시와 같이 화면 옵션을 어두운 색과 투명도를 낮추어 표시하거나, 또는 관련 필터의 표시를 제어할 수 있다.
상기 도 19를 참조하면, 제어부 180은 상기 사용자의 눈 상태를 트래킹 하여 획득하는 상태 정보(예: 눈 상태) 1910, 동작 정보(예: 어플리케이션 속성) 1920, 그리고 사용 정보(예: 사용 시간1(예: 30분) 1931, 사용 시간2(예: 1시간) 1933, 사용 시간3(예: 2시간) 1935) 1930에 기반하여 사용자 눈의 피로도를 다르게 판단할 수 있다.
예를 들어, 제어부 180은 상기 사용자 눈의 피로도와 사용 어플리케이션이 동일한 조건(예: 상태 정보 동일, 어플리케이션 속성 동일) 하에, 어플리케이션의 사용 시간1(예: 30분) 1931에 해당하는 경우 참조부호 1940의 예시와 같이 화면 옵션을 밝은 색과 투명도를 높여 표시하거나 관련 필터의 표시를 제어할 수 있다. 또한 제어부 180은 상기 사용자 눈의 피로도와 사용 어플리케이션이 동일한 조건(예: 상태 정보 동일, 어플리케이션 속성 동일) 하에, 어플리케이션의 사용 시간2(예: 1시간) 1933에 해당하는 경우 참조부호 1950의 예시와 같이 화면 옵션을 중간 밝은 색과 투명도를 일정 낮추어 표시하거나 관련 필터의 표시를 제어할 수 있다. 또한 제어부 180은 상기 사용자 눈의 피로도와 사용 어플리케이션이 동일한 조건(예: 상태 정보 동일, 어플리케이션 속성 동일) 하에, 어플리케이션의 사용 시간3(예: 2시간) 1935에 해당하는 경우 참조부호 1960의 예시와 같이 화면 옵션을 어두운 색과 투명도가 매우 낮추어 표시하거나 관련 필터의 표시를 제어할 수 있다.
또한 본 발명의 실시 예에 따르면, 사용자 눈의 피로도가 동일한 조건(예: 상태 정보 동일) 하에, 사용 어플리케이션의 속성이 다른 경우에도 화면 옵션을 적응적으로 변경하여 표시할 수 있다. 또한 본 발명의 실시 예에 따르면, 전술한 도 17, 도 18 및 도 19의 예시들에서 고려된 상태 정보, 환경 정보, 동작 정보, 그리고 사용 정보 등을 모두 복합적으로 고려하여 화면 옵션을 적응적으로 변경하여 표시할 수 있다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 전자 장치
110: 무선 통신부 120: 사용자 입력부
130: 터치스크린 131: 표시부
133: 터치감지부 140: 오디오 처리부
141: 스피커 143: 마이크
150: 저장부 160: 인터페이스부
170: 카메라 모듈 180: 제어부
190: 전원 공급부

Claims (20)

  1. 전자 장치에 있어서,
    사용자의 상태 및 전자 장치의 상태 트래킹을 위한 센서와,
    상기 사용자의 상태 및 상기 전자 장치의 상태 트래킹에 대응하는 정보를 저장하는 저장부와,
    동작 이벤트에 반응하여 상태 트래킹 수행을 제어하고, 상기 트래킹 수행 결과에 기반하여 상기 전자 장치에서 화면 표시와 관련된 옵션을 변경하고 그 결과 출력을 제어하는 제어부를 포함하는 것을 특징으로 하는 전자 장치.
  2. 제1항에 있어서, 상기 제어부는
    상기 동작 이벤트를 감지하고, 상기 동작 이벤트에 반응하여 상기 사용자와 상기 전자 장치의 상태에 대한 트래킹을 처리하고, 상기 트래킹 수행에 따른 결과에 기반하여 사용자의 피로도 및 화면 옵션 변경을 위한 조정 정보를 획득하는 상태 트래킹부와,
    상기 피로도와 상기 조정 정보에 대응하는 결과 출력을 처리하는 출력 처리부를 포함하는 것을 특징으로 하는 전자 장치.
  3. 제2항에 있어서, 상기 상태 트래킹부는
    상기 트래킹을 개시하기 위한 상기 동작 이벤트를 검출하는 동작 이벤트 검출 모듈과,
    상기 동작 이벤트에 반응하여 상기 사용자의 상태를 측정하고, 상기 측정에 대응하여 상태 정보를 획득하는 제1 트래킹 모듈과,
    상기 동작 이벤트에 반응하여 상기 전자 장치의 상태에 대한 상황 인지를 수행하고, 상기 상황 인지에 대응하여 상황 정보를 획득하는 상 제2 트래킹 모듈과,
    상기 제1 트래킹 모듈의 상기 상태 정보와 상기 제2 트래킹 모듈의 상기 상황 정보에 기반하여 상기 피로도와 상기 조정 정보를 획득하는 산출 모듈을 포함하는 것을 특징으로 하는 전자 장치.
  4. 제3항에 있어서, 상기 상황 정보는
    상기 전자 장치의 동작 정보, 상기 전자 장치의 사용 정보, 상기 전자 장치가 사용되는 주변 환경 정보를 포함하는 것을 특징으로 하는 전자 장치.
  5. 제3항에 있어서, 상기 제2 트래킹 모듈은
    상기 전자 장치 또는 실행 중인 어플리케이션의 사용 시간 또는 사용 누적 상태를 검출하는 사용 상태 검출 모듈과,
    상기 전자 장치에서 현재 실행 중이거나 사용자에 의해 실행 요청된 어플리케이션의 속성을 검출하는 동작 상태 검출 모듈과,
    상기 전자 장치가 사용되는 주변 환경을 검출하는 주변 환경 검출 모듈을 포함하는 것을 특징으로 하는 전자 장치.
  6. 제3항에 있어서, 상기 출력 처리부는
    상기 산출 모듈에서 획득하는 상기 조정 정보에 대응하게 화면 옵션을 변경하는 변수 설정 모듈과,
    상기 변경된 화면 옵션에 대응하는 화면 출력을 처리하고, 상기 피로도에 대응하는 정보 출력을 처리하는 결과 출력 모듈을 포함하는 것을 특징으로 하는 전자 장치.
  7. 제1항에 있어서, 상기 센서는
    상기 사용자의 상태 측정을 위한 제1센서와,
    상기 전자 장치의 상황 인지를 위한 하나 또는 그 이상의 제2센서를 포함하는 것을 특징으로 하는 전자 장치.
  8. 제1항에 있어서, 상기 제어부는
    홍채 인식을 이용하여 상기 사용자의 눈 상태를 판단하고, 판단 결과와 미리 설정된 기준 데이터에 대응하여 상태 정보 획득을 제어하고, 상황 인지를 이용하여 상기 전자 장치의 다양한 상황을 판단하고, 판단 결과에 대응하여 상황 정보 획득을 제어하는 것을 특징으로 하는 전자 장치.
  9. 제8항에 있어서, 상기 제어부는
    상기 상태 정보와 상기 상황 정보에 기반하여 상기 화면 표시와 관련된 하나 또는 그 이상의 옵션들을 변경하기 위한 조정 정보를 획득하고, 상기 조정 정보에 기반하여 상기 옵션들을 자동 변경하고, 변경된 옵션들에 기반하여 화면 출력을 제어하는 것을 특징으로 하는 전자 장치.
  10. 제9항에 있어서, 상기 제어부는
    상기 변경된 옵션들에 대응하는 화면 출력을 처리하거나, 또는 상기 변경된 옵션들에 대응하는 소프트웨어적인 필터(filter)를 표시 중인 화면 상에 중첩하여 화면 출력을 처리하는 것을 특징으로 하는 전자 장치.
  11. 제10항에 있어서, 상기 제어부는
    상기 변경된 옵션들에 대응하여 화면 전체에 일괄적으로 적용하는 방식과, 표시되는 오브젝트, 컨텐츠 또는 영역 별로 구분하여 적용하는 방식 중 적어도 하나에 기반하여 상기 화면 출력을 제어하는 것을 특징으로 하는 전자 장치.
  12. 제9항에 있어서, 상기 제어부는
    상기 획득된 상태 정보를 설정된 방식에 기반하여 표시되도록 제어하는 것을 특징으로 하는 전자 장치.
  13. 전자 장치의 동작 방법에 있어서,
    동작 이벤트를 감지하는 과정과,
    상기 동작 이벤트에 응답하여 사용자의 상태 및 전자 장치의 상태를 트래킹 하는 과정과,
    상기 트래킹 수행 결과에 기반하여 상기 전자 장치에서 화면 표시와 관련된 옵션을 변경하는 과정과,
    상기 옵션 변경에 대응하는 결과를 출력하는 과정을 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.
  14. 제13항에 있어서, 상기 트래킹 하는 과정은
    상기 동작 이벤트에 반응하여 상기 사용자의 상태를 측정하고, 상기 측정에 대응하여 상태 정보를 획득하는 과정과,
    상기 동작 이벤트에 반응하여 상기 전자 장치의 상태에 대한 상황 인지를 수행하고, 상기 상황 인지에 대응하여 상황 정보를 획득하는 과정을 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.
  15. 제14항에 있어서, 상기 옵션을 변경하는 과정은
    상기 상태 정보와 상기 상황 정보에 기반하여 화면 표시와 관련된 하나 또는 그 이상의 옵션들을 변경하기 위한 조정 정보를 획득하는 과정과,
    상기 조정 정보에 기반하여 상기 옵션들을 자동 변경하는 과정을 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.
  16. 제14항에 있어서, 상기 결과를 출력하는 과정은
    상기 상태 정보와 상기 상황 정보에 기반하여 사용자의 피로도를 획득하고, 상기 피로도와 관련된 정보를 설정된 방식에 기반하여 화면 상에 출력하는 과정을 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.
  17. 제14항에 있어서, 상기 결과를 출력하는 과정은
    상기 변경된 옵션들에 대응하여 화면 전체에 일괄적으로 적용하는 방식과, 표시되는 오브젝트, 컨텐츠 또는 영역 별로 구분하여 적용하는 방식 중 적어도 하나에 기반하여 화면 출력을 처리하는 과정을 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.
  18. 제14항에 있어서, 상기 결과를 출력하는 과정은
    상기 변경된 옵션들에 대응하는 화면 출력을 처리하거나, 또는 상기 변경된 옵션들에 대응하는 소프트웨어적인 필터(filter)를 표시 중인 화면 상에 중첩하여 화면 출력을 처리하는 과정을 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.
  19. 제14항에 있어서, 상기 상황 정보는
    상기 전자 장치의 동작 정보, 상기 전자 장치의 사용 정보, 상기 전자 장치가 사용되는 주변 환경 정보를 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.
  20. 동작 이벤트를 감지하는 동작, 상기 동작 이벤트에 응답하여 사용자의 상태 및 전자 장치의 상태를 트래킹 하는 동작, 상기 트래킹 수행 결과에 기반하여 상기 전자 장치에서 화면 표시와 관련된 옵션을 변경하는 동작, 상기 옵션 변경에 대응하는 결과 출력을 처리하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
KR1020150156883A 2014-12-18 2015-11-09 전자 장치의 제어 방법 및 장치 KR102362042B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP15200877.7A EP3035656B1 (en) 2014-12-18 2015-12-17 Method and apparatus for controlling an electronic device
CN201910033386.9A CN109782915B (zh) 2014-12-18 2015-12-18 用于控制电子装置的方法和设备
CN201510958852.6A CN105718043B (zh) 2014-12-18 2015-12-18 用于控制电子装置的方法和设备
US14/975,080 US20160180801A1 (en) 2014-12-18 2015-12-18 Method and apparatus for controlling an electronic device
CN201910032787.2A CN109753159B (zh) 2014-12-18 2015-12-18 用于控制电子装置的方法和设备
US16/660,319 US11257459B2 (en) 2014-12-18 2019-10-22 Method and apparatus for controlling an electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140183289 2014-12-18
KR1020140183289 2014-12-18

Publications (2)

Publication Number Publication Date
KR20160074388A true KR20160074388A (ko) 2016-06-28
KR102362042B1 KR102362042B1 (ko) 2022-02-11

Family

ID=56366316

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150156883A KR102362042B1 (ko) 2014-12-18 2015-11-09 전자 장치의 제어 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102362042B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019027184A1 (ko) * 2017-08-03 2019-02-07 연세대학교 산학협력단 단말 사용 패턴 정보 수집 관리 방법 및 시스템
KR102096909B1 (ko) * 2018-10-08 2020-04-03 반형철 사용자 시력 보호 및 스마트 폰 중독 예방을 위한 화면 표시 장치에서의 눈깜빡임 유도 장치 및 방법
US10628947B2 (en) 2016-11-22 2020-04-21 Samsung Electronics Co., Ltd. Method and apparatus for tracking eyes of user and method of generating inverse-transform image
CN113655877A (zh) * 2020-05-12 2021-11-16 华为技术有限公司 显示调整方法和设备
KR20220015529A (ko) * 2020-07-31 2022-02-08 주식회사 리버스톤미디어 얼굴과 눈동자 캡쳐를 위한 이미지 반사경 장치
KR20220015530A (ko) * 2020-07-31 2022-02-08 주식회사 리버스톤미디어 스트레치 디스플레이 패널을 광원으로 하는 아이컨텍트 디스플레이 장치
CN115061619A (zh) * 2022-06-29 2022-09-16 深圳传音控股股份有限公司 信息显示方法、智能终端及存储介质
KR102555739B1 (ko) * 2023-03-02 2023-07-14 (주)누리봄 사용자의 시력보호 및 에너지 절감 전자칠판

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023167506A1 (ko) * 2022-03-03 2023-09-07 삼성전자 주식회사 눈의 피로도 저감 방법 및 그 전자 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005076258A1 (ja) * 2004-02-03 2005-08-18 Matsushita Electric Industrial Co., Ltd. ユーザ適応型装置およびその制御方法
KR20090077927A (ko) * 2006-10-23 2009-07-16 소니 에릭슨 모빌 커뮤니케이션즈 에이비 이동 단말기의 그룹을 트래킹
KR20140016107A (ko) * 2012-07-30 2014-02-07 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005076258A1 (ja) * 2004-02-03 2005-08-18 Matsushita Electric Industrial Co., Ltd. ユーザ適応型装置およびその制御方法
KR20090077927A (ko) * 2006-10-23 2009-07-16 소니 에릭슨 모빌 커뮤니케이션즈 에이비 이동 단말기의 그룹을 트래킹
KR20140016107A (ko) * 2012-07-30 2014-02-07 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628947B2 (en) 2016-11-22 2020-04-21 Samsung Electronics Co., Ltd. Method and apparatus for tracking eyes of user and method of generating inverse-transform image
US11417003B2 (en) 2016-11-22 2022-08-16 Samsung Electronics Co., Ltd. Method and apparatus for tracking eyes of user and method of generating inverse-transform image
WO2019027184A1 (ko) * 2017-08-03 2019-02-07 연세대학교 산학협력단 단말 사용 패턴 정보 수집 관리 방법 및 시스템
CN110998490A (zh) * 2017-08-03 2020-04-10 延世大学校产学协力团 终端使用模式信息收集管理方法及系统
US11571121B2 (en) 2017-08-03 2023-02-07 Industry-Academic Cooperation Foundation, Yonsei University Terminal use pattern information collection management method and system
KR102096909B1 (ko) * 2018-10-08 2020-04-03 반형철 사용자 시력 보호 및 스마트 폰 중독 예방을 위한 화면 표시 장치에서의 눈깜빡임 유도 장치 및 방법
CN113655877A (zh) * 2020-05-12 2021-11-16 华为技术有限公司 显示调整方法和设备
KR20220015529A (ko) * 2020-07-31 2022-02-08 주식회사 리버스톤미디어 얼굴과 눈동자 캡쳐를 위한 이미지 반사경 장치
KR20220015530A (ko) * 2020-07-31 2022-02-08 주식회사 리버스톤미디어 스트레치 디스플레이 패널을 광원으로 하는 아이컨텍트 디스플레이 장치
CN115061619A (zh) * 2022-06-29 2022-09-16 深圳传音控股股份有限公司 信息显示方法、智能终端及存储介质
KR102555739B1 (ko) * 2023-03-02 2023-07-14 (주)누리봄 사용자의 시력보호 및 에너지 절감 전자칠판

Also Published As

Publication number Publication date
KR102362042B1 (ko) 2022-02-11

Similar Documents

Publication Publication Date Title
US11257459B2 (en) Method and apparatus for controlling an electronic device
KR102362042B1 (ko) 전자 장치의 제어 방법 및 장치
US11353956B2 (en) Methods of direct manipulation of multi-layered user interfaces
US9996155B2 (en) Manipulation of virtual object in augmented reality via thought
EP3009816B1 (en) Method and apparatus for adjusting color
AU2017291584B2 (en) Method for recognizing iris based on user intention and electronic device for the same
EP3411780B1 (en) Intelligent electronic device and method of operating the same
US20220350470A1 (en) User Profile Picture Generation Method and Electronic Device
CN105574484A (zh) 电子装置及用于在电子装置中分析脸部信息的方法
US10922846B2 (en) Method, device and system for identifying light spot
KR20150128303A (ko) 복수의 디스플레이들을 제어하는 방법 및 장치
KR102359276B1 (ko) 전자 장치의 화이트 밸런스 기능 제어 방법 및 장치
KR20160024143A (ko) 영상 처리 방법 및 전자 장치
KR20160052309A (ko) 전자 장치 및 전자 장치에서 얼굴 정보를 분석하는 방법
KR102319286B1 (ko) 드래그 앤 드롭 처리 방법 및 장치
EP4033339A1 (en) User interface display method and electronic device
EP4047549A1 (en) Method and device for image detection, and electronic device
KR102379898B1 (ko) 포커스에 대한 그래픽 인디케이터를 제공하는 전자 장치와 이의 동작 방법
CN112732133A (zh) 消息处理的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant