KR20210087781A - 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치 - Google Patents

사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치 Download PDF

Info

Publication number
KR20210087781A
KR20210087781A KR1020200000924A KR20200000924A KR20210087781A KR 20210087781 A KR20210087781 A KR 20210087781A KR 1020200000924 A KR1020200000924 A KR 1020200000924A KR 20200000924 A KR20200000924 A KR 20200000924A KR 20210087781 A KR20210087781 A KR 20210087781A
Authority
KR
South Korea
Prior art keywords
user
alarm
display
image
providing device
Prior art date
Application number
KR1020200000924A
Other languages
English (en)
Other versions
KR102366612B1 (ko
Inventor
명재석
Original Assignee
명재석
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 명재석 filed Critical 명재석
Priority to KR1020200000924A priority Critical patent/KR102366612B1/ko
Publication of KR20210087781A publication Critical patent/KR20210087781A/ko
Application granted granted Critical
Publication of KR102366612B1 publication Critical patent/KR102366612B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/182Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/003Kinematic accelerometers, i.e. measuring acceleration in relation to an external reference frame, e.g. Ferratis accelerometers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치를 제시하며, 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치는 사용자와 디스플레이간의 거리에 기초한 알람을 제공하는 장치에 있어서, 상기 디스플레이를 시청하는 상기 사용자를 촬영하는 카메라 및 상기 사용자를 촬영한 이미지로부터 상기 사용자에 대응되는 영역을 식별하고, 상기 이미지에서 식별된 영역의 비율에 기초하여 상기 디스플레이에 알람을 제공하는 제어부를 포함할 수 있다.

Description

사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING ALARM BASED ON DISTANCE BETWEEN USER AND DISPLAY}
본 명세서에서 개시되는 실시예들은 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치에 관한 것으로, 보다 상세하게는 사용자가 시청하는 디스플레이 단말에 구비된 카메라를 이용하여 사용자를 촬영하고, 촬영된 사용자의 이미지를 사용자의 자세를 반영하여 추정된 사용자와 디스플레이간 거리에 기초하여 디스플레이에 알람을 제공하는 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치에 관한 것이다.
최근 들어, 이동통신 기술의 발달에 따라 스마트폰과 같이 디스플레이를 통해 영화, 게임 또는 인터넷 웹 서핑 등을 수행할 수 있는 다양한 스마트기기가 개발되었다.
기존 PC 에서 수행하던 작업들을 스마트기기를 이용하여 처리할 수 있게 됨에 따라 사용자의 스마트기기 사용시간이 늘어나고 있다.
그리고 스마트기기는 사용자가 직접 파지하여 사용하기 때문에, 사용자가 장시간 스마트기기의 디스플레이 화면을 근거리에서 시청하게 된다.
이로 인해, 사용자의 시선이 스마트기기의 디스플레이 화면에 장시간 고정되어 눈동자의 움직임이 거의 발생하지 않게 되고, 이러한 상태가 지속적이고 반복적으로 일어나게 되는 경우 사용자의 시력을 손상시킬 위험이 크게 증가되는 문제점이 있다.
특히, 최근 들어 이러한 스마트기기를 사용하는 연령대가 낮아짐에 따라 어린이 청소년의 경우 시력저하가 발생하는 등의 문제가 발생하고 있다.
관련하여 선행기술 문헌인 한국특허공개번호 제10-2015-0008254호에서는 디스플레이 화면의 영역을 보호하기 위한 사용자의 동작 또는 디바이스에서 실행되는 어플리케이션에 관한 보호 정보(shield information) 중 적어도 어느 하나를 획득하고, 획득된 보호 동작 또는 어플리케이션에 관한 보호 정보 중 적어도 어느 하나에 기초하여 디스플레이 화면의 영역을 보호할 수 있을 뿐, 상술된 바와 같이 사용자와 단말간의 일정한 거리를 유지하도록 할 수 없다.
따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 명세서에서 개시되는 실시예들은, 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치를 제시하는데 목적이 있다.
본 명세서에서 개시되는 실시예들은, 사용자를 촬영한 이미지를 기초로 사용자와 디스플레이간의 거리를 추정하는 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치를 제시하는데 목적이 있다.
본 명세서에서 개시되는 실시예들은, 단말을 파지한 사용자의 자세에 따라 사용자를 촬영한 이미지에서 사용자에 대응되는 영역을 보정하여 사용자와 디스플레이간의 거리를 추정하는 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치를 제시하는데 목적이 있다.
본 명세서에서 개시되는 실시예들은, 사용자와 디스플레이간 추정된 거리가 기 설정된 거리 이내이면 알람을 제공하여 사용자와 디스플레이간의 거리를 일정한 유지시키는 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치를 제시하는데 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 사용자와 디스플레이간의 거리에 기초한 알람을 제공하는 장치에 있어서, 상기 디스플레이를 시청하는 상기 사용자를 촬영하는 카메라 및 상기 사용자를 촬영한 이미지로부터 상기 사용자에 대응되는 영역을 식별하고, 상기 이미지에서 식별된 영역의 비율에 기초하여 상기 디스플레이에 알람을 제공하는 제어부를 포함할 수 있다.
다른 실시예에 따르면, 알람제공장치가 사용자와 디스플레이간의 거리에 기초한 알람을 제공하는 방법에 있어서, 상기 디스플레이를 시청하는 상기 사용자를 촬영하는 단계, 상기 사용자를 촬영한 이미지로부터 상기 사용자에 대응되는 영역을 식별하는 단계 및 상기 이미지에서 식별된 영역의 비율에 기초하여 상기 디스플레이의 출력을 제어하여 알람을 제공하는 단계를 포함할 수 있다.
또 다른 실시예에 따르면, 알람제공방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체로 상기 알람제공방법은, 상기 디스플레이를 시청하는 상기 사용자를 촬영하는 단계, 상기 사용자를 촬영한 이미지로부터 상기 사용자에 대응되는 영역을 식별하는 단계 및 상기 이미지에서 식별된 영역의 비율에 기초하여 상기 디스플레이의 출력을 제어하여 알람을 제공하는 단계를 포함할 수 있다.
그리고 다른 실시예에 따르면, 알람제공장치에 의해 수행되며 알람제공방법을 수행하기 위해 매체에 저장된 컴퓨터프로그램으로 상기 알람제공방법은, 상기 디스플레이를 시청하는 상기 사용자를 촬영하는 단계, 상기 사용자를 촬영한 이미지로부터 상기 사용자에 대응되는 영역을 식별하는 단계 및 상기 이미지에서 식별된 영역의 비율에 기초하여 상기 디스플레이의 출력을 제어하여 알람을 제공하는 단계를 포함할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치를 제시할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 사용자를 촬영한 이미지를 기초로 적은 계산량으로 사용자와 디스플레이간의 거리를 추정하는 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치를 제시할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 단말을 파지한 사용자의 자세에 따라 사용자를 촬영한 이미지에서 사용자에 대응되는 영역을 보정하여 사용자와 디스플레이간의 정확한 거리를 추정하는 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치를 제시할 수 있다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 사용자와 디스플레이간 식별된 거리가 기 설정된 거리 이내이면 광고를 표시하여 사용자와 디스플레이간의 거리를 일정한 유지시키는 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치를 제시할 수 있다.
개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1 은 일 실시예에 따른 알람제공장치를 도시한 블록도이다.
도 2 는 일 실시예에 따른 알람제공방법을 설명하기 위한 순서도이다.
도 3 내지 도 7 은 일 실시예에 따른 알람제공방법을 설명하기 위한 예시도이다.
아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐 아니라, ‘그 중간에 다른 구성을 사이에 두고 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.
이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.
다만 이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다.
‘백그라운드에서의 실행’은 단말에서 실행된 애플리케이션이 화면에 표시되지 않도록 전환된 상태에서 사용자와 애플리케이션간의 인터랙션 없이 애플리케이션이 지속하여 실행되는 것을 의미한다.
‘세로모드’는 디스플레이를 구성하는 각 변의 길이 중 긴 길이방향이 세로로 배치되어 콘텐츠를 출력하는 상태이고, ‘가로모드’는 디스플레이를 각 변의 길이 중 긴 길이방향이 가로로 배치되어 콘텐츠를 출력하는 상태이다.
‘환경정보’ 단말의 카메라 조도센서 값, 가속도센서 값 등 단말에 구비된 센서와 카메라를 통해 획득되는 정보이다.
위에 정의한 용어 이외에 설명이 필요한 용어는 아래에서 각각 따로 설명한다.
도 1은 일 실시예에 따른 알람제공장치(10)를 설명하기 위한 블록도이다.
이러한 알람제공장치(10)는 전자단말기 또는 서버-클라이언트 시스템으로 구현될 수 있으며, 상기 시스템은 사용자와의 인터랙션을 위한 온라인 서비스용 애플리케이션 또는 웹브라우저가 설치된 전자단말기를 포함할 수 있다.
이때, 전자단말기는 네트워크를 통해 원격지의 서버에 접속하거나, 타 단말 및 서버와 연결 가능한 컴퓨터나 휴대용 단말기, 텔레비전, 웨어러블 디바이스(Wearable Device) 등으로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop)등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), GSM(Global System for Mobile communications), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), 스마트폰(Smart Phone), 모바일 WiMAX(Mobile Worldwide Interoperability for Microwave Access) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, 텔레비전은 IPTV(Internet Protocol Television), 인터넷 TV(Internet Television), 지상파 TV, 케이블 TV 등을 포함할 수 있다. 나아가 웨어러블 디바이스는 예를 들어, 시계, 안경, 액세서리, 의복, 신발 등 인체에 직접 착용 가능한 타입의 정보처리장치로서, 직접 또는 다른 정보처리장치를 통해 네트워크를 경유하여 원격지의 서버에 접속하거나 타 단말과 연결될 수 있다.
그리고 서버는 사용자와의 인터랙션을 위한 애플리케이션이나 웹브라우저가 설치된 전자단말기와 네트워크를 통해 통신이 가능한 컴퓨터로 구현될 수 있으며, 데이터를 저장할 수 있는 저장장치가 포함될 수 있거나 또는 제 3 의 서버를 통해 데이터를 저장할 수도 있다.
도 1 을 참조하면, 일 실시예에 따른 알람제공장치(10)는, 입출력부(110), 제어부(120), 통신부(130) 및 메모리부(140)를 포함할 수 있다.
입출력부(110)는 사용자로부터 입력을 수신하기 위한 입력부와, 작업의 수행 결과 또는 알람제공장치(10)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어, 입출력부(110)는 사용자 입력을 수신하는 조작 패널(operation panel) 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.
구체적으로, 입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 입출력부(110)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.
이러한, 입출력부(110)의 카메라는 알람제공장치(10)에 구비된 디스플레이와 동일한 측면에 구비된 디스플레이를 시청하는 사용자를 촬영할 수 있다. 그리고 입출력부(110)의 디스플레이는 알람제공장치(10)에서 실행되는 애플리케이션의 출력화면을 표시하거나 또는 후술될 제어부(120)의 제어에 따라 기 설정된 알람을 표시할 수 있다.
제어부(120)는 알람제공장치(10)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 제어부(120)는 입출력부(110)를 통해 수신한 사용자 입력에 대응되는 동작을 수행하도록 알람제공장치(10)에 포함된 다른 구성들을 제어할 수 있다.
예를 들어, 제어부(120)는 메모리부(140)에 저장된 프로그램을 실행시키거나, 메모리부(140)에 저장된 파일을 읽어오거나, 새로운 파일을 메모리부(140)에 저장할 수도 있다.
이러한, 제어부(120)는 입출력부(110)의 디스플레이의 동작을 감지할 수 있다.
실시예에 따라, 제어부(120)는 백그라운드에서 실행되어 디스플레이의 동작여부를 감지할 수 있다.
예를 들어, 제어부(120)는 백그라운드에서 실행되며 디스플레이가 동작되는지 여부를 감지하거나 또는 애플리케이션을 실행시키는 사용자입력의 발생여부를 감지하여 디스플레이의 동작여부를 감지할 수 있다.
이때, 실시예에 따라 제어부(120)는 백그라운드에서 실행되는 알람제공방법을 수행하는 프로세스가 강제로 중단되지 않도록 설정할 수 있다.
예를 들어, 제어부(120)는 사용자로부터 알람제공방법의 프로세스 종료에 대한 암호를 설정받을 수 있고, 백그라운드에서 실행중인 알람제공방법의 프로세스의 종료를 요청받으면 사용자에게 기 설정된 암호를 입력된 경우에 프로세스를 종료할 수 있다. 이를 통해 알람제공방법의 실행을 설정한 사용자외에 타 사용자에 의해 실행중인 알람제공방법이 강제 종료되지 않도록 할 수 있다.
그리고 제어부(120)는 디스플레이가 동작하면 기 설정된 주기로 입출력부(110)의 카메라를 이용하여 사용자를 촬영할 수 있다.
예를 들어, 제어부(120)는 디스플레이와 동일한 측면에 구비된 카메라를 이용하여 기 설정된 주기인 5초 주기로 촬영을 할 수 있다.
그리고 제어부(120)는 카메라를 통해 촬영된 이미지를 입출력부(110)로부터 획득할 수 있고, 획득된 이미지로부터 사용자에 대응되는 영역을 식별할 수 있다.
예를 들어, 제어부(120)는 영상분할(Image segmentation)을 이용하여 이미지에서 사용자에 대응되는 영역을 식별할 수 있다.
그리고 예를 들어, 제어부(120)는 이미지 내에서 사용자의 특징점인 눈, 코, 입, 얼굴 등을 추출할 수 있으며, 추출된 특징점을 기초로 사용자의 얼굴영역을 식별할 수 있다.
또는 예를 들어, 제어부(120)는 이미지에서 얼굴색과 유사한 픽셀값을 가지고 있는 픽셀을 식별함으로써 얼굴 영역을 식별할 수 있다.
이때 실시예에 따라, 제어부(120)는 영상분할, 특징점 추출 방법 또는 얼굴인식 방법 등을 동시에 이용하여 이미지에서 사용자에 대응되는 영역을 식별할 수 있다.
이후, 제어부(120)는 이미지 내에서 사용자에 대응되는 영역과 나머지 배경에 대응되는 영역을 구분할 수 있고, 이미지에서 사용자에 대응되는 영역으로 구분된 영역의 비율을 계산할 수 있다.
즉, 제어부(120)는 이미지를 분석하여 사용자에 대응되는 영역의 픽셀을 식별하고, 이미지 전체 픽셀대비 사용자에 대응되는 영역의 픽셀 비율을 계산하여 디스플레이와 사용자간의 거리를 추정할 수 있다.
예를 들어, 제어부(120)는 이미지 전체의 픽셀 수 대비 사용자에 대응되는 영역으로 식별된 픽셀 수의 비율을 계산할 수 있고, 계산된 비율이 기 설정된 임계값인 60%를 초과하는지 여부에 기초하여 디스플레이와 사용자간의 거리가 기 설정된 거리 이내인지 여부를 추정할 수 있다.
또는 예를 들어, 제어부(120)는 계산된 비율이 사용자로부터 입력받은 값을 초과하는지 여부에 기초하여 디스플레이와 사용자간의 거리가 알람을 제공하는 기 설정된 거리 이내인지 여부를 추정할 수 있다.
이를 위해, 제어부(120)는 임계값을 설정할 수 있다.
하나의 실시예에 따라, 제어부(120)는 타 사용자의 임계값과 환경정보를 학습할 수 있고, 학습을 기초로 사용자의 임계값을 설정할 수 있다.
예를 들어, 제어부(120)는 타 사용자로부터 획득된 임계값과 그에 따른 환경정보를 학습할 수 있고, 학습에 기초하여 사용자의 환경정보에 따른 임계값을 설정할 수 있다.
다른 실시예에 따라, 제어부(120)는 임계값을 설정하기 위하여, 사용자가 취해야 할 자세를 안내하는 자세가이드를 포함하는 사용자 인터페이스를 상기 디스플레이에 표시되도록 하되, 자세가이드에 따라 상기 카메라에 의해 촬영된 이미지에 기초하여 임계값을 설정할 수 있다.
예를 들어, 제어부(120)는 사용자에게 임계값을 설정하기 위한 인터페이스를 제공할 수 있고, 제공된 인터페이스를 통해 임계값의 설정에 필요한 복수의 촬영 자세에 대한 안내인 콘텐츠인 자세가이드를 제공할 수 있다. 그리고 제어부(120)는 자세가이드에 포함된 각 자세를 취한 사용자에 의해 촬영된 이미지를 기초로 사용자에 대응되는 영역의 비율을 계산할 수 있고, 계산된 값을 기초로 임계값으로 설정할 수 있다.
한편, 이미지에서 사용자에 대응되는 영역의 비율 계산시 제어부(120)는 실시예에 따라 사용자에 대응되는 영역에 대한 가중치를 달리할 수 있다.
하나의 실시예에 따라, 제어부(120)는 이미지상에서 사용자의 눈을 식별하고 사용자의 눈에 대응되는 영역 픽셀에 대해 가중치를 부여할 수 있다.
예를 들어, 제어부(120)는 이미지상에서 사용자의 눈에 대응되는 픽셀의 수에 1.3배의 가중치를 부여할 수 있고, 이미지 전체의 픽셀 수 대비 사용자에 대응되는 픽셀의 비율을 계산할 수 있다. 이를 통해, 제어부(120)는 사용자의 눈에 대응되는 픽셀의 수가 많아질수록 카메라에 근접한 것으로 추정할 수 있다.
다른 실시예에 따라, 제어부(120)는 단말의 기울기를 획득하고, 획득된 단말의 기울기에 기초하여 이미지에서 사용자에 대응되는 영역의 픽셀에 대한 가중치를 달리 부여할 수 있다.
즉, 제어부(120)는 디스플레이와 함께 단말에 구비된 가속도 센서로부터 단말의 기울기를 획득할 수 있고, 사용자가 단말을 파지하여 디스플레이를 시청하는 자세를 추정하여 이미지에서 사용자에 대응되는 픽셀에 대한 가중치를 달리 부여하거나 또는 단말의 기울기에 따라 이미지상의 일 영역을 비율 계산시 제외되는 비관심영역으로 설정할 수 있다.
예를 들어, 단말이 지표면과 평행하게 놓여진 경우, 카메라가 사용자를 아래에서 위로 촬영하게 되므로 이미지에서 사용자에 대응되는 픽셀의 영역이 이미지의 하단 일부만 있게 되므로 제어부(120)는 사용자에 대응되는 영역의 픽셀에 대해 가중치를 부여하거나 또는 이미지의 상단 부분을 비관심영역으로 설정할 수 있다.
또는 예를 들어, 제어부(120)는 단말이 좌측으로 기울어진 가로모드인 것으로 식별되면, 카메라가 사용자를 좌측에서 촬영하게 되므로 이미지상에서 사용자에 대응되는 영역 중 우측 픽셀에 대해 가중치를 부여하거나 또는 이미지의 오른쪽 영역을 비관심영역으로 설정할 수 있다.
이를 통해, 사용자의 자세에 따라 사용자를 촬영하는 카메라의 각도가 달라져 사용자가 디스플레이에 가까이 있어도 사용자에 대응되는 영역의 비율이 낮아져 거리 추정에 왜곡이 발생하는 것을 보완할 수 있다.
그리고 제어부(120)는 이미지에서 식별된 영역의 비율에 기초하여 디스플레이의 출력을 제어하여 알람을 제공할 수 있다.
하나의 실시예에 따라, 제어부(120)는 기 설정된 주기로 촬영된 이미지 중 사용자에 대응되는 픽셀의 비율이 기 설정된 값을 초과한 이미지가 식별된 시점부터 디스플레이에 알람을 제공하되, 상기 비율이 기 설정된 값 이하인 이미지가 식별되면, 알람의 제공을 중단할 수 있다.
예를 들어, 제어부(120)는 디스플레이를 통해 제공중인 영화의 재생을 중단하고 디스플레이로부터 일정한 거리 이상 이격될 것을 요청하는 알람 문구를 표시할 수 있다. 그리고 사용자가 기 설정된 거리 이상 이격되면 제어부(120)는 디스플레이에 제공된 알람을 제거하고 영화 재생을 할 수 있다.
또는 예를 들어, 제어부(120)는 입출력부(110)의 스피커를 통해 기 저장된 음성파일 또는 사용자에 의해 녹음된 음성인 “너무 가까워”를 재생할 수 있다.
이때 실시예에 따라, 제어부(120)는 알람으로써 광고를 제공할 수 있다.
예를 들어, 제어부(120)는 알람을 제공한 누적 횟수가 3 회를 초과하면 알람(문구 또는 음성) 대신 일정한 시간 강제 표시되는 광고를 제공할 수 있다. 이때, 제어부(120)는 광고 제공을 제거하는 입력수단을 제공할 수 있고, 사용자가 입력수단을 통해 일정한 금액을 결제하면, 광고 제공을 중단할 수 있다.
또는 예를 들어, 제어부(120)는 알람으로 경고문구가 제공된 후 표시된 경고문구가 기 설정된 시간인 3초를 초과하여 유지되면 추가로 광고를 제공할 수 있다.
다른 실시예에 따라, 제어부(120)는 이미지 중 사용자에 대응되는 픽셀의 비율에 기초하여 디스플레이를 통해 알람을 제공하되, 이미지 중 사용자에 대응되는 픽셀의 비율에 반비례하여 디스플레이에 제공된 알람의 투명도를 달리 조절할 수 있다.
예를 들어, 제어부(120)는 이미지에서 사용자에 대응되는 영역의 픽셀의 비율이 기 설정된 값인 40%를 초과하면 디스플레이상에 광고가 표시됨을 알릴 수 있고, 디스플레이에 표시되는 콘텐츠에 투명도를 80%로 조절한 광고를 별도의 레이어로 중첩하여 표시할 수 있다. 그리고 이미지에서 사용자에 대응되는 영역의 픽셀의 비율이 높아지면, 제어부(120)는 별도의 레이어로 중첩 표시된 광고의 투명도를 사용자에 대응되는 영역의 픽셀 비율에 반비례하게 20%로 낮추어 광고를 진하게 표시할 수 있다.
이후, 이미지에서 사용자에 대응되는 영역의 픽셀의 비율이 기 설정된 값인 40% 이하가 되면, 제어부(120)는 광고의 투명도를 100%로 조절하여 광고가 표시되도록 하지 않거나 또는 광고가 표시된 레이어를 제거할 수 있다.
한편, 제어부(120)는 단말의 기울기와 촬영된 이미지에 기초하여 사용자의 자세를 추정할 수 있고, 추정된 사용자의 자세에 기초하여 디스플레이에 알람을 제공할 수 있다.
예를 들어, 제어부(120)는 단말로부터 획득된 기울기에 기초하여 단말이 지표면과 평행하게 배치되고, 카메라를 통해 촬영된 이미지상에서 사용자에 대응되는 영역의 픽셀의 밝기와 나머지 영역의 픽셀 밝기를 비교하여 나머지 영역의 픽셀의 밝기가 밝은 경우, 사용자가 고개를 숙이고 디스플레이를 바라보는 것으로 식별하여 디스플레이에 자세를 바꿀 것을 요청하는 알람을 제공할 수 있다.
이를 통해, 사용자가 스마트기기를 시청하는 자세가 나쁘거나 또는 거리가 너무 가까운 경우 알람을 제공함으로써 사용자 스스로 올바른 자세로 스마트기기를 안전거리만큼 이격시켜 시청하도록 유도할 수 있다.
통신부(130)는 다른 디바이스 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신부(130)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.
통신부(130)가 지원하는 무선 통신은, 예를 들어 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), UWB(Ultra Wide Band) 또는 NFC(Near Field Communication) 등일 수 있다. 또한, 통신부(130)가 지원하는 유선 통신은, 예를 들어 USB 또는 HDMI(High Definition Multimedia Interface) 등일 수 있다.
메모리부(140)에는 파일, 어플리케이션 및 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 제어부(120)는 메모리부(140)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리부(140)에 저장할 수도 있다. 또한, 제어부(120)는 메모리부(140)에 설치된 프로그램을 실행할 수도 있다. 도 1을 참조하면, 메모리부(140)에는 알람제공방법을 수행하기 위한 프로그램이 설치될 수 있다.
일 실시예에 따르면, 입출력부(110)를 통해 사용자로부터 알람제공방법을 요청하는 입력을 수신하면, 제어부(120)는 메모리부(140)에 저장된 프로그램을 백그라운드로 실행시켜 알람제공방법을 수행한다.
도 2 는 일 실시예에 따른 알람제공방법을 설명하기 위한 순서도이다.
도 2 에 도시된 실시예에 따른 알람제공방법은 도 1 에 도시된 알람제공장치(10)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 에 도시된 알람제공장치(10)에 관하여 이상에서 기술한 내용은 도 2 에 도시된 실시예에 따른 알람제공방법에도 적용될 수 있다.
도 3 내지 도 7 은 도 2 를 참조하여 이하에서 후술된다. 도 3 내지 도 7 은 일 실시예에 따른 알람제공방법을 설명하기 위한 예시도로서, 알람제공장치(10)가 구현되는 전자단말기의 화면을 통해 나타나는 화면의 일례를 도시한 것이다.
도 2 를 참조하면, 알람제공장치(10)는 디스플레이의 동작을 감지할 수 있다(S2001).
예를 들어, 알람제공장치(10)는 백그라운드에서 애플리케이션의 실행시키는 사용자의 입력이 발생하는지 여부를 식별하여 디스플레이의 동작을 감지할 수 있다. 또는 운영체제로부터 현재 CPU와 메모리를 점유하는 프로세스의 존재를 식별하여 디스플레이의 동작을 감지할 수 있다.
이때, 실시예에 따라 알람제공장치(10)는 알람제공방법의 프로세스에 대한 종료를 제한적으로 할 수 있도록 암호를 설정받을 수 있다.
예를 들어, 알람제공장치(10)는 사용자로부터 알람제공방법의 프로세스 종료에 대한 암호를 설정받을 수 있고, 설정된 암호가 입력되지 않는 한 백그라운드에서 실행중인 알람제공방법의 프로세스를 종료하지 않을 수 있다.
그리고 알람제공장치(10)는 디스플레이의 동작이 감지되면, 디스플레이와 동일한 측면에 배치된 카메라를 이용하여 사용자를 촬영할 수 있다(S2002).
예를 들어, 알람제공장치(10)는 디스플레이의 동작이 감지되면, 백그라운드에서 카메라를 제어하여 기 설정된 시간인 5 초 간격으로 전면 카메라를 동작시켜 사용자를 촬영할 수 있다.
도 3 을 참조하면, 알람제공장치(10)가 디스플레이(301)의 동작을 감지하면 알람제공장치(10)는 전면 카메라(302)를 이용하여 기 설정된 주기마다 사용자를 촬영할 수 있다.
이후, 알람제공장치(10)는 촬영된 이미지로부터 사용자에 대응되는 영역을 식별할 수 있다(S2003).
하나의 실시예에 따라, 알람제공장치(10)는 영상분할을 이용하여 이미지상의 사용자에 대응되는 영역과 나머지 영역을 분할할 수 있다.
예를 들어, 알람제공장치(10)는 영상분할을 이용하여 사용자의 얼굴에 대한 픽셀값과 유사한 픽셀을 그룹핑함으로써 사용자에 대응되는 영역과 나머지 영역을 분할할 수 있다.
도 4 는 알람제공장치(10)가 이미지에서 사용자에 대응되는 영역을 식별하는 방법을 도시한 예시도이다.
도 4 를 참조하면, 알람제공장치(10)는 S2002단계에서 촬영된 이미지(401)에서 영상분할 방법을 이용하여 사용자에 대응되는 영역(402)과 나머지 배경 영역(403)으로 구분할 수 있다.
다른 실시예에 따라, 알람제공장치(10)는 이미지에서 사용자의 얼굴영역을 식별할 수 있다.
예를 들어, 알람제공장치(10)는 사람의 얼굴색과 유사한 픽셀값을 가지고 있는 픽셀을 식별함으로써 얼굴 영역을 식별할 수 있다.
도 4 를 참조하면, 알람제공장치(10)는 S2002단계에서 촬영된 이미지(401)에서 일반적인 얼굴색에 대응되는 픽셀 영역(404)을 식별하여 사용자의 얼굴영역을 인식할 수 있다.
그리고 다른 실시예에 따라, 알람제공장치(10)는 이미지에서 특징점을 추출하여 사용자에 대응되는 영역을 식별할 수 있다.
예를 들어, 알람제공장치(10)는 이미지로부터 얼굴방향, 좌우눈썹, 눈, 콧날, 코 아래, 좌우 볼 중앙, 입술 위치 등에 대한 특징점을 추출하여 사용자의 얼굴에 대응되는 영역을 식별할 수 있다.
도 4 를 참조하면, 알람제공장치(10)는 이미지(401)에서 눈(405), 눈썹(406), 코(407) 등에 대한 특징점을 추출하여 사용자의 얼굴에 대응되는 영역(408)을 식별할 수 있다.
이때 실시예에 따라, 알람제공장치(10)는 상술된 방법을 결합하여 이미지에서 사용자에 대응되는 영역을 식별할 수 있다.
예를 들어, 알람제공장치(10)는 영상분할, 얼굴영역인식 및 특징점 추출 방법 각각에 의해 식별된 사용자에 대응되는 영역을 결합하여 사용자에 대응되는 영역으로 식별할 수 있다.
도 4 를 참조하면, 알람제공장치(10)는 이미지(401)를 이용하여 영상분할을 이용하여 식별된 영역(402), 얼굴영역인식을 통해 식별된 영역(404) 및 특징점을 이용하여 식별된 영역(408)을 결합하여 중첩되는 영역을 사용자에 대응되는 영역으로 식별할 수 있다.
이를 통해 환경변화에 강건하면서도 이미지로부터 빠르게 사용자에 대응되는 영역을 식별할 수 있다.
그리고 알람제공장치(10)는 이미지에서 식별된 영역의 비율을 계산하여 디스플레이와 사용자간 거리를 추정할 수 있다(S2004).
예를 들어, 알람제공장치(10)는 이미지 픽셀의 수 대비 S2003단계에서 식별된 사용자에 대응되는 영역의 픽셀의 수의 비율을 계산할 수 있으며, 계산된 비율에 기초하여 디스플레이와 사용자간 거리를 추정할 수 있다.
이때, 사용자가 단말을 파지한 자세에 기초하여 알람제공장치(10)는 이미지 에서 사용자에 대응되는 영역으로 식별된 픽셀에 대한 가중치를 달리할 수 있다.
하나의 실시예에 따라 알람제공장치(10)는 사용자의 눈에 대응되는 픽셀에 대해 가중치를 부여할 수 있다.
예를 들어, 알람제공장치(10)는 이미지상에서 사용자의 눈에 대응되는 픽셀의 수에 1.4 배의 가중치를 부여하여 비율을 계산할 수 있다.
다른 실시예에 따라, 알람제공장치(10)는 단말의 기울기를 획득하고, 획득된 단말의 기울기에 기초하여 이미지에서 사용자에 대응되는 영역의 픽셀에 대한 가중치를 달리 부여할 수 있다.
예를 들어, 사용자의 자세로 인해 카메라의 촬영위치가 사용자의 시선보다 높은 경우 이미지의 하단에 사용자의 얼굴 일부만 포함되므로 알람제공장치(10)는 이미지의 하단에 사용자의 얼굴에 대응되는 영역의 픽셀에 가중치를 부여할 수 있다.
도 5 는 알람제공장치(10)의 기울기에 따라 가중치를 부여하는 영역을 달리하는 것을 도시한 예시도이다. 도 5 를 참조하면, 사용자가 파지한 단말(501)의 바닥과의 각도(502)가 작아질수록 이미지(503)에서 사용자가 촬영된 영역이 하단으로 내려가므로 알람제공장치(10)는 가속도센서로부터 획득된 Y, Z 값을 기초로 이미지(503)에서 가중치를 부여할 기준(504)을 결정하여 기준(504) 이하의 영역(505)의 픽셀에 가중치를 부여하여 이미지(503) 전체의 픽셀 수 대비 사용자에 대응되는 영역(505)의 픽셀 수 비율을 계산할 수 있다.
이를 통해, 사용자가 휴대하여 사용하는 스마트기기의 특성상 카메라의 촬영각도가 사용자의 자세에 따라 달라져 사용자가 포함되는 영역이 작아짐에 따라 이미지 전체 픽셀 수 대비 사용자에 대응되는 영역의 픽셀 수 비율이 낮아져 발생하는 오차를 보정할 수 있다.
또는 알람제공장치(10)는 가속도센서로부터 획득된 X 값을 기초로 이미지의 일부 영역을 제외하여 사용자에 대응되는 영역의 픽셀에 대한 비율을 계산할 수 있다.
예를 들어, 단말이 가로모드인 경우, 알람제공장치(10)는 가속도센서로부터 획득된 X값에 따라 가로모드상에서 전면 카메라의 위치가 디스플레이의 좌측인지 또는 우측인지 여부를 식별할 수 있고, 식별된 전면 카메라의 방향에 따라 촬영된 이미지의 일부 영역을 비율 계산시 비관심 영역으로 제외할 수 있다.
도 6 은 단말의 기울기에 따라 가중치를 부여하는 영역을 달리하는 것을 도시한 예시도이다. 도 6 을 참조하면, 단말(601)이 가로모드여서 카메라(602)가 왼쪽에 위치한 경우, 알람제공장치(10)는 가속도센서로부터 X 값을 획득하여 단말(601)의 카메라(602)의 위치를 식별하여 이미지(603)에서 왼쪽영역(604)을 비관심영역으로 식별할 수 있다. 이후, 알람제공장치(10)는 이미지(603)에서 왼쪽영역(604)의 픽셀을 제외한 나머지 픽셀을 기준으로 사용자에 대응되는 영역의 픽셀 수 비율을 계산할 수 있다.
그리고 알람제공장치(10)는 이미지에서 식별된 영역의 비율에 기초하여 디스플레이로 알람을 제공할 수 있다(S2006).
이에 앞서, 알람제공장치(10)는 알람 제공기준인 임계값을 설정할 수 있다. 이러한 임계값 설정은 S2001 단계 이전에 수행될 수 있다.
예를 들어, 알람제공장치(10)는 디스플레이와 사용자간 이상적인 거리를 기준으로 촬영된 이미지를 기초로 특정 임계값이 공장 설정될 수 있다.
또는 예를 들어, 알람제공장치(10)는 사용자로부터 임계값을 설정받을 수 있다. 이를 위해, 알람제공장치(10)는 사용자가 취해야 할 자세를 안내하는 자세가이드를 포함하는 사용자 인터페이스를 디스플레이에 표시되도록 할 수 있다. 그리고 알람제공장치(10)는 자세가이드에 따라 사용자가 촬영된 이미지를 기초로 이미지에서 사용자에 대응되는 영역의 픽셀 비율을 계산하여 임계값으로 설정할 수 있다.
또는 예를 들어, 알람제공장치(10)는 최적 임계값을 계산하기 위해 머신러닝을 이용하여 사용자 또는 타 사용자의 임계값과 각 임계값에 대응되는 환경정보를 학습할 수 있고, 학습에 기초하여 현재 사용자의 환경정보에 대응되는 임계값을 설정할 수 있다.
그리고 알람제공장치(10)는 S2006단계에서 계산된 비율이 기 설정된 임계값을 초과하는지를 식별하여 알람을 제공할 수 있다.
[제 1 실시예]
알람제공장치(10)는 기 설정된 주기로 촬영된 이미지 중 사용자에 대응되는 픽셀의 비율이 기 설정된 임계값을 초과한 이미지가 식별된 시점부터 디스플레이에 알람을 제공할 수 있다.
예를 들어, 알람제공장치(10)는 픽셀의 비율이 기 설정된 값을 초과하면, 디스플레이의 화면을 전환하거나 또는 디스플레이의 화면에 출력되는 콘텐츠 상위에 광고를 별도의 레이어로 중첩하여 “화면과 근접하였으니 화면에서 멀어지세요” 라는 경고문구가 포함된 알람을 제공할 수 있다.
도 7 은 알람을 제공한 디스플레이를 도시한 예시도이다. 도 7 을 참조하면, 알람제공장치(10)는 S2006단계에서 계산된 비율이 기 설정된 임계값을 초과하면 기존 디스플레이에 출력중인 영화(701)위에 경고문구(702)를 중첩하여 제공할 수 있다.
이때, 알람제공장치(10)는 실시예에 따라 알람으로써 광고를 강제로 추가 제공할 수 있다.
예를 들어, 알람제공장치(10)는 알람을 제공한 누적 횟수가 3 회를 초과하면 알람(문구 또는 음성) 대신 일정한 시간동안 강제 표시되는 광고를 제공할 수 있다.
또는 예를 들어, 알람제공장치(10)는 알람이 제공되고 경과된 시간이 3초를 초과하면, 추가적으로 디스플레이 전면에 표시되는 광고를 제공할 수 있다.
도 7 을 참조하면, 알람제공장치(10)는 사용자를 촬영한 이미지에서 사용자에 대응되는 영역이 임계값을 초과하여 알람(702)이 제공된 후 알람(702)이 기 설정된 시간인 3초간 계속 유지되면, 추가적으로 기 설정된 광고(704)를 전면에 제공할 수 있다.
한편, 실시예에 따라 알람제공장치(10)는 사용자가 일정 금액을 결제하면 광고 제공이 중단되도록 설정할 수 있다. 예를 들어, 알람제공장치(10)는 사용자가 3초 경과 후 강제로 제공되는 광고의 제거를 위해 결제할 수 있는 입력수단을 알람과 함께 제공할 수 있고, 사용자가 결제를 하면 추가적으로 광고가 제공되지 않도록 설정할 수 있다.
도 7 을 참조하면, 알람제공장치(10)는 알람으로 제공된 경고(702)에 광고제거를 요청하는 입력수단(703)을 제공할 수 있고, 결제가 완료되면 3초 후 추가적으로 일정시간 동안 강제로 표시되는 광고가 제공되지 않도록 설정할 수 있다.
[제 2 실시예]
알람제공장치(10)는 기 설정된 주기로 촬영된 이미지 중 사용자에 대응되는 픽셀의 비율이 기 설정된 임계값을 초과하면 디스플레이에 알람을 제공하되, 비율에 반비례하여 알람의 투명도를 제어할 수 있다.
예를 들어, 알람제공장치(10)는 비율이 기 설정된 임계값을 초과하면, 디스플레이에 광고를 중첩하여 표시하되 투명도를 80%로 조절하여 제공할 수 있고, 사용자에 대응되는 픽셀의 비율이 커질수록 디스플레이에 표시된 광고의 투명도를 낮춰 0%로 제공할 수 있다.
이후, 알람제공장치(10)는 이미지에서 식별된 영역의 비율이 기 설정된 임계값 이하이면(S2007), S2006 단계에서 디스플레이에 제공된 알람을 제거할 수 있다(S2008).
한편, 알람제공장치(10)는 실시예에 따라, 사용자에 의해 설정된 임계값과 S2003 단계 내지 S2004 단계를 통해 식별된 사용자에 대응되는 영역 등 디스플리에와 사용자간 거리를 추정하여 알람을 제공하기 위해 수집되거나 계산된 정보를 서버(미도시)로 제공할 수 있다.
그리고 알람제공장치(10)는 서버(미도시)로부터 타 사용자에 대한 정보를 기초로 사용자에 대한 임계값을 갱신할 수 있다.
예를 들어, 알람제공장치(10)는 서버(미도시)로부터 사용자와 유사한 타 사용자의 임계값, 타 사용자의 환경정보인 카메라의 조도센서 값, 가속도센서 값 등을 기초로 사용자의 단말의 환경정보에 대응되는 임계값으로 기존 임계값을 갱신할 수 있다.
이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.
뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.
도 2 를 통해 설명된 실시예에 따른 알람제공방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다.예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다.
또한 도 2 를 통해 설명된 실시예에 따른 알람제공방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서 도 2 를 통해 설명된 실시예에 따른 알람제공방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 명세서를 통해 보호 받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.
10: 알람제공장치
110: 입출력부
120: 제어부
130: 통신부
140: 메모리부

Claims (16)

  1. 사용자와 디스플레이간의 거리에 기초한 알람을 제공하는 장치에 있어서,
    상기 알람을 표시하는 디스플레이;
    상기 디스플레이를 시청하는 상기 사용자를 촬영하는 카메라; 및
    상기 사용자를 촬영한 이미지로부터 상기 사용자에 대응되는 영역을 식별하고, 상기 이미지에서 식별된 영역의 비율에 기초하여 상기 디스플레이에 알람을 제공하는 제어부를 포함하는 알람제공장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    상기 디스플레이의 동작을 감지하고, 상기 디스플레이가 동작하면 기 설정된 주기로 상기 사용자를 촬영되도록 하는, 알람제공장치.
  3. 제 2 항에 있어서,
    상기 제어부는,
    기 설정된 주기로 촬영된 이미지 중 상기 비율이 기 설정된 임계값을 초과한 이미지가 식별된 시점부터 상기 디스플레이에 알람이 제공되도록 하되, 상기 비율이 기 설정된 임계값 이하인 이미지가 식별되면, 상기 알람의 제공이 중단되도록 하는, 알람제공장치.
  4. 제 3 항에 있어서,
    상기 제어부는,
    상기 임계값을 설정하기 위하여, 상기 사용자가 취해야 할 자세를 안내하는 자세가이드를 포함하는 사용자 인터페이스를 상기 디스플레이에 표시되도록 하되, 상기 자세가이드에 따라 상기 카메라에 의해 촬영된 이미지에 기초하여 상기 임계값을 설정하는, 알람제공장치.
  5. 제 1 항에 있어서,
    상기 제어부는,
    상기 이미지를 분석하여 상기 사용자에 대응되는 영역의 픽셀을 식별하고, 상기 이미지의 픽셀대비 상기 사용자에 대응되는 영역의 픽셀 비율을 계산하는, 알람제공장치.
  6. 제 5 항에 있어서,
    상기 알람제공장치는,
    상기 알람제공장치의 기울기를 감지하는 가속도 센서를 더 포함하고,
    상기 제어부는,
    상기 가속도 센서로부터 획득된 알람제공장치의 기울기에 기초하여 상기 이미지 중 일 영역을 비관심 영역으로 설정하는, 알람제공장치.
  7. 제 5 항에 있어서,
    상기 알람제공장치는,
    상기 알람제공장치의 기울기를 감지하는 가속도 센서를 더 포함하고,
    상기 제어부는,
    상기 가속도 센서로부터 획득된 알람제공장치의 기울기에 기초하여 상기 사용자에 대응되는 픽셀에 대한 가중치를 달리 부여하는, 알람제공장치.
  8. 알람제공장치가 사용자와 디스플레이간의 거리에 기초한 알람을 제공하는 방법에 있어서,
    상기 디스플레이를 시청하는 상기 사용자를 촬영하는 단계;
    상기 사용자를 촬영한 이미지로부터 상기 사용자에 대응되는 영역을 식별하는 단계; 및
    상기 이미지에서 식별된 영역의 비율에 기초하여 상기 디스플레이의 출력을 제어하여 상기 알람을 상기 디스플레이에 표시하는 단계를 포함하는, 알람제공방법.
  9. 제 8 항에 있어서,
    상기 사용자를 촬영하는 단계는,
    상기 디스플레이의 동작을 감지하고, 상기 디스플레이가 동작하면 기 설정된 주기로 상기 사용자를 촬영하는 단계를 포함하는, 알람제공방법.
  10. 제 9 항에 있어서,
    상기 알람을 상기 디스플레이에 표시하는 단계는,
    기 설정된 주기로 촬영된 이미지 중 상기 비율이 기 설정된 임계값을 초과한 이미지가 식별된 시점부터 상기 디스플레이에 알람을 제공하는 단계; 및
    상기 비율이 기 설정된 임계값 이하인 이미지가 식별되면, 상기 알람의 제공을 중단하는 단계를 포함하는, 알람제공방법.
  11. 제 10 항에 있어서,
    상기 알람제공방법은,
    상기 임계값을 설정하기 위하여, 상기 사용자가 취해야 할 자세를 안내하는 자세가이드를 포함하는 사용자 인터페이스를 상기 디스플레이에 표시하는 단계; 및
    상기 자세가이드에 따라 상기 사용자가 촬영된 이미지에 기초하여 상기 임계값을 설정하는 단계를 더 포함하는, 알람제공방법.
  12. 제 8 항에 있어서,
    상기 사용자에 대응되는 영역을 식별하는 단계는,
    상기 이미지를 분석하여 상기 사용자에 대응되는 영역의 픽셀을 식별하는 단계; 및
    상기 이미지의 픽셀대비 상기 사용자에 대응되는 영역의 픽셀 비율을 계산하는 단계를 포함하는, 알람제공방법.
  13. 제 12 항에 있어서,
    상기 픽셀의 비율을 계산하는 단계는,
    상기 알람제공장치의 기울기에 기초하여 상기 이미지 중 일 영역을 비관심 영역으로 설정하는 단계를 포함하는, 알람제공방법.
  14. 제 12 항에 있어서,
    상기 픽셀의 비율을 계산하는 단계는,
    상기 알람제공장치의 기울기에 기초하여 상기 사용자에 대응되는 픽셀에 대한 가중치를 달리 부여하는 단계를 포함하는, 알람제공방법.
  15. 제 8 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  16. 알람제공장치에 의해 수행되며, 제 8 항에 기재된 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램.
KR1020200000924A 2020-01-03 2020-01-03 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치 KR102366612B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200000924A KR102366612B1 (ko) 2020-01-03 2020-01-03 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200000924A KR102366612B1 (ko) 2020-01-03 2020-01-03 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210087781A true KR20210087781A (ko) 2021-07-13
KR102366612B1 KR102366612B1 (ko) 2022-02-23

Family

ID=76858839

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200000924A KR102366612B1 (ko) 2020-01-03 2020-01-03 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102366612B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024101645A1 (ko) * 2022-11-08 2024-05-16 삼성전자주식회사 전자 장치 및 그 ui 제공 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130031120A (ko) * 2011-09-20 2013-03-28 삼성전자주식회사 올바른 기기사용자세 유도 장치 및 방법
KR20150004524A (ko) * 2013-07-03 2015-01-13 홍익대학교세종캠퍼스산학협력단 목 디스크 예방을 위한 모니터 사용자의 자세 측정 시스템 및 방법
KR20150064988A (ko) * 2013-12-04 2015-06-12 삼성전자주식회사 시청 자세 모니터링 시스템 및 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체.

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130031120A (ko) * 2011-09-20 2013-03-28 삼성전자주식회사 올바른 기기사용자세 유도 장치 및 방법
KR20150004524A (ko) * 2013-07-03 2015-01-13 홍익대학교세종캠퍼스산학협력단 목 디스크 예방을 위한 모니터 사용자의 자세 측정 시스템 및 방법
KR20150064988A (ko) * 2013-12-04 2015-06-12 삼성전자주식회사 시청 자세 모니터링 시스템 및 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024101645A1 (ko) * 2022-11-08 2024-05-16 삼성전자주식회사 전자 장치 및 그 ui 제공 방법

Also Published As

Publication number Publication date
KR102366612B1 (ko) 2022-02-23

Similar Documents

Publication Publication Date Title
US9288388B2 (en) Method and portable terminal for correcting gaze direction of user in image
US11527105B2 (en) System and method for scalable cloud-robotics based face recognition and face analysis
CA2942377C (en) Object tracking in zoomed video
JP6362831B2 (ja) ユーザの顔分析結果によって移動端末を制御する装置及び方法
US9706123B2 (en) Video image stabilization
US10460164B2 (en) Information processing apparatus, information processing method, eyewear terminal, and authentication system
US9684830B2 (en) Automatic target selection for multi-target object tracking
CN106165391B (zh) 增强的图像捕获
US20130243270A1 (en) System and method for dynamic adaption of media based on implicit user input and behavior
US20190244369A1 (en) Display device and method for image processing
US10176616B2 (en) Automatic capture and refinement of a digital image of a group of people without user intervention
AU2018203279A1 (en) Enhanced image capture
US10706512B2 (en) Preserving color in image brightness adjustment for exposure fusion
US11720745B2 (en) Detecting occlusion of digital ink
US9904361B2 (en) Electronic device and facial expression operation method
KR102366612B1 (ko) 사용자와 디스플레이간의 거리에 기초한 알람 제공 방법 및 장치
CN113170068A (zh) 视频帧亮度滤波器
CN112183173A (zh) 一种图像处理方法、装置及存储介质
US20200402253A1 (en) Head pose estimation
KR20200091669A (ko) 스마트폰 사용자의 시력 보호 방법 및 그 방법을 수행하기 위한 어플리케이션
US20180189938A1 (en) System and Method for Performing Pre-Processing for Blending Images
US11360555B2 (en) Systems and methods for automatic eye gaze refinement
US10902265B2 (en) Imaging effect based on object depth information
Lee Novel video stabilization for real-time optical character recognition applications
KR102510017B1 (ko) 유해 콘텐츠 재생 방지 및 시력 보호를 위한 콘텐츠 제공 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant