KR102319437B1 - 거리 결정 방법 및 디바이스 - Google Patents

거리 결정 방법 및 디바이스 Download PDF

Info

Publication number
KR102319437B1
KR102319437B1 KR1020170030533A KR20170030533A KR102319437B1 KR 102319437 B1 KR102319437 B1 KR 102319437B1 KR 1020170030533 A KR1020170030533 A KR 1020170030533A KR 20170030533 A KR20170030533 A KR 20170030533A KR 102319437 B1 KR102319437 B1 KR 102319437B1
Authority
KR
South Korea
Prior art keywords
distance
user
camera
eyes
image
Prior art date
Application number
KR1020170030533A
Other languages
English (en)
Other versions
KR20180054401A (ko
Inventor
강석명
이윤석
이종우
전종구
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/672,807 priority Critical patent/US10636167B2/en
Publication of KR20180054401A publication Critical patent/KR20180054401A/ko
Application granted granted Critical
Publication of KR102319437B1 publication Critical patent/KR102319437B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

거리를 결정하는 디바이스 및 방법이 제공된다. 디바이스가 거리를 결정하는 방법은 상기 디바이스의 카메라를 통해 촬영된 제 1 이미지를 이용하여 사용자의 양안 간의 제 1 양안 거리를 결정하는 단계; 상기 카메라를 통해 촬영된 제 2 이미지를 이용하여 상기 사용자의 양안 간의 제 2 양안 거리를 결정하는 단계; 상기 제 1 양안 거리 및 상기 제 2 양안 거리에 기초하여, 상기 카메라로부터 상기 사용자의 양안까지의 거리를 결정하는 단계; 및 상기 카메라로부터 상기 사용자의 양안까지의 거리에 따라 변환된 이미지를 상기 디바이스의 디스플레이에 제공하는 단계;를 포함한다.

Description

거리 결정 방법 및 디바이스{DEVICE AND METHOD FOR DETERMINING DISTANCE}
본 개시는 거리를 결정하는 방법 및 디바이스에 관한 것으로서, 보다 상세하게는, 카메라를 이용하여 거리를 결정하는 방법 및 디바이스에 관한 것이다.
피사체까지의 거리를 측정하기 위해서 여러 가지 방식이 이용되고 있다. 예를 들면, 피사체까지의 거리를 측정하기 위하여 광을 이용하는 방식이 널리 이용되고 있으며, 광을 이용하여 거리를 측정하는 방식에는, 삼각측량(triangulation) 방식, TOF(Time of Flight) 방식, 위상차(phase-shift)를 이용한 방식 등이 있다.
삼각측량 방식은 삼각측량법을 이용하여 거리를 측정하는 방법이며, TOF 방식은 거리 측정 장치로부터 광을 방출한 시간과 피사체로부터 반사되어 거리 측정 장치로 광이 되돌아온 시간의 차이를 이용하여 거리를 계산하는 방법이다. 위상차를 이용한 방식은 일정한 주파수를 가진 광을 피사체에 조사하여, 기준광과 피사체로부터 반사되어 거리 측정 장치로 되돌아온 광 사이의 위상차로부터 거리를 계산하는 방법이다.
또는, 복수개의 카메라를 통해 취득한 복수개의 이미지를 이용하여 피사체까지의 거리를 측정하는 방식이 이용되고 있다. 예를 들면, 스테레오 카메라를 이용하는 스테레오 정합(Stereo Matching)은, 사람이 두 눈을 이용하여 입체를 인지하는 과정을 하드웨어적으로 구현한 것으로서, 동일한 피사체를 두 개의 카메라로 촬영하여 획득한 한 쌍의 이미지에 대한 해석과정을 통해 공간에서의 깊이(또는 거리)에 대한 정보를 추출하는 방법이다. 입력 영상으로부터 획득한 값을 계산하면 관측 공간의 삼차원 거리 정보 등을 측정할 수 있다.
하지만, 종래 기술들은 특수한 광을 조사 및 수신하거나, 복수 개의 카메라를 이용하는 과정에서 복잡한 하드웨어적 구성을 요구한다는 문제점이 있었다.
일부 실시 예는, 두 번 이상의 촬영을 통해 거리를 결정하는 방법 및 디바이스를 제공할 수 있다.
또한, 일부 실시 예는 센서로부터 센싱된 정보를 획득하고, 센싱된 정보를 이용하여 거리를 결정하는 방법 및 디바이스를 제공할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은 디바이스가 거리를 결정하는 방법에 있어서, 상기 디바이스의 카메라를 통해 촬영된 제 1 이미지를 이용하여 사용자의 양안 간의 제 1 양안 거리를 결정하는 단계; 상기 카메라를 통해 촬영된 제 2 이미지를 이용하여 상기 사용자의 양안 간의 제 2 양안 거리를 결정하는 단계; 상기 제 1 양안 거리 및 상기 제 2 양안 거리에 기초하여, 상기 카메라로부터 상기 사용자의 양안까지의 거리를 결정하는 단계; 및 상기 카메라로부터 상기 사용자의 양안까지의 거리에 따라 변환된 이미지를 상기 디바이스의 디스플레이에 제공하는 단계;를 포함할 수 있다.
또한, 본 개시의 제 2 측면은, 거리를 결정하는 디바이스에 있어서, 사용자의 양안을 촬영하는 카메라; 및 상기 카메라를 통해 촬영된 제1 이미지를 이용하여 상기 사용자의 양안 간의 제 1 양안 거리를 결정하고, 상기 카메라를 통해 촬영된 제2 이미지를 이용하여 상기 사용자의 양안 간의 제 2 양안 거리를 결정하고, 상기 제 1 양안 거리 및 상기 제 2 양안 거리에 기초하여, 상기 카메라로부터 상기 사용자의 양안까지의 거리를 결정하고, 상기 카메라로부터 상기 사용자의 양안까지의 거리에 따라 변환된 이미지를 상기 디바이스의 디스플레이에 제공하는 프로세서를 포함할 수 있다.
또한, 본 개시의 제 3 측면은, 제 1 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
도 1은 일부 실시 예에 따른 디바이스가 디바이스로부터 사용자까지의 거리를 결정하는 일 예를 나타내는 도면이다.
도 2는 일부 실시 예에 따른 디바이스가 디바이스로부터 사용자까지의 거리를 결정하는 방법을 나타내는 흐름도이다.
도 3은 일부 실시 예에 따른 디바이스가 제 1 양안 거리(W1) 및 제 2 양안 거리(W2)를 이용하여 디바이스로부터 사용자까지의 거리를 결정하는 일 예를 나타내는 도면이다.
도 4는 일부 실시 예에 따른 디바이스가 센싱 정보를 이용하여 디바이스로부터 사용자까지의 거리를 결정하는 방법을 나타내는 흐름도이다.
도 5는 일부 실시 예에 따른 디바이스가 제 1 양안 거리(W1), 제 2 양안 거리(W2) 및 센서를 이용하여 디바이스로부터 사용자까지의 거리를 결정하는 일 예를 나타내는 도면이다.
도 6은 일부 실시 예에 따른 디바이스가 사용자의 안구 크기를 이용하여 디바이스로부터 사용자까지의 거리를 결정하는 일 예를 나타내는 도면이다.
도 7은 일부 실시 예에 따른 디바이스가 사용자의 안구 크기를 이용하여 디바이스로부터 사용자까지의 거리를 결정하는 방법을 나타내는 흐름도이다.
도 8는 일부 실시 예에 따른 디바이스가 예측된 안구 크기(W'E)를 이용하여 디바이스로부터 사용자까지의 거리를 결정하는 일 예를 나타내는 도면이다.
도 9는 일부 실시 예에 따른 디바이스가 거리를 결정하기 위해 가이드 라인을 이용하는 일 예를 나타내는 도면이다.
도 10은 일부 실시 예에 따른 디바이스가 디바이스가 기울어진 정도를 이용하여 디바이스로부터 사용자까지의 거리를 결정하는 방법을 나타내는 흐름도이다.
도 11은 카메라가 사용자의 양안의 높이보다 상단에 위치하는 경우, 일부 실시 예에 따른 디바이스가 디바이스로부터 사용자까지의 거리를 결정하는 일 예를 나타내는 도면이다.
도 12는 카메라가 사용자의 양안의 높이보다 하단에 위치하는 경우, 일부 실시 예에 따른 디바이스가 디바이스로부터 사용자까지의 거리를 결정하는 일 예를 나타내는 도면이다.
도 13은 일부 실시 예에 따른 디바이스가 디바이스로부터 사용자까지의 거리 및 사용자 정보에 기초하여 영상을 처리하는 방법을 나타내는 흐름도이다.
도 14는 일부 실시 예에 따른 디바이스가 디바이스로부터 사용자까지의 거리 및 사용자 정보에 기초하여 영상의 초점 평면의 위치를 결정하는 일 예를 나타내는 도면이다.
도 15는 일부 실시 예에 따른 디바이스가 핀홀 마스크를 이용하여 사용자에게 영상을 제공하는 일 예를 나타내는 도면이다.
도 16은 일부 실시 예에 따른 디바이스가 디스플레이되는 컨텐츠의 타입에 따라 영상을 처리하는 방법을 나타내는 흐름도이다.
도 17은 일부 실시 예에 따른 디바이스가 디스플레이되는 컨텐츠의 타입이 동영상인지 텍스트인지에 따라 영상을 처리하는 방법을 나타내는 흐름도이다.
도 18은 일부 실시 예에 따른 디바이스가 디바이스와 사용자간의 거리를 결정하고, 결정된 거리를 디스플레이하는 일 예를 나타내는 도면이다.
도 19는 일부 실시 예에 따른 디바이스가 사용자의 양안을 촬영하기 위해서 사용자에게 안내 문구를 제공하는 일 예를 나타내는 도면이다.
도 20 및 도 21은 일부 실시 예에 따른 디바이스의 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 일부 실시 예에 따른 디바이스(100)가 디바이스(100)로부터 사용자까지의 거리를 결정하는 일 예를 나타내는 도면이다. 예를 들면, 디바이스(100)는 디바이스(100)에 포함된 카메라의 렌즈로부터 사용자의 양안까지의 거리를 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 하나의 카메라를 이용하여 거리를 결정할 수 있다. 예를 들면, 디바이스(100)는 디바이스(100)에 포함된 하나의 카메라로 두 번 이상의 촬영을 통해 카메라의 렌즈로부터 사용자의 양안까지의 거리를 결정할 수 있다. 디바이스(100)는 첫 번째 촬영을 통해 획득한 사용자의 양안에 대한 정보와 두 번째 촬영을 통해 획득한 사용자의 양안에 대한 정보를 비교하여 카메라의 렌즈로부터 사용자의 양안까지의 거리를 결정할 수 있다.
일 예로, 디바이스(100)는 카메라를 통해 촬영된 제 1 이미지를 이용하여 사용자의 양안 간의 제 1 양안 거리를 결정하고, 카메라를 통해 촬영된 제 2 이미지를 이용하여 사용자의 양안 간의 제 2 양안 거리를 결정하고, 제 1 양안 거리 및 제 2 양안 거리에 기초하여, 카메라로부터 사용자의 양안까지의 거리를 결정할 수 있다. 예를 들면, 디바이스(100)는 제 1 이미지를 촬영함에 따라, 카메라의 이미지 센서 상에서 인식되는 사용자의 양안 간의 거리인 제 1 양안 거리와 제 2 이미지를 촬영함에 따라, 카메라의 이미지 센서 상에서 인식되는 사용자의 양안 간의 거리인 제 2 양안 거리를 비교하여 카메라로부터 사용자의 양안까지의 거리를 결정할 수 있다. 다른 예로, 디바이스(100)는 제 1 이미지를 촬영함에 따라, 카메라의 초점 평면 상에 맺힌 사용자의 양안 간의 거리인 제 1 양안 거리와, 제 2 이미지를 촬영함에 따라, 카메라의 초점 평면 상에 맺힌 사용자의 양안 간의 거리인 제 2 양안 거리를 비교하여 카메라로부터 사용자의 양안까지의 거리를 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 카메라로부터 사용자의 양안까지의 거리에 따라 변환된 이미지를 디바이스의 디스플레이에 제공할 수 있다. 예를 들면, 디바이스(100)는 카메라로부터 사용자의 양안까지의 거리에 기초하여, 디스플레이에 디스플레이될 영상을 처리할 수 있다. 디바이스(100)가 영상을 처리하는 과정에서 사용자 정보를 이용할 수 있다. 예를 들면 디바이스(100)는 카메라로부터 사용자의 양안까지의 거리 및 사용자의 시력 정보를 이용하여 디스플레이에 디스플레이될 영상을 처리할 수 있다. 구체적인 처리 방식은 도 13 등에서 후술한다.
일부 실시 예에 따른 디바이스(100)는 센서로부터 센싱된 정보를 획득하고, 센싱된 정보를 이용하여 거리를 결정할 수 있다. 일 예로, 디바이스(100)는 두 번 이상의 촬영을 통해 사용자에 대한 두 개의 이미지를 획득하고, 센서로부터 디바이스(100)의 움직임 정보를 획득하고, 획득한 두 개의 이미지의 차이를 움직임 정보에 기초하여 분석함으로써, 사용자로부터 디바이스까지의 거리를 결정할 수 있다. 예를 들면, 디바이스(100)는 첫 번째 촬영을 통해 획득한 사용자의 양안간의 거리와, 두 번째 촬영을 통해 획득한 사용자의 양안간의 거리와, 첫 번째 촬영 시점과 두 번째 촬영 시점 간에 디바이스(100)의 이동 거리를 이용하여 카메라의 렌즈로부터 사용자의 양안까지의 거리를 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 사용자의 안구를 촬영하여 사용자의 안구 크기를 결정하고, 사용자 정보를 이용하여 사용자의 안구 크기를 예측하고, 결정된 사용자의 안구 크기와 예측된 사용자의 안구 크기에 기초하여 디바이스(100)와 사용자간의 거리를 결정할 수 있다. 디바이스(100)는 결정된 사용자의 안구 크기와 예측된 사용자의 안구 크기를 비교하여, 카메라의 렌즈로부터 사용자의 양안간의 거리를 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 디바이스(100)와 사용자간의 거리를 결정하고, 결정된 거리를 이용하여 디바이스(100)에서 디스플레이될 영상을 처리할 수 있다. 디바이스(100)는 디바이스(100)에 저장된 사용자의 시력 정보와 카메라의 렌즈로부터 사용자의 양안까지의 거리에 기초하여 디스플레이될 영상을 처리할 수 있다. 일 예로, 디바이스(100)는 사용자의 시력과 카메라의 렌즈로부터 사용자의 양안까지의 거리에 기초하여 디스플레이될 영상의 초점 평면의 위치를 결정할 수 있다. 예를 들면, 사용자가 근시인 경우, 디바이스(100)는 디스플레이될 영상의 초점 평면의 위치를 디스플레이의 위치보다 사용자의 양안에서 더 가깝게 결정할 수 있다. 다른 예로, 사용자가 원시인 경우, 디바이스(100)는 디스플레이될 영상의 초점 평면의 위치를 디스플레이의 위치보다 사용자의 양안에서 더 멀게 결정할 수 있다. 다른 예로, 디바이스(100)는 사용자의 시력에 따라 디스플레이에서 디스플레이되는 빛의 방향성을 결정할 수 있다.
도 2는 일부 실시 예에 따른 디바이스(100)가 디바이스(100)로부터 사용자까지의 거리를 결정하는 방법을 나타내는 흐름도이다. 예를 들면, 디바이스(100)는 하나의 카메라를 이용하여, 카메라의 렌즈로부터 사용자의 양안까지의 거리를 결정할 수 있다.
디바이스(100)로부터 사용자까지의 거리는 디바이스(100)의 기설정된 부분으로부터 사용자의 기설정된 신체 부위까지의 거리를 의미할 수 있다. 예를 들면, 디바이스(100)로부터 사용자까지의 거리는 카메라의 렌즈로부터 사용자의 양안까지의 거리를 의미할 수 있다. 다른 예로, 디바이스(100)로부터 사용자까지의 거리는 디바이스(100)에 포함된 디스플레이로부터 사용자의 양안까지의 거리를 의미할 수 있다. 다른 예로, 디바이스(100)로부터 사용자까지의 거리는 디바이스(100)에 포함된 디스플레이의 중앙으로부터 사용자의 안면에서 디스플레이와 가장 가까운 부분까지의 거리를 의미할 수 있다. 디바이스(100)로부터 사용자까지의 거리의 의미는 상술된 예로 한정되지 않는다.
단계 S210에서 일부 실시 예에 따른 디바이스(100)는 사용자의 양안을 촬영하기 위한 제 1 입력을 수신할 수 있다.
일부 실시 예에 따른 디바이스(100)는 사용자의 양안의 촬영에 이용되는 제 1 입력을 수신할 수 있다. 일 예로, 디바이스(100)는 사용자의 양안을 촬영할 것을 요청하는 제 1 입력을 수신할 수 있다. 예를 들면, 디바이스(100)는 사용자의 터치 입력을 수신함에 따라 사용자의 양안을 촬영할 수 있다. 다른 예로, 특별한 사용자로부터의 입력 없이도, 디바이스(100)는 기설정된 애플리케이션이 수행됨에 따라, 사용자의 양안을 촬영할 것을 요청하는 제 1 입력을 수신할 수 있다. 디바이스(100)는 제 1 입력을 디바이스(100)의 외부로부터 수신할 수도 있고, 디바이스(100)에 포함된 일부 구성요소로부터 획득할 수도 있다.
단계 S220에서 일부 실시 예에 따른 디바이스(100)는 제 1 입력이 수신됨에 따라, 디바이스(100)의 카메라의 이미지 센서를 통해 카메라의 초점 평면 상에 맺힌 사용자의 양안 간의 제 1 양안 거리를 결정할 수 있다.
카메라의 초점 평면은 카메라의 렌즈에 의해 입사하는 빛이 모이는 평면을 의미할 수 있다. 예를 들면, 초점 평면은 카메라의 렌즈를 무한대에 초점을 맞추었을 때 렌즈를 통해 입사하는 빛이 모이는 가상의 평면일 수 있다.
카메라의 초점 평면 상에 이미지 센서가 위치할 수 있다. 이미지 센서는 이미지 센서 상에 맺힌 상을 센싱하여 이미지를 획득할 수 있다.
디바이스(100)는 제 1 입력에 따른 촬영을 통해, 카메라의 초점 평면 상에 맺힌 사용자의 양안 간의 거리인 제 1 양안 거리를 결정할 수 있다. 제 1 양안 거리는 제 1 입력에 따른 시점에 카메라의 초점 평면 상에서 사용자의 양안 간의 거리일 수 있다. 이미지 센서가 카메라의 초점 평면 상에 위치할 경우, 제 1 입력에 따른 촬영을 통해, 이미지 센서에 맺히는 사용자의 제 1 안구의 상과 제 2 안구의 상 사이의 거리가 제 1 양안 거리일 수 있다. 카메라의 초점 평면 상에 이미지 센서가 위치할 경우, 디바이스(100)는 이미지 센서를 통해 제 1 양안 거리를 결정할 수 있다. 카메라의 초점 거리는 카메라의 렌즈로부터 카메라의 초점 평면 또는 이미지 센서까지의 거리를 의미할 수 있다.
카메라는 디바이스(100)의 내부 또는 외부에 위치할 수 있다. 카메라가 디바이스(100)의 외부에 있는 경우, 디바이스(100)는 카메라로부터 이미지 센서에서 센싱된 정보를 획득하고, 센싱된 정보를 이용하여 제 1 양안 거리를 결정할 수 있다. 또는 카메라가 디바이스(100)에 포함되는 경우, 디바이스(100)는 디바이스(100) 내에 있는 카메라를 이용하여 제 1 양안 거리를 결정할 수 있다.
단계 S230에서 일부 실시 예에 따른 디바이스(100)는 사용자의 양안을 촬영하기 위한 제 2 입력을 수신할 수 있다.
디바이스(100)는 제 1 입력을 수신한 이후 사용자의 양안의 촬영에 이용되는 제 2 입력을 수신할 수 있다. 일 예로, 디바이스(100)는 사용자의 양안을 촬영할 것을 요청하는 제 1 입력 및 제 2 입력을 순차적으로 수신할 수 있다. 예를 들면, 디바이스(100)는 제 1 입력이 수신된 이후에 수신된 사용자의 터치 입력에 따라 사용자의 양안을 촬영할 수 있다. 다른 예로, 특별한 사용자로부터의 입력 없이도, 디바이스(100)는 기설정된 애플리케이션이 수행됨에 따라, 제 1 입력 및 제 2 입력을 순차적으로 수신할 수 있다. 디바이스(100)는 제 2 입력을 디바이스(100)의 외부로부터 수신할 수도 있고, 디바이스(100)에 포함된 일부 구성요소로부터 획득할 수도 있다.
단계 S240에서 일부 실시 예에 따른 디바이스(100)는 제 2 입력이 수신됨에 따라, 이미지 센서를 통해 초점 평면 상에 맺힌 사용자의 양안 간의 제 2 양안 거리를 결정할 수 있다.
디바이스(100)는 제 2 입력에 따른 촬영을 통해, 카메라의 초점 평면 상에 맺힌 사용자의 양안 간의 거리인 제 2 양안 거리를 결정할 수 있다. 제 2 양안 거리는 제 2 입력에 따른 시점에 카메라의 초점 평면 상에서 사용자의 양안 간의 거리일 수 있다. 이미지 센서가 카메라의 초점 평면 상에 위치할 경우, 제 2 입력에 따른 촬영을 통해, 이미지 센서에 맺히는 사용자의 제 1 안구의 상과 제 2 안구의 상 사이의 거리가 제 2 양안 거리일 수 있다. 카메라의 초점 평면 상에 이미지 센서가 위치할 경우, 디바이스(100)는 이미지 센서를 통해 제 2 양안 거리를 결정할 수 있다.
카메라는 디바이스(100)의 내부 또는 외부에 위치할 수 있다. 카메라가 디바이스(100)의 외부에 있는 경우, 디바이스(100)는 카메라로부터 이미지 센서에서 센싱된 정보를 획득하고, 센싱된 정보를 이용하여 제 2 양안 거리를 결정할 수 있다. 또는 카메라가 디바이스(100)에 포함되는 경우, 디바이스(100)는 디바이스(100) 내에 있는 카메라를 이용하여 제 2 양안 거리를 결정할 수 있다.
제 1 양안 거리와 제 2 양안 거리는 상이할 수 있다. 일 예로, 제 1 입력의 수신에 따른 촬영 시점과 제 2 입력의 수신에 따른 촬영 시점에서 카메라의 렌즈로부터 사용자의 양안까지의 거리가 상이할 경우, 제 1 양안 거리와 제 2 양안 거리는 상이할 수 있다.
단계 S250에서 일부 실시 예에 따른 디바이스(100)는 제 1 입력이 수신된 때로부터 제 2 입력이 수신된 때까지의, 디바이스(100)와 사용자간의 거리의 변화량을 획득할 수 있다. 디바이스(100)는 제 1 입력이 수신된 때로부터 제 2 입력이 수신된 때까지 디바이스(100)의 움직임을 감지하고, 감지된 디바이스(100)의 움직임에 기초하여 거리의 변화량을 획득할 수 있다. 제 1 입력이 수신된 때 또는 제 2 입력이 수신된 때는 제 1 입력 또는 제 2 입력이 수신된 물리적인 시점 뿐 아니라 제 1 입력 또는 제 2 입력에 따른 디바이스(100)의 기설정된 동작의 수행 시점을 포함할 수 있다. 예를 들면, 디바이스(100)는 제 1 입력의 수신에 따른 촬영 시점으로부터 제 2 입력의 수신에 따른 촬영 시점까지의 카메라의 렌즈로부터 사용자의 양안까지의 거리의 변화량을 획득할 수 있다.
디바이스(100)는 거리의 변화량을 센서로부터 획득한 정보를 이용하여 획득할 수 있다. 디바이스(100)의 내부 또는 외부에 위치한 센서는 센싱 정보를 획득할 수 있다. 예를 들면, 센서는 움직임 정보를 획득할 수 있다. 센서가 디바이스(100)의 내부에 위치하거나, 센서가 디바이스(100)와 같은 장치 내에 포함된 경우, 센서가 감지한 움직임은 디바이스(100)의 움직임을 나타낼 수 있다. 이 경우, 센서는 디바이스(100)의 움직임 정보를 획득할 수 있다. 센서는 디바이스(100)의 움직임 정보를 획득하고, 디바이스(100)는 디바이스(100)의 움직임 정보를 센서로부터 획득할 수 있다.
디바이스(100)는 센서로부터 획득한 움직임 정보를 이용하여, 제 1 입력의 수신에 따른 촬영 시점으로부터 제 2 입력의 수신에 따른 촬영 시점까지 디바이스(100)의 이동 거리 및 이동 방향을 결정할 수 있다. 디바이스(100)는 결정된 이동 거리 및 이동 방향에 따라, 제 1 입력의 수신에 따른 촬영 시점으로부터 제 2 입력의 수신에 따른 촬영 시점까지 카메라의 렌즈로부터 사용자의 양안까지의 거리의 변화량을 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 카메라의 초점 거리를 획득할 수 있다. 카메라의 초점 거리는 카메라의 렌즈로부터 카메라의 초점 평면까지의 거리를 의미할 수 있다. 또한, 초점 평면 상에 이미지 센서가 위치하는 경우, 카메라의 초점 거리 또는 카메라의 렌즈의 초점 거리는 카메라의 렌즈로부터 이미지 센서까지의 거리를 의미할 수 있다. 카메라의 초점 거리는 카메라의 하드웨어적 특성에 따라 결정될 수 있다. 예를 들면, 카메라의 초점 거리는 카메라의 렌즈의 굴절률에 따라 결정될 수 있다. 카메라의 초점 거리를 나타내는 정보는 디바이스(100)에 저장되어 있을 수도 있고, 디바이스(100)의 외부로부터 수신될 수도 있다. 디바이스는 획득된 카메라의 초점 거리를 나타내는 정보에 따라 카메라의 초점 거리를 결정할 수 있다.
단계 S260에서 일부 실시 예에 따른 디바이스(100)는 단계 S220에서 결정된 제 1 양안 거리, 단계 S240에서 결정된 제 2 양안 거리 및 단계 S250에서 획득된 거리의 변화량에 기초하여, 디바이스(100)와 사용자간의 거리를 결정할 수 있다.
디바이스(100)는 제 1 양안 거리와 제 2 양안 거리를 비교하여, 제 1 입력의 수신에 따른 촬영 시점에 카메라의 렌즈로부터 사용자의 양안까지의 거리 및/또는 제 2 입력의 수신에 따른 촬영 시점에 카메라의 렌즈로부터 사용자의 양안까지의 거리를 결정할 수 있다. 예를 들면, 디바이스(100)는 단계 S220에서 결정된 제 1 양안 거리, 단계 S240에서 결정된 제 2 양안 거리, 단계 S250에서 획득된 거리의 변화량 및 카메라의 초점 거리를 이용하여 제 1 입력의 수신에 따른 촬영 시점에 카메라의 렌즈로부터 사용자의 양안까지의 거리 및/또는 제 2 입력의 수신에 따른 촬영 시점에 카메라의 렌즈로부터 사용자의 양안까지의 거리를 결정할 수 있다. 카메라의 렌즈로부터 사용자의 양안까지의 거리를 결정하는 구체적인 방법은 도 3에서 후술한다.
초점 평면 상에 맺힌 사용자의 양안 간의 거리는 초점 평면 상의 사용자의 양안의 상 사이의 거리를 의미할 수 있다.
카메라의 렌즈로부터 사용자의 양안까지의 거리는 기설정된 방식에 따라 정의될 수 있다. 예를 들면, 카메라의 렌즈로부터 사용자의 양안까지의 거리는 양안을 연결하는 가상의 선분과 카메라의 렌즈 사이의 거리일 수 있다. 다른 예로, 카메라의 렌즈로부터 사용자의 양안까지의 거리는 카메라의 렌즈에 평행하고 카메라 렌즈 상에 위치한 제 1 면과 카메라의 렌즈와 평행하고, 사용자의 양안을 포함한 제 2 면 사이의 최단 거리일 수 있다. 카메라의 렌즈로부터 사용자의 양안까지의 거리의 의미는 상술된 예에 한정되지 않는다.
도 3은 일부 실시 예에 따른 디바이스(100)가 제 1 양안 거리(W1) 및 제 2 양안 거리(W2)를 이용하여 디바이스(100)로부터 사용자까지의 거리를 결정하는 일 예를 나타내는 도면이다.
도 3을 참조하면, 디바이스(100)는 제 1 시점에 사용자의 양안(311)을 촬영하는 제 1 경우(310)와 제 2 시점에 사용자의 양안(311)을 촬영하는 제 2 경우(320)에 각각 제 1 양안 거리(W1) 및 제 2 양안 거리(W2)를 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 제 1 시점에 제 1 양안 거리(W1)를 획득할 수 있다. 제 1 시점에 사용자의 양안(311)을 나타내는 사용자의 양안의 상(312)은 렌즈(300)의 초점 평면 상에 맺힐 수 있다. 초점 평면 상에 위치한 이미지 센서는 사용자의 양안의 상(312)을 센싱할 수 있다. 디바이스(100)는 제 1 시점에 카메라의 이미지 센서를 통해 획득한 사용자의 양안의 상(312)에서 제 1 양안 거리(W1)를 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 제 2 시점에 제 2 양안 거리(W2)를 획득할 수 있다. 제 2 시점에 사용자의 양안(311)을 나타내는 사용자의 양안의 상(322)은 렌즈(300)의 초점 평면 상에 맺힐 수 있다. 초점 평면 상에 위치한 이미지 센서는 사용자의 양안의 상(322)을 센싱할 수 있다. 디바이스(100)는 제 2 시점에 카메라의 이미지 센서를 통해 획득한 사용자의 양안의 상(322)에서 제 2 양안 거리(W2)를 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 렌즈(300)로부터 초점 평면까지의 거리인 초점 거리(DF)(focal length)에 대한 정보를 획득할 수 있다. 초점 거리(DF)는 카메라 또는 렌즈의 하드웨어적 특성에 따라 결정될 수 있다. 또한, 초점 평면 상에 이미지 센서가 위치할 경우, 렌즈(300)와 이미지 센서간의 거리가 초점 거리(DF)일 수 있다.
일부 실시 예에 따른 디바이스(100)는 제 1 시점으로부터 제 2 시점까지 사용자의 양안(311)으로부터 렌즈(300)까지의 거리가 변화한 정도인 거리의 변화량(ΔD)을 획득할 수 있다. 거리의 변화량(ΔD)은 제 1 시점에 사용자의 양안(311)으로부터 렌즈(300)까지의 거리인 제 1 거리(D1)와 제 2 시점에 사용자의 양안(311)으로부터 렌즈(300)까지의 거리인 제 2 거리(D2)의 차이를 나타낼 수 있다. 디바이스(100)는 디바이스(100)에 포함된 센서를 이용하여 거리의 변화량(ΔD)을 결정할 수도 있고, 디바이스(100)의 외부로부터 수신한 데이터를 이용하여 거리의 변화량(ΔD)을 결정할 수도 있다. 또는 디바이스(100)는 디바이스(100)의 외부로부터 거리의 변화량(ΔD)을 나타내는 정보를 수신할 수도 있다.
사용자의 양안(311)간의 거리(WE)는 제 1 시점 및 제 2 시점에 동일할 수 있다. 따라서, 디바이스(100)는 제 1 양안 거리(W1), 제 2 양안 거리(W2), 초점 거리(DF), 및 거리의 변화량(ΔD)을 이용해서 제 1 시점에 사용자의 양안(311)으로부터 렌즈(300)까지의 거리인 제 1 거리(D1)와 제 2 시점에 사용자의 양안(311)으로부터 렌즈(300)까지의 거리인 제 2 거리(D2)를 결정할 수 있다.
예를 들면, 디바이스(100)는 [수학식 1] 내지 [수학식 3]을 이용하여 제 1 거리(D1) 및/또는 제 2 거리(D2)를 결정할 수 있다.
[수학식 1]
WE : D1 = W1 : DF
[수학식 2]
WE : D2 = W2 : DF
[수학식 3]
ΔD = D2 - D1
디바이스(100)는 획득 또는 결정된 W1, W2, DF, ΔD 및 [수학식 1] 내지 [수학식 3]을 이용해서 D1, D2, WE를 결정할 수 있다.
또한, 일부 실시 예에 따른 디바이스(100)는 카메라의 렌즈(300)로부터 사용자의 양안(311)까지의 거리를 복수개 획득하고, 가장 최근에 획득한 카메라의 렌즈(300)로부터 사용자의 양안(311)까지의 거리를 나타내는 값을 출력할 수 있다. 예를 들면, 디바이스(100)는 제 1 거리(D1) 및 제 2 거리(D2) 중 더 최근에 획득된 값인 제 2 거리(D2)를 출력할 수 있다. 이 경우, 디바이스(100)는 제 2 거리(D2)를 나타내는 값을 디스플레이할 수 있다.
도 4는 일부 실시 예에 따른 디바이스(100)가 센싱 정보를 이용하여 디바이스(100)로부터 사용자까지의 거리를 결정하는 방법을 나타내는 흐름도이다.
단계 S410에서 일부 실시 예에 따른 디바이스(100)는 센싱 정보를 획득할 수 있다.
센싱 정보는 디바이스(100)의 내부 또는 외부에 위치한 센서로부터 획득되는 정보를 의미할 수 있다.
일부 실시 예에 따른 센서는 움직임 센서를 포함할 수 있다. 움직임 센서는 디바이스(100)의 움직임을 감지할 수 있다. 디바이스(100)는 움직임 센서를 이용하여 디바이스(100)의 움직임을 감지할 수 있다. 예를 들면, 움직임 센서가 디바이스(100)에 포함되거나 부착된 경우, 디바이스(100)는 움직임 센서가 감지한 움직임을 디바이스(100)의 움직임으로 결정할 수 있다. 디바이스(100)는 움직임 센서가 획득한 움직임 정보를 획득할 수 있다. 예를 들면, 디바이스(100)의 외부에 위치한 움직임 센서가 생성한 움직임 정보를 움직임 센서로부터 수신할 수 있다.
일부 실시 예에 따른 센서는 근접 센서를 포함할 수 있다. 근접 센서는 근접 센서로부터 디바이스(100)까지의 거리 변화를 나타내는 정보를 획득할 수 있다. 또한, 디바이스(100)는 디바이스(100)의 내부 또는 외부에 위치하는 근접 센서로부터 근접 센서가 센싱한 정보를 수신할 수 있다.
디바이스(100)가 거리를 결정하기 위해 이용하는 센서는, 디바이스(100)와 사용자 간의 거리 변화를 결정하기 위해 이용되는 각종 센서를 포함할 수 있으며 상술된 센서의 종류에 한정되지 않는다. 예를 들면, 디바이스(100)가 거리를 결정하기 위해 이용하는 센서는 움직임 센서, 가속 센서, 자이로스코프, 근접 센서 등을 포함할 수 있다.
단계 S420에서 일부 실시 예에 따른 디바이스(100)는 단계 S420에서 획득한 센싱 정보에 기초하여 카메라 렌즈로부터 사용자의 양안까지의 거리의 변화량을 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 제 1 시점으로부터 제 2 시점까지의, 사용자의 양안으로부터 카메라의 렌즈까지의 거리의 변화량을 획득할 수 있다. 거리의 변화량은 제 1 시점에 사용자의 양안으로부터 카메라의 렌즈까지의 거리인 제 1 거리와 제 2 시점에 사용자의 양안으로부터 카메라 렌즈까지의 거리인 제 2 거리의 차이를 나타낼 수 있다.
거리를 결정하기 위해 사용자에 대한 순차적인 촬영이 수행될 때, 첫 번째 촬영에 대응되는 시점이 제 1 시점이고, 두 번째 촬영에 대응되는 시점이 제 2 시점일 수 있다. 예를 들면, 사용자의 양안에 대한 순차적인 2번의 촬영이 수행될 때, 제 1 시점은 첫 번째 촬영을 위한 제 1 입력이 수신되는 시점이고, 제 2 시점은 두 번째 촬영을 위한 제 2 입력이 수신되는 시점일 수 있다. 다른 예로, 사용자의 양안에 대한 순차적인 2번의 촬영이 수행될 때, 제 1 시점은 첫 번째 촬영이 수행되는 시점이고, 제 2 시점은 두 번째 촬영이 수행되는 시점일 수 있다.
단계 S430에서 일부 실시 예에 따른 디바이스(100)는 제 1 양안 거리, 제 2 양안 거리, 거리의 변화량 및 카메라의 초점 거리에 기초하여 카메라의 렌즈로부터 사용자의 양안까지의 거리를 결정할 수 있다.
일 실시 예에 따를 때, 제 1 양안 거리는 제 1 시점에 카메라의 초점 평면 상에 맺힌 사용자의 양안 간의 거리이고, 제 2 양안 거리는 제 2 시점에 카메라의 초점 평면 상에 맺힌 사용자의 양안 간의 거리이고, 거리의 변화량은 제 1 시점에 사용자의 양안으로부터 카메라의 렌즈까지의 거리인 제 1 거리와 제 2 시점에 사용자의 양안으로부터 카메라 렌즈까지의 거리인 제 2 거리의 차이이고, 카메라의 초점 거리는 카메라의 초점 거리는 카메라의 렌즈로부터 카메라의 초점 평면까지의 거리를 의미할 수 있다. 카메라의 렌즈로부터 사용자의 양안까지의 거리는 제 1 거리 및/또는 제 2 거리를 포함할 수 있다. 예를 들면, 카메라의 렌즈로부터 사용자의 양안까지의 거리는 실시간으로 최신 값으로 갱신될 수 있다.
카메라의 렌즈로부터 사용자의 양안까지의 거리를 결정하는 구체적인 실시 예는 도 3에서 상술된 내용을 참조할 수 있다.
도 5는 일부 실시 예에 따른 디바이스(100)가 제 1 양안 거리(W1), 제 2 양안 거리(W2) 및 센싱부(1400)를 이용하여 디바이스(100)로부터 사용자까지의 거리를 결정하는 일 예를 나타내는 도면이다.
도 5에서 디바이스(100)로부터 사용자까지의 거리를 결정하는 방법은 상술된 도 3의 내용을 참조할 수 있다.
센싱부(1400)는 거리의 변화량(ΔD)을 획득하기 위해 이용될 수 있다. 예를 들면, 센싱부(1400)는 제 1 시점으로부터 제 2 시점까지 사용자의 양안(311)으로부터 렌즈(300)까지의 거리가 변화한 정도인 거리의 변화량(ΔD)을 결정하기 위해 이용되는 센싱 정보를 생성할 수 있다.
센싱부(1400)는, 디바이스(100)와 사용자 간의 거리 변화를 결정하기 위해 이용되는 각종 센서를 포함할 수 있다. 예를 들면, 센싱부(1400)는 움직임 센서, 가속 센서, 자이로스코프, 근접 센서 등일 수 있다.
도 6은 일부 실시 예에 따른 디바이스(100)가 사용자의 안구 크기를 이용하여 디바이스(100)로부터 사용자까지의 거리를 결정하는 일 예를 나타내는 도면이다. 예를 들면, 디바이스(100)는 하나의 카메라를 이용하여 사용자의 하나의 안구를 촬영함으로써, 카메라의 렌즈로부터 사용자의 안구까지의 거리를 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 사용자 정보를 획득하고, 획득한 사용자 정보를 이용하여 사용자의 안구 크기를 예측할 수 있다. 디바이스(100)는 카메라의 초점 평면 상에 맺힌 사용자의 안구 크기를 결정할 수 있다. 디바이스(100)는 예측된 안구 크기와 결정된 안구 크기를 비교해서 카메라의 렌즈로부터 사용자의 안구까지의 거리를 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 하나의 카메라로 한번의 촬영을 통해 카메라의 렌즈로부터 사용자의 안구까지의 거리를 결정할 수 있다.
또는, 디바이스(100)는 하나의 카메라로 복수 번의 촬영을 통해 카메라의 렌즈로부터 사용자의 안구까지의 거리를 갱신할 수 있다.
도 7은 일부 실시 예에 따른 디바이스(100)가 사용자의 안구 크기를 이용하여 디바이스(100)로부터 사용자까지의 거리를 결정하는 방법을 나타내는 흐름도이다.
단계 S710에서 일부 실시 예에 따른 디바이스(100)는 디바이스(100)에 저장된 사용자의 정보에 기초하여 사용자의 안구 크기를 예측할 수 있다.
일부 실시 예에 따른 디바이스(100)는 사용자의 정보를 저장하고 있을 수 있다. 예를 들면, 디바이스(100)는 사용자의 인종, 성별, 국적, 나이 등에 대한 정보를 저장하고 있을 수 있다.
디바이스(100)는 디바이스(100)에 저장된 사용자 정보에 기초하여 빅 데이터, 통계 데이터 등에 따라 사용자의 안구의 크기를 예측할 수 있다. 예를 들면, 디바이스(100)는 인종, 성별, 나이 등에 따른 사용자의 안구의 크기를 나타내는 기설정된 테이블에 따라 사용자의 안구의 크기를 예측할 수 있다.
또는, 디바이스(100)는 사용자의 안구 크기에 대한 정보를 저장하고 있을 수 있다. 디바이스(100)가 사용자의 안구 크기에 대한 정보를 저장하고 있는 경우, 디바이스(100)는 예측하는 과정 없이 사용자의 안구 크기를 결정할 수 있다.
사용자 정보는 디바이스(100)에 저장되어 있을 수도 있으나, 디바이스(100)의 외부로부터 수신될 수도 있다. 예를 들면 디바이스(100)는 무선 통신을 통해 서버(미도시)로부터 사용자 정보를 수신하여 이용할 수 있다.
단계 S720에서 일부 실시 예에 따른 디바이스(100)는 카메라의 초점 평면 상에 맺힌 사용자의 안구 크기를 결정할 수 있다.
디바이스(100)는 촬영을 통해 카메라의 초점 평면 상에 맺힌 사용자의 안구 크기를 결정할 수 있다. 카메라의 초점 평면 상에 맺힌 사용자의 안구 크기는 카메라의 초점 평면 상에서 사용자의 안구 크기일 수 있다. 이미지 센서가 카메라의 초점 평면 상에 위치할 경우, 촬영을 통해, 이미지 센서에 맺히는 사용자의 안구 크기가 카메라의 초점 평면 상에 맺힌 사용자의 안구 크기일 수 있다. 카메라의 초점 평면 상에 이미지 센서가 위치할 경우, 디바이스(100)는 이미지 센서를 통해 카메라의 초점 평면 상에 맺힌 사용자의 안구 크기를 결정할 수 있다.
카메라의 초점 평면 상에 맺힌 사용자의 안구 크기는 사용자의 안구로부터 카메라의 렌즈까지의 거리에 따라 달라질 수 있다. 예를 들면, 카메라의 렌즈로부터 사용자의 안구까지의 거리가 멀수록 카메라의 초점 평면 상에 맺힌 사용자의 안구 크기는 작아질 수 있다.
카메라는 디바이스(100)의 내부 또는 외부에 위치할 수 있다. 카메라가 디바이스(100)의 외부에 있는 경우, 디바이스(100)는 카메라로부터 이미지 센서에서 센싱된 정보를 획득하고, 센싱된 정보를 이용하여 카메라의 초점 평면 상에 맺힌 사용자의 안구 크기를 결정할 수 있다. 또는 카메라가 디바이스(100)에 포함되는 경우, 디바이스(100)는 디바이스(100) 내에 있는 카메라를 이용하여 카메라의 초점 평면 상에 맺힌 사용자의 안구 크기를 결정할 수 있다.
단계 S730에서 일부 실시 예에 따른 디바이스(100)는 단계 S810에서 예측 또는 결정된 안구 크기 및 단계 S820에서 결정된 안구 크기에 기초하여, 카메라의 렌즈로부터 사용자의 안구까지의 거리를 결정할 수 있다. 또한, 디바이스(100)는 카메라의 렌즈로부터 사용자의 안구까지의 거리를 결정할 때, 카메라의 초점 거리를 이용할 수 있다.
안구의 촬영을 통해 카메라의 렌즈로부터 사용자의 양안까지의 거리를 결정하는 구체적인 실시 예는 도 8에서 후술되는 내용을 참조할 수 있다.
도 8는 일부 실시 예에 따른 디바이스(100)가 예측된 안구 크기(W'E)를 이용하여 디바이스(100)로부터 사용자까지의 거리를 결정하는 일 예를 나타내는 도면이다.
도 8을 참조하면, 디바이스(100)는 제 1 시점에 사용자의 안구(811)를 촬영하는 제 1 경우(810)와 제 2 시점에 사용자의 안구(811)을 촬영하는 제 2 경우(820)에 각각 제 1 안구 크기(W'1) 및 제 2 안구 크기(W'2)를 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 제 1 시점에 제 1 안구 크기(W'1)를 획득할 수 있다. 제 1 시점에 사용자의 안구(811)을 나타내는 사용자의 안구의 상(812)은 렌즈(300)의 초점 평면 상에 맺힐 수 있다. 초점 평면 상에 위치한 이미지 센서는 사용자의 안구의 상(812)을 센싱할 수 있다. 디바이스(100)는 제 1 시점에 카메라의 이미지 센서를 통해 획득한 사용자의 안구의 상(812)에서 제 1 안구 크기(W'1)를 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 제 2 시점에 제 2 안구 크기(W'2)를 획득할 수 있다. 제 2 시점에 사용자의 안구(811)을 나타내는 사용자의 안구의 상(822)은 렌즈(300)의 초점 평면 상에 맺힐 수 있다. 초점 평면 상에 위치한 이미지 센서는 사용자의 안구의 상(822)을 센싱할 수 있다. 디바이스(100)는 제 2 시점에 카메라의 이미지 센서를 통해 획득한 사용자의 안구의 상(822)에서 제 2 안구 크기(W'2)를 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 렌즈(300)로부터 초점 평면까지의 거리인 초점 거리(D'F)(focal length)에 대한 정보를 획득할 수 있다. 구체적인 초점 거리(D'F)에 대한 내용은 도 3에서 상술한 내용을 참조할 수 있다.
사용자의 안구 크기(W'E)는 제 1 시점 및 제 2 시점에 동일할 수 있다. 또한, 사용자의 안구 크기(W'E)는 사용자 정보에 기초하여 예측 또는 결정될 수 있다.
일부 실시 예에 따른 디바이스(100)는 제 1 시점으로부터 제 2 시점까지 사용자의 안구(811)로부터 렌즈(300)까지의 거리가 변화한 정도인 거리의 변화량(ΔD')을 미리 결정하지 않고, 제 1 시점에 사용자의 안구(811)로부터 렌즈(300)까지의 거리인 제 1 거리(D'1) 또는 제 2 시점에 사용자의 안구(811)로부터 렌즈(300)까지의 거리인 제 2 거리(D'2)를 결정할 수 있다. 예를 들면, 디바이스(100)는 움직임 센서로부터 수신되는 센싱 정보가 없이도 제 1 거리(D'1) 또는 제 2 거리(D'2)를 결정할 수 있다.
예를 들면, 디바이스(100)는 제 1 안구 크기(W'1), 사용자의 안구 크기(W'E), 및 초점 거리(D'F)를 이용해서 제 1 시점에 사용자의 안구(811)로부터 렌즈(300)까지의 거리인 제 1 거리(D'1)를 결정할 수 있다. 이 경우 [수학식 4]가 이용될 수 있다.
[수학식 4]
W'E : D'1 = W'1 : D'F
다른 예로, 디바이스(100)는 제 2 안구 크기(W'2), 사용자의 안구 크기(W'E), 및 초점 거리(D'F)를 이용해서 제 2 시점에 사용자의 안구(811)로부터 렌즈(300)까지의 거리인 제 2 거리(D'2)를 결정할 수 있다. 이 경우 [수학식 5]가 이용될 수 있다.
[수학식 5]
W'E : D'2 = W'2 : D'F
다른 예로, 디바이스(100)는 제 1 안구 크기(W'1), 제 2 안구 크기(W'2), 및 제 1 거리(D'1)를 이용해서 제 2 거리(D'2)를 결정할 수 있다. 이 경우 [수학식 6]이 이용될 수 있다.
[수학식 6]
D'2 = D'1 * (W'1/ W'2)
상술한 바와 같이 디바이스(100)는 [수학식 4] 내지 [수학식 6]을 이용하여 제 1 거리(D'1) 또는 제 2 거리(D'2)를 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 초점 평면 상의 안구 크기가 기설정된 크기일 때, 카메라의 렌즈로부터 사용자의 안구까지의 거리를 기설정된 값으로 결정할 수 있다. 디바이스(100)는 초점 거리(D'F)(focal length)에 대한 정보 없이도 카메라의 렌즈로부터 사용자의 안구까지의 거리를 결정할 수 있다. 예를 들면, 디바이스(100)는 제 1 안구 크기(W'1) 및 사용자의 안구 크기(W'E)를 이용하여 제 1 거리(D'1)를 결정할 수 있다. 디바이스(100)는 제 1 안구 크기(W'1)가 사용자의 안구 크기(W'E)에 따라 결정된 기설정된 크기일 때, 제 1 거리(D'1)를 기설정된 값(예: 20cm)으로 결정할 수 있다.
또한, 일부 실시 예에 따른 디바이스(100)는 카메라의 렌즈(300)로부터 사용자의 안구(811)까지의 거리를 복수개 획득하고, 가장 최근에 획득한 카메라의 렌즈(300)로부터 사용자의 안구(811)까지의 거리를 나타내는 값을 출력할 수 있다. 예를 들면, 디바이스(100)는 제 1 거리(D'1) 및 제 2 거리(D'2) 중 더 최근에 획득된 값인 제 2 거리(D'2)를 출력할 수 있다. 이 경우, 디바이스(100)는 제 2 거리(D'2)를 나타내는 값을 디스플레이할 수 있다.
도 9는 일부 실시 예에 따른 디바이스(100)가 거리를 결정하기 위해 가이드 라인을 이용하는 일 예를 나타내는 도면이다.
일부 실시 예에 따른 디바이스(100)가 사용자의 양안 중 하나의 안구에 가이드 라인을 매칭시키는 경우에 대해 설명한다. 예를 들면, 디바이스(100)는 사용자의 양안 중 우측 안구에 제 1 가이드 라인(910)을 매칭시킬 수 있다.
일부 실시 예에 따른 디바이스(100)는 기설정된 방식으로 사용자의 안구에 가이드 라인을 매칭시키고 매칭된 가이드 라인에 기초하여 안구의 크기를 결정할 수 있다. 예를 들면, 디바이스(100)는 사용자의 우측 안구에 기설정된 크기의 제 1 가이드 라인(910)을 매칭시키고, 매칭된 가이드 라인의 크기를 안구의 크기로 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 기설정된 방식으로 사용자의 안구에 가이드 라인을 매칭시키고 매칭된 가이드 라인에 기초하여 카메라의 렌즈로부터 사용자의 안구까지의 거리를 결정할 수 있다. 디바이스(100)는 사용자의 안구와 가이드 라인을 매칭시키고, 사용자의 안구의 크기와 가이드 라인의 크기가 기설정된 방식으로 매칭이 될 때, 카메라 렌즈와 사용자의 안구 사이의 거리를 기설정된 값으로 결정할 수 있다. 예를 들면, 디바이스(100)는 사용자의 눈꺼풀이 기설정된 크기의 제 1 가이드 라인(910) 내에 포함되는 순간의 카메라 렌즈와 사용자의 안구 사이의 거리를 20cm로 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)가 사용자의 양안 각각에 가이드 라인을 매칭시키는 경우에 대해 설명한다. 예를 들면, 디바이스(100)는 사용자의 양안 중 우측 안구에 제 1 가이드 라인(910)을 매칭시키고, 좌측 안구에 제 2 가이드 라인(920)을 매칭시킬 수 있다.
일부 실시 예에 따른 디바이스(100)는 기설정된 방식으로 사용자의 양안에 각각 가이드 라인을 매칭시키고 매칭된 가이드 라인들간의 거리에 기초하여 양안간의 거리를 결정할 수 있다. 예를 들면, 디바이스(100)는 제 1 가이드 라인(910)을 사용자의 우측 안구에 매칭시키고, 제 2 가이드 라인(920)을 사용자의 좌측 안구에 매칭시키고, 제 1 가이드 라인(910)과 제 2 가이드 라인(920)간의 거리에 기초하여 양안간의 거리를 결정할 수 있다.
도 10은 일부 실시 예에 따른 디바이스(100)가 디바이스(100)가 기울어진 정도를 이용하여 디바이스(100)로부터 사용자까지의 거리를 결정하는 방법을 나타내는 흐름도이다.
단계 S1010에서 일부 실시 예에 따른 디바이스(100)는 디바이스(100)가 기울어진 정도를 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 기설정된 기준 방향에 기초하여 디바이스(100)가 기울어진 정도를 결정할 수 있다. 예를 들면, 디바이스(100)는 디바이스(100)가 기울어진 정도를 중력 방향에 기초하여 결정할 수 있다. 일 예로, 디바이스(100)는 카메라 렌즈의 면에 수직인 선의 방향과 중력 방향에 간에 이루는 각도에 따라 디바이스(100)가 기울어진 정도를 결정할 수 있다. 디바이스(100)는 카메라 렌즈의 면에 수직인 선의 방향과 중력 방향에 간에 이루는 각도가 90˚인 경우, 디바이스(100)의 기울기를 0으로 결정할 수 있다.
일부 실시 예에 따른 디바이스(100)는 센서를 이용하여 디바이스(100)가 기울어진 정도를 결정할 수 있다. 예를 들면, 디바이스(100)는 중력 센서, 기울기 센서, 가속도 센서, 자이로스코프 등을 이용하여 디바이스(100)가 기울어진 정도를 결정할 수 있으나, 개시된 센서의 종류로 한정되지 않는다.
단계 S1020에서 일부 실시 예에 따른 디바이스(100)는 사용자의 시선 방향을 결정할 수 있다. 예를 들면, 디바이스(100)는 촬영된 안구의 이미지를 이용하여 사용자의 시선 방향을 결정할 수 있다.
단계 S1030에서 일부 실시 예에 따른 디바이스(100)는 단계 S1010에서 결정된 디바이스(100)가 기울어진 정도 및 단계 S1020에서 결정된 사용자의 시선 방향에 따라 결정되는 값에 기초하여 카메라의 렌즈로부터 사용자의 양안까지의 거리를 갱신할 수 있다.
예를 들면, 디바이스(100)는 단계 S1010에서 결정된 디바이스(100)의 기울기와 단계 S1020에서 결정된 사용자의 시선 방향에 따라 결정되는 각도를 이용하여, 상술된 도 2 내지 도 9의 방법에 따라 결정된 카메라 렌즈로부터 사용자의 양안까지의 거리를 갱신할 수 있다.
도 11은 카메라(1610)가 사용자의 양안의 높이보다 상단에 위치하는 경우, 일부 실시 예에 따른 디바이스(100)가 디바이스(100)로부터 사용자까지의 거리를 결정하는 일 예를 나타내는 도면이다.
디바이스(100)로부터 사용자까지의 거리(DUu)는 카메라로부터 사용자의 양안까지의 거리(Du) 및 각도(θ)에 따라 결정될 수 있다. 예를 들면, 카메라(1610)가 사용자의 양안의 높이보다 상단에 위치하는 경우, 디바이스(100)는 [수학식 7]에 따라 디바이스(100)로부터 사용자까지의 거리(DUu)를 결정할 수 있다. 도 11을 참조하면, θ는 중력 방향과 디바이스(100)가 기울어진 방향간의 각도를 의미할 수 있다.
[수학식 7]
DUu = Du/cosθ
도 12는 카메라(1610)가 사용자의 양안의 높이보다 하단에 위치하는 경우, 일부 실시 예에 따른 디바이스(100)가 디바이스(100)로부터 사용자까지의 거리를 결정하는 일 예를 나타내는 도면이다.
디바이스(100)로부터 사용자까지의 거리(DLu)는 카메라로부터 사용자의 양안까지의 거리(Du) 및 각도(θ)에 따라 결정될 수 있다. 예를 들면, 카메라(1610)가 사용자의 양안의 높이보다 하단에 위치하는 경우, 디바이스(100)는 [수학식 8]에 따라 디바이스(100)로부터 사용자까지의 거리(DUu)를 결정할 수 있다. 도 12를 참조하면, θ는 중력 방향과 디바이스(100)가 기울어진 방향간의 각도를 의미할 수 있다.
[수학식 8]
DUu = Du*cosθ
도 13은 일부 실시 예에 따른 디바이스(100) 또는 서버(미도시)가 디바이스(100)로부터 사용자까지의 거리 및 사용자 정보에 기초하여 영상을 처리하는 방법을 나타내는 흐름도이다.
단계 S1310에서 일부 실시 예에 따른 디바이스(100) 또는 서버는 카메라의 렌즈로부터 사용자의 양안까지의 거리를 결정할 수 있다. 디바이스(100) 또는 서버가 카메라의 렌즈로부터 사용자의 양안까지의 거리를 결정하는 구체적인 방법은 상술된 도 1 내지 도 12에 개시된 내용을 참조할 수 있다.
단계 S1320에서 일부 실시 예에 따른 디바이스(100) 또는 서버는 사용자 정보를 획득할 수 있다. 예를 들면 디바이스(100) 또는 서버는 사용자 정보를 저장하고 있을 수 있다. 다른 예로, 디바이스(100) 또는 서버는 사용자 정보를 디바이스(100) 또는 서버의 외부(예: 외부 디바이스)로부터 수신할 수 있다.
사용자 정보는 사용자의 시력 정보를 포함할 수 있다. 예를 들면, 사용자 정보는 사용자의 안구의 특성(예: 근시, 원시, 난시 등), 사용자의 시력(예: 1.0, 0.5 등) 등에 대한 정보를 포함할 수 있다.
일부 실시 예에 따른 디바이스(100) 또는 서버는 로그인이 필요한 서비스를 제공할 수 있다. 디바이스(100) 또는 서버는 로그인 과정에서 사용자 정보를 획득할 수 있다. 예를 들면, 디바이스(100) 또는 서버는 사용자가 로그인이 필요한 서비스에 가입할 때 입력한 시력 정보를 사용자가 로그인하는 과정에서 획득할 수 있다. 다른 예로, 디바이스(100) 또는 서버는 사용자가 로그인이 필요한 서비스에서 설정한 확대 배율에 대한 정보를 사용자가 로그인하는 과정에서 획득할 수 있다.
단계 S1330에서 일부 실시 예에 따른 디바이스(100) 또는 서버는 단계 S1310에서 결정된 카메라의 렌즈로부터 사용자의 양안까지의 거리 및 단계 S1320에서 획득된 사용자 정보에 따라 디스플레이될 영상을 처리할 수 있다. 디바이스(100)가 처리하는 영상은 2D 영상 및/또는 3D 영상을 포함할 수 있다.
일부 실시 예에 따른 디바이스(100)는 디바이스(100)에 저장된 사용자의 시력 정보에 기초하여, 영상의 초점 평면의 위치를 변경할 수 있다. 예를 들면, 디바이스(100)는 사용자의 안구의 특성이 근시인 경우, 디스플레이되는 영상의 초점 평면의 위치를 디바이스(100)의 위치에서 사용자의 양안에 더 가까운 위치로 변경할 수 있다. 다른 예로, 디바이스(100)는 사용자의 안구의 특성이 원시인 경우, 디스플레이되는 영상의 초점 평면의 위치를 디바이스(100)의 위치에서 사용자의 양안에 더 먼 위치로 변경할 수 있다.
일부 실시 예에 따른 디바이스(100)는 디바이스(100)에 저장된 사용자의 시력 정보에 기초하여, 디스플레이되는 빛의 방향성을 조절할 수 있다.
일부 실시 예에 따른 디바이스(100)는 디스플레이될 영상을 처리할 때, 광 필드 디스플레이(light field display) 방식이나, 핀홀 마스크(pin hole mask) 방식을 이용할 수 있다.
일부 실시 예에 따른 서버는 서버에 저장된 사용자의 시력 정보에 기초하여, 영상의 초점 평면의 위치를 결정하고, 결정된 영상의 초점 평면의 위치에 따라 광 필드 이미지(light field image)를 획득할 수 있다. 예를 들면, 서버는 사용자의 안구의 특성이 근시인 경우, 디스플레이되는 영상의 초점 평면의 위치가 디바이스(100)의 위치에서 사용자의 양안에 더 가까운 위치로 결정된 광 필드 이미지를 생성하여 디바이스(100)에 전송할 수 있다. 다른 예로, 서버는 사용자의 안구의 특성이 원시인 경우, 디스플레이되는 영상의 초점 평면의 위치를 디바이스(100)의 위치에서 사용자의 양안에 더 먼 위치로 결정된 광 필드 이미지를 생성하여 디바이스(100)에 전송할 수 있다.
일부 실시 예에 따른 서버는 서버에 저장된 사용자의 설정 정보에 기초하여, 광 필드 이미지(light field image)를 획득할 수 있다. 예를 들면, 서버는 사용자가 설정해 놓은 확대 배율에 대한 정보에 따라 확대 또는 축소된 광 필드 이미지를 생성하여 디바이스(100)에 전송할 수 있다.
일부 실시 예에 따른 디바이스(100)는 서버로부터 수신한 광 필드 이미지를 디스플레이할 수 있다. 또한, 디스플레이되는 광 필드 이미지는 사용자 환경에 따라 수정되어 디스플레이될 수 있다. 예를 들면, 광 필드 이미지는 디바이스(100)의 주변 조도에 따라 결정된 밝기로 디스플레이될 수 있다.
서버에서 광 필드 이미지에 대한 연산이 수행될 경우, 디바이스(100)에 요구되는 연산량은 감소할 수 있다.
도 14는 일부 실시 예에 따른 디바이스(100)가 디바이스(100)로부터 사용자까지의 거리 및 사용자 정보에 기초하여 영상의 초점 평면의 위치를 결정하는 일 예를 나타내는 도면이다.
일부 실시 예에 따른 디바이스(100)는 사용자 정보에 기초하여 사용자의 안구의 특성 및 사용자의 시력을 결정할 수 있다.
사용자의 안구 특성이 원시인 경우, 디스플레이(1401)에서 디스플레이된 영상의 상은 사용자의 시력에 따라, 망막(1404)보다 뒤쪽(예: 수정체의 제 1 초점 평면(1405), 수정체의 제 2 초점 평면(1406), 수정체의 제 3 초점 평면(1407) 또는 수정체의 제 4 초점 평면(1408))에 맺힐 수 있다. 영상의 상이 맺히는 수정체의 초점 평면과 수정체(1403)와의 거리가 망막(1404)과 수정체(1403)와의 거리보다 먼 경우, 디바이스(100)는 디스플레이되는 영상의 초점 평면이 디스플레이(1401)의 뒤쪽에 위치하도록 영상을 처리할 수 있다.
사용자의 안구 특성이 근시인 경우, 디스플레이(1401)에서 디스플레이된 영상의 상은 사용자의 시력에 따라, 망막(1404)보다 앞쪽에 맺힐 수 있다. 영상의 상이 맺히는 수정체의 초점 평면과 수정체(1403)와의 거리가 망막(1404)과 수정체(1403)와의 거리보다 가까운 경우, 디바이스(100)는 디스플레이되는 영상의 초점 평면이 디스플레이(1401)의 앞쪽에 위치하도록 영상을 처리할 수 있다. 예를 들면, 디바이스(100)는 영상의 초점 평면이 제 0 초점 평면(1402)에 위치하도록 영상을 처리할 수 있다.
도 15는 일부 실시 예에 따른 디바이스(100)가 핀홀 마스크(1501)를 이용하여 사용자에게 영상을 제공하는 일 예를 나타내는 도면이다.
디스플레이(1401)와 핀홀 마스크(1501) 사이의 거리를 미리 결정될 수 있다. 또한, 디바이스(100)는 처리된 영상의 초점 평면(1502)이 핀홀 마스크(1501)에 위치하도록 영상을 처리할 수 있다. 디바이스(100)는 디스플레이(1401)에서 디스플레이되는 영상의 상이 망막(1404)에 맺히도록 디스플레이되는 영상의 빛의 방향성을 제어할 수 있다.
도 16은 일부 실시 예에 따른 디바이스(100)가 디스플레이되는 컨텐츠의 타입에 따라 영상을 처리하는 방법을 나타내는 흐름도이다.
단계 S1610에서 일부 실시 예에 따른 디바이스(100)는 카메라의 렌즈로부터 사용자의 양안까지의 거리를 결정할 수 있다. 디바이스(100)가 카메라의 렌즈로부터 사용자의 양안까지의 거리를 결정하는 구체적인 방법은 상술된 도 1 내지 도 12에 개시된 내용을 참조할 수 있다.
단계 S1620에서 일부 실시 예에 따른 디바이스(100)는 디스플레이되는 컨텐츠의 타입을 결정할 수 있다. 예를 들면, 디바이스(100)는 디스플레이되는 컨텐츠가 텍스트를 포함하는지 여부를 결정할 수 있다. 다른 예로, 디바이스(100)는 디스플레이되는 컨텐츠에서 텍스트의 비중을 결정할 수 있다.
단계 S1630에서 일부 실시 예에 따른 디바이스(100)는 단계 S1610에서 결정된 카메라의 렌즈로부터 사용자의 양안까지의 거리 및 단계 S1620에서 결정된 컨텐츠의 타입에 따라 디스플레이될 영상을 처리할 수 있다. 예를 들면, 디스플레이되는 컨텐츠가 텍스트를 기설정된 비율 이상 포함하고 있는 경우, 디바이스(100)는 디스플레이될 영상에 대해서 윤곽선 강조 필터링을 수행할 수 있다.
도 17은 일부 실시 예에 따른 디바이스(100)가 디스플레이되는 컨텐츠의 타입이 동영상인지 텍스트인지에 따라 영상을 처리하는 방법을 나타내는 흐름도이다.
단계 S1710에서 일부 실시 예에 따른 디바이스(100)는 디스플레이 소스 타입을 분석할 수 있다. 예를 들면, 디바이스(100)는 디스플레이되는 영상에 포함된 복수개의 컨텐츠를 구분할 수 있다.
단계 S1720에서 일부 실시 예에 따른 디바이스(100)는 단계 S1710에서의 분석 결과에 따라 디스플레이되는 영상의 타입을 결정할 수 있다. 예를 들면, 디바이스(100)는 디스플레이되는 영상에 포함된 컨텐츠가 동영상인지, 텍스트인지, 동영상과 텍스트가 모두 포함되었는지 결정할 수 있다.
단계 S1731에서 일부 실시 예에 따른 디바이스(100)는 디스플레이 데이터 블록을 생성할 수 있다.
단계 S1732에서 일부 실시 예에 따른 디바이스(100)는 단계 S1731에서 생성된 블록이 동영상 블록인지 텍스트 블록인지 결정할 수 있다.
단계 S1733에서 일부 실시 예에 따른 디바이스(100)는 디스플레이 데이터를 종합(aggregation)할 수 있다.
단계 S1741에서 일부 실시 예에 따른 디바이스(100)는 광 필드 이미지를 생성할 수 있다.
단계 S1742에서 일부 실시 예에 따른 디바이스(100)는 적응적 하이 패스 필터링을 수행할 수 있다. 디스플레이될 텍스트의 윤곽선의 선명도가 증가할 수 있다.
단계 S1743에서 일부 실시 예에 따른 디바이스(100)는 디스플레이 데이터를 갱신할 수 있다.
단계 S1751에서 일부 실시 예에 따른 디바이스(100)는 영상의 모션 벡터를 추출할 수 있다.
단계 S1752에서 일부 실시 예에 따른 디바이스(100)는 이미지 매핑 테이블을 생성할 수 있다.
단계 S1753에서 일부 실시 예에 따른 디바이스(100)는 매핑 영역에 대해, 광필드 이미지 복사를 수행할 수 있다.
단계 S1754에서 일부 실시 예에 따른 디바이스(100)는 디스플레이 데이터를 갱신할 수 있다.
도 18은 일부 실시 예에 따른 디바이스(100)가 디바이스(100)와 사용자간의 거리를 결정하고, 결정된 거리를 디스플레이하는 일 예를 나타내는 도면이다.
일부 실시 예에 따른 디바이스(100)는 실시간으로 현재 디바이스(100)와 사용자간의 거리를 결정하고 디스플레이할 수 있다. 예를 들면, 디바이스(100)는 동영상을 촬영하면서, 카메라의 렌즈와 사용자의 양안간의 거리를 연속적으로 갱신할 수 있다. 또한, 갱신된 카메라의 렌즈와 사용자의 양안간의 거리를 연속적으로 디스플레이의 기설정된 영역(1810)에 디스플레이할 수 있다. 기설정된 영역(1810)에 디스플레이되는 거리는 가장 최근에 결정된 사용자와 디바이스(100)간의 거리일 수 있다.
일부 실시 예에 따른 디바이스(100)는 화면 상에 감지된 사용자의 양안을 표시할 수 있다. 예를 들면, 디바이스(100)는 현재 촬영된 영상 위에 감지된 사용자의 양안의 위치를 점과 선 등으로 표시할 수 있다. 이 경우, 사용자는 디스플레이되는 거리가, 디바이스(100)로부터 양안까지의 거리임을 직관적으로 인식할 수 있다.
도 19는 일부 실시 예에 따른 디바이스(100)가 사용자의 양안을 촬영하기 위해서 사용자에게 안내 문구를 제공하는 일 예를 나타내는 도면이다.
일부 실시 예에 따른 디바이스(100)가 사용자의 양안을 제 1 영역(1910)에서 감지할 수 있는 경우, 제 1 영역(1910)에 가이드 라인을 디스플레이할 수 있다. 또한, 디바이스(100)는 제 2 영역(1920)에 가이드 라인 안에 눈이 위치하도록 카메라 위치를 조정해줄 것을 요청하는 문구를 디스플레이할 수 있다. 제 1 영역(1910)에 사용자의 양안이 위치하는 경우, 디바이스(100)는 사용자의 양안을 인식하여, 디바이스(100)로부터 사용자의 양안까지의 거리를 결정할 수 있다. 디바이스(100)로부터 사용자의 양안까지의 거리는 카메라(1610)의 렌즈로부터 사용자의 양안까지의 거리를 포함할 수 있다. 또는 제 1 영역(1910)에 사용자의 양안 중 하나의 안구만 감지되는 경우에도 디바이스(100)는 감지된 안구의 크기를 이용하여 사용자의 안구로부터 디바이스(100)까지의 거리를 결정할 수 있다. 사용자의 안구로부터 디바이스(100)까지의 거리는 카메라(1610)의 렌즈로부터 사용자의 안구까지의 거리를 포함할 수 있다.
도 20 및 도 21은 일부 실시 예에 따른 디바이스(100)의 블록도이다.
도 20에 도시된 바와 같이, 일부 실시 예에 따른 디바이스(100)는, 카메라(1610), 프로세서(1300) 및 센싱부(1400)를 포함할 수 있다. 그러나, 도 20에 도시된 구성 요소 모두가 디바이스(100)의 필수 구성 요소인 것은 아니다. 도 20에 도시된 구성 요소보다 많은 구성 요소에 의해 디바이스(100)가 구현될 수도 있고, 도 20에 도시된 구성 요소보다 적은 구성 요소에 의해 디바이스(100)가 구현될 수도 있다.
예를 들어, 도 21에 도시된 바와 같이, 일부 실시 예에 따른 디바이스(100)는, 카메라(1610), 프로세서(1300) 및 센싱부(1400) 이외에 사용자 입력부(1100), 출력부(1200), 통신부(1500), A/V 입력부(1600), 및 메모리(1700)를 더 포함할 수도 있다.
사용자 입력부(1100)는, 사용자가 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(1100)는, 영상(예: 사용자의 양안)을 촬영하거나, 디바이스(100)로부터 사용자까지의 거리를 결정하기 위한 사용자 입력을 수신할 수 있다.
출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다.
디스플레이부(1210)는 디바이스(100)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(1210)는, 카메라(1610)를 통해 촬영된 영상을 디스플레이할 수 있다. 다른 예로, 디스플레이부(1210)는 결정된 사용자와 디바이스(100) 사이의 거리에 기초하여 처리된 영상을 디스플레이할 수 있다.
한편, 디스플레이부(1210)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(1210)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(1210)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디바이스(100)의 구현 형태에 따라 디바이스(100)는 디스플레이부(1210)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(1210)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1220)는 디바이스(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(1220)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(1230)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(1230)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(1230)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
프로세서(1300)는, 통상적으로 디바이스(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다.
프로세서(1300)는, 사용자의 양안을 촬영하기 위한 제 1 입력을 수신할 수 있다.
일부 실시 예에 따른 프로세서(1300)는 사용자의 양안의 촬영에 이용되는 제 1 입력을 수신할 수 있다. 프로세서(1300)는 사용자의 터치 입력을 수신함에 따라 사용자의 양안을 촬영할 수 있다. 또는, 프로세서(1300)는 특별한 사용자로부터의 입력 없이도, 기설정된 애플리케이션이 수행됨에 따라, 사용자의 양안을 촬영할 것을 요청하는 제 1 입력을 수신할 수 있다.
프로세서(1300)는 제 1 입력이 수신됨에 따라, 카메라의 이미지 센서를 통해 카메라의 초점 평면 상에 맺힌 사용자의 양안 간의 거리인 제 1 양안 거리를 결정할 수 있다.
프로세서(1300)는 제 1 입력에 따른 촬영을 통해, 카메라의 초점 평면 상에 맺힌 사용자의 양안 간의 거리인 제 1 양안 거리를 결정할 수 있다. 제 1 양안 거리는 제 1 입력에 따른 시점에 카메라의 초점 평면 상에서 사용자의 양안 간의 거리일 수 있다. 이미지 센서가 카메라의 초점 평면 상에 위치할 경우, 제 1 입력에 따른 촬영을 통해, 이미지 센서에 맺히는 사용자의 제 1 안구의 상과 제 2 안구의 상 사이의 거리가 제 1 양안 거리일 수 있다. 카메라의 초점 평면 상에 이미지 센서가 위치할 경우, 프로세서(1300)는 이미지 센서로부터 획득한 정보를 통해 제 1 양안 거리를 결정할 수 있다.
프로세서(1300)는 사용자의 양안을 촬영하기 위한 제 2 입력을 수신할 수 있다.
프로세서(1300)는 제 1 입력을 수신한 이후 사용자의 양안의 촬영에 이용되는 제 2 입력을 수신할 수 있다. 일 예로, 프로세서(1300)는 사용자의 양안을 촬영할 것을 요청하는 제 1 입력 및 제 2 입력을 순차적으로 수신할 수 있다. 예를 들면, 프로세서(1300)는 제 1 입력이 수신된 이후에 수신된 사용자의 터치 입력에 따라 제 1 입력 및 제 2 입력을 순차적으로 수신할 수 있다. 다른 예로, 특별한 사용자로부터의 입력 없이도, 디바이스(100)는 기설정된 애플리케이션이 수행됨에 따라, 제 1 입력 및 제 2 입력을 순차적으로 수신할 수 있다.
프로세서(1300)는 제 2 입력이 수신됨에 따라, 이미지 센서를 통해 초점 평면 상에 맺힌 사용자의 양안 간의 거리인 제 2 양안 거리를 결정할 수 있다.
프로세서(1300)는 제 2 입력에 따른 촬영을 통해, 카메라의 초점 평면 상에 맺힌 사용자의 양안 간의 거리인 제 2 양안 거리를 결정할 수 있다. 제 2 양안 거리는 제 2 입력에 따른 시점에 카메라의 초점 평면 상에서 사용자의 양안 간의 거리일 수 있다. 이미지 센서가 카메라의 초점 평면 상에 위치할 경우, 제 2 입력에 따른 촬영을 통해, 이미지 센서에 맺히는 사용자의 제 1 안구의 상과 제 2 안구의 상 사이의 거리가 제 2 양안 거리일 수 있다. 카메라의 초점 평면 상에 이미지 센서가 위치할 경우, 프로세서(1300)는 이미지 센서로부터 획득한 정보를 통해 제 2 양안 거리를 결정할 수 있다.
제 1 양안 거리와 제 2 양안 거리는 상이할 수 있다. 일 예로, 제 1 입력의 수신에 따른 촬영 시점과 제 2 입력의 수신에 따른 촬영 시점에서 카메라의 렌즈로부터 사용자의 양안까지의 거리가 상이할 경우, 제 1 양안 거리와 제 2 양안 거리는 상이할 수 있다.
프로세서(1300)는 제 1 입력이 수신된 때로부터 제 2 입력이 수신된 때까지의, 디바이스(100)와 사용자간의 거리의 변화량을 획득할 수 있다. 프로세서(1300)는 제 1 입력이 수신된 때로부터 제 2 입력이 수신된 때까지 디바이스(100)의 움직임에 대한 정보를 획득하고, 획득한 움직임에 대한 정보에 기초하여 거리의 변화량을 획득할 수 있다. 제 1 입력이 수신된 때 또는 제 2 입력이 수신된 때는 제 1 입력 또는 제 2 입력이 수신된 물리적인 시점 뿐 아니라 제 1 입력 또는 제 2 입력에 따른 디바이스(100)의 기설정된 동작의 수행 시점을 포함할 수 있다. 예를 들면, 프로세서(1300)는 제 1 입력의 수신에 따른 촬영 시점으로부터 제 2 입력의 수신에 따른 촬영 시점까지의 카메라의 렌즈로부터 사용자의 양안까지의 거리의 변화량을 획득할 수 있다.
프로세서(1300)는 거리의 변화량을 센서로부터 획득한 정보를 이용하여 획득할 수 있다. 센서는 센싱 정보를 획득할 수 있다. 예를 들면, 센서는 움직임 정보를 획득할 수 있다. 센서는 디바이스(100)의 움직임 정보를 획득하고, 프로세서(1300)로 전송할 수 있다.
프로세서(1300)는 센서로부터 획득한 움직임 정보를 이용하여, 제 1 입력의 수신에 따른 촬영 시점으로부터 제 2 입력의 수신에 따른 촬영 시점까지 디바이스(100)의 이동 거리 및 이동 방향을 결정할 수 있다. 프로세서(1300)는 결정된 이동 거리 및 이동 방향에 따라, 제 1 입력의 수신에 따른 촬영 시점으로부터 제 2 입력의 수신에 따른 촬영 시점까지 카메라의 렌즈로부터 사용자의 양안까지의 거리의 변화량을 결정할 수 있다.
프로세서(1300)는 카메라의 초점 거리를 획득할 수 있다. 카메라의 초점 거리는 카메라의 렌즈로부터 카메라의 초점 평면까지의 거리를 의미할 수 있다. 또한, 초점 평면 상에 이미지 센서가 위치하는 경우, 카메라의 초점 거리 또는 카메라의 렌즈의 초점 거리는 카메라의 렌즈로부터 이미지 센서까지의 거리를 의미할 수 있다. 카메라의 초점 거리는 카메라의 하드웨어적 특성에 따라 결정될 수 있다. 예를 들면, 카메라의 초점 거리는 카메라의 렌즈의 굴절률에 따라 결정될 수 있다.
프로세서(1300)는 제 1 양안 거리, 제 2 양안 거리 및 거리의 변화량에 기초하여, 디바이스(100)와 사용자간의 거리를 결정할 수 있다.
프로세서(1300)는 제 1 양안 거리와 제 2 양안 거리를 비교하여, 제 1 입력의 수신에 따른 촬영 시점에 카메라의 렌즈로부터 사용자의 양안까지의 거리 및/또는 제 2 입력의 수신에 따른 촬영 시점에 카메라의 렌즈로부터 사용자의 양안까지의 거리를 결정할 수 있다. 예를 들면, 프로세서(1300)는 제 1 양안 거리, 제 2 양안 거리, 거리의 변화량 및 카메라의 초점 거리를 이용하여 제 1 입력의 수신에 따른 촬영 시점에 카메라의 렌즈로부터 사용자의 양안까지의 거리 및/또는 제 2 입력의 수신에 따른 촬영 시점에 카메라의 렌즈로부터 사용자의 양안까지의 거리를 결정할 수 있다.
센싱부(1400)는, 디바이스(100)의 상태 또는 디바이스(100) 주변의 상태를 감지하고, 감지된 정보를 프로세서(1300)로 전달할 수 있다.
센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(illuminance sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
통신부(1500)는, 디바이스(100)와 외부 디바이스(미도시) 또는 디바이스(100)와 서버(미도시) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(151)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 디바이스(100)가 방송 수신부(1530)를 포함하지 않을 수도 있다.
또한, 통신부(1500)는, 디바이스(100)와 사용자간의 거리를 결정하기 위하여 필요한 정보를, 외부 디바이스(미도시) 또는 서버(미도시)와 송수신할 수 있다.
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(1610)에서 처리된 화상 프레임은 메모리(1700)에 저장되거나 통신부(1500)를 통하여 외부로 전송될 수 있다. 카메라(1610)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(1700)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 디바이스(100)로 입력되거나 디바이스(100)로부터 출력되는 데이터를 저장할 수도 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.
UI 모듈(1710)은, 애플리케이션 별로 디바이스(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1300)로 전달할 수 있다. 일부 실시 예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.
근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(1730)은 디바이스(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 디바이스(100)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(1730)은 디스플레이부(1210)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1220)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1230)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
일부 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 디바이스가 거리를 결정하는 방법에 있어서,
    상기 디바이스의 사용자의 양안을 촬영하는 카메라를 통해 촬영된 제 1 이미지를 이용하여 사용자의 양안 간의 제 1 양안 거리를 결정하는 단계;
    상기 사용자의 양안을 촬영하는 카메라를 통해 촬영된 제 2 이미지를 이용하여 상기 사용자의 양안 간의 제 2 양안 거리를 결정하는 단계;
    상기 제 1 양안 거리 및 상기 제 2 양안 거리에 기초하여, 상기 카메라로부터 상기 사용자의 양안까지의 거리를 결정하는 단계; 및
    상기 카메라로부터 상기 사용자의 양안까지의 거리에 따라 변환된 이미지를 상기 디바이스의 디스플레이에 제공하는 단계를 포함하며,
    상기 제 1 양안 거리는, 상기 디바이스의 이미지 센서를 이용하여 인식되는, 상기 제 1 이미지의 상기 사용자의 양안 간의 거리이고,
    상기 제 2 양안 거리는, 상기 디바이스의 상기 이미지 센서를 이용하여 인식되는, 상기 제 2 이미지의 상기 사용자의 양안 간의 거리이며,
    상기 제 2 양안 거리는 상기 제 1 양안 거리와 다른, 방법.
  2. 제 1 항에 있어서,
    상기 제 1 양안 거리는 상기 이미지 센서 상에서 인식되는, 상기 제 1 이미지의 상기 사용자의 양안 간의 거리이고,
    상기 제 2 양안 거리는 상기 상기 이미지 센서 상에서 인식되는, 상기 제 2 이미지의 상기 사용자의 양안 간의 거리인, 방법.
  3. 제 1 항에 있어서,
    상기 제 1 양안 거리는 상기 카메라의 초점 평면 상에 맺힌, 상기 제 1 이미지의 상기 사용자의 양안 간의 거리이고,
    상기 제 2 양안 거리는 상기 카메라의 상기 초점 평면 상에 맺힌, 상기 제 2 이미지의 상기 사용자의 양안 간의 거리인 방법.
  4. 제 1 항에 있어서,
    상기 제 1 이미지가 촬영된 때로부터 상기 제 2 이미지가 촬영된 때까지 상기 카메라로부터 상기 사용자의 양안까지의 거리의 변화량을 획득하는 단계를 더 포함하고,
    상기 카메라로부터 상기 사용자의 양안까지의 거리를 결정하는 단계는 상기 거리의 변화량에 기초하여 상기 카메라로부터 상기 사용자의 양안까지의 거리를 결정하는 방법.
  5. 제 4 항에 있어서,
    상기 거리의 변화량을 획득하는 단계는
    상기 제 1 이미지가 촬영된 때로부터 상기 제 2 이미지가 촬영된 때까지 상기 디바이스의 움직임을 감지하는 단계; 및
    상기 디바이스의 움직임에 기초하여 상기 거리의 변화량을 획득하는 단계를 포함하는 방법.
  6. 제 1 항에 있어서,
    상기 카메라의 렌즈로부터 상기 이미지 센서까지의 초점 거리를 획득하는 단계를 더 포함하고,
    상기 카메라로부터 상기 사용자의 양안까지의 거리를 결정하는 단계는 상기 초점 거리에 기초하여 상기 카메라로부터 상기 사용자의 양안까지의 거리를 결정하는 방법.
  7. 제 1 항에 있어서,
    상기 변환된 이미지를 상기 디바이스의 디스플레이에 제공하는 단계는
    상기 디바이스에 저장된 상기 사용자의 시력 정보에 기초하여, 상기 변환된 이미지를 획득하는 단계를 포함하는 방법.
  8. 제 1 항에 있어서,
    상기 디바이스에 저장된 상기 사용자의 정보에 기초하여 상기 사용자의 안구 크기를 예측하는 단계;
    상기 카메라의 초점 평면 상에 맺힌 상기 사용자의 안구 크기를 결정하는 단계; 및
    상기 예측된 안구 크기 및 상기 결정된 안구 크기에 기초하여, 상기 카메라로부터 상기 사용자의 안구까지의 거리를 결정하는 단계를 더 포함하는 방법.
  9. 제 8 항에 있어서,
    상기 카메라의 렌즈로부터 상기 이미지 센서까지의 초점 거리를 획득하는 단계를 더 포함하고,
    상기 카메라로부터 상기 사용자의 안구까지의 거리를 결정하는 단계는 상기 초점 거리에 기초하여 상기 카메라로부터 상기 사용자의 안구까지의 거리를 결정하는 방법.
  10. 제 1 항에 있어서,
    상기 디바이스가 기울어진 정도를 결정하는 단계;
    상기 사용자의 시선 방향을 결정하는 단계; 및
    상기 디바이스가 기울어진 정도 및 상기 사용자의 시선 방향에 따라 결정되는 각도에 기초하여 상기 카메라로부터 상기 사용자의 양안까지의 거리를 갱신하는 단계를 더 포함하는 방법.
  11. 거리를 결정하는 디바이스에 있어서,
    사용자의 양안을 촬영하는 카메라; 및
    상기 카메라를 통해 촬영된 제1 이미지를 이용하여 상기 사용자의 양안 간의 제 1 양안 거리를 결정하고,
    상기 카메라를 통해 촬영된 제2 이미지를 이용하여 상기 사용자의 양안 간의 제 2 양안 거리를 결정하고,
    상기 제 1 양안 거리 및 상기 제 2 양안 거리에 기초하여, 상기 카메라로부터 상기 사용자의 양안까지의 거리를 결정하고,
    상기 카메라로부터 상기 사용자의 양안까지의 거리에 따라 변환된 이미지를 상기 디바이스의 디스플레이에 제공하는 프로세서를 포함하며,
    상기 제 1 양안 거리는, 상기 디바이스의 이미지 센서를 이용하여 인식되는, 상기 제 1 이미지의 상기 사용자의 양안 간의 거리이고,
    상기 제 2 양안 거리는, 상기 디바이스의 상기 이미지 센서를 이용하여 인식되는, 상기 제 2 이미지의 상기 사용자의 양안 간의 거리이며,
    상기 제 2 양안 거리는 상기 제 1 양안 거리와 다른, 디바이스.
  12. 제 11 항에 있어서,
    상기 제 1 양안 거리는 상기 이미지 센서 상에서 인식되는, 상기 제 1 이미지의 상기 사용자의 양안 간의 거리이고,
    상기 제 2 양안 거리는 상기 상기 이미지 센서 상에서 인식되는, 상기 제 2 이미지의 상기 사용자의 양안 간의 거리인 디바이스.
  13. 제 11 항에 있어서,
    상기 제 1 양안 거리는 상기 카메라의 초점 평면 상에 맺힌, 상기 제 1 이미지의 상기 사용자의 양안 간의 거리이고,
    상기 제 2 양안 거리는 상기 카메라의 상기 초점 평면 상에 맺힌, 상기 제 2 이미지의 상기 사용자의 양안 간의 거리인 디바이스.
  14. 제 11 항에 있어서,
    상기 프로세서는
    상기 제 1 이미지가 촬영된 때로부터 상기 제 2 이미지가 촬영된 때까지 상기 카메라로부터 상기 사용자의 양안까지의 거리의 변화량을 획득하고,
    상기 거리의 변화량에 기초하여 상기 카메라로부터 상기 사용자의 양안까지의 거리를 결정하는 디바이스.
  15. 제 14 항에 있어서,
    상기 디바이스의 움직임을 감지하는 움직임 센서를 더 포함하고,
    상기 프로세서는
    상기 제 1 이미지가 촬영된 때로부터 상기 제 2 이미지가 촬영된 때까지 상기 디바이스의 움직임을 감지하고,
    상기 디바이스의 움직임에 기초하여 상기 거리의 변화량을 획득하는 디바이스.
  16. 제 11 항에 있어서,
    상기 프로세서는
    상기 카메라의 렌즈로부터 상기 이미지 센서까지의 초점 거리를 획득하고,
    상기 초점 거리에 기초하여 상기 카메라로부터 상기 사용자의 양안까지의 거리를 결정하는 디바이스.
  17. 제 11 항에 있어서,
    상기 프로세서는
    상기 디바이스에 저장된 상기 사용자의 시력 정보에 기초하여, 상기 변환된 이미지를 획득하는 디바이스.
  18. 제 11 항에 있어서,
    상기 프로세서는
    상기 디바이스에 저장된 상기 사용자의 정보에 기초하여 상기 사용자의 안구 크기를 예측하고,
    상기 카메라의 초점 평면 상에 맺힌 상기 사용자의 안구 크기를 결정하고,
    상기 예측된 안구 크기 및 상기 결정된 안구 크기에 기초하여, 상기 카메라로부터 상기 사용자의 안구까지의 거리를 결정하는 디바이스.
  19. 제 18 항에 있어서,
    상기 프로세서는
    상기 카메라의 렌즈로부터 상기 이미지 센서까지의 초점 거리를 획득하고,
    상기 초점 거리에 기초하여 상기 카메라로부터 상기 사용자의 안구까지의 거리를 결정하는 디바이스.
  20. 제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020170030533A 2016-11-14 2017-03-10 거리 결정 방법 및 디바이스 KR102319437B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/672,807 US10636167B2 (en) 2016-11-14 2017-08-09 Method and device for determining distance

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662421682P 2016-11-14 2016-11-14
US62/421,682 2016-11-14

Publications (2)

Publication Number Publication Date
KR20180054401A KR20180054401A (ko) 2018-05-24
KR102319437B1 true KR102319437B1 (ko) 2021-11-01

Family

ID=62296837

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170030533A KR102319437B1 (ko) 2016-11-14 2017-03-10 거리 결정 방법 및 디바이스

Country Status (1)

Country Link
KR (1) KR102319437B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540918B1 (ko) * 2017-12-14 2023-06-07 현대자동차주식회사 차량의 사용자 영상 처리 장치 및 그 방법
KR102506873B1 (ko) * 2018-07-18 2023-03-08 현대자동차주식회사 차량 입체 클러스터, 그를 포함한 시스템 및 그 입체 화면 제공 방법
CN114945943A (zh) * 2020-01-13 2022-08-26 谷歌有限责任公司 基于虹膜大小估计深度
KR20220128726A (ko) 2021-03-15 2022-09-22 삼성전자주식회사 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001145613A (ja) * 1999-11-22 2001-05-29 Oki Electric Ind Co Ltd 距離計測機能付きカメラ装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102117530B1 (ko) * 2014-02-21 2020-06-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001145613A (ja) * 1999-11-22 2001-05-29 Oki Electric Ind Co Ltd 距離計測機能付きカメラ装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Immanuel Konig 등, A new context: Screen to face distance, ISMICT.(2014.04.02.)*
Jian Zhao 등, Augmenting Mobile Phone Interaction with Face-Engaged Gesture, arXiv:1610.00214v1.(2016.10.02.)*

Also Published As

Publication number Publication date
KR20180054401A (ko) 2018-05-24

Similar Documents

Publication Publication Date Title
KR102334212B1 (ko) 3d 이미지를 디스플레이하는 방법 및 이를 위한 장치
JP7295936B2 (ja) 動作認識方法、電子機器及び記憶媒体
EP2893867B1 (en) Detecting visual inattention based on eye convergence
JP6342458B2 (ja) ビデオにおける改良型の顔面認識
US10142618B2 (en) Imaging apparatus and imaging method
EP3547216B1 (en) Deep learning for three dimensional (3d) gaze prediction
KR102319437B1 (ko) 거리 결정 방법 및 디바이스
US10444930B2 (en) Head-mounted display device and control method therefor
US10636167B2 (en) Method and device for determining distance
CN111886564B (zh) 信息处理装置、信息处理方法和程序
KR102056221B1 (ko) 시선인식을 이용한 장치 연결 방법 및 장치
EP3557376A2 (en) Training of a neural network for three dimensional (3d) gaze prediction
CN111630477A (zh) 提供增强现实服务的设备及其操作方法
JP2014519665A6 (ja) ビデオにおける改良型の顔面認識
KR101782086B1 (ko) 이동단말 제어장치 및 방법
KR20150057064A (ko) 전자 다바이스 및 그 제어방법
US11422622B2 (en) Electronic device and operating method thereof
TW201807540A (zh) 信息處理系統、操作方法及操作程序
KR20210147837A (ko) 전자 장치 및 그 동작 방법
EP4350417A1 (en) Augmented reality apparatus and method for providing vision measurement and vision correction
US10691250B2 (en) Information processing device, information processing method, and program for preventing reflection of an operation in an output
US20220114811A1 (en) Method and device for processing image
KR101561768B1 (ko) 영상 촬영 장치 및 그 동작 방법
KR20240030881A (ko) 가상 컨텐츠 출력 방법 및 이를 지원하는 전자장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant