KR102108066B1 - 헤드 마운트 디스플레이 디바이스 및 그 제어 방법 - Google Patents

헤드 마운트 디스플레이 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
KR102108066B1
KR102108066B1 KR1020130105028A KR20130105028A KR102108066B1 KR 102108066 B1 KR102108066 B1 KR 102108066B1 KR 1020130105028 A KR1020130105028 A KR 1020130105028A KR 20130105028 A KR20130105028 A KR 20130105028A KR 102108066 B1 KR102108066 B1 KR 102108066B1
Authority
KR
South Korea
Prior art keywords
information
person
recognized
hmd device
amount
Prior art date
Application number
KR1020130105028A
Other languages
English (en)
Other versions
KR20150026327A (ko
Inventor
박효림
이도영
김용신
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130105028A priority Critical patent/KR102108066B1/ko
Priority to US14/068,522 priority patent/US8878750B1/en
Priority to CN201380079288.XA priority patent/CN105518515B/zh
Priority to EP13892589.6A priority patent/EP3042236B1/en
Priority to PCT/KR2013/009939 priority patent/WO2015030299A1/en
Publication of KR20150026327A publication Critical patent/KR20150026327A/ko
Application granted granted Critical
Publication of KR102108066B1 publication Critical patent/KR102108066B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Abstract

본 명세서의 일 실시예에 따른 HMD 디바이스에 있어서, 상기 HMD 디바이스 전방의 이미지를 촬영하는 카메라 유닛; 데이터를 송신 및 수신하는 커뮤니케이션 유닛; 상기 데이터로부터 획득한 정보를 디스플레이하는 디스플레이 유닛; 및 상기 카메라 유닛, 상기 커뮤니케이션 유닛 및 상기 디스플레이 유닛을 제어하는, 프로세서; 를 포함하고, 상기 프로세서는, 상기 촬영한 상기 HMD 디바이스 전방의 이미지로부터 얼굴을 인식하고, 상기 인식된 얼굴에 대응하는 데이터를 수신하여, 상기 수신된 데이터로부터 상기 인식된 얼굴에 대응하는 인물 정보(a personal information) 및 상기 얼굴이 마지막으로 인식된 날로부터 현재 인식된 날까지의 기간(term) 정보를 획득하고, 상기 획득한 기간(term)이 제 1 스레스홀드 기간 미만인 경우 상기 인물 정보를 디스플레이하지 않고, 상기 획득한 기간이 상기 제 1 스레스홀드 기간 이상인 경우 상기 인물 정보를 디스플레이하되, 상기 디스플레이 될 상기 인물 정보의 양(an amount of the personal information to be displayed)은 상기 HMD 디바이스와 상기 인식된 얼굴 사이의 거리 및 상기 기간(term)에 따라 제어하는, HMD 디바이스를 제공한다.

Description

헤드 마운트 디스플레이 디바이스 및 그 제어 방법{HEAD MOUNTED DISPLAY DEVICE AND METHOD FOR CONTROLLING THE SAME}
본 명세서는 헤드 마운트 디스플레이 디바이스에 관한 것으로, 특히 디바이스와 인물 사이의 거리 및 인물이 마지막으로 인식된 기간에 따라 제공하는 정보의 양을 조절하는 헤드 마운트 디스플레이 디바이스 및 그 제어 방법에 관한 것이다.
헤드 마운트 디스플레이(Head Mounted Display, 이하 HMD) 디바이스는 유저가 안경처럼 착용할 수 있다. 유저는 HMD 디바이스에 디스플레이되는 정보를 제공받을 수 있다. 특히, HMD 디바이스는 전방에 위치한 인물을 인식하여, 인물 정보를 유저에게 제공할 수 있다.
다만, 기존의 HMD 디바이스는 인물 정보를 제공하는데 있어, 인물과의 거리 및 인물이 마지막으로 인식된 기간에 따라 인물 정보의 양을 조절하지 않았다. 따라서, 인물 정보 중 중요한 정보를 선별적으로 제공하지 못하고 유저가 이미 알고 있거나 중복되는 정보를 제공하여 유저에게 혼란을 가중시키고, 디스플레이된 인물 정보에 의해 유저의 시야가 가려진다는 불편함이 존재하였다.
따라서, 인물과의 거리 및 인물이 마지막으로 인식된 기간을 고려하여, 디스플레이하는 인물 정보의 양을 제어하는 방법을 제공할 필요가 있다.
일 실시예에 따르면, 디바이스는 디바이스와 인물과의 거리 및 인물이 마지막으로 인식된 날로부터 현재 인식된 날까지의 기간에 따라 인물 정보의 양을 조절하는 HMD 디바이스 및 그 제어 방법을 제공하고자 한다.
또한, 다른 일 실시예에 따르면, 디바이스는 인물이 마지막으로 인식된 날로부터 현재 인식된 날까지의 기간이 스레스홀드 기간 미만인 경우에는, 인물 정보를 제공하지 않는 HMD 디바이스 및 그 제어 방법을 제공하고자 한다.
또한, 다른 일 실시예에 따르면, 디바이스는 인물이 인식된 횟수에 따라 제공하는 인물 정보의 양을 조절하는 HMD 디바이스 및 그 제어 방법을 제공하고자 한다.
또한, 다른 일 실시예에 따르면, 디바이스는 디바이스의 위치 정보에 따라 인물 정보의 카테고리를 조절하는 HMD 디바이스 및 그 제어 방법을 제공하고자 한다.
또한, 다른 일 실시예에 따르면, 디바이스는 인물 정보의 양을 조절하는 경우, 카테고리의 우선 순위에 따라 정보의 양을 조절하는 HMD 디바이스 및 그 제어 방법을 제공하고자 한다.
상기와 같은 문제를 해결하고자, 일 실시예에 따르면, HMD 디바이스에 있어서, 상기 HMD 디바이스 전방의 이미지를 촬영하는 카메라 유닛; 데이터를 송신 및 수신하는 커뮤니케이션 유닛; 상기 데이터로부터 획득한 정보를 디스플레이하는 디스플레이 유닛; 및 상기 카메라 유닛, 상기 커뮤니케이션 유닛 및 상기 디스플레이 유닛을 제어하는, 프로세서; 를 포함하고, 상기 프로세서는, 상기 촬영한 상기 HMD 디바이스 전방의 이미지로부터 얼굴을 인식하고, 상기 인식된 얼굴에 대응하는 데이터를 수신하여, 상기 수신된 데이터로부터 상기 인식된 얼굴에 대응하는 인물 정보(a personal information) 및 상기 얼굴이 마지막으로 인식된 날로부터 현재 인식된 날까지의 기간(term) 정보를 획득하고, 상기 획득한 기간(term)이 제 1 스레스홀드 기간 미만인 경우 상기 인물 정보를 디스플레이하지 않고, 상기 획득한 기간이 상기 제 1 스레스홀드 기간 이상인 경우 상기 인물 정보를 디스플레이하되, 상기 디스플레이 될 상기 인물 정보의 양(an amount of the personal information to be displayed)은 상기 HMD 디바이스와 상기 인식된 얼굴 사이의 거리 및 상기 기간(term)에 따라 제어하는, HMD 디바이스를 제공한다.
일 실시예에 따르면, 디바이스와 인물과의 거리 및 인물이 마지막으로 인식된 날로부터 현재 인식된 날까지의 기간에 따라 디스플레이 되는 인물 정보의 양을 조절하므로, 디바이스는 보다 합리적인 인물 정보량 제어 방법을 제공할 수 있다는 효과가 있다.
또한, 다른 일 실시예에 따르면, 디바이스는 스레스홀드 기간을 지정하여, 스레스홀드 기간 미만인 경우, 인물 정보를 제공하지 않음으로써 유저에게 불필요하거나 중복되는 정보를 반복적으로 제공하지 않을 수 있다는 효과가 있다.
또한, 다른 일 실시예에 따르면, 디바이스는 디바이스의 위치 정보나 카테고리의 우선 순위에 따라 디스플레이 되는 인물 정보의 카테고리를 조절함으로써 보다 유용하고 필수적인 정보를 유저에게 제공할 수 있다는 효과가 있다.
보다 구체적인 발명의 효과에 대해서는 이하에서 상세히 후술하기로 한다.
도 1은 일 실시예에 따른 디바이스를 나타낸 블록도이다.
도 2는 일 실시예에 따라, 인물이 마지막으로 인식된 날로부터 현재 인식된 날까지의 기간(term)에 따라 디스플레이 되는 인물 정보량을 제어하는 디바이스를 도시한 도면이다.
도 3은 일 실시예에 따라, 디바이스와 인물 사이의 거리에 따라 디스플레이 되는 인물 정보량을 제어하는 디바이스를 도시한 도면이다.
도 4는 일 실시예에 따라, 인물의 인식 기간이 스레스홀드 기간 이상인지 미만인지에 따라 인물 정보의 디스플레이를 제어하는 디바이스를 도시한 도면이다.
도 5는 일 실시예에 따라, 인물이 인식된 시점의 위치에 따라 디스플레이하는 인물 정보를 제어하는 디바이스를 도시한 도면이다.
도 6은 일 실시예에 따라, 인물의 움직이는 속도에 따라 인물 정보를 제공하는 속도를 제어하는 디바이스를 도시한 도면이다.
도 7은 본 명세서의 실시예에 따른 디바이스의 제어 방법을 나타낸 순서도이다.
본 명세서에서 사용되는 용어는 본 명세서에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
더욱이, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서는 인물 이미지를 인식하고, 인식한 인물 이미지에 대응하는 인물 정보를 디스플레이하는 HMD 디바이스에 관한 것이다. 여기서 HMD 디바이스는 사용자의 머리에 착용하는 착용식 컴퓨터(wearable computer)를 나타낼 수 있다. 또한, 인물 정보란, HMD 디바이스를 통해 인식된 인물에 관한 신상 정보를 나타낼 수 있다. 실시예로서, 인물 정보는 인식된 인물의 이름 정보, 나이 정보, 직업 정보, 주소 정보, 회사 정보, 직책 정보, 연락처 정보, 이메일 정보, 취미 정보, 최근 만난 날짜 정보 등 인물에 대한 다양한 정보를 나타낼 수 있다. 인물 정보는 HMD 디바이스의 디스플레이 유닛 상에 가상 이미지(Virtual image) 또는 증강 현실 이미지(Augmented Reality Image)로 디스플레이될 수 있다.
본 명세서의 HMD 디바이스는 인물 정보를 디스플레이하는 경우, 인물이 마지막으로 인식된 날로부터 현재 인식된 날까지의 기간 및 HMD 디바이스와 인물과의 거리에 따라 디스플레이하는 인물 정보량을 제어할 수 있다. 이때, HMD 디바이스는 인물 정보의 텍스트 크기, 양, 스크롤 속도, 카테고리 개수 및 이미지의 크기 중 적어도 하나를 조절함으로써 디스플레이하는 인물 정보량을 제어할 수 있다. 본 명세서에서는 카테고리의 개수를 조절함으로써 인물 정보의 양을 제어하는 HMD 디바이스를 기준으로 설명하기로 한다. 이하에서는 설명의 편의를 위해 HMD 디바이스를 디바이스라 약칭하기로 한다.
도 1은 일 실시예에 따른 디바이스를 나타낸 블록도이다. 본 명세서에서 디바이스는 카메라 유닛(1010), 커뮤니케이션 유닛(1020), 디스플레이 유닛(1030), 거리 측정 유닛(1040), 위치 획득 유닛(1050) 및 프로세서(1060)를 포함할 수 있다.
카메라 유닛(1010)은 디바이스 전방의 이미지를 촬영할 수 있다. 보다 상세하게는, 카메라 유닛(1010)은 디바이스에 장착된 적어도 하나의 카메라 센서를 사용하여 디바이스 전방의 이미지를 촬영할 수 있다. 카메라 유닛(1010)은 화각 영역 내의 오브젝트를 촬영하여, 촬영 결과를 프로세서(1060)에 제공할 수 있다. 특히, 본 명세서에서 카메라 유닛(1010)은 화각 영역 내의 인물 이미지를 촬영하여, 촬영 결과를 프로세서(1060)에 전달할 수 있다. 본 명세서에서 인물 이미지란, 인물의 얼굴 이미지, 인물의 동공 이미지, 인물의 홍채 이미지 등 인물을 식별할 수 있는 다양한 이미지를 포함한다.
커뮤니케이션 유닛(1020)은 외부 디바이스 및/또는 웹서버와 다양한 프로토콜을 사용하여 통신을 수행하여 데이터를 송/수신할 수 있다. 보다 상세하게는, 커뮤니케이션 유닛(1020)은 유선 또는 무선으로 네트워크에 접속하여, 증강 현실 데이터, 가상 이미지 데이터 등의 다양한 디지털 데이터를 송/수신할 수 있다. 특히, 커뮤니케이션 유닛(1020)은 상술한 카메라 유닛(1010)을 통해 인식된 인물에 대한 인물 데이터를 송/수신할 수 있다.
디스플레이 유닛(1030)은 가상 이미지(virtual image)를 디스플레이할 수 있다. 특히, 본 명세서에서 디스플레이 유닛(1030)은 인물 정보를 가상 이미지로서 디스플레이할 수 있다. 여기서, 가상 이미지는 디스플레이 유닛(1030)을 통해 유저에게 제공되는 그래픽 유저 인터페이스를 나타낼 수 있다. 한편, 디스플레이 유닛(1030)은 광학적 씨-스루 디스플레이 패널로 구성될 수 있다. 이때, 디스플레이 유닛(1030)은 현실 세계를 기반으로 한 가상 이미지를 디스플레이함으로써 유저에게 증강 현실을 제공할 수 있다. 특히, 본 명세서에서 디스플레이 유닛(1030)은 인식된 인물을 기반으로 하여, 해당 인물에 대한 정보를 디스플레이함으로써 유저에게 증강 현실을 제공할 수 있다.
거리 측정 유닛(1040)은 디바이스에 장착된 적어도 하나의 센서를 사용하여 디바이스와 인물 사이의 거리를 측정할 수 있다. 적어도 하나의 센서는 카메라 센서, 근접 센서, 온도 센서, 뎁스 센서, 적외선 센서, 자외선 센서, 속도 측정 센서, 모션 센서 등의 다양한 센싱 수단을 포함할 수 있다. 거리 측정 유닛(1040)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 상술한 센서들은 별도의 엘리먼트로 디바이스에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다. 거리 측정 유닛(1040)은 측정 결과를 프로세서(1060)에 전달할 수 있다.
위치 획득 유닛(1050)은 디바이스에 장착된 적어도 하나의 센서를 사용하여 디바이스의 위치를 획득할 수 있다. 적어도 하나의 센서는 GPS(Global Positioning System), 카메라 센서, 근접 센서, 적외선 센서, 중력 센서, 고도 센서 등의 다양한 센싱 수단을 포함할 수 있다. 특히, 위치 획득 유닛(1050)이 GPS 신호를 이용하는 경우, 실내 반경이 500m 또는 700m 이상으로 넓으면 정확한 위치를 파악하기 어려울 수 있다. 이 경우, 위치 획득 유닛(1050)은 실내에 설치된 무선랜 신호 중계기를 통해서도 디바이스의 고유한 AP(Access Address)를 획득할 수 있다. 위치 획득 유닛(1050)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 상술한 센서들은 별도의 엘리먼트로 디바이스에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다. 위치 획득 유닛(1050)은 획득한 결과를 프로세서(1060)에 전달할 수 있다.
프로세서(1060)는 디바이스 내부의 데이터를 프로세싱하여 다양한 어플리케이션을 실행할 수 있다. 또한, 프로세서(1060)는 입력에 기초하여 디바이스에서 실행되는 컨텐츠를 제어할 수 있다. 또한, 프로세서(1060)는 상술한 디바이스의 각 유닛들을 제어하며, 유닛들간의 데이터 송/수신을 제어할 수도 있다.
특히, 본 명세서에서 프로세서(1060)는 카메라 유닛(1010)을 통해 촬영한 전방의 이미지로부터 인물 이미지를 인식할 수 있다. 여기서 인물 이미지는 인물을 식별할 수 있는 얼굴 이미지, 동공 이미지, 홍채 이미지 등을 포함함은 상술한 바와 같다. 카메라 유닛(1010)을 통해 인물 이미지를 인식한 경우, 프로세서(1060)는 커뮤니케이션 유닛(1020)을 사용하여 인식한 인물 이미지에 대한 데이터를 획득할 수 있다. 보다 상세하게는, 프로세서는 커뮤니케이션 유닛을 사용하여 외부 디바이스, 웹 서버, 또는 스토리지 유닛과의 통신을 수행하여 인식한 인물 이미지에 대한 데이터를 획득할 수 있다.
프로세서(1060)는 획득한 데이터로부터 인물 정보를 획득하여, 디스플레이 유닛(1030)에 디스플레이할 수 있다. 나아가, 프로세서(1060)는 획득한 데이터로부터 기간 정보, 횟수 정보를 획득하여 디스플레이 될 인물 정보의 양을 조절할 수 있는데, 이에 관련한 보다 상세한 설명은 도 2 내지 도 4와 관련하여 이하에서 후술하기로 한다.
또한, 프로세서(1060)는 거리 측정 유닛(1040)을 통해 디바이스와 인물 사이의 거리를 획득할 수 있다. 프로세서(1060)는 획득한 거리에 따라 디스플레이 될 인물 정보의 양을 조절할 수 있는데, 이에 관한 상세한 설명은 도 3과 관련하여 이하에서 후술하기로 한다.
또한, 프로세서(1060)는 위치 획득 유닛(1050) 통해 디바이스의 현재 위치 정보를 획득할 수 있다. 프로세서(1060)는 획득한 위치 정보를 이용하여 디스플레이 될 인물 정보의 카테고리를 결절할 수 있는데, 이에 관한 상세한 설명은 도 5와 관련하여 이하에서 후술하기로 한다.
이외, 도 1에서는 도시하지 않았지만, 디바이스는 스토리지 유닛, 오디오 입출력 유닛 또는 파워 유닛을 구비할 수 있다.
스토리지 유닛(미도시)은 오디오, 사진, 동영상, 어플리케이션, 가상 이미지 등 다양한 디지털 데이터를 저장할 수 있다. 스토리지 유닛은 플래시 메모리, RAM(Random Access Memory), SSD(Solid State Drive) 등의 다양한 디지털 데이터 저장 공간을 나타낸다.
또한, 스토리지 유닛은 커뮤니케이션 유닛(1020)을 통해 외부로부터 수신된 데이터를 임시적으로 저장할 수 있다. 이때, 스토리지 유닛은 외부로부터 수신된 데이터를 디바이스에서 출력하기 위한 버퍼링을 위해 사용될 수 있다. 한편, 스토리지 유닛은 디바이스에 선택적으로 구비될 수 있다.
오디오 출력 유닛(미도시)은 스피커, 이어폰 등의 오디오 출력 수단을 포함한다. 또한, 오디오 출력 유닛은 프로세서(1060)에서 실행되는 컨텐츠 또는 프로세서(1060)의 제어 명령에 기초하여 음성을 출력할 수 있다. 이때, 오디오 출력 유닛은 디바이스에 선택적으로 구비될 수 있다.
파워 유닛(미도시)은 디바이스 내부의 배터리 또는 외부 전원과 연결되는 파워 소스로서, 디바이스에 파워를 공급할 수 있다.
이하에서는, 디바이스에서 수행되는 각 단계나 동작이 인물 이미지의 인식에 의해 시작되거나 진행되는 경우, 인물 이미지가 인식됨에 따라 신호가 생성되어 수신되는 과정은 중복하여 설명하지 않아도 상술한 과정에 대한 설명이 포함된 것으로 한다. 또한, 프로세서(1060)가 디바이스 또는 디바이스에 포함된 적어도 하나의 유닛을 제어한다고 표현할 수 있으며, 프로세서(1060)와 디바이스를 동일시하여 설명할 수 있다.
한편, 도 1에 도시된 디바이스는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 유닛들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 디바이스의 유닛들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 또한, 각 유닛들은 기능을 수행하기 위해 디바이스에 장착된 적어도 하나의 센서 중 동일한 센서를 중복하여 사용할 수 있다.
도 2는 일 실시예에 따라, 인물이 마지막으로 인식된 날로부터 현재 인식된 날까지의 기간(term)에 따라 디스플레이 되는 인물 정보량을 제어하는 디바이스를 도시한 도면이다.
상술한 바와 같이, 디바이스(2030)는 디바이스(2030) 전방의 인물(2020)을 인식하여, 인식한 인물(2020)에 대응하는 인물 정보를 디스플레이할 수 있다. 보다 상세하게는, 디바이스(2030)는 카메라 유닛을 통해 디바이스(2030) 전방의 인물(2020)을 인식하고, 커뮤니케이션 유닛을 통해 인식한 인물(2020)에 대응하는 데이터를 수신할 수 있다. 이때, 디바이스(2030)는 수신한 데이터로부터, 해당 인물(2020)에 대한 인물 정보 및 해당 인물(2020)이 마지막으로 인식된 날로부터 현재 인식된 날까지의 기간(이하 ‘인식 기간’이라 지칭하기로 한다.)에 대한 기간 정보를 획득할 수 있다. 여기서, 인식 기간은 인물(2020)이 마지막으로 인식된 날짜로부터 현재 인식된 날짜까지의 일수(number of days), 또는 인물(2020)이 마지막으로 인식된 시각으로부터 현재 인식된 시각까지의 시간(time interval)을 포함할 수 있다.
디바이스(2030)는 이렇게 획득한 인물 정보를 인식 기간에 따라 디스플레이할 수 있다. 다시 말하면, 디바이스(2030)는 디스플레이 되는 인물 정보의 양을 인식 기간에 따라 제어할 수 있다. 디바이스(2030)는 인식 기간이 짧을수록 디스플레이하는 인물 정보량을 줄이고, 인식 기간이 길수록 디스플레이하는 인물 정보량을 늘릴 수 있다.
예를 들어, 도면에 도시한 바와 같이, 디바이스(2030)는 동일한 인물(2020)의 얼굴을 인식하더라도, 인식 기간에 따라 정보의 양을 다르게하여 디스플레이할 수 있다. 보다 상세하게는, 디바이스(2030)는 인식 기간이 3일인 경우에, 인식 기간이 한 달인 경우보다 인물 정보의 카테고리 개수를 더 적게 하여 디스플레이할 수 있다. 디바이스(2030)는 인식 기간이 3일인 경우에는 이름 정보 및 나이 정보를 포함한 인물 정보(2010-1)를 디스플레이하는데 반해, 인식 기간이 한 달인 경우에는 이름 정보, 나이 정보, 회사 정보 및 연락처 정보를 포함한 인물 정보(2010-2)를 디스플레이할 수 있다.
인식 기간이 짧다는 것은 유저가 해당 인물(2020)을 최근 마주친 바 있음을 나타내며, 이러한 경우 유저는 해당 인물(2020)에 대한 인물 정보를 이미 인식하고 있을 확률이 높아, 해당 인물(2020)에 대한 많은 정보를 제공할 필요가 없다. 따라서, 디바이스(2030)는, 상술한 바와 같이, 인식 기간이 짧을수록 디스플레이 되는 인물 정보의 양을 줄임으로써 필요한 정보를 선별적으로 유저에게 제공할 수 있다.
한편, 디바이스(2030)가 인물 정보를 디스플레이하는 경우, 디바이스는 인물 정보(2010-1, 2010-2)를 인식한 인물(2020) 근처에 디스플레이할 수 있다.
상술한 바에 기초하여, 다른 실시예로서, 디바이스(2030)는 인물(2020)이 인식된 빈도에 따라서도 디스플레이되는 인물 정보의 양을 제어할 수 있다. 본 명세서에서 인식된 빈도란, 기설정된 기간 동안 인물(2020)이 인식된 횟수(이하에서 ‘인식 빈도’라 지칭하기로 한다.)를 나타낼 수 있다. 인식 빈도 역시, 인식 기간과 마찬가지로 인물(2020)에 대한 데이터로부터 획득될 수 있다. 디바이스(2030)는 인식 빈도가 낮을수록 디스플레이되는 인물 정보량을 줄이고, 인식 빈도가 높을수록 디스플레이되는 인물 정보량을 늘릴 수 있다. 인식 빈도가 높음은 유저가 자주 마주치는 인물(2020)임을 나타내므로, 이 경우 역시 유저가 해당 인물(2020)에 대한 인물 정보를 이미 인식하고 있을 확률이 높기 때문이다. 인물 정보량은 디스플레이된 인물 정보의 텍스트 크기, 양, 스크롤 속도, 카테고리 개수 및 이미지의 크기 중 적어도 하나를 조절함으로써 제어할 수 있음은 앞서 상술한 바와 같다.
그러나, 만일 인식된 인물(2020)에 대응하는 데이터가 없는 경우, 디바이스(2030)는 해당 인물(2020)에 대한 정보가 없음을 알리는 노티피케이션을 제공할 수 있다. 노티피케이션은 시각적, 청각적, 촉각적 노티피케이션을 포함할 수 있다. 예를 들어, 노티피케이션이 시각적 노티피케이션인 경우, 디바이스(2030)는 “현재 인식된 인물과 대응하는 정보가 없습니다.”라는 알림 메시지를 디스플레이할 수 있다. 이때, 디바이스(2030)는 이하에서 후술할 바와 같이, 인물(2020)이 인식된 현재 상황에 대한 정보를 인물 정보에 업데이트할 수 있다.
본 명세서의 디바이스(2030)는 카메라 유닛을 통해 인물(2020)을 인식하면, 해당 인물(2020)을 인식한 현재 상황에 대한 정보를 인물 정보에 업데이트할 수 있다. 여기서, 현재 상황에 대한 정보란, 인물(2020)이 인식된 시점에서의 주변 상황에 대한 정보를 나타낼 수 있다. 예를 들어, 현재 상황에 대한 정보는 인물(2020)이 인식된 날짜, 시각, 요일, 날씨 및 장소에 관한 정보 중 적어도 하나를 포함할 수 있다. 디바이스(2030)는 인물(2020)이 인식될때마다 이러한 현재 상황에 대한 정보를 인물 정보에 실시간으로 업데이트하여, 유저에게 보다 정확한 인물 정보를 제공할 수 있다.
도 3은 일 실시예에 따라, 디바이스와 인물 사이의 거리에 따라 디스플레이 되는 인물 정보량을 제어하는 디바이스를 도시한 도면이다.
디바이스(3010)는 거리 측정 유닛을 이용하여 디바이스(3010)와 인물(3040) 사이의 거리를 측정할 수 있다. 보다 상세하게는, 디바이스(3010)는 거리 측정 유닛을 이용하여, 카메라 유닛(3020)을 통해 인식된 인물(3040)과 디바이스(3010) 사이의 거리를 측정할 수 있다. 디바이스(3010)는 이렇게 측정한 거리에 따라 디스플레이하는 인물 정보량을 제어할 수 있다. 보다 상세하게는, 디바이스(3010)는 디바이스(3010)와 인물(3040) 사이의 거리가 가까워질수록 디스플레이하는 정보량을 줄이고, 거리가 멀어질수록 디스플레이하는 정보량을 늘릴 수 있다.
예를 들어, 도면에 도시한 바와 같이, 인물(3040)이 디바이스(3010)와 d1 거리만큼 떨어져 있는 경우, 디바이스(3010)는 7가지의 인물 정보 카테고리(3030-1)를 디스플레이할 수 있다. 만일, 인물(3040)이 이동하여 디바이스(3010)와의 거리가 d1에서 d2로 가까워진 경우, 디바이스(3010)는 7가지의 카테고리(3030-1)에서 4가지의 카테고리(3030-2)로 인물 정보의 양을 줄여서 디스플레이할 수 있다.
디바이스(3010)와 인물(3040) 사이의 거리가 가까운 경우에도 많은 양의 인물 정보를 디스플레이하게 되면, 유저의 시야를 방해할 뿐만 아니라 주의를 분산시켜 상대방과의 대화를 방해할 수 있다. 따라서, 인물(3040)이 유저와 멀리 떨어져 있는 경우에 보다 많은 정보를 디스플레이하여 상대방이 가까워지기 전, 유저로 하여금 미리 인물 정보를 파악하게 할 수 있다.
또한, 디바이스(3010)가 거리에 따라 카테고리의 개수를 조절하는 경우, 디바이스(3010)는 각 카테고리를 페이드-아웃 또는 페이드-인할 수 있다. 예를 들어, 디바이스(3010)는 디바이스(3010)와 인물(3040) 사이의 거리가 가까워짐에 따라 각 카테고리를 차례로 페이드-아웃할 수 있다. 또는, 디바이스(3010)는 디바이스(3010)와 인물(3040) 사이의 거리가 멀어짐에 따라 각 카테고리를 차례로 페이드-인할 수 있다. 이때, 페이드-아웃 또는 페이드-인되는 순서는 카테고리의 우선 순위, 유저의 설정, 디바이스의 설계에 따라 다양하게 결정될 수 있다.
특히, 카테고리를 페이드-아웃하는 이유는, 디스플레이 중이던 카테고리가 갑자기 사라지게 되면 유저에게 혼란을 줄 수 있기 때문이다. 따라서, 거리에 따라 각 카테고리를 갑자기 디스플레이하지 않는 게 아니라, 페이드-아웃함으로써 유저에게 미리 사라질 카테고리임을 알려 유저의 혼란을 방지할 수 있다. 이때, 유저는 페이드-아웃되어 가는 정보를 미리 읽어둠으로써 필요한 정보를 효과적으로 획득할 수 있다.
또한, 디바이스(3010)는 도 2와 관련하여 상술한 바와 마찬가지로 인식된 인물(3040)에 대응하는 데이터가 없는 경우, 해당 인물(3040)에 대한 정보가 없음을 알리는 노티피케이션을 제공할 수 있다. 또한, 카메라 유닛(3020)을 통해 인물(3040)을 인식하면, 디바이스(3010)는 해당 인물(3040)을 인식한 현재 상황에 대한 정보를 인물 정보에 업데이트할 수 있으며, 이 역시 도 2와 관련하여 상술한 바와 같다.
한편, 상술한 도 2 및 도 3과 관련하여, 디바이스(2030, 3010)가 카테고리의 개수를 조절하여 인물 정보의 양을 제어하는 경우, 디바이스(2030, 3010)는 각 카테고리의 우선 순위에 따라 카테고리의 개수를 조절할 수 있다. 여기서 카테고리란, 인물 정보에 포함되어 있는 서브 정보를 나타낼 수 있다.
디바이스(2030, 3010)는 디바이스(2030, 3010)의 설계, 디자인, 용도, 기술, 실행 중인 어플리케이션의 종류, 현재 위치, 인식된 인물, 유저에 따라 각 카테고리의 우선 순위를 결정할 수 있다.
각 카테고리의 우선 순위가 결정되면, 디바이스(2030, 3010)는 인물(2020, 3040)과의 거리가 가까워지거나 인식 기간이 짧을수록 우선 순위가 낮은 카테고리부터 차례로 각 카테고리를 디스플레이하지 않을 수 있다. 예를 들어, 인물(2020, 3040)의 이름 정보 카테고리가 이메일 정보 카테고리보다 우선 순위가 높은 경우, 디바이스(2030, 3010)는 인물(2020, 3040)과의 거리가 가까워짐에 따라 이메일 정보 → 이름 정보 순으로 각 카테고리를 디스플레이하지 않을 수 있다. 또는, 디바이스(2030, 3010)는 인식 기간이 짧아짐에 따라 이메일 정보 → 이름 정보 순으로 각 카테고리를 디스플레이하지 않을 수 있다. 이는, 유저에게 중요하고 필수적인 정보를 선별적으로 제공하여, 정보 제공의 효율을 높이고자 함이 그 목적이다. 이는, 도 4와 관련하여 이하에서 후술할 실시예에도 동일하게 적용될 수 있다.
도 4는 일 실시예에 따라, 인물의 인식 기간이 스레스홀드 기간 이상인지 미만인지에 따라 인물 정보의 디스플레이를 제어하는 디바이스를 도시한 도면이다.
도 2와 관련하여 상술한 바와 같이, 디바이스(4010)는 인식 기간에 따라 디스플레이되는 인물 정보의 양을 제어할 수 있다. 본 실시예의 디바이스(4010) 역시 인식 기간에 따라 인물 정보의 양을 제어할 수 있다. 다만, 본 실시예의 디바이스(4010)는 스레스홀드 기간(T)을 지정하여 인식 기간이 스레스홀드 기간(T) 미만인 경우에 인물 정보(4040)를 디스플레이하지 않음으로써 인물 정보의 양을 제어할 수 있다.
예를 들어, 스레스홀드 기간(T)이 일주일로 지정된 경우, 디바이스(4010)는 인식 기간이 하루(T2)인 인물(4030)에 대해서는 인물 정보(4040)를 디스플레이하지 않을 수 있다. 반대로, 디바이스(4010)는 인식 기간이 한 달(T1)인 인물에 대해서는 해당 인물(4020)에 대한 인물 정보(4040)를 디스플레이할 수 있다. 인식된 인물이 매일 마주치는 직장 동료나 같이 살고 있는 가족인 경우, 이들에 대한 인물 정보(4040)는 유저가 이미 알고 있는 정보일 확률이 높기 때문이다. 나아가, 불필요한 정보의 디스플레이는 유저의 시야를 방해할 수 있다. 따라서, 본 실시예의 디바이스(4010)는 스레스홀드 기간(T)을 지정하여, 인식 기간이 스레스홀드 기간(T) 미만인 경우에는 인물 정보(4040)를 디스플레이하지 않도록 함으로써, 필요한 정보만을 선별적으로 제공할 수 있다.
상술한 점을 고려해볼 때, 이는 도 2와 관련하여 상술한, 인식 빈도에 따라 정보량을 제어하는 디바이스(4010)의 실시예에도 적용 가능하다. 예를 들어, 디바이스(4010)는 인물의 인식 빈도가 스레스홀드 빈도 미만인 경우에만 인물 정보(4040)를 디스플레이할 수 있다. 또한, 이는 도 3과 관련하여 상술한, 디바이스(4010)와 인물 사이의 거리에 따라 정보량을 제어하는 디바이스(4010)의 실시예에도 적용 가능하다. 예를 들어, 디바이스(4010)는 디바이스(4010)와 인물 사이의 거리가 스레스홀드 거리 이상인 경우에만 인물 정보(4040)를 디스플레이할 수 있다.
한편, 도면에는 도시하지 않았으나, 디바이스(4010)는 상술한 도 2 내지 도 4의 조합으로서, 인물의 인식 기간, 인식 빈도 및 인물과 디바이스(4010) 사이의 거리에 따라 인물 정보량을 제어할 수 있다.
도 2 내지 도 4와 관련하여 상술한 바와 같이, 디바이스(4010)는 인물의 인식 기간, 인식 빈도 및 인물과 디바이스(4010) 사이의 거리 중 어느 하나에 따라 인물 정보량을 제어할 수 있다. 그러나, 본 실시예의 디바이스(4010)는 인물의 인식 기간, 인식 빈도 및 인물과 디바이스(4010) 사이의 거리의 조합에 따라 인물 정보량을 제어할 수 있다.
일 실시예로서, 디바이스(4010)는 인식 기간을 디바이스(4010)와 인물 사이의 거리보다 우선적으로 고려하여 디스플레이 할 인물 정보의 양을 결정할 수 있다. 예를 들어, 디바이스(4010)는 우선, 인식된 인물의 인식 기간이 스레스홀드 기간 미만인지 여부를 판단할 수 있다. 만일, 인식 기간이 스레스홀드 기간 미만인 경우, 디바이스(4010)는 디바이스(4010)와 인물 사이의 거리와 무관하게 인물 정보(4040)를 디스플레이하지 않을 수 있다. 그러나, 인식 기간이 스레스홀드 기간 이상인 경우, 디바이스(4010)는 인식 기간 및 디바이스(4010)와 인물 사이의 거리에 따라 인물 정보(4040)를 디스플레이할 수 있다. 이 경우, 디바이스(4010)는 커뮤니케이션 유닛을 통해 수신한 인물 데이터로부터 인물 정보(4040)와 함께 인식 기간에 관한 정보를 함께 획득할 수 있다.
같은 맥락으로, 디바이스(4010)는 디바이스(4010) 및 인물 사이의 거리를 인식 기간보다 우선적으로 고려하여 인물 정보량을 제어할 수 있다. 예를 들어, 디바이스(4010)는 우선, 인물과의 거리가 스레스홀드 거리 미만인지 판단할 수 있다. 만일, 거리가 스레스홀드 거리 미만인 경우, 디바이스(4010)는 인식 기간과 무관하게 인물 정보(4040)를 디스플레이하지 않을 수 있다. 그러나, 거리가 스레스홀드 거리 이상인 경우, 디바이스(4010)는 인물과의 거리 및 인식 기간에 따라 인물 정보(4040)를 디스플레이할 수 있다. 이때, 디바이스(4010)는 거리 측정 유닛을 통해 디바이스(4010)와 인물 사이의 거리를 획득할 수 있다.
이는, 인식 빈도에 따라 인물 정보량을 제어하는 디바이스(4010)에도 유사하게 적용될 수 있으며, 이때 디바이스(4010)는 인식 빈도가 스레스홀드 빈도 초과인지를 우선적으로 판단하여, 인식 빈도가 스레스홀드 빈도 초과인 경우, 인물 정보를 디스플레이하지 않을 수 있다. 또한, 인식 빈도가 스레스홀드 빈도 이하인 경우, 디바이스는 인식 빈도 및 인물과의 거리에 따라 인물 정보(4040)를 디스플레이할 수 있다. 또는, 디바이스는 인식 빈도 및 인식 기간에 따라 인물 정보(4040)를 디스플레이할 수 있다.
도 5는 일 실시예에 따라, 인물이 인식된 시점의 위치에 따라 디스플레이하는 인물 정보를 제어하는 디바이스를 도시한 도면이다.
디바이스(5010)는 인물(5030)을 인식한 때의 디바이스(5010) 위치에 따라 디스플레이하는 인물 정보를 제어할 수 있다. 보다 상세하게는, 디바이스(5010)는 인물(5030)을 인식한 위치에 따라 디스플레이하는 인물 정보의 카테고리를 결정할 수 있다. 이는, 유저가 인물(5030)을 만난 위치에 따라 필요로 하는 정보는 달라질 수 있기 때문이며, 위치에 따라 적절한 정보를 선별하여 유저에게 제공하기 위함이다.
예를 들어, 디바이스(5010)는 동일한 인물(5030)을 회사에서 마주친 경우와 길거리에서 마주친 경우에 서로 다른 카테고리 정보를 디스플레이할 수 있다. 보다 상세하게는, 인물(5030)을 마주친 위치가 회사인 경우, 디바이스(5010)는 인식한 인물(5030)의 이름 정보, 직책(position) 정보, 팀 정보, 방 번호 정보 등과 같이 회사 생활과 관련된 정보(5020)를 디스플레이할 수 있다. 반면, 인물(5030)을 마주친 위치가 길거리인 경우, 디바이스(5010)는 인식한 인물(5030)의 이름 정보, 나이 정보, 핸드폰 번호 정보, 이메일 정보 등과 같이 사생활과 관련된 정보(5040)를 디스플레이할 수 있다. 이렇듯, 디바이스(5010)는 위치에 따라 디스플레이하는 정보를 다르게 하여, 상황에 적합하고 유용한 정보를 유저에게 적절히 제공할 수 있다.
디바이스(5010)는 위치 획득 유닛을 이용하여 인물(5030)이 인식된 시점에서의 위치를 획득할 수 있으며, 이에 관한 보다 상세한 설명은 도 1과 관련하여 상술한 바와 같다.
한편, 위치에 따라 디스플레이하는 카테고리가 달라짐에 따라 도 3과 관련하여 상술하였던 카테고리의 우선 순위 역시 달라질 수 있다. 또한 본 실시예 역시, 도 2 내지 도 4와 관련하여 상술한 실시예들과 조합되어 실시될 수 있으며, 당업자가 용인하는 범위 내에서의 변경이 가능하다.
도 6은 일 실시예에 따라, 인물의 움직이는 속도에 따라 인물 정보를 제공하는 속도를 제어하는 디바이스를 도시한 도면이다. 본 실시예의 디바이스(6010)는 인물(6020)의 이동 속도를 측정하는 속도 측정 유닛을 구비할 수 있다.
본 실시예에서 디바이스(6010)는 인물(6020)의 이동 속도에 따라 인물 정보를 제공할 수 있다. 보다 상세하게는, 디바이스(6010)는 인물(6020)의 이동 속도에 대응하여 인물 정보를 제공하는 속도를 제어할 수 있다. 이를 위해, 디바이스(6010)는 속도 측정 유닛을 이용하여 이동하는 인물(6020)의 속도를 측정할 수 있다. 속도 측정 유닛은 디바이스(6010)에 구비된 적어도 하나의 센싱 수단을 사용하여 이동하는 인물(6020)의 속도를 측정할 수 있다. 여기서 적어도 하나의 센싱 수단은, 근접 센서, 카메라 센서, 속도 측정 센서, 뎁스 센서, 모션 센서 등 인물(6020)의 이동 속도를 측정할 수 있는 다양한 센싱 수단을 나타낼 수 있다. 속도 측정 유닛은 상술한 다양한 센싱 수단을 통칭하는 것으로, 상술한 센서들은 별도의 엘리먼트로 디바이스에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다. 나아가, 속도 측정 유닛은 측정 결과를 프로세서에 전달할 수 있다.
다음으로, 디바이스(6010)는 속도 측정 유닛을 이용하여 측정한 속도에 따라, 인물 정보를 제공하는 속도를 제어할 수 있다. 일 실시예로서, 디바이스(6010)는 인물(6020)의 이동 속도에 따라 인물 정보의 스크롤 속도를 제어할 수 있다. 예를 들어, 인물(6020)의 이동 속도가 V1’인 경우, 디바이스(6010)는 스크롤 속도를 V1으로 하여 인물 정보를 제공할 수 있다. 나아가, 인물(6020)의 이동 속도가 V1’에서 V2’로 빨라진 경우, 디바이스(6010)는 스크롤 속도 역시 V1에서 V2로 빠르게 하여 인물 정보를 제공할 수 있다. 이외에도, 인물 정보의 제공 속도는 페이징 넘김 속도, 페이드-인/아웃 속도, 네비게이팅 속도, 확대/축소 속도를 조절함으로써 제어 가능하다.
도 7은 본 명세서의 실시예에 따른 디바이스의 제어 방법을 나타낸 순서도이다. 본 순서도에서 도 1 내지 도 6과 관련하여 상술한 설명과 유사하거나 중복되는 부분에 관한 상세한 설명은 생략하기로 한다.
우선, 디바이스는 디바이스 전방의 이미지를 촬영(capture)할 수 있다(S7010). 보다 상세하게는, 카메라 유닛을 사용하여 디바이스 전방의 이미지를 촬영할 수 있다.
다음으로, 디바이스는 전 단계에서 촬영한 이미지로부터 인물의 얼굴을 인식할 수 있다(S7020). 다만, 인식 대상은 인물의 얼굴에 한정되지 않으며, 사람의 동공, 홍채와 같이 인물을 식별할 수 있는 이미지라면 모두 인식 대상이 될 수 있다.
다음으로, 디바이스는 인식된 얼굴에 대응하는 데이터를 수신할 수 있다(S7030). 이때, 디바이스는 커뮤니케이션 유닛을 사용하여 인식된 얼굴에 대응하는 데이터를 수신할 수 있다.
다음으로, 디바이스는 전 단계에서 수신한 데이터로부터 인식된 얼굴에 대응하는 인물 정보 및 기간 정보를 획득할 수 있다(S7040). 여기서 인물 정보란, 인물에 관한 신상 정보를 나타내며, 인물의 이름 정보, 나이 정보, 직업 정보, 주소 정보, 회사 정보, 연락처 정보, 이메일 정보, 취미 정보, 최근에 만난 날에 관한 정보 등 인물에 대한 다양한 정보를 포함할 수 있다. 또한, 기간 정보란, 인물이 마지막으로 인식된 날로부터 현재 인식된 날까지의 기간에 관한 정보를 나타낸다. 실시예에 따라서는 기간 정보 대신, 인식 빈도에 관한 정보를 획득할 수 있으며, 이는 도 4와 관련하여 상술한 바와 같다.
다음으로, 디바이스는 획득한 기간 정보를 바탕으로, 인식 기간이 제 1 기간 미만인지 판단할 수 있다(S7050). 여기서 제 1 기간은 스레스홀드 기간으로서 인물 정보를 디스플레이하기 위한 기준을 나타낼 수 있다.
만일, 인식 기간이 제 1 기간 미만인 경우, 디바이스는 해당 인물에 대한 인물 정보를 디스플레이하지 않을 수 있다(S7060). 제 1 기간 미만으로 인식된 인물의 경우, 해당 인물에 대한 인물 정보를 유저가 이미 알고 있을 확률이 높고, 이러한 인물에 대한 인물 정보는 불필요한 정보로서, 디스플레이되는 경우 오히려 유저의 시야를 방해할 수 있기 때문이다. 스레스홀드 기간은 디바이스의 설계, 용도, 유저에 따라 다양하게 설정될 수 있다.
그러나, 인식 기간이 제 1 기간 이상인 경우, 디바이스는 해당 인물에 대한 인물 정보를 디스플레이할 수 있다(S7070). 이때, 디바이스는 인식 기간 및 디바이스와 인물 사이의 거리에 따라 인물 정보의 양을 제어하여 디스플레이할 수 있다. 보다 상세하게는, 디바이스는 인식 기간이 짧을 수록, 인물과의 사이가 멀수록 디스플레이하는 인물 정보의 양을 늘릴 수 있다. 또는, 디바이스는 인식 기간이 길수록, 인물과의 사이가 가까울수록 디스플레이하는 인물 정보의 양을 줄일 수 있다. 이에 관한 보다 상세한 설명은 도 2 내지 도 4와 관련하여 상술한 바와 같다. 나아가, 디바이스는 인물의 인식 빈도에 따라서도 인물 정보량을 제어할 수 있는데, 이는 도 2와 관련하여 상술한 바와 같다.
나아가, 본 순서도에 도시하진 않았으나, 디바이스는 인물이 인식된 시점의 현 위치에 따라서 디스플레이 되는 인물 정보의 카테고리를 변경할 수 있다. 이는, 인물이 인식된 시점의 현 위치에 따라 필요로 하는 정보가 달라질 수 있기 때문이며, 이에 관한 보다 상세한 설명은 도 5와 관련하여 상술한 바와 같다. 또한, 디바이스는 인물의 이동 속도에 따라 인물 정보를 제공하는 속도를 제어할 수 있는데, 이는 도 6과 관련하여 상술한 바와 같다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 권리범위에 속한다.
또한, 디바이스 및 그의 제어 방법은 상술한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
또한, 본 명세서의 디바이스 및 제어 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 본 명세서에서의 기간, 속도 및 거리는 정확한 값을 의미할 뿐 아니라, 일정 범위의 실질적인 기간, 속도 및 거리를 포함하는 것으로 볼 수 있다. 즉, 본 명세서의 기간, 속도 및 거리는 실질적인 기간, 속도 및 거리를 나타낼 수 있고, 일정 범위의 오차가 존재할 수 있다.
또한, 본 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.
4010: HMD 디바이스
4020, 4030: 인식된 인물
4040: 인물 정보

Claims (20)

  1. HMD(Head Mounted Display) 디바이스에 있어서,
    상기 HMD 디바이스 전방의 이미지를 촬영(capture)하는 카메라 유닛;
    상기 HMD 디바이스와 상기 촬영한 이미지에 포함된 인물 사이의 거리를 측정하는 거리 측정 유닛;
    데이터를 송신 및 수신하는 커뮤니케이션 유닛;
    상기 데이터로부터 획득한 정보를 디스플레이하는 디스플레이 유닛; 및
    상기 카메라 유닛, 상기 거리 측정 유닛, 상기 커뮤니케이션 유닛 및 상기 디스플레이 유닛을 제어하는, 프로세서; 를 포함하고,
    상기 프로세서는,
    상기 촬영한 이미지로부터 상기 인물의 얼굴을 인식하고,
    상기 인식한 얼굴에 대응하는 데이터를 수신하여, 상기 수신한 데이터로부터 상기 인식한 얼굴에 대응하는 인물 정보(a personal information) 및 상기 얼굴을 마지막으로 인식된 날로부터 현재 인식한 날까지의 기간(term)에 대한 정보를 획득하고,
    상기 획득한 기간(term)이 제 1 스레스홀드 기간 미만인 경우 상기 인물 정보를 디스플레이하지 않고,
    상기 획득한 기간이 상기 제 1 스레스홀드 기간 이상인 경우 상기 인물 정보를 디스플레이하되, 상기 인물과 상기 HMD 디바이스와의 거리 및 상기 획득한 기간에 따라 상기 디스플레이 될 상기 인물 정보의 양(an amount of the personal information to be displayed)을 제어하고,
    상기 프로세서는
    상기 인물 정보에서 디스플레이되는 카테고리의 개수를 조절함으로써 인물 정보의 양을 제어하는, HMD 디바이스.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 거리가 가까워질수록 상기 인물 정보량(the amount of the personal information)을 줄이고, 상기 거리가 멀어질수록 상기 인물 정보량을 늘리는, HMD 디바이스.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 획득한 기간이 짧을수록 상기 인물 정보량을 줄이고, 상기 획득한 기간이 길수록 상기 인물 정보량을 늘리는, HMD 디바이스.
  4. 제 1 항에 있어서,
    상기 획득한 기간은, 상기 얼굴이 마지막으로 인식된 시각(time)으로부터 현재 인식된 시각까지의 시간(time interval)을 포함하는, HMD 디바이스.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 인물 정보량을 텍스트의 크기, 양, 스크롤 속도, 카테고리의 개수 및 이미지의 크기 중 적어도 하나를 조절(adjust)함으로써 제어(control)하는, HMD 디바이스.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 수신한 데이터로부터 제 2 스레스홀드 기간 동안 상기 얼굴이 인식된 횟수에 대한 정보를 획득하고, 상기 횟수에 따라 상기 인물 정보량을 제어하는, HMD 디바이스.
  7. 제 6 항에 있어서,
    상기 프로세서는,
    상기 횟수가 높을수록 상기 인물 정보량을 줄이고, 상기 횟수가 낮을수록 상기 인물 정보량을 늘리는, HMD 디바이스.
  8. 제 6 항에 있어서,
    상기 프로세서는,
    상기 횟수가 기설정된 횟수 초과인 경우, 상기 인물 정보를 디스플레이하지 않는, HMD 디바이스.
  9. 제 1 항에 있어서,
    상기 인물 정보는, 상기 인식된 얼굴에 대응하는 인물의 이름 정보, 나이 정보, 주소 정보, 회사 정보, 직책 정보, 연락처 정보 및 최근 만난 날짜 정보 중 적어도 하나를 포함하는 정보인, HMD 디바이스.
  10. 제 1 항에 있어서,
    상기 HMD 디바이스의 위치 정보를 획득하는 위치 획득 유닛; 을 더 포함하는, HMD 디바이스.
  11. 제 10 항에 있어서,
    상기 프로세서는,
    상기 획득한 위치 정보에 따라 상기 디스플레이 될 상기 인물 정보의 카테고리를 결정하는, HMD 디바이스.
  12. 제 1 항에 있어서,
    상기 프로세서는,
    상기 인물 정보를 디스플레이하는 경우, 상기 인물 정보를 상기 인식된 얼굴 근처에 디스플레이하는, HMD 디바이스.
  13. 제 1 항에 있어서,
    상기 프로세서는,
    상기 촬영한 상기 HMD 디바이스 전방의 이미지로부터 동공을 인식하고,
    상기 인식된 동공에 대응하는 데이터를 수신하여, 상기 수신된 데이터로부터 상기 인식된 동공에 대응하는 인물 정보(a personal information) 및 상기 동공이 마지막으로 인식된 날로부터 현재 인식된 날까지의 기간(term) 정보를 획득하고,
    상기 획득한 기간(term)이 상기 제 1 스레스홀드 기간 미만인 경우 상기 인물 정보를 디스플레이하지 않고,
    상기 획득한 기간이 상기 제 1 스레스홀드 기간 이상인 경우 상기 인물 정보를 디스플레이하되, 상기 디스플레이 될 상기 인물 정보의 양(an amount of the personal information to be displayed)은 상기 HMD 디바이스와 상기 인식된 동공 사이의 거리 및 상기 획득한 기간(term)에 따라 제어하는, HMD 디바이스.
  14. 제 1 항에 있어서,
    상기 프로세서는,
    상기 촬영한 상기 HMD 디바이스 전방의 이미지로부터 상기 얼굴을 인식한 경우 상기 얼굴이 인식된 현재 상황에 대한 정보를 업데이트하는, HMD 디바이스.
  15. 제 14 항에 있어서,
    상기 현재 상황에 대한 정보는, 상기 얼굴이 인식된 날짜, 시각 및 장소에 관한 정보 중 적어도 하나를 포함하는, HMD 디바이스.
  16. 제 1 항에 있어서,
    상기 프로세서는,
    상기 인식된 얼굴에 대응하는 인물 정보가 없는 경우, 상기 인물 정보가 없음을 알리는 노티피케이션을 제공하는, HMD 디바이스.
  17. 제 1 항에 있어서,
    상기 프로세서는,
    상기 거리 및 상기 획득한 기간에 따라 상기 정보의 양을 제어하는 경우,
    상기 인물 정보에 포함되어 있는 복수의 카테고리의 우선 순위(priority)에 따라 상기 정보의 양을 제어하는, HMD 디바이스.
  18. HMD 디바이스를 제어하는 방법에 있어서,
    상기 HMD 디바이스 전방의 이미지를 촬영하는 단계;
    상기 촬영한 이미지에 포함된 인물의 얼굴을 인식하는 단계;
    상기 인식된 얼굴에 대응하는 데이터를 수신하는 단계; 및
    상기 수신된 데이터로부터 상기 인식된 얼굴에 대응하는 인물 정보 및 상기 얼굴이 마지막으로 인식된 날로부터 현재 인식된 날까지의 기간(term) 정보를 획득(obtain)하는 단계; 및
    상기 획득한 기간(term)이 제 1 스레스홀드 기간 미만인 경우 상기 인물 정보를 디스플레이하지 않고,
    상기 획득한 기간이 상기 제 1 스레스홀드 기간 이상인 경우 상기 인물 정보를 디스플레이하는 단계; 로서,
    상기 디스플레이 될 상기 인물 정보의 양(an amount of the personal information to be displayed)은 상기 인물과 상기 HMD 디바이스와의 거리 및 상기 획득한 기간(term)에 따라 카테고리의 개수가 조절됨으로써 제어되는, HMD 디바이스의 제어 방법.
  19. 제 18 항에 있어서,
    상기 인물 정보를 디스플레이하는 단계는,
    상기 거리가 가까워질수록 상기 인물 정보량(the amount of the personal information)을 줄이고, 상기 거리가 멀어질수록 상기 인물 정보량을 늘리는 단계; 인, HMD 디바이스의 제어 방법.
  20. 제 18 항에 있어서,
    상기 인물 정보를 디스플레이하는 단계는,
    상기 획득한 기간이 짧을수록 상기 인물 정보량을 줄이고, 상기 획득한 기간이 길수록 상기 인물 정보량을 늘리는 단계; 인, HMD 디바이스의 제어 방법.
KR1020130105028A 2013-09-02 2013-09-02 헤드 마운트 디스플레이 디바이스 및 그 제어 방법 KR102108066B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020130105028A KR102108066B1 (ko) 2013-09-02 2013-09-02 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
US14/068,522 US8878750B1 (en) 2013-09-02 2013-10-31 Head mount display device and method for controlling the same
CN201380079288.XA CN105518515B (zh) 2013-09-02 2013-11-05 头戴式显示设备及其控制方法
EP13892589.6A EP3042236B1 (en) 2013-09-02 2013-11-05 Head mount display device and method for controlling the same
PCT/KR2013/009939 WO2015030299A1 (en) 2013-09-02 2013-11-05 Head mount display device and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130105028A KR102108066B1 (ko) 2013-09-02 2013-09-02 헤드 마운트 디스플레이 디바이스 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20150026327A KR20150026327A (ko) 2015-03-11
KR102108066B1 true KR102108066B1 (ko) 2020-05-08

Family

ID=51798203

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130105028A KR102108066B1 (ko) 2013-09-02 2013-09-02 헤드 마운트 디스플레이 디바이스 및 그 제어 방법

Country Status (5)

Country Link
US (1) US8878750B1 (ko)
EP (1) EP3042236B1 (ko)
KR (1) KR102108066B1 (ko)
CN (1) CN105518515B (ko)
WO (1) WO2015030299A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140072651A (ko) * 2012-12-05 2014-06-13 엘지전자 주식회사 글래스타입 휴대용 단말기
KR20160005899A (ko) 2014-07-08 2016-01-18 엘지전자 주식회사 디지털 이미지 처리 장치, 시스템 및 제어 방법
US10389992B2 (en) * 2014-08-05 2019-08-20 Utherverse Digital Inc. Immersive display and method of operating immersive display for real-world object alert
CN104880835A (zh) * 2015-05-13 2015-09-02 浙江吉利控股集团有限公司 智能眼镜
WO2017007043A1 (ko) * 2015-07-07 2017-01-12 (주)에프엑스기어 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기
CN106095075B (zh) * 2016-05-31 2019-12-10 深圳市元征科技股份有限公司 一种信息处理方法及增强现实设备
EP3316080B1 (en) * 2016-10-26 2021-08-25 HTC Corporation Virtual reality interaction method, apparatus and system
US10853651B2 (en) 2016-10-26 2020-12-01 Htc Corporation Virtual reality interaction method, apparatus and system
US10768425B2 (en) * 2017-02-14 2020-09-08 Securiport Llc Augmented reality monitoring of border control systems
US10878240B2 (en) * 2017-06-19 2020-12-29 Honeywell International Inc. Augmented reality user interface on mobile device for presentation of information related to industrial process, control and automation system, or other system
US11080942B2 (en) * 2017-11-21 2021-08-03 Volvo Truck Corporation Assistance method for assisting performance of a task on a product, comprising displaying a highlighting image highlighting a monitored part of the product
CN108829368B (zh) * 2018-06-29 2021-07-16 联想(北京)有限公司 一种信息处理方法及电子设备
KR102559360B1 (ko) 2019-10-30 2023-07-26 케이엠텍 주식회사 미세먼지 차단 겸용 방충망 조립체
KR102094155B1 (ko) 2019-10-30 2020-03-30 케이엠텍(주) 미세먼지 차단 겸용 방충망 조립체
US11599717B2 (en) 2020-03-20 2023-03-07 Capital One Services, Llc Separately collecting and storing form contents
US20210405363A1 (en) * 2020-06-29 2021-12-30 Snap Inc. Augmented reality experiences using social distancing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010040986A1 (en) 2000-05-12 2001-11-15 Koninlijke Philips Electronics N.V. Memory aid
US20120026191A1 (en) 2010-07-05 2012-02-02 Sony Ericsson Mobile Communications Ab Method for displaying augmentation information in an augmented reality system
US20120044163A1 (en) 2010-08-23 2012-02-23 Lg Electronics Inc. Mobile terminal and method of controlling the same
US20130174213A1 (en) 2011-08-23 2013-07-04 James Liu Implicit sharing and privacy control through physical behaviors using sensor-rich devices

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2307877C (en) * 1997-10-30 2005-08-30 The Microoptical Corporation Eyeglass interface system
US6038333A (en) * 1998-03-16 2000-03-14 Hewlett-Packard Company Person identifier and management system
US6466232B1 (en) * 1998-12-18 2002-10-15 Tangis Corporation Method and system for controlling presentation of information to a user based on the user's condition
US6513046B1 (en) * 1999-12-15 2003-01-28 Tangis Corporation Storing and recalling information to augment human memories
US9183306B2 (en) * 1998-12-18 2015-11-10 Microsoft Technology Licensing, Llc Automated selection of appropriate information based on a computer user's context
US6791580B1 (en) * 1998-12-18 2004-09-14 Tangis Corporation Supplying notifications related to supply and consumption of user context data
US7464153B1 (en) * 2000-04-02 2008-12-09 Microsoft Corporation Generating and supplying user context data
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US7382405B2 (en) * 2001-12-03 2008-06-03 Nikon Corporation Electronic apparatus having a user identification function and user identification method
US20040151347A1 (en) * 2002-07-19 2004-08-05 Helena Wisniewski Face recognition system and method therefor
JP4314016B2 (ja) * 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
JP4656657B2 (ja) * 2006-07-31 2011-03-23 キヤノン株式会社 撮像装置及びその制御方法
US7751597B2 (en) * 2006-11-14 2010-07-06 Lctank Llc Apparatus and method for identifying a name corresponding to a face or voice using a database
WO2009002567A1 (en) * 2007-06-27 2008-12-31 The University Of Hawaii Virtual reality overlay
US20090074258A1 (en) * 2007-09-19 2009-03-19 James Cotgreave Systems and methods for facial recognition
CN101589327B (zh) * 2007-09-26 2012-09-26 松下电器产业株式会社 光束扫描式显示装置、显示方法以及集成电路
JP2009081699A (ja) 2007-09-26 2009-04-16 Toshiba Corp 電子機器および顔画像抽出制御方法
KR100893905B1 (ko) 2008-07-07 2009-04-21 주식회사 미래인식 생체인식을 이용한 출입관리 방법 및 시스템
US8121618B2 (en) * 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US20110153341A1 (en) * 2009-12-17 2011-06-23 General Electric Company Methods and systems for use of augmented reality to improve patient registration in medical practices
JP5329480B2 (ja) * 2010-05-18 2013-10-30 富士フイルム株式会社 ヘッドマウントディスプレイ装置
JP2011245591A (ja) 2010-05-27 2011-12-08 Kaneko Seisakusho:Kk エアークッションドライバー
US8434001B2 (en) * 2010-06-03 2013-04-30 Rhonda Enterprises, Llc Systems and methods for presenting a content summary of a media item to a user based on a position within the media item
KR101338818B1 (ko) * 2010-11-29 2013-12-06 주식회사 팬택 이동 단말기 및 이를 이용한 정보 표시 방법
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US20130203443A1 (en) * 2012-02-03 2013-08-08 Joshua Aaron Heater Providing information about a location to a mobile device based on the location of the mobile device
TW201401184A (zh) * 2012-06-18 2014-01-01 Altek Corp 智慧提示裝置及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010040986A1 (en) 2000-05-12 2001-11-15 Koninlijke Philips Electronics N.V. Memory aid
US20120026191A1 (en) 2010-07-05 2012-02-02 Sony Ericsson Mobile Communications Ab Method for displaying augmentation information in an augmented reality system
US20120044163A1 (en) 2010-08-23 2012-02-23 Lg Electronics Inc. Mobile terminal and method of controlling the same
US20130174213A1 (en) 2011-08-23 2013-07-04 James Liu Implicit sharing and privacy control through physical behaviors using sensor-rich devices

Also Published As

Publication number Publication date
EP3042236B1 (en) 2019-01-02
KR20150026327A (ko) 2015-03-11
CN105518515A (zh) 2016-04-20
WO2015030299A1 (en) 2015-03-05
CN105518515B (zh) 2018-11-13
EP3042236A4 (en) 2017-04-26
US8878750B1 (en) 2014-11-04
EP3042236A1 (en) 2016-07-13

Similar Documents

Publication Publication Date Title
KR102108066B1 (ko) 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
US9304320B2 (en) Head-mounted display and method of controlling the same
US8830142B1 (en) Head-mounted display and method of controlling the same
US9471101B2 (en) Wearable computing device and user interface method
US9571732B2 (en) Display device and method for controlling the same
EP3706015A1 (en) Method and device for displaying story album
KR102081933B1 (ko) 헤드 마운트 디스플레이 및 제어 방법
US20160037067A1 (en) Method for generating image and electronic device thereof
US9615229B2 (en) Method and apparatus for automatically creating message
US20150084850A1 (en) Head-mounted display and method of controlling the same
US9535250B2 (en) Head mounted display device and method for controlling the same
US9639986B2 (en) Head mounted display and method of controlling thereof
US20140313218A1 (en) Method and apparatus for controlling transparency in portable terminal having transparent display unit
JP6096654B2 (ja) 画像の記録方法、電子機器およびコンピュータ・プログラム
EP3069190B1 (en) Head mounted display and method of controlling therefor
KR20180108280A (ko) 포커스에 대한 그래픽 인디케이터를 제공하는 전자 장치와 이의 동작 방법
KR101672268B1 (ko) 전시공간 제어 시스템 및 전시공간 제어방법
US8786752B2 (en) Digital device and method for controlling the same
WO2016125541A1 (ja) 投影制御装置、制御プログラムおよび制御方法
US10122929B2 (en) Digital image processing device which creates and displays an augmented reality (AR) image
JPWO2016125542A1 (ja) 投影制御装置、制御プログラムおよび制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right