KR102160736B1 - 디스플레이 장치 및 디스플레이 장치의 표시 방법 - Google Patents

디스플레이 장치 및 디스플레이 장치의 표시 방법 Download PDF

Info

Publication number
KR102160736B1
KR102160736B1 KR1020140002824A KR20140002824A KR102160736B1 KR 102160736 B1 KR102160736 B1 KR 102160736B1 KR 1020140002824 A KR1020140002824 A KR 1020140002824A KR 20140002824 A KR20140002824 A KR 20140002824A KR 102160736 B1 KR102160736 B1 KR 102160736B1
Authority
KR
South Korea
Prior art keywords
command
identification information
input
display device
user
Prior art date
Application number
KR1020140002824A
Other languages
English (en)
Other versions
KR20150083267A (ko
Inventor
최현석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140002824A priority Critical patent/KR102160736B1/ko
Priority to US14/468,534 priority patent/US9563252B2/en
Priority to EP14197789.2A priority patent/EP2894866B1/en
Publication of KR20150083267A publication Critical patent/KR20150083267A/ko
Application granted granted Critical
Publication of KR102160736B1 publication Critical patent/KR102160736B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only

Abstract

디스플레이 장치의 표시방법이 개시된다. 본 표시 방법은, 제1 명령이 입력되면 사용자를 촬영하여 제1 인식정보를 생성하는 단계, 제1 인식정보와 제1 명령 입력시 현재 디스플레이되는 화면에 대한 정보를 매칭하여 디스플레이장치에 저장하는 단계, 제2 명령이 입력되면 사용자를 촬영하여 제2 인식정보를 생성하는 단계 및 제1 인식정보와 제2 인식정보를 비교하여, 제1 명령 수신시 저장된 화면에 대한 정보를 이용하여 소정 컨텐츠를 표시할지 여부를 판단하는 단계를 포함한다.

Description

디스플레이 장치 및 디스플레이 장치의 표시 방법{DISPLAY DEVICE AND DISPLAYING METHOD OF THE DISPLAY DEVICE}
본 발명은 디스플레이 장치 및 디스플레이 장치의 표시 방법에 대한 것으로, 보다 상세하게는, 본인 인증을 통해 컨텐츠 화면을 제공해주는 디스플레이 장치 및 디스플레이 장치의 표시 방법에 대한 것이다.
전자 기술이 발달하면서, 다양한 디스플레이 장치들을 이용하여 수많은 컨텐츠를 제공하는 기술도 계속하여 발전하고 있다. 그 중에서도 TV는 일반 가정에서 가장 흔히 볼 수 있는 디스플레이 장치로서, 최근 IPTV, DTV와 같이 사용자와의 소통을 기반으로 하여 다양한 컨텐츠를 제공해주는 TV 장치가 각광받고 있다.
한편 이러한 TV 장치는 개인용 장치가 아니고, 가족이나 많은 사람의 공용으로 사용되는 경우가 대부분으로, 이에 따라 한 개의 장치에서 사용자별 맞춤화된 컨텐츠 및 정보를 제공하기 위한 서비스도 함께 등장하게 되었다.
종래엔 이런 맞춤화된 서비스를 제공을 위한 사용자 인증 방식으로, 암호를 입력하는 방식을 사용하였으나, 이러한 방식에 의하면, 사용자가 매번 본인 인증을 위해 암호를 넣어야한다는 불편이 있었다.
따라서, 위와 같은 사용자의 불편을 덜어주면서도, 정확한 본인인증을 제공해줄 수 있는 디스플레이 장치의 필요성이 증대되었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 자동적으로 본인 인증을 수행하여 컨텐츠 화면을 제공해주는 디스플레이 장치 및 디스플레이 장치의 표시 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치의 표시 방법은, 제1 명령이 입력되면 사용자를 촬영하여 제1 인식정보를 생성하는 단계, 상기 제1 인식정보와 상기 제1 명령 입력시 현재 디스플레이되는 화면에 대한 정보를 매칭하여 디스플레이장치에 저장하는 단계, 제2 명령이 입력되면 사용자를 촬영하여 제2 인식정보를 생성하는 단계 및 상기 제1 인식정보와 상기 제2 인식정보를 비교하여, 상기 제1 명령 수신시 상기 저장된 화면에 대한 정보를 이용하여 소정 컨텐츠를 표시할지 여부를 판단하는 단계를 포함한다.
이 경우, 상기 판단하는 단계는, 상기 제1 인식정보와 상기 제2 인식정보가 동일한 경우, 상기 제1 명령 입력시 디스플레이되는 화면을 다시 디스플레이하고, 상기 제1 인식정보와 상기 제2 인식정보가 상이한 경우, 새로운 화면을 디스플레이할 수 있다.
한편, 상기 제1 명령은 전원 오프 명령이고, 상기 제2 명령은 전원 온 명령일 수 있다.
한편, 상기 제1 명령 입력시 복수 명의 사용자가 촬영된 경우, 상기 제1 인식 정보를 생성하는 단계는, 촬영된 복수 명에 대한 제1 인식 정보를 각각 생성하고, 상기 판단하는 단계는, 상기 복수 명 각각에 대한 제1 인식 정보 중 적어도 하나와 상기 제2 인식 정보가 동일한 경우, 상기 제1 명령 입력시 디스플레이되는 화면을 다시 디스플레이할 수 있다.
이 경우, 상기 제2 명령 입력시 복수 명의 사용자가 촬영된 경우, 상기 제2 인식 정보를 생성하는 단계는, 촬영된 복수 명에 대한 제2 인식 정보를 각각 생성하고, 상기 판단하는 단계는, 상기 복수 명 각각에 대한 제1 인식 정보와 상기 복수 명 각각에 대한 제2 인식 정보가 모두 동일한 경우, 상기 제1 명령 입력시 디스플레이되는 화면을 다시 디스플레이할 수 있다.
한편, 상기 제1 명령 및 상기 제2 명령은, 상기 디스플레이 장치를 제어하기 위한 리모컨의 기설정된 버튼을 누르는 명령일 수 있다.
한편, 상기 제1 인식정보 및 상기 제2 인식정보는, 상기 사용자의 얼굴을 촬영한 이미지 정보일 수 있다.
한편, 상기 저장하는 단계는, 상기 제1 명령이 입력될 때마다, 상기 제1 인식정보와 매칭되어 저장되어 있던 화면에 대한 정보를 갱신하여 저장하는 단계일 수 있다.
한편, 상기 화면에 대한 정보는, 시청 중인 채널에 대한 정보, 실행 중인 어플리케이션에 대한 정보 및 디스플레이장치의 작동 모드에 대한 정보 중 하나일 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치는 영상 데이터를 디스플레이하는 디스플레이부, 사용자를 촬영하는 촬영부, 저장부, 상기 디스플레이 장치를 제어하기 위한 사용자 명령을 입력받는 입력부 및 상기 입력부를 통해 제1 명령이 입력되면, 상기 촬영부를 통해 사용자를 촬영하여 제1 인식정보를 생성하고, 상기 제1 인식정보와 상기 제1 명령 입력시 디스플레이되는 화면을 매칭하여 저장하도록 상기 저장부를 제어하며, 상기 입력부를 통해 제2 명령이 입력되면, 상기 촬영부를 통해 사용자를 촬영하여 제2 인식정보를 생성하며, 상기 제1 인식정보와 상기 제2 인식정보를 비교하여, 상기 제1 명령 입력시 디스플레이되는 화면을 다시 디스플레이할지 여부를 판단하는 제어부를 포함한다.
이 경우, 상기 제어부는, 상기 제1 인식정보와 상기 제2 인식정보가 동일한 경우, 상기 제1 명령 입력시 디스플레이되는 화면을 다시 디스플레이하고, 상기 제1 인식정보와 상기 제2 인식정보가 상이한 경우, 새로운 화면을 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
한편, 상기 제1 명령은 전원 오프 명령이고, 상기 제2 명령은 전원 온 명령일 수 있다.
한편, 상기 제어부는, 상기 제1 명령 입력시 복수 명의 사용자가 촬영된 경우, 촬영된 복수 명에 대한 제1 인식 정보를 각각 생성하고, 상기 복수 명 각각에 대한 제1 인식 정보 중 적어도 하나와 상기 제2 인식 정보가 동일한 경우, 상기 제1 명령 입력시 디스플레이되는 화면을 다시 디스플레이하도록 디스플레이부를 제어할 수 있다.
이 경우, 상기 제어부는, 상기 제2 명령 입력시 복수 명의 사용자가 촬영된 경우, 촬영된 복수 명에 대한 제2 인식 정보를 각각 생성하고, 상기 복수 명 각각에 대한 제1 인식 정보와 상기 복수 명 각각에 대한 제2 인식 정보가 모두 동일한 경우, 상기 제1 명령 입력시 디스플레이되는 화면을 다시 디스플레이하도록 디스플레이부를 제어할 수 있다.
한편, 상기 제1 명령 및 상기 제2 명령은, 상기 디스플레이 장치를 제어하기 위한 리모컨의 기설정된 버튼을 누르는 명령일 수 있다.
한편, 상기 제1 인식정보 및 상기 제2 인식정보는, 상기 사용자의 얼굴을 촬영한 이미지 정보일 수 있다.
한편, 상기 제어부는, 상기 제1 명령이 입력될 때마다, 상기 제1 인식정보와 매칭되어 저장되어 있던 화면을 갱신하여 저장하도록 저장부를 제어할 수 있다.
도 1은 본 발명의 일 실시 예에 따른, 디스플레이 장치의 구성을 간략히 나타내는 블럭도,
도 2는 본 발명의 일 실시 예에 따른, 디스플레이 장치의 구성을 자세히 나타내는 블럭도,
도 3a 내지 도 5c는 본 발명의 다양한 실시 예에 따른, 디스플레이 장치의 동작을 설명하기 위한 도면, 그리고,
도 6 내지 도 7은 본 발명의 다양한 실시 예에 따른, 디스플레이 장치의 표시 방법을 설명하기 위한 흐름도 이다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하도록 한다. 도 1은 본 발명의 일 실시 예에 따른, 디스플레이 장치의 구성을 간략히 나타내는 블럭도이다. 도 1을 참고하면, 디스플레이 장치(100)는 입력부(110), 디스플레이부(120), 제어부(130), 촬영부(140), 저장부(150)를 포함한다. 한편, 본 발명의 일 실시 예에 따른, 디스플레이 장치(100)는 TV일 수 있으나, 이는 일 실시 예에 불과할 뿐, 스마트 폰, 태블릿 PC, 데스탑 PC, 모니터, 프로젝터 등과 같은 다양한 디스플레이 장치로 구현될 수 있다.
입력부(110)는 디스플레이 장치(100)를 제어하기 위한 사용자 명령을 입력받는 구성이다. 특히, 입력부(110)가 디스플레이 장치(100)를 제어하기 위한 리모컨인 경우, 리모컨의 특정 버튼을 누르는 사용자 명령은 제1 명령 또는 제2 명령일 수 있다. 이러한 리모컨의 기설정된 버튼을 누름으로써 제1 명령 또는 제2 명령이 입력되어 제어부(130)의 동작이 수행될 수 있다. 이하에서 그와 같은 제어부(130)의 동작에 대해서 자세히 설명하기로 한다.
디스플레이부(120)는 적어도 하나의 오브젝트를 포함하는 화면을 디스플레이하기 위한 구성요소이다. 여기서 화면이란 디스플레이 장치(100)에서 디스플레이부(120)를 통해 제공하는 이미지 프레임을 의미한다. 구체적으로는, 화면에는 홈 화면, 아이콘 화면, 리스트 화면, 어플리케이션 실행 화면, 웹 브라우저 화면, 컨텐츠 재생 화면 등이 포함될 수 있다. 또한, 오브젝트란 아이콘, 텍스트, 사진, 위젯 등과 같이 화면 내에 표시되는 각종 형상을 의미한다. 이와 같은 디스플레이부(120)는 제어부(130)의 제어에 따라 영상 데이터를 디스플레이한다.
촬영부(140)는 디스플레이 장치(100)의 사용자를 촬영하기 위한 구성으로서, 사용자를 촬상한 영상 신호(예를 들어, 프레임)를 입력받아 제어부(130)로 전송한다. 일 실시 예에 따르면 촬영부(140)는 렌즈 및 이미지 센서로 구성되는 카메라 유닛으로 구현될 수 있다. 이 경우 촬영부(140)에서 촬영된 이미지가 제어부(130)로 송신되고, 제어부(130)는 이미지 중에서 특정 부분을 검출하여 사용자를 인식할 수 있다. 구체적으로, 사용자의 얼굴 또는 사용자 얼굴 부분의 특징부(예를 들어, 눈, 코, 입술 등), 또는 사용자 눈의 홍채 부분 등 사용자를 식별할 수 있는 어떠한 신체부위라도 검출대상이 될 수 있다.
저장부(150)는 디스플레이 장치(100)에서 사용되는 각종 프로그램이나 데이터 등을 저장하기 위한 구성요소이다. 특히 저장부(150)에는 입력부(110)로 제1 명령이 입력될 때마다 제1 인식정보와 매칭되어 저장되어 있던 화면이 갱신되어 저장될 수 있다.
제어부(130)는 디스플레이 장치(100)의 전반적인 동작을 제어할 수 있는 구성이다. 특히 입력부(110)를 통해 제1 명령이 입력되면, 제어부(130)는 촬영부(140)를 통해 사용자를 촬영하여 제1 인식정보를 생성하고, 제1 인식정보와 제1 명령 입력시 현재 디스플레이되는 화면에 대한 정보를 매칭하여 저장하도록 저장부(150)를 제어한다. 이 경우, 화면에 대한 정보는 시청 중인 채널에 대한 정보, 실행 중인 어플리케이션에 대한 정보 및 디스플레이장치(100)의 작동 모드에 대한 정보 중 하나일 수 있다.
그리고, 입력부(110)를 통해 제2 명령이 입력되면, 제어부(130)는 촬영부(140)를 통해 사용자를 촬영하여 제2 인식정보를 생성하며, 제1 인식정보와 제2 인식정보를 비교하여, 저장부(150)에 저장된 화면에 대한 정보를 이용하여 소정 컨텐츠를 표시할지 여부를 판단할 수 있다. 이 경우, 소정 컨텐츠가 표시되는 화면은, 제1 명령 입력시 디스플레이되었던 화면과 동일한 화면이거나, 사용자가 기 설정해 놓은 화면일 수 있다. 또는 소정 컨텐츠가 표시되는 화면은 사용자 기호에 맞게 커스터마이즈된 화면일 수 있다. 예를 들어, 디스플레이 장치(100)는 화면 밝기, 화면 배율, 아이콘 표시 위치 등과 같은 작동 모드를 사용자별로 설정받을 수 있으며, 사용자별로 설정된 작동 모드는 사용자 인식 정보에 기초하여 디스플레이 장치(100)에 적용될 수 있다.
구체적으로, 제1 인식정보와 제2 인식정보가 동일한 경우, 제어부(130)는 제1 명령 입력시 디스플레이되는 화면을 다시 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 그러나, 제1 인식정보와 제2 인식정보가 상이한 경우, 제어부(130)는 새로운 화면을 디스플레이하도록 디스플레이부(120)를 제어할 수 있다.
본 발명의 일 실시예로, 디스플레이 장치(100)를 턴 오프 시키는 제1 명령이 입력된 경우, 제어부(130)는 턴 오프시의 사용자를 인식하여 제1 인식정보를 생성하고, 제1 인식정보와 턴 오프시 디스플레이부(120)에서 표시하던 마지막 화면을 매칭하여 저장하도록 저장부(150)를 제어한다. 그리고 디스플레이 장치(100)를 턴 온 시키는 제2 명령이 입력된 경우, 제어부(130)는 제2 인식정보를 생성하여, 이전에 저장해둔 제1 인식정보와 제2 인식정보를 비교하고, 동일할 경우 제1 인식정보와 매칭하여 저장해둔 마지막 화면을 다시 표시하도록 디스플레이부(120)를 제어한다. 앞서 설명하였듯이 이러한 제1 명령 또는 제2 명령은 디스플레이 장치(100)를 제어하기 위한 리모컨의 전원 버튼을 누르는 명령일 수 있다. 상술한 실시 예에 의하면, 디스플레이 장치(100)가 턴 오프 될 때 디스플레이 장치(100)를 이용했던 사용자는, 다시 디스플레이 장치(100)를 켰을 때 자신이 이전에 봤던 화면을 자동적으로 제공받게 될 수 있게 되므로, 사용자 인증을 위한 별도의 입력을 하지 않더라도 연속적으로 컨텐츠를 이용할 수 있다는 효과가 있다.
상술한 실시 예 외에도, 본 발명의 또 다른 실시 예에 의하면, 제1 명령은 디스플레이 장치(100)의 모드를 대기모드로 전환시키기 위한 명령일 수 있고, 제2 명령은 대기모드에서 다시 활성모드로 전환시키기 위한 명령일 수 있다. 여기서 대기모드란, 디스플레이부(120)를 통한 소비 전력의 절약 또는 디스플레이부(120)를 통해 표시되는 컨텐츠의 보안을 위해, 디스플레이부(120)로의 전력 공급이 일시적으로 중단되는 상태를 의미할 수 있다. 이와 같은 대기모드로 전환을 위한 제1 명령이 입력된 경우, 제어부(130)는 대기모드로 전환시의 사용자를 촬영하여 제1 인식정보를 생성하고, 제1 인식정보와 대기모드로 전환시 디스플레이부(120)에서 표시하던 화면을 매칭하여 저장해둔다. 그리고 대기모드에서 다시 활성모드로 전환 시키기 위한 제2 명령이 입력된 경우, 제어부(130)는 활성모드 전환시의 사용자를 촬영하여 제2 인식정보를 생성할 수 있다. 이후의 단계는 상술한 실시 예에 따를 수 있다.
또 다른 실시 예에 따르면, 디스플레이 장치(100)가 복수의 단자를 구비한 장치로 구현되는 경우, 제1 명령 또는 제2 명령은 단자 접속을 전환시키는 명령일 수 있다. 구체적으로 복수의 단자는 HDMI, DVI, 디지털 방송 수신, USB단자 등일 수 있다. 예를 들어 디스플레이 장치(100)가 USB 단자를 통해 영상 데이터를 출력하던 도중, 디지털 방송 수신 단자로 전환하기 위한 제1 명령을 입력받는 경우, 제어부(130)는 전환 시의 사용자를 촬영하여 제1 인식정보를 생성하고, 제1 인식정보와 제1 명령 입력시의 출력 화면을 매칭하여 저장부(150)에 저장한다. 다시 동일한 사용자가 USB 단자로 전환하기 위한 제2 명령을 입력하는 경우, 제어부(150)는 동일한 사용자를 촬영하여 제2 인식 정보를 생성하고, 생성된 제2 인식 정보가 기 저장된 제1 인식 정보와 동일하므로, USB 단자에서 제1 명령이 입력된 시점의 영상 데이터를 수신받아 출력하도록 디스플레이부(120)를 제어할 수 있다.
이하에선 제1 명령 또는 제2 명령 입력시 복수명의 사용자가 촬영된 경우, 제어부(130)의 동작에 대해 더 설명하기로 한다.
제1 명령 입력시 복수 명의 사용자가 촬영된 경우, 제어부(130)는 촬영된 복수 명에 대한 제1 인식 정보를 각각 생성할 수 있다. 이때 복수 명 각각에 대한 제1 인식 정보 중 적어도 하나와 제2 인식 정보가 동일한 경우, 제어부(130)는 제1 명령 입력시 디스플레이되는 화면을 다시 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 예를 들어, 본 디스플레이 장치(100)가 TV로 구현되는 경우, TV의 특성상, 동시에 여러 명의 사용자가 함께 TV를 이용하는 경우가 대부분이기 때문에, 제어부(130)는 여러 명의 사용자에 대한 제1 인식 정보를 각각 생성하고, 생성된 복수의 제1 인식 정보 중 적어도 하나와 제2 인식 정보가 동일한지 여부를 판단할 수 있다. 이에 대한 실시 예는 이하 도 4a 내지 도 4b를 통해 더 자세히 설명하도록 한다.
또한 제어부(130)는 제2 명령 입력시 복수 명의 사용자가 촬영된 경우, 촬영된 복수 명에 대한 제2 인식 정보를 각각 생성하고, 복수 명 각각에 대한 제1 인식 정보와 복수 명 각각에 대한 제2 인식 정보가 모두 동일한 경우에만, 제1 명령 입력시 디스플레이되는 화면을 다시 디스플레이하도록 디스플레이부를 제어할 수 있다. 이에 해당되는 실시 예에 대해서도 이하 도 5a 내지 도 5c를 통해 자세히 설명하겠다.
한편 상술한 실시 예에선 제어부(130)가 사용자를 촬영하여 인식정보를 획득되는 것으로 설명하였으나, 또 다른 실시 예에 따르면, 사용자의 목소리를 인식하여 인식정보를 획득할 수도 있다. 이 경우, 저장부(150)는 사용자의 음성을 텍스트로 변환하기 위한 텍스트 변환 모듈을 저장할 수 있으며 제어부(130)는 텍스트 변환 모듈을 통해, 입력된 사용자 음성을 텍스트로 변환할 수 있다. 텍스트 변환모듈은 예를 들어 동적정합법(Dynamic time warping method), 은닉 마코프모델(Hidden Markov Model), 신경망(Neural Network) 등과 같은 다양한 인식 알고리즘 중 적어도 하나를 이용하여 인식된 음성을 텍스트로 변환할 수 있다. 일 예로, 은닉 마코프 모델을 사용하는 경우, 사용자 음성의 시간적 변화 및 스펙트럼 변화를 각각 모델링하여, 기 저장된 언어 데이터베이스에서 유사한 어휘를 검출한다. 이에 따라, 검출된 어휘를 텍스트로 출력할 수 있다.
상술한 바와 같은 디스플레이 장치(100)는, 사용자 인증을 위한 별도의 입력을 받지 않더라도, 특정 명령이 입력될 시 자동으로 사용자 인증을 수행하므로 사용자는, 사용자별 맞춤화된 컨텐츠 또는 정보 등을 편리하게 제공받을 수 있게 된다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 구성을 설명하기 위한 블럭도로서, 도 2를 참고하면, 본 디스플레이 장치(100)는 영상 수신부(210), 통신부(220), 촬영부(230), 디스플레이부(240), 제어부(250), 저장부(260), 입력단자(270), 오디오 처리부(280), 비디오 처리부(290) 및 입력부(295)를 포함한다.
한편, 도 2는 디스플레이 장치(100)가 통신 기능, 영상 수신 기능, 디스플레이 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 2에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.
영상 수신부(210)는 다양한 소스를 통해 영상 데이터를 수신한다. 예를 들어, 영상 수신부(210)는 외부의 방송국으로부터 방송 데이터를 수신할 수 있으며, 외부 장치(예를 들어, DVD, BD 플레이어 등)로부터 영상 데이터를 수신할 수 있으며, 저장부(150)에 저장된 영상 데이터를 수신할 수 있다.
통신부(220)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기 또는 외부 서버와 통신을 수행하는 구성이다. 통신부(220)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
디스플레이부(240)는 영상 수신부(210)가 수신한 영상 데이터를 비디오 처리부(290)에서 처리한 비디오 프레임 및 그래픽 처리부(253)에서 생성된 다양한 화면 중 적어도 하나를 디스플레이한다. 이와 같은 디스플레이부(240)는 제어부(250)의 제어에 따라 영상 데이터를 디스플레이한다.
저장부(260)는 디스플레이 장치(100)를 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 저장부(260)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 디스플레이 장치(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다. 특히 저장부(260)에는 촬영부(230)에서 촬영된 이미지에서 사용자 신체 중 일부를 검출하기 위한 검출 모듈(261), 검출된 인식 대상을 통해 사용자를 인식하기 위한 사용자 인식 모듈(262) 및 제1 명령이 입력될 때마다 기 저장된 화면을 갱신시키는 화면 업데이트 모듈(263)을 저장할 수 있다. 상술한 각 제어모듈을 저장부(260)에 저장되어 있는 소프트웨어로 구현될 수 있지만, 각각 별개의 하드웨어를 통해 구현될 수 있다.
또한 저장부(260)는 제1 명령 입력시 사용자를 촬영하여 생성된 제1 인식정보와 제1 명령 입력시 디스플레이되는 화면을 맵핑하여 저장할 수 있다. 한편, 상술한 실시 예에서는 제1 인식정보 및 제1 명령 입력시 디스플레이되는 화면이 저장부(260) 내에 저장되는 것으로 설명하였으나, 이는 일 실시 예에 불과할 뿐, 이들은 네트워크를 통해 연결된 외부의 장치에 저장될 수 있다.
오디오 처리부(280)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부(280)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
비디오 처리부(290)는 영상 수신부(210)에서 수신한 영상 데이터에 대한 처리를 수행하는 구성요소이다. 비디오 처리부(290)에서는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
입력부(295)는 디스플레이 장치(100)의 전반적인 동작을 제어하기 위한 사용자 명령을 입력받는 구성이다. 예를 들어, 입력부(295)는 리모컨, 포인팅 디바이스, 사용자의 모션을 감지하는 모션 센서, 사용자 음성을 감지하는 음성 센서, 마우스 등과 같은 다양한 입력 장치로 구현될 수 있다.
제어부(250)는 저장부(260)에 저장된 각종 프로그램을 이용하여 디스플레이 장치(100)의 전반적인 동작을 제어한다.
제어부(250)는 도 2에 도시된 바와 같이, RAM(251), ROM(252), 그래픽 처리부(253), 메인 CPU(254), 제1 내지 n 인터페이스(255-1 ~ 255-n), 버스(256)를 포함한다. 이때, RAM(251), ROM(252), 그래픽 처리부(253), 메인 CPU(254), 제1 내지 n 인터페이스(255-1 ~ 255-n) 등은 버스(256)를 통해 서로 연결될 수 있다.
ROM(252)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(254)는 ROM(252)에 저장된 명령어에 따라 저장부(260)에 저장된 O/S를 RAM(251)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(254)는 저장부(260)에 저장된 각종 어플리케이션 프로그램을 RAM(251)에 복사하고, RAM(251)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(253)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 입력부(295)로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(240)의 디스플레이 영역 내에 표시된다.
예를 들어, 메인 CPU(254)는 저장부(260)에 저장된 검출 모듈(261), 사용자 인식 모듈(262) 및 화면 업데이트 모듈(263)을 각각 RAM(251)에 복사하고, 선택적으로 실행시킬 수 있다. 이에 따라, 메인 CPU(254)는 촬영부(230)에서 촬영된 이미지에서 사용자를 인식하기 위한 부분을 검출하고, 검출된 부분을 통하여 사용자를 인식할 수 있다. 또한 일 실시 예에 따르면, 메인 CPU(254)는 수신받은 촬영 이미지에 여러 명의 사용자가 촬영된 경우, 각각의 사용자의 얼굴을 검출하고, 각각의 사용자에 대한 인식정보를 생성할 수 있다. 또한 메인 CPU(254)는 제1 명령이 입력될 시 디스플레이되는 화면을, 제1 명령이 입력될 때마다, 사용자별로 다시 매칭시켜 저장함으로써, 기 저장된 화면을 갱신시킬 수 있다.
제1 내지 n 인터페이스(255-1 내지 255-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
특히, 입력부를 통해 제1 명령이 입력되면, 제어부(250)는 촬영부(230)를 통해 사용자를 촬영하여 제1 인식정보를 생성하고, 제1 인식정보와 제1 명령 입력시 디스플레이되는 화면을 매칭하여 저장하도록 저장부(260)를 제어한다. 그리고, 입력부(295)를 통해 제2 명령이 입력되면, 제어부(250)는 촬영부(230)를 통해 사용자를 촬영하여 제2 인식정보를 생성하며, 제1 인식정보와 제2 인식정보를 비교하여, 제1 명령 입력시 디스플레이되는 화면을 다시 디스플레이할지 여부를 판단할 수 있다.
구체적으로, 제어부(250)의 동작에 대해서는 도 3a 내지 도 5c를 참조하여 설명하기로 한다.
도 3a를 참고하면, 본 발명의 일 실시 예에 따르면, 디스플레이 장치(100)의 전원을 오프시키기 위한 제1 명령이 입력되면, 디스플레이 장치(100)의 제어부(130)는 제1 사용자(21)를 촬영하도록 촬영부(140)를 제어하여 제1 인식정보를 생성하고, 생성된 제1 인식정보와 제1 명령(11)이 입력될 시의 마지막 화면(310)을 매칭시켜 저장하도록 저장부(150)를 제어한다. 이후에 디스플레이 장치(100)의 전원을 온 시키기 위한 제2 명령(12)이 입력되면, 제어부(130)는 제1 사용자(21)를 촬영하도록 촬영부(140)를 제어하여 제2 인식정보를 생성한다. 그리고 제어부(130)는 제1 인식정보와 제2 인식정보를 비교하여, 제2 명령(12) 입력 당시의 사용자와 제1 명령(11) 입력 당시의 사용자가 동일하다고 판단되면, 저장해두었던 화면(310)을 다시 디스플레이하도록 디스플레이부(120)를 제어한다.
한편, 도 3b를 참고하면, 디스플레이 장치(100)의 전원을 오프시키기 위한 제1 명령이 입력되면, 디스플레이 장치(100)의 제어부(130)는 제1 사용자(21)를 촬영하도록 촬영부(140)를 제어하여 제1 인식정보를 생성하고, 생성된 제1 인식정보와 제1 명령(11)이 입력될 시의 마지막 화면(310)을 매칭시켜 저장하도록 저장부(150)를 제어한다. 이후에 디스플레이 장치(100)의 전원을 온 시키기 위한 제2 명령(12)이 입력되면, 제어부(130)는 제2 사용자(22)를 촬영하도록 촬영부(140)를 제어하여 제2 인식정보를 생성한다. 그리고 제어부(130)는 제1 인식정보와 제2 인식정보를 비교하여, 제2 명령(12) 입력 당시의 사용자와 제1 명령(11) 입력 당시의 사용자가 상이하다고 판단되면, 제어부(130)는 제1 명령(11)이 입력될 시의 화면(310)이 아닌 다른 새로운 화면(311)을 디스플레이하도록 디스플레이부(120)를 제어한다. 제2 명령(12)이 입력되기 이전에, 제2 사용자(22)에 대한 제2 인식정보와 매칭되어 저장되어 있던 화면이 있다면, 새로운 화면(311)은 제2 사용자(22)에 대한 제2 인식정보와 매칭되어 저장되어 있던 화면이고, 제2 사용자(22)에 대한 제2 인식정보와 매칭되어 저장되어 있던 화면이 없는 경우엔 새로운 화면(311)은 디스플레이 장치(100)의 초기화면일 수 있다.
도 4a는 제1 명령의 입력 당시 인식된 사용자가 복수 명인 경우에 대한 실시 예를 설명하기 위한 도면이다. 도 4a를 참고하면, 디스플레이 장치(100)의 전원을 오프시키기 위한 제1 명령이 입력되면, 디스플레이 장치(100)의 제어부(130)는 제1 사용자(21) 및 제2 사용자(22)를 촬영하도록 촬영부(140)를 제어하여 제1 사용자(21) 및 제2 사용자(22)에 대한 제1 인식정보를 각각 생성하고, 생성된 각각의 제1 인식정보와 제1 명령(11)이 입력될 시의 마지막 화면(410)을 매칭시켜 저장하도록 저장부(150)를 제어한다. 이후에 디스플레이 장치(100)의 전원을 온 시키기 위한 제2 명령(12)이 입력되면, 제어부(130)는 제1 사용자(21)(또는 제2 사용자(22))를 촬영하도록 촬영부(140)를 제어하여 제2 인식정보를 생성한다. 그리고 제어부(130)는 제1 인식정보와 제2 인식정보를 비교하여, 제1 명령(11) 입력 당시의 사용자들 중 적어도 하나와 제2 명령(12) 입력 당시의 사용자가 동일하다고 판단되면, 저장해두었던 화면(410)을 다시 디스플레이하도록 디스플레이부(120)를 제어한다.
한편, 도 4b를 참고하면, 디스플레이 장치(100)의 전원을 오프시키기 위한 제1 명령이 입력되면, 디스플레이 장치(100)의 제어부(130)는 제1 사용자(21) 및 제2 사용자(22)를 촬영하도록 촬영부(140)를 제어하여 제1 사용자(21) 및 제2 사용자(22)에 대한 제1 인식정보를 각각 생성하고, 생성된 각각의 제1 인식정보와 제1 명령(11)이 입력될 시의 마지막 화면(410)을 매칭시켜 저장하도록 저장부(150)를 제어한다. 이후에 디스플레이 장치(100)의 전원을 온 시키기 위한 제2 명령(12)이 입력되면, 제어부(130)는 제3 사용자(23)를 촬영하도록 촬영부(140)를 제어하여 제2 인식정보를 생성한다. 그리고 제어부(130)는 제1 인식정보와 제2 인식정보를 비교하여, 제2 명령(12) 입력 당시의 사용자가 제1 명령(11) 입력 당시의 사용자들 중 어느 하나에도 속하지 않는다고 판단되면, 제어부(130)는 제1 명령(11)이 입력될 시의 화면(410)이 아닌 다른 새로운 화면(420)을 디스플레이하도록 디스플레이부(120)를 제어한다. 제2 명령(12)이 입력되기 이전에, 제3 사용자(23)에 대한 제2 인식정보와 매칭되어 저장되어 있던 화면이 있다면, 새로운 화면(420)은 제3 사용자(23)에 대한 제2 인식정보와 매칭되어 저장되어 있던 화면이고, 제3 사용자(23)에 대한 제2 인식정보와 매칭되어 저장되어 있던 화면이 없는 경우엔 새로운 화면(420)은 디스플레이 장치(100)의 초기화면일 수 있다.
도 5a는 제2 명령(12)의 입력 당시의 사용자가 복수 명인 경우의 실시 예를 설명하기 위한 도면이다. 도 5a를 참고하면, 디스플레이 장치(100)의 전원을 오프시키기 위한 제1 명령이 입력되면, 디스플레이 장치(100)의 제어부(130)는 제1 사용자(21) 및 제2 사용자(22)를 촬영하도록 촬영부(140)를 제어하여 제1 사용자(21) 및 제2 사용자(22)에 대한 제1 인식정보를 각각 생성하고, 생성된 각각의 제1 인식정보와 제1 명령(11)이 입력될 시의 마지막 화면(510)을 매칭시켜 저장하도록 저장부(150)를 제어한다. 이후에 디스플레이 장치(100)의 전원을 온 시키기 위한 제2 명령(12)이 입력되면, 제어부(130)는 제1 사용자(21) 및 제2 사용자(22)를 촬영하도록 촬영부(140)를 제어하여 제1 사용자(21) 및 제2 사용자(22)에 대한 제2 인식정보를 각각 생성한다. 그리고 제어부(130)는 제1 인식정보와 제2 인식정보를 비교하여, 제1 명령(11) 입력 당시의 사용자들과 제2 명령(12) 입력 당시의 사용자들이 모두 같다고 판단되면, 저장해두었던 화면(510)을 다시 디스플레이하도록 디스플레이부(120)를 제어한다.
한편, 도 5b를 참고하면, 디스플레이 장치(100)의 전원을 오프시키기 위한 제1 명령이 입력되면, 디스플레이 장치(100)의 제어부(130)는 제1 사용자(21) 및 제2 사용자(22)를 촬영하도록 촬영부(140)를 제어하여 제1 사용자(21) 및 제2 사용자(22)에 대한 제1 인식정보를 각각 생성하고, 생성된 각각의 제1 인식정보와 제1 명령(11)이 입력될 시의 마지막 화면(510)을 매칭시켜 저장하도록 저장부(150)를 제어한다. 이후에 디스플레이 장치(100)의 전원을 온 시키기 위한 제2 명령(12)이 입력되면, 제어부(130)는 제1 사용자(21) 및 제3 사용자(23)를 촬영하도록 촬영부(140)를 제어하여 제1 사용자(21) 및 제3 사용자(23)에 대한 제2 인식정보를 각각 생성한다. 그리고 제어부(130)는 제1 인식정보와 제2 인식정보를 비교하여, 제1 명령(11) 입력 당시의 사용자들과 제2 명령(12) 입력 당시의 사용자들이 동일하지 않다고 판단되면, 제어부(130)는 제1 명령(11)이 입력될 시의 화면(510)이 아닌 다른 새로운 화면(520)을 디스플레이하도록 디스플레이부(120)를 제어한다. 이 경우 새로운 화면(520)은 디스플레이 장치(100)의 초기화면일 수 있다.
한편, 도 5c를 참고하면, 디스플레이 장치(100)의 전원을 오프시키기 위한 제1 명령이 입력되면, 디스플레이 장치(100)의 제어부(130)는 제1 사용자(21) 및 제2 사용자(22)를 촬영하도록 촬영부(140)를 제어하여 제1 사용자(21) 및 제2 사용자(22)에 대한 제1 인식정보를 각각 생성하고, 생성된 각각의 제1 인식정보와 제1 명령(11)이 입력될 시의 마지막 화면(510)을 매칭시켜 저장하도록 저장부(150)를 제어한다. 이후에 디스플레이 장치(100)의 전원을 온 시키기 위한 제2 명령(12)이 입력되면, 제어부(130)는 제1 사용자(21), 제2 사용자(22) 및 제3 사용자(23)를 촬영하도록 촬영부(140)를 제어하여 제1 사용자(21), 제2 사용자(22) 및 제3 사용자(23)에 대한 제2 인식정보를 각각 생성한다. 그리고 제어부(130)는 제1 인식정보와 제2 인식정보를 비교하여, 제1 명령(11) 입력 당시의 사용자들과 제2 명령(12) 입력 당시의 사용자들이 모두 동일하지 않다고 판단되면, 제어부(130)는 제1 명령(11)이 입력될 시의 화면(510)이 아닌 다른 새로운 화면(520)을 디스플레이하도록 디스플레이부(120)를 제어한다. 즉, 제2 명령(12) 입력 당시의 사용자들에 제1 명령(11) 입력 당시의 사용자들이 포함되는 경우라도 제1 명령(11) 입력 당시의 화면(510)은 디스플레이 되지 않는다. 이 경우 새로운 화면(520)은 디스플레이 장치(100)의 초기화면일 수 있다.
상술한 바와 같은 디스플레이 장치의 표시 방법에 의하면 사용자는, 다른 사용자에게 자신이 디스플레이 장치를 통해 시청했던 컨텐츠 또는 정보 이용 사항이 노출될 염려가 없게 된다.
이하에서는 도 6 내지 도 7을 참고하여 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 표시 방법에 대해 설명하기로 한다.
도 6은 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 표시 방법에 대한 흐름도이다.
우선, 디스플레이 장치(100)는 제1 명령을 입력받는다(S610). 이때, 제1 명령이란, 디스플레이 장치(100)의 전원을 오프시키기 위한 명령, 디스플레이 장치(100)를 대기모드로 전환하기 위한 명령 또는 디스플레이 장치(100)가 영상 데이터를 수신받는 단자의 접속을 전환하기 위한 명령 등일 수 있다.
그리고, 디스플레이 장치(100)는 촬영을 수행한다(S620). 촬영은 디스플레이 장치(100)에 부착된 촬영장치에 의하거나, 디스플레이 장치에 연결가능한 외부 촬영장치에 의해 수행될 수 있다. 이와 같은 장치들을 통해 제1 명령 입력시의 디스플레이 장치의 사용자를 촬영할 수 있다. 이때, 사용자를 촬영한다는 것은, 사용자의 특정 신체부위를 촬영하는 것일 수 있는데, 예컨대 사용자의 얼굴, 얼굴의 특정 부위, 홍채 또는 사용자의 지문 등에 대한 이미지를 획득하는 것일 수 있다.
그 다음으로, 디스플레이 장치(100)는 촬영된 이미지를 분석하여 제1 인식정보를 생성하고, 생성된 제1 인식정보와 제1 명령 입력시 현재 디스플레이되는 화면에 대한 정보를 매칭하여 저장한다(S630). 화면에 대한 정보는 시청 중인 채널에 대한 정보, 실행 중인 어플리케이션에 대한 정보 및 디스플레이 장치의 작동 모드에 대한 정보 중 하나일 수 있다.
그리고 제1 인식정보에는 사용자인식정보가 포함될 수 있는데, 이러한 제1 인식정보를 생성하기 위해서, 디스플레이 장치(100)는 기 저장된 사용자 데이터베이스를 이용할 수 있다. 구체적으로 디스플레이 장치(100)는 촬영된 이미지를 분석하고, 사용자 데이터베이스를 검색하여 분석된 결과에 대응되는 사용자를 인식할 수 있다. 만약 사용자 데이터베이스에 저장되어 있지 않은 새로운 사용자인 경우, 디스플레이 장치는 촬영된 이미지 분석 결과에 기초하여, 사용자 데이터베이스에 새롭게 촬영된 사용자를 추가시킬 수 있다. 이와 같이 인식된 사용자 정보를 포함하는 제1 인식정보와 제1 명령 입력시 디스플레이되는 화면을 매칭하여 저장해둠으로써, 이후 제2 명령이 입력될 시, 매칭되어 저장되어 있던 화면이 다시 디스플레이될 수 있다.
그 다음 단계로, 디스플레이 장치(100)는 제2 명령을 입력받는다(S640). 여기서 제2 명령이란, 디스플레이 장치의 전원을 오프시키는 명령, 대기모드에 있던 디스플레이 장치를 다시 활성모드로 전환시키는 명령, 디스플레이 장치가 영상 데이터를 수신받는 단자의 접속을 전환하기 위한 명령 등일 수 있다.
그리고 디스플레이 장치(100)는 촬영을 수행한다(S650). 제1 명령이 입력된 경우에 대해 상술한 것과 마찬가지로 디스플레이 장치는 제2 명령 입력시 디스플레이 장치를 사용하는 사용자를 촬영한다.
그 다음 단계로 촬영된 이미지로부터 제2 인식정보를 생성하고, 생성된 제2 인식정보와 제1 인식정보를 비교하여 동일한지 여부를 판단한다(S660).
제2 인식정보와 제1 인식정보가 동일하지 않은 경우, 디스플레이 장치는 초기화면을 표시한다(S670). 여기서 초기화면이란, 일반적인 경우 디스플레이 장치가 온(on) 되었을 때 제일 처음 표시되는 화면을 의미한다.
제1 인식정보와 제2 인식정보가 동일한 경우에는, 제1 인식 정보와 매칭되어 저장되어 있던 화면에 대한 정보를 이용하여, 소정의 컨텐츠를 디스플레이 한다(S680). 이 경우, 소정 컨텐츠가 표시되는 화면은 제1 명령 입력시 디스플레이되었던 화면과 동일한 화면이거나, 사용자가 기 설정해 놓은 화면일 수 있다. 또는 소정 컨텐츠가 표시되는 화면은 사용자 기호에 맞게 커스터마이즈된 화면일 수 있다. 예를 들어, 디스플레이 장치(100)는 화면 밝기, 화면 배율, 아이콘 표시 위치 등과 같은 작동 모드를 사용자별로 설정받을 수 있으며, 사용자별로 설정된 작동 모드는 사용자 인식 정보에 기초하여 디스플레이 장치(100)에 적용될 수 있다.
도 6을 통해 설명한 단계들로 구성될 수 있는 실시 예 외에도, 도 6을 통해 설명된 단계에 도 1 내지 도 5c를 통해 설명한 다양한 단계들이 추가되거나 보충되어 또 다른 실시 예가 도출될 수 있을 것이다.
도 7은 본 발명의 또 다른 실시 예에 따른 디스플레이 장치(100)의 표시 방법에 대한 흐름도이다.
우선, 디스플레이 장치는 제1 명령을 입력받는다(S710). 이때, 제1 명령이란, 디스플레이 장치의 전원을 오프시키기 위한 명령, 디스플레이 장치를 대기모드로 전환하기 위한 명령 또는 디스플레이 장치가 영상 데이터를 수신받는 단자의 접속을 전환하기 위한 명령 등일 수 있다.
그리고, 디스플레이 장치는 촬영을 수행한다(S720). 촬영은 디스플레이 장치(100)에 부착된 촬영장치에 의하거나, 디스플레이 장치(100)에 연결가능한 외부 촬영장치에 의해 수행될 수 있다. 이와 같은 장치들을 통해 제1 명령 입력시의 디스플레이 장치의 사용자를 촬영할 수 있다. 이때, 사용자를 촬영한다는 것은, 사용자의 특정 신체부위를 촬영하는 것일 수 있는데, 예컨대 사용자의 얼굴, 얼굴의 특정 부위, 홍채 또는 사용자의 지문 등에 대한 이미지를 획득하는 것일 수 있다. 특히, 본 디스플레이 장치가 여러 명의 사용자가 동시에 이용할 수 있는 TV와 같은 디스플레이 장치로 구현되는 경우, 여러 명의 사용자를 촬영하여 한 개의 이미지가 생성되거나, 혹은 각각의 사용자에 대해 촬영이 수행되어 사용자 수만큼 이미지가 생성될 수도 있다.
그 다음으로, 디스플레이 장치(100)는 복수 명의 사용자가 촬영된 이미지를 분석하여 복수 명 각각에 대한 제1 인식정보를 생성하고, 생성된 제1 인식정보와 제1 명령 입력시 디스플레이되는 화면을 매칭하여 저장한다(S730). 제1 인식정보에는 사용자인식정보가 포함될 수 있는데, 이러한 제1 인식정보를 생성하기 위해서, 디스플레이 장치는 기 저장된 사용자 데이터베이스를 이용할 수 있다. 구체적으로 디스플레이 장치는 촬영된 이미지를 분석하고, 사용자 데이터베이스를 검색하여 분석된 결과에 대응되는 사용자를 인식할 수 있다. 만약 사용자 데이터베이스에 저장되어 있지 않은 새로운 사용자인 경우, 디스플레이 장치는 촬영된 이미지 분석 결과에 기초하여 사용자 데이터베이스에 촬영된 사용자를 새롭게 추가시킬 수 있다. 이와 같이 인식된 사용자 정보를 포함하는 제1 인식정보와 제1 명령 입력시 디스플레이되는 화면을 매칭하여 저장해둠으로써, 이후 제2 명령이 입력될 시, 매칭되어 저장되어 있던 화면이 다시 디스플레이될 수 있다. 특히, 여러 명의 사용자가 한 이미지 안에 촬영된 경우에는, 각각의 사용자 부분에 대한 검출이 수행되어 이미지 분석이 이루어질 수 있다. 그 결과로 사용자의 수만큼의 제1 인식정보가 생성된다. 이 경우, 각각 생성된 제1 인식정보와 제1 명령 입력시 디스플레이되는 화면이 각각 매칭되어 저장된다.
그 다음 단계로, 디스플레이 장치(100)는 제2 명령을 입력받는다(S740). 여기서 제2 명령이란, 디스플레이 장치의 전원을 오프시키는 명령, 대기모드에 있던 디스플레이 장치를 다시 활성모드로 전환시키는 명령, 디스플레이 장치가 영상 데이터를 수신받는 단자의 접속을 전환하기 위한 명령 등일 수 있다.
그리고 디스플레이 장치는 촬영을 수행한다(S750). 제1 명령이 입력된 경우에 대해 상술한 것과 마찬가지로 디스플레이 장치(100)는 제2 명령 입력시 디스플레이 장치(100)를 사용하는 사용자를 촬영한다. 상술한 바와 같이, 제2 명령 입력시 디스플레이 장치(100)를 사용하는 사용자가 여러 명인 경우, 여러 명의 사용자가 촬영된 한 개의 이미지가 생성되거나, 혹은 각각의 사용자에 대해 촬영이 수행되여 사용자 수만큼 이미지가 생성될 수도 있다.
그 다음 단계로 촬영된 이미지로부터 제2 인식정보를 생성하고, 복수 명 각각에 대한 제1 인식정보 중 적어도 하나와 생성된 제2 인식정보를 비교하여 동일한지 여부를 판단한다(S760). 만약 상이할 경우에는 초기화면을 표시하고(S770), 동일한 경우에는, 제1 명령 입력시 디스플레이되는 화면을 다시 디스플레이 한다(S780). 여기서 초기화면이란, 일반적인 경우 디스플레이 장치가 온(on) 되었을 때 제일 처음 표시되는 화면을 의미한다. 도 7에선 초기화면이 디스플레이되는 것으로 설명하였으나, 초기화면이 아닌, 기 설정된 다른 화면이 표시될 수 있으며, 이러한 실시 예에 대해선 상술하였으므로 반복설명하지 않는다.
도 7을 통해 설명한 단계들로 구성될 수 있는 실시 예 외에도, 도 7을 통해 설명된 단계에 도 1 내지 도 5C를 통해 설명한 다양한 단계들이 추가되거나 보충되어 또 다른 실시 예가 도출될 수 있을 것이다.
한편 상술한 실시 예에선 인식 정보가 사용자를 촬영하여 생성되는 것으로 설명하였으나 또 다른 실시 예에 의하면, 사용자의 목소리를 인식하고, 인식된 음성에 기초하여 인식 정보가 생성될 수도 있다.
상술한 실시 예들은 본 발명의 주요 기술적 사상을 이해하기 위함이지, 본 명세서에 기재된 실시 예에 본 발명의 범위가 제한되는 것은 아니다. 따라서 특정 명령이 입력되면 자동으로 사용자를 인식하고, 그 사용자가 이전에 제공받았었던 컨텐츠를 연속적으로 다시 제공해줄 수 있는 디스플레이 장치 또는 그 제공방법에 해당되는 어떠한 실시 예라도 본 발명의 범주에 속할 수 있을 것이다.
한편, 상술한 다양한 실시 예들에 따른 디스플레이 장치의 표시 방법은 소프트웨어로 코딩되어 비일시적 판독 가능 매체(non-transitory readable medium) 에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
100: 디스플레이 장치 110: 입력부
120: 디스플레이부 130: 제어부
140: 촬영부 150: 저장부

Claims (17)

  1. 디스플레이 장치의 표시 방법에 있어서,
    사용자에 대한 제1 식별 정보를 생성하는 단계;
    상기 디스플레이 장치에 대한 전원 오프 명령이 입력되면 상기 제1 식별 정보를 현재 디스플레이되는 화면에 대한 정보에 매칭하여 상기 디스플레이 장치에 저장하는 단계;
    상기 디스플레이 장치에 대한 전원 온 명령이 입력되면 사용자에 대한 제2 식별 정보를 생성하는 단계;
    상기 제1 식별 정보가 상기 제2 식별 정보에 대응되는지 여부를 판단하는 단계; 및
    상기 판단 결과에 기초하여, 상기 전원 오프 명령 입력 시 디스플레이되던 화면을 표시할 지 또는 상기 전원 오프 명령 입력 시 디스플레이되던 화면과 다른 화면을 표시할 지를 결정하는 단계;를 포함하는 디스플레이 장치의 표시 방법.
  2. 제1항에 있어서,
    상기 결정하는 단계는,
    상기 제1 식별 정보가 상기 제2 식별 정보에 대응되는 경우, 상기 전원 오프 명령 입력시 디스플레이되던 화면을 표시하고, 상기 제1 식별 정보가 상기 제2 식별 정보에 대응되지 않는 경우, 상기 전원 오프 명령 입력 시 디스플레이되던 화면과 다른 화면을 표시하는 것을 특징으로 하는 디스플레이 장치의 표시 방법.
  3. 제1항에 있어서,
    상기 제1 식별 정보를 생성하는 단계는,
    사용자를 촬영한 영상을 바탕으로 상기 제1 식별 정보를 생성하는 디스플레이 장치의 표시 방법.
  4. 제1항에 있어서,
    상기 전원 오프 명령 입력시 복수 명의 사용자가 촬영된 경우,
    상기 제1 식별 정보를 생성하는 단계는,
    촬영된 복수 명에 대한 제1 식별 정보를 각각 생성하고,
    상기 결정하는 단계는,
    상기 복수 명 각각에 대한 제1 식별 정보 중 적어도 하나가 상기 제2 식별 정보에 대응되는 경우, 상기 전원 오프 명령 입력시 디스플레이되던 화면을 표시하는 것을 특징으로 하는 디스플레이 장치의 표시 방법.
  5. 제4항에 있어서,
    상기 전원 온 명령 입력시 복수 명의 사용자가 촬영된 경우,
    상기 제2 식별 정보를 생성하는 단계는,
    촬영된 복수 명에 대한 제2 식별 정보를 각각 생성하고,
    상기 결정하는 단계는,
    상기 복수 명 각각에 대한 제1 식별 정보가 상기 복수 명 각각에 대한 제2 식별 정보에 모두 대응되는 경우, 상기 전원 오프 명령 입력시 디스플레이되던 화면을 표시하는 것을 특징으로 하는 디스플레이 장치의 표시 방법.
  6. 제1항에 있어서,
    상기 전원 오프 명령 및 상기 전원 온 명령은,
    상기 디스플레이 장치를 제어하기 위한 리모컨의 기설정된 버튼을 누르는 명령인 것을 특징으로 하는 디스플레이 장치의 표시 방법.
  7. 제1항에 있어서,
    상기 제1 식별 정보 및 상기 제2 식별 정보는,
    상기 사용자의 얼굴을 촬영한 이미지 정보인 것을 특징으로 하는 디스플레이 장치의 표시 방법.
  8. 제1항에 있어서,
    상기 저장하는 단계는,
    상기 전원 오프 명령이 입력될 때마다, 상기 제1 식별 정보와 매칭되어 저장되어 있던 화면에 대한 정보를 갱신하여 저장하는 것을 특징으로 하는 디스플레이 장치의 표시 방법.
  9. 제1항에 있어서,
    상기 화면에 대한 정보는,
    시청 중인 채널에 대한 정보, 실행 중인 어플리케이션에 대한 정보 및 디스플레이장치의 작동 모드에 대한 정보 중 하나인 것을 특징으로 하는 디스플레이 장치의 표시 방법.
  10. 디스플레이 장치에 있어서,
    영상 데이터를 디스플레이하는 디스플레이부;
    사용자를 촬영하는 촬영부;
    저장부;
    상기 디스플레이 장치를 제어하기 위한 사용자 명령을 입력받는 입력부; 및
    사용자에 대한 제1 식별 정보를 생성하고, 상기 입력부를 통해 상기 디스플레이 장치에 대한 전원 오프 명령이 입력되면, 상기 제1 식별 정보를 현재 디스플레이되는 화면에 대한 정보에 매칭하여 저장하도록 상기 저장부를 제어하며, 상기 입력부를 통해 상기 디스플레이 장치에 대한 전원 온 명령이 입력되면, 사용자에 대한 제2 식별 정보를 생성하며, 상기 제1 식별 정보가 상기 제2 식별 정보에 대응되는지 여부를 판단하고, 상기 판단 결과에 기초하여, 상기 전원 오프 명령 입력 시 디스플레이되던 화면을 표시할 지 또는 상기 전원 오프 명령 입력 시 디스플레이되던 화면과 다른 화면을 표시할 지를 결정하는 제어부;를 포함하는 디스플레이 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 제1 식별 정보가 상기 제2 식별 정보에 대응되는 경우, 상기 전원 오프 명령 입력시 디스플레이되던 화면을 표시하고, 상기 제1 식별 정보가 상기 제2 식별 정보에 대응되지 않는 경우, 상기 전원 오프 명령 입력 시 디스플레이되던 화면과 다른 화면을 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  12. 제10항에 있어서,
    상기 제어부는,
    사용자를 촬영한 영상을 바탕으로 상기 제1 식별 정보를 생성하는 디스플레이 장치.
  13. 제10항에 있어서,
    상기 제어부는,
    상기 전원 오프 명령 입력시 복수 명의 사용자가 촬영된 경우, 촬영된 복수 명에 대한 제1 식별 정보를 각각 생성하고, 상기 복수 명 각각에 대한 제1 식별 정보 중 적어도 하나가 상기 제2 식별 정보에 대응되는 경우, 상기 전원 오프 명령 입력시 디스플레이되던 화면을 표시하도록 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  14. 제13항에 있어서,
    상기 제어부는,
    상기 전원 온 명령 입력시 복수 명의 사용자가 촬영된 경우, 촬영된 복수 명에 대한 제2 식별 정보를 각각 생성하고, 상기 복수 명 각각에 대한 제1 식별 정보와 상기 복수 명 각각에 대한 제2 식별 정보가 모두 동일한 경우, 상기 전원 오프 명령 입력시 디스플레이되던 화면을 표시하도록 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  15. 제10항에 있어서,
    상기 전원 오프 명령 및 상기 전원 온 명령은,
    상기 디스플레이 장치를 제어하기 위한 리모컨의 기설정된 버튼을 누르는 명령인 것을 특징으로 하는 디스플레이 장치.
  16. 제10항에 있어서,
    상기 제1 식별 정보 및 상기 제2 식별 정보는,
    상기 사용자의 얼굴을 촬영한 이미지 정보인 것을 특징으로 하는 디스플레이 장치.
  17. 제10항에 있어서,
    상기 제어부는,
    상기 전원 오프 명령이 입력될 때마다, 상기 제1 식별 정보와 매칭되어 저장되어 있던 화면을 갱신하여 저장하도록 저장부를 제어하는 것을 특징으로 하는 디스플레이 장치.

KR1020140002824A 2014-01-09 2014-01-09 디스플레이 장치 및 디스플레이 장치의 표시 방법 KR102160736B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140002824A KR102160736B1 (ko) 2014-01-09 2014-01-09 디스플레이 장치 및 디스플레이 장치의 표시 방법
US14/468,534 US9563252B2 (en) 2014-01-09 2014-08-26 Display apparatus and display method thereof
EP14197789.2A EP2894866B1 (en) 2014-01-09 2014-12-12 Display apparatus and display method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140002824A KR102160736B1 (ko) 2014-01-09 2014-01-09 디스플레이 장치 및 디스플레이 장치의 표시 방법

Publications (2)

Publication Number Publication Date
KR20150083267A KR20150083267A (ko) 2015-07-17
KR102160736B1 true KR102160736B1 (ko) 2020-09-28

Family

ID=52282390

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140002824A KR102160736B1 (ko) 2014-01-09 2014-01-09 디스플레이 장치 및 디스플레이 장치의 표시 방법

Country Status (3)

Country Link
US (1) US9563252B2 (ko)
EP (1) EP2894866B1 (ko)
KR (1) KR102160736B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10313731B1 (en) 2017-04-28 2019-06-04 Cox Communications, Inc. Roaming video session with radio frequency remote control
US20210271358A1 (en) * 2018-06-28 2021-09-02 Sony Corporation Information processing apparatus for executing in parallel plurality of pieces of processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090285454A1 (en) * 2008-05-15 2009-11-19 Samsung Electronics Co., Ltd. Method and system for facial recognition training of users of entertainment systems
US20110007141A1 (en) * 2009-07-09 2011-01-13 Sony Corporation System and method for displaying content on a television in standby mode
US20130179698A1 (en) * 2012-01-06 2013-07-11 United Video Properties, Inc. Systems and methods for options relating to power-on of a user equipment device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI222029B (en) * 2001-12-04 2004-10-11 Desun Technology Co Ltd Two-in-one image display/image capture apparatus and the method thereof and identification system using the same
WO2009067670A1 (en) * 2007-11-21 2009-05-28 Gesturetek, Inc. Media preferences
US20120054634A1 (en) 2010-08-27 2012-03-01 Sony Corporation Apparatus for and method of creating a customized ui based on user preference data
EP2490151A1 (en) 2011-02-17 2012-08-22 Nagravision S.A. Method and device to speed up face recognition
US8965170B1 (en) * 2012-09-04 2015-02-24 Google Inc. Automatic transition of content based on facial recognition
JP2014127879A (ja) * 2012-12-26 2014-07-07 Panasonic Corp 放送画像出力装置、放送画像出力方法、およびテレビ
US20150074695A1 (en) * 2013-09-12 2015-03-12 Top Victory Investments Limited Method for channel selection, channel selecting device, and television system including the channel selecting device and a television device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090285454A1 (en) * 2008-05-15 2009-11-19 Samsung Electronics Co., Ltd. Method and system for facial recognition training of users of entertainment systems
US20110007141A1 (en) * 2009-07-09 2011-01-13 Sony Corporation System and method for displaying content on a television in standby mode
US20130179698A1 (en) * 2012-01-06 2013-07-11 United Video Properties, Inc. Systems and methods for options relating to power-on of a user equipment device

Also Published As

Publication number Publication date
US9563252B2 (en) 2017-02-07
EP2894866B1 (en) 2016-10-26
KR20150083267A (ko) 2015-07-17
US20150195595A1 (en) 2015-07-09
EP2894866A1 (en) 2015-07-15

Similar Documents

Publication Publication Date Title
US9319632B2 (en) Display apparatus and method for video calling thereof
KR102246120B1 (ko) 디스플레이 장치를 제어하기 위한 사용자 단말 및 이의 제어 방법
US20150279369A1 (en) Display apparatus and user interaction method thereof
US20150029089A1 (en) Display apparatus and method for providing personalized service thereof
KR102155129B1 (ko) 디스플레이 장치, 디스플레이 장치의 제어 방법 및 디스플레이 시스템
KR102189648B1 (ko) 디스플레이 장치, 이의 제어 방법 및 디스플레이 시스템
KR20140019630A (ko) 이미지에 대한 부가 정보 태깅 및 검색 방법과 시스템, 기기와 그 기록 매체
KR102496225B1 (ko) 영상 인코딩 방법 및 이를 지원하는 전자 장치
CN111343512B (zh) 信息获取方法、显示设备及服务器
CN111699673A (zh) 电子设备及其操作方法
US20190012129A1 (en) Display apparatus and method for controlling display apparatus
KR102160736B1 (ko) 디스플레이 장치 및 디스플레이 장치의 표시 방법
CN111656767A (zh) 电子装置及其操作方法
CN111556350B (zh) 一种智能终端及人机交互方法
KR102424839B1 (ko) 디스플레이 장치 및 이의 제어 방법
KR20150034956A (ko) 컨텐츠 인식 방법 및 이를 적용한 디스플레이 장치, 그리고 컨텐츠 인식 시스템
KR102414783B1 (ko) 전자 장치 및 이의 제어방법
US20190172460A1 (en) Electronic apparatus and control method thereof
TWI595406B (zh) 顯示裝置及其傳遞訊息的方法
KR20210155505A (ko) 이동 가능한 전자장치 및 그 제어방법
CN113542878A (zh) 一种基于人脸识别与手势检测的唤醒方法及显示设备
EP4210343A1 (en) Control device and operation method thereof
KR20240026000A (ko) 전자 장치 및 그 동작 방법
KR20150129557A (ko) 디스플레이 장치 및 이의 제어 방법
KR20150064597A (ko) 디스플레이 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant