KR102291593B1 - 영상표시장치 및 그의 동작방법 - Google Patents

영상표시장치 및 그의 동작방법 Download PDF

Info

Publication number
KR102291593B1
KR102291593B1 KR1020190175180A KR20190175180A KR102291593B1 KR 102291593 B1 KR102291593 B1 KR 102291593B1 KR 1020190175180 A KR1020190175180 A KR 1020190175180A KR 20190175180 A KR20190175180 A KR 20190175180A KR 102291593 B1 KR102291593 B1 KR 102291593B1
Authority
KR
South Korea
Prior art keywords
image
display
user
face
object corresponding
Prior art date
Application number
KR1020190175180A
Other languages
English (en)
Other versions
KR20210082837A (ko
Inventor
하준우
한재웅
임대웅
박정훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190175180A priority Critical patent/KR102291593B1/ko
Priority to PCT/KR2020/017669 priority patent/WO2021132931A1/en
Priority to US17/112,189 priority patent/US11460904B2/en
Publication of KR20210082837A publication Critical patent/KR20210082837A/ko
Application granted granted Critical
Publication of KR102291593B1 publication Critical patent/KR102291593B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G09G2330/022—Power management, e.g. power saving in absence of operation, e.g. no data being entered during a predetermined time
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은, 영상표시장치에 관한 것이다. 본 발명의 일 실시예에 따른 영상처리장치는, 입력부, 카메라, 디스플레이 및 제어부를 포함하고, 제어부는, 디스플레이가 온(on)되어 화면이 표시되는 동안 입력부를 통해 사용자 입력이 수신되는지 여부를 확인하고, 기 설정된 제1 시간 동안 사용자 입력이 수신되지 않는 경우, 카메라를 통해 제1 영상을 획득하고, 획득한 제1 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는지 여부를 판단하고, 획득한 제1 영상에 사용자의 얼굴에 대응하는 객체가 포함되어 있지 않은 경우, 디스플레이가 오프(off)되도록 제어할 수 있다. 그 외에 다양한 실시예들이 가능하다.

Description

영상표시장치 및 그의 동작방법{IMAGE DISPLAYING APPARATUS AND METHOD THEREOF}
본 발명은, 영상표시장치 및 그의 동작방법에 관한 것이다.
영상표시장치는 사용자가 시청할 수 있는 영상을 제공하는 기능을 갖춘 장치이다. 예를 들면, 영상표시장치는, 영상을 표시하는 디스플레이를 포함하는 다양한 전자 장치를 포함할 수 있다.
한편, 전자 장치의 불필요한 전력 소모를 줄이기 위해 다양한 방안이 제안되고 있다. 전자 장치의 전체 소비 전력 중에서, 디스플레이를 통한 화면 표시를 위해 소비되는 전력이 많은 부분을 차지하는 점을 고려하여, 종래에는 기 설정된 일정 시간 동안 사용자가 전자 장치를 사용하지 않는 경우, 전자 장치의 디스플레이가 자동으로 오프(off)되어, 화면이 꺼지도록 하는 방식이 일반적으로 사용하고 있다.
그러나 종래의 방식에 따르면, 사용자 입력이 일정 시간동안 입력 장치를 통해 수신되는지에 따라, 사용자가 전자 장치를 사용 중인지 여부를 판단하고, 사용 중이 아닌 것으로 판단되면 디스플레이를 오프(off)시키는 것이 일반적인데, 이에 따르면, 사용자가 단순히 화면을 응시하고 있는 경우에도 일정 시간이 경과되면 디스플레이가 자동으로 오프됨에 따라 화면이 꺼지게 되어, 사용자는 디스플레이를 다시 온(on)시키기 위해 불필요하게 입력 장치를 조작해야 하는 불편함이 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다.
또 다른 목적은, 카메라를 통해 획득한 영상에 따라 사용자의 사용 환경을 파악하여, 디스플레이의 온/오프를 제어할 수 있는 영상표시장치 및 그의 동작방법을 제공함에 있다.
상기 목적을 달성하기 위한, 본 발명의 일 실시예에 따른 영상표시장치는, 입력부, 카메라, 디스플레이 및 제어부를 포함하고, 제어부는, 디스플레이가 온(on)되어 화면이 표시되는 동안 입력부를 통해 사용자 입력이 수신되는지 여부를 확인하고, 기 설정된 제1 시간 동안 사용자 입력이 수신되지 않는 경우, 카메라를 통해 제1 영상을 획득하고, 획득한 제1 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는지 여부를 판단하고, 획득한 제1 영상에 사용자의 얼굴에 대응하는 객체가 포함되어 있지 않은 경우, 디스플레이가 오프(off)되도록 제어할 수 있다.
상기 목적을 달성하기 위한, 본 발명의 일 실시예에 따른 영상표시장치의 동작방법은, 영상표시장치에 포함된 디스플레이가 온(on)되어 화면이 표시되는 동안, 사용자 입력이 수신되는지 여부를 확인하는 동작, 기 설정된 제1 시간 동안 사용자 입력이 수신되지 않는 경우, 카메라를 통해 제1 영상을 획득하는 동작, 획득한 제1 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는지 여부를 판단하는 동작 및 획득한 제1 영상에 사용자의 얼굴에 대응하는 객체가 포함되어 있지 않은 경우, 디스플레이를 오프(off)하는 동작을 포함할 수 있다.
본 발명에 따른 영상표시장치 및 그의 동작방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 적어도 하나의 실시예에 따르면, 사용자 입력과 더불어 카메라를 통해 획득한 영상에 따라 사용자의 사용 여부를 정확히 판단하고, 사용자의 의도에 맞게 디스플레이의 온/오프를 정확히 제어할 수 있어, 영상표시장치에 대한 사용 편의성을 향상시킬 수 있다.
또한, 본 발명의 적어도 하나의 실시예에 따르면, 사용자 입력에 따라 디스플레이의 온/오프를 제어하는 경우에 비해, 영상표시장치의 불필요한 전력 소모를 줄일 수 있다.
또한, 본 발명의 적어도 하나의 실시예에 따르면, 인증된 사용자의 사용인지 여부에 따라 디스플레이의 온/오프를 제어할 수 있어, 사용자의 프라이버시를 보호할 수 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1a 및 1b는, 본 발명의 다양한 실시예에 따른, 영상표시장치를 나타내는 도면이다.
도 2는, 도 1의 영상표시장치의 내부 블록도의 일 예이다.
도 3은, 본 발명의 일 실시예에 따른, 영상표시장치의 동작 방법에 관한 순서도이다.
도 4는, 도 3의 영상표시장치의 동작에 대한 설명에 참조되는 도면이다.
도 5은, 본 발명의 다른 일 실시예에 따른, 영상표시장치의 동작 방법에 관한 순서도이다.
도 6는, 도 5의 영상표시장치의 동작에 대한 설명에 참조되는 도면이다.
도 7은, 본 발명의 다양한 실시예에 따른 영상표시장치의 동작에 따른 소비 전력에 대한 설명에 참조되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다. 도면에서는 본 발명을 명확하고 간략하게 설명하기 위하여 설명과 관계없는 부분의 도시를 생략하였으며, 명세서 전체를 통하여 동일 또는 극히 유사한 부분에 대해서는 동일한 도면 참조부호를 사용한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것들의 존재, 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에서, 다양한 요소들을 설명하기 위해 제1, 제2 등의 용어가 이용될 수 있으나, 이러한 요소들은 이러한 용어들에 의해 제한되지 아니한다. 이러한 용어들은 한 요소를 다른 요소로부터 구별하기 위해서만 이용된다.
도 1a 및 1b는, 본 발명의 다양한 실시예에 따른, 영상표시장치를 나타내는 도면이다.
영상표시장치(100)는, 영상을 처리하여 출력하는 장치일 수 있다. 영상표시장치(100)는, TV(television), 노트북 컴퓨터(notebook computer), 스마트 폰(smart phone), 태블릿 pc(tablet computer) 등 영상이 표시된 화면을 출력할 수 있는 것이라면 특별히 한정하지 않는다.
영상표시장치(100)는, 방송 신호를 수신하여 이를 신호 처리하고, 신호 처리된 방송 영상을 출력할 수도 있다. 영상표시장치(100)가 방송 신호를 수신하는 경우, 영상표시장치(100)가 방송 수신 장치에 해당할 수 있다. 이때, 영상표시장치(100)는, 안테나를 통해 무선으로 방송 신호를 수신할 수도 있고, 케이블(cable)을 통해 유선으로 방송 신호를 수신할 수도 있다. 예를 들면, 영상표시장치(100)는, 지상파 방송 신호, 위성 방송 신호, 케이블 방송 신호, IPTV(Internet Protocol Television) 방송 신호 등을 수신할 수 있다.
도 1a를 참조하면, 영상표시장치(100)는, 디스플레이 장치(200), 처리 장치(300), 및/또는 원격제어장치(400)를 포함할 수 있다. 영상표시장치(100)는, 영상을 획득하는 카메라(500)를 더 포함할 수 있다.
디스플레이 장치(200)는, 디스플레이(160)를 포함하고, 처리 장치(300)로부터 수신되는 영상 신호에 기초하여 영상을 출력할 수 있다. 예를 들면, 디스플레이 장치(200)는, 처리 장치(300)로부터 수신된 영상을 저장하고, 디스플레이 장치(200)의 화면 크기와 초당 표시할 수 있는 프레임 개수 등에 따라 저장된 영상을 출력할 수 있다.
디스플레이 장치(200)는, TV, 모니터, 프로젝터 등 영상 신호에 대응하는 화면을 출력할 수 있는 것이라면 특별히 한정하지 않는다.
처리 장치(300)는, 컴퓨터(computer) 등 영상에 대응하는 RGB 데이터를 포함하는 신호를 디스플레이 장치(200)에 전송할 수 있는 것이라면 특별히 한정하지 않는다.
원격제어장치(400)는, 디스플레이 장치(100) 및/또는 처리 장치(300)와 유/무선으로 연결되어, 각종 제어신호를 제공할 수 있다. 이때, 원격제어장치(400)는, 디스플레이 장치(100) 및/또는 처리 장치(300)와 유/무선 네트워크를 수립하여, 수립된 네트워크를 통해, 각종 제어신호를 전송하거나, 각종 동작과 관련된 신호를 수신하는 장치를 포함할 수 있다.
예컨대, 원격제어장치(400)로는, 마우스(400a), 키보드(400b), 공간 리모콘(400c), 트랙볼, 조이스틱 등의 다양한 입력 장치가 이용될 수 있다. 원격제어장치(400)는 외부 디바이스, 입력 장치, 입력부 등으로 명명될 수 있으며, 이하에서는 필요에 따라 다양하게 혼용되어 사용될 수 있음을 미리 밝혀 둔다.
도 1b를 참조하면, 영상표시장치(100)는, 디스플레이(160), 처리 장치(예: 도 1a의 처리장치(300)), 입력 장치(400) 및/또는 카메라(500)를 포함하는 하나의 전자 장치일 수 있다.
예를 들면, 영상표시장치(100)는, 디스플레이(160), 키보드(400b), 터치 패드(400d), 카메라(500)를 모두 포함하는 노트북 컴퓨터일 수 있다.
도 2는, 도 1의 영상표시장치의 내부 블록도의 일 예이다.
도 2를 참조하면, 영상표시장치(100)는, 네트워크 인터페이스부(110), 외부장치 인터페이스부(120), 저장부(130), 센서부(140), 영상 획득부(145), 입력부(150), 디스플레이(160), 오디오 출력부(170), 전원 공급부(180) 및/또는 제어부(190)를 포함할 수 있다.
네트워크 인터페이스부(110)는, 영상표시장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 예를 들면, 네트워크 인터페이스부(110)는, 연결된 네트워크를 통해, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다.
한편, 네트워크 인터페이스부(110)는, 유/무선 네트워크와의 연결을 위한 통신 모듈(미도시)를 포함할 수 있다.
외부장치 인터페이스부(120)는, 접속된 외부 장치와 데이터를 송신 또는 수신할 수 있다. 이를 위해, 외부장치 인터페이스부(120)는, A/V 입출력부(미도시)를 포함할 수 있다.
외부장치 인터페이스부(120)는, DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 스마트 폰 등과 같은 외부 장치와 유/무선으로 접속될 수 있으며, 외부 장치와 입력/출력 동작을 수행할 수도 있다.
또한, 외부장치 인터페이스부(120)는, 도 1a 및 1b에 도시된 것과 같은 다양한 원격제어장치(200)와 통신 네트워크를 수립하여, 원격제어장치(200)로부터 영상표시장치(100)의 동작과 관련된 제어신호를 수신하거나, 영상표시장치(100)의 동작과 관련된 데이터를 원격제어장치(200)로 전송할 수 있다.
A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 입력받을 수 있다.
외부장치 인터페이스부(120)는, 다른 전자기기와의 근거리 무선 통신을 위한, 무선 통신부(미도시)를 포함할 수 있다. 이러한 무선 통신부(미도시)를 통해, 외부장치 인터페이스부(120)는, 인접하는 이동 단말기와 근거리 무선 통신을 통해 데이터를 교환할 수 있다.
저장부(130)는, 제어부(190) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수도 있다.
예를 들면, 저장부(130)는 제어부(190)에 의해 처리 가능한 다양한 작업들을 수행하기 위한 목적으로 설계된 응용 프로그램들을 저장하고, 제어부(190)의 요청 시, 저장된 응용 프로그램들 중 일부를 선택적으로 제공할 수 있다.
저장부(130)에 저장되는 프로그램 등은, 제어부(190)에 의해 실행될 수 있는 것이라면 특별히 한정하지 않는다.
도 2의 저장부(130)가 제어부(190)와 별도로 구비된 실시예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않으며, 제어부(190) 내에 저장부(130)의 적어도 일부가 포함될 수도 있다.
저장부(130)는, 휘발성 메모리(예: DRAM, SRAM, SDRAM 등)나, 비휘발성 메모리(예: 플래시 메모리(Flash memory), 하드 디스크 드라이브(Hard disk drive; HDD), 솔리드 스테이트 드라이브(Solid-state drive; SSD) 등) 중 적어도 하나를 포함할 수 있다.
저장부(130)는, 딥 러닝 등 머신 러닝을 통해 기 학습된 데이터, 모델, 알고리즘 등을 저장할 수 있다. 예를 들면, 저장부(130)는, 데이터베이스에 저장된 영상들을 머신 러닝을 통해 기 학습한 결과에 대한 데이터를 저장할 수 있다.
머신 러닝은, 컴퓨터에게 사람이 직접 로직(logic)을 지시하지 않아도 데이터를 통해 컴퓨터가 학습을 하고, 이를 통해 컴퓨터가 문제를 해결하게 하는 것을 의미한다.
딥 러닝은, 인공신경망(Artificial Neural Networks; ANN)을 기반으로 컴퓨터에게 사람의 사고방식을 가르치는 방법으로, 컴퓨터가 스스로 사람처럼 학습할 수 있는 인공지능 기술을 의미한다. 인공신경망(ANN)은 소프트웨어 형태로 구현되거나 칩(chip) 등 하드웨어 형태로 구현될 수 있다.
예를 들면, 인공신경망(ANN)은, 심층신경망(Deep Neural Network; DNN), 합성곱신경망(Convolutional Neural Network; CNN), 순환신경망(Recurrent Neural Network; RNN), 심층신뢰신경망(Deep Belief Network; DBN) 등 다양한 종류의 알고리즘을 포함할 수 있다.
저장부(130)는, 머신 러닝을 통해 기 학습된, 영상을 처리하는 딥 러닝 기반의 인공지능 알고리즘을 저장할 수 있다.
센서부(140)는, 물리량을 계측하거나 영상 표시 장치(100)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다.
센서부(140)는, 근접 센서, 온/습도 센서, 조도 센서 등을 포함할 수 있다.
영상 획득부(145)는, 영상 표시 장치(100)의 주변의 영상을 획득할 수 있다. 예를 들면, 영상 획득부(145)는, 적어도 하나의 카메라(예: 도 1b의 카메라(500))를 포함할 수 있다.
영상 획득부(145)에 포함되는 적어도 하나의 카메라는, 디지털 카메라일 수 있다. 디지털 카메라는, 적어도 하나의 광학렌즈와, 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지센서(예를 들어, CMOS image sensor)와, 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(digital signal processor; DSP)를 포함할 수 있다. 디지털 신호 처리기는, 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.
영상 획득부(145)를 통해 획득된 영상은, 저장부(130)에 저장될 수 있다. 영상 획득부(145)를 통해 획득된 영상은, 제어부(190)로 전달될 수 있다.
입력부(150)는, 사용자 입력을 수신할 수 있는 입력 장치(예: 키, 터치 패널 등)을 구비할 수 있다. 입력부(150)는, 원격제어장치(400)에 구비된 입력 장치를 포함할 수 있다.
입력부(150)는, 입력 장치를 통해, 사용자 입력을 수신할 수 있고, 수신된 사용자 입력에 대응하는 명령을 제어부(190)에 전송할 수 있다.
디스플레이(160)는, 제어부(190)에서 처리된 영상신호, 데이터 신호, OSD 신호, 제어 신호 또는 외부장치 인터페이스부(120)로부터 수신되는 영상신호, 데이터 신호, 제어 신호 등을 변환하여 구동 신호를 생성할 수 있다.
디스플레이(160)는, 복수의 픽셀을 구비하는 디스플레이 패널(미도시)를 포함할 수 있다.
디스플레이 패널에 구비된 복수의 픽셀은, RGB의 서브 픽셀을 구비할 수 있다. 또는, 디스플레이 패널에 구비된 복수의 픽셀은, RGBW의 서브 픽셀을 구비할 수도 있다. 디스플레이(160)는, 제어부(190)에서 처리된 영상신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여, 복수의 픽셀에 대한 구동 신호를 생성할 수 있다.
디스플레이(160)는 PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 플렉서블 디스플레이(flexible display)등이 가능하며, 또한, 3차원 디스플레이(3D display)가 가능할 수도 있다. 3차원 디스플레이는, 무안경 방식과 안경 방식으로 구분될 수 있다.
한편, 디스플레이(160)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
오디오 출력부(170)는, 스피커, 버저 등의 오디오 장치를 구비할 수 있고, 제어부(190)에서 음성 처리된 신호를 입력 받아 음성으로 출력할 수 있다. 또한, 제어부(190)에서 처리된 음성 신호는, 외부장치 인터페이스부(120)를 통하여 외부 오디오 장치로 입력될 수도 있다.
전원 공급부(180)는, 영상표시장치(100)에 구비된 구성들 전반에 걸쳐 전원을 공급할 수 있다. 특히, 시스템 온 칩(System On Chip; SOC)의 형태로 구현될 수 있는 제어부(190)와, 디스플레이(160), 오디오 출력부(170) 등에 전원을 공급할 수 있다.
전원 공급부(180)는, 교류 전원을 직류 전원으로 변환하는 컨버터(미도시), 직류 전원의 레벨을 변환하는 Dc/Dc 컨버터(미도시) 등을 구비할 수 있다.
제어부(190)는, 영상표시장치(100)에 구비된 각 구성과 연결될 수 있다. 제어부(190)는, 예를 들면, 영상표시장치(100)에 구비된 각 구성과 상호 간에 신호를 송수신할 수 있고, 각 구성의 전반적인 동작을 제어할 수 있다.
제어부(190)는, 적어도 하나의 프로세서를 포함할 수 있고, 이에 포함된 프로세서를 이용하여, 영상표시장치(100)의 동작 전반을 제어할 수 있다. 여기서, 프로세서는 CPU(central processing unit)과 같은 일반적인 프로세서일 수 있다. 물론, 프로세서는 ASIC과 같은 전용 장치(dedicated device)이거나 다른 하드웨어 기반의 프로세서일 수 있다.
제어부(190)가 복수의 프로세서를 포함하는 경우, 복수의 프로세서는 하나의 칩 상에 집적될 수도 있고, 물리적으로 분리되어 배치될 수도 있다.
제어부(190)는, 센서부(140)에 포함된 조도 센서를 통해, 영상표시장치(100)의 주변 환경의 밝기(이하, 주변 밝기)를 판단할 수 있다.
제어부(190)는, 영상 획득부(145)를 통해 획득한 영상을 처리할 수 있다.
제어부(190)는, 영상 획득부(145)를 통해 획득한 영상에 포함된 적어도 하나의 객체(object)를 확인할 수 있고, 객체의 유형(type)을 판단할 수 있다. 예를 들면, 제어부(190)는, 사용자의 얼굴에 대응하는 객체, 배경에 대응하는 객체, 사물에 대응하는 객체 등이, 영상 획득부(145)를 통해 획득한 영상에 포함되어 있는지 여부를 판단할 수 있다.
이때, 제어부(190)는, 저장부(130)에 저장된 머신 러닝을 통해 기 학습된 영상을 처리하는 딥 러닝 기반의 인공지능 알고리즘을 이용하여, 영상 획득부(145)를 통해 획득한 영상에 포함된 적어도 하나의 객체를 확인할 수 있다.
제어부(190)는, 영상 획득부(145)를 통해 획득한 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는 경우, 영상에 포함된 사용자의 얼굴에 대응하는 객체가 인증된 사용자의 얼굴에 대응하는 객체인지 여부를 판단할 수 있다.
예를 들면, 저장부(130)는, 인증된 사용자의 얼굴에 대한 데이터를 저장할 수 있고, 제어부(190)는, 영상에 포함된 사용자의 얼굴에 대응하는 객체를, 인증된 사용자의 얼굴에 대한 데이터와 비교하여, 영상에 포함된 사용자의 얼굴에 대응하는 객체가 인증된 사용자의 얼굴에 대응하는 객체인지 여부를 판단할 수 있다.
제어부(190)는, 조도 센서를 통해 검출된 주변 밝기가 소정 주변 밝기 미만인 경우, 및/또는 디스플레이(160)의 화면 밝기가 소정 화면 밝기 미만인 경우, 디스플레이(160)의 화면 밝기의 레벨이 기 설정된 조건에 따라 높아지도록 제어할 수 있다. 여기서, 조도의 단위는 럭스(lux), 화면 밝기의 단위는 칸델라(candela)일 수 있으나, 조도나 화면 밝기에 대하여 다른 단위가 사용될 수도 있다. 예를 들면, 화면 밝기의 단위로 루멘(lm)이 사용될 수도 있다.
이때, 제어부(190)는, 디스플레이(160)의 화면 밝기의 레벨이 기 설정된 조건에 따라 단계적으로 높아지도록 제어할 수 있다.
제어부(190)는, 디스플레이(160)의 온/오프(on/off)를 제어할 수 있다.
제어부(190)는, 영상표시장치(100)가 동작 상태에 따라, 디스플레이(160)의 온/오프(on/off)를 제어할 수 있다. 예를 들면, 제어부(190)는, 영상표시장치(100)가 동작 대기 상태인 절전 모드(sleep mode)에 진입하는 경우, 디스플레이(160)가 오프(off)되도록 제어할 수 있다.
제어부(190)는, 입력부(150)를 통해 수신되는 사용자 입력에 따라, 디스플레이(160)의 온/오프(on/off)를 제어할 수 있다. 예를 들면, 제어부(190)는, 디스플레이(160)가 온(on)되어 화면이 표시되는 동안, 입력부(150)를 통해 사용자 입력이 수신되는지 여부를 확인할 수 있고, 사용자 입력의 수신 여부에 따라 디스플레이(160)의 온/오프(on/off)를 제어할 수 있다.
이때, 제어부(190)는, 디스플레이(160)의 온/오프(on/off)와 관련된 영상표시장치(100)의 모드에 따라, 디스플레이(160)의 온/오프(on/off)를 제어할 수 있다. 이때, 디스플레이(160)의 온/오프(on/off)와 관련된 영상표시장치(100)의 모드는, 사용자 입력에 따라 설정될 수 있다.
제어부(190)는, 영상표시장치(100)가 제1 모드로 설정된 경우, 사용자의 설정에 따라 기 설정된 일정 시간(이하, 꺼짐 시간) 동안 입력부(150)를 통해 사용자 입력이 수신되지 않으면, 제어부(190)는 디스플레이(160)가 오프(off)되도록 제어할 수 있다.
한편, 제어부(190)는, 영상표시장치(100)가 제2 모드로 설정된 경우, 기 설정된 제1 시간 동안 입력부(150)를 통해 사용자 입력이 수신되지 않으면, 제어부(190)는 영상 획득부(145)를 통해 제1 영상을 획득할 수 있다. 여기서, 기 설정된 제1 시간은, 꺼짐 시간보다 짧은 시간일 수 있다.
제어부(190)는, 제1 시간 동안 입력부(150)를 통해 사용자 입력이 수신되는 경우, 디스플레이(160)가 계속 온(on)되도록 제어할 수 있다.
제어부(190)는, 영상 획득부(145)를 통해 획득한 제1 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는지 여부를 판단할 수 있다. 여기서, 사용자의 얼굴에 대응하는 객체는, 정면 방향을 바라보는 얼굴에 대응하는 객체를 의미할 수 있다. 예를 들면, 정면 방향을 바라보는 얼굴은, 양쪽 눈, 코, 입, 및 양쪽 귀를 포함하는 얼굴을 의미할 수 있다.
제어부(190)는, 영상 획득부(145)를 통해 획득한 제1 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는 경우, 디스플레이(160)가 계속 온(on)되도록 제어할 수 있고, 제1 영상에 사용자의 얼굴에 대응하는 객체가 포함되어 있지 않은 경우, 디스플레이(160)가 오프(off)되도록 제어할 수 있다.
제어부(190)는, 영상 획득부(145)를 통해 획득한 제1 영상에 사용자의 얼굴에 대응하는 객체가 포함되어 있지 않은 경우, 디스플레이(160)의 오프(off)에 대한 메시지를 디스플레이(160) 및/또는 오디오 출력부(170)를 통해 출력할 수 있다.
예를 들면, 제어부(190)는, 제2 시간 후 디스플레이(160)가 오프(off)됨을 사용자에게 통지하는 메시지를, 디스플레이(160)를 통해 출력할 수 있다.
이때, 메시지의 출력 후 제2 시간 동안 사용자 입력이 수신되는 경우, 제어부(190)는 디스플레이(160)가 계속 온(on)되도록 제어할 수 있고, 제2 시간 동안 사용자 입력이 수신되지 않는 경우, 디스플레이(160)가 오프(off)되도록 제어할 수 있다. 여기서, 제1 시간과 제2 시간의 합은, 꺼짐 시간보다 짧은 시간일 수 있다.
한편, 제어부(190)는, 디스플레이(160)가 오프(off)된 경우, 제3 시간 동안 영상 획득부(145)를 통해 제2 영상을 획득할 수 있고, 제2 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는지 여부를 판단할 수 있다.
이때, 제어부(190)는, 영상 획득부(145)를 통해 획득한 제2 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는 경우, 디스플레이(160)가 다시 온(on)되도록 제어할 수 있고, 제2 영상에 사용자의 얼굴에 대응하는 객체가 포함되어 있지 않은 경우, 디스플레이(160)가 계속 오프(off)되도록 제어할 수 있다.
한편, 제어부(190)는, 영상 획득부(145)를 통해 획득한 영상에 인증된 사용자의 얼굴에 대응하는 객체가 포함되어 있는지 여부에 기초하여, 디스플레이(160)의 온/오프(on/off)를 제어할 수 있다. 예를 들면, 제어부(190)는, 영상표시장치(100)가 제3 모드로 설정된 경우, 영상에 인증된 사용자의 얼굴에 대응하는 객체가 포함되어 있는지 여부에 기초하여, 디스플레이(160)의 온/오프(on/off)를 제어할 수 있다.
제어부(190)는, 영상 획득부(145)를 통해 획득한 제1 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는 경우, 인증된 사용자의 얼굴에 대응하는 객체인지 여부를 판단할 수 있다.
제어부(190)는, 제1 영상에 포함된 사용자의 얼굴에 대응하는 객체가 인증된 사용자의 얼굴에 대응하는 객체인 경우, 디스플레이(160)가 계속 온(on)되도록 제어할 수 있고, 인증된 사용자의 얼굴에 대응하는 객체가 아닌 경우, 디스플레이(160)가 즉시 오프(off)되도록 제어할 수 있다.
한편, 제어부(190)는, 영상 획득부(145)를 통해 획득한 제2 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는 경우, 인증된 사용자의 얼굴에 대응하는 객체인지 여부를 판단할 수 있다.
이때, 제어부(190)는, 영상 획득부(145)를 통해 획득한 제2 영상에 인증된 사용자의 얼굴에 대응하는 객체가 포함되어 있는 경우, 디스플레이(160)가 다시 온(on)되도록 제어할 수 있고, 제2 영상에 인증된 사용자의 얼굴에 대응하는 객체가 포함되어 있지 않은 경우, 디스플레이(160)가 계속 오프(off)되도록 제어할 수 있다.
한편, 제어부(190)는, 디스플레이(160)의 오프(off)에 대한 메시지의 출력 후, 사용자 입력이 수신되는 경우, 영상 획득부(145)를 통해 영상을 획득할 수 있고, 획득한 영상에 인증된 사용자의 얼굴에 대응하는 객체가 포함되어 있는 경우, 디스플레이(160)가 계속 온(on)되도록 제어할 수 있다.
또한, 제어부(190)는, 디스플레이(160)가 오프(off)된 후, 사용자 입력이 수신되는 경우, 영상 획득부(145)를 통해 영상을 획득할 수 있고, 획득한 영상에 인증된 사용자의 얼굴에 대응하는 객체가 포함되어 있는 경우, 디스플레이(160)가 다시 온(on)되도록 제어할 수 있다.
한편, 도 2에 도시된 영상표시장치(100)의 블록도는 본 발명의 일 실시예를 위한 블록도일 뿐, 블록도의 각 구성요소는 실제 구현되는 영상표시장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 3은, 본 발명의 일 실시예에 따른, 영상표시장치의 동작 방법에 관한 순서도이고, 도 4는, 도 3의 영상표시장치의 동작에 대한 설명에 참조되는 도면이다.
도 3을 참조하면, 영상표시장치(100)는, S301 동작에서, 디스플레이(160)를 온(on)시켜 화면을 출력할 수 있다.
영상표시장치(100)는, S302 동작에서, 디스플레이(160)가 온(on)되어 화면이 표시되는 동안, 입력부(150)를 통해 사용자 입력이 수신되는지 여부를 확인할 수 있다.
도 4를 참조하면, 디스플레이(160)의 온/오프(on/off)와 관련된 영상표시장치(100)의 모드를 설정하는 화면을 확인할 수 있다.
영상표시장치(100)는, 설정된 꺼짐 시간에 따라 디스플레이(160)의 온/오프(on/off)를 제어하는 제1 모드를 제공할 수 있다.
사용자는, 영상표시장치(100)가 배터리에 저장된 전력을 사용하는 경우와, 외부로부터 공급되는 전원을 사용하는 경우에 있어서, 꺼짐 시간을 설정할 수 있다.
도 4에 도시된 바와 같이, 영상표시장치(100)가 배터리에 저장된 전력을 사용하는 경우의 꺼짐 시간(410)과, 외부로부터 공급되는 전원을 사용하는 경우의 꺼짐 시간(420)은, 서로 다르게 설정될 수 있다.
영상표시장치(100)가 제1 모드로 설정된 경우, 영상표시장치(100)는, 사용자가 설정한 꺼짐 시간 동안 사용자 입력이 수신되지 않는 경우, 디스플레이(160)를 오프(off)시킬 수 있다.
한편, 영상표시장치(100)는, 영상 획득부(145)를 통해 사용자가 부재 중인지 여부를 판단하여, 디스플레이(160)의 온/오프(on/off)를 제어하는 제2 모드를 제공할 수 있다.
도 4에 도시된 바와 같이, 사용자가 화면에 표시된 포인터(165)를 통해 제2 모드의 설정을 위한 인디케이터(430)를 선택하는 경우, 영상표시장치(100)는 제2 모드에 따라 디스플레이(160)의 온/오프(on/off)를 제어할 수 있다. 이하에서는, 영상표시장치(100)가 제2 모드로 설정된 경우에 있어서 수행되는 동작을 설명하도록 한다.
다시 도 3을 참조하면, 영상표시장치(100)는, S303 동작에서, 기 설정된 제1 시간(예: 1분) 동안 입력부(150)를 통해 사용자 입력이 수신되는지 여부를 판단할 수 있다.
영상표시장치(100)는, 제1 시간 이내에 사용자 입력이 수신되는 경우, 디스플레이(160)가 계속 온(on)되도록 제어할 수 있고, S302 동작으로 분기하여, 입력부(150)를 통해 사용자 입력이 수신되는지 여부를 계속 판단할 수 있다.
한편, 영상표시장치(100)는, S304 동작에서, 기 설정된 제1 시간 동안 입력부(150)를 통해 사용자 입력이 수신되지 않는 경우, 영상 획득부(145)를 통해 제1 영상을 획득할 수 있다.
이때, 조도 센서를 통해 검출된 영상표시장치(100)의 주변 밝기가 소정 주변 밝기 미만이고, 디스플레이(160)의 화면 밝기가 소정 화면 밝기 미만인 경우, 디스플레이(160)의 화면 밝기의 레벨이 기 설정된 조건에 따라 높아지도록 제어할 수 있고, 디스플레이(160)의 화면 밝기의 레벨이 기 설정된 조건에 따라 높아진 경우, 영상 획득부(145)를 통해 제1 영상을 획득할 수도 있다.
한편, 영상표시장치(100)는, 디스플레이(160)의 화면 밝기의 레벨이 기 설정된 조건에 따라 단계적으로 높아지도록 제어할 수도 있고, 디스플레이(160)의 화면 밝기의 레벨이 단계적으로 높아질 때마다 영상 획득부(145)를 통해 제1 영상을 획득할 수도 있다.
영상표시장치(100)는, S305 동작에서, 영상 획득부(145)를 통해 획득한 제1 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는지 여부를 판단할 수 있다.
영상표시장치(100)는, 제1 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함된 경우, 디스플레이(160)가 계속 온(on)되도록 제어할 수 있고, S302 동작으로 분기하여, 입력부(150)를 통해 사용자 입력이 수신되는지 여부를 계속 판단할 수 있다.
한편, 영상표시장치(100)는, S306 동작에서, 영상 획득부(145)를 통해 획득한 제1 영상에 사용자의 얼굴에 대응하는 객체가 포함되어 있지 않은 경우, 디스플레이(160)의 오프(off)에 대한 메시지를 디스플레이(160) 및/또는 오디오 출력부(170)를 통해 출력할 수 있다.
영상표시장치(100)는, S307 동작에서, 디스플레이(160)의 오프(off)에 대한 메시지의 출력 후, 제2 시간(예: 10초) 동안 사용자 입력이 수신되는지 여부를 판단할 수 있다.
영상표시장치(100)는, 제2 시간 이내에 사용자 입력이 수신되는 경우, 디스플레이(160)가 계속 온(on)되도록 제어할 수 있고, S302 동작으로 분기하여, 입력부(150)를 통해 사용자 입력이 수신되는지 여부를 계속 판단할 수 있다.
한편, 영상표시장치(100)는, S308 동작에서, 제2 시간 동안 사용자 입력이 수신되지 않는 경우, 디스플레이(160)가 오프(off)되도록 제어할 수 있다.
영상표시장치(100)는, S309 동작에서, 디스플레이(160)가 오프(off)된 후 제3 시간 동안 영상 획득부(145)를 통해 제2 영상을 획득할 수 있다.
이때, 조도 센서를 통해 검출된 영상표시장치(100)의 주변 밝기가 소정 주변 밝기 미만인 경우, 디스플레이(160)의 화면 밝기의 레벨이 기 설정된 조건에 따라 높아지도록 제어할 수 있고, 디스플레이(160)의 화면 밝기의 레벨이 기 설정된 조건에 따라 높아진 경우, 영상 획득부(145)를 통해 제2 영상을 획득할 수도 있다. 이때, 디스플레이(160)를 통해 출력되는 화면은, 사용자의 프라이버시를 보호하기 위해 기 설정된 화면일 수 있다.
한편, 영상표시장치(100)는, 디스플레이(160)의 화면 밝기의 레벨이 기 설정된 조건에 따라 단계적으로 높아지도록 제어할 수도 있고, 디스플레이(160)의 화면 밝기의 레벨이 단계적으로 높아질 때마다 영상 획득부(145)를 통해 제2 영상을 획득할 수도 있다.
영상표시장치(100)는, S310 동작에서, 영상 획득부(145)를 통해 획득한 제2 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는지 여부를 판단할 수 있다.
영상표시장치(100)는, 제2 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는 경우, S301 동작으로 분기하여, 디스플레이(160)가 다시 온(on)되도록 제어할 수 있다.
한편, 영상표시장치(100)는, 제3 시간 동안 영상 획득부(145)를 통해 획득한 제2 영상에도 사용자의 얼굴에 대응하는 객체가 포함되어 있지 않은 경우, 디스플레이(160)가 계속 오프(off)되도록 제어할 수 있다.
도 5은, 본 발명의 다른 일 실시예에 따른, 영상표시장치의 동작 방법에 관한 순서도이고, 도 6는, 도 5의 영상표시장치의 동작에 대한 설명에 참조되는 도면이다. 도 3 및 4에서 설명한 내용과 중복되는 내용에 대해서는 상세한 설명을 생략하도록 한다.
도 5를 참조하면, 영상표시장치(100)는, S501 동작에서, 디스플레이(160)를 온(on)시켜 화면을 출력할 수 있다.
영상표시장치(100)는, S502 동작에서, 디스플레이(160)가 온(on)되어 화면이 표시되는 동안, 입력부(150)를 통해 사용자 입력이 수신되는지 여부를 확인할 수 있다.
도 6을 참조하면, 디스플레이(160)의 온/오프(on/off)와 관련된 영상표시장치(100)의 모드를 설정하는 화면을 확인할 수 있다.
영상표시장치(100)는, 사용자에 의해 설정된 꺼짐 시간(410, 420)에 따라 디스플레이(160)의 온/오프(on/off)를 제어하는 제1 모드를 제공할 수 있다.
영상표시장치(100)가 제1 모드로 설정된 경우, 영상표시장치(100)는, 사용자가 설정한 꺼짐 시간(410, 420) 동안 사용자 입력이 수신되지 않는 경우, 디스플레이(160)를 오프(off)시킬 수 있다.
한편, 영상표시장치(100)는, 영상 획득부(145)를 통해 사용자가 부재 중인지 여부를 판단하여, 디스플레이(160)의 온/오프(on/off)를 제어하는 제2 모드를 제공할 수 있다.
이때, 사용자가 화면에 표시된 포인터(165)를 통해 제2 모드의 설정을 위한 인디케이터(430)를 선택하는 경우, 인증된 사용자인지 여부를 판단하여 디스플레이(160)의 온/오프(on/off)를 제어하는, 사용자의 프라이버시를 보호하는 기능을 제공하는 제3 모드의 설정을 위한 인디케이터(440)가 활성화될 수 있다.
사용자가 화면에 표시된 포인터(165)를 통해 제3 모드의 설정을 위한 인디케이터(440)를 선택하는 경우, 영상표시장치(100)는 제3 모드에 따라 디스플레이(160)의 온/오프(on/off)를 제어할 수 있다. 이하에서는, 영상표시장치(100)가 제3 모드로 설정된 경우에 있어서 수행되는 동작을 설명하도록 한다.
다시 도 5을 참조하면, 영상표시장치(100)는, S503 동작에서, 기 설정된 제1 시간(예: 1분) 동안 입력부(150)를 통해 사용자 입력이 수신되는지 여부를 판단할 수 있다.
영상표시장치(100)는, 제1 시간 이내에 사용자 입력이 수신되는 경우, 디스플레이(160)가 계속 온(on)되도록 제어할 수 있고, S502 동작으로 분기하여, 입력부(150)를 통해 사용자 입력이 수신되는지 여부를 계속 판단할 수 있다.
한편, 영상표시장치(100)는, S504 동작에서, 기 설정된 제1 시간 동안 입력부(150)를 통해 사용자 입력이 수신되지 않는 경우, 영상 획득부(145)를 통해 제1 영상을 획득할 수 있다.
영상표시장치(100)는, S505 동작에서, 영상 획득부(145)를 통해 획득한 제1 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는지 여부를 판단할 수 있다.
영상표시장치(100)는, S506 동작에서, 영상 획득부(145)를 통해 획득한 제1 영상에 사용자의 얼굴에 대응하는 객체가 포함되어 있지 않은 경우, 디스플레이(160)의 오프(off)에 대한 메시지를 디스플레이(160) 및/또는 오디오 출력부(170)를 통해 출력할 수 있다.
영상표시장치(100)는, S507 동작에서, 디스플레이(160)의 오프(off)에 대한 메시지의 출력 후, 제2 시간(예: 10초) 동안 사용자 입력이 수신되는지 여부를 판단할 수 있다.
영상표시장치(100)는, 제2 시간 이내에 사용자 입력이 수신되는 경우, S504 동작으로 분기하여, 영상 획득부(145)를 통해 제1 영상을 다시 획득할 수 있고, 제1 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는지 여부를 다시 판단할 수 있다.
영상표시장치(100)는, S509 동작에서, 제2 시간 이내에 사용자 입력이 수신되지 않는 경우, 디스플레이(160)가 오프(off)되도록 제어할 수 있다.
한편, 영상표시장치(100)는, S508 동작에서, 제1 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함된 경우, 제1 영상에 포함된 사용자의 얼굴에 대응하는 객체가 인증된 사용자의 얼굴에 대응하는 객체인지 여부를 판단할 수 있다.
영상표시장치(100)는, 제1 영상에 포함된 사용자의 얼굴에 대응하는 객체가 인증된 사용자의 얼굴에 대응하는 객체인 경우, 디스플레이(160)가 계속 온(on)되도록 제어할 수 있고, 입력부(150)를 통해 사용자 입력이 수신되는지 여부를 계속 판단할 수 있다.
한편, 영상표시장치(100)는, S509 동작에서, 제1 영상에 포함된 사용자의 얼굴에 대응하는 객체가 인증된 사용자의 얼굴에 대응하는 객체가 아닌 경우, 디스플레이(160)가 즉시 오프(off)되도록 제어할 수 있다.
영상표시장치(100)는, S510 동작에서, 디스플레이(160)가 오프(off)된 후 제3 시간 동안 영상 획득부(145)를 통해 제2 영상을 획득할 수 있다.
영상표시장치(100)는, S511 동작에서, 영상 획득부(145)를 통해 획득한 제2 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는지 여부를 판단할 수 있다.
영상표시장치(100)는, S512 동작에서, 제2 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함된 경우, 제2 영상에 포함된 사용자의 얼굴에 대응하는 객체가 인증된 사용자의 얼굴에 대응하는 객체인지 여부를 판단할 수 있다.
영상표시장치(100)는, 제2 영상에 포함된 사용자의 얼굴에 대응하는 객체가 인증된 사용자의 얼굴에 대응하는 객체인 경우, S501 동작으로 분기하여, 디스플레이(160)가 다시 온(on)되도록 제어할 수 있다.
한편, 영상표시장치(100)는, 제3 시간 동안 영상 획득부(145)를 통해 획득한 제2 영상에도 사용자의 얼굴에 대응하는 객체가 포함되어 있지 않은 경우, 또는 제2 영상에 포함된 사용자의 얼굴에 대응하는 객체가 인증된 사용자의 얼굴에 대응하는 객체가 아닌 경우, 디스플레이(160)가 계속 오프(off)되도록 제어할 수 있다.
도 7은, 본 발명의 다양한 실시예에 따른 영상표시장치의 동작에 따른 소비 전력에 대한 설명에 참조되는 도면이다.
보다 구체적으로, 도 7은, t1 시점까지 입력부(150)를 통해 사용자 입력이 수신된 후, t1 시점 이후부터 t5 시점까지 사용자 입력이 수신되지 않고, t5 시점 이후부터 다시 사용자 입력이 수신되는 경우에 있어서, 영상표시장치(100)의 소비 전력에 대한 그래프를 도시한다.
여기서, 제1 그래프(710)는, 기 설정된 꺼짐 시간에 따라 디스플레이(160)의 온/오프(on/off)가 제어되는 경우의 소비 전력에 대한 그래프이고, 제2 그래프(720)는, 영상 획득부(145)를 통해 사용자가 부재 중인지 여부를 판단하여, 디스플레이(160)의 온/오프(on/off)가 제어되는 경우의 소비 전력에 대한 그래프이다.
도 7을 참조하면, t1 시점 이후부터 사용자 입력이 수신되지 않는 경우, 제1 그래프(710)에 따르면, 사용자에 의해 기 설정된 꺼짐 시간인 t1 시점부터 t4 시점까지 디스플레이(160)가 온(on)인 상태가 유지된 후, t4 시점에 디스플레이(160)가 오프(off)되고, t5 시점까지 디스플레이(160)가 오프(off)인 상태가 유지되는 것을 확인할 수 있다.
반면, 제2 그래프(720)에 따르면, t1 시점 이후부터 사용자 입력이 수신되지 않는 경우, t2 시점에 영상 획득부(145)를 통해 획득한 제1 영상에 사용자의 얼굴에 대응하는 객체가 포함되어 있는지 여부가 판단될 수 있다. 이때, 제1 영상에 사용자의 얼굴에 대응하는 객체가 포함되어 있지 않은 경우, 사용자에 의해 기 설정된 꺼짐 시간이 경과되기 전인 t3 시점에 디스플레이(160)가 오프(off)되고, t5 시점까지 디스플레이(160)가 오프(off)인 상태가 유지되는 것을 확인할 수 있다.
상기와 같이, 본 발명의 다양한 실시예에 따르면, 사용자 입력과 더불어 영상 획득부(145)의 카메라를 통해 획득한 영상에 따라 사용자의 사용 여부를 정확히 판단하고, 사용자의 의도에 맞게 디스플레이(160)의 온/오프를 정확히 제어할 수 있어, 영상표시장치(100)에 대한 사용 편의성을 향상시킬 수 있고, 사용자 입력에만 기초하여 디스플레이(160)의 온/오프를 제어하는 경우에 비해, 영상표시장치(100)의 불필요한 전력 소모를 줄일 수 있다.
또한, 영상 획득부(145)의 카메라를 통해 획득한 영상에 기초하여, 인증된 사용자의 사용인지 여부를 판단하고, 디스플레이(160)의 온/오프를 제어할 수 있어, 영상표시장치(100)를 사용하는 인증된 사용자의 프라이버시를 보호할 수 있다.
첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
한편, 본 발명의 영상표시장치의 동작방법은 영상표시장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (10)

  1. 영상표시장치에 있어서,
    입력부;
    카메라;
    디스플레이; 및
    제어부를 포함하고,
    상기 제어부는,
    상기 디스플레이가 온(on)되어 화면이 표시되는 동안, 상기 입력부를 통해 사용자 입력이 수신되는지 여부를 확인하고,
    기 설정된 제1 시간 동안 상기 사용자 입력이 수신되지 않는 경우, 상기 카메라를 통해 제1 영상을 획득하고,
    상기 획득한 제1 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는 경우, 상기 사용자의 얼굴에 대응하는 객체 중 적어도 하나가, 인증된 사용자의 얼굴에 대응하는 객체인지 여부를 판단하고,
    상기 사용자의 얼굴에 대응하는 객체 중 적어도 하나가, 상기 인증된 사용자의 얼굴에 대응하는 객체인 경우, 상기 디스플레이가 계속 온(on)되도록 제어하고,
    상기 사용자의 얼굴에 대응하는 객체 중 어느 하나도, 상기 인증된 사용자의 얼굴에 대응하는 객체가 아닌 경우, 상기 디스플레이가 즉시 오프(off)되도록 제어하고,상기 획득한 제1 영상에 상기 사용자의 얼굴에 대응하는 객체가 포함되어 있지 않은 경우, 상기 디스플레이가 소정 조건에 따라 오프(off)되도록 제어하는 것을 특징으로 하는 영상표시장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 획득한 제1 영상에 상기 사용자의 얼굴에 대응하는 객체가 포함되어 있지 않은 경우, 상기 디스플레이의 오프(off)에 대한 메시지를, 상기 디스플레이를 통해 출력하고,상기 메시지의 출력 후 기 설정된 제2 시간 이내에 상기 사용자 입력이 수신되는 경우, 상기 디스플레이가 계속 온(on)되도록 제어하고,
    상기 제2 시간 동안 상기 사용자 입력이 수신되지 않는 경우, 상기 디스플레이가 오프(off)되도록 제어하는 것을 특징으로 하는 영상표시장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 디스플레이가 오프(off)된 경우, 기 설정된 제3 시간 동안 상기 카메라를 통해 제2 영상을 추가 획득하고,
    상기 추가 획득한 제2 영상에, 상기 인증된 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는 경우, 상기 디스플레이가 다시 온(on)되도록 제어하는 것을 특징으로 하는 영상표시장치.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 영상표시장치의 주변 밝기를 검출하는 조도 센서를 더 포함하고,
    상기 제어부는,
    상기 주변 밝기가 소정 주변 밝기 미만이고, 상기 디스플레이의 화면 밝기가 소정 화면 밝기 미만인 경우, 상기 디스플레이의 화면 밝기의 레벨이 기 설정된 조건에 따라 높아지도록 제어하고,
    상기 디스플레이의 화면 밝기의 레벨이 상기 기 설정된 조건에 따라 높아진 경우, 상기 카메라를 통해 상기 제1 영상을 획득하는 것을 특징으로 하는 영상표시장치.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 기 설정된 조건에 따라 상기 디스플레이의 화면 밝기의 레벨이 단계적으로 높아지도록 제어하고,
    상기 디스플레이의 화면 밝기의 레벨이 단계적으로 높아질 때마다, 상기 카메라를 통해 상기 제1 영상을 획득하여, 상기 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는지 여부를 판단하는 것을 특징으로 하는 영상표시장치.
  10. 영상표시장치의 동작방법에 있어서,
    상기 영상표시장치에 포함된 디스플레이가 온(on)되어 화면이 표시되는 동안, 사용자 입력이 수신되는지 여부를 확인하는 동작;
    기 설정된 제1 시간 동안 상기 사용자 입력이 수신되지 않는 경우, 카메라를 통해 제1 영상을 획득하는 동작;
    상기 획득한 제1 영상에 사용자의 얼굴에 대응하는 객체가 적어도 하나 포함되어 있는 경우, 상기 제1 영상에 포함된 객체 중 적어도 하나가, 인증된 사용자의 얼굴에 대응하는 객체인지 여부를 판단하는 동작;
    상기 사용자의 얼굴에 대응하는 객체 중 적어도 하나가, 상기 인증된 사용자의 얼굴에 대응하는 객체인 경우, 상기 디스플레이가 계속 온(on)하는 동작;
    상기 사용자의 얼굴에 대응하는 객체 중 어느 하나도, 상기 인증된 사용자의 얼굴에 대응하는 객체가 아닌 경우, 상기 디스플레이가 즉시 오프(off)하는 동작;
    상기 획득한 제1 영상에 상기 사용자의 얼굴에 대응하는 객체가 포함되어 있지 않은 경우, 상기 디스플레이를 소정 조건에 따라 오프(off)하는 동작을 포함하는 영상표시장치의 동작방법.
KR1020190175180A 2019-12-26 2019-12-26 영상표시장치 및 그의 동작방법 KR102291593B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190175180A KR102291593B1 (ko) 2019-12-26 2019-12-26 영상표시장치 및 그의 동작방법
PCT/KR2020/017669 WO2021132931A1 (en) 2019-12-26 2020-12-04 Image displaying apparatus and method of operating the same
US17/112,189 US11460904B2 (en) 2019-12-26 2020-12-04 Image displaying apparatus and method of operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190175180A KR102291593B1 (ko) 2019-12-26 2019-12-26 영상표시장치 및 그의 동작방법

Publications (2)

Publication Number Publication Date
KR20210082837A KR20210082837A (ko) 2021-07-06
KR102291593B1 true KR102291593B1 (ko) 2021-08-18

Family

ID=76547655

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190175180A KR102291593B1 (ko) 2019-12-26 2019-12-26 영상표시장치 및 그의 동작방법

Country Status (3)

Country Link
US (1) US11460904B2 (ko)
KR (1) KR102291593B1 (ko)
WO (1) WO2021132931A1 (ko)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990009936A (ko) * 1997-07-14 1999-02-05 구자홍 모니터 디스플레이 제어장치 및 그 제어방법
KR20040047360A (ko) * 2002-11-29 2004-06-05 삼성전자주식회사 디스플레이 장치의 전력 제어 방법
US20050289363A1 (en) * 2004-06-28 2005-12-29 Tsirkel Aaron M Method and apparatus for automatic realtime power management
KR20070116714A (ko) * 2006-06-06 2007-12-11 삼성전자주식회사 디지털 비디오 카메라를 구비한 텔레비전의 개인별 설정,보호자 통제, 절전 제어 방법 및 시스템
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
KR101349406B1 (ko) * 2012-05-15 2014-01-09 엘지이노텍 주식회사 디스플레이장치 및 이의 절전 방법
US9854159B2 (en) * 2012-07-20 2017-12-26 Pixart Imaging Inc. Image system with eye protection
KR20160014915A (ko) * 2014-07-30 2016-02-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
CA2902093C (en) * 2014-08-28 2023-03-07 Kevin Alan Tussy Facial recognition authentication system including path parameters
CN108563936B (zh) * 2017-12-04 2020-12-18 深圳奥比中光科技有限公司 任务执行方法、终端设备及计算机可读存储介质
US11017209B2 (en) * 2019-03-15 2021-05-25 Samsung Electronics Co., Ltd. Millimeter wave radar and camera fusion based face authentication system

Also Published As

Publication number Publication date
US11460904B2 (en) 2022-10-04
US20210200295A1 (en) 2021-07-01
WO2021132931A1 (en) 2021-07-01
KR20210082837A (ko) 2021-07-06

Similar Documents

Publication Publication Date Title
US20190045303A1 (en) Directional propagation method and apparatus for audio signal, a terminal device and a storage medium
US10096287B2 (en) Display device and method of controlling the same
EP3168837B1 (en) Liquid crystal display method and device, computer program and recording medium
US20150243052A1 (en) Display apparatus and control method thereof
KR20160046620A (ko) 디스플레이 구동 회로 및 디스플레이 시스템
US20170140713A1 (en) Liquid crystal display method, device, and storage medium
JP2019520593A (ja) 表示制御方法及び装置、電子デバイス、及びコンピュータ読み取り可能な記憶媒体
US11240550B2 (en) Electronic apparatus and control method thereof
WO2019128251A1 (zh) 蓝牙模块的重命名方法及电子设备
KR20180033681A (ko) 디스플레이 장치 및 그 파워 제어 방법
US20220301471A1 (en) Systems and methods for monitoring light emissions of electronic devices
WO2020228679A1 (zh) 显示设备及其控制方法、控制装置、控制系统
US10971053B2 (en) Electronic device for changing characteristics of display according to external light and method therefor
KR20210041757A (ko) 전자 장치 및 그 제어 방법
KR102381617B1 (ko) 반도체 장치의 동작 방법 및 반도체 시스템
KR102291593B1 (ko) 영상표시장치 및 그의 동작방법
KR20190012090A (ko) 열 이미지 기능을 구비하는 웨어러블 디바이스
KR101822310B1 (ko) 컨텐츠 표시 방법 및 장치
KR102448340B1 (ko) 디스플레이 구동 회로에 저장된 좌표 정보에 기반하여, 콘텐트의 표시 위치를 이동하기 위한 전자 장치 및 방법
WO2022068592A1 (zh) 一种显示方法及电子设备
TW201917455A (zh) 背光模組之功耗管理裝置與功耗管理方法
US20240094803A1 (en) Electronic apparatus for providing screen in posture optimized for user and control method thereof
KR20140078914A (ko) 전자 장치 및 디스플레이 구동 방법
WO2015158258A1 (zh) 一种用户姿态检测方法、装置及系统
KR20210101416A (ko) 이미지 센서 제어 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant