KR102316881B1 - 디스플레이 장치 - Google Patents

디스플레이 장치 Download PDF

Info

Publication number
KR102316881B1
KR102316881B1 KR1020200037092A KR20200037092A KR102316881B1 KR 102316881 B1 KR102316881 B1 KR 102316881B1 KR 1020200037092 A KR1020200037092 A KR 1020200037092A KR 20200037092 A KR20200037092 A KR 20200037092A KR 102316881 B1 KR102316881 B1 KR 102316881B1
Authority
KR
South Korea
Prior art keywords
mobile terminal
display
processor
display device
information
Prior art date
Application number
KR1020200037092A
Other languages
English (en)
Other versions
KR20210120414A (ko
Inventor
이동희
김태영
박대건
김효성
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020200037092A priority Critical patent/KR102316881B1/ko
Priority to US16/989,725 priority patent/US11461068B2/en
Priority to EP20190459.6A priority patent/EP3886412A1/en
Priority to CN202011417891.2A priority patent/CN113452831B/zh
Publication of KR20210120414A publication Critical patent/KR20210120414A/ko
Application granted granted Critical
Publication of KR102316881B1 publication Critical patent/KR102316881B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4432—Powering on the client, e.g. bootstrap loading using setup parameters being stored locally or received from the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/005—Discovery of network devices, e.g. terminals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/16—Details of telephonic subscriber devices including more than one display unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Telephone Function (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시의 실시 예에 따른 디스플레이 장치는 센싱 데이터를 획득하는 하나 이상의 센서들, 디스플레이, 이동 단말기와 근거리 무선 통신을 수행하는 통신 인터페이스 및 상기 획득된 센싱 데이터에 기반하여, 오브젝트의 인접 여부를 감지하고, 상기 오브젝트의 인접을 감지한 경우, 상기 이동 단말기와 자동 연결을 수행하고, 연결된 상기 이동 단말기로부터 수신된 정보를 상기 디스플레이 상에 표시하는 프로세서를 포함할 수 있다.

Description

디스플레이 장치{DISPLAY DEVICE}
본 개시는 디스플레이 장치에 관한 것으로, 보다 상세하게는, 사용자의 인접 상황을 감지할 수 있는 디스플레이 장치에 관한 것이다.
단말기의 기능은 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이에 이미지나 비디오를 출력하는 기능이 있다.
일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다.
이와 같은, 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
종래의 TV와 같은 단말기는 센서를 통해 사용자의 인접 상황을 감지하여, 사용자의 귀가를 환영하는 메시지를 출력하는 기능도 구비하고 있다.
그러나, 기존의 센서로는 애완 동물의 움직임이나, 다른 사용자의 움직임까지 인식되어, 신뢰도가 떨어지는 문제가 있었다.
또한, 종래의 단말기는 사용자의 인접 상황 감지에 따라 사용자의 스마트폰과 같은 이동 단말기와의 연동되기는 하나, 연동 후, 제한적인 기능만이 제공되었다.
본 개시는 사용자의 인접 상황을 신뢰도 있게 감지할 수 있는 디스플레이 장치의 제공을 목적으로 한다.
본 개시는 외부 기기와 자동 연결 후, 디스플레이의 AOD(Always On Display) 기능을 활성화시킬 수 있는 디스플레이 장치의 제공을 목적으로 한다.
본 개시는 외부 기기와 자동 연결 후, 외부 기기의 화면 상태에 따라 서로 다른 타입의 정보를 연동할 수 있는 디스플레이 장치의 제공을 목적으로 한다.
본 개시의 실시 예에 따른 디스플레이 장치는 센싱 데이터를 획득하는 하나 이상의 센서들, 디스플레이, 이동 단말기와 근거리 무선 통신을 수행하는 통신 인터페이스 및 상기 획득된 센싱 데이터에 기반하여, 오브젝트의 인접 여부를 감지하고, 상기 오브젝트의 인접을 감지한 경우, 상기 이동 단말기와 자동 연결을 수행하고, 연결된 상기 이동 단말기로부터 수신된 정보를 상기 디스플레이 상에 표시하는 프로세서를 포함할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 센싱 데이터를 획득하는 하나 이상의 센서들, 디스플레이, 이동 단말기와 근거리 무선 통신을 수행하는 통신 인터페이스 및 상기 획득된 센싱 데이터에 기반하여, 오브젝트의 인접 여부를 감지하고, 상기 오브젝트의 인접을 감지한 경우, 상기 이동 단말기와 자동 연결을 수행하고, 상기 이동 단말기의 화면 상태에 기초하여, 서로 다른 타입의 정보를 상기 디스플레이 상에 표시하는 프로세서를 포함할 수 있다.
본 개시의 다양한 실시 예에 따르면, 사용자의 인접 상황이 보다 정확하게 파악되어, 디스플레이 장치는 사용자의 이동 단말기와의 자동 연결을 수월하게 수행할 수 있다.
본 개시의 실시 예에 따르면, 디스플레이 장치와 자동 연결된 이동 단말기에 저장된 정보를 AOD 기능을 통해 활용하여, AOD 기능의 활용성이 증대될 수 있다.
본 개시의 실시 예에 따르면, 디스플레이 장치와 자동 연결된 이동 단말기의 화면 상태에 따라 제공되는 정보의 타입을 달리하여, 사용자의 의도에 맞는 정보를 연동할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하는 도면이다.
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 3은 본 개시의 일 실시 예에 따른 시스템의 동작 방법을 설명하는 도면이다.
도 4 내지 도 6은 본 개시의 실시 예에 따라, 디스플레이 장치가 사용자의 인접을 감지한 경우, 이동 단말기와의 자동 연동을 통해 정보를 표시하는 예를 설명하는 도면이다.
도 7은 본 개시의 또 다른 실시 예에 따른 시스템의 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 8 및 도 9는 본 개시의 실시 예에 따라 이동 단말기(200)의 화면 상태에 따라 디스플레이 장치에 연동되는 정보가 달라짐을 설명하는 실시 예들이다.
도 10은 본 개시의 실시 예에서 설명되는 제1 타입의 컨텐트 및 제2 타입의 컨텐트의 예를 설명하는 도면이다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하는 도면이다.
디스플레이 장치(100)는 TV, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 데스크탑 컴퓨터, 디지털 사이니지 등으로 구현될 수 있다.
도 1의 실시 예에 따른 디스플레이 장치(100)는 사용자에 의해 이동될 수 있는 기기일 수 있다. 이를 위해, 후술할 디스플레이 장치(100)의 스탠드 베이스(105)에는 이동에 용이하도록 바퀴가 구비될 수도 있다.
도 1을 참조하면, 본 개시의 실시 예에 다른 디스플레이 장치(100)는 헤드(101), 샤프트(103), 스탠드 베이스(105) 및 거치대(107)를 포함할 수 있다.
헤드(101)는 스탠드 베이스(105)의 상측으로 이격될 수 있다.
헤드(101)는 디스플레이(151) 및 디스플레이(151)의 외곽을 감싸는 백 커버(151a)를 구비할 수 있다.
샤프트(103)는 헤드(101) 및 스탠드 베이스(105)를 이어줄 수 있다. 샤프트(103)는 수직하게 연장될 수 있다. 샤프트(103)의 하단은 스탠드 베이스(105)의 가장자리부에 연결될 수 있다. 좀 더 상세히, 샤프트(103)의 하단은 스탠드 베이스(105)의 둘레부에 회전 가능하게 연결될 수 있다. 따라서, 헤드(101) 및 샤프트(103)는 스탠드 베이스(105)에 대해 수직축(axis)을 중심으로 회전할 수 있다.
샤프트(103)의 상부는 헤드(101)의 둘레부에 연결될 수 있다. 샤프트(103)의 상부는 수평 방향으로 헤드(101)의 둘레부를 마주볼 수 있다.
좀 더 상세히, 샤프트(103)의 상부에는 수평하게 돌출된 연결핀이 형성될 수 있고, 상기 연결핀은 헤드(101)의 둘레부에 연결될 수 있다. 헤드(101)는 상기 연결핀에 대응되는 수평축(axis)을 중심으로 틸팅될 수 있다.
스탠드 베이스(105)는 디스플레이 장치(100)를 지지하는 역할을 할 수 있다.
거치대(107)는 사용자의 스마트폰, 컵 등 사용자의 소지품을 거치할 수 있는 파트일 수 있다.
거치대(107)는 샤프트(103)의 일 지점에 연결될 수 있다. 거치대(107)는 수평하게 배치될 수 있다.
스탠드 베이스(105)부터 거치대(107)까지의 높이는, 스탠드 베이스(105)부터 헤드(101)까지의 높이보다 낮을 수 있다.
거치대(107)는 샤프트(103)에 대해 헤드(101)의 반대편에 위치할 수 있다. 좀 더 상세히, 헤드(101)는 샤프트(103)의 일측에 연결될 수 있고, 거치대(107)는 샤프트(107)의 타측에 연결될 수 있다. 따라서, 사용자는 헤드(101)에 방해받지 않고 거치대(107)에 소지품을 용이하게 거치할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성 요소들을 설명하기 위한 블록도이다.
특히, 도 2의 구성 요소들은 도 1의 헤드(101)에 구비될 수 있다.
도 2를 참조하면, 디스플레이 장치(100)는 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 메모리(170) 및 프로세서(180)를 포함할 수 있다.
통신부(110)는 유무선 통신 기술을 이용하여 다른 단말기나 외부 서버와 같은 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.
이때, 통신부(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
입력부(120)는 다양한 종류의 데이터를 획득할 수 있다.
이때, 입력부(120)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라나 마이크로폰을 센서로 취급하여, 카메라나 마이크로폰으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(180) 또는 러닝 프로세서(130)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
입력부(120)는 영상 신호 입력을 위한 카메라(Camera, 121), 오디오 신호를 수신하기 위한 마이크로폰(Microphone, 122), 사용자로부터 정보를 입력 받기 위한 사용자 입력부(User Input Unit, 123)를 포함할 수 있다.
입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어 명령으로 처리될 수 있다.
입력부(120)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 영상 정보의 입력을 위하여, 디스플레이 장치(100)는 하나 또는 복수의 카메라(121)들을 구비할 수 있다.
카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(Display Unit, 151)에 표시되거나 메모리(170)에 저장될 수 있다.
마이크로폰(122)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 디스플레이 장치(100)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크로폰(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 적용될 수 있다.
사용자 입력부(123)는 사용자로부터 정보를 입력 받기 위한 것으로서, 사용자 입력부(123)를 통해 정보가 입력되면, 프로세서(180)는 입력된 정보에 대응되도록 디스플레이 장치(100)의 동작을 제어할 수 있다.
사용자 입력부(123)는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예컨대, 단말기(100)의 전/후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다.
러닝 프로세서(130)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
이때, 러닝 프로세서(130)는 디스플레이 장치(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(130)는 메모리(170), 디스플레이 장치(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
센싱부(140)는 다양한 센서들을 이용하여 디스플레이 장치(100) 내부 정보, 디스플레이 장치(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
이때, 센싱부(140)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다.
이때, 출력부(150)에는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.
출력부(150)는 디스플레이부(Display Unit, 151), 음향 출력부(Sound Output Unit, 152), 햅틱 모듈(Haptic Module, 153), 광 출력부(Optical Output Unit, 154) 중 적어도 하나를 포함할 수 있다.
디스플레이부(151)는 디스플레이 장치(100)에서 처리되는 정보를 표시(출력)한다. 예컨대, 디스플레이부(151)는 디스플레이 장치(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 디스플레이 장치(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
음향 출력부(152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 통신부(110)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력할 수 있다.
음향 출력부(152)는 리시버(receiver), 스피커(speaker), 버저(buzzer) 중 적어도 하나 이상을 포함할 수 있다.
햅틱 모듈(haptic module)(153)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다.
광출력부(154)는 디스플레이 장치(100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 디스플레이 장치(100)에서 발생 되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.
메모리(170)는 디스플레이 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(170)는 입력부(120)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.
프로세서(180)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, 디스플레이 장치(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(180)는 디스플레이 장치(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.
이를 위해, 프로세서(180)는 러닝 프로세서(130) 또는 메모리(170)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 디스플레이 장치(100)의 구성 요소들을 제어할 수 있다.
이때, 프로세서(180)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.
프로세서(180)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
이때, 프로세서(180)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다.
이때, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(130)에 의해 학습된 것이나, 외부 서버에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.
프로세서(180)는 디스플레이 장치(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(170) 또는 러닝 프로세서(130)에 저장하거나, 외부 서버 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 디스플레이 장치(100)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용 프로그램의 구동을 위하여, 디스플레이 장치(100)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.
도 3은 본 개시의 일 실시 예에 따른 시스템의 동작 방법을 설명하는 도면이다.
본 개시의 실시 예에 따른 시스템은 디스플레이 장치(100) 및 이동 단말기(200)를 포함할 수 있다.
이하에서, 디스플레이(151)의 전력 모드는 저전력 모드, 액티브 스탠바이 모드, 액티브 모드 중 어느 하나의 모드로 동작할 수 있다.
저전력 모드는 디스플레이(151)의 동작에 필요한 최소한의 전력만이 디스플레이(151)에 공급되는 모드일 수 있다. 저전력 모드 하에서, 디스플레이(151)는 아무런 정보를 표시하지 않는다.
액티브 스탠바이 모드는 디스플레이(151)의 AOD(Always On Display) 기능을 수행하기 위한 모드일 수 있다. AOD 기능은 디스플레이(151)가 오프되어도, 화면 상에 정보를 항상 표시되는 기능일 수 있다. 액티브 스탠바이 모드 하에서, AOD 기능은 활성화될 수 있다.
AOD 기능 하에서, 화면 상에 표시되는 정보의 타입은 제한적일 수 있다. 즉, 날씨, 시간, 웰컴 메시지, 알림 메시지, 스케쥴 정보 등 데이터 용량이 적은 타입의 정보가 AOD 기능 하에서, 표시될 수 있다.
액티브 모드는 디스플레이(151)의 전원이 온 되어, 정보를 표시하는 모드일 수 있다.
액티브 스탠바이 모드 하에서, 디스플레이(151)는 오프되므로, 액티브 스탠바이 모드 하에서의 전력 모소는 액티브 모드의 전력 소모보다 적다.
도 3을 참조하면, 디스플레이 장치(100)의 프로세서(180)는 제1 센싱 데이터를 획득한다(S301).
프로세서(180)는 센싱부(140)에 포함된 모션 센서를 이용하여, 오브젝트의 모션 데이터를 획득할 수 있다. 모션 데이터는 오브젝트의 움직임을 감지하는데 사용되는 데이터일 수 있다.
오브젝트는 사용자 또는 동물일 수 있다.
또 다른 예로, 프로세서(180)는 마이크로폰(122)을 통해 입력된 음성 데이터를 센싱 데이터로 획득할 수 있다. 마이크로폰(122)은 센싱부(140)의 구성 요소로 존재할 수도 있다.
제1 센싱 데이터는 디스플레이 장치(100)로 오브젝트가 인접했는지 여부를 판단하는데 사용될 수 있다.
제1 센싱 데이터를 획득하는 시점에, 디스플레이(151)의 동작 모드는 저전력 모드로 동작될 수 있다.
프로세서(180)는 일정 주기로, 모션 데이터 및 음성 데이터를 획득할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 획득된 제1 센싱 데이터에 기초하여, 오브젝트가 감지되었는지를 판단한다(S303).
일 실시 예에서, 프로세서(180)는 모션 데이터에 기초하여, 오브젝트의 움직임이 감지된 경우, 오브젝트를 감지한 것으로 판단할 수 있다.
또 다른 실시 예에서, 프로세서(180)는 음성 데이터에 기초하여, 음성 데이터가 사람의 음성에 상응하는 것으로 판단된 경우, 오브젝트를 감지한 것으로 판단할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 오브젝트의 인접이 감지된 것으로 판단한 경우, 통신 인터페이스(110)의 동작 모드를 싱크 모드로 동작시킨다(S305).
일 실시 예에서, 싱크 모드는 외부 기기로부터 전달된 데이터를 출력하기 위한 모드일 수 있다.
예를 들어, 블루투스 통신의 경우, 데이터를 전송하는 기기는 소스 기기, 데이터를 수신하여 출력하는 기기는 싱크 기기로 명명될 수 있다.
싱크 기기는 소스 기기가 전송하는 영상 데이터 또는 오디오 데이터 중 하나 이상을 실시간으로 출력할 수 있다.
프로세서(180)는 통신 인터페이스(110)에 구비된 근거리 무선 통신 모듈의 동작 모드를 싱크 모드로 변경할 수 있다.
한편, 프로세서(180)는 오브젝트의 인접이 감지된 경우, 화면이 꺼진 상태로, 디스플레이(151)를 부팅할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 통신 인터페이스(110)를 통해 기존에 연결되었던 이동 단말기(200)에 연결을 시도하는 연결 요청을 전송한다(S307).
프로세서(180)는 연결 히스토리에 기반하여, 기존에 연결되었던 이동 단말기(200)에 무선 연결을 위한 연결 요청을 전송할 수 있다.
연결 히스토리는 디스플레이 장치(100)의 통신 인터페이스(110)에 구비된 근거리 무선 통신 모듈을 통해 연결되었던 이동 단말기(200)의 식별 정보를 포함할 수 있다. 이동 단말기(200)의 히스토리는 이동 단말기(200)의 모델명, 명칭 중 하나 이상을 포함할 수 있다.
연결 히스토리는 디스플레이 장치(100)의 메모리(170)에 저장되어 있을 수 있다.
디스플레이 장치(100)의 프로세서(180)는 통신 인터페이스(110)를 통해 연결 요청에 응답하는 연결 응답을 수신하고(S309), 디스플레이(151)의 AOD(Always On Display) 기능을 활성화시킨다(S311).
프로세서(180)는 이동 단말기(200)로부터 연결 응답을 수신한 경우, 이동 단말기(200)와의 연결에 성공한 것으로 판단하고, 디스플레이(151)의 AOD 기능을 활성화시킬 수 있다.
AOD 기능은 디스플레이(151)의 화면을 항상 온 시켜, 정보를 표시하도록 하는 기능일 수 있다.
AOD 기능은 디스플레이(151)의 화면의 전체 영역 또는 일부 영역상에 정보를 항상 표시하고, 일부 영역에 정보가 표시된 경우, 나머지 영역은 블랙 처리하는 기능일 수 있다. 일부 영역은 디스플레이(151)의 화면의 고정된 영역일 수 있으나, 이에 한정될 필요는 없다.
디스플레이 장치(100)의 프로세서(180)는 통신 인터페이스(110)를 통해 제1 타입의 컨텐트를 이동 단말기(200)에 요청하고(S313), 요청에 응답하여, 제1 타입의 컨텐트를 수신한다(S315).
프로세서(180)는 디스플레이(151)의 AOD 기능을 활성화시킴에 따라, 제1 타입의 컨텐트의 전송을 이동 단말기(200)에 요청할 수 있다.
제1 타입의 컨텐트는 기 설정된 용량 미만의 크기를 갖는 데이터일 수 있다.
제1 타입의 컨텐트는 이동 단말기(200)에 저장된 사용자의 스케쥴 정보, 이동 단말기(200)가 수신하는 알림 이벤트 정보 중 어느 하나일 수 있다.
반대로, 제2 타입의 컨텐트는 기 설정된 용량 이상의 크기를 갖는 데이터일 수 있다.
디스플레이 장치(100)의 프로세서(180)는 수신된 제1 타입의 컨텐트를 AOD 모드 하에서, 디스플레이(151) 상에 표시한다(S317).
예를 들어, 프로세서(180)는 이동 단말기(200)로부터 수신된 제1 타입의 컨텐트를 디스플레이(151)의 화면의 고정된 영역 상에 표시할 수 있다.
제1 타입의 컨텐트는 이동 단말기(200)에 저장된 사용자의 스케쥴 정보, 알람 정보, 알림 이벤트 정보 중 어느 하나일 수 있다.
또 다른 실시 예에서, 제1 타입의 컨텐트는 사용자의 귀가를 환영하는 웰컴 메시지일 수 있다.
단계 S313 내지 S317은 생략될 수 있다. 이 경우, 프로세서(180)는 날짜, 시간 등의 정보를 디스플레이(151) 상에 표시할 수 있다.
또 다른 예로, 프로세서(180)는 디스플레이 장치(100)에 저장된 사용자의 스케쥴 정보를 디스플레이(151) 상에 표시할 수 있다.
그 후, 디스플레이 장치(100)의 프로세서(180)는 이동 단말기(200)와의 연결이 해제되었는지를 판단한다(S319).
프로세서(180)는 통신 인터페이스(110)에 구비된 근거리 무선 통신 모듈을 이용하여, 이동 단말기(200)와의 무선 연결이 해제되었는지를 판단할 수 있다.
프로세서(180)는 이동 단말기(200)로부터 무선 연결 중단 신호를 수신한 경우, 이동 단말기(200)와의 연결이 해제된 것으로 판단할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 이동 단말기(200)와의 연결이 해제된 경우, 제2 센싱 데이터를 획득한다(S321).
프로세서(180)는 이동 단말기(200)와의 무선 연결이 해제된 경우, 사용자의 인접 유무를 판정하기 위해 제2 센싱 데이터를 획득할 수 있다.
제2 센싱 데이터는 제1 센싱 데이터와 같은 타입의 데이터로, 모션 센서를 통해 획득된 모션 데이터 또는 마이크로폰(122)을 통해 입력된 음성 데이터 중 어느 하나 이상을 포함할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 획득된 제2 센싱 데이터에 기초하여, 오브젝트가 미 감지되는지를 판단한다(S323).
프로세서(180)는 제2 센싱 데이터에 기초하여, 오브젝테의 감지 여부를 판단할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 오브젝트가 미 감지된 경우, 디스플레이(151)의 전원을 오프한다(S325).
프로세서(180)는 오브젝트가 미 감지된 것으로 판단된 경우, 디스플레이(151)의 AOD 기능을 비 활성화시키고, 디스플레이(151)의 화면을 오프시킬 수 있다.
프로세서(180)는 이동 단말기(200)와의 연결이 해제된 경우, 오브젝트의 인접 여부를 재 감지하고, 오브젝트가 감지되지 않은 경우, 디스플레이(151)의 동작 모드를 저전력 모드로 동작시킬 수 있다.
본 개시의 실시 예에 따르면, 사용자의 이동 단말기(200)의 인접을 감지하여, 기존에 제공되지 않았던, 디스플레이 장치(100)의 동작 모드가 자동으로 전환될 수 있다.
이에 따라, 사용자의 별도 조작 없이, 디스플레이 장치(100)의 동작 모드가 전환되어, 편의성이 향상될 수 있다.
또한, 본 개시의 실시 예에 따르면, 사용자의 귀가 여부에 따라 디스플레이 장치(100)의 전력 모드가 변경되어, 전력 효율이 최적화될 수 있다.
또한, 기존의 사용자 인접 여부를 감지하는 마이크로폰, 모션 센서의 신뢰도가 개선될 수 있다.
도 4 내지 도 6은 본 개시의 실시 예에 따라, 디스플레이 장치가 사용자의 인접을 감지한 경우, 이동 단말기와의 자동 연동을 통해 정보를 표시하는 예를 설명하는 도면이다.
먼저, 도 4를 설명한다.
디스플레이 장치(100)는 센싱 데이터를 통해 사용자의 인접 여부를 감지할 수 있다.
디스플레이 장치(100)는 사용자가 디스플레이 장치(100)로 인접한 것으로 감지된 경우, 근거리 통신 모듈(회로)의 동작 모드를 싱크 모드로 동작시킬 수 있다.
여기서, 근거리 통신 모듈은 블루투스 모듈임을 가정한다.
디스플레이 장치(100)는 사용자의 이동 단말기(200)가 기존에 연결되었던 적이 있었던 기기인 경우, 이동 단말기(200)에 연결 요청을 전송하고, 연결 응답을 수신할 수 있다.
디스플레이 장치(100)는 연결 응답을 수신함에 따라, 디스플레이(151)의 AOD 기능을 활성화시킬 수 있다. 디스플레이 장치(100)는 이동 단말기(200)와 연결이 성공적으로 수행되었음을 인지하고, 디스플레이(151)의 AOD 기능을 활성화시킬 수 있다.
디스플레이 장치(100)는 이동 단말기(200)에 제1 타입의 컨텐트를 요청하고, 제1 타입의 컨텐트를 이동 단말기(200)로부터 수신할 수 있다.
도 4에서 제1 타입의 컨텐트는 이동 단말기(200)에 저장된 스케쥴 정보일 수 있다.
디스플레이 장치(100)는 수신된 스케쥴 정보(400)를 AOD 기능이 적용된 디스플레이(151) 상에 표시할 수 있다.
또 다른 예로, 스케쥴 정보(400)는 이동 단말기(200)로부터 수신한 정보가 아닌, 디스플레이 장치(100)가 자체적으로 저장하고 있는 정보일 수 있다.
사용자는 귀가하여, 디스플레이 장치(100)로 다가가는 행위만으로, 자신의 스케쥴을 용이하게 확인할 수 있다.
다음으로, 도 5 및 도 6을 설명한다.
도 5에서는, 디스플레이 장치(100)가 이동 단말기(200)로부터 수신한 정보가 아닌, 자체적으로 생성한 정보를 표시하는 예를 설명한다.
즉, 도 5의 실시 예는 도 3에서 설명된 단계 S313 내지 S317이 생략된 예일 수 있다.
디스플레이 장치(100)는 센싱 데이터에 기반하여, 사용자가 인접한 것으로 감지한 것으로 판단한 경우, 사용자의 귀가를 환영하는 웰컴 메시지(510)를 AOD 기능이 적용된 디스플레이(151) 상에 표시할 수 있다.
디스플레이 장치(100)는 웰컴 메시지(510) 이외에, 날씨 정보(520)를 디스플레이(151) 상에 추가로 표시할 수도 있다.
웰컴 메시지(510) 및 날씨 정보(520)를 통해 사용자 친화적인 경험이 제공될 수 있다.
다음으로, 도 6을 설명한다.
도 6은 디스플레이 장치(100)가 사용자의 인접을 감지하고, AOD 기능을 활성화시킨 상태에서 디스플레이(151) 상에 정보를 표시할 수 있다.
디스플레이 장치(100)는 디스플레이 장치(100)에 설치된 복수의 어플리케이션들 각각에 상응하는 복수의 앱 아이콘들을 포함하는 앱 화면(600)을 디스플레이(151) 상에 표시할 수 있다.
복수의 어플리케이션들 각각은 사용자가 즐겨 찾기로 등록한 어플리케이션일 수 있다.
복수의 어플리케이션들 각각은 사용자가 디스플레이 장치(100) 상에서 기 설정된 횟수 이상 실행된 어플리케이션일 수 있다.
또 다른 예로, 복수의 어플리케이션들 각각은 이동 단말기(200) 상에서 기 설정된 횟수 이상 실행된 어플리케이션일 수 있다.
사용자는 앱 화면(600)을 통해, 손쉽게 원하는 어플리케이션으로 접근할 수 있다.
도 7은 본 개시의 또 다른 실시 예에 따른 시스템의 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 7의 실시 예 또한, 사용자의 인접 상황을 감지하여, 이동 단말기(200)와 자동 연동을 수행하는 과정을 설명한다. 추가로, 도 7은 이동 단말기(200)의 화면 상태에 따라 디스플레이 장치(100)가 표시하는 정보의 타입이 다를 수 있다.
디스플레이 장치(100)의 프로세서(180)는 제1 센싱 데이터를 획득한다(S701).
이에 대한 자세한 설명은 도 3의 단계 S301의 설명으로 대체한다.
디스플레이 장치(100)의 프로세서(180)는 획득된 제1 센싱 데이터에 기초하여, 오브젝트가 감지되었는지를 판단한다(S703).
이에 대한 자세한 설명은 도 3의 단계 S303의 설명으로 대체한다.
디스플레이 장치(100)의 프로세서(180)는 오브젝트의 인접이 감지된 것으로 판단한 경우, 통신 인터페이스(110)의 동작 모드를 싱크 모드로 동작시킨다(S705).
이에 대한 자세한 설명은 도 3의 단계 S305의 설명으로 대체한다.
디스플레이 장치(100)의 프로세서(180)는 통신 인터페이스(110)를 통해 기존에 연결되었던 이동 단말기(200)에 연결을 시도하는 연결 요청을 전송한다(S707).
디스플레이 장치(100)의 프로세서(180)는 통신 인터페이스(110)를 통해 연결 요청에 응답하는 연결 응답을 수신한다(S709).
일 실시 예에서, 연결 응답은 디스플레이 장치(100)와 연결을 허여함을 나타내는 정보 및 이동 단말기(200)의 화면 상태 정보를 포함할 수 있다.
이동 단말기(200)의 화면 상태 정보는 이동 단말기(200)의 화면의 온 또는 오프 상태 중 어느 하나를 나타내는 정보일 수 있다.
디스플레이 장치(100)의 프로세서(180)는 연결 응답에 기초하여, 이동 단말기(200)의 화면이 온 되어 있는지를 판단한다(S711).
프로세서(180)는 연결 응답을 파싱하여, 이동 단말기(200)의 화면 상태 정보를 획득하고, 획득된 화면 상태 정보에 기초하여, 이동 단말기(200)의 화면의 온 여부를 판정할 수 있다.
디스플레이 장치(100)의 프로세서(180)는 이동 단말기(200)의 화면이 온 되어 있는 것으로 판단된 경우, 통신 인터페이스(110)를 통해 제2 타입의 컨텐트를 이동 단말기(200)에 요청하고(S713), 요청에 응답하여, 제2 타입의 컨텐트를 수신한다(S715).
제2 타입의 컨텐트는 미러링 영상일 수 있다. 즉, 제2 타입의 컨텐트는 이동 단말기(200)가 표시 중인 영상에 상응하는 미러링 영상일 수 있다.
디스플레이 장치(100)의 프로세서(180)는 수신된 제2 타입의 컨텐트를 AOD 모드 하에서, 디스플레이(151) 상에 표시한다(S717).
디스플레이 장치(100)의 프로세서(180)는 이동 단말기(200)의 화면이 오프되어 있는 것으로 판단된 경우, 디스플레이(151)의 AOD 기능을 활성화시킨다(S719).
그 후, 디스플레이 장치(100)의 프로세서(180)는 통신 인터페이스(110)를 통해 제1 타입의 컨텐트를 이동 단말기(200)에 요청하고(S721), 요청에 응답하여, 제1 타입의 컨텐트를 수신한다(S723).
디스플레이 장치(100)의 프로세서(180)는 수신된 제1 타입의 컨텐트를 디스플레이(151) 상에 표시한다(S725).
제1 타입의 컨텐트는 AOD 기능에 적용 가능한 기준 용량 미만의 크기를 갖는 정보일 수 있다.
제2 타입의 컨텐트는 기준 용량 이상의 크기를 갖는 정보일 수 있다.
이와 같이, 본 개시의 실시 예에 따르면, 이동 단말기(200)의 화면 상태에 따라 디스플레이 장치(100)에 연동되는 정보가 달라져, 사용자의 상황에 맞는 연동이 수행될 수 있는 효과가 있다.
도 8 및 도 9는 본 개시의 실시 예에 따라 이동 단말기(200)의 화면 상태에 따라 디스플레이 장치에 연동되는 정보가 달라짐을 설명하는 실시 예들이다.
도 8에서, 이동 단말기(200)는 동영상(810)을 재생 중이고, 디스플레이 장치(100)는 센싱 데이터를 통해 사용자의 인접 상황을 감지하고, 이동 단말기(200)와의 연결을 마친 상태임을 가정한다.
디스플레이 장치(100)는 이동 단말기(200)의 화면이 온 되어 있는 경우, 제2 타입의 컨텐트를 이동 단말기(200)에 요청할 수 있다. 제2 타입의 컨텐트는 이동 단말기(200)가 표시 중인 영상(810)일 수 있다.
디스플레이 장치(100)는 이동 단말기(200)가 표시 중인 영상에 상응하는 영상 데이터를 수신하고, 수신된 영상 데이터에 기초하여, 미러링 영상(830)을 디스플레이(151) 상에 표시할 수 있다.
이에 따라, 사용자는 디스플레이 장치(100)로 다가감에 따라, 이동 단말기(200)를 통해 시청 중인 동영상을 대 화면인 디스플레이 장치(100) 상에서 끊김 없이 감상할 수 있다.
다음으로, 도 9를 설명한다.
도 8에서, 이동 단말기(200)의 화면은 오프 상태이고, 디스플레이 장치(100)는 센싱 데이터를 통해 사용자의 인접 상황을 감지하고, 이동 단말기(200)와의 연결을 마친 상태임을 가정한다.
디스플레이 장치(100)는 이동 단말기(200)의 화면이 오프된 것으로 판단한 경우, 제1 타입의 컨텐트를 이동 단말기(200)에 요청할 수 있다. 도 9에서, 제1 타입의 컨텐트는 이동 단말기(200)에 저장된 사용자의 스케쥴 정보일 수 있다.
디스플레이 장치(100)는 이동 단말기(200)로부터 수신된 스케쥴 정보(400)를 디스플레이(151) 상에 표시할 수 있다.
도 10은 본 개시의 실시 예에서 설명되는 제1 타입의 컨텐트 및 제2 타입의 컨텐트의 예를 설명하는 도면이다.
도 10을 참조하면, 제1 타입의 컨텐트는 달력 정보, 현재 시간 정보, 날씨 정보, 스케쥴 정보, 이동 단말기(200)가 수신한 알림을 나타내는 알림 이벤트 중 어느 하나일 수 있다.
제2 타입의 컨텐트는 이동 단말기(200)가 표시 중인 영상일 수 있다. 이동 단말기(200)가 표시 중인 영상은 정지 영상, 동영상 중 어느 하나일 수 있다.
본 개시의 또 다른 실시 예에 따르면, 이동 단말기(200)는 사용자의 인접 상황을 감지함에 따라 디스플레이 장치(100)와 자동 연결된 경우, 자신의 동작 모드를 리모컨 모드로 설정할 수 있다.
이동 단말기(200)가 리모컨 모드로 설정됨에 따라 이동 단말기(200)는 디스플레이 장치(100)의 동작을 제어하기 위한 버튼들을 표시할 수 있다. 각 버튼은 디스플레이 장치(100)의 특정 기능에 해당될 수 있다.
본 개시의 일 실시 예에 따른 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.
상기와 같이 설명된 디스플레이 장치는 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (20)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 디스플레이 장치에 있어서,
    센싱 데이터를 획득하는 하나 이상의 센서들;
    디스플레이;
    이동 단말기와 근거리 무선 통신을 수행하는 통신 인터페이스; 및
    상기 획득된 센싱 데이터에 기반하여, 오브젝트의 인접 여부를 감지하고, 상기 오브젝트의 인접을 감지한 경우, 상기 이동 단말기와 자동 연결을 수행하고, 연결된 상기 이동 단말기의 화면의 온/오프 상태에 기초하여, 상기 이동 단말기로부터 수신한 서로 다른 타입의 정보를 상기 디스플레이 상에 표시하는 프로세서를 포함하는
    디스플레이 장치.
  12. 제11항에 있어서,
    상기 프로세서는
    상기 이동 단말기의 화면이 오프된 경우, 제1 타입의 컨텐트를 상기 이동 단말기에 요청하고, 수신된 제1 타입의 컨텐트를 상기 디스플레이 상에 표시하고,
    상기 제1 타입의 컨텐트는 상기 이동 단말기에 저장된 스케쥴 정보, 상기 이동 단말기가 수신한 알림 이벤트 중 어느 하나인
    디스플레이 장치.
  13. 제11항에 있어서,
    상기 프로세서는
    상기 이동 단말기의 화면이 온된 경우, 제2 타입의 컨텐트를 상기 이동 단말기에 요청하고, 수신된 제2 타입의 컨텐트를 상기 디스플레이 상에 표시하고,
    상기 제2 타입의 컨텐트는
    상기 이동 단말기가 표시 중인 영상인
    디스플레이 장치.
  14. 제11항에 있어서,
    상기 프로세서는
    상기 오브젝트의 인접을 감지한 경우, 상기 이동 단말기에 연결 요청을 전송하고, 상기 연결 요청에 응답하여 연결 응답을 수신하고,
    상기 연결 응답은
    상기 이동 단말기의 화면 상태 정보를 포함하는
    디스플레이 장치.
  15. 제11항에 있어서,
    상기 프로세서는
    상기 이동 단말기와 자동 연결됨에 따라 상기 디스플레이의 화면이 꺼진 상태에서 상기 정보를 표시하는 AOD(Always On Display) 기능을 활성화시키는
    디스플레이 장치.
  16. 제11항에 있어서,
    상기 프로세서는
    상기 하나 이상의 센서는 모션 데이터를 획득하는 모션 센서, 음성 데이터를 획득하는 마이크로폰을 포함하는
    디스플레이 장치.
  17. 제11항에 있어서,
    상기 프로세서는
    상기 오브젝트의 인접을 감지한 경우, 상기 통신 인터페이스의 동작 모드를 외부 기기로부터 수신된 데이터를 출력하는 싱크 모드로 동작시키는
    디스플레이 장치.
  18. 제17항에 있어서,
    상기 통신 인터페이스는 블루투스 규격을 이용하는 블루투스 모듈을 포함하는
    디스플레이 장치.
  19. 제15항에 있어서,
    상기 프로세서는
    상기 오브젝트의 인접 감지 전, 상기 디스플레이의 동작 모드를 저전력 모드로 동작시키고,
    상기 오브젝트의 인접 감지 후, 상기 디스플레이 장치의 동작 모드를 액티브 스탠바이 모드로 동작시키고,
    상기 저전력 모드 하에서, 상기 디스플레이는 아무런 정보를 표시하지 않고, 상기 액티브 스탠바이 모드 하에서, 상기 디스플레이의 화면은 오프되고, 상기 AOD 기능이 활성화된
    디스플레이 장치.
  20. 제11항에 있어서,
    상기 디스플레이 장치를 지지하는 스탠드 베이스,
    상기 디스플레이의 외곽을 커버하는 백 커버,
    상기 백 커버와 상기 스탠드 베이스를 이어주는 샤프트 및
    상기 샤프트로부터 연장된 거치대를 더 포함하는
    디스플레이 장치.
KR1020200037092A 2020-03-26 2020-03-26 디스플레이 장치 KR102316881B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200037092A KR102316881B1 (ko) 2020-03-26 2020-03-26 디스플레이 장치
US16/989,725 US11461068B2 (en) 2020-03-26 2020-08-10 Display device
EP20190459.6A EP3886412A1 (en) 2020-03-26 2020-08-11 Display device
CN202011417891.2A CN113452831B (zh) 2020-03-26 2020-12-07 显示器装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200037092A KR102316881B1 (ko) 2020-03-26 2020-03-26 디스플레이 장치

Publications (2)

Publication Number Publication Date
KR20210120414A KR20210120414A (ko) 2021-10-07
KR102316881B1 true KR102316881B1 (ko) 2021-10-25

Family

ID=72046737

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200037092A KR102316881B1 (ko) 2020-03-26 2020-03-26 디스플레이 장치

Country Status (4)

Country Link
US (1) US11461068B2 (ko)
EP (1) EP3886412A1 (ko)
KR (1) KR102316881B1 (ko)
CN (1) CN113452831B (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101730315B1 (ko) * 2015-11-05 2017-04-27 엘지전자 주식회사 영상을 공유하는 전자 기기 및 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200452758Y1 (ko) * 2009-06-24 2011-03-24 헤드라인블루 주식회사 모니터거치대
US8462734B2 (en) 2010-10-20 2013-06-11 Nokia Corporation Wireless docking with out-of-band initiation
US10776103B2 (en) * 2011-12-19 2020-09-15 Majen Tech, LLC System, method, and computer program product for coordination among multiple devices
US9131335B2 (en) * 2013-08-22 2015-09-08 Nokia Technologies Oy Method, apparatus, and computer program product for management of connected devices, such as in a wireless docking environment
EP2843542A1 (en) 2013-08-29 2015-03-04 Samsung Electronics Co., Ltd User terminal apparatus, method for controlling user terminal apparatus, and expanded display system
KR102080747B1 (ko) * 2014-03-28 2020-02-24 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR20160031724A (ko) * 2014-09-15 2016-03-23 엘지전자 주식회사 스크린 미러링 방법 및 이를 위한 디바이스
KR20160045269A (ko) 2014-10-17 2016-04-27 엘지전자 주식회사 웨어러블 디바이스 및 상기 디바이스와 통신 가능한 이동 단말기
KR20160133176A (ko) * 2015-05-12 2016-11-22 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20170010494A (ko) 2015-07-20 2017-02-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20170098111A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 센서 데이터를 이용한 디스플레이 제어 방법 및 장치
KR20180064723A (ko) 2016-12-06 2018-06-15 엘지전자 주식회사 디지털 사이니지 시스템 및 그 데이터 처리 방법
US10788422B2 (en) * 2017-09-22 2020-09-29 Lg Electronics Inc. Mobile terminal comprising a dust sensor for sensing scattered light by dust particles and operation method of the same
KR102401858B1 (ko) * 2018-01-25 2022-05-26 삼성디스플레이 주식회사 저전력 모드를 지원하는 표시 장치 및 표시 장치의 구동 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101730315B1 (ko) * 2015-11-05 2017-04-27 엘지전자 주식회사 영상을 공유하는 전자 기기 및 방법

Also Published As

Publication number Publication date
US20210303247A1 (en) 2021-09-30
KR20210120414A (ko) 2021-10-07
CN113452831A (zh) 2021-09-28
CN113452831B (zh) 2023-05-09
US11461068B2 (en) 2022-10-04
EP3886412A1 (en) 2021-09-29

Similar Documents

Publication Publication Date Title
KR102415552B1 (ko) 디스플레이 장치
CN108055569B (zh) 直播间弹幕发送方法、装置及相应的终端
CN110826358B (zh) 动物情绪的识别方法、装置及存储介质
CN108089891B (zh) 一种应用程序启动方法、移动终端
KR101993241B1 (ko) 이미지에 대한 부가 정보 태깅 및 검색 방법과 시스템, 기기와 그 기록 매체
US20210249052A1 (en) Video synthesis method terminal and computer storage medium
CN110740262A (zh) 背景音乐的添加方法、装置及电子设备
CN108182271B (zh) 一种拍照方法、终端及计算机可读存储介质
EP3419020B1 (en) Information processing device, information processing method and program
US9543918B1 (en) Configuring notification intensity level using device sensors
CN108564274B (zh) 一种客房的预订方法、装置及移动终端
CN108460817B (zh) 一种拼图方法及移动终端
CN113613028B (zh) 直播数据处理方法、装置、终端、服务器及存储介质
CN112860169A (zh) 交互方法及装置、计算机可读介质和电子设备
US20200125398A1 (en) Information processing apparatus, method for processing information, and program
KR20190024333A (ko) 전자 장치 및 그 제어 방법
KR102316881B1 (ko) 디스플레이 장치
CN109788144B (zh) 一种拍摄方法及终端设备
US20230297311A1 (en) Display device
CN107844203B (zh) 一种输入法候选词推荐方法及移动终端
CN115086094B (zh) 设备选择方法及相关装置
US20220215833A1 (en) Method and device for converting spoken words to text form
CN114593081A (zh) 智能控制方法、装置、存储介质及终端设备
CN111796980B (zh) 数据处理方法、装置、电子设备和存储介质
EP4236380A1 (en) Mobile terminal and display device for searching for location of remote control device by using bluetooth pairing

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant