KR20160044254A - 디스플레이 장치 및 그의 동작 방법 - Google Patents

디스플레이 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR20160044254A
KR20160044254A KR1020140139037A KR20140139037A KR20160044254A KR 20160044254 A KR20160044254 A KR 20160044254A KR 1020140139037 A KR1020140139037 A KR 1020140139037A KR 20140139037 A KR20140139037 A KR 20140139037A KR 20160044254 A KR20160044254 A KR 20160044254A
Authority
KR
South Korea
Prior art keywords
user
posture
display device
result
information
Prior art date
Application number
KR1020140139037A
Other languages
English (en)
Inventor
신동헌
남상우
박원배
이은율
이지혜
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020140139037A priority Critical patent/KR20160044254A/ko
Publication of KR20160044254A publication Critical patent/KR20160044254A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법은 카메라를 통해 사용자의 영상을 획득하는 단계와 획득된 사용자의 영상에 기초하여 사용자를 인식하는 단계와 인식된 사용자의 자세 정보 및 인식된 사용자의 눈 깜박임 정보를 포함하는 사용자의 상태 정보를 획득하는 단계 및 획득된 사용자의 상태 정보에 기초하여 피드백 정보를 제공하는 단계를 포함한다.

Description

디스플레이 장치 및 그의 동작 방법{DISPLAY DEVICE AND OPERATING METHOD THEREOF}
본 발명은 디스플레이 장치 및 그의 동작 방법에 관한 것이다.
최근 들어, 유선 또는 무선 통신망을 이용한 디지털 TV 서비스가 보편화되고 있다. 디지털 TV 서비스는 기존의 아날로그 방송 서비스에서는 제공할 수 없었던 다양한 서비스를 제공할 수 있다.
예를 들어, 디지털 TV 서비스의 한 종류인 IPTV(Internet Protocol Television) 서비스의 경우 사용자로 하여금 시청 프로그램의 종류, 시청 시간 등을 능동적으로 선택할 수 있도록 하는 양방향성을 제공한다. IPTV 서비스는 이러한 양방향성을 기반으로 하여 다양한 부가 서비스, 예컨대 인터넷 검색, 홈쇼핑, 온라인 게임 등을 제공할 수도 있다.
최근에는 TV를 시청하는 사용자의 건강을 위해 다양한 어플리케이션이 제공되거나, 웨어러블 기기와 연동하여 사용자의 건강을 케어하는 서비스가 많이 등장하고 있다.
그러나, 기존에는 일반 디스플레이 장치를 이용하여 사용자에게 컴퓨터 사용 자세와 눈 깜박임의 정도를 손쉽게 알려주어 자세교정 및 안구 건조증을 예방할 수 있는 장치가 없었다.
본 발명은 사용자의 자세 교정 및 안구 건조증 예방을 위하여 사용자의 자세 상태 및 눈 깜박임의 실시간 정보를 쉽게 인지할 수 있도록 하는 디스플레이 장치 및 그의 동작 방법의 제공을 목적으로 한다.
본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법은 카메라를 통해 사용자의 영상을 획득하는 단계와 획득된 사용자의 영상에 기초하여 사용자를 인식하는 단계와 인식된 사용자의 자세 정보 및 인식된 사용자의 눈 깜박임 정보를 포함하는 사용자의 상태 정보를 획득하는 단계 및 획득된 사용자의 상태 정보에 기초하여 피드백 정보를 제공하는 단계를 포함한다.
본 발명의 실시 예에 따른 디스플레이 장치는 디스플레이부와 사용자의 영상을 획득하는 카메라 및 획득된 사용자의 영상에 기초하여 사용자를 인식하고, 인식된 사용자의 자세 정보 및 인식된 사용자의 눈 깜박임 정보를 포함하는 사용자의 상태 정보를 획득하며, 획득된 사용자의 상태 정보에 기초하여 피드백 정보를 제공하는 제어부를 포함한다.
본 발명의 다양한 실시 예에 따르면, 사용자의 자세 상태 및 눈 깜박임의 정보를 실시간으로 제공하여 사용자의 자세 교정 및 안구 건조증을 예방할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 2은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 5는 본 발명의 일 실시 예에 따른 디스플레이 장치의 동작 방법을 설명하는 흐름도이다.
도 6 내지 도 20은 본 발명의 실시 예에 따라 사용자의 상태 정보에 기초하여 사용자에게 피드백 정보를 제공하는 다양한 실시 예를 보여준다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 발명의 실시예에 따른 디스플레이 장치는, 예를 들어 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 디스플레이 장치로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모콘 등 보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.
따라서, 본 발명에서 기술되는 디스플레이 장치는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 상기 디스플레이 장치는, 보다 구체적으로 예를 들면, 네트워크 TV, HBBTV, 스마트 TV, LED TV, OLED TV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 디스플레이 장치(100)는 방송 수신부(130), 외부장치 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 제어부(170), 디스플레이부(180), 오디오 출력부(185), 전원공급부(190)를 포함할 수 있다.
방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부(133)를 포함할 수 있다.
튜너(131)는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있다. 튜너(131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.
복조부(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.
외부장치 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.
네트워크 인터페이스부(133)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
또한, 디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
그리고, 네트워크 인터페이스부(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
또한, 네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
저장부(140)는 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.
또한, 저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 장치(100)는 저장부(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
사용자입력 인터페이스부(150)는 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스부(150)는 블루투스(Bluetooth), WB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.
제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
그 외, 제어부(170)는, 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
제어부(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
한편, 제어부(170)는 영상을 표시하도록 디스플레이부(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(140)에 저장된 영상이 디스플레이부(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이부(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 제어부(170)는 디스플레이 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로 부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 상기 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
디스플레이부(180)는 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성할 수 있다.
한편, 도 1에 도시된 디스플레이 장치(100)는 본 발명의 일실시예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
본 발명의 또 다른 실시예에 따르면, 디스플레이 장치(100)는 도 1에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스부(133) 또는 외부장치 인터페이스부(135)를 통해서 영상을 수신하여 재생할 수도 있다.
예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋탑 박스 등과 같은 영상 처리 장치와 상기 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다.
이 경우, 이하에서 설명할 본 발명의 실시예에 따른 디스플레이 장치의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 상기 분리된 셋탑 박스 등과 같은 영상 처리 장치 또는 디스플레이부(180) 및 오디오출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
다음으로, 도 2 내지 도 3을 참조하여, 본 발명의 일 실시 예에 따른 원격제어장치에 대해 설명한다.
도 2은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이고, 도 3은 본발명의 일 실시 예에 따른 원격제어장치(200)의 실제 구성 예를 보여준다.
먼저, 도 2를 참조하면, 원격제어장치(200)는 무선통신부(225), 사용자 입력부(235), 센서부(240), 출력부(250), 전원공급부(260), 저장부(270), 제어부(280)를 포함할 수 있다.
도 2을 참조하면, 무선통신부(225)는 전술하여 설명한 본 발명의 실시 예들에 따른 디스플레이 장치 중 임의의 어느 하나와 신호를 송수신한다.
원격제어장치(200)는 RF 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비하며, IR 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다.
또한, 원격제어장치(200)는 디스플레이 장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 RF 모듈(221)을 통하여 전송한다.
한편, 원격제어장치(200)는 디스플레이 장치(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 모듈(223)을 통하여 디스플레이 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(235)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(235)를 조작하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(235)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다.
사용자 입력부(235)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(235)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시예는 본 발명의 권리범위를 제한하지 아니한다.
센서부(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
예를 들어, 자이로 센서(241)는 원격제어장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 원격제어장치(200)는 거리측정센서를 더 구비할 수 있어, 디스플레이 장치(100)의 디스플레이부(180)와의 거리를 센싱할 수 있다.
출력부(250)는 사용자 입력부(235)의 조작에 대응하거나 디스플레이 장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(250)를 통하여 사용자는 사용자 입력부(235)의 조작 여부 또는 디스플레이 장치(100)의 제어 여부를 인지할 수 있다.
예를 들어, 출력부(250)는 사용자 입력부(235)가 조작되거나 무선 통신부(225)를 통하여 디스플레이 장치(100)와 신호가 송수신되면 점등되는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다.
또한, 전원공급부(260)는 원격제어장치(200)으로 전원을 공급하며, 원격제어장치(200)이 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로서 전원 낭비를 줄일 수 있다. 전원공급부(260)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
저장부(270)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 디스플레이 장치(100)와 RF 모듈(221)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)과 디스플레이 장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다.
원격제어장치(200)의 제어부(280)는 원격제어장치(200)과 페어링된 디스플레이 장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(270)에 저장하고 참조할 수 있다.
제어부(280)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 제어부(280)는 사용자 입력부(235)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(225)를 통하여 디스플레이 장치(100)로 전송할 수 있다.
다음으로 도 3을 설명한다.
도 3은 본 발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
도 3을 참조하면, 예를 들어, 공간리모콘(200)은, 확인키(Okay key)(291), 메뉴키(292), 사방향키(293), 채널 조정키(294), 볼륨 조정키(296)를 구비할 수 있다. 예를 들어, 확인키(Okay key)(291)는 메뉴 또는 항목 선택시 사용 가능하며, 메뉴키(292)는 소정 메뉴 표시를 위해 사용 가능하며, 사방향키(293)는 포인터 또는 인디케이터를 상, 하, 좌우 이동시 사용 가능하며, 채널 조정 키(294)는 채널 상, 하 조정시 사용 가능하며, 볼륨 조정키(296)는, 볼륨 업, 다운 조정 시 사용 가능할 수 있다.
또한, 공간리모콘(200)은, 백 키(back key)(297), 홈 키(home key)(298)을 더 구비할 수 있다. 예를 들어, 백 키(back key)(297)는 이전 화면 이동시 사용 가능하며, 홈 키(298)는, 홈 화면으로의 이동시 사용될 수 있다.
한편, 도면과 같이, 확인키(291)는, 스크롤 기능이 추가된 것도 가능하다. 이를 위해 확인키(291)는 휠 키 형태로 구현이 가능하다. 즉, 확인키(291)가 눌려지는 경우, 해당 메뉴 또는 항목 선택으로 사용되고, 확인키(291) 가 상,하로 스크롤되는 경우, 디스플레이 화면 스크롤링 또는 리스트 페이지 전환 등이 수행될 수 있다.
구체적으로, 디스플레이부(180)에 디스플레이의 사이즈 보다 더 큰 영상이 표시된 상태에서, 해당 영상 탐색을 위해 확인키(291)를 스크롤링하면, 현재 디스플레이에 표시되지 않던 영상 영역이 디스플레이에 표시되게 된다.
다른 예로, 디스플레이부(180)에 리스트 페이지가 표시되는 경우, 확인키(291)를 스크롤링하면, 현재 페이지의 이전 페이지 또는 다음 페이지가 표시될 수 있다. 이러한 스크롤 기능은, 확인키(291)가 아닌 별도의 키로 구비되는 것도 가능하다.
한편, 사방향키(293)는, 도면과 같이, 원형 타입에서, 상, 하, 좌, 우키가 각각 사방향에 배치될 수 있다. 한편, 사방향키(293)에 대한 터치 입력도 가능할 수 있다. 예를 들어, 사방향키(293) 내의 상 키(up key)에서부터 하키(down key)까지 터치 동작이 있는 경우, 해당 터치 입력에 따라, 설정된 기능이 입력되거나 수행될 수 있다.
다음으로 도 4를 설명한다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 4의 (a)는 원격 제어 장치(200)에 대응하는 포인터(205)가 디스플레이부(180)에 표시되는 것을 예시한다.
사용자는 원격 제어 장치(200)를 상하, 좌우로 움직이거나 회전할 수 있다. 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)는 원격 제어 장치(200)의 움직임에 대응한다. 이러한 원격 제어 장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.
도 4의 (b)는 사용자가 원격 제어 장치(200)를 왼쪽으로 이동하면, 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격 제어 장치(200)의 센서를 통하여 감지된 원격 제어 장치(200)의 움직임에 관한 정보는 디스플레이 장치(100)로 전송된다. 디스플레이 장치(100)는 원격 제어 장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 디스플레이 장치(100)는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4의 (c)는, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다.
이와 반대로, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다.
한편, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격 제어 장치(200)가 디스플레이부(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.
또한, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지거나 접근하도록 이동하는 경우, 상, 하, 좌, 우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격 제어 장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격 제어 장치(200)의 상, 하, 좌, 우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격 제어 장치(200)의 이동속도나 이동방향에 대응할 수 있다.
한편, 본 명세서에서의 포인터는, 원격 제어 장치(200)의 동작에 대응하여, 디스플레이부(180)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고, 포인터(205)가 디스플레이부(180) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.
다음으로, 도 5를 참조하여, 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 동작 방법을 설명한다.
도 5는 본 발명의 일 실시 예에 따른 디스플레이 장치의 동작 방법을 설명하는 흐름도이다.
디스플레이 장치(100)의 제어부(170)는 디스플레이 장치(100)의 전면에 위치한 사용자의 영상을 획득하기 위해 카메라(171)의 전원을 온 시킨다(S101).
일 실시 예에서 카메라(171)는 디스플레이 장치(100)의 상측에 배치될 수 있으나, 이에 한정될 필요는 없고, 하측, 좌측, 우측 중 어느 한 곳에 배치될 수도 있다.
또 다른 실시 예에서 카메라(171)는 디스플레이 장치(100)와는 별도의 구성 요소로 구비될 수 있다.
전원이 온 된 카메라(171)는 디스플레이 장치(100)의 전면에 위치한 사용자의 영상을 촬영하여 사용자의 영상을 획득하고(S103), 카메라(171)가 획득한 사용자의 영상에 기초하여 사용자를 인식한다(S105).
일 실시 예에서 제어부(170)는 획득한 사용자의 영상에 포함된 사용자의 얼굴 영역을 이용하여 사용자가 누구인지를 인식할 수 있다. 저장부(140)는 기 등록된 복수의 사용자들 각각에 대한 얼굴 영역을 저장할 수 있다. 제어부(170)는 획득된 사용자의 영상에서 사용자의 얼굴 색상 및 얼굴 색상 이외의 배경 색상을 구분할 수 있고, 구분 결과에 따라 사용자의 얼굴 영역을 추출할 수 있다. 제어부(170)는 획득된 사용자의 영상에서 사용자 얼굴의 눈, 코, 입, 귀, 머리카락의 위치나 모양을 통해 사용자의 얼굴 영역을 추출할 수 있다. 제어부(170)는 추출된 사용자의 얼굴 영역을 저장부(140)에 기 저장된 얼굴 영역들과 매칭 과정을 통해 획득된 사용자를 인식할 수 있다. 즉, 제어부(170)는 추출된 사용자의 얼굴 영역과 기 저장된 얼굴 영역들 각각을 비교하여 비교 결과에 따라 사용자를 인식할 수 있다.
제어부(170)는 카메라(171)를 이용하여 인식된 사용자의 상태 정보를 획득한다(S107).
일 실시 예에서 사용자의 상태 정보는 사용자가 현재 취하고 있는 자세에 대한 자세 정보 및 사용자의 눈 깜박임에 대한 눈 깜박임 정보 중 적어도 하나를 포함할 수 있다.
사용자의 자세 정보는 디스플레이 장치(100)의 전면에 위치한 사용자에게 올바른 자세를 가이드 하기 위해 획득하는 정보일 수 있다. 제어부(170)는 기 설정된 시간 동안 사용자의 영상을 획득하고, 획득된 사용자의 영상을 이용하여 사용자의 자세 정보를 획득할 수 있다.
사용자의 눈 깜박임 정보는 디스플레이 장치(100)의 전면을 응시하는 사용자에게 올바른 눈 깜박임 정도를 가이드 하기 위해 획득하는 정보일 수 있다. 제어부(170)는 실시간으로 획득되고 있는 사용자의 영상을 통해 기 설정된 시간 동안 사용자가 몇회의 눈 깜박임을 하고 있는지를 확인할 수 있다.
제어부(170)는 획득된 사용자의 상태 정보에 기초하여 기 등록된 상태로 사용자의 상태를 유도하는 피드백 정보를 제공한다(S109).
일 실시 예에서 제어부(170)는 획득된 사용자의 자세 정보와 기 등록된 자세 정보를 비교하고, 비교 결과에 따라 기 등록된 자세로 사용자의 자세를 변경하도록 가이드 하는 피드백 정보를 제공할 수 있다. 기 등록된 자세 정보는 사용자가 디스플레이 장치(100)의 전면에 위치할 시 사용자에 의해 등록된 기준 자세를 포함할 수 있다.
또 다른 실시 예에서 제어부(170)는 획득된 사용자의 눈 깜박임 정보에 기초하여 기 설정된 시간 동안 기 설정된 눈 깜박임의 횟수를 유도하는 피드백 정보를 제공할 수 있다. 기 설정된 시간 동안 기 설정된 눈 깜박임의 횟수는 초당 권장하는 눈 깜박임의 횟수를 나타낼 수 있다.
단계 S101 내지 S109를 도 6 내지 도 20을 참조하여 설명한다.
도 6 내지 도 20은 본 발명의 실시 예에 따라 사용자의 상태 정보에 기초하여 사용자에게 피드백 정보를 제공하는 실시 예를 보여준다.
먼저, 디스플레이 장치(100)는 사용자의 요청에 따라 사용자의 상태 정보를 획득하고, 피드백 정보를 제공하기 위한 사용자의 상태 관리 어플리케이션을 실행할 수 있다. 디스플레이 장치(100)는 사용자의 상태 관리 어플리케이션의 실행에 따라 도 6에 도시된 바와 같이 어플리케이션의 기능을 소개하는 기능 소개 인터페이스 화면(300)을 표시할 수 있다. 상태 관리 어플리케이션은 단계 S101전에 실행될 수 있다.
기능 소개 인터페이스 화면(300)은 기능 소개 영역(310), 등록 및 설정 버튼(330) 및 미니창 실행 버튼(350)을 포함할 수 있다.
기능 소개 영역(310)은 사용자의 상태 관리 어플리케이션의 기능을 텍스트로 소개하는 영역일 수 있다. 기능 소개 영역(310)은 복수의 기능 아이콘(311)들 및 복수의 기능 아이콘(311)들 각각에 대응하는 기능을 설명하는 텍스트를 포함할 수 있다.
등록 및 설정 버튼(330)은 획득된 사용자의 자세 정보 및 눈 깜박임 정보의 저장, 기준 자세를 설정, 권장 눈 깜박임 횟수를 설정 등 어플리케이션의 활용에 필요한 정보를 등록하거나 설정하기 위한 버튼일 수 있다.
미니창 실행 버튼(350)은 디스플레이 장치(100)의 화면에 사용자의 상태 관리 어플리케이션의 실행에 따른 인터페이스 화면을 미니창을 제공하기 위한 버튼일 수 있다. 미니창 실행 버튼(350)은 사용자의 기준 자세 및 기준 눈 깜박임 등에 대한 정보가 등록되지 않은 경우, 비 활성화된 상태로 표시될 수 있다.
다음으로 도 7을 설명한다. 도 6의 기능 소개 인터페이스 화면(300)에 표시된 후, 일정 시간이 경과되면, 디스플레이 장치(100)는 도 7에 도시된 바와 같은 사용자의 상태 정보의 등록, 획득 및 피드백 정보의 제공을 위한 실행 인터페이스 화면(500)을 표시할 수 있다.
도 7을 참조하면, 실행 인터페이스 화면(500)은 옵션 카테고리 영역(510), 도움말 버튼(520), 텍스트 가이드 영역(530), 카메라 화면 영역(540), 자세 상태 그래프(550), 촬영 버튼(560), 등록 버튼(570), 미니창 버튼(580)을 포함할 수 있다.
옵션 카테고리 영역(510)은 사용자의 상태 정보를 설정, 등록 및 피드백 정보를 제공하기 위한 영역으로, 복수의 옵션들을 포함할 수 있다. 옵션 카테고리 영역(510)은 등록 옵션(511), 결과 보기 옵션(513), 설정 옵션(515)를 포함할 수 있다.
등록 옵션(511)은 사용자의 기준 자세, 기준 눈 깜박임 횟수를 등록하기 위한 옵션일 수 있다. 등록 옵션(511)은 하위 옵션으로 자세 옵션(511a) 및 눈 관리 옵션(511b)를 포함할 수 있다. 자세 옵션(511a)은 사용자의 기준 자세를 등록하기 위한 옵션일 수 있다. 눈 관리 옵션(511b)은 사용자의 눈 깜박임 횟수를 등록하기 위한 옵션일 수 있다.
결과 보기 옵션(513)은 등록된 사용자의 자세와 촬영된 사용자의 현재 자세 간의 비교 결과 및 등록된 눈 깜박임 횟수와 현재 사용자의 눈 깜박임 횟수 간의 비교 결과를 제공하기 위한 옵션이다. 결과 보기 옵션(513)은 자세 결과 옵션 및 눈 관리 결과 옵션을 포함할 수 있다. 자세 결과 옵션은 등록된 사용자의 자세와 촬영된 사용자의 현재 자세 간의 비교 결과를 그래프나, 텍스트로 제공하기 위한 옵션이다. 눈 관리 결과 옵션은 등록된 눈 깜박임 횟수와 현재 사용자의 눈 깜박임 횟수 간의 비교 결과를 그래프나, 텍스트로 제공하기 위한 옵션이다.
설정 옵션(515)은 화면 모드를 설정하거나 관리 상태 어플리케이션의 자동 실행, 획득된 사용자의 자세 정보 및 눈 깜박임 정보를 저장할 저장 루트를 설정하기 위한 옵션이다.
도움말 버튼(520)은 실행 어플리케이션 화면(500)에 포함된 옵션들 및 버튼 등에 대한 상세한 설명을 제공하기 위한 버튼일 수 있다.
텍스트 가이드 영역(530)는 사용자의 자세를 가이드 하거나, 눈 깜박임 횟수를 조절하라는 텍스트를 제공하기 위한 영역일 수 있다.
카메라 화면 영역(540)은 사용자의 프리뷰 영상, 사용자의 촬영 영상 및 가상의 권장 기준 자세를 제공하기 위한 영역일 수 있다.
자세 상태 그래프(550)는 자세 옵션(511a)이 선택된 경우, 촬영된 사용자의 자세가 권장 기준 자세와 비교하여 어느 정도 매칭되는지를 그래프로 제공하기 위한 영역일 수 있다.
촬영 버튼(560)은 카메라 화면 영역(550)에 표시되는 사용자의 프리뷰 영상을 촬영하기 위한 버튼(560)일 수 있다. 촬영 버튼(560)이 선택된 경우, 사용자의 영상이 촬영되어 카메라 화면 영역(540)에 표시될 수 있다. 촬영 버튼(560)이 한 번 선택된 경우, 촬영 버튼(560)은 <재촬영> 버튼으로 명칭이 변경될 수 있다.
등록 버튼(570)은 촬영된 사용자의 자세를 등록 자세로 설정하기 위한 버튼일 수 있다. 등록 버튼(570)이 선택된 경우, 카메라 화면 영역(540)에 촬영된 사용자의 자세가 등록될 수 있다. 등록 버튼(570)은 사용자의 영상이 촬영되기 전에 비 활성화된 상태로 표시될 수 있다.
미니창 버튼(580)은 실행 인터페이스 화면(500)의 크기를 축소하여 표시하기 위한 버튼이다. 미니창 버튼(580)이 선택된 경우, 디스플레이부(151)의 전체 화면으로 표시된 실행 인터페이스 화면(500)은 디스플레이부(151)의 부분 화면에 축소되어 표시될 수 있다. 사용자의 자세 또는 기준 눈 깜박임 횟수가 등록되지 않은 경우, 미니창 버튼(580)은 비 활성화 상태로 표시될 수 있다.
다음으로 도 8 내지 도 10을 설명한다.
도 8 내지 도 10은 본 발명의 실시 예에 따라 등록 옵션(511)의 하위 옵션인 자세 옵션(511a)이 선택된 경우, 실행 인터페이스 화면(500)에서 제공되는 화면이다.
도 8을 참조하면, 카메라 화면 영역(540)에는 촬영된 사용자의 영상이 표시되어 있다. 디스플레이 장치(100)는 촬영된 사용자의 영상에서 추출된 사용자의 자세와 기 저장된 권장 기준 자세 간의 유사도를 측정할 수 있다. 디스플레이 장치(100)는 측정된 유사도를 자세 상태 그래프(550)를 통해 표시할 수 있다. 자세 상태 그래프(550)는 유사도의 범위에 따라 컬러를 다르게 하여 제공할 수 있다. 예를 들어, 유사도가 0 내지 30% 범위에 있는 경우, 자세 상태 그래프(550)는 빨간색의 가이드 바로, 30 내지 70% 범위에 있는 경우, 녹색으로, 70 내지 100% 범위에 있는 경우, 노란색으로, 각각 그래프를 제공할 수 있다. 텍스트 가이드 영역(530)에는 촬영된 사용자의 자세와 권장 기준 자세에 맞추도록 사용자의 자세를 가이드하는 문구<예를 들어, 고개를 왼쪽으로 움직이세요, 허리를 완전히 피세요 등등>가 표시될 수 있다.
촬영 버튼(560)은 이미 사용자의 영상이 촬영된 상태인 경우, <재촬영>으로 명칭이 변경될 수 있다. 등록 버튼(570)이 선택된 경우, 디스플레이 장치(100)는 도 9에 도시된 바와 같이, 촬영된 사용자의 자세를 등록 및 저장할 것인지를 문의하는 등록 문의 창(571)이 표시될 수 있다. 등록 문의 창(571)에서 수락 버튼이 선택된 경우, 촬영된 사용자의 자세를 기준 자세로 등록하고, 등록된 기준 자세는 클라우드 서버에 저장될 수 있다.
한편, 재촬영 버튼(560)이 선택된 경우, 디스플레이 장치(100)는 도 10에 도시된 바와 같이 사용자의 영상을 재 촬영할 것인지를 문의하는 재촬영 문의 창(573)을 표시할 수 있다. 재촬영 문의 창(573)이 선택된 경우, 디스플레이 장치(100)는사용자의 영상을 재 촬영할 수 있다. 사용자는 재 촬영된 사용자의 영상을 이용하여 기준 자세를 등록하는 등록 과정을 진행할 수 있다.
다음으로 도 11 내지 도 13를 설명한다.
도 11 내지 도 13은 본 발명의 실시 예에 따라 등록 옵션(511)의 하위 옵션인 눈 관리 옵션(511b)이 선택된 경우, 실행 인터페이스 화면(500)에서 제공되는 화면이다.
도 8에서 설명한 실행 인터페이스 화면(500) 상에 표시된 다른 옵션들, 영역, 및 버튼과 중복되는 설명은 생략한다.
도 11을 참조하면, 눈 관리 옵션(511b)이 선택된 경우, 디스플레이 장치(100)는 실행 인터페이스 화면(500) 상에 측정 버튼(590) 및 눈 관리 등록 영역(591)을 표시할 수 있다. 측정 버튼(590)이 선택된 경우, 카메라 화면 영역(540)에는 사용자의 프리뷰 영상이 표시될 수 있다. 디스플레이 장치(100)의 제어부(170)는 사용자의 프리뷰 영상에 기초하여 일정 시간 동안 사용자가 눈을 깜박인 횟수를 측정할 수 있다. 일정 시간은 1초 일 수 있으나, 이는 예시에 불과하다. 눈 관리 영역(591)은 측정된 초당 눈을 깜박인 횟수, 초당 권장 눈 깜박임 횟수, 측정 시점에서 획득된 조도를 포함할 수 있다.
측정 버튼(590)이 선택된 경우, 디스플레이 장치(100)는 도 12에 도시된 바와 같이, 눈 관리 영역(591)에는 사용자의 영상을 통해 측정된 초당 눈 깜박임 횟수 및 조도를 포함할 수 있다. 텍스트 가이드 영역(530)에는 측정된 초당 눈 깜박임 횟수가 권장 눈 깜박임 횟수와 비교하여 적정하지 않은 경우, <눈 깜박임의 횟수를 늘려주세요>와 같은 가이드 텍스트가 표시될 수 있다.
사용자가 등록 버튼(570)을 선택한 경우, 눈 관리 영역(591)에 표시된 초당 눈 깜박임 횟수가 등록될 수 있다. 사용자는 권장 눈 깜박임 횟수를 체크하여 등록할 수도 있다. 만약, 재 측정 버튼(590)이 선택된 경우, 디스플레이 장치(100)는 도 13과 같이, 재 측정을 문의하는 재 측정 문의 창(575)을 표시할 수 있다. 사용자는 재 측정 버튼(590)을 통해 일정 기간 동안 눈 깜박임 횟수를 등록할 수 있다.
다음으로 도 14 내지 도 16을 설명한다.
도 14 내지 도 16은 본 발명의 실시 예에 따라 결과 보기 옵션이 선택된 경우, 제공되는 결과 인터페이스 화면을 설명하는 도면이다.
먼저, 도 14를 참조하면, 도 8의 실행 인터페이스 화면(500)에서 결과 보기 옵션(513)의 하위 옵션인 자세 결과 보기 옵션(513a)이 선택된 경우, 디스플레이 장치(100)는 획득된 사용자의 자세와 등록된 기준 자세 간의 비교 결과를 나타낸 결과 결과 인터페이스 화면(600)을 표시할 수 있다.
결과 인터페이스 화면(600)은 특정 기간 동안의 결과를 보기 위한 기간 지정 영역(610), 측정 자세와 기준 자세 간의 비교 결과를 그래프로 나타낸 자세 결과 그래프 영역(630), 특정 시점에서 사용자의 자세를 제공하는 자세 결과 이미지 영역(650) 및 특정 시점에서 자세를 분석한 자세 결과 텍스트 영역(670)을 포함한다.
사용자는 기간 지정 영역(610)을 통해 자세 결과를 보고 싶은 특정 기간을 설정할 수 있다. 기간 지정 영역(610)이 선택된 경우, 디스플레이 장치(100)는 도 15에 도시된 바와 같이, 2개의 달력을 표시할 수 있다. 사용자는 표시된 달력을 이용하여 자세 결과를 받아 보고 싶은 기간을 설정할 수 있다.
사용자 입력을 통해 특정 기간이 선택된 경우, 디스플레이 장치(100)는 자세 결과 그래프 영역(630)에 해당 기간 동안 기준 자세와 획득된 자세를 비교한 결과를 표시할 수 있다. 즉, 디스플레이 장치(100)는 기준 자세와 획득된 자세 간의 유사도에 기초하여 비교 결과를 그래프를 통해 제공할 수 있다.
한편, 자세 결과 그래프 영역(630)에서 획득된 자세를 나타내는 자세 추이 선의 일 지점(A)이 선택된 경우, 디스플레이 장치(100)는 자세 결과 이미지 영역(650)에 선택된 일 지점(A)에서 획득된 사용자의 자세 이미지를 표시하고, 자세 결과 텍스트 영역(670)에 선택된 일 지점(A)에 대한 자세 분석 결과를 텍스트로 표시할 수 있다.
도 16에서 도 14와 중복되는 내용은 설명한다. 사용자 입력을 통해 특정 기간이 선택된 경우, 디스플레이 장치(100)는 자세 결과 그래프 영역(630)에 해당 기간 동안 기준 자세와 획득된 자세를 비교한 결과를 표시할 수 있다. 즉, 디스플레이 장치(100)는 기준 자세와 획득된 자세 간의 유사도에 기초하여 비교 결과를 그래프를 통해 제공할 수 있다.
한편, 자세 결과 그래프 영역(630)에서 획득된 자세를 나타내는 자세 추이 선의 일 지점(A)이 선택된 경우, 디스플레이 장치(100)는 자세 결과 이미지 영역(650)에 선택된 일 지점(A)에서 획득된 사용자의 자세 이미지를 표시하고, 자세 결과 텍스트 영역(670)에 선택된 일 지점(A)에 대한 자세 분석 결과를 텍스트로 표시할 수 있다.
이와 같은, 본 발명은 제공된 자세 결과를 제공함에 따라 사용자로 하여금 자신의 자세가 올바르지 못함을 인식하고, 사용자의 자세를 올바른 자세로 유도하도록 하는 효과가 있다.
다음으로, 도 17을 설명한다.
도 17은 본 발명의 실시 예에 따라 설정 옵션이 선택된 경우, 제공되는 설정 인터페이스 화면을 설명하는 도면이다.
도 8의 화면에서 설정 옵션(515)이 선택된 경우, 디스플레이 장치(100)는 화면 모드 설정 영역(710), 자동 실행 설정 영역(730) 및 데이터 저장 설정 영역(750)을 포함하는 설정 인터페이스 화면(700)을 표시할 수 있다.
화면 모드 설정 영역(710)은 사용자의 상태 관리 어플리케이션의 인터페이스 화면 모드를 설정하기 위한 영역이다. 자동 실행 설정 영역(730)은 디스플레이 장치(100)의 전원이 온 될 시, 상태 관리 어플리케이션의 자동 실행 여부를 설정하는 영역이다. 데이터 저장 설정 영역(750)은 획득된 사용자의 자세 데이터, 측정된 사용자의 눈 깜박임 데이터를 저장할 경로를 설정하는 영역이다. 사용자는 자세 데이터 및 눈 깜박임 데이터를 디스플레이 장치(100)에 구비된 저장부(140)에 저장하거나, 클라우드 서버에 저장하도록 입력할 수 있다.
다음으로 도 18 및 도 20을 설명한다.
도 18 내지 도 20은 본 발명의 실시 예에 따라 사용자의 상태 정보를 간략히 미니창으로 제공하는 실시 예를 보여준다.
도 8의 화면에서 미니창 버튼(580)이 선택된 경우, 디스플레이 장치(100)는 실시간으로 사용자의 상태 정보를 제공하는 미니창(800)을 디스플레이부(151)의 일 영역에 표시할 수 있다. 미니창(800)은 사용자의 자세 상태, 눈 깜박임 상태 및 현재 조도 각각을 막대 그래프로 나타낼 수 있다. 각 막대 그래프의 중앙 지점은 기준 치를 나타낸다. 자세 상태, 눈 깜박임 상태 및 현재 조도 각각이 기준 치를 넘어가면, 녹색으로, 기준 치를 넘지 못하면, 빨간색으로 표시되어 사용자의 상태가 쉽게 표시될 수 있다. 미니 창(800)은 재생 버튼(801) 및 종료 버튼(803)을 포함한다. 재생 버튼(810)이 선택된 경우, 디스플레이 장치(100)는 도 14 또는 도 16의 인터페이스 화면을 전체 화면으로 제공할 수 있다. 종료 버튼(830)이 선택된 경우, 디스플레이 장치(100)는 도 19에 도시된 바와 같이, 상태 관리 어플리케이션의 종료를 문의하는 종료 문의 창(810)을 표시할 수 있다.
사용자는 미니창을 통해 실시간으로 자신의 자세, 눈 깜박임 및 조도를 확인할 수 있고, 이를 통해 자신의 자세, 눈 깜박임 및 조도를 교정할 수 있다.
도 20은 또 다른 실시 예에 따른 미니창(820)이다.
미니창(820)은 사용자의 자세와 눈 깜박임의 상태를 아이콘을 이용하여 나타낼 수 있다. 아이콘은 신호등의 형태일 수 있으나, 이는 예시에 불과하다. 즉, 눈 깜박임 아이콘(821)은 실시간으로 사용자의 눈 깜박임 상태를 제공할 수 있고, 자세 아이콘(823)은 실시간으로 사용자의 자세 상태를 제공할 수 있다. 만약, 사용자의 눈 깜박임 상태가 권장 기준 눈 깜박임 횟수를 넘지 않는 경우, 디스플레이 장치(100)는 사용자가 쉽게 인지할 수 있도록 눈 깜박임 아이콘(821)을 반투명하게 표시할 수 있고, 권장 기준 눈 깜박임 횟수를 넘는 경우, 눈 깜박임 아이콘(821)을 투명하게 표시할 수 있다. 자세 아이콘(823)도 마찬가지이다.
자세 아이콘(823)의 경우, 실시간으로 획득된 사용자의 자세에 대응되는 자세를 실루엣으로 표시할 수 있다. 또한, 디스플레이 장치(100)는 깜박임 아이콘(821) 및 자세 아이콘(823)각각을 위험도에 따라 컬러로 구분하여 표시할 수 있다. 한편, 획득된 사용자의 영상에서 조도가 기준 조도 이하인 경우, 디스플레이 장치(100)는 눈 깜박임 상태를 인식이 어려움을 나타내는 메시지를 노티할 수 있다. 디스플레이 장치(100)의 디스플레이부(151)의 배치 각도가 변경된 경우, 디스플레이 장치(100)는 사용자의 기준 자세를 초기화하고, 새롭게 기준 자세를 등록하는 과정을 수행할 수 있다.
다시 도 5를 설명한다.
그 후, 제어부(170)는 인식된 사용자가 시청하고 있는 미디어 컨텐트의 종류를 확인하고(S111), 제어부(170)는 확인된 미디어 컨텐트의 종류가 동영상인 경우(S113), 카메라(171)의 전원을 오프시킨다(S115).
제어부(170)는 사용자가 시청하고 있는 미디어 컨텐트의 종류에 기초하여 카메라(171)의 동작을 제어할 수 있다. 이는 카메라(171)의 동작에 의해 전력 소모를 방지하기 위함이다.
일 실시 예에서 사용자가 시청하고 있는 미디어 컨텐트가 사용자의 별도 입력이 요구되지 않고, 단순히 장기간 시청을 요구하는 동영상인 경우, 제어부(170)는 카메라(171)의 전원을 오프 시킬 수 있다.
또 다른 실시 예에서 사용자가 시청하고 있는 미디어 컨텐트가 사용자의 별도 입력을 요구하는 웹서핑이나, 문서작업에 해당되는 경우, 제어부(170)는 카메라(171)의 전원을 온 상태로 유지 시킬 수 있다. 웹서핑이나 문서 작업의 경우, 사용자의 자세가 중요하기 때문에 제어부(170)는 실시간으로 사용자의 자세 및 눈 깜박임을 획득하기 위해 카메라(171)의 전원을 온 상태로 유지할 수 있다.
또 다른 실시 예에서 제어부(170)는 카메라(171)를 통해 사용자의 영상이 감지되지 않는 경우, 카메라(171)의 전원을 오프 시킬 수 있다. 제어부(170)는 카메라(171)의 전원이 오프된 상태에서 마우스 입력이나 키 이벤트 입력을 수신한 경우, 카메라(171)의 전원을 온 시킬 수 있다. 즉, 제어부(170)는 마우스 입력이나 키 이벤트를 카메라(171)의 전원을 온 시키는 트리거 신호로 인식할 수 있다.
본 발명의 일실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 디스플레이 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (20)

  1. 디스플레이 장치의 동작 방법에 있어서,
    카메라를 통해 사용자의 영상을 획득하는 단계;
    획득된 사용자의 영상에 기초하여 사용자를 인식하는 단계;
    인식된 사용자의 자세 정보 및 인식된 사용자의 눈 깜박임 정보를 포함하는 사용자의 상태 정보를 획득하는 단계; 및
    획득된 사용자의 상태 정보에 기초하여 피드백 정보를 제공하는 단계를 포함하는
    디스플레이 장치의 동작 방법.
  2. 제1항에 있어서,
    획득된 사용자의 상태 정보에 기초하여 사용자의 기준 자세 또는 기준 눈 깜박임 횟수를 등록하는 단계를 더 포함하는
    디스플레이 장치의 동작 방법.
  3. 제2항에 있어서,
    상기 피드백 정보는
    사용자의 자세를 상기 기준 자세와 비교한 비교 결과 또는 일정 시간 동안 측정된 사용자의 눈 깜박임 횟수를 상기 기준 눈 깜박임 횟수와 비교한 비교 결과 중 어느 하나를 포함하는
    디스플레이 장치의 동작 방법.
  4. 제3항에 있어서,
    상기 피드백 정보를 제공하는 단계는
    상기 사용자의 상태 정보에 대한 결과를 나타내는 결과 인터페이스 화면을 표시하는 단계를 포함하고,
    상기 결과 인터페이스 화면은
    특정 기간을 설정하기 위한 기간 설정 영역과 상기 사용자의 자세와 기준 자세 간을 그래프를 통해 비교 결과를 보여주는 자세 결과 그래프 영역과 상기 자세 결과 그래프에 포함된 자세 추이선의 일 지점에서 사용자의 자세 이미지를 제공하는 자세 결과 이미지 영역 및 상기 일 지점에 대한 자세 비교 결과를 텍스트로 제공하는 텍스트 영역을 포함하는
    디스플레이 장치의 동작 방법.
  5. 제4항에 있어서,
    상기 결과 인터페이스 화면은
    상기 결과 인터페이스 화면의 크기를 축소시켜 제공하기 위한 미니창 버튼을 포함하고,
    상기 피드백 정보를 제공하는 단계는
    상기 미니창 버튼이 선택된 경우, 상기 사용자의 상태 정보에 대한 결과를 축약하여 미니창으로 표시하는 단계를 포함하는
    디스플레이 장치의 동작 방법.
  6. 제3항에 있어서,
    상기 피드백 정보를 제공하는 단계는
    상기 사용자의 자세 정보에 대한 비교 결과 및 상기 눈 깜박임 정보에 대한 비교 결과를 아이콘을 이용하여 미니창으로 표시하는 단계를 포함하는
    디스플레이 장치의 동작 방법.
  7. 제6항에 있어서,
    상기 미니창은
    상기 사용자의 자세에 대한 비교 결과를 현재 사용자의 자세에 대응시켜 표시하는 자세 아이콘 및 상기 눈 깜박임 정보에 대한 비교 결과를 나타내는 눈 깜박임 아이콘을 포함하는
    디스플레이 장치의 동작 방법.
  8. 제7항에 있어서,
    상기 자세 아이콘 및 상기 눈 깜박임 아이콘 각각은 상기 기준 자세 및 상기 기준 눈 깜박임 횟수와의 유사 범위에 따라 컬러를 달리하여 표시되는
    디스플레이 장치의 동작 방법.
  9. 제1항에 있어서,
    인식된 사용자가 시청하고 있는 미디어 컨텐트의 종류를 확인하는 단계; 및
    확인된 미디어 컨텐트의 종류에 기초하여 상기 카메라의 동작을 제어하는 단계를 포함하는
    디스플레이 장치의 동작 방법.
  10. 제9항에 있어서,
    상기 카메라의 동작을 제어하는 단계는
    상기 미디어 컨텐트의 종류가 동영상인 경우, 상기 카메라의 전원을 온시키고, 상기 미디어 컨텐트의 종류가 동영상 이외인 경우, 상기 카메라의 전원을 오프시키는 단계를 포함하는
    디스플레이 장치의 동작 방법.
  11. 디스플레이 장치에 있어서,
    디스플레이부;
    사용자의 영상을 획득하는 카메라; 및
    획득된 사용자의 영상에 기초하여 사용자를 인식하고, 인식된 사용자의 자세 정보 및 인식된 사용자의 눈 깜박임 정보를 포함하는 사용자의 상태 정보를 획득하며, 획득된 사용자의 상태 정보에 기초하여 피드백 정보를 제공하는 제어부를 포함하는
    디스플레이 장치.
  12. 제11항에 있어서,
    상기 제어부는
    획득된 사용자의 상태 정보에 기초하여 사용자의 기준 자세 또는 기준 눈 깜박임 횟수를 등록하는
    디스플레이 장치.
  13. 제12항에 있어서,
    상기 피드백 정보는
    사용자의 자세를 상기 기준 자세와 비교한 비교 결과 또는 일정 시간 동안 측정된 사용자의 눈 깜박임 횟수를 상기 기준 눈 깜박임 횟수와 비교한 비교 결과 중 어느 하나를 포함하는
    디스플레이 장치.
  14. 제13항에 있어서,
    상기 제어부는
    상기 사용자의 상태 정보에 대한 결과를 나타내는 결과 인터페이스 화면을 표시하도록 상기 디스플레이부를 제어하는 단계를 포함하고,
    상기 결과 인터페이스 화면은
    특정 기간을 설정하기 위한 기간 설정 영역과 상기 사용자의 자세와 기준 자세 간을 그래프를 통해 비교 결과를 보여주는 자세 결과 그래프 영역과 상기 자세 결과 그래프에 포함된 자세 추이선의 일 지점에서 사용자의 자세 이미지를 제공하는 자세 결과 이미지 영역 및 상기 일 지점에 대한 자세 비교 결과를 텍스트로 제공하는 텍스트 영역을 포함하는
    디스플레이 장치.
  15. 제14항에 있어서,
    상기 결과 인터페이스 화면은
    상기 결과 인터페이스 화면의 크기를 축소시켜 제공하기 위한 미니창 버튼을 포함하고,
    상기 제어부는
    상기 미니창 버튼이 선택된 경우, 상기 사용자의 상태 정보에 대한 결과를 축약하여 미니창으로 표시하도록 상기 디스플레이부를 제어하는
    디스플레이 장치.
  16. 제13항에 있어서,
    상기 제어부는
    상기 사용자의 자세 정보에 대한 비교 결과 및 상기 눈 깜박임 정보에 대한 비교 결과를 아이콘을 이용하여 미니창으로 표시하도록 상기 디스플레이부를 제어하는
    디스플레이 장치.
  17. 제16항에 있어서,
    상기 미니창은
    상기 사용자의 자세에 대한 비교 결과를 현재 사용자의 자세에 대응시켜 표시하는 자세 아이콘 및 상기 눈 깜박임 정보에 대한 비교 결과를 나타내는 눈 깜박임 아이콘을 포함하는
    디스플레이 장치.
  18. 제17항에 있어서,
    상기 자세 아이콘 및 상기 눈 깜박임 아이콘 각각은 상기 기준 자세 및 상기 기준 눈 깜박임 횟수와의 유사 범위에 따라 컬러를 달리하여 표시되는
    디스플레이 장치.
  19. 제11항에 있어서,
    상기 제어부는
    인식된 사용자가 시청하고 있는 미디어 컨텐트의 종류를 확인하고, 확인된 미디어 컨텐트의 종류에 기초하여 상기 카메라의 동작을 제어하는
    디스플레이 장치.
  20. 제19항에 있어서,
    상기 제어부는
    상기 미디어 컨텐트의 종류가 동영상인 경우, 상기 카메라의 전원을 온시키고, 상기 미디어 컨텐트의 종류가 동영상 이외인 경우, 상기 카메라의 전원을 오프시키는
    디스플레이 장치.
KR1020140139037A 2014-10-15 2014-10-15 디스플레이 장치 및 그의 동작 방법 KR20160044254A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140139037A KR20160044254A (ko) 2014-10-15 2014-10-15 디스플레이 장치 및 그의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140139037A KR20160044254A (ko) 2014-10-15 2014-10-15 디스플레이 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR20160044254A true KR20160044254A (ko) 2016-04-25

Family

ID=55918687

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140139037A KR20160044254A (ko) 2014-10-15 2014-10-15 디스플레이 장치 및 그의 동작 방법

Country Status (1)

Country Link
KR (1) KR20160044254A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023167506A1 (ko) * 2022-03-03 2023-09-07 삼성전자 주식회사 눈의 피로도 저감 방법 및 그 전자 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023167506A1 (ko) * 2022-03-03 2023-09-07 삼성전자 주식회사 눈의 피로도 저감 방법 및 그 전자 장치

Similar Documents

Publication Publication Date Title
US9436290B2 (en) Display device and operating method thereof
KR102191177B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20150146193A (ko) 디스플레이 장치 및 그의 동작 방법
KR102238330B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20150145616A (ko) 디스플레이 장치 및 그의 동작 방법
KR102209354B1 (ko) 영상 표시 기기 및 그의 동작 방법
KR20170121640A (ko) 디스플레이 장치 및 그의 동작 방법
KR20170024480A (ko) 디스플레이 장치 및 그의 동작 방법
KR20150104711A (ko) 디스플레이 장치 및 그의 동작 방법
KR102576388B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20240010068A (ko) 디스플레이 장치
KR20210126266A (ko) 디스플레이 장치
US10162423B2 (en) Image display apparatus and operation method thereof
KR20170035167A (ko) 디스플레이 장치 및 그의 동작 방법
KR102194011B1 (ko) 영상 표시 기기 및 그의 동작 방법
KR102654415B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20180016805A (ko) 디스플레이 장치 및 그의 동작 방법
KR20160095377A (ko) 디스플레이 장치 및 그의 동작 방법
KR20210002797A (ko) 디스플레이 장치
KR20160044254A (ko) 디스플레이 장치 및 그의 동작 방법
KR102220198B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20160004739A (ko) 디스플레이 장치 및 그의 동작 방법
KR102581857B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20180043139A (ko) 디스플레이 장치 및 그의 동작 방법
KR20150128090A (ko) 영상 표시 기기

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination