KR20160014915A - 디스플레이장치 및 그 제어방법 - Google Patents

디스플레이장치 및 그 제어방법 Download PDF

Info

Publication number
KR20160014915A
KR20160014915A KR1020140097077A KR20140097077A KR20160014915A KR 20160014915 A KR20160014915 A KR 20160014915A KR 1020140097077 A KR1020140097077 A KR 1020140097077A KR 20140097077 A KR20140097077 A KR 20140097077A KR 20160014915 A KR20160014915 A KR 20160014915A
Authority
KR
South Korea
Prior art keywords
image
processing
mode
display
user
Prior art date
Application number
KR1020140097077A
Other languages
English (en)
Inventor
서영광
박용준
조대우
최상언
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140097077A priority Critical patent/KR20160014915A/ko
Priority to US14/798,641 priority patent/US20160034019A1/en
Publication of KR20160014915A publication Critical patent/KR20160014915A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/63—Generation or supply of power specially adapted for television receivers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명에 따른 디스플레이장치는, 디스플레이장치의 정상모드 시 화면을 표시할 수 있으며, 디스플레이장치의 대기모드 시 절전상태가 되는 디스플레이부와; 디스플레이장치의 외부를 촬영한 이미지를 출력하는 이미지센서부와; 이미지센서부에 의해 촬영된 이미지에 대하여, 전력소모의 수준이 서로 다른 복수의 처리모드를 가지며, 대기모드 시, 정상모드 시보다 전력소모의 수준이 낮은 처리모드로 촬영된 이미지를 처리하고, 처리 결과에 기초하여 촬영된 이미지가 정상모드로의 진입에 대응하는 것으로 판단되는 경우, 디스플레이부가 절전상태를 벗어나 화면을 표시하도록 제어하는 제어부를 포함한다.
이에 따라, 이미지센서에 의해 사용자의 유무를 감지함에 있어, 사용자가 감지되지 않는 경우 전력소모를 최소로 하는 디스플레이장치를 제공할 수 있다. 또한, 사용자가 감지된 후 움직임이 없거나 이탈하는 경우에 대해서도 사용자의 유무를 감지할 수 있는 디스플레이장치를 제공할 수 있다.

Description

디스플레이장치 및 그 제어방법 {DISPLAY APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 디스플레이 전면의 사용자 유무를 감지하여 화면을 표시함에 있어 소비전력을 낮추기 위한 디스플레이장치 및 그 제어방법에 관한 것이다.
TV 등과 같이 대형 화면을 갖는 전자기기는 디스플레이의 소비전력이 상대적으로 높은 편이다. 특히, 웹캠(Webcam)을 이용하여 사용자를 감지하는 기능을 가진 TV의 경우, 사용자의 유무에 관계없이 TV 장치는 항상 전원 온(ON) 상태를 유지해야하므로 소비전력의 부담이 더 크다.
따라서, 디스플레이 전면에 사용자가 없는 것으로 감지되는 경우에 있어서는 디스플레이 자체의 소비전력을 낮추는 것이 필요하다.
한편, 웹캠을 이용하여 사용자를 감지하는 TV에 있어 사용자가 디스플레이 전면으로 진입하는 움직임은 감지할 수 있으나, 사용자가 디스플레이 전면으로 진입한 후 움직임이 없거나, 디스플레이 전면으로부터 이탈하는 경우는 사용자의 유무를 감지해내지 못하는 문제점이 있다.
따라서, 본 발명의 목적은, 이미지센서에 의해 사용자의 유무를 감지함에 있어, 사용자가 감지되지 않는 경우 전력소모를 최소로 하는 디스플레이장치를 제공하는 것이다.
또한, 본 발명의 또 다른 목적은, 사용자가 감지된 후 움직임이 없거나 이탈하는 경우에 대해서도 사용자의 유무를 감지할 수 있는 디스플레이장치를 제공하는 것이다.
상기 목적은, 본 발명에 따라, 디스플레이장치에 있어서, 디스플레이장치의 정상모드 시 화면을 표시할 수 있으며, 디스플레이장치의 대기모드 시 절전상태가 되는 디스플레이부와; 디스플레이장치의 외부를 촬영한 이미지를 출력하는 이미지센서부와; 이미지센서부에 의해 촬영된 이미지에 대하여, 전력소모의 수준이 서로 다른 복수의 처리모드를 가지며, 대기모드 시, 정상모드 시보다 전력소모의 수준이 낮은 처리모드로 촬영된 이미지를 처리하고, 처리 결과에 기초하여 촬영된 이미지가 정상모드로의 진입에 대응하는 것으로 판단되는 경우, 디스플레이부가 절전상태를 벗어나 화면을 표시하도록 제어하는 제어부를 포함하는 디스플레이장치에 의해 달성될 수 있다. 이와 같은 본 발명의 실시예에 따라, 이미지센서에 의해 사용자의 유무를 감지함에 있어, 사용자가 감지되지 않는 경우 전력소모를 최소로 하는 효과가 있다. 또한, 사용자가 감지된 후 움직임이 없거나 이탈하는 경우에 대해서도 사용자의 유무를 감지할 수 있는 장점이 있다.
상기 복수의 처리모드는, 상기 처리되는 이미지의 픽셀 또는 프레임의 수, 해상도 및 동작주파수 중 적어도 하나가 서로 다를 수 있다. 이에 따라, 이미지센서에 의해 촬영된 이미지를 처리함에 있어 전력소모를 최소로 하는 다양한 방법을 제공할 수 있다.
상기 제어부는, 상기 대기모드 시, 상기 이미지의 전체 픽셀 중 일부 픽셀을 처리할 수 있다. 이에 따라, 사용자가 감지되지 않는 경우, 이미지를 처리하기 위해 스캔되는 픽셀의 수를 최소로 함에 의해 전력소모를 줄일 수 있다.
상기 제어부는, 상기 대기모드 시, 상기 이미지의 전체 프레임 중 일부 프레임을 처리할 수 있다. 이에 따라, 사용자가 감지되지 않는 경우, 이미지를 처리하기 위해 프레임 레이트(frame rate)를 낮춤에 의해 전력소모를 줄일 수 있다.
상기 제어부는, 상기 대기모드 시, 상기 이미지의 해상도를 정상모드 시보다 낮은 해상도로 처리할 수 있다. 이에 따라, 사용자가 감지되지 않는 경우, 저해상도로 이미지를 처리하여 전력소모를 줄일 수 있다.
상기 제어부는, 상기 처리되는 이미지의 전체 영역 중 움직임이 있는 처리대상영역을 결정할 수 있다. 이에 따라, 사용자의 유무를 감지하기 위해, 이미지를 처리함에 있어 움직임이 있는 영역만을 선택하여 전력소모를 줄일 수 있다.
상기 제어부는, 상기 이미지의 제1프레임과 제2프레임의 전체 픽셀의 밝기 차이에 기초하여 상기 처리대상영역을 결정할 수 있다. 이에 따라, 사용자의 유무를 감지하기 위해, 이미지를 처리함에 있어 예컨대, 이전 프레임과 현재 프레임의 픽셀의 밝기의 변화가 큰 영역만을 선택하여 전력소모를 줄일 수 있다.
상기 제어부는, 상기 이미지의 제1프레임과 제2프레임의 칼럼(column) 단위의 픽셀의 밝기 차이에 기초하여 상기 처리대상영역을 결정할 수 있다. 이에 따라, 사용자의 유무를 감지하기 위해, 이미지를 처리함에 있어 상하로 긴 사용자의 특성을 고려하여 예컨대, 이전 프레임과 현재 프레임의 칼럼 단위의 픽셀의 밝기의 변화가 큰 영역만을 선택하여 전력소모를 줄일 수 있다. 또한, 사용자의 움직임이 있는 영역 이외의 부분적인 픽셀의 밝기 변화의 영향을 배제할 수 있는 장점이 있다.
상기 제어부는, 상기 처리대상영역의 모양에 기초하여 상기 처리대상영역 내에 사용자의 존재 여부를 판단할 수 있다. 이에 따라, 이미지에서 움직임이 있는 영역에 대해 얼굴 및 전신 등의 모양을 추출하여 사용자의 존재 여부를 감지할 수 있다.
상기 제어부는, 상기 처리대상영역 내에 상기 사용자가 존재하지 않는 경우 상기 대기모드로 진입할 수 있다. 이에 따라, 이미지에서 움직임이 있는 영역 내에 사용자가 존재하지 않는 것으로 감지되는 경우, 전력소모를 최소로 하는 대기모드로 진입하도록 할 수 있다.
상기 목적은, 본 발명에 따라, 디스플레이장치에 있어서, 디스플레이장치의 정상모드 시 화면을 표시할 수 있으며, 디스플레이장치의 대기모드 시 절전상태가 되는 디스플레이부와; 이미지센서가 탈착 가능하게 연결되며, 이미지센서로부터 출력되는 디스플레이장치의 외부를 촬영한 이미지를 수신하는 인터페이스부와; 수신된 이미지에 대하여, 전력소모의 수준이 서로 다른 복수의 처리모드를 가지며, 대기모드 시, 정상모드 시보다 전력소모의 수준이 낮은 처리모드로 촬영된 이미지를 처리하고, 처리 결과에 기초하여 촬영된 이미지가 정상모드로의 진입에 대응하는 것으로 판단되는 경우, 디스플레이부가 절전상태를 벗어나 화면을 표시하도록 제어하는 제어부를 포함하는 디스플레이장치에 의해서도 달성될 수 있다. 이와 같은 본 발명의 실시예에 따라, 유에스비(USB) 케이블로 연결되는 카메라에 의해 사용자의 유무를 감지함에 있어서도, 사용자가 감지되지 않는 경우 전력소모를 최소로 하는 효과가 있다.
상기 인터페이스부는 상기 이미지센서에 의해 촬영된 이미지를 전송하기 위한 감지신호를 출력할 수 있고, 이 때 상기 제어부는, 상기 인터페이스부로부터 출력된 감지신호에 대응하여 상기 촬영된 이미지를 수신하도록 제어할 수 있다. 이에 따라, 유에스비(USB) 케이블로 연결되는 카메라에 의해 사용자의 유무를 감지함에 있어, 감지신호를 전달하기 위한 별도의 신호 라인 없이 유에스비 케이블에 포함된 전원공급 인터페이스에 의해 감지신호를 디스플레이장치로 전달할 수 있다.
상기 목적은, 본 발명에 따라, 정상모드 시 화면표시가 가능하며, 대기모드 시 절전상태가 되는 디스플레이부를 구비하는 디스플레이장치의 제어방법에 있어서, 대기모드 시 디스플레이장치의 외부를 촬영한 이미지를 출력하는 단계와; 전력소모의 수준이 서로 다른 복수의 처리모드 중 정상모드 시보다 전력소모의 수준이 낮은 처리모드로 촬영된 이미지를 처리하는 단계와; 처리 결과에 기초하여 촬영된 이미지가 정상모드의 진입에 대응하는 것으로 판단되는 경우, 디스플레이부가 절전상태를 벗어나 화면을 표시하도록 제어하는 단계를 포함하는 디스플레이장치의 제어방법에 의해서도 달성될 수 있다..
상기 복수의 처리모드는, 상기 처리되는 이미지의 픽셀 또는 프레임의 수, 해상도 및 동작주파수 중 적어도 하나가 서로 다를 수 있다.
상기 촬영된 이미지를 처리하는 단계는, 상기 대기모드 시, 상기 이미지의 전체 픽셀 중 일부 픽셀을 처리하는 단계를 포함할 수 있다.
상기 촬영된 이미지를 처리하는 단계는, 상기 대기모드 시, 상기 이미지의 전체 프레임 중 일부 프레임을 처리하는 단계를 포함할 수 있다.
상기 촬영된 이미지를 처리하는 단계는, 상기 대기모드 시, 상기 이미지의 해상도를 정상모드 시보다 낮은 해상도로 처리하는 단계를 포함할 수 있다.
상기 촬영된 이미지를 처리하는 단계는, 상기 처리되는 이미지의 전체 영역 중 움직임이 있는 처리대상영역을 결정하는 단계를 포함할 수 있다.
상기 이미지의 제1프레임과 제2프레임의 전체 픽셀의 밝기 차이에 기초하여 상기 처리대상영역을 결정하는 단계를 포함할 수 있다.
상기 이미지의 제1프레임과 제2프레임의 칼럼 단위의 픽셀의 밝기 차이에 기초하여 상기 처리대상영역을 결정하는 단계를 포함할 수 있다.
상기 처리대상영역의 모양에 기초하여 상기 처리대상영역 내에 사용자의 존재 여부를 판단하는 단계를 포함할 수 있다.
상기 처리대상영역 내에 상기 사용자가 존재하지 않는 경우 상기 대기모드로 진입하는 단계를 포함할 수 있다.
상기한 바와 같이, 본 발명에 의하면, 디스플레이장치에 있어서, 이미지센서부에 의해 촬영된 이미지에 대하여, 대기모드 시, 정상모드 시보다 전력소모의 수준이 낮은 처리모드로 촬영된 이미지를 처리하고, 처리 결과에 기초하여 촬영된 이미지가 정상모드로의 진입에 대응하는 것으로 판단되는 경우, 디스플레이부가 절전상태를 벗어나 화면을 표시하도록 제어함에 의해, 이미지센서에 의해 사용자의 유무를 감지함에 있어, 사용자가 감지되지 않는 경우 전력소모를 최소로 할 수 있는 효과가 있다.
또한, 본 발명에 의하면, 디스플레이장치에 있어, 이미지센서에 의해 사용자가 감지된 후 움직임이 없거나 이탈하는 경우에 대해서도 사용자의 유무를 감지할 수 있다.
도 1은 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 VIS(Vision Image Sensor)를 포함하는 디스플레이장치의 구성을 도시한 예이다.
도 3은 본 발명의 일실시예에 따른 디스플레이장치의 동작모드의 전환의 예를 도시한 것이다.
도 4는 본 발명의 일실시예에 따른 사용자가 감지되는 경우 준대기모드에서 정보디스플레이모드로 전환하는 예를 도시한 것이다.
도 5는 본 발명의 일실시예에 따른 사용자의 이탈을 감지하여 정보디스플레이모드에서 준대기모드로 전환하는 예를 도시한 것이다.
도 6은 본 발명의 일실시예에 따른 이미지센서가 탈착 가능하게 연결되는 디스플레이장치의 구성을 도시한 블록도이다.
도 7은 본 발명의 일실시예에 따른 이미지센서에서 출력되는 트리거신호를 전원인터페이스에 의해 디스플레이장치로 전송하는 회로의 예를 도시한 것이다.
도 8은 본 발명의 일실시예에 따른 디스플레이장치의 제어방법을 도시한 흐름도이다.
이하, 첨부도면을 참조하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙이도록 한다.
이하에서는, 먼저 도 1을 통해 본 발명에 따른 디스플레이장치에 포함된 각 구성요소의 특징에 대해 구체적으로 설명하기로 한다. 도 1은 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다. 도 1에 도시된 바와 같이, 디스플레이장치(100)는 이미지센서부(110), 제어부(120), 디스플레이부(130)를 포함한다. 디스플레이장치(100)는 예컨대 TV로 구현될 수 있다. 디스플레이장치(100)는 대기모드 시 이미지센서부(100)에 의해 디스플레이장치(100)의 외부를 촬영한 이미지를 출력한다. 디스플레이장치(100)는 전력소모의 수준이 서로 다른 복수의 처리모드 중 정상모드 시보다 전력소모가 낮은 처리모드로 촬영된 이미지를 처리한다. 디스플레이장치(100)는 처리 결과에 기초하여 촬영된 이미지가 정상모드의 진입에 대응하는 것으로 판단되는 경우, 디스플레이부(130)가 절전상태를 벗어나 화면을 표시하도록 제어한다.
이와 같이 본 발명의 일실시예에 의한 디스플레이장치(100)는 이미지센서에 의해 사용자의 유무를 감지함에 있어, 사용자가 감지되지 않는 경우 전력소모를 최소로 할 수 있고, 사용자가 감지된 후 움직임이 없거나 이탈하는 경우에 대해서도 사용자의 유무를 감지하도록 할 수 있는 장점이 있다.
이미지센서부(110)는 디스플레이장치(100)의 외부를 촬영한 이미지를 출력한다. 이미지센서부(110)는 렌즈 광학 구조를 포함하고, 예컨대 CMOS 이미지센서(CIS), CCD 이미지센서, 열감지센서 등으로 구현될 수 있다. 다른 예로서, 이미지센서부(110)는 깊이 카메라(Depth Camera)로 구현될 수 있고, 적외선(IR) 광원과의 조합으로도 구성될 수 있다. 이미지센서부(110)는 동작 조건에 따라 전체 픽셀이 동작되도록 할 수 있고, 일부 픽셀만 동작되도록 할 수 있다.
디스플레이부(130)는 디스플레이장치(100)의 정상모드 시 화면을 표시할 수 있으며, 디스플레이장치(100)의 대기모드 시 절전상태가 된다.
제어부(120)는 이미지센서부(110)에 의해 촬영된 이미지에 대하여, 전력소모의 수준이 서로 다른 복수의 처리모드를 가진다. 여기서, 복수의 처리모드는, 처리되는 이미지의 픽셀 또는 프레임의 수, 해상도 및 동작주파수 중 적어도 하나가 서로 다를 수 있다. 제어부(120)는 대기모드 시, 정상모드 시보다 전력소모의 수준이 낮은 처리모드로 촬영된 이미지를 처리한다. 일실시예로서, 제어부(120)는 대기모드 시, 이미지의 전체 픽셀 중 일부 픽셀을 처리할 수 있다. 예를 들면, 대기모드 시, 8메가(Mega) 화소의 이미지센서에서 전체 픽셀 중 120*100의 픽셀만을 활성화하여 저전력으로 동작하도록 할 수 있고, 이 경우 이미지센서는 10밀리와트(mW)의 전력을 사용하고, TV 전체로는 100mW 내지 150mW의 전력만을 사용하므로 전력 사용량을 정상모드 시에 비해 크게 낮출 수 있는 효과가 있다.
다른 실시예로서, 제어부(120)는 대기모드 시, 이미지의 전체 프레임 중 일부 프레임을 처리할 수 있다. 또 다른 실시예로서, 제어부(120)는 대기모드 시, 이미지의 해상도를 정상모드 시보다 낮은 해상도로 처리할 수 있다. 이와 같이 본 발명의 일실시예에 의한 디스플레이장치(100)는 이미지센서부(110)에 의해 촬영된 이미지를 처리함에 있어 다양한 처리 방법을 이용하여 전력소모를 최소로 할 수 있는 장점이 있다.
제어부(120) 처리되는 이미지의 전체 영역 중 움직임이 있는 처리대상영역을 결정한다. 여기서, 제어부(120)는 이미지의 제1프레임과 제2프레임의 전체 픽셀의 밝기 차이에 기초하여 처리대상영역을 결정할 수 있다. 다른 실시예로서, 제어부(120)는 이미지의 제1프레임과 제2프레임의 칼럼 단위의 픽셀의 밝기 차이에 기초하여 처리대상영역을 결정할 수 있다. 예로서, 칼럼으로 더해진 픽셀의 서로 다른 프레임 간 밝기 차이의 절대값이 소정값 이상이면 움직임이 있는 처리대상영역으로 결정되고, 이에 따라 사용자의 움직임이 있는 것으로 감지될 수 있다. 또한, 제어부(120)는 처리대상영역의 모양에 기초하여 처리대상영역 내에 사용자의 존재 여부를 판단할 수 있다. 예로서, 처리대상영역에 대해 실루엣, 그림자 형태, 얼굴 및 전신 영역 중 적어도 하나를 추출하여 사용자가 존재하는지를 감지할 수 있다.
제어부(120)는 처리 결과에 기초하여 촬영된 이미지가 정상모드로의 진입에 대응하는 것으로 판단되는 경우, 디스플레이부(130)가 절전상태를 벗어나 화면을 표시하도록 제어한다. 일실시예로서, 처리 결과가 처리대상영역 내에 사용자의 존재를 감지하는 것에 대응하는 경우 정상모드로 진입하여 화면을 보여줄 수 있다. 예로서, 도 4에 도시된 바와 같이, (B)준대기모드 상태에서, 이미지센서가 촬영한 이미지의 프레임 간 픽셀의 밝기 차이에 의해 움직임이 있는 처리대상영역을 결정하고(S420, S430, S440), 처리대상영역에 사용자가 존재하는지를 감지(S450, S460)하여 (C)정보디스플레이모드로 진입(S470)하도록 할 수 있다.
한편, 제어부(120)는 처리대상영역 내에 사용자가 존재하지 않는 것으로 판단된 경우 대기모드로 진입하도록 할 수 있다. 즉, 처리대상영역 내에 사용자가 있는 것으로 감지된 후에 사용자가 처리대상영역 밖으로 이탈하는 경우, 이를 감지하여 정상모드에서 대기모드로 진입하도록 할 수 있다. 예로서, 도 5에 도시된 바와 같이, (C)정보디스플레이모드 상태에서, 이미지센서에 의해 촬영된 이미지에서 움직임을 트래킹(S530)하여 기 설정된 시간 내에 움직임이 감지되지 않는 경우(S535) (B)준대기모드로 진입(S560)하도록 할 수 있다. 또한, 처리대상영역을 스캔(S540)하여 기 설정된 시도 동안 사용자의 존재가 감지되지 않으면(S545) (B)준대기모드로 진입(S560)하도록 할 수 있다.
도 2는 본 발명의 일실시예에 따른 VIS를 포함하는 디스플레이장치의 구성을 도시한 예이다. 도 2에 도시된 바와 같이, 디스플레이장치(200)는 VIS(Vision Image Sensor)(211), MIC(Microphone)(221), 센서제어부(230) 및 센서전원관리부(235)를 포함하는 이미지센서블록(210)과, 디스플레이제어부(250), 주전원관리부(260), 주처리부(270) 및 디스플레이부/오디오출력부(280)를 포함하는 디스플레이블록(255)으로 구성된다. 여기서 VIS(211) 및 MIC(221)는 도 1의 구성 중 이미지센서부(110)에 대응하고, 센서제어부(230), 디스플레이제어부(250) 및 주처리부(270)는 도 1의 구성 중 제어부(120)의 일부에 대응한다. 또한, 디스플레이부/오디오출력부(280)는 도 1의 구성 중 디스플레이부(130)에 대응하는 구성이다.
VIS(211)는 디스플레이장치(200) 전면의 뷰영역(205)에서의 움직임을 촬영하는 이미지센서로, 예컨대 CMOS 이미지센서(CIS), CCD 이미지센서, 열감지센서 등으로 구현될 수 있다. 다른 예로서, 이미지센서부(110)는 깊이 카메라(Depth Camera)로 구현될 수 있고, 적외선(IR) 광원과의 조합으로도 구성될 수 있다. VIS(211)는 동작 조건에 따라 전체 픽셀이 동작되도록 할 수 있고, 일부 픽셀만 동작되도록 할 수 있다.
VIS I/F(212)는 센서제어부(230)가 VIS(211)를 제어하기 위해 연결되는 인터페이스로, VIS(212)에 의해 촬영된 이미지의 출력신호를 전송하고, I2C, SPI, UART 등의 디지털 신호 및 아날로그 비디오 출력신호 등도 전송할 수 있다.
MIC(221)는 외부로부터의 오디오 음성을 수신하는 마이크로폰으로 구현된다.
MIC I/F(222)는 센서제어부(230)가 MIC(221)를 제어하기 위해 연결되는 인터페이스로, MIC(221)로부터 출력되는 아날로그 및 디지털 포맷의 오디오 데이터를 전송할 수 있다.
센서제어부(230)는 일반 카메라의 ISP(image signal processing) 기능을 포함하고, VIS(211)에 의해 촬영된 뷰영역(205)의 이미지의 출력신호에 대해 스케일링(scaling), 크랍(crop), 줌(zoom), 컴프레션(compression) 등을 처리하는 기능을 포함한다. 센서제어부(230)는 VIS(211)에 의해 촬영된 이미지의 출력신호를 디스플레이블록(255)으로 전달하고, 연속되는 프레임의 이미지 출력신호를 분석하여 움직임 여부를 판별하는 기능을 포함한다. 또한, 센서제어부(230)는 움직임이 있는 이미지 영역이 사용자에 의한 것인지를 판별하는 기능을 포함할 수 있고, 이러한 기능은 센서제어부(230)가 아닌 주처리부(270)에 의해 수행될 수도 있다. 일실시예로서, 센서제어부(230)는 주변의 밝기, 밝기 변화 등에 따른 노이즈 레벨을 설정하여 움직임 여부를 좀더 세밀하게 판별할 수 있다. 다른 실시예로서, 이미지 출력신호에 있어 움직임을 트래킹(tracking)하거나 움직이는 사용자를 트래킹하는 기능을 포함할 수 있고, 이러한 기능은 센서제어부(230)가 아닌 주처리부(270)에 의해 수행될 수도 있다. 센터제어부(230)는 그 밖에 이미지 신호의 버퍼, 펌웨어(Firmware), 알고리즘, 기타 등록정보 등이 저장 및 실행되는 메모리를 포함할 수 있다.
센서전원관리부(235)는 주전원관리부(260)로부터 전원을 공급받고, VIS(211), MIC(221), 센서제어부(230) 등에 필요한 복수의 전압 레벨로 변환하여 전원을 공급한다. 센서전원관리부(235)는 주전원관리부(260)로부터 전원을 공급받는 대신, 배터리, 외부 전원입력 등에 의해 전원을 공급받을 수 있다.
트리거신호(sensing trigger signal)(240)는 디스플레이장치(200) 전면의 뷰영역(205)으로 사용자의 진입 감지 여부를 디스플레이블록(255)로 전송하는 디지털신호이다. 트리거신호(240)는 GPIO(general purpose input output)신호로 이미지데이터I/F(245)와 물리적으로 별도의 인터페이스를 통해 전송되도록 구현될 수 있고, 다른 실시예로서 이미지데이터I/F(245)와 동일한 인터페이스를 사용하도록 구현될 수도 있다. 또 다른 실시예로서, 트리거신호(240)는 전원I/F(265)를 이용하도록 구현될 수도 있다. 또한, 트리거신호(240)는 유선 신호뿐만 아니라 와이파이(Wi-fi), 블루투스(Bluetooth), 지그비(Zigbee)등의 무선 신호로 구현될 수 있다.
이미지데이터I/F(245)는 VIC(211) 및 MIC(221)로부터의 출력 데이터를 디스플레이제어부(250)로 전송하는 인터페이스로, USB, UART, SPI, Wifi, BT, Zigbee 등이 사용될 수 있다.
전원I/F(265)는 주전원관리부(260)와 센서전원관리부(235)를 연결하는 전원공급 인터페이스로, 단일 전압 또는 복수의 전압이 공급될 수 있다.
디스플레이제어부(250)는 리모컨 입력, 트리거신호(240) 등을 수신 및 분석하여 디스플레이블록(255)의 동작을 제어한다. 디스플레이제어부(250)는 이미지센서블록(210)을 리셋(reset)하기 위해, 별도의 리셋 신호 인터페이스(미도시)를 제공하거나, 전원 I/F(265)를 이용할 수 있다.
주전원관리부(260)는 외부의 전원을 공급받아 디스플레이블록(255) 및 이미지센서블록(210)에서 필요한 AC/DC 전압으로 변환할 수 있다.
주처리부(270)는 VIS(211)에 의해 촬영된 뷰영역(205)의 이미지를 수신 및 분석하여 움직임 여부를 판별할 수 있다. 일실시예로서, 주처리부(270)는 사용자 여부를 판별하는 알고리즘 및 사용자를 트래킹(tracking)하는 알고리즘을 수행할 수도 있다. 다른 실시예로서, 주처리부(270)는 디스플레이장치(200) 전면의 뷰영역(205)에 진입한 사용자가 누구인지 판별하는 알고리즘을 수행할 수 있고, 이 경우 판별된 사용자에 대응하는 화면 표시 및 오디오를 출력하도록 디스플레이부/오디오출력부(280)를 제어할 수 있다.
준대기모드블록(290)은 트리거신호(240), 리모컨 입력 등에 의해 디스플레이블록(255)을 활성화하는 신호를 수신하는 디스플레이제어부(250)만을 동작하도록 하여 디스플레이블록(255)이 최소의 전력만 소비하도록 한다. 이 때, 주처리부(270) 및 디스플레이부/오디오출력부(280)는 슬립(sleep) 또는 비활성화 상태가 되도록 한다. 또한, 준대기모드블록(290)은 이미지센서블록(210)에 대해서도 VIS(211)에 의해 촬영된 이미지의 프레임 레이트를 낮추거나 픽셀의 일부만을 사용하거나, 동작주파수를 낮춤에 의해 소비 전력을 낮추도록 할 수 있다.
도 3은 본 발명의 일실시예에 따른 디스플레이장치의 동작모드의 전환의 예를 도시한 것이다. 도 3에 도시된 바와 같이, 디스플레이장치는 (A)제1대기모드, (B)제2대기모드(준대기모드), (C)정보디스플레이모드 및 (D)정상디스플레이모드 중 하나의 동작모드로 동작할 수 있고, 동작 조건에 따라 동작모드 간에 서로 전환될 수 있다.
(A)제1대기모드는 도 2의 구성에 있어 이미지센서블록(210)은 동작하지 않고 디스플레이블록(255) 중 디스플레이제어부(250)만 동작하는 상태이다. (A)제1대기모드는 리모컨 입력에 의해 디스플레이블록(255) 전체를 활성화할 수 있는 상태로 소비전력이 최소이나, 이미지센서블록(210)에 의해 사용자를 감지하는 기능은 수행하지 못한다.
(B)제2대기모드(준대기모드)는 도 2의 구성에 있어 (A)제1대기모드와 마찬가지로 디스플레이블록(255) 중 디스플레이제어부(250)만 동작하는 상태이나, 이미지센서블록(210)이 디스플레이장치(200) 전면의 뷰영역(205)의 사용자 유무를 감지하는 기능을 수행한다. 이 때, 이미지센서블록(210)은 움직임을 감지하는 알고리즘 및 움직임이 사용자에 의한 것인지 판별하는 알고리즘을 수행하여 사용자가 감지되면 (C)정보디스플레이모드로 진입할 수 있다.
(C)정보디스플레이모드는 도 2의 구성에 있어, 이미지센서블록(210)에 의해 디스플레이장치(200) 전면의 뷰영역(205)에서 사용자가 감지되면 디스플레이부/ 오디오출력부(280)가 동작하는 상태이다. 이 때, 제공되는 정보에 따라, 디스플레이부/ 오디오출력부(280)가 전체 동작을 수행하거나 부분 동작을 수행할 수 있다. 예로서, LCD패널의 경우 백라이트유닛을 국부적으로 사용하여 소비전력을 줄일 수 있다. 다른 예로서, 사용자가 감지되는 경우 날씨, 메모, 스크린 세이버 등의 화면을 자동으로 표시할 수 있고, 사용자가 누구인지 판별 없이 일반적인 컨텐츠를 표시하거나, 사용자가 누군인지를 판별하여 사용자에 맞는 컨텐츠 또는 어플리케이션을 표시할 수 있다.
(C)정보디스플레이모드는 사용자가 디스플레이장치 전면에 계속 있는지를 알기 위해 사용자 트래킹(tracking)을 수행할 수 있다. 사용자 트래킹을 위한 알고리즘은 도 2의 센서제어부(230) 또는 주처리부(270)에서 수행되도록 할 수 있다. (C)정보디스플레이모드는 사용자가 디스플레이장치(200) 전면의 뷰영역(205)으로부터 이탈하여 미리 설정된 시간 내에 돌아오지 않으면 (B)준대기모드로 진입할 수 있다. 다른 실시예로서, 사용자가 뷰영역(205)으로부터 이탈하였으나 MIC(221)로 음성이 입력되면, (B)준대기모드로 전환할 지 여부를 결정할 수 있다. 또한, 리모컨 입력, 사용자의 제스쳐, 음성 명령 등을 이용하여 (D)정상디스플레이모드로 진입할 수 있다.
(D)정상디스플레이모드는 도 2의 구성에 있어, 사용자가 디스플레이블록(255)을 동작하도록 하는 상태이다. (D)정상디스플레이모드에서도 이미지센서블록(210)을 이용하여 사용자가 누군인지 판별하는 알고리즘이나 사용자 트래킹 알고리즘이 실행될 수 있다.
(AB.1) 및 (AB.2)는 (A)제1대기모드 및 (B)준대기모드 사이의 전환으로, 리모컨 입력에 의해 실행되도록 할 수 있다. (AC.1) 및 (AC.2)는 (A)제1대기모드 및 (C)정보디스플레이모드 사이의 전환으로, 사용자의 유무에 관계없이 리모컨 입력에 의해 실행되도록 할 수 있다. (AD.1) 및 (AD.2)는 (A)제1대기모드 및 (D)정상디스플레이모드 사이의 전환으로, 리모컨 입력, 제스쳐, 음성명령 등에 의해 실행되도록 할 수 있다.
(BC.1) 및 (BC.2)는 (B)준대기모드 및 (C)정보디스플레이모드 사이의 전환으로, 도 2의 구성에서, VIS(211)에 의해 촬영된 뷰영역(205)의 이미지에서 움직임 감지 및 사용자의 존재 감지에 대응하는 트리거신호(240)를 디스플레이블록(255)의 디스플레이제어부(250)로 전송하여 (B)준대기모드에서 (C)정보디스플레이모드로 진입하도록 할 수 있다. 또한, 뷰영역(205)의 이미지에서 사용자의 이탈이 감지된 경우, 미리 설정된 시간 후에 디스플레이부/오디오출력부(280)가 비활성화되고, (C)정보디스플레이모드에서 (B)준대기모드로 진입하도록 할 수 있다.
(BD.1) 및 (BD.2)는 (B)준대기모드 및 (D)정상디스플레이모드 사이의 전환으로, 사용자 존재를 감지하기 전에 리모컨 입력, 제스쳐, 음성명령 등을 이용하여 (B)준대기모드에서 (D)정상디스플레이모드로 진입하도록 할 수 있다. 또한, 리모컨 입력, 제스쳐, 음성명령 등에 의해 디스플레이를 오프하여 (D)정상디스플레이모드에서 (B)준대기모드로 진입하도록 할 수 있고, 사용자가 감지되더라도 (C)정보디스플레이모드로 전환되지 않도록 설정할 수 있다.
(CD.1) 및 (CD.2)는 (C)정보디스플레이모드 및 (D)정상디스플레이모드 사이의 전환으로, 리모컨 입력, 제스쳐, 음성명령 등을 이용하여 디스플레이 를 활성화하여 (C)정보디스플레이모드에서 (D)정상디스플레이모드로 진입하도록 할 수 있다. 또한, 리모컨 입력, 제스쳐, 음성명령 등에 의해 디스플레이를 오프하여 (D)정상디스플레이모드에서 (C) 정보디스플레이모드로 진입하도록 할 수 있고, (B)준대기모드로 전환되지 않도록 설정할 수 있다.
도 4는 본 발명의 일실시예에 따른 사용자가 감지되는 경우 준대기모드에서 정보디스플레이모드로 전환하는 예를 도시한 것이다. 도 4에 도시된 바와 같이, (B)준대기모드 상태에서, 먼저 동작 S410에서, 이미지센서가 촬영한 이미지를 수신한다. 여기서 이미지센서는 이미지의 해상도를 정상모드 시보다 낮은 해상도로 처리할 수 있다. 다른 실시예로서, 이미지센서는 촬영한 이미지에서 사용자의 움직임을 감지하기 위해 예컨대 1 내지 10 fps(frame per second)의 느린 프레임 레이트(frame rate)로 처리할 수 있다. 이에 따라, 이미지센서는 최소의 전력을 이용하여 사용자의 움직임을 감지하는 효과가 있다.
다음으로 동작 S420에서, 이미지의 프레임간 픽셀의 밝기 차이에 의한 움직임을 감지한다. 일실시예로서, 이미지의 서로 다른 2개의 프레임의 픽셀별로 밝기 차이를 비교함에 있어, 모든 픽셀의 밝기 차이의 절대값을 더하는 방법 또는 칼럼 단위의 픽셀의 밝기 차이의 절대값을 더하는 방법을 사용할 수 있다. 칼럼 단위의 픽셀을 사용하는 경우는 사용자가 상하로 긴 형태를 가지는 특징을 고려한 것으로 좀더 효율적으로 사용자를 감지할 수 있고, 주변 조명, 배경의 밝기, 온도 및 배경의 색상 등에 의한 부분적인 픽셀의 밝기 변화의 영향을 배제할 수 있다.
다음으로, 동작 S430에서, 이미지의 프레임간 픽셀의 밝기 차이가 소정값 이상인지 판단한다. 일실시예로서, 칼럼 단위의 픽셀의 밝기 차이의 절대값의 합이 소정값 이상이면 움직임이 있는 것으로 판별한다. 다른 실시예로서, 각 픽셀의 밝기 차이의 절대값이 소정값 이상이면 1, 소정값 미만이면 0의 값으로 구분하고, 1의 개수를 칼럼 단위로 더하여 움직임을 판별하는데 사용할 수 있다. 또 다른 실시예로서, 움직임이 없는 이미지의 프레임들의 시간에 따른 배경의 노이즈(noise) 레벨 변화를 분석하여 기준이 되는 소정값을 조정할 수 있다.
다음으로 동작 S440에서, 이미지의 프레임간 픽셀의 밝기 차이로부터 움직임이 감지된 처리대상영역을 결정하고, 동작 S450에서, 처리대상영역에 사용자가 존재하는지 판별한다. 이 때, 이미지에서 실루엣, 얼굴 및 전신 영역 등을 추출하는 다양한 알고리즘을 이용하여 사용자가 존재하는지 여부를 판별할 수 있다.
동작 S460에서, 트리거신호를 생성한다. 예를 들면, 도 2에 도시된 바와 같이, 이미지센서블록(210)에서 움직임 및 사용자 여부가 판별된 시점에 센서제어부(230)가 트리거신호(240)를 생성하여 디스플레이제어부(250)로 전송하여 디스플레이블록(255)이 동작하도록 할 수 있다. 마지막으로 동작 S470에서, 트리거신호에 의해 움직임이 판별되면 (C)정보디스플레이모드로 전환한다.
도 5는 본 발명의 일실시예에 따른 사용자의 이탈을 감지하여 정보디스플레이모드에서 준대기모드로 전환하는 예를 도시한 것이다. 도 5에 도시된 바와 같이, (C)정보디스플레이모드 상태에서, 먼저 동작 S510에서, 이미지센서가 촬영한 이미지를 수신한다. 다음으로 동작 S520에서, 사용자의 움직임을 감지하고 처리대상영역을 업데이트했는지 확인한다. 여기서, 사용자의 움직임이 감지되고 처리대상영역을 업데이트했다면, 동작 S530에서 사용자의 움직임을 계속 추적(tracking)하고, 동작 S533에서 뷰영역 내에 사용자의 움직임이 있는지를 판별한다. 이 때, 뷰영역 내에 사용자의 움직임이 없다면, 동작 S535에서, 기 설정된 시간 동안 뷰영역 내에 사용자의 움직임이 있는지를 확인하고, 움직임이 없는 것으로 확인된 경우 동작 S560에서, (B)준대기모드로 전환한다.
다른 실시예로서, 동작 S520에서, 사용자의 움직임을 감지하고 처리대상영역을 업데이트하지 않았다면, 동작 S540에서, 마지막으로 결정된 처리대상영역을 스캔하여 사용자의 존재를 확인한다. 이 때, 처리대상영역 내에 사용자가 존재하지 않는 것으로 확인되면, 동작 S545에서, 뷰영역의 이미지를 스캔하여 기 설정된 시도 동안 사용자의 존재를 확인하도록 한다. 사용자의 존재가 확인되지 않는 경우, 동작 S560에서, (B)준대기모드로 전환한다.
일실시예로서, 뷰영역의 이미지에서 사용자가 감지되지 않았지만, MIC(Microphone)에 의한 사용자의 음성이 감지된 경우 (C)정보디스플레이모드가 유지될 수 있도록 설정할 수도 있다. 다른 실시예로서, 뷰영역의 이미지에서 사용자가 감지되지 않고, 사용자의 음성이 미리 설정한 크기 이상으로 감지되지 않는 경우에는 (B)준대기모드로 진입할 수 있다.
도 6은 본 발명의 일실시예에 따른 이미지센서가 탈착 가능하게 연결되는 디스플레이장치의 구성을 도시한 블록도이다. 도 6에 도시된 바와 같이, 디스플레이장치(600)는 제어부(620), 디스플레이부(630), 인터페이스부(640)를 포함하고, 이미지센서(610)가 인터페이스부(640)와 연결된다. 제어부(620) 및 디스플레이부(630)는 도 1의 제어부(120) 및 디스플레이부(130)의 구성과 동일하므로 구체적인 설명을 생략하기로 한다. 디스플레이장치(600)는 예컨대 TV로 구현될 수 있다.
이미지센서(610)는 디스플레이장치(600)와 탈착 가능하게 연결되고, 예컨대 USB케이블을 이용하여 디스플레이장치(600)와 연결될 수 있다. 이미지센서(610)는 디스플레이장치(600)의 외부를 촬영한 이미지를 출력한다. 이미지센서(610)는 렌즈 광학 구조를 포함하고, 예컨대 CMOS 이미지센서(CIS), CCD 이미지센서, 열감지센서 등으로 구현될 수 있다. 다른 예로서, 이미지센서(610)는 깊이 카메라(Depth Camera)로 구현될 수 있고, 적외선(IR) 광원과의 조합으로도 구성될 수 있다. 이미지센서(610)는 동작 조건에 따라 전체 픽셀이 동작되도록 할 수 있고, 일부 픽셀만 동작되도록 할 수 있다.
인터페이스부(640)는 이미지센서(610)가 탈착 가능하게 연결되며, 이미지센서(610)로부터 출력되는 디스플레이장치(600)의 외부를 촬영한 이미지를 수신한다. 인터페이스부(640)는 이미지센서(610)에 의해 촬영된 이미지를 전송하기 위한 감지신호를 출력하고, 이 때, 제어부(620)는 인터페이스부(640)로부터 출력된 감지신호에 대응하여 촬영된 이미지를 수신하도록 제어한다. 인터페이스부(640)는 예컨대, 이미지센서(610)를 디스플레이장치(600)와 연결하는 USB케이블 또는 USB케이블에 포함된 전원공급라인으로 구현될 수 있다. 도 6의 구체적인 실시예로서 도 7의 구성을 설명하기로 한다.
도 7은 본 발명의 일실시예에 따른 이미지센서에서 출력되는 트리거신호를 전원인터페이스에 의해 디스플레이장치로 전송하는 회로의 예를 도시한 것이다. 도 7에 도시된 바와 같이, 이미지센서블록(710)은 도 6의 구성 중 이미지센서(610) 및 제어부(620)의 일부에 대응하고, 디스플레이블록(790)은 도 6의 구성 중 제어부(620) 및 디스플레이부(630)의 일부에 대응한다. 전원 I/F(765)는 도 6의 구성 중 인터페이스부(640)에 대응한다. 이미지센서블록(710) 및 디스플레이블록(790)은 도 2의 구성과 동일하므로, 구체적인 설명은 생략하기로 한다.
트리거신호감지회로(780)는 이미지센서블록(710)의 센서제어부(730)에서 출력되는 움직임 감지 및 사용자 유무 감지에 대응하는 트리거신호(713)를 별도의 신호 라인 없이, 전원I/F(765)를 통해 디스플레이블록(790)으로 전송한다. 여기서 전원 I/F(765)는 디스플레이블록(790) 및 이미지센서블록(710)에 전원을 공급하는 인터페이스로, 예컨대 별도의 이미지센서를 디스플레이장치에 연결하기 위한 USB케이블의 전원공급라인으로 구현될 수 있다.
트리거신호감지회로(780)는 스위치(740), Rp(742), Rsense(752), 전류감지증폭기(756), 비교측정기(758)를 포함한다. 트리거신호감지회로(780)는 움직임 감지 및 사용자 유무 감지에 대응하는 트리거신호(713)가 생성되지 않는 경우 스위치(740)를 오프(OFF)하여 저항 Rp(742)를 통해 전류 I(Rp)(744)가 흐르지 않도록 한다. 또한, 트리거신호감지회로(780)는 움직임 감지 및 사용자 유무 감지에 대응하는 트리거신호(713)가 생성되는 경우 스위치(740)를 온(ON)하여 저항 Rp(742)를 통해 전류 I(Rp)(744)가 흐르도록 한다. 이와 같은 동작에 의해 트리거신호감지회로(780)는 스위치의 오프-온 동작에 의해 변화된 전류 I(Rp)가 저항 Rsense(752)의 양단에 전압의 차이가 생기도록 한다.
전류감지증폭기(756)는 저항 Rsense(752)의 양단에서 발생한 전압의 차이를 증폭하고, 비교측정기(758)가 전류감지증폭기(756)에서 증폭된 전압차를 미리 설정된 비교값인 V_ref(759)와 비교하여 감지된 트리거신호(715)를 디스플레이제어부(770)로 입력하게 된다.
이와 같은 본 발명의 실시예에 따라, 이미지센서가 디스플레이장치와 일체로 구현되지 않고 별도의 외부장치로 마련되는 경우에 있어, 이미지센서를 연결하는 USB케이블의 전원공급라인에 의해 이미지센서가 출력하는 이미지뿐만 아니라, 이미지센서에서 출력되는 사용자 유무 감지에 대응하는 트리거신호를 디스플레이장치로 전송할 수 있는 장점이 있다.
도 8은 본 발명의 일실시예에 따른 디스플레이장치의 제어방법을 도시한 흐름도이다. 도 8에 도시된 바와 같이, 먼저 동작 S810에서, 대기모드 시 디스플레이장치의 외부를 촬영한 이미지를 출력한다. 다음으로, 동작 S820에서, 전력소모의 수준이 서로 다른 복수의 처리모드 중 정상모드 시보다 전력소모가 낮은 처리모드로 촬영된 이미지를 처리한다. 여기서 복수의 처리모드는 처리되는 이미지의 픽셀 또는 프레임의 수, 해상도 및 동작주파수 중 적어도 하나가 서로 다르게 구현될 수 있다.
촬영된 이미지를 처리하는 동작 S820은, 대기모드 시 이미지의 전체 픽셀 중 일부 픽셀을 처리하는 동작을 포함할 수 있고, 전체 프레임 중 일부 프레임을 처리하는 동작을 포함할 수도 있다. 또한, 동작 S820은 대기모드 시 이미지의 해상도를 정상모드 시보다 낮은 해상도로 처리하는 동작을 포함할 수 있다.
일실시예로서 동작 S820은, 처리되는 이미지의 전체 영역 중 움직임이 있는 처리대상영역을 결정하는 동작을 포함할 수 있다. 여기서, 이미지의 제1프레임과 제2프레임의 전체 픽셀의 밝기 차이에 기초하여 처리대상영역을 결정하는 동작을 포함할 수 있다. 또한, 이미지의 제1프레임과 제2프레임의 칼럼 단위의 픽셀의 밝기 차이에 기초하여 처리대상영역을 결정하는 동작을 포함할 수 있다. 다른 실시예로서, 처리대상영역의 모양에 기초하여 처리대상영역 내에 사용자의 존재 여부를 판단하는 동작을 포함할 수 있다.
마지막으로 동작 S830에서, 처리 결과에 기초하여 촬영된 이미지가 정상모드의 진입에 대응하는 것으로 판단되는 경우, 디스플레이부가 절전상태를 벗어나 화면을 표시하도록 제어한다. 예로서, 도 4에 도시된 바와 같이, (B)준대기모드 상태에서, 이미지센서가 촬영한 이미지의 프레임 간 픽셀의 밝기 차이에 의해 움직임이 있는 처리대상영역을 결정하고(S420, S430, S440), 처리대상영역에 사용자가 존재하는지를 감지(S450, S460)하여 (C)정보디스플레이모드로 진입(S470)하도록 할 수 있다.
다른 실시예로서, 처리대상영역 내에 사용자가 존재하지 않는 경우 대기모드로 진입하는 동작을 포함할 수 있다. 예로서, 도 5에 도시된 바와 같이, (C)정보디스플레이모드 상태에서, 이미지센서에 의해 촬영된 이미지에서 움직임을 트래킹(S530)하여 기 설정된 시간 내에 움직임이 감지되지 않는 경우(S535) (B)준대기모드로 진입(S560)하도록 할 수 있다. 또한, 처리대상영역을 스캔(S540)하여 기 설정된 시도 동안 사용자의 존재가 감지되지 않으면(S545) (B)준대기모드로 진입(S560)하도록 할 수 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 특허청구범위 내에서 다양하게 실시될 수 있다.
100 : 디스플레이장치
110 : 이미지센서부
120 : 제어부
130 : 디스플레이부
200 : 디스플레이장치
210 : 이미지센서블록
211 : VIS
221 : MIC
230 : 센서제어부
235 : 센서전원관리부
250 : 디스플레이제어부
255 : 디스플레이블록
260 : 주전원관리부
270 : 주처리부
280 : 디스플레이부/오디오출력부
290 : 준대기모드블록
600 : 디스플레이장치
610 : 이미지센서
620 : 제어부
630 : 디스플레이부
640 : 인터페이스부
710 : 이미지센서블록
720 : 센서전원관리부
730 : 센서제어부
760 : 주전원관리부
770 : 디스플레이제어부
780 : 트리거신호 감지회로
790 : 디스플레이블록

Claims (22)

  1. 디스플레이장치에 있어서,
    상기 디스플레이장치의 정상모드 시 화면을 표시할 수 있으며, 상기 디스플레이장치의 대기모드 시 절전상태가 되는 디스플레이부와;
    상기 디스플레이장치의 외부를 촬영한 이미지를 출력하는 이미지센서부와;
    상기 이미지센서부에 의해 촬영된 이미지에 대하여, 전력소모의 수준이 서로 다른 복수의 처리모드를 가지며, 상기 대기모드 시, 상기 정상모드 시보다 전력소모의 수준이 낮은 처리모드로 상기 촬영된 이미지를 처리하고, 상기 처리 결과에 기초하여 상기 촬영된 이미지가 상기 정상모드로의 진입에 대응하는 것으로 판단되는 경우, 상기 디스플레이부가 상기 절전상태를 벗어나 상기 화면을 표시하도록 제어하는 제어부를 포함하는 디스플레이장치.
  2. 제 1항에 있어서,
    상기 복수의 처리모드는, 상기 처리되는 이미지의 픽셀 또는 프레임의 수, 해상도 및 동작주파수 중 적어도 하나가 서로 다른 디스플레이장치.
  3. 제 2항에 있어서,
    상기 제어부는, 상기 대기모드 시, 상기 이미지의 전체 픽셀 중 일부 픽셀을 처리하는 디스플레이장치.
  4. 제 2항에 있어서,
    상기 제어부는, 상기 대기모드 시, 상기 이미지의 전체 프레임 중 일부 프레임을 처리하는 디스플레이장치.
  5. 제 2항에 있어서,
    상기 제어부는, 상기 대기모드 시, 상기 이미지의 해상도를 정상모드 시보다 낮은 해상도로 처리하는 디스플레이장치.
  6. 제 1항에 있어서,
    상기 제어부는, 상기 처리되는 이미지의 전체 영역 중 움직임이 있는 처리대상영역을 결정하는 디스플레이장치.
  7. 제 6항에 있어서,
    상기 제어부는, 상기 이미지의 제1프레임과 제2프레임의 전체 픽셀의 밝기 차이에 기초하여 상기 처리대상영역을 결정하는 디스플레이장치.
  8. 제 6항에 있어서,
    상기 제어부는, 상기 이미지의 제1프레임과 제2프레임의 칼럼 단위의 픽셀의 밝기 차이에 기초하여 상기 처리대상영역을 결정하는 디스플레이장치.
  9. 제 6항에 있어서,
    상기 제어부는, 상기 처리대상영역의 모양에 기초하여 상기 처리대상영역 내에 사용자의 존재 여부를 판단하는 디스플레이장치.
  10. 제 9항에 있어서,
    상기 제어부는, 상기 처리대상영역 내에 상기 사용자가 존재하지 않는 경우 상기 대기모드로 진입하는 디스플레이장치.
  11. 디스플레이장치에 있어서,
    상기 디스플레이장치의 정상모드 시 화면을 표시할 수 있으며, 상기 디스플레이장치의 대기모드 시 절전상태가 되는 디스플레이부와;
    이미지센서가 탈착 가능하게 연결되며, 상기 이미지센서로부터 출력되는 상기 디스플레이장치의 외부를 촬영한 이미지를 수신하는 인터페이스부와;
    상기 수신된 이미지에 대하여, 전력소모의 수준이 서로 다른 복수의 처리모드를 가지며, 상기 대기모드 시, 상기 정상모드 시보다 전력소모의 수준이 낮은 처리모드로 상기 촬영된 이미지를 처리하고, 상기 처리 결과에 기초하여 상기 촬영된 이미지가 상기 정상모드로의 진입에 대응하는 것으로 판단되는 경우, 상기 디스플레이부가 상기 절전상태를 벗어나 상기 화면을 표시하도록 제어하는 제어부를 포함하는 디스플레이장치.
  12. 제 11항에 있어서,
    상기 인터페이스부는 상기 이미지센서에 의해 촬영된 이미지를 전송하기 위한 감지신호를 출력하고,
    상기 제어부는, 상기 인터페이스부로부터 출력된 감지신호에 대응하여 상기 촬영된 이미지를 수신하도록 제어하는 디스플레이장치.
  13. 정상모드 시 화면표시가 가능하며, 대기모드 시 절전상태가 되는 디스플레이부를 구비하는 디스플레이장치의 제어방법에 있어서,
    상기 대기모드 시 상기 디스플레이장치의 외부를 촬영한 이미지를 출력하는 단계와;
    전력소모의 수준이 서로 다른 복수의 처리모드 중 상기 정상모드 시보다 전력소모의 수준이 낮은 처리모드로 상기 촬영된 이미지를 처리하는 단계와;
    상기 처리 결과에 기초하여 상기 촬영된 이미지가 정상모드의 진입에 대응하는 것으로 판단되는 경우, 상기 디스플레이부가 절전상태를 벗어나 화면을 표시하도록 제어하는 단계를 포함하는 디스플레이장치의 제어방법.
  14. 제 13항에 있어서,
    상기 복수의 처리모드는, 상기 처리되는 이미지의 픽셀 또는 프레임의 수, 해상도 및 동작주파수 중 적어도 하나가 서로 다른 디스플레이장치의 제어방법.
  15. 제 14항에 있어서,
    상기 촬영된 이미지를 처리하는 단계는,
    상기 대기모드 시, 상기 이미지의 전체 픽셀 중 일부 픽셀을 처리하는 단계를 포함하는 디스플레이장치의 제어방법.
  16. 제 14항에 있어서,
    상기 촬영된 이미지를 처리하는 단계는,
    상기 대기모드 시, 상기 이미지의 전체 프레임 중 일부 프레임을 처리하는 단계를 포함하는 디스플레이장치의 제어방법.
  17. 제 14항에 있어서,
    상기 촬영된 이미지를 처리하는 단계는,
    상기 대기모드 시, 상기 이미지의 해상도를 정상모드 시보다 낮은 해상도로 처리하는 단계를 포함하는 디스플레이장치의 제어방법.
  18. 제 13항에 있어서,
    상기 촬영된 이미지를 처리하는 단계는,
    상기 처리되는 이미지의 전체 영역 중 움직임이 있는 처리대상영역을 결정하는 단계를 포함하는 디스플레이장치의 제어방법.
  19. 제 18항에 있어서,
    상기 이미지의 제1프레임과 제2프레임의 전체 픽셀의 밝기 차이에 기초하여 상기 처리대상영역을 결정하는 단계를 포함하는 디스플레이장치의 제어방법.
  20. 제 18항에 있어서,
    상기 이미지의 제1프레임과 제2프레임의 칼럼 단위의 픽셀의 밝기 차이에 기초하여 상기 처리대상영역을 결정하는 단계를 포함하는 디스플레이장치의 제어방법.
  21. 제 18항에 있어서,
    상기 처리대상영역의 모양에 기초하여 상기 처리대상영역 내에 사용자의 존재 여부를 판단하는 단계를 포함하는 디스플레이장치의 제어방법.
  22. 제 21항에 있어서,
    상기 처리대상영역 내에 상기 사용자가 존재하지 않는 경우 상기 대기모드로 진입하는 단계를 포함하는 디스플레이장치의 제어방법.
KR1020140097077A 2014-07-30 2014-07-30 디스플레이장치 및 그 제어방법 KR20160014915A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140097077A KR20160014915A (ko) 2014-07-30 2014-07-30 디스플레이장치 및 그 제어방법
US14/798,641 US20160034019A1 (en) 2014-07-30 2015-07-14 Display apparatus and control method for controlling power consumption thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140097077A KR20160014915A (ko) 2014-07-30 2014-07-30 디스플레이장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20160014915A true KR20160014915A (ko) 2016-02-12

Family

ID=55179982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140097077A KR20160014915A (ko) 2014-07-30 2014-07-30 디스플레이장치 및 그 제어방법

Country Status (2)

Country Link
US (1) US20160034019A1 (ko)
KR (1) KR20160014915A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170124069A (ko) * 2016-04-29 2017-11-09 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11036451B2 (en) 2018-09-27 2021-06-15 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
WO2021132931A1 (en) * 2019-12-26 2021-07-01 Lg Electronics Inc. Image displaying apparatus and method of operating the same
KR20210088981A (ko) * 2020-01-07 2021-07-15 주식회사 엘지유플러스 디바이스 및 디바이스의 동작 방법
WO2023033317A1 (ko) * 2021-09-01 2023-03-09 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11862062B2 (en) 2021-09-01 2024-01-02 Samsung Electronics Co., Ltd. Display device and method for controlling the same based on determined motion within a region of the display device

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160093273A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
US10230896B2 (en) * 2015-04-03 2019-03-12 Canon Kabushiki Kaisha Accessory for camera and storage medium storing display control program
CN108089688A (zh) * 2016-11-22 2018-05-29 中兴通讯股份有限公司 一种控制节电设置方法、装置及移动终端
KR20180074400A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
KR20190018358A (ko) * 2017-08-14 2019-02-22 삼성전자주식회사 외부 디스플레이 장치에서 제공한 컨텐츠를 이어서 제공하기 위한 디스플레이 장치 및 이의 컨텐츠 제공 방법
CN111127537A (zh) * 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11733761B2 (en) * 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
US20210327394A1 (en) * 2021-06-25 2021-10-21 Intel Corporation User-presence based adjustment of display characteristics

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6353450B1 (en) * 1999-02-16 2002-03-05 Intel Corporation Placing and monitoring transparent user interface elements in a live video stream as a method for user input
US8669949B2 (en) * 2009-11-06 2014-03-11 Bose Corporation Touch-based user interface touch sensor power
JP5192597B1 (ja) * 2012-04-03 2013-05-08 株式会社ナナオ 動き画像領域判定装置またはその方法
US20140118257A1 (en) * 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
US9292103B2 (en) * 2013-03-13 2016-03-22 Intel Corporation Gesture pre-processing of video stream using skintone detection
US9354709B1 (en) * 2014-06-17 2016-05-31 Amazon Technologies, Inc. Tilt gesture detection

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170124069A (ko) * 2016-04-29 2017-11-09 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11036451B2 (en) 2018-09-27 2021-06-15 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
WO2021132931A1 (en) * 2019-12-26 2021-07-01 Lg Electronics Inc. Image displaying apparatus and method of operating the same
KR20210082837A (ko) * 2019-12-26 2021-07-06 엘지전자 주식회사 영상표시장치 및 그의 동작방법
US11460904B2 (en) 2019-12-26 2022-10-04 Lg Electronics Inc. Image displaying apparatus and method of operating the same
KR20210088981A (ko) * 2020-01-07 2021-07-15 주식회사 엘지유플러스 디바이스 및 디바이스의 동작 방법
WO2023033317A1 (ko) * 2021-09-01 2023-03-09 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11862062B2 (en) 2021-09-01 2024-01-02 Samsung Electronics Co., Ltd. Display device and method for controlling the same based on determined motion within a region of the display device

Also Published As

Publication number Publication date
US20160034019A1 (en) 2016-02-04

Similar Documents

Publication Publication Date Title
KR20160014915A (ko) 디스플레이장치 및 그 제어방법
CN102843822B (zh) 照明设备
US9215371B2 (en) Imaging apparatus and imaging method
US8437504B2 (en) Imaging system and imaging method
KR20140128885A (ko) 전력 효율적인 이미지 감지 장치, 이미지 감지 장치의 작동 방법 및 눈/시선 추적 시스템
KR101262745B1 (ko) 이미지 센서 및 이를 포함하는 촬영 장치
US8022981B2 (en) Apparatus and method for automatically controlling power of video appliance
EP3261331A2 (en) Dual mode image sensor and method of using same
JP2006203395A (ja) 動体認識カメラおよび動体監視システム
JP2001358984A (ja) 動画像処理カメラ
KR102015953B1 (ko) 저전력 영상처리장치 및 저전력으로 영상처리장치를 구동하는 방법
KR20070116714A (ko) 디지털 비디오 카메라를 구비한 텔레비전의 개인별 설정,보호자 통제, 절전 제어 방법 및 시스템
US20230156323A1 (en) Imaging apparatus, imaging control method, and program
US10778887B1 (en) Security application using camera SOC with multi-sensor capabilities
US7366356B2 (en) Graphics controller providing a motion monitoring mode and a capture mode
JP5895426B2 (ja) 表示装置
TW201412112A (zh) 控制裝置及控制方法
KR20080077427A (ko) 화상 변화 감지 및 화면 확대 축소 카메라 장치 및 그 방법
JP2009282436A (ja) 液晶表示装置及び液晶表示方法
US20060244850A1 (en) Image pickup apparatus and image pickup method
JP2007096601A (ja) 撮像装置
KR101685419B1 (ko) 디지털 영상 처리 장치 및 방법
US8009227B2 (en) Method and apparatus for reducing device and system power consumption levels
KR101097058B1 (ko) 전력 절감 기능을 갖는 가전기기 및 가전기기의 전력 절감 방법
KR101330634B1 (ko) 디지털 비디오 카메라를 갖는 텔레비젼에 대한 홈 보안애플리케이션, 및 개인 설정, 패런털 제어 및 에너지 절약제어

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid