KR102354458B1 - 디스플레이 장치 및 그의 제어방법 - Google Patents

디스플레이 장치 및 그의 제어방법 Download PDF

Info

Publication number
KR102354458B1
KR102354458B1 KR1020150116597A KR20150116597A KR102354458B1 KR 102354458 B1 KR102354458 B1 KR 102354458B1 KR 1020150116597 A KR1020150116597 A KR 1020150116597A KR 20150116597 A KR20150116597 A KR 20150116597A KR 102354458 B1 KR102354458 B1 KR 102354458B1
Authority
KR
South Korea
Prior art keywords
user
region
captured image
interest
display
Prior art date
Application number
KR1020150116597A
Other languages
English (en)
Other versions
KR20170022078A (ko
Inventor
김병현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150116597A priority Critical patent/KR102354458B1/ko
Priority to EP16171783.0A priority patent/EP3133592B1/en
Priority to US15/193,506 priority patent/US10424116B2/en
Publication of KR20170022078A publication Critical patent/KR20170022078A/ko
Application granted granted Critical
Publication of KR102354458B1 publication Critical patent/KR102354458B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H04N5/225—
    • H04N5/23216—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

디스플레이 장치가 개시된다. 본 디스플레이 장치는, 디스플레이부, 사용자를 촬상하여 촬상 영상을 생성하는 촬상부, 촬상 영상에서 사용자 움직임을 분석하고, 분석된 사용자 움직임에 기초하여 촬상 영상 내에서 사용자가 관심을 가지는 적어도 하나의 관심 영역을 추출하는 제어부 및 추출된 적어도 하나의 관심 영역을 저장하는 저장부를 포함하며, 제어부는, 기 설정된 이벤트가 발생하면, 적어도 하나의 관심 영역을 표시하도록 디스플레이부를 제어한다.

Description

디스플레이 장치 및 그의 제어방법 {DISPLAY APPARATUS AND CONTROLLING METHOD THEREOF}
본 발명은 디스플레이 장치 및 그의 제어방법에 관한 것으로, 더욱 상세하게는 영상 내에서 사용자가 관심 있는 영역에 대한 정보를 제공해줄 수 있는 디스플레이 장치 및 그의 제어방법에 대한 것이다.
일반적으로 의류 매장에선 고객이 직접 옷을 입어보고 구매를 결정할 수 있다. 따라서, 고객은 여러 벌의 옷을 입어보고, 입어본 옷들을 비교하여 구매할 옷을 선택하는 과정을 거치게 된다.
그러나 이러한 비교 과정 중에서 고객은 새로운 옷으로 갈아입을 때마다 이전에 입었던 옷이 자신에게 잘 어울렸는지, 지금 입고 있는 옷이 잘 어울리는지 고민에 빠지게 된다. 즉, 과거에 입었던 옷에서 어떤 부분이 마음에 들지 않았는지, 어떤 부분은 마음에 들었는지를 새로운 옷을 입었을 경우엔 망각하기 때문에 이와 같은 고민에 빠질 수 밖에 없었다.
이 경우, 점원의 조언을 받거나, 과거에 입었던 옷을 반복하여 다시 입어보고 최종적인 구매 결정을 내린다. 그러나 이러한 과정을 다시 거치는 것은 시간이 많이 소모되는 일이다.
따라서, 이러한 문제를 해결하기 위해, 고객이 옷을 입은 모습을 촬영하고, 촬영된 영상을 추후에 보여줌으로써, 현재 입고 있는 옷과 과거에 입고 있는 옷을 비교하게 해주는 장치가 의류 매장에 도입되기도 하였다.
하지만, 이러한 장치는 과거에 그 옷을 입었던 모습을 단순히 보여주는데 그치고 있기 때문에, 과거에 그 옷을 입었을 때 어떤 부분이 신경 쓰였었는지에 대해선 다시 그 옷을 입어보지 않고서는 여전히 알 수 없다는 문제가 있었다.
본 발명은 상술한 문제를 해결하기 위한 것으로, 본 발명의 목적은, 영상 내에서 사용자가 관심 있는 영역에 대한 정보를 제공해줄 수 있는 디스플레이 장치 및 그의 제어방법을 제공하는데 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 디스플레이부, 사용자를 촬상하여 촬상 영상을 생성하는 촬상부, 상기 촬상 영상에서 사용자 움직임을 분석하고, 상기 분석된 사용자 움직임에 기초하여 상기 촬상 영상 내에서 상기 사용자가 관심을 가지는 적어도 하나의 관심 영역을 추출하는 제어부, 및 상기 추출된 적어도 하나의 관심 영역을 저장하는 저장부를 포함하며, 상기 제어부는, 기 설정된 이벤트가 발생하면, 상기 적어도 하나의 관심 영역을 표시하도록 상기 디스플레이부를 제어한다.
이 경우, 상기 제어부는, 상기 기 설정된 이벤트가 발생하면, 상기 촬상 영상을 표시하고, 상기 촬상 영상 내에서 상기 관심 영역이 나머지 영역과 구별되도록 표시하도록 상기 디스플레이부를 제어할 수 있다.
이 경우, 상기 제어부는, 상기 촬상 영상 내에서 상기 관심 영역을 확대 표시하도록 상기 디스플레이부를 제어할 수 있다.
한편, 상기 제어부는, 상기 촬상 영상에서 사용자 시선의 움직임을 분석하여, 상기 표시된 촬상 영상 중 사용자가 기 설정된 시간 이상 응시한 영역을 상기 관심 영역으로 추출할 수 있다.
한편, 상기 제어부는, 상기 촬상된 영상에서 사용자 손의 움직임을 분석하여, 상기 촬상 영상에서 상기 사용자 손이 기 설정된 시간 이상 위치한 영역을 상기 관심 영역으로 추출할 수 있다.
한편, 상기 제어부는, 상기 촬상 영상 내에서 상기 사용자의 바디 영역을 검출하고, 검출된 바디 영역 내에서 상기 관심 영역을 추출할 수 있다.
한편, 상기 제어부는, 상기 촬상 영상에서, 기 지정된 형태에 대응되는 객체를 검출하고, 상기 검출된 객체 중에서 상기 관심 영역을 추출할 수 있다.
한편, 상기 제어부는, 상기 기 설정된 이벤트가 발생하면, 상기 관심 영역에 대한 이미지, 상기 관심 영역을 설명하기 위한 텍스트 및 상기 관심 영역과 관련된 부가 정보 중 적어도 하나를 표시하도록 상기 디스플레이부를 제어할 수 있다.
한편, 상기 기 설정된 이벤트는, 상기 사용자가 재촬상되는 이벤트이며, 상기 제어부는, 상기 사용자가 재촬상되면, 재촬상 영상 및 상기 저장된 적어도 하나의 관심 영역을 함께 표시하도록 상기 디스플레이부를 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치는, 사용자 정보를 입력받기 위한 입력부를 더 포함하며, 상기 제어부는, 상기 관심 영역을 상기 입력된 사용자 정보에 매칭시켜 상기 저장부에 저장하고, 상기 사용자 정보가 상기 입력부를 통해 재입력되는 이벤트가 발생하면, 상기 사용자를 재촬상하고, 재촬상 영상 및 상기 저장된 적어도 하나의 관심 영역을 표시하도록 상기 디스플레이부를 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어방법은, 사용자를 촬상하여 촬상 영상을 생성하는 단계, 상기 촬상 영상에서 사용자 움직임을 분석하고, 상기 분석된 사용자 움직임에 기초하여 상기 촬상 영상 내에서 상기 사용자가 관심을 가지는 적어도 하나의 관심 영역을 추출하는 단계, 상기 추출된 적어도 하나의 관심 영역을 저장하는 단계 및 설정된 이벤트가 발생하면, 상기 저장된 적어도 하나의 관심 영역을 표시하는 단계를 포함한다.
이 경우, 상기 관심 영역을 표시하는 단계는, 상기 기 설정된 이벤트가 발생하면, 상기 촬상 영상을 표시하고, 상기 촬상 영상 내에서 상기 관심 영역이 나머지 영역과 구별되도록 표시할 수 있다.
이 경우, 상기 관심 영역을 표시하는 단계는, 상기 촬상 영상 내에서 상기 관심 영역을 확대 표시할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어방법은, 상기 촬상 영상에서 사용자 시선의 움직임을 분석하는 단계를 더 포함하며, 상기 관심 영역을 추출하는 단계는, 상기 표시된 촬상 영상 중 사용자가 기 설정된 시간 이상 응시한 영역을 상기 관심 영역으로 추출할 수 있다.
한편, 상기 관심 영역을 추출하는 단계는, 상기 촬상된 영상에서 사용자 손의 움직임을 분석하여, 상기 촬상 영상에서 상기 사용자 손이 기 설정된 시간 이상 위치한 영역을 상기 관심 영역으로 추출할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어방법은, 상기 촬상 영상 내에서 상기 사용자의 바디 영역을 검출하는 단계를 더 포함하고, 상기 관심 영역을 추출하는 단계는, 상기 검출된 바디 영역 내에서 상기 관심 영역을 추출할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어방법은, 상기 촬상 영상에서, 기 지정된 형태에 대응되는 객체를 검출하는 단계를 더 포함하고, 상기 관심 영역을 추출하는 단계는, 상기 검출된 객체 중에서 상기 관심 영역을 추출할 수 있다.
한편, 상기 관심 영역을 표시하는 단계는, 상기 기 설정된 이벤트가 발생하면, 상기 관심 영역에 대한 이미지, 상기 관심 영역을 설명하기 위한 텍스트 및 상기 관심 영역과 관련된 부가 정보 중 적어도 하나를 표시할 수 있다.
한편, 상기 기 설정된 이벤트는, 상기 사용자가 재촬상되는 이벤트이며, 상기 관심 영역을 표시하는 단계는, 상기 사용자가 재촬상되면, 재촬상 영상 및 상기 저장된 적어도 하나의 관심 영역을 함께 표시할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어방법은, 사용자 정보를 입력받는 단계를 더 포함하며, 상기 저장하는 단계는, 상기 관심 영역을 상기 사용자 정보에 매칭시켜 저장하고, 상기 관심 영역을 표시하는 단계는, 상기 사용자 정보가 재입력되는 이벤트가 발생하면, 상기 사용자를 재촬상하고, 재촬상 영상 및 상기 저장된 적어도 하나의 관심 영역을 표시할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치를 설명하기 위한 블록도,
도 2 내지 도 3b는 본 발명의 다양한 실시 예에 따른 촬상 영상의 사용자 움직임 분석 방법을 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른 촬상 영상에서의 객체 검출을 설명하기 위한 도면,
도 5 내지 도 7은 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 관심 영역을 제공을 설명하기 위한 도면,
도 8은 본 발명의 또 다른 실시 예에 따른 디스플레이 장치를 설명하기 위한 블록도, 그리고,
도 9는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하도록 한다. 다만, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치(100)를 설명하기 위한 블록도이다.
디스플레이 장치(100)는 TV, 스마트 폰, 태블릿 PC, 데스크톱 PC, 모니터, 프로젝터 등과 같은 디스플레이 기능이 있는 다양한 장치로 구현될 수 있다.
한편, 이하에서 설명하는 디스플레이 장치(100)는 복수 대의 디스플레이 장치로 구성된 LFD(Large Format Display)일 수 있으나, 설명의 편의를 위해, 한 대의 디스플레이 장치에 의해 구현되는 것으로 설명하도록 한다.
한편, 디스플레이 장치(100)는 미러 디스플레이 기능을 지원하는 장치일 수 있다. 미러 디스플레이 기능이란, 카메라와 같은 촬상 장치로 전면에 있는 피사체를 촬상하여 실시간으로 표시해주는 기능으로, 마치 거울과 같은 효과를 나타낼 수 있다.
따라서, 본 디스플레이 장치(100)는, 고객에게 의류 착용 모습을 보여주도록 의류 매장에 적용될 수 있다. 사용자는 의류 매장에서 여러 벌의 옷을 입어보고 구매할 옷을 결정하는데, 과거에 입었던 옷에서 어떤 부분을 자신이 관심 있어 했는지에 대한 정보가 제공될 수 있다면, 구매에 도움이 될 수 있다. 본 디스플레이 장치(100)는 이러한 요구에 따라, 사용자를 촬상하고, 촬상 영상에서 사용자의 행동을 분석하여, 사용자가 자신도 모르게 관심을 가졌던 부분에 대하여 피드백을 주는 것을 일 목적으로 한다.
도 1을 참고하면, 본 디스플레이 장치(100)는 디스플레이부(110), 촬상부(120), 저장부(130) 및 제어부(140)를 포함한다.
디스플레이부(110)는 제어부(140)의 제어에 따라 다양한 화면을 디스플레이하기 위한 구성이다.
디스플레이부(110)는 예컨대, LCD(Liquid Crystal Display)로 구현될 수 있으며, 경우에 따라 CRT(cathode-ray tube), PDP(plasma display panel), OLED(organic light emitting diodes), TOLED(transparent OLED) 등으로 구현될 수 있다. 또한, 디스플레이부(110)는 사용자의 터치 조작을 감지할 수 있는 터치스크린 형태로 구현될 수도 있다.
특히, 디스플레이부(110)는 촬상부(120)에서 촬상되어 생성되는 촬상 영상을 실시간으로 디스플레이할 수 있다.
촬상부(120)는 피사체를 촬상하여 촬상 영상을 생성하기 위한 구성이다. 여기서 촬상 영상은 동영상과 정지 영상 모두를 포함한하는 개념이다.
촬상부(120)는 렌즈와 이미지 센서를 포함할 수 있다. 렌즈의 종류에는 일반적인 범용 렌즈, 광각 렌즈, 줌 렌즈 등이 있으며, 디스플레이 장치(100)의 종류, 특성, 사용 환경 등에 따라 결정될 수 있다. 이미지 센서로는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS)와 전하결합소자(Charge Coupled Device: CCD) 등이 사용될 수 있다.
특히, 촬상부(120)는 디스플레이 장치(100)의 전면 방향을 촬상하도록 배치되어, 디스플레이 장치(100)의 전면에 존재하는 사용자를 촬상하여 촬상 영상을 생성할 수 있다. 촬상 영상은 디스플레이부(110)에서 실시간으로 표시될 수 있다. 따라서, 사용자는 디스플레이 장치(100)를 보면서 마치 거울을 보는 듯한 효과를 느낄 수 있다.
저장부(130)는 디스플레이 장치(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장하기 위한 구성이다.
특히, 저장부(130)에는 사용자별로 촬상 영상이 저장되어 있으며, 촬상 영상별로 관심 정보가 매칭되어 저장되어 있다. 또한, 저장부(130)에는 사용자를 인식하는데 이용되는 사용자 정보가 저장되어 있다. 사용자 정보는, 사용자의 얼굴 특징점에 대한 정보, ID, 비밀번호, 사용자의 단말 장치의 고유 정보 등과 같이 사용자를 식별하는데 이용될 수 있는 각종 정보를 포함할 수 있다.
제어부(140)는 인식된 사용자에 대응되는 저장된 촬상 영상을 디스플레이부(110)에 표시하며, 이 경우 관심 영역도 함께 표시할 수 있다.
제어부(140)는 디스플레이 장치(100)의 전반적인 동작을 제어하기 위한 구성이다. 특히, 제어부(140)는 촬상부(120)에서 사용자를 촬상하여 생성한 촬상 영상에서의 사용자 움직임을 분석하여, 촬상 영상 내에서 사용자가 관심 있어 하는 적어도 하나의 관심 영역을 추출할 수 있다.
구체적으로, 제어부(140)는 촬상 영상에서 사용자 움직임을 분석하고, 분석된 사용자 움직임에 기초하여 촬상 영상 내에서 사용자가 관심을 가지는 것으로 판단된 적어도 하나의 관심 영역을 추출할 수 있다.
일 실시 예에 따르면, 제어부(140)는 사용자의 손 움직임에 기초하여 관심 영역을 추출할 수 있다. 구체적으로, 특정 부분에 손이 많이 간다는 것은, 사용자가 그만큼 그 특정 부분에 신경을 쓰고 있다는 것을 의미므로, 본 실시 예에 따르면, 제어부(140)는 촬상 영상에서 사용자 손의 움직임을 분석하여, 촬상 영상에서 사용자 손이 기 설정된 시간 이상 위치한 영역을 관심 영역으로 추출할 수 있다. 본 실시 예에 대해선 이하 도 2를 참고하여 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른 촬상 영상 내 사용자 움직임 분석에 따른 관심 영역 추출을 설명하기 위한 도면이다.
도 2에선, 촬상부(120)에서 사용자를 촬상한 촬상 영상이 6 개의 프레임(210 내지 260)으로 구성된 동영상인 경우를 가정하였다. 제어부(140)는 각 프레임의 사용자 손의 위치를 분석하여 관심 영역을 추출할 수 있다.
예컨대, 저장부(130)에는 특정 객체, 즉 손을 검출하기 위한 템플릿이 저장되어 있고, 제어부(140)는 이를 이용하여 촬상 영상에서 손을 검출할 수 있다. 구체적으로, 제어부(140)는 촬상 영상을 구성하는 프레임에서, 저장되어 있는 손에 대한 템플릿에 매칭되는 영역을 손이 위치한 곳이라고 판단할 수 있다. 템플릿 매칭 방법 외에도 다양한 공지의 객체 검출 방법이 본 발명에 적용될 수 있다.
제어부(140)는 촬상 영상을 구성하는 제1 프레임(210) 내지 제6 프레임(260) 각각에서 손이 위치한 영역을 검출하여, 촬상 영상에서 움직임을 분석할 수 있다. 프레임 개수는 재생 시간에 비례하는 것이므로, 제어부(140)는 손이 검출된 영역을 각 프레임마다 비교하여, 손이 어느 부분에 기 설정된 시간 이상동안 위치하였는지 판단할 수 있다. 이하에선, 초당 프레임(FPS:Frame per second) 개수가 한 개이고, 손이 3초 이상 동안 위치한 영역을 관심 영역으로 추출하도록 설정된 경우를 가정하여 설명하기로 한다.
도 2에 도시된 바에 따르면, 제어부(140)는 제2 프레임(220), 제3 프레임(230) 및 제4 프레임(240)에서 손이 검출된 영역(22)이 서로 같음을 판단할 수 있고, 제5 프레임(250) 및 제6 프레임(260)에서 손이 검출된 영역(23)이 같음을 판단할 수 있다. 또한, 제어부(140)는 제1 프레임(210)에서 손이 검출된 영역(21)은 다른 프레임들에서 손이 검출된 영역과 다름을 판단할 수 있다.
이상과 같은 분석 결과에 기초하여, 제어부(140)는 촬상 영상에서 22 영역에 손이 3초 이상 머문 것으로 판단하고, 22 영역을 관심 영역으로 추출할 수 있다.
이 경우, 제어부(140)는 연속된 프레임에서 손이 같은 영역 위치한 경우뿐만 아니라, 불연속적인 프레임에서 손이 같은 영역에 위치한 경우도 고려하여, 관심 영역으로 추출할 수 있다. 즉, 제1 프레임과 제2 프레임에선 사용자의 손이 소매 영역에 위치했다가, 제3 프레임에서 사용자 손이 머리 영역에 위치하고, 제4 프레임에서 다시 사용자 손이 소매 영역에 위치한 경우, 제어부(140)는 소매 영역에 손이 3초 이상 위치한 것으로 판단하고 소매 영역을 관심 영역으로 추출할 수 있다.
한편, 이상에선, 손의 위치가 기 설정된 시간 이상동안 위치할 것을 만족해야지만 관심 영역으로 추출되는 것으로 설명하였으나, 또 다른 실시 예에 따르면, 관심 영역은, 각 프레임에서 손이 위치한 상대적인 시간에 기초하여 추출될 수도 있다.
이에 대해 좀 더 구체적으로 설명하자면, 제어부(140)는 촬상 영상에서 상대적으로 가장 많은 시간 동안 손이 위치한 영역을 관심 영역으로 추출할 수 있다. 또는, 가장 많은 시간 동안 손이 위치한 영역부터 가장 적은 시간 동안 손이 위치한 영역의 순위를 정하고, 특정 순위 이상에 해당하는 영역들을 관심 영역으로 추출할 수 있다.
한편, 사용자의 손의 위치가 정확히 어느 곳에 위치하고 있는지를 판단하기 위해, 본 발명의 또 다른 실시 예에 따르면, 촬상부(120)는 촬상 영상에서 객체의 3차원 위치를 추정할 수 있는 3D 카메라로 구현되거나, 스테레오 영상 기법을 이용하여 객체의 3차원 위치를 추정하도록 2 대의 카메라로 구현될 수도 있다.
따라서, 이와 같이 손의 3차원 위치를 알 수 있게 되면, 손이 허공에 위치하는지, 옷에 위치하는지 판단할 수 있게 되므로 좀 더 정확히 옷에서 관심 영역이 추출될 수 있다.
이상에선, 사용자의 손의 움직임에 기초하여 관심 영역을 추출하는 실시 예에 대해서 설명하였다. 이하에선, 사용자의 시선의 움직임에 기초하여 관심 영역을 추출하는 실시 예에 대해 설명하도록 한다.
도 3a 내지 도 3b는 본 발명의 또 다른 실시 예에 따른 촬상 영상 내 사용자 움직임 분석에 기초한 관심 영역을 추출을 설명하기 위한 도면이다.
도 3a를 참고하면, 촬상부(120)에서 사용자(10)를 촬상한 영상은 디스플레이부(110)를 통해 실시간으로 표시된다. 사용자(10)는 디스플레이부(110)를 통해 표시된 자신의 모습에서 관심 있는 영역을 오랫동안 응시할 것이므로, 사용자의 시선의 움직임에 기초하여 관심 영역을 추출할 수 있다.
구체적으로, 제어부(140)는 촬상부(120)에서 사용자(10)를 촬상한 영상에서 사용자 시선을 검출할 수 있고, 검출된 시선이 디스플레이부(110)에서 표시되는 영상(즉, 사용자를 촬상한 영상)의 어느 곳에 위치하는지 판단할 수 있다. 그리고 제어부(140)는 디스플레이부(110)에 표시된 영상에서 사용자(10) 기 설정된 시간 이상 응시한 영역을 관심 영역으로 추출할 수 있다.
제어부(140)는 다양한 알고리즘을 이용하여, 사용자 시선을 검출할 수 있다. 일 예로, 촬상부(120)는 적외선을 조사하는 발광부를 구비한 장치일 수 있고, 촬상시 적외선을 사용자의 눈에 조사할 수 있다. 촬상 영상에선 각막에서 반사된 적외선이 나타나고, 제어부(140)는 반사된 적외선의 위치를 이용하여 홍채와 동공을 구분하여 동공을 검출하고, 이로부터 시선 정보를 획득할 수 있다.
또 다른 예로, 제어부(140)는 촬상 영상에서 객체의 특징을 찾는 기법(예컨대, Haar-like features)을 이용하여 눈의 위치를 검출하고, 가장자리 검출(edge detection) 기법을 이용하여 눈의 위치에서 홍채와 동공을 검출하고, 홍채와 동공의 상대적인 위치에 기반하여 사용자의 시선을 검출할 수 있다.
또 다른 예로, 제어부(140)는 촬상 영상에서 사용자의 얼굴 특징점을 추출하고, 추출된 얼굴 특징점에 기초하여 헤드 포즈를 판단하여, 사용자의 시선을 검출할 수 있다.
또 다른 예로, 사용자의 시선 정보를 수집하기 위하여 디스플레이 장치(100)는 스마트 안경과 같은 웨어러블 디바이스에 연결될 수 있다. 스마트 안경은 사용자의 눈을 촬상할 수 있고, 촬상 영상을 디스플레이 장치(100)에 전송할 수 있다. 제어부(140)는 스마트 안경으로부터 수신된 촬상 영상에서 사용자 시선을 검출할 수 있다.
이 밖의 공지의 다양한 방식이 본 발명에 적용되어 사용자의 시선이 검출될 수 있고, 이는 당업자에게 자명하므로 상세한 설명은 생략한다.
그리고 제어부(140)는 사용자가 디스플레이부(110)에 표시된 영상의 어느 부분을 응시하였는지 판단하기 위해, 검출된 사용자 시선을 촬상 영상에 투영시킨다. 구체적으로, 저장부(130)에는 촬상부(120)의 위치와 디스플레이부(110)에서 영상의 위치 간의 상관 관계에 대한 데이터가 저장되어 있고, 이를 이용하여, 제어부(140)는 촬상 영상에서 검출된 사용자 시선의 좌표를 디스플레이부(110)에 표시된 영상을 기준으로 변환함으로써, 사용자가 디스플레이부(110)에 표시된 촬상 영상에서 응시한 영역을 검출할 수 있다.
본 실시 예를 설명하기 위해, 도 3b에 도시된 것과 같이 촬상부(120)에서 사용자를 촬상한 영상이 4 개의 프레임(310 내지 340)으로 구성된 동영상인 경우로 가정하도록 한다.
쉬운 이해를 위해, 도 3b의 오른쪽 편에 촬상 영상을 구성하는 제1 프레임(310) 내지 제4 프레임(340)을 도시하였고, 왼쪽 편에 제1 프레임(310) 내지 제4 프레임(340)의 사용자의 얼굴 부분(310a 내지 340a)을 도시하였고, 각 프레임에서의 사용자 시선의 위치를 도시하였다.
제어부(140)는 촬상 영상을 구성하는 제1 프레임(310) 내지 제4 프레임(340) 각각에서 사용자가 응시한 영역을 검출할 수 있다. 프레임 개수는 재생 시간에 비례하는 것이므로, 제어부(140)는 사용자가 응시한 영역을 각 프레임마다 비교하여, 사용자 시선이 어느 영역에 기 설정된 시간 이상동안 위치하였는지 판단할 수 있다.
초당 프레임(FPS:Frame per second) 개수가 한 개이고, 사용자 시선이 2초 이상 동안 위치한 영역을 관심 영역으로 추출하도록 설정된 경우를 가정하여 설명하도록 한다.
도 3b에 도시된 바에 따르면, 제어부(140)는 제1 프레임(310)과 제2 프레임(320)에서 사용자 시선이 위치한 영역(41)이 서로 같음을 판단할 수 있고, 제3 프레임(330)에서 사용자 시선이 위치한 영역(32)은 다른 프레임들에서 사용자 시선이 위치한 영역과 다름을 판단할 수 있고, 제4 프레임(340)에서 사용자 시선이 위치한 영역(33)은 다른 프레임들에서 사용자 시선이 위치한 영역과 다름을 판단할 수 있다.
이상과 같은 분석 결과에 기초하여, 제어부(140)는 촬상 영상에서 31 영역에 사용자 시선이 2초 이상 머문 것으로 판단하고, 31 영역을 관심 영역으로 추출할 수 있다.
이 경우, 제어부(140)는 연속된 프레임들에서 사용자 시선이 같은 영역 위치한 경우뿐만 아니라, 불연속적인 프레임들에서 사용자 시선이 같은 영역에 위치한 경우도 고려하여, 관심 영역으로 추출할 수 있다. 즉, 예컨대 제1 프레임에서 사용자 시선이 소매에 향했다가, 제2 프레임에서 사용자 시선이 얼굴로 향하고, 제3 프레임에서 사용자 시선이 다시 소매에 향하면, 제어부(140)는 소매에 사용자 시선이 2초 이상 향한것으로 판단하고 소매 영역을 관심 영역으로 추출할 수 있다.
한편, 이상에선, 사용자 시선의 위치가 기 설정된 시간 이상동안 특정 영역에 위치할 것을 만족해야지만 그 특정 영역이 관심 영역으로 추출되는 것으로 설명하였으나, 또 다른 실시 예에 따르면, 관심 영역은, 각 프레임에서 사용자 시선이 위치한 상대적인 시간에 기초하여 추출될 수도 있다.
이에 대해 좀 더 구체적으로 설명하자면, 제어부(140)는 촬상 영상에서 상대적으로 가장 많은 시간 동안 사용자 시선이 위치한 영역을 관심 영역으로 추출할 수 있다. 또는, 가장 많은 시간 동안 사용자 시선이 위치한 영역부터 가장 적은 시간 동안 사용자 시선이 위치한 영역의 순위를 정하고, 특정 순위 이상에 해당하는 영역들을 관심 영역으로 추출할 수 있다.
한편, 또 다른 실시 예에 따르면, 사용자의 바디 영역 밖에서 관심 영역이 추출되는 오류를 막기 위해, 제어부(140)는 촬상 영상 내에서 사용자의 바디 영역을 검출하고, 검출된 바디 영역 내에서 관심 영역을 추출할 수 있다.
예컨대, 제어부(140)는 먼저, 상술한 것과 같이 손의 위치 혹은 사용자 시선의 위치 분석에 의해 관심 영역 후보들을 추출할 수 있다. 그리고 추출된 관심 영역 후보들 중에서, 사용자의 바디 영역 내에 있는 관심 영역들만 관심 영역으로 결정할 수 있다. 본 실시 예에 따르면, 예컨대, 사용자가 자신이 아닌 다른 영역을 기 설정된 시간 이상 응시하고 있는 경우라도, 제어부(140)는 해당 영역을 관심 영역으로 추출하지 않는다.
이 경우, 바디 영역 내에서도, 옷이 위치하고 있지 않은 부분에서 관심 영역이 추출되는 오류를 막기 위해, 제어부(140)는 옷이 위치한 영역을 검출하고, 검출된 옷 영역 내에서만 관심 영역을 추출할 수 있다.
예컨대, 도 2의 제1 프레임(210)에서와 같이, 사용자가 기 설정된 시간 이상동안 바르게 서있는 경우에 있어서, 본 실시 예에 따르면, 손이 옷 영역이 아닌 곳에 위치하고 있으므로, 상기 손이 위치한 영역은 관심 영역으로 추출되지 않는다.
마찬가지로, 예컨대 도 3b의 제4 프레임(340)에서와 같이, 사용자가 기 설정된 시간 이상 동안 자신의 얼굴을 응시하고 있는 경우에 있어서, 본 실시 예에 따르면, 사용자가 응시하고 있는 곳이 옷 영역이 아니므로, 얼굴은 관심 영역으로 추출되지 않는다.
상술한 실시 예들에 따르면, 사용자가 실제로 옷에 대하여 관심을 가진 영역에 대해서만 관심 영역이 추출될 수 있다는 장점이 있다.
본 발명의 또 다른 실시 예에 따르면, 제어부(140)는 사용자의 손의 위치와 사용자의 시선의 위치를 함께 고려하여 관심 영역을 추출할 수 있다. 사용자의 시선과 손이 동시에 위치하는 곳은 사용자가 특별히 관심을 가지는 부분으로 여겨질 수 있기 때문이다.
구체적으로, 제어부(140)는 상술한 것과 같이 사용자의 손의 움직임에 기초한 관심 영역 후보를 추출하며, 사용자의 시선의 움직임에 기초한 관심 영역 후보를 추출한다. 그리고 사용자의 손의 움직임에 기초한 관심 영역 후보와 사용자의 시선의 움직임에 기초한 관심 영역 후보 중에서 서로 일치하는 관심 영역 후보를 최종적으로 관심 영역으로 결정할 수 있다.
한편, 이와 같이 사용자의 손과 사용자의 시선 모두를 고려하여 추출된 관심 영역은 특별 관심 영역으로 분류되어, 사용자의 손과 사용자의 시선을 각각 고려하여 추출된 일반 관심 영역과는 다르게 취급될 수 있다. 예컨대, 후술할 관심 영역의 표시 방법에 있어서, 특별 관심 영역은 일반 관심 영역과 구별되어 표시될 수 있다.
또 다른 실시 예에 따르면, 제어부(140)는 촬상 영상에서 관심 영역 후보들을 미리 추출하고, 미리 추출된 관심 영역 후보들 중에서 상술한 것과 같은 사용자 움직임 분석에 기초하여 관심 영역을 결정할 수 있다. 본 실시 예에 대해선 이하 도 4를 참고하여 설명하도록 한다.
도 4를 참고하면, 제어부(140)는 촬상 영상(400)에서, 기 지정된 형태에 대응되는 객체들(41, 42, 43, 44, 45)을 검출하고, 사용자 움직임을 분석하여, 검출된 객체들 중에서 관심 영역을 추출할 수 있다.
여기서 기 지정된 형태에 대응되는 객체는 사용자가 일반적으로 옷에서 관심을 가지는 옷깃, 소매, 치마단, 바지단, 마크 등의 형태에 대응되는 객체를 포함한다.
구체적으로, 저장부(130)에는 기 지정된 객체를 검출하기 위한 템플릿이 저장되어 있고, 제어부(140)는 저장된 템플릿에 매칭되는 객체들(41, 42, 43, 44, 45)을 검출할 수 있다. 이 경우, 마크(44)는 배경 색과의 색상 비교를 통해 검출될 수도 있다.
그리고 제어부(140)는 검출된 객체들 중에서, 상술한 것과 같이 사용자 손 및/또는 시선의 움직임에 기초하여 관심 영역을 추출한다.
본 실시 예에 따르면, 만약, 옷깃의 형태에 대응되는 객체가 관심 영역으로 추출된 경우에, 옷깃에 관련한 정보가 제공될 수 있다. 즉, 추출된 관심 영역이 어떠한 객체에 해당되는지 알 수 있으므로, 관심 영역에 대한 다양한 정보가 제공될 수 있게된다. 이에 대해선 도 6에서 후술하도록 한다.
상술한 다양한 실시 예에 따라 추출된 관심 영역은 사용자 정보와 매칭되어 저장부(140)에 저장된다. 사용자 정보는, 사용자의 얼굴 특징점에 대한 정보, ID, 비밀번호, 사용자의 단말 장치의 고유 정보 등과 같이 사용자를 식별하는데 이용될 수 있는 각종 정보를 포함할 수 있다.
그리고 기 설정된 이벤트가 발생하면, 저장된 관심 영역을 표시하도록 디스플레이부(110)를 제어할 수 있다.
여기서 기 설정된 이벤트란, 관심 영역이 추출된 촬상 영상에 존재하는 사용자가 재인식되는 이벤트일 수 있다.
사용자를 인식하는 방법에는 다양한 방법이 있다. 예컨대, 사용자가 ID 또는 비밀번호를 입력하는 방식, ID 카드를 인식하는 방식, 스마트 폰과 같은 사용자 단말 장치와 통신하여 사용자를 인식하는 방식, 사용자의 생체 정보를 이용하여 사용자를 인식하는 방식 등이 있다.
일 실시 예에 따르면, 디스플레이 장치(100)는 촬상부(120)를 통해 촬상된 영상에서 사용자의 얼굴을 인식함으로써 사용자를 인식할 수 있다.
구체적으로, 제어부(140)는 촬상부(120)에서 촬상된 영상에서 사용자 얼굴을 검출하고, 검출된 얼굴에서 눈, 미간, 코, 콧구멍, 입술, 윤곽선의 얼굴 특징점을 추출한다. 이와 같이 촬상 영상에서 추출된 얼굴 특징점들에 기초하여, 제어부(140)는 사용자 정보를 생성한다.
제어부(140)는 촬상 영상으로부터 추출된 얼굴 특징점들에 기초하여 생성된 사용자 정보와, 상기 촬상 영상에서 추출된 관심 영역과 매칭시켜 저장부(130)에 저장한다.
이후, 제어부(140)는 저장부(130)에 관심 영역이 저장되어 있는 사용자와 동일한 사용자가 재촬상되는 이벤트가 발생하면, 해당 관심 영역을 표시하도록 디스플레이부(110)를 제어할 수 있다. 구체적으로, 제어부(140)는 재촬상된 촬상 영상으로부터 얼굴 특징점을 추출하여 사용자 정보를 생성하고, 생성된 사용자 정보가 저장부(130)에 저장되어 있는 사용자 정보와 일치되면, 해당 사용자 정보와 매칭되어 저장되어 있던 관심 정보를 디스플레이하도록 디스플레이부(110)를 제어한다.
이로써, 사용자가 다시 디스플레이 장치(100) 앞에 섰을 때, 자동으로 얼굴 인식이 이루어져, 자신이 과거에 입었던 옷에서 관심을 가졌던 관심 영역이 디스플레이부(110)에 표시될 수 있다.
또 다른 실시 예에 따르면, 디스플레이 장치(100)는 사용자 정보를 입력받기 위한 입력부(미도시)를 더 포함할 수 있다. 입력부를 통해 사용자는 직접 아이디, 비밀번호 등과 같은 개인 식별 정보를 입력할 수 있다. 또는, 디스플레이 장치의 입력부는 NFC, 블루투스 등과 같은 무선 통신 모듈을 구비하고, 사용자가 소지한 단말 장치와 무선통신하여 사용자를 인식할 수도 있다.
이 경우, 제어부(140)는 촬상 영상으로부터 추출된 관심 영역을 입력부를 통해 입력된 사용자 정보에 매칭시켜 저장부(130)에 저장하고, 아이디 입력 또는 NFC 태깅 등과 같이 사용자 정보가 입력부를 통해 재입력되는 이벤트가 발생하면, 입력된 사용자 정보에 매칭되어 저장되어 있던 관심 영역을 표시하도록 디스플레이부(110)를 제어할 수 있다.
이 경우, 사용자 정보가 입력부를 통해 재입력되면, 제어부(140)는 촬상부(120)를 구동하여 촬상 영상을 생성하도록 하고, 생성된 촬상 영상을 상기 관심 정보와 함께 표시하도록 디스플레이부(110)를 제어할 수 있다.
본 발명의 다양한 실시 예에 따르면, 관심 영역은 다양한 방식으로 사용자에게 제공될 수 있다.
일 예로, 제어부(140)는, 관심 영역이 추출된 촬상 영상을 표시하면서, 관심 영역이 나머지 영역과는 구별되도록 표시할 수 있다. 도 5는 본 실시 예에 따른, 관심 영역 제공방법을 설명하기 위한 도면이다.
사용자 손의 움직임 또는 사용자 시선의 움직임에 기초하여 추출된 관심 영역이 소매 영역과 바짓단 영역인 경우를 가정하여 설명하도록 한다. 도 5를 참고하면, 제어부(140)는 상술한 것과 같이 사용자가 재인식되는 이벤트가 발생하면, 촬상 영상(500)을 표시하면서, 촬상 영상(500) 내에서 소매 영역(510)과 바짓단 영역(520)을 확대 표시하고, 나머지 영역은 기본 배율로 표시되도록 디스플레이부(110)를 제어할 수 있다.
또 다른 실시 예에 따르면, 제어부(140)는 관심 영역을 지시하는 그래픽 오브젝트를 촬상 영상 내에 표시할 수 있다. 예컨대, 화살표, 별표 등과 같이 사용자의 주의를 끌 수 있는 그래픽 오브젝트를 표시함으로써, 관심 영역을 다른 영역과는 구분되도록 할 수 있다.
도 6은 본 발명의 또 다른 실시 예에 따른 관심 영역 제공방법을 설명하기 위한 도면이다.
사용자 손의 움직임 또는 사용자 시선의 움직임에 기초하여 추출된 관심 영역이 옷에 있는 마크 영역인 것으로 가정하여 설명하도록 한다. 도 6을 참고하면, 제어부(140)는 사용자가 재인식되는 이벤트가 발생하면, 촬상 영상(600) 내에서 관심 영역인 마크 영역(610)을 확대 표시하고, 관심 영역과 관련된 부가 정보(620)를 표시할 수 있다.
예컨대, 부가 정보(620)는 관심 영역에 관련된 다른 상품에 대한 추천 정보일 수 있다. 사용자가 과거에 입어봤던 옷에 부착되어 있는 마크에 대해 관심이 있었고, 디스플레이 장치(100)에 의해 재인식되었다는 것은, 마크가 부착된 옷이 마음에 안들어 새로운 옷을 입고 다시 나타났다는 것을 뜻한다. 따라서 이 경우, 도 6에 도시된 것처럼 부가 정보(620)는 마크가 없는 옷들에 대한 추천 정보를 포함할 수 있다.
이와 같이 관심 영역에 대한 부가 정보를 표시하는 것 이외에도, 본 발명의 다양한 실시 예에 따르면, 제어부(140)는 관심 영역에 대한 이미지, 관심 영역을 설명하기 위한 텍스트 등 다양한 정보를 관심 영역과 함께 표시할 수 있다.
도 7은 본 발명의 또 다른 실시 예에 따른 관심 영역을 제공하는 방법을 설명하기 위한 도면이다.
사용자(10)가 재인식되는 이벤트가 발생하면, 제어부(140)는 해당 사용자(10)에 대하여 기 저장되어 있는 관심 영역과 함께, 현재 촬상되고 있는 사용자의 모습을 표시하도록 디스플레이부(110)를 제어할 수 있다.
구체적으로, 도 7에 도시된 바와 같이, 제어부(140)는 관심 영역 화면(710)과, 현재 촬상 화면(720)을 함께 표시할 수 있다.
관심 영역 화면(710)에는 기존에 사용자(10)를 촬상한 촬상 영상과 그 촬상 영상에 포함된 관심 영역이 표시되고, 현재 촬상 화면(720)은 촬상부(120)를 통해 촬상되는 영상이 실시간으로 표시된다.
이 경우, 관심 영역 화면(710)은 기존에 촬상되었던 복수의 촬상 영상이 함께 표시될 수 있다. 예를 들어, 촬상 영상들은 시간 순서대로 표시될 수 있다. 즉, 과거의 촬상 영상 중, 가장 최근의 촬상 영상이 712 화면에 표시되고, 그 이전의 촬상 영상이 711 화면에 표시될 수 있다. 그리고 각 촬상 영상에는 각 촬상 영상에서 추출된 관심 영역이 표시된다. 도 7에 도시된 것과 같이 711 화면의 촬상 영상에서 추출된 관심 영역(711a)이 표시되며, 712 화면의 촬상 영상에서 추출된 관심 영역(712a)이 표시된다.
한편, 디스플레이 장치(100)는 인식된 사용자에 대해 저장되어 있는 과거의 영상 모두를 표시할 수도 있고, 특정 영상만을 표시할 수도 있다. 일 실시 예에 따르면, 디스플레이 장치(100)는 사용자의 계정에 저장된 영상 리스트를 표시할 수 있고, 촬상 영상을 선택하는 사용자 명령을 받기 위한 입력부를 포함할 수 있고, 제어부(140)는 입력된 사용자 명령에 따라, 선택된 촬상 영상만을 표시할 수 있다.
또 다른 실시 예에 따르면, 사용자는 촬상 영상에서 보고 싶은 바디 자세를 선택하여 재생할 수 있다. 또한, 사용자는 복수의 바디 자세를 선택할 수 있으며, 제어부(140)는 디스플레이부(110)에 선택된 복수의 바디 자세에 해당하는 영상들을 함께 표시할 수 있다.
이상과 같은 실시 예에 따르면, 디스플레이 장치(100)는 사용자가 현재 입고 있는 옷과, 과거 입었던 옷을 함께 비교할 수 있게 해주며, 과거에 입었던 옷에서 사용자가 관심을 두고 있었던 부분을 상기시킬 수 있다. 따라서, 사용자는 과거에 자신이 입었었던 옷에서 어떤 부분에 관심을 두었는지 알게 되므로, 옷을 고르는데 도움을 받을 수 있다.
도 8은 본 발명의 또 다른 실시 예에 따른 디스플레이 장치(100')의 구성을 설명하기 위한 블럭도이다. 한편, 도 8의 구성을 설명함에 있어, 상술한 디스플레이 장치(100)의 구성과 중복되는 부분에 대해선 추가 설명은 생략한다.
도 8에 따르면, 디스플레이 장치(100')는 디스플레이부(110), 촬상부(120), 통신부(150), 저장부(130), 제어부(140), 입력부(160) 및 영상처리부(170)를 포함한다.
디스플레이부(110)는 제어부(140)의 제어에 따라 각종 그래픽 오브젝트를 표시할 수 있는 구성이다. 디스플레이부(110)는 LCD(Liquid Crystal Display)로 구현될 수 있으며, 경우에 따라 CRT(cathode-ray tube), PDP(plasma display panel), OLED(organic light emitting diodes) 등으로 구현될 수 있다. 또한, 디스플레이부(110)는 사용자의 터치 조작을 감지할 수 있는 터치스크린 형태로 구현될 수도 있다.
촬상부(120)는 피사체를 촬상하여 촬상 영상을 생성하는 구성이다. 다만, 이러한 촬상부(120)는 디스플레이 장치(100')에 반드시 내장될 필요는 없고, 독립적인 촬상 장치로서 존재하여, 유선 또는 무선으로 디스플레이 장치(100')에 연결될 수 있다.
통신부(150)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다.
디스플레이 장치(100')는 촬상 장치를 내장하지 않은 장치로 구현되어 외부의 촬상 장치와 연결될 수 있다. 이 경우, 통신부(150)는, 외부의 촬상 장치로부터 촬상 영상을 수신할 수 있다. 또한, 통신부(150)는 사용자 단말 장치와 통신하여 사용자 단말 장치로부터 사용자 인식에 필요한 사용자 정보를 수신할 수 있다.
이러한 통신부(150)는 와이파이칩(151), 블루투스 칩(152), NFC칩(153), 무선 통신 칩(154) 등과 같은 다양한 통신 칩을 포함한다. 와이파이칩(151), 블루투스 칩(152), NFC칩(153), 무선 통신 칩(154)은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC칩(153)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이칩(151)이나 블루투스 칩(152)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(154)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
제어부(140)는 통신부(150)를 통해 외부 기기로부터 수신되는 영상을 디스플레이부(110)에 표시할 수 있다.
입력부(160)는 디스플레이 장치(100')를 제어하기 위한 사용자 입력을 입력받는 구성이다. 특히, 입력부(160)는 사용자 인식에 필요한 ID, 비밀번호 등과 같은 정보를 입력받을 수 있다.
예를 들어, 입력부(160)는 키보드, 포인팅 디바이스, 사용자의 모션을 감지하는 모션 센서, 사용자 음성을 감지하는 음성 센서, 마우스 등과 같은 다양한 입력 장치로 구현될 수 있다.
영상 처리부(170)는 외부로부터 수신된 영상 또는 기 저장된 영상에 대해 기 설정된 영상 처리를 수행할 수 있는 구성이다. 예컨대, 비디오 디코딩, 포맷 분석, 비디오 스케일링 등의 신호처리 및 GUI 부가 등의 작업을 수행할 수 있다.
특히, 영상 처리부(170)는 외부의 촬상 장치로부터 촬상 영상을 취득하고, 개인 정보 누출 방지를 위해, 촬상 영상에 암호화를 수행하여 저장부(130)에 저장한다. 그리고 암호화되어 저장된 촬상 영상을 재생 시 복호화할 수 있다.
영상 처리부(170)는 공공 장소에서의 사용자 얼굴 노출을 방지하기 위하여, 촬상 영상을 재생할 시에, 얼굴 부분을 모자이크 처리할 수 있다.
그리고, 영상 처리부(170)는 입력부(160)를 통해 입력되는 사용자 명령에 따라, 저장된 촬상 영상의 재생을 수행할 수 있고, 일반 재생, 역 재생, 빠른 재생, 재생 멈춤, 영상 분할, 바디 자세 선택, 얼굴 모자이크 On/Off 등과 같은 영상 처리를 수행할 수 있다.
저장부(130)에는 O/S나 각종 애플리케이션과 같은 프로그램이 저장되어 있다. 특히, 저장부(130)에는 고객 계정 관리 모듈(131), 얼굴 검출 모듈(132), 얼굴 특징점 검출 모듈(133), 시선 검출 모듈(134), 관심영역 추출 모듈(135), 객체 검출 모듈(136)이 저장되어 있을 수 있다.
특히, 저장부(130)에는 고객별로 촬상 영상과 관심 영역이 사용자 정보에 매칭되어 저장되어 있다.
제어부(140)는 저장부(130)에 저장된 각종 프로그램을 이용하여 디스플레이 장치(100')의 동작을 전반적으로 제어한다.
제어부(140)는 RAM(141), ROM(142), 메인 CPU(143), 제1 내지 n 인터페이스(144-1 ~ 144-n), 버스(146)를 포함한다. RAM(141), ROM(142) 메인 CPU(143), 제1 내지 n 인터페이스(144-1 ~ 144-n) 등은 버스(146)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(144-1 ~ 144-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(143)는 저장부(130)에 액세스하여, 저장부(130)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(130)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(142)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(143)는 ROM(142)에 저장된 명령어에 따라 저장부(130)에 저장된 O/S를 RAM(141)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(143)는 저장부(130)에 저장된 각종 어플리케이션 프로그램을 RAM(141)에 복사하고, RAM(141)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
메인 CPU(143)는 입력부(160) 등을 통해 다양한 유형의 사용자 조작이 감지되면, 그 감지 결과를 이용하여 저장부(130)에 저장된 이벤트 정보에 매칭되는 이벤트가 발생하였는지 여부를 판단한다. 이벤트는 다양하게 설정될 수 있다. 가령, 사용자가 인식되는 이벤트, 사용자 터치나 버튼 선택이 이루어지는 이벤트, 모션 제스쳐 음성 코맨드 등이 입력되는 이벤트, 어플리케이션 실행 명령이 입력되는 이벤트, 컨텐츠 재생 명령이 입력되는 이벤트, 기 설정된 시간이나 주기가 도래하는 이벤트, 시스템 알림 메시지가 발생하는 이벤트, 외부 소스와의 통신이 이루어지는 이벤트 등이 있을 수 있다.
제어부(140)는 저장부(130)에 저장된 얼굴 검출 모듈(132)을 이용하여 외부 촬상 장치로부터 취득된 촬상 영상에서 얼굴을 검출하고, 검출된 얼굴 수, 크기(픽셀 기준), 위치(영상 좌표 기준 X,Y)에 대한 정보를 해당 촬상 영상에 대응시킨다.
그리고, 제어부(140)는 저장부(130)에 저장된 얼굴 특징점 검출 모듈(133)을 이용하여, 얼굴 검출 모듈을 통해 획득한 얼굴 위치 정보를 기준으로 얼굴 특징점들을 추출한다. 추출된 특징점은 X, Y 좌표값을 가지며, 눈, 미간, 코, 콧구멍, 입술, 윤곽선의 특징점이다.
제어부(140)는 시선 검출 모듈(134)을 이용하여, 얼굴 특징점 검출 모듈(133)을 통해 얻어진 좌표 간의 관계 해석에 기초하여 촬상 영상 기준의 사용자 시선 및 헤드 포즈 정보를 추출한다. 그리고, 촬상 영상 기준과, 디스플레이부(110)를 바라보는 사용자 시선 간의 좌표 변환을 통하여 사용자가 디스플레이부(110)를 응시하는 영역을 검출할 수 있다.
그리고, 제어부(140)는 객체 검출 모듈(136)을 이용하여, 촬상 영상에서 기 지정된 형태의 객체를 추출할 수 있다. 예컨대, 기 지정된 형태는 손, 옷깃, 소매, 바짓단, 치마단 등과 같은 형태의 객체를 포함하고, 제어부(140)는 기 지정된 형태에 기초하여, 촬상 영상에서 손, 옷깃, 소매, 바짓단, 치마단 등에 해당되는 객체를 검출할 수 있다.
또한, 제어부(140)는 객체 검출 모듈(136)을 이용하여, 촬상 영상에서 바디 영역을 검출하고, 검출된 바디 영역 내 자세를 인식하여, 자세 정보(전면, 후면, 측면)를 해당 촬상 영상에 동기화 시킬 수 있다.
제어부(140)는 관심 영역 추출 모듈(135)를 이용하여, 시선 검출 모듈(134) 또는 객체 검출 모듈(136)을 통해 얻어진 정보에 기초해 촬상 영상에서 관심 영역을 추출할 수 있다.
제어부(140)는 촬상 영상으로부터 얼굴을 인식하고, 고객 계정 관리 모듈(131)을 이용하여, 최초 인식된 사용자이면 사용자 계정을 생성하고, 생성된 계정에 촬상 영상 및 추출된 관심 영역을 저장한다. 그리고 제어부(140)는 얼굴 인식을 통하여 고객별로 분류하여 종합 정보 DB를 생성할 수 있다. 제어부(140)는 최초 인식된 사용자가 아닌 경우, 즉 사용자가 재인식되는 경우에는 인식된 사용자 계정에 저장되어 있는 촬상 영상 및 그 촬상 영상에 포함된 관심 영역을 표시할 수 있다.
그 밖에, 도 8에 도시하지는 않았으나, 실시 예에 따라서는, 디스플레이 장치(100') 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있으며, 외부 촬상 장치로부터 촬상 영상을 수신하는 대신, 촬상 장치가 내장되어 있을 수 있고, 스피커, 마이크와 같은 기타 구성이 포함되어 있을 수 있음은 물론이다.
본 발명에서 설명되는 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 발명에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부(140) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 9를 참고하면, 먼저, 사용자를 촬상하여 촬상 영상을 생성한다(S910). 이 경우, 촬상 영상에서 사용자 얼굴 인식이 수행될 수 있다. 최초 인식된 얼굴이면, 새로운 사용자로 등록한다.
그리고, 촬상 영상에서 사용자 움직임을 분석하고, 분석된 사용자 움직임에 기초하여 촬상 영상 내에서 상기 사용자가 관심을 가지는 적어도 하나의 관심 영역을 추출한다(S920). 여기서 사용자 움직임이란, 사용자 손의 움직임 및 사용자 시선의 움직임 중 적어도 하나일 수 있다.
그리고 추출된 적어도 하나의 관심 영역을 저장한다(S930). 이 경우, 촬상 영상에서 인식된 사용자에 대한 정보와 추출된 관심 영역이 매칭되어 저장된다.
그리고 디스플레이 장치(100)는 기 설정된 이벤트가 발생하면, 저장된 적어도 하나의 관심 영역을 표시한다(S940). 기 설정된 이벤트란 사용자가 재인식되는 이벤트로서, 특히, 사용자의 얼굴이 재인식되는 이벤트일 수 있다.
예컨대, 관심 영역은 관심 영역이 추출된 촬상 영상과 함께 표시될 수 있다. 이 경우, 촬상 영상에서 관심 영역 부분이 다른 영역과 구별되어 표시될 수 있다. 예컨대, 관심 영역부분만 확대되어 표시될 수 있다. 한편, 관심 영역은 정지 영상에서 표시될 수 있고, 또는, 동영상에서 표시될 수 있다.
또한, 관심 영역과 관련된 부가 정보가 추가로 표시될 수 있으며, 관심 영역을 나타내는 텍스트, 이미지 등 다양한 그래픽 오브젝트가 함께 표시될 수 있다. 부가 정보는, 다른 상품에 대한 추천 정보를 포함할 수 있고, 추천 정보에는 해당 상품의 진열 위치, 가격, 재고, 색상, 크기, 제조사 등과 같은 다양한 정보가 포함될 수 있다.
한편, 이 경우, 관심 영역이 포함된 촬상 영상 즉, 과거에 촬상된 영상이 표시됨과 동시에, 현재 사용자를 촬상한 영상이 함께 표시될 수 있다. 즉, 사용자의 현재 모습이 표시되면서, 과거에 촬상된 영상이 함께 표시되고, 과거에 촬상된 영상에는 관심 영역에 대한 표시가 포함되어 있으므로, 사용자는 과거에 입어봤던 옷과, 현재 입고 있는 옷을 한눈에 비교할 수 있게 되고, 또한 과거에 입어봤던 옷의 어느 부분에 관심을 두었었는지를 알 수 있게 된다.
도 9를 참고하여 설명한 단계들 이외에도, 도 1 내지 도 8에서 설명한 다양한 실시 예들에서 이루어지는 동작들이 추가되어 디스플레이 장치의 제어방법의 다양한 실시 예가 도출될 수 있음은 물론이다. 따라서, 이러한 실시 예들은 중복되는 범위 내에서의 설명은 생락하도록 한다.
상술한 다양한 실시 예에 따른, 디스플레이 장치의 제어방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램으로 구현될 수 있고, 상기 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이에 따라, 상술한 프로그램이 기존의 장치에 설치되어, 디스플레이 장치의 제어 동작을 수행함으로써 영상에서 사용자가 관심 있어 하는 관심 영역이 표시될 수 있게 한다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어 져서는 안 될 것이다.
110: 디스플레이부 120: 촬상부
130: 저장부 140: 제어부
100: 디스플레이 장치

Claims (20)

  1. 디스플레이 장치에 있어서,
    디스플레이부;
    사용자를 촬상하여 촬상 영상을 생성하는 촬상부;
    상기 촬상 영상에서 사용자 움직임을 분석하고, 상기 분석된 사용자 움직임에 기초하여 상기 촬상 영상 내에서 상기 사용자가 관심을 가지는 적어도 하나의 관심 영역을 추출하는 제어부; 및
    상기 추출된 적어도 하나의 관심 영역을 저장하는 저장부;를 포함하며,
    상기 제어부는, 상기 사용자가 재촬상되는 이벤트가 발생하면, 재촬상 영상 및 상기 저장된 적어도 하나의 관심 영역을 함께 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는, 디스플레이 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    기 설정된 이벤트가 발생하면, 상기 촬상 영상을 표시하고, 상기 촬상 영상 내에서 상기 관심 영역이 나머지 영역과 구별되도록 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 촬상 영상 내에서 상기 관심 영역을 확대 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 촬상 영상에서 사용자 시선의 움직임을 분석하여, 상기 표시된 촬상 영상 중 사용자가 기 설정된 시간 이상 응시한 영역을 상기 관심 영역으로 추출하는 것을 특징으로 하는 디스플레이 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 촬상된 영상에서 사용자 손의 움직임을 분석하여, 상기 촬상 영상에서 상기 사용자 손이 기 설정된 시간 이상 위치한 영역을 상기 관심 영역으로 추출하는 것을 특징으로 하는 디스플레이 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 촬상 영상 내에서 상기 사용자의 바디 영역을 검출하고, 검출된 바디 영역 내에서 상기 관심 영역을 추출하는 것을 특징으로 하는 디스플레이 장치.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 촬상 영상에서, 기 지정된 형태에 대응되는 객체를 검출하고, 상기 검출된 객체 중에서 상기 관심 영역을 추출하는 것을 특징으로 하는 디스플레이 장치.
  8. 제1항에 있어서,
    상기 제어부는,
    기 설정된 이벤트가 발생하면, 상기 관심 영역에 대한 이미지, 상기 관심 영역을 설명하기 위한 텍스트 및 상기 관심 영역과 관련된 부가 정보 중 적어도 하나를 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  9. 삭제
  10. 제1항에 있어서,
    사용자 정보를 입력받기 위한 입력부;를 더 포함하며,
    상기 제어부는,
    상기 관심 영역을 상기 입력된 사용자 정보에 매칭시켜 상기 저장부에 저장하고,
    상기 사용자 정보가 상기 입력부를 통해 재입력되는 이벤트가 발생하면, 상기 사용자를 재촬상하고, 재촬상 영상 및 상기 저장된 적어도 하나의 관심 영역을 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  11. 디스플레이 장치의 제어방법에 있어서,
    사용자를 촬상하여 촬상 영상을 생성하는 단계;
    상기 촬상 영상에서 사용자 움직임을 분석하고, 상기 분석된 사용자 움직임에 기초하여 상기 촬상 영상 내에서 상기 사용자가 관심을 가지는 적어도 하나의 관심 영역을 추출하는 단계;
    상기 추출된 적어도 하나의 관심 영역을 저장하는 단계; 및
    상기 사용자가 재촬상되는 이벤트가 발생하면, 재촬상 영상 및 상기 저장된 적어도 하나의 관심 영역을 함께 표시하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 관심 영역을 표시하는 단계는,
    기 설정된 이벤트가 발생하면, 상기 촬상 영상을 표시하고, 상기 촬상 영상 내에서 상기 관심 영역이 나머지 영역과 구별되도록 표시하는 것을 특징으로 하는 디스플레이 장치의 제어방법.
  13. 제12항에 있어서,
    상기 관심 영역을 표시하는 단계는,
    상기 촬상 영상 내에서 상기 관심 영역을 확대 표시하는 것을 특징으로 하는 디스플레이 장치의 제어방법.
  14. 제11항에 있어서,
    상기 촬상 영상에서 사용자 시선의 움직임을 분석하는 단계;를 더 포함하며,
    상기 관심 영역을 추출하는 단계는,
    상기 표시된 촬상 영상 중 사용자가 기 설정된 시간 이상 응시한 영역을 상기 관심 영역으로 추출하는 것을 특징으로 하는 디스플레이 장치의 제어방법.
  15. 제11항에 있어서,
    상기 관심 영역을 추출하는 단계는,
    상기 촬상된 영상에서 사용자 손의 움직임을 분석하여, 상기 촬상 영상에서 상기 사용자 손이 기 설정된 시간 이상 위치한 영역을 상기 관심 영역으로 추출하는 것을 특징으로 하는 디스플레이 장치의 제어방법.
  16. 제11항에 있어서,
    상기 촬상 영상 내에서 상기 사용자의 바디 영역을 검출하는 단계;를 더 포함하고,
    상기 관심 영역을 추출하는 단계는,
    상기 검출된 바디 영역 내에서 상기 관심 영역을 추출하는 것을 특징으로 하는 디스플레이 장치의 제어방법.
  17. 제11항에 있어서,
    상기 촬상 영상에서, 기 지정된 형태에 대응되는 객체를 검출하는 단계;를 더 포함하고,
    상기 관심 영역을 추출하는 단계는,
    상기 검출된 객체 중에서 상기 관심 영역을 추출하는 것을 특징으로 하는 디스플레이 장치의 제어방법.
  18. 제11항에 있어서,
    상기 관심 영역을 표시하는 단계는,
    기 설정된 이벤트가 발생하면, 상기 관심 영역에 대한 이미지, 상기 관심 영역을 설명하기 위한 텍스트 및 상기 관심 영역과 관련된 부가 정보 중 적어도 하나를 표시하는 것을 특징으로 하는 디스플레이 장치의 제어방법.
  19. 삭제
  20. 제11항에 있어서,
    사용자 정보를 입력받는 단계;를 더 포함하며,
    상기 저장하는 단계는,
    상기 관심 영역을 상기 사용자 정보에 매칭시켜 저장하고,
    상기 관심 영역을 표시하는 단계는,
    상기 사용자 정보가 재입력되는 이벤트가 발생하면, 상기 사용자를 재촬상하고, 재촬상 영상 및 상기 저장된 적어도 하나의 관심 영역을 표시하는 것을 특징으로 하는 디스플레이 장치의 제어방법.
KR1020150116597A 2015-08-19 2015-08-19 디스플레이 장치 및 그의 제어방법 KR102354458B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150116597A KR102354458B1 (ko) 2015-08-19 2015-08-19 디스플레이 장치 및 그의 제어방법
EP16171783.0A EP3133592B1 (en) 2015-08-19 2016-05-27 Display apparatus and controlling method thereof for the selection of clothes
US15/193,506 US10424116B2 (en) 2015-08-19 2016-06-27 Display apparatus and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150116597A KR102354458B1 (ko) 2015-08-19 2015-08-19 디스플레이 장치 및 그의 제어방법

Publications (2)

Publication Number Publication Date
KR20170022078A KR20170022078A (ko) 2017-03-02
KR102354458B1 true KR102354458B1 (ko) 2022-01-21

Family

ID=56131306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150116597A KR102354458B1 (ko) 2015-08-19 2015-08-19 디스플레이 장치 및 그의 제어방법

Country Status (3)

Country Link
US (1) US10424116B2 (ko)
EP (1) EP3133592B1 (ko)
KR (1) KR102354458B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885676B2 (en) * 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
US11880909B2 (en) * 2017-03-17 2024-01-23 Maxell, Ltd. AR display apparatus and AR display method
KR102390208B1 (ko) 2017-10-17 2022-04-25 삼성전자주식회사 멀티미디어 데이터를 전송하는 방법 및 장치
WO2019088483A1 (en) * 2017-10-31 2019-05-09 Samsung Electronics Co., Ltd. Apparatus and method for performing viewer gaze analysis
US10747312B2 (en) * 2018-03-14 2020-08-18 Apple Inc. Image enhancement devices with gaze tracking
CN108732764B (zh) * 2018-06-06 2024-05-31 北京七鑫易维信息技术有限公司 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质
JP7271105B2 (ja) * 2018-07-31 2023-05-11 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
CN109859227B (zh) * 2019-01-17 2023-07-14 平安科技（深圳）有限公司 翻拍图像检测方法、装置、计算机设备及存储介质
KR102434535B1 (ko) 2019-10-18 2022-08-22 주식회사 메이아이 인터랙션 검출 방법 및 그 장치
KR20210150881A (ko) * 2020-06-04 2021-12-13 삼성전자주식회사 전자 장치 및 그 동작 방법
KR20230175014A (ko) * 2022-06-22 2023-12-29 주식회사 메디트 이미지 처리 장치 및 이미지 처리 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087771A (ja) * 2001-09-07 2003-03-20 Oki Electric Ind Co Ltd 監視システム及び方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US7328119B1 (en) * 2000-03-07 2008-02-05 Pryor Timothy R Diet and exercise planning and motivation including apparel purchases based on future appearance
US20020064764A1 (en) * 2000-11-29 2002-05-30 Fishman Lewis R. Multimedia analysis system and method of use therefor
KR100438283B1 (ko) * 2002-08-09 2004-07-02 엘지전자 주식회사 이동통신 단말기 및 이동통신 단말기에서의 얼굴 영역추출 방법
US8976160B2 (en) * 2005-03-01 2015-03-10 Eyesmatch Ltd User interface and authentication for a virtual mirror
KR100811796B1 (ko) * 2007-03-30 2008-03-10 삼성전자주식회사 휴대 단말기 및 그의 초점 정보를 이용한 영상 표시 방법
US8687860B2 (en) * 2009-11-24 2014-04-01 Penrad Technologies, Inc. Mammography statistical diagnostic profiler and prediction system
KR101815020B1 (ko) * 2010-08-26 2018-01-31 삼성전자주식회사 인터페이스 제어 장치 및 방법
CN102402680B (zh) * 2010-09-13 2014-07-30 株式会社理光 人机交互系统中手部、指示点定位方法和手势确定方法
US20130254066A1 (en) * 2012-03-20 2013-09-26 A9.Com, Inc. Shared user experiences
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US10359841B2 (en) * 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device
US9661230B2 (en) * 2013-07-05 2017-05-23 Lg Electronics Inc. Image display apparatus and method of operating the image display apparatus
JP6341646B2 (ja) * 2013-10-17 2018-06-13 セーレン株式会社 試着支援装置及び方法
KR102209511B1 (ko) * 2014-05-12 2021-01-29 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087771A (ja) * 2001-09-07 2003-03-20 Oki Electric Ind Co Ltd 監視システム及び方法

Also Published As

Publication number Publication date
US10424116B2 (en) 2019-09-24
EP3133592B1 (en) 2017-12-27
EP3133592A1 (en) 2017-02-22
US20170053448A1 (en) 2017-02-23
KR20170022078A (ko) 2017-03-02

Similar Documents

Publication Publication Date Title
KR102354458B1 (ko) 디스플레이 장치 및 그의 제어방법
US10628670B2 (en) User terminal apparatus and iris recognition method thereof
US9323982B2 (en) Display apparatus for performing user certification and method thereof
US10067562B2 (en) Display apparatus and image correction method thereof
US9268412B2 (en) Input apparatus having an input recognition unit and input recognition method by using the same
US9706108B2 (en) Information processing apparatus and associated methodology for determining imaging modes
TW201601066A (zh) 實現虛擬試戴的方法和裝置
KR20150055543A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
JP2014048937A (ja) ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
JP5163008B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
TW201617836A (zh) 使用者終端裝置及其虹膜辨識方法
JP6725121B1 (ja) 視線検出方法、視線検出装置、及び制御プログラム
US20200184671A1 (en) Image processing system and image processing method
US11880220B2 (en) Device control method, apparatus, and system
KR102372711B1 (ko) 영상 촬영 장치 및 이의 제어 방법
JP2014059869A (ja) 眼探索方法及び該方法を使用した眼状態検出装置と眼探索装置
EP2894866B1 (en) Display apparatus and display method thereof
JP6129600B2 (ja) 情報処理方法、及び情報処理システム
JP2014099175A (ja) ディスプレイ装置およびそのメッセージ伝達方法
JP6079418B2 (ja) 入力装置および入力プログラム
US20220028123A1 (en) Information processing apparatus, information processing method, and program
KR20150108560A (ko) 액세서리 추천 장치, 이의 제어 방법, 컴퓨터 프로그램이 기록된 기록 매체 및 액세서리 추천 시스템
Lissoboi et al. Development of an efficient method for eye detection on mobile CE devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant