KR20190001114A - 디스플레이장치와 그 제어방법 및 시스템 - Google Patents

디스플레이장치와 그 제어방법 및 시스템 Download PDF

Info

Publication number
KR20190001114A
KR20190001114A KR1020170080593A KR20170080593A KR20190001114A KR 20190001114 A KR20190001114 A KR 20190001114A KR 1020170080593 A KR1020170080593 A KR 1020170080593A KR 20170080593 A KR20170080593 A KR 20170080593A KR 20190001114 A KR20190001114 A KR 20190001114A
Authority
KR
South Korea
Prior art keywords
gesture
vibration
camera
user
control unit
Prior art date
Application number
KR1020170080593A
Other languages
English (en)
Inventor
강희준
윤지훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170080593A priority Critical patent/KR20190001114A/ko
Priority to PCT/KR2018/004167 priority patent/WO2019004574A1/ko
Publication of KR20190001114A publication Critical patent/KR20190001114A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/18—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective
    • G02B27/20—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective for imaging minute objects, e.g. light-pointer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06K9/00342—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N5/23203—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 디스플레이장치에 있어, 카메라와 연결되는 인터페이스와; 디스플레이부와; 진동센서를 통해 확보한 진동 특성에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중에서 어느 한 종류의 제스처로 결정하고, 카메라로부터 수신되는 영상에 기초한 제스처의 움직임에 따라 컨텐츠 영상을 표시하도록 디스플레이부를 제어하는 제어부를 포함한다.

Description

디스플레이장치와 그 제어방법 및 시스템 {DISPLAY APPARATUS, CONTROL METHOD THEREOF, AND SYSTEM}
본 발명은 디스플레이장치와 그 제어방법 및 시스템에 관한 것으로서, 보다 상세하게는 사용자의 제스처를 인식하여 제품에 대한 정보를 제공하기 위한 디스플레이장치와 그 제어방법 및 시스템에 관한 것이다.
스마트 리테일(Smart Retail) 솔루션은 디지털 기술을 이용하여 소비자에게 제품에 대한 이해를 높일 수 있는 경험을 제공하는 것으로서, 소비자가 제품을 직접 만져보고 디스플레이 상에 제품 관련 영상을 보여주는 방식으로 제품에 대한 정보를 제공한다.
일반적으로, 스마트 리테일 솔루션은 사용자가 진열대에 전시된 제품 위로 손을 이동하거나 제품을 드는 행동을 카메라를 통해 인식하고, 이러한 사용자의 행동에 대해 제품과 관련된 영상을 보여주는 방식을 사용한다.
그러나, 이러한 방식은 사용자가 진열된 제품들과 직접 접촉하는 것이 가능하므로 도난 및 보안상의 문제가 발생할 수 있다.
또한, 이러한 문제로 인해 제품을 전시할 수 있는 공간이 한정되고 영업시간 이외에는 제품을 전시하지 못하게 되는 시간적 및 공간적 제약이 있다.
따라서, 본 발명의 목적은, 스마트 리테일 솔루션에 있어, 사용자가 진열된 제품을 직접 접촉하지 않고도 제품에 관한 정보를 제공 받도록 하기 위한 디스플레이장치와 그 제어방법, 및 시스템을 제공하는 것이다.
또한, 본 발명의 또 다른 목적은, 스마트 리테일 솔루션에 있어, 사용자의 제스처 인식의 정확도를 향상시키기 위한 디스플레이장치와 그 제어방법, 및 시스템을 제공하는 것이다.
상기 목적은, 본 발명에 따라, 디스플레이장치에 있어서, 카메라와 연결되는 유선 또는 무선 인터페이스와; 디스플레이부와; 진동센서를 통해 확보한 진동 특성에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중에서 어느 한 종류의 제스처로 결정하고, 카메라로부터 수신되는 영상에 기초한 제스처의 움직임에 따라 컨텐츠 영상을 표시하도록 디스플레이부를 제어하는 제어부를 포함하는 디스플레이장치에 의해 달성될 수 있다.
이와 같은 본 발명의 실시예에 따라, 스마트 리테일 솔루션을 이용함에 있어, 사용자가 진열된 제품을 직접 접촉하지 않고도 제품에 관한 정보를 제공 받도록 할 수 있다. 또한, 사용자의 제스처를 인식함에 있어, 카메라만을 이용하는 경우보다 정확도를 향상시킬 수 있다.
상기 제어부는, 상기 진동의 지속시간, 크기 및 증감정도 중 적어도 하나에 기초하여 상기 제스처의 종류를 결정할 수 있다. 이에 따라, 진동센서를 통해 감지되는 진동의 여러 특성을 이용하여 사용자의 제스처를 인식하도록 한다.
상기 제어부는, 상기 진동의 크기가 문턱값을 초과하면, 상기 카메라가 턴온되도록 상기 인터페이스를 통해 제어신호를 상기 카메라에 전송할 수 있다. 이에 따라, 진동이 감지되면 카메라를 추가적으로 활성화함에 의해, 진동 및 촬상 영상을 모두 고려하여 사용자의 제스처를 인식하도록 한다.
상기 제어부는, 상기 진동의 크기가 문턱값을 초과하면, 상기 제스처에 대응하여 위치를 이동하는 포인터를 표시하도록 상기 디스플레이부를 제어할 수 있다. 이에 따라, 진동이 감지되면 제품 선택을 위한 제스처의 이동을 시각적으로 나타내기 위한 방법으로서 포인터를 표시하도록 한다.
상기 제어부는, 상기 진동센서를 통해 진동이 감지되지 않는 상태에서, 상기 카메라로부터 수신되는 영상에서 제스처가 인식되면, 상기 카메라로부터 수신되는 영상에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중 어느 한 종류의 제스처로 결정할 수 있다. 이에 따라, 사용자의 제스처를 인식함에 있어, 진동이 감지되지 않는 경우에는 카메라로 촬상되는 영상만으로 제스처를 인식하도록 한다.
상기 복수의 종류의 제스처 각각에 대응하는 복수의 진동 특성에 관한 정보가 저장되는 저장부를 더 포함할 수 있다. 이에 따라, 진동 특성에 관한 정보를 미리 저장해두고, 진동이 발생하면 대응하는 사용자의 제스처를 인식 가능하도록 한다.
상기 목적은, 본 발명에 따라, 컴퓨팅장치에 있어서, 인스트럭션이 저장된 메모리와; 프로세서를 포함하고, 상기 인스트럭션은, 상기 프로세서에 의해 실행되면, 진동센서를 통해 확보한 진동 특성에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중에서 어느 한 종류의 제스처로 결정하고, 카메라로부터 수신되는 영상에 기초한 제스처의 움직임에 따라 컨텐츠 영상을 표시하는 것을 포함하는 컴퓨팅장치에 의해서도 달성될 수 있다.
상기 인스트럭션은, 상기 진동의 크기가 문턱값을 초과하면, 상기 컴퓨팅장치의 인터페이스를 통해 유선 또는 무선으로 연결된 카메라가 턴온되도록 상기 컴퓨팅장치의 인터페이스를 통해 제어신호를 상기 카메라에 전송하는 것을 포함할 수 있다. 이에 따라, 진동이 감지되면 카메라를 추가적으로 활성화함에 의해, 진동 및 촬상 영상을 모두 고려하여 사용자의 제스처를 인식할 수 있다.
상기 인스트럭션은, 상기 진동의 크기가 문턱값을 초과하면, 상기 제스처에 대응하여 위치를 이동하는 포인터를 표시하도록 상기 컴퓨팅장치의 디스플레이부를 제어할 수 있다. 이에 따라, 진동이 감지되면 제품 선택을 위한 제스처의 이동을 시각적으로 나타내기 위한 방법으로서 포인터를 표시하도록 한다.
상기 인스트럭션은, 상기 진동센서를 통해 진동이 감지되지 않는 상태에서, 상기 카메라로부터 수신되는 영상에서 제스처가 인식되면, 상기 카메라로부터 수신되는 영상에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중 어느 한 종류의 제스처로 결정할 수 있다. 이에 따라, 사용자의 제스처를 인식함에 있어, 진동이 감지되지 않는 경우에는 카메라로 촬상되는 영상만으로 제스처를 인식한다.
상기 인스트럭션은, 상기 컴퓨팅장치의 저장부에 저장된 복수 종류의 제스처 각각에 대응하는 복수의 진동 특성에 관한 정보를 기반으로, 상기 진동센서에서 확보한 진동 특성에 해당하는 제스처의 종류를 판단할 수 있다.
상기 인스트럭션은, 네트워크를 통해 외부장치로 다운로드될 수 있다.
이와 같은 본 발명의 실시예에 따라, 진동 및 카메라 영상을 이용한 제스처 인식 동작은 컴퓨팅장치에 어플리케이션의 형태로 저장되고, 외부장치가 컴퓨팅장치에 저장된 어플리케이션을 다운로드하여 실행하는 형태로 구현될 수 있다.
상기 목적은, 본 발명에 따라, 디스플레이장치의 제어방법에 있어서, 진동센서를 통해 확보한 진동 특성에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중에서 어느 한 종류의 제스처로 결정하는 단계와; 카메라로부터 수신되는 영상에 기초한 제스처의 움직임에 따라 컨텐츠 영상을 표시하는 단계를 포함하는 디스플레이장치의 제어방법에 의해서도 달성될 수 있다.
이와 같은 본 발명의 실시예에 따라, 스마트 리테일 솔루션을 이용함에 있어, 사용자가 진열된 제품을 직접 접촉하지 않고도 제품에 관한 정보를 제공 받도록 할 수 있다. 또한, 사용자의 제스처를 인식함에 있어, 카메라만을 이용하는 경우보다 정확도를 향상시킬 수 있다.
상기 진동의 지속시간, 크기 및 증감정도 중 적어도 하나에 기초하여 상기 제스처의 종류를 결정하는 단계를 포함할 수 있다. 이에 따라, 진동센서를 통해 감지되는 진동의 여러 특성을 이용하여 사용자의 제스처를 인식하도록 한다.
상기 진동의 크기가 문턱값을 초과하면, 상기 카메라가 턴온되도록 유선 또는 무선 인터페이스를 통해 제어신호를 상기 카메라에 전송하는 단계를 포함할 수 있다. 이에 따라, 진동이 감지되면 카메라를 추가적으로 활성화함에 의해, 진동 및 촬상 영상을 모두 고려하여 사용자의 제스처를 인식하도록 한다.
상기 진동의 크기가 문턱값을 초과하면, 상기 제스처에 대응하여 위치를 이동하는 포인터를 표시하도록 디스플레이부를 제어하는 단계를 포함할 수 있다. 이에 따라, 진동이 감지되면 제품 선택을 위한 제스처의 이동을 시각적으로 나타내기 위한 방법으로서 포인터를 표시하도록 한다.
상기 진동센서를 통해 진동이 감지되지 않는 상태에서, 상기 카메라로부터 수신되는 영상에서 제스처가 인식되면, 상기 카메라로부터 수신되는 영상에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중 어느 한 종류의 제스처로 결정하는 단계를 포함할 수 있다. 이에 따라, 사용자의 제스처를 인식함에 있어, 진동이 감지되지 않는 경우에는 카메라로 촬상되는 영상만으로 제스처를 인식하도록 한다.
상기 복수의 종류의 제스처 각각에 대응하는 복수의 진동 특성에 관한 정보를 저장하는 단계를 더 포함할 수 있다. 이에 따라, 진동 특성에 관한 정보를 미리 저장해두고, 진동이 발생하면 대응하는 사용자의 제스처를 인식 가능하도록 한다.
상기 목적은, 본 발명에 따라, 시스템에 있어서, 디스플레이부와; 카메라와; 적어도 하나의 제품이 전시되는 진열대와; 적어도 하나의 제품에 대한 접촉을 차단하기 위한 보호막 역할을 하고, 진동을 감지하기 위한 진동센서가 부착되는 투명보호판과; 진동센서를 통해 확보한 진동 특성에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중에서 어느 한 종류의 제스처로 결정하고, 카메라로부터 수신되는 영상에 기초한 제스처의 움직임에 따라 컨텐츠 영상을 표시하도록 디스플레이부를 제어하는 제어부를 포함하는 시스템에 의해서도 달성될 수 있다.
이와 같은 본 발명의 실시예에 따라, 스마트 리테일 솔루션을 이용함에 있어, 디스플레이와 사용자 사이에 투명보호판을 설치하여 사용자가 진열대 상의 제품을 직접 접촉하지 않은 상태에서 제스처에 의해 제품에 관한 정보를 제공 받도록 할 수 있다. 또한, 사용자의 제스처를 인식하기 위해 진동 특성 및 카메라 영상을 분석하여, 인식의 정확도를 향상시킬 수 있다.
상기 시스템은, 레이저 포인터를 출력하는 포인팅장치를 더 포함하고, 상기 제어부는, 상기 제스처의 움직임에 대응하는 상기 진열대 상의 위치에 상기 레이저 포인터를 출력하도록 상기 포인팅장치를 제어할 수 있다. 이에 따라, 제품 선택을 위한 제스처의 이동을 시각적으로 나타내기 위한 방법으로서 포인터를 표시하도록 한다.
상기 제어부는, 상기 제스처에 의해 상기 적어도 하나의 제품 중 하나가 선택되면, 상기 선택된 제품에 대응하는 상기 컨텐츠 영상을 표시하도록 상기 디스플레이부를 제어할 수 있다. 이에 따라, 제품을 직접 접촉하지 않은 상태에서 제스처에 의해 제품을 선택하여 제품에 관한 정보를 화면으로 제공받을 수 있다.
상기 제어부는, 상기 진동의 지속시간, 크기 및 증감정도 중 적어도 하나에 기초하여 상기 제스처의 종류를 결정할 수 있다. 이에 따라, 진동센서를 통해 감지되는 진동의 여러 특성을 이용하여 사용자의 제스처를 인식하도록 한다.
상기 제어부는, 상기 진동의 크기가 문턱값을 초과하면, 상기 카메라가 턴온되도록 유선 또는 무선 인터페이스를 통해 제어신호를 카메라에 전송할 수 있다. 이에 따라, 진동이 감지되면 카메라를 추가적으로 활성화함에 의해, 진동 및 촬상 영상을 모두 고려하여 사용자의 제스처를 인식하도록 한다.
상기 제어부는, 상기 진동의 크기가 문턱값을 초과하면, 상기 진열대 상의 기 설정된 위치에 상기 레이저 포인터를 출력하도록 상기 포인팅장치를 제어할 수 있다. 이에 따라, 진동이 감지되면 제품 선택을 위한 제스처의 이동을 시각적으로 나타내기 위한 방법으로서 포인터를 표시하도록 한다.
상기 제어부는, 상기 진동센서를 통해 진동이 감지되지 않는 상태에서, 상기 카메라로부터 수신되는 영상에서 제스처가 인식되면, 상기 카메라로부터 수신되는 영상에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중 어느 한 종류의 제스처로 결정할 수 있다. 이에 따라, 사용자의 제스처를 인식함에 있어, 진동이 감지되지 않는 경우에는 카메라로 촬상되는 영상만으로 제스처를 인식하도록 한다.
상기 제어부는, 상기 복수의 종류의 제스처 각각에 대응하는 복수의 진동 특성에 관한 정보를 저장할 수 있다. 이에 따라, 진동 특성에 관한 정보를 미리 저장해두고, 진동이 발생하면 대응하는 사용자의 제스처를 인식 가능하도록 한다.
상기한 바와 같이, 본 발명에 의하면, 사용자가 진열된 제품을 직접 접촉하지 않고도 스마트 리테일 솔루션을 이용 가능하도록 하여 도난 및 보안 문제를 예방하는 효과가 있다.
또한, 본 발명에 의하면, 사용자의 제스처를 인식함에 있어, 카메라만을 이용하는 경우보다 정확도를 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 시스템의 전체 구성을 도시한 예이다.
도 2는 본 발명의 일실시예에 따른 시스템에 있어 각 구성들의 논리적인 동작의 흐름을 도시한 예이다.
도 3은 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다.
도 4는 본 발명의 일실시예에 따른 시스템에 있어 사용자 제스처에 의한 각 구성의 동작의 흐름을 도시한 예이다.
도 5는 본 발명의 일실시예에 따른 진동 및 카메라 영상에 의한 제스처 분석을 통해 제품 관련 컨텐츠를 제공하는 과정을 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 따른 진동에 의한 제스처 분석을 통해 제품 관련 컨텐츠를 제공하는 과정을 도시한 흐름도이다.
도 7은 본 발명의 일실시예에 따른 카메라 영상에 의한 제스처 분석을 통해 제품 관련 컨텐츠를 제공하는 과정을 도시한 흐름도이다.
도 8은 본 발명의 일실시예에 따른 제스처의 종류를 판단하기 위한 진동의 파형을 나타내는 그래프이다.
도 9는 본 발명의 일실시예에 따른 제스처의 종류를 판단하기 위한 진동의 파형을 나타내는 그래프이다.
도 10은 본 발명의 일실시예에 따른 제스처의 종류를 판단하기 위한 진동의 파형을 나타내는 그래프이다.
도 11은 본 발명의 일실시예에 따른 제스처에 의해 제품이 전시된 진열대 상에서 포인터를 이동시키는 과정을 도시한 예이다.
도 12는 본 발명의 일실시예에 따른 디스플레이장치의 제어방법을 도시한 흐름도이다.
이하, 첨부도면을 참조하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.
이하에서는, 먼저 도 1 내지 도 3을 통해 본 발명의 시스템(1) 및 디스플레이장치(10)의 구성에 대해 설명하기로 한다. 도 1은 본 발명의 일실시예에 따른 시스템의 전체 구성을 도시한 예이다. 도 1에 도시된 바와 같이, 시스템(1)은 디스플레이부(15), 카메라(12), 투명보호판(17), 진동센서(13), 진열대(16), 포인팅장치(18) 및 제어부(14)를 포함하고, 제어부(14)는 예컨대, 별도의 PC 단말기 혹은 컴퓨팅 장치로 마련될 수 있다. 또한, 시스템(1)은 카메라(12)와 제어부(14)를 연결하기 위한 구성으로서 유선 또는 무선 인터페이스(11)를 더 포함할 수 있다. 상기 구성 중 디스플레이부(15)는 예컨대, 상업적으로 사용되는 광고화면 등을 표시하는 LFD(Large Format Display)로 마련될 수 있으나, 이에 한정되는 것은 아니다. 또한, 포인팅장치(18)는 예컨대 레이저 빔 포인터 장치로 마련될 수 있다.
일실시예로서, 시스템(1)의 구성 중 디스플레이부(15)와 제어부(14)를 일체의 구성으로 하는 디스플레이장치(10)와 같은 형태의 구현도 가능하다. 즉, 시스템(1)은 디스플레이부(15)와 제어부(14)를 분리된 형태로 구현하거나, 디스플레이장치(10)의 형태로 구현할 수 있다.
시스템(1)은 이러한 구성에 의해 제품(20)에 대한 직접적인 접촉 없이도 사용자에게 제품에 관한 시각적인 정보를 제공하는 스마트 리테일 솔루션을 제공한다. 시스템(1)에 포함되는 구성은 도 1에 도시된 실시예에 의해 한정되지 않고, 일부 구성을 제외하여 구성되거나, 추가적인 다른 구성들을 포함하여 구현될 수 있다.
본 발명의 시스템(1)은 투명보호판(17)에 부착된 진동센서(13)를 통해 사용자 제스처에 의해 발생되는 진동을 감지한다. 이 때, 시스템(1)은 진동센서(13)를 통해 확보한 진동 특성에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중 어느 한 종류의 제스처로 결정한다.
여기서, 투명보호판(17)은 디스플레이부(15)와 사용자 사이의 공간에 설치되어, 진열대(16) 상의 적어도 하나의 제품에 대한 접촉을 차단하는 보호막 역할을 한다. 투명보호판(17)은 예컨대 유리 재질의 패널로 제작되거나, 투명 재질의 다양한 종류의 재료를 사용하여 제작될 수 있다.
도시된 예에서, 투명보호판(17)은 얇은 사각 패널 형태를 가지고 사용자가 제품(20)에 접촉하는 것을 차단할 수 있는 사이즈로 마련된다. 예컨대, 투명보호판(17)은 지면에 대해 수직인 방향으로 설치된다.
다른 예로서, 투명보호판(17)은 진열대(16)에 전시되는 적어도 하나의 제품의 상단에 제품을 커버할 수 있는 형태로 설치될 수 있다. 이 경우 투명보호판(17)은 얇은 사각 패널 형태가 아닌, 가운데 부분이 볼록한 덮개 형태로 제작될 수 있다.
진동센서(13)는 투명보호판(17)의 전체 영역 중 일 영역에 부착되고, 투명보호판(17)에 대한 터치 등과 같이 사용자의 제스처에 의해 발생되는 진동을 감지한다. 이 때, 진동센서(13)를 통해 확보한 진동 특성 관련 정보는 제어부(14)로 전송되어, 제스처를 분석하는데 사용된다.
제어부(14)는 진동센서(13)로부터 전송된 진동 특성 관련 정보를 이용하여, 제스처의 종류를 결정하게 된다.
구체적으로, 진동센서(13)에 의해 감지되는 진동은 그 특성에 따라 여러 형태의 파형을 가진다. 이러한 진동의 파형은 사용자의 제스처가 어떤 종류인지에 따라 다른 형태를 가진다. 즉, 서로 다른 파형 각각에 대응하는 사용자 제스처로서, 예컨대 드래그, 탭 및 플릭 등이 매칭될 수 있다.
상기와 같이, 본 발명의 시스템(1)은 투명보호판(17)에 부착된 진동센서(13)를 통해 확보한 진동의 파형을 분석하여 사용자의 제스처의 종류를 결정할 수 있다.
또한, 본 발명의 시스템(1)은 카메라(12)로부터 수신되는 영상에 기초하여 제스처의 움직임을 판단한다. 이 때, 카메라(12)는 디스플레이부(15)의 상단에 부착되는 형태로 마련되거나, 디스플레이부(15)와 소정 거리만큼 떨어진 위치에 별도의 구성으로서 설치될 수 있다.
카메라(12)는 디스플레이부(15)와 사용자 사이에 위치한 투명보호판(17)의 앞쪽에 위치한 사용자를 촬상할 수 있는 방향으로 이동 가능하게 마련된다.
카메라(12)는 디스플레이부(15) 앞쪽의 진열대(16)에 전시된 적어도 하나의 제품을 선택하기 위한 제스처를 취하는 사용자를 촬상하고, 촬상된 영상을 인터페이스(11)를 통해 제어부(14)로 전송한다. 이 때, 촬상된 영상은 사용자의 한 손 또는 양 손의 움직임을 촬상한 영상을 포함한다.
제어부(14)는 카메라(12)로부터 전송된 사용자의 제스처의 영상을 분석하여, 제스처의 움직임을 판단한다. 구체적으로, 제어부(14)는 제스처의 영상을 통해 사용자의 손의 위치 및 이동방향을 판단한다.
상기와 같이, 제어부(14)는 진동센서(13)를 통해 확보한 진동 특성 및 커메라(12)에 의해 촬상된 제스처 영상을 이용하여 사용자의 제스처를 분석한다. 구체적으로, 제어부(14)는 진동센서(13)로부터 전송된 진동 특성 관련 정보를 이용하여 제스처의 종류를 결정하고, 카메라(12)로부터 전송된 사용자의 제스처의 영상을 분석하여 제스처의 움직임을 판단한다.
제어부(14)는, 진동 관련 정보 및 촬상 영상을 모두 이용하여 사용자의 제스처를 판단하거나, 혹은, 진동 관련 정보 및 촬상 영상 중 어느 하나만을 이용하여 사용자의 제스처를 판단할 수 있다.
제어부(14)는 진동 및 촬상 영상에 의해 판단된 사용자의 제스처에 기초하여 진열대(16)에 전시된 적어도 하나의 제품(20)과 관련한 안내동작을 수행한다.
여기서, 사용자의 제스처의 종류는 예컨대, 드래그, 탭 및 플릭 등을 포함하고, 제어부(14)는 제스처의 종류 각각의 입력에 대응하여 제품(20)과 관련한 안내 동작을 수행할 수 있다.
예컨대, 제스처의 종류 중 드래그는 제품(20)에 대한 포인터의 이동 동작을, 탭은 제품(20) 관련 영상의 재생 동작을, 플릭은 제품(20) 관련 영상의 페이지 이동동작을 수행하도록 설계할 수 있다.
구체적인 예로서, 제어부(14)는 사용자의 제스처가 탭으로 판단된 경우, 사용자 손의 위치에 대응하는 제품을 선택한 것으로 간주하여 디스플레이부(15)가 대응하는 영상을 재생하도록 할 수 있다.
다른 예로서, 제어부(14)는 사용자의 제스처가 드래그로 판단된 경우, 진열대(16) 상의 제품에 대해 포인팅장치(18)가 포인터를 이동하여 표시하도록 제어할 수 있다. 또 다른 예로서, 사용자의 제스처가 플릭으로 판단된 경우, 디스플레이부(15)에 표시중인 제품 관련 영상의 페이지를 좌우 방향으로 이동시킬 수 있다.
상기와 같은 제스처의 종류는, 도 8 내지 도10에 도시된 진동의 파형 특성에 의해 판단될 수 있다. 진동의 파형 특성은 진동의 지속시간, 크기 및 증감정도 중 적어도 하나에 관한 정보를 제공하고, 이러한 정보를 이용하여 제스처의 종류를 판단할 수 있다.
예로서, 도 8에 도시된 그래프에서, 진동의 파형은 t1의 시간구간 동안 m1의 크기 한도 내에서 소폭으로 증감하는 형태를 보여준다. 이와 같이, 다소 긴 시간구간 동안 작은 크기의 진동이 지속되는 형태의 파형인 경우, 사용자의 제스처가 예컨대, 드래그(drag)인 것으로 판단할 수 있다.
도 9에 도시된 그래프에서, 진동의 파형은 t2의 시간구간 동안 m2의 크기만큼 증가하는 형태를 보여준다. 이처럼 짧은 시간구간 동안 일시적으로 큰 폭으로 크기가 증가하는 형태의 파형인 경우, 사용자의 제스처가 예컨대, 탭(tap)인 것으로 판단할 수 있다.
도 10에 도시된 그래프에서, 진동의 파형은 t3의 시간구간 동안 m31에서 m32의 크기로 증가하는 형태를 보여준다. 이처럼 일정한 시간구간 동안 크기가 큰 폭으로 증가하는 형태의 파형인 경우, 사용자의 제스처가 예컨대, 플릭(flick)인 것으로 판단할 수 있다.
상기와 같이, 본 발명에 의하면, 스마트 리테일 솔루션을 이용함에 있어 사용자가 진열된 제품을 직접 접촉하지 않고도 제품에 관한 정보를 제공 받도록 할 수 있다. 이에 따라, 시간 및 공간적인 제약 없이, 영업 시간 이외에도 진동센서가 마련된 장소이면 스마트 리테일 솔루션을 제공 가능하다.
또한, 본 발명에 의하면, 사용자의 제스처를 인식함에 있어, 사용자 제스처에 의해 발생되는 진동을 감지함에 의해 카메라 영상만을 이용하는 경우보다 인식의 정확도를 향상시킬 수 있다.
또한, 본 발명에 의하면, 사용자 제스처에 대응하는 위치에 포인터가 표시되므로, 사용자의 신체조건과 상관 없이 사용자의 제스처를 인식할 수 있다.
도 2는 본 발명의 일실시예에 따른 시스템에 있어 각 구성들의 논리적인 동작의 흐름을 도시한 예이다. 도 2에 도시된 바와 같이, 본 발명의 시스템(1)은 사용자 제스처(30)에 대한 인식, 분석 및 결과물을 위한 구성들을 포함한다.
진동센서(13) 및 카메라(12)는 사용자 제스처(30)의 인식을 위한 구성으로, 이 중 적어도 하나의 구성을 이용하여 사용자 제스처(30)를 인식한다. 진동센서(13)는 사용자 제스처(30)에 의해 발생되는 진동을 감지하고, 감지된 진동 특성에 관한 정보를 제어부(14)로 전달한다. 카메라(12)는 사용자 제스처(30)의 영상을 촬상하고, 촬상된 영상 및 영상에 관한 정보를 제어부(14)로 전달한다.
제어부(14)는 사용자 제스처(30)의 분석을 위한 구성으로, 진동센서(13) 및 카메라(12)에 의해 인식된 사용자 제스처(30)를 분석한다. 일실시예로서, 제어부(14)는 진동세서(13)로부터 전달된 진동 특성에 관한 정보와 카메라(12)로부터 전달된 사용자 제스처(30)의 촬상영상 중 적어도 하나를 이용하여 사용자 제스처(30)의 종류를 예컨대 드래그, 탭 및 플릭 중 어느 하나로 결정할 수 있다.
디스플레이부(15) 및 포인팅장치(18)는 사용자 제스처(30)에 대한 결과물을 출력하기 위한 구성으로, 이들 구성을 이용하여 제어부(14)에서 분석된 결과에 따라, 사용자 제스처(30)에 대응하는 결과물을 출력한다.
일실시예로서, 제어부(14)는 사용자 제스처(30)가 '탭'으로 결정된 경우, 포인팅장치(18)가 제품(20)이 진열된 진열대(16) 상에 포인터를 출력하도록 한다. 이 때, 포인팅장치(18)가 포인터를 이미 표시중인 경우에는, '탭' 제스처에 대해 제품(20)에 대한 선택 트리거를 발생시켜, 디스플레이부(15)가 대응하는 컨텐츠 영상을 표시하도록 한다.
일실시예로서, 제어부(14)는 사용자 제스처(30)가 '드래그'로 결정된 경우, 사용자 제스처(30)에 대한 결과물로서 포인팅장치(18)가 진열대(16) 상의 포인터를 이동하여 표시하거나, 디스플레이부(15)가 포인터의 이동된 위치에 대응하는 제품(20)의 관련 영상을 표시하도록 한다.
일실시예로서, 제어부(14)는 사용자 제스처(30)가 '플릭'으로 결정된 경우, 사용자 제스처(30)에 대한 결과물로서 디스플레이부(15)가 컨텐츠 영상의 페이지를 해당 방향으로 이동하여 표시하도록 한다.
도 3은 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다. 도 3에 도시된 바와 같이, 본 발명의 디스플레이장치(10)는 인터페이스(11), 디스플레이부(15), 저장부(141) 및 제어부(14)를 포함한다. 디스플레이장치(10)는 인터페이스(11)를 통해 외부에 마련된 진동센서(13), 카메라(12) 및 포인팅장치(18)와 연결된다. 디스플레이장치(10)는 예컨대 광고용 디스플레이인 LFD로 구현될 수 있다. 디스플레이장치(10)에 포함되는 구성은 본 발명의 일실시예에 의해 한정되지 않고, 일부 구성을 제외하여 구성되거나, 추가적인 다른 구성들을 포함하여 구현될 수 있다.
인터페이스(11)는 유선 및 무선 연결을 위한 통합 인터페이스로 마련된다. 예로서, 인터페이스(11)는 카메라(12) 및 포인팅장치(18)를 유선 또는 무선으로 연결하기 위한 접속부의 구성과, 진동센서(13)를 무선으로 연결하기 위한 통신부의 구성을 모두 포함할 수 있다. 인터페이스(11)의 구성은 이와 같은 실시예에 의해 한정되지 않고, 카메라(12), 포인팅장치(18) 및 진동센서(13) 각각의 유선 혹은 무선 연결 가능 여부에 따라 다양하게 마련될 수 있다.
이와 같은 인터페이스(11)의 구성을 이용하여, 디스플레이장치(10)는 진동센서(13)로부터 진동에 관한 정보를 수신하고, 카메라(12)로부터 사용자 제스처의 영상을 수신한다. 또한, 디스플레이장치(10)는 인터페이스(11)를 통해 포인팅장치(18)로 포인터의 출력명령을 전송한다.
디스플레이부(15)는 영상처리 프로세스를 통해 처리된 영상신호에 기초하여 영상을 표시한다. 디스플레이부(15)는 예컨대, 상업적으로 사용되는 광고화면 등을 표시하는 LFD(Large Format Display)로 마련된다. LFD는 디지털 사이니지(Digital Signage) 또는 디지털 정보 디스플레이(Digital Information Display)라고도 한다. 디스플레이부(15)의 구현 방식은 한정되지 않는 바, 디스플레이부(15)는PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), 플렉시블 디스플레이(flexible display) 등 다양한 형태로 구현될 수 있다.
저장부(141)는 사용자의 제스처의 종류 각각에 대응하는 복수의 진동 특성에 관한 정보를 저장한다. 예로서, 저장부(141)는 사용자의 제스처의 종류를 탭, 드래그 및 플릭 동작으로 구분하고, 제스처의 종류 각각에 대응하는 진동의 파형 이미지를 저장할 수 있다. 다른 예로서, 저장부(141)는 제스처의 종류 각각에 대응하는 진동의 지속시간, 크기 및 증감정보에 관한 데이터를 저장할 수도 있다.
또한, 저장부(141)는 적어도 하나의 제품과 관련된 복수의 컨텐츠 영상을 저장할 수 있다. 이 때, 복수의 영상은 서버로부터 다운로드 되거나, 외부장치로부터 전송될 수 있다. 저장부(141)는 저장된 복수의 컨텐츠 영상의 데이터 각각에 대해 독취(read), 기록(write), 수정(edit), 삭제(delete), 갱신(update) 등이 수행되도록 한다. 저장부(141)는 디스플레이장치(10)의 시스템 전원의 제공 유무와 무관하게 데이터를 보존할 수 있도록 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive)와 같은 비휘발성 메모리로 구현된다.
제어부(14)는 CPU(Central Processing Unit)로 구현될 수 있고, 제어, 연산, 레지스터의 세 영역을 포함한다. 제어영역은 프로그램 명령어를 해석하고, 해석된 명령의 의미에 따라 디스플레이장치(10)의 각 구성으로 동작을 지시한다. 연산영역은 산술 연산 및 논리 연산을 수행하고, 제어영역의 지시에 따라 디스플레이장치(10)의 각 구성이 동작하기 위해 필요한 연산을 수행한다. 레지스터는 CPU에서 명령어를 실행하는 동안 필요한 정보들을 저장하는 기억 장소로, 디스플레이장치(10)의 각 구성에 대한 명령어 및 데이터들을 저장하고, 연산된 결과를 저장한다.
제어부(14)는 진동센서(13)를 통해 확보한 진동 특성에 관한 정보를 수신한다.
제어부(14)는 진동센서(13)로부터 수신된 진동 특성에 관한 정보에 기초하여 사용자의 복수의 종류의 제스처 중에서 어느 한 종류의 제스처를 결정한다. 이 때, 복수의 종류의 제스처 각각에 대응하는 복수의 진동 특성에 관한 정보는 저장부(141)에 미리 저장되어 있거나, 외부 장치로부터 수신될 수 있다.
여기서, 진동 특성에 관한 정보는, 진동의 지속시간, 크기 및 증감정도 중 적어도 하나를 포함할 수 있다. 이러한 진동 특성에 관한 정보는 진동의 파형을 통해 알 수 있고, 진동의 파형을 분석하여 사용자의 제스처가 어떤 종류인지 파악할 수 있다. 예로서, 앞서 도 8 내지 도 10에 대해 설명한 바와 같이, 진동의 파형 그래프를 통해 사용자의 제스처의 종류가 드래그, 탭 및 플릭 중 어느 것인지 결정 가능하다.
또한, 제어부(14)는 카메라(12)로부터 수신되는 영상에 기초하여 제스처의 움직임을 결정하고, 이에 대응하는 컨텐츠 영상을 표시한다. 일실시예로서, 제어부(14)는 카메라(12)에 의해 촬상된 사용자의 영상으로부터 사용자의 손의 위치를 추출하고, 추출된 위치를 기초로 투명보호판(17)에 대한 (X, Y) 좌표를 획득할 수 있다.
또한, 제어부(14)는 카메라(12)에 의해 촬상된 사용자의 영상으로부터 사용자의 손의 이동방향을 판단할 수 있다.
이와 같이, 제어부(14)는 촬상된 사용자 영상으로부터 사용자의 손의 위치 및 이동방향을 판단하여, 이에 대응하는 컨텐츠 영상을 표시하도록 디스플레이부(15)를 제어한다.
상기와 같이, 본 발명의 디스플레이장치(10)는 진동센서(13)를 통해 확보한 진동의 파형 및 카메라(12)에 의해 촬상된 사용자 영상을 함께 분석하여, 제스처 인식의 정확도를 높일 수 있다.
한편, 본 발명의 디스플레이장치(10)는 제어부(14)가 제스처의 인식 동작을 수행하는 대신, 별도의 컴퓨팅장치(미도시)에 저장된 어플리케이션을 다운로드하여 실행함에 의해 제스처의 인식 동작을 수행할 수도 있다.
일실시예로서, 컴퓨팅장치(미도시)는 인스트럭션이 저장된 메모리와, 프로세서를 포함한다. 여기서, 인스트럭션은, 프로세서에 의해 실행되면, 진동센서를 통해 확보한 진동 특성에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중에서 어느 한 종류의 제스처로 결정하고, 카메라로부터 수신되는 영상에 기초한 제스처의 움직임에 따라 컨텐츠 영상을 표시하는 것을 포함한다.
여기서, 인스트럭션은, 진동의 크기가 문턱값을 초과하면, 컴퓨팅장치의 인터페이스를 통해 유선 또는 무선으로 연결된 카메라가 턴온되도록 컴퓨팅장치의 인터페이스를 통해 제어신호를 카메라에 전송하는 것을 포함할 수 있다. 이에 따라, 진동이 감지되면 카메라를 추가적으로 활성화함에 의해, 진동 및 촬상 영상을 모두 고려하여 사용자의 제스처를 인식할 수 있다.
인스트럭션은, 진동의 크기가 문턱값을 초과하면, 제스처에 대응하여 위치를 이동하는 포인터를 표시하도록 컴퓨팅장치의 디스플레이부를 제어할 수 있다. 이에 따라, 진동이 감지되면 제품 선택을 위한 제스처의 이동을 시각적으로 나타내기 위한 방법으로서 포인터를 표시하도록 한다.
인스트럭션은, 진동센서를 통해 진동이 감지되지 않는 상태에서, 카메라로부터 수신되는 영상에서 제스처가 인식되면, 카메라로부터 수신되는 영상에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중 어느 한 종류의 제스처로 결정할 수 있다. 이에 따라, 사용자의 제스처를 인식함에 있어, 진동이 감지되지 않는 경우에는 카메라로 촬상되는 영상만으로 제스처를 인식한다.
인스트럭션은, 컴퓨팅장치의 저장부에 저장된 복수 종류의 제스처 각각에 대응하는 복수의 진동 특성에 관한 정보를 기반으로, 상기 진동센서에서 확보한 진동 특성에 해당하는 제스처의 종류를 판단하는 것을 포함할 수 있다.
인스트럭션은, 네트워크를 통해 외부장치로 다운로드될 수 있다. 예로서, 본 발명의 디스플레이장치(10)가 컴퓨팅장치(미도시)로 제스처 인식 동작을 위한 어플리케이션 프로그램을 요청하여, 컴퓨팅장치에 인스트럭션의 형태로 저장되어 있는 어플리케이션을 다운로드하고, 다운로드된 어플리케이션을 설치 후 실행할 수 있다. 이에 따라, 디스플레이장치(10)는 어플리케이션을 실행함에 의해 제스처의 인식 동작을 수행할 수 있다.
이와 같은 본 발명의 실시예에 따라, 진동 및 카메라 영상을 이용한 제스처 인식 동작은 디스플레이장치가 컴퓨팅장치에 저장된 어플리케이션을 다운로드하여 실행하는 형태로 구현될 수 있다.
도 4는 본 발명의 일실시예에 따른 시스템에 있어 사용자 제스처에 의한 각 구성의 동작의 흐름을 도시한 예이다. 도 4에 도시된 바와 같이, 진동센서(13)는 사용자 제스처에 의해 발생되는 진동을 감지한다(S41). 제어부(14)는 진동센서(13)로부터 진동 특성에 관한 정보를 수신하고, 수신된 정보에 기초하여 제스처의 종류를 결정한다(S42).
여기서, 제어부(14)는 진동의 지속시간, 크기 및 증감정도 중 적어도 하나에 기초하여 제스처의 종류를 결정할 수 있다. 이러한 진동의 지속시간, 크기 및 증감정도에 관한 정보는 진동의 파형을 분석하여 얻을 수 있다. 제스처의 종류는 예컨대, 탭, 드래그 및 플릭 등을 포함하고, 이 외에도 다양한 형태의 제스처를 더 포함할 수 있다.
일실시예로서, 제어부(14)는 진동센서(13)에 의해 감지되는 진동의 크기가 문턱값을 초과하면, 카메라(12)가 턴 온(turn on)되도록 제어한다. 즉, 진동이 감지되지 않는 상태에서는 카메라를 비활성화하고, 일단 진동이 감지되면 카메라(12)를 활성화하여 사용자 제스처의 종류를 판단하기 위해 사용자의 영상을 촬상하도록 한다.
카메라(12)는 사용자의 영상을 촬상하고, 촬상된 영상으로부터 사용자의 손에 해당하는 영역의 영상을 획득할 수 있다. 제어부(14)는 카메라(12)로부터 영상을 수신하고(S43), 수신한 영상을 이용하여 사용자 제스처의 위치 및 이동방향을 판단한다(S44).
일실시예로서, 제어부(14)는 카메라(12)로부터 수신한 영상에 대해 이미지 분석을 수행하여 사용자의 존재 여부를 판단할 수 있다. 이 때, 이미지 분석의 수행 결과, 사용자의 존재가 확인되면 수신한 영상을 이용하여 사용자의 제스처를 분석하고, 사용자의 존재가 확인되지 않으면 제스처의 인식 동작을 중단하도록 할 수 있다.
마지막으로, 제어부(14)는 상기와 같이 결정된 제스처의 종류와, 위치 및 이동방향에 기초하여 제스처에 대응하는 영상을 표시한다(S45).
도 5는 본 발명의 일실시예에 따른 진동 및 카메라 영상에 의한 제스처 분석을 통해 제품 관련 컨텐츠를 제공하는 과정을 도시한 흐름도이다. 도 5에 도시된 바와 같이, 먼저 동작 S50에서, 진동센서(13)를 통해 사용자의 제스처에 의해 발생되는 진동을 감지한다.
여기서, 진동이 감지되면 동작 S511에서, 카메라(12)를 턴 온하여 카메라(12)가 사용자의 영상을 촬상하도록 한다. 다음으로, 동작 S512에서, 카메라(12)에 의해 촬상된 영상을 수신한다.
또한, 동작 S50에서, 진동이 감지되면 동작 S521에서, 포인팅장치(18)를 턴 온하고, 동작 S522에서, 포인팅장치(18)가 포인터를 기준위치에 표시하도록 한다. 이 때, 기준위치는 적어도 하나의 제품이 전시된 진열대(16) 상의 미리 설정된 위치일 수 있다. 예로서, 기준위치는 진열대(16) 상의 여러 제품 중 중앙에 전시된 제품의 위치로 설정될 수 있다. 다른 예로서, 기준위치는 카메라에 의해 인식된 사용자의 위치에 대응하는 진열대(16) 상의 위치로 설정될 수도 있다.
다음으로, 동작 S53에서, 진동센서(13)를 통해 확보한 진동 특성에 관한 정보와 카메라(12)에 의해 촬상된 영상을 이용하여 사용자 제스처를 분석한다. 여기서, 사용자 제스처가 드래그로 판단되면, 동작 S541에서 포인터를 이동시켜 진열대(16) 상의 제품을 선택 가능하도록 한다.
동작 S53의 수행 결과, 사용자 제스처가 탭으로 판단되면, 동작 S542에서, 포인터에 대응하는 제품에 대해 선택 트리거(trigger)를 발생시키고, 선택된 제품의 컨텐츠 영상을 표시한다. 또한, 동작 S53의 수행 결과, 사용자 제스처가 플릭으로 판단되면, 동작 S543에서, 디스플레이부(15)에 표시중인 컨텐츠 영상의 페이지를 이동시킨다.
상기와 같이 본 발명의 실시예에 의하면, 사용자의 제스처를 인식함에 있어, 진동 특성 정보와 카메라 영상을 동시에 분석하여 인식의 정확도를 높일 수 있다.
도 6은 본 발명의 일실시예에 따른 진동에 의한 제스처 분석을 통해 제품 관련 컨텐츠를 제공하는 과정을 도시한 흐름도이다. 도 6에 도시된 바와 같이, 먼저 동작 S60에서, 진동센서(13)를 통해 사용자의 제스처에 의해 발생되는 진동을 감지한다.
동작 S60에서, 진동이 감지되면 동작 S61에서, 포인팅장치(18)를 턴 온하고, 동작 S62에서, 포인팅장치(18)가 포인터를 기준위치에 표시하도록 한다.
다음으로, 동작 S63에서, 진동센서(13)를 통해 확보한 진동 특성에 관한 정보를 이용하여 사용자 제스처를 분석한다.
동작 S63의 수행결과에 따라 사용자의 제스처가 드래그, 탭 및 플릭 중 어느 하나로 결정되면, 앞서 도 5에 도시된 동작 S541, S542 및 S543 중 결정된 제스처에 대응하는 동작을 동일하게 수행하도록 한다.
상기와 같이 본 발명의 실시예에 의하면, 진동 특성에 관한 정보만을 이용하여 사용자의 제스처를 인식할 수 있다.
도 7은 본 발명의 일실시예에 따른 카메라 영상에 의한 제스처 분석을 통해 제품 관련 컨텐츠를 제공하는 과정을 도시한 흐름도이다. 도 7에 도시된 바와 같이, 먼저, 동작 S70에서, 카메라(12)에 의해 촬상된 사용자의 영상을 수신한다. 다음으로 동작 S71에서, 포인팅장치(18)를 턴온하고, 동작 S72에서, 포인팅장치(18)가 포인터를 기준위치에 표시하도록 한다.
다음으로, 동작 S73에서, 촬상된 영상을 이용하여 사용자 제스처를 분석한다.
동작 S73의 수행결과에 따라 사용자의 제스처가 드래그, 탭 및 플릭 중 어느 하나로 결정되면, 앞서 도 5에 도시된 동작 S541, S542 및 S543 중 결정된 제스처에 대응하는 동작을 동일하게 수행하도록 한다.
상기와 같이 본 발명의 실시예에 의하면, 카메라 영상만을 이용하여 사용자의 제스처를 인식할 수 있고, 경우에 따라 카메라 영상만으로 인식이 어려운 경우 진동 감지 결과를 추가적으로 이용할 수 있다.
도 11은 본 발명의 일실시예에 따른 제스처에 의해 제품이 전시된 진열대 상에서 포인터를 이동시키는 과정을 도시한 예이다. 도 11에 도시된 바와 같이, 본 발명의 시스템(1)은, 디스플레이부(15)의 앞쪽 진열대(16) 상에 제품(20)을 전시하고(111), 디스플레이부(15)와 사용자 사이의 공간에 설치되는 투명보호판(17)에 대한 사용자 제스처에 따라, 대응하는 영상을 디스플레이부(15)에 표시하도록 구현된다.
여기서, 사용자가 투명보호판(17)에 대해 '탭' 제스처를 취하는 경우, 투명보호판(17)에 부착된 진동센서(13)를 통해 진동이 감지된다. 이 때, 탭에 의한 진동이 감지되면, 포인팅장치(18)는 진열대(16) 상에 레이저 포인터(21)를 표시한다(112). 포인팅장치(18)는 진열대(16) 상의 미리 설정된 위치에 포인터(21)를 표시할 수 있다. 예컨대, 진열대(16)의 중앙 또는 진열대(16)에 전시된 제품(20) 위에 레이저 포인터(21)를 표시할 수 있다.
레이저 포인터(21)가 제품(20)과 다른 위치에 표시되는 경우, 사용자는 투명보호판(17)에 대해 손가락을 상하 좌우 방향으로 드래그하는 제스처를 통해 레이저 포인터(21)를 제품(20) 위에 위치시킬 수 있다. 이 때, 레이저 포인터(21)를 제품(20) 위에 위치시킨 상태에서, 사용자가 '더블 탭(double tap)' 제스처를 취하는 경우, 제품(20)에 대한 선택 트리거를 발생시키고 제품(20)과 관련된 영상을 디스플레이부(15)가 표시하도록 한다(113).
상기와 같이 본 발명의 실시예에 의하면, 사용자가 진열대 상의 제품을 직접 접촉하지 않은 상태에서 제스처에 의해 제품을 선택하고 제품에 관한 정보를 제공 받도록 할 수 있다.
도 12는 본 발명의 일실시예에 따른 디스플레이장치의 제어방법을 도시한 흐름도이다. 도12에 도시된 바와 같이, 먼저 동작 S120에서, 진동센서를 통해 확보한 진동 특성에 기초하여 사용자의 제스처를 복수의 제스처의 종류 중에서 어느 한 종류의 제스처로 결정한다. 여기서, 동작 S120은, 복수의 종류의 제스처 각각에 대응하는 복수의 진동 특성에 관한 정보를 저장하는 동작을 더 포함할 수 있다.
이 때, 진동 특성은, 진동의 지속시간, 크기 및 증감정도 중 적어도 하나를 포함하고, 이러한 진동 특성에 기초하여 제스처의 종류를 결정할 수 있다.
일실시예로서, 동작 S120은, 진동의 크기가 문턱값을 초과하면, 카메라가 턴온되도록 인터페이스를 통해 제어신호를 카메라로 전송하는 동작을 포함할 수 있다. 이에 따라, 진동이 감지되면 카메라를 추가적으로 활성화함에 의해, 진동 및 촬상 영상을 모두 고려하여 사용자의 제스처를 인식할 수 있다.
또한, 동작 S120은, 진동의 크기가 문턱값을 초과하면, 제스처에 대응하여 위치를 이동하는 포인터를 표시하도록 디스플레이부를 제어하는 동작을 포함할 수 있다. 이에 따라, 진동이 감지되면 제품 선택을 위한 포인터를 표시함에 의해, 사용자가 원하는 위치로 포인터를 이동하여 제품을 선택할 수 있다.
다음으로, 동작 S121에서, 카메라로부터 수신되는 영상에 기초한 제스처의 움직임에 따라 컨텐츠 영상을 표시한다. 여기서, 동작 S121은, 진동센서를 통해 진동이 감지되지 않는 상태에서, 카메라로부터 수신되는 영상에서 제스처가 인식되면, 상기 카메라로부터 수신되는 영상에 기초하여 사용자의 복수의 종류의 제스처 중 어느 한 종류의 제스처를 결정하는 동작을 포함할 수 있다. 즉, 사용자의 제스처를 인식함에 있어, 진동이 감지되지 않는 경우에는 카메라로 촬상되는 영상만으로 제스처를 인식하도록 한다.
상기와 같은 본 발명의 실시예의 따라, 스마트 리테일 솔루션을 이용함에 있어, 사용자가 진열된 제품을 직접 접촉하지 않고도 제품에 관한 정보를 제공 받도록 할 수 있다. 또한, 진동센서를 통해 감지되는 진동을 이용하여 제스처를 인식함에 있어, 카메라만을 이용하는 경우보다 정확도를 향상시킬 수 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 특허청구범위 내에서 다양하게 실시될 수 있다.
1: 시스템
10: 디스플레이장치
11: 인터페이스
12: 카메라
13: 진동센서
14: 제어부
141: 저장부
15: 디스플레이부
16: 진열대
17: 투명보호판
18: 포인팅장치

Claims (20)

  1. 디스플레이장치에 있어서,
    카메라와 연결되는 유선 또는 무선 인터페이스와;
    디스플레이부와;
    진동센서를 통해 확보한 진동 특성에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중에서 어느 한 종류의 제스처로 결정하고, 상기 카메라로부터 수신되는 영상에 기초한 상기 제스처의 움직임에 따라 컨텐츠 영상을 표시하도록 상기 디스플레이부를 제어하는 제어부를 포함하는 디스플레이장치.
  2. 제 1항에 있어서,
    상기 제어부는, 상기 진동의 지속시간, 크기 및 증감정도 중 적어도 하나에 기초하여 상기 제스처의 종류를 결정하는 디스플레이장치.
  3. 제 1항에 있어서,
    상기 제어부는, 상기 진동의 크기가 문턱값을 초과하면, 상기 카메라가 턴온되도록 상기 인터페이스를 통해 제어신호를 상기 카메라에 전송하는 디스플레이장치.
  4. 제 1항에 있어서,
    상기 제어부는, 상기 진동의 크기가 문턱값을 초과하면, 상기 제스처에 대응하여 위치를 이동하는 포인터를 표시하도록 상기 디스플레이부를 제어하는 디스플레이장치.
  5. 제 1항에 있어서,
    상기 제어부는, 상기 진동센서를 통해 진동이 감지되지 않는 상태에서, 상기 카메라로부터 수신되는 영상에서 제스처가 인식되면, 상기 카메라로부터 수신되는 영상에 기초하여 사용자의 복수의 종류의 제스처 중 어느 한 종류의 제스처를 결정하는 디스플레이장치.
  6. 제 1항에 있어서,
    상기 복수의 종류의 제스처 각각에 대응하는 복수의 진동 특성에 관한 정보가 저장되는 저장부를 더 포함하는 디스플레이장치.
  7. 컴퓨팅장치에 있어서,
    인스트럭션이 저장된 메모리와;
    프로세서를 포함하고,
    상기 인스트럭션은, 상기 프로세서에 의해 실행되면, 진동센서를 통해 확보한 진동 특성에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중에서 어느 한 종류의 제스처로 결정하고, 카메라로부터 수신되는 영상에 기초한 제스처의 움직임에 따라 컨텐츠 영상을 표시하는 것을 포함하는 컴퓨팅장치.
  8. 제 7항에 있어서,
    상기 인스트럭션은, 상기 컴퓨팅장치의 저장부에 저장된 복수의 종류의 제스처 각각에 대응하는 복수의 진동 특성에 관한 정보를 기반으로, 상기 진동센서에서 확보한 진동 특성에 해당하는 제스처의 종류를 판단하는 것을 포함하는 컴퓨팅장치.
  9. 디스플레이장치의 제어방법에 있어서,
    진동센서를 통해 확보한 진동 특성에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중에서 어느 한 종류의 제스처로 결정하는 단계와;
    카메라로부터 수신되는 영상에 기초한 상기 제스처의 움직임에 따라 컨텐츠 영상을 표시하는 단계를 포함하는 디스플레이장치의 제어방법.
  10. 제 9항에 있어서,
    상기 진동의 지속시간, 크기 및 증감정도 중 적어도 하나에 기초하여 상기 제스처의 종류를 결정하는 단계를 포함하는 디스플레이장치.
  11. 제 9항에 있어서,
    상기 진동의 크기가 문턱값을 초과하면, 상기 카메라가 턴온되도록 유선 또는 무선 인터페이스를 통해 제어신호를 상기 카메라로 전송하는 단계를 포함하는 디스플레이장치의 제어방법.
  12. 제 9항에 있어서,
    상기 진동의 크기가 문턱값을 초과하면, 상기 제스처에 대응하여 위치를 이동하는 포인터를 표시하도록 디스플레이부를 제어하는 단계를 포함하는 디스플레이장치의 제어방법.
  13. 제 9항에 있어서,
    상기 진동센서를 통해 진동이 감지되지 않는 상태에서, 상기 카메라로부터 수신되는 영상에서 제스처가 인식되면, 상기 카메라로부터 수신되는 영상에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중 어느 한 종류의 제스처로 결정하는 단계를 포함하는 디스플레이장치의 제어방법.
  14. 시스템에 있어서,
    디스플레이부와;
    카메라와;
    적어도 하나의 제품이 전시되는 진열대와;
    상기 적어도 하나의 제품에 대한 접촉을 차단하기 위한 보호막 역할을 하고, 진동을 감지하기 위한 진동센서가 부착되는 투명보호판과;
    상기 진동센서를 통해 확보한 진동 특성에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중에서 어느 한 종류의 제스처로 결정하고, 상기 카메라로부터 수신되는 영상에 기초한 상기 제스처의 움직임에 따라 컨텐츠 영상을 표시하도록 상기 디스플레이부를 제어하는 제어부를 포함하는 시스템.
  15. 제 14항에 있어서,
    레이저 포인터를 출력하는 포인팅장치를 더 포함하고,
    상기 제어부는, 상기 제스처의 움직임에 대응하는 상기 진열대 상의 위치에 상기 레이저 포인터를 출력하도록 상기 포인팅장치를 제어하는 시스템.
  16. 제 14항에 있어서,
    상기 제어부는, 상기 제스처에 의해 상기 적어도 하나의 제품 중 하나가 선택되면, 상기 선택된 제품에 대응하는 상기 컨텐츠 영상을 표시하도록 상기 디스플레이부를 제어하는 시스템.
  17. 제 14항에 있어서,
    상기 제어부는, 상기 진동의 지속시간, 크기 및 증감정도 중 적어도 하나에 기초하여 상기 제스처의 종류를 결정하는 시스템.
  18. 제 14항에 있어서,
    상기 제어부는, 상기 진동의 크기가 문턱값을 초과하면, 상기 카메라가 턴온되도록 유선 또는 무선 인터페이스를 통해 제어신호를 카메라로 전송하는 시스템.
  19. 제 14항에 있어서,
    상기 제어부는, 상기 진동의 크기가 문턱값을 초과하면, 상기 진열대 상의 기 설정된 위치에 상기 레이저 포인터를 출력하도록 상기 포인팅장치를 제어하는 시스템.
  20. 제 14에 있어서,
    상기 제어부는, 상기 진동센서를 통해 진동이 감지되지 않는 상태에서, 상기 카메라로부터 수신되는 영상에서 제스처가 인식되면, 상기 카메라로부터 수신되는 영상에 기초하여 사용자의 제스처를 복수의 종류의 제스처 중 어느 한 종류의 제스처로 결정하는 시스템.
KR1020170080593A 2017-06-26 2017-06-26 디스플레이장치와 그 제어방법 및 시스템 KR20190001114A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170080593A KR20190001114A (ko) 2017-06-26 2017-06-26 디스플레이장치와 그 제어방법 및 시스템
PCT/KR2018/004167 WO2019004574A1 (ko) 2017-06-26 2018-04-10 디스플레이장치와 그 제어방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170080593A KR20190001114A (ko) 2017-06-26 2017-06-26 디스플레이장치와 그 제어방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20190001114A true KR20190001114A (ko) 2019-01-04

Family

ID=64742300

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170080593A KR20190001114A (ko) 2017-06-26 2017-06-26 디스플레이장치와 그 제어방법 및 시스템

Country Status (2)

Country Link
KR (1) KR20190001114A (ko)
WO (1) WO2019004574A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100856919B1 (ko) * 2006-12-01 2008-09-05 한국전자통신연구원 제스처 기반 사용자 입력 방법 및 장치
US9285840B2 (en) * 2010-08-19 2016-03-15 Michael S. Stamer Detachable sensory-interface device for a wireless personal communication device and method
US9489052B2 (en) * 2012-03-29 2016-11-08 Pioneer Corporation Image recognition device, image recognition method, image recognition program, and recording medium
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
JP6570424B2 (ja) * 2015-11-05 2019-09-04 アルパイン株式会社 電子装置

Also Published As

Publication number Publication date
WO2019004574A1 (ko) 2019-01-03

Similar Documents

Publication Publication Date Title
US10761610B2 (en) Vehicle systems and methods for interaction detection
US8443302B2 (en) Systems and methods of touchless interaction
US8633906B2 (en) Operation control apparatus, operation control method, and computer program
CN105556428B (zh) 具有显示器的便携式终端及其操作方法
EP3037924A1 (en) Augmented display and glove with markers as us user input device
US9448587B2 (en) Digital device for recognizing double-sided touch and method for controlling the same
KR101803222B1 (ko) 제스처 감지 중에 입력 수단의 3d 위치를 시그널링하기 위한 사용자 인터페이스 및 방법
EP2194468A1 (en) Electronic apparatus and displaying method thereof
KR102582541B1 (ko) 에지 스크린을 통한 터치 입력 방법 및 전자 장치
US9542904B2 (en) Electronic apparatus
CA3040356C (en) Screen display method and terminal
KR20140031254A (ko) 사용자 인터페이스의 요소를 선택하기 위한 방법 및 이러한 방법을 구현하는 장치
US9817572B2 (en) Overlapped transparent display and control method thereof
KR101575063B1 (ko) 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법
CN105074725A (zh) 移动终端及其控制方法
KR102397397B1 (ko) 웨어러블 디바이스 및 웨어러블 디바이스의 동작 방법
EP2876540B1 (en) Information processing device
CN107037874A (zh) 重压和移动手势
US20130154989A1 (en) System and method for touch screen
KR102465862B1 (ko) 입력 장치 및 그 제어방법
KR20190001114A (ko) 디스플레이장치와 그 제어방법 및 시스템
US9898183B1 (en) Motions for object rendering and selection
JP2012163611A (ja) 処理装置、処理方法およびプログラム
JP2015138299A (ja) 指示具及び座標検出システム
KR20140110262A (ko) 휴대형 장치 및 커서를 이용한 조작 방법