KR101414362B1 - 영상인지 기반 공간 베젤 인터페이스 방법 및 장치 - Google Patents

영상인지 기반 공간 베젤 인터페이스 방법 및 장치 Download PDF

Info

Publication number
KR101414362B1
KR101414362B1 KR1020130010186A KR20130010186A KR101414362B1 KR 101414362 B1 KR101414362 B1 KR 101414362B1 KR 1020130010186 A KR1020130010186 A KR 1020130010186A KR 20130010186 A KR20130010186 A KR 20130010186A KR 101414362 B1 KR101414362 B1 KR 101414362B1
Authority
KR
South Korea
Prior art keywords
user
display device
bezel
gesture
area
Prior art date
Application number
KR1020130010186A
Other languages
English (en)
Inventor
김기성
이수빈
김재정
김상태
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020130010186A priority Critical patent/KR101414362B1/ko
Application granted granted Critical
Publication of KR101414362B1 publication Critical patent/KR101414362B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

영상인지 기반 공간 베젤 인터페이스 방법 및 장치가 개시된다. 공간 베젤 인터페이스 방법은, 디스플레이 장치의 전방이 촬영된 카메라 영상에서 사용자가 포함된 일부 영역을 분할하는 단계-상기 일부 영역은 상기 디스플레이 장치의 화면을 통해 출력됨-; 및 상기 일부 영역을 기준으로 상기 사용자의 움직임에 따른 제스처를 인식하는 단계-상기 제스처는 상기 디스플레이 장치의 베젤 영역과 관련된 사용자 명령으로 입력됨-;를 포함할 수 있다.

Description

영상인지 기반 공간 베젤 인터페이스 방법 및 장치{METHOD AND APPARATUS FOR SPACE BEZEL INTERFACE USING IMAGE RECOGNITION}
본 발명의 실시예들은 사람과 디스플레이 장치 간의 인터랙션(interaction)을 제공하는 기술에 관한 것이다.
사용자 인터페이스(user interface)는 사용자와 시스템, 장치, 또는 프로그램 등 사이의 의사소통이 가능하도록 일시적 또는 지속적인 접근을 제공할 수 있다.
최근에는 별도의 입력 장치 없이 사람의 움직임과 동작을 입력으로 인식할 수 있는 제스처 인터페이스(gestural interface) 기술들이 등장하고 있다. 한국공개특허 제10-2011-0045589호(공개일 2011년 05월 04일)에는 가상 공간 상의 움직임을 감지하여 이를 입력으로 하는 인터페이스 기술이 개시되어 있다.
아울러, 최근 디스플레이가 대형화 되고 고해상도화 되면서 단순히 정보를 보여주는 단방향 디스플레이에서 사용자가 디스플레이와 상호작용 할 수 있는 환경으로 진화하고 있다. 다시 말해, 대형 디스플레이 장치(large display device)가 일반화 됨으로 인하여 사람과 디바이스 간에 인터랙션 할 수 있는 다양한 기술들이 개발되고 있다.
디스플레이에 대한 인터페이스 기술 중 디스플레이에서 화상이 실제로 표시되지 않는 베젤(bezel) 영역을 활용하는 방안들이 소개된 바 있으나 기존의 베젤 인지 방안들은 터치스크린을 기반으로 하고 있다.
대형 디스플레이의 경우 디지털 사이니지(digital signage)와 같이 공공 사용물일 가능성이 높다는 점에서, 대형 디스플레이 장치에 터치스크린 기반의 베젤 인지 방안을 적용할 경우 직접 터치를 통한 인터랙션은 사용자에게 불편과 불쾌감을 유발할 수 있으며, 사용자가 베젤 인지를 위해 스크린 앞으로 접근해야 하거나 스크린의 한쪽 사이드로 이동해야 하는 단점이 존재한다.
따라서, 본 명세서에서는 디스플레이 앞에 있는 사용자가 자유롭게 베젤 인지 명령을 전달할 수 있는 방안을 제시한다.
기존 터치 방식이 아닌 영상 인지를 기반으로 한 사용자 제스처를 통해 디스플레이 장치와 사용자 간의 커뮤니케이션 방안을 구현할 수 있는 공간 베젤 인터페이스 방법 및 장치를 제공한다.
디스플레이 장치에 대하여 사용자가 직관적인 콘트롤이 가능한 환경을 통해 베젤 인지 명령을 더욱 편리하게 전달할 수 있는 공간 베젤 인터페이스 방법 및 장치를 제공한다.
본 발명의 실시예에 따르면, 공간 베젤 인터페이스 장치는, 디스플레이 장치의 전방이 촬영된 카메라 영상에서 사용자가 포함된 일부 영역을 분할하는 영역 분할부-상기 일부 영역은 상기 디스플레이 장치의 화면을 통해 출력됨-; 및 상기 일부 영역을 기준으로 상기 사용자의 움직임에 따른 제스처를 인식하는 제스처 인식부-상기 제스처는 상기 디스플레이 장치의 베젤(bezel) 영역과 관련된 사용자 명령으로 입력됨-;를 포함할 수 있다.
일 측면에 따르면, 상기 영역 분할부는, 상기 카메라 영상에서 상기 사용자의 실루엣을 인지한 후 상기 실루엣을 중심으로 하는 상기 일부 영역을 분할할 수 있다.
다른 측면에 따르면, 상기 영역 분할부는, 상기 디스플레이 장치의 화면 크기를 이용하여 상기 카메라 영상에서 분할하고자 하는 상기 일부 영역의 크기를 결정할 수 있다.
또 다른 측면에 따르면, 상기 영역 분할부는, 상기 사용자와 카메라의 거리를 나타내는 깊이 정보를 이용하여 상기 카메라 영상에서 분할하고자 하는 상기 일부 영역의 크기를 결정할 수 있다.
또 다른 측면에 따르면, 상기 일부 영역은 상기 디스플레이 장치에서 투명도가 조절되어 상기 화면 상에 투영될 수 있다.
또 다른 측면에 따르면, 상기 일부 영역은 상기 디스플레이 장치의 화면 내에서 전용 공간으로 할당된 별도 영역에 표시될 수 있다.
또 다른 측면에 따르면, 상기 일부 영역은 상기 사용자에 의해 특정 명령이 입력된 이후 상기 디스플레이 장치의 화면을 통해 출력될 수 있다.
또 다른 측면에 따르면, 상기 제스처 인식부는, 상기 카메라 영상에서 상기 사용자의 움직임을 추적하여 상기 추적된 움직임에 상기 일부 영역을 벗어나거나 상기 일부 영역의 에지(edge) 부분에 인접한 궤적이 포함되는 경우 상기 베젤 영역에 대한 제스처로 인식할 수 있다.
또 다른 측면에 따르면, 상기 영역 분할부는, 상기 카메라 영상에서 복수의 사용자가 포착되는 경우 상기 복수의 사용자 중 적어도 한 명의 사용자를 선정한 후, 상기 카메라 영상에서 상기 선정된 사용자가 포함된 상기 일부 영역을 분할할 수 있다.
또 다른 측면에 따르면, 상기 영역 분할부는, 상기 복수의 사용자 중 특정 제스처를 입력하는 사용자를 선정할 수 있다.
본 발명의 실시예에 따르면, 공간 베젤 인터페이스 시스템은, 디스플레이 장치; 상기 디스플레이 장치의 전방을 촬영하는 카메라; 및 상기 카메라를 통해 입력된 카메라 영상에서 사용자가 포함된 일부 영역을 분할한 후 상기 일부 영역을 기준으로 상기 사용자의 움직임에 따른 제스처를 인식하는 영상 분석 장치를 포함할 수 있으며, 이때 상기 디스플레이 장치에서는 상기 영상 분석 장치를 통해 입력된 상기 일부 영역을 화면 상에 출력하고, 상기 영상 분석 장치에서 인식된 제스처를 베젤 영역과 관련된 사용자 명령으로 입력 받을 수 있다.
본 발명의 실시예에 따르면, 공간 베젤 인터페이스 방법은, 디스플레이 장치의 전방이 촬영된 카메라 영상에서 사용자가 포함된 일부 영역을 분할하는 단계-상기 일부 영역은 상기 디스플레이 장치의 화면을 통해 출력됨-; 및 상기 일부 영역을 기준으로 상기 사용자의 움직임에 따른 제스처를 인식하는 단계-상기 제스처는 상기 디스플레이 장치의 베젤 영역과 관련된 사용자 명령으로 입력됨-;를 포함할 수 있다.
본 발명의 실시예에 따르면, 터치 방식이 아닌 영상 인지를 기반으로 하여 공간 상의 사용자 제스처를 통해 디스플레이 장치와 사용자 간의 인터랙션을 제공함으로써 디스플레이 장치에 대한 사용자의 자유도를 높일 수 있다.
본 발명의 실시예에 따르면, 디스플레이 장치의 화면 상에 디스플레이 장치 앞에 있는 사용자의 모습을 보여줌으로써 보다 직관적인 콘트롤 인터페이스 환경을 제공할 수 있으며 베젤 인지를 통해 인터페이스의 다양성을 높이는데 기여할 수 있다.
도 1은 본 발명의 일 실시예에 있어서, 사용자와 디스플레이 장치 간의 인터랙션 기술을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 있어서, 영상 기반 공간 베젤 인식을 위한 전체 시스템을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 있어서, 영상 인지를 기반으로 한 공간 베젤 인터페이스 장치의 내부 구성을 도시한 블록도이다.
도 4 내지 도 7은 본 발명의 일 실시예에 있어서, 디스플레이 장치에 대한 직관적인 인터페이스 환경 및 영상 인지 과정을 설명하기 위한 예시 도면이다.
도 8은 본 발명의 일 실시예에 있어서, 영상 인지를 기반으로 한 공간 베젤 인터페이스 방법을 도시한 순서도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시예들은 사용자의 움직임을 인식하여 디스플레이 장치를 조작하는 제스처(gestural) 기반의 사용자 인터페이스(user interface) 기술에 관한 것으로, 이는 사용자의 움직임을 입력으로 하는 디스플레이 장치에 적용될 수 있다.
본 명세서에서, '디스플레이 장치'는 디지털 사이니지(digital signage), 키오스크(kiosk), 티브이(대표적으로는, 스마트 TV), 개인 컴퓨터 등 모든 영상 출력 장치를 의미할 수 있으며, '움직임'은 디스플레이 장치를 조작하기 위한 사용자의 동작을 의미하는 것으로, 얼굴, 몸체, 팔, 다리, 손가락 등 신체 일부의 동작을 의미할 수 있다. 이하에서는, 디스플레이 장치를 조작하기 위해 신체의 일부인 팔을 이용하는 것을 예로 하여 설명하기로 한다. 또한, '제스처'는 사용자의 움직임으로 이루어진 특정 동작으로 디스플레이 장치를 조작하기 위한 입력 형태를 의미할 수 있다.
도 1은 본 발명의 일 실시예에 있어서, 사용자와 디스플레이 장치 간의 인터랙션 기술을 설명하기 위한 개념도이다.
도 1을 참조하면, 본 발명에 따른 사용자(101)와 디스플레이 장치(100) 간 인터랙션 기술은 사용자의 자유도를 높일 수 있는 방법으로서 사용자(101)가 디스플레이 장치(100)와 멀리 떨어져 있는 환경에서 사용자(101)에 대한 영상 인식을 통해 디스플레이 장치(100)의 베젤 인지 명령을 입력할 수 있는 방안에 관한 것이다.
본 발명의 일 실시예에 따른 공간 베젤 인터페이스 시스템은 도 2에 도시한 바와 같이 디스플레이 장치(100)와 카메라(210), 그리고 영상 분석 장치(220)로 구성될 수 있다.
디스플레이 장치(100)는 공공장소 등에 설치되어 정보 전달을 목적으로 제공되는 각종 콘텐츠를 재생할 수 있다.
카메라(210)는 디스플레이 장치(100) 전방의 영상을 담는 역할을 수행할 수 있다. 카메라(210)는 CCTV(closed circuit television), 스테레오 카메라(stereo camera) 등으로 구성될 수 있으며, 도 1과 같이 디스플레이 장치(100)의 전방에 위치한 사용자 영상을 촬영할 수 있다. 이때, 카메라(210)는 디스플레이 장치(100)의 전방 영상을 실시간 촬영하여 영상 분석 장치(220)로 전달할 수 있다.
영상 분석 장치(220)는 카메라(210)로부터 디스플레이 장치(100) 앞에 위치한 화면(이하, '카메라 영상'이라 칭함)을 입력 받아 카메라 영상에서 사용자를 인지할 수 있다. 일 예로, 영상 분석 장치(220)는 카메라 영상에서 디스플레이 장치(100)의 전방에 위치한 사용자의 실루엣 모양을 인지하고 이를 실루엣 처리하여 디스플레이 장치(100)로 전달할 수 있다. 이에, 디스플레이 장치(100)에서는 영상 분석 장치(220)를 통해 입력된 실루엣 영상을 화면 상에 표시할 수 있다. 다시 말해, 영상 분석 장치(220)는 카메라 영상을 실시간으로 입력 받아 디스플레이 장치(100)로 보내고 카메라 영상을 통해 사용자의 움직임을 실시간 추적하여 디스플레이 장치(100)에 대한 제스처를 인식할 수 있다. 이때, 사용자의 제스처는 디스플레이 장치(100)의 베젤 영역과 관련된 사용자 명령으로 입력될 수 있다.
도 2 및 이하의 실시예에서는 카메라(210) 및 영상 분석 장치(220)가 디스플레이 장치(100)와 별개의 시스템으로 구성되는 것으로 설명하고 있으나, 카메라(210) 및 영상 분석 장치(220) 중 적어도 하나의 구성이 디스플레이 장치(100)에 내장되어 디스플레이 장치(100)와 하나의 시스템으로 구현되는 것 또한 가능하다.
이하에서는, 디스플레이 장치(100)와 사용자 간 인터랙션 기술을 구체적으로 설명하기로 한다.
도 3은 본 발명의 일 실시예에 있어서, 영상 인지를 기반으로 한 공간 베젤 인터페이스 장치의 내부 구성을 도시한 블록도이다.
일 실시예에 따른 공간 베젤 인터페이스 장치는 디스플레이 장치와 사용자 간 인터랙션을 위한 구성으로 상기에서 설명한 영상 분석 장치(220)에 해당되는 구성일 수 있다. 도 3에 도시한 바와 같이, 일 실시예에 따른 공간 베젤 인터페이스 장치(220)는 영역 분할부(301), 및 제스처 인식부(302)를 포함하여 구성될 수 있다.
영역 분할부(301)는 디스플레이 장치의 전방이 촬영된 카메라 영상에서 사용자가 포함된 일부 영역(이하, '사용자 영상'이라 칭함)을 분할하는 역할을 수행할 수 있다. 다시 말해, 도 4를 참조하면 영역 분할부(301)는 카메라 영상(410)에서 소정 크기의 일부 영역(420)을 분할하되, 사용자(401)가 화면 중심이 되는 사용자 영상(420)을 분할할 수 있다. 이를 위하여, 영역 분할부(301)는 카메라 영상에서 사용자의 실루엣을 인지한 후 해당 실루엣을 중심으로 일정 크기의 일부 영역을 분할할 수 있다. 실루엣을 인지하는 과정은 카메라 영상에서 이미 알려진 기본 영상 처리 기법 중 적어도 하나를 이용하여 트래킹 하고자 하는 부위를 검출할 수 있다. 예를 들어, 영역 분할부(301)는 그레이 영상에서 에지(edge)를 검출하는 기법, 명암 차이에 따른 변이 지도(disparity map)를 이용하여 에지를 검출하는 기법 등 다양한 알고리즘을 기반으로 카메라 영상에 따른 이미지에서 사람 몸체의 윤곽을 검출할 수 있다. 그리고, 영역 분할부(301)는 상기 인식된 몸체 형상에 해당되는 영역을 실루엣 처리할 수 있다. 예컨대, 영역 분할부(301)는 카메라 영상에서 배경에 해당되는 영역에 대하여 카메라 영상의 색상 정보를 그대로 유지하고, 사용자의 몸체 형상에 해당되는 영역에 대해서만 색상 정보를 변경하거나 모자이크로 처리하는 방식 등으로 실루엣 처리를 수행할 수 있다.
또한, 영역 분할부(301)는 카메라 영상(410)에서 분할하고자 하는 사용자 영상(420)의 크기를 결정할 수 있다. 일 예로, 영역 분할부(301)는 디스플레이 장치의 크기, 가로/세로 비율 등 화면 크기 정보를 고려하여 사용자 영상(420)의 크기를 결정할 수 있다. 다시 말해, 영역 분할부(301)는 디스플레이 장치의 화면 크기와 비례하는 크기의 영역을 카메라 영상(410)에서 분할할 수 있다. 다른 예로, 영역 분할부(301)는 사용자와 카메라의 거리를 나타내는 깊이 정보를 이용하여 카메라 영상(410)에서 분할하고자 하는 사용자 영상(420)의 크기를 결정할 수 있다. 예를 들어, 사용자가 디스플레이 장치와 멀리 위치할수록 분할 영역 크기가 작게 결정되고 디스플레이 장치와 가까이 위치할수록 분할 영역 크기가 크게 결정될 수 있다. 또 다른 예로, 영역 분할부(301)는 사용자와 카메라의 깊이 정보에 따라 카메라의 줌(zoom in 또는 zoom out)이 조절된 카메라 영상(410)을 얻은 후 해당 카메라 영상(410)에서 소정 크기의 사용자 영상(420)을 분할할 수 있다. 상기한 실시예에서, 사용자와 카메라의 깊이 정보를 얻는 것은 영상에서 나타나는 피사체에 대한 크기 변화나 운동 시차(motion parallax)를 이용하여 깊이 값을 얻어내는 방법, 피사체에 대한 양안 시차를 이용하여 깊이 값을 얻어내는 방법, 레이저나 적외선을 이용하여 피사체로부터 반사되는 속도(time of fly)를 감지하여 거리를 측정하는 방법 등 기 공지된 여러 기술들 중 적어도 하나의 방법을 이용할 수 있다.
본 실시예에서, 영역 분할부(301)에서 분할된 사용자 영상은 디스플레이 장치로 전달되어 디스플레이 장치의 화면을 통해 출력될 수 있다. 일 예로, 디스플레이 장치에서는 카메라 영상에서 분할된 일부 영상인 사용자 영상을 입력 받은 후 입력된 사용자 영상에 대하여 투명도를 조절하여 반투명한 형태의 사용자 영상을 화면 상에 투영할 수 있다. 도 5를 참조하면, 디스플레이 장치에서는 사용자(501)가 디스플레이 장치 앞에 서 있는 경우 기본 콘텐츠가 재생되고 있는 화면(502) 상에 사용자 영상(501')을 투영하게 된다. 다른 예로, 디스플레이 장치에서는 사용자 영상에 대하여 화면 내의 한 영역을 전용 공간으로 할당하여 할당된 공간 상에 사용자 영상을 표시할 수 있다. 예컨대, 도 6에 도시한 바와 같이 디스플레이 장치에서는 사용자(601)가 디스플레이 장치 앞에 서 있는 경우 화면(602) 내에서 전용 공간으로 할당된 별도 영역(610)에 사용자 영상(601')을 표시할 수 있다. 이때, 디스플레이 장치는 특정 명령이 입력되기 전까지 기본 콘텐츠를 재생하고 있다가 사용자에 의해 특정 명령(예컨대, '메뉴' 음성, '메뉴' 버튼, '거수' 형태의 제스처 등 해당 기능의 개시를 위해 사전에 정의된 다양한 형태의 명령을 의미함)이 입력된 이후 사용자 영상에 대한 출력을 시작할 수 있다.
또한, 영역 분할부(301)는 카메라 영상에서 복수의 사용자가 포착되는 경우 복수의 사용자 중 적어도 한 명의 사용자를 선정한 후 선정된 사용자가 포함되는 일부 영역을 카메라 영상에서 분할할 수 있다. 예를 들어, 영역 분할부(301)는 복수의 사용자 중에서 '거수' 형태의 제스처 등 사전에 정의된 특정 제스처를 입력하는 사용자를 선정할 수 있다. 이에, 영역 분할부(301)는 여러 사용자 중 특정 개인으로부터 입력을 요구하는 제스처를 인식하여 해당 제스처를 입력한 사용자를 추적하면서 특정 개인에 대한 사용자 영상을 지속적으로 얻을 수 있다.
다시 도 3에서, 제스처 인식부(302)는 카메라 영상에서 분할된 일부 영역을 기준으로 사용자의 움직임에 따른 제스처를 인식하는 역할을 수행할 수 있다. 이때, 제스처 인식부(302)는 카메라 영상에서 사용자의 움직임을 추적하면서 추적된 움직임에 사용자 영상의 영역을 벗어나거나 사용자 영상의 에지 부분에 인접한 궤적이 포함되는 경우 이러한 사용자의 움직임을 디스플레이 장치의 베젤 영역에 대한 제스처로 인식할 수 있다. 다시 말해, 사용자 영상의 영역을 기준으로 인식된 사용자 제스처는 디스플레이 장치의 베젤 영역과 관련된 사용자 명령인 베젤 인지 명령으로 입력될 수 있다.
도 7의 예시 화면을 통해 영상 인지를 기반으로 하는 제스처 인식 과정을 설명하기로 한다.
도 7의 도면을 차례로 참조하면, 사용자(701)는 디스플레이 장치(100)의 화면에 자신의 모습(701')이 투영됨을 인지할 수 있으며, 사용자 모습(701')이 연속적으로 실시간 투영되기 때문에 사용자(701)는 자신의 행동을 트래킹 할 수 있다. 예를 들어, 사용자(701)는 디스플레이 장치(100)의 좌측 베젤 인지를 위해 화면 상에 투영된 자신의 모습(701')을 보면서 왼팔을 화면 바깥 방향으로 펼쳤다가 화면 안쪽 방향으로 다시 들이는 제스처를 취하게 된다. 이때, 제스처 인식부(302)는 카메라 영상을 통해 사용자의 움직임을 추적할 수 있으며, 이때 사용자의 팔이 사용자 영상에 해당되는 분할 영역(702)인 캡쳐 영역 바깥으로 나갔다 들어왔음을 인지할 수 있다. 다시 말해, 디스플레이 장치(100)의 화면 상에 투영된 사용자 영상은 영상 분석 장치에 의해 캡쳐된 영역(702)과 일치하므로 영상 분석 장치 또한 사용자의 베젤 밖을 향한 동작에 대하여 인지할 수 있으며, 이러한 제스처 정보를 사용자로부터 입력된 베젤 인지 명령으로서 디스플레이 장치(100)로 전달할 수 있다. 이에, 디스플레이 장치(100)에서는 영상 분석 장치를 통해 인식된 사용자 제스처에 따라 좌측 베젤 인지 명령을 입력 받을 수 있으며 해당 베젤 인지 명령에 대하여 사전에 설정된 조작 명령(예컨대, 디스플레이 장치(100)의 메뉴 실행 기능)을 수행할 수 있다. 상기에서 설명한 제스처 인식을 위해서는 영상 획득 기술, 화질 개선을 위한 영상처리 기술, 의미 있는 영역을 추출하는 기술, 의미 있는 영역을 트래킹 하는 기술 등 기존에 개발되어 공개된 기술들을 활용할 수 있다.
화면 상의 별도 공간에 사용자 영상을 표시하는 방식(도 6) 또한 베젤 인지 과정이 투영 방식(도 5)을 이용한 상기한 제스처 인식 과정과 동일하다.
상기한 구성에 따르면, 본 발명의 일 실시예에 따른 공간 베젤 인터페이스 장치(220)는 디스플레이 장치 앞에 위치하는 사용자에 대한 영상 인식을 통해 보다 자유로운 공간 베젤 인지 환경의 사용자 인터페이스를 지원할 수 있다.
도 8은 본 발명의 일 실시예에 있어서, 영상 인지를 기반으로 한 공간 베젤 인터페이스 방법을 도시한 순서도이다. 일 실시예에 따른 공간 베젤 인터페이스 방법은 도 1 내지 도 7을 통해 설명한 공간 베젤 인터페이스 장치에 의해 각각의 단계가 수행될 수 있다.
단계(S801)에서 공간 베젤 인터페이스 장치는 디스플레이 장치의 전방이 촬영된 카메라 영상에서 사용자가 포함된 일부 영역인 사용자 영상을 분할할 수 있다. 이때, 공간 베젤 인터페이스 장치는 카메라 영상에서 사용자의 실루엣을 인지한 후 해당 실루엣을 중심으로 일정 크기의 일부 영역을 분할할 수 있다. 일 예로, 공간 베젤 인터페이스 장치는 디스플레이 장치의 화면 크기를 이용하여 카메라 영상에서 분할하고자 하는 사용자 영상의 크기를 결정할 수 있다. 다른 예로, 공간 베젤 인터페이스 장치는 사용자와 카메라의 거리를 나타내는 깊이 정보를 이용하여 카메라 영상에서 분할하고자 하는 사용자 영상의 크기를 결정할 수 있다. 또한, 공간 베젤 인터페이스 장치는 카메라 영상에서 복수의 사용자가 포착되는 경우 복수의 사용자 중 적어도 한 명의 사용자를 선정한 후 선정된 사용자가 포함되는 일부 영역을 카메라 영상에서 분할할 수 있다. 이때, 공간 베젤 인터페이스 장치는 복수의 사용자 중에서 사전에 정의된 특정 제스처를 입력하는 사용자를 선정할 수 있다. 이와 같이, 단계(S801)에서 분할된 사용자 영상은 디스플레이 장치로 전달되어 디스플레이 장치의 화면을 통해 출력될 수 있다. 일 예로, 디스플레이 장치에서는 카메라 영상에서 분할된 일부 영상인 사용자 영상을 입력 받은 후 입력된 사용자 영상에 대하여 투명도를 조절하여 반투명한 형태의 사용자 영상을 화면 상에 투영할 수 있다. 다른 예로, 디스플레이 장치에서는 사용자 영상에 대하여 화면 내의 한 영역을 전용 공간으로 할당하여 할당된 공간 상에 사용자 영상을 표시할 수 있다. 이때, 디스플레이 장치는 특정 명령이 입력되기 전까지 기본 콘텐츠를 재생하고 있다가 사용자에 의해 특정 명령이 입력된 이후 사용자 영상에 대한 출력을 시작할 수 있다.
단계(S802)에서 공간 베젤 인터페이스 장치는 카메라 영상에서 분할된 일부 영역을 기준으로 사용자의 움직임에 따른 제스처를 인식할 수 있다. 이때, 공간 베젤 인터페이스 장치는 카메라 영상에서 사용자의 움직임을 추적하면서 추적된 움직임에 사용자 영상의 영역을 벗어나거나 사용자 영상의 에지 부분에 인접한 궤적이 포함되는 경우 이러한 사용자의 움직임을 디스플레이 장치의 베젤 영역에 대한 제스처로 인식할 수 있다. 즉, 사용자 영상의 영역을 기준으로 인식된 사용자 제스처는 디스플레이 장치의 베젤 영역과 관련된 사용자 명령인 베젤 인지 명령으로 입력될 수 있다. 이에, 디스플레이 장치에서는 영상 인지를 통해 인식된 사용자 제스처에 따라 베젤 인지 명령을 입력 받을 수 있으며 해당 베젤 인지 명령에 대하여 사전에 설정된 조작 명령을 수행할 수 있다.
따라서, 본 발명의 실시예에 따르면, 디스플레이 장치의 화면에 사용자의 모습을 보여주는 환경을 통해 보다 직관적인 디스플레이 콘트롤 인터페이스로 동작할 수 있으며 영상 인식을 기반으로 한 베젤 인지를 통해 인터페이스의 자유도 및 다양성을 높일 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 디스플레이 장치
210: 카메라
220: 영상 분석 장치(공간 베젤 인터페이스 장치)
301: 영역 분할부
302: 제스처 인식부

Claims (15)

  1. 디스플레이 장치의 전방이 촬영된 카메라 영상에서 사용자가 포함된 일부 영역을 분할하는 영역 분할부-상기 일부 영역은 상기 디스플레이 장치의 화면을 통해 출력됨-; 및
    상기 일부 영역을 기준으로 상기 사용자의 움직임에 따른 제스처를 인식하는 제스처 인식부-상기 제스처는 상기 디스플레이 장치의 베젤(bezel) 영역과 관련된 사용자 명령으로 입력됨-;
    를 포함하고,
    상기 영역 분할부는,
    상기 카메라 영상에서 상기 사용자의 실루엣을 인지하여 상기 사용자의 실루엣을 중심으로 하는 일정 크기의 영역을 분할한 후, 상기 디스플레이 장치의 전방에 위치한 상기 사용자가 상기 디스플레이 장치의 화면을 통해 자신의 움직임을 트래킹 하도록 상기 분할된 영역을 상기 디스플레이 장치로 전달하고,
    상기 제스처 인식부는,
    상기 카메라 영상에서 상기 사용자의 움직임을 추적하여 상기 추적된 움직임에 상기 일부 영역을 벗어나거나 상기 일부 영역의 에지(edge) 부분에 인접한 궤적이 포함되는 경우 상기 베젤 영역에 대한 제스처로 인식하는 것
    을 특징으로 하는 공간 베젤 인터페이스 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 영역 분할부는,
    상기 디스플레이 장치의 화면 크기를 이용하여 상기 카메라 영상에서 분할하고자 하는 상기 일부 영역의 크기를 결정하는 것
    을 특징으로 하는 공간 베젤 인터페이스 장치.
  4. 제1항에 있어서,
    상기 영역 분할부는,
    상기 사용자와 카메라의 거리를 나타내는 깊이 정보를 이용하여 상기 카메라 영상에서 분할하고자 하는 상기 일부 영역의 크기를 결정하는 것
    을 특징으로 하는 공간 베젤 인터페이스 장치.
  5. 제1항에 있어서,
    상기 일부 영역은 상기 디스플레이 장치에서 투명도가 조절되어 상기 화면 상에 투영되는 것
    을 특징으로 하는 공간 베젤 인터페이스 장치.
  6. 제1항에 있어서,
    상기 일부 영역은 상기 디스플레이 장치의 화면 내에서 전용 공간으로 할당된 별도 영역에 표시되는 것
    을 특징으로 하는 공간 베젤 인터페이스 장치.
  7. 제1항에 있어서,
    상기 일부 영역은 상기 사용자에 의해 특정 명령이 입력된 이후 상기 디스플레이 장치의 화면을 통해 출력되는 것
    을 특징으로 하는 공간 베젤 인터페이스 장치.
  8. 삭제
  9. 제1항에 있어서,
    상기 영역 분할부는,
    상기 카메라 영상에서 복수의 사용자가 포착되는 경우 상기 복수의 사용자 중 적어도 한 명의 사용자를 선정한 후,
    상기 카메라 영상에서 상기 선정된 사용자가 포함된 상기 일부 영역을 분할하는 것
    를 포함하는 공간 베젤 인터페이스 장치.
  10. 제9항에 있어서,
    상기 영역 분할부는,
    상기 복수의 사용자 중 특정 제스처를 입력하는 사용자를 선정하는 것
    을 특징으로 하는 공간 베젤 인터페이스 장치.
  11. 디스플레이 장치;
    상기 디스플레이 장치의 전방을 촬영하는 카메라; 및
    상기 카메라를 통해 입력된 카메라 영상에서 사용자가 포함된 일부 영역을 분할한 후 상기 일부 영역을 기준으로 상기 사용자의 움직임에 따른 제스처를 인식하는 영상 분석 장치
    를 포함하며,
    상기 디스플레이 장치에서는 상기 영상 분석 장치를 통해 입력된 상기 일부 영역을 화면 상에 출력하고, 상기 영상 분석 장치에서 인식된 제스처를 베젤 영역과 관련된 사용자 명령으로 입력 받고,
    상기 영상 분석 장치는 상기 카메라 영상에서 상기 사용자의 실루엣을 인지하여 상기 사용자의 실루엣을 중심으로 하는 일정 크기의 영역을 분할한 후, 상기 디스플레이 장치의 전방에 위치한 상기 사용자가 상기 디스플레이 장치의 화면을 통해 자신의 움직임을 트래킹 하도록 상기 분할된 영역을 상기 디스플레이 장치로 전달하고, 상기 카메라 영상에서 상기 사용자의 움직임을 추적하여 상기 추적된 움직임에 상기 일부 영역을 벗어나거나 상기 일부 영역의 에지(edge) 부분에 인접한 궤적이 포함되는 경우 상기 베젤 영역에 대한 제스처로 인식하는 것
    을 특징으로 하는 공간 베젤 인터페이스 시스템.
  12. 디스플레이 장치의 전방이 촬영된 카메라 영상에서 사용자가 포함된 일부 영역을 분할하는 단계-상기 일부 영역은 상기 디스플레이 장치의 화면을 통해 출력됨-; 및
    상기 일부 영역을 기준으로 상기 사용자의 움직임에 따른 제스처를 인식하는 단계-상기 제스처는 상기 디스플레이 장치의 베젤 영역과 관련된 사용자 명령으로 입력됨-;
    를 포함하고,
    상기 일부 영역을 분할하는 단계는,
    상기 카메라 영상에서 상기 사용자의 실루엣을 인지하여 상기 사용자의 실루엣을 중심으로 하는 일정 크기의 영역을 분할하는 단계; 및
    상기 디스플레이 장치의 전방에 위치한 상기 사용자가 상기 디스플레이 장치의 화면을 통해 자신의 움직임을 트래킹 하도록 상기 분할된 영역을 상기 디스플레이 장치로 전달하는 단계
    를 포함하고,
    상기 제스처를 인식하는 단계는,
    상기 카메라 영상에서 상기 사용자의 움직임을 추적하는 단계; 및
    상기 추적된 움직임에 상기 일부 영역을 벗어나거나 상기 일부 영역의 에지(edge) 부분에 인접한 궤적이 포함되는 경우 상기 베젤 영역에 대한 제스처로 인식하는 단계
    를 포함하는 공간 베젤 인터페이스 방법.
  13. 삭제
  14. 삭제
  15. 컴퓨터 시스템이 디스플레이 장치에 대한 공간 제스처를 인식하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 저장 매체로서,
    상기 명령은,
    상기 디스플레이 장치의 전방이 촬영된 카메라 영상에서 사용자가 포함된 일부 영역을 분할하는 단계-상기 일부 영역은 상기 디스플레이 장치의 화면을 통해 출력됨-; 및
    상기 일부 영역을 기준으로 상기 사용자의 움직임에 따른 제스처를 인식하는 단계-상기 제스처는 상기 디스플레이 장치의 베젤 영역과 관련된 사용자 명령으로 입력됨-;
    를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하고,
    상기 일부 영역을 분할하는 단계는,
    상기 카메라 영상에서 상기 사용자의 실루엣을 인지하여 상기 사용자의 실루엣을 중심으로 하는 일정 크기의 영역을 분할하는 단계; 및
    상기 디스플레이 장치의 전방에 위치한 상기 사용자가 상기 디스플레이 장치의 화면을 통해 자신의 움직임을 트래킹 하도록 상기 분할된 영역을 상기 디스플레이 장치로 전달하는 단계
    를 포함하고,
    상기 제스처를 인식하는 단계는,
    상기 카메라 영상에서 상기 사용자의 움직임을 추적하는 단계; 및
    상기 추적된 움직임에 상기 일부 영역을 벗어나거나 상기 일부 영역의 에지(edge) 부분에 인접한 궤적이 포함되는 경우 상기 베젤 영역에 대한 제스처로 인식하는 단계
    를 포함하는, 컴퓨터 판독가능 저장 매체.
KR1020130010186A 2013-01-30 2013-01-30 영상인지 기반 공간 베젤 인터페이스 방법 및 장치 KR101414362B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130010186A KR101414362B1 (ko) 2013-01-30 2013-01-30 영상인지 기반 공간 베젤 인터페이스 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130010186A KR101414362B1 (ko) 2013-01-30 2013-01-30 영상인지 기반 공간 베젤 인터페이스 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101414362B1 true KR101414362B1 (ko) 2014-07-02

Family

ID=51740954

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130010186A KR101414362B1 (ko) 2013-01-30 2013-01-30 영상인지 기반 공간 베젤 인터페이스 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101414362B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373357B2 (en) 2015-04-10 2019-08-06 Samsung Electronics Co., Ltd. Device and method for displaying screen based on event
US20200030986A1 (en) * 2016-07-21 2020-01-30 Autodesk, Inc. Robotic camera control via motion capture
US11758259B2 (en) 2020-08-31 2023-09-12 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
KR20230146285A (ko) * 2022-04-12 2023-10-19 광주과학기술원 비접촉식 화면 제어 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100718450B1 (ko) * 2006-03-15 2007-05-14 (주)케이티에프테크놀로지스 영상 오버레이 기능을 가지는 영상 처리 장치, 이를 가지는휴대용 단말기 및 영상 오버레이 방법
KR100916836B1 (ko) * 2008-05-29 2009-09-14 고려대학교 산학협력단 지시형 제스처를 인식하는 방법 및 장치
JP2012042507A (ja) * 2010-08-12 2012-03-01 Hitachi Consumer Electronics Co Ltd 映像表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100718450B1 (ko) * 2006-03-15 2007-05-14 (주)케이티에프테크놀로지스 영상 오버레이 기능을 가지는 영상 처리 장치, 이를 가지는휴대용 단말기 및 영상 오버레이 방법
KR100916836B1 (ko) * 2008-05-29 2009-09-14 고려대학교 산학협력단 지시형 제스처를 인식하는 방법 및 장치
JP2012042507A (ja) * 2010-08-12 2012-03-01 Hitachi Consumer Electronics Co Ltd 映像表示装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373357B2 (en) 2015-04-10 2019-08-06 Samsung Electronics Co., Ltd. Device and method for displaying screen based on event
US20200030986A1 (en) * 2016-07-21 2020-01-30 Autodesk, Inc. Robotic camera control via motion capture
US11758259B2 (en) 2020-08-31 2023-09-12 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
KR20230146285A (ko) * 2022-04-12 2023-10-19 광주과학기술원 비접촉식 화면 제어 시스템
KR102679286B1 (ko) * 2022-04-12 2024-06-28 광주과학기술원 비접촉식 화면 제어 시스템

Similar Documents

Publication Publication Date Title
US11676349B2 (en) Wearable augmented reality devices with object detection and tracking
US11546505B2 (en) Touchless photo capture in response to detected hand gestures
US11756223B2 (en) Depth-aware photo editing
JP7457082B2 (ja) 反応型映像生成方法及び生成プログラム
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
CN109565551B (zh) 对齐于参考帧合成图像
EP2956843B1 (en) Human-body-gesture-based region and volume selection for hmd
US9619105B1 (en) Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US20150138065A1 (en) Head-mounted integrated interface
US20130135295A1 (en) Method and system for a augmented reality
US20110164032A1 (en) Three-Dimensional User Interface
JP2018523142A (ja) 取込まれた像のパススルー表示
JP2016038889A (ja) モーション感知を伴う拡張現実
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
TWI450024B (zh) 立體深度影像建立系統及其方法
US20150189256A1 (en) Autostereoscopic multi-layer display and control approaches
JP2012238293A (ja) 入力装置
KR101414362B1 (ko) 영상인지 기반 공간 베젤 인터페이스 방법 및 장치
EP3172721B1 (en) Method and system for augmenting television watching experience
KR20240072170A (ko) 원격 디바이스들과의 사용자 상호작용들
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
US11287881B2 (en) Presenting images on a display device
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
JP2014170367A (ja) 物体検出装置、物体検出方法、物体検出システム及びプログラム
CN111754543A (zh) 图像处理方法、装置及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170530

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee