KR20110076458A - 디스플레이 장치 및 그 제어방법 - Google Patents

디스플레이 장치 및 그 제어방법 Download PDF

Info

Publication number
KR20110076458A
KR20110076458A KR1020090133171A KR20090133171A KR20110076458A KR 20110076458 A KR20110076458 A KR 20110076458A KR 1020090133171 A KR1020090133171 A KR 1020090133171A KR 20090133171 A KR20090133171 A KR 20090133171A KR 20110076458 A KR20110076458 A KR 20110076458A
Authority
KR
South Korea
Prior art keywords
user
gesture
image
users
extracted
Prior art date
Application number
KR1020090133171A
Other languages
English (en)
Inventor
김성운
임성민
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020090133171A priority Critical patent/KR20110076458A/ko
Priority to PCT/KR2010/009357 priority patent/WO2011081379A2/en
Priority to US12/979,838 priority patent/US20110157009A1/en
Publication of KR20110076458A publication Critical patent/KR20110076458A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 디스플레이 장치 및 그 제어방법에 관한 것이다. 본 발명은, 사용자가 취한 제스쳐를 포함하는 영상을 획득하는 카메라; 및 카메라에서 획득한 영상에서 제스쳐를 추출하고, 추출한 제스쳐의 동작 범위가 사용자에 대응된 임계값(threshold) 이상인 경우에, 추출한 제스쳐에 맵핑(mapping)된 기능을 실행하는 제어부를 포함하는 디스플레이 장치를 제공한다. 본 발명에 의하면, 사용자에 대응된 임계값 이상의 제스쳐를 취한 경우에 기능이 실행되도록 함으로써, 디스플레이 장치가 사용자별로 다른 제스쳐의 동작 범위에 최적화되어 작동할 수 있도록 할 수 있다.
디스플레이 장치, 카메라, 제스쳐, 임계값

Description

디스플레이 장치 및 그 제어방법{DISPLAY DEVICE AND CONTROL METHOD THEREOF}
본 발명은 디스플레이 장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 사용자에 대응된 임계값 이상의 제스쳐를 취한 경우에 기능이 실행되도록 함으로써, 디스플레이 장치가 사용자별로 다른 제스쳐의 동작 범위에 최적화되어 작동할 수 있도록 할 수 있는 디스플레이 장치 및 그 제어방법에 관한 것이다.
개인용 컴퓨터, 노트북, 휴대폰 등과 같은 단말기(terminal)는 기능이 다양화됨에 따라, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
멀티미디어 기기로서의 단말기는, 각종 영상정보를 디스플레이하는 기능을 수반함이 일반적이하는 점에서 디스플레이 장치(Display Device)라는 용어로도 호칭될 수 있다.
디스플레이 장치는, 이동 가능 여부에 따라서 휴대형과 고정형으로 구분될 수 있다. 휴대형 디스플레이 장치로는 노트북, 휴대폰 등을 예로 들 수 있으며, 고 정형 디스플레이 장치로는 텔레비전, 데스크탑 컴퓨터용 모니터 등을 예로 들 수 있다.
본 발명은 사용자에 대응된 임계값 이상의 제스쳐를 취한 경우에 기능이 실행되도록 함으로써, 디스플레이 장치가 사용자별로 다른 제스쳐의 동작 범위에 최적화되어 작동할 수 있도록 할 수 있는 디스플레이 장치 및 그 제어방법을 제공하기 위한 것이다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기한 과제를 실현하기 위한 본 발명의 일 실시예에 따른 디스플레이 장치는, 사용자가 취한 제스쳐를 포함하는 영상을 획득하는 카메라; 및 상기 카메라에서 획득한 영상에서 상기 제스쳐를 추출하고, 상기 추출한 제스쳐의 동작 범위가 상기 사용자에 대응된 임계값(threshold) 이상인 경우에, 상기 추출한 제스쳐에 맵핑(mapping)된 기능을 실행하는 제어부를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 디스플레이 장치는, 복수의 사용자가 취한 제스쳐를 포함하는 영상을 획득하는 카메라; 및 상기 카메라에서 획득한 영상에 서 상기 복수의 사용자 각각의 상기 제스쳐를 추출하고, 상기 추출한 각각의 제스쳐의 동작 범위가 상기 복수의 사용자 각각에 대응된 임계값(threshold) 이상인 경우에, 상기 추출한 각각의 제스쳐에 맵핑(mapping)된 기능을 실행하는 제어부를 포함할 수 있다.
또한. 본 발명의 일 실시예에 따른 디스플레이 장치의 제어방법은, 사용자가 취한 제스쳐를 포함하는 영상을 획득하는 단계; 상기 획득한 영상에서 상기 제스쳐를 추출하는 단계; 및 상기 추출한 제스쳐의 동작 범위가 상기 사용자에 대응된 임계값(threshold) 이상인 경우에, 상기 추출한 제스쳐에 맵핑(mapping)된 기능을 실행하는 단계를 포함할 수 있다.
또한. 본 발명의 일 실시예에 따른 디스플레이 장치의 제어방법은, 복수의 사용자가 취한 제스쳐를 포함하는 영상을 획득하는 단계; 상기 획득한 영상에서 상기 복수의 사용자 각각의 상기 제스쳐를 추출하는 단계; 및 상기 추출한 각각의 제스쳐의 동작 범위가 상기 복수의 사용자 각각에 대응된 임계값(threshold) 이상인 경우에, 상기 추출한 각각의 제스쳐에 맵핑(mapping)된 기능을 실행하는 단계를 포함할 수 있다.
본 발명에 따른 디스플레이 장치 및 에 의하면, 사용자에 대응된 임계값 이상의 제스쳐를 취한 경우에 기능이 실행되도록 함으로써, 디스플레이 장치가 사용자별로 다른 제스쳐의 동작 범위에 최적화되어 작동할 수 있도록 할 수 있는 효과를 기대할 수 있다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통하여 보다 분명해질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 또한, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 본 발명과 관련된 디스플레이 장치에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 명세서에서 설명되는 디스플레이 장치에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, 텔레비젼 등이 포함될 수 있다.
도 1은 본 발명의 일 실시예와 관련된 디스플레이 장치의 블록 구성도(block diagram)이다.
이에 도시한 바와 같이, 본 발명의 일 실시예에 따른 디스플레이 장치(100)는 통신부(110), 사용자 입력부(120), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시한 구성요소들은, 디스플레이 장치에 통상적으로 포함될 수 있는 구성요소들을 나열한 것이다. 따라서 이에 도시한 구성요소들 보다 더 많거나 적은 구성요소를 포함하는 디스플레이 장치를 구현할 수 있음은 물론이다.
통신부(110)는 디스플레이 장치(100)와 통신 시스템 사이 또는 디스플레이 장치(100)와 다른 장치(device)와 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 통신부(110)는 방송수신부(111), 인터넷모듈부(113), 근거리통신모듈부(114) 등을 포함할 수 있다.
방송수신부(111)는 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 방송 관련 정보는, 통신망을 통하여도 제공될 수 있다.
방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
방송수신부(111)는 각종 방송 시스템을 이용하여 방송 신호를 수신할 수 있다. 방송수신부(111)를 통해 수신한 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
인터넷모듈부(113)는 인터넷 접속을 위한 모듈을 의미할 수 있다. 인터넷모듈부(113)는 디스플레이 장치(100)에 내장되거나 외장될 수 있다.
근거리통신모듈부(114)는 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등을 이용할 수 있다.
사용자 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121), 마이크(122) 등을 포함할 수 있다.
카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다. 카메라(121)는 2D 또는 3D 촬영이 가능한 카메라(121) 일 수 있으며, 2D 또는 3D 카메라가 단독 혹은 그 조합으로서 구성될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 디스플레이 장치(100)의 구성 태양에 따라 2개 이상이 설치될 수도 있다.
마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
출력부(150)는 디스플레이부(151), 음향출력부(152) 등을 포함할 수 있다.
디스플레이부(151)는 디스플레이 장치(100)에서 처리된 정보를 표시한다. 예를 들어, 디스플레이 장치(100)와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 디스플레이부(151)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나일 수 있다. 또한, 디스플레이부(151)는 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 투명 디스플레이의 대표적인 예로는 투명 LCD 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.
디스플레이 장치(100)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수 있다. 예를 들어, 디스플레이 장치(100)에는 복수의 디스플레이부(151)들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배 치될 수도 있다.
디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 약칭함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호는 터치 제어기로 보내진다. 터치 제어기는 그 신호를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
음향출력부(152)는 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수도 있다. 음향출력부(152)는 디스플레이 장치(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력할 수 있다. 이러한 음향출력부(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
메모리(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 메모리(160)는 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 디스플레이 장치(100)는 인터넷(internet)상에서 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 디스플레이 장치(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 디스플레이 장치(100) 내부의 각 구성 요소에 전달하거나 디스플레이 장치(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.
제어부(180)는 통상적으로 디스플레이 장치의 전반적인 동작을 제어한다. 예 를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 영상처리를 위한 영상처리부(182)를 구비할 수 있다. 영상처리부(182)에 대해서는 해당하는 부분에서 보다 구체적으로 설명하도록 한다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(180)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
도 2는 도 1 디스플레이 장치의 플로우챠트(flow chart)이고, 도 3은 도 2 디스플레이 장치의 작동을 도시한 도면이다.
이들 도면에 도시한 바와 같이, 본 발명의 일 실시예에 따른 디스플레이 장치(100)는 사용자(U)의 체형정보를 획득하는 단계(S10)를 포함할 수 있다.
체형정보는 디스플레이 장치(100)에 마련된 카메라(121)로 촬영한 영상에 기초하여 획득할 수 있다. 즉, 카메라(121)로 사용자(U)를 촬영하면, 촬영한 영상을 분석하여 사용자(U)의 체형정보를 획득할 수 있음을 의미한다. 한편, 본 발명의 다른 실시예들에 의하면, 카메라(U)를 사용하지 않고 사용자(U)의 체형정보를 획득할 수도 있으나, 그에 대해서는 해당하는 부분에서 구체적으로 설명하도록 한다.
체형정보를 획득하면, 제어부(도 1의 180)에 포함된 영상처리부(도 1의 l82)는 그 사용자(U)가 현재 취한 제스쳐가 무엇인지 여부를 판단할 수 있다. 예를 들어, 도시한 바와 같이, 사용자(U)는 앉아있는 제스쳐(a) 또는 서있는 제스쳐(b)를 취할 수 있다. 사용자(U)가 특정한 제스쳐를 취하고 있는 경우에, 사용자(U)의 현재 제스쳐가 무엇인지를 영상처리부(도 1의 182)가 판단하기 위해서는 그 사용자(U)의 체형정보를 알고 있어야 할 필요가 있다. 이와 같은 필요성은, 사용자(U)가 키 작은 어린이일 수도 있고 키 큰 어른일 수도 있다는 예를 고려할 때 보다 명확하게 이해될 수 있다. 즉, 사용자(U)의 체형은 다양할 수 있으나, 특정한 체형을 기준으로 하여 제스쳐를 판단할 경우에 사용자(U)가 취한 제스쳐를 정확히 판단하지 못할 수 있음을 의미한다. 예를 들어, 키가 큰 어른을 기준값으로 설정하여 사용자(U)의 제스쳐를 판단한다면, 키가 큰 어른이 앉는 제스쳐를 취하는 경우에 이 를 정확하게 인식할 수 있다. 그러나 동일한 기준값으로 키가 작은 어린이가 앉는 제스쳐를 취한다면 체스쳐의 변위가 작아서 정확히 인식할 수 없는 경우가 발생할 수 있다. 반대로, 키가 작은 어른을 기준값으로 설정하여 사용자(U)의 제스쳐를 판단하는 경우라면, 키가 큰 어른이 취하는 제스쳐는 그 변위가 지나치게 크게 인식되어 사용자(U)의 의도와 다른 방향으로 오인식될 수 있다.
체형정보는 각 사용자(U)의 실제 체형에 기초하여 설정될 수 있다. 사용자의 실제 체형은, 본 발명의 각 실시예에 따라서 카메라(121)를 통하여 디스플레이 장치(100)를 다루는 초기 단계에서 획득되거나, 카메라(121)를 통하여 획득되되 사용자(U)가 디스플레이 장치(100)를 사용하는 과정에 획득되거나, 사용자(U)가 자신의 정보를 직접 입력하는 방법을 통하여 획득될 수 있다. 도 2에서는 다른 단계에 비하여 먼저 획득하는 것으로 표시하였으나, 체형정보를 획득하는 시점 및 방법은 전술한 바와 같이 다양할 수 있다.
카메라(121)를 통하여 획득한 영상에서 사용자의 제스쳐를 추출하는 단계(S20)가 진행될 수 있다.
디스플레이 장치(100)에 장착되거나, 디스플레이 장치(100)와 연결된 카메라(121)에서 사용자(U)를 향하여 촬영한 영상에는 배경영상이 포함되어 있을 수 있다. 예를 들어, 실내에서 촬영한 영상이라면, 사용자(U)의 배경으로 각종 가구들이 포함된 영상이 촬영될 수 있다. 사용자(U)가 취한 제스쳐는, 영상에서 배경영상을 제외하여야 획득할 수 있다.
추출한 제스쳐를 체형정보와 비교하여 판단하는 단계(S30)가 진행될 수 있 다.
사용자(U)가 취한 제스쳐 및 체형정보는, 전술한 과정을 거치며 획득되어 있을 수 있다. 따라서 획득되어 있는 제스쳐를 체형정보와 비교하는 과정이 진행될 수 있다.
추출한 제스쳐를 체형정보와 비교하여, 임계값을 넘어선 제스쳐인 경우에는 제스쳐에 맵핑(mapping)된 기능을 실행하는 단계(S40)가 진행될 수 있다.
임계값은 사용자(U) 각각의 체형정보에 기초하여 설정될 수 있다. 제어부(도 1의 180)는 사용자가 취한 제스쳐가, 그 사용자에 대하여 설정된 임계값을 넘어서는 경우에 유효한 것으로 판단할 수 있다. 임계값은, 일상적인 사용자의 움직임이 특정한 제스쳐로 오인식되어 디스플레이 장치(100)가 오동작하는 현상을 방지할 수 있다. 예를 들어, 사용자가 왼팔을 왼쪽으로 펼치는 제스쳐가 디스플레이 장치(100)의 채널을 변경하는 기능에 맵핑되어 있는 경우를 들 수 있다. 일상적인 생활에서, 사용자는 무의식적으로 왼팔을 올리거나 내릴 수 있다. 임계값이 설정되지 않았다면, 사용자(U)의 이와 같은 무의적인 작은 동작에도 채널을 변경하는 기능이 실행될 수 있다. 즉, 임계값은 디스플레이 장치(100)의 오동작을 방지하기 위하여 설정된 기준값일 수 있다.
임계값은, 그 기준을 무엇으로 하느냐에 따라서 적절한 혹은 부적절한 값이 될 수 있다. 예를 들어, 키가 큰 어른을 기준으로 임계값을 설정한 경우라면, 키가 작은 어린이의 제스쳐는 임계값을 넘지 못하는 제스쳐로 인식될 수 있다. 따라서 키가 작은 어린이가 진정한 의사에 기하여 왼팔을 펼치는 동작을 하여도 디스플레 이 장치(100)의 채널이 변경되지 않을 수 있다. 이와 반대로, 키가 작은 어린이를 기준으로 임계값을 설정한 경우라면, 키가 큰 어른이 무의식적으로 왼팔을 살짝 올리는 경우에도 디스플레이 장치(100)의 채널이 변경될 수 있다. 따라서 디스플레이 장치(100)가 올바르게 동작되도록 하기 위하여 임계값을 적절히 설정하여야 한다.
임계값은, 본 발명의 일 실시예에 따른 디스플레이 장치(100)에서, 각 사용자(U)의 체형정보에 기초하여 설정될 수 있다. 체형정보는 전술한 S10 단계에서 획득한 상태이다. 제어부(도 1의 180)는 획득한 체형정보를 기초로 각 사용자별로 임계값을 설정할 수 있다. 예를 들어, 사용자(U)가 체형이 큰 어른인 경우라면 임계값을 상대적으로 크게 설정할 수 있고, 사용자(U)가 체형이 작은 어린이인 경우라면 임계값을 상대적으로 작게 설정할 수 있다. 해당하는 부분에서 보다 구체적으로 설명하겠지만, 임계값은, 획득한 체형정보의 질량분포 분석을 이용하거나, 가이드 포인트를 이용하거나, 모델링 기법을 이용하거나, 측정된 사용자(U)의 신장 정보를 이용하는 방법 등을 통하여 설정될 수 있다. 본 발명의 일 실시예에　따른 디스플레이 장치(100)에 의한다면, 사용자(U) 별로 임계값을 다르게 설정할 수 있음으로 인하여 디스플레이 장치(100)의 오인식으로 인한 오동작을 줄일 수 있는 효과를 기대할 수 있다.
맵핑된 기능은 특정한 제스쳐에 대응된 특정한 기능이다. 예를 들어, 전술한 바와 같이, 사용자(U)가 왼팔을 왼쪽으로 펼치는 제스쳐에 대하여 디스플레이 장치(100)의 채널이 변경되는 기능이 대응된 경우를 들 수 있다. 사용자가 취한 제스쳐에 특정한 기능이 맵핑되어 있음으로 인하여, 디스플레이 장치(100)를 제어하기 위한 리모컨 등 별도의 디바이스가 필요하지 않게 될 수 있다. 따라서 사용 편의성이 증가되는 효과를 기대할 수 있다.
도 4는 도 2 사용자의 체형정보를 획득하는 단계를 보다 구체적으로 나타낸 플로우 챠트이고, 도 5 내지 도 8은 본 발명의 제 1실시예에 따른 디스플레이 장치에서 사용자의 체형정보를 획득하는 과정을 도시한 도면이다.
이들 도면에 도시한 바와 같이, 본 발명의 제 1실시예에 따른 디스플레이 장치(100)에서 사용자(U)의 체형정보를 획득하는 단계(도 2의 S10)는 카메라(121)로 사용자의 영상을 촬영하는 단계(S12)를 포함할 수 있다.
사용자(U)의 체형정보를 판단하기 위한 기초 자료는, 본 발명의 제 1실시예에 따른 디스플레이 장치(100)에서는 카메라(121)로 획득할 수 있다. 즉, 카메라(121)에서 촬영한 영상에서 사용자(U)의 체형정보를 추출할 수 있음을 의미한다.
도 5에 도시한 바와 같이, 디스플레이 장치(100)는, 디스플레이 장치(100) 고유의 동작을 하는 동시에 카메라(121)를 통하여 사용자(U)의 영상을 촬영할 수 있다.
사용자(U)의 영상을 카메라(121)로 획득하면, 촬영한 영상에서 사용자(U)의 영상을 추출하는 단계(S14)가 진행될 수 있다.
도 6의 (a)에 도시한 바와 같이, 촬영 영상(TI)은 사용자 영상(UI) 및 배경 영상(BI)을 포함하고 있을 수 있다. 따라서 촬영 영상(TI)에서 사용자 영상(UI)을 추출해야 하는 과정이 필요할 수 있다.
도 6의 (b)에 도시한 바와 같이, 사용자 영상(UI)을 촬영 영상(TI)에서 추출 할 수 있다. 사용자 영상(UI)은 각종 영상처리기법을 이용하여 추출할 수 있다. 도 6의 (b)에서는, 다양한 영상처리기법 중에서, 영상의 외곽형상을 추출하는 방법을 적용한 화면을 도시하고 있다. 즉, 촬영 영상(TI)에 사람이 포함된 경우에, 사람이 가지는 특성에 기초하여 사용자 영상(UI)을 추출할 수 있음을 의미한다. 예를 들어, 사람의 둥근 머리형상, 둥근 머리형상에서 연장된 목, 목의 끝단에서 양측으로 연장된 어깨선 및 팔의 형상을 통하여 사물의 영상으로부터 사람의 영상을 추출할 수 있다. 본 발명의 제 1실시예에 따른 디스플레이 장치(100)는, 사용자 영상(UI)이 사용자(U)의 전체적인 형상을 알 수 있을 정도라면 그 사용자 영상(UI)을 사용하여 체형정보를 획득할 수 있다. 따라서 영상처리부(도 1의 182) 및 제어부(도 1의 180)가 영상을 처리함에 요구되는 부하가 감소되는 효과를 기대할 수 있다.
도 7에 도시한 바와 같이, 촬영 영상(TI)에 포함된 사용자 영상(UI)에 대한 질량분포 분석을 통하여 사용자(U)가 어떠한 제스쳐를 취하고 있는가 여부를 제어부(도 1의 180)가 판단할 수 있다. 즉, 사용자 영상(UI)이 분포된 면적을 산출하면, 질량중심점(P)이 현재 어디에 있는가 여부를 판단할 수 있다. 질량중심점(P)은 머리에서부터 발을 향하여 이동하며 합산한 면적과 발에서부터 머리를 향하여 이동하며 합산한 면적이 동일하게 되는 지점을 의미할 수 있으며, 질량중심점(P)에서 면적의 분포가 평형을 이루는 것으로 볼 수 있다.
도 7의 (a)에 도시한 바와 같이, 사용자(U)는 똑바로 서있는 제스쳐를 취할 수 있다. 이와 같은 제스쳐를 취하고 있는 경우에, 사용자 영상(UI)에 기초하여 산출된 질량중심점(P)이 특정한 지점에 설정될 수 있다. 예를 들어, 사용자(U)의 체 중이 연속적으로 분포되어 있다고 할 경우에, 똑바로 서있는 사용자(U)의 질량중심점(P)은 복부 근처로 산출될 수 있다. 제어부(도 1의 180)는 똑바로 서있는 사용자(U)의 질량중심점(P)을 임계값으로 설정할 수 있다. 똑바로 서있는 사용자(U)으 질량중심점(P)을 임계값으로 산출한 제어부(도 1의 180)는 수평면에 대하여 그 지점을 중심으로 가상의 기준선(SL)으로 설정할 수 있다. 특정한 사용자(U)의 질량중심점(P) 및 기준선(SL)이 설정되면, 제어부(도 1의 180)는 그 이후에는 그 질량중심점(P)을 추적하는 것으로서 사용자(U)가 현재 어떠한 제스쳐를 취하고 있는가 여부를 판단할 수 있다.
도 7의 (b)에 도시한 바와 같이, 질량중심점(P)의 위치를 추적하고 있던 제어부(도 1의 180)는, 기준선(SL)의 위로 질량중심점(P)이 이동한 특정 순간을 인지할 수 있다. 이와 같은 경우에, 제어부(도 1의 180)는, 추가적인 분석 또는 연산을 거치지 않고서도 사용자(U)가 뛰는 제스쳐를 취하고 있는 것으로 판단할 수 있다. 즉, 사용자(U)가 똑바로 서있는 제스쳐를 취하고 있던 도 7의 (a)의 상태에서 설정된 기준선(SL)의 위로 질량중심점(P)이 이동하였다면, 사용자(U)가 제자리에서 뛰는 동작을 취한 것으로 판단됨을 의미한다.
도 7의 (c)에 도시한 바와 같이, 질량중심점(P)의 위치를 추적하고 있던 제어부(도 1의 180)는, 기준선(SL)의 아래로 질량중심점(P)이 이동한 특정 순간을 인지할 수 있다. 이와 같은 경우에, 제어부(도 1의 180)는, 사용자가 제자리에서 앉는 제스쳐를 취하고 있는 것으로 판단할 수 있다. 전술한 바와 같이, 특정한 순간의 사용자 영상(UI)에 대한 질량분포를 분석하면 그 사용자(U)가 그 이후에 취하는 동작에 대해서는 추가적인 영상분석을 하지 않고서도 분석이 가능할 수 있다. 한편, 전술한 예에서는 사용자가 뛰거나 앉는 동작을 예로 들어 설명하였으나, 질량중심점(P)을 팔이나 다리와 같은 신체의 특정 부위에 설정한다면 팔의 제스쳐, 다리의 제스쳐 등을 용이하게 판단할 수 있음은 물론이다.
도 8은 본 발명의 제 2실시예에 따른 디스플레이 장치에서 사용자의 체형정보를 획득하는 과정을 도시한 도면이다.
이에 도시한 바와 같이, 본 발명의 제 2실시예에 따른 디스플레이 장치(100)에서는 사용자의 체형정보를 사용자 영상(UI)으로부터 직접 획득할 수 있다.
도 8의 (a)에 도시한 바와 같이, 추출한 사용자 영상(UI)으로부터 사용자(U)의 체형정보의 측정이 가능할 수 있다. 즉, 사용자가 똑바로 서있는 영상이 촬영된 경우라면, 사용자(U)의 머리부터 발까지의 길이인 신장(H1)을 알 수 있다. 또한, 필요에 따라서는 사용자(U)의 어께 폭(H2), 사용자(U)의 머리 크기(H3)를 측정할 수도 있다. 어께 폭(H2) 또는 머리 크기(H3)를 알게 되면, 이를 표준체형 테이블에 대입하여 사용자(U)의 다른 신체 부위에 대한 체형정보를 알 수 있다. 어께 폭(H2) 또는 머리 크기(H3)의 경우에는, 사용자(U)가 똑바로 서있지 않는 경우에도 측정가능할 수 있다는 점에서 신장(H1)을 획득하는 방법보다 유연하게 적용할 수 있다.
도 8의 (b)에 도시한 바와 같이, 신장(H1)이 측정되면 앉은키, 팔길이 등 그 키에 해당하는 사람의 표준적인 신체 싸이즈를 알 수 있다. 메모리(도 1의 160)에는 표준 신체 싸이즈에 대한 테이블(T)이 저장되어 있을 수 있다. 한편, 다양한 체형정보의 저장이 곤란한 경우라면, 가장 일반적인 신장 및 그에 해당하는 앉은키, 팔길이 등에 대한 정보만을 메모리(도 1의 160)에 저장한 후에, 다른 신장에 대응되는 체형정보는 저장된 값에 일정한 상수를 곱하는 방법을 택할 수도 있다.
도 9는 본 발명의 제 3실시예에 따른 디스플레이 장치에서 사용자의 체형정보를 획득하는 과정을 도시한 도면이다.
이에 도시한 바와 같이, 본 발명의 제 3실시예에 따른 다스플레이 장치(100)는 동작점(GP)을 설정하는 방법을 통하여 사용자의 체형정보를 획득할 수 있다.
도 9에 도시한 바와 같이, 제어부(도 1의 180)는 사용자 영상(UI)의 관절 부분에 동작점(GP)을 설정할 수 있다. 몇 가지 동작에 대한 사용자 영상(UI)을 추적하면, 제어부(도 1의 180)는 관절 부분을 상대적으로 용이하게 판단할 수 있다. 동작점(GP)이 설정되면, 설정된 동작점(GP)들 간의 거리 등에 기초하여 팔길이 등의 체형정보를 획득할 수 있다. 나아가, 동작점(GP)의 상대위치 이동 등을 추적함으로써 사용자(U)가 현재 취하고 있는 제스쳐를 획득할 수 있다.
도 10은 본 발명의 제 4실시예에 따른 디스플레이 장치에서 사용자의 체형정보를 획득하는 과정을 도시한 도면이다.
본 발명의 제 4실시예에 따른 디스플레이 장치(100)는 사용자(U)의 체형정보를 획득하기 위하여 사용자(U)에게 특정한 자세를 취하도록 하는 과정을 거칠 수 있다.
도 10에 도시한 바와 같이, 디스플레이 장치(100)의 디스플레이부(151)에는 사용자(U)에게 일정한 동작을 지시할 수 있다. 예를 들어, 사용자(U)가 똑바로 서도록 하는 지시를 한 후에, 양 팔을 쭉 펴도록 하는 동작을 지시할 수 있다.
사용자(U)가 똑바로 서는 순간에, 제어부(도 1의 180)는 카메라(121)를 통하여 획득한 영상을 분석하여 사용자(U)의 신장을 측정할 수 있다. 또한, 사용자(U)가 양 팔을 쭉 펴는 순간에, 제어부(도 1의 180)는 사용자(U)의 팔길이를 측정할 수 있다. 본 발명의 제 4실시예에 따른 디스플레이 장치(100)는, 사용자(U)가 제스쳐를 통하여 디스플레이 장치(100)를 제어하기 전에 사용자(U)의 체형정보를 획득하는 별도의 과정을 거친다는 점에서 다른 실시예에 따른 디스플레이 장치(100)와 상이하다.
도 11 및 도 12는 본 발명의 제 5실시예에 따른 디스플레이 장치에서 사용자의 체형정보를 획득하는 과정을 도시한 도면이다.
이들 도면에 도시한 바와 같이, 본 발명의 제 5실시예에 따른 디스플레이 장치(100)는 사용자가 직접 입력한 체형정보를 획득할 수 있다.
도 11에 도시한 바와 같이, 디스플레이 장치(100)는 리모컨(200)과 같은 외부 디바이스를 통하여 정보를 입력받을 수 있다. 또한, 디스플레이부(151)가 터치 스크린으로 구성된 경우라면, 디스플레이부(151)에 대한 터치신호를 획득함으로써 제어부(도 1의 180)는 필요한 정보를 획득할 수 있다.
도 12에 도시한 바와 같이, 디스플레이부(151)에는 사용자(U)가 입력한 자신의 정보가 표시될 수 있다. 사용자가 자신의 키를 입력하면, 제어부(도 1의 180)는 이에 기초하여 사용자의 체형정보를 생성할 수 있다.
도 13은 도 2 영상에서 사용자의 제스쳐를 추출하여 이를 체형정보와 비교 판단하는 단계를 보다 구체적으로 나타낸 플로우 챠트이고, 도 14 및 도 15는 도 13 에 따른 디스플레이 장치의 작동 과정을 도시한 도면이다.
이들 도면에 도시한 바와 같이, 카메라(121)를 통하여 획득한 영상에서 사용자의 제스쳐를 추출하는 단계(도 2의 S20) 및 추출한 제스쳐를 체형정보와 비교하여 판단하는 단계(도 2의 S30)는, 카메라(121)로 사용자(U)의 제스쳐를 촬영하는 단계(S22) 및 촬영한 영상에서 사용자(U)의 제스쳐를 추출하는 단계(S24)를 포함할 수 있다.
사용자(U)를 촬영하고, 촬영 영상(TI1, TI2)에서 사용자 영상(UI)을 추출하는 과정은 전술한 바와 같다. 다만, 이하에서는 서로 다른 사용자가 취한 제스쳐이나 동일하게 인식될 수도 있는 제스쳐의 예를 들어 그 과정을 보다 상세하게 설명하도록 한다.
도 14의 (a)에 도시한 바와 같이, 상대적으로 체형이 작은 어린이가 왼팔을 펴고 있는 제 1촬영 영상(TI1)이 카메라(121)를 통하여 획득될 수 있다. 또한, 도 14의 (b)에 도시한 바와 같이, 상대적으로 체형이 큰 어른이 왼팔을 반쯤 펴고 있는 제 2촬영 영상(TI2)이 카메라(121)를 통하여 획득될 수 있다.
제 1촬영 영상(TI1)과 제 2촬영 영상(TI2)은, 팔을 최대한 펴고 있는 영상과 팔을 반쯤 펴고 있는 영상이므로 각 사용자(U)가 그 제스쳐를 취한 의도는 상이할 수 있다. 즉, 제 1촬영 영상(TI1)의 사용자(U)는 진정으로 특정한 기능의 실행을 위한 제스쳐일 가능성이 높으나, 제 2촬영 영상(TI2)의 사용자(U)는 특정한 기능의 실행을 위한 제스쳐라기 보다는 우연한 동작에 따른 제스쳐일 가능성이 높다. 그러나 제 1,2촬영 영상(TI1, TI2)에서 추출한 사용자 영상(UI)은 비슷한 형상일 수 있 다.
사용자 영상(UI)은 전술한 바와 같이, 카메라(121)로 촬영한 영상에서 사용자의 형상을 개략적으로 추출한 것일 수 있다. 따라서 상대적으로 팔이 짧은 어린이가 팔을 쭉 뻗은 영상과 상대적으로 팔이 긴 어른이 팔을 반쯤 뻗은 영상은, 실질적으로는 다른 영상일지라도, 사용자 영상(UI)에서는 팔의 대략적인 길이 및 형상이 유사하게 표시될 수 있다.
사용자(U)의 체형정보를 로딩하는 단계(S32)가 진행될 수 있다.
체형정보는, 전술한 과정을 거치며 획득되어 메모리(도 1의 160)에 저장되어 있을 수 있다. 따라서 현재 디스플레이 장치(100)를 사용하는 사용자(U)에 해당하는 체형정보를 검색하여 로딩할 수 있다.
체형정보에 기반하여 사용자(U)의 제스쳐가 무엇인가 판단하는 단계(S34)하고, 제스쳐가 무엇인가 판되면 사용자(U)가 취한 제스쳐를 특정하는 단계(S36)가 진행될 수 있다.
도 15에 도시한 바와 같이, 제어부(도 1의 180)는 사용자 영상(UI)을 획득하고 있을 수 있다. 제어부(도 1의 180)는 획득한 사용자 영상(UI)에서 팔길이(AL) 또는 키 등을 측정할 수 있다. 사용자 영상(UI)을 통하여 획득할 수 있는 정보는 다양하지만, 본 실시예에서는 팔길이(AL)가 40으로 측정된 경우를 설명함으로써 다른 경우에 대한 설명을 갈음하도록 한다.
사용자 영상(UI)에서 필요한 정보를 획득함과 함께, 메모리(도 1의 160)에서 그 사용자(U)에 관한 체형정보를 로딩할 수 있다. 만약, 그 사용자(U)의 키가 130 인 경우라면, 테이블(도 8의 b)을 통하여 팔길이가 40으로 추정될 수 있다. 팔길이가 40으로 추정되므로, 그 사용자(U)에 대한 팔 제스쳐의 임계값을 40으로 설정할 수 있다. 임계값은 오차 등을 고려하여 가감될 수 있으나, 이하에서는 이해의 편의를 위하여 추정된 팔길이를 임계값으로 하여 설명하도록 한다. 측정된 팔길이(AL)가 그 키의 사람에 해당하는 임계값 이상이므로, 제어부(도 1의 180)는 사용자(U)가 왼팔을 완전히 뻗고 있는 것으로 판단할 수 있다.
획득한 사용자 영상(UI) 속의 사용자(U)의 키가 180인 경우라면, 테이블(도 8의 b)을 통하여 팔길이가 70으로 추정될 수 있다. 이 경우에는, 팔 제스쳐의 임계값을 70으로 설정할 수 있다. 임계값이 적절히 가감될 수 있음은 전술한 바와 같다. 팔 제스쳐의 임계값이 70인 것에 반하여, 실제로 측정된 팔길이(AL)는 40이므로, 제어부(도 1의 180)는 사용자(U)가 팔을 완전히 뻗지 않은 것으로 판단할 수 있다. 결과적으로, 사용자 영상(UI)만을 볼 경우에는 유사하게 보이는 경우에도, 제어부(도 1의 180)는 사용자(U)의 체형정보로부터 도출된 임계값과 측정된 값을 비교함으로써 사용자(U)가 정확히 어떠한 제스쳐를 취하고 있는지 판단할 수 있다.
도 16 내지 도 18은 제스쳐에 맵핑된 기능을 실행하는 과정을 도시한 도면이다.
사용자(U)가 취한 제스쳐를 그 사용자(U)의 체형정보에 기초하여 어떠한 제스쳐인가 판단되면, 그 제스처에 맵핑된 기능을 실행하는 단계(도 2의 S40)가 진행될 수 있다.
도 16에 도시한 바와 같이, 제 1사용자(U1)가 왼팔을 펴고 있는 제스쳐를 취 할 수 있다. 제 1사용자(U1)는 상대적으로 체구가 작은 어린이일 수 있다. 따라서 제 1사용자(U1)의 팔길이도 짧을 수 있다. 이와 같은 경우에도, 제 1사용자(U1)의 신장 등으로부터 체형정보를 획득한 디스플레이 장치(100)는, 제 1사용자(U1)가 어떠한 제스쳐를 취하고 있는지 여부를 정확히 판별할 수 있다. 제 1사용자(U1)가 특정한 제스쳐를 바른 자세로 취하고 있으므로, 디스플레이 장치(100)는 그 제스쳐에 대응되는 채널변경 기능을 실행할 수 있다.
도 17에 도시한 바와 같이, 제 2사용자(U1)는 왼팔을 반쯤만 펴고 있는 제스쳐를 취하고 있을 수 있다. 전술한 바와 같이, 이와 같은 제스쳐는 제 2사용자(U2)의 체형정보에 기초할 때, 올바른 제스쳐가 아닐 수 있다. 따라서 디스플레이 장치(100)는, 사용자의 이와 같은 제스쳐에 대해서 특별한 반응을 보이지 않을 수 있다.
도 18에 도시한 바와 같이, 디스플레이 장치(100)는 제 2사용자(U2)가 취하고 있는 제스쳐를 올바른 방향으로 유도하는 화면을 표시할 수 있다.
도 18의 (a)에 도시한 바와 같이, 디스플레이 장치(100)는 제 1팝업창(P1)에 제 2사용자(U2)가 취하고자 했을 것으로 예상되는 제스쳐의 바른 예를 표시할 수 있다. 즉, 도 17에 도시한 바와 같이, 제 2사용자(U2)가 왼쪽팔을 반쯤 편 제스쳐를 취한 경우에, 제어부(도 1의 180)는 제 2사용자(U2)의 현재 제스쳐와 가장 유사한 올바른 제스쳐를 제 1팝업창(P1)에 표시할 수 있다. 따라서 어떠한 제스쳐가 올바른 제스쳐인지 여부를 제 2사용자(U2)가 잘 모르는 경우라면, 제 1팝업창(P1)에 표시된 화면을 보고 이를 따라함으로써 디스플레이 장치(100)의 기능을 실행시킬 수 있다.
도 18의 (b)에 도시한 바와 같이, 디스플레이 장치(100)는 제 2팝업창(P2)에는 카메라(121)를 통하여 촬영한 영상을 표시하고, 제 3팝업창(P3)에는 현재 취한 제스쳐와 가장 유사한 올바른 제스쳐를 표시할 수 있다. 현재 취하고 있는 제스쳐와 올바른 제스쳐를 함께 표시함으로써 올바른 제스쳐로 유도할 수 있다.
도 19 내지 도 21은 도 2 맵핑된 기능을 실행하는 과정을 도시한 도면이다.
도 19에 도시한 바와 같이, 제 1사용자(U1)는 디스플레이 장치(100)의 앞에서 특정한 제스쳐를 취할 수 있다. 예를 들어, 왼손을 반시계방향으로 회전시키는 제스쳐를 취함으로써 디스플레이부(151)에 표시된 오브젝트(OB)가 이동되도록 하는 기능을 실행할 수 있다. 그런데 제 1사용자(U1)이 체구가 작은 경우에, 제 1사용자(U1)로서는 큰 제스쳐를 취하더라도 디스플레이 장치(100)에 표시된 오브젝트(OB)는 상대적으로 작은 범위만을 이동하게 될 수 있다. 이와 같은 경우에, 사용자의 체형정보를 이용하면, 실제 체구와 관계없이 오브젝트(OB)를 적절하게 이동시킬 수 있다.
도 20에 도시한 바와 같이, 제 1사용자(U1)가 왼팔을 반시계 방향으로 회전시키는 제스쳐를 취하는 경우에 2가지 경우를 고려할 수 있다. 즉, 체형정보를 이용하지 않고 오브젝트(OB)를 이동시키는 경우와, 체형정보를 이용하여 오브젝트(OB)를 이동시키는 경우이다.
체형정보를 이용하지 않고 오브젝트(OB)를 이동시키는 경우라면, 상대적으로 체구가 작은 제 1사용자(U1)가 취한 제스처에 대하여 오브젝트(OB)는 상대적으로 작은 거리인 제 1거리(D1) 만큼 이동되는 것으로 표시할 수 있다.
체형정보를 이용하여 오브젝트(OB)를 이동시키는 경우라면, 제 1사용자(U1)의 체형정보에 기초할 때 제 1사용자(U1)로서는 큰 제스쳐를 취한 것으로 판단될 수 있다. 따라서 오브젝트(OB)를 상대적으로 긴 거리인 제 2거리(D2) 만큼 이동되는 것으로 표시할 수 있다.
도 21에 도시한 바와 같이, 복수의 사용자(U1, U2)로부터 동시에 입력받은 제스쳐에 매칭된 기능을 실행할 수 있다.
도 21의 (a)에 도시한 바와 같이, 디스플레이 장치(100)는 제 1,2사용자(U1, U2)가 취하는 제스쳐를 동시에 입력받아, 각각에 대하여 제 1,2오브젝트(OB1, OB2)에 대한 제어권을 부여할 수 있다. 이 경우에, 제 1,2사용자(U1, U2) 각각의 체형정보를 로딩하여 제 1,2사용자(U1, U2)의 제스쳐를 판단할 수 있다. 즉, 체구가 작은 제 1사용자(U1)와 체구가 큰 제 2사용자(U2)가 취한 제스쳐를 체구에 비례하도록 해석함으로써 제 1,2오브젝트(OB1, OB2)가 적절한 범위에서 이동되도록 할 수 있음을 의미한다. 또한, 디스플레이 장치(100)는 제 1,2사용자(U1, U2)를 추적하며 제스쳐를 획득할 수 있다,
도 21의 (b)에 도시한 바와 같이, 제 1,2 사용자(U1, U2)는 서로 교차하여 위치를 교환할 수 있다. 이와 같은 경우에도, 디스플레이 장치(100)의 제어부(도 1의 180)는 제 1,2사용자(U1, U2)를 추적할 수 있다. 이와 같은 추적은, 디스플레이 장치(100)가 각 사용자(U1, U2)에 대한 체형정보를 가지고 있기 때문에 가능할 수 있다. 즉, 제 1사용자(U1)가 가지고 있는 체형적 특징과 제 2사용자(U2)가 가지고 있는 체형적 특징을 추적함으로써 사용자(U1, U2)의 위치가 바뀌는 경우에도 각 사용자(U1, U2)가 각 오브젝트(OB1, OB2)에 대한 제어권을 유지할 수 있도록 할 수 있다.
도 21에서는 각 사용자(U1, U2)가 각 오브젝트(OB1, OB2)에 대한 제어권을 가지고 있는 경우에 대하여 설명하였으나, 하나의 오브젝트(OB1)에 대한 제어권을 제 1,2사용자(U1, U2)가 서로 번갈아가며 가질수도 있다. 예를 들어, 제 1오브젝트(OB1)가 공인 경우에, 제 1사용자(U1)는 공을 치는 제스쳐를 취하고 제 2사용자(U2)는 공을 잡는 제스쳐를 취하는 것이 가능함을 의미한다.
상기에서 설명한 본 발명에 의한 디스플레이 장치의 위치정보 제공방법은, 컴퓨터에서 실행시키기 위한 프로그램으로 컴퓨터로 읽을 수 있는 기록매체에 기록하여 제공될 수 있다.본 발명에 의한 디스플레이 장치의 위치정보 제공방법은 소프트웨어를 통해 실행될 수 있다. 소프트웨어로 실행될 때, 본 발명의 구성 수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 가능 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.
컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는, ROM, RAM, CD-ROM, DVD±ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크(hard disk), 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이와 같이 본 발명은 기재된 실시예들에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형할 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서, 그러한 수정예 또는 변형예들은 본 발명의 특허청구범위에 속한다 하여야 할 것이다.
도 1은 본 발명의 일 실시예와 관련된 디스플레이 장치의 블록 구성도(block diagram)이다.
도 2는 도 1 디스플레이 장치의 플로우챠트(flow chart)이다.
도 3은 도 2 디스플레이 장치의 작동을 도시한 도면이다.
도 4는 도 2 사용자의 체형정보를 획득하는 단계를 보다 구체적으로 나타낸 플로우 챠트이다.
도 5 내지 도 7은 본 발명의 제 1실시예에 따른 디스플레이 장치에서 사용자의 체형정보를 획득하는 과정을 도시한 도면이다.
도 8은 본 발명의 제 2실시예에 따른 디스플레이 장치에서 사용자의 체형정보를 획득하는 과정을 도시한 도면이다.
도 9는 본 발명의 제 3실시예에 따른 디스플레이 장치에서 사용자의 체형정보를 획득하는 과정을 도시한 도면이다.
도 10은 본 발명의 제 4실시예에 따른 디스플레이 장치에서 사용자의 체형정보를 획득하는 과정을 도시한 도면이다.
도 11 및 도 12는 본 발명의 제 5실시예에 따른 디스플레이 장치에서 사용자의 체형정보를 획득하는 과정을 도시한 도면이다.
도 13은 도 2 영상에서 사용자의 제스쳐를 추출하여 이를 체형정보와 비교 판단하는 단계를 보다 구체적으로 나타낸 플로우 챠트이다.
도 14 및 도 15는 도 13 에 따른 디스플레이 장치의 작동 과정을 도시한 도 면이다.
도 16 내지 도 18은 제스쳐에 맵핑된 기능을 실행하는 과정을 도시한 도면이다.
도 19 내지 도 21은 도 2 맵핑된 기능을 실행하는 과정을 도시한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
100 : 디스플레이 장치 110 : 통신부
120 : 사용자 입력부 150 : 출력부
160 : 메모리 170 : 인터페이스부
180 : 제어부 190 : 전원 공급부

Claims (25)

  1. 사용자가 취한 제스쳐를 포함하는 영상을 획득하는 카메라; 및
    상기 카메라에서 획득한 영상에서 상기 제스쳐를 추출하고, 상기 추출한 제스쳐의 동작 범위가 상기 사용자에 대응된 임계값(threshold) 이상인 경우에, 상기 추출한 제스쳐에 맵핑(mapping)된 기능을 실행하는 제어부를 포함하는 디스플레이 장치.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 추출한 제스쳐에서 상기 사용자의 체형 정보를 획득하고, 상기 획득한 체형 정보에 따라 상기 임계값을 설정하는 것을 특징으로 하는 디스플레이 장치.
  3. 제 2항에 있어서,
    상기 체형 정보는, 상기 추출한 제스쳐의 영상이 차지하는 면적의 분포이며,
    상기 임계값은, 상기 면적 분포가 평형을 이루는 중심점인 것을 특징으로 하는 디스플레이 장치.
  4. 제 2항에 있어서,
    상기 체형 정보는, 상기 사용자의 신장, 팔의 길이, 다리의 길이, 어께의 너 비, 머리의 직경 중 적어도 어느 하나이며,
    상기 임계값은, 상기 사용자의 신장, 상기 팔의 길이, 상기 다리의 길이, 상기 어께의 너비, 상기 머리의 직경 중 적어도 어느 하나에 비례하도록 설정된 것을 특징으로 하는 디스플레이 장치.
  5. 제 2항에 있어서,
    상기 체형 정보는, 상기 사용자의 관절 위치에 대응되도록 설정된 복수개의 동작점 간의 거리 또는 상기 복수개의 동작점 간의 상대 위치 변화 중 적어도 어느 하나이며,
    상기 임계값은, 상기 복수개의 동작점 간의 거리 또는 상기 복수개의 동작점 간의 상대 위치 변화에 비례하도록 설정된 것을 특징으로 하는 디스플레이 장치.
  6. 제 2항에 있어서,
    상기 사용자는 복수이며,
    상기 제어부는,
    상기 임계값을 상기 복수의 사용자 각각의 체형 정보에 따라 설정하는 것을 특징으로 하는 디스플레이 장치.
  7. 제 6항에 있어서,
    상기 제어부는,
    상기 복수의 사용자 각각의 체형 정보에 기초하여, 상기 복수의 사용자 각각에 대한 상기 영상을 획득하는 것을 특징으로 하는 디스플레이 장치.
  8. 제 1항에 있어서,
    상기 제어부는,
    상기 추출한 제스쳐의 동작 범위가 상기 사용자에 대응된 임계값(threshold) 미만인 경우에, 상기 추출한 제스쳐와 유사하되 상기 임계값 이상의 동작 범위를 가지는 제스쳐를 디스플레이부 표시하는 것을 특징으로 하는 디스플레이 장치.
  9. 제 1항에 있어서,
    상기 기능은,
    채널의 변경, 음량의 조절, 설정의 변경, 디스플레이부에 표시된 오브젝트의 표시위치의 변경 중 적어도 어느 하나인 것을 특징으로 하는 디스플레이 장치.
  10. 복수의 사용자가 취한 제스쳐를 포함하는 영상을 획득하는 카메라; 및
    상기 카메라에서 획득한 영상에서 상기 복수의 사용자 각각의 상기 제스쳐를 추출하고, 상기 추출한 각각의 제스쳐의 동작 범위가 상기 복수의 사용자 각각에 대응된 임계값(threshold) 이상인 경우에, 상기 추출한 각각의 제스쳐에 맵핑(mapping)된 기능을 실행하는 제어부를 포함하는 디스플레이 장치.
  11. 제 10항에 있어서,
    상기 제어부는,
    상기 추출한 제스쳐에서 상기 복수의 사용자 각각의 체형 정보를 획득하고, 상기 획득한 체형 정보에 따라 상기 임계값을 설정하는 것을 특징으로 하는 디스플레이 장치.
  12. 제 11항에 있어서,
    상기 제어부는,
    상기 복수의 사용자 각각의 체형 정보에 기초하여, 상기 복수의 사용자 각각에 대한 상기 영상을 획득하는 것을 특징으로 하는 디스플레이 장치.
  13. 사용자가 취한 제스쳐를 포함하는 영상을 획득하는 단계;
    상기 획득한 영상에서 상기 제스쳐를 추출하는 단계; 및
    상기 추출한 제스쳐의 동작 범위가 상기 사용자에 대응된 임계값(threshold) 이상인 경우에, 상기 추출한 제스쳐에 맵핑(mapping)된 기능을 실행하는 단계를 포함하는 디스플레이 장치의 제어방법.
  14. 제 13항에 있어서,
    상기 추출한 제스처에서 상기 사용자의 체형 정보를 획득하는 단계; 및
    상기 획득한 체형 정보에 따라 상기 임계값을 설정하는 단계를 더 포함하는 디스플레이 장치의 제어방법.
  15. 제 14항에 있어서,
    상기 체형 정보는, 상기 추출한 제스쳐의 영상이 차지하는 면적의 분포이며,
    상기 임계값은, 상기 면적의 분포가 평형을 이루는 중심점인 것을 특징으로 하는 디스플레이 장치의 제어방법.
  16. 제 14항에 있어서,
    상기 체형 정보는, 상기 사용자의 신장, 팔의 길이, 다리의 길이, 어께의 너비, 머리의 직경 중 적어도 어느 하나이며,
    상기 임계값은, 상기 사용자의 신장, 상기 팔의 길이, 상기 다리의 길이, 상기 어께의 너비, 상기 머리의 직경 중 적어도 어느 하나에 비례하도록 설정된 것을 특징으로 하는 디스플레이 장치의 제어방법.
  17. 제 14항에 있어서,
    상기 체형 정보는, 상기 사용자의 관절 위치에 대응되도록 설정된 복수개의 동작점 간의 거리 또는 상기 복수개의 동작점 간의 상대 위치 변화 중 적어도 어느 하나이며,
    상기 임계값은, 상기 복수개의 동작점 간의 거리 또는 상기 복수개의 동작점 간의 상대 위치 변화에 비례하도록 설정된 것을 특징으로 하는 디스플레이 장치의 제어방법.
  18. 제 14항에 있어서,
    상기 사용자는 복수이며,
    상기 임계값은, 상기 복수의 사용자 각각의 체형 정보에 따라 설정되는 것을 특징으로 하는 디스플레이 장치의 제어방법.
  19. 제 18항에 있어서,
    상기 영상을 획득하는 단계는,
    상기 복수의 사용자 각각의 체형 정보에 기초하여, 상기 복수의 사용자 각각에 대하여 상기 영상을 획득하는 것을 특징으로 하는 디스플레이 장치의 제어방법.
  20. 제 13항에 있어서,
    상기 사용자의 체형 정보를 수신하는 단계; 및
    상기 수신한 체형 정보에 따라 상기 임계값을 설정하는 단계를 더 포함하는 디스플레이 장치의 제어방법.
  21. 제 13항에 있어서,
    상기 추출한 제스쳐의 동작 범위가 상기 사용자에 대응된 임계값(threshold) 미만인 경우에, 상기 추출한 제스쳐와 유사하되 상기 임계값 이상의 동작 범위를 가지는 제스쳐를 표시하는 단계를 더 포함하는 디스플레이 장치의 제어방법.
  22. 제 13항에 있어서,
    상기 기능은,
    채널의 변경, 음량의 조절, 설정의 변경, 표시된 오브젝트의 표시위치의 변경 중 적어도 어느 하나인 것을 특징으로 하는 디스플레이 장치의 제어방법.
  23. 복수의 사용자가 취한 제스쳐를 포함하는 영상을 획득하는 단계;
    상기 획득한 영상에서 상기 복수의 사용자 각각의 상기 제스쳐를 추출하는 단계; 및
    상기 추출한 각각의 제스쳐의 동작 범위가 상기 복수의 사용자 각각에 대응된 임계값(threshold) 이상인 경우에, 상기 추출한 각각의 제스쳐에 맵핑(mapping)된 기능을 실행하는 단계를 포함하는 디스플레이 장치의 제어방법.
  24. 제 23항에 있어서,
    상기 추출한 제스처에서 상기 복수의 사용자 각각의 체형 정보를 획득하는 단계; 및
    상기 획득한 체형 정보에 따라 상기 임계값을 설정하는 단계를 더 포함하는 디스플레이 장치의 제어방법.
  25. 제 24항에 있어서,
    상기 영상을 획득하는 단계는,
    상기 복수의 사용자 각각의 체형 정보에 기초하여, 상기 복수의 사용자 각각에 대한 상기 영상을 획득하는 것을 특징으로 하는 디스플레이 장치의 제어방법.
KR1020090133171A 2009-12-29 2009-12-29 디스플레이 장치 및 그 제어방법 KR20110076458A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090133171A KR20110076458A (ko) 2009-12-29 2009-12-29 디스플레이 장치 및 그 제어방법
PCT/KR2010/009357 WO2011081379A2 (en) 2009-12-29 2010-12-27 Display device and control method thereof
US12/979,838 US20110157009A1 (en) 2009-12-29 2010-12-28 Display device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090133171A KR20110076458A (ko) 2009-12-29 2009-12-29 디스플레이 장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20110076458A true KR20110076458A (ko) 2011-07-06

Family

ID=44186865

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090133171A KR20110076458A (ko) 2009-12-29 2009-12-29 디스플레이 장치 및 그 제어방법

Country Status (3)

Country Link
US (1) US20110157009A1 (ko)
KR (1) KR20110076458A (ko)
WO (1) WO2011081379A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014126330A1 (en) * 2013-02-18 2014-08-21 Samsung Electronics Co., Ltd. Display apparatus
WO2014133265A1 (en) * 2013-02-27 2014-09-04 Samsung Electronics Co., Ltd. Display apparatus
KR101500673B1 (ko) * 2011-10-26 2015-03-10 주식회사 케이티 이동 통신 기기를 이용하는 건강 관리 시스템, 이동 통신 기기 및 건강 관리 방법
KR101881525B1 (ko) * 2012-01-31 2018-07-25 삼성전자 주식회사 디스플레이장치, 업그레이드장치 및 이를 포함하는 디스플레이시스템 및 그 제어방법

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9113190B2 (en) 2010-06-04 2015-08-18 Microsoft Technology Licensing, Llc Controlling power levels of electronic devices through user interaction
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
US20120226981A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Controlling electronic devices in a multimedia system through a natural user interface
JP5785753B2 (ja) * 2011-03-25 2015-09-30 京セラ株式会社 電子機器、制御方法および制御プログラム
KR101804848B1 (ko) * 2011-04-22 2017-12-06 삼성전자주식회사 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법
US9619018B2 (en) * 2011-05-23 2017-04-11 Hewlett-Packard Development Company, L.P. Multimodal interactions based on body postures
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
JP2013065112A (ja) * 2011-09-15 2013-04-11 Omron Corp ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US20130194180A1 (en) * 2012-01-27 2013-08-01 Lg Electronics Inc. Device and method of controlling the same
US8723796B2 (en) 2012-02-02 2014-05-13 Kodak Alaris Inc. Multi-user interactive display system
US9349131B2 (en) 2012-02-02 2016-05-24 Kodak Alaris Inc. Interactive digital advertising system
US8810513B2 (en) 2012-02-02 2014-08-19 Kodak Alaris Inc. Method for controlling interactive display system
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
KR20140061098A (ko) * 2012-11-13 2014-05-21 엘지전자 주식회사 영상표시장치, 및 그 동작방법
JP5783385B2 (ja) * 2013-02-27 2015-09-24 カシオ計算機株式会社 データ処理装置及びプログラム
US20140267611A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images
US9715619B2 (en) 2015-03-14 2017-07-25 Microsoft Technology Licensing, Llc Facilitating aligning a user and camera for user authentication
JP6455310B2 (ja) * 2015-05-18 2019-01-23 本田技研工業株式会社 動作推定装置、ロボット、及び動作推定方法
JP6172765B2 (ja) * 2015-09-02 2017-08-02 Ｎｅｃプラットフォームズ株式会社 通知制御装置、通知制御方法及び通知制御プログラム
KR102529119B1 (ko) 2016-06-27 2023-05-04 삼성전자주식회사 객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체
CN109492577B (zh) * 2018-11-08 2020-09-18 北京奇艺世纪科技有限公司 一种手势识别方法、装置及电子设备
JP2022146148A (ja) * 2021-03-22 2022-10-05 セイコーエプソン株式会社 処理システム、サーバーシステム、印刷装置、プログラム及び処理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5534917A (en) * 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5999185A (en) * 1992-03-30 1999-12-07 Kabushiki Kaisha Toshiba Virtual reality control using image, model and control data to manipulate interactions
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US6075895A (en) * 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7274800B2 (en) * 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US7821541B2 (en) * 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
JP2006068315A (ja) * 2004-09-02 2006-03-16 Sega Corp ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
KR100847136B1 (ko) * 2006-08-14 2008-07-18 한국전자통신연구원 어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및이를 위한 장치
US8351646B2 (en) * 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
JP5453246B2 (ja) * 2007-05-04 2014-03-26 クアルコム，インコーポレイテッド コンパクト・デバイスのためのカメラ・ベースのユーザ入力
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US20100199228A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US20100199231A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US9377857B2 (en) * 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101500673B1 (ko) * 2011-10-26 2015-03-10 주식회사 케이티 이동 통신 기기를 이용하는 건강 관리 시스템, 이동 통신 기기 및 건강 관리 방법
KR101881525B1 (ko) * 2012-01-31 2018-07-25 삼성전자 주식회사 디스플레이장치, 업그레이드장치 및 이를 포함하는 디스플레이시스템 및 그 제어방법
WO2014126330A1 (en) * 2013-02-18 2014-08-21 Samsung Electronics Co., Ltd. Display apparatus
US9529441B2 (en) 2013-02-18 2016-12-27 Samsung Electronics Co., Ltd. Display apparatus
WO2014133265A1 (en) * 2013-02-27 2014-09-04 Samsung Electronics Co., Ltd. Display apparatus
US9606617B2 (en) 2013-02-27 2017-03-28 Samsung Electronics Co., Ltd. Display apparatus

Also Published As

Publication number Publication date
WO2011081379A2 (en) 2011-07-07
WO2011081379A3 (en) 2011-11-17
US20110157009A1 (en) 2011-06-30

Similar Documents

Publication Publication Date Title
KR20110076458A (ko) 디스플레이 장치 및 그 제어방법
WO2020216116A1 (zh) 动作识别方法和装置、人机交互方法和装置
US10360360B2 (en) Systems and methods for controlling output of content based on human recognition data detection
US8549418B2 (en) Projected display to enhance computer device use
EP2707835B1 (en) Using spatial information with device interaction
US9594945B2 (en) Method and apparatus for protecting eyesight
US8860805B2 (en) Electronic device and method of controlling the same
KR101850035B1 (ko) 이동 단말기 및 그 제어방법
US9213436B2 (en) Fingertip location for gesture input
US9746927B2 (en) User interface system and method of operation thereof
KR102092931B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
US20130222232A1 (en) Gesture recognition device and method thereof
US9189072B2 (en) Display device and control method thereof
US20130194180A1 (en) Device and method of controlling the same
CN111062276A (zh) 基于人机交互的人体姿态推荐方法、装置、机器可读介质及设备
US9400575B1 (en) Finger detection for element selection
US9639113B2 (en) Display method and electronic device
US9377866B1 (en) Depth-based position mapping
US20120206348A1 (en) Display device and method of controlling the same
US8611596B2 (en) Display device and control method thereof
US9350918B1 (en) Gesture control for managing an image view display
CN112115341A (zh) 内容展示方法、装置、终端、服务器、系统及存储介质
US10416759B2 (en) Eye tracking laser pointer
CN114296627A (zh) 内容显示方法、装置、设备及存储介质
US9690384B1 (en) Fingertip location determinations for gesture input

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid