KR20080065032A - 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템 - Google Patents

제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템 Download PDF

Info

Publication number
KR20080065032A
KR20080065032A KR1020070001889A KR20070001889A KR20080065032A KR 20080065032 A KR20080065032 A KR 20080065032A KR 1020070001889 A KR1020070001889 A KR 1020070001889A KR 20070001889 A KR20070001889 A KR 20070001889A KR 20080065032 A KR20080065032 A KR 20080065032A
Authority
KR
South Korea
Prior art keywords
image
user interface
gesture
mirror
gesture recognition
Prior art date
Application number
KR1020070001889A
Other languages
English (en)
Other versions
KR100862349B1 (ko
Inventor
민경원
정찬기
고한석
박준호
김진국
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020070001889A priority Critical patent/KR100862349B1/ko
Publication of KR20080065032A publication Critical patent/KR20080065032A/ko
Application granted granted Critical
Publication of KR100862349B1 publication Critical patent/KR100862349B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 프로그램 영상을 디스플레이하는 디스플레이 장치와, 상기 디스플레이 장치의 전면에 배치되며 상기 디스플레이 장치로부터의 상기 프로그램 영상과 외부의 사용자 제스처 영상을 표시하는 반투과 거울과, 상기 반투과 거울의 상단에 배치되어 상기 반투과 거울 표면에 비치는 상기 사용자 제스처 영상을 획득하는 영상 획득 장치와, 상기 영상 획득 장치로부터 획득한 상기 사용자 제스처 영상을 기초로 사용자 인터페이스 명령을 생성하며 이에 대응하여 상기 프로그램 영상을 제어하는 사용자 인터페이스 장치를 포함하는 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 관한 것이다.
본 발명에 따르면, 종래의 터치스크린 등의 사용자 인터페이스 방식에 비해서 다양한 넓이의 전면 디스플레이 장치 상에서 제스처 인식을 위한 검출 영역의 확대 및 검출의 정밀도를 조절할 수 있으며 디스플레이 장치의 화면 상에 손을 직접 접촉하지 않더라도 다양한 명령을 직접 손의 형태에 따라 구현할 수 있으며 다수의 입력을 동시에 처리할 수 있다.
제스처 인식, 반투과 거울, 사용자 인터페이스

Description

제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템{USER INTERFACE SYSTEM BASED ON HALF-MIRROR USING GESTURE RECOGNITION}
도 1은 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템의 예시적인 블록도.
도 2는 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 사용자 인터페이스 장치의 예시적인 블록도.
도 3은 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 사용자 인터페이스 명령 생성부의 예시적인 블록도.
도 4는 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 이진화 사용자 제스처 영상의 생성을 예시적으로 나타내는 도면.
도 5는 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 관심 영역의 추출과 이에 따른 손가락 끝점 위치 추출을 예시적으로 나타내는 도면.
도 6 내지 도 8은 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 관심 영역의 추출과 이에 따른 손가락 끝점 위치 추출에서의 손가락 위치에 대한 검색을 예시적으로 나타내는 도면.
도 9는 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 상관 계수를 이용한 접촉 여부의 판단을 예시적으로 나타내는 도면.
도 10은 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 공간 변환을 위한 매개 변수 설정을 예시적으로 나타내는 도면.
도 11은 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 거리를 기초로 한 위치 보정을 예시적으로 나타내는 도면.
도 12는 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 특징 벡터의 추출을 예시적으로 나타내는 도면.
<도면의 주요부분에 대한 부호의 설명>
110: 디스플레이 장치 120: 반투과 거울
130: 영상 획득 장치 140: 사용자 인터페이스 장치
210: 영상 획득 인터페이스부 220: 사용자 인터페이스 명령 생성부
230: 프로그램 영상 처리부 240: 프로그램 영상 출력부
310: 이진화 변환부 320: 관심 영역 추출부
330: 특징 추출부 340: 제스처 인식부
본 발명은 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 관한 것으로, 더욱 구체적으로는 종래의 터치스크린 등의 사용자 인터페이스 방식에 비해서 다양한 넓이의 전면 디스플레이 장치 상에서 제스처 인식을 위한 검출 영역의 확대 및 검출의 정밀도를 조절할 수 있으며 디스플레이 장치의 화면 상에 손을 직접 접촉하지 않더라도 다양한 명령을 직접 손의 형태에 따라 구현할 수 있으며 다수의 입력을 동시에 처리할 수 있는 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 관한 것이다.
제스처는 어떠한 의도를 가진 손이나 몸 등의 움직임을 의미하며, 대개 인간의 주요 대화 수단인 음성의 보조 역할로 사용되어 원활한 의사 소통을 보조하는 기능을 수행한다. 이러한. 제스처는 때에 따라서는 음성 이상의 표현력을 갖기도 하며, 수화나 수신호 등은 언어적인 특질을 가진 독립적인 대화 수단으로 사용되고 있어 키보드나 마우스 같은 난해한 입력 인터페이스를 대신할 수 있는 차세대 인터페이스로 활용이 예사되고 있다.
특히 손동작은 제스처 중에서도 가장 많이 사용되는 동작이며, 일반 가정 생활이나 발표 영역 등에서는 간단한 응용을 통해서도 사용자들에게 편리함을 줄 수 있는 인터페이스의 역할을 제공할 수 있다. 즉, 윈도우 시스템의 제어나 TV 채널의 조절, 컴퓨터를 이용한 발표 등의 인터페이스 역할을 제공할 수 있을 것으로 예상되며 가상 환경의 인터페이스 역할로서 사용될 것으로 예상된다.
또한 수화 인식은 특히 언어 장애자를 위한 사용자 인터페이스 제공을 위하 여 많은 연구가 이루어지고 있다.
이러한 제스처 인식에 관해서 종래 기술로서는 다음과 같은 출원들이 존재한다.
우선 한국전자통신연구원에 의해서 1997년 5월 2일자로 출원되고, 1999년 11월 22일자로 등록된 "가상현실용 실시간 인터페이싱 시스템의 구성 및 그 동작방법"이라는 명칭의 특허등록번호 제10-0244523호에 따르면 센서 장갑을 통해 손의 움직임에 대한 실시간 정보를 컴퓨터로 보내어 다차원 정보를 분석하여 미리 분류된 손의 움직임 방향 및 손의 모양을 통하여 사람에 관계없이 손 제스처 인식을 할 수 있는 기술이 개시되어 있다.
또한 한국전자통신연구원에 의해서 1998년 11월 13일자로 출원되고, 2000년 6월 15일자로 공개된 "장갑장치를 이용한 연속된 손제스처 명령어 생성방법"이라는 명칭의 특허공개번호 제10-2000-32308호에 따르면 장갑을 낀 손의 움직임 속도와 속도 변화 요소를 이용하여 이 기본 요소의 인식을 바탕으로 의미 해석을 함으로써 다양한 제스처의 인식 및 확장이 가능한 시스템 구현 방법이 개시되어 있다.
그러나 이러한 센서 부착 장갑 장치를 이용한 손 제스처 인식은, 제어 시스템과 연결되는 장갑 장치라는 별도의 장치가 필요하고, 상기 장갑 장치를 포함한 제어 시스템에 새로운 기술이 부가되는 경우 시스템 전체를 다시 구현해야 한다는 점에서 범용성 및 확장성에 있어 문제점을 가지고 있다.
또한 마이크로소프트 코포레이션에 의해서 2004년 2월 27일자로 출원되고, 2004년 10월 11일자로 공개된 "제스처를 위한 동적 피드백"이라는 명칭의 특허공개 번호 제10-2004-86544호 또는 모토로라 인코포레이티드에 의해서 1997년 9월 8일자로 출원되고, 2000년 1월 13일자로 등록된 "직관적인 제스처-기반 그래픽 사용자 인터페이스"이라는 명칭의 특허등록번호 제10-0251662호는 스타일러스펜, 터치스크린 등의 포인팅 디바이스 기반의 제스처를 이용한 기술을 개시하고 있다.
이러한 포인팅 디바이스 기반의 인식 기술은 손영역을 추출하고 추출되는 손영역 정보의 이동 궤적을 기반으로 심리학자인 켄돈(Kendon)의 이론에 따라 핵심이 되는 키-제스처를 분리하고, 이를 통하여 추출된 키-제스처를 극좌표 파라메터 공간으로 투영하여 이를 HMM(히든 마코프 모델)을 통과시킴으로써 미리 학습된 제스처 인식 모델과 비교하여 최종 인식된 제스처를 출력하고 해당 명령을 수행하는 시스템을 개시하고 있다.
또한 한국전자통신연구원에 의해서 1997년 12월 6일자로 출원되고, 1999년 7월 5일자로 등록된 "손 영역 자동 추출 시스템 및 방법"이라는 명칭의 특허등록번호 제10-0243346호에 따르면 연속된 비디오 프레임에서 피부색을 이용하여 손영역을 추출하는 방법으로서 제스처인식을 위해 일반적으로 사용되는 RGB를 YIQ 변환하고 및 이에 따른 히스토그램 추출 방식을 사용하였으며 이러한 히스토그램 추출 후 마스킹 방식을 이용하여 고립 영역을 제거하고 피부 후보 영역을 확장하고 이로부터 최종 결정된 피부색 유사도 영상을 가변 임계치를 이용하여 이치화하는 방식을 사용한다. 이렇게 이치화된 영상은 최종적으로 면적에 대한 고려 및 이전 프레임과의 비교 등의 방식을 통해 최종 후보를 결정하며 또한 면적 및 위치 검증의 방식을 통해서도 2개 이상의 손 후보 영역이 추출 되었을 경우 이중 면적이 가장 큰 것을 최종 손 영역으로 인식하는 방식을 사용한다.
또한 한국과학기술원에 의해서 2001년 11월 5일자로 출원되고, 2004년 11월 10일자로 등록된 "손 지시 인식을 이용한 원격제어 시스템"이라는 명칭의 특허등록번호 제10-057929호에 따르면 3개의 팬틸트 제어 가능한 카메라 모듈을 이용하여 사람의 움직임을 감시하고 이로부터 적절하게 팬틸트 모듈을 이동하여 사람을 그 중앙에 위치토록 하고 그로부터 얼굴과 손을 추출한 후 상기 추출된 손의 형상으로부터 손의 위치 및 손이 가리키는 방향을 인식하여 해당 명령을 수행하는 방식을 개시하고 있다.
그러나 이러한 제스처 인식 시스템은 아직까지 연구 수준 또는 프로토타입 형태의 시스템만이 출시되고 있는 상황이다. 이는 카메라를 이용한 영상 기반의 제스처 인식 시스템이 가지는 배경 분리의 문제 및 정확한 손모양 검출의 어려움 등으로부터 기인하며 따라서 모든 상황에서 인식이 가능한 실용적인 제스처 시스템을 구현하는 것은 현재의 기술로는 매우 어려운 일이다.
본 발명의 목적은 종래의 터치스크린 등의 사용자 인터페이스 방식에 비해서 다양한 넓이의 전면 디스플레이 장치 상에서 제스처 인식을 위한 검출 영역의 확대 및 검출의 정밀도를 조절할 수 있으며 디스플레이 장치의 화면 상에 손을 직접 접촉하지 않더라도 다양한 명령을 직접 손의 형태에 따라 구현할 수 있으며 다수의 입력을 동시에 처리할 수 있는 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템을 제공하는 데 있다.
상기 기술적 과제를 달성하기 위하여, 본 발명은 프로그램 영상을 디스플레이하는 디스플레이 장치와, 상기 디스플레이 장치의 전면에 배치되며 상기 디스플레이 장치로부터의 상기 프로그램 영상과 외부의 사용자 제스처 영상을 표시하는 반투과 거울과, 상기 반투과 거울의 상단에 배치되어 상기 반투과 거울 표면에 비치는 상기 사용자 제스처 영상을 획득하는 영상 획득 장치와, 상기 영상 획득 장치로부터 획득한 상기 사용자 제스처 영상을 기초로 사용자 인터페이스 명령을 생성하며 이에 대응하여 상기 프로그램 영상을 제어하는 사용자 인터페이스 장치를 포함하는 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템을 제공한다.
본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서, 상기 영상 획득 장치는 상기 반투과 거울의 상단의 양 단부에 배치되어 각각 상기 사용자 제스쳐 영상을 획득하는 2개의 카메라일 수 있다.
또한 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서, 상기 카메라 각각은 상기 반투과 거울의 표시면 부분의 영상만을 획득하도록 미리 조절될 수 있다.
또한 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서, 상기 사용자 인터페이스 장치는, 상기 영상 획득 장치로부터 전송되는 상기 사용자 제스처 영상을 수신하는 영상 획득 인터페이스부와, 상기 영상 획득 인터페이스부에서 수신한 상기 사용자 제스처 영상을 신호 처 리하여 상기 사용자 인터페이스 명령을 생성하는 사용자 인터페이스 명령 생성부와, 상기 사용자 인터페이스 명령에 대응하여 상기 디스플레이 장치에 디스플레이할 상기 프로그램 영상을 생성하는 프로그램 영상 처리부와, 상기 프로그램 영상을 상기 디스플레이 장치로 출력하는 프로그램 영상 출력부를 포함할 수 있다.
또한 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서, 상기 사용자 인터페이스 명령 생성부는, 상기 영상 획득 인터페이스부로부터 전송되는 상기 사용자 제스처 영상을 이진화하여 이진화 사용자 제스처 영상으로 출력하는 이진화 변환부와, 상기 이진화 사용자 제스처 영상 중에서 상기 사용자 인터페이스 명령 생성을 위한 관심 영역을 추출하는 관심 영역 추출부와, 상기 추출된 관심 영역 중에서 상기 사용자 인터페이스 명령 생성을 위한 특징 정보를 추출하는 특징 추출부와, 상기 추출된 특징 정보를 기초로 상기 사용자 제스처 영상에 대응하는 상기 사용자 인터페이스 명령을 생성하는 제스처 인식부 를 포함할 수 있다.
또한 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서, 상기 이진화 변환부는, 상기 사용자 제스처 영상의 색공간을 RGB에서 YIQ로 변환하고 상기 YIQ 변환된 색공간의 I 성분의 값이 미리 지정된 범위내에 포함되는 지 여부를 기초로 상기 이진화를 수행할 수 있다.
또한 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서, 상기 관심 영역 추출부는, 상기 이진화 사용자 제스처 영상을 투영한 히스토그램 값을 기초로 상기 관심 영역을 추출할 수 있다.
또한 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서, 상기 관심 영역 추출부는, 상기 사용자 제스처 영상에 대응하여 사용자의 손가락이 상기 반투과 거울에 접촉하는 지 여부를 기초로 상기 관심 영역의 추출을 수행할 수 있다.
또한 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서, 상기 특징 추출부는, 상기 사용자 제스처 영상에 대응하여 사용자의 손가락 끝점의 위치를 상기 특징 정보로서 추출하는 손가락 끝점 위치 추출부를 포함할 수 있다.
또한 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서, 상기 특징 추출부는, 상기 손가락 끝점이 상기 반투과 거울에 접촉하는 지 여부를 검사하여 상기 특징 정보로서 추출하는 접촉 여부 검사부를 포함할 수 있다.
또한 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서, 상기 접촉 여부 검사부는, 상기 관심 영역의 이전 프레임과 현재 프레임을 비교하여 상기 접촉 여부를 검사할 수 있다.
또한 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서, 상기 특징 추출부는, 추출된 상기 손가락 끝점의 위치를 상기 반투과 거울 표면에서의 위치로 공간 변환하여 상기 특징 정보로서 추출하는 공간 변환부를 포함할 수 있다.
또한 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서, 상기 공간 변환부는 상기 공간 변환된 위치를 상기 영상 획득 장치와의 거리를 고려하여 보정할 수 있다.
또한 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서, 상기 특징 추출부는, 상기 추출된 관심 영역의 모양을 기초로 특징 벡터를 상기 특징 정보로서 추출할 수 있다.
또한 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서, 상기 제스처 인식부는, 상기 특징 추출부에서 추출된 상기 특징 정보를 기초로 패턴 인식을 수행할 수 있다.
또한 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서, 상기 패턴 인식은 상기 특징 정보와 미리 지정된 출력 패턴 사이에 최소 자승 에러가 미리 지정된 수준 이하가 될 때까지 가중치와 바이어스를 변경하여 반복적으로 수행될 수 있다.
이하, 본 발명의 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템을 첨부한 도면을 참조로 보다 구체적으로 설명한다.
도 1은 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템의 예시적인 블록도이다.
도시되듯이 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템은 디스플레이 장치(110)와, 반투과 거울(120)과, 영상 획득 장치(130a, 130b)와, 사용자 인터페이스 장치(140)를 포함한다.
디스플레이 장치(110)는 프로그램 영상을 디스플레이한다. 즉 디스플레이 장 치(110)는 예컨대 TV 또는 모니터 등의 영상 표시 장치이며, 또한 프로그램 영상은 예컨대 사용자 인터페이스 명령을 통하여 다양한 정보의 제공이 가능한 영상으로서 예컨대 키오스크 등에 설치되는 안내 영상 또는 응용 프로그램 영상 또는 기타 동영상 또는 웹페이지를 표시하는 영상 등일 수 있다.
반투과 거울(120)은 디스플레이 장치(110)의 전면에 배치되며 디스플레이 장치(110)로부터의 프로그램 영상과 외부의 사용자 제스처 영상을 표시한다. 즉 반투과 거울(120)의 성질상 뒷부분의 디스플레이 장치(110)로부터의 프로그램 영상을 반투과하여 표시하며 동시에 거울의 특징을 가지고 있으므로 반투과 거울(120) 앞에 위치한 사물이나 사람 등의 모습을 비출 수 있다. 본원 명세서에서는 이러한 반투과 거울(120)에 비치는 영상 중에서 특히 사용자 인터페이스 명령의 추출을 위한 사용자의 제스처 등의 영상을 사용자 제스처 영상이라 지칭한다.
영상 획득 장치(130a, 130b)는 반투과 거울(120)의 상단에 배치되어 반투과 거울(120) 표면에 비치는 사용자 제스처 영상을 획득한다. 도시되듯이 영상 획득 장치(130a, 130b)는 반투과 거울(120)의 상단의 양 단부에 배치되어 각각 사용자 제스쳐 영상을 획득하는 2개의 카메라로 구성될 수 있다.
이 경우 각 카메라는 반투과 거울120)의 표면 부분의 영상만을 획득하도록 미리 파라미터가 조절되어 효율적으로 사용자 제스쳐 영상을 획득하도록 구성될 수 있다.
사용자 인터페이스 장치(140)는 영상 획득 장치(130a, 130b)로부터 획득한 사용자 제스처 영상을 기초로 사용자 인터페이스 명령을 생성하며 이에 대응하여 프로그램 영상을 제어한다.
사용자 인터페이스 장치(140)에 대해서 좀 더 상세히 설명하면 다음과 같다.
도 2는 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 사용자 인터페이스 장치의 예시적인 블록도이다.
도시되듯이 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 사용자 인터페이스 장치(140)는 영상 획득 인터페이스부(210)와, 사용자 인터페이스 명령 생성부(220)와, 프로그램 영상 처리부(230)와, 프로그램 영상 출력부(240)를 포함한다.
영상 획득 인터페이스부(210)는 영상 획득 장치(130a, 130b)로부터 전송되는 사용자 제스처 영상을 수신한다. 영상 획득 인터페이스부(210)는 특히 2개의 카메라 형태로 영상 획득 장치(130a, 130b)가 구현되는 경우 각각의 카메라로부터의 사용자 제스처 영상을 별도로 수신하고 각각의 사용자 제스처 영상이 이후 처리되도록 한다.
사용자 인터페이스 명령 생성부(220)는 영상 획득 인터페이스부(210)에서 수신한 사용자 제스처 영상을 신호 처리하여 사용자 인터페이스 명령을 생성한다. 사용자 인터페이스 명령 생성부(220)의 상세한 사항에 대해서는 후술한다.
프로그램 영상 처리부(230)는 사용자 인터페이스 명령 생성부(220)에서 생성된 사용자 인터페이스 명령에 대응하여 디스플레이 장치(110)에 디스플레이할 프로그램 영상을 생성한다.
프로그램 영상 출력부(240)는 프로그램 영상 처리부(230)에서 생성된 프로그 램 영상을 디스플레이 장치(110)로 출력하는 인터페이스이다.
사용자 인터페이스 명령 생성부(220)에 대해서 좀 더 상세히 설명하면 다음과 같다.
도 3은 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 사용자 인터페이스 명령 생성부의 예시적인 블록도이다.
도시되듯이 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 사용자 인터페이스 명령 생성부(220)는 이진화 변환부(310)와, 관심 영역 추출부(320)와, 특징 추출부(330)와, 제스처 인식부(340)를 포함한다.
이진화 변환부(310)는 영상 획득 인터페이스부(210)로부터 전송되는 사용자 제스처 영상을 이진화하여 이진화 사용자 제스처 영상으로 출력한다.
이러한 이진화는 예컨대 다음과 같이 수행될 수 있다.
우선 사용자 제스처 영상의 색공간을 변환한다. 예컨대 RGB 이미지를 YIQ로 변환을 수행하는 것이다.
이후 I(hue) 성분만을 획득하여 이를 기초로 이진화를 수행한다. 즉 I 값이 미리 지정된 범위 이내인 경우에는 "1"로 범위 밖인 "0"으로 이진화를 수행하는 것이다. 예컨대 I값이 10 이상이고 45 미만인 경우에는 "1"로 이진화를 수행하는 것이다.
이러한 이진화를 통한 이진화 사용자 제스처 영상은 다른 다양한 이진화 알 고리즘이 사용될 수 도 있다. 다만 본 발명에서의 영상 획득 장치(130a, 130b)가 2개의 카메라 형태로 구현되고 각 카메라가 반투과 거울(120)의 상단에서 아래를 내려다보도록 배치하여 주변 영상을 제한하고 있는 것을 가정한다면, 사용자의 얼굴, 손 등 다양한 신체 부위가 카메라로 입력되기 보다는 사용자의 손 부분만이 입력된다고 가정할 수 있다. 따라서 복잡한 이진화 알고리즘을 수행하지 않더라도 간단한 비교를 통하여 이진화가 가능하다.
도 4는 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 이진화 사용자 제스처 영상의 생성을 예시적으로 나타내는 도면이다. 도시되듯이 입력되는 사용자 제스처 영상에 대해서 YIQ로 변환하고 I 성분 값을 기초로 이진화를 수행하는 과정이 도시된다.
관심 영역 추출부(320)는 이진화 변환부(310)의 이진화 사용자 제스처 영상 중에서 사용자 인터페이스 명령 생성을 위한 관심 영역을 추출한다.
이진화 변환부(310)를 통하여 이진화 사용자 제스처 영상이 구해진 후에는 이러한 이진화 사용자 제스처 영상 중에서 사용자 인터페이스 명령 생성을 위한 관심 영역을 추출하여야 한다. 예컨대 사용자 인터페이스 명령이 사용자의 손을 기초로 생성된다면 해당 영역, 즉 사용자의 손 영역만을 추출하여야 한다.
이진화 사용자 제스처 영상으로부터 관심 영역을 추출하기 위해서는 다음과 같은 방법을 사용할 수 있다.
우선 이진화 사용자 제스처 영상에서 인접 픽셀을 중심으로 연결된 방향을 찾아가며 연결된 부분들을 그룹으로 묶어서 후보 영역을 찾아내고, 이후 후보 영역 의 유효성을 가리기 위한 분류 작업을 수행하여 관심 영역을 추출하는 방식, 즉 레이블링 방법을 사용할 수 있다. 그러나 이러한 경우에는 잡음에 따라 고립 영역 또는 끊어진 영역의 수가 증가할 수 있고, 이 경우 영역들을 연결해 주는 그룹핑 알고리즘이 추가적으로 필요하는 등 연산 과정이 복잡해진다는 단점이 있다.
전술한 바와 같이 다만 본 발명에서의 영상 획득 장치(130a, 130b)로부터 주로 사용자의 손 부분만이 입력된다고 가정한다면, 후보 영역의 개수는 사용자의 손과 반투과 거울(120)에 비친 사용자의 손 등 2개와 기타 물체 등으로서 제한될 수 있다. 따라서 시스템 구현이 복잡하고 많은 연산량을 요구하는 레이블링 방식을 이용하는 대신 투영 방식을 이용하여 관심 영역을 추출할 수 있다.
즉 이진화 사용자 제스처 영상을 가로축 또는 세로축으로 투영한 히스토그램 값을 기초로 관심 영역을 추출할 수 있다.
또한 이 경우 사용자 제스처 영상에 대응하여 사용자의 손가락이 반투과 거울(120)에 접촉하는 지 여부를 기초로 관심 영역의 추출을 수행할 수 있다. 이러한 관심 영역의 추출은 이후 특징 추출부(330)에서의 손가락 끝점 위치 추출과도 관련된다.
도 5는 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 관심 영역의 추출과 이에 따른 손가락 끝점 위치 추출을 예시적으로 나타내는 도면이다.
도 5에 도시되듯이 관심 영역을 구하기 위해서 가로축 또는 세로축에 투영한 히스토그램 값을 구하고 각 가로축 세로축 투영 값이 최대값을 가지는 지점을 중심 으로 검색을 수행하여 밀도가 0이 되는 지점이 나올 때까지 검색한다(도 5의 horizontal search/Vertical Search 참조). 이러한 검색은 밀도가 0이 되는 지점이 나올 때까지 수행한다.
또한 세로축에 대해서는 손가락이 거울면에 접촉하거나 거울면 가까이에 위치할 경우가 발생할 수 있다.
도 6 내지 도 8은 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 관심 영역의 추출과 이에 따른 손가락 끝점 위치 추출에서의 손가락 위치에 대한 검색을 예시적으로 나타내는 도면이다.
도시되듯이 2개의 영역이 존재할 수 있으므로 최대 2회에 걸쳐서 검색을 수행하며, 2번째 검색을 수행하는 경우는 첫 번째 검색하지 않은 영역에 대해서 검색을 수행한다. 이 경우 도 6의 경우(<1>)와, 도 7의 경우(<2>)와, 도 8의 경우(<3>)와 같은 3가지 경우가 발생할 수 있다. 즉 <1>의 경우에는 1차 검색된 영상의 크기는 정상이나 나머지 영역에서 검색된 영상의 크기가 작은 경우이고, <2>의 경우는 1차 검색 및 나머지 영역 영상의 크기가 정상인 경우 <3>의 경우는 손가락이 접촉된 경우이다.
따라서 1차 검색된 영상이 충분한 크기를 가지고 있으나 2차 검색된 영상이 상대적으로 작은 크기를 가지고 있을 경우에는 2차 검색에서 검색된 영상이 잡음일 가능성이 농후하므로 2차 검색된 영상을 무시할 수 있다.
또한 이러한 검색(도 5의 horizontal search/Vertical Search 참조)을 통하여 손가락 끝점의 위치를 획득할 수 있다.이러한 손가락 끝점의 위치 회득에 대해 서는 후술한다.
특징 추출부(330)는 관심 영역 추출부(320)에 의해서 추출된 관심 영역 중에서 사용자 인터페이스 명령 생성을 위한 특징 정보를 추출한다.
특징 추출부(330)는 사용자 제스처 영상에 대응하여 사용자의 손가락 끝점의 위치를 특징 정보로서 추출하는 손가락 끝점 위치 추출부(도시되지 않음)를 포함할 수 있다.
이 경우 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에서 반투과 거울(120) 표면에 손이 맞닿아 있는 경우 뿐 아니라 표면과 손가락이 떨어져 있는 경우에도 제스처 인식을 수행할 수 있어야 하므로, 손가락 끝점 위치는 2차원 공간 상의 영상 좌표 뿐 아니라 반투과 거울(120)을 이용하여 비친 영역 간의 거리를 포함하는 3차원 벡터 즉 도 5에서 (xc, yc, zc)의 형태로 구성된다.
손가락 끝점의 좌표는 영상 획득 장치(130a, 130b), 즉 카메라가 아래를 내려다보고 있다는 것에 근거해서 손 영역의 세로축으로는 최하단의 좌표를 설정하고 가로 축으로는 이미 구한 세로축의 최하단 좌표에서 평균점의 좌표를 구하는 방식을 이용하며 도 5에서 두 히스토그램이 0이 되는 간격을 비교하면 원래의 사용자의 손에 대한 영상과 반투과 거울(120) 표면에 투영된 영상 사이의 거리를 측정할 수 있고 따라서 손가락이 실제 반투과 거울(120) 표면으로부터 떨어져 있는 거리를 구할 수 있다.
또한 이 경우에는 반투과 거울(120)에 손가락이 접촉하는 경우에 대해서는 손가락 끝점의 위치를 구할 수 없다는 단점이 있다. 즉 손가락이 접촉하는 경우의 이진화 사용자 제스처 영상은 손 영역과 반투과 거울(120) 표면에 비친 손 영역이 붙어 있는 상태가 되기 때문이다. 따라서 특징 추출부(330)는 손가락 끝점이 반투과 거울(120)에 접촉하는 지 여부를 검사하여 특징 정보로서 추출하는 접촉 여부 검사부(도시되지 않음)를 포함할 수 있다.
손가락이 반투과 거울(120)과 접촉하는 지 여부는 관심 영역 추출부(320)에서의 관심 영역을 추출에 대한 도 8의 경우에서와 같이 2개의 분리된 영역이 발생되지 않고 하나로 연결된 이진화 영상이 발생되므로 쉽게 확인할 수 있으나 반투과 거울(120) 표면에서 손이 너무 멀리 떨어져 있어 반투과 거울(120)에 비친 한 개의 영역 만이 카메라의 시야 내에 들어오는 경우도 하나의 이진화 영상이 발생될 수 있다는 문제점이 있다.
따라서 관심 영역의 이전 프레임과 현재 프레임을 비교하여 접촉 여부를 검사할 수 있다. 즉 손가락의 접촉 여부를 1) 접촉상태가 계속 유지되는 경우 2) 이전프레임에서는 반투과 거울(120)에 접촉되지 않았다가 이후 접촉되는 경우 프레임당 이동 가능한 일정거리 또는 영상 획득 장치의 시야각 이내의 범위에 두개의 손 영역이 검출되었다가 하나로 합쳐질 경우로 국한하고 이 경우에 반투과 거울(120)에 손가락이 접촉되었다고 판단하는 것이다.
즉 현재 프레임의 후보 영역의 개수가 1이고, 동시에 이전 프레임의 후보 영역수가 1 또는 2인 경우가 접촉 여부의 판단 대상이 된다.
이 경우 이전 프레임의 후보 영역 수가 1이 경우라면 이전 프레임에서 접촉으로 판단하는 경우 현재 프레임에서도 접촉으로 판단하고 접촉이 아니라고 판단하는 경우에는 현재 프레임에서도 접촉이 아니라고 판단한다.
또한 이전 프레임의 후보 영역 수가 2라면, 두 개의 후보 영역 사이의 거리가 일정 값 이내인 경우에는 접촉으로, 일정값 이상이면 미접촉으로 판단할 수 있다.
이러한 과정으로 손가락이 반투과 거울(120)에 접촉된 것으로 판단될 경우에는 손가락 영상과 거울에 비친 손 영역의 픽셀 값은 거의 동일한 값을 가진다고 가정할 수 있다. 또한 반투과 거울(120) 면과 수평에 가깝도록 광축을 설정하였다고 가정하면 손가락 끝점이 위치하는 가로축을 중심으로 위 영역과 아래 영역은 거의 대칭을 이룬다고 생각할 수 있다.
따라서 손가락 끝점의 위치를 중심으로 영역을 나눴을 때, 위 영역과 아래 영역 사이의 유사도는 다른 위치에서 분리한 것에 비해 더 클 것임을 가정할 수 있으며 손가락이 반투과 거울(120)에 접촉되기 이전의 프레임에서 검출된 손가락 끝점을 기준으로 주변을 검색해서 최대 유사성을 가지는 좌표를 찾으면 그 좌표를 손 가락 끝점으로 간주할 수 있다.
도 9는 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 상관 계수를 이용한 접촉 여부의 판단을 예시적으로 나타내는 도면이다.
도 9에 도시되듯이 유사성 측정에 사용되는 영역은 연산량을 고려하여이전 프레임 영역의 세로 길이의 1/3에 해당하는 높이와 손가락 끝점을 중심으로 좌우로 30픽셀의 폭을 가지는(최대 61픽셀의 폭을 가지는) 영역을 위 영역으로 두고, 아래 영역은 위 영역과 동일을 크기를 가지는 바로 아래 영역으로 설정하여 유사도를 측정한다.
이 경우 유사성을 측정하는 기준으로는 상관 계수를 사용할 수 있다. 상관 계수는 다음 수학식 1과 같이 표현할 수 있으며, 또한 이러한 상관 계수의 이용시 배경에 의한 영향을 최소화하기 위해서 이진 영상이 아니라 도 4의 YIQ색 공간에서 I 성분을 사용하여 상관 계수를 측정할 수 있다.
Figure 112007001532473-PAT00001
Figure 112007001532473-PAT00002
위 식에서 는 상관 계수를 나타내며, 이때 V1과 V2는 각각 위 영역과 아래 영역의 I 성분 값을 가지고 있는 벡터로써 두 벡터는 같은 길이를 가지며, 동일 인덱스에는 대칭되는 위치의 값을 가지는 순서로 구성되어 있다.
각각의 구성 요소는 아래와 수학식 2로 표시할 수 있다.
Figure 112007001532473-PAT00003
여기서 Corr(V1, V2)는 상관도, E[V1 2], E[V2 2]는 각 영역에 대한 벡터의 제곱 평균, E[V1], E[V2]는 벡터의 평균을 나타낸다.
수학식 1 내지 수학식 2를 통하여 최대 상관 계수의 좌표를 찾으면, 손가락 끝점의 세로축 좌표를 알아 낼 수 있다. 가로축 좌표는 다시 도 5에서 같이 이진화 사용자 제스처 영상에서 평균점의 좌표를 이용하면 쉽게 구할 수 있다. 이와 같은 과정을 거쳐서 손가락이 거울 면에 접촉하였을 경우에도 손가락 끝점의 위치 좌표를 검출해 낼 수 있다.
한편 이와 같은 과정을 통하여 손가락 끝점의 위치를 구한 경우 이는 이진화 사용자 제스처 영상 상에서의 정보이며 따라서 실제 반투과 거울(120) 면에서의 위치로 변환하는 과정이 필요하다.
이를 위하여 특징 추출부(330)는 추출된 손가락 끝점의 위치를 반투과 거울(120) 표면에서의 위치로 변환하여 특징 정보로서 추출하는 공간 변환부(도시되지 않음)를 포함할 수 있다.
이러한 공간 변환은 영상 획득 장치(130a, 130b), 즉 카메라의 내부 매개 변수 또는 외부 매개 변수를 구하는 과정으로 캘리브레이션을 이용하거나 영상의 특징점 매칭을 통하여 구현할 수 있다.
그러나 이와 같은 과정은 여러 각도에서 카메라로부터 받아들인 여러 장의 영상이 필요하며 카메라의 위치가 조금만 바뀌더라도 다시 캘리브레이션을 수행해야 하는 단점이 있으며, 본 발명에서와 같이 카메라의 위치가 반투과 거울(120) 표면에 국한되도록 하는 제약성으로 인해서 캘리브레이션 물체를 위한 충분한 시야가 확보되지 못하는 단점이 있다. 따라서 공간 변환시 카메라 시야의 제한을 고려하여 카메라의 위치가 바뀌거나 움직이더라도 쉽고 빠르게 변환 파라미터를 얻기 위해서 근사 변환 함수를 이용한 공간 변환을 수행할 수 있다..
즉 공간 변환은 영상 획득 장치(130a, 130b)에서 입력으로 들어오는 좌표는 3차원 좌표가 들어오는데 비해, 실제로 필요한 것은 반투과 거울(120) 표면에서의 2차원 좌표이기 때문에 3차원 공간을 2차원 평면으로 변환하는 과정이다.
이러한 변환 과정을 일반적인 비선형 변환 함수로 가정할 수 있고, 이 함수를 테일러 급수(Talyor Series)로 전개 했을 때, 비교적 낮은 차수를 가지는 항만을 보존함으로써 근사된 식을 얻을 수 있다.
다만 실제로 공간 변환에 적용할 때는 고차항의 매개변수는 다른 변수와 상 관관계가 있는 항들이 우선적으로 고려된다(예를 들어, 같은 2차 항이지만 x2보다는 xy 항이 우선적으로 고려된다.)
이 과정을 수행하기 위해서 8점 방식(eight-point method)을 사용하였다. 8점 방식의 경우 2차원 평면을 또 다른 2차원 평면으로 변환 시킬 때에는 함수의 매개변수는 8개로 충분하다는 것이 알려져 있다. 또한 4개의 미리 정의된 좌표를 이용할 때 8개의 변수를 구할 수 있다. 이 경우 매개변수가 너무 적으면 실제 변환 함수를 온전히 표현하지 못하며, 매개변수가 너무 많으면, 약간의 오차에도 결과가 민감하게 변하므로 불안정한 변환이 된다.
본 발명에서의 공간 변환은 3차원 좌표를 2차원 평면으로 변환 시키는 과정이 필요하므로 매개 변수는 8개보다 충분히 많을 필요가 있다.
따라서 예시적으로 16개의 매개변수를 사용하였고, 8개의 미리 정의된 좌표가 있다면 변환 함수의 16개의 매개변수를 구할 수 있다. 8개의 미리 정의된 좌표는 인식할 영역을 알려주는 좌표로써 인식할 직사각형 영역의 코너 좌표 값을 미리 저장해 두는 것이다.
도 10은 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 공간 변환을 위한 매개 변수 설정을 예시적으로 나타내는 도면이다.
도시되듯이 미리 정의된 좌표 중에서 4개의 좌표는 반투과 거울(120)에 접촉한 상태에서 추출되며, 나머지 4개의 좌표는 같은 위치에서 반투과 거울(120) 면에 서 손을 약간 띄운 상태로 추출할 수 있다.
이렇게 8개의 좌표를 구한 후에 이를 변환 함수에 적용하면 매개 변수를 구할 수 있다.
Figure 112007001532473-PAT00004
위 식에서 p0 내지 p7, q0 내지 q7은 변환 함수의 매개변수를 나타내며 Lx는 인식 영역의 x축의 길이, Ly는 인식 영역의 y축 길이를 나타낸다. 나머지 변수는 좌표 값으로써 도 10에서 표현된 좌표 값이다.
이러한 매개 변수는 영상 획득 장치, 즉 카메라의 상대적인 위치와 방향을 조정하면 다시 획득필요가 있다.
이렇게 구해진 매개변수를 이용해서 각 프레임에 들어오는 사용자 제스처 영상에서 손가락 끝점의 위치의 좌표 즉 도 5에서 (xc, yc, zc)를 구한 후에 이 좌표와 다음 수학식 4를 이용하면 공간 변환된 손가락 끝점의 반투과 거울(120) 표면에서의 위치 (x', y')를 구할 수 있다.
Figure 112007001532473-PAT00005
한편 영상 획득 장치가 위에서 아래를 내려다보고 있는 것으로 가정하였으므로 사용자가 정한 인식 영역에서 위쪽 영역과 아래쪽 영역은 영상 획득 장치와의 거리가 다르다. 즉 카메라에 들어오는 영상은 동일한 물체라도 카메라와의 거리에 따라 가까우면 크게 보이고, 멀어지면 작게 보인다. 따라서 이러한 거리를 기초로 변환된 위치 (x', y')의 조정을 수행하는 경우 좀 더 정확한 공간 변환이 가능해 진다.
도 11은 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 거리를 기초로 한 위치 보정을 예시적으로 나타내는 도면이다.
도시되듯이 카메라와의 거리와 실제 물체의 길이와의 관계는 반비례 관계로 모델링할 수 있다. 따라서 카메라에서 일정한 속도를 가지고 멀어진다고 하더라도 실제 영상 내에서 이동은 점차적으로 속도가 감소하는 것처럼 보일 것이다. 이러한 사항은 카메라에서 가까운 영역과 먼 영역 사이의 영상 내에서 해상도 차이가 발생하여 같은 거리를 동일한 크기의 픽셀의 크기로 표현하지 않기 때문이다.
따라서 이러한 거리에 따른 해상도 차이를 보정할 때 공간 변환 성능을 높일 수 있다.
본 발명에서는 카메라와의 거리에 따라 달라지는 이러한 비선형적인 관계를 고려해 주기 위해 거리 모델을 사용하였는데, 이것은 카메라와 거리가 멀어질수록 물체의 영상 내에서의 크기는 반비례 한다는 가정에 근거한 것이다.
이 가정에 근거해서 도 11에서와 같이 영상 내에서 받아들인 위쪽 코너와 아래쪽 코너 간의 가로축 상의 거리를 영상 내에서 하나의 물체의 길이로 생각하여 모델링하였다. 영상 내에서의 물체의 길이는 카메라와의 거리에 반비례하므로 위쪽 영역과 아래쪽 영역이 카메라에서 얼마나 떨어졌는지 그 거리의 비를 구할 수 있다. 이를 이용해서 거리 모델을 이용한 위치 보정식의 매개변수를 구할 수 있으며, 이를 통하여 보정된 위치의 y좌표 값( yfit) 은 다음 수학식 5로 표현될 수 있다.
Figure 112007001532473-PAT00006
위 식에서 a와 b, Lp는 도 11에서의 거리 모델의 매개변수이며, 다음 수학식 6과 같이 표현될 수 있다.
Figure 112007001532473-PAT00007
즉 도 11과 수학식 6을 통하여 매개 변수를 구한 후 수학식 5를 통하여 변환된 위치 (x', y')의 y좌표값을 보정하는 것이다. 최종적으로 보정된 위치는 (x, yfit) 가 될 수 있다.
또한 특징 추출부(330)는 추출된 관심 영역의 모양을 기초로 특징 벡터를 특징 정보로서 추출하는 특징 벡터 추출부(도시되지 않음)를 포함할 수 있다.
도 12는 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 특징 벡터의 추출을 예시적으로 나타내는 도면이다.
즉 사용자의 손 모양 제스처를 인식하기 위해서는 관심 영역의 특징을 추출하는 과정이 필요하다. 그러나 영상 획득 장치의 시야 제한으로 인하여 관심 영역에 손 전체가 들어가지 못하고 손의 일부분만 잘려서 입력되는 경우가 있다. 따라서 기존의 손 전체를 이용하여 제스처를 인식하는 경우에 비해서 손 영역의 특징이 제한을 받는 경우가 발생할 수 있다. 따라서 동작의 확실성을 위해서 비교적 구분이 확연히 될 수 있도록 도 12에 예시적으로 도시되었듯이 일자 모양인 경우와 집 게 모양인 경우 두 가지의 인식이 가능하도록 특징 벡터를 추출할 수 있다.
사용자 제스처 영상으로 입력되는 손 영역은 옆으로 기울어질 수도 있으며, 위치에 따라 조금씩 내부 밝기 값이 달라질 수 있다. 이러한 변화에 강인한 특징을 얻기 위해서 일자 모양의 손과 집게 모양의 손에 대해서 특징 벡터를 추출하여 인식이 용이하게 수행될 수 있도록 한다.
즉 이러한 모양의 특징은 일자 모양의 손의 경우 영역에서 손가락의 너비가 비교적 일정하게 유지된다는 것이고, 집게 모양의 손은 너비가 변화한다는 것이다.
이러한 특성에 착안하여 이진화한 관심 영역에서 손가락 끝점에서부터 시작하여 위 방향으로 손의 너비 값들을 성분으로 가지는 특징 벡터를 추출할 수 있다.
또한 이 경우 정규화를 거쳐서 각 모양에 대한 특징 벡터를 추출할 수 있다.
이러한 방식으로 특징 정보를 추출한 이후, 제스처 인식부(340)는 특징 추출부(330)에서 추출된 특징 정보를 기초로 사용자 제스처 영상에 대응하는 사용자 인터페이스 명령을 생성한다.
이 경우 패턴 인식을 수행하여 사용자 제스처 영상이 어떤 명령에 대응하는 지 확인할 수 있다.
예컨대 특징 벡터를 추출한 경우 이를 이용하여 여러 장의 사용자 제스처 영상에서 패턴 인식을 수행할 수 있다.
이 경우 사용되는 패턴 인식 알고리즘에는 여러 가지 종류가 있으나, 특징 벡터의 차원이 크기 않으며, 어느 정도 뚜렷이 구분되는 두 가지 손 모양에 대해 인식하는 비교적 단순한 인식을 수행하는 경우 다중 계층 피드포워드 신경 망(multilayer feedforward neural networks)을 이용하여 패턴 인식이 가능하다. 또한 패턴 인식을 위한 학습은 백프로파게이션(back-propagation) 알고리즘을 사용할 수 있다. 그러나 이러한 알고리즘들 이외에 다양한 패턴 인식 알고리즘을 적용할 수 있다.
이러한 패턴 인식은 특징 정보와 미리 지정된 출력 패턴 사이에 최소 자승 에러가 미리 지정된 수준 이하가 될 때까지 가중치와 바이어스를 변경하여 반복적으로 수행되는 것이 바람직하다.
즉 백프로파게이션 알고리즘을 적용하는 경우 가중치와 바이어스를 다음 수학식 7과 같이 반복적으로 조정할 수 있다.
Figure 112007001532473-PAT00008
수학식 7은 k번째 단계에서 k+1번째 단계로 반복(iteration)을 통해서 가중치(w)와 바이어스(b)가 계속적으로 갱신되는 것을 나타내며, α는 학습 레이트(learning rate)로 학습의 추이에 따라 변화될 수 있다.
학습이 종료된 다음에는 가중치와 바이어스를 이용해서 매트릭스 연산을 하고 수학식 8과 같은 함수를 통하여 결과값이 0에서 1사이의 값을 가지도록 한다.
Figure 112007001532473-PAT00009
일반적인 이진 분류기에서는 분류를 위한 결정 문턱 값을 0.5로 두어서 그 값을 기준으로 클래스를 분류한다. 그러나 본 발명에서는 보다 안정적인 제스처 인식을 위해서 문턱 값을 수정하였다. 그 이유는 손 모양은 훈련에 사용한 두 가지 제스처 말고도 무수히 많은 제스처가 존재 할 수 있기 때문이다. 따라서 확실한 제스처만 인식하기 위해서 현재의 제스처 인식 상태에 따라서 문턱 값을 적응적으로 변화시켰다.
또한 본 발명의 경우 영상 획득 장치로서 카메라 2개를 사용하는 것에 의해서 안정성을 높일 수 있다. 즉 카메라를 1개만 사용하는 경우 한 카메라의 입력 영상에서 제스처가 잘못 판단되어 바뀔 수 있지만, 현재 제스처 상태에서 다른 제스처로 넘어가기 위해서는 2개의 카메라의 입력이 동시에 다른 제스처를 가리키고 있을 때에만 넘어갈 수 있다는 제약 조건을 설정할 수 있기 때문이다. 이렇게 하면 부정확한 제스처의 변화가 줄어들 수 있다는 장점이 있다.
이와 같은 본 발명에 따른 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템에 있어서 클릭, 드래깅 등과 같은 가장 기본적인 사용자 인터페이스 동작을 모사할 수 있으며 특히 터치 스크린 등을 부착할 수 없는 사용자 인터페이스 시스템이나 기존의 터치스크린이 적용될 수 없는 대형의 시스템에서 터치스크린의 동작을 모사할 수 있다는 장점이 있다. 또한 종래의 터치스크린과는 달리 굳이 거울 면에 접촉하지 않고 거울과 일정거리를 유지한 상태에서 사용자가 제스처 동작을 수행하여도 마우스의 동작을 모사할 수 있다는 장점도 있다.
또한 기존의 터치스크린은 반드시 스크린상에 하나의 포인팅 위치만을 즉, 한 번에 하나의 포인팅 위치만을 인식할 수 있다는 단점이 있는 반면에 본 발명의 사용자 인터페이스 시스템의 경우에는 다수의 사용자가 다수의 포인팅을 수행하는 것을 허용하므로 다수의 사용자가 스크린을 공유하는 협업 시스템의 경우에도 적용이 가능하다는 장점이 있다.
비록 본 발명의 구성이 구체적으로 설명되었지만 이는 단지 본 발명을 예시하기 위한 것이며, 본 발명의 보호 범위가 이들에 의해 제한되는 것은 아니며, 본 발명의 보호 범위는 청구범위의 기재를 통하여 정하여진다.
이상 설명한 바와 같이, 본 발명에 따르면 종래의 터치스크린 등의 사용자 인터페이스 방식에 비해서 다양한 넓이의 전면 디스플레이 장치 상에서 제스처 인식을 위한 검출 영역의 확대 및 검출의 정밀도를 조절할 수 있으며 디스플레이 장치의 화면 상에 손을 직접 접촉하지 않더라도 다양한 명령을 직접 손의 형태에 따라 구현할 수 있으며 다수의 입력을 동시에 처리할 수 있다.

Claims (16)

  1. 프로그램 영상을 디스플레이하는 디스플레이 장치와,
    상기 디스플레이 장치의 전면에 배치되며 상기 디스플레이 장치로부터의 상기 프로그램 영상과 외부의 사용자 제스처 영상을 표시하는 반투과 거울과,
    상기 반투과 거울의 상단에 배치되어 상기 반투과 거울 표면에 비치는 상기 사용자 제스처 영상을 획득하는 영상 획득 장치와,
    상기 영상 획득 장치로부터 획득한 상기 사용자 제스처 영상을 기초로 사용자 인터페이스 명령을 생성하며 이에 대응하여 상기 프로그램 영상을 제어하는 사용자 인터페이스 장치
    를 포함하는 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템.
  2. 제1항에 있어서,
    상기 영상 획득 장치는 상기 반투과 거울의 상단의 양 단부에 배치되어 각각 상기 사용자 제스쳐 영상을 획득하는 2개의 카메라인 것인 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템.
  3. 제2항에 있어서,
    상기 카메라 각각은 상기 반투과 거울의 표시면 부분의 영상만을 획득하도록 미리 조절되는 것인 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템.
  4. 제1항에 있어서, 상기 사용자 인터페이스 장치는,
    상기 영상 획득 장치로부터 전송되는 상기 사용자 제스처 영상을 수신하는 영상 획득 인터페이스부와,
    상기 영상 획득 인터페이스부에서 수신한 상기 사용자 제스처 영상을 신호 처리하여 상기 사용자 인터페이스 명령을 생성하는 사용자 인터페이스 명령 생성부와,
    상기 사용자 인터페이스 명령에 대응하여 상기 디스플레이 장치에 디스플레이할 상기 프로그램 영상을 생성하는 프로그램 영상 처리부와,
    상기 프로그램 영상을 상기 디스플레이 장치로 출력하는 프로그램 영상 출력부
    를 포함하는 것인 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템.
  5. 제4항에 있어서, 상기 사용자 인터페이스 명령 생성부는,
    상기 영상 획득 인터페이스부로부터 전송되는 상기 사용자 제스처 영상을 이진화하여 이진화 사용자 제스처 영상으로 출력하는 이진화 변환부와,
    상기 이진화 사용자 제스처 영상 중에서 상기 사용자 인터페이스 명령 생성 을 위한 관심 영역을 추출하는 관심 영역 추출부와,
    상기 추출된 관심 영역 중에서 상기 사용자 인터페이스 명령 생성을 위한 특징 정보를 추출하는 특징 추출부와,
    상기 추출된 특징 정보를 기초로 상기 사용자 제스처 영상에 대응하는 상기 사용자 인터페이스 명령을 생성하는 제스처 인식부와,
    를 포함하는 것인 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템.
  6. 제5항에 있어서, 상기 이진화 변환부는,
    상기 사용자 제스처 영상의 색공간을 RGB에서 YIQ로 변환하고 상기 YIQ 변환된 색공간의 I 성분의 값이 미리 지정된 범위내에 포함되는 지 여부를 기초로 상기 이진화를 수행하는 것인 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템.
  7. 제5항에 있어서, 상기 관심 영역 추출부는,
    상기 이진화 사용자 제스처 영상을 투영한 히스토그램 값을 기초로 상기 관심 영역을 추출하는 것인 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템.
  8. 제7항에 있어서, 상기 관심 영역 추출부는,
    상기 사용자 제스처 영상에 대응하여 사용자의 손가락이 상기 반투과 거울에 접촉하는 지 여부를 기초로 상기 관심 영역의 추출을 수행하는 것인 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템.
  9. 제5항에 있어서, 상기 특징 추출부는,
    상기 사용자 제스처 영상에 대응하여 사용자의 손가락 끝점의 위치를 상기 특징 정보로서 추출하는 손가락 끝점 위치 추출부를 포함하는 것인 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템.
  10. 제9항에 있어서, 상기 특징 추출부는,
    상기 손가락 끝점이 상기 반투과 거울에 접촉하는 지 여부를 검사하여 상기 특징 정보로서 추출하는 접촉 여부 검사부를 포함하는 것인 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템.
  11. 제10항에 있어서, 상기 접촉 여부 검사부는,
    상기 관심 영역의 이전 프레임과 현재 프레임을 비교하여 상기 접촉 여부를 검사하는 것인 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템.
  12. 제9항에 있어서, 상기 특징 추출부는,
    추출된 상기 손가락 끝점의 위치를 상기 반투과 거울 표면에서의 위치로 공간 변환하여 상기 특징 정보로서 추출하는 공간 변환부
    를 포함하는 것인 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템.
  13. 제12항에 있어서, 상기 공간 변환부는
    상기 공간 변환된 위치를 상기 영상 획득 장치와의 거리를 고려하여 보정하는 것인 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템.
  14. 제5항에 있어서, 상기 특징 추출부는,
    상기 추출된 관심 영역의 모양을 기초로 특징 벡터를 상기 특징 정보로서 추출하는 것인 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템.
  15. 제5항에 있어서, 상기 제스처 인식부는,
    상기 특징 추출부에서 추출된 상기 특징 정보를 기초로 패턴 인식을 수행하는 것인 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템.
  16. 제15항에 있어서,
    상기 패턴 인식은 상기 특징 정보와 미리 지정된 출력 패턴 사이에 최소 자 승 에러가 미리 지정된 수준 이하가 될 때까지 가중치와 바이어스를 변경하여 반복적으로 수행되는 것인 제스처 인식 기능을 이용한 반투과 거울 기반 사용자 인터페이스 시스템.
KR1020070001889A 2007-01-08 2007-01-08 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템 KR100862349B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070001889A KR100862349B1 (ko) 2007-01-08 2007-01-08 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070001889A KR100862349B1 (ko) 2007-01-08 2007-01-08 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템

Publications (2)

Publication Number Publication Date
KR20080065032A true KR20080065032A (ko) 2008-07-11
KR100862349B1 KR100862349B1 (ko) 2008-10-13

Family

ID=39816026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070001889A KR100862349B1 (ko) 2007-01-08 2007-01-08 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템

Country Status (1)

Country Link
KR (1) KR100862349B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100980202B1 (ko) * 2008-10-30 2010-09-07 한양대학교 산학협력단 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법
KR101299300B1 (ko) * 2009-11-06 2013-08-26 소니 주식회사 실시간 손 추적, 포즈 분류 및 인터페이스 제어
CN103479140A (zh) * 2013-09-10 2014-01-01 北京恒华伟业科技股份有限公司 一种智能镜子
CN103869970A (zh) * 2012-12-18 2014-06-18 现代自动车株式会社 通过2d相机操作用户界面的系统和方法
KR20160056338A (ko) * 2014-11-10 2016-05-20 주식회사 콕스 제스처 인식기능을 갖는 디지털 미러
US9563277B2 (en) 2011-03-16 2017-02-07 Samsung Electronics Co., Ltd. Apparatus, system, and method for controlling virtual object
CN108369454A (zh) * 2015-12-21 2018-08-03 宝马股份公司 显示设备和操作装置
CN110580115A (zh) * 2019-09-19 2019-12-17 京东方科技集团股份有限公司 一种镜面显示装置及控制方法
US10974537B2 (en) 2019-08-27 2021-04-13 Advanced New Technologies Co., Ltd. Method and apparatus for certificate identification
US11003957B2 (en) 2019-08-21 2021-05-11 Advanced New Technologies Co., Ltd. Method and apparatus for certificate identification

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050052427A1 (en) 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
KR20060116940A (ko) * 2005-05-12 2006-11-16 한국과학기술원 하프미러를 이용한 사용자 인터페이스 시스템과 그의 구동방법

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100980202B1 (ko) * 2008-10-30 2010-09-07 한양대학교 산학협력단 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법
KR101299300B1 (ko) * 2009-11-06 2013-08-26 소니 주식회사 실시간 손 추적, 포즈 분류 및 인터페이스 제어
US9563277B2 (en) 2011-03-16 2017-02-07 Samsung Electronics Co., Ltd. Apparatus, system, and method for controlling virtual object
US20140168064A1 (en) * 2012-12-18 2014-06-19 Hyundai Motor Company System and method for manipulating user interface by 2d camera
CN103869970A (zh) * 2012-12-18 2014-06-18 现代自动车株式会社 通过2d相机操作用户界面的系统和方法
KR101438615B1 (ko) * 2012-12-18 2014-11-03 현대자동차 주식회사 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
US9052750B2 (en) * 2012-12-18 2015-06-09 Hyundai Motor Company System and method for manipulating user interface by 2D camera
CN103869970B (zh) * 2012-12-18 2018-04-17 现代自动车株式会社 通过2d相机操作用户界面的系统和方法
CN103479140A (zh) * 2013-09-10 2014-01-01 北京恒华伟业科技股份有限公司 一种智能镜子
KR20160056338A (ko) * 2014-11-10 2016-05-20 주식회사 콕스 제스처 인식기능을 갖는 디지털 미러
CN108369454A (zh) * 2015-12-21 2018-08-03 宝马股份公司 显示设备和操作装置
US10866779B2 (en) 2015-12-21 2020-12-15 Bayerische Motoren Werke Aktiengesellschaft User interactive display device and operating device
US11003957B2 (en) 2019-08-21 2021-05-11 Advanced New Technologies Co., Ltd. Method and apparatus for certificate identification
US10974537B2 (en) 2019-08-27 2021-04-13 Advanced New Technologies Co., Ltd. Method and apparatus for certificate identification
CN110580115A (zh) * 2019-09-19 2019-12-17 京东方科技集团股份有限公司 一种镜面显示装置及控制方法
CN110580115B (zh) * 2019-09-19 2023-07-25 京东方科技集团股份有限公司 一种镜面显示装置及控制方法

Also Published As

Publication number Publication date
KR100862349B1 (ko) 2008-10-13

Similar Documents

Publication Publication Date Title
KR100862349B1 (ko) 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템
Sagayam et al. Hand posture and gesture recognition techniques for virtual reality applications: a survey
Hasan et al. RETRACTED ARTICLE: Static hand gesture recognition using neural networks
US7308112B2 (en) Sign based human-machine interaction
Nair et al. Hand gesture recognition system for physically challenged people using IOT
JP5077956B2 (ja) 情報端末装置
TWI471815B (zh) 手勢辨識裝置及方法
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
Yang et al. Hand gesture recognition: An overview
Chansri et al. Hand gesture recognition for Thai sign language in complex background using fusion of depth and color video
KR101436050B1 (ko) 손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치
Kalsh et al. Sign language recognition system
Badi et al. Hand posture and gesture recognition technology
CN105929947B (zh) 一种基于场景态势感知的人机交互方法
JP2018119833A (ja) 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
Chansri et al. Reliability and accuracy of Thai sign language recognition with Kinect sensor
KR20120089948A (ko) Ｍｈｉ의 형태 정보를 이용한 실시간 동작 인식시스템 및 실시간 동작 인식 방법
Elakkiya et al. Intelligent system for human computer interface using hand gesture recognition
Abdallah et al. An overview of gesture recognition
CN115951783A (zh) 一种基于手势识别的计算机人机交互方法
JP4060261B2 (ja) 画像に含まれる身体形状を判定する方法及び非接触型ポインティング・デバイスの実現方法
KR20070103895A (ko) 손 제스쳐 인식 시스템 및 방법
Simion et al. Finger detection based on hand contour and colour information
US20220050528A1 (en) Electronic device for simulating a mouse
Shin et al. Welfare interface implementation using multiple facial features tracking for the disabled people

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee