KR101426378B1 - 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법 - Google Patents

깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법 Download PDF

Info

Publication number
KR101426378B1
KR101426378B1 KR1020130029187A KR20130029187A KR101426378B1 KR 101426378 B1 KR101426378 B1 KR 101426378B1 KR 1020130029187 A KR1020130029187 A KR 1020130029187A KR 20130029187 A KR20130029187 A KR 20130029187A KR 101426378 B1 KR101426378 B1 KR 101426378B1
Authority
KR
South Korea
Prior art keywords
event
depth
hand
screen
extracting
Prior art date
Application number
KR1020130029187A
Other languages
English (en)
Inventor
권순각
김호승
Original Assignee
권순각
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 권순각 filed Critical 권순각
Priority to KR1020130029187A priority Critical patent/KR101426378B1/ko
Application granted granted Critical
Publication of KR101426378B1 publication Critical patent/KR101426378B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Abstract

본 발명은 프레젠테이션 이벤트 처리를 위하여 깊이 카메라와 RGB 카메라로부터 입력된 데이터로부터 손의 3차원적 움직임을 추출하여 프레젠테이션 이벤트를 구현할 수 있도록 한 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법에 관한 것으로, 깊이 정보를 이용한 프레젠테이션 이벤트 처리를 위하여, 스크린 영역이 모두 들어오는 위치에 설치되는 깊이 카메라 및 RGB 카메라;상기 깊이 카메라 및 RGB 카메라로부터의 깊이 영상 및 RGB 영상으로부터 손 좌표를 추출하는 손 좌표 추출부;프레젠테이션 이벤트 처리를 위한 이벤트 영역을 판단하는 이벤트 판단부;상기 이벤트 영역에 발표자의 손이 터치 되면 이벤트를 실행하는 이벤트 실행부;를 포함하는 것이다.

Description

깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법{System and Method for Processing Presentation Event Using Depth Information}
본 발명은 프레젠테이션 이벤트 처리에 관한 것으로, 구체적으로 깊이 카메라와 RGB 카메라로부터 입력된 데이터로부터 손의 3차원적 움직임을 추출하여 프레젠테이션 이벤트를 구현할 수 있도록 한 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법에 관한 것이다.
기업, 학교뿐 아니라 사회 전반적으로 프레젠테이션의 중요성이 부각되고 있다.
일반적으로 발표자가 프레젠테이션을 진행할 때에는 준비한 파일을 컴퓨터 장치에 연결한 다음, 스크린을 통해 파일 내용을 디스플레이시켜 회의 참석자들에게 설명하게 된다.
최근 프레젠테이션의 편의성을 위한 다양한 디바이스와 소프트웨어가 개발되고 있다. 디바이스는 기본적으로 마우스, 키보드와 레이저 포인터 같은 포인트 도구들이 사용된다. 이러한 기기들 중 마우스, 키보드는 정확도가 높지만 보조인원이 필요하다는 단점이 있고, 레이저포인터는 가리키는 포인터를 표시할 수 있지만 이벤트가 2~3개 뿐이라는 단점이 있다.
프레젠테이션 진행시에 발표자는 설명의 편의와 참석자들의 집중력 향상을 위해 레이저 포인터 등과 같은 도구를 이용하여 설명을 진행하게 된다.
하지만, 발표자가 프레젠테이션을 진행하는 동안 설명하는 내용에 따라 프레젠테이션 화면을 신속하게 전환시켜 내용의 흐름을 연속시켜야 하지만 컴퓨터가 있는 곳으로 일정 거리 이동하여 제어한 후에 다시 발표를 수행하여야 한다.
이것은 발표자의 행동을 제약하고 발표를 수시로 중단해야 하는 문제점이 있고, 대단위 발표회장의 경우 발표문을 제어하기 위한 별도의 전담 인력을 필요로 하는 등의 문제점이 있다.
또한, 무선 마우스를 이용하여 발표문을 제어하는 방법이 있는데, 이 역시 서서 진행하는 프레젠테이션에서 마우스를 손에 쥐고 마우스패드 위에서 움직여 인식시켜야 하고, 인식점의 오차로 인해 원하는 곳을 지정할 수 없는 문제점이 있었다.
원활한 프레젠테이션의 진행을 위하여 발표자의 손동작을 이용하는 방법들이 제시되고 있고, 깊이 카메라의 출시 이후 프레젠테이션 제어 소프트웨어의 연구가 많이 이루어지고 있지만 대부분 깊이 영상에서 사람의 관절을 이용한 제스처 인식 방식이다.
발표자의 전면에서 카메라가 설치되어야 하고, 관절인식에서 손이나 손가락 같은 섬세한 부분까지는 인식이 불확실하다는 단점이 있다.
본 발명은 이와 같은 종래 기술의 프레젠테이션 진행 방법의 문제를 해결하기 위한 것으로, 깊이 카메라와 RGB 카메라로부터 입력된 데이터로부터 손의 3차원적 움직임을 추출하여 프레젠테이션 이벤트를 구현할 수 있도록 한 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 깊이 카메라와 RGB 카메라로부터 입력된 데이터로부터 손의 3차원적 움직임을 추출하여 손과 카메라 사이의 거리와, 손과 스크린 사이의 거리를 인식하고 스크린 상에서의 손의 위치, 손의 움직임 패턴 등으로 프레젠테이션 이벤트를 구현할 수 있도록 한 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 깊이 카메라로 얻은 깊이 정보를 이용하여 손의 움직임을 추적하고 프레젠테이션에서의 자유도와 정확도를 높일 수 있도록 한 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명에 따른 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치는 깊이 정보를 이용한 프레젠테이션 이벤트 처리를 위하여, 스크린 영역이 모두 들어오는 위치에 설치되는 깊이 카메라 및 RGB 카메라;상기 깊이 카메라 및 RGB 카메라로부터의 깊이 영상 및 RGB 영상으로부터 손 좌표를 추출하는 손 좌표 추출부;프레젠테이션 이벤트 처리를 위한 이벤트 영역을 판단하는 이벤트 판단부;상기 이벤트 영역에 발표자의 손이 터치 되면 이벤트를 실행하는 이벤트 실행부;를 포함하는 것을 특징으로 한다.
여기서, 상기 손 좌표 추출부는, 초기화 단계로서 상기 깊이 영상을 일정시간 축적하고 영상내 각 화소의 공간위치에서 깊이 값이 존재하는 범위를 계산하는 배경 영상 생성부와, 상기 배경 영상 생성부에서 계산하여 설정해 놓은 깊이 값의 범위를 벗어나는 영역들만 추출하는 라벨링 처리부와, 상기 라벨링 처리부에서 추출된 영역중 손에 해당하는 영역의 좌표를 추출하는 손 영역 추출부와, 상기 RGB 카메라 및 손 영역 추출부에서 출력되는 데이터를 이용하여 RGB 영상에서 해당 좌표의 영역의 값을 HSV 형태로 변경하고, 이중에서 색상(Hue)에 해당하는 값들만을 추출하여 히스토그램을 계산하고, 히스토그램을 RGB 영상에서 추적하는 손 영역 히스토그램 계산부를 포함하는 것을 특징으로 한다.
그리고 상기 이벤트 실행부는, 상기 손 좌표 추출부에서 추적한 손의 외곽선을 추출하는 외곽선 추출부와,스크린에 가장 가까운 손가락의 좌표를 추출하는 손가락 추출부와,손가락에서 스크린방향으로 사용자가 지정한 일정 거리 만큼에 위치한 화소 좌표의 깊이 값과 손가락의 수평 및 수직방향의 위치를 비교하는 방법으로 손가락의 깊이 값을 프레임마다 비교하는 깊이 값 비교부와,손가락의 깊이 값이 이벤트 영역의 깊이 값을 만족할 때 해당 영역의 이벤트를 실행하는 실행부를 포함하는 것을 특징으로 한다.
그리고 상기 이벤트 실행부에서 실행되는 이벤트는, 소프트웨어를 구분하지 않고 실행 가능한 이벤트들이고, 이벤트 영역에 발표자의 손 또는 손가락이 터치 되면 발표 화면의 다음 페이지 이동, 이전 페이지 이동, 화면 확대, 화면 축소를 포함하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 깊이 정보를 이용한 프레젠테이션 이벤트 처리 방법은 깊이 정보를 이용한 프레젠테이션 이벤트 처리를 위하여, 스크린 영역이 모두 들어오는 위치에 설치되는 깊이 카메라 및 RGB 카메라가 촬영을 하는 단계;상기 깊이 카메라 및 RGB 카메라로부터의 깊이 영상 및 RGB 영상으로부터 손 좌표를 추출하는 단계;프레젠테이션 이벤트 처리를 위한 이벤트 영역을 판단하는 단계;상기 이벤트 영역에 발표자의 손이 터치 되면 이벤트를 실행하는 단계;를 포함하는 것을 특징으로 한다.
여기서, 상기 깊이 영상 및 RGB 영상으로부터 손 좌표를 추출하는 단계는, 상기 깊이 영상을 일정시간 축적하고 영상내 각 화소의 공간위치에서 깊이 값이 존재하는 범위를 계산하는 단계와, 상기 계산하여 설정해 놓은 깊이 값의 범위를 벗어나는 영역들만 추출하는 단계와,추출된 영역 중 손에 해당하는 영역의 좌표를 추출하는 단계와,상기 RGB 카메라 및 손에 해당하는 객체의 좌표를 이용하여 RGB 영상에서 해당 좌표의 영역의 값을 HSV 형태로 변경하고, 이중에서 색상(Hue)에 해당하는 값들만을 추출하여 히스토그램을 계산하고, 히스토그램을 RGB 영상에서 추적하는 단계를 포함하는 것을 특징으로 한다.
그리고 이벤트를 실행하는 단계는, 손 좌표를 추출하는 단계에서 추적한 손의 외곽선을 추출하는 단계와,스크린에 가장 가까운 손가락의 좌표를 추출하는 단계와,손가락에서 스크린방향으로 사용자가 지정한 일정 거리 만큼에 위치한 화소 좌표의 깊이 값과 손가락의 수평 및 수직방향의 위치를 비교하여 손가락의 깊이 값을 프레임마다 비교하는 단계와,손가락의 깊이 값이 이벤트 영역의 깊이 값을 만족할 때 해당 영역의 이벤트를 실행하는 단계를 포함하는 것을 특징으로 한다.
그리고 실행되는 이벤트는, 소프트웨어를 구분하지 않고 실행 가능한 이벤트들이고, 이벤트 영역에 발표자의 손 또는 손가락이 터치 되면 발표 화면의 다음 페이지 이동, 이전 페이지 이동, 화면 확대, 화면 축소를 포함하는 것을 특징으로 한다.
그리고 스크린의 범위가 이벤트를 설정할 수 있는 범위가 되고, 손가락 끝의 깊이가 이벤트 영역의 깊이와 일치되는 순간 이벤트 실행 및 패턴의 시작이 되는 것을 특징으로 한다.
그리고 손가락이 스크린에 근접하여 터치하는 순간에 이벤트가 실행되거나, 손가락이 스크린 방향으로 이동하여 일정범위의 거리 안으로 들어오면 이벤트가 실행되도록 하는 것을 특징으로 한다.
그리고 실행되는 이벤트의 부여는, 한 손의 손가락으로 이벤트를 부여하거나, 양손의 손가락을 사용하여 이벤트 부여를 하는 것을 특징으로 한다.
그리고 이벤트 영역은 발표자 또는 발표 화면의 위치에 따라 변경할 수 있고, 이벤트의 영역을 매 화면마다 변경할 수 있는 것을 특징으로 한다.
그리고 깊이 카메라의 촬영 영역 내의 모든 화소에서 이벤트의 설정, 패턴 설정이 가능하고, 이벤트 부여 범위는 손바닥이 들어가는 크기인 것을 특징으로 한다.
그리고 발표자가 스크린 전체를 사용하지 못하는 크기의 스크린이 있는 곳에서는, 상기 깊이 카메라 및 RGB 카메라를 발표자의 손을 인식할 수 있는 머리 위 또는 발 아래에 설치하는 것을 특징으로 한다.
이와 같은 본 발명에 따른 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법은 다음과 같은 효과를 갖는다.
첫째, 깊이 카메라와 RGB 카메라로부터 입력된 데이터로부터 손의 3차원적 움직임을 추출하여 프레젠테이션 이벤트를 효과적으로 구현할 수 있다.
둘째, 손의 3차원적 움직임을 추출하여 손과 카메라 사이의 거리와, 손과 스크린 사이의 거리를 인식하고 스크린상에서의 손의 위치, 손의 움직임 패턴 등으로 프레젠테이션 이벤트를 효과적으로 구현할 수 있다.
셋째, 깊이 카메라로 얻은 깊이 정보를 이용하여 손의 움직임을 추적하고 프레젠테이션에서의 자유도와 정확도를 높일 수 있다.
넷째, 프레젠테이션 진행시에 발표자의 설명 편의와 참석자들의 집중력을 향상시키는 효과가 있다.
다섯째, 발표자가 프레젠테이션을 진행하는 동안 설명하는 내용에 따라 프레젠테이션 화면을 신속하게 전환시켜 내용의 흐름을 연속시킬 수 있어 효율적인 프레젠테이션이 가능하다.
도 1은 본 발명에 따른 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치의 설치 구성도
도 2는 본 발명에 따른 깊이 정보를 이용한 프레젠테이션 이벤트 처리 과정을 나타낸 플로우 차트
도 3a와 도 3b는 본 발명에 따른 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치의 상세 구성도
도 4는 본 발명에 따른 카메라를 통해 손의 좌표를 얻는 방법을 나타낸 플로우 차트
도 5는 본 발명에 따른 손가락의 깊이 정보를 이용하여 이벤트를 실행하는 방법을 나타낸 구성도
도 6은 깊이 카메라를 발표자 위치에 설치했을 때의 프레젠테이션 제어 방법을 나타낸 구성도
도 7은 발표자 및 화면의 위치에 따른 이벤트 영역의 배치를 나타낸 구성도
이하, 본 발명에 따른 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치의 설치 구성도이고, 도 2는 본 발명에 따른 깊이 정보를 이용한 프레젠테이션 이벤트 처리 과정을 나타낸 플로우 차트이다.
본 발명은 깊이 카메라 및 RGB 카메라를 이용하여 강의실, 발표회장 등에서 빔 프로젝터의 스크린, 벽 등에 사용이 가능한 이벤트 제공에 관한 것이다.
깊이 카메라는 TOF(Time-of-Flight) 방식과 구조광을 이용한 스테레오 정합 방식이 있으며, TOF 방식은 스테레오 정합 방식의 카메라보다 정확하지만 RGB 데이터를 얻어오지 못하고 고비용인 단점이 있다. 스테레오 정합 방식은 최근 Kinect Sensor가 출시되면서 저가로 다량으로 공급되고 있으며, 깊이 데이터뿐만 아니라 RGB 데이터도 같이 추출이 가능하다. 하지만 스테레오 정합 방식은 발신부와 수신부의 위치가 서로 달라 오차가 생기는 문제점이 있다.
따라서, 본 발명은 이러한 문제를 해결하기 위하여 발표 화면이 표시되는 스크린 주변에 깊이 및 RGB 카메라를 같이 설치하여 발표자의 손을 인식하는 방법으로 프레젠테이션 이벤트를 수행하는 것이다.
이를 위하여, 도 2에서와 같이, 프레젠테이션 시작과 동시에 촬영이 이루어지면(S201), 모션/손 좌표 추적부에서 모션, 손의 좌표를 추적하고(S202), 이벤트 판단부에서 이벤트 영역을 판단하여(S203), 이벤트 영역에 발표자의 손 또는 손가락이 터치되면 발표 화면의 다음 페이지 이동, 이전 페이지 이동, 화면 확대, 화면 축소 등의 이벤트가 실행되도록(S204) 하는 것이다.
본 발명에 따른 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치는 도 1에서와 같이, 발표 화면이 표시되는 스크린의 위, 아래, 왼쪽, 오른쪽 중의 한 곳에 깊이 카메라 및 RGB 카메라를 같이 설치하여 발표자의 손을 인식하는 방법을 사용한다.
도 1에서는 카메라가 스크린의 왼쪽에 설치되어 있지만 위, 아래, 오른쪽 4방향 모두 설치가 가능하다. 또한, 카메라 센서 영역 내에 스크린 영역이 모두 들어오는 환경이라면 어느 곳에서나 설치 및 실행이 가능하다.
그리고 일반적인 강의실뿐 아니라 대형 발표회장 같이 발표자가 스크린 전체를 사용하지 못하는 곳에서는 발표자의 머리 위 또는 발 아래에 설치하여 손을 인식하여 컨트롤이 가능하고, 손이 인식되는 곳은 어느 위치든지 설치하여 사용이 가능하다.
본 발명에 따른 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치의 구성은 다음과 같다.
도 3a와 도 3b는 본 발명에 따른 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치의 상세 구성도이고, 도 4는 본 발명에 따른 카메라를 통해 손의 좌표를 얻는 방법을 나타낸 플로우 차트이다.
도 3a에서와 같이, 본 발명에 따른 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치는 스크린 영역이 모두 들어오는 위치에 설치되는 촬영 수단과, 깊이 영상 및 RGB 영상으로부터 손 좌표를 추출하는 손 좌표 추출부와, 이벤트 영역을 판단하는 이벤트 판단부와, 이벤트 영역에 발표자의 손 또는 손가락이 터치되면 이벤트를 실행하는 이벤트 실행부로 구성된다.
상세 구성은 카메라 센서 영역 내에 스크린 영역이 모두 들어오는 위치에 설치되는 깊이 카메라(31) 및 RGB 카메라(32)와, 깊이 카메라(31)로부터 입력되는 약 30프레임 동안 촬영한 깊이 영상을 축적하고 영상내 각 화소의 공간위치에서 깊이 값이 존재하는 범위를 계산하는 배경 영상 생성부(33)와, 상기 배경 영상 생성부에서 계산하여 설정해 놓은 깊이 값의 범위를 벗어나는 영역들만 추출하는 라벨링 처리부(34), 라벨링처리부(34)에서 추출된 영역 중 손에 해당하는 영역의 좌표를 추출하는 손 영역 추출부(35)와, RGB 카메라(32) 및 손 영역 추출부(35)에서 출력되는 데이터를 이용하여 RGB 영상에서 해당 좌표의 영역의 값을 HSV 형태로 변경하고 이중 색상(Hue)에 해당하는 값들만을 추출하여 히스토그램을 계산하고, 히스토그램을 RGB 영상에서 추적하는 손 영역 히스토그램 계산부(36)와, 이벤트 영역을 판단하는 이벤트 판단부(37)와, 이벤트 판단부(37)에서 판단된 이벤트 영역에 발표자의 손 또는 손가락이 터치되면 발표 화면의 다음 페이지, 이전 페이지, 확대, 축소 등의 이벤트가 실행되도록 하는 이벤트 실행부(38)를 포함한다.
여기서, 이벤트 실행부(38)는 도 3b에서와 같이, 추적한 손의 외곽선을 추출하는 외곽선 추출부(38a)와, 스크린에 가장 가까운 손가락의 좌표를 추출하는 손가락 추출부(38b)와, 손가락에서 스크린방향으로 사용자가 지정한 일정 거리 만큼에 위치한 화소 좌표의 깊이 값과 손가락의 수평 및 수직방향의 위치를 비교하는 방법으로 손가락의 깊이 값을 프레임마다 비교하는 깊이 값 비교부(38c)와, 손가락의 깊이 값이 이벤트 영역의 깊이 값을 만족할 때 해당 영역의 이벤트를 실행하는 실행부(38d)를 포함한다.
본 발명에 따른 카메라를 통해 손의 좌표를 얻는 방법은 도 4에서와 같이, 카메라 센서 영역 내에 스크린 영역이 모두 들어오는 위치에 설치되는 깊이 카메라로부터 입력되는 약 30프레임 동안 촬영한 깊이 영상을 축적하고 영상내 각 화소의 공간위치에서 깊이 값이 존재하는 범위를 계산하는 배경 영상을 생성한다.(S401)
그리고 상기 배경 영상 생성부에서 계산하여 설정해 놓은 깊이 값의 범위를 벗어나는 영역들만 추출한다.(S402)
이어, 추출된 영역 중 손에 해당하는 영역의 좌표를 추출하고(S403), RGB 카메라의 RGB 영상에서 해당 좌표의 영역의 값을 HSV 형태로 변경하고 이중 색상(Hue)에 해당하는 값들만을 추출하여 히스토그램을 계산하여(S404), 계산된 히스토그램을 RGB 영상에서 추적하여 손의 움직임을 추적한다.(S405)
이와 같이 손 추적이 이루어지면 이벤트 영역을 판단하여 이벤트 영역에 발표자의 손 또는 손가락이 터치되면 발표 화면의 다음 페이지, 이전 페이지, 확대, 축소 등의 소프트웨어를 구분하지 않고 실행 가능한 이벤트가 실행되도록 한다.
이와 같은 본 발명에 따른 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법의 프레젠테이션의 이벤트 실행 과정 및 손가락의 깊이 정보를 이용하여 이벤트를 실행하는 방법에 관하여 설명하면 다음과 같다.
도 5는 본 발명에 따른 손가락의 깊이 정보를 이용하여 이벤트를 실행하는 방법을 나타낸 구성도이고, 도 6은 깊이 카메라를 발표자 위치에 설치했을 때의 프레젠테이션 제어 방법을 나타낸 구성도이다.
그리고 도 7은 발표자 및 화면의 위치에 따른 이벤트 영역의 배치를 나타낸 구성도이다.
도 5는 본 발명에 따른 손가락의 깊이 정보를 이용하여 이벤트를 실행하는 방법을 나타낸 것으로, 손 좌표 추출부에서 추적된(S501) 손의 외곽선을 외곽선 추출부(38a)에서 추출한다.(S502)
그리고 손가락 추출부(38b)에서 스크린에 가장 가까운 손가락의 좌표를 추출한다.(S503)
이어, 깊이 값 비교부(38c)에서 손가락의 깊이 값을 프레임마다 비교한다.(S504)
여기서, 비교 방법은 손가락에서 스크린방향으로 사용자가 지정한 일정 거리 만큼에 위치한 화소 좌표의 깊이 값과 손가락의 수평 및 수직방향의 위치를 비교한다.
그리고 손가락의 깊이 값이 이벤트 영역의 깊이 값을 만족할 때 해당 영역의 이벤트를 실행하고(S505), 다시 손 추적 단계로 되돌아간다.
이와 같은 본 발명에 따른 깊이 정보를 이용한 프레젠테이션 이벤트 처리 방법에서의 이벤트 실행에 대한 기본적인 예로 강의실의 스크린에서 사용 시에는 스크린의 범위가 이벤트를 설정할 수 있는 범위가 된다.
이 범위 내에 원하는 이벤트와 패턴을 설정한다. 손가락 끝의 깊이가 이벤트 영역의 깊이와 일치되는 순간 이벤트 실행 및 패턴의 시작이 된다.
즉, 손가락이 스크린에 근접하여 터치하는 순간에 이벤트가 실행된다. 또는 터치하지 않더라도 손가락이 스크린 방향으로 이동하여 일정범위의 거리 안으로 들어오면 이벤트가 실행되도록 할 수도 있다.
그리고 한 손의 손가락으로 이벤트를 부여할 수 있고, 양손을 사용해 더욱더 다양하게 이벤트를 부여할 수 있다. 또한, 발표자가 한 사람뿐만 아니라 여러 사람이 동시에 프레젠테이션을 진행하더라고 이벤트 부여가 가능하다.
또한, 이벤트는 기본적으로 소프트웨어에 제한을 두지 않는다. 키보드와 마우스로 사용가능한 확대, 축소, Home, 나가기 이벤트 등의 사용이 가능하다.
대형 발표회장에서는 발표자가 화면의 스크린 앞에서 프레젠테이션을 하지 못할 수 있다. 이때 발표자는 자신의 머리 위 또는 발 아래에 깊이 카메라를 설치하면 사용이 가능하다.
강의실이나 일반적인 발표회장은 스크린을 터치 이벤트의 기준으로 하지만 머리 위 또는 발아래에 설치 시 기준점이 손 자체가 되므로 더욱 유동적이다.
도 6에서와 같이, 손의 X, Y, Z축의 변화에 따른 이벤트를 더욱 다양하게 부여해줄 수 있고, 한 손의 움직임 패턴의 조합 및 두 손을 이용한 움직임 패턴의 조합으로 다양한 이벤트를 부여해줄 수 있다.
도 6에서 손가락이 수평 이동을 하는 경우에는 다음 화면으로의 이동이 되고, 수직 이동 및 깊이 값 변화가 있는 경우에는 이전 화면으로의 이동이 된다.
그리고 발표자 또는 발표 화면의 위치에 따른 이벤트 영역 변경은 다음과 같이 이루어진다.
이벤트가 기본적으로 스크린영역에 설정이 된다. 발표자의 위치에 따라 이벤트의 영역을 매 화면마다 변경할 수 있다.
가장 좋은 예로 대형 발표회장을 들 수 있다. 발표자가 발표를 진행할 때 발표 내용의 왼쪽에서 다음 페이지로 넘기도록 이벤트를 실행하고 오른쪽으로 이동한다면 발표 내용의 다음 페이지로 넘기는 이벤트는 발표 내용의 오른쪽에 넣어둘 수 있다.
즉, 다음 페이지를 넘기는 이벤트는 발표자의 현재 위치인 오른쪽에 위치하게 된다. 제품 설명 시 확대 이벤트는 스크린에서 발표자의 가슴에 가장 가까운 위치에 설정되듯이 발표 화면의 위치가 바뀜에 따라 이벤트가 바뀌도록 설정할 수가 있다.
도 7은 발표자의 위치와 발표 화면 위치에 따라 이벤트 영역이 유동적으로 바뀌는 것을 나타낸 것이다.
도 7에서 A는 발표자 위치에 따른 이벤트 영역의 배치를 나타낸 것이고, B는 화면의 위치에 따른 이벤트 영역의 배치를 나타낸 것이다.
깊이 카메라의 촬영 영역 내의 모든 화소에 이벤트의 설정이 가능하고, 패턴도 설정이 가능하다.
일반적인 발표 내용의 수량과 위치, 스크린의 크기와 손의 포인팅 지점을 고려하였을 때 이벤트의 범위는 손바닥이 들어갈 정도의 범위가 가장 바람직하다.
뒤에 대형 스크린이 있고 발표자가 앞에서 발표할 시 손의 패턴과 발표자의 위치를 인식하여 이벤트를 설정할 수 있다.
이와 같은 본 발명에 따른 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법은 깊이 카메라와 RGB 카메라로부터 입력된 데이터로부터 손의 3차원적 움직임을 추출하여 프레젠테이션 이벤트를 구현할 수 있도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
31. 깊이 카메라 32. RGB 카메라
33. 배경 영상 생성부 34. 라벨링 처리부
35. 손 영역 추출부 36. 손영역 히스토그램 계산부
37. 이벤트 판단부 38. 이벤트 실행부

Claims (14)

  1. 깊이 정보를 이용한 프레젠테이션 이벤트 처리를 위하여,
    스크린 영역이 모두 들어오는 위치에 설치되는 깊이 카메라 및 RGB 카메라;
    상기 깊이 카메라 및 RGB 카메라로부터의 깊이 영상 및 RGB 영상으로부터 손 좌표를 추출하는 손 좌표 추출부;
    프레젠테이션 이벤트 처리를 위한 이벤트 영역을 판단하는 이벤트 판단부;
    상기 이벤트 영역에 발표자의 손이 터치 되면 손가락에서 스크린방향으로 사용자가 지정한 일정 거리 만큼에 위치한 화소 좌표의 깊이 값과 손가락의 수평 및 수직방향의 위치를 비교하는 방법으로 손가락의 깊이 값을 프레임마다 비교하여 이벤트를 실행하는 이벤트 실행부;를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치.
  2. 제 1 항에 있어서, 상기 손 좌표 추출부는,
    초기화 단계로서 상기 깊이 영상을 일정시간 축적하고 영상내 각 화소의 공간위치에서 깊이 값이 존재하는 범위를 계산하는 배경 영상 생성부와,
    상기 배경 영상 생성부에서 계산하여 설정해 놓은 깊이 값의 범위를 벗어나는 영역들만 추출하는 라벨링 처리부와,
    상기 라벨링처리부에서 추출된 영역 중 손에 해당하는 영역의 좌표를 추출하는 손 영역 추출부와,
    상기 RGB 카메라 및 손 영역 추출부에서 출력되는 데이터를 이용하여 RGB 영상에서 해당 좌표의 영역의 값을 HSV 형태로 변경하고, 이중에서 색상(Hue)에 해당하는 값들만을 추출하여 히스토그램을 계산하고, 히스토그램을 RGB 영상에서 추적하는 손 영역 히스토그램 계산부를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치.
  3. 제 1 항에 있어서, 상기 이벤트 실행부는,
    상기 손 좌표 추출부에서 추적한 손의 외곽선을 추출하는 외곽선 추출부와,
    스크린에 가장 가까운 손가락의 좌표를 추출하는 손가락 추출부와,
    손가락에서 스크린방향으로 사용자가 지정한 일정 거리 만큼에 위치한 화소 좌표의 깊이 값과 손가락의 수평 및 수직방향의 위치를 비교하는 방법으로 손가락의 깊이 값을 프레임마다 비교하는 깊이 값 비교부와,
    손가락의 깊이 값이 이벤트 영역의 깊이 값을 만족할 때 해당 영역의 이벤트를 실행하는 실행부를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치.
  4. 제 1 항에 있어서, 상기 이벤트 실행부에서 실행되는 이벤트는,
    소프트웨어를 구분하지 않고 실행 가능한 이벤트들이고, 이벤트 영역에 발표자의 손 또는 손가락이 터치 되면 발표 화면의 다음 페이지 이동, 이전 페이지 이동, 화면 확대, 화면 축소를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치.
  5. 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치가 깊이 정보를 이용한 프레젠테이션 이벤트 처리를 위하여,
    스크린 영역이 모두 들어오는 위치에 설치되는 깊이 카메라 및 RGB 카메라가 촬영을 하는 단계;
    상기 깊이 카메라 및 RGB 카메라로부터의 깊이 영상 및 RGB 영상으로부터 손 좌표를 추출하는 단계;
    프레젠테이션 이벤트 처리를 위한 이벤트 영역을 판단하는 단계;
    상기 이벤트 영역에 발표자의 손이 터치 되면 손가락에서 스크린방향으로 사용자가 지정한 일정 거리 만큼에 위치한 화소 좌표의 깊이 값과 손가락의 수평 및 수직방향의 위치를 비교하여 손가락의 깊이 값을 프레임마다 비교하여 이벤트를 실행하는 단계;를 수행하는 것을 특징으로 하는 깊이 정보를 이용한 프레젠테이션 이벤트 처리 방법.
  6. 제 5 항에 있어서, 상기 깊이 영상 및 RGB 영상으로부터 손 좌표를 추출하는 단계는,
    초기화 단계로서 상기 깊이 영상을 일정시간 축적하고 영상내 각 화소의 공간위치에서 깊이 값이 존재하는 범위를 계산하고, 계산된 깊이 값의 범위를 벗어나는 영역들만 추출하는 단계와,
    추출된 영역 중 손에 해당하는 영역의 좌표를 추출하는 단계와,
    상기 RGB 카메라 및 손에 해당하는 객체의 좌표를 이용하여 RGB 영상에서 해당 좌표의 영역의 값을 HSV 형태로 변경하고, 이중에서 색상(Hue)에 해당하는 값들만을 추출하여 히스토그램을 계산하고, 히스토그램을 RGB 영상에서 추적하는 단계를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 프레젠테이션 이벤트 처리 방법.
  7. 제 5 항에 있어서, 이벤트를 실행하는 단계는,
    손 좌표를 추출하는 단계에서 추적한 손의 외곽선을 추출하는 단계와,
    스크린에 가장 가까운 손가락의 좌표를 추출하는 단계와,
    손가락에서 스크린방향으로 사용자가 지정한 일정 거리 만큼에 위치한 화소 좌표의 깊이 값과 손가락의 수평 및 수직방향의 위치를 비교하여 손가락의 깊이 값을 프레임마다 비교하는 단계와,
    손가락의 깊이 값이 이벤트 영역의 깊이 값을 만족할 때 해당 영역의 이벤트를 실행하는 단계를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 프레젠테이션 이벤트 처리 방법.
  8. 제 7 항에 있어서, 실행되는 이벤트는,
    소프트웨어를 구분하지 않고 실행 가능한 이벤트들이고, 이벤트 영역에 발표자의 손 또는 손가락이 터치 되면 발표 화면의 다음 페이지 이동, 이전 페이지 이동, 화면 확대, 화면 축소를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 프레젠테이션 이벤트 처리 방법.
  9. 제 5 항에 있어서, 스크린의 범위가 이벤트를 설정할 수 있는 범위가 되고, 손가락 끝의 깊이가 이벤트 영역의 깊이와 일치되는 순간 이벤트 실행 및 패턴의 시작이 되는 것을 특징으로 하는 깊이 정보를 이용한 프레젠테이션 이벤트 처리 방법.
  10. 제 5 항에 있어서, 손가락이 스크린에 근접하여 터치하는 순간에 이벤트가 실행되거나, 손가락이 스크린 방향으로 이동하여 일정범위의 거리 안으로 들어오면 이벤트가 실행되도록 하는 것을 특징으로 하는 깊이 정보를 이용한 프레젠테이션 이벤트 처리 방법.
  11. 제 5 항에 있어서, 실행되는 이벤트는,
    한 손의 손가락으로 부여되는 이벤트이거나, 양손의 손가락을 사용하여 부여되는 이벤트인 것을 특징으로 하는 깊이 정보를 이용한 프레젠테이션 이벤트 처리 방법.
  12. 제 5 항에 있어서, 이벤트 영역은 발표자 또는 발표 화면의 위치에 따라 변경할 수 있고, 이벤트의 영역을 매 화면마다 변경할 수 있는 것을 특징으로 하는 깊이 정보를 이용한 프레젠테이션 이벤트 처리 방법.
  13. 제 5 항에 있어서, 깊이 카메라의 촬영 영역 내의 모든 화소에서 이벤트의 설정, 패턴 설정이 가능하고, 이벤트 부여 범위는 손바닥이 들어가는 크기인 것을 특징으로 하는 깊이 정보를 이용한 프레젠테이션 이벤트 처리 방법.
  14. 제 1 항에 있어서, 발표자가 스크린 전체를 사용하지 못하는 크기의 스크린이 있는 곳에서는,
    상기 깊이 카메라 및 RGB 카메라를 발표자의 손을 인식할 수 있는 머리 위 또는 발 아래에 설치하는 것을 특징으로 하는 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치.
KR1020130029187A 2013-03-19 2013-03-19 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법 KR101426378B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130029187A KR101426378B1 (ko) 2013-03-19 2013-03-19 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130029187A KR101426378B1 (ko) 2013-03-19 2013-03-19 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101426378B1 true KR101426378B1 (ko) 2014-08-07

Family

ID=51749470

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130029187A KR101426378B1 (ko) 2013-03-19 2013-03-19 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101426378B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101667510B1 (ko) * 2016-02-11 2016-10-18 윤일식 모니터를 이용한 엘리베이터 동작제어장치 및 방법
KR20160147334A (ko) 2015-06-15 2016-12-23 동의대학교 산학협력단 깊이 정보를 이용한 가상 피아노 이벤트 장치 및 구현 방법
US9881423B2 (en) 2015-06-15 2018-01-30 Electronics And Telecommunications Research Institute Augmented reality-based hand interaction apparatus and method using image information
WO2019168238A1 (ko) * 2018-03-02 2019-09-06 엘지전자 주식회사 이동단말기 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US20110211754A1 (en) 2010-03-01 2011-09-01 Primesense Ltd. Tracking body parts by combined color image and depth processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US20110211754A1 (en) 2010-03-01 2011-09-01 Primesense Ltd. Tracking body parts by combined color image and depth processing

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Kinect를 이용한 프레젠테이션 제어(정석준 외 2인, 2012 한국컴퓨터종합학술대회 논문집 Vol.39, No.1(A), 370-372페이지.) *
Kinect를 이용한 프레젠테이션 제어(정석준 외 2인, 2012 한국컴퓨터종합학술대회 논문집 Vol.39, No.1(A), 370-372페이지.)*
깊이 카메라를 이용한 움직임 추정 방법(권순각 외 1인, 방송공학회논문지. 제17권 제4호 통권 제67호, 676-683페이지.) *
깊이 카메라를 이용한 움직임 추정 방법(권순각 외 1인, 방송공학회논문지. 제17권 제4호 통권 제67호, 676-683페이지.)*

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160147334A (ko) 2015-06-15 2016-12-23 동의대학교 산학협력단 깊이 정보를 이용한 가상 피아노 이벤트 장치 및 구현 방법
US9881423B2 (en) 2015-06-15 2018-01-30 Electronics And Telecommunications Research Institute Augmented reality-based hand interaction apparatus and method using image information
KR101667510B1 (ko) * 2016-02-11 2016-10-18 윤일식 모니터를 이용한 엘리베이터 동작제어장치 및 방법
WO2017138687A1 (ko) * 2016-02-11 2017-08-17 윤일식 모니터를 이용한 엘리베이터 동작제어장치 및 방법
WO2019168238A1 (ko) * 2018-03-02 2019-09-06 엘지전자 주식회사 이동단말기 및 그 제어 방법
KR20190104758A (ko) * 2018-03-02 2019-09-11 엘지전자 주식회사 이동단말기 및 그 제어 방법
KR102455382B1 (ko) * 2018-03-02 2022-10-18 엘지전자 주식회사 이동단말기 및 그 제어 방법
US11556182B2 (en) 2018-03-02 2023-01-17 Lg Electronics Inc. Mobile terminal and control method therefor

Similar Documents

Publication Publication Date Title
US20220382379A1 (en) Touch Free User Interface
US9927881B2 (en) Hand tracker for device with display
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
US8890812B2 (en) Graphical user interface adjusting to a change of user's disposition
US9778748B2 (en) Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program
US9619105B1 (en) Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US9734392B2 (en) Image processing device and image processing method
US9348422B2 (en) Method for recognizing gestures and gesture detector
US20180011543A1 (en) Information processing apparatus, position information generation method, and information processing system
US20130135199A1 (en) System and method for user interaction with projected content
US20130055143A1 (en) Method for manipulating a graphical user interface and interactive input system employing the same
EP2790089A1 (en) Portable device and method for providing non-contact interface
WO2013035758A1 (ja) 情報表示システム、情報表示方法、及び記憶媒体
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
US9081430B2 (en) Pointing control device, integrated circuit thereof and pointing control method
KR20120072009A (ko) 다중 사용자의 인터렉션 인식 장치 및 방법
JP2012238293A (ja) 入力装置
CN111527468A (zh) 一种隔空交互方法、装置和设备
KR101330531B1 (ko) ３차원 카메라를 이용한 가상 터치 방법 및 장치
KR101426378B1 (ko) 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법
JP2014029656A (ja) 画像処理装置および画像処理方法
US20210287330A1 (en) Information processing system, method of information processing, and program
KR101461145B1 (ko) 깊이 정보를 이용한 이벤트 제어 장치
KR20080041051A (ko) 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170721

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180814

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 6