KR101808720B1 - 깊이 영상 처리 기반의 가상 키보드 조작 방법 - Google Patents

깊이 영상 처리 기반의 가상 키보드 조작 방법 Download PDF

Info

Publication number
KR101808720B1
KR101808720B1 KR1020170103661A KR20170103661A KR101808720B1 KR 101808720 B1 KR101808720 B1 KR 101808720B1 KR 1020170103661 A KR1020170103661 A KR 1020170103661A KR 20170103661 A KR20170103661 A KR 20170103661A KR 101808720 B1 KR101808720 B1 KR 101808720B1
Authority
KR
South Korea
Prior art keywords
virtual keyboard
depth
image
module
keyboard
Prior art date
Application number
KR1020170103661A
Other languages
English (en)
Other versions
KR20170096990A (ko
Inventor
권순각
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020170103661A priority Critical patent/KR101808720B1/ko
Publication of KR20170096990A publication Critical patent/KR20170096990A/ko
Application granted granted Critical
Publication of KR101808720B1 publication Critical patent/KR101808720B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 깊이 카메라를 이용하여 가상의 키보드를 생성하고 이를 이용한 키보드 장치 및 조작 방법에 관한 것으로서, 더욱 상세하게는 기존의 물리적 키보드가 한정된 크기에 국한되거나 별도의 휴대 과정이 필요하여 공간적 측면의 제약을 받는 사항과, 사용자에 따라 한정된 터치 스크린 상에서 터치 과정이 원활하게 이루어지지 않거나 입력 오류를 유발하는 제약 사항에 관계없이 깊이 카메라를 이용하여 깊이 정보를 분석함으로써 벽면과 책상 등의 평면체 또는 곡면체 등의 평구조부를 가상 키보드 기반체로 사용하는 기술에 관한 것이다.
본 발명에 따른 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법은 깊이 카메라를 조작자가 원하는 위치에 설치하고 벽면 또는 책상과 같은 평면체 또는 완만한 곡면체 등의 평구조부를 가상 키보드 기반체로 하여 객체를 인식시키고 빔 프로젝터와 같은 영상 송출 모듈로 가상의 키보드를 생성한 후, 평구조부에 투사된 키보드의 특정 위치를 터치하면 깊이 카메라가 키보드 터치를 인식하여 DB 모듈에 입력된 키보드 정보 중, 해당 키를 추출하여 스피커 모듈로 타건음을 출력하는 알고리듬이 순차적으로 적용되고 상기한 개별 모듈이 하나의 시스템으로 구성되는 것을 특징으로 한다.

Description

깊이 영상 처리 기반의 가상 키보드 조작 방법{Virtual Keyboard Control Method using Depth Image Processing}
본 발명은 깊이 카메라를 이용하여 가상의 키보드를 생성하고 이를 이용한 키보드 조작 방법에 관한 것으로서, 더욱 상세하게는 깊이 카메라를 이용하여 깊이 정보를 분석함으로써 벽면과 책상 등의 평면체 또는 곡면체 등의 평구조부를 가상 키보드 기반체로 사용하는 기술에 관한 것이다.
인간이 컴퓨터를 제어하기 위하여 명령어를 입력 및 전달할 때, 종래에는 이러한 과정의 매개체로 물리적 키보드 기반의 GUI(graphic user interface)를 활용하는 것이 일반적이었으나 근래에는 기술 발전으로 터치 스크린(touch screen) 및 모션(motion) 인식과 같은 NUI(natural user interface)를 활용하는 방식이 확대되고 있는 추세이다. 일반적으로 물리적 키보드는 특정 기기에 일체화되거나 별도의 모듈화될 수 있는데 이러한 경우에는 한정된 크기에 국한되거나 별도의 휴대 과정이 필요하여 공간적 측면의 제약을 받을 수 있다는 제한점이 있다. 또한 터치 스크린 기반의 가상 키보드는 사용자에 따라 손 크기가 상이하기 때문에 한정된 터치 스크린 상에서 손가락을 이용한 터치 과정이 원활하게 이루어지지 않거나 입력 오류를 유발할 수 있다는 문제점이 있다.
상기의 NUI와 깊이 영상 처리 기반의 가상 키보드 구현 기술을 접목하면 일련의 제어 과정을 필요로 하는 컴퓨터 장치와의 융합을 통하여 인간의 자연스러운 행동만으로도 컴퓨터 조작 및 제어 효율성을 증대시킬 수 있고, 장소 및 환경에 관계없이 활용이 가능하다는 장점이 있다.
전술한 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법을 개시하려는 유사 선행 기술에는 디지털콘텐츠학회 논문지에 게재된'키넥트를 사용한 NUI 설계 및 구현'이 있다. 이는 키넥트의 일정한 깊이 정보로 사용자의 손을 추출하여 이를 이용한 손가락 및 제스처(gesture) 인식에 대한 방법과 컴퓨터 운영체제 상에서의 핸드(hand) 마우스 및 가상 키보드의 GUI를 구현하는 기술을 개시하는 것이다. 그러나 본 발명에 따른 깊이 영상 처리 기반의 가상 키보드 조작 방법은 컴퓨터 운영체제 상에서 조작되는 것 이외에도 벽면이나 책상 등의 일반적인 평구조부 상에서 가상의 키보드를 구현하여 응용 및 대상 적용 범위를 확장한 측면의 장점이 있다. 그리고 또 다른 유사 선행 기술에는 대한민국 특허청에 출원된 공개특허공보(A) 제10-2013-0112061호; 공개특허공보(A) 제10-2014-0140095호 등이 있다. 그러나 종래의 기술에서는 가상 키보드를 구현하기 위한 응용 및 대상 적용 범위에 제한 조건이 없는 가상 키보드 장치 및 조작 방법에 대한 기술이 제공되지 못하였다.
KR10-2013-0112061A KR10-2014-0140095A
이새봄, 정일홍, 2014, "키넥트를 사용한 NUI 설계 및 구현" 디지털콘텐츠학회 논문지, 제15권, 4호, pp. 473-480.
본 발명은 상기한 발명의 배경으로부터 요구되는 기술적 필요성을 충족하는 것을 목적으로 한다.
구체적으로, 본 발명의 목적은 기존의 물리적 키보드가 한정된 크기에 국한되거나 별도의 휴대 과정이 필요하여 공간적 측면의 제약을 받을 수 있는 제한점을 극복하고, 터치 스크린 기반의 가상 키보드가 사용자에 따라 한정된 터치 스크린 상에서 터치 과정이 원활하게 이루어지지 않거나 입력 오류를 유발할 수 있다는 제한점을 극복할 수 있는 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법을 제공하는 것이다.
* 본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이러한 목적을 달성하기 위한 본 발명에 따른 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법은 깊이 카메라를 조작자가 원하는 위치에 설치하고 벽면 또는 책상과 같은 평면체 또는 완만한 곡면체 등의 평구조부를 가상 키보드 기반체로 하여 객체를 인식시키고 빔 프로젝터(beam projector)와 같은 영상 송출 모듈로 가상의 키보드를 생성한 후, 평구조부에 투사된 키보드의 특정 위치를 터치하면 깊이 카메라가 키보드 터치를 인식하여 데이터베이스(data base, 이하 DB) 모듈에 입력된 가상 키보드 데이터 중, 해당 키 정보를 추출하여 제어 대상의 컴퓨터 장치로 해당 키 정보를 전달하는 알고리듬(algorithm)이 순차적으로 적용되고 상기한 개별 모듈(module)이 하나의 시스템으로 구성되는 것을 특징으로 한다.
이상과 같이 본 발명은 기존의 물리적 키보드가 한정된 크기에 국한되거나 별도의 휴대 과정이 필요하여 공간적 측면의 제약을 받을 수 있는 제한점을 극복할 수 있다. 또한, 터치 스크린 기반의 가상 키보드가 사용자에 따라 한정된 터치 스크린 상에서 터치 과정이 원활하게 이루어지지 않거나 입력 오류를 유발할 수 있다는 제한점을 극복할 수 있다. 그리고 NUI와 깊이 영상 처리 기반의 가상 키보드 구현 기술을 접목함으로써 일련의 제어 과정을 필요로 하는 컴퓨터 장치 간의 융합을 통하여 인간의 자연스러운 행동만으로도 컴퓨터 조작 및 제어 효율성을 증대시키고, 장소 및 환경에 관계없이 활용 가능한 장점이 있다.
본 발명의 기술적 효과들은 이상에서 언급한 기술적 효과들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 청구범위의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 깊이 영상 처리 기반의 가상 키보드장치 및 조작 방법에 적용되는 깊이 정보 처리 분석의 순서도;
도 2는 본 발명의 실시예에 따른 깊이 영상 처리 기반의 가상 키보드장치 및 조작 방법에서 가상 터치 센서에 대한 깊이 영상 촬영 모듈 설치 위치의 예시도;
도 3은 본 발명의 실시예에 따른 깊이 영상 처리 기반의 가상 키보드장치 및 조작 방법에서 1차원 선형 변환에 의하여 변환 전 좌표가 보정되는 과정의 예시도;
도 4는 본 발명의 실시예에 따른 깊이 영상 처리 기반의 가상 키보드장치 및 조작 방법에서 터치 센서 영역에서의 터치 판단을 나타내는 구성도;
도 5는 본 발명의 실시예에 따른 깊이 영상 처리 기반의 가상 키보드장치 및 조작 방법에서 포인터의 터치 속도 및 궤적의 흐름을 나타낸 구성도;
도 6은 본 발명의 실시예에 따른 깊이 영상 처리 기반의 가상 키보드장치 및 조작 방법을 구현하기 위한 실시 흐름도;
도 7은 본 발명의 실시예에 따른 깊이 영상 처리 기반의 가상 키보드장치 및 조작 방법에서 제시하는 가상 키보드 구현 형상의 예시도;
도 8은 본 발명의 실시예에 따른 깊이 영상 처리 기반의 가상 키보드장치 및 조작 방법에서 제시하는 주요 모듈별 배치도이다.
이하에서는, 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하지만, 이는 본 발명의 더욱 용이한 이해를 위한 것으로, 본 발명의 범주가 그것에 의해 한정되는 것은 아니다. 또한 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.
도 1을 참조하여 깊이 카메라를 이용한 깊이 정보 처리 분석의 개념을 설명하면 다음과 같다. 도 1(a)에서와 같이 가상 터치 센서의 상세 구성은, 터치 센서 영역을 활용하여 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(11); 상기 깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간 좌표 왜곡을 보정하는 공간 좌표 보정부(12); 상기 공간 좌표 보정부(12)에서 공간 좌표 왜곡이 보정된 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(13); 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링(labeling)하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부(14); 검출된 객체에 포인터를 추출하는 포인터 추출부(15); 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(16)가 구비되는 것을 특징으로 한다.
또한, 도 1(b)에서와 같이 공간 좌표의 보정 순서를 다르게 할 수 있다. 공간 좌표의 보정을 터치 판단 이전에 하는 경우에는 도1(b)에서와 같이 터치 센서 영역을 촬영하여 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(21); 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(22); 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부(23); 검출된 객체에서 포인터를 추출하는 포인터 추출부(24); 터치 센서 영역에 대한 영상의 공간 좌표 왜곡을 보정하는 공간 좌표 보정부(25); 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(26)로 공간 좌표 보정 순서가 변경될 수 있는 것을 특징으로 한다.
여기서, 공간 좌표 보정은 절대 공간 좌표가 응용될 경우에는 사용되고 상대 공간 좌표가 응용될 경우에는 사용되지 않아도 된다. 그리고 가상 터치 센서로 사용되는 디스플레이 모니터, 스크린, 평평하거나 곡면 형태의 물체 등의 영역에 상, 하, 좌, 우, 좌상, 좌하, 우상, 우하 등의 어느 한 곳에 깊이 영상 촬영 모듈을 한 개 설치하거나 두 곳 이상에 다수 개가 설치될 수 있다(도 2).
상기 깊이 영상 촬영 모듈(11)은 행거, 받침대 등의 외부 거치대 형태, 벽 또는 바닥 내부에 고정식 형태, 탈부착이 자유로운 착탈식 형태, 단말 기기에 부착되는 소켓식 형태 등으로 부착이 가능하다. 그리고 상기 터치 센서 영역의 깊이 값 계산부(13)는 상기 깊이 영상 촬영 모듈(11)이 터치 센서 영역을 촬영하여 획득한 터치 센서 영역에 대한 깊이 영상을 받아 특정 지점의 깊이 값을 계산해 준다. 상기 깊이 값 계산부(13)는 실행의 초기에만 작동하는 부분이며, 깊이 영상의 첫 화면을 선택할 수 있다. 또한 안정적인 영상을 얻기 위하여 특정 개수에 해당되는 화면을 축적할 수 있다. 화면을 축적한 경우에는 평균값을 계산하여 터치 센서의 각 위치에 대표 깊이 값으로 저장한다. 이 때 평균값 이외에도 중간 값 또는 최빈치 값 등이 사용될 수도 있다. 촬영 모듈과 터치 센서 영역의 위치 또는 거리가 바뀔 경우에는 상기 깊이 값 계산부(13)가 다시 실행되는데 터치 센서 영역의 깊이 값은 매 화면마다 얻어지며 얻어진 깊이 값과 이전에 저장된 대표 깊이 값과의 절대 차이가 특정치 이상으로 발생하는 위치 수가 많을 경우에는 상기 터치 센서 영역의 깊이 값 계산부(13)가 다시 실행된다.
도 3은 깊이 영상 촬영 모듈이 가상 터치 센서 영역의 좌측에 설치된 환경 하에서 4개의 맵핑(mapping)되는 공간 좌표를 기반으로 1차원 선형 변환에 의하여 변환 전 좌표가 보정되는 것을 도식화한 것이며 다음의 관계가 정의된다.
Figure 112017078943238-pat00001
수식(1)
Figure 112017078943238-pat00002
수식(2)
상기 수식(1)과 수식(2)를 이용하여 보정된 변환 후 절대 좌표를 구할 수 있다. 여기서, x(수평)와 y(수직)는 변환 전 좌표이고, X(수평)와 Y(수직)는 변환 후 좌표이다. Hx(폭)과 Vyo, Vy1 (높이)은 변환 전 터치 센서 영역에 해당되고 HX(폭)와 VY(높이)는 변환 후 터치 센서 영역에 해당된다. x0(수평)와 y0(수직)는 보정 오프셋(offset)이다.
상기 객체 검출부(14)는 깊이 영상의 새로운 화면이 들어올 때 마다 이전 단계에서 저장해 놓은 터치 센서 영역의 대표 깊이 값과 비교하며, 두 값이 일정 범위를 벗어나면 객체가 검출된 것으로 판단한다. 즉, 다음의 수식(3)이 만족되면 수평방향 x와 수직방향 y 위치에서 객체가 검출된 것으로 판단하여 새로운 이진 영상을 만들고 해당 위치의 화소(pixel) 값을 '255'로 저장한다.
*
Figure 112017078943238-pat00003
수식(3)
한 화면에 대하여 객체 검출이 모두 수행되면 객체 부분에는 '255'로 객체가 아닌 부분에는 '0' 화소 값을 갖는 이진 영상이 생성된다. 이진 영상에서 화소 값이 '255'인 화소들을 순차적으로 그룹화하고 라벨링하는 과정을 수행한다. 라벨링된 순서대로 첫 번째에 객체에는 '1', 두 번째 객체에는 '2' 등으로 객체 수만큼의 크기 값으로 저장하여 객체를 검출한다. 또한 다양한 모폴로지(morphology) 연산, 침식, 팽창, 제거 및 채움 등을 통하여 잡음(noise)을 제거할 수 있다. 검출한 객체에 대한 라벨링에 잡음이 생길 수도 있으므로 잡음을 배제하기 위하여 라벨링된 객체의 화소 수가 특정 개수 이내이면 라벨링 객체에서 제외시킬 수 있다. 그리고 상기 포인터 추출부(15)는 검출된 객체에서 포인터를 추출하는데 포인터는 터치 센서 영역에 가장 가까운 위치를 얻어 포인터로서 사용한다. 추출된 포인터는 사람의 손가락 또는 지시 도구 등이 될 수 있다. 터치 센서 영역과의 가까운 위치를 찾는 것은 영상 촬영 모듈의 설치 방향에 따라 다르다. 깊이 영상 촬영 모듈이 터치 센서 영역의 좌측에 설치된 경우는 터치 센서 영역 깊이 영상의 방향을 기준으로 객체 내에서 가장 좌측에 있는 화소의 위치를 포인터로 사용하고, 영상 촬영 모듈이 우측일 때는 가장 우측에 있는 화소로, 상측일 때는 가장 상측에 있는 화소로, 하측일 때는 가장 하측에 있는 화소를 포인터로 사용한다.
도 4는 터치 센서 영역에서의 터치 판단을 나타낸 구성도이고 도 5는 포인터의 터치 속도 및 궤적의 흐름을 나타낸 구성도이다. 상기 터치 판단부(16)는 포인터가 터치 센서에 접근 또는 접촉하는지의 여부를 판단한다. 손 또는 지시 도구가 터치 센서 영역을 접촉한 경우에만 터치한 것으로 판단하거나 일정거리 이내로 접근한 경우에도 터치한 것으로 판단하는 지에 대한 여부는 사용자의 편의성에 따라 지정할 수 있다. 상기 터치 판단부(16)에서는 접촉한 경우를 터치한 것으로 고려한다면 포인터 위치의 깊이 값인 dp(x,y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치에서의 깊이 값인 ds(x,y)를 비교하여 두 값의 절대 차이가 특정 값 미만일 때 터치한 것으로 판단한다. 즉, 다음의 수식(4)가 만족되면 수평방향 x와 수직방향 y위치에서 포인터가 터치 센서 영역에 터치한 것으로 판단한다.
Figure 112017078943238-pat00004
수식(4)
여기서, TD는 특정 값으로 사용자에 의하여 설정되며, 밀리미터 단위 규격에서는 일반적으로 5가 적당하다. 이때, 판단의 오동작을 방지하기 위하여 수평방향 x, 수직방향 y의 한 위치보다는 이웃한 여러 개의 수평방향으로 x-1, y, y+1 세 위치 깊이 값의 평균값이 사용될 수 있다. 또는 왼쪽 대각선, 오른쪽 대각선 등에 있는 이웃한 화소 값이 사용될 수도 있다. 접근한 것을 터치한 것으로 판단하는 경우에는 터치된 위치와 깊이 값이 비교되는 위치가 서로 다르게 된다. 즉, 터치 센서 영역의 왼쪽에 영상 촬영 모듈이 설치된 경우에 포인터 위치의 깊이 값인 dp(x,y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치보다 왼쪽 일정 개수 T만큼 떨어진 화소 깊이 값인 ds(x-T,y)를 비교하여 두 값의 차가 특정 값 미만일 때 터치한 것으로 판단한다. 이 때 터치한 위치는 수평방향 x-T와 수직방향 y의 위치이며 다음의 수식(5)를 만족하면 해당 위치에서 포인터가 터치 센서 영역에 터치한 것으로 판단한다.
Figure 112017078943238-pat00005
수식(5)
여기서, T는 특정 값으로 사용자에 의하여 설정되며, 포인터와 터치 센서 영역 사이의 접근거리가 1cm인 경우에는 5화소가 적당하다. 접근한 경우에도 포인터 한 위치보다는 이웃한 여러 개의 깊이 값의 평균 값이 사용될 수 있다. 또한, 터치 센서 영역의 오른쪽에 영상 촬영 모듈이 설치되면 dp(x,y)와 ds(x+T,y)를 비교하여 (x+T,y) 위치에서 터치 여부를 판단하고, 위쪽일 때는 dp(x,y)와 ds(x,y-T)를 비교하여 (x, y-T) 위치에 터치 여부를 판단하며, 아래쪽일 때는 dp(x,y)와 ds(x,y+T)를 비교하여 (x,y+T) 위치의 터치 여부를 판단한다. 또한, 도 5와 같이 매 화면마다 포인터의 수평/수직 깊이 값을 획득할 수 있다. 즉, 화면의 프레임율을 바탕으로 포인터의 수평방향의 속도 및 방향성, 수직방향의 속도 및 방향성, 촬영 모듈 또는 터치 센서 영역과의 거리를 알 수 있다. 이와 같은 포인터의 이동 방향 및 속도 검출을 위한 방법의 하나는 깊이 영상 촬영 모듈로부터 획득한 깊이 영상의 이전 프레임과 현재 프레임을 연속적으로 비교하여 포인터의 이동 방향, 이동 속도, 이동 거리를 검출하는 방법이 사용될 수 있다.
본 발명에 따른 깊이 영상 처리 기반의 가상 키보드조작 방법은 깊이 카메라를 가상 키보드 조작자가 원하는 위치에 설치하고 벽면 또는 책상과 같은 평면체 또는 완만한 곡면체 등의 평구조부를 가상 키보드 기반체로 하여 객체를 인식시키고 빔 프로젝터와 같은 영상 송출 모듈로 가상의 키보드를 생성한 후, 벽면에 투사된 키보드의 특정 위치를 터치하면 깊이 카메라가 키보드 터치를 인식하여 DB 모듈에 입력된 키보드 정보 중, 해당 키 정보를 추출하여 제어 대상의 컴퓨터 장치로 해당 키 정보를 전달하는 알고리듬이 적용된다. 도 6을 참조하여 보다 순차적으로 설명하면,
깊이 카메라 촬영 및 깊이 영상 데이터 획득을 수행할 가상 키보드 기반체인 평면체 또는 완만한 곡면체의 평구조부를 선정하고 깊이 영상 촬영을 시작하는 단계(S100);
상기 S100 단계에서 선정된 평구조부에 가상 키보드 영상을 투사하여 생성하는 단계(S200);
상기 S200 단계가 완료되면 평구조부에 투사 및 생성된 가상 키보드 영상에서 가상 키보드 타건 영역 배경 데이터를 추출하는 단계(S210);
상기 S200 단계에서 투사 및 생성된 가상 키보드 영상과 가상 키보드 조작자 손 사이의 변위에 대한 깊이 정보를 취득하기 위하여 깊이 카메라로 가상 키보드 조작자의 손을 인식하는 객체 인식 단계(S300);
상기 S300 단계에서 객체 인식 완료된 가상 키보드 조작자 손이 가상 키보드 영상의 어느 위치를 터치하였는지 깊이 카메라로 타건 위치를 검출하는 단계(S400);
상기 S400 단계에서 검출된 타건 위치를 깊이 정보로 변환하는 단계(S500);
상기 S500에서 깊이 정보로 변환 처리된 타건 위치와 DB 모듈 상에 내재된 키 데이터를 확인 및 일치시키는 과정인, 키 데이터 동기화 단계(S510);
상기 S510 단계에서 타건 위치에 대한 깊이 정보와 키 데이터가 동기화 된 코드(code)를 DB 모듈에 전송하는 단계(S600);
상기 S600 단계에서 전송된 코드를 DB 모듈 상에 내재된 해당 입력 키로 선택 및 추출하는 단계(S610);
상기 S610 단계에서 추출된 입력 키를 제어 대상 컴퓨터로 전송하는 단계(S700)로 구성되는 것을 특징으로 한다.
이 때, 빔 프로젝터 영상 송출 모듈로부터 평구조부에 투사된 가상 키보드 형상은 도 7과 같이 가상 키보드 조작자가 실제로 키보드를 타건하는 느낌을 구현하기 위하여 실제 키보드와 동일한 형상 및 크기로 영상 출력되는 것을 특징으로 한다. 또한 도 7과 같이 세계 각국의 언어를 지원하는 자판 배열 형상으로 영상 출력 가능하도록 설정되는 것을 특징으로 하는데 이는 가상 키보드 조작자의 상황에 따라 입력을 위한 가상 키보드의 언어 배열 형태를 취사선택할 수 있는 자유도를 증대시키기 위함이다. 또한, 가상 키보드의 키를 타건하는 과정에서 청각적 효과를 제공하기 위하여 타건음 출력이 가능하도록 하는 것을 특징으로 한다.
도 8은 본 발명에 따른 깊이 영상 처리 기반의 가상 키보드 장치 및 조작 방법을 구현하기 위한 전체 시스템(100)을 도식화한 것으로 세부적인 구성은,
깊이 정보를 획득하기 위한 깊이 카메라 모듈(110);
가상 키보드를 평구조부(120)에 투사하기 위한 빔 프로젝터 영상 송출 모듈(130);
타건 위치 인식용 가상 키보드 영상 데이터, 키 데이터 및 타건음 데이터가 내재된 DB 모듈(140);
타건음을 출력하기 위한 스피커 모듈(150)이 구비되는 것을 특징으로 한다.
상기 스피커 모듈(150)은 유선 연결을 최소화하고 공간 활용도를 증대시키기 위하여 근거리 무선 통신 모듈(160)을 장착하는 것을 특징으로 하며, 상기 근거리 무선 통신 모듈(160)은 저전력 기반의 근거리 무선 기술 표준인 블루투스(bluetooth) 통신 방식을 이용하는 것이 바람직하다.
이상 본 발명의 실시예에 따른 도면을 참조하여 설명하였지만, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 상기 내용을 바탕으로 본 발명의 범주 내에서 다양한 응용, 변형 및 개작을 행하는 것이 가능할 것이다. 이에, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
11 : 깊이 영상 촬영 모듈
12 : 공간 좌표 보정부
13 : 깊이 값 계산부
14 : 객체 검출부
15 : 포인터 추출부
16 : 터치 판단부

Claims (3)

  1. 깊이 정보를 획득하기 위한 깊이 카메라 모듈(110); 가상 키보드를 평구조부(120)에 투사하기 위한 빔 프로젝터 영상 송출 모듈(130); 타건 위치 인식용 가상 키보드 영상 데이터, 키 데이터 및 타건음 데이터가 내재된 DB 모듈(140); 타건음을 출력하기 위한 스피커 모듈(150)이 구비되며, 상기 스피커 모듈(150)은 유선 연결을 최소화하고 공간 활용도를 증대시키기 위하여 근거리 무선 통신 모듈(160)을 장착하는 것을 특징으로 하며, 상기 근거리 무선 통신 모듈(160)은 저전력 기반의 근거리 무선 기술 표준인 블루투스(bluetooth) 통신 방식을 이용하며, 가상 터치 센서의 상세 구성은, 터치 센서 영역을 활용하여 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(11); 상기 깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간 좌표 왜곡을 보정하는 공간 좌표 보정부(12); 상기 공간 좌표 보정부(12)에서 공간 좌표 왜곡이 보정된 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(13); 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링(labeling)하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부(14); 검출된 객체에 대한 포인터를 추출하는 포인터 추출부(15); 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(16)로 구성되는 가상 키보드 시스템의 깊이 영상 처리 기반의 가상 키보드 조작 방법에 있어서,
    깊이 카메라 촬영 및 깊이 영상 데이터 획득을 수행할 가상 키보드 기반체인 평면체 또는 완만한 곡면체의 평구조부를 선정하고 깊이 영상 촬영을 시작하는 단계(S100);
    깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간 좌표 왜곡을 보정하는 공간 좌표를 보정하는 단계;
    상기 깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간 좌표 왜곡 보정은,
    Figure 112017078943238-pat00006
    수식(1)
    Figure 112017078943238-pat00007
    수식(2)
    상기 수식(1)과 수식(2)를 이용하여 보정된 변환 후 절대 좌표를 구할 수 있고, 여기서, x(수평)와 y(수직)는 변환 전 좌표; X(수평)와 Y(수직)는 변환 후 좌표; Hx(폭)과 Vyo, Vy1 (높이)은 변환 전 터치 센서 영역; HX(폭)와 VY(높이)는 변환 후 터치 센서 영역; x0(수평)와 y0(수직)는 보정 오프셋이며,
    상기 S100 단계에서 선정된 평구조부에 가상 키보드 영상을 투사하여 생성하는 단계(S200);
    상기 S200 단계가 완료되면 평구조부에 투사 및 생성된 가상 키보드 영상에서 가상 키보드 타건 영역 배경 데이터를 추출하는 단계(S210);
    상기 S200 단계에서 투사 및 생성된 가상 키보드 영상과 가상 키보드 조작자 손 사이의 변위에 대한 깊이 정보를 취득하기 위하여 깊이 카메라로 가상 키보드 조작자의 손을 인식하는 객체 인식 단계(S300);
    상기 S300 단계에서 객체 인식 완료된 가상 키보드 조작자 손이 가상 키보드 영상의 어느 위치를 터치하였는지 깊이 카메라로 타건 위치를 검출하는 단계(S400);
    상기 S400 단계에서 검출된 타건 위치를 깊이 정보로 변환하는 단계(S500);
    상기 S500 단계에서 깊이 정보로 변환 처리된 타건 위치와 DB 모듈 상에 내재된 키 데이터를 확인 및 일치시키는 과정인, 키 데이터 동기화 단계(S510);
    상기 키 데이터가 동기화(S510)되지 않는 경우, 다시 상기 타건 위치검출단계(S400)로 이동하는 단계;
    상기 S510 단계에서 타건 위치에 대한 깊이 정보와 키 데이터가 동기화 된 코드(code)를 DB 모듈에 전송하는 단계(S600);
    상기 S600 단계에서 전송된 코드를 DB 모듈 상에 내재된 해당 입력 키로 선택 및 추출하는 단계(S610);
    상기 DB 모듈내 입력키 추출(S610)되지 않는 경우, 다시 상기 타건 위치검출단계(S400)로 이동하는 단계;
    상기 S610 단계에서 추출된 입력 키를 제어 대상 컴퓨터로 전송하는 단계(S700)로 구성되며,
    영상의 형상 및 크기는 실제 키보드와 동일한 형상 및 크기로 출력되며,
    세계 각국의 언어를 지원하는 자판 배열 형상으로 영상 출력 가능하도록 설정되며, 가상 키보드의 키를 타건하는 과정에서 청각적 효과를 제공하기 위하여 타건음이 출력되는 것을 특징으로 하는 깊이 영상 처리 기반의 가상 키보드 조작 방법.
  2. 제 1 항에 있어서,
    빔 프로젝터 영상 송출 모듈로부터 평구조부에 투사된 가상 키보드의 형상은 가상 키보드 조작자가 실제로 키보드를 타건하는 느낌을 구현하기 위하여 실제 키보드와 동일한 형상 및 크기로 영상 출력되는 것을 특징으로 하는 깊이 영상 처리 기반의 가상 키보드 조작 방법.
  3. 제 2 항에 있어서,
    상기 빔 프로젝터 영상 송출 모듈은 가상 키보드 조작자의 상황에 따라 입력을 위한 가상 키보드의 언어 배열 형태를 취사선택할 수 있는 자유도를 증대시키기 위하여 세계 각국의 언어를 지원하는 자판 배열 형상으로 영상 출력하는 기능을 내재하는 것을 특징으로 하는 깊이 영상 처리 기반의 가상 키보드 조작 방법.
KR1020170103661A 2017-08-16 2017-08-16 깊이 영상 처리 기반의 가상 키보드 조작 방법 KR101808720B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170103661A KR101808720B1 (ko) 2017-08-16 2017-08-16 깊이 영상 처리 기반의 가상 키보드 조작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170103661A KR101808720B1 (ko) 2017-08-16 2017-08-16 깊이 영상 처리 기반의 가상 키보드 조작 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150083918A Division KR20160147326A (ko) 2015-06-15 2015-06-15 깊이 영상 처리 기반의 가상 키보드 조작 방법

Publications (2)

Publication Number Publication Date
KR20170096990A KR20170096990A (ko) 2017-08-25
KR101808720B1 true KR101808720B1 (ko) 2018-01-18

Family

ID=59761722

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170103661A KR101808720B1 (ko) 2017-08-16 2017-08-16 깊이 영상 처리 기반의 가상 키보드 조작 방법

Country Status (1)

Country Link
KR (1) KR101808720B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123316A (ja) 2006-11-14 2008-05-29 Konica Minolta Holdings Inc データ入力方法およびデータ入力装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123316A (ja) 2006-11-14 2008-05-29 Konica Minolta Holdings Inc データ入力方法およびデータ入力装置

Also Published As

Publication number Publication date
KR20170096990A (ko) 2017-08-25

Similar Documents

Publication Publication Date Title
JP6548518B2 (ja) 情報処理装置および情報処理方法
US8971629B2 (en) User interface system based on pointing device
KR101808714B1 (ko) 영상의 깊이 정보와 가상 터치 센서를 이용한 자동차 센터페시아 제어 방법
WO2019007258A1 (zh) 相机姿态信息的确定方法、装置、设备及存储介质
JP6075122B2 (ja) システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
US20130135199A1 (en) System and method for user interaction with projected content
JP2015176253A (ja) ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US20220189113A1 (en) Method for generating 3d skeleton using joint-based calibration acquired from multi-view camera
JP2014142737A (ja) 入力プログラム、入力装置および入力方法
KR102344227B1 (ko) 동체 검출 장치, 동체 검출 방법, 동체 검출 프로그램
JP2014029656A (ja) 画像処理装置および画像処理方法
JPWO2018154634A1 (ja) 投写型表示装置、投写型表示装置の制御方法、及びプログラム
KR101785781B1 (ko) 깊이 정보를 이용한 가상 피아노 구현 방법
KR101536673B1 (ko) 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법
KR101426378B1 (ko) 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법
WO2011096571A1 (ja) 入力装置
KR101808720B1 (ko) 깊이 영상 처리 기반의 가상 키보드 조작 방법
JP2011002292A (ja) 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム
JP6452658B2 (ja) 情報処理装置、およびその制御方法ならびにプログラム
KR20160147326A (ko) 깊이 영상 처리 기반의 가상 키보드 조작 방법
KR101775784B1 (ko) 가상 터치 센서를 이용한 노래 반주 기기의 제어 방법
KR20170035116A (ko) 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 방법
JP2011175347A (ja) 情報処理装置および情報処理方法
JP2013257830A (ja) 情報処理装置
KR101687150B1 (ko) 노약자 친화적인 가상 터치 방식의 병상 멀티미디어 장치 및 그 구현 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant