KR101775784B1 - 가상 터치 센서를 이용한 노래 반주 기기의 제어 방법 - Google Patents

가상 터치 센서를 이용한 노래 반주 기기의 제어 방법 Download PDF

Info

Publication number
KR101775784B1
KR101775784B1 KR1020150132835A KR20150132835A KR101775784B1 KR 101775784 B1 KR101775784 B1 KR 101775784B1 KR 1020150132835 A KR1020150132835 A KR 1020150132835A KR 20150132835 A KR20150132835 A KR 20150132835A KR 101775784 B1 KR101775784 B1 KR 101775784B1
Authority
KR
South Korea
Prior art keywords
song accompaniment
virtual
touch sensor
depth
touch
Prior art date
Application number
KR1020150132835A
Other languages
English (en)
Other versions
KR20170034505A (ko
Inventor
권순각
윤찬영
김민지
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020150132835A priority Critical patent/KR101775784B1/ko
Publication of KR20170034505A publication Critical patent/KR20170034505A/ko
Application granted granted Critical
Publication of KR101775784B1 publication Critical patent/KR101775784B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/02—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with automatic musical instruments

Abstract

본 발명은 영상 송출 모듈을 통하여 가상의 노래 반주용 그래픽 인터페이스를 생성하고 깊이 정보 기반의 가상 터치 센서 영역에서 감지한 터치 좌표들의 위치 변화에 따라 노래 반주 기기를 제어하는 방법에 관한 것으로서, 더욱 상세하게는 가상의 노래 반주용 그래픽 인터페이스 상에서 다중 터치 인식이 가능한 깊이 정보 기반의 가상 터치 센서 영역을 구현하고, 상기 가상 터치 센서 영역 상에서 사용자의 터치 행위에 의하여 인식된 단일 터치 동작 또는 다중 터치 동작을 깊이 카메라가 인식 및 깊이 정보로 변환하여 이에 적합한 그래픽 기반의 제어 이벤트를 가상의 노래 반주용 그래픽 인터페이스 상에 나타나도록 하여 노래 반주 기기를 제어하는 방법에 관한 것이다.
본 발명에 따른 가상 터치 센서를 이용한 노래 반주 기기 및 그 제어 방법은 깊이 카메라를 사용자가 원하는 위치에 설치하고 벽면 또는 책상과 같은 평면체 또는 완만한 곡면체 등의 평구조부를 노래 반주 기기 제어 화면의 기반체로 하여 객체를 인식시키고 빔 프로젝터와 같은 영상 송출 모듈로 가상의 노래 반주용 그래픽 인터페이스를 생성한 후, 평구조부에 투사된 노래 반주용 그래픽 인터페이스 상의 특정 위치를 터치하면 깊이 카메라가 사용자의 특정 위치에 대한 터치 동작을 인식하여 노래 반주 기기로 터치 정보를 전달하는 알고리듬이 순차적으로 적용되고 상기한 개별 모듈이 하나의 시스템으로 구성되는 것을 특징으로 한다.

Description

가상 터치 센서를 이용한 노래 반주 기기의 제어 방법{Karaoke Machine System control method using Virtual Touch Sensor Based On Depth Information}
본 발명은 영상 송출 모듈(module)을 통하여 가상의 노래 반주용 그래픽 인터페이스(graphic interface)를 생성하고 깊이 정보 기반의 가상 터치 센서 영역에서 감지한 터치 좌표들의 위치 변화에 따라 노래 반주 기기를 제어하는 방법에 관한 것으로서, 더욱 상세하게는 가상의 노래 반주용 그래픽 인터페이스 상에서 다중 터치 인식이 가능한 깊이 정보 기반의 가상 터치 센서 영역을 구현하고, 상기 가상 터치 센서 영역 상에서 사용자의 터치 행위에 의하여 인식된 단일 터치 동작 또는 다중 터치 동작을 깊이 카메라가 인식 및 깊이 정보로 변환하여 이에 적합한 그래픽 기반의 제어 이벤트를 가상의 노래 반주용 그래픽 인터페이스 상에 나타나도록 하여 노래 반주 기기를 제어하는 방법에 관한 것이다.
일반적으로 노래 반주 시스템은, 영상을 출력하기 위한 디스플레이 모듈이 연결된 노래 반주기, 이를 원격 조정하기 위한 리모트 컨트롤러(remote controller), 노래 반주를 출력하는 스피커로 구성된다. 이 중 노래 반주기는 다양한 곡을 선택할 수 있도록 노래 반주 데이터 베이스 모듈이 내재되고, 노래 반주를 선택하기 위하여 원격으로 다양한 곡에 대한 곡명 또는 곡 번호 등을 상기 리모트 컨트롤러로 입력하게 된다. 특히, 상기 리모트 컨트롤러는 노래 반주 기기에서 일정 거리 떨어진 위치에서 노래 반주 기기에 직접 접촉하지 않아도 노래를 선택하고, 음량을 조절하며, 음색을 조절할 수 있기 때문에 노래 반주 기기 사용자들에게 매우 편리한 보조 장치로서 이용된다. 이러한 동작은 리모트 컨트롤러에 구비된 기능 키(function key)들을 조작하여 노래 반주 기기에 일련의 명령을 입력하면, 노래 반주 기기에 입력된 명령에 따라 해당 기능을 수행하게 된다. 또한 노래 반주 기기의 디스플레이 모듈 화면 상에는 노래 반주 영상과 리모트 컨트롤러에서 수신한 명령에 대한 데이터가 문자열 혹은 이미지 형식으로 표시된다. 종래의 노래 반주 시스템은 노래 반주 기기를 제어하기 위해서 리모트 컨트롤러 또는 노래 반주 기기 전면에 구비된 기능 키를 통해서만 조작이 가능하였다. 그리고 리모트 컨트롤러의 IR(Infrared) 신호를 노래 반주 기기 전면에 구비된 IR 수신부에서 제어 신호를 수신하여 해당 신호에 따라 노래 반주 기기가 제어되므로 IR 수신 범위가 한정되고, 리모트 컨트롤러와 IR 수신부 사이에 장애물이 있을 시에 신호 간섭에 기인한 제어 불가 문제가 발생할 수 있다. 또한 소형의 리모트 컨트롤러에 다수의 제어 버튼을 장착해야 하는 공간적 제한 사항으로 인하여 제어 버튼의 물리적 크기 설정 및 기능 구현에 한계가 있고, 이에 따라 노년층 등과 같이 특정 사용자의 경우에 노래 반주 기기의 작동에 어려움이 발생할 수 있다. 그리고 리모트 컨트롤러가 소형이어서 분실되거나 기구적인 특성상 내구성의 문제로 파손이 발생하는 등의 문제가 있다.
가상 터치 센서를 이용한 노래 반주 기기 및 그 제어 방법을 개시하려는 유사 선행 기술에는 대한민국 특허청에 등록된 KR 10-0588874(B1); KR 10-1160464(B1); KR 10-1336139(B1); 등이 있다. 상기한 종래의 기술에서는 깊이 카메라를 이용하여 동작 인식 알고리듬으로 사람의 움직임을 통한 노래 반주 기기 및 제어 방법에 대한 기술이 제공되지 못하였다.
KR 10-0588874(B1) KR 10-1160464(B1) KR 10-1336139(B1)
본 발명은 상기한 발명의 배경으로부터 요구되는 기술적 필요성을 충족하는 것을 목적으로 한다.
구체적으로, 본 발명의 목적은 가상의 노래 반주용 그래픽 인터페이스 상에서 다중 터치 인식이 가능한 깊이 정보 기반의 가상 터치 센서 영역을 구현하고, 이 가상 터치 센서 영역 상에서 사용자의 터치 행위에 의하여 인식된 단일 터치 동작 또는 다중 터치 동작을 깊이 카메라가 인식 및 깊이 정보로 변환하여 이에 적합한 그래픽 기반의 제어 이벤트를 가상의 노래 반주용 그래픽 인터페이스 상에 나타나도록 하여 노래 반주 기기를 제어하는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이러한 목적을 달성하기 위한 본 발명에 따른 가상 터치 센서를 이용한 노래 반주 기기 및 그 제어 방법은 깊이 카메라를 사용자가 원하는 위치에 설치하고 벽면 또는 책상과 같은 평면체 또는 완만한 곡면체 등의 평구조부를 노래 반주 기기 제어 화면의 기반체로 하여 객체를 인식시키고 빔 프로젝터(beam projector)와 같은 영상 송출 모듈로 가상의 노래 반주용 그래픽 인터페이스를 생성한 후, 평구조부에 투사된 노래 반주용 그래픽 인터페이스 상의 특정 위치를 터치하면 깊이 카메라가 사용자의 특정 위치에 대한 터치 동작을 인식하여 노래 반주 기기로 터치 정보를 전달하는 알고리듬(algorithm)이 순차적으로 적용되고 상기한 개별 모듈이 하나의 시스템으로 구성되는 것을 특징으로 한다.
이상과 같이 본 발명은 벽면 또는 책상과 같은 평면체 또는 완만한 곡면체 등의 평구조부를 노래 반주 기기 제어 화면의 기반체로 하여 가상의 노래 반주용 그래픽 인터페이스를 생성할 수 있고, 사용자의 특정 위치에 대한 터치 동작을 실시간으로 인식하여 리모트 컨트롤러 없이도 노래 반주 기기 제어가 가능한 장점이 있다.
본 발명의 기술적 효과들은 이상에서 언급한 기술적 효과들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 청구범위의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 가상 터치 센서를 이용한 노래 반주 기기 및 그 제어 방법을 구현하기 위한 깊이 정보 처리 분석의 순서도;
도 2는 본 발명의 실시예에 따른 가상 터치 센서를 이용한 노래 반주 기기 및 그 제어 방법에서 가상 터치 센서에 대한 깊이 영상 촬영 모듈 설치 위치의 예시도;
도 3은 본 발명의 실시예에 따른 가상 터치 센서를 이용한 노래 반주 기기 및 그 제어 방법에서 1차원 선형 변환에 의하여 변환 전 좌표가 보정되는 과정의 예시도;
도 4는 본 발명의 실시예에 따른 가상 터치 센서를 이용한 노래 반주 기기 및 그 제어 방법에서 터치 센서 영역에서의 터치 판단을 나타낸 구성도;
도 5는 본 발명의 실시예에 따른 가상 터치 센서를 이용한 노래 반주 기기 및 그 제어 방법에서 포인터의 터치 속도 및 궤적의 흐름을 나타낸 구성도;
도 6은 본 발명의 실시예에 따른 가상 터치 센서를 이용한 노래 반주 기기 및 그 제어 방법을 구현하기 위한 실시 흐름도;
도 7은 본 발명의 실시예에 따른 가상 터치 센서를 이용한 노래 반주 기기 및 그 제어 방법에서 제시하는 주요 모듈별 배치도;
도 8은 본 발명의 실시예에 따른 가상 터치 센서를 이용한 노래 반주 기기 및 그 제어 방법을 구현하기 위한 동작 인식 예시도이다.
이하에서는, 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하지만, 이는 본 발명의 더욱 용이한 이해를 위한 것으로, 본 발명의 범주가 그것에 의해 한정되는 것은 아니다. 또한 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.
도 1을 참조하여 깊이 카메라를 이용한 깊이 정보 처리 분석의 개념을 설명하면 다음과 같다. 도 1(a)에서와 같이 가상 터치 센서의 상세 구성은, 터치 센서 영역을 활용하여 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(11); 상기 깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간 좌표 왜곡을 보정하는 공간 좌표 보정부(12); 상기 공간 좌표 보정부(12)에서 공간 좌표 왜곡이 보정된 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(13); 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링(labeling)하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부(14); 검출된 객체에 포인터를 추출하는 포인터 추출부(15); 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(16)가 구비되는 것을 특징으로 한다.
또한, 도 1(b)에서와 같이 공간 좌표의 보정 순서를 다르게 할 수 있다. 공간 좌표의 보정을 터치 판단 이전에 하는 경우에는 도1(b)에서와 같이 터치 센서 영역을 촬영하여 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(21); 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(22); 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부(23); 검출된 객체에서 포인터를 추출하는 포인터 추출부(24); 터치 센서 영역에 대한 영상의 공간 좌표 왜곡을 보정하는 공간 좌표 보정부(25); 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(26)로 공간 좌표 보정 순서가 변경될 수 있는 것을 특징으로 한다.
여기서, 공간 좌표 보정은 절대 공간 좌표가 응용될 경우에는 사용되고 상대 공간 좌표가 응용될 경우에는 사용되지 않아도 된다. 그리고 가상 터치 센서로 사용되는 디스플레이 모니터, 스크린, 평평하거나 곡면 형태의 물체 등의 영역에 상, 하, 좌, 우, 좌상, 좌하, 우상, 우하 등의 어느 한 곳에 깊이 영상 촬영 모듈을 한 개 설치하거나 두 곳 이상에 다수 개가 설치될 수 있다(도 2).
상기 깊이 영상 촬영 모듈(11)은 행거, 받침대 등의 외부 거치대 형태, 벽 또는 바닥 내부에 고정식 형태, 탈부착이 자유로운 착탈식 형태, 단말 기기에 부착되는 소켓식 형태 등으로 부착이 가능하다. 그리고 상기 터치 센서 영역의 깊이 값 계산부(13)는 상기 깊이 영상 촬영 모듈(11)이 터치 센서 영역을 촬영하여 획득한 터치 센서 영역에 대한 깊이 영상을 받아 특정 지점의 깊이 값을 계산해 준다. 상기 깊이 값 계산부(13)는 실행의 초기에만 작동하는 부분이며, 깊이 영상의 첫 화면을 선택할 수 있다. 또한 안정적인 영상을 얻기 위하여 특정 개수에 해당되는 화면을 축적할 수 있다. 화면을 축적한 경우에는 평균값을 계산하여 터치 센서의 각 위치에 대표 깊이 값으로 저장한다. 이 때 평균값 이외에도 중간 값 또는 최빈치 값 등이 사용될 수도 있다. 촬영 모듈과 터치 센서 영역의 위치 또는 거리가 바뀔 경우에는 상기 깊이 값 계산부(13)가 다시 실행되는데 터치 센서 영역의 깊이 값은 매 화면마다 얻어지며 얻어진 깊이 값과 이전에 저장된 대표 깊이 값과의 절대 차이가 특정치 이상으로 발생하는 위치 수가 많을 경우에는 상기 터치 센서 영역의 깊이 값 계산부(13)가 다시 실행된다.
도 3은 깊이 영상 촬영 모듈이 가상 터치 센서 영역의 좌측에 설치된 환경 하에서 4개의 맵핑(mapping)되는 공간 좌표를 기반으로 1차원 선형 변환에 의하여 변환 전 좌표가 보정되는 것을 도식화한 것이며 다음의 관계가 정의된다.
Figure 112015091442730-pat00001
...수식(1)
Figure 112015091442730-pat00002
...수식(2)
상기 수식(1)과 수식(2)를 이용하여 보정된 변환 후 절대 좌표를 구할 수 있다. 여기서, x(수평)와 y(수직)는 변환 전 좌표이고, X(수평)와 Y(수직)는 변환 후 좌표이다. Hx(폭)과 Vyo, Vy1 (높이)은 변환 전 터치 센서 영역에 해당되고 HX(폭)와 VY(높이)는 변환 후 터치 센서 영역에 해당된다. x0(수평)와 y0(수직)는 보정 오프셋(offset)이다.
상기 객체 검출부(14)는 깊이 영상의 새로운 화면이 들어올 때 마다 이전 단계에서 저장해 놓은 터치 센서 영역의 대표 깊이 값과 비교하며, 두 값이 일정 범위를 벗어나면 객체가 검출된 것으로 판단한다. 즉, 다음의 수식(3)이 만족되면 수평방향 x와 수직방향 y 위치에서 객체가 검출된 것으로 판단하여 새로운 이진 영상을 만들고 해당 위치의 화소(pixel) 값을 '255'로 저장한다.
Figure 112015091442730-pat00003
...수식(3)
여기서, d는 현재 입력되는 깊이 영상에서의 깊이 값이고 ds는 터치 센서 영역의 대표 깊이 값이며 Ti는 특정 값으로 사용자에 의하여 설정되는데 일반적으로 밀리미터 단위 규격에서 5인 것이 바람직하다.
한 화면에 대하여 객체 검출이 모두 수행되면 객체 부분에는 '255'로 객체가 아닌 부분에는 '0'으로 화소 값을 갖는 이진 영상이 생성된다. 이진 영상에서 화소 값이 '255'인 화소들을 순차적으로 그룹화하고 라벨링하는 과정을 수행한다. 라벨링된 순서대로 첫 번째에 객체에는 '1', 두 번째 객체에는 '2' 등으로 객체 수만큼의 크기 값으로 저장하여 객체를 검출한다. 또한 다양한 모폴로지(morphology) 연산, 침식, 팽창, 제거 및 채움 등을 통하여 잡음(noise)을 제거할 수 있다. 검출한 객체에 대한 라벨링에 잡음이 생길 수도 있으므로 잡음을 배제하기 위하여 라벨링된 객체의 화소 수가 특정 개수 이내이면 라벨링 객체에서 제외시킬 수 있다. 그리고 상기 포인터 추출부(15)는 검출된 객체에서 포인터를 추출하는데 포인터는 터치 센서 영역에 가장 가까운 위치를 얻어 포인터로서 사용한다. 추출된 포인터는 사람의 손가락 또는 지시 도구 등이 될 수 있다. 터치 센서 영역과의 가까운 위치를 찾는 것은 영상 촬영 모듈의 설치 방향에 따라 다르다. 깊이 영상 촬영 모듈이 터치 센서 영역의 좌측에 설치된 경우는 터치 센서 영역 깊이 영상의 방향을 기준으로 객체 내에서 가장 좌측에 있는 화소의 위치를 포인터로 사용하고, 영상 촬영 모듈이 우측일 때는 가장 우측에 있는 화소로, 상측일 때는 가장 상측에 있는 화소로, 하측일 때는 가장 하측에 있는 화소를 포인터로 사용한다.
도 4는 터치 센서 영역에서의 터치 판단을 나타낸 구성도이고 도 5는 포인터의 터치 속도 및 궤적의 흐름을 나타낸 구성도이다. 상기 터치 판단부(16)는 포인터가 터치 센서에 접근 또는 접촉하는지의 여부를 판단한다. 손 또는 지시 도구가 터치 센서 영역을 접촉한 경우에만 터치한 것으로 판단하거나 일정거리 이내로 접근한 경우에도 터치한 것으로 판단하는 지에 대한 여부는 사용자의 편의성에 따라 지정할 수 있다. 상기 터치 판단부(16)에서는 접촉한 경우를 터치한 것으로 고려한다면 포인터 위치의 깊이 값인 dp(x,y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치에서의 깊이 값인 ds(x,y)를 비교하여 두 값의 절대 차이가 특정 값 미만일 때 터치한 것으로 판단한다. 즉, 다음의 수식(4)가 만족되면 수평방향 x와 수직방향 y위치에서 포인터가 터치 센서 영역에 터치한 것으로 판단한다.
Figure 112015091442730-pat00004
...수식(4)
여기서, TD는 특정 값으로 사용자에 의하여 설정되며, 밀리미터 단위 규격에서는 일반적으로 5가 적당하다. 이때, 판단의 오동작을 방지하기 위하여 수평방향 x, 수직방향 y의 한 위치보다는 이웃한 여러 개의 수평방향으로 x-1, y, y+1 세 위치 깊이 값의 평균값이 사용될 수 있다. 또는 왼쪽 대각선, 오른쪽 대각선 등에 있는 이웃한 화소 값이 사용될 수도 있다. 접근한 것을 터치한 것으로 판단하는 경우에는 터치된 위치와 깊이 값이 비교되는 위치가 서로 다르게 된다. 즉, 터치 센서 영역의 왼쪽에 영상 촬영 모듈이 설치된 경우에 포인터 위치의 깊이 값인 dp(x,y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치보다 왼쪽 일정 개수 T만큼 떨어진 화소 깊이 값인 ds(x-T,y)를 비교하여 두 값의 차가 특정 값 미만일 때 터치한 것으로 판단한다. 이 때 터치한 위치는 수평방향 x-T와 수직방향 y의 위치이며 다음의 수식(5)를 만족하면 해당 위치에서 포인터가 터치 센서 영역에 터치한 것으로 판단한다.
Figure 112015091442730-pat00005
...수식(5)
여기서, T는 특정 값으로 사용자에 의하여 설정되며, 포인터와 터치 센서 영역 사이의 접근거리가 1cm인 경우에는 5화소가 적당하다. 접근한 경우에도 포인터 한 위치보다는 이웃한 여러 개의 깊이 값의 평균 값이 사용될 수 있다. 또한, 터치 센서 영역의 오른쪽에 영상 촬영 모듈이 설치되면 dp(x,y)와 ds(x+T,y)를 비교하여 (x+T,y) 위치에서 터치 여부를 판단하고, 위쪽일 때는 dp(x,y)와 ds(x,y-T)를 비교하여 (x, y-T) 위치에 터치 여부를 판단하며, 아래쪽일 때는 dp(x,y)와 ds(x,y+T)를 비교하여 (x,y+T) 위치의 터치 여부를 판단한다. 또한, 도 5와 같이 매 화면마다 포인터의 수평/수직 깊이 값을 획득할 수 있다. 즉, 화면의 프레임율을 바탕으로 포인터의 수평방향의 속도 및 방향성, 수직방향의 속도 및 방향성, 촬영 모듈 또는 터치 센서 영역과의 거리를 알 수 있다. 이와 같은 포인터의 이동 방향 및 속도 검출을 위한 방법의 하나는 깊이 영상 촬영 모듈로부터 획득한 깊이 영상의 이전 프레임과 현재 프레임을 연속적으로 비교하여 포인터의 이동 방향, 이동 속도, 이동 거리를 검출하는 방법이 사용될 수 있다.
본 발명에 따른 가상 터치 센서를 이용한 노래 반주 기기 및 그 제어 방법은 깊이 카메라를 사용자가 원하는 위치에 설치하고 벽면 또는 책상과 같은 평면체 또는 완만한 곡면체 등의 평구조부를 노래 반주 기기 제어 화면의 기반체로 하여 객체를 인식시키고 빔 프로젝터와 같은 영상 송출 모듈로 가상의 노래 반주용 그래픽 인터페이스 영역을 생성한 후, 사용자가 평구조부에 투사된 가상의 노래 반주용 그래픽 인터페이스 상의 특정 위치를 터치하면 깊이 카메라가 사용자의 특정 위치에 대한 터치 동작을 인식하여 노래 반주 기기로 터치 정보를 전달하는 알고리듬이 적용된다. 도 6을 참조하여 보다 순차적으로 설명하면,
깊이 카메라 촬영 및 깊이 영상 데이터 획득을 수행할 가상 노래 반주용 그래픽 인터페이스 기반체인 평면체 또는 완만한 곡면체의 평구조부를 선정하고 깊이 영상 촬영을 시작하는 단계(S100);
상기 S100 단계에서 선정된 평구조부에 가상 노래 반주용 그래픽 인터페이스 영상을 투사하여 생성하는 단계(S200);
상기 S200 단계가 완료되면 평구조부에 투사 및 생성된 가상 노래 반주용 그래픽 인터페이스 영상에서 터치 영역 배경 데이터를 추출하는 단계(S210);
상기 S200 단계에서 투사 및 생성된 가상 노래 반주용 그래픽 인터페이스 영상과 사용자 손 사이의 변위에 대한 깊이 정보를 취득하기 위하여 깊이 카메라로 사용자의 손을 인식하는 객체 인식 단계(S300);
상기 S300 단계에서 객체 인식 완료된 사용자 손이 가상 노래 반주용 그래픽 인터페이스 영상의 어느 위치를 터치하였는지 깊이 카메라로 터치 위치를 검출하는 단계(S400);
상기 S400 단계에서 검출된 터치 위치를 깊이 정보로 변환하는 단계(S500);
상기 S500 단계에서 깊이 정보로 변환 처리된 터치 위치와 노래 반주 기기 상에 내재된 노래 반주 데이터를 확인 및 일치시키는 과정인, 노래 반주 데이터 동기화 단계(S510);
상기 S510 단계에서 터치 위치에 대한 깊이 정보와 노래 반주 데이터가 동기화 된 코드(code)를 노래 반주 기기에 전송하는 단계(S600);
상기 S600 단계에서 전송된 코드를 노래 반주 기기 상에 내재된 해당 노래 반주 데이터로 선택 및 추출하는 단계(S610);
상기 S610 단계에서 추출된 노래 반주 데이터를 가상 노래 반주용 그래픽 인터페이스로 다시 전송하는 피드백을 수행하고 노래 반주를 진행하는 단계(S700)로 구성되는 것을 특징으로 한다.
도 7은 본 발명에 따른 가상 터치 센서를 이용한 노래 반주 기기 및 그 제어 방법을 구현하기 위한 전체 시스템(100)을 도식화한 것으로 세부적인 구성은,
깊이 정보를 획득하기 위한 깊이 카메라 모듈(110);
가상 노래 반주용 그래픽 인터페이스를 평구조부(120);에 투사하기 위한 빔 프로젝터 영상 송출 모듈(130);
터치 위치 인식용 가상 노래 반주용 그래픽 인터페이스 데이터, 노래 반주 데이터, 영상 데이터가 내재된 노래 반주 기기 모듈(140);
노래 반주를 출력하기 위한 스피커 모듈(150);이 구비되며, 상기 스피커 모듈(150)은 유선 연결을 최소화하고 공간 활용도를 증대시키기 위하여 근거리 무선 통신 모듈(160);을 장착하는 것을 특징으로 한다.
도 8은 본 발명의 실시예에 따른 깊이 정보 기반의 가상 터치 센서를 이용한 노래 반주 기기 및 제어 방법을 구현하기 위한 동작 인식 예시도이다. 상기 평구조부(120) 상에 구현된 가상 터치 센서 영역(12r)에 단일 터치 동작 또는 다중 터치 동작을 수행하면 깊이 카메라가 해당 터치의 좌표 정보(10t, 11t)를 인식하고 깊이 정보로 변환하여 상기 노래 반주 기기 모듈(140)에 전달하면 이에 적합한 가상의 노래 반주용 그래픽 이벤트를 상기 평구조부(120) 상에 나타나도록 하여 노래 반주 시스템을 구현하게 된다.
이상 본 발명의 실시예에 따른 도면을 참조하여 설명하였지만, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 상기 내용을 바탕으로 본 발명의 범주 내에서 다양한 응용, 변형 및 개작을 행하는 것이 가능할 것이다. 이에, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
10t, 11t : 터치의 좌표 정보
12r : 가상 터치 센서 영역
100 : 전체 시스템
120 : 평구조부
140 : 노래 반주 기기 모듈

Claims (8)

  1. 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(11); 터치 센서 영역에 대한 영상의 공간 좌표 왜곡을 보정하는 공간 좌표 보정부(12); 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(13); 깊이 영상의 화소를 순차적으로 그룹화하고 라벨링하여 객체를 검출하는 객체 검출부(14); 검출된 객체에 대한 포인터를 추출하는 포인터 추출부(15); 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(16); 가상 노래 반주용 그래픽 인터페이스를 평구조부(120)에 투사하기 위한 빔 프로젝터 영상 송출 모듈(130); 터치 위치 인식용 가상 노래 반주용 그래픽 인터페이스 데이터, 노래 반주 데이터, 영상 데이터가 내재된 노래 반주 기기 모듈(140); 노래 반주를 출력하기 위한 스피커 모듈(150); 유선 연결의 최소화를 위한 근거리 무선 통신 모듈(160);이 구비되는 것을 특징으로 하는 영상의 깊이 정보를 이용한 노래 반주 기기의 제어 방법에 관한 것으로서,
    가상 노래 반주용 그래픽 인터페이스 기반체인 평구조부를 선정하고 깊이 영상 촬영을 시작하는 단계(S100);
    상기 평구조부에 가상 노래 반주용 그래픽 인터페이스 영상을 투사하여 생성하는 단계(S200);
    상기 가상 노래 반주용 그래픽 인터페이스 영상에서 터치 영역 배경 데이터를 추출하는 단계(S210);
    상기 가상 노래 반주용 그래픽 인터페이스 영상과 사용자 손 사이의 변위에 대한 깊이 정보를 취득하고자 깊이 카메라로 사용자의 손을 인식하는 객체 인식 단계(S300);
    상기 사용자 손이 가상 노래 반주용 그래픽 인터페이스 영상에서 터치한 위치를 검출하는 단계(S400);
    상기 검출된 터치 위치를 깊이 정보로 변환하는 단계(S500);
    상기 변환된 깊이 정보를 노래 반주 기기 상에 내재된 노래 반주 데이터와 일치시키는 데이터 동기화 단계(S510);
    상기 노래 반주 데이터와 일치시키는 데이터가 동기화되지 않는 경우, 다시 사용자 손이 가상 노래 반주용 그래픽 인터페이스 영상에서 터치한 위치를 검출하는 단계(S400)로 피드백하는 단계;
    상기 동기화 된 데이터 코드를 노래 반주 기기에 전송하는 단계(S600);
    상기 전송된 코드를 노래 반주 기기 상에 내재된 해당 노래 반주 데이터로 추출하는 단계(S610);
    상기 노래 반주 기기상에 내재된 해당 노래 반주 데이터로 추출되지 않는 경우, 다시 사용자 손이 가상 노래 반주용 그래픽 인터페이스 영상에서 터치한 위치를 검출하는 단계(S400)로 피드백하는 단계;
    상기 추출된 노래 반주 데이터를 가상 노래 반주용 그래픽 인터페이스로 재전송하는 피드백을 수행하고 노래 반주를 진행하는 단계(S700)로 구성되는 것을 특징으로 하는 영상의 깊이 정보를 이용한 노래 반주 기기의 제어 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 평구조부(120) 상에 구현된 가상 터치 센서 영역(12r)에 터치하면 깊이 카메라가 해당 터치의 좌표 정보(10t, 11t)를 인식하고 깊이 정보로 변환하여 상기 노래 반주 기기 모듈(140)에 전달하면 가상의 노래 반주용 그래픽 이벤트가 상기 평구조부(120) 상에 나타나는 것을 특징으로 하는 영상의 깊이 정보를 이용한 노래 반주 기기의 제어 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 깊이 영상 촬영 모듈(11)은 행거, 받침대의 외부 거치대 형태, 벽 또는 바닥 내부에 고정식 형태, 탈부착이 자유로운 착탈식 형태, 단말 기기에 부착되는 소켓식 형태로 부착이 가능한 것을 특징으로 하는 영상의 깊이 정보를 이용한 노래 반주 기기의 제어 방법.
  6. 제 1 항에 있어서,
    상기 터치 센서 영역의 깊이 값 계산부(13)는 상기 깊이 영상 촬영 모듈(11)이 터치 센서 영역을 촬영하여 획득한 터치 센서 영역에 대한 깊이 영상을 받아 특정 지점의 깊이 값을 계산해 주고, 안정적인 영상을 얻기 위하여 특정 개수에 해당되는 화면을 축적할 수 있으며, 화면을 축적한 경우에는 평균값을 계산하여 터치 센서의 각 위치에 대표 깊이 값으로 저장하는 것을 특징으로 하는 영상의 깊이 정보를 이용한 노래 반주 기기의 제어 방법.
  7. 제 1 항에 있어서,
    상기 깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간 좌표 왜곡 보정은,
    Figure 112017007453180-pat00006
    ...수식(1)
    Figure 112017007453180-pat00007
    ...수식(2)
    상기 수식(1)과 수식(2)를 이용하여 보정된 변환 후 절대 좌표를 구할 수 있고, 여기서, x(수평)와 y(수직)는 변환 전 좌표; X(수평)와 Y(수직)는 변환 후 좌표; Hx(폭)과 Vyo, Vy1 (높이)은 변환 전 터치 센서 영역; HX(폭)와 VY(높이)는 변환 후 터치 센서 영역; x0(수평)와 y0(수직)는 보정 오프셋;인 것을 특징으로 하는 영상의 깊이 정보를 이용한 노래 반주 기기의 제어 방법.
  8. 삭제
KR1020150132835A 2015-09-21 2015-09-21 가상 터치 센서를 이용한 노래 반주 기기의 제어 방법 KR101775784B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150132835A KR101775784B1 (ko) 2015-09-21 2015-09-21 가상 터치 센서를 이용한 노래 반주 기기의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150132835A KR101775784B1 (ko) 2015-09-21 2015-09-21 가상 터치 센서를 이용한 노래 반주 기기의 제어 방법

Publications (2)

Publication Number Publication Date
KR20170034505A KR20170034505A (ko) 2017-03-29
KR101775784B1 true KR101775784B1 (ko) 2017-09-19

Family

ID=58498075

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150132835A KR101775784B1 (ko) 2015-09-21 2015-09-21 가상 터치 센서를 이용한 노래 반주 기기의 제어 방법

Country Status (1)

Country Link
KR (1) KR101775784B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014235301A (ja) * 2013-05-31 2014-12-15 株式会社第一興商 ジェスチャーによるコマンド入力識別システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100588874B1 (ko) 2003-10-06 2006-06-14 엘지전자 주식회사 노래방 기능을 갖는 영상표시기기 및 그 제어방법
KR101160464B1 (ko) 2010-03-12 2012-06-28 주식회사 금영 터치 스크린이 채용된 노래반주기용 테이블 타입 원격제어장치
KR101336139B1 (ko) 2012-06-11 2013-12-05 동의대학교 산학협력단 깊이 카메라를 이용한 움직임 추정 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014235301A (ja) * 2013-05-31 2014-12-15 株式会社第一興商 ジェスチャーによるコマンド入力識別システム

Also Published As

Publication number Publication date
KR20170034505A (ko) 2017-03-29

Similar Documents

Publication Publication Date Title
KR101808714B1 (ko) 영상의 깊이 정보와 가상 터치 센서를 이용한 자동차 센터페시아 제어 방법
US8971629B2 (en) User interface system based on pointing device
JP6548518B2 (ja) 情報処理装置および情報処理方法
JP2009134718A5 (ko)
US20190163284A1 (en) Apparatus and method for remote control using camera-based virtual touch
KR101082829B1 (ko) 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
JP2015176253A (ja) ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US11625858B2 (en) Video synthesis device, video synthesis method and recording medium
JP6028589B2 (ja) 入力プログラム、入力装置および入力方法
KR101785781B1 (ko) 깊이 정보를 이용한 가상 피아노 구현 방법
JP2015011404A (ja) 動作認識処理装置
KR101536673B1 (ko) 깊이 정보를 이용한 가상의 터치 센서 및 그의 제어 방법
KR101775784B1 (ko) 가상 터치 센서를 이용한 노래 반주 기기의 제어 방법
KR101808720B1 (ko) 깊이 영상 처리 기반의 가상 키보드 조작 방법
KR20170035116A (ko) 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 방법
JP6452658B2 (ja) 情報処理装置、およびその制御方法ならびにプログラム
KR20160147326A (ko) 깊이 영상 처리 기반의 가상 키보드 조작 방법
KR101687150B1 (ko) 노약자 친화적인 가상 터치 방식의 병상 멀티미디어 장치 및 그 구현 방법
JP2013257830A (ja) 情報処理装置
KR101036452B1 (ko) 비접촉식 키패드 및 그 구현방법
KR20060133207A (ko) 촬상 소자를 이용한 디지털 영상 처리 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)