KR20170035116A - 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 방법 - Google Patents

영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 방법 Download PDF

Info

Publication number
KR20170035116A
KR20170035116A KR1020150133788A KR20150133788A KR20170035116A KR 20170035116 A KR20170035116 A KR 20170035116A KR 1020150133788 A KR1020150133788 A KR 1020150133788A KR 20150133788 A KR20150133788 A KR 20150133788A KR 20170035116 A KR20170035116 A KR 20170035116A
Authority
KR
South Korea
Prior art keywords
game
touch sensor
depth
image
virtual
Prior art date
Application number
KR1020150133788A
Other languages
English (en)
Inventor
권순각
이동석
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020150133788A priority Critical patent/KR20170035116A/ko
Publication of KR20170035116A publication Critical patent/KR20170035116A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00—Miscellaneous game characteristics
    • A63F2250/02—Miscellaneous game characteristics having an effect on the human senses
    • A63F2250/025—Miscellaneous game characteristics having an effect on the human senses related to sense of touch
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera

Abstract

본 발명은 디스플레이 모듈을 통하여 게임 화면을 출력하고 가상 터치 센서 영역에서 감지한 터치 좌표들의 위치 변화에 따른 동시성 게임을 구현하는 것으로서, 더욱 상세하게는 게임 디스플레이 모듈 상에서 다중 터치 인식이 가능한 가상 터치 센서 영역을 구현하고, 이 가상 터치 센서 영역 상에서 사용자의 터치 행위에 의하여 인식된 하나의 터치 동작 또는 다중 터치 동작을 깊이 카메라가 인식 및 깊이 정보로 변환하고 이에 적합한 그래픽 이벤트를 게임 디스플레이 모듈 상에 나타나도록 하여 동시성 게임을 구현하는 영상 처리 기술에 관한 것이다.
본 발명에 따른 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 시스템 및 그 구현 방법은 사용자가 깊이 카메라를 원하는 위치에 설치하고 벽면 또는 책상과 같은 평면체 또는 완만한 곡면체 등의 평구조부를 동시성 게임의 기반체로 하여 객체를 인식시키고 빔 프로젝터와 같은 영상 송출 모듈로 가상의 게임 그래픽 인터페이스를 생성한 후, 상기 평구조부에 투사된 게임 그래픽 인터페이스 상의 특정 위치를 터치하면 깊이 카메라가 사용자의 특정 위치에 대한 터치 동작을 인식하여 게임 구동용 콘솔로 터치 정보를 전달하는 알고리듬이 순차적으로 적용되고 상기한 개별 모듈이 하나의 시스템으로 구성되는 것을 특징으로 한다.

Description

영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 시스템 및 그 구현 방법{Concurrency Game System Based On Gesture Recognition Using Virtual Touch Sensor}
본 발명은 디스플레이 모듈(display module)을 통하여 게임 화면을 출력하고 가상 터치 센서 영역에서 감지한 터치 좌표들의 위치 변화에 따른 동시성 게임을 구현하는 것으로서, 더욱 상세하게는 게임 디스플레이 모듈 상에서 다중 터치 인식이 가능한 가상 터치 센서 영역을 구현하고, 이 가상 터치 센서 영역 상에서 사용자의 터치 행위에 의하여 인식된 하나의 터치 동작 또는 다중 터치 동작을 깊이 카메라가 인식 및 깊이 정보로 변환하고 이에 적합한 그래픽 이벤트(graphic event)를 게임 디스플레이 모듈 상에 나타나도록 하여 동시성 게임을 구현하는 영상 처리 기술에 관한 것이다.
근래에 전 세계적으로 다양한 산학연 기관에서 사람의 동작 인식(gesture recognition) 기술 개발이 활발히 이루어지고 장족의 발전을 이루었는데 그 중 마이크로소프트(MicroSoft)사의 적외선 기반 깊이 카메라를 이용한 동작 인식 장치인 KINECT는 대중성 확대 및 접근성 향상에 가장 큰 기여를 하였다. 종래의 사람 동작 인식 기술은 사람의 몸에 적외선 마커(marker)를 부착하고 이를 다수의 카메라로 추적하는 방식이 주로 사용되었다. 이러한 방법은 다수의 카메라를 이용하기 때문에 비전 센서(vision sensor)에서 발생하는 가림 현상을 보완할 수 있고 사람의 정확한 위치를 파악하는데 유리하다는 장점이 있으나 센서 플랫폼(sensor platform)을 구축하기 위한 공간이 많이 필요하고 전체 시스템 구축 및 운영에 소요되는 비용이 크다는 단점이 있다. 하지만 깊이 카메라를 이용한 동작 인식은 구축 및 운영 비용이 저렴할 뿐만 아니라 공간 활용 측면에서도 유리하다는 장점이 있다. 기술 개시 특성상 깊이 카메라 방식은 탐색 대상이 되는 사람의 각 신체 부위에 대한 세밀한 추적이 어렵지만 사람의 전체적인 사지에 대한 정보를 분석하고 이를 인식하여 동작을 패턴(pattern)화하는 것이 유리한 특징이 있다. 기존의 동작 인식 연구는 주로 사람의 3차원 동작 인식에 관련된 것으로 이러한 연구는 주로 게임 분야에 적용 및 활용되고 있는 추세이다. 또한 동작 인식은 사람의 직관적인 움직임이 게임 상에 적용 및 활용되어 피드백(feedback)이 신속하게 이루어지고 사용자 조작 측면의 이해도가 높다는 장점이 있다. 따라서 본 발명에서는 기존의 아날로그(analog) 형태의 하드웨어(hardware)적 게임 콘솔(console)로만 이루어지던 게임 시스템에서 사용자 친화적이고 직관적인 게임 콘텐츠(contents) 개발의 원천 기술이 되는 깊이 정보와 가상 터치 센서를 이용한 동작 인식 기반의 동시성 게임 시스템 및 구현 방법을 제공하고자 한다.
전술한 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 시스템 및 그 구현 방법을 개시하려는 유사 선행 기술에는 한국게임학회 논문지에 게재된 '깊이 카메라를 이용한 상지 운동 게임'과 '3D depth 카메라를 이용한 재활훈련 기능성 게임 개발' 연구 등이 있다. 그리고 또 다른 유사 선행 기술에는 대한민국 특허청에 등록된 KR 10-0733964(B1) 등이 있다. 상기한 종래의 기술에서는 깊이 카메라를 이용하여 동작 인식 알고리듬으로 사람의 움직임을 통한 게임 방식을 개시하였지만 영상의 깊이 정보와 가상 터치 센서 영역을 동시에 활용하여 수행하는 동시성 게임 시스템 및 그 구현 방법에 대한 기술이 제공되지 못하였다.
KR 10-0733964(B1)
박준석, 박준, 2012, "깊이 카메라를 이용한 상지 운동 게임", 한국게임학회 논문지, 제25권, 제1호, pp. 63-68. 강선경, 정선태, 2013, "3D depth 카메라를 이용한 재활훈련 기능성 게임 개발", 한국게임학회 논문지, 제13권, 제1호, pp. 19-30.
본 발명은 상기한 발명의 배경으로부터 요구되는 기술적 필요성을 충족하는 것을 목적으로 한다.
구체적으로, 본 발명의 목적은 게임 디스플레이 모듈 상에서 다중 터치 인식이 가능한 가상 터치 센서 영역을 구현하고, 사용자의 터치 행위에 의하여 인식된 하나의 터치 동작 또는 다중 터치 동작을 깊이 카메라로 인식 및 깊이 정보로 변환해서 이에 상응하는 게임 그래픽 이벤트를 구현하는 동시성 게임 시스템 및 그 구현 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이러한 목적을 달성하기 위한 본 발명에 따른 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 시스템 및 그 구현 방법은 사용자가 깊이 카메라를 원하는 위치에 설치하고 벽면 또는 책상과 같은 평면체 또는 완만한 곡면체 등의 평구조부를 동시성 게임의 기반체로 하여 객체를 인식시키고 빔 프로젝터(beam projector)와 같은 영상 송출 모듈로 가상의 게임 그래픽 인터페이스(graphic interface)를 생성한 후, 상기 평구조부에 투사된 게임 그래픽 인터페이스 상의 특정 위치를 터치하면 깊이 카메라가 사용자의 특정 위치에 대한 터치 동작을 인식하여 게임 구동용 콘솔로 터치 정보를 전달하는 알고리듬(algorithm)이 순차적으로 적용되고 상기한 개별 모듈이 하나의 시스템으로 구성되는 것을 특징으로 한다.
이상과 같이 본 발명은 벽면 또는 책상과 같은 평면체 또는 완만한 곡면체 등의 평구조부를 동시성 게임의 기반체로 하여 가상의 게임 그래픽 인터페이스를 생성할 수 있고, 사용자의 특정 위치에 대한 터치 동작을 실시간으로 인식함으로써 게임 구동용 콘솔과 사용자 간의 동시성 게임 수행이 가능하다는 장점이 있다.
본 발명의 기술적 효과들은 이상에서 언급한 기술적 효과들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 청구범위의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 시스템 및 그 구현 방법에서 깊이 정보 처리 분석의 순서도;
도 2는 본 발명의 실시예에 따른 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 시스템 및 그 구현 방법에서 가상 터치 센서에 대한 깊이 영상 촬영 모듈 설치 위치의 예시도;
도 3은 본 발명의 실시예에 따른 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 시스템 및 그 구현 방법에서 1차원 선형 변환에 의하여 변환 전 좌표가 보정되는 과정의 예시도;
도 4는 본 발명의 실시예에 따른 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 시스템 및 그 구현 방법에서 터치 센서 영역에서의 터치 판단을 나타낸 구성도;
도 5는 본 발명의 실시예에 따른 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 시스템 및 그 구현 방법에서 포인터의 터치 속도 및 궤적의 흐름을 나타낸 구성도;
도 6은 본 발명의 실시예에 따른 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 시스템 및 그 구현 방법에 대한 실시 흐름도;
도 7은 본 발명의 실시예에 따른 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 시스템 및 그 구현 방법에서 제시하는 주요 모듈별 배치도;
도 8은 본 발명의 실시예에 따른 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 시스템 및 그 구현 방법에서의 동작 인식 예시도이다.
이하에서는, 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하지만, 이는 본 발명의 더욱 용이한 이해를 위한 것으로, 본 발명의 범주가 그것에 의해 한정되는 것은 아니다. 또한 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.
도 1을 참조하여 깊이 카메라를 이용한 깊이 정보 처리 분석의 개념을 설명하면 다음과 같다. 도 1(a)에서와 같이 가상 터치 센서의 상세 구성은, 터치 센서 영역을 활용하여 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(11); 상기 깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간 좌표 왜곡을 보정하는 공간 좌표 보정부(12); 상기 공간 좌표 보정부(12)에서 공간 좌표 왜곡이 보정된 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(13); 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링(labeling)하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부(14); 검출된 객체에 포인터를 추출하는 포인터 추출부(15); 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(16)가 구비되는 것을 특징으로 한다.
또한, 도 1(b)에서와 같이 공간 좌표의 보정 순서를 다르게 할 수 있다. 공간 좌표의 보정을 터치 판단 이전에 하는 경우에는 도1(b)에서와 같이 터치 센서 영역을 촬영하여 터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(21); 깊이 영상에서 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(22); 터치 센서 영역의 대표 깊이 값과 다른 깊이 값을 갖는 깊이 영상의 화소들을 순차적으로 그룹화하고 라벨링하여 순서대로 객체 수만큼의 크기 값으로 저장하여 객체를 검출하는 객체 검출부(23); 검출된 객체에서 포인터를 추출하는 포인터 추출부(24); 터치 센서 영역에 대한 영상의 공간 좌표 왜곡을 보정하는 공간 좌표 보정부(25); 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(26)로 공간 좌표 보정 순서가 변경될 수 있는 것을 특징으로 한다.
여기서, 공간 좌표 보정은 절대 공간 좌표가 응용될 경우에는 사용되고 상대 공간 좌표가 응용될 경우에는 사용되지 않아도 된다. 그리고 가상 터치 센서로 사용되는 디스플레이 모니터, 스크린, 평평하거나 곡면 형태의 물체 등의 영역에 상, 하, 좌, 우, 좌상, 좌하, 우상, 우하 등의 어느 한 곳에 깊이 영상 촬영 모듈을 한 개 설치하거나 두 곳 이상에 다수 개가 설치될 수 있다(도 2).
상기 깊이 영상 촬영 모듈(11)은 행거, 받침대 등의 외부 거치대 형태, 벽 또는 바닥 내부에 고정식 형태, 탈부착이 자유로운 착탈식 형태, 단말 기기에 부착되는 소켓식 형태 등으로 부착이 가능하다. 그리고 상기 터치 센서 영역의 깊이 값 계산부(13)는 상기 깊이 영상 촬영 모듈(11)이 터치 센서 영역을 촬영하여 획득한 터치 센서 영역에 대한 깊이 영상을 받아 특정 지점의 깊이 값을 계산해 준다. 상기 깊이 값 계산부(13)는 실행의 초기에만 작동하는 부분이며, 깊이 영상의 첫 화면을 선택할 수 있다. 또한 안정적인 영상을 얻기 위하여 특정 개수에 해당되는 화면을 축적할 수 있다. 화면을 축적한 경우에는 평균값을 계산하여 터치 센서의 각 위치에 대표 깊이 값으로 저장한다. 이 때 평균값 이외에도 중간 값 또는 최빈치 값 등이 사용될 수도 있다. 촬영 모듈과 터치 센서 영역의 위치 또는 거리가 바뀔 경우에는 상기 깊이 값 계산부(13)가 다시 실행되는데 터치 센서 영역의 깊이 값은 매 화면마다 얻어지며 얻어진 깊이 값과 이전에 저장된 대표 깊이 값과의 절대 차이가 특정치 이상으로 발생하는 위치 수가 많을 경우에는 상기 터치 센서 영역의 깊이 값 계산부(13)가 다시 실행된다.
도 3은 깊이 영상 촬영 모듈이 가상 터치 센서 영역의 좌측에 설치된 환경 하에서 4개의 맵핑(mapping)되는 공간 좌표를 기반으로 1차원 선형 변환에 의하여 변환 전 좌표가 보정되는 것을 도식화한 것이며 다음의 관계가 정의된다.
Figure pat00001
...수식(1)
Figure pat00002
...수식(2)
상기 수식(1)과 수식(2)를 이용하여 보정된 변환 후 절대 좌표를 구할 수 있다. 여기서, x(수평)와 y(수직)는 변환 전 좌표이고, X(수평)와 Y(수직)는 변환 후 좌표이다. Hx(폭)과 Vyo, Vy1 (높이)은 변환 전 터치 센서 영역에 해당되고 HX(폭)와 VY(높이)는 변환 후 터치 센서 영역에 해당된다. x0(수평)와 y0(수직)는 보정 오프셋(offset)이다.
상기 객체 검출부(14)는 깊이 영상의 새로운 화면이 들어올 때 마다 이전 단계에서 저장해 놓은 터치 센서 영역의 대표 깊이 값과 비교하며, 두 값이 일정 범위를 벗어나면 객체가 검출된 것으로 판단한다. 즉, 다음의 수식(3)이 만족되면 수평방향 x와 수직방향 y 위치에서 객체가 검출된 것으로 판단하여 새로운 이진 영상을 만들고 해당 위치의 화소(pixel) 값을 '255'로 저장한다.
Figure pat00003
...수식(3)
여기서, d는 현재 입력되는 깊이 영상에서의 깊이 값이고 ds는 터치 센서 영역의 대표 깊이 값이며 Ti는 특정 값으로 사용자에 의하여 설정되는데 일반적으로 밀리미터 단위 규격에서 5인 것이 바람직하다.
한 화면에 대하여 객체 검출이 모두 수행되면 객체 부분에는 '255'로 객체가 아닌 부분에는 '0'으로 화소 값을 갖는 이진 영상이 생성된다. 이진 영상에서 화소 값이 '255'인 화소들을 순차적으로 그룹화하고 라벨링하는 과정을 수행한다. 라벨링된 순서대로 첫 번째에 객체에는 '1', 두 번째 객체에는 '2' 등으로 객체 수만큼의 크기 값으로 저장하여 객체를 검출한다. 또한 다양한 모폴로지(morphology) 연산, 침식, 팽창, 제거 및 채움 등을 통하여 잡음(noise)을 제거할 수 있다. 검출한 객체에 대한 라벨링에 잡음이 생길 수도 있으므로 잡음을 배제하기 위하여 라벨링된 객체의 화소 수가 특정 개수 이내이면 라벨링 객체에서 제외시킬 수 있다. 그리고 상기 포인터 추출부(15)는 검출된 객체에서 포인터를 추출하는데 포인터는 터치 센서 영역에 가장 가까운 위치를 얻어 포인터로서 사용한다. 추출된 포인터는 사람의 손가락 또는 지시 도구 등이 될 수 있다. 터치 센서 영역과의 가까운 위치를 찾는 것은 영상 촬영 모듈의 설치 방향에 따라 다르다. 깊이 영상 촬영 모듈이 터치 센서 영역의 좌측에 설치된 경우는 터치 센서 영역 깊이 영상의 방향을 기준으로 객체 내에서 가장 좌측에 있는 화소의 위치를 포인터로 사용하고, 영상 촬영 모듈이 우측일 때는 가장 우측에 있는 화소로, 상측일 때는 가장 상측에 있는 화소로, 하측일 때는 가장 하측에 있는 화소를 포인터로 사용한다.
도 4는 터치 센서 영역에서의 터치 판단을 나타낸 구성도이고 도 5는 포인터의 터치 속도 및 궤적의 흐름을 나타낸 구성도이다. 상기 터치 판단부(16)는 포인터가 터치 센서에 접근 또는 접촉하는지의 여부를 판단한다. 손 또는 지시 도구가 터치 센서 영역을 접촉한 경우에만 터치한 것으로 판단하거나 일정거리 이내로 접근한 경우에도 터치한 것으로 판단하는 지에 대한 여부는 사용자의 편의성에 따라 지정할 수 있다. 상기 터치 판단부(16)에서는 접촉한 경우를 터치한 것으로 고려한다면 포인터 위치의 깊이 값인 dp(x,y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치에서의 깊이 값인 ds(x,y)를 비교하여 두 값의 절대 차이가 특정 값 미만일 때 터치한 것으로 판단한다. 즉, 다음의 수식(4)가 만족되면 수평방향 x와 수직방향 y위치에서 포인터가 터치 센서 영역에 터치한 것으로 판단한다.
Figure pat00004
...수식(4)
여기서, TD는 특정 값으로 사용자에 의하여 설정되며, 밀리미터 단위 규격에서는 일반적으로 5가 적당하다. 이때, 판단의 오동작을 방지하기 위하여 수평방향 x, 수직방향 y의 한 위치보다는 이웃한 여러 개의 수평방향으로 x-1, y, y+1 세 위치 깊이 값의 평균값이 사용될 수 있다. 또는 왼쪽 대각선, 오른쪽 대각선 등에 있는 이웃한 화소 값이 사용될 수도 있다. 접근한 것을 터치한 것으로 판단하는 경우에는 터치된 위치와 깊이 값이 비교되는 위치가 서로 다르게 된다. 즉, 터치 센서 영역의 왼쪽에 영상 촬영 모듈이 설치된 경우에 포인터 위치의 깊이 값인 dp(x,y)와 터치 센서 영역의 깊이 영상에서 해당되는 위치보다 왼쪽 일정 개수 T만큼 떨어진 화소 깊이 값인 ds(x-T,y)를 비교하여 두 값의 차가 특정 값 미만일 때 터치한 것으로 판단한다. 이 때 터치한 위치는 수평방향 x-T와 수직방향 y의 위치이며 다음의 수식(5)를 만족하면 해당 위치에서 포인터가 터치 센서 영역에 터치한 것으로 판단한다.
Figure pat00005
...수식(5)
여기서, T는 특정 값으로 사용자에 의하여 설정되며, 포인터와 터치 센서 영역 사이의 접근거리가 1cm인 경우에는 5화소가 적당하다. 접근한 경우에도 포인터 한 위치보다는 이웃한 여러 개의 깊이 값의 평균 값이 사용될 수 있다. 또한, 터치 센서 영역의 오른쪽에 영상 촬영 모듈이 설치되면 dp(x,y)와 ds(x+T,y)를 비교하여 (x+T,y) 위치에서 터치 여부를 판단하고, 위쪽일 때는 dp(x,y)와 ds(x,y-T)를 비교하여 (x, y-T) 위치에 터치 여부를 판단하며, 아래쪽일 때는 dp(x,y)와 ds(x,y+T)를 비교하여 (x,y+T) 위치의 터치 여부를 판단한다. 또한, 도 5와 같이 매 화면마다 포인터의 수평/수직 깊이 값을 획득할 수 있다. 즉, 화면의 프레임율을 바탕으로 포인터의 수평방향의 속도 및 방향성, 수직방향의 속도 및 방향성, 촬영 모듈 또는 터치 센서 영역과의 거리를 알 수 있다. 이와 같은 포인터의 이동 방향 및 속도 검출을 위한 방법의 하나는 깊이 영상 촬영 모듈로부터 획득한 깊이 영상의 이전 프레임과 현재 프레임을 연속적으로 비교하여 포인터의 이동 방향, 이동 속도, 이동 거리를 검출하는 방법이 사용될 수 있다.
본 발명에 따른 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 시스템 및 그 구현 방법은 사용자가 깊이 카메라를 원하는 위치에 설치하고 벽면 또는 책상과 같은 평면체 또는 완만한 곡면체 등의 평구조부를 동시성 게임의 기반체로 하여 객체를 인식시키고 빔 프로젝터와 같은 영상 송출 모듈로 가상의 게임 그래픽 인터페이스 영역을 생성한 후, 벽면에 투사된 게임 그래픽 인터페이스 상의 특정 위치를 터치하면 깊이 카메라가 사용자의 특정 위치에 대한 터치 동작을 인식하여 게임 구동용 콘솔로 터치 정보를 전달하는 알고리듬이 적용된다. 도 6을 참조하여 보다 순차적으로 설명하면,
깊이 카메라 촬영 및 깊이 영상 데이터 획득 수행의 대상이면서 동시성 게임의 기반체인 평면체 또는 완만한 곡면체의 평구조부를 선정하고 깊이 영상 촬영을 시작하는 단계(S100);
상기 S100 단계에서 선정된 평구조부에 가상의 게임 그래픽 인터페이스 영상을 투사하여 생성하는 단계(S200);
상기 S200 단계가 완료되면 평구조부에 투사 및 생성된 가상의 게임 그래픽 인터페이스 영상에서 터치 영역 배경 데이터를 추출하는 단계(S210);
상기 S200 단계에서 투사 및 생성된 가상의 게임 그래픽 인터페이스 영상과 사용자 손 사이의 변위에 대한 깊이 정보를 취득하기 위하여 깊이 카메라로 사용자의 손을 인식하는 객체 인식 단계(S300);
상기 S300 단계에서 객체 인식 완료된 사용자 손이 가상의 게임 그래픽 인터페이스 영상의 어느 위치를 터치하였는지 깊이 카메라로 터치 위치를 검출하는 단계(S400);
상기 S400 단계에서 검출된 터치 위치를 깊이 정보로 변환하는 단계(S500);
상기 S500 단계에서 깊이 정보로 변환 처리된 터치 위치와 게임 구동용 콘솔 상에 내재된 게임 진행 출력 정보를 확인 및 일치시키는 과정인, 게임 데이터 동기화 단계(S510);
상기 S510 단계에서 터치 위치에 대한 깊이 정보와 게임 데이터가 동기화 된 코드(code)를 게임 구동용 콘솔에 전송하는 단계(S600);
상기 S600 단계에서 전송된 코드를 게임 구동용 콘솔 상에 내재된 해당 게임 진행 출력 정보로 선택 및 추출하는 단계(S610);
상기 S610 단계에서 추출된 게임 진행 출력 정보를 가상의 게임 그래픽 인터페이스로 다시 전송하는 피드백을 수행하고 게임 진행 결과를 반영하는 단계(S700)로 구성되는 것을 특징으로 한다.
도 7은 본 발명에 따른 깊이 정보와 가상 터치 센서를 이용한 동작 인식 기반의 동시성 게임 시스템을 구현하기 위한 전체 시스템(100)을 도식화한 것으로 세부적인 구성은,
깊이 정보를 획득하기 위한 깊이 카메라 모듈(110);
가상의 게임 그래픽 인터페이스를 평구조부(120)에 투사하기 위한 빔 프로젝터 영상 송출 모듈(130);
터치 위치 인식용 가상의 게임 그래픽 인터페이스 데이터, 게임 진행 데이터, 게임음 데이터가 내재된 게임 구동용 콘솔 모듈(140);
게임음을 출력하기 위한 스피커 모듈(150);이 구비되는 것을 특징으로 한다.
상기 스피커 모듈(150)은 유선 연결을 최소화하고 공간 활용도를 증대시키기 위하여 근거리 무선 통신 모듈(160);을 장착하는 것을 특징으로 하며, 상기 근거리 무선 통신 모듈(160)은 저전력 기반의 근거리 무선 기술 표준인 블루투스(bluetooth) 통신 방식을 이용하는 것이 바람직하다.
도 8은 본 발명의 실시예에 따른 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 시스템 및 그 구현 방법에서의 동작 인식 예시도이다. 상기 평구조부(120) 상에 구현된 가상 터치 센서 영역(12r)에 단일 터치 동작 또는 다중 터치 동작을 수행하면 깊이 카메라가 해당 터치의 좌표 정보(10t, 11t)를 인식하고 깊이 정보로 변환하여 상기 게임 구동용 콘솔 모듈(140)에 전달하여 이에 적합한 게임 그래픽 이벤트를 상기 평구조부(120) 상에 나타나도록 하여 동시성 게임을 구현하게 된다.
이상 본 발명의 실시예에 따른 도면을 참조하여 설명하였지만, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 상기 내용을 바탕으로 본 발명의 범주 내에서 다양한 응용, 변형 및 개작을 행하는 것이 가능할 것이다. 이에, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
10t, 11t : 해당 터치의 좌표 정보
12r : 가상 터치 센서 영역
100 : 전체 시스템
120 : 평구조부
140 : 게임 구동용 콘솔 모듈

Claims (8)

  1. 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 시스템에 있어서,
    터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(11);
    터치 센서 영역에 대한 영상의 공간 좌표 왜곡을 보정하는 공간 좌표 보정부(12);
    터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(13);
    깊이 영상의 화소를 순차적으로 그룹화하고 라벨링하여 객체를 검출하는 객체 검출부(14);
    검출된 객체에 포인터를 추출하는 포인터 추출부(15);
    추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(16);
    가상 게임 그래픽 인터페이스를 평구조부(120);에 투사하기 위한 빔 프로젝터 영상 송출 모듈(130);
    터치 위치 인식용 가상 게임 그래픽 인터페이스 데이터, 게임 진행 데이터, 게임음 데이터가 내재된 게임 구동용 콘솔 모듈(140);
    게임음을 출력하기 위한 스피커 모듈(150);
    유선 연결의 최소화를 위한 근거리 무선 통신 모듈(160);이 구비되는 것을 특징으로 하는 동시성 게임 시스템.
  2. 제 1 항에 있어서,
    상기 근거리 무선 통신 모듈(160)은 저전력 기반의 근거리 무선 기술 표준인 블루투스 방식을 이용하는 것을 특징으로 하는 동시성 게임 시스템.
  3. 제 1 항에 있어서,
    상기 평구조부(120) 상에 구현된 가상 터치 센서 영역(12r)에 터치하면 깊이 카메라가 해당 터치의 좌표 정보(10t, 11t)를 인식하고 깊이 정보로 변환하여 상기 게임 구동용 콘솔 모듈(140)에 전달하여 게임 그래픽 이벤트가 상기 평구조부(120) 상에 나타나는 것을 특징으로 하는 동시성 게임 시스템.
  4. 제 1 항에 있어서,
    공간 좌표 보정은 절대 공간 좌표가 응용될 경우에는 사용되고 상대 공간 좌표가 응용될 경우에는 사용되지 않아도 되며, 가상 터치 센서로 사용되는 디스플레이 모니터, 스크린, 평평하거나 곡면 형태 물체의 영역에 상, 하, 좌, 우, 좌상, 좌하, 우상, 우하의 어느 한 곳에 깊이 영상 촬영 모듈이 설치될 수 있는 것을 특징으로 하는 동시성 게임 시스템.
  5. 제 1 항에 있어서,
    상기 깊이 영상 촬영 모듈(11)은 행거 및 받침대와 같은 외부 거치대 형태, 벽이나 바닥 내부에 고정식 형태, 탈부착이 용이한 착탈식 형태, 단말 기기에 부착되는 소켓식 형태로 부착이 가능한 것을 특징으로 하는 동시성 게임 시스템.
  6. 제 1 항에 있어서,
    상기 터치 센서 영역의 깊이 값 계산부(13)는 상기 깊이 영상 촬영 모듈(11)이 터치 센서 영역을 촬영하여 획득한 터치 센서 영역에 대한 깊이 영상을 받아 특정 지점의 깊이 값을 계산해 주고, 안정적인 영상을 얻기 위하여 특정 개수에 해당되는 화면을 축적할 수 있으며, 화면을 축적한 경우에는 평균값을 계산하여 터치 센서의 각 위치에 대표 깊이 값으로 저장하는 것을 특징으로 하는 동시성 게임 시스템.
  7. 제 1 항에 있어서,
    상기 깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간 좌표 왜곡 보정은,
    Figure pat00006
    ...수식(1)
    Figure pat00007
    ...수식(2)
    상기 수식(1)과 수식(2)를 이용하여 보정된 변환 후 절대 좌표를 구할 수 있고, 여기서, x(수평)와 y(수직)는 변환 전 좌표; X(수평)와 Y(수직)는 변환 후 좌표; Hx(폭)과 Vyo, Vy1 (높이)은 변환 전 터치 센서 영역; HX(폭)와 VY(높이)는 변환 후 터치 센서 영역; x0(수평)와 y0(수직)는 보정 오프셋;인 것을 특징으로 하는 동시성 게임 시스템.
  8. 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 시스템의 구현 방법에 있어서,
    동시성 게임의 기반체인 평면체 또는 완만한 곡면체의 평구조부를 선정하고 깊이 영상 촬영을 시작하는 단계(S100);
    상기 평구조부에 가상의 게임 그래픽 인터페이스 영상을 투사하여 생성하는 단계(S200);
    상기 가상의 게임 그래픽 인터페이스 영상에서 터치 영역 배경 데이터를 추출하는 단계(S210);
    상기 가상의 게임 그래픽 인터페이스 영상과 사용자 손 사이의 변위에 대한 깊이 정보를 취득하고자 깊이 카메라로 사용자의 손을 인식하는 객체 인식 단계(S300);
    상기 사용자 손이 가상의 게임 그래픽 인터페이스 영상에서 터치한 위치를 검출하는 단계(S400);
    상기 검출된 터치 위치를 깊이 정보로 변환하는 단계(S500);
    상기 변환된 깊이 정보를 게임 구동용 콘솔 상에 내재된 게임 진행 출력 정보와 일치시키는 게임 데이터 동기화 단계(S510);
    상기 동기화된 데이터 코드를 게임 구동용 콘솔에 전송하는 단계(S600);
    상기 전송된 코드를 게임 구동용 콘솔 상에 내재된 해당 게임 진행 출력 정보로 추출하는 단계(S610);
    상기 추출된 게임 진행 출력 정보를 가상의 게임 그래픽 인터페이스로 재전송하는 피드백을 수행하고 게임 진행 결과를 반영하는 단계(S700);로 구성되는 것을 특징으로 하는 동시성 게임 시스템의 구현 방법.
KR1020150133788A 2015-09-22 2015-09-22 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 방법 KR20170035116A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150133788A KR20170035116A (ko) 2015-09-22 2015-09-22 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150133788A KR20170035116A (ko) 2015-09-22 2015-09-22 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 방법

Publications (1)

Publication Number Publication Date
KR20170035116A true KR20170035116A (ko) 2017-03-30

Family

ID=58503498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150133788A KR20170035116A (ko) 2015-09-22 2015-09-22 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 방법

Country Status (1)

Country Link
KR (1) KR20170035116A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113874818A (zh) * 2019-03-28 2021-12-31 Ghsp公司 交互式厨房显示器

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100733964B1 (ko) 2005-11-25 2007-06-29 한국전자통신연구원 모션인식과 음성인식을 이용한 게임 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100733964B1 (ko) 2005-11-25 2007-06-29 한국전자통신연구원 모션인식과 음성인식을 이용한 게임 장치 및 그 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
강선경, 정선태, 2013, "3D depth 카메라를 이용한 재활훈련 기능성 게임 개발", 한국게임학회 논문지, 제13권, 제1호, pp. 19-30.
박준석, 박준, 2012, "깊이 카메라를 이용한 상지 운동 게임", 한국게임학회 논문지, 제25권, 제1호, pp. 63-68.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113874818A (zh) * 2019-03-28 2021-12-31 Ghsp公司 交互式厨房显示器

Similar Documents

Publication Publication Date Title
EP2915140B1 (en) Fast initialization for monocular visual slam
JP6548518B2 (ja) 情報処理装置および情報処理方法
US11481982B2 (en) In situ creation of planar natural feature targets
US9495068B2 (en) Three-dimensional user interface apparatus and three-dimensional operation method
KR101808714B1 (ko) 영상의 깊이 정보와 가상 터치 센서를 이용한 자동차 센터페시아 제어 방법
US20150277555A1 (en) Three-dimensional user interface apparatus and three-dimensional operation method
CN105190483A (zh) 检测用至少两个控制对象执行的手势
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
KR20110037053A (ko) 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
CN109407824B (zh) 人体模型的同步运动方法与装置
KR101785781B1 (ko) 깊이 정보를 이용한 가상 피아노 구현 방법
CN104732586A (zh) 一种三维人体动态形体和三维运动光流快速重建方法
KR101226668B1 (ko) 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
KR101426378B1 (ko) 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법
KR20170035116A (ko) 영상의 깊이 정보와 가상 터치 센서를 이용한 동시성 게임 방법
KR101447958B1 (ko) 신체 부분 검출 방법 및 장치
KR101808720B1 (ko) 깊이 영상 처리 기반의 가상 키보드 조작 방법
KR101775784B1 (ko) 가상 터치 센서를 이용한 노래 반주 기기의 제어 방법
KR101473234B1 (ko) 신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템
KR101913179B1 (ko) 적외선 센싱 발판 장치, 이를 이용한 2차원 영상 검출 방법 및 프로그램
KR20160147326A (ko) 깊이 영상 처리 기반의 가상 키보드 조작 방법
KR101203121B1 (ko) 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
KR101687150B1 (ko) 노약자 친화적인 가상 터치 방식의 병상 멀티미디어 장치 및 그 구현 방법
JP2003141510A (ja) ポインティング対象画像出力方法及びその装置
KR20210069806A (ko) 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application