KR20180012076A - 물체인식 기반의 교육용 게임을 제공하는 방법 - Google Patents

물체인식 기반의 교육용 게임을 제공하는 방법 Download PDF

Info

Publication number
KR20180012076A
KR20180012076A KR1020160094869A KR20160094869A KR20180012076A KR 20180012076 A KR20180012076 A KR 20180012076A KR 1020160094869 A KR1020160094869 A KR 1020160094869A KR 20160094869 A KR20160094869 A KR 20160094869A KR 20180012076 A KR20180012076 A KR 20180012076A
Authority
KR
South Korea
Prior art keywords
screen
game
image
educational
button
Prior art date
Application number
KR1020160094869A
Other languages
English (en)
Inventor
오규환
백재순
안승태
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020160094869A priority Critical patent/KR20180012076A/ko
Publication of KR20180012076A publication Critical patent/KR20180012076A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F2003/04—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 측면에 따른 물체인식 기반의 교육용 게임을 제공하는 방법은 대상 물체의 이미지를 획득하는 단계, 획득된 이미지에 기초하여, 상기 대상 물체를 식별하는 단계 및 식별된 상기 대상 물체에 관한 정보를 삽입한 교육용 게임을 실행시키는 단계를 포함할 수 있다.

Description

물체인식 기반의 교육용 게임을 제공하는 방법{METHOD FOR PROVIDING EDUCATIONAL GAME BASED ON OBJECT RECOGNITION}
본 발명은 물체인식 기반의 교육용 게임을 제공하는 방법에 관한 것으로서, 보다 상세하게는 대상 물체를 식별하고 식별된 상기 대상 물체에 관한 정보를 삽입한 교육용 게임을 제공하는 방법에 관한 것이다.
최근 학생들의 대형참사가 잇따르자 정부는 아동 교육 환경 개선의 목적으로 다양한 변화를 시도하는 등 아동 안전사고에 대해 사회적 관심이 높아졌다. 하지만 대형사고 안전 교육 중심으로 체계가 이루어지고 있어 아동 안전사고의 원인인 바닥재, 침대, 의자 등 일상 생활에서 흔히 접할 수 있는 물체를 대상으로 하는 교육 콘텐츠는 부족한 상태이다. 또한, 아동의 흥미를 유발하거나 지도자의 올바른 안전교육 습관 형성에 도움을 주는 교육 콘텐츠도 부족한 상태이다.
본 발명의 기술적 사상이 이루고자 하는 기술적 과제는 대상 물체를 식별하고 식별된 상기 대상 물체에 관한 정보를 삽입한 교육용 게임을 제공하는 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 물체인식 기반의 교육용 게임을 제공하는 방법은 대상 물체의 이미지를 획득하는 단계, 획득된 이미지에 기초하여, 상기 대상 물체를 식별하는 단계 및 식별된 상기 대상 물체에 관한 정보를 삽입한 교육용 게임을 실행시키는 단계를 포함한다.
본 발명의 기술적 사상에 의한 방법은 대상 물체를 식별하고 식별된 상기 대상 물체에 관한 정보를 삽입한 교육용 게임을 제공함으로써, 교육에 대한 흥미를 유발함과 동시에 더욱 직관적인 교육 효과를 얻을 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 물체인식 기반의 교육용 게임의 전체 흐름도이다.
도 2는 도 1의 교육용 게임이 제공되는 클라이언트와 서버간 내부 처리 흐름도이다.
도 3은 도 1의 교육용 게임의 클라이언트 화면 전체 관계 흐름도이다.
도 4는 도 1의 교육용 게임의 클라이언트 내부 처리 흐름도이다.
도 5와 도 6은 도 1의 교육용 게임의 타이틀 화면이다.
도 7과 도 8은 도 1의 교육용 게임의 메인 화면이다.
도 9는 도 1의 교육용 게임의 장소 선택 화면이다.
도 10 내지 도 12는 도 1의 교육용 게임의 물체 촬영 화면이다.
도 13과 도 14는 도 1의 교육용 게임의 카테고리 선택 화면이다.
도 15과 도 16은 도 1의 교육용 게임의 물체 선택 화면이다.
도 17과 도 18은 도 1의 교육용 게임의 미니 게임 선택 화면이다.
도 19 내지 도 23은 도 1의 교육용 게임의 미니 게임 화면이다.
도 24는 도 1의 교육용 게임의 접속 포트에 따른 프로그램 호출 형태를 나타낸 도면이다.
도 25는 도 1의 교육용 게임의 물체 영상 매칭 프로그램의 실행 화면이다.
도 26은 도 1의 교육용 게임의 물체 선택 등록 매칭 프로그램의 실행 화면이다.
도 27은 이미지 크기에 따른 코너(corner) 판별 형태를 나타낸 도면이다.
도 28은 스케일 스페이스(scale space)를 처리하는 형태를 나타낸 도면이다.
도 29는 중앙 픽셀의 코너를 검출하는 과정을 나타낸 도면이다.
도 30은 진정한 스케일 스페이스를 찾는 과정을 나타낸 도면이다.
도 31은 샘플링 패턴의 예시를 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에 기재된 "~부", "~기", "~자", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
그리고 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
이하, 본 발명의 실시 예들을 차례로 상세히 설명한다.
<개요>
스마트디바이스 환경에서 생활안전 교육 서비스를 제공하기 위하여 지금까지 연구된 자료를 바탕으로 전체적인 동작 로직을 설계하고, 이를 적용하여 생활 속 안전 지키기를 구현한다.
생활 속 안전지키기는 실제 사용자에게 교육 환경을 제공해주는 클라이언트 프로그램과 물체 영상을 판단하고, 저장하기 위한 서버 프로그램으로 구성된다.
클라이언트와 서버의 개발 환경은 클라이언트는 안드로이드, IOS, Window Mobile 등 다양한 스마트디바이스 환경에서의 서비스 목적을 위하여 멀티플랫폼의 장점을 가진 Unity 엔진을 이용하여 C#언어로 개발하였으며 서버는 클라이언트로부터 촬영된 물체 영상을 서버에 저장된 물체 영상과 비교연산하기 위한 매칭 서버와 매칭에 실패한 물체 영상을 선택 등록하여 저장하기 위한 저장 서버로 Amazon Web Service에 제공하는 Window 2012 Server를 이용하여 TCP/IP 소켓 통신 기반의 C#언어로 개발하였다.
클라이언트와 서버 설계에 앞서 클라이언트와 서버 통신 간의 내부적인 처리 관계가 이루어져야 한다. 내부 처리는 도 2와 같이 사용자가 원하는 물체를 촬영하였을 경우 촬영된 물체 영상은 매칭 연산을 위해 서버에 전송된다. 이후 서버는 물체 영상 저장소에서 물체 영상을 한 개씩 인출하여 원하는 결과가 매칭될 때까지 매칭 알고리즘을 통한 결과를 클라이언트로 전송해준다. 클라이언트는 전송된 결과로부터 영상 매칭 결과 여부를 판단하여 교육 학습 환경인 미니 게임을 제공하거나 사용자가 직접 영상을 서버에 등록할 수 있는 환경이 제공된다.
<클라이언트 처리 관계>
클라이언트는 사용자에게 생활 안전교육을 학습하기 위한 서비스 환경이다. 사용자는 해당 물체가 없어도 원하는 정보를 바로 탐색 학습할 수 있는 일반 모드와 물체인식기능을 통한 직접적인 물체를 인지하여 학습할 수 있는 촬영 모드를 통해 플레이 가능하며 각 모드는 미니 게임 교육 콘텐츠 구성도에 따른 구조로 형성되어 있다.
도 3은 클라이언트 화면 전체 관계 흐름도이다. 클라이언트가 실행되면 초기 타이틀 화면이 실행되고, 타이틀 화면을 통해 메인 화면으로 이동하게 된다. 메인 화면에서 2가지 게임모드를 통해 플레이 가능하다. 메인 화면에서 촬영 모드가 선택 되면 장소 선택 화면의 다음 선택 화면은 물체 촬영 화면이고, 일반 모드일 경우는 물체 선택 화면으로 이동된다. 물체 촬영 화면을 통해 물체를 직접 촬영하고, 서버로부터 매칭 결과에 따라 카테고리 선택 화면으로 이동되거나 미니 게임 선택 화면으로 이동된다. 카메라 촬영 없이 일반 모드를 통해 물체를 직접 선택하여 미니 게임 선택 화면으로 이동 할 수 있다.
클라이언트 내부의 전체적인 처리과정은 도 4와 같다. 현재 화면에서 이동 버튼의 입력 이벤트가 발생하게 되면 결과에 따라 다음 화면으로 이동하도록 되어있다. 그리고 촬영 화면과 카테고리 등록 화면은 서버와 통신이 되는 곳으로 각 결과를 바탕으로 화면 전환이 이뤄지게 된다. 클라이언트 설정과 미니 게임 문제에 대한 데이터는 게임 정보 XML과 미니 게임 문제 XML 형태로 저장 되어있다. 게임 정보 XML 데이터는 배경음, 효과음, 별의 개수의 정보를 담고 있으며 메인 화면은 배경음과 효과음의 데이터 호출을 설정 화면은 배경음, 효과음, 별의 개수의 값을 변경을 미니 게임 선택 화면은 별의 개수를 호출한다. 그리고 문제 XML 데이터는 각 미니 게임 마다 물체에 관련된 정보를 담고 있으며 미니 게임 화면에서 이를 호출하여 화면을 구성하게 된다.
<타이틀 화면>
화면 아무 곳을 터치하면 다음 화면인 메인 화면으로 이동하게 된다. 애플리케이션의 종료는 백 버튼이 있는 스마트디바이스의 버튼을 눌렀을 경우 종료 팝업 창이 나타나고, Yes버튼을 통해 종료를 할 수 있다.
<메인 화면>
메인 화면은 촬영 모드, 일반 모드를 나타내는 애플리케이션 이용 방식과 만든이, 도움말, 설정을 나타내는 애플리케이션의 기본 정보가 표시되는 화면이다. 처음 메인 화면이 시작되면 게임 정보를 담고 있는 XML 데이터에서 사운드 데이터를 로드 하고, 사운드 데이터의 On, Off State를 통해 효과음과 배경음의 여부가 결정된다.
메인 화면에 표시된 애플리케이션 사용자가 원하는 모드 및 기본 정보 버튼을 선택하면 해당 화면으로 이동된다. 애플리케이션의 종료는 백 버튼이 있는 스마트디바이스의 버튼 또는 화면상의 화살표 모양의 뒤로 가기 버튼을 눌렀을 경우 종료 팝업 창이 나타나고, Yes버튼을 통해 종료를 할 수 있다.
<장소 선택 화면>
장소 선택 화면은 생활 안전 장소가 표시되는 화면이다.
장소 선택 화면의 동작은 애플리케이션 사용자가 원하는 생활 안전 장소를 선택하게 되면 촬영 모드일 경우 해당 장소 환경에 맞는 카메라 촬영 화면으로 이동되며 일반 모드일 경우 해당 장소에 따른 물체를 선택 할 수 있는 화면으로 이동하게 된다. 이전 화면으로 이동은 백 버튼이 있는 스마트디바이스의 버튼 또는 화면상의 화살표 모양의 뒤로 가기 버튼을 누르면 이동된다.
<물체 촬영 화면>
물체 촬영 화면은 사용자가 원하는 물체의 촬영 통해 매칭 여부를 판단할 수 있는 환경이 제공되는 화면이다.
안전 교육을 원하는 물체를 카메라 상에 정면이 나오게 하며 노란색 사각 영역 안에 놓고, 붉은 색의 셔터 버튼을 클릭하여 촬영한다. 촬영된 이미지는 서버에 전송 되며 서버는 이미지 매칭 연산을 통해 결과를 다시 클라이언트에 전송한다. 이때 전송되는 물체 영상 이미지는 다른 디바이스와 구분하기 위하여 디바이스의 맥주소로 변경 전송된다. 결과 매칭에 성공 했을 경우 물체 매칭 성공이라는 메시지를 제공하고, 해당 물체의 데이터로 되어있는 미니게임 리스트 화면으로 이동하게 된다. 물체 매칭에 실패 했을 경우 물체 매칭 실패 팝업 창을 제공하여 Yes버튼의 선택을 통한 물레를 등록할 수 있는 화면으로 이동하거나 No버튼의 선택을 통한 재촬영을 할 수 있다. 이전 화면으로 이동은 백 버튼이 있는 스마트디바이스의 버튼 또는 화면상의 화살표 모양의 뒤로 가기 버튼을 누르면 이동된다.
<카테고리 선택 화면>
카테고리 선택 화면은 물체 매칭이 실패 했을 경우 사용자가 이미지를 직접 서버에 업로드할 수 있는 환경 제공되는 화면이다.
초기 장소 카테고리 선택의 상태는 처음 선택했던 촬영 장소가 설정 된다. 해당 장소를 원치 않을 경우 다른 장소를 선택하여 변경 가능하다. 화면에 표시된 물체 이외의 다른 물체를 선택하려면 우측의 스크롤 버튼을 클릭하거나 물체 목록의 상하 스크롤링을 통해 가능하다. 선택된 장소에 따라 현재 미니 게임이 가능한 물체 목록이 나타나며 등록을 원하는 물체를 선택 할 수 있다. 물체를 선택하게 되면 물체 등록 창이 나타나고, Yes버튼을 눌렀을 경우 선택된 물체 명으로 변경하여 등록하는 메시지를 전송한다. No버튼을 눌렀을 경우 장소 및 물체를 재 선택할 수 있다. 이전 화면으로 이동은 백 버튼이 있는 스마트디바이스의 버튼 또는 화면상의 화살표 모양의 뒤로 가기 버튼을 누르면 이동된다.
<물체 선택 화면>
물체 선택 화면은 일반 모드를 통해 선택 된 장소에 따른 물체가 제공되는 화면이다.
애플리케이션 사용자가 원하는 물체를 선택하게 되면 미니 게임을 선택 할 수 있는 화면으로 이동하게 된다. 화면에 표시된 물체 이외의 다른 물체를 선택하려면 아래의 스크롤 버튼을 클릭하거나 물체 목록의 좌우 스크롤링을 통해 가능하다. 이전 화면으로 이동은 백 버튼이 있는 스마트디바이스의 버튼 또는 화면상의 화살표 모양의 뒤로 가기 버튼을 누르면 이동된다.
<미니 게임 선택 화면>
미니 게임 선택 화면은 미니 게임 목록과 선택된 물체의 미니 게임 목록에 따른 별의 수가 표시되는 화면이다. 처음 미니 게임 선택 화면이 시작되면 게임 정보를 담고 있는 XML 데이터에서 선택 물체의 별 데이터를 로드 하고, 별 데이터를 통해 미니 게임 별로 별의 수가 결정된다.
애플리케이션 사용자가 원하는 미니 게임을 선택하게 되면 선택된 미니 게임 화면으로 이동하게 된다. 이전 화면으로 이동은 백 버튼이 있는 스마트디바이스의 버튼 또는 화면상의 화살표 모양의 뒤로 가기 버튼을 누르면 이동된다.
<미니 게임 화면>
미니 게임 화면은 선택된 미니 게임이 표시되는 화면으로 게임을 플레이 하여 물체 안전 정보를 학습할 수 있는 실질적인 교육 환경이다. 처음 미니 게임 화면이 시작되면 선택 미니 게임의 문제 XML 데이터에서 선택 물체의 데이터를 로드 하고, 데이터 정보를 통해 미니 게임의 문제가 형성된다.
모든 미니 게임은 스마트디바이스 화면 터치를 이용하여 플레이 가능하며 일시정지 버튼을 통해 미니 게임을 멈추거나 미니 게임 선택 화면, 메인 화면으로 이동을 할 수 있다.
<순서 맞추기 미니 게임>
이 게임의 목적은 게임을 통해 해당 물체를 사용하는 순서를 학습하고, 현실에서 플레이어가 해당 물체를 사용하는데 있어 올바른 순서로 사용하는 방법을 알려 주기 위한 게임이다.
게임 플레이 방법은 화면에 표시되는 문장은 매번 랜덤 위치에 나타나면 물체 사용의 순서가 올바르다고 생각되는 문장을 선택한다. 사용 순서가 맞았을 경우 선택한 글자를 제거와 함께 정답의 메시지가 제공되며 사용 순서가 틀렸을 경우 선택한 글자를 표시와 함께 오답의 메시지를 제공된다. 주어진 시간 안에 모든 문장을 제거하면 게임 완료된다.
<미로 탈출 미니 게임>
이 게임의 목적은 게임을 통해 해당 물체와 함께 사용하면 도움되는 아이템의 정보와 도움되지않는 아이템의 정보를 학습하고, 현실에서 플레이어가 해당 물체를 사용하는데 있어 보다 더 안전한 사용의 도움을 위한 게임이다.
게임 플레이 방법은 화면에 표시되는 아이템은 매번 랜덤 위치에 나타나고, 화면을 터치하면 조이스틱 생성되어, 조이스틱의 위치정보를 통해 캐릭터를 이동할 수 있다. 캐릭터의 이동을 통해 물체와 함께 사용시 도움이 된다고 생각되는 아이템을 획득하며 도움 되는 아이템을 획득한 경우 해당 아이템 제거와 함께 초록색의 정보 창이 제공된다. 그리고 도움 안되는 아이템을 획득한 경우 해당 아이템 제거와 함께 빨간색의 정보 창이 제공된다. 도움 되는 아이템이 하나라도 획득 되지 않는 상태로 탈출하게 되면 게임 완료 불가하며 도움 되는 아이템을 미 획득 하지 않고, 주어진 시간 안에 모든 문장을 제거하면 게임 완료된다.
<올바른 행동찾기 미니 게임>
이 게임의 목적은 게임을 통해 해당 물체 사용에 있어 잘된 정보와 잘 못된 정보를 학습하고, 현실에서 플레이어가 해당 물체를 사용하는데 있어 보다 더 올바르게 사용하는데 도움을 주기 위한 게임이다.
게임 플레이 방법은 화면에 표시되는 이미지는 매번 랜덤 위치에 나타나며 올바른 행동을 하고 있는 그림을 터치한다. 올바른 행동을 찾은 경우 동그라미 표시와 함께 문제가 올바른 이유에 대한 메시지가 제공되며 올바르지 않는 행동을 찾은 경우 엑스 표시와 함께 문제가 올바르지 않은 이유에 대한 메시지가 제공된다. 주어진 시간 안에 모든 올바른 행동을 찾으면 게임 완료된다.
<이미지 연결하기 미니 게임>
이 게임의 목적은 게임을 통해 해당 물체와 연관성이 있는 정보를 학습하고, 현실에서 플레이어가 해당 물체를 사용하는데 있어 보다 더 관계성 확립의 도움을 주기 위한 게임이다.
게임 플레이 방법은 화면에 표시되는 이미지는 매번 랜덤 위치에 나타나며 좌우 연관되는 그림을 찾고, 포인트 부분을 터치-드래그-드롭 순을 통해 선으로 연결한다. 연관 된 그림을 연결한 경우 직선 표시와 함께 이미지 관계에 대한 메시지가 제공되며 연관 되지 않는 그림을 연결한 경우 선 제거와 함께 잘못 된 이라는 연결 메시지 제공된다. 주어진 시간 안에 모든 이미지에 선을 이으면 게임 완료된다.
<OX퀴즈 미니 게임>
이 게임의 목적은 게임을 통해 해당 물체에 대한 올바른 정보를 학습하고, 현실에서 플레이어가 해당 물체를 사용하는데 있어 보다 더 올바르게 사용하는데 도움을 주기 위한 게임이다.
게임 플레이 방법은 화면에 표시되는 문제는 매번 랜덤 하게 나타나며 문제를 읽고 정답이라 생각 될 경우 'O', 오답 일 경우 'X' 이미지를 터치한다. 선택 한 답이 정답일 경우 문제가 올바른 이유에 대한 메시지가 제공되며 선택 한 답이 오답일 경우 문제가 올바르지 않은 이유에 대한 메시지 제공된다. 주어진 시간 안에 모든 문제를 풀면 게임 완료된다.
<물체인식기술 구현>
BRISK의 Feature Detector는 FAST Detector 방식을 응용한 AGAST 알고리즘이 사용된다. AGAST는 Eigenvalue기반 등의 계산적으로 부담이 되는 방법들 보다 단순하면서도 빠른 특징을 가지고 있다.
1개의 이미지는 도 27과 같이 Image가 클 경우 Corner로 판별하기 힘들며 Image가 작을 경우 Corner로 판별하기 쉽다. 따라서 Scale 변화에 Robust하기 위해서는 도 28처럼 Scale 공간을 여러 개로 만들어 각각의 Keypoint를 찾아야 한다.
Scale Space의 크기는 원본을 기준으로 1/4의 Size을 갖으며 Octave 간의 Gab을 줄이기 위해 Intra-Octave를 둔다. 그리고 각각의 층은 평균적으로 4개씩 구성된다. Octave가 증가 할 수록 이미지 사이즈는 축소되지만 이미지 크기는 확대 된다.
Octave와 Intra-Octave의 공간으로 나눠지면 AGAST는 Corner Detection 알고리즘인 FAST 9-16을 사용하여 Keypoint Detection 한다.
FAST 9-16의 Corner Detection 방법은 중앙 pixel p를 기준으로 반지름이 3인 원을 그려서 16개의 이웃 pixel들을 찾고, p와 밝기 값을 비교하여 어둡거나 밝은 pixel이 연속으로 9개 이상 나타나면 이를 Corner로 판별한다.
Figure pat00001
Figure pat00002
수식 1. non-maxima suppression
Corner로 판별 된 여러 개의 pixel에서 [수식 1]을 통해 중앙 pixel값과의 차이가 가장 큰 한 개의 FAST score 's'를 구한다. Scale Space로 만들어진 Intra-Octave와 Octave 층도 마찬가지로 's'를 구한다.
모든 Scale Space 상에서 여러 개의's'가 구해지면 진짜 Keypoint가 될 수 있는지 판단한다.
인접한 3개의 층에서 가로가 's', 세로가 log2(t) 값인 그래프를 그리고 세개의 점을 포물선으로 연결 하였을 때 중간에 있는 층은 위아래 층에 있는 스코어 값 보다 클 경우 가장 최대의 값을 갖는 층이 Keypoint를 가진 진짜 층이 된다.
BRISK 알고리즘에서 Keypoint Descriptor을 위해 같은 특징점 근처에서 동심원을 기반으로 하는 샘플링 패턴을 이용하여 이진 기술자를 계산한다.
패턴의 지점 Pi의 pixel값을 샘플링 할 때 에일리어싱 효과를 방지하기 위하여 각각의 원안에 있는 점 사이의 거리에 비례하는 표준 편차와 Gaussian Smoothing을 적용한다. 즉 각각의 동심원 안에 점은 다른 커널을 사용하게 된다.
Figure pat00003
수식 2. 전체 샘플링 패턴에서의 위치쌍의 집합 A
Figure pat00004
수식 3. 하위 집합 정의
N(N-1)/2개의 전체 샘플링 패턴에서 위치쌍(Pi, Pj)의 집합 A에서 최대 임계값인 σmax = 9.75t으로부터 가까운 거리의 집합 S와 최소 임계값 σmin=13.67t으로부터 먼 거리의 집합 L로 구분한다. 여기서 t는 특징점 k의 Scale값 이다.
Figure pat00005
수식 4. Gradient 계산
Figure pat00006
수식 5. L에 속한 Gradient 계산
먼 거리의 집합 L에 속한 샘플링 위치쌍(Pi, Pj)에서 가우시안 스무딩이 적용된 pixel값 I(pi, pj), I(pj, σj)을 이용하여 특징점의 방향을 계산하기 위해 Gradient g를 계산한다.
Figure pat00007
수식 6. 비트 벡터 기술자 계산
기술자 구현을 위하여 특징점 k의 방향을 α=arctan2(gx, gy)로 회전 정규화하고, 비트 벡터 기술자 dk를 S에 속한 위치쌍의 pixel 값, I(pi, σi), I(pj, σj)을 비교하여 계산한다. 비교를 통해 0과 1의 비트를 기록하며 각 비트 b는 한 쌍의 S1에서 계산 된다.
앞서 조사된 BRISK 및 BruteForce 매칭 알고리즘 적용을 위해 OpenCvSharp를 이용하였다. OpenCvSharp는 C#언어를 기반으로 구성된 Open Library로 영상 처리 관련 알고리즘이 제공된다.
BRISK는 OpenCvSharp안에 BRISK 클래스로 정의되어 있다. Feature Detector와 Keypoint Descriptor를 계산하기 위해 BRISK 객체를 생성해야 한다. BRISK 객체의 생성은 BRISK.Create를 이용하여 생성할 수 있다. Feature Detector 계산을 하기 전 색상의 밝기 정보만을 이용하기 위해 물체 영상 데이터를 Gray Scale로 변경한다. 이러한 이유는 오탐률은 증가되겠지만 매칭 성공 확률을 높이기 위해서다. Gray Scale로 변경된 데이터를 BRISK클래스 내의 Defect함수를 통해 Keypoint를 검출한다. 검출 이후 BRISK클래스 내의 Compute함수를 통해 Descriptor를 계산한다.
이와 같은 방법으로 비교 대상의 물체 영상 데이터도 Descriptor를 계산한다.
두 물체 영상 데이터의 Descriptor 계산이 끝나면 두 영상이 같은지 판단한다. BruteForce는 OpenCvSharp안에 BFMatcher클래스로 정의되어 있다. 두 물체 영상 데이터간의 이진 비트 기술자 계산을 위해 Hamming Distance 방식의 BFMatcher 객체를 생성해야 한다. 두 데이터는 BFMatcher클래스 내의 Match함수를 통해 기술자 매칭 연산을 결과를 얻을 수 있다.
BruteForce 알고리즘을 통해 계산된 두 이미지 간의 기술자 거리값으로만 매칭 여부를 판단하기에는 많은 오탐이 발생되어 오탐률을 줄이기 위하여 특정 영역을 벗어나는 결과가 있을 경우 이를 제외 하기 위해 임계값을 설정하였다.
Figure pat00008
Figure pat00009
수식 7. 최대 거리 최소 거리 계산
임계값을 구하기 위해 BruteForce 알고리즘을 이용해 구해진 두 기술자 거리값 집합D 중에서 최단 거리값 Dmin과 최대 거리값 Dmax를 계산한다.
Figure pat00010
Figure pat00011
,
Figure pat00012
Figure pat00013
수식 8. 집합D에서 임계값을 넘지 않는 거리값 계산
임계값 T = Dmin * 4을 이용하여 집합D의 특정 거리값이 임계값을 초과하지 않는 기술자 매칭 거리 값들의 집합GD를 계산한다.
Figure pat00014
Figure pat00015
수식 9. 매칭 판정 계산
집합GD의 전체 원소의 개수가 최소 5개 이상이고, 전체 기술자 매칭 거리값인 집합D의 원소의 개수를 초과하지 않을 경우 이를 두 이미지가 매칭 되었다고 판단한다.
이상, 본 발명을 바람직한 실시 예를 들어 상세하게 설명하였으나, 본 발명은 상기 실시 예에 한정되지 않고, 본 발명의 기술적 사상 및 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러가지 변형 및 변경이 가능하다.

Claims (1)

  1. 대상 물체의 이미지를 획득하는 단계;
    획득된 이미지에 기초하여, 상기 대상 물체를 식별하는 단계; 및
    식별된 상기 대상 물체에 관한 정보를 삽입한 교육용 게임을 실행시키는 단계를 포함하는 물체인식 기반의 교육용 게임을 제공하는 방법.
KR1020160094869A 2016-07-26 2016-07-26 물체인식 기반의 교육용 게임을 제공하는 방법 KR20180012076A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160094869A KR20180012076A (ko) 2016-07-26 2016-07-26 물체인식 기반의 교육용 게임을 제공하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160094869A KR20180012076A (ko) 2016-07-26 2016-07-26 물체인식 기반의 교육용 게임을 제공하는 방법

Publications (1)

Publication Number Publication Date
KR20180012076A true KR20180012076A (ko) 2018-02-05

Family

ID=61224845

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160094869A KR20180012076A (ko) 2016-07-26 2016-07-26 물체인식 기반의 교육용 게임을 제공하는 방법

Country Status (1)

Country Link
KR (1) KR20180012076A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230125953A (ko) 2022-02-22 2023-08-29 천은영 익사이팅 러닝 미러 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230125953A (ko) 2022-02-22 2023-08-29 천은영 익사이팅 러닝 미러 시스템

Similar Documents

Publication Publication Date Title
US9669312B2 (en) System and method for object extraction
US8062131B2 (en) Game system and game apparatus used for the same
CN111492374A (zh) 图像识别系统
KR20150039252A (ko) 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
US20170100661A1 (en) Vision system for monitoring board games and method thereof
Iqbal et al. Adaptive interface for color-blind people in mobile-phones
KR20180028764A (ko) 증강현실을 이용한 유아 학습 장치 및 방법
CN111744197B (zh) 一种数据处理方法、装置、设备及可读存储介质
KR20180012076A (ko) 물체인식 기반의 교육용 게임을 제공하는 방법
CN111984126A (zh) 答题记录生成方法、装置、电子设备及存储介质
CN108040239B (zh) 基于图像识别的知识训练系统及方法
CN109919164A (zh) 用户界面对象的识别方法及装置
US20230030260A1 (en) Systems and methods for improved player interaction using augmented reality
CN115272019A (zh) 基于vr的教学评估方法及装置
Ranasinghe et al. ChessEye: An Integrated Framework for Accurate and Efficient Chessboard Reconstruction
KR102022007B1 (ko) 코딩교육용 게임시스템 및 이를 이용한 게임방법
KR102326981B1 (ko) 문자배치 및 색상혼합에 따른 게임 제공방법, 장치 및 프로그램
JP7211496B2 (ja) 教師データ生成装置
JP7211495B2 (ja) 教師データ生成装置
WO2024108528A1 (zh) 物理物体和计算机相结合的显示系统及出题系统
JP6298915B1 (ja) ゲームプログラム、方法、および情報処理装置
CN118097690A (zh) 一种图像问答方法、系统、电子设备及介质
JP2008250154A (ja) 図形評価プログラムおよび図形評価装置
CN114344876A (zh) 一种智能棋盘的实现方法及系统
Ives Computer Vision System for a Chess-Playing Robot