KR102390439B1 - 딥러닝 기반의 휴머노이드 로봇 축구 시스템 - Google Patents

딥러닝 기반의 휴머노이드 로봇 축구 시스템 Download PDF

Info

Publication number
KR102390439B1
KR102390439B1 KR1020200174712A KR20200174712A KR102390439B1 KR 102390439 B1 KR102390439 B1 KR 102390439B1 KR 1020200174712 A KR1020200174712 A KR 1020200174712A KR 20200174712 A KR20200174712 A KR 20200174712A KR 102390439 B1 KR102390439 B1 KR 102390439B1
Authority
KR
South Korea
Prior art keywords
robot
controller
information
soccer
deep learning
Prior art date
Application number
KR1020200174712A
Other languages
English (en)
Inventor
정재식
양지현
Original Assignee
(주)이디지에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이디지에스 filed Critical (주)이디지에스
Priority to KR1020200174712A priority Critical patent/KR102390439B1/ko
Application granted granted Critical
Publication of KR102390439B1 publication Critical patent/KR102390439B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

본 발명은 딥러닝 기반의 휴머노이드 로봇 축구 시스템에 관한 것으로, 휴머노이드 타입의 로봇에 장착되어 딥 러닝(Deep Learning) 방식 기반으로 로봇의 이동, 모션, 주변의 물체나 상대방 로봇의 존재 여부를 인식하고, 인식한 정보를 바탕으로 로봇의 동작을 제어하는 로봇 컨트롤러; 상기 로봇 컨트롤러와 네트워크로 연결되어 상기 로봇 컨트롤러로부터 전송되는 인식정보와 동작정보들을 분석하고, 해당 로봇이 수행중인 축구의 룰을 위반하였는지 여부를 판단하여, 판단 결과에 따라 해당 로봇을 제어하고, 로봇 축구를 참여할 참여자의 수 및 종류, 난이도의 설정이 이루어지는 경기 컨트롤러;를 포함하는 것을 특징으로 한다.

Description

딥러닝 기반의 휴머노이드 로봇 축구 시스템{Deep learning-based humanoid robot soccer system}
본 발명은 딥러닝 기반의 휴머노이드 로봇 축구 시스템에 관한 것으로, 일반인들에게도 쉽게 로봇을 활용한 축구 게임을 접하도록 함으로써, 로봇 축구 게임의 친밀도를 향상시켜 로봇 시장의 확장성을 제공할 수 있으며, 복수의 휴머노이드 로봇의 제어를 통해 다양한 모드와 난이도의 설정이 가능하도록 함으로써, 다양한 조건 및 환경에서의 축구를 포함하는 스포츠 게임을 즐길 수 있도록 하는 딥러닝 기반의 휴머노이드 로봇 축구 시스템에 관한 것이다.
일반적으로, 로봇산업은 국가의 신성장동력의 핵심산업으로서 향후 모든 산업이 로봇화될 것으로 전망되며 로봇산업에서 우위를 점하는 국가만이 미래 기술 경쟁시대에 살아남을 만큼 하나의 산업이 아닌 국가 경쟁력의 요체이다.
이와 같이 로봇산업의 중요성을 감안하면 앞으로 로봇에 대한 연구개발 및 투자가 지속적으로 증가할 것으로 충분히 예상된다.
최근 로봇 기술이 발달함에 따라 다양한 분야에서 여러 형태의 로봇들이 개발되고 있으며, 특히 로봇의 관절, 팔, 다리, 몸체 등으로 이루어지는 휴머노이드 로봇으로 진화하고 있고, 이를 활용하여 둘 이상의 로봇을 통해 수행하는 축구와 같은 다양한 스포츠 게임이 개설되고 있다.
일 예로, 등록특허 제10-0552624호에는, 단일 경기장 내에 위치한 복수개의 마이크로로봇 각각에 대한 조정장치들간의 동작 우선 순위를 결정하여 로봇조정장치들의 마이크로로봇 동시 조정에 따른 명령데이터의 손실을 방지할 수 있으며, 이로 인해, 마이크로로봇 조정자들의 의도대로 마이크로로봇을 정확하게 동작시켜 줄 수 있고, 근접한 복수개의 경기장에 대하여, 각 경기장마다 설치되어 각 경기장에 위치한 마이크로로봇들의 동작을 조정하는 로봇조정장치들간의 동작을 제어하는 장치(즉, 서브-동작제어장치)들을 유선으로 연결하여, 각 서브-동작제어장치들간의 동작 우선 순위를 결정함으로써 근접한 복수개의 경기장에서 마이크로로봇들을 원활하게 동작시켜 줄 수 있는 로봇 경기 제어 시스템 및 그 운영방법이 게재된 바 있다.
하지만, 전술한 선행기술문헌에 의하면, 사용자와 사용자 간의 게임만이 가능하기 때문에 다양한 모드에 의한 게임을 즐기기 어려워 일반인들의 참여가 현저하게 떨어질 수밖에 없고, 이에 따라 로봇을 활용한 스포츠 게임 등의 활성화가 미비한 문제점이 있다.
특히 스포츠 게임의 특성상 정해진 룰에 의해 제어가 이루어져야만 하나, 다양한 모드, 예를 들어 사용자와 AI, AI와 AI 간의 스포츠 게임이 가능하도록 해당 스포츠 게임의 룰을 관리 및 감독할 수 있는 시스템이나 장치의 개발이 필요한 실정이다.
여기서 전술한 배경기술 또는 종래기술은 본 발명의 기술적 의의를 이해하는데 도움이 되기 위한 것일 뿐, 본 발명의 출원 전에 이 발명이 속하는 기술분야에서 널리 알려진 기술을 의미하는 것은 아니다.
등록특허 제10-0552624호
이와 같은 문제점을 해결하기 위하여 본 발명은 전술한 배경기술에 의해서 안출된 것으로, 일반인들에게도 쉽게 로봇을 활용한 축구 게임을 접하도록 함으로써, 로봇 축구 게임의 친밀도를 향상시켜 로봇 시장의 확장성을 제공할 수 있는 딥러닝 기반의 휴머노이드 로봇 축구 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 복수의 휴머노이드 로봇의 제어를 통해 사용자(유저: User)와 사용자, 유저와 인공지능(AI),AI와 AI 간의 축구 게임이 가능하도록 하고, AI 로봇의 난이도 설정이 가능하도록 함으로써, 다양한 조건 및 환경에서의 축구를 포함하는 스포츠 게임을 즐길 수 있도록 하는 딥러닝 기반의 휴머노이드 로봇 축구 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 휴머노이드 로봇을 활용한 축구 게임의 진행시 축구의 룰에 따른 상황 정보(play, ready, set, throw-in, goal, penalty kick 등)를 생성하여 휴머노이드 로봇의 제어가 이루어지도록 하고, 축구 게임이 중단되는 경우에는 축구 게임에 투입된 휴머노이드 로봇들의 제어가 이루어지도록 함으로써, 축구 게임의 룰에 입각하여 축구 게임을 즐길 수 있도록 하는 딥러닝 기반의 휴머노이드 로봇 축구 시스템을 제공하는데 그 목적이 있다.
다만, 본 발명의 목적은 이에만 제한되는 것은 아니며, 명시적으로 언급하지 않더라도 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 이에 포함됨은 물론이다.
이와 같은 과제를 달성하기 위한 본 발명의 일 실시예에 따르면, 휴머노이드 타입의 로봇에 장착되어 딥 러닝(Deep Learning) 방식 기반으로 로봇의 이동, 모션, 주변의 물체나 상대방 로봇의 존재 여부를 인식하고, 인식한 정보를 바탕으로 로봇의 동작을 제어하는 로봇 컨트롤러; 상기 로봇 컨트롤러와 네트워크로 연결되어 상기 로봇 컨트롤러로부터 전송되는 인식정보와 동작정보들을 분석하고, 해당 로봇이 수행중인 축구의 룰을 위반하였는지 여부를 판단하여, 판단 결과에 따라 해당 로봇을 제어하고, 로봇 축구를 참여할 참여자의 수 및 종류, 난이도의 설정이 이루어지는 경기 컨트롤러;를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 로봇 컨트롤러는, 상기 로봇의 보행 밸런스 정보를 수집하고, 상기 로봇의 보행 궤적에 대한 값을 산출하여 서브 컨트롤러로 전송하는 보행 제어부; 딥 러닝(Deep Learning) 시스템 기반으로 상기 로봇의 주변 물체를 인식하여 인식정보를 생성하고, 인식된 물체의 위치로부터 상기 로봇과의 거리를 측정하여 측정된 물체의 인식정보와 거리정보를 메인 컨트롤러로 전송하는 인식부; 상기 인식정보와 거리정보를 수신받아 분석하여 축구공의 패스 플래닝(path planning)을 연산하고, 연산된 패스 플래닝 정보를 바탕으로 해당 로봇의 이동 동작 및 모션의 행동 동작에 대한 제어신호를 생성하는 메인 컨트롤러; 상기 메인 컨트롤러로부터 상기 패스 플래닝 정보를 수신받아 해당 로봇의 이동 동작 및 행동 모션(motion)에 대한 제어가 이루어지도록 구성되는 서브 컨트롤러;를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 로봇 컨트롤러는, 사용자가 착용하며, 상기 로봇의 이동 동작 및 행동 모션에 대한 제어신호를 생성하여 상기 보행 제어부로 전송하는 구동 컨트롤러;를 더 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 보행 제어부는 상기 구동 컨트롤러로부터 상기 로봇의 제어신호가 전송되는 경우, 상기 로봇의 보행 밸런스 정보를 수집하여 서브 컨트롤러로 전송하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 딥러닝 시스템은 12개의 채널과 56x56 히트맵(Heatmap)을 기반으로 하고, 상기 12개의 채널들이 축구 게임에 적용되는 랜드마크를 인식하면, 인식한 랜드마크의 위치에 대한 좌표값과, 인식한 랜드마크와 로봇과의 거리정보를 생성하여, 상기 메인 컨트롤러로 전송하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 서브 컨트롤러는, 상기 보행 밸런스 정보와 보행 궤적 값을 수신받아 분석하고, 분석 결과에 따른 로봇의 밸런스 피드백 정보를 생성하여 메인 컨트롤러로 전송하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 메인 컨트롤러는 상기 밸런스 피드백 정보가 수신되는 경우, 해당 밸런스 피드백 정보를 바탕으로 상기 패스 플래닝 정보에 포함된 해당 로봇의 이동 방향 및 모션에 대한 제어신호를 재생성하여 상기 서브 컨트롤러와 경기 컨트롤러로 각각 전송하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 경기 컨트롤러는, 상기 로봇이 수행중인 축구의 룰을 위반하였다고 판단되는 경우, 해당 로봇의 구동 정지 제어 신호를 생성하여 상기 로봇 컨트롤러로 전송하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 로봇과 연결되어 있는 구동 컨트롤러로 위반한 룰에 대한 정보를 전송하도록 구성되는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 경기 컨트롤러는, 상기 로봇의 참여 수, 상기 로봇을 제어할 사용자의 참여 가능 수를 설정하고, 상기 사용자의 참여 가능 수를 초과하는 로봇들은 인공지능(AI)을 통해 제어될 수 있도록 인공지능 제어신호를 상기 로봇 컨트롤러로 전송하는 것을 특징으로 한다.
이와 같은 본 발명의 실시예에 의하면, 일반인들에게도 쉽게 로봇을 활용한 축구 게임을 접하도록 함으로써, 로봇 축구 게임의 친밀도를 향상시켜 로봇 시장의 확장성을 제공할 수 있어, 로봇 시장의 경제적 이익을 도모할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 의하면, 복수의 휴머노이드 로봇의 제어를 통해 다양한 모드 및 난이도를 통해 축구 게임이 가능하도록 하여, 다양한 조건 및 환경에서의 축구를 포함하는 스포츠 게임을 즐길 수 있어 일반인들의 참여도를 높일 수 있는 효과가 있다.
또한, 본 발명의 실시예에 의하면, 휴머노이드 로봇을 활용한 축구 게임의 진행시 축구의 룰에 따른 상황 정보(play, ready, set, throw-in, goal, penalty kick 등)를 생성하여 휴머노이드 로봇의 제어가 이루어지도록 하고, 축구 게임이 중단되는 경우에는 축구 게임에 투입된 휴머노이드 로봇들의 제어가 이루어지도록 함으로써, 축구 게임의 룰에 입각하여 축구 게임을 즐길 수 있어 이용자의 만족도를 향상시킬 수 있는 효과가 있다.
더불어, 본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시 형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반의 휴머노이드 로봇 축구 시스템을 개략적으로 나타낸 구성 블록도,
도 2는 본 발명의 일 실시예에 따른 딥러닝 기반의 휴머노이드 로봇 축구 시스템의 로봇 컨트롤러를 나타낸 구성 블록도,
도 3은 본 발명의 일 실시예에 따른 딥러닝 기반의 휴머노이드 로봇 축구 시스템에 활용되는 휴머노이드 로봇을 나타낸 예시도,
도 4 및 도 5는 본 발명의 일 실시예에 따른 딥러닝 기반의 휴머노이드 로봇 축구 시스템의 인식부를 통해 위치 및 방향을 인식하는 과정을 나타낸 예시도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 이하에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 하며, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속" 된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
또한, 본 발명에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수 있다. 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
또한, 본 발명의 각 실시예에 기재된 각각의 서버는, 단말, 장치 또는 디바이스와 네트워크를 통해 통신하여 명령, 코드, 파일, 콘텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현되는 시스템일 수 있으며, 메모리, 프로세서, 통신 인터페이스, 입출력 인터페이스 및 데이터베이스를 포함할 수 있다.
특히, 본 발명의 각 실시예에 따른 시스템을 실행시키기 위한 수단으로는 어플리케이션(Application), 또는 웹 서버일 수 있으며, 이 어플리케이션, 또는 웹 서버를 기록한 기록매체를 읽을 수 있는 수단인 단말로는, 일반적인 데스크 탑이나 노트북 등의 일반 PC 뿐만 아니라, 스마트 폰, 태블릿 PC, 등의 모바일 단말기를 포함할 수 있다.
이하, 첨부된 도면을 참고하여 본 발명의 실시예들을 상세히 설명하도록 한다.
도시된 바와 같이, 본 발명의 딥러닝 기반의 휴머노이드 로봇 축구 시스템은 휴머노이드 타입의 로봇(10)에 장착되어 딥 러닝(Deep Learning) 방식 기반으로 로봇(10)의 이동, 모션, 주변의 물체나 상대방 로봇(10)의 존재 여부를 인식하고, 인식한 정보를 바탕으로 로봇(10)의 동작을 제어하는 로봇 컨트롤러(100)와, 로봇 컨트롤러(100)와 네트워크로 연결되어 로봇 컨트롤러(100)로부터 전송되는 인식정보와 동작정보들을 분석하여 해당 로봇(10)이 수행중인 축구의 룰을 위반하였는지 여부를 판단하여, 판단 결과에 따라 해당 로봇(10)을 제어하고, 로봇 축구를 참여할 참여자의 수 및 종류, 난이도 등의 설정이 이루어지는 경기 컨트롤러(200)를 포함하여 구성된다.
로봇 컨트롤러(100)는 보행 제어부(110), 인식부(120), 메인 컨트롤러(130), 서브 컨트롤러(140), 구동 컨트롤러(150) 및 배터리를 포함하여 구성된다.
보행 제어부(110)는 9축 IMU 센서와 ZMP(Zero Moment Point) 기반으로 휴머노이드 타입의 로봇(10)에 대한 안정된 보행이 이루어지도록 제어한다.
이러한 보행 제어부(110)는 9축 IMU 센서를 통해 보행시 로봇(10)의 신체 밸런스 정보에 대한 피드백이 이루어지도록 한다. 이때, 보행 제어부(110)는 로봇(10)의 보행이 이루어질 때, 해당 로봇(10)의 보행 밸런스 정보를 수집하고, 수집한 보행 밸런스 정보를 서브 컨트롤러(140)로 전송하여 보행 밸런스 정보에 대한 분석이 이루어지도록 한다.
또한, 보행 제어부(110)는 ZMP(Zero Moment Point)를 통해 보행하는 로봇(10)의 보행 궤적에 대한 값을 산출하고, 산출한 보행 궤적 값을 서브 컨트롤러(140)로 전송하여 보행 밸런스 정보에 대한 분석이 이루어지도록 한다.
아울러, 보행 제어부(110)는 구동 컨트롤러(150)로부터 로봇(10)의 제어신호가 전송되는 경우, 해당 로봇(10)의 보행 밸런스 정보를 수집하여 서브 컨트롤러(140)로 전송하도록 구성된다.
이때, 구동 컨트롤러(150)는 사용자가 직접 해당 로봇(10)의 이동이나, 행동 모션이 이루어지도록 제어신호를 생성하여 보행 제어부(110)로 전송하는 것으로, 통상의 FPV 고글이나 조이스틱 등으로 이루어질 수 있으며, Fitness 센서가 내장되도록 구성될 수 있다.
인식부(120)는 딥 러닝(Deep Learning) 방식 기반으로 로봇(10)의 주변 물체를 인식하고, 인식된 물체와 로봇(10)과의 거리를 측정하여 측정된 물체정보와 거리정보를 메인 컨트롤러(130)로 전송하여 로봇(10)의 제어가 이루어지도록 구성된다.
이러한 인식부(120)는 통상의 스테레오 카메라를 포함하며, 위치 인식을 위하여 미리 설정되는 랜드마크의 인식이 이루어지도록 구성된다.
이때, 랜드마크는 수행할 스포츠의 종류에 따라 각각 다르게 설정이 가능하며, 본 발명에서는 축구에 적용되는 센터서클, 골대, 공, 축구장 내에 형성되는 필드라인 등을 랜드마크로 설정할 수 있다.
또한, 인식부(120)는 도 4 및 도 5에 도시된 바와 같이, 12 채널 56x56 히트맵(Heatmap)기반의 딥러닝 시스템을 통해 로봇(10)의 물체 인식 및 거리 측정이 가능하게 구성된다.
이때, 본 발명의 인식부(120)는 12개로 구성되는 각 채널들이 설정된 랜드마크를 인식하도록 구성되고, 인식된 랜드마크의 위치에 대한 정보를 x, y 좌표로 설정한 후, 해당 좌표값을 출력한다.
또한, 인식부(120)는 랜드마크로 설정된 물체가 인식되면, 인식된 물체와 로봇(10)과의 거리정보를 생성하고, 이와 동시에 현재 해당 로봇(10)의 위치 정보에 대한 데이터를 생성하여 메인 컨트롤러(130)로 전송한다.
메인 컨트롤러(130)는 인식부(120)로부터 전송되는 물체를 인식한 인식정보, 거리정보 및 해당 로봇(10)의 현재 위치 정보를 바탕으로 축구공의 패스 플래닝(path planning)의 연산이 이루어지도록 구성되며, 전송된 각각의 정보들을 경기 컨트롤러(200)로 전송한다.
또한, 메인 컨트롤러(130)는 연산된 로봇(10)의 패스 플래닝 정보를 서브 컨트롤러(140)로 전송하여 해당 로봇(10)의 보행 및 모션(motion) 작동이 이루어지도록 할 수 있다.
이때, 메인 컨트롤러(130)는 서브 컨트롤러(140)로부터 밸런스 피드백 정보가 수신되는 경우, 해당 밸런스 피드백 정보를 바탕으로 산출된 패스 플래닝 정보에 포함된 해당 로봇(10)의 이동 방향 및 모션에 대한 제어신호를 재생성하여 서브 컨트롤러(140)와 경기 컨트롤러(200)로 전송하도록 구성된다.
즉, 메인 컨트롤러(130)는 패스 플래닝 정보를 생성하여 해당 로봇(10)의 이동 동작과, 축구공을 차기 위한 모션의 행동 동작의 수행이 이루어지도록 할 때, 이 해당 로봇(10)의 밸런스에 대한 정보를 바탕으로 최적화된 이동 동작 및 모션의 행동 동작에 대한 제어값을 산출하여 서브 컨트롤러(140)와 경기 컨트롤러(200)로 전송하는 것이다.
여기서, 로봇 컨트롤러(100)에서는 메인 컨트롤러(130)의 연산 속도를 극대화하기 위하여 가속 모듈을 구성하여 실시간 연산이 가능하도록 구성된다.
서브 컨트롤러(140)는 보행 제어부(110)로부터 전송받은 보행 밸런스 정보를 분석하고, 분석 결과에 따른 로봇(10)의 밸런스 피드백 정보를 생성하여 메인 컨트롤러(130)로 전송한다.
또한, 서브 컨트롤러(140)는 메인 컨트롤러(130)로부터 해당 로봇(10)의 이동 동작 및 행동 모션에 대한 제어신호가 전송되면, 로봇(10)의 상,하체에 대한 구동을 제어한다.
이와 같은 서브 컨트롤러(140)는 로봇(10)의 이동 및 행동 모션에 대한 구동이 완료되면, 인식부(120)를 통해 해당 로봇(10)의 현재 위치에 대한 정보를 요청하고, 인식부(120)로부터 현재 위치 정보가 수신되면, 이를 경기 컨트롤러(200)로 전송한다.
이와 같은 로봇 컨트롤러(100)는 로봇(10)의 구동시 필요한 전기 에너지가 저장되며, 서브 컨트롤러(140)의 제어에 의해 일정량의 에너지를 공급하는 배터리(160)가 더 구성된다.
경기 컨트롤러(200)는 메인 컨트롤러(130)와 서브 컨트롤러(140)로부터 전송되는 각각의 정보들을 분석하여 해당 로봇(10)이 현재 수행중인 축구와 같은 스포츠의 룰을 위반하였는지 여부를 판단한다.
이때, 경기 컨트롤러(200)는 해당 로봇(10)이 수행중인 스포츠의 룰을 위반하였다고 판단되는 경우, 상기 해당 로봇(10)의 구동 정지 제어 신호를 생성하여 서브 컨트롤러(140)로 전송한다.
아울러, 본 발명의 경기 컨트롤러(200)는 스포츠 경기를 수행중인 로봇(10)이 룰을 위반하였다고 판단되는 경우, 해당 로봇(10)과 연결되어 있는 구동 컨트롤러(150)로 위반한 룰에 대한 정보를 전송하도록 구성될 수 있다.
또한, 경기 컨트롤러(200)는 경기장 내에 위치하는 모든 로봇(10)들에 대하여 경기가 시작되기 전인 경우에 상기 모든 로봇(10)들에 각각 구성되는 서브 컨트롤러(140)와 연동되어 이동 동작 및 행동 모션의 제어가 가능하도록 구성될 수 있다.
이와 같은 경기 컨트롤러(200)는 스포츠 경기를 수행하고자 하는 로봇(10)의 참여 수, 그리고 해당 로봇(10)을 제어할 사용자의 참여 가능 수를 설정하도록 구성될 수 있다.
이때, 경기 컨트롤러(200)는 상기 사용자의 참여 가능 수를 초과하는 로봇(10)들은 인공지능(AI)을 통해 제어될 수 있도록 구성되며, 인공지능에 의한 제어가 이루어지는 경우, 메인 컨트롤러(130)와 서브 컨트롤러(140)에 의해 제어가 이루어지도록 인공지능 제어신호를 메인 컨트롤러(130)로 전송한다.
즉, 본 발명은 사용자의 참여 여부에 따라 사용자와 사용자 간의 대결, 또는 사용자와 인공지능 간의 대결, 또는 인공지능과 인공지능 간의 대결이 가능하도록 대결 방식에 대한 설정이 가능하게 구성될 수 있다.
아울러, 본 발명의 경기 컨트롤러(200)는 로봇(10)들이 수행할 스포츠의 종류와 구비되는 구동 컨트롤러(150)의 종류에 따라 다양한 모드로 설정하여 로봇(10)의 이동 동작 및 행동 모션에 대한 제어가 가능하도록 구성될 수 있다.
즉, 사용자가 로봇을 직접보면서 조이스틱과 같은 구동 컨트롤러(150)를 제어하는 전지적 모드와, 사용자가 인식부(120)를 통해 촬영되는 영상을 외부 디스플레이장치를 통해 확인하면서 조이스틱과 같은 구동 컨트롤러(150)를 제어하는 텔레오퍼레이션(Tele-operation) 모드와, 사용자가 FPV 고글과 같은 구동 컨트롤러(150)를 착용하고 인식부(120)에서 제공하는 영상정보를 상기 구동 컨트롤러(150)를 통해 확인하면서 로봇(10)의 구동을 제어하는 FPV 모드와, 사용자가 FPV 고글과 팔, 다리에 피트니스 센서를 부탁하고 직접 움직이면서 조종하는 FPV 및 피트니스 (FPV & Fitness ) 모드로 구성되어 사용자는 본인이 구비하고 있거나, 제공받은 구동 컨트롤러(150)의 종류에 따라 다양한 모드로 로봇을 활용한 스포츠를 즐길 수 있도록 구성되는 것이다.
한편, 본 발명의 경기 컨트롤러(200)는 설정된 대결 방식 모드가 사용자와 인공지능, 또는 인공지등과 인공지능 간의 대결 모드인 경우, 축구 게임에 참여하는 인공지능 로봇(10)의 보행 속도와 공을 차는 행동 모션, 즉 킥(kick)의 세기를 조절하여 축구 게임의 난이도를 설정할 수 있다.
한편, 본 발명에 기재된 네트워크는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 로봇 컨트롤러 110: 보행 제어부
120: 인식부 130: 메인 컨트롤러
140: 서브 컨트롤러 150: 구동 컨트롤러
160: 배터리 200: 경기 컨트롤러

Claims (7)

  1. 휴머노이드 타입의 로봇에 장착되어 딥 러닝(Deep Learning) 방식 기반으로 로봇의 이동, 모션, 주변의 물체나 상대방 로봇의 존재 여부를 인식하고, 인식한 정보를 바탕으로 로봇의 동작을 제어하는 로봇 컨트롤러;
    상기 로봇 컨트롤러와 네트워크로 연결되어 상기 로봇 컨트롤러로부터 전송되는 인식정보와 동작정보들을 분석하고, 해당 로봇이 수행중인 축구의 룰을 위반하였는지 여부를 판단하여, 판단 결과에 따라 해당 로봇을 제어하고, 로봇 축구를 참여할 참여자의 수 및 종류, 난이도의 설정이 이루어지는 경기 컨트롤러;를 포함하고,
    상기 로봇 컨트롤러는,
    상기 로봇의 보행 밸런스 정보를 수집하고, 상기 로봇의 보행 궤적에 대한 값을 산출하여 서브 컨트롤러로 전송하는 보행 제어부;
    딥 러닝(Deep Learning) 시스템 기반으로 상기 로봇의 주변 물체를 인식하여 인식정보를 생성하고, 인식된 물체의 위치로부터 상기 로봇과의 거리를 측정하여 측정된 물체의 인식정보와 거리정보를 메인 컨트롤러로 전송하는 인식부;
    상기 인식정보와 거리정보를 수신받아 분석하여 축구공의 패스 플래닝(path planning)을 연산하고, 연산된 패스 플래닝 정보를 바탕으로 해당 로봇의 이동 동작 및 모션의 행동 동작에 대한 제어신호를 생성하는 메인 컨트롤러;
    상기 메인 컨트롤러로부터 상기 패스 플래닝 정보를 수신받아 해당 로봇의 이동 동작 및 행동 모션(motion)에 대한 제어가 이루어지도록 구성되는 서브 컨트롤러; 를 포함하며,
    상기 딥러닝 시스템은 12개의 채널과 56x56 히트맵(Heatmap)을 기반으로 하고, 상기 12개의 채널들이 축구 게임에 적용되는 랜드마크를 인식하면, 인식한 랜드마크의 위치에 대한 좌표값과, 인식한 랜드마크와 로봇과의 거리정보를 생성하여, 상기 메인 컨트롤러로 전송하는 것을 특징으로 하는 딥러닝 기반의 휴머노이드 로봇 축구 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 로봇 컨트롤러는,
    사용자가 착용하며, 상기 로봇의 이동 동작 및 행동 모션에 대한 제어신호를 생성하여 상기 보행 제어부로 전송하는 구동 컨트롤러;를 더 포함하고,
    상기 보행 제어부는 상기 구동 컨트롤러로부터 상기 로봇의 제어신호가 전송되는 경우, 상기 로봇의 보행 밸런스 정보를 수집하여 서브 컨트롤러로 전송하는 것을 특징으로 하는 딥러닝 기반의 휴머노이드 로봇 축구 시스템.
  4. 삭제
  5. 제1항에 있어서,
    상기 서브 컨트롤러는,
    상기 보행 밸런스 정보와 보행 궤적 값을 수신받아 분석하고, 분석 결과에 따른 로봇의 밸런스 피드백 정보를 생성하여 메인 컨트롤러로 전송하며,
    상기 메인 컨트롤러는 상기 밸런스 피드백 정보가 수신되는 경우, 해당 밸런스 피드백 정보를 바탕으로 상기 패스 플래닝 정보에 포함된 해당 로봇의 이동 방향 및 모션에 대한 제어신호를 재생성하여 상기 서브 컨트롤러와 경기 컨트롤러로 각각 전송하는 것을 특징으로 하는 딥러닝 기반의 휴머노이드 로봇 축구 시스템.
  6. 제1항에 있어서,
    상기 경기 컨트롤러는,
    상기 로봇이 수행중인 축구의 룰을 위반하였다고 판단되는 경우, 해당 로봇의 구동 정지 제어 신호를 생성하여 상기 로봇 컨트롤러로 전송하고,
    상기 로봇과 연결되어 있는 구동 컨트롤러로 위반한 룰에 대한 정보를 전송하도록 구성되는 것을 특징으로 하는 딥러닝 기반의 휴머노이드 로봇 축구 시스템.
  7. 제1항에 있어서,
    상기 경기 컨트롤러는,
    상기 로봇의 참여 수, 상기 로봇을 제어할 사용자의 참여 가능 수를 설정하고,
    상기 사용자의 참여 가능 수를 초과하는 로봇들은 인공지능(AI)을 통해 제어될 수 있도록 인공지능 제어신호를 상기 로봇 컨트롤러로 전송하는 것을 특징으로 하는 딥러닝 기반의 휴머노이드 로봇 축구 시스템.
KR1020200174712A 2020-12-14 2020-12-14 딥러닝 기반의 휴머노이드 로봇 축구 시스템 KR102390439B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200174712A KR102390439B1 (ko) 2020-12-14 2020-12-14 딥러닝 기반의 휴머노이드 로봇 축구 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200174712A KR102390439B1 (ko) 2020-12-14 2020-12-14 딥러닝 기반의 휴머노이드 로봇 축구 시스템

Publications (1)

Publication Number Publication Date
KR102390439B1 true KR102390439B1 (ko) 2022-04-25

Family

ID=81451650

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200174712A KR102390439B1 (ko) 2020-12-14 2020-12-14 딥러닝 기반의 휴머노이드 로봇 축구 시스템

Country Status (1)

Country Link
KR (1) KR102390439B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002178283A (ja) * 2000-12-12 2002-06-25 Honda Motor Co Ltd 自律ロボット
KR100552624B1 (ko) 2003-08-04 2006-02-20 주식회사 마이크로로보트 로봇 경기 제어시스템 및 그 운영방법
KR20070072314A (ko) * 2005-12-31 2007-07-04 고려대학교 산학협력단 신경망을 이용하는 로봇의 자세 제어 방법 및 그 기록매체, 신경망을 이용하는 로봇의 자세 제어 장치 및 그장치를 구비한 로봇
KR102156537B1 (ko) * 2016-08-04 2020-09-16 주식회사 소니 인터랙티브 엔터테인먼트 정보 처리 장치, 정보 처리 방법, 및 정보 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002178283A (ja) * 2000-12-12 2002-06-25 Honda Motor Co Ltd 自律ロボット
KR100552624B1 (ko) 2003-08-04 2006-02-20 주식회사 마이크로로보트 로봇 경기 제어시스템 및 그 운영방법
KR20070072314A (ko) * 2005-12-31 2007-07-04 고려대학교 산학협력단 신경망을 이용하는 로봇의 자세 제어 방법 및 그 기록매체, 신경망을 이용하는 로봇의 자세 제어 장치 및 그장치를 구비한 로봇
KR102156537B1 (ko) * 2016-08-04 2020-09-16 주식회사 소니 인터랙티브 엔터테인먼트 정보 처리 장치, 정보 처리 방법, 및 정보 매체

Similar Documents

Publication Publication Date Title
US11474599B2 (en) Dynamic graphics rendering based on predicted saccade landing point
EP3682307B1 (en) Robot as personal trainer
US20240004466A1 (en) Generating and rendering primitives in a frame period with late update of eye tracking information for fast foveated rendering
US11452941B2 (en) Emoji-based communications derived from facial features during game play
US9056252B2 (en) Highly interactive online multiplayer video games
US20190283255A1 (en) Robot cooperation method and device, robot, robot system, and computer program product
EP3628380B1 (en) Method for controlling virtual objects, computer readable storage medium and electronic device
KR101829879B1 (ko) 프로골퍼 음성과 영상을 통한 인공지능형 라이브골프자세교정장치 및 방법
JP2023080070A (ja) サーバシステムとビデオゲームコントローラとの間の直接的な通信を確立するためのシステム及びハンドヘルド型コントローラ
KR20100001408A (ko) 가상 공간과 현실 공간을 연계한 로봇 게임 시스템 및 로봇게임 방법
KR20090000013A (ko) 네트워크 게임용 보행 로봇의 게임 시스템
CN113209618B (zh) 虚拟角色的控制方法、装置、设备及介质
Scherer et al. Non-invasive brain-computer interfaces: Enhanced gaming and robotic control
KR102390439B1 (ko) 딥러닝 기반의 휴머노이드 로봇 축구 시스템
Lau et al. FC Portugal-high-level coordination methodologies in soccer robotics
Ullal et al. A Dynamically Weighted Multi-Objective Optimization Approach to Positional Interactions in Remote-Local Augmented/Mixed Reality
Reis et al. Coordination in multi-robot systems: Applications in robotic soccer
KR20190039923A (ko) 공유환경을 제공하는 시스템
Abreu et al. Fc portugal: Robocup 2022 3d simulation league and technical challenge champions
KR100813109B1 (ko) 온라인 플래시 게임에서의 멀티플레이 서비스 제공 방법 및이를 위한 기록 매체
Zheng et al. Development of an internet-based multi-robot teleoperation system
CN116974379A (zh) 一种多人vr体验系统
CN118036694A (en) Method, device and equipment for training intelligent agent and computer storage medium
Katsuyama et al. A Predictive Approach for Compensating Transmission Latency in Remote Robot Control for Improving Teleoperation Efficiency
CN113546423A (zh) 一种动作生成方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant