KR102099123B1 - 인공지능을 이용한 수상스포츠 장치 제어방법 - Google Patents

인공지능을 이용한 수상스포츠 장치 제어방법 Download PDF

Info

Publication number
KR102099123B1
KR102099123B1 KR1020200012580A KR20200012580A KR102099123B1 KR 102099123 B1 KR102099123 B1 KR 102099123B1 KR 1020200012580 A KR1020200012580 A KR 1020200012580A KR 20200012580 A KR20200012580 A KR 20200012580A KR 102099123 B1 KR102099123 B1 KR 102099123B1
Authority
KR
South Korea
Prior art keywords
water sports
sports device
device control
control means
artificial intelligence
Prior art date
Application number
KR1020200012580A
Other languages
English (en)
Inventor
김성
Original Assignee
김성
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김성 filed Critical 김성
Priority to KR1020200012580A priority Critical patent/KR102099123B1/ko
Application granted granted Critical
Publication of KR102099123B1 publication Critical patent/KR102099123B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B34/00—Vessels specially adapted for water sports or leisure; Body-supporting devices specially adapted for water sports or leisure
    • B63B34/26—Accessories for canoes, kayaks or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B32/00—Water sports boards; Accessories therefor
    • B63B32/10—Motor-propelled water sports boards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B32/00—Water sports boards; Accessories therefor
    • B63B32/60—Board appendages, e.g. fins, hydrofoils or centre boards
    • B63B32/64—Adjustable, e.g. by adding sections, by removing sections or by changing orientation or profile
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 인공지능을 이용한 수상스포츠 장치 제어방법에 관한 것으로, 더욱 상세하게는 인공지능 딥러닝 기술을 이용하여 바디모션 인터페이스를 통해 수상스포츠 장치의 방향타 혹은 모터를 제어하기 위한 인공지능을 이용한 수상스포츠 장치 제어방법에 관한 것이다.

Description

인공지능을 이용한 수상스포츠 장치 제어방법{Control method of water sports device using artificial intelligence}
본 발명은 인공지능을 이용한 수상스포츠 장치 제어방법에 관한 것으로, 더욱 상세하게는 인공지능 딥러닝 기술을 이용하여 바디모션 인터페이스를 통해 수상스포츠 장치의 방향타 혹은 모터를 제어하기 위한 인공지능을 이용한 수상스포츠 장치 제어방법에 관한 것이다.
가상현실 및 게임 등에 동작 인식 기반의 상호 작용 기술이 상용화되기 시작하여, TV 등 다양한 상품 분야로 확산되고 있다.
그리고, 3D 기술의 대중화와 더불어 가정용 엔터테인먼트 산업에 상호 작용이 가능한 다양한 체험 기술로 응용되고 있다.
3D 컨텐츠를 실제와 동일하게 시청할 수 있는 입체 영상과 상호 작용 기술을 융합하여 살아 움직이는 생동감과 사실감을 극대화시킬 수 있는 동작 체험형 컨텐츠 역시 개발되고 있다.
즉, 사용자가 직접 가상 객체와 상호 작용할 수 있는 움직임 추적 기반의 3차원 또는 360도 시청이 가능한 인터페이스를 이용하여 레포츠, 게임, 엔터테인먼트, 교육 등의 분야에 체험형 컨텐츠에 대한 개발이 진행되고 있다.
그러나, 사용자의 움직임 추적이 컨텐츠 내에 반영되도록 하는 데에만 기술 개발이 집중되고 있으며, 보다 다양한 스포츠 환경에서의 서비스를 제공하기 위한 개발이 부족하다.
한편, 현재 생활수준의 향상과 문화적 욕구의 다양화 추세에 따라 많은 사람들이 수상 레저스포츠에 관심을 가지며 즐기고 있음에 따라, 정부에서도 수상 레저스포츠용 장비산업을 육성시키려는 정책을 추진하고 있으며, 수상 레저스포츠의 하나인 요트에 관한 연구들도 이에 맞추어 다양한 연구들이 진행되고 있다.
요트는 운행에 전문적인 지식이나 경험 등으로 고려해야 할 요소들이 많아 각 분야에 담당 승무원이 필요하고, 요트 가격이 높아 이용자들이 높은 경제적 부담을 느끼므로 일반인들이 레저스포츠의 일환으로 즐기기에는 아직 어려운 점들이 있다.
이에 따라, 요트에 관한 전문적인 지식이나 경험이 부족한 일반인들도 요트를 수상 레저스포츠로 즐겨 요트의 저변확대를 꾀할 필요가 있었다.
특히, 다양한 수상스포츠를 활용한 레저 서비스를 제공하는 기술 개발이 필요하며, 평상시에 연습자의 자세에 따라 수상스포츠 장치가 동작하거나, 이와 유사한 환경을 제공하는 기술은 존재하지 않아 이에 대한 기술 개발이 필요하게 되었다.
대한민국 특허공개번호 제10-2014-0080106호
따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 목적은 인공지능 딥러닝 기술을 이용하여 바디모션 인터페이스를 통해 수상스포츠 장치의 방향타 혹은 모터를 실시간으로 제어할 수 있도록 하는데 있다.
본 발명의 다른 목적은 수상 스포츠 장치에 장착된 캠으로부터 사용자의 얼굴을 검출 데이터베이스화함으로써, 현재 사용하고자 하는 사용자의 얼굴을 인식하여 올바른 사용자인지의 여부, 남녀 여부 등을 구분하여 구분에 따라, 모터 기동의 정도를 부여하는 기능을 제공할 수 있도록 하는데 있다.
본 발명의 또 다른 목적은 몸 동작을 인식함으로써 사용자의 몸 동작 정보만으로 카약 모드 혹은 서핑보드 모드 등으로 전환가능하며 전환된 모드에서는 마찬가지로 사용자 제스처 명령으로 동작제어가 가능하도록 하는데 있다.
본 발명이 해결하고자 하는 과제를 달성하기 위하여, 본 발명의 일실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법은,
사용자의 모습을 촬상하는 촬상부(150)와,
상기 촬상수단으로부터 획득한 영상 화면으로부터 얼굴 영역을 추출하는 얼굴영역추출부(110)와,
상기 추출된 얼굴 영역을 참조하여 정당한 사용자인지를 판별하여 수상스포츠 장치의 가동가능 여부를 판별하는 얼굴영역인식부(120)를 포함하는 수상스포츠 장치제어수단을 구비하여,
수상스포츠 장치제어수단의 촬상부(150)로부터 사용자의 자세에 따른 영상을 획득하는 제스처획득단계(S100);와,
수상스포츠장치제어수단에 의해 카메라 이미지 프로세싱에 의한 윤곽선을 추출하는 윤곽선추출단계(S200);와
수상스포츠장치제어수단에 의해 인공지능 알고리즘을 이용하여 얼굴, 몸, 손을 인지하기 위한 인체각부인지단계(S300);와
수상스포츠장치제어수단에 의해 상기 인지된 인체 각 부의 위치값을 획득하는 좌표값획득단계(S400);와
수상스포츠장치제어수단에 의해 상기 좌표값을 규칙화된 데이터베이스와 대조하여 가장 유사한 가중치를 가진 값을 추출하는 추출단계(S500);와
수상스포츠장치제어수단에 의해 상기 추출된 값을 이용하여 명령어를 도출하기 위한 명령어도출단계(S600);와
수상스포츠장치제어수단에 의해 상기 명령어에 의한 방향타 혹은 모터를 제어하는 수상스포츠장치제어단계(S700);를 포함함으로써, 본 발명의 과제를 해결하게 된다.
이상의 구성 및 작용을 지니는 본 발명에 따른 인공지능을 이용한 수상스포츠 장치 제어방법은,
인공지능 딥러닝 기술을 이용하여 바디모션 인터페이스를 통해 수상스포츠 장치의 방향타 혹은 모터를 실시간으로 제어할 수 있도록 함으로써, 별도의 조작 버튼을 눌러야 하는 불편함을 제거하여 수상스포츠를 즐기는 사용자의 움직임만으로 수상스포츠 장치를 제어할 수 있는 편리성을 제공하게 된다.
구체적으로, 디지털 무선 통신 및 영상 기술의 발전과 인공지능의 비약적인 발전으로 캠으로 통합된 사용자의 제스처에 대하여 인공지능으로 서버의 컴퓨터 학습에 의한 서비스가 가능해짐에 따라서 사람이 직접 수행하는 리모트컨트롤 조작을 지양하고 인간의 몸 제스처 정보를 이용한 생체 정보만으로 수중 스포츠 장치의 모터 및 방향타 장치를 동작 및 제어시키는 효과를 제공하게 되는 것이다.
또한, 본 발명에서는 수상 스포츠 장치에 장착된 캠으로부터 사용자의 얼굴을 검출 데이터베이스화함으로써, 현재 사용하고자 하는 사용자의 얼굴을 인식하여 올바른 사용자인지의 여부, 남녀 여부 등을 구분하여 구분에 따라, 모터 기동의 정도를 부여하는 기능을 제공할 수 있게 된다.
또한, 몸 동작을 인식함으로써 사용자의 몸 동작 정보만으로 카약 모드 혹은 서핑보드 모드 등으로 전환가능하며 전환된 모드에서는 마찬가지로 사용자 제스춰 명령으로 동작제어가 가능하다.
여성모드에서는 비교적 여성에게 적당한 정도로 완만하게 수상장치가 동작하게 된다.
도 1은 본 발명의 일실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법을 처리하는 시스템 개략 구성도이다.
도 2a 내지 도 2b는 본 발명의 일실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법의 수상 스포츠 종류를 나타낸 예시도이다.
도 3은 본 발명의 일실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법의 사용자 포즈별 명령어 예시도이다.
도 4는 본 발명의 일실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법을 처리하는 시스템의 수상스포츠 장치제어수단 블록도이다.
도 5는 본 발명의 일실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법을 나타낸 흐름도이다.
도 6은 본 발명의 일실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법에서 인체각부의 포인트를 나타낸 예시도이다.
도 7은 본 발명의 일실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법에서 인공지능 학습을 위한 포즈 샘플을 나타낸 예시도이다.
도 8은 본 발명의 이실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법을 나타낸 흐름도이다.
도 9는 본 발명의 이실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법에서 촬영된 사진 속에서 인공지능의 컴퓨터 비전 기술을 이용하여 얼굴, 몸, 손을 찾아내어 얼굴과 몸을 축으로 촬영된 사진을 좌표화한 예시도이다.
도 10은 본 발명의 이실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법에서 손의 위치가 다양하게 변화될 경우에 좌표화한 예시도이다.
본 발명의 일실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법은,
사용자의 모습을 촬상하는 촬상부(150)와,
상기 촬상수단으로부터 획득한 영상 화면으로부터 얼굴 영역을 추출하는 얼굴영역추출부(110)와,
상기 추출된 얼굴 영역을 참조하여 정당한 사용자인지를 판별하여 수상스포츠 장치의 가동가능 여부를 판별하는 얼굴영역인식부(120)를 포함하는 수상스포츠 장치제어수단(1000)을 구비하여,
수상스포츠 장치제어수단의 촬상부(150)로부터 사용자의 자세에 따른 영상을 획득하는 제스처획득단계(S100);와
수상스포츠장치제어수단에 의해 카메라 이미지 프로세싱에 의한 윤곽선을 추출하는 윤곽선추출단계(S200);와
수상스포츠장치제어수단에 의해 인공지능 알고리즘을 이용하여 얼굴, 몸, 손을 인지하기 위한 인체각부인지단계(S300);와
수상스포츠장치제어수단에 의해 상기 인지된 인체 각 부의 위치값을 획득하는 좌표값획득단계(S400);와
수상스포츠장치제어수단에 의해 상기 좌표값을 규칙화된 데이터베이스와 대조하여 가장 유사한 가중치를 가진 값을 추출하는 추출단계(S500);와
수상스포츠장치제어수단에 의해 상기 추출된 값을 이용하여 명령어를 도출하기 위한 명령어도출단계(S600);와
수상스포츠장치제어수단에 의해 상기 명령어에 의한 방향타 혹은 모터를 제어하는 수상스포츠장치제어단계(S700);를 포함하는 것을 특징으로 한다.
한편, 본 발명의 이실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법은,
사용자의 모습을 촬상하는 촬상부(150)와,
상기 촬상수단으로부터 획득한 영상 화면으로부터 얼굴 영역을 추출하는 얼굴영역추출부(110)와,
상기 추출된 얼굴 영역을 참조하여 정당한 사용자인지를 판별하여 수상스포츠 장치의 가동가능 여부를 판별하는 얼굴영역인식부(120)를 포함하는 수상스포츠 장치제어수단을 구비하여,
수상스포츠 장치제어수단의 촬상부(150)로부터 사용자의 자세에 따른 영상을 획득하는 제스처획득단계(S1000);와,
수상스포츠장치제어수단에 의해 카메라 이미지 프로세싱에 의한 윤곽선을 추출하는 윤곽선추출단계(S2000);와
수상스포츠장치제어수단에 의해 인공지능 알고리즘을 이용하여 얼굴, 몸, 손을 인지하기 위한 인체각부인지단계(S3000);와
수상스포츠장치제어수단에 의해 상기 인지된 얼굴, 몸, 손을 참조하여 인공지능 알고리즘에 의해 학습된 결과의 명령어를 도출하기 위한 명령어도출단계(S4000);와
수상스포츠장치제어수단에 의해 상기 명령어에 의한 방향타 혹은 모터를 제어하는 수상스포츠장치제어단계(S5000);를 포함하는 것을 특징으로 한다.
이하, 본 발명에 의한 인공지능을 이용한 수상스포츠 장치 제어방법의 실시예를 통해 상세히 설명하도록 한다.
도 1은 본 발명의 일실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법을 처리하는 시스템 개략 구성도이다.
도 1에 도시한 바와 같이, 본 발명의 일실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법을 처리하는 시스템은 수상스포츠 장치제어수단(1000)과 이에 의해 제어되는 방향타(2000) 혹은 모터(3000)를 포함하여 구성되게 된다.
구체적으로 설명하면, 상기 수상스포츠 장치제어수단(1000)는 기본적으로,
사용자의 모습을 촬상하는 촬상부(150)와,
상기 촬상수단으로부터 획득한 영상 화면으로부터 얼굴 영역을 추출하는 얼굴영역추출부(110)와,
상기 추출된 얼굴 영역을 참조하여 정당한 사용자인지를 판별하여 수상스포츠 장치의 가동가능 여부를 판별하는 얼굴영역인식부(120)를 포함하는 것을 특징으로 한다.
이때, 상기한 촬상부의 기능은 사용자가 사전에 인증된 사용자인지를 확인하기 위한 절차를 수행하고자 사용자의 모습을 촬영하게 되는 것이다.
이후, 얼굴영역추출부(110)는 촬상수단으로부터 획득한 영상 화면으로부터 얼굴 영역을 추출하게 되며, 얼굴영역인식부(120)는 상기 추출된 얼굴 영역을 참조하여 정당한 사용자인지를 판별하여 수상스포츠 장치의 가동가능 여부를 판별하는 기능을 수행하게 된다.
즉, 얼굴 영역을 참조하여 사전에 인증된 정당한 사용자인지를 판별한 후, 정당한 사용자일 경우에 수상스포츠 장치를 스탠바이 상태로 유지하게 된다.
예를 들어, 얼굴을 토대로 인증하고 해당 사용자를 알아내고 모터 혹은 방향타가 동작하기 위한 스탠바이 상태로 변경하게 되는 것이다.
한편, 사전에 사용자는 도 3에 도시한 바와 같이, 먼저 포즈를 정하여 여러가지 명령어와 대응되도록 설정할 수 있게 되는데, 예를 들어, 오른쪽, 약간 오른쪽, 아주 빨리 속도 증가, 멈춤 등의 명령어를 사용자의 포즈로 정의하게 되며, 상기 정의된 사용자 포즈별 명령어를 포즈명령어저장부에 저장 처리하게 된다.
도 2a 내지 도 2b는 본 발명의 일실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법의 수상 스포츠 종류를 나타낸 예시도이다.
도 2a에 도시한 바와 같이, 종래의 SUP(Stand up paddle board)는 보드(10)와 보드에 장착되는 촬상부(150), 방향타(2000), 모터(3000)로 변형이 되고, 종래의 Kayak은 보드(10)와 보드에 장착되는 촬상부(150), 방향타(2000), 모터(3000)로 변형되게 된다.
즉, 종래의 노의 역할을 방향타로 변경시키고, 노의 젓는 속도를 모터로 변경시키고, 노의 위치 변경을 포즈로 변경시켜 수상 스포츠를 제어하는 방식으로 변경하게 된다.
도 4는 본 발명의 일실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법을 처리하는 시스템의 수상스포츠 장치제어수단 블록도이다.
도 4에 도시한 바와 같이, 상기 수상스포츠 장치제어수단은 인공지능 딥러닝 알고리즘을 이용하여 바디모션 인터페이스를 통해 수상스포츠 장치의 방향타 혹은 모터를 제어하기 위한 인공지능바디모션제어수단(160);을 더 포함하여 구성하게 된다.
이때, 상기 인공지능바디모션제어수단(160)은,
촬상부(150)로부터 사용자의 자세에 따른 영상을 획득하는 제스처획득부(161);와
카메라 이미지 프로세싱에 의한 윤곽선을 추출하는 윤곽선추출부(162);와
인공지능 알고리즘을 이용하여 얼굴, 몸, 손을 인지하기 위한 인체각부인지부(163);와
상기 인지된 인체 각 부의 위치값을 획득하는 좌표값획득부(164);와
상기 좌표값을 규칙화된 데이터베이스와 대조하여 가장 유사한 가중치를 가진 값을 추출하는 추출부(165);와
상기 추출된 값과 포즈명령어저장부에 저장된 포즈별 명령어를 비교하여 명령어를 도출하기 위한 명령어도출부(166);와
사전에 정의된 사용자 포즈별 명령어를 포즈명령어저장부(167);와
상기 도출된 명령어에 의한 방향타(2000) 혹은 모터(3000)를 제어하는 장치제어부(168);를 포함하여 구성하게 된다.
구체적으로 설명하자면, 제스처획득부(161)는 촬상부(150)로부터 사용자의 자세에 따른 영상을 획득하게 된다.
이때, 상기 윤곽선추출부(162)는 카메라 이미지 프로세싱에 의하여 사용자가 취하고 있는 제스처에 대한 윤곽선을 추출하게 된다.
이후, 상기 인체각부인지부(163)는 인공지능 알고리즘을 이용하여 얼굴, 몸, 손을 인지하게 되는 것이다.
즉, 딥러닝에 의한 학습으로 얻어진 결과를 인체각부를 선별하고 각부의 현위치값을 도출한다는데에 의의가 있다.
구체적으로는 인체의 윤곽선을 추출하여 이를 인공지능 딥러닝에 의하여 인지하게 하여 인체의 각부를 구별하게 하는 학습을 신경망에 구축한다.
결과값으로 인체의 각부를 선별하고 각부에 해당하는 좌표값을 추출하여 결과값으로 하는 것이 목적이다.
이후, 좌표값획득부(164)는 상기 인지된 인체 각 부의 위치값을 획득하게 되고, 추출부(165)는 상기 좌표값을 규칙화된 데이터베이스와 대조하여 가장 유사한 가중치를 가진 값을 추출하게 되는 것이다.
예를 들면, 인체에 대한 윤곽선을 추출하게 되면 하기와 같이 포즈의 주요점들을 구별해내게 되는 것이다.
도 6에 도시한 바와 같이, 상기 각부의 포인트는 인공지능에 학습시키는 방법에 따라 다를 수 있다.
7개의 쌍과 3개의 중앙점을 구별하고 각부마다, 연결선을 그리고 중앙점을 (x,y)좌표상 원점 (0,0)으로 하여 17개의 포인트를 좌표로 표현한다.
즉, 도 6의 이미지를 보면, 3개의 중앙점은 위에서 아래로 각각, (8,0) (4,0) (0,0)이며 각각은 2쌍의 어레이로 구성된 7개의 어레이로 (6,-1) (6,1)과 (4, -2) (4,2), (1,-3) (1,3), 양손은 왼쪽 손이 (-1,-4) 오른쪽 손이 (-1,4)로 다음은 (-2.-1) (-2,1) 그리고 (-4,-1) (-4, 1) 및 (-6, -1) (-6, 1)로 표현될 수 있다.
본 발명의 일실시예의 프로그래밍은 다음과 같다.
import numpy as npclass DeepNeuralNetwork:
def __init__(self, input_layers, middle_layers, hidden_layers, output_layers):
self.inputs = input_layers-> body_motion_picture 입력층->몸동작사진
self.middles=middle_layers->pose_dot_analysys 중간층->몸자세분석
self.hiddens = hidden_layers 은닉층 (딥러닝에 의한 인식)
self.outputs = output_layers-> multiple_coordinates 출력층->17개의 좌표
self.test_data = big_body_motion_pictures (5000장 이상의 몸동작사진 데이터)
# 데이터베이스와 대조한다.
call database_comparison
# 가중치를 계산한다.
call self = weight_calculation
pass
# 현재 기계의 명령어를 출력한다.
def print_accuracy(self):
pass
로서, 파이썬으로 코딩된 것을 특징으로 한다.
즉, 명령어도출부(166)는 상기 추출된 값과 포즈명령어저장부에 저장된 포즈별 명령어를 비교하여 명령어를 도출하게 된다.
예를 들어, 사용자가 오른쪽 손을 들게 되면 포즈명령어저장부에 저장된 사용자 포즈별 명령어를 추출하게 되는데, 오른쪽 손을 들 경우에 방향타를 오른쪽으로 변경하는 명령어를 추출하게 되는 것이다.
이후, 상기 장치제어부(168)는 상기 도출된 명령어에 의한 방향타(2000) 혹은 모터(3000)를 제어하게 되는 것이다.
예를 들어, 방향타를 오른쪽으로 변경하는 신호를 방향타로 제공하게 되는 것이다.
요약하자면, 본 발명은 실제 촬상부에 촬영된 손, 팔, 몸 동작들을 인공지능 알고리즘에 의하여 방향타의 방향과 모터의 속도 명령을 결정할 수 있게 되는 것이다.
한편, 본 발명에서 설명하고 있는 수상스포츠 장치는 도 2a 내지 도 2b에 도시한 바와 같이, 서핑보드와 카약을 변형한 것을 사용하게 되는 것이며, 필요에 따라 뗏목형 서핑보드 혹은 서핑보드와 카약의 결합형이되, 결합형 1은 카약 위에 서핑보드를 결합한 것이며, 결합형 2는 카약과 서핑보드를 나란히 병렬로 결합한 것이다.
즉, 상기와 같이, 다양한 형태로 변형된 서핑보드 혹은 카약은 본 발명의 수상스포츠 장치 범위에 속한다는 것은 당연한 것이다.
도 5는 본 발명의 일실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법을 나타낸 흐름도이다.
도 5에 도시한 바와 같이, 인공지능을 이용한 수상스포츠 장치 제어방법은,
수상스포츠 장치제어수단의 촬상부(150)로부터 사용자의 자세에 따른 영상을 획득하는 제스처획득단계(S100);와,
수상스포츠장치제어수단에 의해 카메라 이미지 프로세싱에 의한 윤곽선을 추출하는 윤곽선추출단계(S200);와
수상스포츠장치제어수단에 의해 인공지능 알고리즘을 이용하여 얼굴, 몸, 손을 인지하기 위한 인체각부인지단계(S300);와
수상스포츠장치제어수단에 의해 상기 인지된 인체 각 부의 위치값을 획득하는 좌표값획득단계(S400);와
수상스포츠장치제어수단에 의해 상기 좌표값을 규칙화된 데이터베이스와 대조하여 가장 유사한 가중치를 가진 값을 추출하는 추출단계(S500);와
수상스포츠장치제어수단에 의해 상기 추출된 값을 이용하여 명령어를 도출하기 위한 명령어도출단계(S600);와
수상스포츠장치제어수단에 의해 상기 명령어에 의한 방향타(2000) 혹은 모터(3000)를 제어하는 수상스포츠장치제어단계(S700);를 포함하는 것을 특징으로 한다.
구체적으로 설명하자면, 수상스포츠 장치제어수단의 촬상부(150)로부터 사용자의 자세에 따른 영상을 획득(S100)하게 되고, 수상스포츠장치제어수단에 의해 카메라 이미지 프로세싱에 의한 윤곽선을 추출(S200)하게 된다.
이후, 수상스포츠장치제어수단에 의해 인공지능 알고리즘을 이용하여 얼굴, 몸, 손을 인지(S300)하게 되고, 수상스포츠장치제어수단에 의해 상기 인지된 인체 각 부의 위치값을 획득(S400)하게 된다.
이후, 수상스포츠장치제어수단에 의해 상기 좌표값을 규칙화된 데이터베이스와 대조하여 가장 유사한 가중치를 가진 값을 추출(S500)한 후, 수상스포츠장치제어수단에 의해 상기 추출된 값을 이용하여 명령어를 도출(S600)하게 된다.
이후, 최종적으로 수상스포츠장치제어수단에 의해 상기 명령어에 의한 방향타(2000) 혹은 모터(3000)를 제어(S700)하게 되는 것이다.
한편, 인공지능 학습을 위하여 도 7에 도시한 바와 같이, 포즈 샘플을 이용하여 진행하게 된다.
구체적으로, 수상스포츠장치제어수단은,
import numpy as npclass DeepNeuralNetwork:
def __init__(self, input_layers, middle_layers, hidden_layers, output_layers):
self.inputs = input_layers-> body_motion_picture 입력층->몸동작사진
self.middles=middle_layers->pose_dot_analysys 중간층->몸자세분석
self.hiddens = hidden_layers 은닉층 (딥러닝에 의한 인식)
self.outputs = output_layers-> machine_command 출력층->기계명령어
self.test_data = big_body_motion_pictures (5000장 이상의 몸동작사진 데이터)
# feed-forward를 진행한다.
def predict(self, x): x는 해양스포츠에서의 명령어 (예)좌,우,정지,속도증감)
pass
# training_data로 학습을 진행한다.
def train(self, training_data, lr=0.01, epoch=1): 몸동작자세 표상 학습
pass
# 현재 기계의 명령어를 출력한다.
def print_accuracy(self):
pass
로서, 파이썬으로 코딩된 것을 특징으로 한다.
본 발명에서는 학습시에 여러가지 제스처를 입력(X)하고, 입력에 대한 답(Y)에 대하여 인간이 가중치(W)를 주어서 보상(reward)한다.
여러가지 명령에 대하여 인공지능에게 학습을 시키는 방법의 예를 들면 다음과 같다.
명령의 셋(command set)은 다음과 같다.
정지(S), 속도감속(D), 속도증가(I), 좌회전(L), 우회전(R), 무명령(N)을 예로 들 수 있다.
주시해야 할 것은 무명령(N)인데, 아무런 명령이 없는 상태도 중요한 요소라는 점이다.
인공지능에게 주어지는 보상(reinforcement)은 100점 척도로 주어진다.
또한, 본 발명에서는 수상 스포츠 장치에 장착된 캠으로부터 사용자의 얼굴을 검출 데이터베이스화함으로써, 현재 사용하고자 하는 사용자의 얼굴을 인식하여 올바른 사용자인지의 여부, 남녀 여부 등을 구분하여 구분에 따라, 모터 기동의 정도를 부여하는 기능을 제공할 수 있게 된다.
또한, 몸 동작을 인식함으로써 사용자의 몸 동작 정보만으로 카약 모드 혹은 서핑보드 모드 등으로 전환가능하며 전환된 모드에서는 마찬가지로 사용자 제스춰 명령으로 동작제어가 가능하다.
여성모드에서는 비교적 여성에게 적당한 정도로 완만하게 수상장치가 동작하게 된다.
도 8은 본 발명의 이실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법을 나타낸 흐름도이다.
도 8에 도시한 바와 같이, 이실시예에 따른 인공지능을 이용한 수상스포츠 장치 제어방법은,
수상스포츠 장치제어수단의 촬상부(150)로부터 사용자의 자세에 따른 영상을 획득하는 제스처획득단계(S1000);와,
수상스포츠장치제어수단에 의해 카메라 이미지 프로세싱에 의한 윤곽선을 추출하는 윤곽선추출단계(S2000);와
수상스포츠장치제어수단에 의해 인공지능 알고리즘을 이용하여 얼굴, 몸, 손을 인지하기 위한 인체각부인지단계(S3000);와
수상스포츠장치제어수단에 의해 상기 인지된 얼굴, 몸, 손을 참조하여 인공지능 알고리즘에 의해 학습된 결과의 명령어를 도출하기 위한 명령어도출단계(S4000);와
수상스포츠장치제어수단에 의해 상기 명령어에 의한 방향타 혹은 모터를 제어하는 수상스포츠장치제어단계(S5000);를 포함하는 것을 특징으로 한다.
일실시예와의 차이점은 좌표값 획득과 추출 과정없이 인체 각부를 인지한 후, 인공지능 알고리즘에 의해 학습된 결과의 명령어를 도출하여 수상스포츠 장치의 방향타 혹은 모터를 제어하는 흐름을 가지는 것이다.
즉, 수상스포츠 장치제어수단의 촬상부(150)로부터 사용자의 자세에 따른 영상을 획득(S1000)한 후, 수상스포츠장치제어수단에 의해 카메라 이미지 프로세싱에 의한 윤곽선을 추출(S2000)하게 되고, 수상스포츠장치제어수단에 의해 인공지능 알고리즘을 이용하여 얼굴, 몸, 손을 인지(S3000)하게 된다.
이후, 수상스포츠장치제어수단에 의해 상기 인지된 얼굴, 몸, 손을 참조하여 인공지능 알고리즘에 의해 학습된 결과의 명령어를 도출(S4000)한 후, 도출된 명령어에 따라, 수상스포츠장치제어수단에 의해 방향타 혹은 모터를 제어(S5000)하게 되는 것이다.
상기와 같이, 수상스포츠장치제어수단에 의해 처리되는 과정을 파이썬 프로그래밍으로 표현하면 다음과 같다.
import numpy as npclass DeepNeuralNetwork:
def __init__(self, input_layers, middle_layers, hidden_layers, output_layers):
self.inputs = input_layers-> body_motion_picture 입력층->몸동작사진
self.middles=middle_layers->pose_dot_analysys 중간층->몸자세분석
self.hiddens = hidden_layers 은닉층 (딥러닝에 의한 인식)
self.outputs = output_layers-> machine_command 출력층->기계명령어
self.test_data = big_body_motion_pictures (5000장 이상의 몸동작사진 데이터)
# feed-forward를 진행한다.
def predict(self, x): x는 해양스포츠에서의 명령어 (예)좌,우,정지,속도증감)
pass
# training_data로 학습을 진행한다.
def train(self, training_data, lr=0.01, epoch=1): 몸동작자세 표상 학습
pass
# 현재 기계의 명령어를 출력한다.
def print_accuracy(self):
pass
로서, 파이썬으로 코딩된 것을 특징으로 한다.
한편, 본 발명에서 적용하고 있는 기술은 사전에 손짓, 팔, 몸의 모양에 데이터를 먼저 정한 후에 다양한 손짓, 팔, 몸의 모양들의 인공지능 인식을 통하여 이미 정해진 데이터와 연결시킨 후에, 그 데이터 값을 다른 시스템 즉, 수상스포츠 장치의 작동(컨트롤)에 변수로 사용하게 되며, 이를 BUI(Body Motions User interface)로 정의한다.
도 9를 참조하여 설명하면, 촬영된 사진 속에서 인공지능의 컴퓨터 비전 기술을 이용하여 얼굴, 몸, 손을 찾아내게 되며, 얼굴과 몸을 축으로 촬영된 사진을 좌표화하게 된다.(예를 들어, f(a,b))
이후, 손의 위치를 설정된 좌표값에 의해서 f(a,b)를 결정하게 된다.
이후, 손의 위치의 변화를 감지하고, 새로운 손의 위치값을 찾게 된다.(예를 들어, f(a1) -> f(a2))
한편, 도 10에 도시한 바와 같이, x축의 값을 방향타 모터에, y축의 값을 추진력 모터에 연결후, f(a1) = f(-2 , -3) -> f(a2) = f(-2 , 3)의 경우에,
여기에서 y축의 값이 (-3) -> (3)으로 변화된 것을 알게 된다.
이 변화값을 추진력 모터에 전달함으로써, 앞으로 △(6) 만큼의 속도를 올리게 된다.
그리고, 손의 위치 변화가 f(b1)에서 f(b2)일 경우에는, 예를 들어, f(b1) = (1 , -2) -> f(b2) = (4 , 2)로 변할 경우에 x축 값의 변화 △(3) 만큼 방향타 모터를 전진 추진하게 된다.
이와 같이, 손의 위치가 다양한 위치로 변하는 것을 감지한 후에 x값, y값의 변화값을 추진력 모터, 방향타 모터에 연결하여 수상스포츠 장치의 방향과 속도를 조절하게 되는 것이다.
본 발명의 구성 및 동작을 통해, 인공지능 딥러닝 기술을 이용하여 바디모션 인터페이스를 통해 수상스포츠 장치의 방향타 혹은 모터를 실시간으로 제어할 수 있도록 함으로써, 별도의 조작 버튼을 눌러야 하는 불편함을 제거하여 수상스포츠를 즐기는 사용자의 움직임만으로 수상스포츠 장치를 제어할 수 있는 편리성을 제공하게 된다.
이상에서와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
150 : 촬상부
1000 : 수상스포츠 장치제어수단
2000 : 방향타
3000 : 모터

Claims (2)

  1. 인공지능을 이용한 수상스포츠 장치 제어방법에 있어서,
    사용자의 모습을 촬상하는 촬상부(150)와,
    상기 촬상부(150)로부터 획득한 영상 화면으로부터 얼굴 영역을 추출하는 얼굴영역추출부(110)와,
    상기 추출된 얼굴 영역을 참조하여 정당한 사용자인지를 판별하여 수상스포츠 장치의 가동가능 여부를 판별하는 얼굴영역인식부(120)를 포함하는 수상스포츠 장치제어수단(1000)을 구비하여,
    수상스포츠 장치제어수단(1000)의 촬상부(150)로부터 사용자의 자세에 따른 영상을 획득하는 제스처획득단계(S100);와
    수상스포츠장치제어수단(1000)에 의해 카메라 이미지 프로세싱에 의한 윤곽선을 추출하는 윤곽선추출단계(S200);와
    수상스포츠장치제어수단(1000)에 의해 인공지능 알고리즘을 이용하여 얼굴, 몸, 손을 인지하기 위한 인체각부인지단계(S300);와
    수상스포츠장치제어수단(1000)에 의해 상기 인지된 인체 각 부의 위치값을 획득하는 좌표값획득단계(S400);와
    수상스포츠장치제어수단(1000)에 의해 상기 좌표값을 규칙화된 데이터베이스와 대조하여 가장 유사한 가중치를 가진 값을 추출하는 추출단계(S500);와
    수상스포츠장치제어수단(1000)에 의해 상기 추출된 값을 이용하여 명령어를 도출하기 위한 명령어도출단계(S600);와
    수상스포츠장치제어수단(1000)에 의해 상기 명령어에 의한 방향타 혹은 모터를 제어하는 수상스포츠장치제어단계(S700);를 포함하는 것을 특징으로 하는 인공지능을 이용한 수상스포츠 장치 제어방법.

  2. 삭제
KR1020200012580A 2020-02-03 2020-02-03 인공지능을 이용한 수상스포츠 장치 제어방법 KR102099123B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200012580A KR102099123B1 (ko) 2020-02-03 2020-02-03 인공지능을 이용한 수상스포츠 장치 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200012580A KR102099123B1 (ko) 2020-02-03 2020-02-03 인공지능을 이용한 수상스포츠 장치 제어방법

Publications (1)

Publication Number Publication Date
KR102099123B1 true KR102099123B1 (ko) 2020-04-09

Family

ID=70275963

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200012580A KR102099123B1 (ko) 2020-02-03 2020-02-03 인공지능을 이용한 수상스포츠 장치 제어방법

Country Status (1)

Country Link
KR (1) KR102099123B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040072286A (ko) * 2003-02-10 2004-08-18 한국과학기술원 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법
KR20060093963A (ko) * 2005-02-23 2006-08-28 엘지전자 주식회사 이동로봇의 경로지정방법
KR20080095441A (ko) * 2007-04-24 2008-10-29 삼성전자주식회사 얼굴인식 방법과 장치
KR20140080106A (ko) 2012-12-20 2014-06-30 임선우 요트의 퍼지추론형 자동항해방법
KR101896239B1 (ko) * 2017-09-20 2018-09-07 (주)텔트론 모션인식을 이용한 드론 제어 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040072286A (ko) * 2003-02-10 2004-08-18 한국과학기술원 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법
KR20060093963A (ko) * 2005-02-23 2006-08-28 엘지전자 주식회사 이동로봇의 경로지정방법
KR20080095441A (ko) * 2007-04-24 2008-10-29 삼성전자주식회사 얼굴인식 방법과 장치
KR20140080106A (ko) 2012-12-20 2014-06-30 임선우 요트의 퍼지추론형 자동항해방법
KR101896239B1 (ko) * 2017-09-20 2018-09-07 (주)텔트론 모션인식을 이용한 드론 제어 시스템

Similar Documents

Publication Publication Date Title
Gorodnichy et al. Nouse ‘use your nose as a mouse’perceptual vision technology for hands-free games and interfaces
CN107545302B (zh) 一种人眼左右眼图像联合的视线方向计算方法
Fritsch et al. Improving adaptive skin color segmentation by incorporating results from face detection
Hunke Locating and tracking of human faces with neural networks
Zhao et al. Real-time head orientation estimation using neural networks
Nguyen et al. Static hand gesture recognition using artificial neural network
JP7278307B2 (ja) コンピュータプログラム、サーバ装置、端末装置及び表示方法
CN114120432A (zh) 基于视线估计的在线学习注意力跟踪方法及其应用
KR20120120858A (ko) 영상통화 서비스 및 그 제공방법, 이를 위한 영상통화서비스 제공서버 및 제공단말기
US20190302880A1 (en) Device for influencing virtual objects of augmented reality
CN112528902B (zh) 一种基于3d人脸模型的视频监控动态人脸识别方法及装置
KR20190119212A (ko) 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
Malleson et al. Rapid one-shot acquisition of dynamic VR avatars
CN115482574A (zh) 基于深度学习的屏幕注视点估计方法、装置、介质及设备
CN111860451A (zh) 一种基于人脸表情识别的游戏交互方法
Martin et al. Estimation of pointing poses for visually instructing mobile robots under real world conditions
CN113946223A (zh) 一种采用显示屏的旅游互动方法
KR102236965B1 (ko) 드론을 이용한 원격 여행 지원장치
Ko et al. Facial feature tracking and head orientation-based gaze tracking
Betke et al. Gaze detection via self-organizing gray-scale units
KR102099123B1 (ko) 인공지능을 이용한 수상스포츠 장치 제어방법
Ko et al. Facial feature tracking for eye-head controlled human computer interface
KR102039164B1 (ko) 다중 구조 인공신경망을 이용한 가상 피팅을 수행하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
JP2000331190A (ja) 仮想変身装置
Manresa-Yee et al. Towards hands-free interfaces based on real-time robust facial gesture recognition

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant