KR102630799B1 - 인공지능을 이용한 음성 인식 기반 태권도 동작 평가방법 및 장치 - Google Patents

인공지능을 이용한 음성 인식 기반 태권도 동작 평가방법 및 장치 Download PDF

Info

Publication number
KR102630799B1
KR102630799B1 KR1020230097457A KR20230097457A KR102630799B1 KR 102630799 B1 KR102630799 B1 KR 102630799B1 KR 1020230097457 A KR1020230097457 A KR 1020230097457A KR 20230097457 A KR20230097457 A KR 20230097457A KR 102630799 B1 KR102630799 B1 KR 102630799B1
Authority
KR
South Korea
Prior art keywords
information
evaluation
word
voice
video
Prior art date
Application number
KR1020230097457A
Other languages
English (en)
Inventor
최중구
Original Assignee
주식회사 에이아이태권도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이아이태권도 filed Critical 주식회사 에이아이태권도
Priority to KR1020230097457A priority Critical patent/KR102630799B1/ko
Application granted granted Critical
Publication of KR102630799B1 publication Critical patent/KR102630799B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G10L21/055—Time compression or expansion for synchronising with other signals, e.g. video signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Abstract

본 발명의 일 실시예는 적어도 하나의 서버에 의해 수행되는 음성 인식 기반 태권도 동작 평가 방법에 관한 것으로, 평가자 단말에게 평가 대상자의 연속된 동작들을 포함하는 영상 정보를 제공하는 단계, 상기 영상 정보에 따른 영상이 재생되는 동안 상기 평가자 단말로부터 음성 평가 정보를 획득하는 단계, 상기 영상 정보에 포함된 복수의 프레임들 중 상기 음성 평가 정보가 획득된 시점에 대응되는 프레임을 도출하는 단계 및 상기 도출한 프레임을 기준으로 상기 음성 평가 정보 및 상기 영상 정보를 합성하여 영상 평가 정보를 생성하는 단계를 포함할 수 있다.

Description

인공지능을 이용한 음성 인식 기반 태권도 동작 평가 방법 및 장치{METHOD AND APPARATUS FOR EVALUATING TAEKWONDO MOVEMENT BASED ON VOICE RECOGNITION USING ARTIFICIAL INTELLIGENCE}
본 발명은 인공지능을 이용한 음성 인식 기반 태권도 동작 평가 방법 및 장치에 관한 것으로, 더욱 상세하게는 평가 대상자가 태권도 동작을 수행하는 동안 평가자가 음성으로 실시간 평가하는 방법 및 장치에 관한 것이다.
태권도는 무기 없이 손과 발을 이용해 공격 또는 방어하는 무도로, 빠르고 강력한 발차기 기술을 특징으로 하는 현대에 형성된 전통무예 무술이다. 1988년 하계 올림픽에서 시범 종목으로 채택되었고, 2000년 하계 올림픽부터 정식 종목으로 채택되었다.
태권도는 크게 품새(형), 겨루기(대련) 및 격파(단련)로 구분될 수 있으며, 태권도 품새란 공격과 방어의 기술을 규정된 형식에 맞추어 지도자 없이 수련할 수 있도록 이어놓은 동작을 말한다. 수련인은 품새를 통해 겨루기 기술 향상과 동작 응용 능력 그리고 기본 동작에서 익힐 수 없는 특수기술을 연마할 수 있다.
일반적으로 품새는 발의 위치와 그 이동 방향을 선으로 표시한 품새선에 따라 수련하며, 태극, 고려, 금강, 태백, 평원, 십진, 지태, 천권, 한수, 일여의 10가지 종류가 있다. 종래의 품새 평가 방식은 심사자들이 각자 자신의 자리에 앉아 평가 대상자의 연속된 동작을 확인하고 직접 점수를 기재하였으나, 심사가 종료된 후에도 평가 대상자의 연속된 동작이 어디가 어떻게 이루어졌고, 어떤 동작이 적절하게 혹은 미흡하게 이루어졌는지 상세히 판단할 수 없는 문제가 존재하였다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 인공지능을 이용한 음성 인식 기반 태권도 동작 평가 방법을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 인공지능을 이용한 음성 인식 기반 태권도 동작 평가 장치를 제공하는데 있다.
본 출원이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 적어도 하나의 서버에 의해 수행되는 인공지능을 이용한 음성 인식 기반 태권도 동작 평가 방법은 평가자 단말에게 평가 대상자의 연속된 동작들을 포함하는 영상 정보를 제공하는 단계, 상기 영상 정보에 따른 영상이 재생되는 동안 상기 평가자 단말로부터 음성 평가 정보를 획득하는 단계, 상기 영상 정보에 포함된 복수의 프레임들 중 상기 음성 평가 정보가 획득된 시점에 대응되는 프레임을 도출하는 단계 및 상기 도출한 프레임을 기준으로 상기 음성 평가 정보 및 상기 영상 정보를 합성하여 영상 평가 정보를 생성하는 단계를 포함할 수 있다.
여기서, 상기 음성 평가 정보는 제1 단어 및 제2 단어를 포함하는 미리 설정된 복수의 단어들 중 하나의 단어로 인식되는 음성 정보를 포함하고, 상기 제1 단어 및 상기 제2 단어는 서로 다른 평가 점수를 나타낼 수 있다.
여기서, 상기 영상 평가 정보를 기반으로 상기 평가 대상자의 평가 결과 정보를 생성하는 단계를 더 포함하고, 상기 평가 결과 정보는 상기 연속된 동작들 중 상기 프레임에 대응되는 동작에 대하여 상기 인식된 하나의 단어에 따른 평가 점수가 적용된 결과 정보를 포함할 수 있다.
여기서, 상기 평가 결과 정보를 상기 평가자 단말에게 제공하는 단계, 상기 평가자 단말로부터 상기 평가 결과 정보에 관한 수정 정보를 획득하는 단계 및 상기 수정 정보 및 상기 평가 결과 정보를 기반으로 최종 결과 정보를 생성하는 단계를 더 포함하고, 상기 수정 정보는 상기 인식된 하나의 단어에 따른 평가 점수가 적용된 동작을 상기 연속된 동작들 중 다른 동작으로 변경하는 정보를 포함할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 인공지능을 이용한 음성 인식 기반 태권도 동작 평가 방법을 수행하는 전자 장치는 프로세서(processor) 및 상기 프로세서에 의해 수행되는 적어도 하나의 명령을 저장하는 메모리(memory)를 포함하고, 상기 적어도 하나의 명령은 평가자 단말에게 평가 대상자의 연속된 동작들을 포함하는 영상 정보를 제공하도록 실행되고, 상기 영상 정보에 따른 영상이 재생되는 동안 상기 평가자 단말로부터 음성 평가 정보를 획득하도록 실행되고, 상기 영상 정보에 포함된 복수의 프레임들 중 상기 음성 평가 정보가 획득된 시점에 대응되는 프레임을 도출하도록 실행되고, 상기 도출한 프레임을 기준으로 상기 음성 평가 정보 및 상기 영상 정보를 합성하여 영상 평가 정보를 생성하도록 실행될 수 있다.
과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따르면, 평가 대상자가 연속된 동작을 수행하는 동안 평가자가 실시간으로 틀린 부분을 음성으로 평가함으로써, 어떠한 동작에서 감점이 된 것인지 상세한 평가 정보가 생성될 수 있다.
본 발명에 따르면, 평가 대상자의 연속된 동작에 맞추어 감점 정보가 동일한 시간선에 포함되어 어떠한 동작에서 어떠한 감점이 되었는지가 상세히 기록된 영상 정보를 제공할 수 있다.
다양한 실시예들에 따르면, 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 인공지능을 이용한 음성 인식 기반 태권도 동작 평가 방법을 수행하는 전자 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능을 이용한 음성 인식 기반 태권도 동작 평가 방법이 수행되는 단말들을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 인공지능을 이용한 음성 인식 기반 태권도 동작 평가 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 영상 정보에 음성 평가 정보가 합성되는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 평가 정보를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 최종 결과 정보를 생성하는 방법의 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 인공지능을 이용한 음성 인식 기반 태권도 동작 평가 방법을 수행하는 전자 장치의 블록 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 인공지능을 이용한 음성 인식 기반 태권도 동작 평가 방법을 수행하는 전자 장치(100)는 적어도 하나의 프로세서(110), 메모리(120) 및 송수신 장치(130)를 포함하여 구성될 수 있다. 또한, 전자 장치(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150) 및 저장 장치(160) 중 적어도 하나를 더 포함하여 구성될 수도 있다.
예를 들어, 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중 하나일 수 있고, 저장 장치(160)는, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 또는 각종 메모리 카드(예를 들어, micro SD 카드) 등일 수 있다.
또한, 송수신 장치(transceiver)(130)는 무선 네트워크를 통해 통신을 수행할 수 있으며, 전자 장치(100)에 포함된 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다.
예를 들어, 메모리(120)는 프로세서(110)에 의해 수행되는 적어도 하나의 명령(instruction)을 저장할 수 있으며, 적어도 하나의 명령은 후술하는 인공지능을 이용한 음성 인식 기반 태권도 동작 평가 방법의 적어도 일부 동작이 수행되도록 실행될 수 있다.
도 2는 본 발명의 일 실시예에 따른 인공지능을 이용한 음성 인식 기반 태권도 동작 평가 방법이 수행되는 단말들을 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 인공지능을 이용한 음성 인식 기반 태권도 동작 평가 방법을 수행하는 전자 장치(이하, 전자 장치, 100)는 평가자 단말(200)로부터 평가 대상자의 연속된 동작에 대한 음성 평가 정보를 획득할 수 있고, 획득한 음성 평가 정보 및 평가 대상자의 연속된 동작에 대한 영상 정보를 기반으로 평가 대상자의 영상 평가 정보를 생성할 수 있고, 영상 평가 정보를 평가 대상자 단말(300)에게 제공할 수 있다.
또는, 전자 장치(100)는 평가자 단말(200)에게 평가 대상자의 연속된 동작에 대한 영상 정보를 제공할 수 있고, 평가자 단말(200)은 평가자로부터 음성 평가 정보를 획득할 수 있고, 평가자 단말(200)이 영상 정보 및 음성 평가 정보를 기반으로 영상 평가 정보를 생성할 수 있고, 영상 평가 정보를 전자 장치(100)로 전달할 수도 있다.
또는, 전자 장치(100)는 생성한 영상 평가 정보를 평가자 단말(200)에게 제공할 수 있고, 평가자 단말(200)로부터 수정 정보를 획득할 수 있고, 수정 정보 및 영상 평가 정보를 기반으로 최종 결과 정보를 생성할 수도 있다. 또는, 전자 장치(100)는 최종 결과 정보 및 영상 평가 정보 중 적어도 하나를 평가자 단말(200) 및 평가 대상자 단말(300) 중 적어도 하나에게 제공할 수도 있다.
여기서, 전자 장치(100)는 적어도 하나의 서버를 나타낼 수 있다. 또는, 전자 장치(100)는 태권도 동작 평가 서버라고 나타낼 수도 있다. 전자 장치(100)는 평가자 단말(200) 및/또는 평가 대상자 단말(300)과 유선 또는 무선 통신을 통해 정보를 송수신할 수 있다.
예를 들어, 평가자 단말(200) 및/또는 평가 대상자 단말(300)은 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), 디지털 카메라(digital camera), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있으나, 이에 한정되지 않으며, 컴퓨팅 가능한 전자기기를 모두 포함할 수 있다.
예를 들어, 무선 통신은 LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), GSM(Global System for Mobile Communications), WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 등 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 유선 통신은 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다.
예를 들어, 네트워크는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 인공지능을 이용한 음성 인식 기반 태권도 동작 평가 방법의 순서도이다.
도 3을 참조하면, S310 동작에서 서버는 평가 단말에게 평가 대상자의 연속된 동작들을 포함하는 영상 정보를 제공할 수 있다. 예를 들어, 연속된 동작들은 특정 태권도 품새를 나타내는 동작들일 수 있으며, 여러 단위 동작으로 구분될 수 있다. 단위 동작은 다리/손의 모양, 다리/손이 향하는 방향, 다리/손이 행해지는 빠르기 정도 등의 변화에 따라 서로 다른 단위 동작으로 구별될 수 있다. 다시 말해, 태권도 품새는 연속적인 단위 동작으로 구성될 수 있다. 예를 들어, 연속된 동작을 포함하는 영상 정보는 태권도 품새를 수행하는 평가 대상자의 동작이 기록된 영상에 관한 정보를 나타낼 수 있다.
S320 동작에서 서버는 영상 정보에 따른 영상이 재생되는 동안 평가자 단말로부터 음성 평가 정보를 획득할 수 있다.
예를 들어, 평가자는 평가 대상자가 수행하는 태권도 품새에 대하여 평가를 수행할 수 있으며, 미리 설정된 동작 평가 기준을 기반으로 수행할 수 있다. 예를 들어, 미리 설정된 동작 평가 기준은 평가 대상자의 연속된 동작들 중 각 동작에 대한 평가 기준에 관한 정보를 포함할 수 있다. 예를 들어, 각 동작에 대한 평가 기준에 관한 정보는 각 동작에 대한 틀린 다리/손의 모양, 틀린 다리/손이 향하는 방향 및 틀린 다리/손이 행해지는 빠르기 중 적어도 하나에 대응되는 평가 점수를 포함할 수 있다. 예를 들어, 동작 평가 기준은 평가자 단말을 통해 평가자에게 제공될 수 있으나, 평가자가 숙지한 상태일 경우, 별도로 제공되지 않을 수도 있다.
예를 들어, 음성 평가 정보는 제1 단어 및 제2 단어를 포함하는 미리 설정된 복수의 단어들 중 하나의 단어로 인식되는 음성 정보를 포함할 수 있다. 다시 말해, 평가자가 특정 단어를 나타내는 음성을 소리내었을 때 평가자 단말은 음성을 획득하여 미리 설정된 복수의 단어들 중 음성에 대응되는 단어가 존재하는지 판단할 수 있다. 또는, 평가자 단말은 음성을 획득하여 서버로 전달할 수 있으며, 서버가 미리 설정된 복수의 단어들 중 음성에 대응되는 단어가 존재하는지 판단할 수 있다. 일 실시예에서 이용되는 음성 인식 방법은 다양한 방법들이 공지되어 통상의 기술자에게 자명한 사항인 바, 이에 관한 상세한 설명은 생략하겠다.
예를 들어, 제1 단어 및 제2 단어를 포함하는 복수의 단어들은 각각 서로 다른 평가 점수를 나타낼 수 있다. 여기서, 평가 점수는 감점되는 점수를 나타낼 수 있으나, 이에 한정되는 것은 아니다.
다시 말해, 평가자는 특정 단어를 소리낼 경우, 소리낸 단어 대응되는 점수(ex. 3)가 감점될 수 있으며, 다른 특정 단어를 소리낼 경우, 다른 특정 단어에 대응되는 다른 점수(ex. 5)가 감점될 수 있다. 상술한 설명에서는 2가지의 단어를 기준으로 2가지 감점 점수를 설명하였으나, 1개의 단어를 기준으로 1가지 감점 점수만으로 구현될 수도 있으며, 3개 이상의 단어를 기준으로 3가지 이상 감점 점수로 구현될 수도 있다.
S330 동작에서 서버는 영상 정보에 포함된 복수의 프레임들 중 음성 평가 정보가 획득된 시점에 대응되는 프레임을 도출할 수 있다. 예를 들어, 영상 정보는 복수의 정지 영상으로 구성될 수 있으며, 각 정지 영상을 각 프레임이라 나타낼 수 있다. 예를 들어, 서버는 영상이 재생되는 동안 평가자가 특정 단어를 소리낸 시점에 대응되는 프레임 또는 시간대 정보를 도출할 수 있다.
S340 동작에서 서버는 도출한 프레임을 기준으로 음성 평가 정보 및 영상 정보를 합성하여 영상 평가 정보를 생성할 수 있다. 이에 대해서는 도 4 및 도 5와 함께 상세히 후술하겠다.
도 4는 본 발명의 일 실시예에 따른 영상 정보에 음성 평가 정보가 합성되는 과정을 설명하기 위한 도면이고, 도 5는 본 발명의 일 실시예에 따른 영상 평가 정보를 설명하기 위한 도면이다.
도 4 및 도 5를 참조하면, 서버는 도출한 프레임을 기준으로 평가자의 음성을 영상 정보에 삽입할 수 있다. 예를 들어, 평가자의 음성은 음성 평가 정보가 획득된 시점에 삽입될 수 있고, 음성 평가 정보가 획득된 시점으로부터 일정 시간 이전의 시점에 삽입될 수도 있고, 획득한 시점에 대응되는 프레임에서 나타난 단위 동작의 시작 시점에 삽입될 수도 있다. 이는 추후 음성 평가 정보가 합성된 영상 평가 정보를 재생할 때에 음성에 따라 감점되는 사항과 영상에 따라 재생되는 동작을 효과적으로 동시에 확인하기 위한 것으로, 일 예에 따르면 사람의 영상에 대한 판단 및 음성 반응 속도를 고려하여 시점을 일정 시간 정도 당겨서 합성할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 최종 결과 정보를 생성하는 방법의 순서도이다.
도 6을 참조하면, 일 실시예는 상술한 바와 같이 생성한 영상 평가 정보를 기반으로 평가 대상자 또는 평가자에게 제공할 수 있는 최종 결과 정보를 생성할 수 있고, 평가 결과는 최종 결과 정보를 기초로 결정될 수 있다. 다만, 일 실시예는 후술하는 동작들 중 적어도 일부만이 수행될 수 있으므로, 평가 결과 정보를 기초로 평가 결과가 결정될 수도 있다.
S610 동작에서 서버는 영상 평가 정보를 기반으로 평가 대상자의 평가 결과 정보를 생성할 수 있다. 예를 들어, 평가 결과 정보는 영상 평가 정보를 포함할 수 있으며, 연속된 동작들 중 도출한 프레임에 대응되는 동작에 대하여 평가자의 음성으로부터 인식된 하나의 단어에 따른 평가 점수가 적용된 결과 정보를 포함할 수 있다. 즉, 평가 결과 정보는 영상에 포함된 각 동작에 대하여 평가자가 음성으로 평가하여 감점한 점수들이 반영된 결과 정보를 포함할 수 있으며, 어떠한 동작에서 어떠한 음성 또는 단어를 통해 어떠한 감점이 수행되었는지 또는 어떠한 음성 또는 단어를 통해 감점된 횟수 및 최종 점수가 몇 점인지를 포함할 수 있다. 예를 들어, 최종 점수는 미리 설정된 최고 점수로부터 평가자의 음성을 통해 감점된 점수를 나타낼 수 있으며, 최고 점수는 100점일 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 평가자의 음성이 조금 늦게 획득되어 평가자가 감점을 의도한 동작과 음성이 합성된 즉 감점된 동작이 잘못 매칭될 수도 있다. 이러한 경우를 대비하기 위해 일 실시예는 음성 평가 정보가 합성된 영상 평가 정보를 평가자에게 제공하여, 평가자가 검토하여 이를 정정할 수 있는 방안을 제공할 수 있다. 이 방안을 제공하기 위해 일 실시예는 다음의 동작들을 더 포함할 수도 있다.
S620 동작에서 서버는 평가 결과 정보를 평가자 단말에게 제공할 수 있다. 예를 들어, 서버는 평가 결과 정보 및/또는 영상 평가 정보를 평가자 단말에게 제공할 수도 있다. 이를 통해 평가자는 결과 정보 또는 자신의 음성을 통해 감점 사항이 합성된 영상 정보를 검토하여 의도한 바에 따라 평가가 수행되었는지 확인할 수 있다.
S630 동작에서 서버는 평가자 단말로부터 평가 결과 정보에 관한 수정 정보를 획득할 수 있다. 다시 말해, 평가자는 일부 평가가 의도한 바에 따라 평가되지 않은 경우, 수정 정보를 제공함으로써 평가 결과를 수정할 수 있다.
예를 들어, 평가자의 음성 획득이 조금 늦어져 의도한 동작이 아닌 다른 동작에 음성이 매칭되어 감점이 된 경우, 수정 정보는 음성을 통해 인식된 하나의 단어에 따른 평가 점수가 적용된 동작을 연속된 동작들 중 다른 동작으로 변경하는 정보를 포함할 수 있다. 여기서, 변경되는 다른 동작은 평가자 단말을 통해 획득될 수 있다.
S640 동작에서 서버는 수정 정보 및 평가 결과 정보를 기반으로 최종 결과 정보를 생성할 수 있다. 예를 들어, 서버는 평가 결과 정보에 포함된 영상 평가 정보에서 수정 정보에 따른 잘못 합성된 동작에 관한 음성 정보를 삭제할 수 있고, 평가자 단말을 통해 획득된 변경되는 다른 동작을 기준으로 삭제한 음성 정보를 다시 합성 또는 삽입할 수 있으며, 이를 통해 평가자의 검토를 마친 최종 결과 정보를 생성할 수 있다. 이후, 서버는 최종 결과 정보를 평가자 단말 또는 평가 대상자 단말에게 제공할 수 있다.
더불어, 최종 결과 정보는 상술한 평가 결과 정보와 마찬가지로 변경된 사항이 적용된 상태의 최종 점수에 관한 정보를 포함할 수 있으며, 미리 설정된 임계 점수와 비교하여 합격 또는 불합격을 나타내는 정보를 포함할 수 있고, 복수의 점수 구간들을 통해 점수 구간들에 대응되는 숙련 등급을 나타내는 정보를 포함할 수도 있다.
본 명세서의 실시예에 따른 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
실시예가 소프트웨어로 구현될 때, 상술한 기법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (5)

  1. 적어도 하나의 서버에 의해 수행되는 음성 인식 기반 태권도 동작 평가 방법에 있어서,
    평가자 단말에게 평가 대상자의 연속된 동작들을 포함하는 영상 정보를 제공하는 단계;
    상기 영상 정보에 따른 영상이 재생되는 동안 상기 평가자 단말로부터 음성 평가 정보를 획득하는 단계;
    상기 영상 정보에 포함된 복수의 프레임들 중 상기 음성 평가 정보가 획득된 시점에 대응되는 프레임을 도출하는 단계; 및
    상기 도출한 프레임을 기준으로 상기 음성 평가 정보 및 상기 영상 정보를 합성하여 영상 평가 정보를 생성하는 단계를 포함하고,
    상기 음성 평가 정보는 제1 단어 및 제2 단어를 포함하는 미리 설정된 복수의 단어들 중 하나의 단어로 인식되는 음성 정보를 포함하고,
    상기 제1 단어 및 상기 제2 단어는 서로 다른 평가 점수를 나타내고,
    상기 영상 평가 정보를 기반으로 상기 평가 대상자의 평가 결과 정보를 생성하는 단계를 더 포함하고,
    상기 평가 결과 정보는 상기 연속된 동작들 중 상기 프레임에 대응되는 동작에 대하여 상기 인식된 하나의 단어에 따른 평가 점수가 적용된 결과 정보를 포함하고,
    상기 평가 결과 정보를 상기 평가자 단말에게 제공하는 단계;
    상기 평가자 단말로부터 상기 평가 결과 정보에 관한 수정 정보를 획득하는 단계; 및
    상기 수정 정보 및 상기 평가 결과 정보를 기반으로 최종 결과 정보를 생성하는 단계를 더 포함하고,
    상기 수정 정보는 상기 인식된 하나의 단어에 따른 평가 점수가 적용된 동작을 상기 연속된 동작들 중 다른 동작으로 변경하는 정보를 포함하는,
    음성 인식 기반 태권도 동작 평가 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 음성 인식 기반 태권도 동작 평가 방법을 수행하는 전자 장치에 있어서,
    프로세서(processor); 및
    상기 프로세서에 의해 수행되는 적어도 하나의 명령을 저장하는 메모리(memory)를 포함하고,
    상기 적어도 하나의 명령은,
    평가자 단말에게 평가 대상자의 연속된 동작들을 포함하는 영상 정보를 제공하도록 실행되고,
    상기 영상 정보에 따른 영상이 재생되는 동안 상기 평가자 단말로부터 음성 평가 정보를 획득하도록 실행되고,
    상기 영상 정보에 포함된 복수의 프레임들 중 상기 음성 평가 정보가 획득된 시점에 대응되는 프레임을 도출하도록 실행되고,
    상기 도출한 프레임을 기준으로 상기 음성 평가 정보 및 상기 영상 정보를 합성하여 영상 평가 정보를 생성하도록 실행되고,
    상기 음성 평가 정보는 제1 단어 및 제2 단어를 포함하는 미리 설정된 복수의 단어들 중 하나의 단어로 인식되는 음성 정보를 포함하고,
    상기 제1 단어 및 상기 제2 단어는 서로 다른 평가 점수를 나타내고,
    상기 영상 평가 정보를 기반으로 상기 평가 대상자의 평가 결과 정보를 생성하도록 실행되고,
    상기 평가 결과 정보는 상기 연속된 동작들 중 상기 프레임에 대응되는 동작에 대하여 상기 인식된 하나의 단어에 따른 평가 점수가 적용된 결과 정보를 포함하고,
    상기 평가 결과 정보를 상기 평가자 단말에게 제공하도록 실행되고,
    상기 평가자 단말로부터 상기 평가 결과 정보에 관한 수정 정보를 획득하도록 실행되고,
    상기 수정 정보 및 상기 평가 결과 정보를 기반으로 최종 결과 정보를 생성하도록 실행되고,
    상기 수정 정보는 상기 인식된 하나의 단어에 따른 평가 점수가 적용된 동작을 상기 연속된 동작들 중 다른 동작으로 변경하는 정보를 포함하는,
    전자 장치.
KR1020230097457A 2023-07-26 2023-07-26 인공지능을 이용한 음성 인식 기반 태권도 동작 평가방법 및 장치 KR102630799B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230097457A KR102630799B1 (ko) 2023-07-26 2023-07-26 인공지능을 이용한 음성 인식 기반 태권도 동작 평가방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230097457A KR102630799B1 (ko) 2023-07-26 2023-07-26 인공지능을 이용한 음성 인식 기반 태권도 동작 평가방법 및 장치

Publications (1)

Publication Number Publication Date
KR102630799B1 true KR102630799B1 (ko) 2024-01-29

Family

ID=89716841

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230097457A KR102630799B1 (ko) 2023-07-26 2023-07-26 인공지능을 이용한 음성 인식 기반 태권도 동작 평가방법 및 장치

Country Status (1)

Country Link
KR (1) KR102630799B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005297095A (ja) * 2004-04-07 2005-10-27 Sony Corp ロボット装置及びその動作比較方法
JP2006320424A (ja) * 2005-05-17 2006-11-30 Tama Tlo Kk 動作教示装置とその方法
KR102112236B1 (ko) * 2019-09-26 2020-05-18 주식회사 홀로웍스 모션 디텍팅 기반의 가상 품새 에스티메이팅 시스템
KR102304641B1 (ko) * 2020-12-15 2021-09-24 (주)나노아이티 인공지능형 태권도 품새 판독 및 교육 시스템
KR20220028654A (ko) * 2020-08-31 2022-03-08 (주)프로맥스 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005297095A (ja) * 2004-04-07 2005-10-27 Sony Corp ロボット装置及びその動作比較方法
JP2006320424A (ja) * 2005-05-17 2006-11-30 Tama Tlo Kk 動作教示装置とその方法
KR102112236B1 (ko) * 2019-09-26 2020-05-18 주식회사 홀로웍스 모션 디텍팅 기반의 가상 품새 에스티메이팅 시스템
KR20220028654A (ko) * 2020-08-31 2022-03-08 (주)프로맥스 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법
KR102304641B1 (ko) * 2020-12-15 2021-09-24 (주)나노아이티 인공지능형 태권도 품새 판독 및 교육 시스템

Similar Documents

Publication Publication Date Title
CN113038287B (zh) 多人视频直播业务实现方法、装置、计算机设备
CN111263227B (zh) 一种多媒体播放方法、装置、存储介质以及终端
KR101612199B1 (ko) 가상 이미지 상에 자동적으로 표정을 재생하는 방법 및 장치
CN113299312A (zh) 一种图像生成方法、装置、设备以及存储介质
CN113515997B (zh) 一种视频数据处理方法、装置以及可读存储介质
CN112104909A (zh) 互动视频播放方法、装置、计算机设备及可读存储介质
US11361593B2 (en) Methods and devices for face anti-spoofing
KR102630799B1 (ko) 인공지능을 이용한 음성 인식 기반 태권도 동작 평가방법 및 장치
CN108040289A (zh) 一种视频播放的方法及装置
CN115150555B (zh) 视频录制方法、装置、设备及介质
US11918897B2 (en) System and method for individual player and team simulation
WO2022198971A1 (zh) 一种虚拟角色的动作切换方法、装置及存储介质
US20140135121A1 (en) Method and apparatus for providing three-dimensional characters with enhanced reality
KR102548933B1 (ko) 인공지능을 이용한 태권도 겨루기 평가 결과에 따른 맞춤형 커리큘럼 제공 방법 및 장치
JP7330518B2 (ja) ゲームシステム、ゲームシステムの制御方法及びゲームプログラム
KR102196602B1 (ko) 영어 예체능 강사를 위한 인력 관리 방법 및 장치
KR102630828B1 (ko) 인공지능을 이용한 태권도 단체 품새 동작 평가 방법 및 장치
CN109495772B (zh) 一种视频质量的排序方法及系统
KR102196094B1 (ko) 영어 예체능 수업이 가능한 전문 인력 및 수요자를 효율적으로 매칭하는 방법
KR102532848B1 (ko) 바디 쉐입 기반의 아바타 생성 방법 및 장치
KR20220053021A (ko) 비디오 게임 오버레이
CN111026871A (zh) 一种基于知识图谱的听写内容获取方法及电子设备
CN112734942B (zh) Ar内容播放修改方法、装置、计算机设备及存储介质
CN113018853B (zh) 数据处理方法、装置、计算机设备和存储介质
KR20200076259A (ko) 4d 모델 기반 홈 트레이닝 방법 및 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant