KR101499397B1 - 동영상 분석기능을 갖는 모바일 단말기 - Google Patents

Abstract

동영상 분석기능을 갖는 모바일 단말기가 개시된다. 본 발명의 일 실시예에 따른 동영상 분석기능을 갖는 모바일 단말기는 모바일 단말기로 촬영한 동영상에서 필요한 구간을 설정하고, 설정된 구간에서 필요한 이미지 프레임들을 추출하여 자세의 변화를 비교 및 확인할 수 있도록 분석하여 출력하는 것을 특징으로 한다.

Description

동영상 분석기능을 갖는 모바일 단말기{Mobile device having video analyzing function}

본 발명은 동영상 분석기능을 갖는 모바일 단말기에 관한 것이다. 더 구체적으로는 모바일 단말기로 촬영한 동영상에서 필요한 구간을 설정하고, 설정된 구간에서 필요한 이미지 프레임들을 추출하여 자세의 변화를 비교 및 확인할 수 있도록 분석하는 동영상 분석기능을 갖는 모바일 단말기에 관한 것이다.

일반적으로 골프(Golf)는 골프클럽의 스윙 동작을 통하여 바닥에 놓인 골프공을 타격하는 것이 동작의 기본이 되며, 또한 스윙은 정확한 방향성과 힘 조절이 요구되는 동작이다.

따라서 골프 플레이어는 수많은 스윙동작을 끊임없이 반복하여 지속적인 연습을 하게 되며, 이를 통하여 가장 효율적이고 정확하며 아름다운 스윙동작을 익히기 위하여 노력하게 된다.

스윙 자세를 교정하는 방식으로 널리 사용되는 것 중의 하나는 비디오(video) 분석 방법으로서, 전문적인 코치가 골퍼의 스윙 동작을 촬영한 동영상을 분석하여 골퍼의 스윙이나 자세의 문제점을 진단하는 방식이 활용되어 왔다.

그러나 이러한 진단 방식은 고가의 동영상 촬영 장비가 필요하며, 전문적인 코치(couch)가 골퍼의 자세를 교정해 주어야 하는 등 복잡하고 긴 시간이 요구되는 문제점이 있다.

또한 이러한 방식의 문제점을 해결하기 위하여 골퍼 혼자서 스윙 연습을 수행할 수 있는 연습 장치들이 제안되고 있다.

예를 들면, 골프 연습장에 비디오 카메라를 설치하고, 여기서 촬영되는 영상을 컴퓨터에 저장하여 이를 스윙 분석에 활용하는 시스템이 널리 보급되어 있으며, 또한 골프 연습장 등에 센서를 설치하여 이를 통과하는 골프 클럽의 이동궤적 및 이동 속도 등을 컴퓨터로 전송 저장하여 스윙 분석에 활용하는 장치들이 개발되어 있다.

그러나 이러한 분석장치들은 고가의 카메라와 컴퓨터 장치를 필요로 하고, 분석장치의 설치와 동작이 복잡한 문제점이 있다.

한국 특허등록번호 제10-0819564호(발명의 명칭: 골프스윙 동작의 동영상 분석이 가능한 개인휴대단말기 및 개인휴대단말기를 이용한 골프스윙 동작의 동영상 분석방법과 골프레슨 시스템)에서는 개인 휴대단말기에서 골퍼의 스윙 동작이나 자세를 촬영하고, 이를 개인 휴대단말기 상에서 재생하면서 동영상 분석도구들을 이용하여 스윙 동작상의 문제점을 파악하고, 교정할 수 있도록 제안함으로써, 휴대성과 활용도가 개선될 수 있도록 하였다.

그러나 종래기술은 촬영된 동영상을 단순히 반복 재생할 수 있도록 구성되었으며, 사용자 또는 전문가가 화면상에 임의의 분석도구를 이용하여 임의의 표지들을 입력하면, 동영상을 재생하는 동안 상기 표지들이 동영상 위에 오버랩되어 표시될 뿐, 스윙이나 자세의 변화에 따른 정확한 교정 정보를 제공하지 못하는 문제점이 있다.

대한민국특허청, 특허등록번호 제10-0819564호(발명의 명칭: 골프스윙 동작의 동영상 분석이 가능한 개인휴대단말기 및 개인휴대단말기를 이용한 골프스윙 동작의 동영상 분석방법과 골프레슨 시스템)

본 발명은 모바일 단말기로 촬영한 동영상에서 필요한 구간을 설정하고, 설정된 구간에서 필요한 이미지 프레임들을 추출하여 자세의 변화를 비교 및 확인할 수 있도록 분석하는 동영상 분석기능을 갖는 모바일 단말기를 제공하는 것을 목적으로 한다.

본 발명은 동영상을 촬영하는 동영상 촬영부; 상기 촬영된 동영상에서 사용자가 입력하는 분석 시작점, 중요 분석점, 분석 종료점을 검출하는 사용자 인터페이스부; 상기 촬영된 동영상에서 분석 시작점, 중요 분석점, 분석 종료점 사이의 다수의 프레임(Frame)을 선택하여 화면에 표시하는 화면 표시부; 상기 촬영된 동영상에서 분석 시작점, 중요 분석점, 분석 종료점 사이에 일정 시간간격으로 다수의 프레임을 추출하고, 상기 추출된 프레임에서 특정 동작의 이미지를 포함한 프레임들을 검색하여 이미지의 일부 영역이 일치하도록 보정하며, 상기 보정된 이미지들을 크롭(Crop)하여 생성한 출력 프레임들을 순차적으로 오버랩시켜 출력하는 프레임 생성부; 및 상기 프레임 생성부에서 출력되는 프레임들을 저장하는 프레임 로드부를 포함한다.

또한, 본 발명에 따른 상기 프레임 생성부는 상기 출력 프레임을 일정 시간간격으로 오버랩시켜 출력하거나, 또는 특정 동작의 이미지를 포함한 출력 프레임들을 일정 시간동안 추출하고, 상기 추출된 출력 프레임들을 미리 설정된 기준 시간값을 갖는 기준 프레임과 오버랩시켜 출력한다.

또한, 본 발명에 따른 상기 프레임 생성부는 사용자가 입력한 분석 시작점, 중요 분석점, 분석 종료점을 동영상에 설정하는 구간 설정부; 상기 설정된 분석 시작점에서 분석 종료점까지 일정 시간간격으로 동영상의 프레임들을 추출하는 프레임 추출부; 상기 추출된 프레임의 이미지에서 임의의 물체가 이동하는 변위 또는 상기 물체가 특정 대상물과 이루는 각도 중 적어도 하나를 분석하여 결과에 따라 특정동작의 시점을 포함한 프레임으로 판정하는 시점 판별부; 상기 특정동작으로 판정된 프레임들의 이미지 일부가 일치되도록 보정하고, 상기 보정된 이미지들의 사이즈를 일정 크기가 되도록 크롭하는 프레임 보정부; 및 상기 이미지가 보정된 프레임을 추출하여 임의의 기준동작을 투영하고, 상기 특정동작들을 순차적으로 오버랩시켜 투영하는 프레임 투영부를 포함한다.

또한, 본 발명에 따른 상기 구간 설정부는 사용자가 입력하는 분석용 마크(Mark)가 동영상의 임의의 위치에 설정되도록 하는 분석도구 입력부를 더 포함하고, 상기 프레임 추출부는 상기 분석용 마크를 포함하여 프레임을 추출한다.

또한, 본 발명에 따른 상기 시점 판별부는 상기 특정동작의 시점 프레임 또는 사용자가 설정한 중요 분석점의 프레임이 일정 간격의 시간상에 위치하지 않으면, 상기 특정동작의 시점 프레임 또는 중요 분석점의 프레임이 가장 가까운 일정 간격의 시간상의 프레임을 대체하여 판정한다.

또한, 본 발명에 따른 상기 시점 판별부는 상기 동영상에서 임의의 물체가 이동하는 변위 또는 상기 물체가 특정 대상물과 이루는 각도 중 적어도 하나를 분석하여 결과에 따라 특정동작의 시점을 포함한 프레임을 추출한다.

또한, 본 발명에 따른 상기 프레임 보정부는 프레임의 이미지들을 일정 영역으로 구분하고, 상기 구분된 영역의 일부를 비교하여 상기 이미지들이 일치하도록 픽셀의 이동값을 결정한다.

또한, 본 발명에 따른 상기 프레임 보정부는 결정된 픽셀의 이동값에 따라 특정 프레임을 중심으로 픽셀을 상/하/좌/우 이동시켜 이미지가 일치되도록 보정한다.

또한, 본 발명에 따른 상기 프레임 보정부는 프레임의 이동으로 이미지상에 아무것도 없는 영역이 발생하면, 상기 발생된 영역이 모두 없어지는 최대 구간을 산출하여 이미지들을 일괄 크롭한다.

또한, 본 발명에 따른 상기 프레임 투영부는 기준동작과 특정동작이 동일한 위치에서 겹쳐져서 투영되도록 한다.

또한, 본 발명에 따른 상기 프레임 투영부는 기준동작과 특정동작이 일정값 만큼 이격된 위치에서 투영되도록 한다.

또한, 본 발명에 따른 상기 프레임 로드부는 프레임 생성부에서 출력되는 프레임들을 외부 서버로 전송하여 저장한다.

본 발명은 모바일 단말기로 촬영한 동영상에서 필요한 구간을 설정하고, 설정된 구간에서 필요한 이미지 프레임들을 추출하여 자세의 변화를 비교 및 확인할 수 있는 장점이 있다.

또한, 본 발명은 각 이미지 프레임별로 순간적인 자세의 변화와 구분자세별로 정밀하게 분석하여 제공함으로써, 사용자의 운동능력을 향상시킬 수 있는 장점이 있다.

또한, 본 발명은 동영상으로 촬영한 화면들 중에서 필요한 화면들로만 구성된 동영상을 생성 및 제공함으로써, 모바일 단말기 또는 관리서버의 저장공간을 절약할 수 있는 장점이 있다.

도 1은 본 발명에 따른 동영상 분석기능을 갖는 모바일 단말기의 구성을 나타낸 블록도이고,
도 2는 본 발명에 따른 동영상 분석기능을 갖는 모바일 단말기의 프레임 생성부 구성을 나타낸 블록도이며,
도 3은 본 발명에 따른 동영상 분석기능을 갖는 모바일 단말기의 구간설정 과정을 설명하는 예시도이며,
도 4는 본 발명에 따른 동영상 분석기능을 갖는 모바일 단말기의 분석도구 설정과정을 설명하는 예시도이고,
도 5는 본 발명에 따른 동영상 분석기능을 갖는 모바일 단말기의 프레임 추출과 시점 판별 과정을 설명하는 예시도이며,
도 6은 본 발명에 따른 동영상 분석기능을 갖는 모바일 단말기의 보정과정을 설명하는 예시도이고,
도 7은 본 발명에 따른 동영상 분석기능을 갖는 모바일 단말기의 프레임 투영과정을 설명하는 예시도이며,
도 8은 본 발명에 따른 동영상 분석기능을 갖는 모바일 단말기의 프레임 투영과정의 다른 실시예를 설명하는 예시도이고,
도 9는 본 발명에 따른 동영상 분석기능을 갖는 모바일 단말기에서 분석된 동영상의 재생과정을 설명하는 예시도이다.

이하에서는 본 발명의 바람직한 실시예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.

발명의 상세한 설명 또는 특허청구범위에서 어느 하나의 구성요소가 다른 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 당해 구성요소만으로 이루어지는 것으로 한정되어 해석되지 아니하며, 다른 구성요소들을 더 포함할 수 있는 것으로 이해되어야 한다.

또한, 발명의 상세한 설명 또는 특허청구범위에서 "~수단", "~부", "~모듈", "~블록"으로 명명된 구성요소들은 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이들 각각은 소프트웨어 또는 하드웨어, 또는 이들의 결합에 의하여 구현될 수 있다.

이하에서는 동영상 분석기능을 갖는 모바일 단말기가 구현된 일 예를 특정한 실시예를 통해 설명하기로 한다.

또한, 본 실시예에서는 설명의 편의를 위해 골프 동작을 촬영한 동영상을 이용하여 설명하지만 이에 한정되는 것은 아니다.

도 1은 본 발명에 따른 동영상 분석기능을 갖는 모바일 단말기의 구성을 나타낸 블록도이고, 도 2는 본 발명에 따른 동영상 분석기능을 갖는 모바일 단말기의 프레임 생성부 구성을 나타낸 블록도이다.

도 1 및 도 2에 나타낸 바와 같이 본 발명에 따른 동영상 분석기능을 갖는 모바일 단말기는 동영상 촬영부(100)와, 사용자 인터페이스부(200)와, 화면 표시부(300)와, 프레임 생성부(400)와, 프레임 로드부(500)를 구비하고, 바람직하게는 스마트폰, 또는 태블릿 PC 등의 모바일 단말기에 설치된다.

상기 동영상 촬영부(100)는 스마트폰 또는 태블릿 PC 등의 모바일 단말기에 설치된 카메라로서, 사용자가 일정 위치에서 골퍼의 스윙시 동영상을 촬영하고, 바람직하게는 골프 코스의 진행방향 뒤쪽 즉 골퍼의 우측에서 상기 골퍼가 스윙하는 모습을 촬영한다.

또한, 상기 동영상 촬영부(100)에서 촬영한 동영상은 모바일 단말기에 구비된 메모리(미도시)에 임시 저장되고, 동영상의 분석이 종료되면 삭제될 수 있다.

상기 사용자 인터페이스부(200)는 동영상 촬영부(100)를 통해 촬영된 동영상에서 사용자가 분석 시작점, 중요 분석점, 분석 종료점을 입력하거나, 또는 동영상에 분석용 마크(Mark)를 입력할 수 있도록 인터페이스를 제공한다.

도 3은 모바일에서의 동영상 분석시의 구간설정과정을 설명하는 예시도로서, 사용자 인터페이스부(200)를 통해 분석 시작점(600), 중요 분석점(610) 및 분석 종료점(620)을 촬영된 동영상의 전체구간(d) 중의 임의의 위치에 설정되도록 한다.

스윙 동작의 동영상을 촬영하면, 분석에 필요한 영상뿐만 아니라 불필요한 영상도 함께 촬영되므로 분석에 필요한 구간만을 설정할 수 있게 함으로써, 동작 단계별로 중요한 점검 포인트가 되는 특정 동작을 신속하게 추출할 수 있게 하고, 분석에 필요한 구간만을 설정하여 프레임들이 추출되도록 함으로써, 분석완료 후 저장공간이 대폭 줄어들 수 있게 한다.

또한, 도 4는 모바일에서의 분석도구 설정과정을 설명하는 예시도로서, 사용자가 구분 동작에 따른 골프 클럽의 샤프트, 헤드 등이 위치한 각도, 움직임 등을 표시하기 위한 제 1 분석 마크(630), 상기 구분 동작에 따른 골프 클럽과 어깨 등의 위치를 표시하기 위한 제 2 분석 마크(640), 상기 구분 동작에 따른 무릎, 척추, 팔, 머리 등의 움직임 변화나 각도의 변화를 표시하기 위한 제 3 분석 마크(650) 등을 사용자 인터페이스부(200)를 통해 동영상 화면에서 설정함으로써, 골퍼가 임의의 기준동작, 예를 들면, 어드레스 동작, 임팩트 동작과 같은 중요한 동작에서 분석용 마크를 통해 동작의 단계별로 중요한 점검 포인트가 되는 특정 동작들의 변화를 쉽고 정확하게 확인할 수 있게 한다.

상기 분석용 마크는 선, 원, 다각형 등이 동영상에 표시될 수 있도록 한다.

상기 화면 표시부(300)는 동영상 촬영부(100)에서 촬영된 동영상과, 상기 촬영된 동영상에서 분석 시작점, 중요 분석점, 분석 종료점 사이의 다수의 프레임(Frame) 중에서 특정 동작들을 포함한 동영상의 프레임들, 사용자가 입력하는 분석 동작 등이 선택적으로 화면에 표시되도록 한다.

상기 프레임 생성부(400)는 구간 설정부(410)와, 프레임 추출부(420)와, 시점 판별부(430)와, 프레임 보정부(440)와, 프레임 투영부(450)를 구비하고, 촬영된 동영상에서 사용자 인터페이스부(200)를 통해 설정된 분석 시작점과 분석 종료점 사이에 일정 시간간격으로 다수의 프레임을 추출하고, 상기 추출된 프레임에서 특정 동작의 이미지를 포함한 프레임들을 검색하여 이미지의 일부 영역이 일치하도록 보정하며, 상기 보정된 이미지들을 크롭(Crop)하여 생성한 출력 프레임들을 순차적으로 오버랩시켜 출력되도록 한다.

또한, 상기 프레임 생성부(400)는 상기 출력 프레임을 일정 시간간격에 따라 순차적으로 오버랩시켜 출력하여 자세의 변화를 비교 및 확인할 수 있도록 한다.

상기 구간 설정부(410)는 사용자가 사용자 인터페이스부(200)를 통해 입력한 분석 시작점, 중요 분석점, 분석 종료점을 동영상에 설정하여 동영상의 분석에 불필요한 부분은 배제될 수 있게 하며, 분석도구 입력부(411)를 구비한다.

상기 분석도구 입력부(411)는 사용자가 입력하는 분석용 마크(Mark)가 동영상의 임의의 위치에 설정되도록 한다.

상기 프레임 추출부(420)는 구간 설정부(410)에서 설정된 분석 시작점에서 분석 종료점까지 일정 시간간격으로 동영상의 프레임들을 추출하고, 상기 프레임은 상기 일정 시간마다 동영상을 정지시켜 캡쳐함으로써 생성한다.

즉 분석 시작점과 분석 종료점 사이의 시간이 2초이고, 이를 20개의 프레임으로 추출하려고 한다면, 시간을 균등하게 20으로 분할하여 시간 간격으로 프레임을 추출한다.

또한, 상기 프레임 생성부(400)는 일정시간 간격을 프레임을 추출하는 대신 또는 일정시간 간격으로 추출되는 프레임에 더하여, 영상 분석을 통해 특정 동작에 해당하는 프레임을 자동 추출할 수 있다.

예컨대, 골프의 경우 1. 어드레스 / 2. 샤프트가 지면과 평행일때 / 3. 왼팔이 지면과 평행일때 / 4. 백스윙탑 / 5. 다운스윙시 왼팔이 지면과 평행일때 / 6. 다운스윙시 샤프트가 지면과 평행일때 / 7. 임팩트 / 8. 오른팔이 지면과 평행일때 / 9. 팔로스로우 / 10. 피니쉬 동작을 자동분석할 수 있다.

이를 위한 구체적인 알고리즘을 설명하기로 한다.

도 5는 모바일에서의 프레임 추출과 시점 판별 과정을 설명하는 예시도이다.

우선, 영상으로부터 원형의 특정 색상(백색)을 갖는 영역을 찾는다. 골프 영상의 경우 대체로 녹색 배경 위에 골프공이 올려지므로, 인접 픽셀과의 색상값 비교를 통해 영상으로부터 공을 쉽게 인식할 수 있다.

특히, 공은 그 형상이 바라보는 각도에 무관하게 원 모양을 이루며, 임팩트 시점을 전후로 영상 내의 특정 좌표에서 움직이지 않으므로, 상기 조건을 만족하는지 판정하는 것에 의하여 공을 인식할 수 있다.

한편, 영상으로부터 특정 색상(금속색)을 가지며, 가늘고 길게 연장된 형상의 오브젝트를 인식한다. 이에 의해 영상 내에서 샤프트를 인식할 수 있다. 한편, 인식된 영역으로부터 면적이 넓어지는 구간(헤드)을 제외한 나머지 구간의 임의의 둘 이상의 픽셀을 연결한 선분을 구한다. 상기 선분은 샤프트의 각도를 가리킨다.

영상으로부터 상기 선분의 각도 변화를 추적하되, 상기 선분이 지면으로부터 수직에 가까운 각도를 가진 상태에서, 골프공의 일부가 가려져 더 이상 골프공이 인식되지 않다가, 일정 시간 경과 후 상기 선분이 반대방향으로 각도변화를 하며 동시에 골프공이 동일 좌표에서 인식되면 상기 골프공의 적어도 일부가 가려진 시점을 "어드레스"로 판정한다.

한편, 영상으로부터 상기 선분의 각도 변화를 추적하되, 상기 선분이 지면으로부터 수직에 가까운 각도를 가진 상태에서, 골프공의 일부가 가려져 더 이상 골프공이 인식되지 않다가, 일정 시간 경과 후 상기 선분이 동일 방향으로 계속 각도변화를 진행함과 동시에 골프공이 더 이상 동일 좌표에서 인식되지 않으면, 상기 골프공의 적어도 일부가 가려진 시점을 "임팩트"로 판정한다.

한편, 어드레스와 임팩트에 해당하는 프레임이 추출되면, 해당 프레임의 시간값을 획득한다.

그리고, 어드레스 시점으로부터 임팩트 시점에 이르기까지의 시간을 계산하여 임팩트 이후 상기 계산된 시간의 절반에 해당하는 시간이 경과한 시점을 "피니쉬"로 판정하여 해당 프레임을 추출한다.

한편, 영상분석을 통해 샤프트의 상단 끝 부분으로부터 연결된 특정 색상(피부색)을 트래킹하는 것에 의하여 오른팔과 왼팔에 해당하는 영역을 인식할 수 있다.

오른팔과 왼팔에 해당하는 영역은 일측 방향으로 길게 연장되는 형상을 가지며, 각 영역의 길이방향을 분석하는 것에 의하여 오른팔과 왼팔의 각도를 인식할 수 있다.

한편, 영상분석을 통해, 영상이 지면과 수평으로 촬영되었다 가정하여 영상을 가로방향으로 가로지르는 선분을 지면의 각도로 하거나, 또는 배경 인식을 통해 지면의 각도를 인식할 수도 있다.

이와 같이 분석된 샤프트/지면/오른팔과 왼팔의 각도를 비교하는 것에 의하여 2. 샤프트가 지면과 평행일때 / 3. 왼팔이 지면과 평행일때 / 5. 다운스윙시 왼팔이 지면과 평행일때 / 6. 다운스윙시 샤프트가 지면과 평행일때 / 8. 오른팔이 지면과 평행일때에 해당하는 프레임을 자동 추출할 수 있다.

한편, 어드레스와 임팩트의 사이 구간에 샤프트의 회전방향이 바뀌는 시점을 백스윙탑으로 판정하여 프레임을 추출할 수 있다.

도 5는 이와 같이 자동 추출된 특정 동작에 해당하는 프레임을 예시한다.

도 5(a) 어드레스, 도 5(b) 샤프트가 지면과 평행일 때, 도 5(c) 왼팔이 지면과 평행일 때, 도 5(d) 백스윙 탑, 도 5(e) 다운 스윙시 왼팔이 지면과 평행일 때, 도 5(f) 다운 스윙시 샤프트가 지면과 평행일 때, 도 5(g) 임팩트, 도 5(h) 오른팔이 지면과 평행일 때, 도 5(i) 팔로스로우, 도 5(j) 피니쉬 등과 같은 특정 동작의 시점을 판정할 수 있다.

한편, 이와 같이 자동으로 특정 동작에 해당하는 프레임이 추출되면, 해당하는 특정 동작의 시간값을 획득한다.

시간값은 어드레스 시점으로부터 각 특정 동작에 해당하는 프레임까지의 시간 차를 계산하는 것에 의하여 획득될 수 있다.

한편, 특정한 운동 종목(예를 들어 골프) 마다 각 동작에 소요되는 기준 시간값을 미리 수집하여 저장한다. 예컨대, 프로 골퍼들의 동작을 분석함으로써 어드레스 이후 백스윙탑 까지의 평균 시간이라거나, 백스윙탑 이후 임팩트까지의 평균시간 등에 해당하는 기준 시간값을 저장할 수 있다.

그리고, 상기 영상분석을 통해 획득된 특정 동작의 시간값과 비교함으로써 사용자가 사용자의 동작 속도, 리듬, 타이밍 등을 간단히 진단할 수 있다.

예컨대, 어드레스 이후 백스윙탑 동작까지 획득된 시간값이 기준 시간값에 비해 과도하게 긴 경우, 어드레스 이후의 리듬이 느리다는 등의 진단이 가능하다.

또한, 상기 프레임 추출부(420)는 프레임을 추출하는 과정에 분석용 마크가 설정되어 있으면, 상기 분석용 마크를 포함하여 캡쳐한다.

또한, 상기 시점 판별부(430)는 상기 특정동작의 시점 프레임 또는 사용자가 설정한 중요 분석점의 프레임이 일정 간격의 시간상에 위치하지 않으면, 상기 특정동작의 시점 프레임 또는 중요 분석점의 프레임이 가장 가까운 일정 간격의 시간상의 프레임을 대체하여 판정한다.

예를 들면, 2초의 동영상을 20개의 프레임으로 나눈다면, 0.1초마다 하나의 프레임이 생성되는데, 자동 분석된 특정동작이나 사용자가 설정한 중요 분석점의 프레임이 일정 시간 간격인 0.1초 구간에 일치하지 않는 예를 들어 1.47초이면, 가장 가까운 시점인 1.5초의 프레임 이미지 대신에 상기 1.47초의 프레임 이미지로 대체하여 판정되도록 함으로써, 특정동작을 표시하는 프레임들이 모두 포함될 수 있게 한다.

상기 프레임 보정부(440)는 특정동작으로 판정된 프레임들의 이미지 일부가 일치되도록 보정하고, 상기 보정된 이미지들의 사이즈를 일정 크기가 되도록 크롭(Crop)하는 것으로, 바람직하게는 배경 이미지가 일치되도록 보정한다.

즉 모바일 단말기로 촬영할 경우 삼각대 등의 지지부재 없이 촬영하게 되어 흔들림이 발생하면, 자세나 동작을 분석하기 위한 화면에서 분석 대상이 흔들리게 되어 분석의 정확도가 낮아져 임의의 기준 이미지와 다른 이미지들 사이에 위치를 이동하여 흔들림 보정을 수행해야 한다.

또한, 상기 보정은 동영상 촬영시 흔들려서 자세가 변화된 것인지, 실제 골퍼의 자세가 잘못된 자세인지 여부를 위치 보정을 통해 분석할 수 있다.

이러한 보정을 수행하기 위해 프레임 보정부(440)는 도 6과 같이, 프레임의 이미지를 배경 이미지가 포함된 제 1 비교영역(700), 사람이 포함된 제 2 비교영역(710), 배경이 포함된 제 3 비교영역(720)으로 구분하고, 상기 구분된 영역에서 배경 이미지가 포함된 제 1 또는 제 3 비교영역(700, 720)을 비교해서 이미지들이 일치하도록 픽셀의 이동값을 결정한다.

또한, 상기 프레임 보정부(440)는 결정된 픽셀의 이동값에 따라 특정 프레임을 중심으로 픽셀을 상/하/좌/우 이동시켜 이미지가 일치되도록 보정한다.

또한, 상기 프레임 보정부(440)는 프레임의 이동으로 인해 이미지상에 아무것도 없는 영역이 발생하게 되는데, 상기 발생된 영역을 모두 제거한 최대 구간을 산출하여 이미지들의 사이즈를 일정 크기가 되도록 일괄 크롭한다.

상기 프레임 투영부(450)는 프레임 보정부(440)에서 이미지가 보정된 프레임을 출력하면, 상기 출력되는 프레임의 이미지 중에서 임의의 기준동작(예를 들면, 어드레스 동작)을 투영하고, 특정동작의 프레임들을 상기 기준동작 프레임에 시간 순서에 따라 순차적으로 오버랩시켜 투영되도록 한다.

또한, 상기 프레임 투영부(450)는 도 7과 같이 자세의 변화를 분석하기 위해 기준동작을 제 1 투영 이미지(800)로 투영하고, 이후 구분된 특정동작이 제 2 투영 이미지(810)로 상기 제 1 투영 이미지(800)와 동일한 위치에서 겹쳐져서 투영되도록 함으로써, 골퍼의 머리 움직임, 무릎의 각도, 척추의 각도 등을 기준동작과 비교하여 어떤 변화가 있는지 확인할 수 있게 한다.

또한, 상기 프레임 투영부(450)는 도 8과 같이 기준동작에 해당하는 제 1 투영 이미지(800')를 가로방향으로 소정 픽셀만큼 위치 이동시켜 표시한 다음, 다른 어느 하나의 추출된 프레임인 제 2 투영 이미지(810')를 오버레이할 수도 있다. 즉, 상기 제 1 투영 이미지(800')로부터 일정값 만큼 이격된 위치에 투영되도록 함으로써, 기준동작과 구분된 특정동작 별로 자세의 변화를 분석 및 확인할 수 있게 한다.

또한, 상기 프레임 투영부(450)에서 투영되는 제 1 투영 이미지(800')와 제 2 투영 이미지(810')의 투명도를 조절하여 투영함으로써, 자세의 변화를 더욱 정확하게 확인할 수 있게 한다.

또한, 상기 프레임 투영부(450)는 예를 들면, 어드레스 동작과 임팩트 동작 사이의 시간을 산출하고, 추출된 프레임들을 미리 설정된 기준 시간값을 갖는 기준 프레임의 어드레스 동작과 임팩트 동작 이미지와 오버랩시켜 출력하여 특정 동작에 대한 기준동작 시간과의 비교를 통해 사용자의 동작 속도, 리듬, 타이밍 등에 대한 비교 분석을 확인할 수 있게 한다.

상기 프레임 로드부(500)는 프레임 생성부(400)에서 출력되는 프레임들을 저장하는 구성요소로서, 모바일 단말기에 저장하거나 또는 미리 설정된 URL 접속 정보를 이용하여 연결된 외부 서버(미도시)로 업로드한다.

동영상을 그대로 업로드하는 대신, 유의미한 프레임들을 추출하여 업로드함으로써 용량을 크게 줄일 수 있다.

사용자가 저장 기능을 선택함에 따라, 상기 프레임 로드부(500)는 사용자의 회원이름과 전화번호를 외부 서버로 전달함으로써 계정 인증을 처리하고, 프레임들을 업로드한다.

도 9는 모바일에서 분석된 동영상의 재생과정을 설명하는 예시도로서, 외부 서버에 저장된 파일은 도 9(a)와 같이, 화면 표시부(300)에 업로드 화면(900)이 디스플레이된다.

사용자는 제 1 사용자 입력부(910)와 제 2 사용자 입력부(920)에 회원이름과, 전화번호를 입력함으로써 로그인하며, 외부 서버(미도시)에 접속하여 자신의 계정에 저장된 파일들을 수신하여 화면 표시부(300)를 통해 디스플레이한다.

프레임들을 순차 표시하는 것에 의하여 기존에 분석하여 업로드 한 자세 변화를 직관적으로 확인할 수 있게 된다.

이상 몇 가지의 실시예를 통해 본 발명의 기술적 사상을 살펴보았다.

본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 상기 살펴본 실시예를 다양하게 변형하거나 변경할 수 있음은 자명하다.

또한, 비록 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다. 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.

100 : 동영상 촬영부 200 : 사용자 인터페이스부
300 : 화면 표시부 400 : 프레임 생성부
410 : 구간 설정부 411 : 분석도구 입력부
420 : 프레임 추출부 430 : 시점 판별부
440 : 프레임 보정부 450 : 프레임 투영부
500 : 프레임 로드부 600 : 분석 시작점
610 : 중요 분석점 620 : 분석 종료점
630 : 제 1 분석 마크 640 : 제 2 분석 마크
650 : 제 3 분석 마크 700 : 제 1 비교영역
710 : 제 2 비교영역 720 : 제 3 비교영역
800, 800' : 제 1 투영 이미지 810, 810' : 제 2 투영 이미지
900 : 업로드 화면 910 : 제 1 사용자 입력부
920 : 제 2 사용자 입력부 930 : 분석 화면

Claims (8)

1. 동영상을 촬영하는 동영상 촬영부(100);
   상기 촬영된 동영상에서 사용자가 입력하는 분석 시작점, 중요 분석점, 분석 종료점을 검출하는 사용자 인터페이스부(200);
   상기 촬영된 동영상에서 분석 시작점, 중요 분석점, 분석 종료점 사이의 다수의 프레임(Frame)을 선택하여 화면에 표시하는 화면 표시부(300);
   상기 촬영된 동영상에서 분석 시작점, 중요 분석점, 분석 종료점 사이에 다수의 프레임을 일정 간격으로 추출하고, 상기 추출된 프레임에서 특정 동작의 이미지를 포함한 프레임들을 검색하여 이미지의 일부 영역이 일치하도록 보정하며, 상기 보정된 이미지들을 크롭(Crop)하여 생성한 출력 프레임들을 오버랩시켜 출력하는 프레임 생성부(400); 및
   상기 프레임 생성부(400)에서 출력되는 프레임들을 저장하는 프레임 로드부(500)를 포함하는 동영상 분석기능을 갖는 모바일 단말기.
   
2. 제 1 항에 있어서,
   상기 프레임 생성부(400)는 사용자가 입력한 분석 시작점, 중요 분석점, 분석 종료점을 동영상에 설정하는 구간 설정부(410);
   상기 설정된 분석 시작점에서 중요 분석점 또는 분석 종료점 중 적어도 하나의 시점까지 일정 시간간격으로 동영상 프레임들을 추출하는 프레임 추출부(420);
   상기 동영상에서 임의의 물체가 이동하는 변위 또는 상기 물체가 특정 대상물과 이루는 각도 중 적어도 하나를 분석하여 결과에 따라 특정동작의 시점을 포함한 프레임을 추출하는 시점 판별부(430);
   상기 특정동작으로 판정된 프레임들의 이미지 일부가 일치되도록 보정하고, 상기 보정된 이미지들의 사이즈를 일정 크기가 되도록 크롭하는 프레임 보정부(440); 및
   상기 이미지가 보정된 프레임을 추출하여 임의의 기준동작을 투영하고, 상기 특정동작들을 순차적으로 오버랩시켜 투영하는 프레임 투영부(450)를 포함하는 동영상 분석기능을 갖는 모바일 단말기.
   
3. 제 2 항에 있어서,
   상기 구간 설정부(410)는 사용자가 입력하는 분석용 마크(Mark)가 동영상의 임의의 위치에 설정되도록 하는 분석도구 입력부(411)를 더 포함하고,
   상기 프레임 추출부(420)는 상기 분석용 마크를 포함하여 프레임을 추출하는 동영상 분석기능을 갖는 모바일 단말기.
   
4. 제 2 항에 있어서,
   상기 시점 판별부(430)는 상기 특정동작의 시점 프레임 또는 사용자가 설정한 중요 분석점의 프레임이 일정 간격의 시간상에 위치하지 않으면, 상기 특정동작의 시점 프레임 또는 중요 분석점의 프레임이 가장 가까운 일정 간격의 시간상의 프레임을 대체하여 판정하는 동영상 분석기능을 갖는 모바일 단말기.
   
5. 제 2 항에 있어서,
   상기 프레임 보정부(440)는 프레임의 이미지들을 일정 영역으로 구분하고, 상기 구분된 영역의 일부를 비교하여 상기 이미지들이 일치하도록 픽셀의 이동값을 결정하되,
   상기 결정된 픽셀의 이동값에 따라 특정 프레임을 중심으로 픽셀을 상/하/좌/우 이동시켜 이미지가 일치되도록 보정하는 동영상 분석기능을 갖는 모바일 단말기.
   
6. 제 5 항에 있어서,
   상기 프레임 보정부(440)는 프레임의 이동으로 이미지상에 아무것도 없는 영역이 발생하면, 상기 발생된 영역이 모두 제거되는 최대 구간을 산출하여 이미지들을 일괄 크롭하는 동영상 분석기능을 갖는 모바일 단말기.
   
7. 제 2 항에 있어서,
   상기 프레임 투영부(450)는 기준동작과 특정동작이 동일한 위치에서 겹쳐지거나 또는 일정값 만큼 이격된 위치에서 투영되도록 하는 동영상 분석기능을 갖는 모바일 단말기.
   
8. 제 1 항에 있어서,
   상기 프레임 생성부(400)는 상기 촬영된 동영상에서 특정 색상값을 갖는 길이 방향의 영역을 인식하고, 해당 영역의 셋 이상의 점을 잇는 선분을 구하고,
   특정 색상값을 갖는 원 형의 영역을 판정함으로써 골프공을 인식하되,
   상기 선분의 각도변화가 진행되어 지면으로부터 수직에서 오차범위 이내의 각도를 가진 상태에서, 골프공의 적어도 일부가 가려진 이후, 상기 선분이 역방향으로 각도 변화가 진행되되, 상기 골프공이 동일 좌표에서 재차 인식되면, 상기 골프공의 적어도 일부가 가려진 시점을 어드레스로 판정하고,
   상기 선분의 각도변화가 진행되어 지면으로부터 수직에서 오차범위 이내의 각도를 가진 상태에서, 골프공의 적어도 일부가 가려진 이후, 상기 선분의 각도 변화가 동일 방향으로 진행되되, 상기 골프공이 동일 좌표에서 재차 인식되지 않으면, 상기 골프공의 적어도 일부가 가려진 시점을 임팩트로 판정하고,
   상기 임팩트 시점 이후, 상기 어드레스 시점으로부터 상기 임팩트 시점에 이르기까지의 경과 시간의 절반에 해당하는 시간이 경과한 시점을 피니쉬로 판정하여 프레임을 추출하는 동영상 분석기능을 갖는 모바일 단말기.
   

Images