KR20190122369A - 사용자의 운동 자세 분석을 위한 이미지 생성 장치 - Google Patents

사용자의 운동 자세 분석을 위한 이미지 생성 장치 Download PDF

Info

Publication number
KR20190122369A
KR20190122369A KR1020180046036A KR20180046036A KR20190122369A KR 20190122369 A KR20190122369 A KR 20190122369A KR 1020180046036 A KR1020180046036 A KR 1020180046036A KR 20180046036 A KR20180046036 A KR 20180046036A KR 20190122369 A KR20190122369 A KR 20190122369A
Authority
KR
South Korea
Prior art keywords
image
image data
posture
user
unit
Prior art date
Application number
KR1020180046036A
Other languages
English (en)
Other versions
KR102185320B1 (ko
Inventor
김영국
김한욱
Original Assignee
알바이오텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알바이오텍 주식회사 filed Critical 알바이오텍 주식회사
Priority to KR1020180046036A priority Critical patent/KR102185320B1/ko
Publication of KR20190122369A publication Critical patent/KR20190122369A/ko
Application granted granted Critical
Publication of KR102185320B1 publication Critical patent/KR102185320B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 사용자의 운동 자세 분석을 위한 이미지 생성 장치는 적어도 하나의 이미지 센서를 포함하는 이미지 센싱 장치와 연결될 수 있다. 여기에서, 사용자의 운동 자세 분석을 위한 이미지 생성 장치는, 특정 운동을 수행하는 사용자가 촬영된 이미지 데이터를 상기 이미지 센싱 장치로부터 시간 단위마다 수신하고, 기정의된 이미지 처리 프로세스에 따라 상기 수신된 이미지 데이터를 처리하여 깊이 이미지(depth image) 데이터를 생성하는 3차원 이미지 생성부; 및 상기 생성된 깊이 이미지 데이터를 기초로 상기 사용자의 운동 자세와 연관된 사용자 자세 정보를 생성하고, 상기 생성된 사용자 자세 정보를 시각적으로 표현하는 자세 이미지를 생성하는 자세 이미지 생성부;를 포함한다.

Description

사용자의 운동 자세 분석을 위한 이미지 생성 장치{APPARATUS FOR GENERATING IMAGES FOR ANALYZING USER'S POSTURE}
본 발명은 사용자의 운동 자세를 교정할 수 있도록 사용자의 운동 자세를 직관적으로 표현하는 이미지를 생성할 수 있는 이미지 처리 기술에 관한 것이다.
최근, 생활 여건의 개선으로 현대인들의 여가 활동에 관한 관심이 고조되고 있으며, 특히 건강 증진을 위한 스포츠 활동에 대한 관심이 급격하게 증가하고 있다. 특히, 골프, 야구 등 타격 기구를 이용한 스포츠의 경우, 스크린 골프장, 스크린 야구장 등을 통해 가상 현실 또는 증강 현실 기술을 적용한 체험형 서비스 기술이 제공되고 있으며, 이에 시간 및 공간에 구애 받지 않고 즐길 수 있어 큰 인기를 끌고 있다.
일반적으로 골프, 야구 등 타격 기구를 이용한 스포츠의 경우, 정확한 자세를 안정적이고 반복적으로 구사하는 것이 매우 어려워, 전문가에게 강습을 받으며 자세를 교정하는 방식으로 타격 자세의 연습이 이루어지고 있다. 그러나, 전문가에게 강습을 받는 경우 비용 및 시간 측면에서 부담스러울 수 밖에 없어, 이를 해결하기 위한 다양한 기술이 제공되고 있다.
한국등록특허 제1504538호는 골프 스윙 자세 교정을 위한 운동 자세 분석 정보 생성 기술에 관한 것으로, 압력 센서 등을 이용하여 사용자의 자세를 교정하는데 참조할 수 있는 다양한 정보를 제공하는 기술에 관한 것이다. 상기 선행기술은 사용자 발의 압력 분포를 센싱하는 방식으로, 이러한 방식은 사용자 신체 전체에 대한 움직임을 정확하게 분석하기 어려운 단점이 있다.
이러한 단점을 극복하기 위한 기술로서 사용자의 신체를 촬영한 이미지를 분석하여 자세 교정을 위한 참조 정보를 생성하는 기술이 제공 되고 있다. 이러한 기술에 한국등록특허 제1683194호와 같은 깊이 이미지(depth image) 분석을 이용한 움직임 추적 기술이 적용될 수 있다. 깊이 이미지를 생성하는 일반적인 프로세스는, 스테레오 카메라로부터 시간 단위마다 수신되는 이미지 데이터를 메모리 장치에 저장한 후, 저장된 이미지 데이터를 기초로 기정의된 알고리즘을 이용해 깊이 이미지를 생성하는 방식이다. 그러나, 이러한 종래의 기술은 중앙 처리 장치(CPU)가 과도한 연산을 수행함에 따라 실시간으로 깊이 이미지를 생성하는 것이 불가능하며, 실시간 처리가 가능하다고 하더라도 해상도에 한계가 있다.
현재 사용자의 움직임을 고속으로 분석하여 사용자의 운동 자세 교정을 위한 정보를 제공할 수 있는 기술은 제안된 바 없으며, 이러한 기술이 제공된다면 스포츠 관련 산업에 큰 수익을 창출할 수 있을 것으로 기대되고 있다.
한국등록특허 제1504538호 한국등록특허 제1683194호
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 사용자의 운동 자세를 교정할 수 있도록 사용자의 운동 자세를 직관적으로 표현하는 이미지를 생성할 수 있는, 사용자의 운동 자세 분석을 위한 이미지 생성 장치를 제공하고자 한다.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예들을 통하여 보다 명확해질 것이다.
본 발명의 일 측면에 따르면, 사용자의 운동 자세 분석을 위한 이미지 생성 장치는 적어도 하나의 이미지 센서를 포함하는 이미지 센싱 장치와 연결될 수 있다. 여기에서, 사용자의 운동 자세 분석을 위한 이미지 생성 장치는, 특정 운동을 수행하는 사용자가 촬영된 이미지 데이터를 상기 이미지 센싱 장치로부터 시간 단위마다 수신하고, 기정의된 이미지 처리 프로세스에 따라 상기 수신된 이미지 데이터를 처리하여 깊이 이미지(depth image) 데이터를 생성하는 3차원 이미지 생성부; 및 상기 생성된 깊이 이미지 데이터를 기초로 상기 사용자의 운동 자세와 연관된 사용자 자세 정보를 생성하고, 상기 생성된 사용자 자세 정보를 시각적으로 표현하는 자세 이미지를 생성하는 자세 이미지 생성부;를 포함한다.
일 실시예에서, 상기 3차원 이미지 생성부는 각각 독립적으로 수행되는 기정의된 복수의 이미지 처리 프로세스에 따라, 상기 이미지 센싱 장치로부터 수신된 이미지 데이터를 처리하는 데이터 처리부; 및 상기 이미지 센싱 장치로부터 수신된 이미지 데이터와 상기 복수의 이미지 처리 프로세스에 따라 처리된 복수의 이미지 데이터 각각을, 할당된 각 데이터 저장 영역에 독립적으로 저장하는 메모리부;를 포함할 수 있다.
일 실시예에서, 상기 데이터 처리부는 상기 수신된 이미지 데이터와 상기 처리된 복수의 이미지 데이터 각각을, 중앙 처리 장치를 경유하지 않고 상기 할당된 데이터 저장 영역에 직접 저장하는 직접 메모리 접근부를 포함할 수 있다.
일 실시예에서, 상기 데이터 처리부는 상기 이미지 센싱 장치로부터 수신된 이미지 데이터를 기정의된 사이즈로 압축시켜 다운 스케일 이미지 데이터를 생성하는 다운 스케일부와, 상기 이미지 센싱 장치로부터 수신된 이미지 데이터를 기초로 엣지 이미지 데이터를 생성하는 엣지 처리부를 포함할 수 있다.
일 실시예에서, 상기 직접 메모리 접근부는 상기 이미지 센싱 장치로부터 수신된 이미지 데이터를 상기 메모리부의 원본 이미지 저장 영역에, 상기 생성된 다운 스케일 이미지 데이터를 상기 메모리부의 다운 스케일 이미지 저장 영역에, 상기 생성된 엣지 이미지 데이터를 상기 메모리부의 엣지 이미지 저장 영역에, 각각 독립적으로 저장할 수 있다.
일 실시예에서, 상기 이미지 센싱 장치는 시차를 가지도록 이격된 위치에 배치된 제1 및 제2 이미지 센서를 포함하여 구성되는 스테레오 카메라를 포함하며, 상기 데이터 처리부는 기정의된 이미지 처리 프로세스에 따라 상기 제1 및 제2 이미지 센서로부터 수신된 제1 및 제2 이미지 데이터를 처리하여 깊이 이미지(depth image) 데이터를 생성할 수 있다.
일 실시예에서, 상기 직접 메모리 접근부는 상기 제1 및 제2 이미지 센싱 장치로부터 수신된 제1 및 제2 이미지 데이터를 각각 상기 메모리부의 제1 및 제2 원본 이미지 저장 영역에, 상기 제1 및 제2 이미지 센싱 장치로부터 수신된 제1 및 제2 이미지 데이터를 기초로 생성된 제1 및 제2 다운 스케일 이미지 데이터를 각각 상기 메모리부의 제1 및 제2 다운 스케일 이미지 저장 영역에, 상기 제1 및 제2 이미지 센싱 장치로부터 수신된 제1 및 제2 이미지 데이터를 기초로 생성된 제1 및 제2 엣지 이미지 데이터를 각각 상기 메모리부의 제1 및 제2 엣지 이미지 저장 영역에, 각각 독립적으로 저장할 수 있다.
일 실시예에서, 상기 데이터 처리부는 상기 직접 메모리 접근부로부터 상기 제1 및 제2 엣지 이미지 저장 영역에 저장된 제1 및 제2 엣지 이미지 데이터를 제공받아, 상기 제공받은 제1 및 제2 엣지 이미지 데이터를 기초로 깊이 이미지(depth image) 데이터를 생성하는 깊이 이미지 생성부를 포함할 수 있다.
일 실시예에서, 상기 자세 이미지 생성부는 상기 생성된 깊이 이미지 데이터에서 상기 사용자의 운동 자세와 연관된 운동 특징점을 추출하는 특징점 추출부를 포함할 수 있다.
일 실시예에서, 상기 자세 이미지 생성부는 상기 추출된 운동 특징점의 시간에 따른 위치 변화를 기초로 상기 사용자의 운동 자세와 연관된 사용자 자세 정보를 생성하는 움직임 분석부;를 포함할 수 있다.
일 실시예에서, 상기 자세 이미지 생성부는 상기 생성된 사용자 자세 정보를 시각적으로 표현하는 자세 이미지를 생성하는 이미지 처리부;를 포함할 수 있다.
일 실시예에서, 상기 이미지 센싱 장치는 특정 운동을 수행하는 사용자를 고정된 위치에서 촬영하는 2D 카메라를 포함하며, 상기 이미지 처리부는 상기 2D 카메라로부터 수신되는 2D 이미지 데이터 및 상기 생성된 깊이 이미지 데이터 중 적어도 하나와, 상기 생성된 사용자 자세 정보를 매칭하여 상기 자세 이미지를 생성할 수 있다.
본 발명은 사용자의 운동 자세를 직관적으로 표현하는 이미지를 생성하여 제공함으로써 사용자의 운동 자세를 교정하는데 활용할 수 있도록 한다.
또한, 본 발명은 스테레오 카메라로부터 수신된 이미지 데이터를 고속으로 병렬 처리하여 실시간으로 깊이 이미지(depth image)를 생성할 수 있으며, 이에 운동 자세 분석을 위한 이미지를 고속으로 생성하여 제공할 수 있다.
도 1은 본 발명에 따른 사용자의 운동 자세 분석을 위한 이미지 생성 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 사용자의 운동 자세 분석을 위한 이미지 생성 시스템을 설명하기 위한 블록도이다.
도 3은 본 발명에 따른 깊이 이미지를 생성하기 위한 3차원 이미지 생성부를 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 3차원 이미지 생성부를 설명하기 위한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 3차원 이미지 생성부의 동작을 설명하기 위한 블록도이다.
도 6은 본 발명의 다른 일 실시예에 따른 3차원 이미지 생성부의 동작을 설명하기 위한 블록도이다.
도 7은 본 발명의 일 실시예에 따른 자세 이미지를 생성하기 위한 자세 이미지 생성부를 설명하기 위한 블록도이다.
도 8 내지 10은 본 발명의 일 실시예에 따른 자세 이미지의 생성 과정을 설명하기 위한 참조도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 사용자의 운동 자세 분석을 위한 이미지 생성 시스템(이하,이미지 생성 시스템)을 설명하기 위한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 이미지 생성 시스템을 설명하기 위한 블록도이다.
일 실시예에서, 사용자가 수행하는 운동은 골프 및 야구 중 적어도 하나에 해당하며, 사용자의 운동 자세는 골프 스윙 자세 및 야구 타격 자세 중 적어도 하나에 해당할 수 있다. 다만, 이는 본 발명의 권리범위를 한정하고자 하는 것은 아니며, 이하 설명되는 기술적 사상이 적용될 수 있는 운동이라면 골프 및 야구 이외의 운동이라도 무관하다.
도 1 및 2를 참조하면, 이미지 처리 시스템(10)은 이미지 센싱 장치(100)와 사용자의 운동 자세 분석을 위한 이미지 생성 장치(200, 이하 이미지 생성 장치)를 포함한다.
이미지 센싱 장치(100)는 이미지를 센싱하여 이미지 데이터를 생성하는 장치로, 예를 들어 카메라 장치에 해당할 수 있다. 여기에서, 이미지 센싱 장치(100)는 복수 개의 카메라 장치를 포함하여 구성될 수 있다.
일 실시예에서, 스테레오 카메라(110) 및 2D 카메라(120) 중 적어도 하나를 포함하여 구성될 있다.
일 실시예에서, 스테레오 카메라(110)는 시차를 가지도록 이격된 위치에 배치된 2개의 이미지 센서(좌, 우)를 포함하여 구성될 수 있다.
일 실시예에서, 2D 카메라(120)는 스테레오 카메라보다 고해상도의 이미지를 생성할 수 있는 이미지 센서를 포함하여 구성될 수 있다. 여기에서, 2D 카메라(120)는 컬러 이미지 센서를 포함하여 구성될 수 있다.
이미지 생성 장치(200)는 이미지 센싱 장치(100)와 연결되며 이미지 센싱 장치(100)로부터 수신되는 이미지 데이터를 처리하여 사용자의 운동 자세 분석을 위한 이미지(이하, 자세 이미지)를 생성하는 장치에 해당한다.
이미지 생성 장치(200)는 특정 운동을 수행하는 사용자가 촬영된 이미지 데이터를 이미지 센싱 장치(100)로부터 시간 단위마다 수신하고, 기정의된 이미지 처리 프로세스에 따라 수신된 이미지 데이터를 처리하여 깊이 이미지(depth image) 데이터를 생성하는 3차원 이미지 생성부(210)를 포함한다.
이미지 생성 장치(200)는 3차원 이미지 생성부(21)에 의하여 생성된 깊이 이미지 데이터를 기초로 사용자의 운동 자세와 연관된 사용자 자세 정보를 생성하고, 생성된 사용자 자세 정보를 시각적으로 표현하는 자세 이미지를 생성하는 자세 이미지 생성부(220)를 포함한다.
일 실시예에서, 3차원 이미지 생성부(210)는 스테레오 카메라(110)로부터 수신된 이미지 데이터(좌, 우)를 기초로 깊이 이미지 데이터를 생성할 수 있다.
일 실시예에서, 자세 이미지 생성부(220)는 깊이 이미지 데이터를 기초로 사용자의 운동 자세와 연관된 사용자 자세 정보(예 : 스윙 플레인)를 생성하되, 2D 카메라(120)로부터 수신되는 2D 이미지 데이터 및 3차원 이미지 생성부(210)로부터 수신되는 깊이 이미지 데이터 중 적어도 하나와, 생성된 사용자 자세 정보를 매칭하여 자세 이미지를 생성할 수 있다.
이하에서는, 도 3 내지 도 10을 참조하여 본 발명 및 본 발명의 다양한 실시예에 따른 이미지 생성 장치의 각 구성과 각 구성의 동작에 대하여 상세하게 설명한다.
우선, 도 3 내지 6을 참조하여, 본 발명의 일 실시예에 따른 깊이 이미지를 생성하는 기술에 대하여 상세하게 설명한다. 본 발명에 따른 깊이 이미지 생성 기술은 종래 기술과 비교하여 고속(실시간)으로 처리가 가능하며, 이러한 속도 측면에서의 현저한 효과는 이하 설명을 통해 명확하게 이해될 수 있을 것이다.
도 3은 본 발명에 따른 깊이 이미지를 생성하기 위한 3차원 이미지 생성부를 설명하기 위한 블록도이다.
도 3을 참조하면, 3차원 이미지 생성부(210)는 스테레오 카메라(110)와 연결되며, 스테레오 카메라(110)로부터 특정 운동을 수행하는 사용자가 촬영된 이미지 데이터를 시간 단위마다 수신할 수 있다.
3차원 이미지 생성부(210)는 이미지 센싱 장치(100)와 연결되며 이미지 센싱 장치(100)로부터 수신되는 이미지 데이터를 처리하고 저장할 수 있는 장치에 해당한다. 여기에서, 3차원 이미지 생성부(210)는 스테레오 카메라(110)로부터 수신되는 이미지 데이터를 기정의된 이미지 처리 프로세스에 따라 처리하는 데이터 처리부(310)와, 스테레오 카메라(110)로부터 수신되는 이미지 데이터(원본 이미지) 및 데이터 처리부(310)에 의하여 처리된 이미지 데이터를 저장하는 메모리부(320)를 포함하여 구성될 수 있다.
일 실시예에서, 3차원 이미지 생성부(210)의 적어도 일부 구성은 FPGA(field programmable gate array)에 포함되어 형성될 수 있다.
이하에서는, 도 4 내지 도 6을 참조하여 본 발명 및 본 발명의 다양한 실시예에 따른 3차원 이미지 생성부(210)의 각 구성과 각 구성의 동작에 대하여 상세하게 설명한다.
도 4는 본 발명의 일 실시예에 따른 3차원 이미지 생성부(210)를 설명하기 위한 블록도이다.
도 4를 참조하면, 3차원 이미지 생성부(210)는 스테레오 카메라(110)로부터 수신되는 이미지 데이터를 기정의된 이미지 처리 프로세스에 따라 처리하는 데이터 처리부(310)와, 스테레오 카메라(110)로부터 수신되는 이미지 데이터(원본 이미지) 및 데이터 처리부(310)에 의하여 처리된 이미지 데이터를 저장하는 메모리부(320)를 포함할 수 있다.
데이터 처리부(310)는 각각 독립적으로 수행되는 기정의된 복수의 이미지 처리 프로세스에 따라, 스테레오 카메라(110)로부터 수신된 이미지 데이터(원본 이미지)를 처리할 수 있다.
일 실시예에서, 데이터 처리부(310)는 스테레오 카메라(110)로부터 수신된 이미지 데이터(원본 이미지)와, 처리된 복수의 이미지 데이터(예 : 다운 스케일 이미지 데이터, 엣지 이미지 데이터) 각각을, 중앙 처리 장치(CPU)를 경유하지 않고 할당된 데이터 저장 영역에 직접 저장하는 직접 메모리 접근부(311)를 포함할 수 있다. 예를 들어, 직접 메모리 접근부(311)는 DMA(direct memory access)로 구현될 수 있다.
일 실시예예서, 데이터 처리부(310)는 스테레오 카메라(110)로부터 수신된 이미지 데이터(원본 이미지)를 기정의된 사이즈로 압축시켜 다운 스케일 이미지 데이터를 생성하는 다운 스케일부(312)를 포함할 수 있다. 예를 들어, 다운 스케일부(312)는 이미지 센싱 장치(100)로부터 수신된 이미지 데이터(원본 이미지)를 1/16로 축소(예 : 1280 * 1024 의 해상도를 가지는 이미지를 320 * 256 해상도의 이미지로 축소)하여 다운 스케일 이미지 데이터를 생성할 수 있다.
일 실시예에서, 데이터 처리부(310)는 스테레오 카메라(110)로부터 수신된 이미지 데이터를 기초로 엣지 이미지 데이터를 생성하는 엣지 처리부(313)를 포함할 수 있다. 여기에서, 엣지 처리부(313)는 스테레오 카메라(110)로부터 수신된 이미지 데이터(원본 이미지) 또는 다운 스케일부(312)에 의하여 생성된 다운 스케일 이미지 데이터에 엣지(egde) 추출 알고리즘(예 : sobel filter)을 적용하여 엣지 이미지 데이터를 생성할 수 있다.
한편, 본 발명에서 엣지 이미지 데이터는 깊이 이미지(depth image)를 생성하는 과정에서 활용될 수 있는 기초 이미지 데이터(경계선을 명확하게 처리한 이미지 데이터)로서, 엣지 추출 알고리즘의 종류 및 명칭에 한정되지 않으며, 깊이 이미지 생성에 활용될 수 있는 기초 이미지 데이터라면 본 발명에 따른 엣지 이미지 데이터로 해석되어야 할 것이다.
일 실시예에서, 데이터 처리부(310)는 엣지 이미지 데이터를 기초로 깊이 이미지데이터를 생성하는 깊이 이미지 생성부(314)를 포함할 수 있다. 깊이 이미지 생성부(314)가 깊이 이미지 데이터를 생성하는 과정에 대하여는 후술한다.
메모리부(320)는 스테레오 카메라(110)로부터 수신된 이미지 데이터(원본 이미지)와 데이터 처리부(310)에 의하여 처리된 복수의 이미지 데이터 각각을, 할당된 각 데이터 저장 영역에 독립적으로 저장할 수 있다.
일 실시예에서, 메모리부(320)는 휘발성 메모리에 해당할 수 있으며, 바람직하게는 DRAM(dynamic random access memory)에 해당할 수 있다.
일 실시예에서, 메모리부(320)는 스테레오 카메라(110)로부터 수신된 이미지 데이터(원본 이미지)를 저장하는 원본 이미지 저장 영역(321)과, 다운 스케일부(312)에 의하여 생성된 다운 스케일 이미지 데이터를 저장하는 다운 스케일 이미지 저장 영역(322)과, 엣지 처리부(313)에 의하여 생성된 엣지 이미지 데이터를 저장하는 엣지 이미지 저장 영역(323)을 포함하여 구성될 수 있다.
이상에서 도 4를 참조하여 본 발명의 일 실시예에 따른 3차원 이미지 생성부(210)의 각 구성을 설명하였으며, 이하에서는 도 5를 참조하여 본 발명의 일 실시예에 따른 3차원 이미지 생성부(210)에 포함되는 각 구성의 동작을 설명한다.
도 5는 본 발명의 일 실시예에 따른 3차원 이미지 생성부(210)의 동작을 설명하기 위한 블록도이다.
도 5를 참조하면, 데이터 처리부(310)는 스테레오 카메라(110)로부터 이미지 데이터를 제공받는다.
일 실시예에서, 직접 메모리 접근부(311)는 스테레오 카메라(110)로부터 수신된 이미지 데이터(원본 이미지)를 중앙 처리 장치를 경유하지 않고 메모리부(320)의 원본 이미지 저장 영역(321)에 직접 저장할 수 있다.
일 실시예에서, 다운 스케일부(312)는 스테레오 카메라(110)로부터 수신된 이미지 데이터(원본 이미지)를 기정의된 사이즈로 압축시켜 다운 스케일 이미지 데이터를 생성할수 있다. 여기에서, 직접 메모리 접근부(311)는 다운 스케일부(312)에 의하여 생성된 다운 스케일 이미지 데이터를 중앙 처리 장치를 경유하지 않고 메모리부(320)의 다운 스케일 이미지 저장 영역(322)에 직접 저장할 수 있다.
일 실시예에서, 엣지 처리부(313)는 스테레오 카메라(110)로부터 수신된 이미지 데이터(원본 이미지)를 기초로 엣지 이미지 데이터를 생성할 수 있다. 다른 일 실시예에서, 엣지 처리부(313)는 직접 메모리 접근부(311)로부터 다운 스케일 이미지 저장 영역(223)에 저장된 다운 스케일 이미지 데이터를 제공받고, 제공받은 다운 스케일 이미지 데이터를 기초로 엣지 이미지 데이터를 생성할 수 있다. 여기에서, 엣지 처리부(313)는 스테레오 카메라(110)로부터 수신된 이미지 데이터(원본 이미지) 또는 다운 스케일 이미지 데이터에 엣지(egde) 추출 알고리즘(예 : sobel filter)을 적용하여 엣지 이미지 데이터를 생성할 수 있다. 이후, 직접 메모리 접근부(311)는 엣지 처리부(313)에 의하여 생성된 엣지 이미지 데이터를 중앙 처리 장치를 경유하지 않고 메모리부(320)의 엣지 이미지 저장 영역(323)에 직접 저장할 수 있다.
여기에서, 다운 스케일부(312) 및 엣지 처리부(313)은 독립적으로 동작할 수 있으며, 직접 메모리 접근부(311)는 원본 이미지 데이터, 다운 스케일 이미지 데이터 및 엣지 이미지 데이터를 동시에 메모리부(320)의 각 할당된 저장 영역에 저장할 수 있다.
깊이 이미지 생성부(314)는 직접 메모리 접근부(311)로부터 엣지 이미지 저장 영역(323)에 저장된 엣지 이미지 데이터를 제공받고, 제공받은 엣지 이미지 데이터를 기초로 깊이 이미지 데이터를 생성할 수 있다. 깊이 이미지 생성부(314)가 깊이 이미지 데이터를 생성하는 과정에 대하여는 후술한다.
이상에서 도 5를 참조하여 본 발명의 일 실시예에 따른 3차원 이미지 생성부(210)에 포함되는 각 구성의 동작을 설명하였으며, 이하에서는 도 6을 참조하여 본 발명의 바람직한 실시예에 따른 3차원 이미지 생성부(210)에 포함되는 각 구성의 동작을 설명한다.
도 6은 본 발명의 다른 일 실시예에 따른 3차원 이미지 생성부(210)의 동작을 설명하기 위한 블록도이다.
도 6을 참조하면, 스테레오 카메라(110)는 시차를 가지도록 이격된 위치에 배치된 제1 및 제2 이미지 센서(111, 112)를 포함하여 구성될 수 있다. 여기에서, 스테레오 카메라(110)는 좌, 우 이미지 센서에 해당하는 제1 및 제2 이미지 센서(111, 112)를 포함하여 구성되는 카메라 장치에 해당할 수 있으며, 제1 및 제2 이미지 센서(111, 112)는 각각 제1 및 제2 이미지 데이터를 생성하여 데이터 처리부(310)로 제공할 수 있다.
일 실시예에서, 3차원 이미지 생성부(210)는 제1 이미지 센서(111)와 제2 이미지 센서(112)를 동기화시키기 위한 타이밍 제너레이터(미도시)를 포함할 수 있다. 여기에서, 타이밍 제너레이터는 제1 이미지 센서(111)와 제2 이미지 센서(112)에 의하여 생성되는 제1 및 제2 이미지 데이터에 시간 식별자를 포함시키도록 구성되어, 제1 및 제2 이미지 데이터가 시간에 따라 대응되어 생성(예 : n0부터 단위 시간 dn마다 n1, n2, ……, nx에 해당하는 시간 식별자를 제1 이미지 데이터(L)와 제2 이미지 데이터(R) 각각에 부여)될 수 있도록 한다. 한편, 타이밍 제너레이터는 공지의 구성이 적용될 수 있으며, 제1 이미지 센서(111)와 제2 이미지 센서(112)를 동기화시키기 위한 구성이라면 본 발명에 따른 타이밍 제너레이터에 해당하는 것으로 해석되어야 할 것이다.
일 실시예에서, 메모리부(320)는 DRAM으로 구성될 수 있다.
데이터 처리부(310)는 제1 및 제2 이미지 센서(111, 112)로부터 각각 제1 및 제2이미지 데이터를 제공받는다.
일 실시예에서, 직접 메모리 접근부(311)는 제1 및 제2 이미지 센서(111, 112)로부터 수신된 제1 및 제2 이미지 데이터(원본 이미지)를 중앙 처리 장치를 경유하지 않고 DRAM(320)의 제1 및 제2 원본 이미지 저장 영역(321-1, 321-2) 각각에 순차적으로 저장([(L, n0), (L, n1), ……(L, nx)], [(R, n0), (R, n1), ……(R, nx)])할 수 있다.
일 실시예에서, 제1 및 제2 다운 스케일부(312-1, 312-2)는 제1 및 제2 이미지 센서(111, 112)로부터 수신된 제1 및 제2 이미지 데이터(원본 이미지)를 기정의된 사이즈로 압축시켜 각각 제1 및 제2 다운 스케일 이미지 데이터를 생성할수 있다. 여기에서, 직접 메모리 접근부(311)는 제1 및 제2 다운 스케일부(312-1, 312-2)에 의하여 생성된 제1 및 제2 다운 스케일 이미지 데이터를 중앙 처리 장치를 경유하지 않고 DRAM(320)의 제1 및 제2 다운 스케일 이미지 저장 영역(322-1, 322-2) 각각에 순차적으로 저장([(L, n0), (L, n1), ……(L, nx)], [(R, n0), (R, n1), ……(R, nx)])할 수 있다.
일 실시예에서, 제1 및 제2 엣지 처리부(213-1, 213-2)는 제1 및 제2 이미지 센서(111, 112)로부터 수신된 제1 및 제2 이미지 데이터(원본 이미지)를 기초로 각각 제1 및 제2 엣지 이미지 데이터를 생성할 수 있다. 다른 일 실시예에서, 제1 및 제2 엣지 처리부(313-1, 313-2)는 직접 메모리 접근부(311)로부터 제1 및 제2 다운 스케일 이미지 저장 영역(323-1, 323-2)에 저장된 제1 및 제2 다운 스케일 이미지 데이터를 제공받고, 제공받은 제1 및 제2 다운 스케일 이미지 데이터를 기초로 각각 제1 및 제2 엣지 이미지 데이터를 생성할 수 있다. 이후, 직접 메모리 접근부(311)는 제1 및 제2 엣지 처리부(313-1, 313-2)에 의하여 생성된 제1 및 제2 엣지 이미지 데이터를 중앙 처리 장치를 경유하지 않고 DRAM (320)의 제1 및 제2 엣지 이미지 저장 영역(323-1, 323-2) 각각에 순차적으로 저장([(L, n0), (L, n1), ……(L, nx)], [(R, n0), (R, n1), ……(R, nx)])할 수 있다.
여기에서, 다운 스케일부(312-1, 312-2) 및 엣지 처리부(313-1, 313-2)은 각각 독립적으로 동작할 수 있으며, 직접 메모리 접근부(311)는 제1 및 제2 원본 이미지 데이터, 제1 및 제2 다운 스케일 이미지 데이터 및 제1 및 제2 엣지 이미지 데이터를 동시에 DRAM(320)의 각 할당된 저장 영역에 저장할 수 있다.
깊이 이미지 생성부(314)는 직접 메모리 접근부(311)로부터 제1 및 제2 엣지 이미지 저장 영역(323-1, 323-2)에 저장된 제1 및 제2 엣지 이미지 데이터를 제공받고, 제공받은 제1 및 제2 엣지 이미지 데이터를 기초로 깊이 이미지 데이터를 생성할 수 있다.
이하에서는 본 발명에 따른 3차원 이미지 생성부(210)에서 깊이 이미지 데이터를 생성하는 과정에 대하여 보다 상세하게 설명한다.
데이터 처리부(310)의 직접 메모리 접근부(311)는 스테레오 카메라(110)에 포함된 제1 이미지 센서(111) 및 제2 이미지 센서(112)로부터 생성된 제1 및 제2 이미지 데이터(원본 이미지)를 중앙 처리 장치를 경유하지 않고 DRAM(320)의 제1 및 제2 원본 이미지 저장 영역(321-1, 321-2) 각각에 저장할 수 있다.
이와 동시에, 제1 및 제2 다운 스케일부(312-1, 312-2)는 제1 및 제2 이미지 데이터(원본 이미지)를 기정의된 사이즈로 압축시켜 각각 제1 및 제2 다운 스케일 이미지 데이터를 생성하고, 직접 메모리 접근부(311)는 제1 및 제2 다운 스케일 이미지 데이터를 중앙 처리 장치를 경유하지 않고 DRAM(320)의 제1 및 제2 다운 스케일 이미지 저장 영역(322-1, 322-2) 각각에 저장할 수 있다. 여기에서, 제1 및 제2 다운 스케일부(312-1, 312-2)는 제1 및 제2 다운 스케일 이미지 데이터에 수평 보정 알고리즘을 적용함으로써, S/W적으로 제1 및 제2 이미지 센서(111, 112)의 수평을 보정할 수 있다.
일 실시예에서, 제1 및 제2 엣지 처리부(313-1, 313-2)는 직접 메모리 접근부(311)로부터 제1 및 제2 다운 스케일 이미지 저장 영역(323-1, 323-2)에 저장된 제1 및 제2 다운 스케일 이미지 데이터를 제공받고, 제공받은 제1 및 제2 다운 스케일 이미지 데이터에 Sobel filter를 적용하여 제1 및 제2 엣지 이미지 데이터(예 : gradient image)를 생성할 수 있다. 이후, 직접 메모리 접근부(311)는 제1 및 제2 엣지 처리부(313-1, 313-2)에 의하여 생성된 제1 및 제2 엣지 이미지 데이터를 중앙 처리 장치를 경유하지 않고 DRAM (220)의 제1 및 제2 엣지 이미지 저장 영역(223-1, 223-2)에 저장할 수 있다. 다른 일 실시예에서, 제1 및 제2 엣지 처리부(313-1, 313-2)는 제1 및 제2 원본 이미지 데이터에 Sobel filter를 적용하여 제1 및 제2 엣지 이미지 데이터(예 : gradient image)를 생성할 수 있으며, 본 실시예에 따르면 제1 및 제2 다운 스케일 이미지를 이용하는 경우와 비교하여 고화질의 깊이 이미지 데이터가 생성될 수 있다.
깊이 이미지 생성부(314)는 직접 메모리 접근부(311)로부터 제1 및 제2 엣지 이미지 저장 영역(323-1, 323-2)에 저장된 제1 및 제2 엣지 이미지 데이터를 제공받고, 제공받은 제1 및 제2 엣지 이미지 데이터를 기초로 깊이 이미지 데이터를 생성할 수 있다. 보다 구체적으로, 깊이 이미지 생성부(314)는 제1 및 제2 엣지 이미지 데이터(예 : gradient image)에서 블록별로 좌우 매칭되는 블록을 검출(Block Matching)하여 disparity map을 생성할 수 있으며, 이후 스테레오 카메라(110)의 baseline, Focal length 등의 값을 이용하여 깊이 이미지 데이터를 생성할 수 있다. 한편, 깊이 이미지를 생성하는 알고리즘은 본 발명의 핵심적인 구성이 아니며, 공지의 다양한 알고리즘이 적용될 수 있다. 즉, 본 발명의 핵심적인 기술적 사상은, 스테레오 카메라(110)로부터 수신되는 이미지 데이터를 독립적으로 병렬 처리하여 메모리부(320)에 저장하고 저장된 이미지를 깊이 이미지 생성에 이용할 수 있도록 하는 이미지 처리 장치의 구성이므로, 깊이 이미지를 생성하는 구체적인 알고리즘에 한정되지 않는 것으로 해석되어야 한다.
이상에서 설명한 본 발명에 따른 3차원 이미지 생성부(210)에 따르면, 128bit 단위로 데이터 병렬 처리가 가능하며 약 860fps 수준으로 고속 이미지 처리가 가능함에 따라, 사용자의 운동 자세 분석을 위한 자세 이미지를 고속으로 생성하여 제공할 수 있다.
이상에서는 도 3 내지 6을 참조하여, 본 발명의 다양한 실시예에 따른 깊이 이미지를 생성하는 기술에 대하여 상세하게 설명하였다. 이하에서는 도 7 내지 10을 참조하여, 본 발명의 실시예에 따른 자세 이미지를 생성하는 기술에 대하여 상세하게 설명한다.
도 7은 본 발명의 일 실시예에 따른 자세 이미지를 생성하기 위한 자세 이미지 생성부(220)를 설명하기 위한 블록도이며, 도 8 내지 10은 본 발명의 일 실시예에 따른 자세 이미지의 생성 과정을 설명하기 위한 참조도(3차원 이미지 생성부에 의하여 생성된 깊이 이미지 예시이며, 도 8(A)는 n1 시점, 8(B)는 n2 시점에서의 깊이 이미지 예시임)이다.
도 7을 참조하면, 자세 이미지 생성부(220)는 3차원 이미지 생성부(210)에 의하여생성된 깊이 이미지 데이터를 기초로 자세 이미지를 생성하는 장치로, 일 실시예에서, 특징점 추출부(410), 움직임 분석부(420) 및 이미지 처리부(430)를 포함하여 구성될 수 있다.
일 실시예에서, 특징점 추출부(410)는 3차원 이미지 생성부(210)에 의하여 생성된 깊이 이미지 데이터에서 사용자의 운동 자세와 연관된 운동 특징점을 추출할 수 있다. 여기에서, 운동 특징점은 이미지 생성 장치의 관리자에 의하여 기정의될 수 있다.
일 실시예에서, 운동 특징점은 사용자의 머리, 어깨, 허리, 손, 무릎, 발, 타격 기구 중 적어도 하나와 연관되어 정의될 수 있다.
예를 들어, 도 8(A)를 참조하면, 특징점 추출부(410)는 3차원 이미지 생성부(210)에 의하여 생성된 깊이 이미지 데이터에서 기정의된 운동 특징점(예 : 머리, 어깨, 허리, 양손, 양무릎, 양발 및 타격 기구의 단부 등)을 추출할 수 있다.
여기에서, 사용자가 착용하는 의류(모자, 상의, 하의, 신발 등) 및 타격 기구의 단부에 특정 마커가 부착되어, 특징점 추출부(410)가 깊이 이미지 데이터에서 해당 마커와 대응되는 지점을 운동 특징점으로 추출할 수 있으며, 이러한 마커가 없더라도 시간상 최초의 깊이 이미지 데이터(T=n0)에서 특정 지점을 운동 특징점으로 정의하고, 특징점 추출부(410)가 이후의 깊이 이미지 데이터(T=n1, n2, …… nx)에서 해당 지점을 추적하는 방식으로, 특정 시점의 깊이 이미지 데이터(T=nx)에서 운동 특징점을 추출할 수도 있다. 한편, 이미지 데이터에서 특징점을 추출하는 알고리즘은 공지의 다양한 알고리즘이 적용될 수 있음은 물론이며, 이미지 처리 기술 분야의 당업자라면 이상의 설명을 통해 본 발명의 기술적 사상을 명확하게 이해하고 구현할 수 있을 것이다.
일 실시예에서, 움직임 분석부(420)는 특징점 추출부(410)에 의하여 추출된 운동 특징점의 시간에 따른 위치 변화를 기초로 사용자의 운동 자세와 연관된 사용자 자세 정보를 생성할 수 있다. 여기에서, 사용자 자세 정보는 사용자의 움직임에 따른 스윙 궤적, 회전축의 위치, 회전축의 이동, 무게 중심의 위치 및 무게 중심의 이동 중 적어도 하나를 시각적으로 나타낼 수 있는 데이터에 해당할 수 있다.
도 9를 참조하여 사용자 자세 정보를 생성하는 과정의 예시를 보다 상세하게 설명한다.
움직임 분석부(420)는 깊이 이미지 데이터에서 운동 특징점의 시간에 따른 위치 변화를 추적할 수 있다. 예를 들어, 움직임 분석부(420)는 도 9(A)와 같이, 깊이 이미지 데이터에서 손목 및 어깨 부위로 정의된 운동 특징점의 3차원 위치 좌표를 추적하여 중심점을 기준으로 x, y, z축 별 위치 좌표 함수를 도출할 수 있다. 여기에서, 움직임 분석부(420)는 도출된 운동 특징점들의 3차원 위치 좌표 함수의 노이즈를 제거하기 위하여 노이즈 제거 필터를 적용할 수 있으며, 예를 들어, 최소 자승법 또는 RANSAC에 기초한 노이즈 제거 필터를 적용하여 도 9(B)와 같은 보정된 위치 좌표 함수를 도출할 수 있다. 이후, 움직임 분석부(420)는 보정된 위치 좌표 함수를 기초로 손목 및 어깨에 대한 운동 특징점들이 연결된 직선이 시간에 따라 이동한 평면을 도출하여 사용자 자세 정보(스윙 궤적을 나타내는 스윙 플레인)를 생성할 수 있다. 이와 동일한 방식으로 머리 중심 및 허리 중심 위치로 정의된 운동 특징점들의 3차원 위치 변화를 추적함으로써, 사용자 자세 정보(스윙 축의 위치 또는 위치 변화)를 생성할 수 있다. 한편, 깊이 이미지에서 특징점의 3차원 위치 변화를 추적하는 방식은 본 발명의 핵심적인 기술적 사상은 아니며, 최소 자승법 또는 RANSAC 이외 다양한 공지의 알고리즘이 적용될 수 있음은 물론이다.
일 실시예에서, 이미지 처리부(430)는 움직임 분석부(420)에 의하여 생성된 사용자 자세 정보를 기초로 자세 이미지를 생성할 수 있다. 여기에서, 자세 이미지는 사용자의 움직임에 따른 운동 자세를 시각적, 직관적으로 표현하는 이미지를 의미할 수 있다.
일 실시예에서, 이미지 처리부(430)는 3차원 이미지 생성부(210)에 의하여 생성된 깊이 이미지 데이터와, 움직임 분석부(420)에 의하여 생성된 사용자 자세 정보를 매칭하여 자세 이미지를 생성할 수 있다. 다른 일 실시예에서, 이미지 처리부(430)는 이미지 센싱 장치(100)의 2D 카메라(120)로부터 수신되는 2D 이미지 데이터와, 움직임 분석부(420)에 의하여 생성된 사용자 자세 정보를 매칭하여 자세 이미지를 생성할 수 있다.
예를 들어, 이미지 처리부(430)는 도 10과 같이, 사용자의 골프 스윙 자세를 직관적으로 나타내는 자세 이미지를 생성할 수 있으며, 여기에서, 이미지 처리부(430)는 특정 시점에서의 깊이 이미지에 스윙 플레인(910) 및 회전축 위치(920)를 포함하는 사용자 자세 정보를 매칭하여 자세 이미지를 생성할 수 있다. (즉, 깊이 이미지를 배경으로 하여 스윙 플레인 및 회전축 위치를 표현)
또는, 이미지 처리부(430)는 특정 시점에서의 2D 이미지에 스윙 플레인(910) 및 회전축 위치(920)를 포함하는 사용자 자세 정보를 매칭하여 자세 이미지를 생성할 수 있다. 일 실시예에서, 2D 이미지는 깊이 이미지와 비교하여 고화질의 컬러 이미지에 해당할 수 있다. (즉, 고화질 컬러 이미지를 배경으로 하여 스윙 플레인 및 회전축 위치를 표현)
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
10 : 이미지 처리 시스템
100 : 이미지 센싱 장치
110 : 스테레오 카메라, 120 : 2D 카메라
111 : 제1 이미지 센서, 112 : 제2 이미지 센서
200 : 이미지 생성 장치
210 : 3차원 이미지 생성부
220 : 자세 이미지 생성부
310 : 데이터 처리부
311 : 직접 메모리 접근부
312 : 다운 스케일부
313 : 엣지 처리부
314 : 깊이 이미지 생성부
320 : 메모리부
321 : 원본 이미지 저장 영역
322 : 다운 스케일 이미지 저장 영역
323 : 엣지 이미지 저장 영역
410 : 특징점 추출부
420 : 움직임 분석부
430 : 이미지 처리부

Claims (12)

  1. 적어도 하나의 이미지 센서를 포함하는 이미지 센싱 장치와 연결될 수 있는, 사용자의 운동 자세 분석을 위한 이미지 생성 장치에 있어서,
    특정 운동을 수행하는 사용자가 촬영된 이미지 데이터를 상기 이미지 센싱 장치로부터 시간 단위마다 수신하고, 기정의된 이미지 처리 프로세스에 따라 상기 수신된 이미지 데이터를 처리하여 깊이 이미지(depth image) 데이터를 생성하는 3차원 이미지 생성부; 및
    상기 생성된 깊이 이미지 데이터를 기초로 상기 사용자의 운동 자세와 연관된 사용자 자세 정보를 생성하고, 상기 생성된 사용자 자세 정보를 시각적으로 표현하는 자세 이미지를 생성하는 자세 이미지 생성부;를 포함하는
    사용자의 운동 자세 분석을 위한 이미지 생성 장치.
  2. 제1항에 있어서, 상기 3차원 이미지 생성부는
    각각 독립적으로 수행되는 기정의된 복수의 이미지 처리 프로세스에 따라, 상기 이미지 센싱 장치로부터 수신된 이미지 데이터를 처리하는 데이터 처리부; 및
    상기 이미지 센싱 장치로부터 수신된 이미지 데이터와 상기 복수의 이미지 처리 프로세스에 따라 처리된 복수의 이미지 데이터 각각을, 할당된 각 데이터 저장 영역에 독립적으로 저장하는 메모리부;를 포함하는
    사용자의 운동 자세 분석을 위한 이미지 생성 장치.
  3. 제2항에 있어서, 상기 데이터 처리부는
    상기 수신된 이미지 데이터와 상기 처리된 복수의 이미지 데이터 각각을, 중앙 처리 장치를 경유하지 않고 상기 할당된 데이터 저장 영역에 직접 저장하는 직접 메모리 접근부를 포함하는 것을 특징으로 하는 사용자의 운동 자세 분석을 위한 이미지 생성 장치.
  4. 제3항에 있어서, 상기 데이터 처리부는
    상기 이미지 센싱 장치로부터 수신된 이미지 데이터를 기정의된 사이즈로 압축시켜 다운 스케일 이미지 데이터를 생성하는 다운 스케일부와,
    상기 이미지 센싱 장치로부터 수신된 이미지 데이터를 기초로 엣지 이미지 데이터를 생성하는 엣지 처리부를 포함하는 것을 특징으로 하는 사용자의 운동 자세 분석을 위한 이미지 생성 장치.
  5. 제4항에 있어서, 상기 직접 메모리 접근부는
    상기 이미지 센싱 장치로부터 수신된 이미지 데이터를 상기 메모리부의 원본 이미지 저장 영역에,
    상기 생성된 다운 스케일 이미지 데이터를 상기 메모리부의 다운 스케일 이미지 저장 영역에,
    상기 생성된 엣지 이미지 데이터를 상기 메모리부의 엣지 이미지 저장 영역에,
    각각 독립적으로 저장하는 것을 특징으로 하는 사용자의 운동 자세 분석을 위한 이미지 생성 장치.
  6. 제5항에 있어서,
    상기 이미지 센싱 장치는 시차를 가지도록 이격된 위치에 배치된 제1 및 제2 이미지 센서를 포함하여 구성되는 스테레오 카메라를 포함하며,
    상기 데이터 처리부는 기정의된 이미지 처리 프로세스에 따라 상기 제1 및 제2 이미지 센서로부터 수신된 제1 및 제2 이미지 데이터를 처리하여 깊이 이미지(depth image) 데이터를 생성하는 것을 특징으로 하는 사용자의 운동 자세 분석을 위한 이미지 생성 장치.
  7. 제6항에 있어서, 상기 직접 메모리 접근부는
    상기 제1 및 제2 이미지 센싱 장치로부터 수신된 제1 및 제2 이미지 데이터를 각각 상기 메모리부의 제1 및 제2 원본 이미지 저장 영역에,
    상기 제1 및 제2 이미지 센싱 장치로부터 수신된 제1 및 제2 이미지 데이터를 기초로 생성된 제1 및 제2 다운 스케일 이미지 데이터를 각각 상기 메모리부의 제1 및 제2 다운 스케일 이미지 저장 영역에,
    상기 제1 및 제2 이미지 센싱 장치로부터 수신된 제1 및 제2 이미지 데이터를 기초로 생성된 제1 및 제2 엣지 이미지 데이터를 각각 상기 메모리부의 제1 및 제2 엣지 이미지 저장 영역에,
    각각 독립적으로 저장하는 것을 특징으로 하는 사용자의 운동 자세 분석을 위한 이미지 생성 장치.
  8. 제7항에 있어서, 상기 데이터 처리부는
    상기 직접 메모리 접근부로부터 상기 제1 및 제2 엣지 이미지 저장 영역에 저장된 제1 및 제2 엣지 이미지 데이터를 제공받아, 상기 제공받은 제1 및 제2 엣지 이미지 데이터를 기초로 깊이 이미지(depth image) 데이터를 생성하는 깊이 이미지 생성부를 포함하는 것을 특징으로 하는 사용자의 운동 자세 분석을 위한 이미지 생성 장치.
  9. 제1항에 있어서, 상기 자세 이미지 생성부는
    상기 생성된 깊이 이미지 데이터에서 상기 사용자의 운동 자세와 연관된 운동 특징점을 추출하는 특징점 추출부를 포함하는 것을 특징으로 하는 사용자의 운동 자세 분석을 위한 이미지 생성 장치.
  10. 제9항에 있어서, 상기 자세 이미지 생성부는
    상기 추출된 운동 특징점의 시간에 따른 위치 변화를 기초로 상기 사용자의 운동 자세와 연관된 사용자 자세 정보를 생성하는 움직임 분석부;를 포함하는 것을 특징으로 하는 사용자의 운동 자세 분석을 위한 이미지 생성 장치.
  11. 제10항에 있어서, 상기 자세 이미지 생성부는
    상기 생성된 사용자 자세 정보를 시각적으로 표현하는 자세 이미지를 생성하는 이미지 처리부;를 포함하는 것을 특징으로 하는 사용자의 운동 자세 분석을 위한 이미지 생성 장치.
  12. 제11항에 있어서,
    상기 이미지 센싱 장치는 특정 운동을 수행하는 사용자를 고정된 위치에서 촬영하는 2D 카메라를 포함하며,
    상기 이미지 처리부는 상기 2D 카메라로부터 수신되는 2D 이미지 데이터 및 상기 생성된 깊이 이미지 데이터 중 적어도 하나와, 상기 생성된 사용자 자세 정보를 매칭하여 상기 자세 이미지를 생성하는 것을 특징으로 하는 사용자의 운동 자세 분석을 위한 이미지 생성 장치.
KR1020180046036A 2018-04-20 2018-04-20 사용자의 운동 자세 분석을 위한 이미지 생성 장치 KR102185320B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180046036A KR102185320B1 (ko) 2018-04-20 2018-04-20 사용자의 운동 자세 분석을 위한 이미지 생성 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180046036A KR102185320B1 (ko) 2018-04-20 2018-04-20 사용자의 운동 자세 분석을 위한 이미지 생성 장치

Publications (2)

Publication Number Publication Date
KR20190122369A true KR20190122369A (ko) 2019-10-30
KR102185320B1 KR102185320B1 (ko) 2020-12-01

Family

ID=68463136

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180046036A KR102185320B1 (ko) 2018-04-20 2018-04-20 사용자의 운동 자세 분석을 위한 이미지 생성 장치

Country Status (1)

Country Link
KR (1) KR102185320B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022026693A1 (en) * 2020-07-29 2022-02-03 Teqball Holding S.À.R.L. Methods and systems for performing object detection and object/user interaction to assess user performance
WO2022055318A1 (ko) * 2020-09-14 2022-03-17 주식회사 골프존 골프스윙에 대한 센싱장치 및 이를 이용한 클럽헤드의 임팩트 위치 센싱방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090105031A (ko) * 2008-04-01 2009-10-07 박찬애 영상처리기법을 이용한 골프 클리닉 시스템 및 그것의운용방법
KR101504538B1 (ko) 2014-08-12 2015-03-20 (주) 골프존 운동 자세 분석 장치 및 운동 자세 분석 정보 생성 방법
KR20160099948A (ko) * 2015-02-13 2016-08-23 삼성전자주식회사 위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치
KR101683194B1 (ko) 2015-02-09 2016-12-06 선문대학교산학협력단 깊이 영상에서 가장자리 쌍 기반의 손 추적 방법
KR20170007720A (ko) * 2015-07-12 2017-01-20 정태연 실시간 운동량 측정 관리 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090105031A (ko) * 2008-04-01 2009-10-07 박찬애 영상처리기법을 이용한 골프 클리닉 시스템 및 그것의운용방법
KR101504538B1 (ko) 2014-08-12 2015-03-20 (주) 골프존 운동 자세 분석 장치 및 운동 자세 분석 정보 생성 방법
KR101683194B1 (ko) 2015-02-09 2016-12-06 선문대학교산학협력단 깊이 영상에서 가장자리 쌍 기반의 손 추적 방법
KR20160099948A (ko) * 2015-02-13 2016-08-23 삼성전자주식회사 위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치
KR20170007720A (ko) * 2015-07-12 2017-01-20 정태연 실시간 운동량 측정 관리 시스템 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022026693A1 (en) * 2020-07-29 2022-02-03 Teqball Holding S.À.R.L. Methods and systems for performing object detection and object/user interaction to assess user performance
WO2022055318A1 (ko) * 2020-09-14 2022-03-17 주식회사 골프존 골프스윙에 대한 센싱장치 및 이를 이용한 클럽헤드의 임팩트 위치 센싱방법
KR20220035616A (ko) * 2020-09-14 2022-03-22 주식회사 골프존 골프스윙에 대한 센싱장치 및 이를 이용한 클럽헤드의 임팩트 위치 센싱방법
TWI801992B (zh) * 2020-09-14 2023-05-11 南韓商高爾縱股份有限公司 對高爾夫揮桿的感測裝置及利用該感測裝置的球桿頭的打擊位置感測方法

Also Published As

Publication number Publication date
KR102185320B1 (ko) 2020-12-01

Similar Documents

Publication Publication Date Title
CN106503671B (zh) 确定人脸姿态的方法和装置
KR102514697B1 (ko) 골프 동작 분석 장치 및 방법
US9235753B2 (en) Extraction of skeletons from 3D maps
KR101472274B1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
KR101723432B1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
TWI448318B (zh) 虛擬高爾夫模擬裝置及其使用之感測裝置與感測方法
US20140004969A1 (en) Virtual golf simulation apparatus and sensing device and method used for the same
US8565477B2 (en) Visual target tracking
Takahashi et al. Human pose as calibration pattern; 3D human pose estimation with multiple unsynchronized and uncalibrated cameras
KR102185320B1 (ko) 사용자의 운동 자세 분석을 위한 이미지 생성 장치
Hwang et al. Athlete pose estimation by a global-local network
BR102019000927A2 (pt) Projetar uma projeção de raio a partir de uma vista em perspectiva
JP6933110B2 (ja) カメラの外部パラメータの推定方法、推定装置および推定プログラム
TW201435810A (zh) 供感測移動球體的裝置及其方法
CN115035546A (zh) 三维人体姿态检测方法、装置及电子设备
CN110841266A (zh) 一种辅助训练系统及方法
JP6775669B2 (ja) 情報処理装置
TW201827788A (zh) 用於計算運動的客體的位置資訊的感測裝置以及利用該裝置的感測 方法
CN115223240B (zh) 基于动态时间规整算法的运动实时计数方法和系统
KR101321022B1 (ko) 증강 현실 구현 방법 및 증강 현실을 구현하는 컴퓨팅 장치 및 시스템
WO2018207388A1 (ja) モーションキャプチャに関するプログラム、装置および方法
US20220273998A1 (en) Detecting method of golf club and sensing device using the same
KR102614770B1 (ko) 객체 검출 및 행동패턴 분석을 통한 비대면 골프 티칭 시스템
KR101551685B1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
CN109146969A (zh) 行人定位方法、装置及处理设备及其存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant