KR20200025810A - 동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템 - Google Patents
동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템 Download PDFInfo
- Publication number
- KR20200025810A KR20200025810A KR1020180103718A KR20180103718A KR20200025810A KR 20200025810 A KR20200025810 A KR 20200025810A KR 1020180103718 A KR1020180103718 A KR 1020180103718A KR 20180103718 A KR20180103718 A KR 20180103718A KR 20200025810 A KR20200025810 A KR 20200025810A
- Authority
- KR
- South Korea
- Prior art keywords
- video content
- layer
- recognition
- recognition module
- resolution
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 title claims abstract description 17
- 238000003860 storage Methods 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims description 32
- 238000002790 cross-validation Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000000638 stimulation Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000013480 data collection Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 229910001172 neodymium magnet Inorganic materials 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 230000001755 vocal effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000002716 delivery method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002500 effect on skin Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/41—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템에 관한 것으로서, 동영상 콘텐츠에 포함된 정보를 인식하는 적어도 하나의 인식 모듈을 저장하는 저장부; 및 정보를 인식하고자 하는 동영상 콘텐츠를 지정하고, 상기 동영상 콘텐츠의 적어도 하나의 영역과 상기 저장부에 저장된 상기 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 상기 적어도 하나의 인식 모듈을 통해 상기 동영상 콘텐츠에 포함된 정보를 인식하는 제어부를 포함한다.
Description
본 발명은 영상 처리에 관한 것으로, 더욱 상세하게는 동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템에 관한 것이다.
게임 등과 같은 동영상에는 문자, 숫자, 및 이미지를 포함한 다양한 정보가 포함된다. 이러한 동영상에서 시간에 따라 자동으로 정보를 추출하거나, 각각의 정보가 등장하는 구간 또는 위치에 관한 정보를 알게 되면, 해당 정보와 관련된 부가정보를 제공하기 편리할 뿐만 아니라 다양한 응용 서비스 제공에 효과적으로 활용할 수 있다.
그러나, 기존의 영상 인식 프로그램이나 게임 데이터 인식 프로그램은 공개 소스 컴퓨터 비전(Open Source Computer Vision; Open CV)이나 머신 러닝과 같은 개발 여력을 요구하였다. 또한, 게임 데이터를 분석하기 위해서는 해석 모델 선정 튜닝 데이터 제작 프로그램 등과 같은 일회성 프로그램들을 다량으로 제작할 필요가 있었으며, 이에 반복적인 작업을 많이 요구하였다.
본 명세서는 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 개발자가 아니더라도 그래픽 유저 인터페이스 환경을 통해 다수의 사용자가 동영상 콘텐츠에 포함된 정보를 인식하기 위한 프로그램을 손쉽게 튜닝하고 제작할 수 있는 동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템을 제공하는 데 그 목적이 있다.
본 명세서의 다른 목적은 자동화된 영상 인식 워크 플로우, 화면데이터 수집 프로그램의 자동 생성, 및 웹을 통한 모델 데이터 튜닝 자동화 등의 간편화된 사용자 환경을 제공할 수 있는 동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템를 제공한다.
이와 같은 목적을 달성하기 위한, 본 명세서의 실시예에 따르면, 본 명세서에 따른 영상 처리 시스템은, 동영상 콘텐츠에 포함된 정보를 인식하는 복수의 인식 모듈을 저장하는 웹 서버; 및 상기 웹 서버로부터 상기 복수의 인식 모듈 중에 적어도 하나의 인식 모듈을 수신하고, 상기 정보를 인식하고자 하는 상기 동영상 콘텐츠를 지정하며, 상기 동영상 콘텐츠의 적어도 하나의 영역과 상기 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 상기 적어도 하나의 인식 모듈을 통해 상기 동영상 콘텐츠에 포함된 정보를 인식하는 동영상 콘텐츠 인식 장치를 포함한다.
바람직하게는, 상기 동영상 콘텐츠에 포함된 각종 정보를 인식 모듈에 입력하고, 상기 인식 모듈의 결과값들에 대한 교차 검증을 수행하여 상기 복수의 인식 모듈을 업데이트하는 복수의 교차 검증 장치를 더 포함하는 것을 특징으로 한다.
본 명세서의 다른 실시예에 따르면, 본 명세서에 따른 동영상 콘텐츠 인식 장치는, 동영상 콘텐츠에 포함된 정보를 인식하는 적어도 하나의 인식 모듈을 저장하는 저장부; 및 정보를 인식하고자 하는 동영상 콘텐츠를 지정하고, 상기 동영상 콘텐츠의 적어도 하나의 영역과 상기 저장부에 저장된 상기 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 상기 적어도 하나의 인식 모듈을 통해 상기 동영상 콘텐츠에 포함된 정보를 인식하는 제어부를 포함한다.
바람직하게는, 상기 제어부는 타임 테이블에 상기 동영상 콘텐츠를 색인하고, 색인별 레이어를 설정하며, 각 레이어에 상기 인식 모듈을 삽입하여 상기 화면데이터 수집 프로그램을 생성하는 것을 특징으로 한다.
바람직하게는, 상기 제어부는 상기 동영상 콘텐츠에 마스크를 설정하고, 상기 마스크에 영상 해상도와 각 영역의 해상도별 변화 특성을 설정한 후, 색인별로 사용할 레이어를 선택하는 것을 특징으로 한다.
바람직하게는, 상기 제어부는 각 영역의 해상도별 변화 특성으로서 선형 및 비선형 중 어느 하나를 선택하는 것을 특징으로 한다.
바람직하게는, 상기 제어부는 각 영역의 해상도별 변화 특성으로서 비선형을 선택한 경우, 사용자로부터 입력받은 좌표값을 기준으로 해상도를 변화시키는 것을 특징으로 한다.
바람직하게는, 상기 제어부는 좌표값이 입력되지 않은 해상도에 대해서는 스플라인 보간(Spline Interpolation)을 통해 해상도를 변화시키는 것을 특징으로 한다.
바람직하게는, 상기 색인별로 사용할 레이어는 기본 레이어, 영역의 일부분을 자른 뒤, 내부의 특징점들의 위치값을 검출하고, 검출된 위치값을 기본값과 비교하여 영역의 흔들림을 보정하는 흔들림 보정 레이어, 반투명 레이어, 및 위치, 해상도별로 변화 특성이 다른 영역을 지정하는 추가 레이어 중 적어도 하나를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 제어부는 영역 위치 충진 레이어(UI Location Filling Layer)를 통해 상기 레이어 상에 상기 인식 모듈이 입력되는 영역을 지정하고, 상기 영역 위치 충진 레이어에 상기 인식 모듈을 삽입하는 것을 특징으로 한다.
본 명세서의 또 다른 실시예에 따르면, 본 명세서에 따른 동영상 콘텐츠 인식 방법은, 동영상 콘텐츠에 포함된 정보를 인식하는 동영상 콘텐츠 인식 장치의 동영상 콘텐츠 인식 방법에 있어서, 상기 동영상 콘텐츠에 포함된 정보를 인식하는 적어도 하나의 인식 모듈을 수신 및 저장하는 단계; 상기 정보를 인식하고자 하는 상기 동영상 콘텐츠를 지정하는 단계; 및 상기 동영상 콘텐츠의 적어도 하나의 영역과 상기 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 상기 적어도 하나의 인식 모듈을 통해 상기 동영상 콘텐츠에 포함된 정보를 인식하는 단계를 포함한다.
바람직하게는, 상기 동영상 콘텐츠에 포함된 정보를 인식하는 단계는, 타임 테이블에 상기 동영상 콘텐츠를 색인하는 단계; 색인별 레이어를 설정하는 단계; 및 각 레이어에 상기 인식 모듈을 삽입하는 단계를 포함한다.
바람직하게는, 상기 색인별 레이어를 설정하는 단계는, 상기 동영상 콘텐츠에 마스크를 설정하는 단계; 상기 마스크에 영상 해상도와 각 영역의 해상도별 변화 특성을 설정하는 단계; 및 색인별로 사용할 레이어를 선택하는 단계를 포함한다.
바람직하게는, 상기 해상도별 변화 특성을 설정하는 단계는, 각 영역의 해상도별 변화 특성으로서 선형 및 비선형 중 어느 하나를 선택하는 단계; 및 각 영역의 해상도별 변화 특성으로서 비선형을 선택한 경우, 사용자로부터 입력받은 좌표값을 기준으로 해상도를 변화시키는 단계를 포함한다.
바람직하게는, 상기 인식 모듈을 삽입하는 단계는, 영역 위치 충진 레이어(UI Location Filling Layer)를 통해 상기 레이어 상에 상기 인식 모듈이 입력되는 영역을 지정하는 단계; 및 상기 영역 위치 충진 레이어에 상기 인식 모듈을 삽입하는 단계를 포함한다.
이상에서 설명한 바와 같이 본 명세서에 의하면, 개발자가 아니더라도 그래픽 유저 인터페이스 환경을 통해 다수의 사용자가 동영상 콘텐츠에 포함된 정보를 인식하기 위한 프로그램을 손쉽게 튜닝하고 제작할 수 있다.
또한, 자동화된 영상 인식 워크 플로우, 화면데이터 수집 프로그램의 자동 생성, 및 웹을 통한 모델 데이터 튜닝 자동화 등의 간편화된 사용자 환경을 제공할 수 있다.
또한, 사용자별로 이루어졌던 프로그램의 제작 또한 캡차(Capcha)를 제공함으로써, 정확도 및 효율성을 향상시킬 수 있다.
도 1은 본 발명의 제1 실시예에 따른 영상 처리 시스템의 개략적인 구성을 나타낸 블럭 구성도,
도 2는 본 발명의 제1 실시예에 따른 동영상 콘텐츠 인식 장치 내부의 개략적인 구성을 나타낸 블럭 구성도,
도 3은 본 발명의 제1 실시예에 따른 동영상 콘텐츠 인식 방법을 나타낸 흐름도,
도 4는 본 발명의 제1 실시예에 따른 화면데이터 수집 프로그램을 생성하는 방법을 나타낸 흐름도,
도 5는 본 발명의 제1 실시예에 따른 각 색인별 레이어를 설정하는 방법을 나타낸 흐름도,
도 6은 본 발명의 제1 실시예에 따른 타임 테이블의 예시 화면을 나타낸 도면,
도 7은 본 발명의 제1 실시예에 따른 영상인식 프로그램의 예시 화면을 나타낸 도면,
도 8은 영역 위치 충진 레이어를 이용하여 인식 모듈에 입력될 영역을 지정하는 방법을 설명하기 위한 도면,
도 9는 본 발명의 제2 실시예에 따른 비언어 기반의 정보 전달 장치 내부의 개략적인 구성을 나타낸 도면,
도 10은 본 발명의 제2 실시예에 따른 솔레노이드 모듈의 구성을 나타낸 도면, 및
도 11은 본 발명의 제2 실시예에 따른 비언어 기반의 정보 전달 방법을 나타낸 흐름도이다.
도 2는 본 발명의 제1 실시예에 따른 동영상 콘텐츠 인식 장치 내부의 개략적인 구성을 나타낸 블럭 구성도,
도 3은 본 발명의 제1 실시예에 따른 동영상 콘텐츠 인식 방법을 나타낸 흐름도,
도 4는 본 발명의 제1 실시예에 따른 화면데이터 수집 프로그램을 생성하는 방법을 나타낸 흐름도,
도 5는 본 발명의 제1 실시예에 따른 각 색인별 레이어를 설정하는 방법을 나타낸 흐름도,
도 6은 본 발명의 제1 실시예에 따른 타임 테이블의 예시 화면을 나타낸 도면,
도 7은 본 발명의 제1 실시예에 따른 영상인식 프로그램의 예시 화면을 나타낸 도면,
도 8은 영역 위치 충진 레이어를 이용하여 인식 모듈에 입력될 영역을 지정하는 방법을 설명하기 위한 도면,
도 9는 본 발명의 제2 실시예에 따른 비언어 기반의 정보 전달 장치 내부의 개략적인 구성을 나타낸 도면,
도 10은 본 발명의 제2 실시예에 따른 솔레노이드 모듈의 구성을 나타낸 도면, 및
도 11은 본 발명의 제2 실시예에 따른 비언어 기반의 정보 전달 방법을 나타낸 흐름도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는 데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니됨을 유의해야 한다.
도 1은 본 발명의 제1 실시예에 따른 영상 처리 시스템의 개략적인 구성을 나타낸 블럭 구성도이다.
도 1을 참조하면, 본 발명에 따른 영상 처리 시스템은 웹 서버(110), 동영상 콘텐츠 인식 장치(120), 및 복수의 교차 검증 장치(130)를 포함할 수 있다.
웹 서버(110)는 영상인식 프로그램 및 동영상 콘텐츠에 포함된 정보를 인식하는 복수의 인식 모듈을 저장한다.
또한, 웹 서버(110)는 사용자가 레이어를 통해 삽입한 각 인식 모듈의 속성 정보를 포함하는 모듈 데이터와, 비후처리 데이터 및 후처리 데이터를 포함하는 학습 데이터를 포함할 수 있다.
여기서, 비후처리 데이터는 데이터에 관한 정보가 색인되지 않은 데이터, 즉, 인식 모듈과 최적화되지 않은 데이터를 나타낸다. 또한, 후처리 데이터는 사용자 또는 타인이 수작업을 통해 각 데이터와 최적화시키고 싶은 인식 모듈의 결과값들을 색인한 데이터들을 나타낸다. 즉, 후처리 데이터는 후술하는 복수의 교차 검증 장치(130)의 교차 검증을 통해 인식 모듈과 최적화된 데이터를 나타낸다. 이를 위해, 웹 서버(110)는 복수의 인식 모듈에 대한 오픈 소스를 복수의 교차 검증 장치(130)로 제공할 수 있다.
이처럼, 웹 서버(110)는 복수의 교차 검증 장치(130)에 의해 교차 검증된 학습 데이터를 토대로 업데이트된 인증 모듈을 동영상 콘텐츠 인식 장치(120)로 제공할 수 있다.
동영상 콘텐츠 인식 장치(120)는 웹 서버(110)에 접속하여 웹 서버(110)로부터 영상인식 프로그램 및 동영상 콘텐츠에 포함된 정보를 인식하기 위한 적어도 하나의 인식 모듈을 수신한다.
동영상 콘텐츠 인식 장치(120)는 수신한 영상인식 프로그램을 통해 운영체제 시스템(Operating System; OA) 상에서 정보를 인식하고자 하는 동영상 콘텐츠를 지정하고, 동영상 콘텐츠에서 정보를 인식하고자 하는 적어도 하나의 영역과 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 화면데이터 수집 프로그램을 생성하며, 생성된 화면데이터 수집 프로그램을 통해 동영상 콘텐츠에 포함된 정보를 인식할 수 있다. 동영상 콘텐츠 인식 장치(120)의 자세한 구조 및 동작에 대해서는 도 2에서 설명하기로 한다.
복수의 교차 검증 장치(130)는 웹 서버(110)에서 제공하는 복수의 인식 모듈에 대한 오픈 소스를 기반으로 동영상 콘텐츠에 포함된 각종 정보를 인식 모듈에 입력하고, 인식 모듈의 결과값들에 대한 교차 검증을 수행하여 복수의 인식 모듈을 업데이트한다. 구체적으로는, 초기에 한 명 또는 소규모 그룹의 사용자가 몇 개의 데이터를 만들어 인식 모듈의 정확도를 측정하여 기준을 만들고, 각각에 데이터에 대해 복수의 검증 인원이 검증을 수행하여 기설정된 사람 수 이상 동의한 경우, 유효한 데이터로 판정한다.
또한, 복수의 교차 검증 장치(130)는 캡차(Capcha) 등와 같은 자동 입력 방지 시스템을 통하여 인식 모듈의 정확도를 향상시킬 수 있다. 예를 들면, 복수의 교차 검증 인증 장치(130)는 인식 모듈의 이용자 수 및 만족도 등을 고려하여 데이터의 추가 확보가 필요한 인식 모듈의 경우, 캡차가 자주 등장하도록 할 수 있다.
본 발명의 실시예에서는 동영상 콘텐츠 인식 장치(110)와 복수의 교차 검증 장치(130)를 구분하여 설명하고 있지만, 동영상 콘텐츠 인식 장치(110)가 각각의 교차 검증 장치(130)가 될 수 있다.
도 2는 본 발명의 제1 실시예에 따른 동영상 콘텐츠 인식 장치 내부의 개략적인 구성을 나타낸 블럭 구성도이다.
도 2를 참조하면, 본 발명에 따른 동영상 콘텐츠 인식 장치(110)는 통신부(210), 화면데이터 수집 프로그램 생성부(220), 저장부(230), 및 화면데이터 수집부(240)를 포함할 수 있다. 여기서, 화면데이터 수집 프로그램 생성부(220) 및 화면데이터 수집부(240)가 제어부를 구성한다.
통신부(210)는 유무선 통신을 통해 웹 서버(110)와 데이터를 송수신한다. 즉, 통신부(210)는 웹 서버(110)로부터 영상인식 프로그램, 적어도 하나의 인식 모듈, 및 각 인식 모듈과 관련된 각종 데이터를 수신하고, 웹 서버(110)로 동영상 콘텐츠 인식 과정이나 화면데이터 수집 과정에서 생성되는 각종 데이터를 웹 서버(110)로 전송할 수 있다.
화면데이터 수집 프로그램 생성부(220)는 영상인식 프로그램을 통해 운영체제 시스템 상에서 정보를 인식하고자 하는 동영상 콘텐츠를 지정하고, 동영상 콘텐츠에서 정보를 인식하고자 하는 적어도 하나의 영역과 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 화면데이터 수집 프로그램을 생성한다.
구체적으로는, 화면데이터 수집 프로그램 생성부(220)는 화면데이터 수집 프로그램을 생성하기 위해서, 우선 동영상 콘텐츠를 불러오고, 영상 편집 툴을 이용하여 동영상 콘텐츠에서 시작 부분부터 인식이 종료되어야 하는 종료 부분까지 자른다. 그리고, 화면데이터 수집 프로그램 생성부(220)는 동영상 콘텐츠의 시작 부분과 끝 부분의 편집을 완료한 후에, 타임 테이블에 동영상 콘텐츠를 색인한다. 예를 들면, 화면데이터 수집 프로그램 생성부(220)는 메인 메뉴, 게임 시작창, 인게임 상황, 및 게임 종료 상황 등을 색인할 수 있다.
화면데이터 수집 프로그램 생성부(220)는 동영상 콘텐츠의 색인이 완료된 후에, 각 색인별 레이어를 설정한다.
구체적으로는, 화면데이터 수집 프로그램 생성부(220)가 각 색인별 레이어를 설정하는 과정은 다음과 같다.
우선, 화면데이터 수집 프로그램 생성부(220)는 동영상 콘텐츠에 마스크를 설정하고, 해상도의 변화에 따라 영역의 변화를 자동으로 잡아주기 위해 마스크에 영상 해상도와 각 영역의 해상도별 변화 특성을 설정한다. 여기서, 화면데이터 수집 프로그램 생성부(220)는 각 영역의 해상도별 변화 특성으로서 선형 및 비선형 중에 어느 하나를 선택할 수 있는데, 비선형을 선택한 경우, 사용자로부터 입력받은 좌표값을 기준으로 해상도를 변화시킨다. 이때, 화면데이터 수집 프로그램 생성부(220)는 좌표값이 입력되지 않은 해상도에 대해서는 스플라인 보간(Spline Interpolation)을 통해 해상도를 변화시킬 수 있다.
그리고, 화면데이터 수집 프로그램 생성부(220)는 각 영역의 해상도별 변화 특성을 설정한 후에, 색인별로 사용할 레이어를 선택한다. 즉, 화면데이터 수집 프로그램 생성부(220)는 레이어 선택창에서 색인별로 사용할 레이어를 선택한 후 드래그하여 모듈 생성용 트리에 옮겨놓는다. 여기서, 레이어는 기본적으로 마스킹의 바로 하단에 적용되는 기본 레이어, 영역의 일부분을 자른 뒤, 내부의 특징점들의 위치값을 검출하고, 검출된 위치값을 기본값(Default)과 비교하여 영역의 흔들림을 마스크 데이터와 영상 처리 기법으로 보정하는 흔들림 보정 레이어, 반투명 레이어의 감지를 위해 존재하는 반투명 레이어, 및 기존에 사용한 영역과 관계없이 별도로 동작하는 영역, 즉, 위치, 해상도별로 변화 특성이 다른 영역을 지정하는 추가 레이어를 포함할 수 있다.
화면데이터 수집 프로그램 생성부(220)는 색인별 레이어 설정이 완료된 후, 영역 위치 충진 레이어(UI Location Filling Layer)를 이용하여 각 영역별로 인식해야 하는 정보가 있는 부분을 정사각형 또는 직사각형 형태로 지정한 뒤 상위 레이어에 포함시킴으로써 인식 모듈을 위치시킬 수 있다. 결과적으로, 화면데이터 수집 프로그램 생성부(220)는 흔들림을 보정하는 레이어 상에서 인식해야 하는 범위를 안정적으로 조정할 수 있다.
화면데이터 수집 프로그램 생성부(220)는 영역 위치 충진 레이어를 위치시킨 뒤에 인식 모듈을 통해 인식해야 하는 정보가 어떤 종류의 정보인지 설정할 수 있다.
화면데이터 수집 프로그램 생성부(220)는 인식해야 하는 정보의 종류를 선택한 후에, 영역 위치 충진 레이어에 인식 모듈을 삽입한다. 여기서, 화면데이터 수집 프로그램 생성부(220)는 이전에 입력한 데이터의 종류에 맞게 사용할 수 있는 레이어를 강조하여 표시할 수 있고, 또한 영역 위치 충진 레이어에 대응되는 인식 모듈을 자동으로 제공할 수 있다. 예를 들면, 영역 위치 충진 레이어를 통해 인식 범위를 정하면, 그 인식 범위는 정사각형, 원형, 또는 직사각형 형태 등이 될 수 있는데, 화면데이터 수집 프로그램 생성부(220)는 인식 범위의 각 형태별로 대응되는 인식 모듈을 자동으로 추천하여 제공할 수 있다.
이와 더불어, 화면데이터 수집 프로그램 생성부(220)는 레이어의 특성 위주로 각 인식 모듈별 작동 원리에 대한 도움말을 제공할 수도 있다.
이와 같이, 화면데이터 수집 프로그램 생성부(220)는 동영상 콘텐츠를 색인하고, 색인별 레이어를 설정하며, 각 레이어에 인식 모듈을 삽입하는 일련의 절차를 통해 화면데이터 수집 프로그램을 생성할 수 있다.
저장부(230)는 통신부(210)를 통해 웹 서버(110)로부터 수신한 영상인식 프로그램 및 적어도 하나의 인식 모듈과, 화면데이터 수집 프로그램 생성부(220)에 의해 생성된 화면데이터 수집 프로그램을 저장한다. 이외에도, 저장부(230)는 화면데이터 수집 프로그램 및 영상인식 프로그램의 구동에 필요한 운영체제 및 영상인식 과정 및 화면데이터 수집 프로그램 생성 과정에 필요한 데이터들을 저장할 수도 있다. 예를 들면, 저장부(230)는 전술한 비후처리 데이터 및 후처리 데이터를 저장할 수 있다. 이를 위해, 저장부(230)는 복수의 저장 영역으로 나누어질 수도 있다.
또한, 저장부(230)는 주기적 또는 화면데이터 수집 프로그램의 실행시마다 웹 서버(110)로부터 업데이트된 인식 모듈을 수신할 수 있다.
화면데이터 수집부(240)는 저장부(230)에 저장된 화면데이터 수집 프로그램을 통해 사용자가 직접 플레이하는 화면에서 다량의 데이터를 인식할 수 있다.
따라서, 본 발명의 제1 실시예에 따르면, 사용자는 전술한 구성의 동영상 콘텐츠 인식 장치를 통해 복잡한 프로그래밍 없이 게임 데이터를 인식하는 프로그램을 제작할 수 있다.
도 3은 본 발명의 제1 실시예에 따른 동영상 콘텐츠 인식 방법을 나타낸 흐름도이다.
우선, 본 발명의 제1 실시예에서 동영상 콘텐츠를 인식하기 위해서는, 인식해야 하는 영역의 현재 상태와 위치, 그리고 인식하고자 하는 영역의 정보, 즉, 데이터의 데이터 타입을 포함하는 세 가지 요건이 필수적이며, 동영상 콘텐츠 인식 장치(120)는 이 세 가지 요건으로 영역에 인식 모듈을 위치시킬 수 있다.
본 발명의 실시예에서는 설명의 편의상, 동영상 콘텐츠로서 게임 동영상을 예로 들어 설명하고 있지만 이에 한정되는 것은 아니며, 동영상 콘텐츠는 영화, 스포츠, 드라마, 예능, 및 시사 등의 다양한 동영상을 포함할 수 있다. 특히, 본 발명의 실시예에서 동영상 콘텐츠의 영역이라 함은 유저 인터페이스(User Interface; UI)를 나타낸다.
도 3을 참조하면, 본 발명에 따른 동영상 콘텐츠 인식 장치(120)는 웹 서버(110)에 접속하여 웹 서버(110)로부터 영상인식 프로그램 및 동영상 콘텐츠에 포함된 정보를 인식하기 위한 적어도 하나의 인식 모듈을 수신한다(S310).
이어서, 동영상 콘텐츠 인식 장치(120)는 수신한 영상인식 프로그램을 통해 운영체제 시스템 상에서 정보를 인식하고자 하는 동영상 콘텐츠를 지정한다(S320). 이때, 동영상 콘텐츠 인식 장치(120)는 영상 편집 툴을 이용하여 동영상 콘텐츠의 시작 부분부터 인식이 종료되어야 하는 종료 부분까지 자른다.
이어서, 동영상 콘텐츠 인식 장치(120)는 동영상 콘텐츠에서 정보를 인식하고자 하는 적어도 하나의 영역과 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 화면데이터 수집 프로그램을 생성한다(S330).
끝으로, 동영상 콘텐츠 인식 장치(120)는 생성된 화면데이터 수집 프로그램을 통해 동영상 콘텐츠에 포함된 정보를 인식한다(S340).
도 4는 본 발명의 제1 실시예에 따른 화면데이터 수집 프로그램을 생성하는 방법을 나타낸 흐름도이다.
도 4를 참조하면, 동영상 콘텐츠 인식 장치(120)는 타임 테이블에 동영상 콘텐츠를 색인한다(S410). 예를 들면, 동영상 콘텐츠 인식 장치(120)는 메인 메뉴, 게임 시작창, 인게임 상황, 및 게임 종료 상황 등을 색인할 수 있다.
동영상 콘텐츠 인식 장치(120)는 동영상 콘텐츠의 색인이 완료된 후에, 각 색인별 레이어를 설정한다(S420).
이어서, 동영상 콘텐츠 인식 장치(120)는 색인별 레이어 설정이 완료된 후, 영역 위치 충진 레이어(UI Location Filling Layer)를 이용하여 각 영역별로 인식해야 하는 정보가 있는 부분을 지정한 뒤 상위 레이어에 포함시킴으로써 인식 모듈을 위치시킨다(S430). 여기서, 동영상 콘텐츠 인식 장치(120)는 인식해야 하는 정보가 있는 부분을 정사각형 또는 직사각형 형태로 지정할 수 있다.
동영상 콘텐츠 인식 장치(120)는 영역 위치 충진 레이어를 위치시킨 뒤에 인식 모듈을 통해 인식해야 하는 정보가 어떤 종류의 정보인지 설정한다(S440). 예를 들면, 인게임 데이터는 스킬의 온오프 또는 상태 이상과 같은 단순한 상태 정보와, 쿨타임 또는 준비시간 리스폰 타임과 같은 시간과 연관된 데이터와, HP나 아이템 개수와 같은 양적 측면의 데이터를 포함할 수 있다.
끝으로, 동영상 콘텐츠 인식 장치(120)는 인식해야 하는 정보의 종류를 선택한 후에, 영역 위치 충진 레이어에 인식 모듈을 삽입한다(S450). 여기서, 동영상 콘텐츠 인식 장치(120)는 이전에 입력한 데이터의 종류에 맞게 사용할 수 있는 레이어를 강조하여 표시할 수 있고, 또한 영역 위치 충진 레이어에 대응되는 인식 모듈을 자동으로 제공할 수 있다. 예를 들면, 영역 위치 충진 레이어를 통해 인식 범위를 정하면, 그 인식 범위는 정사각형, 원형, 또는 직사각형 형태 등이 될 수 있는데, 동영상 콘텐츠 인식 장치(120)는 인식 범위의 각 형태별로 대응되는 인식 모듈을 자동으로 추천하여 제공할 수 있다.
도 5는 본 발명의 제1 실시예에 따른 각 색인별 레이어를 설정하는 방법을 나타낸 흐름도이다.
도 5를 참조하면, 동영상 콘텐츠 인식 장치(120)는 동영상 콘텐츠에 마스크를 설정한다(S510).
동영상 콘텐츠 인식 장치(120)는 해상도의 변화에 따라 영역의 변화를 자동으로 잡아주기 위해 마스크에 영상 해상도와 각 영역의 해상도별 변화 특성을 설정한다(S520). 여기서, 동영상 콘텐츠 인식 장치(120)는 각 영역의 해상도별 변화 특성으로서 선형 및 비선형 중에 어느 하나를 선택할 수 있는데, 비선형을 선택한 경우, 사용자로부터 입력받은 좌표값을 기준으로 해상도를 변화시킨다. 이때, 동영상 콘텐츠 인식 장치(120)는 좌표값이 입력되지 않은 해상도에 대해서는 스플라인 보간을 통해 해상도를 변화시킬 수 있다.
동영상 콘텐츠 인식 장치(120)는 각 영역의 해상도별 변화 특성을 설정한 후에, 색인별로 사용할 레이어를 선택한다(S530). 즉, 동영상 콘텐츠 인식 장치(120)는 레이어 선택창에서 색인별로 사용할 레이어를 선택한 후 드래그하여 모듈 생성용 트리에 옮겨놓는다. 여기서, 레이어는 기본적으로 마스킹의 바로 하단에 적용되는 기본 레이어, 영역의 일부분을 자른 뒤, 내부의 특징점들의 위치값을 검출하고, 검출된 위치값을 기본값과 비교하여 영역의 흔들림을 마스크 데이터와 영상 처리 기법으로 보정하는 흔들림 보정 레이어, 반투명 레이어의 감지를 위해 존재하는 반투명 레이어, 및 기존에 사용한 영역과 관계없이 별도로 동작하는 영역, 즉, 위치, 해상도별로 변화 특성이 다른 영역을 지정하는 추가 레이어를 포함할 수 있다.
전술한 방법은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(Firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로컨트롤러 및 마이크로프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
도 6은 본 발명의 제1 실시예에 따른 타임 테이블의 예시 화면을 나타낸 도면이다.
도 6을 참조하면, 사용자는 타임 테이블에 메인 메뉴(610), 게임시작창(620), 인게임 상황(630), 및 게임 종료 상황(630) 등을 색인할 수 있다. 여기서, 인게임 상황(630)은 생존 상황 및 사망 상황을 포함할 수 있다.
또한, 타임 테이블의 셋팅은 영역이 달라지고, 인식 모듈의 전체적인 셋팅이나 인게임 플레이나 게임 큐 상태 등에 따라 변경될 수 있다.
도 7은 본 발명의 제1 실시예에 따른 영상인식 프로그램의 예시 화면을 나타낸 도면이다.
도 7을 참조하면, 사용자는 각각의 버튼(700)을 드래그하여 타임 테이블의 트리창(800)에 가져올 수 있다. 즉, 하위 레이어를 상위 레이어에 드래그하면 그 레이어에 포함되는 방식이다.
이를 위해, 각각의 레이어는 우선순위를 가지며, 이때 우선순위가 없는 레이어도 있을 수 있다. 예를 들면, 기본 레이어(720), 흔들림 보정 레이어(730), 및 추가 레이어(740)는 우선순위가 없으며, 마스크(710), 기본 레이어(720), 및 영역 위치 충진 레이어(750)는 우선순위가 있을 수 있다. 즉, 마스크(710)가 상위 레이어이고, 기본 레이어(720)가 중간 레이어이며, 영역 위치 충진 레이어(750)가 하위 레이어일 수 있다.
기본 레이어(720)는 영역의 디자인적인 요소(테두리 및 경계 등)와 정보가 포함된 영역들을 각각 정하고, 각 영역을 내포하고 있는 정보의 형태에 따라 각 영역을 구분 지어주는 역할을 한다.
게임 동영상의 경우에는, 타임 테이블 아래에 게임 상황을 구분지어 각 색인별 영역 셋팅이 가능하지만, 그럼에도 불구하고 각각의 다른 셋팅 아래 움직임이 변화하거나 색이나 그래픽적인 요소들이 변화하는 영역이 있을 수 있다. 예를 들면, 스킬창 영역과 미니맵 영역은 분리되어 있다. 이를, 추가 레이어(740)를 통해 별도의 레이어로 지정하면, 각각 다른 설정(예를 들면, 인터페이스 크기 조정 및 미니맵 크기 조정) 아래 변화하는 값을 각각 적용시켜 줄 수 있다. 즉, 추가 레이어(740)는 동영상 콘텐츠에서 별도의 형태로 동작하는 개별 요소들을 지정한다.
영역 위치 충진 레이어(750)는 도 8에 도시된 바와 같이, 최종적으로 상위 레이어의 캡쳐 영역(810)에서 크롭할 픽셀, 즉, 인식 모듈에 입력될 영역을 지정하는 역할을 수행한다. 즉, 각 오픈 소스별로 최적화된 픽셀 사이즈가 정사각형 또는 직사각형 형태 등으로 다르기 때문에, 사용자는 각 형태에 맞도록 영역 위치 충진 레이어(750)를 통해 인식 모듈이 인식할 수 있는 영역을 지정해줄 수 있다. 따라서, 영역 위치 충진 레이어(750)는 서로 다른 영역이 서로 침범하는 것을 방지할 수 있다.
도 9는 본 발명의 제2 실시예에 따른 비언어 기반의 정보 전달 장치 내부의 개략적인 구성을 나타낸 도면이다.
본 발명에 따른 비언어 기반의 정보 전달 장치는 스트랩 형태로 손목에 착용되어, 본 발명의 제1 실시예에 따른 동영상 콘텐츠 인식 장치로부터 동영상 콘텐츠에서 인식한 정보를 수신하고, 수신한 정보를 조임, 압력, 전기자극, 및 진동 등의 형태로 사용자에게 전달한다.
도 9를 참조하면, 본 발명에 따른 비언어 기반의 정보 전달 장치는 적어도 둘 이상의 솔레노이드 모듈(910), 압력 모듈(920), 전기자극 모듈(930), 진동 모듈(940), 주파수 조절 모듈(950), 피부 저항 측정 모듈(960), 및 제어부(970)를 포함할 수 있다.
각각의 솔레노이드 모듈(910)은 네오디뮴 자석을 솔레노이드 코어로 사용하며, 솔레노이드의 척력으로 자석을 밀어내고, 자석의 자체 자력에 의해 자석을 원래 위치로 복귀시킨다. 이와 같은 구성을 갖는 적어도 둘 이상의 솔레노이드 모듈(910)은 이동 방향 또는 회전 방향에 대하여 압력을 가하는 형태로 정보를 전달할 수 있다.
압력 모듈(920)은 리니어 서보모터로 구현될 수 있으며, 리니어 서보모터를 통해 와이어를 당겨 손목을 조이는 원리로 동작한다. 예를 들면, 압력 모듈(920)은 속력이 증가할수록 조임을 점점 강하게 하고, 속력이 감소할수록 조임을 점점 약하게 할 수 있다.
전기자극 모듈(930)은 1~2 mA의 전류를 10 MHz 이상의 고주파 형태로 발생시키는 모듈로 구현될 수 있다. 전기자극 모듈(930)의 주파수는 발진회로의 저항과 커패시턴스 값을 통해 조절될 수 있다.
진동 모듈(940)은 솔레노이드 모듈(910)과 마찬가지로 솔레노이드와 네오디뮴 자석으로 구성되고, 솔레노이드에 펄스를 투사하여 솔레노이드 내부의 네오디뮴 자석이 진동하도록 함으로써 동작한다. 진동 모듈(940)의 진동 강도는 하드웨어, 소프트웨어적으로 주파수를 변경하거나 네오디뮴 자석의 질량을 조절함으로써 조절될 수 있다.
제어부(970)는 아두이노(Arduino)를 기반으로 하는 저전압, 저전력의 MCU(Micro Control Unit)로 구현될 수 있다. 제어부(970)는 1 A의 배터리 충전을 지원하며, 3개의 LED를 통해 충전 상태를 확인할 수 있다. 또한, 제어부(970)는 블루투스 통신 모듈을 탑재하고, 적어도 12개 이상의 자극 모듈을 제어할 수 있다.
전술한 구성을 갖는 본 발명에 따른 제어부(970)는 동영상 콘텐츠 인식 장치로부터 수신한 동영상 콘텐츠의 정보가 연속된 정보 또는 단일 정보인지 여부를 판단하고, 인식된 정보가 연속된 정보인 경우, 연속된 정보를 솔레노이드 모듈(910) 및 압력 모듈(920) 각각을 통해 압력 및 조임 형태로 전달한다. 또한, 제어부(970)는 인식된 정보가 단일 정보인 경우, 단일 정보를 진동 모듈(940) 및 전기자극 모듈(930) 각각을 통해 진동 및 전기자극 형태로 전달한다. 이를 위해, 제어부(970)는 사용자로 하여금 진동 모듈(940) 및 전기자극 모듈(930) 중에 어느 모듈을 통해 단일 정보를 전달하도록 할 것인지 단일 정보를 선택하도록 할 수 있다.
한편, 본 발명에 따른 비언어 기반의 정보 전달 장치는, 주파수에 따라 동일한 양의 전류가 흘러도 경피, 진피 자극과 근육자극의 정도가 달라지기 때문에, 이를 조절할 수 있는 주파수 조절 모듈(950)을 더 포함할 수 있다. 주파수 조절 모듈(950)은 전기자극 모듈(930) 내 발진회로의 커패시턴스 값을 조절하여 주파수를 조절한다.
또한, 본 발명에 따른 비언어 기반의 정보 전달 장치는, 피부 저항이 항상 일정하지 않기 때문에 일정한 전류를 흐르게 하기 위해, 피부의 저항을 측정하는 피부 저항 측정 모듈(960)을 추가로 포함할 수 있다. 이에, 제어부(970)는 피부 저항 측정 모듈(960)을 통해 측정된 저항값에 따라 주파수 조절 모듈(950)을 통해 전기자극 모듈(930)의 주파수를 조절할 수 있다.
도 10은 본 발명의 제2 실시예에 따른 솔레노이드 모듈의 구성을 나타낸 도면이다.
도 10을 참조하면, 본 발명에 따른 솔레노이드 모듈(910)은 솔레노이드(912) 및 자석(914)을 포함한다. 자석(914)은 네오디뮴 자석이며, 솔레노이드(912)의 코어로 사용된다.
도 10의 (b)에 도시된 바와 같이, 솔레노이드 모듈(910)은 솔레노이드(912)의 척력으로 자석(914)을 밀어내고, 도 10의 (b)에 도시된 바와 같이, 자석(914)의 자체 자력에 의해 자석(914)을 원래 위치로 복귀시킨다. 이와 같은 구성을 갖는 적어도 둘 이상의 솔레노이드 모듈(910)은 이동 방향 또는 회전 방향에 대하여 압력을 가하는 형태로 정보를 전달할 수 있다.
도 11은 본 발명의 제2 실시예에 따른 비언어 기반의 정보 전달 방법을 나타낸 흐름도이다.
도 11을 참조하면, 본 발명에 따른 비언어 기반의 정보 전달 장치는 동영상 콘텐츠 인식 장치(120)로부터 동영상 콘텐츠에서 인식한 정보를 수신한다(S1110).
비언어 기반의 정보 전달 장치는 수신한 정보가 연속된 정보 또는 단일 정보인지 여부를 판단한다(S1120). 예를 들면, 동영상 콘텐츠가 게임 동영상인 경우, 스턴 등을 포함하는 스킬 상태가 단일 정보이고, 스킬이나 버프의 쿨타임이 연속된 정보가 될 수 있다.
비언어 기반의 정보 전달 장치는 수신한 정보가 연속된 정보인 경우, 연속된 정보를 솔레노이드 모듈(910) 및 압력 모듈(920) 각각을 통해 압력 및 조임 형태로 전달한다(S1130).
비언어 기반의 정보 전달 장치는 수신한 정보가 단일 정보인 경우, 단일 정보를 진동 모듈(940) 및 전기자극 모듈(930) 각각을 통해 진동 및 전기자극 형태로 전달한다(S1140).
한편, 본 발명의 도 11에는 도시되지 않았지만, 본 발명에 따른 비언어 기반의 정보 전달 방법은, 비언어 기반의 정보 전달 장치가 피부 저항 측정 모듈(960)을 통해 피부의 저항을 측정하는 단계와, 피부 저항 측정 모듈(960)을 통해 측정된 저항값에 따라 주파수 조절 모듈(950)을 통해 전기자극 모듈(930)의 주파수를 조절하는 단계를 더 포함할 수 있다.
전술한 방법은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(Firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로컨트롤러 및 마이크로프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
이상에서 본 명세서에 개시된 실시예들을 첨부된 도면들을 참조로 설명하였다. 이와 같이 각 도면에 도시된 실시예들은 한정적으로 해석되면 아니되며, 본 명세서의 내용을 숙지한 당업자에 의해 서로 조합될 수 있고, 조합될 경우 일부 구성 요소들은 생략될 수도 있는 것으로 해석될 수 있다.
여기서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 명세서에 개시된 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 명세서에 개시된 실시예에 불과할 뿐이고, 본 명세서에 개시된 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
110: 웹 서버 120: 동영상 콘텐츠 인식 장치
130: 복수의 교차 검증 장치 210: 통신부
220: 화면데이터 수집 프로그램 생성부 230: 저장부
240: 화면데이터 수집부
130: 복수의 교차 검증 장치 210: 통신부
220: 화면데이터 수집 프로그램 생성부 230: 저장부
240: 화면데이터 수집부
Claims (15)
- 동영상 콘텐츠에 포함된 정보를 인식하는 복수의 인식 모듈을 저장하는 웹 서버; 및
상기 웹 서버로부터 상기 복수의 인식 모듈 중에 적어도 하나의 인식 모듈을 수신하고, 상기 정보를 인식하고자 하는 상기 동영상 콘텐츠를 지정하며, 상기 동영상 콘텐츠의 적어도 하나의 영역과 상기 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 상기 적어도 하나의 인식 모듈을 통해 상기 동영상 콘텐츠에 포함된 정보를 인식하는 동영상 콘텐츠 인식 장치;
를 포함하는 영상 처리 시스템.
- 제1항에 있어서,
상기 동영상 콘텐츠에 포함된 각종 정보를 인식 모듈에 입력하고, 상기 인식 모듈의 결과값들에 대한 교차 검증을 수행하여 상기 복수의 인식 모듈을 업데이트하는 복수의 교차 검증 장치;
를 더 포함하는 것을 특징으로 하는 영상 처리 시스템.
- 동영상 콘텐츠에 포함된 정보를 인식하는 적어도 하나의 인식 모듈을 저장하는 저장부; 및
정보를 인식하고자 하는 동영상 콘텐츠를 지정하고, 상기 동영상 콘텐츠의 적어도 하나의 영역과 상기 저장부에 저장된 상기 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 상기 적어도 하나의 인식 모듈을 통해 상기 동영상 콘텐츠에 포함된 정보를 인식하는 제어부;
를 포함하는 동영상 콘텐츠 인식 장치.
- 제3항에 있어서,
상기 제어부는 타임 테이블에 상기 동영상 콘텐츠를 색인하고, 색인별 레이어를 설정하며, 각 레이어에 상기 인식 모듈을 삽입하여 상기 화면데이터 수집 프로그램을 생성하는 것을 특징으로 하는 동영상 콘텐츠 인식 장치.
- 제4항에 있어서,
상기 제어부는 상기 동영상 콘텐츠에 마스크를 설정하고, 상기 마스크에 영상 해상도와 각 영역의 해상도별 변화 특성을 설정한 후, 색인별로 사용할 레이어를 선택하는 것을 특징으로 하는 동영상 콘텐츠 인식 장치.
- 제5항에 있어서,
상기 제어부는 각 영역의 해상도별 변화 특성으로서 선형 및 비선형 중 어느 하나를 선택하는 것을 특징으로 하는 동영상 콘텐츠 인식 장치.
- 제6항에 있어서,
상기 제어부는 각 영역의 해상도별 변화 특성으로서 비선형을 선택한 경우, 사용자로부터 입력받은 좌표값을 기준으로 해상도를 변화시키는 것을 특징으로 하는 동영상 콘텐츠 인식 장치.
- 제7항에 있어서,
상기 제어부는 좌표값이 입력되지 않은 해상도에 대해서는 스플라인 보간(Spline Interpolation)을 통해 해상도를 변화시키는 것을 특징으로 하는 동영상 콘텐츠 인식 장치.
- 제5항에 있어서,
상기 색인별로 사용할 레이어는 기본 레이어, 영역의 일부분을 자른 뒤, 내부의 특징점들의 위치값을 검출하고, 검출된 위치값을 기본값과 비교하여 영역의 흔들림을 보정하는 흔들림 보정 레이어, 반투명 레이어, 및 위치, 해상도별로 변화 특성이 다른 영역을 지정하는 추가 레이어 중 적어도 하나를 포함하는 것을 특징으로 하는 동영상 콘텐츠 인식 장치.
- 제5항에 있어서,
상기 제어부는 영역 위치 충진 레이어(UI Location Filling Layer)를 통해 상기 레이어 상에 상기 인식 모듈이 입력되는 영역을 지정하고, 상기 영역 위치 충진 레이어에 상기 인식 모듈을 삽입하는 것을 특징으로 하는 동영상 콘텐츠 인식 장치.
- 동영상 콘텐츠에 포함된 정보를 인식하는 동영상 콘텐츠 인식 장치의 동영상 콘텐츠 인식 방법에 있어서,
상기 동영상 콘텐츠에 포함된 정보를 인식하는 적어도 하나의 인식 모듈을 수신 및 저장하는 단계;
상기 정보를 인식하고자 하는 상기 동영상 콘텐츠를 지정하는 단계; 및
상기 동영상 콘텐츠의 적어도 하나의 영역과 상기 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 상기 적어도 하나의 인식 모듈을 통해 상기 동영상 콘텐츠에 포함된 정보를 인식하는 단계;
를 포함하는 동영상 콘텐츠 인식 방법.
- 제11항에 있어서, 상기 동영상 콘텐츠에 포함된 정보를 인식하는 단계는,
타임 테이블에 상기 동영상 콘텐츠를 색인하는 단계;
색인별 레이어를 설정하는 단계; 및
각 레이어에 상기 인식 모듈을 삽입하는 단계;
를 포함하는 것을 특징으로 하는 동영상 콘텐츠 인식 방법.
- 제12항에 있어서, 상기 색인별 레이어를 설정하는 단계는,
상기 동영상 콘텐츠에 마스크를 설정하는 단계;
상기 마스크에 영상 해상도와 각 영역의 해상도별 변화 특성을 설정하는 단계; 및
색인별로 사용할 레이어를 선택하는 단계;
를 포함하는 것을 특징으로 하는 동영상 콘텐츠 인식 방법.
- 제13항에 있어서, 상기 해상도별 변화 특성을 설정하는 단계는,
각 영역의 해상도별 변화 특성으로서 선형 및 비선형 중 어느 하나를 선택하는 단계; 및
각 영역의 해상도별 변화 특성으로서 비선형을 선택한 경우, 사용자로부터 입력받은 좌표값을 기준으로 해상도를 변화시키는 단계;
를 포함하는 것을 특징으로 하는 동영상 콘텐츠 인식 방법.
- 제12항에 있어서, 상기 인식 모듈을 삽입하는 단계는,
영역 위치 충진 레이어(UI Location Filling Layer)를 통해 상기 레이어 상에 상기 인식 모듈이 입력되는 영역을 지정하는 단계; 및
상기 영역 위치 충진 레이어에 상기 인식 모듈을 삽입하는 단계;
를 포함하는 것을 특징으로 하는 동영상 콘텐츠 인식 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180103718A KR102089000B1 (ko) | 2018-08-31 | 2018-08-31 | 동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180103718A KR102089000B1 (ko) | 2018-08-31 | 2018-08-31 | 동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200025810A true KR20200025810A (ko) | 2020-03-10 |
| KR102089000B1 KR102089000B1 (ko) | 2020-03-13 |
Family
ID=69800549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180103718A KR102089000B1 (ko) | 2018-08-31 | 2018-08-31 | 동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102089000B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111783729A (zh) * | 2020-07-17 | 2020-10-16 | 商汤集团有限公司 | 视频分类方法、装置、设备及存储介质 |
| WO2021172633A1 (ko) * | 2020-02-28 | 2021-09-02 | (주)뉴빌리티 | 동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050044005A (ko) | 2003-11-04 | 2005-05-12 | 웅진코웨이주식회사 | 전해조를 갖는 미용수기 및 그의 세정 동작 제어방법 |
| KR20110021195A (ko) * | 2009-08-25 | 2011-03-04 | 삼성전자주식회사 | 동영상에서 중요 정보를 검출하는 방법 및 그 장치 |
| KR101104699B1 (ko) | 2005-02-23 | 2012-01-17 | 에스케이플래닛 주식회사 | 휴대 단말기를 이용하여 비디오 콘텐츠의 정보를 획득하는장치 및 방법 |
| KR101720635B1 (ko) * | 2015-12-29 | 2017-03-28 | 주식회사 콘츠 | 웹 기반의 3d 영상 컨텐츠 제작 방법 및 이를 운영하는 서버 |
| JP2018055195A (ja) * | 2016-09-26 | 2018-04-05 | キヤノン株式会社 | 学習装置、画像識別装置、学習方法、画像識別方法及びプログラム |
-
2018
- 2018-08-31 KR KR1020180103718A patent/KR102089000B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050044005A (ko) | 2003-11-04 | 2005-05-12 | 웅진코웨이주식회사 | 전해조를 갖는 미용수기 및 그의 세정 동작 제어방법 |
| KR101104699B1 (ko) | 2005-02-23 | 2012-01-17 | 에스케이플래닛 주식회사 | 휴대 단말기를 이용하여 비디오 콘텐츠의 정보를 획득하는장치 및 방법 |
| KR20110021195A (ko) * | 2009-08-25 | 2011-03-04 | 삼성전자주식회사 | 동영상에서 중요 정보를 검출하는 방법 및 그 장치 |
| KR101720635B1 (ko) * | 2015-12-29 | 2017-03-28 | 주식회사 콘츠 | 웹 기반의 3d 영상 컨텐츠 제작 방법 및 이를 운영하는 서버 |
| JP2018055195A (ja) * | 2016-09-26 | 2018-04-05 | キヤノン株式会社 | 学習装置、画像識別装置、学習方法、画像識別方法及びプログラム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021172633A1 (ko) * | 2020-02-28 | 2021-09-02 | (주)뉴빌리티 | 동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템 |
| CN111783729A (zh) * | 2020-07-17 | 2020-10-16 | 商汤集团有限公司 | 视频分类方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102089000B1 (ko) | 2020-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10284705B2 (en) | Method and apparatus for controlling smart device, and computer storage medium | |
| RU2609101C2 (ru) | Узел сенсорного управления, способ управления устройствами, контроллер и электронное оборудование | |
| CN109919888A (zh) | 一种图像融合的方法、模型训练的方法以及相关装置 | |
| US20160071319A1 (en) | Method to use augumented reality to function as hmi display | |
| CN108108649B (zh) | 身份验证方法及装置 | |
| CN109191410A (zh) | 一种人脸图像融合方法、装置及存储介质 | |
| US20190109981A1 (en) | Guided image composition on mobile devices | |
| CN110377053B (zh) | 无人机的飞行控制方法和装置 | |
| KR102287905B1 (ko) | 멀티미디어 기기, 온라인 교육 시스템 및 이들의 컨텐츠 제공 방법 | |
| CN105518579A (zh) | 信息处理设备和信息处理方法 | |
| KR102089000B1 (ko) | 동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템 | |
| EP3462375A1 (en) | Body information analysis apparatus with augmented reality and eyebrow shape preview method thereof | |
| CN108960002A (zh) | 一种动作调整信息提示方法及装置 | |
| CN106648694A (zh) | 显示切换方法、装置、电子设备及计算机可读存储介质 | |
| US11380037B2 (en) | Method and apparatus for generating virtual operating object, storage medium, and electronic device | |
| US20190279527A1 (en) | Method and system for instructing a user, particularly for handcrafts | |
| US11562271B2 (en) | Control method, terminal, and system using environmental feature data and biological feature data to display a current movement picture | |
| CN110460774A (zh) | 一种视频录制的控制方法及终端 | |
| CN113446717A (zh) | 智能页面显示方法、装置以及电子设备 | |
| CN108614661B (zh) | 基于智能终端的可交互对象显示控制方法及智能终端 | |
| US20130057717A1 (en) | Electronic device and method for selecting menus | |
| CN104822024B (zh) | 一种控制摄像头旋转的方法及装置 | |
| CN107330722A (zh) | 一种共享设备的广告投放方法 | |
| CN107690648B (zh) | 一种基于虹膜识别的图像预览方法及装置 | |
| EP4245387A1 (en) | Control method and electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |