KR101984240B1 - 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템 - Google Patents
동작 인식을 위한 자동 캘리브레이션 방법 및 시스템 Download PDFInfo
- Publication number
- KR101984240B1 KR101984240B1 KR1020180131917A KR20180131917A KR101984240B1 KR 101984240 B1 KR101984240 B1 KR 101984240B1 KR 1020180131917 A KR1020180131917 A KR 1020180131917A KR 20180131917 A KR20180131917 A KR 20180131917A KR 101984240 B1 KR101984240 B1 KR 101984240B1
- Authority
- KR
- South Korea
- Prior art keywords
- projection area
- motion recognition
- camera module
- module
- output module
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G06K9/20—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 동작 인식을 위한 자동 캘리브레이션 방법에 관한 것으로서, 보다 구체적으로는 프로젝션 맵핑 기술로 영상을 투사하는 출력 모듈이 투사하는 투사 영역과, 동작 인식을 위한 카메라 모듈의 동작 인식 범위를 자동 정렬하는 캘리브레이션 방법으로서, (1) 상기 출력 모듈이 투사하는 투사 영역의 좌표값을 추출하는 단계; 및 (2) 상기 추출된 좌표값을 상기 동작 인식 범위와 정합된 좌표값으로 변환하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 동작 인식을 위한 자동 캘리브레이션 시스템에 관한 것으로서, 보다 구체적으로는 프로젝션 맵핑 기술로 영상을 투사하는 출력 모듈; 동작 인식을 위한 영상을 수집하는 카메라 모듈; 및 상기 출력 모듈이 투사하는 투사 영역과, 상기 카메라 모듈의 동작 인식 범위를 자동 정렬하는 캘리브레이션 모듈을 포함하며, 상기 캘리브레이션 모듈은, 상기 출력 모듈이 투사하는 투사 영역의 좌표값을 추출하는 추출부; 및 상기 추출된 좌표값을 상기 동작 인식 범위와 정합된 좌표값으로 변환하는 변환부를 포함하는 것을 또 다른 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에 따르면, 프로젝션 맵핑 기술로 영상을 투사하는 출력 모듈이 투사하는 투사 영역의 좌표값을 추출하고, 추출된 좌표값을 동작 인식을 위한 카메라 모듈의 동작 인식 범위와 정합된 좌표값으로 변환함으로써, 출력 모듈 또는 카메라 모듈의 상대적 위치 또는 각도가 변경되더라도, 콘텐츠 제어에 필요한 좌표 인식을 정확하게 할 수 있다.
또한, 본 발명은 동작 인식을 위한 자동 캘리브레이션 시스템에 관한 것으로서, 보다 구체적으로는 프로젝션 맵핑 기술로 영상을 투사하는 출력 모듈; 동작 인식을 위한 영상을 수집하는 카메라 모듈; 및 상기 출력 모듈이 투사하는 투사 영역과, 상기 카메라 모듈의 동작 인식 범위를 자동 정렬하는 캘리브레이션 모듈을 포함하며, 상기 캘리브레이션 모듈은, 상기 출력 모듈이 투사하는 투사 영역의 좌표값을 추출하는 추출부; 및 상기 추출된 좌표값을 상기 동작 인식 범위와 정합된 좌표값으로 변환하는 변환부를 포함하는 것을 또 다른 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에 따르면, 프로젝션 맵핑 기술로 영상을 투사하는 출력 모듈이 투사하는 투사 영역의 좌표값을 추출하고, 추출된 좌표값을 동작 인식을 위한 카메라 모듈의 동작 인식 범위와 정합된 좌표값으로 변환함으로써, 출력 모듈 또는 카메라 모듈의 상대적 위치 또는 각도가 변경되더라도, 콘텐츠 제어에 필요한 좌표 인식을 정확하게 할 수 있다.
Description
본 발명은 캘리브레이션 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에 관한 것이다.
최근에 들어, 스마트 TV, 스마트 휴대폰 등 콘텐츠를 제공하기 위한 기기의 유형이 다양화되어 있고, 이들을 통해 제공되는 콘텐츠의 유형도 영화, 음악, 게임에서 교육, 의료, 홈쇼핑 등으로 다양화되고 있는 추세이다.
콘텐츠를 제어하기 위한 종래의 인터페이스 방법으로는 콘텐츠를 제공하는 기기와 유/무선으로 연결된 마우스, 키보드, 리모컨 등 도구를 사용하는 방식을 생각해볼 수 있는데, 이러한 방법들에 따르면 사용자가 도구를 사용해 콘텐츠를 일일이 특정하고 제어해야 한다는 불편함이 있었다. 또한, 이와 같은 도구 사용의 미스가 빈번하게 일어날 수 있는바 콘텐츠를 원하는 대로 제어하기가 쉽지 않을 수도 있고, 상기와 같은 도구를 별도로 유지 및 관리해야 한다는 문제점이 있었다. 뿐만 아니라 3D 게임과 같이 사실감이 강조되는 콘텐츠의 경우 상기와 같은 도구를 사용하여 콘텐츠를 제어하고자 하는 경우 사용자가 콘텐츠를 사실감 있게 느끼지 못하는 중요한 원인이 되기도 하였다.
최근에는, 사용자의 동작을 인식하고, 인식된 정보를 기반으로 콘텐츠를 제어할 수 있는 기술이 개발되기도 하였다(한국공개특허 제10-2014-0105258호(발명의 명칭: 동작인식 체감형 증강현실 아이템 생성 및 처리방법, 공개일자: 2014년 09월 01일) 등). 이와 같은 기술에 의하면, 사용자의 동작을 인식하고, 인식된 정보를 기반으로 다양한 콘텐츠에 포함되는 증강현실 가상 객체의 생성 및 관리를 할 수 있다. 또한, 게임콘텐츠 및 유아교육용 콘텐츠를 체감형으로 제작하여 사용자의 상호작용을 증진시킬 수 있다.
한편, 콘텐츠의 출력 시 프로젝터로 스크린이나 벽면 등에 영상을 투사하는 경우, 영상이 투사되는 공간은 장비의 설치 위치에 따라 변경될 수 있고, 영상이 투사되는 환경에 따라 영상이 변형될 수도 있다. 따라서 이와 같은 영상의 변형이 있더라도, 콘텐츠 제어가 정확하게 될 수 있도록 하기 위한 기술의 개발이 필요한 실정이다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 프로젝션 맵핑 기술로 영상을 투사하는 출력 모듈이 투사하는 투사 영역의 좌표값을 추출하고, 추출된 좌표값을 동작 인식을 위한 카메라 모듈의 동작 인식 범위와 정합된 좌표값으로 변환함으로써, 출력 모듈 또는 카메라 모듈의 상대적 위치 또는 각도가 변경되더라도, 콘텐츠 제어에 필요한 좌표 인식을 정확하게 할 수 있는, 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템을 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 동작 인식을 위한 자동 캘리브레이션 방법은,
프로젝션 맵핑 기술로 영상을 투사하는 출력 모듈이 투사하는 투사 영역과, 동작 인식을 위한 카메라 모듈의 동작 인식 범위를 자동 정렬하는 캘리브레이션 방법으로서,
(1) 상기 출력 모듈이 투사하는 투사 영역의 좌표값을 추출하는 단계; 및
(2) 상기 추출된 좌표값을 상기 동작 인식 범위와 정합된 좌표값으로 변환하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는,
상기 카메라 모듈은, 상기 투사 영역을 포함하는 영상을 수집하며,
상기 단계 (1)에서는, 상기 카메라 모듈에서 수집된 영상에 포함된 투사 영역의 경계를 추출하고,
상기 단계 (2)에서는, 상기 추출한 투사 영역의 경계와, 상기 카메라 모듈에서 수집된 전체 영상의 경계의 형태를 정합하여, 상기 투사 영역의 좌표값을 정합된 좌표값으로 변환할 수 있다.
더욱 바람직하게는, 상기 단계 (1)에서는,
상기 투사 영역의 꼭짓점을 자동으로 추출할 수 있다.
더더욱 바람직하게는, 상기 단계 (2)에서는,
상기 추출한 꼭짓점을 대각선으로 연결하여, 상기 꼭짓점 및 연결된 대각선을 기준으로 좌표값을 추출할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 특징에 따른 동작 인식을 위한 자동 캘리브레이션 시스템은,
프로젝션 맵핑 기술로 영상을 투사하는 출력 모듈;
동작 인식을 위한 영상을 수집하는 카메라 모듈; 및
상기 출력 모듈이 투사하는 투사 영역과, 상기 카메라 모듈의 동작 인식 범위를 자동 정렬하는 캘리브레이션 모듈을 포함하며,
상기 캘리브레이션 모듈은,
상기 출력 모듈이 투사하는 투사 영역의 좌표값을 추출하는 추출부; 및
상기 추출된 좌표값을 상기 동작 인식 범위와 정합된 좌표값으로 변환하는 변환부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는,
상기 카메라 모듈은, 상기 투사 영역을 포함하는 영상을 수집하며,
상기 추출부는, 상기 카메라 모듈에서 수집된 영상에 포함된 투사 영역의 경계를 추출하고,
상기 변환부는, 상기 추출한 투사 영역의 경계와, 상기 카메라 모듈에서 수집된 전체 영상의 경계의 형태를 정합하여, 상기 투사 영역의 좌표값을 정합된 좌표값으로 변환할 수 있다.
더욱 바람직하게는, 상기 추출부는,
상기 투사 영역의 꼭짓점을 자동으로 추출할 수 있다.
더더욱 바람직하게는, 상기 변환부는,
상기 추출한 꼭짓점을 대각선으로 연결하여, 상기 꼭짓점 및 연결된 대각선을 기준으로 좌표값을 추출할 수 있다.
본 발명에서 제안하고 있는 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에 따르면, 프로젝션 맵핑 기술로 영상을 투사하는 출력 모듈이 투사하는 투사 영역의 좌표값을 추출하고, 추출된 좌표값을 동작 인식을 위한 카메라 모듈의 동작 인식 범위와 정합된 좌표값으로 변환함으로써, 출력 모듈 또는 카메라 모듈의 상대적 위치 또는 각도가 변경되더라도, 콘텐츠 제어에 필요한 좌표 인식을 정확하게 할 수 있다.
도 1은 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 시스템의 카메라 모듈이 수집한 영상을 예를 들어 도시한 도면.
도 3은 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서 수집된 영상에 동작 인식 범위를 표시한 도면.
도 4는 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서 수집된 영상에 출력 모듈의 투사 영역을 표시한 도면.
도 5는 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 시스템에서, 캘리브레이션 모듈의 세부적인 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법의 흐름을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서, 추출부가 단계 S100을 수행하는 모습을 예를 들어 설명한 도면.
도 8은 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서, 변환부가 단계 S200을 수행하는 모습을 예를 들어 설명한 도면.
도 9는 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서, 자동 캘리브레이션에 의한 좌표값의 변환을 설명한 도면.
도 2는 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 시스템의 카메라 모듈이 수집한 영상을 예를 들어 도시한 도면.
도 3은 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서 수집된 영상에 동작 인식 범위를 표시한 도면.
도 4는 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서 수집된 영상에 출력 모듈의 투사 영역을 표시한 도면.
도 5는 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 시스템에서, 캘리브레이션 모듈의 세부적인 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법의 흐름을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서, 추출부가 단계 S100을 수행하는 모습을 예를 들어 설명한 도면.
도 8은 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서, 변환부가 단계 S200을 수행하는 모습을 예를 들어 설명한 도면.
도 9는 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서, 자동 캘리브레이션에 의한 좌표값의 변환을 설명한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 시스템은, 출력 모듈(200), 카메라 모듈(300) 및 캘리브레이션 모듈(400)을 포함하여 구성될 수 있으며, 스크린(100)을 더 포함하여 구성될 수 있다.
즉, 본 발명은, 캘리브레이션 모듈(400)이, 프로젝션 맵핑 기술로 영상을 투사하는 출력 모듈(200)이 투사하는 투사 영역의 좌표값을 추출하고, 추출된 좌표값을 동작 인식을 위한 카메라 모듈(300)의 동작 인식 범위와 정합된 좌표값으로 변환함으로써, 출력 모듈(200) 또는 카메라 모듈(300)의 상대적 위치 또는 각도가 변경되더라도, 콘텐츠 제어에 필요한 좌표 인식을 정확하게 할 수 있다.
이하에서는, 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 시스템을 구성하는 각 구성요소에 대하여 상세히 설명하도록 한다.
스크린(100)은, 영상이 투사되는 평면으로서, 출력 모듈(200)을 통해 투사되는 영상을 사용자가 시각적으로 인지하도록 할 수 있다. 스크린(100)은 사각의 백색 평면 형태일 수 있으나 이에 한정되지 않으며, 벽면, 바닥, 트램펄린이나 클라이밍 교보재 등 출력 모듈(200)을 통해 영상을 투사할 수 있는 공간이라면 본 발명의 스크린(100)의 역할을 얼마든지 할 수 있다.
출력 모듈(200)은, 프로젝션 맵핑 기술로 영상을 투사하여, 사용자가 이를 시각적으로 인식하도록 할 수 있다. 보다 구체적으로, 출력 모듈(200)은, 컴퓨터로부터 게임 콘텐츠를 전달받아 스크린(100)이나 벽면 등에 콘텐츠 영상을 투사할 수 있으며, 사용자는 스크린(100) 등에 투사된 콘텐츠 영상을 보면서 게임을 플레이할 수 있다. 프로젝션 맵핑 기술(Projection Mapping)은, 사물 위에 프로젝터의 컴퓨터 그래픽스 영상을 정합시키는 기술로서, 프로젝션 맵핑 기술을 이용해 나안(bare-eye) 상태에서 다양한 증강현실 콘텐츠를 구현할 수 있다. 출력 모듈(200)은 프로젝터로 구현될 수 있으며, 실시예에 따라서는 복수의 프로젝터를 포함하여 벽면, 스크린(100), 바닥 등에 영상을 투사하여, 콘텐츠를 이용하는 사용자의 현실감을 높일 수 있다.
카메라 모듈(300)은, 동작 인식을 위한 영상을 수집할 수 있다. 보다 구체적으로는, 카메라 모듈(300)은 사용자의 동작 인식을 위한 동작 인식 카메라 또는 3D 카메라일 수 있으며, 카메라 모듈(300)에서 수집된 영상을 처리하여 사용자 동작을 감지할 수 있다.
도 2는 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 시스템의 카메라 모듈(300)이 수집한 영상을 예를 들어 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 시스템의 카메라 모듈(300)은, 출력 모듈(200)에 의해 출력되는 콘텐츠가 표시된 투사 영역을 포함하는 영상을 수집할 수 있다. 즉, 도 1에 도시된 바와 같이, 출력 모듈(200)과 카메라 모듈(300)은 모두 스크린(100)을 향하고 있을 수 있다. 카메라 모듈(300)은, 스크린(100) 앞에서 콘텐츠에 노출되는 사용자의 동작 인식을 위하여 영상을 수집할 수 있으며, 수집된 영상에는 사용자의 동작 뿐 아니라 도 2에 도시된 바와 같이 출력 모듈(200)에 의해 콘텐츠가 투사되는 투사 영역이 포함될 수 있다.
캘리브레이션 모듈(400)은, 출력 모듈(200)이 투사하는 투사 영역과, 카메라 모듈(300)의 동작 인식 범위를 자동 정렬할 수 있다. 도 1에 도시된 바와 같이, 출력 모듈(200)과 카메라 모듈(300)은 초점 거리가 서로 상이하고, 설치된 위치와 각도도 서로 상이하기 때문에, 콘텐츠의 제어를 위한 좌표 인식에 문제가 발생할 수 있다. 즉, 출력 모듈(200)은 스크린에 초점이 맞추어져 있고, 카메라 모듈(300)은 스크린 앞에서 동작을 할 사용자가 위치할 지점에 초점이 맞추어져 있고, 이에 따라 설치 위치와 각도도 전혀 상이하다.
도 3은 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서 수집된 영상에 동작 인식 범위(10)를 표시한 도면이고, 도 4는 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서 수집된 영상에 출력 모듈(200)의 투사 영역(20)을 표시한 도면이다. 즉, 도 2에 도시된 바와 같이 카메라 모듈(300)이 수집한 영상에서, 카메라 모듈(300)에 의한 동작 인식 범위(10)는 도 3에 도시된 보라색 영역과 같은 직사각형 형태인데 반하여, 출력 모듈(200)의 투사 영역(20) 즉, 콘텐츠가 표시되는 영역은 도 4에 도시된 빨간색 영역과 같은 등변사다리꼴 형태일 수 있다. 이와 같이, 출력 모듈(200)과 카메라 모듈(300)의 위치에 따라서, 카메라 모듈(300)에 의해 수집된 전체 영상 내에서 콘텐츠의 투사 영역(20)은 변형될 수 있다. 이와 같은 변형으로 인하여, 카메라 모듈(300)에서 수집된 영상으로부터 사용자 동작 인식을 통해 콘텐츠를 제어할 때, 좌표 인식에 문제가 발생하여 사용자의 의도에 따라 콘텐츠 제어가 되지 않을 수 있다. 따라서 캘리브레이션 모듈(400)은, 출력 모듈(200)이 투사하는 투사 영역(20)과 카메라 모듈(300)의 동작 인식 범위(10)를 교정하여, 좌표 인식이 원활하게 이루어지도록 할 수 있다. 이하에서는, 도 5를 참조하여 캘리브레이션 모듈(400)의 세부적인 구성에 대하여 상세히 살펴보도록 한다.
도 5는 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 시스템에서, 캘리브레이션 모듈(400)의 세부적인 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 시스템의 캘리브레이션 모듈(400)은, 출력 모듈(200)이 투사하는 투사 영역(20)의 좌표값을 추출하는 추출부(410) 및 추출된 좌표값을 동작 인식 범위(10)와 정합된 좌표값으로 변환하는 변환부(420)를 포함하여 구성될 수 있다.
도 6은 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법의 흐름을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법은, 출력 모듈(200)이 투사하는 투사 영역(20)의 좌표값을 추출하는 단계(S100) 및 추출된 좌표값을 동작 인식 범위(10)와 정합된 좌표값으로 변환하는 단계(S200)를 포함하여 구현될 수 있다.
단계 S100에서는, 추출부(410)가, 출력 모듈(200)이 투사하는 투사 영역(20)의 좌표값을 추출할 수 있다. 보다 구체적으로, 캘리브레이션 모듈(400)의 추출부(410)는, 카메라 모듈(300)에서 수집된 영상에 포함된 투사 영역(20)의 경계를 추출할 수 있다.
도 7은 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서, 추출부(410)가 단계 S100을 수행하는 모습을 예를 들어 설명한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서, 추출부(410)는, 카메라 모듈(300)에서 수집된 영상에 포함된 투사 영역(20)의 경계를 추출할 수 있으며, 보다 구체적으로는 투사 영역(20)의 꼭짓점을 자동으로 추출할 수 있다. 출력 모듈(200)에 의해 출력되는 투사 영역(20)은 일반적으로 사각형 형태이므로, 단계 S100에서는 추출부(410)가 투사 영역(20)의 4개의 꼭짓점을 자동으로 추출할 수 있다.
단계 S200에서는, 변환부(420)가, 추출된 좌표값을 동작 인식 범위(10)와 정합된 좌표값으로 변환할 수 있다. 보다 구체적으로, 캘리브레이션 모듈(400)의 변환부(420)는, 추출한 투사 영역(20)의 경계와, 카메라 모듈(300)에서 수집된 전체 영상의 경계의 형태를 정합하여, 투사 영역(20)의 좌표값을 정합된 좌표값으로 변환할 수 있다.
도 8은 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서, 변환부(420)가 단계 S200을 수행하는 모습을 예를 들어 설명한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서, 변환부(420)는, 추출한 꼭짓점을 대각선으로 연결하여, 꼭짓점 및 연결된 대각선을 기준으로 좌표값을 추출할 수 있다. 즉, 도 8에 도시된 바와 같이, 꼭짓점, 경계 및 대각선을 이용하여, 투사 영역(20)과 동작 인식 범위(10)의 형태를 상호 비교하여, 투사 영역(20) 내의 좌표값을 캘리브레이션 된 좌표값으로 변환할 수 있다. 예를 들어, 도 8과 같은 등변사다리꼴 형태의 투사 영역(20)을 동작 인식 범위(10)의 형태인 직사각형으로 변환하여 정합된 좌표값을 도출할 수 있다.
도 9는 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서, 자동 캘리브레이션에 의한 좌표값의 변환을 설명한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템에서, 변환부(420)는, 추출한 투사 영역(20)의 경계와, 카메라 모듈(300)에서 수집된 전체 영상의 경계의 형태를 정합하여, 등변사다리꼴 형태의 투사 영역(20) 내부의 좌표값을, 직사각형의 동작 인식 범위(10)로 변환하여 정합된 좌표값으로 변환할 수 있다.
도 9에 도시된 바와 같이, 정합 전의 좌표값에서는, 동작 인식 범위(10)를 기준으로 좌표값이 도출되므로, 실제 출력 모듈(200)에서 출력되는 콘텐츠의 좌표값과 카메라 모듈(300)에서 촬영된 좌표값에 차이가 발생하여 동작 인식에 의한 콘텐츠 제어에 문제가 발생할 수 있다. 그러나 도 9의 우측과 같이 정합된 좌표값은, 실제 출력 모듈(200)에서 출력되는 콘텐츠의 좌표값으로 변환되므로, 카메라 모듈(300)의 위치와 각도 등이 변하더라도 게임에 필요한 직사각형 형태의 좌표값을 얻을 수 있다.
이와 같이 정합된 좌표값을 이용하여 사용자 동작 인식에 따른 신호를 추출하여 콘텐츠에 입력함으로써, 콘텐츠에서 사용하는 좌표 인식에 문제가 발생하지 않고, 출력 모듈(200) 또는 카메라 모듈(300)의 상대적 위치 또는 각도가 변경되더라도, 콘텐츠 제어에 필요한 좌표 인식을 정확하게 할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
10: 동작 인식 범위
20: 투사 영역
100: 스크린
200: 출력 모듈
300: 카메라 모듈
400: 캘리브레이션 모듈
410: 추출부
420: 변환부
S100: 출력 모듈이 투사하는 투사 영역의 좌표값을 추출하는 단계
S200: 추출된 좌표값을 동작 인식 범위와 정합된 좌표값으로 변환하는 단계
20: 투사 영역
100: 스크린
200: 출력 모듈
300: 카메라 모듈
400: 캘리브레이션 모듈
410: 추출부
420: 변환부
S100: 출력 모듈이 투사하는 투사 영역의 좌표값을 추출하는 단계
S200: 추출된 좌표값을 동작 인식 범위와 정합된 좌표값으로 변환하는 단계
Claims (8)
- 프로젝션 맵핑 기술로 영상을 투사하는 출력 모듈(200)이 투사하는 투사 영역(20)과, 동작 인식을 위한 카메라 모듈(300)의 동작 인식 범위(10)를 자동 정렬하는 캘리브레이션 방법으로서,
상기 카메라 모듈(300)은, 상기 투사 영역(20)을 포함하는 영상을 수집하며,
(1) 상기 출력 모듈(200)이 투사하는 투사 영역(20)의 좌표값을 추출하되, 상기 카메라 모듈(300)에서 수집된 영상에 포함된 투사 영역(20)의 경계를 추출하는 단계; 및
(2) 상기 추출된 좌표값을 상기 동작 인식 범위(10)와 정합된 좌표값으로 변환하되, 상기 추출한 투사 영역(20)의 경계와, 상기 카메라 모듈(300)에서 수집된 전체 영상의 경계의 형태를 정합하여, 상기 투사 영역(20)의 좌표값을 정합된 좌표값으로 변환하는 단계를 포함하며,
상기 단계 (1)에서는,
사다리꼴 형태의 상기 투사 영역(20)의 꼭짓점을 자동으로 추출하고,
상기 단계 (2)에서는,
상기 추출한 꼭짓점을 대각선으로 연결하여, 상기 꼭짓점 및 연결된 대각선을 기준으로 상기 사다리꼴 형태의 투사 영역(20)과 직사각형 형태의 동작 인식 범위(10)의 형태를 상호 비교하여 정합된 좌표값을 추출하여, 상기 동작 인식 범위(10)를 기준으로 하는 좌표값을 실제 상기 출력 모듈(200)에서 출력되는 콘텐츠의 좌표값으로 변환하며,
상기 출력 모듈(200)과 카메라 모듈(300)의 초점 거리가 서로 상이하고, 설치된 위치 및 각도도 서로 상이함에 따라, 상기 카메라 모듈(300)에 의해 수집된 전체 영상 내에서 콘텐츠의 투사 영역(20)의 변형에 의해 발생하는 좌표 인식 문제를 해결하고, 상기 출력 모듈(200) 또는 카메라 모듈(300)의 상대적 위치 또는 각도가 변경되더라도, 콘텐츠 제어에 필요한 좌표 인식을 정확하게 할 수 있는 것을 특징으로 하는, 동작 인식을 위한 자동 캘리브레이션 방법.
- 삭제
- 삭제
- 삭제
- 프로젝션 맵핑 기술로 영상을 투사하는 출력 모듈(200);
동작 인식을 위한 영상을 수집하되, 투사 영역(20)을 포함하는 영상을 수집하는 카메라 모듈(300); 및
상기 출력 모듈(200)이 투사하는 투사 영역(20)과, 상기 카메라 모듈(300)의 동작 인식 범위(10)를 자동 정렬하는 캘리브레이션 모듈(400)을 포함하며,
상기 캘리브레이션 모듈(400)은,
상기 출력 모듈(200)이 투사하는 투사 영역(20)의 좌표값을 추출하되, 상기 카메라 모듈(300)에서 수집된 영상에 포함된 투사영역(20)의 경계를 추출하는 추출부(410); 및
상기 추출된 좌표값을 상기 동작 인식 범위(10)와 정합된 좌표값으로 변환하되, 상기 추출한 투사 영역(20)의 경계와, 상기 카메라 모듈(300)에서 수집된 전체 영상의 경계의 형태를 정합하여, 상기 투사 영역(20)의 좌표값을 정합된 좌표값으로 변환하는 변환부(420)를 포함하며,
상기 추출부(410)는,
사다리꼴 형태의 상기 투사 영역(20)의 꼭짓점을 자동으로 추출하고,
상기 변환부(420)는,
상기 추출한 꼭짓점을 대각선으로 연결하여, 상기 꼭짓점 및 연결된 대각선을 기준으로 상기 사다리꼴 형태의 투사 영역(20)과 직사각형 형태의 동작 인식 범위(10)의 형태를 상호 비교하여 정합된 좌표값을 추출하여, 상기 동작 인식 범위(10)를 기준으로 하는 좌표값을 실제 상기 출력 모듈(200)에서 출력되는 콘텐츠의 좌표값으로 변환하며,
상기 출력 모듈(200)과 카메라 모듈(300)의 초점 거리가 서로 상이하고, 설치된 위치 및 각도도 서로 상이함에 따라, 상기 카메라 모듈(300)에 의해 수집된 전체 영상 내에서 콘텐츠의 투사 영역(20)의 변형에 의해 발생하는 좌표 인식 문제를 해결하고, 상기 출력 모듈(200) 또는 카메라 모듈(300)의 상대적 위치 또는 각도가 변경되더라도, 콘텐츠 제어에 필요한 좌표 인식을 정확하게 할 수 있는 것을 특징으로 하는, 동작 인식을 위한 자동 캘리브레이션 시스템. - 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180131917A KR101984240B1 (ko) | 2018-10-31 | 2018-10-31 | 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180131917A KR101984240B1 (ko) | 2018-10-31 | 2018-10-31 | 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101984240B1 true KR101984240B1 (ko) | 2019-09-03 |
Family
ID=67951644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180131917A KR101984240B1 (ko) | 2018-10-31 | 2018-10-31 | 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101984240B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111105431A (zh) * | 2019-12-20 | 2020-05-05 | 深圳市智影医疗科技有限公司 | 一种标记图像的方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130004357A (ko) * | 2010-04-01 | 2013-01-09 | 퀄컴 인코포레이티드 | 컴퓨팅 디바이스 인터페이스 |
| JP2013064917A (ja) * | 2011-09-20 | 2013-04-11 | Seiko Epson Corp | 表示装置、プロジェクター、及び、表示方法 |
| JP2014206952A (ja) * | 2013-04-16 | 2014-10-30 | セイコーエプソン株式会社 | プロジェクターおよび制御方法 |
-
2018
- 2018-10-31 KR KR1020180131917A patent/KR101984240B1/ko active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130004357A (ko) * | 2010-04-01 | 2013-01-09 | 퀄컴 인코포레이티드 | 컴퓨팅 디바이스 인터페이스 |
| JP2013064917A (ja) * | 2011-09-20 | 2013-04-11 | Seiko Epson Corp | 表示装置、プロジェクター、及び、表示方法 |
| JP2014206952A (ja) * | 2013-04-16 | 2014-10-30 | セイコーエプソン株式会社 | プロジェクターおよび制御方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111105431A (zh) * | 2019-12-20 | 2020-05-05 | 深圳市智影医疗科技有限公司 | 一种标记图像的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108227914B (zh) | 透明显示装置、使用其的控制方法及其控制器 | |
| US8970725B2 (en) | User interface system based on pointing device | |
| US20130135199A1 (en) | System and method for user interaction with projected content | |
| KR101187500B1 (ko) | 광 투영 장치, 조명 장치 | |
| US20140218300A1 (en) | Projection device | |
| EP1456806A1 (en) | Device and method for calculating a location on a display | |
| CN112272292B (zh) | 投影校正方法、装置和存储介质 | |
| CN103186293A (zh) | 显示装置、显示系统以及显示装置的数据供给方法 | |
| WO2021097600A1 (zh) | 一种隔空交互方法、装置和设备 | |
| KR101827221B1 (ko) | 좌표계 자동 보정이 가능한 혼합현실 콘텐츠 제공 장치 및 이를 이용한 좌표계 자동 보정 방법 | |
| Sukthankar et al. | Self-calibrating camera-assisted presentation interface | |
| WO2017206316A1 (zh) | 一种交互投影的方法及系统 | |
| JP2012238293A (ja) | 入力装置 | |
| WO2020090227A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| KR101984240B1 (ko) | 동작 인식을 위한 자동 캘리브레이션 방법 및 시스템 | |
| WO2018150569A1 (ja) | ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 | |
| JP2006268582A (ja) | ジェスチャによる情報機器の制御方法および制御システム | |
| KR100660137B1 (ko) | 레이저 포인터를 이용한 입력 장치와 그를 이용한프리젠테이션 제공 시스템 | |
| CN114567803B (zh) | 一种非接触式操控系统 | |
| JPH07160412A (ja) | 指示位置検出方法 | |
| KR101998786B1 (ko) | 가상공간을 위한 비접촉식 손가락 입력 장치 및 방법 | |
| KR101883866B1 (ko) | 지면 접촉식 손가락 입력 장치 및 방법 | |
| Kolomenski | Realization Of A Spatial Augmented Reality System-A Digital Whiteboard Using a Kinect Sensor and a PC Projector | |
| KR101357205B1 (ko) | 사용자 기반 마커 생성 방법 및 장치 | |
| WO2001046941A1 (en) | Method and apparatus for vision-based coupling between pointer actions and projected images |