KR102294717B1 - 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템 및 방법 - Google Patents
변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템 및 방법 Download PDFInfo
- Publication number
- KR102294717B1 KR102294717B1 KR1020190064382A KR20190064382A KR102294717B1 KR 102294717 B1 KR102294717 B1 KR 102294717B1 KR 1020190064382 A KR1020190064382 A KR 1020190064382A KR 20190064382 A KR20190064382 A KR 20190064382A KR 102294717 B1 KR102294717 B1 KR 102294717B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- user
- object range
- information
- augmented reality
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 카메라로 촬영된 영상에서 변형할 오브젝트를 인식하여 변형된 오브젝트를 제공함으로써 사용자가 원하는 증강현실 영상을 보다 쉽게 제공할 수 있도록 하는 증강현실 영상 제공 시스템 및 방법에 관한 것으로 카메라를 통해 촬영된 영상을 수신하는 촬영 영상 수신부, 3차원 오브젝트를 선택하는 3차원 오브젝트 선택부, 사용자 손짓 정보를 수신하는 사용자 손짓 정보 수신부, 촬영된 영상 중 일부를 오브젝트 범위로 인식하는 오브젝트 범위 인식부, 오브젝트 범위에 속하는 영상을 변형 오브젝트 영상으로 변환하는 변형 오브젝트 영상 변환부 및 증강현실 영상을 생성하는 증강현실 영상 생성부를 포함하는 증강현실 영상 제공 시스템에 관한 것이다.
Description
본 발명은 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템 및 방법에 관한 것으로, 보다 상세하게는 카메라로 촬영된 영상에서 변형할 오브젝트를 인식하여 변형된 오브젝트를 제공함으로써 사용자가 원하는 증강현실 영상을 보다 쉽게 제공할 수 있도록 하는 증강현실 영상 제공 시스템 및 방법에 관한 것이다.
증강현실 기술은 현실세계와 영상에 3차원 오브젝트 등의 객체를 정합하여 제공함으로써, 실제 현실세계에 해당 오브젝트가 존재하는 것과 같은 현실감을 제공할 수 있도록 하는 기술이다.
종래기술인 한국등록특허 제10-1920035호, "가상 객체를 이용한 증강현실 콘텐츠 제공 방법 및 이를 위한 장치"는 복수의 가상 오브젝트와 현실 오브젝트의 깊이를 설정하여 합성할 수 있도록 하는 기술을 개시하고 있으며, 단순히 가상 오브젝트와 현실 오브젝트를 합성하는 것으로 현실 오브젝트의 변화를 줘서 증강현실 영상을 생성할 수 없다는 문제점이 있다.
따라서, 가상 오브젝트뿐만 아니라 사용자가 촬영한 영상 내의 오브젝트를 변형하여 보다 자연스럽게 영상을 합성할 수 있도록 하는 시스템 및 방법이 요구된다.
본 발명은 사용자가 촬영한 영상에 있는 오브젝트를 변형한 영상을 제공함으로써 사용자가 원하는 증강현실 영상을 보다 쉽게 제공할 수 있도록 하는 것을 목적으로 한다.
본 발명은 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장하고 이를 기초로 오브젝트 범위를 변환함으로써 사용자의 한번의 손짓으로 오브젝트 변형 발생할 위치 지정 및 변형 동작 정보를 생성할 수 있도록 하는 것을 목적으로 한다.
본 발명은 오브젝트 변형 동작 정보에 3차원 오브젝트의 동작 정보를 대응시켜 저장하고 이를 기초로 증강현실 영상을 생성함으로써 오브젝트 변형 동작과 3차원 오브젝트가 자연스럽게 매치되는 증강현실 영상을 제공할 수 있도록 하는 것을 목적으로 한다.
본 발명은 사용자의 손짓 정보를 기반으로 오브젝트 범위 후보를 생성하고, 오브젝트 범위 후보 중 하나를 오브젝트 범위로 인식함으로써 보다 정확하게 사용자가 의도한 오브젝트 범위를 인식할 수 있도록 하는 것을 목적으로 한다.
본 발명은 오브젝트 범위를 오브젝트 범위 후보 중 하나를 사용자로부터 선택 입력 받을 수 있도록 함으로써 사용자가 변형하고자 하는 오브젝트를 오류없이 입력할 수 있도록 하는 것을 목적으로 한다.
본 발명은 오브젝트 범위를 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보 중 하나로 인식하도록 함으로써 사용자가 오브젝트 범위 후보를 선택하여 보다 정확하게 오브젝트 범위를 인식할 수 있도록 하는 것을 목적으로 한다.
본 발명은 오브젝트 범위를 사용자의 손짓 정보를 가장 많이 포함하는 오브젝트 범위 후보 중 하나로 인식하도록 함으로써 오브젝트 범위 후보 중 가장 가능성이 높은 오브젝트 범위를 인식할 수 있도록 하는 것을 목적으로 한다.
이러한 목적을 달성하기 위하여 본 발명의 일실시예에 따른 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템은 카메라를 통해 촬영된 영상을 수신하는 촬영 영상 수신부, 상기 촬영된 영상에 표시할 3차원 오브젝트를 선택하는 3차원 오브젝트 선택부, 상기 촬영 영상이 표시되는 디스플레이 화면 상에서 사용자 손짓 정보를 수신하는 사용자 손짓 정보 수신부, 상기 수신한 사용자의 손짓 정보를 기반으로 상기 촬영된 영상 중 일부를 오브젝트 범위로 인식하는 오브젝트 범위 인식부, 상기 인식된 오브젝트 범위에 속하는 영상을 변형 오브젝트 영상으로 변환하는 변형 오브젝트 영상 변환부 및 상기 촬영된 영상에 선택한 3차원 오브젝트의 렌더링 영상 및 상기 변환된 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성하는 증강현실 영상 생성부를 포함하여 구성될 수 있다.
또한, 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장하는 변형 동작 데이터베이스를 더 포함하고, 상기 변형 오브젝트 영상 변환부는 상기 사용자 손짓 정보 수신부에서 수신한 상기 사용자 손짓 정보에 대응되는 사용자 손짓 패턴 정보를 확인하고, 상기 변형 동작 데이터베이스를 조회하여 상기 확인된 사용자 손짓 패턴 정보에 대응되는 상기 오브젝트 변형 동작 정보를 기초로 상기 인식된 오브젝트 범위에 속하는 영상을 변환하는 것을 특징으로 하여 구성될 수 있다.
또한, 상기 변형 동작 데이터베이스에 저장된 상기 오브젝트 변형 동작 정보에 상기 3차원 오브젝트의 동작 정보를 대응시켜 저장하는 3차원 오브젝트 동작 정보 데이터베이스를 더 포함하고, 상기 증강현실 영상 생성부는 상기 3차원 오브젝트 동작 정보 데이터베이스에서 상기 오브젝트 변형 동작 정보에 대응되는 3차원 오브젝트의 동작 정보를 확인하고, 확인된 3차원 오브젝트의 동작 정보에 의해 생성된 렌더링 영상 및 상기 변형 오브젝트 영상을 상기 촬영된 영상에 합성하여 증강현실 영상을 생성하는 것을 특징으로 하여 구성될 수 있다.
또한, 상기 오브젝트 범위 인식부는 상기 사용자의 손짓 정보를 기반으로 상기 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고, 상기 오브젝트 범위 후보 중 하나를 상기 오브젝트 범위로 인식하는 것을 특징으로 하여 구성될 수 있다.
또한, 상기 오브젝트 범위 인식부는 상기 오브젝트 범위 후보 중 하나를 상기 사용자로부터 선택 입력 받아 상기 오브젝트 범위로 인식하는 것을 특징으로 하여 구성될 수 있다.
또한, 상기 오브젝트 범위 인식부는 상기 하나 이상의 오브젝트 범위 후보 중, 상기 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보를 상기 오브젝트 범위로 인식하는 것을 특징으로 하여 구성될 수 있다.
또한, 상기 오브젝트 범위 인식부는 상기 하나 이상의 오브젝트 범위 후보 중, 상기 사용자의 손짓 정보를 가장 많이 포함하는 오브젝트 범위 후보를 상기 오브젝트 범위로 인식하는 것을 특징으로 하여 구성될 수 있다.
본 발명은 사용자가 촬영한 영상에 있는 오브젝트를 변형한 영상을 제공함으로써 사용자가 원하는 증강현실 영상을 보다 쉽게 제공할 수 있도록 한다.
본 발명은 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장하고 이를 기초로 오브젝트 범위를 변환함으로써 사용자의 한번의 손짓으로 오브젝트 변형 발생할 위치 지정 및 변형 동작 정보를 생성할 수 있도록 한다.
본 발명은 오브젝트 변형 동작 정보에 3차원 오브젝트의 동작 정보를 대응시켜 저장하고 이를 기초로 증강현실 영상을 생성함으로써 오브젝트 변형 동작과 3차원 오브젝트가 자연스럽게 매치되는 증강현실 영상을 제공할 수 있도록 한다.
본 발명은 사용자의 손짓 정보를 기반으로 오브젝트 범위 후보를 생성하고, 오브젝트 범위 후보 중 하나를 오브젝트 범위로 인식함으로써 보다 정확하게 사용자가 의도한 오브젝트 범위를 인식할 수 있도록 한다.
본 발명은 오브젝트 범위를 오브젝트 범위 후보 중 하나를 사용자로부터 선택 입력 받을 수 있도록 함으로써 사용자가 변형하고자 하는 오브젝트를 오류없이 입력할 수 있도록 한다.
본 발명은 오브젝트 범위를 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보 중 하나로 인식하도록 함으로써 사용자가 오브젝트 범위 후보를 선택하여 보다 정확하게 오브젝트 범위를 인식할 수 있도록 한다.
본 발명은 오브젝트 범위를 사용자의 손짓 정보를 가장 많이 포함하는 오브젝트 범위 후보 중 하나로 인식하도록 함으로써 오브젝트 범위 후보 중 가장 가능성이 높은 오브젝트 범위를 인식할 수 있도록 한다.
도 1은 본 발명의 일실시예에 따른 증강현실 영상 제공 시스템의 구성도를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장한 변형 동작 데이터베이스의 일례를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 오브젝트 변형 동작 정보에 3차원 오브젝트 동작 정보를 대응시켜 저장한 3차원 오브젝트 동작 데이터베이스의 일례를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 사용자의 손짓 정보를 기반으로 오브젝트 범위 후보를 인식하고 그 중 하나를 사용자의 선택 입력 받아 오브젝트 범위로 인식하는 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 오브젝트 범위 후보 중 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보를 오브젝트 범위로 인식하는 일례를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 오브젝트 범위 후보 중 사용자의 손짓 정보를 가장 많이 포함하고 있는 오브젝트 범위 후보를 오브젝트 범위로 인식하는 일례를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 변형 오브젝트를 제공하기 위한 증강현실 영상의 일례를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 증강현실 영상 제공 방법의 순서도를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장한 변형 동작 데이터베이스의 일례를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 오브젝트 변형 동작 정보에 3차원 오브젝트 동작 정보를 대응시켜 저장한 3차원 오브젝트 동작 데이터베이스의 일례를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 사용자의 손짓 정보를 기반으로 오브젝트 범위 후보를 인식하고 그 중 하나를 사용자의 선택 입력 받아 오브젝트 범위로 인식하는 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 오브젝트 범위 후보 중 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보를 오브젝트 범위로 인식하는 일례를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 오브젝트 범위 후보 중 사용자의 손짓 정보를 가장 많이 포함하고 있는 오브젝트 범위 후보를 오브젝트 범위로 인식하는 일례를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 변형 오브젝트를 제공하기 위한 증강현실 영상의 일례를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 증강현실 영상 제공 방법의 순서도를 도시한 도면이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다. 또한 본 발명의 실시예들을 설명함에 있어 구체적인 수치는 실시예에 불과하며 이에 의하여 발명의 범위가 제한되지 아니한다.
본 발명에 따른 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템은 중앙처리장치(CPU) 및 메모리(Memory, 기억장치)를 구비하고 인터넷 등의 통신망을 통하여 다른 단말기와 연결 가능한 서버의 형태로 구성될 수 있다. 그러나 본 발명이 중앙처리장치 및 메모리 등의 구성에 의해 한정되지는 아니한다. 또한, 본 발명에 따른 폴더 탐색 시스템은 물리적으로 하나의 장치로 구성될 수도 있으며, 복수의 장치에 분산된 형태로 구현될 수도 있어, 본 발명은 이와 같은 물리적인 장치의 구성에 의하여 한정되지 아니한다.
도 1은 본 발명의 일실시예에 따른 증강현실 영상 제공 시스템의 구성도를 도시한 도면이다.
본 발명에 따른 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템은 촬영 영상 수신부(110), 3차원 오브젝트 선택부(120), 사용자 손짓 정보 수신부(130), 오브젝트 범위 인식부(140), 오브젝트 영상 변환부(150), 증강현실 영상 생성부(160), 변형 동작 데이터베이스(170), 3차원 오브젝트 동작 정보 데이터베이스(180)로 구성될 수 있으며, 각각의 구성요소들은 물리적으로 동일한 컴퓨터 시스템 내에서 동작하는 소프트웨어 모듈일 수 있으며, 물리적으로 2개 이상으로 분리된 컴퓨터 시스템이 서로 연동하여 동작할 수 있도록 구성된 형태일 수 있는데, 동일한 기능을 포함하는 다양한 실시형태가 본 발명의 권리범위에 속한다.
촬영 영상 수신부(110)는 카메라를 통해 촬영된 영상을 수신한다.
사용자가 사용자의 단말기 카메라를 통해서 증강현실 영상의 배경이 될 영상을 사용자의 카메라를 통해서 촬영하고, 촬영 영상 수신부(110)는 사용자가 촬영한 영상을 수신할 수 있다.
3차원 오브젝트 선택부(120)는 촬영된 영상에 표시할 3차원 오브젝트를 선택한다.
3차원 오브젝트는 사용자가 카메라를 통해 촬영한 영상에 합성될 콘텐츠 영상일 수 있으며, 카메라를 통해 촬영된 영상 또는 이미지일 수 있으며, 촬영된 영상에서 움직일 수 있도록 디자인된 콘텐츠 일 수 있다. 사용자는 복수의 3차원 오브젝트 중에서 사용자가 촬영한 영상에 합성될 하나 또는 복수의 3차원 오브젝트를 선택할 수 있다.
예를 들면, 사용자는 사용자가 촬영한 영상에 구름 모양의 콘텐츠를 합성(표시)하고 싶다면, 여러 개의 3차원 오브젝트 중에서 구름 모양의 3차원 오브젝트를 선택할 수 있다.
사용자 손짓 정보 수신부(130)는 촬영 영상이 표시되는 디스플레이 화면 상에서 사용자 손짓 정보를 수신한다.
사용자 손짓 정보는 사용자가 사용자의 단말기 화면에 손가락으로 터치하여 움직이는 정보일 수 있으며, 사용자가 단말기의 디스플레이 표면에 손가락으로 움직이는 동작일 수 있다. 사용자의 단말기는 사용자가 촬영한 영상이 재생되고 촬영한 영상이 재생되는 상태에서 사용자가 화면을 손가락으로 긋는 행위를 할 수 있으며, 사용자가 화면을 손가락으로 긋는 행위는 사용자 손짓 정보 일 수 있다. 사용자 손짓 정보 수신부(130)는 사용자가 하나의 손가락으로 화면을 터치하는 움직임을 수신할 수 있으며, 복수의 손가락으로 화면을 터치하는 움직임 또는 정보를 수신할 수 있다. 사용자 손짓 정보는 선 모양, 복수의 손가락 펴기, 복수의 손가락 모으기 등의 다양한 패턴을 가질 수 있으며, 다양한 패턴을 구분하여 수신할 수 있다.
오브젝트 범위 인식부(140)는 수신한 사용자의 손짓 정보를 기반으로 촬영된 영상 중 일부를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 사용자가 디스플레이 화면상에서 터치하여 그은 사용자의 손짓 정보를 기반으로 오브젝트 범위로 인식할 수 있다. 오브젝트 범위는 촬영된 영상에 포함된 일부의 범위 일 수 있으며, 변형을 발생시키기 위한 하나 또는 복수의 오브젝트 일 수 있다.
오브젝트 범위 인식부(140)는 촬영된 영상내에서 각각의 오브젝트를 분리하여 인식할 수 있으며, 각각의 오브젝트를 인식하고 사용자가 디스플레이 화면에 터치하여 손가락으로 긋는 행위를 하면 손가락이 그어진 오브젝트를 오브젝트 범위로 인식할 수 있다.
오브젝트 범위 인식부(140)는 사용자의 손짓 정보를 기반으로 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고, 오브젝트 범위 후보 중 하나를 오브젝트 범위로 인식한다.
오브젝트 범위는 복수의 오브젝트 범위 후보 중 하나일 수 있으며, 오브젝트 범위 후보는 사용자의 손짓 정보인 사용자가 화면에 터치하는 범위 내에서 생성될 수 있다.
예를 들면, 사용자의 단말기 화면에는 책상위에 노트북 및 지구본이 있는 영상이 재생되고 있으며, 오브젝트 범위 인식부(140)는 책상, 노트북 및 지구본을 각각의 오브젝트로 인식할 수 있다. 사용자는 디스플레이 화면에 있는 노트북, 지구본 및 책상 모두를 지나갈 수 있도록 손가락으로 터치할 수 있으며, 손가락이 그어진 노트북, 지구본 및 책상은 오브젝트 범위 후보로 생성될 수 있다. 오브젝트 범위 후보인 노트북, 지구본 및 책상 중 하나는 오브젝트 범위로 인식될 수 있다.
오브젝트 범위 인식부(140)는 오브젝트 범위 후보 중 하나를 사용자로부터 선택 입력 받아 오브젝트 범위로 인식한다.
사용자는 오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보 중 하나를 오브젝트 범위로 직접 선택할 수 있다.
예들 들면, 사용자는 디스플레이 화면에 있는 노트북, 지구본 및 책상 모두를 지나갈 수 있도록 손가락으로 터치할 수 있으며, 손가락이 그어진 노트북, 지구본 및 책상은 오브젝트 범위 후보로 생성될 수 있다. 사용자는 오브젝트 범위로 책상을 선택할 수 있다. 오브젝트 범위 인식부(140)는 사용자가 선택한 책상을 오브젝트 범위로 인식할 수 있다.
오브젝트 범위 인식부(140)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보는 사용자의 손짓 정보에 따라 생성될 수 있으며, 사용자는 촬영된 영상에 사용자의 손가락으로 터치를 하면 사용자가 영상 내에 터치한 복수의 오브젝트가 오브젝트 범위 후보가 될 수 있다. 사용자가 디스플레이 화면에 터치를 할 때 처음으로 찍은 지점에 있는 오브젝트가 오브젝트 범위로 인식할 수 있다.
예를 들면, 사용자는 디스플레이 화면에 있는 노트북, 지구본 및 책상 모두를 지나갈 수 있도록 손가락으로 터치할 수 있으며, 사용자의 손가락은 지구본을 시작으로 노트북 다음 책상 순으로 손가락이 지나갈 수 있다. 오브젝트 범위 인식부(140)는 오브젝트 범위 후보로 생성된 노트북, 지구본 및 책상 중 손가락이 가장 먼저 터치된 지구본을 오브젝트 범위로 인식할 수 있다.
오브젝트 범위 인식부(140)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보를 가장 많이 포함하는 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보는 사용자의 손짓 정보에 따라 생성될 수 있으며, 사용자는 촬영된 영상에 사용자의 손가락으로 터치를 하면 사용자가 영상 내에 터치한 복수의 오브젝트가 오브젝트 범위 후보가 될 수 있다. 사용자가 디스플레이 화면에 터치한 면적 또는 범위는 오브젝트 별로 다를 수 있으며, 손가락으로 가장 많이 입력 받은 면적 또는 범위의 오브젝트는 오브젝트 범위로 인식될 수 있다.
예들 들면, 사용자는 손가락으로 디스플레이 화면에 있는 노트북, 지구본 및 책상 모두를 지나갈 수 있도록 일직선으로 터치하여 화면에 긋는 행위를 할 수 있으며, 사용자의 손짓 정보인 일직선 중 가장 많은 범위를 차지하고 있는 오브젝트 후보는 노트북이며, 그 다음으로 지구본, 책상 순이다. 오브젝트 범위 인식부(140)는 오브젝트 범위 후보로 생성된 노트북, 지구본 및 책상 중 사용자 손짓 정보를 가장 많이 포함하는 노트북을 오브젝트 범위로 인식할 수 있다.
변형 동작 데이터베이스(170)는 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장한다.
사용자는 손가락으로 디스플레이 화면을 터치하거나 손가락을 디스플레이 화면에 대고 움직이는 방식으로 사용자 손짓 정보를 입력하고, 사용자 손짓 정보 수신부(130)는 이를 수신할 수 있다. 사용자는 디스플레이 화면에 손가락으로 여러가지 모양으로 터치할 수 있으며, 사용자 손짓 정보는 선 모양, 복수의 손가락 펴기, 복수의 손가락 모으기 등의 다양한 패턴일 수 있다. 변형 동작 데이터베이스(170)는 사용자가 터치한 여러가지 모양을 패턴화하여 사용자 손짓 패턴 정보로 저장할 수 있다.
오브젝트 범위는 변형이 갈라짐, 회전, 확대, 축소 등의 변형이 발생할 수 있으며, 오브젝트 변형 동작 정보는 변형이 발생할 오브젝트 범위에 대한 변형 형태 또는 변형을 위한 모양에 대한 패턴일 수 있다. 변형 동작 데이터베이스(170)는 오브젝트 범위의 변형이 일어날 수 있는 변형 동작 패턴에 대한 정보를 저장할 수 있다.
변형 동작 데이터베이스(170)는 사용자 손짓 패턴 정보에 오브젝트 변형 동작 정보를 대응시켜 저장할 수 있으며, 사용자의 손짓 정보에 따라 오브젝트 범위의 변형 동작을 생성할 수 있다.
3차원 오브젝트 동작 정보 데이터베이스(180)는 변형 동작 데이터베이스(170)에 저장된 오브젝트 변형 동작 정보에 3차원 오브젝트의 동작 정보를 대응시켜 저장한다.
3차원 오브젝트 동작 정보는 3차원 오브젝트 선택부(120)에서 사용자가 선택한 3차원 오브젝트의 움직임에 대한 정보 일 수 있으며, 3차원 오브젝트의 움직임에 대한 정보는 3차원 오브젝트 동작 정보 데이터베이스(180)에 저장될 수 있다.
촬영한 영상에 오브젝트 범위에 대한 변형이 일어나고 3차원 오브젝트가 자연스럽게 합성되기 위해서 오브젝트 범위의 변형이 일어나는 동작에 따라 3차원 오브젝트가 동작하는 것이 자연스러울 수 있다. 3차원 오브젝트가 증강현실 영상에 보다 자연스럽게 합성되기 위해서 오브젝트 변형 동작 정보와 3차원 오브젝트 동작 정보를 대응시켜 저장할 수 있다.
변형 오브젝트 영상 변환부(150)는 인식된 오브젝트 범위에 속하는 영상을 변형 오브젝트 영상으로 변환한다.
변형 오브젝트 영상은 오브젝트 범위에 대한 영상의 변형이 일어난 영상일 수 있으며, 촬영된 영상 중 일부를 오브젝트 범위로 인식하고 오브젝트 범위는 반으로 쪼개지거나 확대되거나 축소되는 등의 변형된 형태의 영상일 수 있다.
변형 오브젝트 영상 변환부(150)는 사용자 손짓 정보 수신부(130)에서 수신한 사용자 손짓 정보에 대응되는 사용자 손짓 패턴 정보를 확인하고, 변형 동작 데이터베이스(170)를 조회하여 확인된 사용자 손짓 패턴 정보에 대응되는 오브젝트 변형 동작 정보를 기초로 인식된 오브젝트 범위에 속하는 영상을 변환한다.
변형 오브젝트 영상 변환부(150)는 사용자 손짓 정보 수신부(130)에서 수신한 사용자 손짓 정보에 대응되는 사용자 손짓 패턴 정보를 확인할 수 있다. 사용자는 디스플레이 화면에 사용자의 손가락으로 터치 또는 표면을 드래그 할 때 모양을 형성할 수 있으며, 사용자가 형성한 모양과 유사한 사용자 손짓 패턴 정보를 확인할 수 있다. 사용자의 손짓 정보와 유사한 사용자 손짓 패턴 정보를 확인한 후 그에 대응되는 변형 동작 데이터베이스(170)를 조회하여 오브젝트 변형 동작 정보를 확인할 수 있다. 확인한 오브젝트 변형 동작 정보를 기초로 오브젝트 범위에 해당하는 영상을 변형 오브젝트 영상으로 변환할 수 있다.
예를 들면, 사용자는 디스플레이 화면에 두 손가락을 펴는 행동을 하면 손짓 정보 수신부에서 사용자 손짓 정보로 수신하고, 사용자가 두 손가락을 폈다는 정보를 기반으로 사용자 손짓 패턴 정보에서 '두 손가락 펴기'를 확인할 수 있다. 확인된 사용자 손짓 패턴 정보인 '두 손가락 펴기'에 대응되는 오브젝트 변형 동작 정보는 '확대'일 수 있으며, 오브젝트 범위에 해당되는 영상은 확대되는 형태인 변형 오브젝트 영상으로 변환할 수 있다.
증강현실 영상 생성부(160)는 촬영된 영상에 선택한 3차원 오브젝트의 렌더링 영상 및 변환된 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성한다.
3차원 오브젝트의 렌더링 영상은 3차원 오브젝트를 렌더링한 영상일 수 있다. 증강현실 영상 생성부(160)는 카메라를 통해 촬영된 영상과 3차원 오브젝트 렌더링 영상 및 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성할 수 있다. 촬영된 영상에 오브젝트 범위로 선택된 위치에 변형 오브젝트 영상이 합성될 수 있으며, 3차원 오브젝트 렌더링 영상의 위치는 사용자가 선택할 수 있다.
증강현실 영상 생성부(160)는 3차원 오브젝트 동작 정보 데이터베이스(180)에서 오브젝트 변형 동작 정보에 대응되는 3차원 오브젝트의 동작 정보를 확인하고, 확인된 3차원 오브젝트의 동작 정보에 의해 생성된 렌더링 영상 및 변형 오브젝트 영상을 촬영된 영상에 합성하여 증강현실 영상을 생성한다.
증강현실 영상 생성부(160)는 3차원 오브젝트 동작 정보에 데이터베이스에서 오브젝트 변형 동작 정보에 대응되는 3차원 오브젝트 동작 정보를 확인할 수 있으며, 확인된 3차원 동작 정보를 기반으로 생성된 3차원 오브젝트 렌더링 영상을 촬영된 영상 및 변형 오브젝트 영상과 합성하여 증강현실 영상을 생성할 수 있다.
도 2는 본 발명의 일실시예에 따른 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장한 변형 동작 데이터베이스(170)의 일례를 도시한 도면이다.
변형 동작 데이터베이스(170)는 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장한다.
사용자는 손가락으로 디스플레이 화면을 터치하거나 손가락을 디스플레이 화면에 대고 움직이는 방식으로 사용자 손짓 정보를 입력하고, 사용자 손짓 정보 수신부(130)는 이를 수신할 수 있다. 사용자는 디스플레이 화면에 손가락으로 여러가지 모양으로 터치할 수 있으며, 사용자 손짓 정보는 선 모양, 복수의 손가락 펴기, 복수의 손가락 모으기 등의 다양한 패턴일 수 있다. 변형 동작 데이터베이스(170)는 사용자가 터치한 여러가지 모양을 패턴화하여 사용자 손짓 패턴 정보로 저장할 수 있다.
예를 들면, 사용자는 사용자가 촬영한 영상이 재생되는 단말기의 디스플레이 표면에 손가락으로 일직선으로 선을 그는 행동을 할 수 있으며, 사용자가 디스플레이에 선을 긋는 행위를 하면 그에 대한 패턴으로 사용자 손짓 패턴 정보는 '선 긋기'로 저장할 수 있으며, '선 긋기'에 대응되는 오브젝트 변형 동작 정보는 오브젝트 범위가 반으로 갈라지는 정보일 수 있다. 또한, 사용자가 원을 그리는 행동에 대한 패턴은 '원 그리기' 그에 대응되는 오브젝트 범위의 동작 정보인 오브젝트 변형 동작 정보는 사용자가 원을 그린 방향으로 '회전'한다는 정보를 대응시켜 저장할 수 있다. 그 밖에 사용자 손짓 패턴 정보인 '두 손가락 펴기'에 대응시켜 오브젝트 변형 동작 정보는 '확대', 사용자 손짓 패턴 정보를 '두 손가락 모으기'에 오브젝트 변형 동작 정보를 오브젝트 범위를 '확대' 정보를 대응시켜 저장할 수 있다. 또한, 사용자 손짓 패턴 정보를 '세 손가락 이상 펴기'와 '세 손가락 이상 모으기'를 각각 오브젝트 범위에 해당하는 영상을 '폭발'과 '축소하면서 사라짐'인 오브젝트 변형 동작 정보로 대응하여 저장할 수 있다.
도 3은 본 발명의 일실시예에 따른 오브젝트 변형 동작 정보에 3차원 오브젝트 동작 정보를 대응시켜 저장한 3차원 오브젝트 동작 데이터베이스의 일례를 도시한 도면이다.
3차원 오브젝트 동작 정보 데이터베이스(180)는 변형 동작 데이터베이스(170)에 저장된 오브젝트 변형 동작 정보에 3차원 오브젝트의 동작 정보를 대응시켜 저장한다.
3차원 오브젝트 동작 정보는 3차원 오브젝트 선택부(120)에서 사용자가 선택한 3차원 오브젝트의 움직임에 대한 정보 일 수 있으며, 3차원 오브젝트의 움직임에 대한 정보는 3차원 오브젝트 동작 정보 데이터베이스(180)에 저장될 수 있다.
촬영한 영상에 오브젝트 범위에 대한 변형이 일어나고 3차원 오브젝트가 자연스럽게 합성되기 위해서 오브젝트 범위의 변형이 일어나는 동작에 따라 3차원 오브젝트가 동작하는 것이 자연스러울 수 있다. 3차원 오브젝트가 증강현실 영상에 보다 자연스럽게 합성되기 위해서 오브젝트 변형 동작 정보와 3차원 오브젝트 동작 정보를 대응시켜 저장할 수 있다.
예를 들면, 오브젝트 범위는 반으로 갈라지는 형태로 오브젝트 변형 동작 정보가 '갈라짐'으로 확인되었는데 3차원 오브젝트는 그 갈라진 틈에서 등장할 수 있으며, 오브젝트 범위가 축소하면서 사라지는 동장 정보가 실행되면 오브젝트 범위에 해당하는 영상이 사라진 지점에서 3차원 오브젝트가 등장하면 보다 자연스러운 증강현실 영상을 생성할 수 있다.
도 4는 본 발명의 일실시예에 따른 사용자의 손짓 정보를 기반으로 오브젝트 범위 후보를 인식하고 그 중 하나를 사용자의 선택 입력 받아 오브젝트 범위로 인식하는 일례를 도시한 도면이다.
오브젝트 범위 인식부(140)는 수신한 사용자의 손짓 정보를 기반으로 촬영된 영상 중 일부를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 사용자의 손짓 정보를 기반으로 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고, 오브젝트 범위 후보 중 하나를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 오브젝트 범위 후보 중 하나를 사용자로부터 선택 입력 받아 오브젝트 범위로 인식한다.
사용자는 오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보 중 하나를 오브젝트 범위로 직접 선택할 수 있다.
예들 들면, 사용자는 디스플레이 화면에 있는 노트북(403), 지구본(402) 및 책상(404) 모두를 지나갈 수 있도록 손가락으로 터치(401)할 수 있으며, 손가락이 그어진 노트북(403), 지구본(402) 및 책상(404)은 오브젝트 범위 후보로 생성될 수 있다. 사용자는 오브젝트 범위로 책상을 선택할 수 있다. 오브젝트 범위 인식부(140)는 사용자가 선택한 책상을 오브젝트 범위(405)로 인식할 수 있다.
도 5는 본 발명의 일실시예에 따른 오브젝트 범위 후보 중 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보를 오브젝트 범위로 인식하는 일례를 도시한 도면이다.
오브젝트 범위 인식부(140)는 수신한 사용자의 손짓 정보를 기반으로 촬영된 영상 중 일부를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 사용자의 손짓 정보를 기반으로 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고, 오브젝트 범위 후보 중 하나를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보는 사용자의 손짓 정보에 따라 생성될 수 있으며, 사용자는 촬영된 영상에 사용자의 손가락으로 터치를 하면 사용자가 영상 내에 터치한 복수의 오브젝트가 오브젝트 범위 후보가 될 수 있다. 사용자가 디스플레이 화면에 터치를 할 때 처음으로 찍은 지점에 있는 오브젝트가 오브젝트 범위로 인식할 수 있다.
예를 들면, 사용자는 디스플레이 화면에 있는 노트북(503), 지구본(502) 및 책상(504) 모두를 지나갈 수 있도록 손가락으로 터치(501)할 수 있으며, 사용자의 손가락은 지구본을 시작(505)으로 노트북 다음 책상 순으로 손가락이 지나갈 수 있다. 오브젝트 범위 인식부(140)는 오브젝트 범위 후보로 생성된 노트북, 지구본 및 책상 중 손가락이 가장 먼저 터치된 지구본을 오브젝트 범위(505)로 인식할 수 있다.
도 6은 본 발명의 일실시예에 따른 오브젝트 범위 후보 중 사용자의 손짓 정보를 가장 많이 포함하고 있는 오브젝트 범위 후보를 오브젝트 범위로 인식하는 일례를 도시한 도면이다.
오브젝트 범위 인식부(140)는 수신한 사용자의 손짓 정보를 기반으로 촬영된 영상 중 일부를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 사용자의 손짓 정보를 기반으로 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고, 오브젝트 범위 후보 중 하나를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보를 가장 많이 포함하는 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보는 사용자의 손짓 정보에 따라 생성될 수 있으며, 사용자는 촬영된 영상에 사용자의 손가락으로 터치를 하면 사용자가 영상 내에 터치한 복수의 오브젝트가 오브젝트 범위 후보가 될 수 있다. 사용자가 디스플레이 화면에 터치한 면적 또는 범위는 오브젝트 별로 다를 수 있으며, 손가락으로 가장 많이 입력 받은 면적 또는 범위의 오브젝트는 오브젝트 범위로 인식될 수 있다.
예들 들면, 사용자는 손가락으로 디스플레이 화면에 있는 노트북(603), 지구본(602) 및 책상(604) 모두를 지나갈 수 있도록 일직선으로 터치(601)하여 화면에 긋는 행위를 할 수 있으며, 사용자의 손짓 정보인 일직선 중 가장 많은 범위를 차지하고 있는 오브젝트 후보는 노트북이며, 그 다음으로 지구본, 책상 순이다. 오브젝트 범위 인식부(140)는 오브젝트 범위 후보로 생성된 노트북, 지구본 및 책상 중 사용자 손짓 정보를 가장 많이 포함하는 노트북을 오브젝트 범위(605)로 인식할 수 있다.
도 7은 본 발명의 일실시예에 따른 변형 오브젝트를 제공하기 위한 증강현실 영상의 일례를 도시한 도면이다.
증강현실 영상 생성부(160)는 촬영된 영상에 선택한 3차원 오브젝트의 렌더링 영상 및 변환된 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성한다.
3차원 오브젝트의 렌더링 영상은 3차원 오브젝트를 렌더링한 영상일 수 있다. 증강현실 영상 생성부(160)는 카메라를 통해 촬영된 영상과 3차원 오브젝트 렌더링 영상 및 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성할 수 있다. 촬영된 영상에 오브젝트 범위로 선택된 위치에 변형 오브젝트 영상이 합성될 수 있으며, 3차원 오브젝트 렌더링 영상의 위치는 사용자가 선택할 수 있다.
예를 들면, 사용자는 카메라를 이용하여 촬영한 영상은 테니스 코트(710)라고 한다면 테니스코스의 앞부분은 오브젝트 범위(711)로 선택될 수 있고, 선택된 오브젝트 범위는 사용자가 선을 그어서 오브젝트 범위가 갈라지는 형태로 변형 오브젝트 영상(720)이 생성될 수 있다. 또한 여기서 사용자는 3차원 오브젝트를 선택하고 변형 오브젝트 변형 동작 정보와 대응되는 3차원 오브젝트 동작인 갈라지는 틈에서 등장(731)하는 영상이 합성될 수 있다. 따라서 테니스코트를 촬영한 영상 중 테니스 코트 안쪽이 갈라지는 형태의 변형오브젝트와 3차원 오브젝트 렌더링 영상이 합성되어 증강현실 영상(730)을 생성할 수 있다.
도 8은 본 발명의 일실시예에 따른 증강현실 영상 제공 방법의 순서도를 도시한 도면이다.
이상의 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템은 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 방법으로 구현되어 실현될 수 있으며, 상기 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템의 기술적인 사상을 그대로 적용할 수 있다.
이와 같은, 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
중앙처리장치 및 메모리를 구비하는 증강현실 영상 제공 시스템에서 동작하는 증강현실 영상 제공 방법에 있어서, 촬영 영상 수신부(110)에서 촬영된 영상을 수신하는 단계(S801)는 카메라를 통해 촬영된 영상을 수신한다.
3차원 오브젝트 선택부(120)에서 3차원 오브젝트를 선택하는 단계(S802)는 촬영된 영상에 표시할 3차원 오브젝트를 선택한다.
사용자 손짓 정보 수신부(130)에서 사용자 손짓 정보를 수신하는 단계(S803)는 촬영 영상이 표시되는 디스플레이 화면 상에서 사용자 손짓 정보를 수신한다.
오브젝트 범위 인식부(140)에서 오브젝트 범위로 인식하는 단계(S804)는 수신한 사용자의 손짓 정보를 기반으로 촬영된 영상 중 일부를 오브젝트 범위로 인식한다.
오브젝트 범위로 인식하는 단계(S804)는 사용자의 손짓 정보를 기반으로 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고, 오브젝트 범위 후보 중 하나를 오브젝트 범위로 인식한다.
오브젝트 범위로 인식하는 단계(S804)는 오브젝트 범위 후보 중 하나를 사용자로부터 선택 입력 받아 오브젝트 범위로 인식한다.
오브젝트 범위로 인식하는 단계(S804)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
오브젝트 범위로 인식하는 단계(S804)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보를 가장 많이 포함하는 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
변형 동작 데이터베이스(170)에 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장하는 단계는 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장한다.
3차원 오브젝트 동작 정보 데이터베이스(180)에 오브젝트 변형 동작 정보에 3차원 오브젝트의 동작 정보를 대응시켜 저장하는 단계는 변형 동작 데이터베이스(170)에 저장된 오브젝트 변형 동작 정보에 3차원 오브젝트의 동작 정보를 대응시켜 저장한다.
변형 오브젝트 영상 변환부(150)에서 변형 오브젝트 영상으로 변환하는 단계(S805)는 인식된 오브젝트 범위에 속하는 영상을 변형 오브젝트 영상으로 변환한다.
변형 오브젝트 영상으로 변환하는 단계(S805)는 사용자 손짓 정보를 수신하는 단계(S803)에서 수신한 사용자 손짓 정보에 대응되는 사용자 손짓 패턴 정보를 확인하고, 변형 동작 데이터베이스(170)를 조회하여 확인된 사용자 손짓 패턴 정보에 대응되는 오브젝트 변형 동작 정보를 기초로 인식된 오브젝트 범위에 속하는 영상을 변환한다.
증강현실 영상 생성부(160)에서 증강현실 영상을 생성하는 단계(S806)는 촬영된 영상에 선택한 3차원 오브젝트의 렌더링 영상 및 변환된 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성한다.
증강현실 영상을 생성하는 단계(S806)는 3차원 오브젝트 동작 정보 데이터베이스(180)에서 상기 오브젝트 변형 동작 정보에 대응되는 3차원 오브젝트의 동작 정보를 확인하고, 확인된 3차원 오브젝트의 동작 정보에 의해 생성된 렌더링 영상 및 상기 변형 오브젝트 영상을 상기 촬영된 영상에 합성하여 증강현실 영상을 생성한다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CDROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다. 또한 본 발명의 실시예들을 설명함에 있어 구체적인 수치는 실시예에 불과하며 이에 의하여 발명의 범위가 제한되지 아니한다.
본 발명에 따른 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템은 중앙처리장치(CPU) 및 메모리(Memory, 기억장치)를 구비하고 인터넷 등의 통신망을 통하여 다른 단말기와 연결 가능한 서버의 형태로 구성될 수 있다. 그러나 본 발명이 중앙처리장치 및 메모리 등의 구성에 의해 한정되지는 아니한다. 또한, 본 발명에 따른 폴더 탐색 시스템은 물리적으로 하나의 장치로 구성될 수도 있으며, 복수의 장치에 분산된 형태로 구현될 수도 있어, 본 발명은 이와 같은 물리적인 장치의 구성에 의하여 한정되지 아니한다.
도 1은 본 발명의 일실시예에 따른 증강현실 영상 제공 시스템의 구성도를 도시한 도면이다.
본 발명에 따른 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템은 촬영 영상 수신부(110), 3차원 오브젝트 선택부(120), 사용자 손짓 정보 수신부(130), 오브젝트 범위 인식부(140), 오브젝트 영상 변환부(150), 증강현실 영상 생성부(160), 변형 동작 데이터베이스(170), 3차원 오브젝트 동작 정보 데이터베이스(180)로 구성될 수 있으며, 각각의 구성요소들은 물리적으로 동일한 컴퓨터 시스템 내에서 동작하는 소프트웨어 모듈일 수 있으며, 물리적으로 2개 이상으로 분리된 컴퓨터 시스템이 서로 연동하여 동작할 수 있도록 구성된 형태일 수 있는데, 동일한 기능을 포함하는 다양한 실시형태가 본 발명의 권리범위에 속한다.
촬영 영상 수신부(110)는 카메라를 통해 촬영된 영상을 수신한다.
사용자가 사용자의 단말기 카메라를 통해서 증강현실 영상의 배경이 될 영상을 사용자의 카메라를 통해서 촬영하고, 촬영 영상 수신부(110)는 사용자가 촬영한 영상을 수신할 수 있다.
3차원 오브젝트 선택부(120)는 촬영된 영상에 표시할 3차원 오브젝트를 선택한다.
3차원 오브젝트는 사용자가 카메라를 통해 촬영한 영상에 합성될 콘텐츠 영상일 수 있으며, 카메라를 통해 촬영된 영상 또는 이미지일 수 있으며, 촬영된 영상에서 움직일 수 있도록 디자인된 콘텐츠 일 수 있다. 사용자는 복수의 3차원 오브젝트 중에서 사용자가 촬영한 영상에 합성될 하나 또는 복수의 3차원 오브젝트를 선택할 수 있다.
예를 들면, 사용자는 사용자가 촬영한 영상에 구름 모양의 콘텐츠를 합성(표시)하고 싶다면, 여러 개의 3차원 오브젝트 중에서 구름 모양의 3차원 오브젝트를 선택할 수 있다.
사용자 손짓 정보 수신부(130)는 촬영 영상이 표시되는 디스플레이 화면 상에서 사용자 손짓 정보를 수신한다.
사용자 손짓 정보는 사용자가 사용자의 단말기 화면에 손가락으로 터치하여 움직이는 정보일 수 있으며, 사용자가 단말기의 디스플레이 표면에 손가락으로 움직이는 동작일 수 있다. 사용자의 단말기는 사용자가 촬영한 영상이 재생되고 촬영한 영상이 재생되는 상태에서 사용자가 화면을 손가락으로 긋는 행위를 할 수 있으며, 사용자가 화면을 손가락으로 긋는 행위는 사용자 손짓 정보 일 수 있다. 사용자 손짓 정보 수신부(130)는 사용자가 하나의 손가락으로 화면을 터치하는 움직임을 수신할 수 있으며, 복수의 손가락으로 화면을 터치하는 움직임 또는 정보를 수신할 수 있다. 사용자 손짓 정보는 선 모양, 복수의 손가락 펴기, 복수의 손가락 모으기 등의 다양한 패턴을 가질 수 있으며, 다양한 패턴을 구분하여 수신할 수 있다.
오브젝트 범위 인식부(140)는 수신한 사용자의 손짓 정보를 기반으로 촬영된 영상 중 일부를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 사용자가 디스플레이 화면상에서 터치하여 그은 사용자의 손짓 정보를 기반으로 오브젝트 범위로 인식할 수 있다. 오브젝트 범위는 촬영된 영상에 포함된 일부의 범위 일 수 있으며, 변형을 발생시키기 위한 하나 또는 복수의 오브젝트 일 수 있다.
오브젝트 범위 인식부(140)는 촬영된 영상내에서 각각의 오브젝트를 분리하여 인식할 수 있으며, 각각의 오브젝트를 인식하고 사용자가 디스플레이 화면에 터치하여 손가락으로 긋는 행위를 하면 손가락이 그어진 오브젝트를 오브젝트 범위로 인식할 수 있다.
오브젝트 범위 인식부(140)는 사용자의 손짓 정보를 기반으로 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고, 오브젝트 범위 후보 중 하나를 오브젝트 범위로 인식한다.
오브젝트 범위는 복수의 오브젝트 범위 후보 중 하나일 수 있으며, 오브젝트 범위 후보는 사용자의 손짓 정보인 사용자가 화면에 터치하는 범위 내에서 생성될 수 있다.
예를 들면, 사용자의 단말기 화면에는 책상위에 노트북 및 지구본이 있는 영상이 재생되고 있으며, 오브젝트 범위 인식부(140)는 책상, 노트북 및 지구본을 각각의 오브젝트로 인식할 수 있다. 사용자는 디스플레이 화면에 있는 노트북, 지구본 및 책상 모두를 지나갈 수 있도록 손가락으로 터치할 수 있으며, 손가락이 그어진 노트북, 지구본 및 책상은 오브젝트 범위 후보로 생성될 수 있다. 오브젝트 범위 후보인 노트북, 지구본 및 책상 중 하나는 오브젝트 범위로 인식될 수 있다.
오브젝트 범위 인식부(140)는 오브젝트 범위 후보 중 하나를 사용자로부터 선택 입력 받아 오브젝트 범위로 인식한다.
사용자는 오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보 중 하나를 오브젝트 범위로 직접 선택할 수 있다.
예들 들면, 사용자는 디스플레이 화면에 있는 노트북, 지구본 및 책상 모두를 지나갈 수 있도록 손가락으로 터치할 수 있으며, 손가락이 그어진 노트북, 지구본 및 책상은 오브젝트 범위 후보로 생성될 수 있다. 사용자는 오브젝트 범위로 책상을 선택할 수 있다. 오브젝트 범위 인식부(140)는 사용자가 선택한 책상을 오브젝트 범위로 인식할 수 있다.
오브젝트 범위 인식부(140)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보는 사용자의 손짓 정보에 따라 생성될 수 있으며, 사용자는 촬영된 영상에 사용자의 손가락으로 터치를 하면 사용자가 영상 내에 터치한 복수의 오브젝트가 오브젝트 범위 후보가 될 수 있다. 사용자가 디스플레이 화면에 터치를 할 때 처음으로 찍은 지점에 있는 오브젝트가 오브젝트 범위로 인식할 수 있다.
예를 들면, 사용자는 디스플레이 화면에 있는 노트북, 지구본 및 책상 모두를 지나갈 수 있도록 손가락으로 터치할 수 있으며, 사용자의 손가락은 지구본을 시작으로 노트북 다음 책상 순으로 손가락이 지나갈 수 있다. 오브젝트 범위 인식부(140)는 오브젝트 범위 후보로 생성된 노트북, 지구본 및 책상 중 손가락이 가장 먼저 터치된 지구본을 오브젝트 범위로 인식할 수 있다.
오브젝트 범위 인식부(140)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보를 가장 많이 포함하는 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보는 사용자의 손짓 정보에 따라 생성될 수 있으며, 사용자는 촬영된 영상에 사용자의 손가락으로 터치를 하면 사용자가 영상 내에 터치한 복수의 오브젝트가 오브젝트 범위 후보가 될 수 있다. 사용자가 디스플레이 화면에 터치한 면적 또는 범위는 오브젝트 별로 다를 수 있으며, 손가락으로 가장 많이 입력 받은 면적 또는 범위의 오브젝트는 오브젝트 범위로 인식될 수 있다.
예들 들면, 사용자는 손가락으로 디스플레이 화면에 있는 노트북, 지구본 및 책상 모두를 지나갈 수 있도록 일직선으로 터치하여 화면에 긋는 행위를 할 수 있으며, 사용자의 손짓 정보인 일직선 중 가장 많은 범위를 차지하고 있는 오브젝트 후보는 노트북이며, 그 다음으로 지구본, 책상 순이다. 오브젝트 범위 인식부(140)는 오브젝트 범위 후보로 생성된 노트북, 지구본 및 책상 중 사용자 손짓 정보를 가장 많이 포함하는 노트북을 오브젝트 범위로 인식할 수 있다.
변형 동작 데이터베이스(170)는 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장한다.
사용자는 손가락으로 디스플레이 화면을 터치하거나 손가락을 디스플레이 화면에 대고 움직이는 방식으로 사용자 손짓 정보를 입력하고, 사용자 손짓 정보 수신부(130)는 이를 수신할 수 있다. 사용자는 디스플레이 화면에 손가락으로 여러가지 모양으로 터치할 수 있으며, 사용자 손짓 정보는 선 모양, 복수의 손가락 펴기, 복수의 손가락 모으기 등의 다양한 패턴일 수 있다. 변형 동작 데이터베이스(170)는 사용자가 터치한 여러가지 모양을 패턴화하여 사용자 손짓 패턴 정보로 저장할 수 있다.
오브젝트 범위는 변형이 갈라짐, 회전, 확대, 축소 등의 변형이 발생할 수 있으며, 오브젝트 변형 동작 정보는 변형이 발생할 오브젝트 범위에 대한 변형 형태 또는 변형을 위한 모양에 대한 패턴일 수 있다. 변형 동작 데이터베이스(170)는 오브젝트 범위의 변형이 일어날 수 있는 변형 동작 패턴에 대한 정보를 저장할 수 있다.
변형 동작 데이터베이스(170)는 사용자 손짓 패턴 정보에 오브젝트 변형 동작 정보를 대응시켜 저장할 수 있으며, 사용자의 손짓 정보에 따라 오브젝트 범위의 변형 동작을 생성할 수 있다.
3차원 오브젝트 동작 정보 데이터베이스(180)는 변형 동작 데이터베이스(170)에 저장된 오브젝트 변형 동작 정보에 3차원 오브젝트의 동작 정보를 대응시켜 저장한다.
3차원 오브젝트 동작 정보는 3차원 오브젝트 선택부(120)에서 사용자가 선택한 3차원 오브젝트의 움직임에 대한 정보 일 수 있으며, 3차원 오브젝트의 움직임에 대한 정보는 3차원 오브젝트 동작 정보 데이터베이스(180)에 저장될 수 있다.
촬영한 영상에 오브젝트 범위에 대한 변형이 일어나고 3차원 오브젝트가 자연스럽게 합성되기 위해서 오브젝트 범위의 변형이 일어나는 동작에 따라 3차원 오브젝트가 동작하는 것이 자연스러울 수 있다. 3차원 오브젝트가 증강현실 영상에 보다 자연스럽게 합성되기 위해서 오브젝트 변형 동작 정보와 3차원 오브젝트 동작 정보를 대응시켜 저장할 수 있다.
변형 오브젝트 영상 변환부(150)는 인식된 오브젝트 범위에 속하는 영상을 변형 오브젝트 영상으로 변환한다.
변형 오브젝트 영상은 오브젝트 범위에 대한 영상의 변형이 일어난 영상일 수 있으며, 촬영된 영상 중 일부를 오브젝트 범위로 인식하고 오브젝트 범위는 반으로 쪼개지거나 확대되거나 축소되는 등의 변형된 형태의 영상일 수 있다.
변형 오브젝트 영상 변환부(150)는 사용자 손짓 정보 수신부(130)에서 수신한 사용자 손짓 정보에 대응되는 사용자 손짓 패턴 정보를 확인하고, 변형 동작 데이터베이스(170)를 조회하여 확인된 사용자 손짓 패턴 정보에 대응되는 오브젝트 변형 동작 정보를 기초로 인식된 오브젝트 범위에 속하는 영상을 변환한다.
변형 오브젝트 영상 변환부(150)는 사용자 손짓 정보 수신부(130)에서 수신한 사용자 손짓 정보에 대응되는 사용자 손짓 패턴 정보를 확인할 수 있다. 사용자는 디스플레이 화면에 사용자의 손가락으로 터치 또는 표면을 드래그 할 때 모양을 형성할 수 있으며, 사용자가 형성한 모양과 유사한 사용자 손짓 패턴 정보를 확인할 수 있다. 사용자의 손짓 정보와 유사한 사용자 손짓 패턴 정보를 확인한 후 그에 대응되는 변형 동작 데이터베이스(170)를 조회하여 오브젝트 변형 동작 정보를 확인할 수 있다. 확인한 오브젝트 변형 동작 정보를 기초로 오브젝트 범위에 해당하는 영상을 변형 오브젝트 영상으로 변환할 수 있다.
예를 들면, 사용자는 디스플레이 화면에 두 손가락을 펴는 행동을 하면 손짓 정보 수신부에서 사용자 손짓 정보로 수신하고, 사용자가 두 손가락을 폈다는 정보를 기반으로 사용자 손짓 패턴 정보에서 '두 손가락 펴기'를 확인할 수 있다. 확인된 사용자 손짓 패턴 정보인 '두 손가락 펴기'에 대응되는 오브젝트 변형 동작 정보는 '확대'일 수 있으며, 오브젝트 범위에 해당되는 영상은 확대되는 형태인 변형 오브젝트 영상으로 변환할 수 있다.
증강현실 영상 생성부(160)는 촬영된 영상에 선택한 3차원 오브젝트의 렌더링 영상 및 변환된 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성한다.
3차원 오브젝트의 렌더링 영상은 3차원 오브젝트를 렌더링한 영상일 수 있다. 증강현실 영상 생성부(160)는 카메라를 통해 촬영된 영상과 3차원 오브젝트 렌더링 영상 및 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성할 수 있다. 촬영된 영상에 오브젝트 범위로 선택된 위치에 변형 오브젝트 영상이 합성될 수 있으며, 3차원 오브젝트 렌더링 영상의 위치는 사용자가 선택할 수 있다.
증강현실 영상 생성부(160)는 3차원 오브젝트 동작 정보 데이터베이스(180)에서 오브젝트 변형 동작 정보에 대응되는 3차원 오브젝트의 동작 정보를 확인하고, 확인된 3차원 오브젝트의 동작 정보에 의해 생성된 렌더링 영상 및 변형 오브젝트 영상을 촬영된 영상에 합성하여 증강현실 영상을 생성한다.
증강현실 영상 생성부(160)는 3차원 오브젝트 동작 정보에 데이터베이스에서 오브젝트 변형 동작 정보에 대응되는 3차원 오브젝트 동작 정보를 확인할 수 있으며, 확인된 3차원 동작 정보를 기반으로 생성된 3차원 오브젝트 렌더링 영상을 촬영된 영상 및 변형 오브젝트 영상과 합성하여 증강현실 영상을 생성할 수 있다.
도 2는 본 발명의 일실시예에 따른 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장한 변형 동작 데이터베이스(170)의 일례를 도시한 도면이다.
변형 동작 데이터베이스(170)는 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장한다.
사용자는 손가락으로 디스플레이 화면을 터치하거나 손가락을 디스플레이 화면에 대고 움직이는 방식으로 사용자 손짓 정보를 입력하고, 사용자 손짓 정보 수신부(130)는 이를 수신할 수 있다. 사용자는 디스플레이 화면에 손가락으로 여러가지 모양으로 터치할 수 있으며, 사용자 손짓 정보는 선 모양, 복수의 손가락 펴기, 복수의 손가락 모으기 등의 다양한 패턴일 수 있다. 변형 동작 데이터베이스(170)는 사용자가 터치한 여러가지 모양을 패턴화하여 사용자 손짓 패턴 정보로 저장할 수 있다.
예를 들면, 사용자는 사용자가 촬영한 영상이 재생되는 단말기의 디스플레이 표면에 손가락으로 일직선으로 선을 그는 행동을 할 수 있으며, 사용자가 디스플레이에 선을 긋는 행위를 하면 그에 대한 패턴으로 사용자 손짓 패턴 정보는 '선 긋기'로 저장할 수 있으며, '선 긋기'에 대응되는 오브젝트 변형 동작 정보는 오브젝트 범위가 반으로 갈라지는 정보일 수 있다. 또한, 사용자가 원을 그리는 행동에 대한 패턴은 '원 그리기' 그에 대응되는 오브젝트 범위의 동작 정보인 오브젝트 변형 동작 정보는 사용자가 원을 그린 방향으로 '회전'한다는 정보를 대응시켜 저장할 수 있다. 그 밖에 사용자 손짓 패턴 정보인 '두 손가락 펴기'에 대응시켜 오브젝트 변형 동작 정보는 '확대', 사용자 손짓 패턴 정보를 '두 손가락 모으기'에 오브젝트 변형 동작 정보를 오브젝트 범위를 '확대' 정보를 대응시켜 저장할 수 있다. 또한, 사용자 손짓 패턴 정보를 '세 손가락 이상 펴기'와 '세 손가락 이상 모으기'를 각각 오브젝트 범위에 해당하는 영상을 '폭발'과 '축소하면서 사라짐'인 오브젝트 변형 동작 정보로 대응하여 저장할 수 있다.
도 3은 본 발명의 일실시예에 따른 오브젝트 변형 동작 정보에 3차원 오브젝트 동작 정보를 대응시켜 저장한 3차원 오브젝트 동작 데이터베이스의 일례를 도시한 도면이다.
3차원 오브젝트 동작 정보 데이터베이스(180)는 변형 동작 데이터베이스(170)에 저장된 오브젝트 변형 동작 정보에 3차원 오브젝트의 동작 정보를 대응시켜 저장한다.
3차원 오브젝트 동작 정보는 3차원 오브젝트 선택부(120)에서 사용자가 선택한 3차원 오브젝트의 움직임에 대한 정보 일 수 있으며, 3차원 오브젝트의 움직임에 대한 정보는 3차원 오브젝트 동작 정보 데이터베이스(180)에 저장될 수 있다.
촬영한 영상에 오브젝트 범위에 대한 변형이 일어나고 3차원 오브젝트가 자연스럽게 합성되기 위해서 오브젝트 범위의 변형이 일어나는 동작에 따라 3차원 오브젝트가 동작하는 것이 자연스러울 수 있다. 3차원 오브젝트가 증강현실 영상에 보다 자연스럽게 합성되기 위해서 오브젝트 변형 동작 정보와 3차원 오브젝트 동작 정보를 대응시켜 저장할 수 있다.
예를 들면, 오브젝트 범위는 반으로 갈라지는 형태로 오브젝트 변형 동작 정보가 '갈라짐'으로 확인되었는데 3차원 오브젝트는 그 갈라진 틈에서 등장할 수 있으며, 오브젝트 범위가 축소하면서 사라지는 동장 정보가 실행되면 오브젝트 범위에 해당하는 영상이 사라진 지점에서 3차원 오브젝트가 등장하면 보다 자연스러운 증강현실 영상을 생성할 수 있다.
도 4는 본 발명의 일실시예에 따른 사용자의 손짓 정보를 기반으로 오브젝트 범위 후보를 인식하고 그 중 하나를 사용자의 선택 입력 받아 오브젝트 범위로 인식하는 일례를 도시한 도면이다.
오브젝트 범위 인식부(140)는 수신한 사용자의 손짓 정보를 기반으로 촬영된 영상 중 일부를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 사용자의 손짓 정보를 기반으로 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고, 오브젝트 범위 후보 중 하나를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 오브젝트 범위 후보 중 하나를 사용자로부터 선택 입력 받아 오브젝트 범위로 인식한다.
사용자는 오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보 중 하나를 오브젝트 범위로 직접 선택할 수 있다.
예들 들면, 사용자는 디스플레이 화면에 있는 노트북(403), 지구본(402) 및 책상(404) 모두를 지나갈 수 있도록 손가락으로 터치(401)할 수 있으며, 손가락이 그어진 노트북(403), 지구본(402) 및 책상(404)은 오브젝트 범위 후보로 생성될 수 있다. 사용자는 오브젝트 범위로 책상을 선택할 수 있다. 오브젝트 범위 인식부(140)는 사용자가 선택한 책상을 오브젝트 범위(405)로 인식할 수 있다.
도 5는 본 발명의 일실시예에 따른 오브젝트 범위 후보 중 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보를 오브젝트 범위로 인식하는 일례를 도시한 도면이다.
오브젝트 범위 인식부(140)는 수신한 사용자의 손짓 정보를 기반으로 촬영된 영상 중 일부를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 사용자의 손짓 정보를 기반으로 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고, 오브젝트 범위 후보 중 하나를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보는 사용자의 손짓 정보에 따라 생성될 수 있으며, 사용자는 촬영된 영상에 사용자의 손가락으로 터치를 하면 사용자가 영상 내에 터치한 복수의 오브젝트가 오브젝트 범위 후보가 될 수 있다. 사용자가 디스플레이 화면에 터치를 할 때 처음으로 찍은 지점에 있는 오브젝트가 오브젝트 범위로 인식할 수 있다.
예를 들면, 사용자는 디스플레이 화면에 있는 노트북(503), 지구본(502) 및 책상(504) 모두를 지나갈 수 있도록 손가락으로 터치(501)할 수 있으며, 사용자의 손가락은 지구본을 시작(505)으로 노트북 다음 책상 순으로 손가락이 지나갈 수 있다. 오브젝트 범위 인식부(140)는 오브젝트 범위 후보로 생성된 노트북, 지구본 및 책상 중 손가락이 가장 먼저 터치된 지구본을 오브젝트 범위(505)로 인식할 수 있다.
도 6은 본 발명의 일실시예에 따른 오브젝트 범위 후보 중 사용자의 손짓 정보를 가장 많이 포함하고 있는 오브젝트 범위 후보를 오브젝트 범위로 인식하는 일례를 도시한 도면이다.
오브젝트 범위 인식부(140)는 수신한 사용자의 손짓 정보를 기반으로 촬영된 영상 중 일부를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 사용자의 손짓 정보를 기반으로 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고, 오브젝트 범위 후보 중 하나를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보를 가장 많이 포함하는 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보는 사용자의 손짓 정보에 따라 생성될 수 있으며, 사용자는 촬영된 영상에 사용자의 손가락으로 터치를 하면 사용자가 영상 내에 터치한 복수의 오브젝트가 오브젝트 범위 후보가 될 수 있다. 사용자가 디스플레이 화면에 터치한 면적 또는 범위는 오브젝트 별로 다를 수 있으며, 손가락으로 가장 많이 입력 받은 면적 또는 범위의 오브젝트는 오브젝트 범위로 인식될 수 있다.
예들 들면, 사용자는 손가락으로 디스플레이 화면에 있는 노트북(603), 지구본(602) 및 책상(604) 모두를 지나갈 수 있도록 일직선으로 터치(601)하여 화면에 긋는 행위를 할 수 있으며, 사용자의 손짓 정보인 일직선 중 가장 많은 범위를 차지하고 있는 오브젝트 후보는 노트북이며, 그 다음으로 지구본, 책상 순이다. 오브젝트 범위 인식부(140)는 오브젝트 범위 후보로 생성된 노트북, 지구본 및 책상 중 사용자 손짓 정보를 가장 많이 포함하는 노트북을 오브젝트 범위(605)로 인식할 수 있다.
도 7은 본 발명의 일실시예에 따른 변형 오브젝트를 제공하기 위한 증강현실 영상의 일례를 도시한 도면이다.
증강현실 영상 생성부(160)는 촬영된 영상에 선택한 3차원 오브젝트의 렌더링 영상 및 변환된 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성한다.
3차원 오브젝트의 렌더링 영상은 3차원 오브젝트를 렌더링한 영상일 수 있다. 증강현실 영상 생성부(160)는 카메라를 통해 촬영된 영상과 3차원 오브젝트 렌더링 영상 및 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성할 수 있다. 촬영된 영상에 오브젝트 범위로 선택된 위치에 변형 오브젝트 영상이 합성될 수 있으며, 3차원 오브젝트 렌더링 영상의 위치는 사용자가 선택할 수 있다.
예를 들면, 사용자는 카메라를 이용하여 촬영한 영상은 테니스 코트(710)라고 한다면 테니스코스의 앞부분은 오브젝트 범위(711)로 선택될 수 있고, 선택된 오브젝트 범위는 사용자가 선을 그어서 오브젝트 범위가 갈라지는 형태로 변형 오브젝트 영상(720)이 생성될 수 있다. 또한 여기서 사용자는 3차원 오브젝트를 선택하고 변형 오브젝트 변형 동작 정보와 대응되는 3차원 오브젝트 동작인 갈라지는 틈에서 등장(731)하는 영상이 합성될 수 있다. 따라서 테니스코트를 촬영한 영상 중 테니스 코트 안쪽이 갈라지는 형태의 변형오브젝트와 3차원 오브젝트 렌더링 영상이 합성되어 증강현실 영상(730)을 생성할 수 있다.
도 8은 본 발명의 일실시예에 따른 증강현실 영상 제공 방법의 순서도를 도시한 도면이다.
이상의 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템은 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 방법으로 구현되어 실현될 수 있으며, 상기 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템의 기술적인 사상을 그대로 적용할 수 있다.
이와 같은, 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
중앙처리장치 및 메모리를 구비하는 증강현실 영상 제공 시스템에서 동작하는 증강현실 영상 제공 방법에 있어서, 촬영 영상 수신부(110)에서 촬영된 영상을 수신하는 단계(S801)는 카메라를 통해 촬영된 영상을 수신한다.
3차원 오브젝트 선택부(120)에서 3차원 오브젝트를 선택하는 단계(S802)는 촬영된 영상에 표시할 3차원 오브젝트를 선택한다.
사용자 손짓 정보 수신부(130)에서 사용자 손짓 정보를 수신하는 단계(S803)는 촬영 영상이 표시되는 디스플레이 화면 상에서 사용자 손짓 정보를 수신한다.
오브젝트 범위 인식부(140)에서 오브젝트 범위로 인식하는 단계(S804)는 수신한 사용자의 손짓 정보를 기반으로 촬영된 영상 중 일부를 오브젝트 범위로 인식한다.
오브젝트 범위로 인식하는 단계(S804)는 사용자의 손짓 정보를 기반으로 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고, 오브젝트 범위 후보 중 하나를 오브젝트 범위로 인식한다.
오브젝트 범위로 인식하는 단계(S804)는 오브젝트 범위 후보 중 하나를 사용자로부터 선택 입력 받아 오브젝트 범위로 인식한다.
오브젝트 범위로 인식하는 단계(S804)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
오브젝트 범위로 인식하는 단계(S804)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보를 가장 많이 포함하는 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
변형 동작 데이터베이스(170)에 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장하는 단계는 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장한다.
3차원 오브젝트 동작 정보 데이터베이스(180)에 오브젝트 변형 동작 정보에 3차원 오브젝트의 동작 정보를 대응시켜 저장하는 단계는 변형 동작 데이터베이스(170)에 저장된 오브젝트 변형 동작 정보에 3차원 오브젝트의 동작 정보를 대응시켜 저장한다.
변형 오브젝트 영상 변환부(150)에서 변형 오브젝트 영상으로 변환하는 단계(S805)는 인식된 오브젝트 범위에 속하는 영상을 변형 오브젝트 영상으로 변환한다.
변형 오브젝트 영상으로 변환하는 단계(S805)는 사용자 손짓 정보를 수신하는 단계(S803)에서 수신한 사용자 손짓 정보에 대응되는 사용자 손짓 패턴 정보를 확인하고, 변형 동작 데이터베이스(170)를 조회하여 확인된 사용자 손짓 패턴 정보에 대응되는 오브젝트 변형 동작 정보를 기초로 인식된 오브젝트 범위에 속하는 영상을 변환한다.
증강현실 영상 생성부(160)에서 증강현실 영상을 생성하는 단계(S806)는 촬영된 영상에 선택한 3차원 오브젝트의 렌더링 영상 및 변환된 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성한다.
증강현실 영상을 생성하는 단계(S806)는 3차원 오브젝트 동작 정보 데이터베이스(180)에서 상기 오브젝트 변형 동작 정보에 대응되는 3차원 오브젝트의 동작 정보를 확인하고, 확인된 3차원 오브젝트의 동작 정보에 의해 생성된 렌더링 영상 및 상기 변형 오브젝트 영상을 상기 촬영된 영상에 합성하여 증강현실 영상을 생성한다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CDROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있다.
본 발명에 따른 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템은 중앙처리장치(CPU) 및 메모리(Memory, 기억장치)를 구비하고 인터넷 등의 통신망을 통하여 다른 단말기와 연결 가능한 서버의 형태로 구성될 수 있다. 그러나 본 발명이 중앙처리장치 및 메모리 등의 구성에 의해 한정되지는 아니한다. 또한, 본 발명에 따른 폴더 탐색 시스템은 물리적으로 하나의 장치로 구성될 수도 있으며, 복수의 장치에 분산된 형태로 구현될 수도 있어, 본 발명은 이와 같은 물리적인 장치의 구성에 의하여 한정되지 아니한다.
도 1은 본 발명의 일실시예에 따른 증강현실 영상 제공 시스템의 구성도를 도시한 도면이다.
본 발명에 따른 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템은 촬영 영상 수신부(110), 3차원 오브젝트 선택부(120), 사용자 손짓 정보 수신부(130), 오브젝트 범위 인식부(140), 오브젝트 영상 변환부(150), 증강현실 영상 생성부(160), 변형 동작 데이터베이스(170), 3차원 오브젝트 동작 정보 데이터베이스(180)로 구성될 수 있으며, 각각의 구성요소들은 물리적으로 동일한 컴퓨터 시스템 내에서 동작하는 소프트웨어 모듈일 수 있으며, 물리적으로 2개 이상으로 분리된 컴퓨터 시스템이 서로 연동하여 동작할 수 있도록 구성된 형태일 수 있는데, 동일한 기능을 포함하는 다양한 실시형태가 본 발명의 권리범위에 속한다.
촬영 영상 수신부(110)는 카메라를 통해 촬영된 영상을 수신한다.
사용자가 사용자의 단말기 카메라를 통해서 증강현실 영상의 배경이 될 영상을 사용자의 카메라를 통해서 촬영하고, 촬영 영상 수신부(110)는 사용자가 촬영한 영상을 수신할 수 있다.
3차원 오브젝트 선택부(120)는 촬영된 영상에 표시할 3차원 오브젝트를 선택한다.
3차원 오브젝트는 사용자가 카메라를 통해 촬영한 영상에 합성될 콘텐츠 영상일 수 있으며, 카메라를 통해 촬영된 영상 또는 이미지일 수 있으며, 촬영된 영상에서 움직일 수 있도록 디자인된 콘텐츠 일 수 있다. 사용자는 복수의 3차원 오브젝트 중에서 사용자가 촬영한 영상에 합성될 하나 또는 복수의 3차원 오브젝트를 선택할 수 있다.
예를 들면, 사용자는 사용자가 촬영한 영상에 구름 모양의 콘텐츠를 합성(표시)하고 싶다면, 여러 개의 3차원 오브젝트 중에서 구름 모양의 3차원 오브젝트를 선택할 수 있다.
사용자 손짓 정보 수신부(130)는 촬영 영상이 표시되는 디스플레이 화면 상에서 사용자 손짓 정보를 수신한다.
사용자 손짓 정보는 사용자가 사용자의 단말기 화면에 손가락으로 터치하여 움직이는 정보일 수 있으며, 사용자가 단말기의 디스플레이 표면에 손가락으로 움직이는 동작일 수 있다. 사용자의 단말기는 사용자가 촬영한 영상이 재생되고 촬영한 영상이 재생되는 상태에서 사용자가 화면을 손가락으로 긋는 행위를 할 수 있으며, 사용자가 화면을 손가락으로 긋는 행위는 사용자 손짓 정보 일 수 있다. 사용자 손짓 정보 수신부(130)는 사용자가 하나의 손가락으로 화면을 터치하는 움직임을 수신할 수 있으며, 복수의 손가락으로 화면을 터치하는 움직임 또는 정보를 수신할 수 있다. 사용자 손짓 정보는 선 모양, 복수의 손가락 펴기, 복수의 손가락 모으기 등의 다양한 패턴을 가질 수 있으며, 다양한 패턴을 구분하여 수신할 수 있다.
오브젝트 범위 인식부(140)는 수신한 사용자의 손짓 정보를 기반으로 촬영된 영상 중 일부를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 사용자가 디스플레이 화면상에서 터치하여 그은 사용자의 손짓 정보를 기반으로 오브젝트 범위로 인식할 수 있다. 오브젝트 범위는 촬영된 영상에 포함된 일부의 범위 일 수 있으며, 변형을 발생시키기 위한 하나 또는 복수의 오브젝트 일 수 있다.
오브젝트 범위 인식부(140)는 촬영된 영상내에서 각각의 오브젝트를 분리하여 인식할 수 있으며, 각각의 오브젝트를 인식하고 사용자가 디스플레이 화면에 터치하여 손가락으로 긋는 행위를 하면 손가락이 그어진 오브젝트를 오브젝트 범위로 인식할 수 있다.
오브젝트 범위 인식부(140)는 사용자의 손짓 정보를 기반으로 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고, 오브젝트 범위 후보 중 하나를 오브젝트 범위로 인식한다.
오브젝트 범위는 복수의 오브젝트 범위 후보 중 하나일 수 있으며, 오브젝트 범위 후보는 사용자의 손짓 정보인 사용자가 화면에 터치하는 범위 내에서 생성될 수 있다.
예를 들면, 사용자의 단말기 화면에는 책상위에 노트북 및 지구본이 있는 영상이 재생되고 있으며, 오브젝트 범위 인식부(140)는 책상, 노트북 및 지구본을 각각의 오브젝트로 인식할 수 있다. 사용자는 디스플레이 화면에 있는 노트북, 지구본 및 책상 모두를 지나갈 수 있도록 손가락으로 터치할 수 있으며, 손가락이 그어진 노트북, 지구본 및 책상은 오브젝트 범위 후보로 생성될 수 있다. 오브젝트 범위 후보인 노트북, 지구본 및 책상 중 하나는 오브젝트 범위로 인식될 수 있다.
오브젝트 범위 인식부(140)는 오브젝트 범위 후보 중 하나를 사용자로부터 선택 입력 받아 오브젝트 범위로 인식한다.
사용자는 오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보 중 하나를 오브젝트 범위로 직접 선택할 수 있다.
예들 들면, 사용자는 디스플레이 화면에 있는 노트북, 지구본 및 책상 모두를 지나갈 수 있도록 손가락으로 터치할 수 있으며, 손가락이 그어진 노트북, 지구본 및 책상은 오브젝트 범위 후보로 생성될 수 있다. 사용자는 오브젝트 범위로 책상을 선택할 수 있다. 오브젝트 범위 인식부(140)는 사용자가 선택한 책상을 오브젝트 범위로 인식할 수 있다.
오브젝트 범위 인식부(140)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보는 사용자의 손짓 정보에 따라 생성될 수 있으며, 사용자는 촬영된 영상에 사용자의 손가락으로 터치를 하면 사용자가 영상 내에 터치한 복수의 오브젝트가 오브젝트 범위 후보가 될 수 있다. 사용자가 디스플레이 화면에 터치를 할 때 처음으로 찍은 지점에 있는 오브젝트가 오브젝트 범위로 인식할 수 있다.
예를 들면, 사용자는 디스플레이 화면에 있는 노트북, 지구본 및 책상 모두를 지나갈 수 있도록 손가락으로 터치할 수 있으며, 사용자의 손가락은 지구본을 시작으로 노트북 다음 책상 순으로 손가락이 지나갈 수 있다. 오브젝트 범위 인식부(140)는 오브젝트 범위 후보로 생성된 노트북, 지구본 및 책상 중 손가락이 가장 먼저 터치된 지구본을 오브젝트 범위로 인식할 수 있다.
오브젝트 범위 인식부(140)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보를 가장 많이 포함하는 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보는 사용자의 손짓 정보에 따라 생성될 수 있으며, 사용자는 촬영된 영상에 사용자의 손가락으로 터치를 하면 사용자가 영상 내에 터치한 복수의 오브젝트가 오브젝트 범위 후보가 될 수 있다. 사용자가 디스플레이 화면에 터치한 면적 또는 범위는 오브젝트 별로 다를 수 있으며, 손가락으로 가장 많이 입력 받은 면적 또는 범위의 오브젝트는 오브젝트 범위로 인식될 수 있다.
예들 들면, 사용자는 손가락으로 디스플레이 화면에 있는 노트북, 지구본 및 책상 모두를 지나갈 수 있도록 일직선으로 터치하여 화면에 긋는 행위를 할 수 있으며, 사용자의 손짓 정보인 일직선 중 가장 많은 범위를 차지하고 있는 오브젝트 후보는 노트북이며, 그 다음으로 지구본, 책상 순이다. 오브젝트 범위 인식부(140)는 오브젝트 범위 후보로 생성된 노트북, 지구본 및 책상 중 사용자 손짓 정보를 가장 많이 포함하는 노트북을 오브젝트 범위로 인식할 수 있다.
변형 동작 데이터베이스(170)는 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장한다.
사용자는 손가락으로 디스플레이 화면을 터치하거나 손가락을 디스플레이 화면에 대고 움직이는 방식으로 사용자 손짓 정보를 입력하고, 사용자 손짓 정보 수신부(130)는 이를 수신할 수 있다. 사용자는 디스플레이 화면에 손가락으로 여러가지 모양으로 터치할 수 있으며, 사용자 손짓 정보는 선 모양, 복수의 손가락 펴기, 복수의 손가락 모으기 등의 다양한 패턴일 수 있다. 변형 동작 데이터베이스(170)는 사용자가 터치한 여러가지 모양을 패턴화하여 사용자 손짓 패턴 정보로 저장할 수 있다.
오브젝트 범위는 변형이 갈라짐, 회전, 확대, 축소 등의 변형이 발생할 수 있으며, 오브젝트 변형 동작 정보는 변형이 발생할 오브젝트 범위에 대한 변형 형태 또는 변형을 위한 모양에 대한 패턴일 수 있다. 변형 동작 데이터베이스(170)는 오브젝트 범위의 변형이 일어날 수 있는 변형 동작 패턴에 대한 정보를 저장할 수 있다.
변형 동작 데이터베이스(170)는 사용자 손짓 패턴 정보에 오브젝트 변형 동작 정보를 대응시켜 저장할 수 있으며, 사용자의 손짓 정보에 따라 오브젝트 범위의 변형 동작을 생성할 수 있다.
3차원 오브젝트 동작 정보 데이터베이스(180)는 변형 동작 데이터베이스(170)에 저장된 오브젝트 변형 동작 정보에 3차원 오브젝트의 동작 정보를 대응시켜 저장한다.
3차원 오브젝트 동작 정보는 3차원 오브젝트 선택부(120)에서 사용자가 선택한 3차원 오브젝트의 움직임에 대한 정보 일 수 있으며, 3차원 오브젝트의 움직임에 대한 정보는 3차원 오브젝트 동작 정보 데이터베이스(180)에 저장될 수 있다.
촬영한 영상에 오브젝트 범위에 대한 변형이 일어나고 3차원 오브젝트가 자연스럽게 합성되기 위해서 오브젝트 범위의 변형이 일어나는 동작에 따라 3차원 오브젝트가 동작하는 것이 자연스러울 수 있다. 3차원 오브젝트가 증강현실 영상에 보다 자연스럽게 합성되기 위해서 오브젝트 변형 동작 정보와 3차원 오브젝트 동작 정보를 대응시켜 저장할 수 있다.
변형 오브젝트 영상 변환부(150)는 인식된 오브젝트 범위에 속하는 영상을 변형 오브젝트 영상으로 변환한다.
변형 오브젝트 영상은 오브젝트 범위에 대한 영상의 변형이 일어난 영상일 수 있으며, 촬영된 영상 중 일부를 오브젝트 범위로 인식하고 오브젝트 범위는 반으로 쪼개지거나 확대되거나 축소되는 등의 변형된 형태의 영상일 수 있다.
변형 오브젝트 영상 변환부(150)는 사용자 손짓 정보 수신부(130)에서 수신한 사용자 손짓 정보에 대응되는 사용자 손짓 패턴 정보를 확인하고, 변형 동작 데이터베이스(170)를 조회하여 확인된 사용자 손짓 패턴 정보에 대응되는 오브젝트 변형 동작 정보를 기초로 인식된 오브젝트 범위에 속하는 영상을 변환한다.
변형 오브젝트 영상 변환부(150)는 사용자 손짓 정보 수신부(130)에서 수신한 사용자 손짓 정보에 대응되는 사용자 손짓 패턴 정보를 확인할 수 있다. 사용자는 디스플레이 화면에 사용자의 손가락으로 터치 또는 표면을 드래그 할 때 모양을 형성할 수 있으며, 사용자가 형성한 모양과 유사한 사용자 손짓 패턴 정보를 확인할 수 있다. 사용자의 손짓 정보와 유사한 사용자 손짓 패턴 정보를 확인한 후 그에 대응되는 변형 동작 데이터베이스(170)를 조회하여 오브젝트 변형 동작 정보를 확인할 수 있다. 확인한 오브젝트 변형 동작 정보를 기초로 오브젝트 범위에 해당하는 영상을 변형 오브젝트 영상으로 변환할 수 있다.
예를 들면, 사용자는 디스플레이 화면에 두 손가락을 펴는 행동을 하면 손짓 정보 수신부에서 사용자 손짓 정보로 수신하고, 사용자가 두 손가락을 폈다는 정보를 기반으로 사용자 손짓 패턴 정보에서 '두 손가락 펴기'를 확인할 수 있다. 확인된 사용자 손짓 패턴 정보인 '두 손가락 펴기'에 대응되는 오브젝트 변형 동작 정보는 '확대'일 수 있으며, 오브젝트 범위에 해당되는 영상은 확대되는 형태인 변형 오브젝트 영상으로 변환할 수 있다.
증강현실 영상 생성부(160)는 촬영된 영상에 선택한 3차원 오브젝트의 렌더링 영상 및 변환된 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성한다.
3차원 오브젝트의 렌더링 영상은 3차원 오브젝트를 렌더링한 영상일 수 있다. 증강현실 영상 생성부(160)는 카메라를 통해 촬영된 영상과 3차원 오브젝트 렌더링 영상 및 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성할 수 있다. 촬영된 영상에 오브젝트 범위로 선택된 위치에 변형 오브젝트 영상이 합성될 수 있으며, 3차원 오브젝트 렌더링 영상의 위치는 사용자가 선택할 수 있다.
증강현실 영상 생성부(160)는 3차원 오브젝트 동작 정보 데이터베이스(180)에서 오브젝트 변형 동작 정보에 대응되는 3차원 오브젝트의 동작 정보를 확인하고, 확인된 3차원 오브젝트의 동작 정보에 의해 생성된 렌더링 영상 및 변형 오브젝트 영상을 촬영된 영상에 합성하여 증강현실 영상을 생성한다.
증강현실 영상 생성부(160)는 3차원 오브젝트 동작 정보에 데이터베이스에서 오브젝트 변형 동작 정보에 대응되는 3차원 오브젝트 동작 정보를 확인할 수 있으며, 확인된 3차원 동작 정보를 기반으로 생성된 3차원 오브젝트 렌더링 영상을 촬영된 영상 및 변형 오브젝트 영상과 합성하여 증강현실 영상을 생성할 수 있다.
도 2는 본 발명의 일실시예에 따른 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장한 변형 동작 데이터베이스(170)의 일례를 도시한 도면이다.
변형 동작 데이터베이스(170)는 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장한다.
사용자는 손가락으로 디스플레이 화면을 터치하거나 손가락을 디스플레이 화면에 대고 움직이는 방식으로 사용자 손짓 정보를 입력하고, 사용자 손짓 정보 수신부(130)는 이를 수신할 수 있다. 사용자는 디스플레이 화면에 손가락으로 여러가지 모양으로 터치할 수 있으며, 사용자 손짓 정보는 선 모양, 복수의 손가락 펴기, 복수의 손가락 모으기 등의 다양한 패턴일 수 있다. 변형 동작 데이터베이스(170)는 사용자가 터치한 여러가지 모양을 패턴화하여 사용자 손짓 패턴 정보로 저장할 수 있다.
예를 들면, 사용자는 사용자가 촬영한 영상이 재생되는 단말기의 디스플레이 표면에 손가락으로 일직선으로 선을 그는 행동을 할 수 있으며, 사용자가 디스플레이에 선을 긋는 행위를 하면 그에 대한 패턴으로 사용자 손짓 패턴 정보는 '선 긋기'로 저장할 수 있으며, '선 긋기'에 대응되는 오브젝트 변형 동작 정보는 오브젝트 범위가 반으로 갈라지는 정보일 수 있다. 또한, 사용자가 원을 그리는 행동에 대한 패턴은 '원 그리기' 그에 대응되는 오브젝트 범위의 동작 정보인 오브젝트 변형 동작 정보는 사용자가 원을 그린 방향으로 '회전'한다는 정보를 대응시켜 저장할 수 있다. 그 밖에 사용자 손짓 패턴 정보인 '두 손가락 펴기'에 대응시켜 오브젝트 변형 동작 정보는 '확대', 사용자 손짓 패턴 정보를 '두 손가락 모으기'에 오브젝트 변형 동작 정보를 오브젝트 범위를 '확대' 정보를 대응시켜 저장할 수 있다. 또한, 사용자 손짓 패턴 정보를 '세 손가락 이상 펴기'와 '세 손가락 이상 모으기'를 각각 오브젝트 범위에 해당하는 영상을 '폭발'과 '축소하면서 사라짐'인 오브젝트 변형 동작 정보로 대응하여 저장할 수 있다.
도 3은 본 발명의 일실시예에 따른 오브젝트 변형 동작 정보에 3차원 오브젝트 동작 정보를 대응시켜 저장한 3차원 오브젝트 동작 데이터베이스의 일례를 도시한 도면이다.
3차원 오브젝트 동작 정보 데이터베이스(180)는 변형 동작 데이터베이스(170)에 저장된 오브젝트 변형 동작 정보에 3차원 오브젝트의 동작 정보를 대응시켜 저장한다.
3차원 오브젝트 동작 정보는 3차원 오브젝트 선택부(120)에서 사용자가 선택한 3차원 오브젝트의 움직임에 대한 정보 일 수 있으며, 3차원 오브젝트의 움직임에 대한 정보는 3차원 오브젝트 동작 정보 데이터베이스(180)에 저장될 수 있다.
촬영한 영상에 오브젝트 범위에 대한 변형이 일어나고 3차원 오브젝트가 자연스럽게 합성되기 위해서 오브젝트 범위의 변형이 일어나는 동작에 따라 3차원 오브젝트가 동작하는 것이 자연스러울 수 있다. 3차원 오브젝트가 증강현실 영상에 보다 자연스럽게 합성되기 위해서 오브젝트 변형 동작 정보와 3차원 오브젝트 동작 정보를 대응시켜 저장할 수 있다.
예를 들면, 오브젝트 범위는 반으로 갈라지는 형태로 오브젝트 변형 동작 정보가 '갈라짐'으로 확인되었는데 3차원 오브젝트는 그 갈라진 틈에서 등장할 수 있으며, 오브젝트 범위가 축소하면서 사라지는 동장 정보가 실행되면 오브젝트 범위에 해당하는 영상이 사라진 지점에서 3차원 오브젝트가 등장하면 보다 자연스러운 증강현실 영상을 생성할 수 있다.
도 4는 본 발명의 일실시예에 따른 사용자의 손짓 정보를 기반으로 오브젝트 범위 후보를 인식하고 그 중 하나를 사용자의 선택 입력 받아 오브젝트 범위로 인식하는 일례를 도시한 도면이다.
오브젝트 범위 인식부(140)는 수신한 사용자의 손짓 정보를 기반으로 촬영된 영상 중 일부를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 사용자의 손짓 정보를 기반으로 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고, 오브젝트 범위 후보 중 하나를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 오브젝트 범위 후보 중 하나를 사용자로부터 선택 입력 받아 오브젝트 범위로 인식한다.
사용자는 오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보 중 하나를 오브젝트 범위로 직접 선택할 수 있다.
예들 들면, 사용자는 디스플레이 화면에 있는 노트북(403), 지구본(402) 및 책상(404) 모두를 지나갈 수 있도록 손가락으로 터치(401)할 수 있으며, 손가락이 그어진 노트북(403), 지구본(402) 및 책상(404)은 오브젝트 범위 후보로 생성될 수 있다. 사용자는 오브젝트 범위로 책상을 선택할 수 있다. 오브젝트 범위 인식부(140)는 사용자가 선택한 책상을 오브젝트 범위(405)로 인식할 수 있다.
도 5는 본 발명의 일실시예에 따른 오브젝트 범위 후보 중 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보를 오브젝트 범위로 인식하는 일례를 도시한 도면이다.
오브젝트 범위 인식부(140)는 수신한 사용자의 손짓 정보를 기반으로 촬영된 영상 중 일부를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 사용자의 손짓 정보를 기반으로 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고, 오브젝트 범위 후보 중 하나를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보는 사용자의 손짓 정보에 따라 생성될 수 있으며, 사용자는 촬영된 영상에 사용자의 손가락으로 터치를 하면 사용자가 영상 내에 터치한 복수의 오브젝트가 오브젝트 범위 후보가 될 수 있다. 사용자가 디스플레이 화면에 터치를 할 때 처음으로 찍은 지점에 있는 오브젝트가 오브젝트 범위로 인식할 수 있다.
예를 들면, 사용자는 디스플레이 화면에 있는 노트북(503), 지구본(502) 및 책상(504) 모두를 지나갈 수 있도록 손가락으로 터치(501)할 수 있으며, 사용자의 손가락은 지구본을 시작(505)으로 노트북 다음 책상 순으로 손가락이 지나갈 수 있다. 오브젝트 범위 인식부(140)는 오브젝트 범위 후보로 생성된 노트북, 지구본 및 책상 중 손가락이 가장 먼저 터치된 지구본을 오브젝트 범위(505)로 인식할 수 있다.
도 6은 본 발명의 일실시예에 따른 오브젝트 범위 후보 중 사용자의 손짓 정보를 가장 많이 포함하고 있는 오브젝트 범위 후보를 오브젝트 범위로 인식하는 일례를 도시한 도면이다.
오브젝트 범위 인식부(140)는 수신한 사용자의 손짓 정보를 기반으로 촬영된 영상 중 일부를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 사용자의 손짓 정보를 기반으로 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고, 오브젝트 범위 후보 중 하나를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보를 가장 많이 포함하는 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
오브젝트 범위 인식부(140)에서 생성한 오브젝트 범위 후보는 사용자의 손짓 정보에 따라 생성될 수 있으며, 사용자는 촬영된 영상에 사용자의 손가락으로 터치를 하면 사용자가 영상 내에 터치한 복수의 오브젝트가 오브젝트 범위 후보가 될 수 있다. 사용자가 디스플레이 화면에 터치한 면적 또는 범위는 오브젝트 별로 다를 수 있으며, 손가락으로 가장 많이 입력 받은 면적 또는 범위의 오브젝트는 오브젝트 범위로 인식될 수 있다.
예들 들면, 사용자는 손가락으로 디스플레이 화면에 있는 노트북(603), 지구본(602) 및 책상(604) 모두를 지나갈 수 있도록 일직선으로 터치(601)하여 화면에 긋는 행위를 할 수 있으며, 사용자의 손짓 정보인 일직선 중 가장 많은 범위를 차지하고 있는 오브젝트 후보는 노트북이며, 그 다음으로 지구본, 책상 순이다. 오브젝트 범위 인식부(140)는 오브젝트 범위 후보로 생성된 노트북, 지구본 및 책상 중 사용자 손짓 정보를 가장 많이 포함하는 노트북을 오브젝트 범위(605)로 인식할 수 있다.
도 7은 본 발명의 일실시예에 따른 변형 오브젝트를 제공하기 위한 증강현실 영상의 일례를 도시한 도면이다.
증강현실 영상 생성부(160)는 촬영된 영상에 선택한 3차원 오브젝트의 렌더링 영상 및 변환된 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성한다.
3차원 오브젝트의 렌더링 영상은 3차원 오브젝트를 렌더링한 영상일 수 있다. 증강현실 영상 생성부(160)는 카메라를 통해 촬영된 영상과 3차원 오브젝트 렌더링 영상 및 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성할 수 있다. 촬영된 영상에 오브젝트 범위로 선택된 위치에 변형 오브젝트 영상이 합성될 수 있으며, 3차원 오브젝트 렌더링 영상의 위치는 사용자가 선택할 수 있다.
예를 들면, 사용자는 카메라를 이용하여 촬영한 영상은 테니스 코트(710)라고 한다면 테니스코스의 앞부분은 오브젝트 범위(711)로 선택될 수 있고, 선택된 오브젝트 범위는 사용자가 선을 그어서 오브젝트 범위가 갈라지는 형태로 변형 오브젝트 영상(720)이 생성될 수 있다. 또한 여기서 사용자는 3차원 오브젝트를 선택하고 변형 오브젝트 변형 동작 정보와 대응되는 3차원 오브젝트 동작인 갈라지는 틈에서 등장(731)하는 영상이 합성될 수 있다. 따라서 테니스코트를 촬영한 영상 중 테니스 코트 안쪽이 갈라지는 형태의 변형오브젝트와 3차원 오브젝트 렌더링 영상이 합성되어 증강현실 영상(730)을 생성할 수 있다.
도 8은 본 발명의 일실시예에 따른 증강현실 영상 제공 방법의 순서도를 도시한 도면이다.
이상의 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템은 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 방법으로 구현되어 실현될 수 있으며, 상기 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템의 기술적인 사상을 그대로 적용할 수 있다.
이와 같은, 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
중앙처리장치 및 메모리를 구비하는 증강현실 영상 제공 시스템에서 동작하는 증강현실 영상 제공 방법에 있어서, 촬영 영상 수신부(110)에서 촬영된 영상을 수신하는 단계(S801)는 카메라를 통해 촬영된 영상을 수신한다.
3차원 오브젝트 선택부(120)에서 3차원 오브젝트를 선택하는 단계(S802)는 촬영된 영상에 표시할 3차원 오브젝트를 선택한다.
사용자 손짓 정보 수신부(130)에서 사용자 손짓 정보를 수신하는 단계(S803)는 촬영 영상이 표시되는 디스플레이 화면 상에서 사용자 손짓 정보를 수신한다.
오브젝트 범위 인식부(140)에서 오브젝트 범위로 인식하는 단계(S804)는 수신한 사용자의 손짓 정보를 기반으로 촬영된 영상 중 일부를 오브젝트 범위로 인식한다.
오브젝트 범위로 인식하는 단계(S804)는 사용자의 손짓 정보를 기반으로 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고, 오브젝트 범위 후보 중 하나를 오브젝트 범위로 인식한다.
오브젝트 범위로 인식하는 단계(S804)는 오브젝트 범위 후보 중 하나를 사용자로부터 선택 입력 받아 오브젝트 범위로 인식한다.
오브젝트 범위로 인식하는 단계(S804)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
오브젝트 범위로 인식하는 단계(S804)는 하나 이상의 오브젝트 범위 후보 중, 사용자의 손짓 정보를 가장 많이 포함하는 오브젝트 범위 후보를 오브젝트 범위로 인식한다.
변형 동작 데이터베이스(170)에 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장하는 단계는 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장한다.
3차원 오브젝트 동작 정보 데이터베이스(180)에 오브젝트 변형 동작 정보에 3차원 오브젝트의 동작 정보를 대응시켜 저장하는 단계는 변형 동작 데이터베이스(170)에 저장된 오브젝트 변형 동작 정보에 3차원 오브젝트의 동작 정보를 대응시켜 저장한다.
변형 오브젝트 영상 변환부(150)에서 변형 오브젝트 영상으로 변환하는 단계(S805)는 인식된 오브젝트 범위에 속하는 영상을 변형 오브젝트 영상으로 변환한다.
변형 오브젝트 영상으로 변환하는 단계(S805)는 사용자 손짓 정보를 수신하는 단계(S803)에서 수신한 사용자 손짓 정보에 대응되는 사용자 손짓 패턴 정보를 확인하고, 변형 동작 데이터베이스(170)를 조회하여 확인된 사용자 손짓 패턴 정보에 대응되는 오브젝트 변형 동작 정보를 기초로 인식된 오브젝트 범위에 속하는 영상을 변환한다.
증강현실 영상 생성부(160)에서 증강현실 영상을 생성하는 단계(S806)는 촬영된 영상에 선택한 3차원 오브젝트의 렌더링 영상 및 변환된 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성한다.
증강현실 영상을 생성하는 단계(S806)는 3차원 오브젝트 동작 정보 데이터베이스(180)에서 상기 오브젝트 변형 동작 정보에 대응되는 3차원 오브젝트의 동작 정보를 확인하고, 확인된 3차원 오브젝트의 동작 정보에 의해 생성된 렌더링 영상 및 상기 변형 오브젝트 영상을 상기 촬영된 영상에 합성하여 증강현실 영상을 생성한다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CDROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있다.
Claims (15)
- 카메라를 통해 촬영된 영상을 수신하는 촬영 영상 수신부;
상기 촬영된 영상에 표시할 3차원 오브젝트를 선택하는 3차원 오브젝트 선택부;
상기 촬영 영상이 표시되는 디스플레이 화면 상에서 사용자 손짓 정보를 수신하는 사용자 손짓 정보 수신부;
상기 수신한 사용자의 손짓 정보를 기반으로 상기 촬영된 영상 중 일부를 오브젝트 범위로 인식하는 오브젝트 범위 인식부;
상기 인식된 오브젝트 범위에 속하는 영상을 변형 오브젝트 영상으로 변환하는 변형 오브젝트 영상 변환부; 및
상기 촬영된 영상에 선택한 3차원 오브젝트의 렌더링 영상 및 상기 변환된 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성하는 증강현실 영상 생성부
를 포함하고,
사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장하는 변형 동작 데이터베이스
를 더 포함하고,
상기 변형 오브젝트 영상 변환부는
상기 사용자 손짓 정보 수신부에서 수신한 상기 사용자 손짓 정보에 대응되는 사용자 손짓 패턴 정보를 확인하고,
상기 변형 동작 데이터베이스를 조회하여 상기 확인된 사용자 손짓 패턴 정보에 대응되는 상기 오브젝트 변형 동작 정보를 기초로 상기 인식된 오브젝트 범위에 속하는 영상을 변환하는 것을 특징으로 하는 증강현실 영상 제공 시스템. - 삭제
- 제1항에 있어서,
상기 변형 동작 데이터베이스에 저장된 상기 오브젝트 변형 동작 정보에 상기 3차원 오브젝트의 동작 정보를 대응시켜 저장하는 3차원 오브젝트 동작 정보 데이터베이스
를 더 포함하고,
상기 증강현실 영상 생성부는
상기 3차원 오브젝트 동작 정보 데이터베이스에서 상기 오브젝트 변형 동작 정보에 대응되는 3차원 오브젝트의 동작 정보를 확인하고, 확인된 3차원 오브젝트의 동작 정보에 의해 생성된 렌더링 영상 및 상기 변형 오브젝트 영상을 상기 촬영된 영상에 합성하여 증강현실 영상을 생성하는 것
을 특징으로 하는 증강현실 영상 제공 시스템. - 제1항에 있어서,
상기 오브젝트 범위 인식부는
상기 사용자의 손짓 정보를 기반으로 상기 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고,
상기 오브젝트 범위 후보 중 하나를 상기 오브젝트 범위로 인식하는 것
을 특징으로 하는 증강현실 영상 제공 시스템. - 제4항에 있어서,
상기 오브젝트 범위 인식부는
상기 오브젝트 범위 후보 중 하나를 상기 사용자로부터 선택 입력 받아 상기 오브젝트 범위로 인식하는 것
을 특징으로 하는 증강현실 영상 제공 시스템. - 제4항에 있어서,
상기 오브젝트 범위 인식부는
상기 하나 이상의 오브젝트 범위 후보 중, 상기 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보를 상기 오브젝트 범위로 인식하는 것
을 특징으로 하는 증강현실 영상 제공 시스템. - 제4항에 있어서,
상기 오브젝트 범위 인식부는
상기 하나 이상의 오브젝트 범위 후보 중, 상기 사용자의 손짓 정보를 가장 많이 포함하는 오브젝트 범위 후보를 상기 오브젝트 범위로 인식하는 것
을 특징으로 하는 증강현실 영상 제공 시스템. - 중앙처리장치 및 메모리를 구비하는 증강현실 영상 제공 시스템에서 동작하는 증강현실 영상 제공 방법에 있어서,
촬영 영상 수신부에서 카메라를 통해 촬영된 영상을 수신하는 단계;
3차원 오브젝트 선택부에서 상기 촬영된 영상에 표시할 3차원 오브젝트를 선택하는 단계;
사용자 손짓 정보 수신부에서 상기 촬영 영상이 표시되는 디스플레이 화면 상에서 사용자 손짓 정보를 수신하는 단계;
오브젝트 범위 인식부에서 상기 수신한 사용자의 손짓 정보를 기반으로 상기 촬영된 영상 중 일부를 오브젝트 범위로 인식하는 단계;
변형 오브젝트 영상 변환부에서 상기 인식된 오브젝트 범위에 속하는 영상을 변형 오브젝트 영상으로 변환하는 단계; 및
증강현실 영상 생성부에서 상기 촬영된 영상에 선택한 3차원 오브젝트의 렌더링 영상 및 상기 변환된 변형 오브젝트 영상을 합성하여 증강현실 영상을 생성하는 단계를 포함하고,
변형 동작 데이터베이스에 사용자 손짓 패턴 정보 및 오브젝트 변형 동작 정보를 대응시켜 저장하는 단계
를 더 포함하고,
상기 변형 오브젝트 영상으로 변환하는 단계는
상기 사용자 손짓 정보를 수신하는 단계에서 수신한 상기 사용자 손짓 정보에 대응되는 사용자 손짓 패턴 정보를 확인하고,
상기 변형 동작 데이터베이스를 조회하여 상기 확인된 사용자 손짓 패턴 정보에 대응되는 상기 오브젝트 변형 동작 정보를 기초로 상기 인식된 오브젝트 범위에 속하는 영상을 변환하는 것을 특징으로 하는 증강현실 영상 제공 방법. - 삭제
- 제8항에 있어서,
3차원 오브젝트 동작 정보 데이터베이스에 상기 변형 동작 데이터베이스에 저장된 상기 오브젝트 변형 동작 정보에 상기 3차원 오브젝트의 동작 정보를 대응시켜 저장하는 단계
를 더 포함하고,
상기 증강현실 영상을 생성하는 단계는
상기 3차원 오브젝트 동작 정보 데이터베이스에서 상기 오브젝트 변형 동작 정보에 대응되는 3차원 오브젝트의 동작 정보를 확인하고, 확인된 3차원 오브젝트의 동작 정보에 의해 생성된 렌더링 영상 및 상기 변형 오브젝트 영상을 상기 촬영된 영상에 합성하여 증강현실 영상을 생성하는 것
을 특징으로 하는 증강현실 영상 제공 방법. - 제8항에 있어서,
상기 오브젝트 범위로 인식하는 단계는
상기 사용자의 손짓 정보를 기반으로 상기 촬영된 영상 중 하나 이상의 오브젝트 범위 후보를 생성하고,
상기 오브젝트 범위 후보 중 하나를 상기 오브젝트 범위로 인식하는 것
을 특징으로 하는 증강현실 영상 제공 방법. - 제11항에 있어서,
상기 오브젝트 범위로 인식하는 단계는
상기 오브젝트 범위 후보 중 하나를 상기 사용자로부터 선택 입력 받아 상기 오브젝트 범위로 인식하는 것
을 특징으로 하는 증강현실 영상 제공 방법. - 제11항에 있어서,
상기 오브젝트 범위로 인식하는 단계는
상기 하나 이상의 오브젝트 범위 후보 중, 상기 사용자의 손짓 정보에 따라 가장 먼저 인식된 오브젝트 범위 후보를 상기 오브젝트 범위로 인식하는 것
을 특징으로 하는 증강현실 영상 제공 방법. - 제11항에 있어서,
상기 오브젝트 범위로 인식하는 단계는
상기 하나 이상의 오브젝트 범위 후보 중, 상기 사용자의 손짓 정보를 가장 많이 포함하는 오브젝트 범위 후보를 상기 오브젝트 범위로 인식하는 것
을 특징으로 하는 증강현실 영상 제공 방법. - 제8항 및 제10항 내지 제14항 중 어느 한 항의 방법을 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190064382A KR102294717B1 (ko) | 2019-05-31 | 2019-05-31 | 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190064382A KR102294717B1 (ko) | 2019-05-31 | 2019-05-31 | 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200137659A KR20200137659A (ko) | 2020-12-09 |
| KR102294717B1 true KR102294717B1 (ko) | 2021-08-30 |
Family
ID=73787550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190064382A KR102294717B1 (ko) | 2019-05-31 | 2019-05-31 | 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102294717B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230048821A (ko) | 2021-10-05 | 2023-04-12 | 가온미디어 주식회사 | 클론객체를 이용하는 ar 콘텐츠 렌더링 처리 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016053788A (ja) * | 2014-09-03 | 2016-04-14 | 株式会社リコー | 情報端末装置、情報処理方法、システムおよびプログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101785917B1 (ko) * | 2010-11-09 | 2017-10-16 | 엘지전자 주식회사 | 전자 기기 및 전자 기기의 제어 방법 |
| KR101920035B1 (ko) | 2017-02-13 | 2018-11-19 | (주)필링크 | 가상 객체를 이용한 증강현실 콘텐츠 제공 방법 및 이를 위한 장치 |
-
2019
- 2019-05-31 KR KR1020190064382A patent/KR102294717B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016053788A (ja) * | 2014-09-03 | 2016-04-14 | 株式会社リコー | 情報端末装置、情報処理方法、システムおよびプログラム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230048821A (ko) | 2021-10-05 | 2023-04-12 | 가온미디어 주식회사 | 클론객체를 이용하는 ar 콘텐츠 렌더링 처리 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200137659A (ko) | 2020-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10664060B2 (en) | Multimodal input-based interaction method and device | |
| JP6007497B2 (ja) | 画像投影装置ならびに画像投影制御装置およびプログラム | |
| RU2702270C2 (ru) | Обнаружение выбора рукописного фрагмента | |
| JP2020052991A (ja) | ジェスチャ認識に基づく対話型ディスプレイの方法及び装置 | |
| EP3096207B1 (en) | Display control method, data process apparatus, and program | |
| US10372229B2 (en) | Information processing system, information processing apparatus, control method, and program | |
| KR101483054B1 (ko) | 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템 및 방법 | |
| WO2013028279A1 (en) | Use of association of an object detected in an image to obtain information to display to a user | |
| US20170053449A1 (en) | Apparatus for providing virtual contents to augment usability of real object and method using the same | |
| US20170285932A1 (en) | Ink Input for Browser Navigation | |
| JP2001272995A (ja) | 音声認識方法及び装置 | |
| WO2022267760A1 (zh) | 按键功能执行方法、装置、设备及存储介质 | |
| Ismail et al. | Designing an augmented reality multimodal interface for 6DOF manipulation techniques: Multimodal fusion using gesture and speech input for AR | |
| US11209975B2 (en) | Enhanced canvas environments | |
| Ismail et al. | Vision-based technique and issues for multimodal interaction in augmented reality | |
| KR102294717B1 (ko) | 변형 오브젝트를 제공하기 위한 증강현실 영상 제공 시스템 및 방법 | |
| US20200150765A1 (en) | Systems and methods for generating haptic effects based on visual characteristics | |
| CN114223021A (zh) | 电子装置及其处理手写输入的方法 | |
| Pei et al. | Wa vis: A web-based augmented reality text data visual analysis tool | |
| JP6977408B2 (ja) | 情報処理システム、端末装置、情報処理方法及び情報処理プログラム | |
| KR102175519B1 (ko) | 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치 및 방법 | |
| Taele et al. | Invisishapes: A recognition system for sketched 3d primitives in continuous interaction spaces | |
| KR20070060885A (ko) | 다양한 인식 기술을 이용한 입력 인터페이스 제공 방법 | |
| KR20140078083A (ko) | 증강 현실이 구현된 만화책 | |
| JP7355785B2 (ja) | ポインティングに基づく情報提供方法およびシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |