KR20200083762A - 모션인식 기반의 홀로그램 출력 전자칠판 - Google Patents

모션인식 기반의 홀로그램 출력 전자칠판 Download PDF

Info

Publication number
KR20200083762A
KR20200083762A KR1020180172333A KR20180172333A KR20200083762A KR 20200083762 A KR20200083762 A KR 20200083762A KR 1020180172333 A KR1020180172333 A KR 1020180172333A KR 20180172333 A KR20180172333 A KR 20180172333A KR 20200083762 A KR20200083762 A KR 20200083762A
Authority
KR
South Korea
Prior art keywords
motion recognition
user
hologram
electronic blackboard
output
Prior art date
Application number
KR1020180172333A
Other languages
English (en)
Inventor
정진우
원가연
김민우
박지용
김강산
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020180172333A priority Critical patent/KR20200083762A/ko
Publication of KR20200083762A publication Critical patent/KR20200083762A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Abstract

본 발명은 모션인식 기반의 홀로그램 출력 전자칠판에 관한 것으로서, 더욱 상세하게는 사용자의 손동작에 대한 모션인식을 통해 사용자의 손동작에 따라 형성되는 3차원 오브젝트를 생성하고, 생성된 3차원 오브젝트를 홀로그램 방식으로 출력하는 전자칠판을 제공함으로써, 종래의 2차원으로만 출력이 가능했던 전자칠판과 달리 3차원 객체의 출력이 가능하여, 학생들에게 3차원 공간에 대한 직관적 이해를 높일 수 있도록 제공 가능하며, 사용자가 허공에서도 3차원 오브젝트를 용이하게 생성할 수 있도록 다양한 기능이 지원되는 저작툴을 제공함과 동시에 이를 실시간 확인할 수 있도록 디스플레이하여, 다양한 3차원 교육 콘텐츠를 실시간으로 생성할 수 있는 모션인식 기반의 홀로그램 출력 전자칠판에 관한 것이다.

Description

모션인식 기반의 홀로그램 출력 전자칠판{A hologram-projection electronic board based on motion recognition}
본 발명은 모션인식 기반의 홀로그램 출력 전자칠판에 관한 것으로서, 더욱 상세하게는 사용자의 손동작에 대한 모션인식을 통해 사용자의 손동작에 따라 형성되는 3차원 오브젝트를 생성하고, 생성된 3차원 오브젝트를 홀로그램 방식으로 출력하는 전자칠판을 제공함으로써, 종래의 2차원으로만 출력이 가능했던 전자칠판과 달리 3차원 객체의 출력이 가능하여, 학생들에게 3차원 공간에 대한 직관적 이해를 높일 수 있도록 제공 가능하며, 사용자가 허공에서도 3차원 오브젝트를 용이하게 생성할 수 있도록 다양한 기능이 지원되는 저작툴을 제공함과 동시에 이를 실시간 확인할 수 있도록 디스플레이하여, 다양한 3차원 교육 콘텐츠를 실시간으로 생성할 수 있는 모션인식 기반의 홀로그램 출력 전자칠판에 관한 것이다.
일반적으로 전자칠판 시스템은 데스크탑 PC에 전자칠판 판서 프로그램이 들어가고, 데스크탑 PC의 화면 출력을 발표자용 모니터와 프로젝터나 대형 스크린으로 출력하는 기기를 지칭한다.
전자칠판 시스템은 초기에는 마우스와 키보드로 제어나 판서를 하던 형태에서 터치 스크린이나, 전용 펜을 사용하는 방식으로 발전을 해왔는데, 강사용 스크린에서 제어나 표시를 수행하는 방식은 강사의 시선이 발표자의 모니터에 집중되어 수강자에 대해 반응을 모니터링 하기가 쉽지가 않다.
또한, 최근에는 전자칠판 상에서 학습 교안이나 다양한 콘텐츠를 표시하고 편집하는 기술이 요구되고 있다. 구체적으로, 도형 콘텐츠를 이용한 다양한 학습이 이루어짐에 따라서, 도형을 쉽게 생성하고 편집하며 생성된 도형에 대하여 해석할 수 있는 방법이 요구되고 있으며, 특히 3차원 입체 도형에 대한 콘텐츠를 표시하고 편집하는 기술이 요구되고 있으나, 현재의 전자칠판 시스템으로는 물체의 3차원 출력이 불가능해, 강의자는 2차원의 전자칠판에 3차원처럼 보이는 그림을 제공하여 교육하고 있는 실정이다.
한편, 정보통신 기술과 디스플레이 기술의 발전에 따라 입체 영상을 디스플레이하기 위한 장치에 대한 수요도 증가하고 있다. 이러한 요구에 맞추어 다양한 입체 영상 기술이 제안되고 있으며, 대표적으로 가상현실을 이용한 기술과 홀로그래피 기술을 이용하여 입체 영상을 구현하는 기술 등이 있다.
가상현실을 이용하여 입체영상을 구현하는 기술과 관련하여서는, 구글의 '구글 글래스', 마이크로 소프트의 '홀로렌즈' 등 현실에서 가상의 물체를 보거나 만지기 위한 많은 시도가 이루어지고 있지만, 이러한 장치들은 가상의 영상을 보기 위해 별도의 장치를 착용해야 하므로, 기기를 착용한 사람만이 입체영상을 볼 수 있다는 제한요소와, 상당히 고가의 장비라는 점에서 교실환경에 적용하기에는 아직 많은 제약이 있다.
이에 반해, 반사형 홀로그램을 이용하여 입체영상을 구현하는 기술은, 한국등록특허 제999,576호에 개시된 바와 같이, 관람 위치에 관계없이 영상 반사판이 설치되는 모든 면에서 동일한 영상을 볼 수 있어, 특수 제작되는 안경과 같이 입체영상을 보기 위한 별도의 장치 없이도 홀로그램을 통해 다양한 영상을 볼 수 있도록 제공하고 있다.
1. 한국등록특허 제999,576호(등록일 : 2010. 12. 2)"반사형 홀로그램 장치"
본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것이다. 즉, 본 발명의 목적은, 사용자의 손동작에 대한 모션인식을 통해 사용자의 손동작에 따라 형성되는 3차원 오브젝트를 생성하고, 생성된 3차원 오브젝트를 홀로그램 방식으로 출력하는 전자칠판을 제공함으로써, 종래의 2차원으로만 출력이 가능했던 전자칠판과 달리 3차원 객체의 출력이 가능하여, 학생들에게 3차원 공간에 대한 직관적 이해를 높일 수 있도록 제공 가능하며, 사용자가 허공에서도 3차원 오브젝트를 용이하게 생성할 수 있도록 다양한 기능이 지원되는 저작툴을 제공함과 동시에 이를 실시간 확인할 수 있도록 디스플레이하여, 다양한 3차원 교육 콘텐츠를 실시간으로 생성할 수 있는 모션인식 기반의 홀로그램 출력 전자칠판을 제공함에 있다.
상기의 목적을 달성하기 위한 기술적 사상으로서 본 발명은, 사용자의 손동작을 인식하기 위한 모션 인식 장치; 및 복수의 경사진 반사면으로 이루어져 각 반사면에 도달하는 영상을 반사시키는 반사구조체와, 상기 반사구조체의 하면에 구비되어, 상기 반사면 개수만큼의 분할 영역에 각각 영상을 영사하는 영상 출력부로 구성되는 홀로그램 출력장치;를 포함하여 구성되어, 상기 모션 인식 장치를 통해 인식되는 사용자의 손동작 움직임을 바탕으로 3차원 오브젝트를 생성하고, 생성된 3차원 오브젝트를 렌더링하여 렌더링 된 3차원 오브젝트를 홀로그램으로 출력하는 것을 특징으로 하는 모션인식 기반의 홀로그램 출력 전자칠판을 제공한다.
본 발명에 따른 모션인식 기반의 홀로그램 출력 전자칠판은, 종래의 2차원으로만 출력이 가능했던 전자칠판과 달리 3차원 객체의 출력이 가능하여, 학생들에게 3차원 공간에 대한 직관적 이해를 높일 수 있도록 제공 가능하며, 강의자를 둘러싸고 강의자와 학생들이 동일한 방향을 바라보며 수업이 가능하도록 하여 강의자와 학생 사이의 소통이 쉽고, 학생들에게 보다 적극적인 수업참여를 유도할 수 있다.
또한, 사용자가 허공에서도 입체구조물을 용이하게 생성할 수 있도록 다양한 기능을 지원하는 저작툴을 제공함과 동시에 이를 실시간 확인할 수 있어, 다양한 3차원 교육 콘텐츠를 실시간으로 생성할 수 있다.
도 1은 본 발명의 일실시예에 따른 전자칠판의 외부 구성을 설명하기 위한 도면이다.
도 2는 1에 도시된 사용자 인터페이스를 설명하기 위한 예시도이다.
도 3은 본 발명의 일실시예에 따른 전자칠판의 내부 구성을 설명하기 위한 도면이다.
도 4 내지 7은 본 발명의 일실시예에 따른 사용자 인터페이스를 이용하여 3차원 오브젝트를 생성하는 예를 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명 될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 바람직한 실시예를 첨부 도면에 의거하여 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 전자칠판의 외부 사시도이고, 도 2는 1에 도시된 사용자 인터페이스를 설명하기 위한 예시도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 전자칠판은 사용자의 손동작에 따른 움직임을 인식하기 위한 모션 인식 장치(100)가 구비되며, 상기 모션 인식 장치(100)를 통해 인식한 사용자의 손동작 움직임을 통해 3차원 오브젝트를 생성하여 이를 홀로그램 방식으로 출력하는 테이블 형태의 홀로그램 출력장치(200)로 구성된다.
모션 인식 장치(100)는 사용자의 손동작에 따른 모션을 인식하기 위한 다양한 장치로 구현될 수 있다. 예를 들어, 사용자의 손을 인식하기 위한 모션 캡쳐 카메라나, 3D 깊이 카메라로 구성될 수 있고, 스마트펜 또는 모션 캡쳐 리모콘의 형태로 구현될 수 있다. 이때, 스마트펜에는 가속도 센서와 자이로센서 및 카메라 등을 포함하거나, 적외선 발광기 및 적외선 센서를 포함할 수 있다. 또한, 모션 인식 장치는 데이터 글러브(Data Glove) 형태로 구현되거나 휴먼 인터페이스 장치(HID, Human Interface Device)를 이용하여 구현될 수 있다.
본 발명의 실시예에서는 스마트펜 형태로 구현된 모션 인식 장치를 이용하는 경우를 예시로 하여 설명한다. 본 발명에 따른 스마트펜에는 자이로 센서와 가속도 센서 및 무선 통신 모듈이 탑재되며, 사용자가 스마트펜을 손에 쥔 상태에서 스마트펜에 구비된 버튼을 클릭거하나 버튼을 누른 채 움직임으로써 스마트펜의 3차원 공간에서의 위치정보 변화에 따른 사용자의 손동작에 대한 모션 정보를 획득할 수 있다.
예컨데, 스마트펜을 바닥에 수평한 수평면에 놓았을 때 그 수평면에 수직이 되는 축인 중력축을 Z축이라 하고, 해당축을 기준으로 나머지 두 방향을 X축, Y축으로 정의한 후, 가속도 센서를 이용하여 Y축에 대해 수직 방향의 값 즉, 수직 각도를 산출하고, 자이로 센서를 이용하여 X축, Y축, Z축에 대해 각각 회전하는 각도를 획득하여 무선 통신 모듈을 통해 홀로그램 출력장치로 전송할 수 있으며, 홀로그램 출력장치는 이를 통해 스마트펜의 위치와 모션을 지속적으로 검출하는 것이 가능해진다. 이때, 스마트펜에 구비된 버튼 조작을 통해 버튼이 눌러질 때에만 스마트펜의 모션 감지를 개시하고 종료할 수 있도록 설정될 수 있다.
홀로그램 출력장치(200)는 복수의 경사진 반사면으로 이루어져 각 반사면에 도달하는 영상을 반사시키는 반사 구조체(220)와, 상기 반사면 개수만큼의 분할 영역에 각각의 영상을 영사하는 영상 출력부(210)로 구성된다.
반사 구조체(220)는 복수의 경사진 반사면으로 이루어져 각 반사면에 도달하는 영상을 반사시킨다. 각 반사면은 반투명 또는 투명 재질로 구성되고, 반사구조체는 삼각뿔이나 사각뿔, 역삼각뿔, 역사각뿔, 원뿔 등의 형상으로 구현될 수 있다. 본 발명의 실시예에서는 도 1에 도시된 바와 같이, 역사각뿔 형상의 반사구조체를 갖도록 구현되고 있으나, 다양한 변형이 본 발명에 적용가능하며, 그 구체적인 구성 형태에 의해 본 발명이 제한되는 것은 아니다.
영상 출력부(210)는 반사 구조체(220)의 상면 또는 하면에 위치하고, 반사면의 개수만큼 분할된 영역에 각각의 영상을 영사한다. 일실시예로 반사 구조체가 도 1에 도시된 바와 같이 역사각뿔 형상인 경우, 영상 출력부(210)는 네 영역에 각각 정면 영상, 좌측 영상, 우측 영상, 후면 영상을 영사한다. 이에 따라, 영상 출력부로 출력된 네 개의 영상들이 각각 네 개의 반사면에 반사되어 반사 구조체의 내부 중심에서 입체영상이 디스플레이된다. 본 발명의 일실시예에서 영상 출력부(210)는 반사 구조체(220)의 하면에 위치하고 있으나, 이에 한정되는 것은 아니며 반사 구조체에 형상에 따라 다양하게 구현될 수 있다.
또한, 영상 출력부(210) 일측에는 사용자와 상호작용할 수 있는 사용자 인터페이스(212)가 제공되어, 사용자가 허공에서도 입체 구조물을 용이하게 생성하도록 지원하며, 이와 동시에 홀로그램 방식으로 출력된 3차원 오브젝트를 다양한 형태로 제어할 수 있도록 지원한다. 이를 위해, 본 발명에 따른 사용자 인터페이스는 터치스크린 형태로 구성되는 것이 바람직하다.
이러한 사용자 인터페이스(212)를 통해 설정할 수 있는 기능들은, 도 2에 도시된 바와 같이, 기존에 생성한 3차원 오브젝트를 불러오거나 현재 생성한 3차원 오브젝트를 저장할 수 있으며, 다양한 선과 면, 도형들을 생성할 수 있고, 생성한 객체의 크기 및 모양을 조절하거나, 선 두께 조절 및 팔레트를 이용하여 객체의 색을 지정 및 변경할 수 있다. 또한, 홀로그램 방식으로 출력되고 있는 3차원 오브젝트를 확대 및 축소, 위치 이동, 회전시킬 수 있는 기능 등을 지원한다. 더불어, 원기둥, 육각면체, 구, 삼각뿔 등 기본 입체 도형 들을 생성할 수 있도록 지원하며, 사용자가 이를 자신이 원하는 형태로 편집할 수 있도록 제공한다.
또한, 사용자 인터페이스(212)는 모션 인식 장치의 현재 포인트 위치 및 사용자가 현재 자신이 생성중인 3차원 오브젝트를 실시간으로 확인할 수 있는 디스플레이 화면(214)을 포함할 수 있다.
이와 같이, 본 발명은 사용자가 홀로그램 출력장치(200)의 영상 출력부(210) 일측에 제공되는 사용자 인터페이스(212)를 통해 다양한 메뉴를 선택한 후, 허공에 스마트펜을 손에 쥔 상태에서 스마트펜에 구비된 버튼을 클릭하거나 버튼을 누른 채 움직임으로써, 별도의 특수 프로그램의 사용법을 숙지하지 않아도 다양한 3차원 오브젝트를 생성할 수 있게 된다. 또한, 이렇게 생성된 3차원 오브젝트는 렌더링을 통해 홀로그램 방식으로 실시간 출력 가능함에 따라, 강의자는 수업에 필요한 3차원 오브젝트를 실시간으로 생성하고 제어할 수 있게 되어, 다양한 형태의 교육 콘텐츠를 생성할 수 있게 된다.
이에 따라, 본 발명은 종래의 2차원으로만 출력이 가능했던 전자칠판과 달리 3차원 객체의 출력이 가능하여, 학생들에게 3차원 공간에 대한 직관적 이해를 높일 수 있도록 제공 가능하며, 강의자를 둘러싸고 강의자와 학생들이 동일한 방향을 바라보며 수업이 가능하도록 하여 강의자와 학생 사이의 소통이 쉽고, 학생들에게 보다 적극적인 수업참여를 유도할 수 있게 된다.
도 3은 본 발명의 일실시예에 따른 전자칠판의 내부 구성도를 설명하기 위한 도면이고, 도 4 내지 7은 본 발명의 일실시예에 따른 사용자 인터페이스를 이용하여 3차원 오브젝트를 생성하는 예를 나타낸 도면이다.
도 3에 도시된 바와 같이, 본 발명에 따른 전자칠판은 입력부(230), 통신부(240), 저장부(250) 및 제어부(260)를 포함하여 구성된다.
입력부(230)는 사용자가 사용자 인터페이를 통해 선택한 메뉴 또는 키 조작에 따른 정보를 입력받을 수 있다.
통신부(240)는 모션 인식 장치와 무선 통신하기 위한 수단으로, 통신부(240)는 모션 인식 장치와 연동되어 모션 인식 장치의 위치 정보와 모션 인식 장치에 의해 생성된 움직임 데이터를 실시간으로 수신한다.
저장부(250)는 사용자가 전자칠판을 이용하여 생성한 3차원 오브젝트들에 대한 다양한 정보를 저장하며, 사용자가 전자칠판에 활용할 수 있는 다양한 3차원 콘텐츠들이 기 저장되어 있다.
제어부(260)는 사용자가 사용자 인터페이스를 통해 선택한 기능을 기반으로, 통신부(240)를 통해 모션 인식 장치로부터 수신된 위치정보와 움직임 데이터를 인지하여, 3차원 오브젝트를 생성한다. 즉, 제어부(260)는 사용자가 사용자 인터페이스를 통해 선택한 기능을 기반으로 사용자의 모션 인식을 통해 사용자의 의도를 파악함으로써, 사용자가 원하는 3차원 오브젝트를 생성한다.
예들 들어, 직선을 그리기 위해 사용자가 스마트펜에 구비된 버튼을 누른상태에서 옆으로 움직인 후 버튼을 해제하는 경우, 사용자는 이러한 행위를 허공에서 수행함에 따라 반듯한 직선을 그리는 것은 불가능하다. 이에 따라, 제어부는 사용자의 손동작의 의도를 파악하여 그에 따른 도형을 생성한다. 즉, 도 4에 도시된 바와 같이, 사용자가 스마트펜에 구비된 버튼을 누른 시작점부터 버튼을 뗀 지점까지 축적된 좌표의 변화점들로부터 평균 기울기를 계산하고, 이러한 평균 기울기를 이용하여 사용자의 손동작 진행방향(앞뒤, 좌우, 상하)에 따라 버튼 시작점과 버튼 해제점까지의 거리를 갖는 직선을 생성한다. 이때, 사용자가 스마트펜에 구비된 버튼을 누른 시작점부터 버튼을 뗀 지점까지 축적된 좌표의 변화점들의 평균 기울기는 하기의 [수학식 1]에 의해 산출된다.
Figure pat00001
여기서,
Figure pat00002
는 버튼을 누르기 시작한 지점의 좌표이며,
Figure pat00003
은 버튼을 해제한 지점의 좌표이다.
또한, 도 2에 도시된 사용자 인터페이스에 구비된 좌표고정 메뉴 중 사용자가 X와 Y를 선택한 채, 스마트펜에 구비된 버튼을 누른상태에서 움직이는 경우, 제어부는 스마트펜의 현재 좌표에서 X와 Y축의 좌표값을 고정한 채 Z축의 위치변화만을 감지하여, 도 5의 (a)에 도시된 바와 같이, 사용자가 스마트펜을 누른시작부터 해제시까지의 Z축 변화량을 기준으로 한 선후직선을 생성한다. 이와 같은 방법으로, 사용자가 좌표고정 메뉴 중 Y와 Z를 선택한 채, 스마트펜에 구비된 버튼을 누른상태에서 움직이는 경우, 제어부는 도 5의 (b)에 도시된 바와 같이, 사용자가 스마트펜을 누른시작부터 해제시까지의 X축 변화량을 기준으로 한 가로직선을 생성하며, 좌표고정 메뉴 중 사용자가 X와 Z를 선택한 채, 스마트펜에 구비된 버튼을 누른상태에서 움직이는 경우, 도 5의 (c)에 도시된 바와 같이, 사용자가 스마트펜을 누른시작부터 해제시까지의 Y축 변화량을 기준으로 한 세로직선을 생성한다.
또한, 제어부(260)는 통신부(240)를 통해 모션 인식 장치와 연동하여 모션 인식 장치의 위치 정보를 기반으로 모션 인식 장치의 현재 포인트 위치를 사용자가 인지할 수 있도록 사용자 인터페이스를 통해 출력한다. 이때, 제어부(260)는 모션 인식 장치의 현재 포인터의 크기를 Z축에 비례하여 도 6의 (a)와 같이 사용자의 위치를 기준으로 가까운 곳에 위치하는 경우 커지게하고, 도 6의 (b)와 같이 먼 곳에 위치하는 경우 포인터를 작아지게 함으로써, 사용자가 현재위치에서 포인터를 통해 원근을 인지할 수 있도록 제공한다.
더불어, 도 7에 도시된 바와 같이, Z좌표에 비례하여 모션 인식 장치의 현재 포인터 크기 뿐만 아니라 도형을 이루는 선의 두께를 원근에 따라 달라보이게 출력함으로써, 사용자가 현재위치에서 도형의 어떤 선이 얼마나 멀리에 위치하는지 인지할 수 있게 제공할 수도 있다.
이를 통해, 사용자는 허공에서도 정확하게 다양한 선과, 도형들을 사용자 인터페이스를 통해 실시간 확인하면서 그릴 수 있게 되며, 사용자 인터페이스에서 지원하는 다양한 기능을 이용하여 다양한 3차원 오브젝트를 생성할 수 있게 된다.
또한, 제어부(260)는 사용자에 의해 생성된 3차원 오브젝트를 홀로그램 출력장치에 구비된 반사면의 개수만큼 설정된 뷰포인트에 대해 렌더링을 수행하고, 렌더링한 영상을 영상 출력부의 분할영역에 각각 출력하도록 제어한다.
홀로그램으로 3차원 오브젝트를 제공하기 위해서는, 3차원 오브젝트를 특정 시점에서 바라보았을 때의 2차원 화면이 필요하다. 따라서 제어부(260)는, 3차원 모델을 2차원의 정면, 좌측, 우측, 후면으로 바라보았을 때의 2차원 영상으로 렌더링하고, 이렇게 렌더링한 2차원의 정면, 좌측, 우측, 후면 영상을 영상 출력부의 분할된 네 영역에 각각 출력하도록 제어하므로, 반사구조체의 내부중심에서 입체영상이 디스플레이될 수 있도록 제어한다.
이와 같이, 본 발명은 사용자가 실시간으로 3차원의 입체영상을 생성하고 이를 렌더링하여 홀로그램 방식으로 출력가능함에 따라, 3차원 모델의 변화를 실시간 반영할 수 있다. 즉, 종래에는 단순히 미리 촬영된 홀로그램 영상을 제공해주기 때문에 단편적인 영상을 제공하는 방식이였지만, 본 발명에서는 사용자가 실시간으로 3차원의 입체영상을 생성할 수 있고, 생성된 입체영상을 실시간 렌더링하여 홀로그램 방식으로 출력함으로써, 출력되는 3차원 모델을 실시간으로 제어할 수 있음에 따라, 입체영상에 생동감과 율동감을 부여할 수 있으며, 다양한 형태의 활용이 가능해진다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백하다 할 것이다.
100 : 모션 인식 장치 200 : 홀로그램 출력장치
210 : 영상 출력부 212 : 사용자 인터페이스
220 : 반사구조체 230 : 입력부
240 : 통신부 250 : 저장부
260 : 제어부

Claims (12)

  1. 사용자의 손동작을 인식하여 홀로그램을 출력하는 전자칠판에 있어서,
    사용자의 손동작을 인식하기 위한 모션 인식 장치; 및
    복수의 경사진 반사면으로 이루어져 각 반사면에 도달하는 영상을 반사시키는 반사구조체와, 상기 반사구조체의 하면에 구비되어, 상기 반사면 개수만큼의 분할 영역에 각각 영상을 영사하는 영상 출력부로 구성되는 홀로그램 출력장치;
    를 포함하여 구성되어,
    상기 모션 인식 장치를 통해 인식되는 사용자의 손동작 움직임을 바탕으로 3차원 오브젝트를 생성하고, 생성된 3차원 오브젝트를 렌더링하여 렌더링 된 3차원 오브젝트를 홀로그램으로 출력하는 것을 특징으로 하는 모션인식 기반의 홀로그램 출력 전자칠판.
  2. 제 1항에 있어서,
    상기 모션 인식 장치는,
    스마트펜인 것을 특징으로 하는 모션인식 기반의 홀로그램 출력 전자칠판.
  3. 제 2항에 있어서,
    상기 스마트펜에는,
    자이로 센서, 가속도 센서 및 무선통신모듈이 탑재되고,
    외부에 사용자가 조작가능한 버튼이 구비되는 것을 특징으로 하는 모션인식 기반의 홀로그램 출력 전자칠판.
  4. 제 1항에 있어서,
    상기 반사구조체는,
    역사각뿔 형상의 반사구조체인 것을 특징으로 하는 모션인식 기반의 홀로그램 출력 전자칠판.
  5. 제 1항에 있어서,
    상기 영상 출력부 일측에는,
    사용자 인터페이스가 제공되는 것을 특징으로 하는 모션인식 기반의 홀로그램 출력 전자칠판.
  6. 제 5항에 있어서,
    상기 사용자 인터페이스에는,
    점, 선, 도형을 생성할 수 있는 도형 생성 항목과,
    객체의 크기, 모양, 두께, 및 색을 지정할 수 있는 도형 편집 항목과,
    홀로그램으로 출력된 객체의 확대, 축소, 위치이동 및 회전을 제어할 수 있는 출력 제어 항목이 제공되는 것을 특징으로 하는 모션인식 기반의 홀로그램 출력 전자칠판.
  7. 제 5항에 있어서,
    상기 사용자 인터페이스에는,
    상기 모션 인식 장치의 현재 포인트 위치 및 사용자가 현재 생성 중인 3차원 오브젝트를 실시간으로 확인할 수 있는 디스플레이 화면이 제공되는 것을 특징으로 하는 모션인식 기반의 홀로그램 출력 전자칠판.
  8. 제 7항에 있어서,
    상기 사용자 인터페이스를 통해 제공되는 디스플레이 화면에서는,
    사용자의 현재 위치를 기준으로 모션 인식 장치의 현재 포인트가 멀어지는 방향으로 이동할수록 포인트를 작게 디스플레이하는 것을 특징으로 하는 모션인식 기반의 홀로그램 출력 전자칠판.
  9. 제 7항에 있어서,
    상기 사용자 인터페이스를 통해 제공되는 디스플레이 화면에서는,
    사용자의 위치를 기준으로 가까운 쪽에 위치하는 도형의 선 굵기를 먼 쪽에 위치하는 도형의 선 굵기보다 두껍게 디스플레이하는 것을 특징으로 하는 모션인식 기반의 홀로그램 출력 전자칠판.
  10. 제 5항에 있어서,
    상기 사용자 인터페이스는,
    터치스크린으로 구성되는 것을 특징으로 하는 모션인식 기반의 홀로그램 출력 전자칠판.
  11. 제 5항에 있어서,
    상기 홀로그램 출력장치는,
    사용자가 상기 사용자 인터페이스를 통해 선택한 메뉴 또는 키 조작에 따른 정보를 입력받는 입력부,
    상기 모션 인식 장치와 무선 통신 하기 위한 통신부,
    사용자가 생성한 3차원 오브젝트 관련 내용을 저장하는 저장부, 및
    사용자가 사용자 인터페이스를 통해 선택한 메뉴를 기반으로, 상기 모션 인식 장치로부터 수신된 위치정보와 움직임 데이터를 인지하여, 3차원 오브젝트를 생성하고, 이를 실시간으로 영상 출력부로 출력하는 제어부;
    를 포함하여 구성되는 것을 특징으로 하는 모션인식 기반의 홀로그램 출력 전자칠판.
  12. 제 11항에 있어서,
    상기 제어부는,
    사용자에 의해 생성된 3차원 오브젝트를 상기 반사면의 개수만큼 설정된 뷰포인트에 대해 렌더링을 수행하고,
    렌더링한 영상을 영상 출력부를 통해 분할된 영상으로 각각 출력하도록 제어하는 것을 특징으로 하는 모션인식 기반의 홀로그램 출력 전자칠판.
KR1020180172333A 2018-12-28 2018-12-28 모션인식 기반의 홀로그램 출력 전자칠판 KR20200083762A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180172333A KR20200083762A (ko) 2018-12-28 2018-12-28 모션인식 기반의 홀로그램 출력 전자칠판

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180172333A KR20200083762A (ko) 2018-12-28 2018-12-28 모션인식 기반의 홀로그램 출력 전자칠판

Publications (1)

Publication Number Publication Date
KR20200083762A true KR20200083762A (ko) 2020-07-09

Family

ID=71602533

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180172333A KR20200083762A (ko) 2018-12-28 2018-12-28 모션인식 기반의 홀로그램 출력 전자칠판

Country Status (1)

Country Link
KR (1) KR20200083762A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171472A (zh) * 2022-07-13 2022-10-11 西安小屿智能科技有限公司 全息影像乐器教学机

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100999576B1 (ko) 2009-04-10 2010-12-08 주식회사 마이마스 반사형 홀로그램 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100999576B1 (ko) 2009-04-10 2010-12-08 주식회사 마이마스 반사형 홀로그램 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171472A (zh) * 2022-07-13 2022-10-11 西安小屿智能科技有限公司 全息影像乐器教学机

Similar Documents

Publication Publication Date Title
US11954808B2 (en) Rerendering a position of a hand to decrease a size of a hand to create a realistic virtual/augmented reality environment
US11392212B2 (en) Systems and methods of creating a realistic displacement of a virtual object in virtual reality/augmented reality environments
US20190362562A1 (en) Throwable Interface for Augmented Reality and Virtual Reality Environments
US6091410A (en) Avatar pointing mode
Spindler et al. Use your head: tangible windows for 3D information spaces in a tabletop environment
Kovács et al. Tangible holographic 3d objects with virtual touch
Mahfud et al. Interactive aerial projection of 3D hologram object
Johnson et al. Developing the paris: Using the cave to prototype a new vr display
KR20200083762A (ko) 모션인식 기반의 홀로그램 출력 전자칠판
US20230115736A1 (en) Interactive environment with virtual environment space scanning
Tano et al. Truly useful 3D drawing system for professional designer by “life-sized and operable” feature and new interaction
Matsumaru et al. Three-dimensional aerial image interface, 3DAII
Lacolina et al. Natural exploration of 3D models
JP7416391B2 (ja) ポインティング装置
Laviole Spatial augmented reality for physical drawing
Lopez Taveras Virtual Reality Interfaces for Product Design: Finding User Interface solutions for design creation within Virtual Reality
Leithinger Grasping information and collaborating through shape displays
Taveras Virtual Reality Interfaces for Product Design Finding User Interface Solutions for Design Creation Within Virtual Reality
Lee et al. Beyond: collapsible input device for direct 3D manipulation beyond the screen
Darbar Extending Interaction Space in Augmented Reality: Contributions in Optical-See-Through and Projection-Based Augmented Environments
Xin 3D sketching and collaborative design with napkin sketch
Teng transformable physical design media
Rusnák Interaction Methods for Large High-Resolution Screens
Bauer Large Display Interaction Using Mobile Devices
Spassova Interactive ubiquitous displays based on steerable projection

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application