KR20220139236A - Electronic system for controlling memo object in virtual space and operating method thereof - Google Patents
Electronic system for controlling memo object in virtual space and operating method thereof Download PDFInfo
- Publication number
- KR20220139236A KR20220139236A KR1020220041819A KR20220041819A KR20220139236A KR 20220139236 A KR20220139236 A KR 20220139236A KR 1020220041819 A KR1020220041819 A KR 1020220041819A KR 20220041819 A KR20220041819 A KR 20220041819A KR 20220139236 A KR20220139236 A KR 20220139236A
- Authority
- KR
- South Korea
- Prior art keywords
- virtual space
- user
- plane
- tracked
- electronic system
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title abstract description 5
- 230000004044 response Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 14
- 238000013459 approach Methods 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 4
- 230000000149 penetrating effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 29
- 238000012545 processing Methods 0.000 description 12
- 238000012217 deletion Methods 0.000 description 9
- 230000037430 deletion Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
아래의 설명은 가상 공간 내 메모 객체를 제어하는 전자 시스템 및 그 동작 방법에 관한 것이다.The following description relates to an electronic system for controlling a memo object in a virtual space and an operating method thereof.
떼었다 붙였다 할 수 있는 접착제가 붙은 메모지는 적은 양의 정보를 담기에 적합한 크기로 다양한 표면에 쉽게 부착될 수 있고, 또한 쉽게 떼어내어 여러 번 다시 부착해도 흔적이 남지 않는다는 특성을 가진다. 이러한 특성 덕분에 메모지는 갑자기 떠오른 생각을 빠르게 받아 적거나, 문서에서 중요한 내용을 강조하거나, 또는 해야 할 일을 상기할 때 유용한 생활 및 사무용품으로 널리 자리매김하였다.Memo paper with removable adhesive is a size suitable for storing small amounts of information and can be easily attached to various surfaces. Thanks to these characteristics, memo paper has become widely used as a useful life and office tool for jotting down sudden thoughts, highlighting important information in documents, or remembering to-dos.
또한, 해당 메모지는 효과적인 문제 해결 도구이다. 여러 사람이 큰 벽 앞에 모여 메모지를 사용한 회의를 진행하면, 짧은 시간 안에 많은 정보와 아이디어를 모을 수 있고, 이를 효과적으로 정리하고 이 안에 존재하는 복잡한 관계를 시각화함으로써, 효율적으로 구체적인 솔루션을 결정할 수 있다. 다만, 물리적인 메모지에는 다음과 같은 여러 문제들이 존재한다.Also, the notepad is an effective troubleshooting tool. When several people gather in front of a large wall and have a meeting using a memo pad, a lot of information and ideas can be gathered in a short time, and by effectively organizing them and visualizing the complex relationships that exist in it, a concrete solution can be efficiently determined. However, there are several problems with the physical memo pad as follows.
먼저, 메모지를 붙일 수 있는 표면의 크기가 한정적이므로, 활용 가능한 메모지도 제한적일 수 밖에 없으며, 결국에는 새로운 공간을 마련해야 하는 점에서 원활한 회의 진행이 어려울 수 있다.First, since the size of the surface to which the memo paper can be attached is limited, the usable memo paper is inevitably limited, and in the end, it may be difficult to conduct a smooth meeting in that a new space must be prepared.
또한, 메모지를 재배열하는 작업이 노동집약적이다. 기존 메모지의 배치나 정렬 순서를 바꾸거나, 기존 메모지들 사이에 새로운 메모지를 배치하고자 한다면, 주변의 많은 메모지들을 일일이 떼었다 붙여야 한다. 메모지가 많을수록 작업 난이도가 올라가며, 이는 새로운 방식으로 아이디어를 정리하는 것을 주저하게 만들 수 있다.In addition, rearranging the memo paper is labor intensive. If you want to change the arrangement or sort order of existing memos, or to place new memos between existing memos, you have to remove and paste a lot of nearby memos one by one. The more notes you have, the more difficult the task is, which can make you hesitant to organize your ideas in new ways.
마지막으로, 물리적인 메모지로 정리한 결과물을 문서화하거나 보관하기 어렵다. 결과물을 공유하기 전에 디지털 도표로 변환하는 데에는 많은 시간과 노력이 필요하다. 나아가, 이 과정에서 중요한 메모지를 누락하거나 잃어버리기 쉽다.Finally, it is difficult to document or keep the results organized by physical memos. It takes a lot of time and effort to convert the result to a digital diagram before sharing it. Furthermore, it is easy to miss or lose important notes in this process.
이러한 문제들은 물리적인 메모지를 사용하는 한 피하기 어렵다.These problems are difficult to avoid as long as you use a physical notepad.
본 발명은 VR(virtual reality)을 활용한 메모 객체 제어 기반 전자 시스템 및 그 동작 방법을 제공함으로써, 물리적인 메모지를 사용할 때 불가피하게 발생하는 여러 문제점들을 효과적으로 해결할 수 있다.The present invention provides a memo object control-based electronic system using virtual reality (VR) and an operating method thereof, thereby effectively solving various problems that occur inevitably when using a physical memo pad.
본 발명은 물리적인 메모지의 효과적인 문제 해결 도구 특성을 가지면서도 앞서 설명한 문제점들을 극복한 메모 객체 제어 기반 전자 시스템 및 그 동작 방법을 제공할 수 있다.The present invention can provide a memo object control-based electronic system and an operating method thereof that overcome the above-described problems while having the characteristics of an effective problem-solving tool for a physical memo pad.
본 발명은 복잡한 생각 과정을 돕기 위해 많은 메모지가 배치되고, 정리되고, 연결됨으로써 다양한 문제를 해결하는 장점을 유지하면서도 물리적인 메모지로 인한 단점을 효과적으로 보완할 수 있다.The present invention can effectively compensate for the disadvantages caused by the physical memo paper while maintaining the advantage of solving various problems by disposing, organizing, and connecting many memo papers to help a complex thinking process.
다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problems are not limited to the above-described technical problems, and other technical problems may exist.
일 실시예에 따른 전자 시스템은 사용자로부터의 입력에 따라 가상 공간에 존재하는 기준 객체에 쓰는 동작을 감지하는 전자 장치 및 상기 사용자의 시점에 대응하는 가상 공간의 장면을 표시해서 상기 사용자로 제공하고, 상기 기준 객체가 상기 장면에 포함되는 경우에 응답하여 상기 전자 장치로부터 전달된 정보에 기초하여 상기 쓰는 동작에 따른 필기(handwriting)를 상기 기준 객체 상에 표시하는 디스플레이 장치를 포함하고, 상기 가상 공간에서 상기 기준 객체는 상기 전자 장치의 표면에 배치되고, 상기 사용자의 두 손 중 적어도 하나가 트랙킹되어 상기 가상 공간에 표시되고, 상기 사용자의 트랙킹된 손에 의해 상기 가상 공간에 존재하는 하나 이상의 객체들에 대한 제어가 수행된다.The electronic system according to an embodiment displays an electronic device that detects an operation of writing on a reference object existing in a virtual space according to an input from a user and a scene in the virtual space corresponding to the user's viewpoint, and provides the display to the user, and a display device that displays handwriting according to the writing operation on the reference object based on information transmitted from the electronic device in response when the reference object is included in the scene, wherein in the virtual space The reference object is disposed on the surface of the electronic device, at least one of the two hands of the user is tracked and displayed in the virtual space, and the reference object is displayed on the one or more objects existing in the virtual space by the tracked hand of the user. control is performed.
상기 가상 공간에 존재하는 하나 이상의 객체들 각각은 쓰여진 필기를 유지한 상태로 상기 사용자의 트랙킹되는 손에 의해 제어될 수 있다.Each of the one or more objects existing in the virtual space may be controlled by the user's tracked hand while maintaining the written handwriting.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 하나 이상의 객체들 중 대상 객체를 잡고 이동시킨 후 놓는 동작을 수행하면, 상기 대상 객체는 상기 이동하는 동작에 따라 상기 가상 공간에서 이동되고, 상기 놓는 동작이 수행된 위치에 대응하는 상기 가상 공간 상에 배치될 수 있다.When the user grasps and moves a target object among one or more objects disposed in the virtual space with a tracked hand and then releases the target object, the target object is moved in the virtual space according to the moving motion, and the It may be disposed on the virtual space corresponding to the position where the operation is performed.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 하나 이상의 객체들 중 대상 객체를 구긴 후 해당 대상 객체를 놓는 동작을 수행하면, 상기 대상 객체는 상기 구기는 동작에 따라 상기 가상 공간에서 구겨지고, 상기 놓는 동작에 따라 상기 가상 공간에서 바닥으로 떨어질 수 있다.When the user crumples a target object among one or more objects arranged in the virtual space with a tracked hand and then places the target object, the target object is crumpled in the virtual space according to the crumpling operation, It may fall to the floor in the virtual space according to the placing operation.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 구겨진 대상 객체를 펴는 동작을 수행하면, 상기 대상 객체는 상기 펴는 동작에 따라 상기 가상 공간에서 펼쳐져서 상기 대상 객체에 적힌 필기를 표시할 수 있다.When the user performs an operation of unfolding the crumpled target object in the virtual space with a tracked hand, the target object may be unfolded in the virtual space according to the unfolding operation to display handwriting written on the target object.
상기 사용자가 트랙킹되는 두 손으로 미리 정해진 거리 내에서 주먹을 쥐는 동작 또는 상기 두 손으로 미리 정해진 거리 내에서 주먹을 쥔 후 상기 두 손을 서로 멀어지도록 이동시키는 동작을 수행하면, 상기 가상 공간에서 두 손의 거리에 따른 크기의 평면이 생성되고, 상기 사용자가 트랙킹되는 두 손으로 주먹을 쥔 채 두 손의 거리를 조절하는 동작을 수행하면, 상기 가상 공간에서 생성된 상기 평면의 크기가 상기 두 손의 거리에 따라 제어될 수 있다.When the user makes a fist within a predetermined distance with both hands being tracked or performs an operation of moving the two hands apart from each other after making a fist within a predetermined distance with the two hands, the two hands in the virtual space A plane having a size according to the distance of the hand is generated, and when the user performs an operation of adjusting the distance between the two hands while making a fist with the two hands being tracked, the size of the plane generated in the virtual space is determined by the two hands. can be controlled according to the distance of
상기 사용자가 트랙킹되는 두 손 또는 한 손으로 상기 가상 공간에서 평면을 잡고 이동시킨 후 놓는 동작을 수행하면, 상기 평면은 상기 이동하는 동작에 따라 상기 가상 공간에서 이동되고, 상기 놓는 동작이 수행된 위치에 대응하는 상기 가상 공간 상에 배치될 수 있다.When the user grasps and moves the plane in the virtual space with two or one hand being tracked and performs a release operation, the plane is moved in the virtual space according to the moving operation, and the position at which the placing operation is performed may be disposed on the virtual space corresponding to .
상기 사용자가 트랙킹되는 두 손으로 상기 가상 공간에서 평면을 잡고 두 손의 거리를 미리 정해진 거리 이하로 줄이는 동작을 수행하면, 상기 평면에 부착된 객체가 없는 경우에 응답하여 상기 평면은 상기 가상 공간에서 삭제되고, 상기 평면에 부착된 객체가 있는 경우에 응답하여 상기 평면은 상기 부착된 객체의 가장자리 크기보다 축소되지 않는다.When the user holds a plane in the virtual space with both hands to be tracked and performs an operation to reduce the distance between the two hands to less than a predetermined distance, in response to no object attached to the plane, the plane is moved in the virtual space deleted, and in response to the presence of an object attached to the plane, the plane is not reduced below the size of the edge of the attached object.
상기 사용자가 트랙킹되는 두 손 중 한 손으로 핀치 제스처를 한 후 다른 손으로 핀치 제스처를 수행하면, 상기 가상 공간에서 상기 두 손을 잇는 무방향성 링크가 생성될 수 있다.When the user makes a pinch gesture with one of the two tracked hands and then performs a pinch gesture with the other hand, a non-directional link connecting the two hands in the virtual space may be generated.
상기 사용자가 트랙킹되는 두 손 중 한 손으로 핀치 제스처를 한 후 다른 손을 일 방향으로 움직이면서 핀치 제스처를 수행하면, 상기 가상 공간에서 상기 두 손을 이으며 상기 다른 손에 대응하는 부분에 화살표 표시가 있는 방향성 링크가 생성될 수 있다.When the user makes a pinch gesture with one of the two tracked hands and then performs a pinch gesture while moving the other hand in one direction, an arrow is displayed on a portion corresponding to the other hand while connecting the two hands in the virtual space. A directional link can be created.
상기 무방향성 링크 또는 상기 방향성 링크가 생성된 상태에서 상기 사용자가 트랙킹되는 두 손으로 상기 가상 공간에 배치된 두 타겟 객체들에 미리 정해진 거리 내에서 핀치 제스처를 해제하면, 상기 무방향성 링크 또는 상기 방향성 링크는 상기 가상 공간에서 상기 두 타겟 객체들을 연결할 수 있다.When the user releases the pinch gesture within a predetermined distance to two target objects arranged in the virtual space with both hands being tracked while the non-directional link or the directional link is generated, the non-directional link or the directional link A link may connect the two target objects in the virtual space.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 두 타겟 객체들을 잇는 링크를 잡고 미리 정해진 거리 이상으로 잡아당기는 동작을 수행하면, 상기 링크는 상기 가상 공간에서 삭제될 수 있다.When the user holds a link connecting two target objects arranged in the virtual space with a tracked hand and pulls the link beyond a predetermined distance, the link may be deleted from the virtual space.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 태그 객체를 잡아서 두 타겟 객체들을 잇는 링크에 미리 정해진 거리 내로 이동시킨 후 놓는 동작을 수행하면, 상기 태그 객체는 상기 놓는 동작에 따라 상기 링크에 미리 정해진 각도로 정렬되어 배치될 수 있다.When the user grabs the tag object in the virtual space with a tracked hand and moves the two target objects within a predetermined distance to the link connecting the two target objects, and then performs a release operation, the tag object is moved to the link at a predetermined angle according to the placing operation. may be arranged and arranged.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 복수의 객체들 중 대상 객체를 잡고 다른 객체에 미리 정해진 거리 내로 이동시키는 동작을 수행해서 상기 대상 객체와 상기 다른 객체가 미리 정해진 각도 내로 정렬된 후 대상 객체를 놓는 동작을 수행하면, 상기 가상 공간에서 상기 대상 객체와 상기 다른 객체가 부착되는 평면이 생성될 수 있다.After the user holds a target object among a plurality of objects disposed in the virtual space with a tracked hand and moves the target object within a predetermined distance to another object, the target object and the other object are aligned within a predetermined angle When the operation of placing the target object is performed, a plane to which the target object and the other object are attached may be generated in the virtual space.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 타겟 객체를 잡고 평면에 미리 정해진 거리 내로 이동시키는 동작을 수행하면, 상기 가상 공간에서 상기 타겟 객체에 대응하는 피드 포워드(feed forward)가 평면 상에 표시되고, 상기 사용자가 상기 타겟 객체를 놓는 동작을 수행하면, 상기 가상 공간에서 상기 평면에 표시된 상기 피드 포워드의 위치에 상기 타겟 객체가 부착될 수 있다.When the user holds the target object in the virtual space with a tracked hand and performs an operation of moving it within a predetermined distance on a plane, a feed forward corresponding to the target object in the virtual space is displayed on the plane, and , when the user performs an operation of placing the target object, the target object may be attached to the position of the feed forward displayed on the plane in the virtual space.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 평면 내 타겟 객체를 평면 상에서 이동시키는 동작을 수행하면, 상기 타겟 객체는 상기 가상 공간 내 상기 평면 상에서 상기 사용자의 동작에 따라 이동될 수 있다.When the user performs an operation of moving a target object in a plane disposed in the virtual space on a plane with a tracked hand, the target object may be moved on the plane in the virtual space according to the user's motion.
상기 사용자가 트랙킹되는 두 손 중 한 손으로 상기 가상 공간에 배치된 평면 내 타겟 객체를 터치한 채 다른 손으로 다른 객체를 상기 평면 상에서 상기 타겟 객체에 정렬되도록 이동시키는 동작을 수행하면, 상기 다른 객체는 상기 가상 공간 내 상기 평면 상에서 상기 타겟 객체에 정렬될 수 있다.When the user touches a target object in a plane disposed in the virtual space with one of the two tracked hands and performs an operation of moving the other object on the plane to be aligned with the target object on the plane with the other hand, the other object may be aligned to the target object on the plane in the virtual space.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 제1 평면을 잡고 하나 이상의 객체들이 부착된 제2 평면을 미리 정해진 방향으로 관통시키는 동작을 수행하면, 상기 사용자의 동작으로 상기 제2 평면 중에서 상기 제1 평면에 의해 관통되는 영역 내 객체가 상기 제2 평면에서 상기 제1 평면으로 이동될 수 있다.When the user holds a first plane in the virtual space with a tracked hand and performs an operation of penetrating a second plane to which one or more objects are attached in a predetermined direction, the user's operation causes the first plane among the second planes An object in the area penetrated by the plane may be moved from the second plane to the first plane.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 제1 평면을 잡고 하나 이상의 객체들이 부착된 제2 평면에 미리 정해진 거리 내로 접근시키는 동작을 수행하면, 상기 가상 공간에서 상기 제2 평면 중 상기 제1 평면에 대응하는 영역 내 객체가 상기 제1 평면에 투사되고, 상기 사용자가 상기 제1 평면에 투사된 객체를 터치하는 동작을 수행하면, 상기 가상 공간에서 상기 터치하는 동작에 대응하는 객체가 상기 제1 평면에 복사될 수 있다.When the user holds a first plane in the virtual space with a tracked hand and approaches a second plane to which one or more objects are attached within a predetermined distance, the first plane among the second planes in the virtual space When an object within an area corresponding to . It can be copied on a flat surface.
상기 가상 공간에 존재하는 객체들 중 적어도 하나는 상기 가상 공간에 접속한 복수의 사용자들 중 하나 이상에 의해 제어될 수 있다.At least one of the objects existing in the virtual space may be controlled by one or more of a plurality of users accessing the virtual space.
일 실시예에 따른 전자 시스템은 사용자의 시점에 대응하는 가상 공간의 장면을 표시해서 상기 사용자로 제공하고, 상기 가상 공간에 배치된 객체들 중 상기 장면에 포함된 객체를 해당 객체에 적힌 필기와 함께 표시하는 디스플레이 장치 및 상기 사용자의 두 손 중 적어도 하나를 트래킹하는 센서를 포함하고, 상기 센서에 의해 상기 사용자의 두 손 중 적어도 하나가 트랙킹되어 상기 가상 공간에 표시되고, 상기 사용자의 트랙킹된 손에 의해 상기 가상 공간에 존재하는 하나 이상의 객체들에 대한 제어가 수행된다.The electronic system according to an embodiment displays a scene in a virtual space corresponding to the user's point of view and provides it to the user, and among the objects disposed in the virtual space, an object included in the scene together with a handwriting written on the object a display device for displaying and a sensor for tracking at least one of the user's two hands, wherein at least one of the user's two hands is tracked by the sensor and displayed in the virtual space, control of one or more objects existing in the virtual space is performed.
일 실시예에 따른 전자 시스템의 동작 방법은 사용자로부터 전자 장치로 전달되는 입력에 따라 가상 공간에 존재하는 기준 객체에 쓰는 동작을 감지하는 동작 및 상기 사용자의 시점에 대응하는 가상 공간의 장면에 상기 기준 객체가 포함되는 경우에 응답하여, 상기 감지된 쓰는 동작에 따른 필기를 상기 기준 객체 상에 표시해서 상기 사용자로 디스플레이 장치를 통해 제공하는 동작을 포함하고, 상기 가상 공간에서 상기 기준 객체는 상기 전자 장치의 표면에 배치되고, 상기 사용자의 두 손 중 적어도 하나가 트랙킹되어 상기 가상 공간에 표시되고, 상기 사용자의 트랙킹된 손에 의해 상기 가상 공간에 존재하는 하나 이상의 객체들에 대한 제어가 수행된다.The method of operating an electronic system according to an embodiment includes an operation of detecting an operation of writing on a reference object existing in a virtual space according to an input transmitted from a user to an electronic device, and an operation of adding the reference to a scene in the virtual space corresponding to the viewpoint of the user. and displaying a handwriting according to the sensed writing operation on the reference object in response to a case in which an object is included and providing the handwriting to the user through a display device, wherein the reference object in the virtual space is the electronic device is disposed on the surface of the , at least one of the two hands of the user is tracked and displayed in the virtual space, and control of one or more objects existing in the virtual space is performed by the tracked hand of the user.
일 실시예에 따르면, 물리적인 메모리를 사용할 때의 손 동작과 매우 유사한 제스처를 이용함으로써, 복잡한 메뉴 버튼이나 위젯 없이 사용자가 가상 공간에서 직관적으로 손쉽게 메모 객체를 제어할 수 있다. 사용자는 물리적인 제약에 구애 받지 않고 아이디어를 자유롭게 메모 객체에 필기하고, 객체를 배치하고, 필요 시 한 번에 많은 객체를 옮기거나 복제하는 등 아이디어 결과물을 손쉽게 관리할 수 있다.According to an embodiment, by using a gesture very similar to a hand gesture when using a physical memory, a user can intuitively and easily control a memo object in a virtual space without a complicated menu button or widget. Users can freely write ideas on memo objects regardless of physical restrictions, place objects, and easily manage ideas output, such as moving or duplicating many objects at once if necessary.
일 실시예에 따르면, 현실과 매우 유사한 다양한 한 손 또는 양손 제스처로 가상 공간 내 메모 객체를 생성, 제어, 삭제하고, 가상 공간 내 평면을 이용하여 여러 메모 객체를 한 번에 이동시키거나, 복제하거나, 졍렬시킬 수 있다.According to an embodiment, a memo object in the virtual space is created, controlled, and deleted by various one-handed or two-handed gestures very similar to reality, and several memo objects are moved, duplicated, or copied using a plane in the virtual space at once. , can be sorted.
도 1은 일 실시예에 따라 전자 시스템을 설명하기 위한 도면이다.
도 2 및 도 3은 일 실시예에 따른 가상 공간을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 객체 필기 및 배치 관련 동작을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 객체 삭제 및 복구 관련 동작을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 평면 수동 생성, 크기 조절 및 배치 관련 동작을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 평면 삭제 관련 동작을 설명하기 위한 도면이다.
도 8 및 도 9는 일 실시예에 따른 무방향성 링크 및 방향성 링크 생성 관련 동작을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 링크 부착 및 삭제 관련 동작을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 태그 부착 관련 동작을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 평면 자동 생성 및 평면 스냅 관련 동작을 설명하기 위한 도면이다.
도 13은 일 실시예에 다른 평면 내 객체 정렬 관련 동작을 설명하기 위한 도면이다.
도 14 및 도 15는 일 실시예에 따른 평면 간 복수의 객체 이동 및 복제 관련 동작을 설명하기 위한 도면이다.
도 16는 일 실시예에 따른 다중 사용자 관련 동작을 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 전자 시스템의 동작 방법을 나타낸 도면이다.1 is a diagram for explaining an electronic system according to an embodiment.
2 and 3 are diagrams for explaining a virtual space according to an exemplary embodiment.
4 is a diagram for describing an operation related to writing and disposing of an object according to an exemplary embodiment.
5 is a diagram for explaining an operation related to deletion and restoration of an object according to an exemplary embodiment.
6 is a diagram for explaining operations related to manual plane creation, size adjustment, and arrangement according to an exemplary embodiment.
7 is a diagram for explaining an operation related to plane deletion according to an exemplary embodiment.
8 and 9 are diagrams for explaining an operation related to generation of a non-directional link and a directional link according to an embodiment.
10 is a diagram for explaining an operation related to attaching and deleting a link according to an exemplary embodiment.
11 is a diagram for describing an operation related to attaching a tag according to an exemplary embodiment.
12 is a diagram for describing an operation related to automatic plane generation and plane snapping according to an exemplary embodiment.
13 is a diagram for describing an operation related to in-plane object alignment according to an embodiment.
14 and 15 are diagrams for explaining operations related to movement and duplication of a plurality of objects between planes according to an exemplary embodiment.
16 is a diagram for explaining a multi-user related operation according to an embodiment.
17 is a diagram illustrating a method of operating an electronic system according to an exemplary embodiment.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for purposes of illustration only, and may be changed and implemented in various forms. Accordingly, the actual implementation form is not limited to the specific embodiments disclosed, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical spirit described in the embodiments.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various elements, these terms should be interpreted only for the purpose of distinguishing one element from another. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being “connected” to another component, it may be directly connected or connected to the other component, but it should be understood that another component may exist in between.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression includes the plural expression unless the context clearly dictates otherwise. In this specification, terms such as "comprise" or "have" are intended to designate that the described feature, number, step, operation, component, part, or combination thereof exists, and includes one or more other features or numbers, It should be understood that the possibility of the presence or addition of steps, operations, components, parts or combinations thereof is not precluded in advance.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present specification. does not
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. In the description with reference to the accompanying drawings, the same components are assigned the same reference numerals regardless of the reference numerals, and the overlapping description thereof will be omitted.
도 1은 일 실시예에 따라 전자 시스템을 설명하기 위한 도면이다.1 is a diagram for explaining an electronic system according to an embodiment.
일 실시예에 따르면, 전자 시스템(100)은 사용자(140)의 움직임(예: 손 제스처, 터치 입력 등) 및/또는 펜 입력에 기반하여 3차원 가상 공간에 객체를 생성하거나, 객체에 필기하거나, 또는 객체를 제어할 수 있다. 객체는 가상 공간에서 생성되고, 배치되는 가상 객체로서, 앞서 설명한 물리적인 메모지에 대응할 수 있다. 사용자(140)는 가상 공간에서 문자, 숫자, 심볼, 그림 등을 객체 상에 필기할 수 있고, 쓰여진 필기를 유지한 상태로 객체를 가상 공간에서 제어할 수 있다. 가상 공간에 대해서는 도 2 및 도 3을 통해 상세히 설명한다.According to an embodiment, the
전자 시스템(100)은 디스플레이 장치(110) 및 전자 장치(120)를 포함할 수 있다. 전자 시스템(100)은 사용자(140)의 두 손 중 적어도 하나를 트랙킹하는 센서(도면 미도시) 및 사용자(140)의 시선 방향 및/또는 위치를 감지하는 센서(도면 미도시) 중 적어도 하나를 더 포함할 수 있다.The
디스플레이 장치(110)는 사용자(140)의 시점에 대응하는 가상 공간의 장면을 표시해서 사용자(140)로 제공하는 장치일 수 있다. 디스플레이 장치(110)는 사용자(140)에 의해 착용될 수 있으나, 전술하거나 도 1에 도시된 예에 한정되지 않으며, 사용자(140)의 시점에 대응하는 가상 공간의 장면을 표시해서 사용자(140)로 제공할 수 있는 장치라면 그 형태나 종류에 한정되지 않는다. 예를 들어, 디스플레이 장치(110)가 사용자(140)의 머리에 착용되는 HMD(head mounted display)라면, 디스플레이 장치(110)는 사용자(140)로 제공할 가상 공간의 장면을 결정하기 위해 사용자(140)의 시점 방향을 감지하기 위한 하나 이상의 센서들을 이용할 수 있다. 또는, 별도의 처리 장치(예: 서버 등)(도면 미도시)가 사용자(140)의 시점 방향 및/또는 위치를 감지하는 하나 이상의 센서들을 이용하여 사용자(140)의 시점 방향 및/또는 위치에 따른 가상 공간의 장면을 생성하고, 디스플레이 장치(110)는 생성된 장면을 수신하여 사용자(140)로 제공할 수도 있다.The
전자 장치(120)는 사용자(140)가 가상 공간에서 객체 상에 필기를 하기 위한 장치로서, 사용자(140)의 필기 동작을 도울 수 있는 형태(예: 평평한 표면 등)를 가질 수 있다. 예를 들어, 전자 장치(120)는 휴대폰, 스마트 폰, 태블릿, 전자북 장치, 랩탑과 같은 다양한 컴퓨팅 장치를 포함할 수 있으나, 전술한 예에 한정되지 않는다. The
일례로, 사용자(140)는 펜(130)을 이용하여 전자 장치(120)의 표면에 필기하는 동작을 할 수 있다. 전자 장치(120)는 펜(130)을 통해 사용자(140)로부터의 입력을 감지할 수 있다. 예를 들어, 펜(130)이 전자 장치(120)의 터치 스크린에 접촉하거나, 미리 정해진 거리 내로 접근하면, 전자 장치(120)는 이를 감지하여 사용자(140)로부터의 필기 입력을 결정할 수 있다.For example, the
다른 일례로, 사용자(140)는 펜(130)을 이용하지 않고, 직접 손으로 전자 장치(120)의 터치 스크린에 필기를 할 수 있다. 전자 장치(120)는 터치 스크린에 입력되는 사용자(140)의 터치를 감지하여 사용자(140)로부터의 필기 입력을 결정할 수 있다.As another example, the
전자 장치(120)는 직접 디스플레이 장치(110)로 또는 별도의 처리 장치를 통해 디스플레이 장치(110)로 사용자(140)의 필기 입력을 전송할 수 있고, 디스플레이 장치(110)는 필기되는 객체가 사용자(140)의 시점에 들어오는 경우에 응답하여 객체와 해당 객체에 포함된 필기를 표시하여 사용자(140)로 제공할 수 있다.The
전자 장치(120)의 위치는 내장된 센서(예: 뎁스 카메라(depth camera) 등)에 기반하여 결정될 수 있다. 또는, 별도의 센서(도면 미도시)에 기반하여 전자 장치(120)의 위치가 결정될 수도 있다. 전자 장치(120)의 위치에 기반하여 결정된 전자 장치(120)와 사용자(140) 간 상대적인 위치에 따라, 전자 장치(120)가 가상 공간에 표시될 수 있다.The location of the
추후 자세히 설명하겠으나, 사용자(140)는 두 손 중 적어도 하나를 이용하여 가상 공간에 배치된 객체에 대한 제어를 수행할 수 있다. 예를 들어, 사용자(140)는 객체에 대한 배치, 삭제, 복구, 평면 내 정렬, 다른 평면으로의 이동 및 복제, 객체가 부착된 평면에 대한 수동 생성 크기 조절, 배치, 삭제, 자동 생성 및 스냅 및 두 객체들을 잇는 링크에 대한 생성, 부착 및 삭제 중 하나 이상을 수행할 수 있으며, 이에 대해서는 이하 도면들을 참고하여 상세히 설명한다.As will be described later in detail, the
도 2 및 도 3은 일 실시예에 따른 가상 공간을 설명하기 위한 도면이다.2 and 3 are diagrams for explaining a virtual space according to an exemplary embodiment.
도 2를 참조하면, 가상 공간에서 사용자가 전자 장치(210)와 펜(220)을 이용하여 기준 객체(230)에 필기하는 장면의 예시가 도시된다. 설명의 편의를 위해 가상 공간에 배치된 복수의 객체들과 구별하기 위해 사용자가 필기하고 있는 객체를 기준 객체(230)로 지칭할 수 있다.Referring to FIG. 2 , an example of a scene in which a user writes notes on a
도 2에 예시적으로 도시된 것처럼, 가상 공간에서 전자 장치(210), 펜(220) 및 두 손(240, 250)이 표시될 수 있다. 기준 객체(230)는 전자 장치(210) 상에 놓일 수 있으며, 두 손(240, 250)은 각각 전자 장치(210)와 펜(220)을 쥘 수 있다. 도 2에 도시된 가상 공간의 장면은 도 1의 현실 상황(이를테면, 사용자가 펜(130)으로 전자 장치(120) 상에 필기를 수행)에 대응할 수 있다. 기준 객체(230)는 전자 장치(210) 일면의 일부 또는 전부에 배치될 수 있으며, 펜(220)으로 적힌 필기가 기준 객체(230) 상에 표시될 수 있다. 도 2에서는 왼손(240)으로 전자 장치(210)를 들고, 오른손(250)으로 펜(220)을 잡은 예시가 도시되어 있으나, 이는 설명의 편의를 위한 것으로 사용자에 따라 두 손(240, 250)의 역할이 바뀔 수 있다.As exemplarily illustrated in FIG. 2 , the
또한, 가상 공간에는 하나 이상의 객체들이 배치될 수 있으며, 사용자의 시점에 대응하는 가상 공간 장면에 포함된 객체들이 표시될 수 있다. 각 객체들은 사용자에 의해 쓰여진 다양한 형태의 필기를 포함할 수 있다. 또한, 일부 객체는 전자 시스템에 의해 정해진 형태의 필기를 포함할 수도 있다. 예를 들어, 특정 문서에 대해 미리 정해진 키워드들이 각각 전자 시스템에 의해 객체에 포함되거나, 회의 안건들이 각각 전자 시스템에 의해 객체에 포함되어, 관련 회의나 미팅이 원활히 진행되는 것을 도울 수 있으나, 전술한 예에 한정되지 않는다.Also, one or more objects may be disposed in the virtual space, and objects included in the virtual space scene corresponding to the user's viewpoint may be displayed. Each object may include various types of handwriting written by a user. Also, some objects may include handwriting in a form determined by the electronic system. For example, predetermined keywords for a specific document may be included in the object by the electronic system, respectively, or meeting agendas may be included in the object by the electronic system, respectively, to help the related meeting or meeting proceed smoothly, but Examples are not limited.
도 2에 도시되지는 않았지만, 가상 공간에 배치된 복수의 객체들 중 일부는 다른 객체와 다른 크기, 다른 모양(예: 직사각형, 세모, 동그라미, 별 등) 및/또는 다른 색상을 가질 수 있다. 예를 들어, 가상 공간의 특정 영역에 배치된 객체들을 대표하는 객체(예: 안건, 키워드를 포함한 객체)는 다른 객체보다 더 크거나, 독특한 모양을 가지거나, 다른 색상을 가짐으로써 시각적으로 쉽게 인지될 수 있게끔 결정될 수 있다.Although not shown in FIG. 2 , some of the plurality of objects disposed in the virtual space may have different sizes, different shapes (eg, rectangles, triangles, circles, stars, etc.) and/or different colors from other objects. For example, an object that represents objects placed in a specific area of the virtual space (eg, an agenda, an object including keywords) is larger, has a unique shape, or has a different color than other objects to be easily recognized visually. It can be decided to become
도 3을 참조하면, 현실 공간(310)에서 사용자가 한 손(311)으로 객체를 잡는 동작에 대응하여, 가상 공간(320)에서도 사용자의 트랙킹된 한 손(321)이 객체(323)를 잡을 수 있으며, 잡힌 객체(323)는 다른 객체와 다르게 시각적으로 표시(예: 굵은 테두리)됨으로써 현재 잡힌 객체(323)가 어떤 것인지 등 직관적인 피드백을 사용자로 제공할 수 있다. 도 3에서는 한 손(311)이 오른손으로 도시되어 있으나, 이는 설명의 편의를 위한 것으로 한 손(311)이 왼손인 경우도 적용될 수 있다.Referring to FIG. 3 , in response to the user's action of holding the object with one
현실 공간(310)에서 사용자가 취하는 동작들은 하나 이상의 센서들을 통해 감지되어 가상 공간(320)에 즉각적으로 반영될 수 있다. 이처럼, 가상 공간에서 메모 객체에 필기하고, 필기한 객체를 가상 공간에 배치함으로써, 물리적인 공간 제약에서 벗어나 현실과 유사한 다양한 양손 제스처로 메모 객체를 제어할 수 있다. 이하 도면들을 참조하여 객체 제어를 위한 다양한 제스처에 대해 상세히 설명한다.Actions taken by the user in the
도 4는 일 실시예에 따른 객체 필기 및 배치 관련 동작을 설명하기 위한 도면이다.4 is a diagram for describing an operation related to writing and disposing of an object according to an exemplary embodiment.
도 4에 도시된 각 단계들(410 내지 440)은 가상 공간의 한 장면을 나타내는 것으로, 손, 펜 및 객체가 표시될 수 있다. 여기서, 손과 펜은 현실 공간에 존재하는 사용자의 손과 펜에 대응하는 것으로, 현실 공간에서 하나 이상의 센서들에 의해 트랙킹되어 가상 공간에 표시될 수 있다.Each of the
도 4를 참조하면, 단계(410)를 통해 객체 필기 동작을 설명하고, 단계(420) 내지 단계(440)를 통해 객체 배치 동작을 설명한다.Referring to FIG. 4 , an object writing operation will be described in
단계(410)에서, 사용자는 가상 공간에서 제1 손으로 필기할 객체를 잡고, 제2 손으로 잡은 펜을 이용해서 해당 객체에 필기를 할 수 있다. 이에 대응하는 현실 공간에서는, 사용자는 제1 손으로 전자 장치를 잡고, 제2 손으로 잡은 펜을 이용하여 전자 장치 상에 필기를 할 수 있다. 제1 손은 사용자의 왼손이고, 제2 손은 사용자의 오른손일 수 있으나, 전술한 예에 한정되지 않으며, 경우에 따라서는 제1 손이 오른손이고, 제2 손이 왼손에 해당할 수도 있다.In
단계(410)에 예시적으로 도시된 가상 공간에서는 미표시되었으나, 현실 공간의 전자 장치의 위치나 방향이 감지되어 가상 공간에 표시되고, 객체는 가상 공간에 표시된 전자 장치의 표면에 배치될 수 있다. 전자 장치의 위치나 방향은 별도의 센서를 통해 감지되거나, 또는 전자 장치 내 구비된 센서(예: 자이로 센서, 가속도 센서 등)에 의해 감지될 수도 있다. 객체에 수행되는 필기는 펜에 의해 전자 장치의 터치 스크린에 제공되는 터치 입력에 기반하여 감지되거나, 펜과 전자 장치 간 통신(예: 블루투스 연결 등)에 기반하여 감지될 수 있다. 감지된 필기는 가상 공간에서 객체 상에 표시될 수 있다.Although not displayed in the virtual space exemplarily shown in
단계(420)에서, 사용자가 가상 공간에서 객체에 미리 정해진 거리 내로 손을 근접시킨 후 핀치 제스처를 취하면 해당 객체가 핀치 제스처에 고정될 수 있다. 객체를 사용자의 손에 고정시키는 제스처는 핀치 제스처 외에도 사용자나 시스템에 의해 다양하게 설정될 수 있다. 단계(430)에서, 사용자가 가상 공간에서 핀치 제스처를 유지한 채 손을 움직이면, 객체가 손 움직임에 따라 이동할 수 있다. 단계(440)에서, 사용자가 가상 공간에서 손을 원하는 위치로 옮긴 후 핀치 제스처를 해제하면 객체가 해당 위치에 배치될 수 있다.In
다시 말해, 단계(420) 내지 단계(440)에서, 사용자가 트랙킹되는 손으로 가상 공간에서 객체를 잡고 이동시킨 후 놓는 동작을 수행하면, 해당 객체는 해당 이동하는 동작에 따라 가상 공간에서 이동되고, 놓는 동작이 수행된 위치에 대응하는 가상 공간 상에 배치될 수 있다. 이때 해당 객체에 쓰여진 필기는 그대로 유지될 수 있다. 또한, 실시예에 따라서는, 가상 공간에서 핀치 제스처로 잡힌 객체는 그 테두리가 두껍게 표시되거나, 다른 색상으로 표시됨으로써, 어떤 객체가 핀치 제스처로 잡힌 것인지, 또는 사용자가 의도한 객체가 핀치 제스처로 잘 잡혔는지 등이 시각적인 피드백으로 사용자로 제공될 수 있다.In other words, in
도 5는 일 실시예에 따른 객체 삭제 및 복구 관련 동작을 설명하기 위한 도면이다.5 is a diagram for explaining an operation related to deletion and restoration of an object according to an exemplary embodiment.
도 5에 도시된 각 단계들(510 내지 540)은 가상 공간의 한 장면을 나타내는 것으로, 손 및 객체가 표시될 수 있다. 여기서, 손은 현실 공간에 존재하는 사용자의 손에 대응하는 것으로, 현실 공간에서 하나 이상의 센서들에 의해 트랙킹되어 가상 공간에 표시될 수 있다. 이러한 사항은 도 6 내지 도 15에 대해서도 마찬가지로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.Each of the
도 5를 참조하면, 단계(510) 및 단계(520)를 통해 객체 삭제 동작을 설명하고, 단계(530) 및 단계(540)를 통해 객체 복구 동작을 설명한다.Referring to FIG. 5 , an object deletion operation will be described through
단계(510)에서, 사용자는 가상 공간에 배치된 하나 이상의 객체들 중 삭제하고자 하는 객체에 미리 정해진 거리 내로 손을 근접시킬 수 있다. 실시예에 따라서는, 사용자의 트랙킹되는 손이 미리 정해진 거리 내로 접근한 객체는 그렇지 않은 객체와 시각적으로 다르게 표시될 수 있으며, 예를 들어, 테두리가 굵게 표시되거나, 객체의 색상이 다르게 변할 수 있다. 가상 공간에 배치된 하나 이상의 객체들 중에서 사용자의 손이 미리 정해진 거리 내로 근접된 객체가 다른 객체와 시각적으로 다르게 표시됨으로써, 사용자는 제어하고자 하는 객체가 정확히 선택되었는지를 직관적으로 알 수 있어, 사용자 의도에 따른 정확한 제어가 가능할 수 있다.In
사용자가 가상 공간에서 객체에 근접시킨 손으로 해당 객체를 구기는 동작, 다시 말해 주먹을 쥐는 동작을 수행하면, 가상 공간에서 해당 객체가 구겨지는 시각적인 피드백이 사용자로 제공될 수 있다. 객체가 구겨짐에 따라 객체에 적힌 필기가 더 이상 표시되지 않을 수 있으나, 전술한 예에 한정되는 것은 아니다.When the user performs an operation of crumpling the object in the virtual space with a hand that is close to the object, that is, clenching a fist, a visual feedback that the object is crumpled in the virtual space may be provided to the user. As the object is wrinkled, the handwriting written on the object may no longer be displayed, but the present invention is not limited thereto.
단계(520)에서, 사용자는 주먹을 다시 펴는 동작이나 객체를 쥔 손을 펴는 동작을 수행하면, 해당 객체가 가상 공간에서 바닥으로 떨어짐으로써, 객체가 삭제될 수 있다. 객체가 삭제되는 시각적 효과는 이외에도 다양하게 적용될 수 있으며, 예를 들어, 객체가 가상 공간에 배치된 휴지통 속으로 이동하는 시각적 효과 등이 제한 없이 적용될 수 있다.In
단계(530)에서, 사용자가 가상 공간에서 구겨진 객체를 잡는 동작을 수행하면, 해당 객체는 잡는 동작을 수행하는 사용자의 손에 고정될 수 있다. 예를 들어, 사용자는 가상 공간에서 구겨진 상태로 바닥에 떨어져 있는 객체를 잡거나, 휴지통 속에 구겨져 잇는 객체를 잡을 수 있다.In
단계(540)에서, 사용자가 가상 공간에서 구겨진 객체를 펴는 동작을 수행하면, 해당 객체는 펴는 동작에 따라 가상 공간에서 펼쳐져서 복구될 수 있다. 예를 들어, 펴는 동작은 사용자가 구겨진 객체를 잡은 양손을 서로 반대되는 방향으로 이동시키는 동작에 해당할 수 있으나, 전술한 예에 한정되지 않는다. 복구된 객체에는 다시 필기가 표시될 수 있다.In
도 6은 일 실시예에 따른 평면 수동 생성, 크기 조절 및 배치 관련 동작을 설명하기 위한 도면이다.6 is a diagram for explaining operations related to manual plane creation, size adjustment, and arrangement according to an exemplary embodiment.
도 6을 참조하면, 단계(610) 및 단계(620)를 통해 평면 수동 생성 및 크기 조절 동작을 설명하고, 단계(630) 및 단계(640)를 통해 평면 배치 동작을 설명한다. 가상 공간에 표시되는 평면은 하나 이상의 객체들을 부착할 수 있는 레이어로서, 사용자는 평면을 이용하여 여러 객체들에 대한 제어를 손쉽게 수행할 수 있다.Referring to FIG. 6 , an operation of manually generating and resizing a plane will be described through
단계(610)에서, 사용자가 트랙킹되는 두 손을 미리 정해진 거리 내로 근접시킨 상태에서 주먹을 쥐는 동작을 수행하면, 가상 공간에서 두 손의 거리에 따른 크기의 평면이 표시될 수 있다. 이때 가상 공간에서 표시되는 평면은 아직 생성되기 전 상태로 생성 후 상태의 평면과 시각적으로 다르게 표시될 수 있으며, 예를 들어, 생성 전 상태의 평면은 생성 후 상태보다 투명도가 높으며 테두리가 점선으로 표시될 수 있다.In
한편, 평면을 생성하는 제스처와 도 5의 단계(510)에서 설명한 객체를 삭제하는 제스처는 모두 주먹을 쥐는 동작을 활용하는 점에서 유사하다고 볼 수 있으나, 다음과 같은 차이점이 존재할 수 있다. 객체 삭제를 위해서는 우선 삭제하고자 하는 대상인 객체가 존재하여야 하며, 해당 객체에 사용자의 손이 근접한 상태에서 해당 손으로 주먹을 쥐는 동작이 수행될 수 있다. 반면, 평면 생성을 위해서는 두 손이 서로 근접한 상태에서 두 손으로 주먹을 쥐는 동작이 수행될 수 있다. 나아가, 평면 생성 시 주먹을 쥐는 두 손에는 근접한 객체가 존재하지 않는 조건이 실시예에 따라 추가될 수 있으나, 전술한 예에 한정되지는 않는다. 앞서 설명한 조건적인 차이점으로 인해 평면 생성 제스처와 객체 삭제 제스처가 혼동될 가능성을 효율적이고, 직관적으로 배제시킬 수 있다.On the other hand, the gesture for creating a plane and the gesture for deleting the object described in
단계(620)에서, 사용자가 주먹을 쥔 두 손을 서로 멀어지도록 이동시키는 동작을 수행하면, 가상 공간에서 두 손의 거리에 따른 크기로 평면이 조절되고, 사용자가 주먹을 쥔 두 손을 놓으면, 가상 공간에서 두 손의 거리에 따른 크기의 평면이 생성될 수 있다.In
단계(630)에서, 사용자가 트랙킹되는 두 손 또는 한 손으로 가상 공간에서 평면을 잡고 이동시키는 동작을 수행하면, 가상 공간에서 평면이 트랙킹되는 손을 따라 이동될 수 있다.In
단계(640)에서, 사용자가 가상 공간에서 평면을 잡은 손을 놓는 동작을 수행하면, 평면이 놓는 동작이 수행된 위치에 대응하는 가상 공간 상에 배치될 수 있다. 가상 공간 상에 배치된 평면의 방향은 놓는 동작을 수행하는 손의 방향에 따라 결정될 수 있으나, 전술한 예에 한정되지 않는다.In
도 7은 일 실시예에 따른 평면 삭제 관련 동작을 설명하기 위한 도면이다.7 is a diagram for explaining an operation related to plane deletion according to an exemplary embodiment.
도 7을 참조하면, 단계(710) 내지 단계(740)를 통해 평면 삭제 동작을 설명한다.Referring to FIG. 7 , the plane erase operation will be described through
단계(710)에서, 사용자가 트랙킹되는 두 손으로 가상 공간에 배치된 평면을 잡을 수 있다. 이때, 평면은 어떤 객체도 부착되지 않은 것일 수 있다. 실시예에 따라서는, 가상 공간에서 사용자의 손에 잡힌 평면은 다른 평면과 시각적으로 다르게 표시될 수 있고, 예를 들어, 그 테두리가 두껍게 표시되거나, 다른 색상으로 표시될 수 있다.In
단계(720)에서, 사용자가 가상 공간에서 평면을 잡은 두 손의 거리를 미리 정해진 거리 이하로 줄이는 동작을 하면, 부착된 객체가 없는 평면은 가상 공간에서 삭제될 수 있다.In
단계(730)에서, 사용자가 트랙킹되는 두 손으로 가상 공간에 배치된 평면을 잡을 수 있다. 이때, 평면은 하나 이상의 객체가 부착된 것일 수 있다. 마찬가지로, 실시예에 따라 가상 공간에서 사용자의 손에 잡힌 평면은 다른 평면과 시각적으로 다르게 표시될 수 있고, 예를 들어, 그 테두리가 두껍게 표시되거나, 다른 색상으로 표시될 수 있다.In
단계(740)에서, 사용자가 가상 공간에서 평면을 잡은 두 손의 거리를 미리 정해진 거리 이하로 줄이는 동작을 하더라도, 부착된 객체가 있는 평면은 가상 공간에서 부착된 객체의 가장자리 크기보다 더 축소되지 않고, 삭제되지도 않을 수 있다. 부착된 객체가 하나라면, 해당 객체 크기 이하로 해당 평면이 축소되지 않고, 부착된 객체가 둘 이상이라면, 해당 객체들을 모두 포함할 수 있는 최소 크기로 해당 평면이 축소될 뿐 그 이상으로 축소되지 않은다. 이는 평면 삭제로 의도하지 않은 객체까지 삭제되는 것을 방지하기 위한 것일 수 있다.In
도 8 및 도 9는 일 실시예에 따른 무방향성 링크 및 방향성 링크 생성 관련 동작을 설명하기 위한 도면이다.8 and 9 are diagrams for explaining an operation related to generation of a non-directional link and a directional link according to an embodiment.
도 8을 참조하면, 단계(810) 및 단계(820)를 통해 무방향성 링크 생성 동작을 설명하고, 단계(830) 및 단계(840)를 통해 방향성 링크 생성 동작을 설명한다. 도 8에서는 설명의 편의를 위해 왼손으로 첫 번째 핀치 제스처를 한 후 오른손으로 두 번째 핀치 제스처를 수행하는 것으로 도시되어 있으나, 전술한 예에 한정되지 않으며, 오른손으로 첫 번째 핀치 제스처를 한 후 왼손으로 두 번째 핀치 제스처를 수행하는 경우에도 아래의 설명이 마찬가지로 적용될 수 있다.Referring to FIG. 8 , a non-directional link generation operation will be described through
단계(810)에서, 사용자가 트랙킹되는 두 손 중 한 손으로 핀치 제스처를 한 후, 단계(820)에서, 다른 한 손도 핀치 제스처를 수행하면, 가상 공간에서 두 손을 잇는 무방향성 링크가 생성될 수 있다. 무방향성 링크는 특정 방향을 나타내지 않고 단순히 두 지점을 연결하는 링크일 수 있다. 실시예에 따라서는, 보다 정확한 사용자 의도 감지를 위해 링크 생성을 위한 추가적인 조건이 있을 수도 있다. 예를 들어, 두 손이 미리 정해진 거리 이내에서 핀치 제스처를 각각 취해야 하는 조건이나, 핀치 제스처를 취하는 두 손이 각각 서로를 향하는 조건 등이 추가적으로 요구될 수 있으나, 전술한 예에 한정되지는 않는다.In
단계(830)에서, 사용자가 트랙킹되는 두 손 중 한 손으로 핀치 제스처를 한 후, 단계(840)에서, 다른 손을 일 방향으로 움직이면서 핀치 제스처를 수행하면, 가상 공간에서 두 손을 이으며 다른 손에 대응하는 부분에 화살표 표시가 잇는 방향성 링크가 생성될 수 있다. 방향성 링크는 특정 방향을 나타내면서 두 지점을 연결하는 링크로서, 특정 방향, 다시 말해 다른 손으로 핀치 제스처를 수행할 때 움직이는 방향을 가리키는 화살표가 존재할 수 있다. 실시예에 따라서는, 방향성 링크 생성에도 보다 정확한 사용자 의도 감지를 위한 추가적인 조건이 적용될 수 있다. 예를 들어, 핀치 제스처를 수행하는 다른 손의 이동 속도 및/또는 이동 거리가 미리 정해진 임계치 이상인 조건이나, 두 손이 미리 정해진 거리 이내에서 핀치 제스처를 각각 취해야 하는 조건이나, 핀치 제스처를 취하는 두 손이 각각 서로를 향하는 조건 등이 추가적으로 요구될 수 있으나, 전술한 예에 한정되지는 않는다.In
도 9를 참조하면, 무방향성 링크를 생성하는 제스처를 사용자가 취했을 때 현실 공간(910)과 가상 공간(920)이 예시적으로 도시된다. 현실 공간(910)에서는 사용자가 디스플레이 장치를 착용한 상태로 공중에 두 손을 올린 채 핀치 제스처를 취하고 있고, 이에 대응하여 사용자로 제공되는 가상 공간(920)의 장면에서는 무방향성 링크가 두 손을 연결하도록 생성되고, 사용자의 시점에 대응하는 장면에 포함된 객체들이 함께 표시될 수 있다.Referring to FIG. 9 , a
도 10은 일 실시예에 따른 링크 부착 및 삭제 관련 동작을 설명하기 위한 도면이다.10 is a diagram for explaining an operation related to attaching and deleting a link according to an exemplary embodiment.
도 10을 참조하면, 단계(1010) 및 단계(1020)를 통해 링크 부착 동작을 설명하고, 단계(1030) 및 단계(1040)를 통해 링크 삭제 동작을 설명한다. 도 10에서는 설명의 편의를 위해 무방향성 링크를 기준으로 설명하지만 실시예가 이에 한정되지 않으며, 방향성 링크에 대해서도 아래의 설명이 마찬가지로 적용될 수 있다.Referring to FIG. 10 , a link attachment operation will be described through
단계(1010)에서, 링크가 생성된 상태에서 사용자가 트랙킹되는 두 손을 가상 공간에 배치된 두 객체들에 미리 정해진 거리 내로 근접시키고, 단계(1020)에서, 그 상태에서 두 손의 핀치 제스처를 해제하면, 링크는 가상 공간에서 두 객체들을 연결할 수 있다. 실시예에 따라서는, 사용자가 핀치 제스처를 하고 있는 손을 객체에 근접시키면, 가장 근접한 객체가 시각적으로 다르게 표시(예: 굵은 테두리 및/또는 다른 색상으로 표시)됨으로써, 핀치 제스처 해제 시 링크가 어느 객체에 연결되는 것임을 사용자에게 직관적으로 피드백할 수 있다.In
단계(1030)에서, 사용자가 트랙킹되는 손으로 가상 공간에 배치된 두 타겟 객체들을 잇는 링크를 잡고, 단계(1040)에서, 미리 정해진 거리 이상으로 잡아당기는 동작을 수행하면, 해당 링크는 가상 공간에서 삭제될 수 있다.In
도 11은 일 실시예에 따른 태그 부착 관련 동작을 설명하기 위한 도면이다.11 is a diagram for describing an operation related to attaching a tag according to an exemplary embodiment.
도 11을 참조하면, 단계(1110) 및 단계(1120)를 통해 두 객체들을 연결하는 링크에 태그 객체를 부착하는 동작을 설명한다. 도 11에서는 설명의 편의를 위해 무방향성 링크를 기준으로 설명하지만 실시예가 이에 한정되지 않으며, 방향성 링크에 대해서도 아래의 설명이 마찬가지로 적용될 수 있다. Referring to FIG. 11 , an operation of attaching a tag object to a link connecting two objects through
태그 객체는 두 객체들을 잇는 링크에 부착되는 객체로서, 두 객체들의 관계 등을 나타내는 필기를 포함할 수 있다. 실시예에 따라서는, 태그 객체는 앞서 설명한 일반적인 객체와 다른 크기, 모양, 색상을 가짐으로써, 사용자가 태그 객체임을 직관적으로 인지할 수 있게 도울 수 있다.The tag object is an object attached to a link connecting two objects, and may include handwriting indicating a relationship between the two objects. According to an embodiment, the tag object may have a size, shape, and color different from those of the general object described above, thereby helping the user to intuitively recognize that it is a tag object.
단계(1110)에서, 사용자가 트랙킹되는 손으로 가상 공간에서 태그 객체(1111)를 잡아서 두 객체들을 잇는 링크에 미리 정해진 거리 내로 이동시키는 동작을 수행하면, 가상 공간에서 태그 객체(1111)가 부착될 위치(1113)가 시각적으로 표시될 수 있다. 위치(1113)는 링크에 기초하여 결정될 수 있다. 예를 들어, 위치(1113)는 링크의 중간 위치에 대응하고, 링크에 평행하게 결정될 수 있으나, 전술한 예에 한정되지 않는다.In
단계(1120)에서, 사용자가 가상 공간에서 태그 객체를 놓는 동작을 수행하면, 태그 객체(1121)는 단계(1110)에서 표시된 위치(1113)에 부착될 수 있다.In
도 12는 일 실시예에 따른 평면 자동 생성 및 평면 스냅 관련 동작을 설명하기 위한 도면이다.12 is a diagram for describing an operation related to automatic plane generation and plane snapping according to an exemplary embodiment.
도 12를 참조하면, 단계(1210) 및 단계(1220)를 통해 평명 자동 생성 동작을 설명하고, 단계(1230) 및 단계(1240)를 통해 평면 스냅 동작을 설명한다.Referring to FIG. 12 , an operation of automatically generating a flat plane will be described through
단계(1210)에서, 사용자가 트랙킹되는 손으로 가상 공간에 배치된 복수의 객체들 중 대상 객체를 잡고 다른 객체에 미리 정해진 거리 내로 이동시키는 동작을 수행해서 대상 객체와 다른 객체가 미리 정해진 각도 내로 정렬되면, 가상 공간에서 대상 객체와 다른 객체가 부착될 평면이 시각적으로 표시될 수 있다. 이때, 대상 객체가 다른 객체와 나란한 위치에 미리 정해진 각도 내로 정렬되는 조건이 요구될 수 있다. In
단계(1220)에서, 사용자가 대상 객체를 놓는 동작을 수행하면, 가상 공간에서 대상 객체와 다른 객체가 부착되는 평면이 생성되고, 대상 객체와 다른 객체는 생성된 평면에 부착될 수 있다.In
단계(1230)에서, 사용자가 트랙킹되는 손으로 가상 공간에서 객체를 잡고 기 생성된 평면에 미리 정해진 거리 내로 이동시키는 동작을 수행하면, 가상 공간에서 객체에 대응하는 피드 포워드가 평면 상에 표시될 수 있다. 피드 포워드는 이후 사용자가 객체를 놓는 동작을 수행했을 때 해당 객체가 부착될 위치를 나타낼 수 있다. 실시예에 따라서는, 보다 정확한 사용자 의도 감지를 위해 평면 스냅을 위한 추가적인 조건이 존재할 수도 있다. 예를 들어, 사용자의 손에 잡힌 객체가 평면에 미리 정해진 거리 내에서 평면에 미리 정해진 각도 내에서 평행한 조건이 추가로 만족해야 피드 포워드가 평면 상에 표시될 수도 있다. 이때, 평면에 평행한 것으로 판단되는 미리 정해진 각도는 단계(1210)에서 요구되는 미리 정해진 각도보다 넓은 범위를 가질 수 있다. 다시 말해, 평면 생성을 위해 대상 객체가 다른 객체와 평행해야 하는 조건이 평면 스냅을 위해 요구되는 평행 조건과 다른 기준으로 판단될 수 있다. 실시예에 따라서는 평면 생성을 위해 대상 객체가 다른 객체와 평행해야 하는 조건이 평면 스냅을 위해 요구되는 평행 조건보다 더 엄격할 수 있으나, 전술한 예에 한정되지 않는다.In
단계(1240)에서, 사용자가 객체를 놓는 동작을 수행하면, 가상 공간에서 평면에 표시된 피드 포워드의 위치에 객체가 부착될 수 있다.In
도 13은 일 실시예에 다른 평면 내 객체 정렬 관련 동작을 설명하기 위한 도면이다.13 is a diagram for describing an operation related to in-plane object alignment according to an embodiment.
도 13을 참조하면, 단계(1310) 및 단계(1320)를 통해 평면 내 객체를 이동시키는 동작을 설명하고, 단계(1330) 및 단계(1340)를 통해 평면 내 객체 정렬 동작을 설명한다.Referring to FIG. 13 , an operation of moving an object in a plane through
단계(1310)에서, 사용자는 트랙킹되는 손으로 가상 공간에 배치된 평면 내 객체를 터치하는 동작을 수행하면, 가상 공간에서 사용자에 의해 터치된 객체가 시각적으로 다르게 표시될 수 있다. 예를 들어, 터치된 객체는 그 테두리가 굵게 표시되거나, 다른 색상으로 표시될 수 있다. 단계(1320)에서, 사용자는 터치한 객체를 평면 상에서 이동시키는 동작을 수행하면, 해당 객체는 가상 공간 내 평면 상에서 사용자의 동작에 따라 이동될 수 있다.In
단계(1330)에서, 사용자는 트랙킹되는 두 손 중 한 손으로 가상 공간에 배치된 평면 내 타겟 객체를 터치한 채 다른 손으로 평면 상에서 타겟 객체에 정렬시키고자 하는 다른 객체를 터치하면, 해당 평면 상에서 타겟 객체를 기준으로 하는 가이드 선이 표시될 수 있다. 가이드 선은 타겟 객체를 기준으로 하는 세로 선 또는 가로 선일 수 있고, 세로선 및 가로선 중 다른 객체를 정렬시키고자 하는 방향의 수직하는 선이 가이드 선으로 결정되어 평면 상에 표시될 수 있다. 예를 들어, 다른 객체를 수평으로 이동시켜 타겟 객체에 수직 방향으로 정렬시키고자 하는 경우에는 타겟 객체를 기준으로 하는 세로선이 평면에 가이드 선으로 표시될 수 있다. 또는, 다른 객체를 수평으로 이동시키기 위해 손을 펴서 손날(hand blade)을 다른 객체에 접근시키면, 손날에 평행하거나 손날의 각도에 유사한 세로선이 타겟 객체를 기준으로 표시되고, 손날을 수평으로 이동시킴에 따라 다른 객체도 손날의 움직임을 따라 수평으로 이동될 수도 있다. 다만, 실시예가 이에 한정되는 것은 아니며, 이외에도 정렬을 위한 다양한 가이드 선이 평면 상에 표시될 수 있다. 이를테면, 앞선 설명은 가이드 선이 세로선 또는 가로선인 실시예를 기준으로 하였지만, 경우에 따라서는, 가이드 선이 다양한 각도의 사선일 수도 있다.In
단계(1340)에서, 사용자가 다른 객체를 평면 상에서 타겟 객체에 정렬되도록 이동시키는 동작을 수행하면, 다른 객체는 가상 공간 내 평면 상에서 타겟 객체에 정렬될 수 있다. 이때, 다른 객체는 타겟 객체를 제외한 평면에 부착된 객체들 중 사용자가 터치한 하나 이상의 객체일 수 있다.In
도 14 및 도 15는 일 실시예에 따른 평면 간 복수의 객체 이동 및 복제 관련 동작을 설명하기 위한 도면이다.14 and 15 are diagrams for explaining operations related to movement and duplication of a plurality of objects between planes according to an exemplary embodiment.
도 14를 참조하면, 단계(1410) 및 단계(1420)를 통해 평면 간 객체 이동 동작을 설명하고, 단계(1430) 및 단계(1440)를 통해 평면 간 객체 복제 동작을 설명한다.Referring to FIG. 14 , an inter-plane object movement operation will be described through
단계(1410)에서, 사용자가 트랙킹되는 손으로 가상 공간에서 제1 평면을 하나 이상의 객체들이 부착된 제2 평면 뒤에 위치시킬 수 있다. 단계(1420)에서, 사용자가 제1 평면을 잡고 제2 평면을 미리 정해진 방향(예: 제2 평면 뒤에서 앞으로)으로 관통시키는 동작을 수행하면, 사용자의 동작으로 제2 평면 중에서 제1 평면에 의해 관통되는 영역 내 객체가 제2 평면에서 제1 평면으로 이동될 수 있다. 마치 채를 사용하는 듯한 제스처를 통해, 제1 평면에서 제2 평면으로의 객체 이동이 직관적으로 수행될 수 있다. 도 14에 예시적으로 도시된 단계(1420)에서, 사용자가 양손으로 잡은 제1 평면은 제2 평면에서 왼편을 관통하므로, 제2 평면에서 왼편에 위치한 객체들이 제1 평면으로 이동되는 반면, 오른편에 위치한 객체들은 제2 평면에 그대로 위치할 수 있다.In
미리 정해진 방향은 실시예에 따라 다양하게 변형될 수 있다. 예를 들어, 제1 평면이 제2 평면 앞에서 뒤로 이동하는 실시예, 제1 평면이 제2 평면 앞에서 뒤로 이동하였다가 다시 앞으로 이동하는 실시예 등이 제한 없이 적용될 수 있다.The predetermined direction may be variously modified according to an embodiment. For example, an embodiment in which the first plane moves backward in front of the second plane, an embodiment in which the first plane moves backward in front of the second plane, and then moves forward again may be applied without limitation.
단계(1430)에서, 사용자가 트랙킹되는 손으로 가상 공간에서 제1 평면을 잡고 하나 이상의 객체들이 부착된 제2 평면에 미리 정해진 거리 내로 접근시키는 동작을 수행하면, 가상 공간에서 제2 평면 중 제1 평면에 대응하는 영역 내 객체가 제1 평면에 투사될 수 있다. 도 14에 예시적으로 도시된 단계(1430)에서, 사용자가 손으로 잡은 제1 평면은 그 뒤에 배치된 제2 평면 중 오른편에 대응할 수 있고, 따라서 제2 평면 중 오른편에 위치한 객체들이 제1 평면에 투사되는 반면, 제2 평면 중 왼편에 위치한 객체들은 제1 평면에 투사되지 않는다. 투사되는 형태는 실시예에 따라 다양할 수 있으며, 어느 특정한 형태로 제한되지 않는다.In
단계(1440)에서, 사용자가 제1 평면에 투사된 객체를 터치하는 동작을 수행하면, 가상 공간에서 터치하는 동작에 대응하는 객체가 제1 평면에 복사될 수 있다.In
도 15를 참조하면, 평면 간 객체를 제스처를 사용자가 취했을 때 현실 공간(1510)과 가상 공간(1520)이 예시적으로 도시된다. 현실 공간(1510)에서는 사용자가 디스플레이 장치를 착용한 상태로 공중에 두 손을 올린 채 오른손으로 주먹을 쥐고, 왼손으로 터치 제스처를 취하고 있고, 이에 대응하여 사용자로 제공되는 가상 공간(1520)의 장면에서는 오른손으로 잡은 제1 평면(1530)이 제2 평면(1540) 앞에 위치해 있으며, 왼손으로 제1 평면(1530)에 투사된 객체를 터치하는 것이 표시될 수 있다.Referring to FIG. 15 , a
제1 평면(1530)의 제1 객체(1531)는 제2 평면(1540)의 제1 객체(1541)가 투사된 것으로, 아직 복제되기 전 상태로 투명하게 표시될 수 있다. 제1 평면(1530)의 제2 객체(1533)는, 사용자 손에 의해 터치됨으로써 제2 평면(1540)의 제2 객체(1543)가 제1 평면(1530)으로 복제된 것으로, 사용자 터치에 의해 그 테두리가 굵게 표시됨으로써 사용자로 터치 제스처가 인식되었음을 피드백할 수 있다. 제1 평면(1530)의 제3 객체(1535)는, 제2 평면(1540)의 제3 객체(1545)로부터 기 복제된 것을 나타낼 수 있다.The
도 16는 일 실시예에 따른 다중 사용자 관련 동작을 설명하기 위한 도면이다.16 is a diagram for explaining a multi-user related operation according to an embodiment.
도 16을 참조하면, 복수의 사용자들(1610, 1620)이 가상 공간에 접속한 예시가 도시된다. 복수의 사용자들(1610, 1620)은 동시에 가상 공간에 접속해서 앞서 설명한 제어들을 통해 가상 공간에 객체를 배치하고 이동시키고 삭제할 수 있다. 또한, 복수의 사용자들(1610, 1620) 각각이 앞서 설명한 제어들을 독립적으로 수행할 수도 있으나, 실시예에 따라서는 앞서 설명한 제어들을 함께 수행할 수도 있다. 예를 들어, 도 6에서 설명한 평면 수동 생성 및 크기 조절 동작은 두 손이 요구되는데, 복수의 사용자들(1610, 1620) 각각이 하나의 손을 활용하여 평면 수동 생성 및 크기 조절 동작을 수행할 수도 있다. 이처럼, 복수의 사용자들(1610, 1620)이 한 평면을 함께 잡고 제어를 수행할 수도 있고, 나아가, 한 객체에 대해서도 함께 제어를 수행할 수도 있다.Referring to FIG. 16 , an example in which a plurality of
복수의 사용자들(1610, 1620)이 물리적인 제약이 없는 가상 공간에서 메모리 객체를 사용해 아이디어를 도출하고 정리할 수 있다. 도 16에서는 2명의 사용자가 도시되어 있으나, 이는 설명의 편의를 위한 것으로 가상 공간에 접속하는 사용자 수가 전술한 예에 제한되지 않다.A plurality of
도 17은 일 실시예에 따른 전자 시스템의 동작 방법을 나타낸 도면이다.17 is a diagram illustrating a method of operating an electronic system according to an exemplary embodiment.
동작(1710)에서, 전자 시스템은 사용자로부터 전자 장치로 전달되는 입력에 따라 가상 공간에 존재하는 기준 객체에 쓰는 동작을 감지한다. 동작(1720)에서, 전자 시스템은 사용자의 시점에 대응하는 가상 공간의 장면에 기준 객체가 포함되는 경우에 응답하여, 감지된 쓰는 동작에 따른 필기를 기준 객체 상에 표시해서 사용자로 디스플레이 장치를 통해 제공한다. 가상 공간에서 기준 객체는 전자 장치의 표면에 배치되고, 사용자의 두 손 중 적어도 하나가 트랙킹되어 가상 공간에 표시되고, 사용자의 트랙킹된 손에 의해 가상 공간에 존재하는 하나 이상의 객체들에 대한 제어가 수행된다.In
또한, 전자 시스템은 사용자의 시점에 대응하는 가상 공간의 장면을 결정해서 사용자로 제공하고, 가상 공간에 배치된 객체에 대한 제어를 사용자의 손을 트랙킹함으로써 입력 받으며, 사용자의 트랙킹된 손에 따라 객체를 제어하는 과정을 시각적으로 사용자로 제공한다. 가상 공간의 장면은 가상 공간에 배치된 객체들 중 장면에 포함된 객체를 해당 객체에 적힌 필기와 함께 표시한다.In addition, the electronic system determines a scene in the virtual space corresponding to the user's point of view and provides it to the user, receives control of an object placed in the virtual space by tracking the user's hand, and receives an object according to the user's tracked hand The process of controlling the user is provided visually. The scene in the virtual space displays an object included in the scene among objects arranged in the virtual space along with handwriting written on the object.
도 17에 도시된 각 단계들에는 도 1 내지 도 16을 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.The steps described above with reference to FIGS. 1 to 16 are applied to each of the steps shown in FIG. 17 , and thus a more detailed description will be omitted.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented by a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the apparatus, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using a general purpose computer or special purpose computer. The processing device may execute an operating system (OS) and a software application running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that may include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in a computer-readable recording medium.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may store program instructions, data files, data structures, etc. alone or in combination, and the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. have. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware devices described above may be configured to operate as one or a plurality of software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited drawings, a person skilled in the art may apply various technical modifications and variations based thereon. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (22)
사용자로부터의 입력에 따라 가상 공간에 존재하는 기준 객체에 쓰는 동작을 감지하는 전자 장치; 및
상기 사용자의 시점에 대응하는 가상 공간의 장면을 표시해서 상기 사용자로 제공하고, 상기 기준 객체가 상기 장면에 포함되는 경우에 응답하여 상기 전자 장치로부터 전달된 정보에 기초하여 상기 쓰는 동작에 따른 필기(handwriting)를 상기 기준 객체 상에 표시하는 디스플레이 장치
를 포함하고,
상기 가상 공간에서 상기 기준 객체는 상기 전자 장치의 표면에 배치되고,
상기 사용자의 두 손 중 적어도 하나가 트랙킹되어 상기 가상 공간에 표시되고, 상기 사용자의 트랙킹된 손에 의해 상기 가상 공간에 존재하는 하나 이상의 객체들에 대한 제어가 수행되는,
전자 시스템.
In an electronic system,
an electronic device for detecting a writing operation on a reference object existing in a virtual space according to an input from a user; and
A scene in a virtual space corresponding to the user's viewpoint is displayed and provided to the user, and when the reference object is included in the scene, a handwriting according to the writing operation based on information transmitted from the electronic device in response a display device that displays handwriting) on the reference object
including,
In the virtual space, the reference object is disposed on a surface of the electronic device,
At least one of the two hands of the user is tracked and displayed in the virtual space, and control of one or more objects existing in the virtual space is performed by the tracked hand of the user,
electronic system.
상기 가상 공간에 존재하는 하나 이상의 객체들 각각은 쓰여진 필기를 유지한 상태로 상기 사용자의 트랙킹되는 손에 의해 제어되는,
전자 시스템.
According to claim 1,
Each of the one or more objects existing in the virtual space is controlled by the user's tracked hand while maintaining the written handwriting,
electronic system.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 하나 이상의 객체들 중 대상 객체를 잡고 이동시킨 후 놓는 동작을 수행하면, 상기 대상 객체는 상기 이동하는 동작에 따라 상기 가상 공간에서 이동되고, 상기 놓는 동작이 수행된 위치에 대응하는 상기 가상 공간 상에 배치되는,
전자 시스템.
According to claim 1,
When the user grasps and moves a target object among one or more objects disposed in the virtual space with a tracked hand and then releases the target object, the target object is moved in the virtual space according to the moving motion, and the disposed on the virtual space corresponding to the position at which the operation was performed,
electronic system.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 하나 이상의 객체들 중 대상 객체를 구긴 후 해당 대상 객체를 놓는 동작을 수행하면, 상기 대상 객체는 상기 구기는 동작에 따라 상기 가상 공간에서 구겨지고, 상기 놓는 동작에 따라 상기 가상 공간에서 바닥으로 떨어지는,
전자 시스템.
According to claim 1,
When the user crumples a target object among one or more objects arranged in the virtual space with a tracked hand and then places the target object, the target object is crumpled in the virtual space according to the crumpling operation, falling to the floor in the virtual space according to the placing action,
electronic system.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 구겨진 대상 객체를 펴는 동작을 수행하면, 상기 대상 객체는 상기 펴는 동작에 따라 상기 가상 공간에서 펼쳐져서 상기 대상 객체에 적힌 필기를 표시하는,
전자 시스템.
According to claim 1,
When the user performs an operation of unfolding the crumpled target object in the virtual space with a tracked hand, the target object is unfolded in the virtual space according to the unfolding operation to display handwriting written on the target object,
electronic system.
상기 사용자가 트랙킹되는 두 손으로 미리 정해진 거리 내에서 주먹을 쥐는 동작 또는 상기 두 손으로 미리 정해진 거리 내에서 주먹을 쥔 후 상기 두 손을 서로 멀어지도록 이동시키는 동작을 수행하면, 상기 가상 공간에서 두 손의 거리에 따른 크기의 평면이 생성되고,
상기 사용자가 트랙킹되는 두 손으로 주먹을 쥔 채 두 손의 거리를 조절하는 동작을 수행하면, 상기 가상 공간에서 생성된 상기 평면의 크기가 상기 두 손의 거리에 따라 제어되는,
전자 시스템.
According to claim 1,
When the user makes a fist within a predetermined distance with both hands being tracked or performs an operation of moving the two hands apart from each other after making a fist within a predetermined distance with the two hands, the two hands in the virtual space A plane of size according to the distance of the hand is created,
When the user performs an operation of adjusting the distance between the two hands while clenching a fist with the two hands being tracked, the size of the plane generated in the virtual space is controlled according to the distance between the two hands,
electronic system.
상기 사용자가 트랙킹되는 두 손 또는 한 손으로 상기 가상 공간에서 평면을 잡고 이동시킨 후 놓는 동작을 수행하면, 상기 평면은 상기 이동하는 동작에 따라 상기 가상 공간에서 이동되고, 상기 놓는 동작이 수행된 위치에 대응하는 상기 가상 공간 상에 배치되는
전자 시스템.
According to claim 1,
When the user grasps and moves the plane in the virtual space with two or one hand being tracked and performs a release operation, the plane is moved in the virtual space according to the moving operation, and the position at which the placing operation is performed is disposed on the virtual space corresponding to
electronic system.
상기 사용자가 트랙킹되는 두 손으로 상기 가상 공간에서 평면을 잡고 두 손의 거리를 미리 정해진 거리 이하로 줄이는 동작을 수행하면,
상기 평면에 부착된 객체가 없는 경우에 응답하여 상기 평면은 상기 가상 공간에서 삭제되고,
상기 평면에 부착된 객체가 있는 경우에 응답하여 상기 평면은 상기 부착된 객체의 가장자리 크기보다 축소되지 않는,
전자 시스템.
According to claim 1,
When the user holds a plane in the virtual space with both hands to be tracked and performs an operation to reduce the distance between the two hands to a predetermined distance or less,
In response to no object attached to the plane, the plane is deleted from the virtual space,
responsive to the presence of an object attached to the plane, the plane does not shrink below the size of the edge of the attached object;
electronic system.
상기 사용자가 트랙킹되는 두 손 중 한 손으로 핀치 제스처를 한 후 다른 손으로 핀치 제스처를 수행하면, 상기 가상 공간에서 상기 두 손을 잇는 무방향성 링크가 생성되는,
전자 시스템.
According to claim 1,
When the user makes a pinch gesture with one of the two tracked hands and then performs a pinch gesture with the other hand, a non-directional link connecting the two hands in the virtual space is generated.
electronic system.
상기 사용자가 트랙킹되는 두 손 중 한 손으로 핀치 제스처를 한 후 다른 손을 일 방향으로 움직이면서 핀치 제스처를 수행하면, 상기 가상 공간에서 상기 두 손을 이으며 상기 다른 손에 대응하는 부분에 화살표 표시가 있는 방향성 링크가 생성되는,
전자 시스템.
According to claim 1,
When the user makes a pinch gesture with one of the two tracked hands and then performs a pinch gesture while moving the other hand in one direction, an arrow is displayed on a portion corresponding to the other hand while connecting the two hands in the virtual space. where a directional link is created,
electronic system.
상기 무방향성 링크 또는 상기 방향성 링크가 생성된 상태에서 상기 사용자가 트랙킹되는 두 손으로 상기 가상 공간에 배치된 두 타겟 객체들에 미리 정해진 거리 내에서 핀치 제스처를 해제하면, 상기 무방향성 링크 또는 상기 방향성 링크는 상기 가상 공간에서 상기 두 타겟 객체들을 연결하는,
전자 시스템.
11. The method of claim 9 or 10,
When the user releases the pinch gesture within a predetermined distance to two target objects arranged in the virtual space with both hands being tracked while the non-directional link or the directional link is generated, the non-directional link or the directional link A link connects the two target objects in the virtual space,
electronic system.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 두 타겟 객체들을 잇는 링크를 잡고 미리 정해진 거리 이상으로 잡아당기는 동작을 수행하면, 상기 링크는 상기 가상 공간에서 삭제되는,
전자 시스템.
According to claim 1,
When the user grasps a link connecting two target objects arranged in the virtual space with a tracked hand and pulls it over a predetermined distance, the link is deleted from the virtual space,
electronic system.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 태그 객체를 잡아서 두 타겟 객체들을 잇는 링크에 미리 정해진 거리 내로 이동시킨 후 놓는 동작을 수행하면, 상기 태그 객체는 상기 놓는 동작에 따라 상기 링크에 미리 정해진 각도로 정렬되어 배치되는,
전자 시스템.
According to claim 1,
When the user grabs the tag object in the virtual space with a tracked hand and moves the two target objects within a predetermined distance to the link connecting the two target objects, and then performs a release operation, the tag object is moved to the link at a predetermined angle according to the placing operation. arranged in order to
electronic system.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 복수의 객체들 중 대상 객체를 잡고 다른 객체에 미리 정해진 거리 내로 이동시키는 동작을 수행해서 상기 대상 객체와 상기 다른 객체가 미리 정해진 각도 내로 정렬된 후 대상 객체를 놓는 동작을 수행하면, 상기 가상 공간에서 상기 대상 객체와 상기 다른 객체가 부착되는 평면이 생성되는,
전자 시스템.
According to claim 1,
After the user holds a target object among a plurality of objects disposed in the virtual space with a tracked hand and moves the target object within a predetermined distance to another object, the target object and the other object are aligned within a predetermined angle When the operation of placing the target object is performed, a plane to which the target object and the other object are attached is created in the virtual space,
electronic system.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 타겟 객체를 잡고 평면에 미리 정해진 거리 내로 이동시키는 동작을 수행하면, 상기 가상 공간에서 상기 타겟 객체에 대응하는 피드 포워드(feed forward)가 평면 상에 표시되고,
상기 사용자가 상기 타겟 객체를 놓는 동작을 수행하면, 상기 가상 공간에서 상기 평면에 표시된 상기 피드 포워드의 위치에 상기 타겟 객체가 부착되는,
전자 시스템.
According to claim 1,
When the user holds the target object in the virtual space with a tracked hand and performs an operation of moving it within a predetermined distance on a plane, a feed forward corresponding to the target object in the virtual space is displayed on the plane, and ,
When the user performs the operation of placing the target object, the target object is attached to the position of the feed forward displayed on the plane in the virtual space,
electronic system.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에 배치된 평면 내 타겟 객체를 평면 상에서 이동시키는 동작을 수행하면, 상기 타겟 객체는 상기 가상 공간 내 상기 평면 상에서 상기 사용자의 동작에 따라 이동되는,
전자 시스템.
According to claim 1,
When the user performs an operation of moving a target object in a plane disposed in the virtual space on a plane with a tracked hand, the target object is moved according to the user's motion on the plane in the virtual space,
electronic system.
상기 사용자가 트랙킹되는 두 손 중 한 손으로 상기 가상 공간에 배치된 평면 내 타겟 객체를 터치한 채 다른 손으로 다른 객체를 상기 평면 상에서 상기 타겟 객체에 정렬되도록 이동시키는 동작을 수행하면, 상기 다른 객체는 상기 가상 공간 내 상기 평면 상에서 상기 타겟 객체에 정렬되는,
전자 시스템.
According to claim 1,
When the user touches a target object in a plane disposed in the virtual space with one of the two tracked hands and performs an operation of moving the other object on the plane to be aligned with the target object on the plane with the other hand, the other object is aligned with the target object on the plane in the virtual space,
electronic system.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 제1 평면을 잡고 하나 이상의 객체들이 부착된 제2 평면을 미리 정해진 방향으로 관통시키는 동작을 수행하면, 상기 사용자의 동작으로 상기 제2 평면 중에서 상기 제1 평면에 의해 관통되는 영역 내 객체가 상기 제2 평면에서 상기 제1 평면으로 이동되는,
전자 시스템.
According to claim 1,
When the user holds a first plane in the virtual space with a tracked hand and performs an operation of penetrating a second plane to which one or more objects are attached in a predetermined direction, the user's operation causes the first plane among the second planes an object in an area penetrated by a plane is moved from the second plane to the first plane,
electronic system.
상기 사용자가 트랙킹되는 손으로 상기 가상 공간에서 제1 평면을 잡고 하나 이상의 객체들이 부착된 제2 평면에 미리 정해진 거리 내로 접근시키는 동작을 수행하면, 상기 가상 공간에서 상기 제2 평면 중 상기 제1 평면에 대응하는 영역 내 객체가 상기 제1 평면에 투사되고,
상기 사용자가 상기 제1 평면에 투사된 객체를 터치하는 동작을 수행하면, 상기 가상 공간에서 상기 터치하는 동작에 대응하는 객체가 상기 제1 평면에 복사되는,
전자 시스템.
According to claim 1,
When the user holds a first plane in the virtual space with a tracked hand and approaches a second plane to which one or more objects are attached within a predetermined distance, the first plane among the second planes in the virtual space An object in the area corresponding to is projected on the first plane,
When the user performs an operation of touching the object projected on the first plane, the object corresponding to the touching operation in the virtual space is copied to the first plane,
electronic system.
상기 가상 공간에 존재하는 객체들 중 적어도 하나는 상기 가상 공간에 접속한 복수의 사용자들 중 하나 이상에 의해 제어되는,
전자 시스템.
According to claim 1,
At least one of the objects existing in the virtual space is controlled by one or more of a plurality of users accessing the virtual space,
electronic system.
사용자의 시점에 대응하는 가상 공간의 장면을 표시해서 상기 사용자로 제공하고, 상기 가상 공간에 배치된 객체들 중 상기 장면에 포함된 객체를 해당 객체에 적힌 필기와 함께 표시하는 디스플레이 장치; 및
상기 사용자의 두 손 중 적어도 하나를 트래킹하는 센서
를 포함하고,
상기 센서에 의해 상기 사용자의 두 손 중 적어도 하나가 트랙킹되어 상기 가상 공간에 표시되고, 상기 사용자의 트랙킹된 손에 의해 상기 가상 공간에 존재하는 하나 이상의 객체들에 대한 제어가 수행되는,
전자 시스템.
In an electronic system,
a display device for displaying a scene in a virtual space corresponding to the user's point of view and providing it to the user, and displaying an object included in the scene among objects disposed in the virtual space along with handwriting written on the object; and
a sensor that tracks at least one of the user's two hands
including,
At least one of the two hands of the user is tracked by the sensor and displayed in the virtual space, and control of one or more objects existing in the virtual space is performed by the tracked hand of the user,
electronic system.
사용자로부터 전자 장치로 전달되는 입력에 따라 가상 공간에 존재하는 기준 객체에 쓰는 동작을 감지하는 동작; 및
상기 사용자의 시점에 대응하는 가상 공간의 장면에 상기 기준 객체가 포함되는 경우에 응답하여, 상기 감지된 쓰는 동작에 따른 필기를 상기 기준 객체 상에 표시해서 상기 사용자로 디스플레이 장치를 통해 제공하는 동작
을 포함하고,
상기 가상 공간에서 상기 기준 객체는 상기 전자 장치의 표면에 배치되고,
상기 사용자의 두 손 중 적어도 하나가 트랙킹되어 상기 가상 공간에 표시되고, 상기 사용자의 트랙킹된 손에 의해 상기 가상 공간에 존재하는 하나 이상의 객체들에 대한 제어가 수행되는,
전자 시스템의 동작 방법.A method of operating an electronic system, comprising:
detecting a writing operation on a reference object existing in a virtual space according to an input transmitted from a user to the electronic device; and
In response to a case in which the reference object is included in a scene of the virtual space corresponding to the user's viewpoint, an operation of displaying a handwriting according to the sensed writing operation on the reference object and providing the handwriting to the user through a display device
including,
In the virtual space, the reference object is disposed on a surface of the electronic device,
At least one of the two hands of the user is tracked and displayed in the virtual space, and control of one or more objects existing in the virtual space is performed by the tracked hand of the user,
How an electronic system works.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2022/005041 WO2022216082A1 (en) | 2021-04-07 | 2022-04-07 | Electronic system for controlling memo object in virtual space and operating method thereof |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20210045103 | 2021-04-07 | ||
KR1020210045103 | 2021-04-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220139236A true KR20220139236A (en) | 2022-10-14 |
Family
ID=83600015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220041819A KR20220139236A (en) | 2021-04-07 | 2022-04-04 | Electronic system for controlling memo object in virtual space and operating method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20220139236A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024117649A1 (en) * | 2022-12-01 | 2024-06-06 | 삼성전자주식회사 | Wearable device for displaying media content on basis of grip form with respect to external object, and method for same |
-
2022
- 2022-04-04 KR KR1020220041819A patent/KR20220139236A/en not_active Application Discontinuation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024117649A1 (en) * | 2022-12-01 | 2024-06-06 | 삼성전자주식회사 | Wearable device for displaying media content on basis of grip form with respect to external object, and method for same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9659280B2 (en) | Information sharing democratization for co-located group meetings | |
EP3019930B1 (en) | Interactive digital displays | |
EP3008575B1 (en) | Natural quick function gestures | |
KR101361214B1 (en) | Interface Apparatus and Method for setting scope of control area of touch screen | |
JP6038927B2 (en) | Establishing content navigation direction based on directional user gestures | |
CN109643210B (en) | Device manipulation using hovering | |
JP6054892B2 (en) | Application image display method, electronic apparatus, and computer program for multiple displays | |
EP3803562B1 (en) | Devices, methods, and user interfaces for conveying proximity-based and contact-based input events | |
CA2771918C (en) | Direct manipulation gestures | |
EP3491506B1 (en) | Systems and methods for a touchscreen user interface for a collaborative editing tool | |
KR101329584B1 (en) | Multi-touch method of providing text block editing, and computer-readable recording medium for the same | |
KR101156610B1 (en) | Method for input controlling by using touch type, and computer-readable recording medium with controlling program using touch type | |
US20140189593A1 (en) | Electronic device and input method | |
US20130191768A1 (en) | Method for manipulating a graphical object and an interactive input system employing the same | |
US20120188164A1 (en) | Gesture processing | |
WO2014061098A1 (en) | Information display device and display information operation method | |
JP7233109B2 (en) | Touch-sensitive surface-display input method, electronic device, input control method and system with tactile-visual technology | |
KR102205283B1 (en) | Electro device executing at least one application and method for controlling thereof | |
WO2014192125A1 (en) | Electronic device and processing method | |
KR20220139236A (en) | Electronic system for controlling memo object in virtual space and operating method thereof | |
JP2012088805A (en) | Information processor and information processor control method | |
CN103472931A (en) | Method for operating simulation touch screen by mouse | |
US9927892B2 (en) | Multiple touch selection control | |
US20180329611A1 (en) | Improved method for selecting an element of a graphical user interface | |
WO2022216082A1 (en) | Electronic system for controlling memo object in virtual space and operating method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |