KR20120086266A - Object manipulation method in augmented reality environment and Apparatus for augmented reality implementing the same - Google Patents
Object manipulation method in augmented reality environment and Apparatus for augmented reality implementing the same Download PDFInfo
- Publication number
- KR20120086266A KR20120086266A KR1020120006959A KR20120006959A KR20120086266A KR 20120086266 A KR20120086266 A KR 20120086266A KR 1020120006959 A KR1020120006959 A KR 1020120006959A KR 20120006959 A KR20120006959 A KR 20120006959A KR 20120086266 A KR20120086266 A KR 20120086266A
- Authority
- KR
- South Korea
- Prior art keywords
- rotation
- information
- virtual object
- augmented reality
- touch
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Abstract
Description
본 발명은 증강현실 환경에서의 가상객체 조작방법 및 이를 구현하는 증강현실 장치에 관한 것이다. 보다 상세하게는 본 발명은, 웨어러블 증강현실 환경에서 모바일 장치의 내장 센서를 활용하여 3D 가상객체의 3축 이동, 3축 회전 및 3축 크기 조작을 할 수 있는 방법에 관한 것이다.
The present invention relates to a method for manipulating a virtual object in an augmented reality environment and an augmented reality device implementing the same. More specifically, the present invention relates to a method for performing three-axis movement, three-axis rotation, and three-axis size manipulation of a 3D virtual object using a built-in sensor of a mobile device in a wearable augmented reality environment.
현재 모바일 장치는, 많은 사용자가 보유하고 있는 범용적인 휴대 컴퓨터로 인식되고 있다. 또한 최근 모바일 장치의 하드웨어 성능이 개선되고 있으며 각종 센서들이 내장되고 있는 추세이다. 이를 통해 다양한 종류의 모바일 증강현실 어플리케이션들이 개발되고 있으며, 사용자는 언제 어디서나 모바일 장치를 이용하여 가상현실에 존재하는 부가적이며 유용한 정보를 획득하거나 다른 사용자와 정보를 공유할 수 있다.Currently, mobile devices are recognized as general purpose portable computers possessed by many users. In addition, the hardware performance of mobile devices has recently been improved, and various sensors are being built in. Through this, various kinds of mobile augmented reality applications are being developed, and users can obtain additional and useful information existing in virtual reality or share information with other users anytime, anywhere using a mobile device.
특히, 최근 스마트 폰에는 GPS, 자이로, 중력가속도, 터치, 방위 센서 등과 같은 다양한 센서들이 내장되고 있는 추세이다. 그리고 센서 정보 활용하여 사용자의 편의를 높일 수 있는 다양한 어플리케이션들이 개발/배포되고 있다. 사용자는 언제 어디서나(실내외)에서 자연스럽게 스마트 폰을 이용할 수 있다. In particular, smart phones have recently been equipped with various sensors such as GPS, gyro, gravity acceleration, touch, and orientation sensors. In addition, various applications are being developed / distributed to enhance user convenience by utilizing sensor information. The user can use the smartphone naturally anytime, anywhere (indoor or outdoor).
그러나, 3D 콘텐츠(가상객체)와의 상호작용에 있어, 기존의 3D 가상객체의 조작방법은 모바일 장치의 터치스크린을 이용한 2D 입력 방법, 내장 자이로/중력가속도 센서를 이용한 회전 방법, 가속도 센서 정보를 이용한 공간 제스처 입력 방법 등에 초점을 맞추고 있다. 하지만, 3D 체험형/몰입형 상호작용 및 정보 시각화 등에서 사용될 수 있는 3D 가상객체의 정밀하고 고차원적인 3D 가상객체 조작방법 (3축 이동, 3축 회전, 3축 크기 조작 등)은 아직 해결되지 못한 문제로 남아있다.
However, in the interaction with 3D content (virtual object), the existing 3D virtual object manipulation method is a 2D input method using a touch screen of a mobile device, a rotation method using an embedded gyro / gravity acceleration sensor, and acceleration sensor information. It focuses on how to input spatial gestures. However, precise and high-dimensional 3D virtual object manipulation methods (3 axis movement, 3 axis rotation, 3 axis size manipulation, etc.) of 3D virtual objects that can be used in 3D experiential / immersive interaction and information visualization have not been solved yet. Remains a problem.
상술한 문제점을 해결하기 위한 관점으로부터 본 발명은 모바일 장치의 내장 센서 정보를 활용하여 3D 가상객체의 3축 이동, 3축 회전 및 3축 크기 조작을 할 수 있는 기술을 제안함을 기술적 과제로 한다. In view of the above-described problem, the present invention proposes a technology that can perform three-axis movement, three-axis rotation, and three-axis size manipulation of a 3D virtual object by utilizing internal sensor information of a mobile device. .
상기 기술적 과제와 관련하여 본 발명은, 기존 모바일 장치의 좁은 사용자 시야를 대폭 확장하기 위해 HMD(Head Mounted Display) 기반의 웨어러블 컴퓨팅 환경에서 모바일 장치의 내장 센서를 이용하여 정밀한 3D 상호작용이 가능한 기술을 제안한다.In connection with the above technical problem, the present invention provides a technology capable of precise 3D interaction using a built-in sensor of a mobile device in a head mounted display (HMD) based wearable computing environment in order to greatly expand the narrow user view of the existing mobile device. Suggest.
또한, 본 발명은 모바일 장치를 통한 3D 가상객체의 조작을 영상 장치(display device)에서 영상화(visualization)하기 위한 기술을 제안한다.In addition, the present invention proposes a technique for visualizing the manipulation of a 3D virtual object through a mobile device in a display device.
또한, 본 발명은 손목의 신장 및 굴곡 특성에 기반하여, 3D 가상객체 조작하는 기술을 제안한다.In addition, the present invention proposes a technique for manipulating 3D virtual objects, based on the stretching and bending characteristics of the wrist.
또한, 본 발명은 사용자의 손목의 신장 및 굴곡 특성에 기반하여, 개인화된 3D 가상객체 조작하는 기술을 제안한다.In addition, the present invention proposes a technique for manipulating a personalized 3D virtual object, based on the stretching and bending characteristics of the user's wrist.
그러나, 본 발명의 기술적 과제는 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
However, the technical problem of the present invention is not limited to the above-mentioned matters, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.
상기와 같은 과제를 해결하기 위하여, 본 발명은, 실제 환경의 영상을 획득하고 획득된 상기 영상에 가상객체를 증강하는 증강현실 구현부와, 사용자 터치조작에 대응하는 2차원 이동정보 및, 사용자 회전 조작에 대응하는 회전정보를 생성하는 모바일 조작부를 포함하되, 상기 증강현실 구현부는, 상기 2차원 이동정보 및 상기 회전정보를 수신하고, 수신된 상기 2차원 이동정보 및 회전정보에 기초하여 상기 가상객체의 위치속성, 회전속성 및 크기속성 중 적어도 어느 하나를 변경하여, 3축 방향으로 상기 가상객체의 움직임 또는 크기를 변경하는 것을 특징으로 하는 증강 현실 장치를 제공한다.In order to solve the above problems, the present invention, an augmented reality implementation unit for acquiring the image of the real environment and augmented the virtual object in the obtained image, two-dimensional movement information corresponding to the user touch operation, and user rotation And a mobile manipulation unit configured to generate rotation information corresponding to the manipulation, wherein the augmented reality implementation unit receives the two-dimensional movement information and the rotation information, and based on the received two-dimensional movement information and the rotation information, the virtual object. It provides an augmented reality device, characterized in that by changing at least one of the position attribute, the rotation attribute and the size attribute of the virtual object in the three axis direction.
바람직하게는, 일단이 헤드로 구성되는 상기 모바일 조작부에서, 상기 회전정보가, 상기 가상객체의 목표 이동방향으로 상기 헤드가 향하도록 상기 모바일 조작부를 기울이는 사용자의 제1 회전 조작으로 형성되고, 상기 2차원 이동정보가, 상기 제1 회전 조작과 동시에 이루어지며 한 지점에 대한 사용자의 터치로 시작하여 소정의 길이 이상을 가지는 제1 드래그 앤 드랍 조작으로 형성되면, 상기 증강현실 구현부는, 상기 제1 회전 조작으로 형성되는 상기 회전정보 및, 상기 제1 드래그 앤 드랍 조작으로 형성되는 상기 2차원 이동정보를 이동 조작 함수에 대입하여 상기 가상객체의 3차원 이동정보를 생성하는 것이 좋다.Preferably, in the mobile operation unit having one end configured as the head, the rotation information is formed by a first rotation operation of a user inclining the mobile operation unit so that the head is directed in a target moving direction of the virtual object. When the dimensional movement information is formed at the same time as the first rotation operation and is formed by a first drag and drop operation having a predetermined length or more, starting with the user's touch on a point, the augmented reality implementation unit may include the first rotation. The rotation information formed by the manipulation and the two-dimensional movement information formed by the first drag and drop manipulation may be substituted into a movement manipulation function to generate three-dimensional movement information of the virtual object.
바람직하게는, 일단이 헤드로 구성되는 상기 모바일 조작부에서, 상기 회전정보가, 상기 가상객체의 목표 회전방향으로 상기 헤드가 회전하도록 상기 모바일 조작부를 기울이는 사용자의 제2 회전 조작으로 형성되고, 상기 제 2차원 이동정보는, 상기 제2 회전 조작과 동시에 이루어지며 한 지점에 대한 사용자의 터치로 시작되어 소정의 길이 미만을 가지는 제2 드래그 앤 드랍 방식의 조작 또는 사용자의 노터치(no touch) 조작 중 어느 하나로 형성되면, 상기 증강현실 구현부는, 상기 제2 회전 조작으로 형성되는 상기 회전정보를 회전 조작 함수에 대입하여 상기 헤드의 회전 방향으로 상기 가상객체를 회전시키기 위한 3차원 회전정보를 생성하는 것이 좋다.Preferably, in the mobile operation unit having one end as the head, the rotation information is formed by a second rotation operation of the user tilting the mobile operation unit so that the head rotates in the target rotation direction of the virtual object. Two-dimensional movement information, which is made at the same time as the second rotation operation, starting with the user's touch of a point and having a predetermined length less than a second drag-and-drop operation or a user's no touch operation. When formed as one, the augmented reality implementation unit, it is preferable to generate the three-dimensional rotation information for rotating the virtual object in the rotation direction of the head by substituting the rotation information formed by the second rotation operation to the rotation operation function. .
바람직하게는, 일단이 헤드로 구성되는 상기 모바일 조작부에서, 상기 회전정보가, 상기 가상객체의 목표 회전방향으로 상기 헤드가 회전하도록 상기 모바일 조작부를 기울이는 사용자의 제3 회전 조작으로 형성되고, 상기 제 2차원 이동정보는, 상기 제3 회전 조작과 동시에 이루어지며 두 지점에 대한 사용자의 터치로 시작되는 제3 드래그 앤 드랍 방식의 조작으로 형성되며, 상기 증강현실 구현부는, 상기 제3 회전 조작으로 형성되는 상기 회전정보 및 상기 제3 드래그 앤 드랍 조작으로 형성되는 상기 2차원 이동정보를 크기 조작 함수에 대입하여 상기 가상객체의 3차원 회전정보 및 크기변경정보를 생성하는 것이 좋다. Preferably, in the mobile operation unit having one end as the head, the rotation information is formed by a third rotation operation of the user tilting the mobile operation unit so that the head rotates in the target rotation direction of the virtual object. The two-dimensional movement information is formed by a third drag-and-drop operation performed simultaneously with the third rotation operation and started by a user's touch on two points, and the augmented reality implementation unit is formed by the third rotation operation. The rotation information and the two-dimensional movement information formed by the third drag and drop operation may be substituted into a size manipulation function to generate three-dimensional rotation information and size change information of the virtual object.
바람직하게는, 상기 회전 조작 함수는 이차함수 형식으로 구성되는 것이 좋다.Preferably, the rotation manipulation function is configured in quadratic form.
바람직하게는, 상기 회전 조작 함수의 변수는, 상기 모바일 조작부 파지시 상기 모바일 조작부의 최초 회전 각도, 3축 방향으로 각각 상기 모바일 조작부의 정방향 최대 회전 각도, 3축 방향으로 각각 상기 모바일 조작부의 역방향 최대 회전 각도 및, 3축 방향으로 각각 상기 모바일 조작부의 현재 회전각도인 것이 좋다. Preferably, the variable of the rotation manipulation function is an initial rotation angle of the mobile manipulation unit when the mobile manipulation unit is held, a maximum forward rotation angle of the mobile manipulation unit in each of the three axis directions, and a maximum reverse direction of the mobile manipulation unit in the three axis directions, respectively. It is preferable that the rotation angle and the current rotation angle of the mobile operation unit respectively in the three axis directions.
한편, 본 발명은, 증강 현실 구현부와 모바일 조작부를 포함하는 증강 현실 장치를 통해 구현되는 증강현실 환경에서 가상객체의 조작 방법에 있어서, 상기 증강 현실 구현부는, a)모바일 조작부에 대한 사용자의 터치 동작 및 회전 동작에 대응하는, 터치정보 및 회전정보를 수신하는 단계와, b)수신된 상기 회전정보를 회전 조작 함수에 대입하여, 상기 가상객체의 3차원 회전정보를 생성하는 단계와, c)수신된 터치정보가 한 지점에 대한 터치에 의한 것인 경우, 상기 터치정보를 이동 조작 함수에 대입하여, 상기 가상객체의 3차원 이동정보를 생성하는 단계와, d)상기 3차원 회전정보 및 상기 3차원 이동정보에 기초하여 상기 가상객체의 위치속성 및 회전속성을 변경하는 단계 및, e)수신된 터치정보가 두 지점에 대한 터치에 의한 것인 경우, 상기 터치정보를 크기 조작 함수에 대입하여, 상기 가상객체의 크기변경정보를 생성하는 단계 및 f)상기 3차원 회전정보 및 상기 크기변경정보에 기초하여 상기 가상객체의 회전속성 및 크기속성을 변경하는 단계를 포함하는 증강현실 환경에서 가상객체의 조작 방법을 제공한다.Meanwhile, the present invention provides a method of operating a virtual object in an augmented reality environment, which is implemented through an augmented reality environment including an augmented reality implementation unit and a mobile manipulation unit, wherein the augmented reality implementation unit comprises: a) a user's touch to a mobile manipulation unit; Receiving touch information and rotation information corresponding to an operation and a rotation operation; b) substituting the received rotation information into a rotation manipulation function to generate three-dimensional rotation information of the virtual object; c) If the received touch information is due to a touch on a point, substituting the touch information into a movement manipulation function to generate three-dimensional movement information of the virtual object; d) the three-dimensional rotation information and the Changing the position attribute and rotation attribute of the virtual object based on three-dimensional movement information; and e) when the received touch information is by touch on two points, Generating a size change information of the virtual object by substituting a value into a size manipulation function; and f) changing a rotation property and a size property of the virtual object based on the three-dimensional rotation information and the size change information. It provides a method of operating a virtual object in an augmented reality environment.
바람직하게는, 상기 c)단계에서, 한 지점의 터치에서 시작되는 드래그 앤 드랍의 길이가 소정의 길이 미만이면, 상기 e)단계에서 상기 가상객체의 회전속성만을 변경하는 것을 특징으로 하는 증강현실 환경의 가상객체의 조작 방법을 제공한다.
Preferably, in step c), if the length of the drag-and-drop starting at a point of touch is less than a predetermined length, in step e), only the rotation property of the virtual object is changed. Provides a way to manipulate virtual objects.
본 명세서의 기재내용으로부터 파악되는 본 발명에 따르면, 조작하기 원하는 방향으로 모바일 조작부(스마트 폰등)를 회전시킴과 동시에, 해당 방향으로 모바일 조작부(스마트 폰)의 터치 스크린상에서 드래그 앤 드랍하는 조작을 통해, 3D 가상객체의 3축 이동, 3축 회전, 3축 크기 조작이 가능하다.According to the present invention grasped from the description of the present specification, by rotating the mobile operation unit (smartphone, etc.) in the desired direction to operate, by dragging and dropping on the touch screen of the mobile operation unit (smartphone) in the corresponding direction , 3 axis movement, 3 axis rotation, 3 axis size manipulation of 3D virtual object is possible.
또한 기존(별도의)의 특수한 트래킹 장치(적외선, 초음파센서, 깊이 카메라 등)가 설치되어 있지 않는 보통의 실내외 환경(스마트 폰의 위치/회전 등을 알지 못함)에서도, 모바일 조작부(스마트 폰등)을 이용하여 3D 가상객체를 3축으로 이동, 회전, 크기 조작이 가능하다.In addition, the mobile control unit (smartphone, etc.) can be used even in normal indoor / outdoor environments (without knowing the location / rotation of the smartphone, etc.) where existing (separate) special tracking devices (infrared rays, ultrasonic sensors, depth cameras, etc.) are not installed. 3D virtual objects can be moved, rotated, and manipulated in three axes.
또한, 모바일 조작부에서의 3D 가상객체 조작이 사용자가 착용하고 있는 HMD를 통해 영상화되므로, 기존 모바일 장치의 좁은 사용자 시야를 대폭 확장하여 증강현실을 구현하는 것이 가능하다.In addition, since the 3D virtual object manipulation in the mobile manipulation unit is imaged through the HMD worn by the user, it is possible to realize augmented reality by greatly expanding the narrow user field of view of the existing mobile device.
또한, 모바일 조작부를 파지한 손목의 신장 및 굴곡 특성을 반영하여, 효과적인 가상객체의 조작이 가능하게 하는 유리한 효과를 제공한다.In addition, by reflecting the stretching and bending characteristics of the wrist holding the mobile control unit, it provides an advantageous effect that enables the effective operation of the virtual object.
나아가, 개인화된 모바일 조작부를 파지한 손목의 신장 및 굴곡 특성을 반영하여, 좀더 효과적인 가상객체의 조작이 가능하게 하는 유리한 효과를 제공한다.
Furthermore, by reflecting the stretching and flexing characteristics of the wrist held by the personalized mobile control unit, it provides an advantageous effect to enable more effective operation of the virtual object.
도 1은 본 발명에 따른 증강현실 장치의 구성을 설명하기 위해 도시한 블록도,
도 2는 가상객체의 3차원 이동정보를 생성하기 위한, 도 1의 모바일 조작부의 2차원 이동정보 및 회전정보를 설명하기 위해 도시한 그림,
도 3은 한 지점에 대한 사용자의 드래그 앤 드랍 조작으로 가상객체를 위치속성을 변경하는 상태를 나타내는 영상 이미지,
도 4는 가상객체의 3차원 회전정보를 생성하기 위한, 도 1의 모바일 조작부의 2차원 이동정보 및 회전정보를 설명하기 위해 도시한 그림,
도 5는 사용자의 회전 조작으로 가상객체의 회전속성을 변경하는 상태를 나타내는 영상 이미지,
도 6은 가상객체의 크기변경정보를 생성하기 위한, 도 1의 모바일 조작부의 2차원 이동정보 및 회전정보를 설명하기 위해 도시한 그림,
도 7은 두 지점에 대한 사용자의 드래그 앤 드랍 조작으로 가상객체의 크기속성을 변경하는 상태를 나타내는 영상 이미지,
도 8은 도 1의 모바일 조작부를 파지한 상태에서 3축 방향을 기준으로 사용자의 일반적인 손목 각도의 역방향 최대값과 정방향 최대값을 나타낸 영상 이미지,
도 9는 도 1의 모바일 조작부의 회전 각도와 가상객체의 회전 각도의 관계를 도시한 그래프,
도 10은 개인화된 도 1의 모바일 조작부의 회전 각도와 가상객체의 회전 각도의 관계를 도시한 그래프,
도 11은 본 발명에 따른 증강현실 환경에서 가상객체의 조작 방법의 구성을 설명하기 위해 도시한 순서도이다.1 is a block diagram illustrating a configuration of an augmented reality device according to the present invention;
FIG. 2 is a diagram illustrating two-dimensional movement information and rotation information of the mobile control unit of FIG. 1 for generating three-dimensional movement information of a virtual object; FIG.
3 is a video image showing a state of changing a positional property of a virtual object by a user dragging and dropping a point;
4 is a diagram illustrating two-dimensional movement information and rotation information of the mobile control unit of FIG. 1 for generating three-dimensional rotation information of a virtual object;
5 is a video image showing a state in which a rotation attribute of a virtual object is changed by a user's rotation operation;
FIG. 6 is a diagram illustrating two-dimensional movement information and rotation information of the mobile control unit of FIG. 1 for generating size change information of a virtual object; FIG.
FIG. 7 is a video image illustrating a state in which a size attribute of a virtual object is changed by a user's drag and drop operation on two points;
FIG. 8 is a video image showing a reverse maximum value and a forward maximum value of a general wrist angle of a user based on a three-axis direction while holding the mobile control unit of FIG. 1;
9 is a graph illustrating a relationship between a rotation angle of a mobile control unit of FIG. 1 and a rotation angle of a virtual object;
FIG. 10 is a graph illustrating a relationship between the rotation angle of the mobile control unit of FIG. 1 and the rotation angle of the virtual object; FIG.
11 is a flowchart illustrating a configuration of a method of operating a virtual object in an AR environment according to the present invention.
이하, 본 발명에 따른 증강현실 환경에서 가상객체의 조작방법 및 이를 구현하는 증강현실 장치의 바람직한 일실시예에 대해 설명한다. Hereinafter, a method of operating a virtual object in an augmented reality environment and an embodiment of an augmented reality device implementing the same will be described.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 의해 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 또한, 본 발명을 설명함에 있어 관련된 공지 기술 등이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그에 관한 자세한 설명은 생략하기로 한다.
BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. However, the present invention is not limited by the embodiments disclosed below, but will be implemented in various different forms, only the embodiments are to make the disclosure of the present invention complete, and the present invention is common in the art. It is provided to fully inform those skilled in the art of the scope of the invention, which is to be defined only by the scope of the claims. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.
도 1은 본 발명에 따른 증강현실 장치의 구성을 설명하기 위해 도시한 블록도이다.1 is a block diagram illustrating the configuration of an augmented reality device according to the present invention.
도 1을 참조 하면, 본 발명에 따른 증강현실 장치의 바람직한 일실시예는 실제 환경의 영상을 획득하고 획득된 상기 영상에 가상객체를 증강하는 증강현실 구현부(100)와, 사용자의 터치조작에 대응하는 2차원 이동정보 및, 사용자 회전조작에 대응하는 회전정보를 생성하는 모바일 조작부(200)를 포함하여 이루어진다.Referring to FIG. 1, a preferred embodiment of the augmented reality device according to the present invention is an augmented
본 발명은, 모바일 조작부(200)에서 생성되는 2차원 이동정보 및 회전정보를 증강현실 구현부(100)에서 수신하여 이를 기초로, 증강현실 환경에서 3차원 가상객체를 입체적으로 이동, 회전 및 크기 조절하는 것을 그 기술적 특징으로 한다.
The present invention, based on the two-dimensional movement information and rotation information generated by the
이하, 증강현실 구현부(100) 및 모바일 조작부(200)에 대해 설명하기로 한다.Hereinafter, the augmented
증강현실 구현부(100)는 카메라와 같은 영상장치로부터 획득한 실제 환경의 영상에, 가상객체를 합성하여 합성된 영상을 디스플레이 장치를 통해 증강현실을 구현하며, 모바일 조작부(200)의 조작에 따라, 합성된 영상에서 가상객체를 선택하고, 선택된 가상객체를 입체적으로 조작하는 역할을 한다.The augmented
일실시예에서는. 입을 수 있는 웨어러블(wearable) 형태의 증강현실 구현부(100)를 제공하며, 영상장치로서, 사용자에 머리에 착용하는 HMD(Head Mounted Display)의 카메라를 제공하여, 모바일 조작부(200)의 휴대성 및 범용성을 최대한 활용한 구성으로 이루어진다.In one embodiment. It provides a wearable (wearable) augmented
HMD의 카메라를 통해 입력한 영상으로부터 현실객체의 특징 정보를 추출/인식/추적을 통해 카메라의 자세를 획득한다. 그리고 사용자는 모바일 조작부(200)로 HMD의 뷰(view)상의 최적의 선택 우선순위를 가지는 가상객체를 실시간으로 선택한다.The posture of the camera is acquired by extracting / recognizing / tracking the feature information of the real object from the image input through the camera of the HMD. The user selects a virtual object having an optimal selection priority on a view of the HMD in real time with the
선택된 가상객체를 입체적으로 조작하는데 있어서, 모바일 조작부(200)에 내장된 센서들을 활용한다.In three-dimensional manipulation of the selected virtual object, it utilizes sensors built in the
모바일 조작부(200)는 스마트폰을 일례로 들수 있으며, 사용자의 터치조작을 수용하여 물리적인 터치동작에 대응하는 전기적 신호를 생성하는 터치 스크린과, 모바일 조작부(200)의 움직임을 전기적 신호로 변환하는 자이로스코프등과 같은 기울기 센서, 방위 세서 및 가속도 센서등이 마련된다.The
이러한, 모바일 조작부(200)는 사용자의 터치(tap), 드래그 앤 드랍(drag and drop)등과 같은 터치조작과, 모바일 조작부(200)을 기울이는 회전조작에 대응하여, 각각 2차원 이동정보 및 회전정보를 생성한다.The
즉, 2차원 이동정보는, 모바일 조작부(200)의 터치 스크린 상에서 이루어지는 사용자의 터치(tap) 또는 드래그 앤 드랍(drag and drop)의 크기 및 방향을 의미하는 것이며, 회전정보는 3축을 기준으로 모바일 조작부(200)의 기울어지는 정도를 의미한다.That is, the two-dimensional movement information refers to the size and direction of a user's touch or drag and drop on the touch screen of the
위와 같은, 증강현실을 구현하는데 있어서, 모바일 조작부(200)의 터치 스크린과 내장 센서들을 활용하면, 기존의 특수한 트래킹 장치(예. 적외선, 초음파센서, 깊이 카메라 등)가 설치되어 있지않는 보통의 실내외 환경(예. 월드좌표계/카메라좌표계를 기준으로 한 모바일 조작부의 상대적인 자세를 알지 못하는 환경)에서도, 증강현실 환경에서 가상객체에 대한 사용자 인터페이스로 활용이 가능한 장점이 있다.
In implementing the augmented reality as described above, by utilizing the touch screen and the built-in sensors of the
이하, 도 2 내지 도 7을 참조하여, 모바일 조작부(200)를 통해 가상객체 조작방법을 설명하기로 한다. Hereinafter, a method of operating a virtual object through the
도 2는 가상객체의 3차원 이동정보를 생성하기 위한, 도 1의 모바일 조작부의 2차원 이동정보 및 회전정보를 설명하기 위해 도시한 그림, 도 3은 한 지점에 대한 사용자의 드래그 앤 드랍 조작으로 가상객체의 위치속성을 변경하는 상태를 나타내는 영상 이미지이다.FIG. 2 is a diagram illustrating two-dimensional movement information and rotation information of the mobile control unit of FIG. 1 for generating three-dimensional movement information of a virtual object, and FIG. 3 is a drag and drop operation of a user for a point. Video image showing the state of changing the position attribute of the virtual object.
도 2는 가상객체의 3축 이동방법에 관한 것으로, 3축 이동은, 가상객체를 3축 상에서 이동시키고자 하는 목표 이동방향으로 모바일 조작부(200)를 기울이면서(사용자의 제1 회전 조작), 동시에 목표 이동방향으로 터치 스크린 상에서 드래그 앤 드랍(제1 드래그 앤 드랍 조작)한다. FIG. 2 relates to a three-axis movement method of a virtual object, wherein the three-axis movement is performed by tilting the
증강현실 구현부(100)는 이러한, 제1 회전 조작과 제1 드래그 앤 드랍 조작으로 모바일 조작부(200)에서 형성되는 회전정보 및 2차원 이동정보를 이동 조작 함수에 대입하여 3차원 이동정보를 생성한다.The augmented
이동 조작 함수는 하기의 수학식 1로 표현된다.The move manipulation function is expressed by the following equation.
여기서, Vc는 3D 모션 벡터, Vt는 2D 모션 벡터, R은 회전 행렬, dt는 터치 스크린 상의 드래그 벡터(도2의 V1)의 크기이며, Θt는 2D 모션 벡터의 방향, Rz는 z축의 중력 가속도 센서값이며, Rx는 x축의 중력 가속도 센서값, Ry는 y축의 중력 가속도 센서값, d는 3차원 이동정보를 생성하기 위한 기준이 되는 터치 스크린상의 드레그 벡터의 길이이다.Where Vc is the 3D motion vector, Vt is the 2D motion vector, R is the rotation matrix, dt is the magnitude of the drag vector on the touch screen (V1 in Figure 2), Θt is the direction of the 2D motion vector, and Rz is the acceleration of gravity on the z axis. Where Rx is the gravity acceleration sensor value on the x-axis, Ry is the gravity acceleration sensor value on the y-axis, and d is the length of the drag vector on the touch screen as a reference for generating three-dimensional movement information.
즉, 가상객체의 움직임을 표현하는 3D 모션 벡터(Vc)는 2D 모션 벡터(Vt)와 회전 행렬(R)로 구성된다. 또한, 3축 이동의 경우에는 2D 모션 벡터의 크기(dt)가 미리 결정된 소정의 길이(d) 이상일 경우의 제한 조건하에서 실행된다.That is, the 3D motion vector Vc representing the motion of the virtual object is composed of a 2D motion vector Vt and a rotation matrix R. In addition, in the case of three-axis movement, it is executed under the restriction condition when the magnitude dt of the 2D motion vector is equal to or larger than a predetermined length d.
생성된 3차원 이동정보를 통해, 가상객체의 머리(Head)는 모바일 조작부(200)의 헤드(H)가 향하는 방향으로 자세를 돌리게 되고, 사용자는 터치 스크린의 임의의 터치 포인트(T)를 터치한 상태에서 드래그 앤 드랍하여 가상객체를 이동시킨다. 이 때, 가상객체는 사용자가 터치 포인트(T)를 터치한 상태에서 손가락의 이동을 따라 이동됨을 도 3을 통해 확인할 수 있다.
Through the generated three-dimensional movement information, the head of the virtual object rotates the posture in the direction in which the head H of the
한편, 도 4는 가상객체의 3차원 회전정보를 생성하기 위한, 도 1의 모바일 조작부의 2차원 이동정보 및 회전정보를 설명하기 위해 도시한 그림이고, 도 5는 사용자의 회전 조작으로 가상객체의 회전속성을 변경하는 상태를 나타내는 영상 이미지이다.Meanwhile, FIG. 4 is a diagram illustrating two-dimensional movement information and rotation information of the mobile manipulation unit of FIG. 1 for generating three-dimensional rotation information of the virtual object, and FIG. It is a video image showing a state of changing the rotation attribute.
도 4는 가상객체의 3축 회전방법에 관한 것으로, 3축 회전은, 가상객체를 3축 상에서 회전시키고자 하는 목표 회전방향으로 모바일 조작부(200)를 기울이면서(사용자의 제2 회전조작), 동시에 목표이동 방향으로 터치 스크린 상에서 상술한 소정이 길이(d) 미만으로 드래그 앤 드랍 조작(제2 드래그 앤 드랍 조작)하거나, 터치 스크린을 터치하지 않는다. (노터치(no touch))4 is a three-axis rotation method of the virtual object, three-axis rotation, while tilting the
증강현실 구현부(100)는 이러한, 제2 회전 조작과 제2 드래그 앤 드랍 조작으로 모바일 조작부(200)에서 형성되는 회전정보 및 2차원 이동정보를 회전 조작 함수에 대입하여 3차원 회전정보를 생성한다.The augmented
회전 조작 함수는 하기의 [수학식 2]로 표현된다.The rotation manipulation function is represented by the following [Equation 2].
여기서, Rc는 3D 회전 벡터, R은 회전 행렬, dt는 터치 스크린 상의 드래그 벡터(도3의 V2)의 크기이며, Rx는 x축의 중력 가속도 센서값, Ry는 y축의 중력 가속도 센서값, d는 3차원 이동정보를 생성하기 위한 기준이 되는 터치 스크린상의 드레그 벡터의 길이이다.Where Rc is the 3D rotation vector, R is the rotation matrix, dt is the magnitude of the drag vector on the touch screen (V2 in FIG. 3), Rx is the gravity acceleration sensor value on the x-axis, Ry is the gravity acceleration sensor value on the y-axis, and d is The length of the drag vector on the touch screen as a reference for generating three-dimensional movement information.
생성된 3차원 회전정보를 통해, 가상객체의 머리(Head)는 모바일 조박부(200)의 헤드(H)가 향하는 방향으로 회전하게 됨을 도 5를 확인할 수 있다.It can be seen from FIG. 5 that the head of the virtual object is rotated in the direction in which the head H of the
이때 사용자는 터치 스크린의 임의의 터치 포인트(T)를 터치한 상태 혹은 터치 포인트(T)를 터치하지 않은 상태 혹은, 터치 포인트(T)를 터치한 상태에서 약간의 변위를 주는 상태를 유지한다. 즉 상기 [수학식 2]에서 dt가 d 이하인 경우에, [수학식2]를 통해 3축 상에서 회전된다.
At this time, the user maintains a state in which a certain touch point T of the touch screen is touched, a state in which the touch point T is not touched, or a state in which the touch point T is touched. That is, when dt is less than or equal to d in [Equation 2], it is rotated on three axes through [Equation 2].
한편, 도 6은 가상객체의 크기변경정보를 생성하기 위한, 도 1의 모바일 조작부의 2차원 이동정보 및 회전정보를 설명하기 위해 도시한 그림, 도 7은 두 지점에 대한 사용자의 드래그 앤 드랍 조작으로 가상객체의 크기속성을 변경하는 상태를 나타내는 영상 이미지이다.FIG. 6 is a diagram illustrating two-dimensional movement information and rotation information of the mobile control unit of FIG. 1 for generating size change information of a virtual object, and FIG. 7 is a drag and drop operation of a user for two points. This is a video image showing the state of changing the size attribute of the virtual object.
도 6은 가상객체의 3축 크기변경에 관한 것으로, 3축 크기변경은, 가상객체를 3축 상에서 크기 조작시키고자 하는 목표 회전방향으로 모바일 조작부(200)를 기울이면서(사용자의 제3 회전 조작), 동시에 터치 스크린 상에서 두 손가락 끝으로 간격(두 지점에 대한 사용자의 터치)을 조정한다.(제3 드래그 앤 드랍 조작)6 illustrates a three-axis size change of a virtual object, wherein the three-axis size change is performed by tilting the
증강현실 구현부(100)는 이러한, 제3 회전 조작과 제3 드래그 앤 드랍 조작으로 모바일 조작부(200)에서 형성되는 회전정보 및 2차원 이동정보를 크기 조작 함수에 대입하여 3차원 회전정보 및 크기변경정보를 생성한다.The augmented
크기 조작 함수는 하기의 [수학식 3]로 표현된다.The magnitude manipulation function is expressed by Equation 3 below.
기서, Vc는 3D 모션 벡터, Vt는 2D 터치 벡터(터치 스크린 상의 두 지점에 대한 터치 포인트를 잇는 벡터), R은 회전 행렬, dt는 2D 터치 벡터의 크기이며, Θt는 2D 터치 벡터의 방향, Rz는 z축의 중력 가속도 센서값이며, Rx는 x축의 중력 가속도 센서값, Ry는 y축의 중력 가속도 센서값, Sc는, 가상객체의 크기이다.
Where Vc is the 3D motion vector, Vt is the 2D touch vector (the vector connecting the touch points to two points on the touch screen), R is the rotation matrix, dt is the magnitude of the 2D touch vector, Θt is the direction of the 2D touch vector, Rz is the gravity acceleration sensor value on the z-axis, Rx is the gravity acceleration sensor value on the x-axis, Ry is the gravity acceleration sensor value on the y-axis, and Sc is the size of the virtual object.
생성된 3차원 크기변경정보를 통해, 가상객체의 머리(Head)는 모바일 조작부(200)의 헤드(H)가 향하는 방향으로 회전하게 되고, 이때 사용자는 터치 스크린의 임의의 터치 포인트(T1) 및 다른 임의의 터치 포인트(T2)를 터치한 상태에서 가상객체의 크기 조절을 위한 핀치(pinch)동작을 행한다. 이에 따라 Vt가 커지면 가상객체가 확대되고, Vt가 작아지면 가상객체가 축소됨을 도 7을 통해 확인 할 수 있다.
Through the generated three-dimensional resizing information, the head of the virtual object is rotated in the direction that the head (H) of the
이하, 도 8 내지 도 10을 참조하여, 사람의 일반적인 손목의 신장 및 굴곡 특성을 기반으로 하여, 상술한 모바일 조작부(200)의 회전 조작에 따른 가상객체의 회전속성을 변경하는 방법을 설명하기로 한다. 아울러, 사용자의 개인별로 상이한 손목의 신장 및 굴곡 특성을 개인화하여 모바일 조작부(200)의 회전 조작에 따른 가상객체의 회전속성을 변경하는 방법을 설명하기로 한다.Hereinafter, with reference to FIGS. 8 to 10, a method of changing the rotational attribute of the virtual object according to the rotation manipulation of the
여기서, 손목의 신전(extension)이라 함은, 손목을 펴는 동작을 의미하고, 굴곡(flexion)이라 함은, 손목을 접는 동작을 의미한다. Here, extension of the wrist means extension of the wrist, and flexion means folding of the wrist.
도 8은 도 1의 모바일 조작부를 파지한 상태에서 3축 방향을 기준으로 사용자의 일반적인 손목 각도의 역방향 최대값과 정방향 최대값을 나타낸 영상 이미지이다.FIG. 8 is a video image illustrating a reverse maximum value and a forward maximum value of a general wrist angle of a user based on three axes in a state in which the mobile manipulation unit of FIG. 1 is gripped.
도 8에서 확인 할 수 있듯이, 스마트폰과 같은 모바일 조작부(200)의 일반적인 사용자의 손목 회전 각도 범위는 통계적으로 다음과 같다. 도 8의 (a)에서 도시한 바와 같이, 피칭(pitching) 방향으로 -15°내지 +30° 도 8의 (b)에서 도시한 바와 같이, 롤링(rolling)방향으로 -65°내지 +60° 도 8의 (c)에서 도시한 바와 같이, 요잉방향(yawing)으로 - 60°내지 +45° 여기서 '-'는 정방향 회전을 의미하며, '+'는역방향 회전을 의미한다.As can be seen in Figure 8, the wrist rotation angle range of the general user of the
도 9는 도 1의 모바일 조작부의 회전 각도와 가상객체의 회전 각도의 관계를 도시한 그래프이다.FIG. 9 is a graph illustrating a relationship between a rotation angle of the mobile control unit of FIG. 1 and a rotation angle of a virtual object.
일반적으로, 위와 같은 손목 회전 각도 범위를 벗어나는 회전은 사실상 불가능하다. 때문에, 도 9에서 도시한 바와 같이, 모바일 조작부(200)의 회전각도와 가상객체의 회전각도가 선형적으로 대응되는 관계보다 2차 함수관계로 대응되는 것이, 가상객체를 조작하는데 있어서, 보다 효율적이다.In general, rotation outside the wrist rotation angle range as described above is virtually impossible. Therefore, as shown in FIG. 9, it is more efficient for manipulating the virtual object that the rotation angle of the
이에, 회전 조작 함수는 하기 [수학식 4]와 같은 이차함수 형식으로 구성되는 것이 바람직하다.Accordingly, the rotation manipulation function is preferably configured in the form of a quadratic function as shown in Equation 4 below.
여기서, Θc는 사용자 조작공간(control space)에서 모바일 조작부(200)의 회전각도이며 ΘD는 증강현실 디스플레이공간(display space)에서 가상객체의 회전각도이다. 그리고 α는 함수의 특성 변화를 위해 임의로 설정될 수 있는 상수이다. Here, Θ c is the rotation angle of the
한편, 각 회전축을 조정하기 위해, 상술한 바와 같이, 손목이 움직일 수 있는 각도에 한계가 있고, 또한 그 한계각도는 정방향으로 조정하는가, 역방향으로 조정하는가에 따라 다르다. 또한 이 범위는 사용자가 왼손으로 조작하는가, 오른손으로 조작하는가, 또는 조작을 위하여 어떤 장치를 사용하는가에 대한 여부 등에 따라서도 달라질 수 있다.On the other hand, in order to adjust each rotation axis, as mentioned above, there exists a limit to the angle which a wrist can move, and the limit angle differs according to whether it adjusts to a forward direction or a reverse direction. This range may also vary depending on whether the user operates with the left hand, with the right hand, or with which device to use for the operation.
회전 조작 함수의 개인화는 수집한 손목 회전범위 정보를 기반으로 하여 손목의 최대 조작범위(정방향/역방향) 내에서 증강현실 상에서 조작하고자 하는 각도범위 전체의 조작이 가능하도록 구현한다. 이를 위해, 상술한 [수학식 4]의 함수를 하기 [수학식 5]와 같이 변형한다.
Personalization of the rotation manipulation function is implemented to enable the manipulation of the entire angular range to be manipulated on the augmented reality within the maximum manipulation range (forward / reverse direction) of the wrist based on the collected wrist rotation range information. To this end, the function of [Equation 4] described above is modified as shown in [Equation 5].
기서, Θc는 사용자 조작공간(control space)에서 모바일 조작부(200)의 회전각도이며 ΘD는 증강현실 디스플레이공간(display space)에서 가상객체의 회전각도이다. 그리고 α는 함수의 특성 변화를 위해 임의로 설정될 수 있는 상수이다. Θmax는 모바일 저작부(200)의 정방향 최대 회전 각도, Θmin는 모바일 저작부(200)의 역방향 최대 회전 각도이다.
Here, Θ c is the rotation angle of the
사용자는 자신의 손목을 편안한 자세를 유지하였을 때, 모바일 조작부(200)의 회전정보를 초기 설정 각도인 Θinit로 저장하고, 이를 기준으로 사용자의 최대 손목 회전 조작 범위(모바일 저작부(200)의 정방향 최대 회전 각도, 모바일 저작부(200)의 역방향 최대 회전 각도)를 저장한다.(Θmax와 Θmin) 이렇게 측정된 값과 사용자의 현재 모바일 조작부(200)의 회전각도(Θc)를 [수학식 5]에 대입한다.When the user maintains a comfortable posture of the wrist, the user rotates the rotation information of the
즉. 도 10에서 도시한 바와 같이, 사용자의 최대 손목 조작 각도 대비 사용자의 현재 입력 각도 비율을 이용하여, 사용자가 손목에 무리가 가지 않는 최대 손목 회전 조작 범위 내에서 (자신만의 편안한 손목 회전 각도를 기준으로) 가상객체의 360°회전 각도를 쉽게 조작할 수 있도록 한다
In other words. As shown in FIG. 10, using the ratio of the user's current input angle to the maximum wrist operation angle of the user, within the maximum wrist rotation operation range where the user does not overwhelm the wrist (based on his / her comfortable wrist rotation angle) Allows easy manipulation of the 360 ° rotation angle of the virtual object.
이하, 도 1을 참조하여, 본 발명에 따른 증강현실 환경의 가상객체의 조작 방법에 대해 설명하기로 한다.Hereinafter, a method of operating a virtual object in an augmented reality environment according to the present invention will be described with reference to FIG. 1.
도 11은 본 발명에 따른 증강현실 환경에서 가상객체의 조작 방법의 구성을 설명하기 위해 도시한 순서도이다.11 is a flowchart illustrating a configuration of a method of operating a virtual object in an AR environment according to the present invention.
먼저, 모바일 조작부(200)에 대한 사용자의 터치 동작 및 회전 동작에 대응하는, 터치정보 및 회전정보를 수신한다.(S100)First, the touch information and the rotation information corresponding to the touch operation and the rotation operation of the user with respect to the
다음으로, 수신된 회전정보를 회전 조작 함수에 대입하여(S210), 가상객체의 3차원 회전정보를 생성한다.(S220)Next, the received rotation information is substituted into the rotation manipulation function (S210) to generate three-dimensional rotation information of the virtual object (S220).
다음으로, 모바일 조작부(200)의 터치 스크린 상에 사용자의 터치가 있는지 판단한다.(S10)Next, it is determined whether there is a user's touch on the touch screen of the mobile manipulation unit 200 (S10).
사용자의 터치가 없었다면, 3차원 회전정보를 기반으로 가상객체의 회전속성만을 변경한다.(S700)If there is no touch of the user, only the rotation property of the virtual object is changed based on the 3D rotation information (S700).
사용자의 터치가 있었다면, 사용자의 터치가 한 지점에 대한 터치 인지, 두 지점에 대한 터치 인지를 판단한다.(S20)If there is a user's touch, it is determined whether the user's touch is a touch on one point or a touch on two points.
사용자의 터치가 한 지점에 대한 터치이면, 소정의 길이(d) 이상의 터치인지를 판단하여(S30), 소정의 길이(d) 미만의 터치이면, 가상객체의 회전속성만을 변경한다.(S700) 반면에, 소정의 길이(d) 이상의 터치라면, 회전정보 및 터치정보를 이동 조작 함수에 대입하여(S310), 상기 가상객체의 3차원 이동정보를 생성한다.(S320)If the user's touch is a touch for a point, it is determined whether the touch is a predetermined length (d) or more (S30), and if the touch is less than the predetermined length (d), only the rotation property of the virtual object is changed (S700). On the other hand, if the touch is more than a predetermined length d, the rotation information and the touch information are substituted into the movement manipulation function (S310) to generate three-dimensional movement information of the virtual object (S320).
다음으로, 생성된 3차원 이동정보에 따라, 가상객체의 위치속성 및 회전속성을 변경한다.(S400)Next, the positional property and rotational property of the virtual object are changed according to the generated three-dimensional movement information (S400).
사용자의 터치가 두 지점에 대한 터치이면, 회전정보 및 터치정보를 크기 조작 함수에 대입하여(S510), 상기 가상객체의 크기변경정보를 생성한다.(S520)If the user's touch is a touch for two points, the rotation information and the touch information are substituted into the size manipulation function (S510) to generate size change information of the virtual object (S520).
다음으로, 생성된 크기변경정보에 따라, 가상객체의 회전속성 및 크기속성을 변경한다.(S600)Next, the rotation property and the size property of the virtual object are changed according to the generated size change information (S600).
본 발명에 따른 증강현실 환경에서의 가상객체의 조작방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.The method of operating a virtual object in an augmented reality environment according to the present invention includes a computer readable medium including program instructions for performing operations implemented by various computers. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The media may be program instructions that are specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs and DVDs, and magnetic disks such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
..
이상에서 본 발명에 따른 증강현실 환경에서의 가상객체의 조작방법 및 이를 구현하는 증강 현실 장치에 관한 바람직한 실시예에 대하여 설명하였다. In the above, a preferred embodiment of a method of operating a virtual object in an augmented reality environment and an augmented reality device implementing the same has been described above.
전술된 실시예는 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로 이해되어야 하며, 본 발명의 범위는 전술된 상세한 설명보다는 후술될 특허청구범위에 의하여 나타내어지며, 그 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
It is to be understood that the above-described embodiments are illustrative in all aspects and should not be construed as limiting, the scope of the invention being indicated by the appended claims rather than the foregoing description, It is intended that all changes and modifications derived from the equivalent concept be included within the scope of the present invention.
100 : 증강현실 구현부
200 : 모바일 조작부100: augmented reality implementation
200: mobile control panel
Claims (8)
사용자 터치조작에 대응하는 2차원 이동정보 및, 사용자 회전 조작에 대응하는 회전정보를 생성하는 모바일 조작부를 포함하되,
상기 증강현실 구현부는, 상기 2차원 이동정보 및 상기 회전정보를 수신하고, 수신된 상기 2차원 이동정보 및 회전정보에 기초하여 상기 가상객체의 위치속성, 회전속성 및 크기속성 중 적어도 어느 하나를 변경하여, 3축 방향으로 상기 가상객체의 움직임 또는 크기를 변경하는 것을 특징으로 하는 증강 현실 장치.
An augmented reality implementation unit for acquiring an image of a real environment and augmenting a virtual object with the acquired image;
Including two-dimensional movement information corresponding to the user touch operation, and a mobile operation unit for generating rotation information corresponding to the user rotation operation,
The augmented reality implementation unit, receiving the two-dimensional movement information and the rotation information, based on the received two-dimensional movement information and rotation information change at least one of the position attribute, rotation attribute and size attribute of the virtual object And changing the movement or size of the virtual object in three axis directions.
일단이 헤드로 구성되는 상기 모바일 조작부에서,
상기 회전정보가, 상기 가상객체의 목표 이동방향으로 상기 헤드가 향하도록 상기 모바일 조작부를 기울이는 사용자의 제1 회전 조작으로 형성되고,
상기 2차원 이동정보가, 상기 제1 회전 조작과 동시에 이루어지며 한 지점에 대한 사용자의 터치로 시작하여 소정의 길이 이상을 가지는 제1 드래그 앤 드랍 조작으로 형성되면,
상기 증강현실 구현부는, 상기 제1 회전 조작으로 형성되는 상기 회전정보 및, 상기 제1 드래그 앤 드랍 조작으로 형성되는 상기 2차원 이동정보를 이동 조작 함수에 대입하여 상기 가상객체의 3차원 이동정보를 생성하는 것을 특징으로 하는 증강 현실 장치.
The method according to claim 1,
In the mobile operation unit, one end is composed of a head,
The rotation information is formed by a first rotation operation of a user inclining the mobile operation unit so that the head is directed in the target moving direction of the virtual object.
When the two-dimensional movement information is made at the same time as the first rotation operation and is formed by a first drag and drop operation having a predetermined length or more, starting with a user's touch on a point,
The augmented reality implementation unit, by substituting the rotation information formed by the first rotation operation and the two-dimensional movement information formed by the first drag and drop operation into a movement manipulation function to convert the three-dimensional movement information of the virtual object. Augmented reality device, characterized in that generating.
일단이 헤드로 구성되는 상기 모바일 조작부에서,
상기 회전정보가, 상기 가상객체의 목표 회전방향으로 상기 헤드가 회전하도록 상기 모바일 조작부를 기울이는 사용자의 제2 회전 조작으로 형성되고,
상기 제 2차원 이동정보는, 상기 제2 회전 조작과 동시에 이루어지며 한 지점에 대한 사용자의 터치로 시작되어 소정의 길이 미만을 가지는 제2 드래그 앤 드랍 방식의 조작 또는 사용자의 노터치(no touch) 조작 중 어느 하나로 형성되면,
상기 증강현실 구현부는, 상기 제2 회전 조작으로 형성되는 상기 회전정보를 회전 조작 함수에 대입하여 상기 헤드의 회전 방향으로 상기 가상객체를 회전시키기 위한 3차원 회전정보를 생성하는 것을 특징으로 하는 증강 현실 장치.
The method according to claim 1,
In the mobile operation unit, one end is composed of a head,
The rotation information is formed by a second rotation operation of the user inclining the mobile operation unit to rotate the head in the target rotation direction of the virtual object,
The second dimensional movement information is made at the same time as the second rotation operation and starts with the user's touch with respect to a point and has a second drag and drop method of operation having a predetermined length or no touch operation of the user. Once formed into any of
The augmented reality implementation unit, augmented reality, characterized in that for generating the three-dimensional rotation information for rotating the virtual object in the rotation direction of the head by substituting the rotation information formed by the second rotation operation to the rotation operation function. Device.
일단이 헤드로 구성되는 상기 모바일 조작부에서,
상기 회전정보가, 상기 가상객체의 목표 회전방향으로 상기 헤드가 회전하도록 상기 모바일 조작부를 기울이는 사용자의 제3 회전 조작으로 형성되고,
상기 제 2차원 이동정보는, 상기 제3 회전 조작과 동시에 이루어지며 두 지점에 대한 사용자의 터치로 시작되는 제3 드래그 앤 드랍 방식의 조작으로 형성되며,
상기 증강현실 구현부는, 상기 제3 회전 조작으로 형성되는 상기 회전정보 및 상기 제3 드래그 앤 드랍 조작으로 형성되는 상기 2차원 이동정보를 크기 조작 함수에 대입하여 상기 가상객체의 3차원 회전정보 및 크기변경정보를 생성하는 것을 특징으로 하는 증강 현실 장치.
The method according to claim 1,
In the mobile operation unit, one end is composed of a head,
The rotation information is formed by a third rotation operation of a user inclining the mobile operation unit to rotate the head in the target rotation direction of the virtual object,
The second dimensional movement information is formed by a third drag-and-drop operation, which is performed simultaneously with the third rotation operation and starts with a user's touch on two points.
The augmented reality implementation unit, by substituting the rotation information formed by the third rotation operation and the two-dimensional movement information formed by the third drag and drop operation into a size manipulation function, the three-dimensional rotation information and size of the virtual object. Augmented reality device, characterized in that for generating change information.
상기 회전 조작 함수는 이차함수 형식으로 구성되는 것을 특징으로 하는 증강 현실 장치.
The method of claim 3,
The rotation manipulation function is configured in a quadratic function format.
상기 회전 조작 함수의 변수는, 상기 모바일 조작부 파지시 상기 모바일 조작부의 최초 회전 각도, 3축 방향으로 각각 상기 모바일 조작부의 정방향 최대 회전 각도, 3축 방향으로 각각 상기 모바일 조작부의 역방향 최대 회전 각도 및, 3축 방향으로 각각 상기 모바일 조작부의 현재 회전각도인 것을 특징으로 하는 증강 현실 장치.
6. The method of claim 5,
The variable of the rotation manipulation function may include: an initial rotation angle of the mobile manipulation unit when grasping the mobile manipulation unit, a maximum rotation angle in the forward direction of the mobile manipulation unit in each of three axes, a maximum rotation angle of the reverse direction of the mobile manipulation unit in each of the three axes, and Augmented reality device, characterized in that the current rotation angle of the mobile operation unit in each of the three axis direction.
상기 증강 현실 구현부는,
a)모바일 조작부에 대한 사용자의 터치 동작 및 회전 동작에 대응하는, 터치정보 및 회전정보를 수신하는 단계;
b)수신된 상기 회전정보를 회전 조작 함수에 대입하여, 상기 가상객체의 3차원 회전정보를 생성하는 단계;
c)수신된 터치정보가 한 지점에 대한 터치에 의한 것인 경우, 상기 터치정보를 이동 조작 함수에 대입하여, 상기 가상객체의 3차원 이동정보를 생성하는 단계;
d)상기 3차원 회전정보 및 상기 3차원 이동정보에 기초하여 상기 가상객체의 위치속성 및 회전속성을 변경하는 단계;및
e)수신된 터치정보가 두 지점에 대한 터치에 의한 것인 경우, 상기 터치정보를 크기 조작 함수에 대입하여, 상기 가상객체의 크기변경정보를 생성하는 단계;및
f)상기 3차원 회전정보 및 상기 크기변경정보에 기초하여 상기 가상객체의 회전속성 및 크기속성을 변경하는 단계를 포함하는 증강현실 환경에서 가상객체의 조작 방법.
In a method of operating a virtual object in an augmented reality environment implemented through an augmented reality device including an augmented reality implementation unit and a mobile operation unit,
The augmented reality implementation unit,
a) receiving touch information and rotation information corresponding to a user's touch operation and rotation operation with respect to the mobile manipulation unit;
b) generating three-dimensional rotation information of the virtual object by substituting the received rotation information into a rotation manipulation function;
c) when the received touch information is due to a touch on a point, generating 3D movement information of the virtual object by substituting the touch information into a movement manipulation function;
d) changing the position property and rotation property of the virtual object based on the three-dimensional rotation information and the three-dimensional movement information; and
e) generating the size change information of the virtual object by substituting the touch information into a size manipulation function when the received touch information is due to a touch on two points; and
and f) changing a rotation property and a size property of the virtual object based on the 3D rotation information and the size change information.
상기 c)단계에서, 한 지점의 터치에서 시작되는 드래그 앤 드랍의 길이가 소정의 길이 미만이면, 상기 e)단계에서 상기 가상객체의 회전속성만을 변경하는 것을 특징으로 하는 증강현실 환경의 가상객체의 조작 방법.
The method of claim 7, wherein
In step c), if the length of the drag and drop starting at a point of touch is less than a predetermined length, in step e), only the rotation property of the virtual object is changed. Operation method.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110007244 | 2011-01-25 | ||
| KR20110007244 | 2011-01-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120086266A true KR20120086266A (en) | 2012-08-02 |
| KR101833253B1 KR101833253B1 (en) | 2018-02-28 |
Family
ID=46872171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120006959A KR101833253B1 (en) | 2011-01-25 | 2012-01-20 | Object manipulation method in augmented reality environment and Apparatus for augmented reality implementing the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101833253B1 (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101459445B1 (en) * | 2012-12-18 | 2014-11-07 | 현대자동차 주식회사 | System and method for providing a user interface using wrist angle in a vehicle |
| KR101470757B1 (en) * | 2013-09-30 | 2014-12-08 | 세종대학교산학협력단 | Method and apparatus for providing augmented reality service |
| KR101656025B1 (en) * | 2016-05-03 | 2016-09-08 | (주) 올림플래닛 | Method and computer program for controlling object in virtual reality interface system based on motion recognition of user |
| WO2017010614A1 (en) * | 2015-07-13 | 2017-01-19 | 한국과학기술원 | System and method for acquiring partial space in augmented space |
| KR101696607B1 (en) * | 2016-08-17 | 2017-02-03 | (주) 올림플래닛 | Computer program storing recording medium for real-time controlling object in virtual reality interface system |
| CN106445277A (en) * | 2016-08-31 | 2017-02-22 | 方卿 | Text displaying method in virtual reality |
| CN107209568A (en) * | 2015-01-21 | 2017-09-26 | 谷歌公司 | Phone control and presence in virtual reality |
| US9881423B2 (en) | 2015-06-15 | 2018-01-30 | Electronics And Telecommunications Research Institute | Augmented reality-based hand interaction apparatus and method using image information |
| WO2020122665A1 (en) * | 2018-12-14 | 2020-06-18 | Samsung Electronics Co., Ltd. | Systems and methods for virtual displays in virtual, mixed, and augmented reality |
| US10839563B2 (en) | 2017-12-20 | 2020-11-17 | Samsung Electronics Co., Ltd. | Method and apparatus for processing image interaction |
| WO2021133081A1 (en) * | 2019-12-27 | 2021-07-01 | 손범준 | Method, apparatus, and program for providing user interface for arrangement of virtual object |
| KR102391321B1 (en) * | 2020-11-18 | 2022-04-27 | 주식회사 모소 | System for implementing mixed reality |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102113150B1 (en) | 2018-10-17 | 2020-05-20 | 주식회사 픽스 | System and method for providing 3d puzzle game |
| KR20230105375A (en) | 2022-01-04 | 2023-07-11 | 주식회사 위즈팜 | 3d image model implementation method, apparatus and systems for metaverse platform environment production |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100643276B1 (en) | 2004-08-07 | 2006-11-10 | 삼성전자주식회사 | Three dimensional motion graphic user interface and method and apparutus for providing this user interface |
-
2012
- 2012-01-20 KR KR1020120006959A patent/KR101833253B1/en active IP Right Grant
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101459445B1 (en) * | 2012-12-18 | 2014-11-07 | 현대자동차 주식회사 | System and method for providing a user interface using wrist angle in a vehicle |
| KR101470757B1 (en) * | 2013-09-30 | 2014-12-08 | 세종대학교산학협력단 | Method and apparatus for providing augmented reality service |
| CN107209568A (en) * | 2015-01-21 | 2017-09-26 | 谷歌公司 | Phone control and presence in virtual reality |
| US9881423B2 (en) | 2015-06-15 | 2018-01-30 | Electronics And Telecommunications Research Institute | Augmented reality-based hand interaction apparatus and method using image information |
| WO2017010614A1 (en) * | 2015-07-13 | 2017-01-19 | 한국과학기술원 | System and method for acquiring partial space in augmented space |
| US10409447B2 (en) | 2015-07-13 | 2019-09-10 | Korea Advanced Institute Of Science And Technology | System and method for acquiring partial space in augmented space |
| KR101656025B1 (en) * | 2016-05-03 | 2016-09-08 | (주) 올림플래닛 | Method and computer program for controlling object in virtual reality interface system based on motion recognition of user |
| KR101696607B1 (en) * | 2016-08-17 | 2017-02-03 | (주) 올림플래닛 | Computer program storing recording medium for real-time controlling object in virtual reality interface system |
| CN106445277B (en) * | 2016-08-31 | 2019-05-14 | 和思易科技(武汉)有限责任公司 | Text rendering method in virtual reality |
| CN106445277A (en) * | 2016-08-31 | 2017-02-22 | 方卿 | Text displaying method in virtual reality |
| US10839563B2 (en) | 2017-12-20 | 2020-11-17 | Samsung Electronics Co., Ltd. | Method and apparatus for processing image interaction |
| WO2020122665A1 (en) * | 2018-12-14 | 2020-06-18 | Samsung Electronics Co., Ltd. | Systems and methods for virtual displays in virtual, mixed, and augmented reality |
| US10854169B2 (en) | 2018-12-14 | 2020-12-01 | Samsung Electronics Co., Ltd. | Systems and methods for virtual displays in virtual, mixed, and augmented reality |
| WO2021133081A1 (en) * | 2019-12-27 | 2021-07-01 | 손범준 | Method, apparatus, and program for providing user interface for arrangement of virtual object |
| KR102391321B1 (en) * | 2020-11-18 | 2022-04-27 | 주식회사 모소 | System for implementing mixed reality |
| KR20220068203A (en) * | 2020-11-18 | 2022-05-25 | 주식회사 모소 | System for implementing mixed reality |
| KR20220068204A (en) * | 2020-11-18 | 2022-05-25 | 주식회사 모소 | System for implementing mixed reality |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101833253B1 (en) | 2018-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101833253B1 (en) | Object manipulation method in augmented reality environment and Apparatus for augmented reality implementing the same | |
| CN110603509B (en) | Joint of direct and indirect interactions in a computer-mediated reality environment | |
| CN108292146B (en) | Laser pointer interaction and scaling in virtual reality | |
| KR101315303B1 (en) | Head mounted display apparatus and contents display method | |
| JP7079231B2 (en) | Information processing equipment, information processing system, control method, program | |
| KR101546654B1 (en) | Method and apparatus for providing augmented reality service in wearable computing environment | |
| KR102222974B1 (en) | Holographic snap grid | |
| US9886102B2 (en) | Three dimensional display system and use | |
| CN116324680A (en) | Method for manipulating objects in an environment | |
| KR100671585B1 (en) | Method and device for browsing information on a display | |
| KR101303939B1 (en) | Display apparatus and contents display method | |
| US20140267637A1 (en) | Hybrid stereoscopic viewing device | |
| US10649616B2 (en) | Volumetric multi-selection interface for selecting multiple objects in 3D space | |
| EP2558924B1 (en) | Apparatus, method and computer program for user input using a camera | |
| KR101196291B1 (en) | Terminal providing 3d interface by recognizing motion of fingers and method thereof | |
| WO2008094458A1 (en) | Viewing images with tilt control on a hand-held device | |
| US10983661B2 (en) | Interface for positioning an object in three-dimensional graphical space | |
| US10649615B2 (en) | Control interface for a three-dimensional graphical object | |
| CN111373347B (en) | Apparatus, method and computer program for providing virtual reality content | |
| CN103975290A (en) | Methods and systems for gesture-based petrotechnical application control | |
| CN114529691A (en) | Window control method, electronic device and computer readable storage medium | |
| Goh et al. | An inertial device-based user interaction with occlusion-free object handling in a handheld augmented reality | |
| US11527049B2 (en) | Method and device for sketch-based placement of virtual objects | |
| JP6357412B2 (en) | Information processing apparatus, information processing system, information processing method, and program | |
| CN109716395B (en) | Maintaining object stability in virtual reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |