KR101155761B1 - Method and apparatus for presenting location information on augmented reality - Google Patents
Method and apparatus for presenting location information on augmented reality Download PDFInfo
- Publication number
- KR101155761B1 KR101155761B1 KR1020100066353A KR20100066353A KR101155761B1 KR 101155761 B1 KR101155761 B1 KR 101155761B1 KR 1020100066353 A KR1020100066353 A KR 1020100066353A KR 20100066353 A KR20100066353 A KR 20100066353A KR 101155761 B1 KR101155761 B1 KR 101155761B1
- Authority
- KR
- South Korea
- Prior art keywords
- region
- camera
- augmented reality
- virtual objects
- area
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명의 증강 현실 화면 생성 방법은, 사용자의 위치 및 방향을 구하는 단계; 사용자 위치를 기준으로 하여, 검색된 주변 정보의 가상 오브젝트들을 사용자 위치를 중심으로 한 구형의 매핑 입체에 투사한 좌표에 따라, 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하는 단계; 가상 오브젝트들이 속하는 주변 영역 내에 가상 오브젝트들을 각각 매핑하는 단계; 및 가상 오브젝트들이 매핑된 증강 현실 레이어와 카메라로 촬영한 현실 세계 화면을 합성하여 증강 현실 화면을 생성하는 단계를 포함할 수 있다.The method of generating an augmented reality screen of the present invention includes: obtaining a position and a direction of a user; Based on the coordinates of projecting the virtual objects of the retrieved surrounding information onto a rectangular mapping stereoscopic centering on the user position, the virtual objects are displayed in any one of the front region and the surrounding regions of the augmented reality layer. Determining whether or not; Mapping each virtual object in a peripheral area to which the virtual objects belong; And generating an augmented reality screen by synthesizing the augmented reality layer to which virtual objects are mapped and a real world screen photographed by a camera.
Description
본 발명은 증강 현실 기법에 관한 것으로, 더욱 상세하게는, 증강 현실을 이용하여 화면에 위치 정보를 표시하는 기술에 관한 것이다.The present invention relates to an augmented reality technique, and more particularly, to a technique for displaying location information on a screen using augmented reality.
증강 현실(AR: augmented reality)은 현실 세계의 시각 표시에 가상 오브젝트를 삽입하여 공통 공간에 실제 오브젝트와 가상 오브젝트가 함께 표시되도록 함으로써 사용자에게 현실 세계의 시각 표시만으로는 얻을 수 없는 정보를 제공하는 기법이다.Augmented reality (AR) is a technique that inserts a virtual object into the visual display of the real world and displays the real object and the virtual object together in a common space, thereby providing the user with information that cannot be obtained only by the visual display of the real world. .
이러한 증강 현실 기법은 다양한 분야에서 널리 적용되기 시작하고 있으며, 항법(navigation), 주변 정보 검색(local venue searching), 소셜 네트워킹(social networking), 게이밍(gaming) 분야나, 군사, 의료, 물류 분야에도 적용되고 있다.These augmented reality techniques are beginning to be widely applied in various fields, and are also used in navigation, local venue searching, social networking, gaming, military, medical, and logistics. Is being applied.
증강 현실 기법은 기본적으로 사용자가 자기 위치 주변의 다양한 정보를 검색하는 것이며, 크게 두 가지 경우로 나눌 수 있다. 먼저, 사용자가 탐색하고자 하는 대상의 위치와 방향을 알고 있는 경우로서, 예를 들어, 사용자가 현재 바라보고 있는 건물에 관한 정보를 얻고자 하는 경우이다. 이러한 경우에 증강 현실 기법은 특이할 것이 없다. Augmented reality technique is basically a user searches for a variety of information around their location, can be divided into two cases. First, when the user knows the location and direction of the object to be searched, for example, when the user wants to obtain information about the building currently viewed. In this case, the augmented reality technique is nothing unusual.
다른 하나는, 사용자가 탐색하고자 하는 대상의 위치와 방향을 아직 모르고 있거나 정하지 않은 경우로서, 예를 들어 주변에 괜찮은 커피숍을 검색하는 경우이다. 이 경우에, 검색된 정보들은 증강 현실을 지원하는 장치의 카메라와 디스플레이의 기기적 한계에 따른 좁은 시야각에만 나타나기 때문에, 사용자는 증강 현실 장치를 들고 가상 오브젝트들을 찾아 주변을 둘러보아야 한다. 따라서 검색된 전체 정보들을 한 눈에 볼 수 있는 방법이 추가로 필요하다.The other is when the user does not know or determine the location and direction of the object to be searched, for example, when searching for a good coffee shop around. In this case, since the retrieved information appears only in a narrow viewing angle according to the mechanical limitations of the camera and the display of the device supporting the augmented reality, the user should look for the virtual objects with the augmented reality device. Therefore, there is a need for an additional method for viewing the entire retrieved information at a glance.
종래의 증강 현실 탐색 방법에서는, 검색된 전체 가상 오브젝트들을 탑뷰(top-view) 시점에서 본 2차원 레이더 형태의 오버뷰(over-view)에 표시하거나, 또는 구면 좌표계의 수평 방위(azimuth)와 수직 방위(elevation)을 각각 가로축과 세로축으로 한 1인칭 시점의 2차원 레이더 형태로 보여준다. 전자의 경우 오버뷰가 검색된 가상 오브젝트의 높이 정보를 전혀 제공하지 않기 때문에 가상 오브젝트의 3차원 표시가 곤란하고 탑뷰 시점이 사용자의 시점과 전혀 달라 혼란을 줄 수 있다. 후자의 경우, 가상 오브젝트의 수직 방위 크기가 클수록 레이더의 왜곡이 커지고 현실과 불일치한다는 단점이 있다.In the conventional augmented reality search method, the retrieved entire virtual objects are displayed in an over-view of a two-dimensional radar form viewed from the top-view point of view, or the horizontal and vertical orientations of the spherical coordinate system ( elevation) is shown in the form of a two-dimensional radar of the first-person view with horizontal and vertical axes, respectively. In the former case, since the overview does not provide the height information of the retrieved virtual object at all, the 3D display of the virtual object is difficult and the top view viewpoint is completely different from that of the user, which may cause confusion. In the latter case, the larger the vertical orientation of the virtual object, the larger the distortion of the radar and the inconsistency with reality.
본 발명이 해결하고자 하는 과제는 증강 현실 탐색 시에 검색된 가상 오브젝트들의 방위를 사용자가 쉽게 인지할 수 있도록 표시하기 위한 방법 및 장치를 제공하는 데에 있다.An object of the present invention is to provide a method and apparatus for displaying the orientation of the retrieved virtual objects in augmented reality search so that a user can easily recognize them.
본 발명의 일 측면에 따른 증강 현실 화면 생성 방법은,Augmented reality screen generation method according to an aspect of the present invention,
사용자의 위치 및 방향을 구하는 단계;Obtaining a location and a direction of the user;
상기 사용자 위치를 기준으로 하여, 검색된 주변 정보의 가상 오브젝트들을 상기 사용자 위치를 중심으로 한 구형의 매핑 입체에 투사한 좌표에 따라, 상기 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하는 단계;Based on the coordinates of projecting the virtual objects of the searched peripheral information on a rectangular mapping stereoscopic centered on the user position based on the user position, any one of the front region and the surrounding regions of the augmented reality layer Deciding whether to display on;
상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하는 단계; 및Mapping each of the virtual objects within a peripheral area to which the virtual objects belong; And
상기 가상 오브젝트들이 매핑된 상기 증강 현실 레이어와 카메라로 촬영한 현실 세계 화면을 합성하여 증강 현실 화면을 생성하는 단계를 포함할 수 있다.The method may include generating an augmented reality screen by synthesizing the augmented reality layer to which the virtual objects are mapped and a real world screen photographed by a camera.
일 실시예에 따르면, According to one embodiment,
상기 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하는 단계는Determining in which of the front region and the peripheral region of the augmented reality layer to display the virtual objects is
상기 매핑 입체 상의 투사된 좌표로부터 상기 중심부 표면의 경계에 도달하기까지 상기 가상 오브젝트들을 회전시켜야 하는 회전 방향이 수직 성분만 가질 경우에는 상기 가상 오브젝트들을 각각 상단 영역 또는 하단 영역에 표시하고, 상기 회전 방향이 수평 성분만 가질 경우 각각 좌측 영역 또는 우측 영역에 표시하며, 상기 회전 방향이 수직 성분 및 수평 성분을 가질 경우에는 그 회전 방향에 따라 좌상단, 우상단, 좌하단, 우하단 영역들 중 하나의 영역에 표시하는 단계를 포함할 수 있다.When the direction of rotation in which the virtual objects are to be rotated from the projected coordinates on the mapping stereoscopic body to reach the boundary of the central surface has only a vertical component, the virtual objects are displayed in an upper region or a lower region, respectively, and the rotation direction In case of having only the horizontal component, it is displayed in the left region or the right region, respectively. When the rotation direction has the vertical component and the horizontal component, it is displayed in one of the upper left, upper right, lower left and lower right regions according to the rotation direction. It may include the step of displaying.
일 실시예에 따르면, According to one embodiment,
상기 상단 또는 하단 영역은 상기 구형의 매핑 입체의 극점을 포함하여 상기 사용자의 배면 일부까지 확장될 수 있다.The upper or lower region may extend to a part of the rear surface of the user, including the pole of the rectangular mapping solid.
일 실시예에 따르면, 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하는 단계는,According to one embodiment, mapping each of the virtual objects in the peripheral area to which the virtual objects belong,
상기 가상 오브젝트가 상기 구형 매핑 입체에 투사되는 좌표와 상기 정면 영역 사이의 각도 및 주변 영역의 폭에 기초하여 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하는 단계를 포함할 수 있다.And mapping each of the virtual objects within a peripheral area to which the virtual objects belong, based on the coordinates of the virtual object projected onto the spherical mapping solid, the angle between the front area, and the width of the peripheral area.
일 실시예에 따르면, 상기 증강 현실 화면 생성 방법은,According to one embodiment, the method of generating an augmented reality screen,
사용자가 상기 증강 현실 장치를 회전 병진할 경우에, 그 회전 방향의 성분에 상응하는 주변 영역의 폭을 동적으로 확대 또는 축소하는 단계를 더 포함할 수 있다.When the user rotates and translates the augmented reality device, the method may further include dynamically enlarging or reducing the width of the peripheral area corresponding to the component in the rotation direction.
일 실시예에 따르면, 상기 증강 현실 화면 생성 방법은,According to one embodiment, the method of generating an augmented reality screen,
상기 주변 영역의 폭이 확대된 후 소정 시간 동안 상기 증강 현실 장치의 유의미한 움직임이 없는 경우 또는 상기 증강 현실 장치가 이전과 반대로 회전 병진할 경우에는, 상기 확대된 주변 영역의 폭을 원래대로 축소하는 단계를 더 포함할 수 있다.If there is no significant movement of the augmented reality device for a predetermined time after the width of the surrounding area is enlarged or if the augmented reality device is rotated and translated as opposed to the previous step, reducing the width of the enlarged surrounding area as originally It may further include.
일 실시예에 따르면, 상기 주변 영역의 폭이 확대되는 정도는 상기 증강 현실 장치의 회전 가속도에 기초하여 결정될 수 있다.According to an embodiment, the extent to which the width of the peripheral area is enlarged may be determined based on the rotational acceleration of the augmented reality device.
일 실시예에 따르면, 상기 주변 영역의 폭이 확대된 후 소정의 시간 내에 다른 회전 방향으로 회전할 경우, 상기 이미 확대된 주변 영역의 폭을 유지한 채로, 그 다른 회전 방향의 성분에 상응하는 다른 주변 영역의 폭을 확대하는 단계를 더 포함할 수 있다. According to an embodiment, when the width of the peripheral area is enlarged and rotates in another rotation direction within a predetermined time, the other corresponding to the component of the other rotation direction is maintained while maintaining the width of the already enlarged peripheral area. The method may further include expanding a width of the peripheral area.
본 발명의 일 측면에 따른 컴퓨터 장치로 읽을 수 있는 기록 매체는, 컴퓨터 장치에서 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법의 각 단계들을 실행시키기 위한 프로그램이 기록된 기록 매체일 수 있다.The recording medium readable by the computer device according to an aspect of the present invention may be a recording medium in which a program for executing each step of the augmented reality screen generating method according to an embodiment of the present invention is recorded on the computer device.
본 발명의 일 측면에 따른 증강 현실 장치는,Augmented reality device according to an aspect of the present invention,
사용자의 위치를 제공하는 위치 검출 모듈;A location detection module for providing a location of a user;
사용자의 방향을 제공하는 자세 센서 모듈;A posture sensor module providing a direction of a user;
현실 세계 화면을 제공하는 카메라 모듈;A camera module for providing a real world screen;
상기 사용자 위치를 기준으로 하여, 검색된 주변 정보의 가상 오브젝트들을 상기 사용자 위치를 중심으로 한 구형의 매핑 입체에 투사한 좌표에 따라, 상기 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하고, 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하며, 상기 가상 오브젝트들이 매핑된 상기 증강 현실 레이어와 상기 카메라 모듈로 촬영한 현실 세계 화면을 합성하여 증강 현실 화면을 생성하도록 동작하는 제어부를 포함할 수 있다. Based on the coordinates of projecting the virtual objects of the searched peripheral information on a rectangular mapping stereoscopic centered on the user position based on the user position, any one of the front region and the surrounding regions of the augmented reality layer Determine whether to display on the screen, map the virtual objects in a peripheral area to which the virtual objects belong, and synthesize the augmented reality layer and the real world screen photographed by the camera module to which the virtual objects are mapped. It may include a control unit operable to generate.
일 실시예에 따르면,According to one embodiment,
상기 구형 매핑 입체의 표면에는 사용자의 정면 시야의 중심부에 해당하는 중심부 표면이 설정되고,The central surface corresponding to the center of the frontal view of the user is set on the surface of the spherical mapping solid,
상기 증강 현실 레이어는 상기 중심부 표면에 상응하는 정면 영역과, 정면 영역의 상하좌우 방향의 상단, 하단, 좌측, 우측, 좌상단, 우상단, 좌하단, 우하단 영역들의 주변 영역으로 구분될 수 있다. The augmented reality layer may be divided into a front region corresponding to the center surface and a peripheral region of upper, lower, left, right, upper left, upper right, lower left, and lower right regions of the front region.
일 실시예에 따르면, 상기 제어부는,According to one embodiment, the control unit,
상기 매핑 입체 상의 투사된 좌표로부터 상기 중심부 표면의 경계에 도달하기까지 상기 가상 오브젝트들을 회전시켜야 하는 회전 방향이 수직 성분만 가질 경우에는 상기 가상 오브젝트들을 각각 상단 영역 또는 하단 영역에 표시하고, If the direction of rotation in which the virtual objects are to be rotated from the projected coordinates on the mapping solid to reach the boundary of the central surface has only a vertical component, the virtual objects are displayed in the upper region or the lower region, respectively.
상기 회전 방향이 수평 성분만 가질 경우 각각 좌측 영역 또는 우측 영역에 표시하며, When the rotation direction has only a horizontal component, respectively, it is displayed in the left region or the right region,
상기 회전 방향이 수직 성분 및 수평 성분을 가질 경우에는 그 회전 방향에 따라 좌상단, 우상단, 좌하단, 우하단 영역들 중 하나의 영역에 표시하도록 동작할 수 있다. When the rotation direction has a vertical component and a horizontal component, the rotation direction may be displayed on one of the upper left, upper right, lower left and lower right regions according to the rotation direction.
일 실시예에 따르면, 상기 제어부는,According to one embodiment, the control unit,
상기 가상 오브젝트가 상기 구형 매핑 입체에 투사되는 좌표와 상기 정면 영역 사이의 각도 및 주변 영역의 폭에 기초하여 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하도록 동작할 수 있다. The virtual objects may be operative to map the virtual objects within the peripheral area to which the virtual objects belong, based on the coordinates projected onto the spherical mapping solid, the angle between the front area, and the width of the peripheral area.
일 실시예에 따르면, 상기 제어부는,According to one embodiment, the control unit,
사용자가 상기 증강 현실 장치를 회전 병진할 경우에, 그 회전 방향의 성분에 상응하는 주변 영역의 폭을 동적으로 확대 또는 축소하도록 동작할 수 있다. When the user rotates and translates the augmented reality device, the user may be operable to dynamically enlarge or reduce the width of the peripheral area corresponding to the component of the rotation direction.
일 실시예에 따르면, 상기 카메라 모듈은 사각형 피쉬아이 렌즈 및 촬상 장치를 포함할 수 있다. According to an embodiment, the camera module may include a square fisheye lens and an imaging device.
일 실시예에 따르면, 상기 위치 검출 모듈은 GPS 방식 또는 A-GPS 방식 기반이거나, 또는 이동통신망 기반의 위치 검출 알고리즘을 통해 상기 사용자의 위치를 결정하도록 동작할 수 있다. According to an embodiment of the present disclosure, the location detection module may be operated to determine the location of the user through a GPS method or an A-GPS method based or a mobile communication network based location detection algorithm.
일 실시예에 따르면, 상기 자세 센서 모듈은 가속도 센서, 지자기 센서 또는 자이로 센서를 포함할 수 있다.According to an embodiment, the posture sensor module may include an acceleration sensor, a geomagnetic sensor, or a gyro sensor.
본 발명의 다른 측면에 따른 컴퓨터 장치로 읽을 수 있는 기록 매체는 컴퓨터 장치를 본 발명의 일 실시예에 따른 증강 현실 장치로서 기능시키기 위한 프로그램을 기록한 기록 매체일 수 있다.The recording medium readable by the computer device according to another aspect of the present invention may be a recording medium that records a program for causing the computer device to function as an augmented reality device according to an embodiment of the present invention.
본 발명의 다른 측면에 따른 스마트폰은,Smartphone according to another aspect of the present invention,
사용자의 위치를 제공하는 GPS 모듈;A GPS module for providing a location of a user;
사용자의 방향을 제공하는 가속도 센서 모듈;An acceleration sensor module providing a direction of a user;
상기 사용자의 방향으로 바라본 현실 세계 화면을 제공하는 카메라 모듈;A camera module for providing a real world screen viewed in the direction of the user;
상기 사용자 위치의 주변 정보를 검색할 수 있도록 외부의 검색 서버와 통신하는 통신 모듈;A communication module for communicating with an external search server to search for surrounding information of the user location;
상기 사용자 위치를 기준으로 하여, 상기 검색된 주변 정보의 가상 오브젝트들을 상기 사용자 위치를 중심으로 한 구형의 매핑 입체에 투사한 좌표에 따라, 상기 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하고, 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하며, 상기 가상 오브젝트들이 매핑된 상기 증강 현실 레이어와 상기 현실 세계 화면을 합성하여 증강 현실 화면을 생성하도록 작성된 프로그램을 구동하는 중앙 처리 장치; 및Based on the coordinates of projecting the virtual objects of the searched peripheral information onto a rectangular mapping stereoscopic centered on the user position, the virtual objects are either one of the front region and the peripheral regions of the augmented reality layer. A program written to determine whether to display in an area, to map the virtual objects in a peripheral area to which the virtual objects belong, and to synthesize the augmented reality layer and the real world screen to which the virtual objects are mapped to generate an augmented reality screen. A central processing unit for driving the; And
상기 증강 현실 화면을 표시하는 디스플레이를 포함할 수 있다.It may include a display for displaying the augmented reality screen.
본 발명의 증강 현실 장치 및 증강 현실 화면 생성 방법에 따르면, 증강 현실 탐색 시에 검색된 모든 방향의 가상 오브젝트들을 사용자가 쉽게 인지할 수 있도록 표시할 수 있다.According to the augmented reality device and the augmented reality screen generating method of the present invention, the virtual objects of all directions found in the augmented reality search can be displayed so that the user can easily recognize.
도 1은 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법의 매핑 입체와 증강 현실 레이어를 예시한 개념도이다.
도 2는 본 발명의 다른 실시예에 따른 증강 현실 화면 생성 방법의 매핑 입체와 증강 현실 레이어를 예시한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법에서 가상 오브젝트들의 방위를 증강 현실 레이어에 표시하는 방법을 예시한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법에서 가상 오브젝트의 아이콘들을 증강 현실 레이어에 표시하는 프로세스에 관하여 작성한 수도코드(pseudo code)을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법을 통해 생성된 증강 현실 화면을 예시한 개념도이다.
도 6은 본 발명의 다른 실시예에 따른 증강 현실 화면 생성 방법에서, 디바이스의 회전 이동에 따른 증강 현실 레이어의 동적 변화를 예시한 개념도이다.
도 7은 본 발명의 일 실시예에 따른 증강 현실 지원 디바이스를 예시한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법을 대략적으로 예시한 순서도이다.1 is a conceptual diagram illustrating mapping stereoscopic and augmented reality layers of an augmented reality screen generating method according to an embodiment of the present invention.
2 is a conceptual diagram illustrating a mapping stereoscopic and augmented reality layer in the augmented reality screen generating method according to another embodiment of the present invention.
3 is a flowchart illustrating a method of displaying a bearing of virtual objects on an augmented reality layer in the augmented reality screen generating method according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating a pseudo code written with respect to a process of displaying icons of a virtual object on an augmented reality layer in the method of generating an augmented reality screen according to an embodiment of the present invention.
5 is a conceptual diagram illustrating an augmented reality screen generated by the augmented reality screen generating method according to an embodiment of the present invention.
6 is a conceptual diagram illustrating a dynamic change of an augmented reality layer according to a rotational movement of a device in the method of generating an augmented reality screen according to another embodiment of the present invention.
7 is a block diagram illustrating an augmented reality support device according to an embodiment of the present invention.
8 is a flowchart schematically illustrating a method for generating an augmented reality screen according to an embodiment of the present invention.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다. For the embodiments of the invention disclosed herein, specific structural and functional descriptions are set forth for the purpose of describing an embodiment of the invention only, and it is to be understood that the embodiments of the invention may be practiced in various forms, The present invention should not be construed as limited to the embodiments described in Figs.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. The same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.
도 1은 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법의 매핑 입체(mapping sphere)와 증강 현실 레이어를 예시한 개념도이다.1 is a conceptual diagram illustrating a mapping sphere and an augmented reality layer of an augmented reality screen generating method according to an embodiment of the present invention.
도 1을 참조하면, 사용자가 증강 현실을 이용하는 화면은 직사각형 형태의 평면 디스플레이이고, 그 평면 디스플레이에 표시할 화면은 사용자를 중심으로 한 구형(sphere) 입체 표면에서 사용자(즉 증강 현실 디바이스)가 바라보는 시야에 상당하는 영역을 그 화면에 매핑함으로써 생성된다.Referring to FIG. 1, a screen using augmented reality is a flat panel display having a rectangular shape, and a screen to be displayed on the flat display is viewed by a user (ie, an augmented reality device) on a sphere stereoscopic surface centered on the user. It is created by mapping an area corresponding to the field of view to the screen.
본 발명에서 매핑 입체는 구형 입체로서, 사용자의 주변 전체의 4π스테라디안(steradian)을 모두 포괄할 수 있다. 매핑 입체의 두 극점(poles)은 사용자를 중심으로 각각 중력 방향과 중력 반대 방향을 향하는 직선이 매핑 입체 표면과 만나는 점이다. 사용자 시야의 회전은 디바이스 자체의 회전이라기보다는, 중력축을 기준으로 하는 방위(azimuth) 상의 회전을 의미한다.In the present invention, the mapping stereogram is a spherical stereogram, and may cover all 4π steradians of the entire surrounding of the user. The two poles of the mapping solids are the points where a straight line facing the gravity direction and the opposite direction of gravity meets the mapping solid surface, respectively, about the user. Rotation of the user's field of view means rotation in azimuth about the axis of gravity rather than rotation of the device itself.
본 발명의 목적은 이러한 구형의 매핑 입체의 표면의 여러 영역들을 사용자가 바라보는 시야를 반영한 직사각형의 증강 현실 레이어에 매핑하는 것이다.It is an object of the present invention to map various areas of this spherical mapping solid surface to a rectangular augmented reality layer that reflects the user's field of view.
사용자의 시야는 사용자가 향한 방향과 사용자가 들고 있는 증강 현실 디바이스의 카메라 방향이 일치한다는 가정 하에, 그리고 사용자와 증강 현실 디바이스 사이의 거리가 특정되었다(예를 들어 스마트폰의 경우에는 팔을 뻗은 거리, 헤드마운트 디스플레이라면 사용자의 눈과 카메라의 거리)는 가정 하에 결정될 수 있다.The user's field of view was specified assuming that the direction the user was facing and the camera direction of the augmented reality device he was holding and the distance between the user and the augmented reality device were specified (e.g., in the case of a smartphone, the outstretched distance). In the case of a head mounted display, the distance between the user's eyes and the camera may be determined under the assumption.
본 발명의 일 실시예에서, 사용자의 2π 스테라디안 시야는 피쉬아이(fisheye), 특히 사각형 피쉬아이(rectangular fisheye) 렌즈 및 촬상 장치에 의해 확보된다.In one embodiment of the invention, the 2π steradian field of view of the user is ensured by a fisheye, in particular a rectangular fisheye lens and an imaging device.
본 발명의 다른 실시예에서는, 사용자의 시야는 통상적인 촬영각을 가진 렌즈 및 촬상 장치에 의해 확보될 수도 있다. 이 경우, 증강 현실 화면의 기초가 되는 현실 세계의 캡쳐 화면은 매핑 입체의 표면 중에서 사용자의 정면에 해당하는 일부에 해당한다.In another embodiment of the present invention, the user's field of view may be secured by a lens and an imaging device having a normal photographing angle. In this case, the capture screen of the real world, which is the basis of the augmented reality screen, corresponds to a part corresponding to the front of the user among the surfaces of the mapping stereoscopic image.
증강 현실 레이어(11)는 총 9 개의 영역으로 구분되는데, 정면 영역(111), 상단 영역(112), 하단 영역(113), 좌측 영역(114), 우측 영역(115), 좌상단 영역(116), 우상단 영역(117), 좌하단 영역(118) 및 우하단 영역(119)으로 나눌 수 있다.The
각 영역들(111 내지 119)의 크기, 형태, 면적은 화면의 해상도나 크기 등의 요소에 따라 적절하게 결정될 수 있으며, 도 1에서는 설명의 편의상 정면 영역(111)이 가장 큰 직사각형이고 각 영역들(111 내지 119)은 각각 직선으로 구분되는 것으로 설명된다.The size, shape, and area of each of the
정면 영역(111)은 사용자가 바라보는 시야의 중심부에 상응하는 영역으로서, 레이어 내의 가상 오브젝트 아이콘의 위치는 사용자의 시선을 기준으로 가상 오브젝트의 위치 및 실제 오브젝트의 위치를 실질적으로 반영하도록 결정된다. 사용자를 중심으로 정면 영역(111)에 투사되는 입체를 시야 절두체(view frunstum)라 한다.The
정면 영역(111)을 제외한 주변 영역들(112 내지 119)에는 정면 영역(111)에 표시되지 않는 가상 오브젝트들 중에서 사용자가 그 주변 영역들에 상응하는 방향으로 회전했을 때에 정면 영역(111)에 나타날 가상 오브젝트들이 각각 표시된다.
예를 들어, 상단 영역(112)에는 사용자가 증강 현실 디바이스를 위로 치켜 올려다 볼 때에(즉 고도각(elevation)이 높아질 때에) 비로소 정면 영역(111)에 표시될 가상 오브젝트들이 밀집되어 있다. 마찬가지로, 좌측 영역(114)에는 사용자가 증강 현실 디바이스를 좌측으로 회전했을 때에(즉 방위각(azimuth)이 줄어들 때에) 비로소 정면 영역(111)에 표시될 가상 오브젝트들이 밀집되어 표시된다.For example, in the
다만, 모서리의 직각 영역들(116 내지 119)에서는, 상하 또는 좌우 방향의 회전 동작이 아닌 비스듬한 방향의 회전 동작이 필요한 가상 오브젝트들이 밀집되어 표시된다.However, in the right
위와 같이 표시되기 위해, 매핑 입체(12)의 표면은 증강 현실 레이어(11)의 각 영역들(111 내지 119)에 매핑된다. 매핑 입체의 중심이 사용자의 눈의 위치이고 하단 극점은 중력의 방향을 의미할 때, 사용자의 정면 시야각 2π 스테라디안의 중심부에 해당하는 표면(121)은 정면 영역(111)에 매핑된다. In order to be displayed as above, the surface of the mapping solidification 12 is mapped to
매핑 입체(12)에서 시야각 중심부 표면(121)의 상부 및 하부에 있는 상단 표면(122)과 하단 표면(123)은 각각 상단 영역(112)과 하단 영역(113에 매핑된다. 매핑 입체(12)의 적도와 평행한 좌측 및 우측 수평 표면(124, 125)은 각각 좌측 영역(114)과 우측 영역(115)에 매핑된다.The
매핑 입체(12)에서 상단 표면(122)과 좌측 수평 표면(124) 사이의 좌상단 표면(126)은 좌상단 영역(116)에, 상단 표면(122)과 우측 수평 표면(125) 사이의 우상단 표면(127)은 우상단 영역(117)에 각각 매핑된다. 매핑 입체(12)에서 하단 표면(123)과 좌측 수평 표면(124) 사이의 좌하단 표면(128)은 좌하단 영역(118)에, 하단 표면(123)과 우측 수평 표면(125) 사이의 우하단 표면(129)은 우하단 영역(119)에 각각 매핑된다.The upper
이때, 만약 모든 방향의 가상 오브젝트들을 증강 현실 레이어에 표시하고자 한다면 각각의 표면들(122 내지 129)은 최대한 확대되어야 할 것이고, 따라서 상단 표면(122)과 하단 표면(123)은 각각 사용자의 시야 한계를 의미하는 자오선에 의해 제한되며, 좌측 수평 표면(124)과 우측 수평 표면(125), 좌상단 표면(126)과 우상단 표면(127), 좌하단 표면(128)과 우하단 표면(129)은 각각 사용자의 몸통의 앞뒤를 의미하는 자오선에 의해 분리된다고 할 수 있다.In this case, if the virtual objects in all directions are to be displayed on the augmented reality layer, each of the
한편, 정면 영역(111)에 표시되기 위해서는 디바이스의 고도와 방위가 회전되어야 하는데, 매핑 입체(12)의 각 표면들은 각각 그러한 회전 방향이 공통된다. 따라서, 어떤 가상 오브젝트에 대하여, 매핑을 통해 정면 영역(111)에 표시되기 위한 회전 지시 방향(guidance of the direction to move)이 연산될 수 있다.On the other hand, in order to be displayed on the
예를 들어, 회전 지시 방향의 수평 방향 요소를 dh, 수직 방향 요소를 dv라 하고, 방향 값 d는 d∈{0, up, down, right, left}라 할 경우에, 시야각 중심부 표면(121)은 (dh, dv) = (0, 0), 상단 표면(122)은 (dh, dv) = (0, up)이고, 하단 표면(123)은 (dh, dv) = (0, down), 좌측 수평 표면(124)은 (dh, dv) = (left, 0), 우측 수평 표면(125)은 (dh, dv) = (right, 0), 좌상단 표면(126)은 (dh, dv) = (left, up), 우상단 표면(127)은 (dh, dv) = (right, up), 좌하단 표면(128)은 (dh, dv) = (left, down), 마지막으로 우하단 표면(129)은 (dh, dv) = (right, down)으로 표시할 수 있다.For example, when the horizontal element in the direction of rotation direction is dh, the vertical element is dv, and the direction value d is d∈ {0, up, down, right, left}, the viewing
도 2는 본 발명의 다른 실시예에 따른 증강 현실 화면 생성 방법에서 매핑 입체와 증강 현실 레이어를 예시한 개념도이다.2 is a conceptual diagram illustrating a mapping stereoscopic and augmented reality layer in the augmented reality screen generating method according to another embodiment of the present invention.
도 2를 참조하면, 도 1의 매핑 입체 및 증강 현실 레이어 사이의 매핑 관계와 유사하나, 다만, 상단 표면(222)과 하단 표면(223), 좌상단/우상단/좌하단/우하단 표면들(226 내지 229)의 형태가 도 1의 상응하는 표면들(122, 123, 126 내지 129)과 약간 다르다.Referring to FIG. 2, the mapping relationship between the mapping stereoscopic and augmented reality layers of FIG. 1 is similar, except that the
도 1의 경우에는, 어떤 가상 오브젝트의 아이콘이 표시된 영역의 성격에 따라 사용자가 그 영역의 방향으로 디바이스를 회전하던 중에, 갑자기 그 아이콘이 다른 방향을 지시하는 영역으로 불연속적인 이동이 일어날 수 있다. 예를 들어, 사용자 뒤쪽에 있고 또한 상부 극점 가까이에 있는 어떤 가상 오브젝트의 경우에, 도 1의 매핑에 의해 증강 현실 레이어(11)에는 좌상단 영역(116)에 표시된다. 그런데, 그러한 표시에 따라 사용자가 좌상단 방향으로 디바이스를 회전시키면, 그 가상 오브젝트는 상단 표면(122)에 진입하고 그에 따라 증강 현실 레이어(11)에서는 갑자기 좌상단 영역(116)에서 상단 영역(112)로 점프하게 된다.In the case of FIG. 1, while the user rotates the device in the direction of the area according to the nature of the area in which the icon of a virtual object is displayed, a sudden movement may occur in the area in which the icon indicates a different direction. For example, in the case of any virtual object that is behind the user and near the upper pole, it is indicated in the upper
이러한 불연속적인 표시를 줄일 수 있도록, 도 2에서는 상단 표면(222)과 하단 표면(223)은 각각 극점을 포함하도록 확장된다.In order to reduce this discontinuous indication, in FIG. 2 the
도 1과 도 2에 예시된 이러한 매핑 관계를 디바이스의 수직 고도각(elevation, θ), 디바이스의 수평 방위각(azimuth, φ) 및 디바이스의 롤 회전(roll, ψ)으로써 표현할 수 있는데, 시야각 중심부 표면(121, 221)을 이루는 영역의 가장자리는 다음과 같이 얻을 수 있다.This mapping relationship illustrated in FIGS. 1 and 2 can be expressed as the vertical elevation of the device (θ), the horizontal azimuth of the device (φ) and the roll rotation of the device (roll, ψ). The edges of the regions constituting (121, 221) can be obtained as follows.
여기서, 
따라서, 수학식 1에서 계산된 시야각 중심부 표면(121, 221)의 영역과 어떤 가상 오브젝트의 매핑 입체(12, 22) 상의 각좌표를 비교함으로써, 그 가상 오브젝트가 매핑 입체(12, 22)의 어느 표면에 속하고 나아가 증강 현실 레이어(11)의 어느 영역에 속하는지 결정된다.Thus, by comparing the area of the viewing angle
한편, 그러한 시야각 중심부 표면(121, 221)이 매핑되는 정면 영역(111)의 좌표(Rin)는 다음 수학식과 같이 정의될 수 있다.Meanwhile, the coordinates Rin of the
이때, d는 {상, 하, 좌, 우}인 집합의 한 원소이고, Rout은 전체 증강 현실 레이어(11)의 외곽 모서리의 좌표이며, D는 픽셀 당 각도의 비(angle-to-pixel ratio)이다.Where d is an element of the set {upper, lower, left, right}, Rout is the coordinate of the outer edge of the entire
도 3은 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법에서 가상 오브젝트들의 방위를 증강 현실 레이어에 표시하는 방법을 예시한 순서도이다.3 is a flowchart illustrating a method of displaying a bearing of virtual objects on an augmented reality layer in the augmented reality screen generating method according to an embodiment of the present invention.
도 3을 참조하면, 도 1 또는 도 2의 매핑에 의해 회전 지시 방향 값이 결정된 이후에, 회전 지시 방향 값에 따라 각기 다른 프로세스를 거쳐 증강 현실 화면 상의 2차원 좌표가 연산된다.Referring to FIG. 3, after the rotation direction direction value is determined by the mapping of FIG. 1 or FIG. 2, two-dimensional coordinates on the augmented reality screen are calculated through different processes according to the rotation direction direction values.
증강 현실 레이어(11)의 정면 영역(111)을 제외하면, 나머지 주변 영역들(112 내지 119, 211 내지 219)에서 각 가상 오브젝트들은 밀집된다. 이때, 사각형 피쉬아이(어안) 카메라를 이용한다면, 증강 현실 화면의 기초가 되는 카메라 촬상 화면은 사용자 정면의 2π스테라디안에 해당하는 화면이지만, 증강 현실 레이어(11)의 주변 영역들(112 내지 119, 211 내지 219)에는 사용자 주변 4π스테라디안 전체에 상응하는 가상 오브젝트들의 아이콘들이 표시되어야 한다. 따라서, 어떤 가상 오브젝트 v의 증강 현실 레이어의 주변 영역 내 위치는 가상 오브젝트 v가 매핑 입체에 투사되는 위치를 구하고, 정면 영역이 그 투사 위치에 도달하기까지 디바이스를 회전해야 하는 각도에 상응하여 결정될 수 있다. 다시 말해, 가상 오브젝트 v가 정면 영역에서 각도상 멀수록 증강 현실 레이어에서는 가장 자리에 표시된다.Except for the
먼저, (dh, dv)=(0, 0)인 경우에는 가상 오브젝트 v가 정면 영역(111)에 있다는 의미이고, 가상 오브젝트 v의 3차원 위치를 시야 절두체에 통상적인 방법으로 투사함으로써 정면 영역 내에서의 2차원 좌표를 얻을 수 있다.First, when (dh, dv) = (0, 0), it means that the virtual object v is in the
다음으로 (dh, dv)=(0, up or down)인 경우에는 가상 오브젝트 v가 상단 영역(112) 또는 하단 영역(113)에 있다는 의미이다. 가상 오브젝트 v의 아이콘의 수평 좌표는 실제 그 가상 오브젝트 v의 수평 방위각에 상응한다. 가상 오브젝트 v의 아이콘의 수직 좌표는 그 가상 오브젝트 v가 정면 영역의 상하 경계와 만나기까지 디바이스를 수직으로 회전해야 하는 각도 θd와 상단 영역 및 하단 영역의 수직 폭에 기초하여 결정될 수 있다.Next, when (dh, dv) = (0, up or down), it means that the virtual object v is in the
(dh, dv)=(left or right, 0)인 경우에는, 가상 오브젝트 v가 좌측 영역(114) 또는 우측 영역(115)에 있다는 의미이다. 가상 오브젝트 v의 아이콘의 수직 좌표는 실제 그 가상 오브젝트 v의 수직 고도각에 상응한다. 가상 오브젝트 v의 아이콘의 수평 좌표는 그 가상 오브젝트 v가 정면 영역의 좌우 경계와 만나기까지 디바이스를 수평으로 회전해야 하는 각도 φd와 좌측 영역 및 우측 영역의 수평 폭에 기초하여 결정될 수 있다.When (dh, dv) = (left or right, 0), it means that the virtual object v is in the
마지막으로, dh와 dv가 모두 0이 아닌 경우에는, 가상 오브젝트 v가 증강 현실 레이어의 좌상단, 우상단, 좌하단, 우하단의 모서리 영역들(116 내지 119)에 표시된다는 의미이다. 가상 오브젝트 v의 아이콘의 수직 좌표는 그 가상 오브젝트 v가 정면 영역의 꼭지점과 만나기까지 디바이스를 수직으로 회전해야 하는 각도 θd와 모서리 영역들의 수직 폭에 기초하여 결정될 수 있다. 또한 가상 오브젝트 v의 아이콘의 수평 좌표는 그 가상 오브젝트 v가 정면 영역의 꼭지점과 만나기까지 디바이스를 수평으로 회전해야 하는 각도 φd와 모서리 영역들의 수평 폭에 기초하여 결정될 수 있다.Finally, if both dh and dv are not 0, it means that the virtual object v is displayed in the
도 4는 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법에서 가상 오브젝트의 아이콘들을 증강 현실 레이어에 표시하는 프로세스에 관하여 작성한 수도코드(pseudo code)을 예시한 도면이다.FIG. 4 is a diagram illustrating a pseudo code written with respect to a process of displaying icons of a virtual object on an augmented reality layer in the method of generating an augmented reality screen according to an embodiment of the present invention.
도 4를 참조하면, 회전 지시 방향의 값(0, up, down, left, right)에 따라 증강 현실 레이어의 주변 영역들에 가상 오브젝트의 아이콘들의 좌표를 결정하는 조건 구문들이 예시되어 있다.Referring to FIG. 4, conditional syntaxes for determining coordinates of icons of a virtual object in surrounding areas of an augmented reality layer according to values of a rotation indication direction (0, up, down, left, right) are illustrated.
여기서, 입력 값 v는 가상 오브젝트의 3차원 좌표이고, dh, dv는 각각 (0, left, right)와 (0, up, down) 중에서 하나의 값을 가지는 회전 지시 방향이며, Pdv와 Pdh는 각각 정면 영역의 상하 경계 및 좌우 경계이다. 연산 중간에 이용되는 vcross는 가상 오브젝트 v가 회전 지시 방향에 따라 이동할 경우에 시야 절두체에 진입할 위치의 좌표이며, vcross를 증강 현실 레이어에 투사하면 증강 현실 레이어 상의 2차원 좌표 vout을 출력할 수 있다. 2차원 좌표 vout 외에도, 가상 오브젝트를 정면 영역에서 보기 위한 디바이스의 수직/수평 회전 각도인 θd, φd와, 수직/수평 방향의 최대 회전 가능 각도인 θmax, φmax가 출력된다.Here, the input value v is the three-dimensional coordinates of the virtual object, dh, dv are rotation direction directions having one of (0, left, right) and (0, up, down), respectively, and Pdv and Pdh are respectively The upper and lower boundaries and the left and right boundaries of the front region. The vcross used in the middle of the operation is a coordinate of a position to enter the field of view frustum when the virtual object v moves along the rotation direction, and when the vcross is projected onto the augmented reality layer, the two-dimensional coordinate vout on the augmented reality layer may be output. . In addition to the two-dimensional coordinates vout, θd and φd, which are the vertical and horizontal rotation angles of the device for viewing the virtual object in the front region, and θmax and φmax, which are the maximum rotatable angles in the vertical and horizontal directions, are output.
도 5는 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법을 통해 생성된 증강 현실 화면을 예시한 개념도이다.5 is a conceptual diagram illustrating an augmented reality screen generated by the augmented reality screen generating method according to an embodiment of the present invention.
도 5를 살펴보면, 가상 오브젝트는 그 방향과 거리가 무작위로 약 50 개를 배치하였고, 카메라로 촬영한 현실 세계의 영상과, 백색 실선으로 구분된 사각형의 정면 영역 및 그 주변의 주면 영역들을 포함한 증강 현실 레이어가 중첩되어 증강 현실 화면이 구성되고 있다. 실제 구현 시에 정면 영역을 구분하는 실선은 보이지 않게 처리될 수 있다.Referring to FIG. 5, the virtual objects are randomly arranged in approximately 50 directions and distances, and include an image of the real world photographed by a camera, a front region of a rectangle separated by white solid lines, and a principal surface region around the image. Augmented reality screens are constructed by overlapping reality layers. In actual implementation, the solid line separating the frontal region may be processed invisibly.
증강 현실 화면의 정면 영역에는 그 시야에 위치한 가상 오브젝트들이 상대적으로 큰 아이콘을 이용하여 표시될 수 있다. 주변 영역들에는 앞서 설명된 프로세스를 통해 표시될 영역과 2차원 좌표가 결정된 가상 오브젝트들이 상대적으로 작은 아이콘을 이용하여 표시될 수 있다.In the front area of the augmented reality screen, virtual objects located in the field of view may be displayed using a relatively large icon. In the surrounding areas, the area to be displayed and the virtual objects having two-dimensional coordinates determined through the above-described process may be displayed using a relatively small icon.
도 6은 본 발명의 다른 실시예에 따른 증강 현실 화면 생성 방법에서, 디바이스의 회전 이동에 따른 증강 현실 화면의 동적 변화를 예시한 개념도이다.6 is a conceptual diagram illustrating a dynamic change of the augmented reality screen according to the rotational movement of the device in the method of generating an augmented reality screen according to another embodiment of the present invention.
앞서 예시한 도 5의 증강 현실 화면에서 주변 영역들은 그 폭이 좁기 때문에 가상 오브젝트들의 표시가 혼란스러울 수 있다. 특히, 실제로 수평선 근처에 가상 오브젝트들이 밀집할 것으로 예상되는데, 그러한 밀집된 가상 오브젝트들 중에서 사용자가 원하는 가상 오브젝트를 쉽게 식별하기가 불편할 수 있다. Since the surrounding areas are narrow in the augmented reality screen of FIG. 5, the display of the virtual objects may be confusing. In particular, virtual objects are expected to be concentrated near the horizon, which may be inconvenient to easily identify among the dense virtual objects a desired virtual object.
나아가, 증강 현실 화면이 사각형 피쉬아이 카메라로 촬상된 이미지를 배경으로 할 경우에는 화면의 주변 영역에서는 디바이스의 회전에 따른 가상 오브젝트 아이콘의 이동을 사용자가 감지하는 데에 어려움을 겪을 수 있다.Furthermore, when the augmented reality screen is based on an image captured by a rectangular fisheye camera, it may be difficult for a user to detect movement of a virtual object icon according to the rotation of the device in a peripheral area of the screen.
이를 해소하기 위해, 디바이스의 회전 방향에 따라 그 회전 방향에 해당하는 주변 영역이 확대되도록 정면 영역의 경계를 동적으로 이동시킬 수 있다.In order to solve this, the boundary of the front region may be dynamically moved so that the peripheral region corresponding to the rotation direction is enlarged according to the rotation direction of the device.
도 6을 참조하면, 캡쳐 화면(61)에서, 사용자가 디바이스를 우측 상향의 대각선 방향으로 회전 이동할 때에, 정면 영역의 우측 경계는 왼쪽으로 상단 경계는 아래쪽으로 이동하고, 그와 동시에 우측 영역과 상단 영역 및 우상단 영역이 확대되고 있다.Referring to FIG. 6, in the
사용자가 디바이스를 회전하는 것은 그 방향의 정보에 관심이 있다는 의미이므로, 그 방향에 해당하는 영역이 확장됨으로써 가상 오브젝트의 식별에 도움을 줄 수 있다.Since the user rotates the device means that the user is interested in the information in the direction, the area corresponding to the direction may be expanded to help identify the virtual object.
이 경우에, 실시예에 따라, 확대된 주변 영역들은 디바이스가 일정 시간 유의미한 움직임이 없으면 다시 원래의 크기로 돌아갈 수 있다. 유의미한 움직임은 예를 들어 소정의 임계 각도로서 미리 지정되어 있을 수도 있고, 과거에 있었던 각도 변화들로부터 적응적으로(adaptively) 결정될 수도 있다. 또는, 이러한 유의미한 움직임은 현재의 회전 각도와 과거 일정 기간 동안의 회전 각도의 표준 편차를 구하고, 이 값이 소정의 임계값보다 크면 유의미한 움직임으로 간주할 수 있다. 이때, 소정의 임계값은 어플리케이션 구동 이후 일정 시간 동안의 움직임에 따라 예를 들어 진동이 많은 상황이나 적은 상황을 고려하여 적응적으로 결정될 수 있다.In this case, according to an embodiment, the enlarged peripheral regions may return to their original size again if the device has not significant movement for some time. Significant movement may be predetermined, for example, as a predetermined threshold angle, and may be adaptively determined from angular changes that have been in the past. Alternatively, such a significant movement can be regarded as a significant movement if the standard deviation of the current rotation angle and the rotation angle for a predetermined period of time is obtained, and this value is larger than a predetermined threshold. In this case, the predetermined threshold value may be adaptively determined in consideration of, for example, a situation in which vibrations are high or a little, depending on the movement for a predetermined time after the application is driven.
나아가, 실시예에 따라, 디바이스의 회전 가속도에 따라 주변 영역이 확대되는 정도가 동적으로 달라지게 할 수 있다. 사용자가 디바이스를 빨리 회전하면 해당 시야에서는 관심있는 정보가 없고 오히려 주변 영역에 관심을 더 갖는다는 의미이므로 주변 영역을 더 확대할 수 있다.Furthermore, according to an embodiment, the extent to which the peripheral area is enlarged may be dynamically changed according to the rotational acceleration of the device. If the user rotates the device quickly, it means that there is no information of interest in the corresponding field of view, but rather that the user is interested in the surrounding area.
또한 예를 들어, 디바이스의 회전이 감지되여 주변 영역이 일단 확대된 상태에서, 디바이스가 한 차례 더 회전될 경우에 주변 영역을 추가로 확대할 수 있다.Also, for example, when the rotation of the device is sensed so that the peripheral area is once enlarged, the peripheral area may be further enlarged when the device is rotated once more.
반대로, 디바이스의 회전이 감지되여 주변 영역이 일단 확대된 상태에서, 디바이스가 반대로 회전할 경우에는 주변 영역의 확대된 상태가 취소될 수 있다.On the contrary, when the rotation of the device is detected and the peripheral area is once enlarged, when the device rotates in the opposite direction, the enlarged state of the peripheral area may be cancelled.
더 나아가, 디바이스의 회전에 의해 어느 한 영역이 확대된 상태를 유지하면서, 소정의 시간 내에 디바이스가 다른 방향으로 회전할 경우에 다른 방향의 주변 영역이 확대되도록 할 수도 있다.Furthermore, while maintaining one of the regions enlarged by the rotation of the device, the peripheral region in the other direction may be enlarged when the device rotates in the other direction within a predetermined time.
도 6을 다시 참조하면 주변 영역의 확대 전후의 증강 현실 레이어의 레이아웃(62, 63)이 나타나 있다. 레이아웃(61)에서 주변 영역들이 확대되지 않은 상태에서의 가상 오브젝트들의 아이콘들의 위치가 나타나 있는데, 경계를 기준으로 할 때의 아이콘들의 상대적 위치는 확대 후의 레이아웃(62)에서 그대로 유지되도록 표시한다.Referring again to FIG. 6,
도 7은 본 발명의 일 실시예에 따른 증강 현실 지원 디바이스를 예시한 블록도이다.7 is a block diagram illustrating an augmented reality support device according to an embodiment of the present invention.
도 7을 참조하면, 증강 현실 지원 디바이스(70)는 제어부(71), 카메라 모듈(72), 자세 센서 모듈(73), GPS 모듈(74), 통신 모듈(75), 스토리지(76), 디스플레이(77)를 포함한다. 제어부(71)는 매핑 유닛(711) 및 화면 합성 유닛(712)을 포함할 수 있다.Referring to FIG. 7, the augmented
카메라 모듈(72)은 현재 사용자의 시야에 해당하는 정면을 실시간적으로 촬상하여 그 촬상 화면을 제어부(71)에 제공한다. 자세 센서 모듈(73)은 가속도 센서나 지자계 센서, 자이로 센서 중 하나를 포함하여, 디바이스(70)의 자세, 즉 지면으로 기준으로 한 기울어짐, 카메라의 방향을 측정할 수 있고, 측정된 디바이스(70)의 각도 방향 정보를 제어부(71)에 제공한다. 또한 자세 센서 모듈(73)은 디바이스(70)의 회전을 감지하여 그 각도와 방향을 제어부(71)에 제공한다.The
GPS 모듈(74)은 GPS 방식 또는 A-GPS 방식 기반으로 디바이스(70)의 글로벌 위치 정보를 획득하여 제어부(71)에 제공한다. The
통신 모듈(75)은 유무선 근거리 통신망(LAN/WLAN), 유무선 개인 통신망(PAN/WPAN), 이동통신망 등을 통해 외부의 검색 서버와 통신할 수 있다. 검색 서버는 디바이스(70)의 검색 요청에 따라 사용자 위치를 중심으로 주변의 가상 오브젝트들을 검색하여 디바이스(70)에 돌려준다.The
한편, 통신 모듈(75)은 GPS 모듈(74)이 GPS 신호를 수신하기 어려운 환경에서는, GPS 모듈(74)을 대신하여 디바이스(70)와 통신하는 다수의 이동통신 기지국, AP 등의 위치 정보로부터 디바이스(70)의 위치를 추정함으로써 글로벌 위치 정보를 제어부(71)에 제공할 수 있다.On the other hand, the
또한, 만약 디바이스(70)가 검색 서버와 통신할 수 없는 상황이거나 또는 오프라인 상태에서 주변 정보를 검색할 경우에, 디바이스(70)는 외부의 검색 서버 대신에 스토리지(76)에 사전에 저장된 지리 정보와 주변 정보를 참조할 수 있다.In addition, if the
제어부(71)는 마이크로컨트롤러, 마이크로 프로세서, 프로그래머블 로직, 중앙 처리 장치 등으로 구현될 수 있는데, 카메라 모듈(72)에서 제공된 사용자 정면의 촬상 화면과, 자세 센서 모듈(73)에서 제공된 디바이스(70)의 방향 정보, GPS 모듈(74) 또는 통신 모듈(75)을 통해 판정된 디바이스(70)의 글로벌 위치 정보, 통신 모듈(75) 또는 스토리지(76)에서 제공된 가상 오브젝트들을 기초로 하여 증강 현실 화면을 생성한다.The
구체적으로, 제어부(71)의 매핑 유닛(711)은 사용자 주변의 가상 오브젝트들을 매핑 입체를 통해 증강 현실 레이어의 각 영역들에 매핑하고, 화면 합성 유닛(712)은 가상 오브젝트들이 매핑된 증강 현실 레이어와 카메라 촬상 화면을 결합하여 증강 현실 화면을 생성한다.In detail, the
생성된 증강 현실 화면은 디스플레이(77)에 표시될 수 있다.The generated augmented reality screen may be displayed on the
나아가, 제어부(71)는 자세 센서 모듈(73)로부터 제공된 디바이스(70)의 회전 각도 정보에 따라 증강 현실 레이어의 주변 영역들을 확대/축소할 수 있다.Furthermore, the
증강 현실 장치(70)는 실시예에 따라 인터넷 접속용 모바일 장치, 휴대 전화, 스마트폰, 노트북, 넷북, PDA 등으로 구현될 수 있다.The
도 8은 본 발명의 일 실시예에 따른 증강 현실 화면 생성 방법을 대략적으로 예시한 순서도이다.8 is a flowchart schematically illustrating a method for generating an augmented reality screen according to an embodiment of the present invention.
도 8을 참조하면, 증강 현실 화면 생성 방법은 단계(S81)에서 사용자의 글로벌 좌표 및 방향을 구한다. 이때, 사용자의 정보 대신 증강 현실 디바이스의 글로벌 좌표 및 방향을 구할 수도 있다. 또한, 증강 현실 어플리케이션의 활용 환경에 따라서는 증강 현실 디바이스의 글로벌 좌표가 불필요하고 다만 사용자 위치 등이 기준이 되는 로컬 좌표가 필요할 수 있다.Referring to FIG. 8, in the method of generating an augmented reality screen, the global coordinates and directions of the user are obtained in operation S81. In this case, global coordinates and directions of the augmented reality device may be obtained instead of the user information. In addition, depending on the application environment of the augmented reality application, the global coordinates of the augmented reality device is unnecessary, but local coordinates based on the user's location may be required.
단계(S82)에서, 사용자 위치를 기준으로 하여, 검색된 주변 정보의 가상 오브젝트들을 사용자 위치를 중심으로 한 구형 매핑 입체에 투사한 좌표에 따라, 증강 현실 레이어의 어느 영역에 가상 오브젝트를 표시할 것인지 결정한다. 이때, 증강 현실 레이어는 매핑 입체의 표면 중에 사용자의 정면 시야의 중심부 표면에 상응하는 정면 영역과, 정면 영역의 상하좌우 방향의 상단, 하단, 좌측, 우측, 좌상단, 우상단, 좌하단, 우하단 영역들의 주변 영역으로 구분된다. 또한, 가상 오브젝트들은 매핑 입체 상의 좌표에서 매핑 입체 표면 중의 중심부 표면에 표시되기까지 회전해야 하는 회전 방향이 수직 성분만 가질 경우 각각 상단 영역 또는 하단 영역에 표시되고, 회전 방향이 수평 성분만 가질 경우 각각 좌측 영역 또는 우측 영역에 표시되며, 회전 방향이 수직 성분 및 수평 성분을 가질 경우에는 그 회전 방향에 따라 좌상단, 우상단, 좌하단, 우하단 영역들 중 하나의 영역에 표시된다.In step S82, based on the coordinates of projecting the virtual objects of the searched peripheral information onto the spherical mapping stereoscopic centered on the user position, based on the user position, it is determined in which region of the augmented reality layer to display the virtual object. do. At this time, the augmented reality layer is the front region corresponding to the central surface of the front view of the user in the mapping stereoscopic surface, and the upper, lower, left, right, upper left, upper right, lower left and lower right and the lower right and left regions of the front region. The area around them is divided. In addition, the virtual objects are displayed in the upper region or the lower region, respectively, when the rotation direction that needs to be rotated from the coordinates of the mapping stereoscopic to the center surface of the mapping stereoscopic surface is only the vertical component. If the rotation direction has a vertical component and a horizontal component, it is displayed in one of the upper left, upper right, lower left and lower right regions according to the rotation direction.
단계(S83)에서, 가상 오브젝트들을 각각의 표시될 주변 영역 내에서, 실제 가상 오브젝트의 구형 매핑 입체에 투사되는 좌표와 상기 정면 영역 사이의 각도 및 주변 영역의 폭에 기초하여 표시함으로써, 가상 오브젝트들을 증강 현실 레이어에 매핑한다.In step S83, the virtual objects are displayed in each of the peripheral areas to be displayed based on the coordinates projected on the spherical mapping solids of the actual virtual object and the angle between the front area and the width of the peripheral area. Maps to augmented reality layers.
단계(S84)에서, 증강 현실 레이어와 카메라로 촬영한 현실 세계 화면을 합성하여 증강 현실 화면을 생성한다. 이때, 카메라는 사각형 피쉬아이 렌즈와 촬상 장치를 포함할 수 있다.In operation S84, the augmented reality screen is generated by synthesizing the augmented reality layer and the real world screen photographed by the camera. In this case, the camera may include a rectangular fisheye lens and an imaging device.
단계(S85)에서, 사용자가 디바이스를 상하좌우로 회전 병진(rotational translation)할 경우에, 디바이스의 움직임 방향에 상응하는 주변 영역의 폭을 동적으로 확대 또는 축소할 수 있다.In step S85, when the user rotates the device up, down, left, or right, the width of the peripheral area corresponding to the direction of movement of the device may be dynamically enlarged or reduced.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다. As described above, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited to the above-described embodiments, which can be variously modified and modified by those skilled in the art to which the present invention pertains. Modifications are possible. Accordingly, the spirit of the invention should be understood only by the claims set forth below, and all equivalent or equivalent modifications will fall within the scope of the invention.
또한, 본 발명에 따른 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.In addition, the apparatus according to the present invention can be embodied as computer readable codes on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the recording medium include ROM, RAM, optical disk, magnetic tape, floppy disk, hard disk, nonvolatile memory, and the like, and also include a carrier wave (for example, transmission through the Internet). The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
70 증강 현실 지원 디바이스
71 제어부
711 매핑 유닛 712 화면 합성 유닛
72 카메라 모듈 73 자세 센서 모듈
74 GPS 모듈 75 통신 모듈
76 스토리지 77 디스플레이70 augmented reality enabled devices
71 control unit
72
74
76
Claims (20)
상기 카메라 위치 및 방향을 기준으로 직사각형의 증강 현실 화면에 표시될 가상 오브젝트들을 파악하고, 상기 카메라 위치 및 방향을 중심으로 한 구형의 매핑 입체에 투사한 좌표에 따라, 상기 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하는 단계;
상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하는 단계; 및
상기 가상 오브젝트들이 매핑된 상기 증강 현실 레이어와 카메라로 촬영한 현실 세계 화면을 합성하여 증강 현실 화면을 생성하는 단계를 포함하며,
상기 증강 현실 레이어는
상기 카메라의 시야각 내에 위치하는 가상 오브젝트들을 표시하는 정면 영역과, 상기 정면 영역의 외곽에 위치하며 상기 카메라의 시야각 바깥에 위치한 가상 오브젝트들을 표시하는 주변 영역들로 구분되고,
상기 주변 영역들은 상기 정면 영역의 상측에 위치하는 상단 영역, 상기 정면 영역의 하측에 위치하는 하단 영역, 상기 정면 영역의 좌측에 위치하는 좌측 영역, 상기 정면 영역의 우측에 위치하는 우측 영역, 상기 정면 영역의 좌상측에 위치하는 좌상단 영역, 상기 정면 영역의 우상측에 위치하는 우상단 영역, 상기 정면 영역의 좌하측에 위치하는 좌하단 영역 및 상기 정면 영역의 우하측에 위치하는 우하단 영역을 포함하는 것을 특징으로 하는 증강 현실 화면 생성 방법.Obtaining a camera position and orientation of the augmented reality device carried by the user;
Identify the virtual objects to be displayed on the rectangular augmented reality screen based on the camera position and direction, and project the virtual objects to a rectangular mapping stereoscopic image centering on the camera position and direction. Determining which of the frontal and peripheral regions to display;
Mapping each of the virtual objects within a peripheral area to which the virtual objects belong; And
Generating an augmented reality screen by synthesizing the augmented reality layer to which the virtual objects are mapped and a real world screen photographed by a camera,
The augmented reality layer
A front region displaying virtual objects located within the viewing angle of the camera, and a peripheral region displaying virtual objects positioned outside the front viewing region of the camera,
The peripheral regions may include an upper region located above the front region, a lower region located below the front region, a left region located to the left of the front region, a right region located to the right of the front region, and the front region. And an upper left end region positioned at the upper left side of the region, a right upper end region positioned at the upper right side of the front region, a lower left end region positioned at the lower left side of the front region, and a lower right end region positioned at the lower right side of the front region. Augmented reality screen generation method, characterized in that.
상기 카메라가 정면을 바라볼 때 상기 카메라의 시야각과 상기 구형의 매핑 입체의 교집합으로 정의되며, 상기 정면 영역에 매핑되는 중심부 표면,
상기 카메라의 고도각이 상측 방향으로 회전될 때 상기 카메라의 시야각이 도달가능한 영역과 상기 구형의 매핑 입체의 교집합으로 정의되며 상기 상단 영역에 매핑되는 상단 표면,
상기 카메라의 고도각이 하측 방향으로 회전될 때 상기 카메라의 시야각이 도달가능한 영역과 상기 구형의 매핑 입체의 교집합으로 정의되며 상기 하단 영역에 매핑되는 하단 표면,
상기 카메라의 방향각이 좌측 방향으로 회전될 때 상기 카메라의 시야각이 도달가능한 영역과 상기 구형의 매핑 입체의 교집합으로 정의되며 상기 좌측 영역에 매핑되는 좌측 수평 표면,
상기 카메라의 방향각이 우측 방향으로 회전될 때 상기 카메라의 시야각이 도달가능한 영역과 상기 구형의 매핑 입체의 교집합으로 정의되며 상기 우측 영역에 매핑되는 우측 수평 표면,
상기 카메라의 방향각이 좌측 방향으로 회전됨과 동시에 고도각도 상측 방향으로 회전될 때 상기 카메라의 시야각이 도달가능한 영역과 상기 구형의 매핑 입체의 교집합에서 좌측 수평 표면 및 상단 표면을 뺀 집합으로 정의되며 상기 좌상단 영역에 매핑되는 좌상단 표면,
상기 카메라의 방향각이 우측 방향으로 회전됨과 동시에 고도각도 상측 방향으로 회전될 때 상기 카메라의 시야각이 도달가능한 영역과 상기 구형의 매핑 입체의 교집합에서 우측 수평 표면 및 상단 표면을 뺀 집합으로 정의되며 상기 우상단 영역에 매핑되는 우상단 표면,
상기 카메라의 방향각이 좌측 방향으로 회전됨과 동시에 고도각도 하측 방향으로 회전될 때 상기 카메라의 시야각이 도달가능한 영역과 상기 구형의 매핑 입체의 교집합에서 좌측 수평 표면 및 하단 표면을 뺀 집합으로 정의되며 상기 좌하단 영역에 매핑되는 좌하단 표면, 및
상기 카메라의 방향각이 우측 방향으로 회전됨과 동시에 고도각도 하측 방향으로 회전될 때 상기 카메라의 시야각이 도달가능한 영역과 상기 구형의 매핑 입체의 교집합에서 우측 수평 표면 및 하단 표면을 뺀 집합으로 정의되며 상기 우하단 영역에 매핑되는 우하단 표면으로 구분되는 것을 특징으로 하는 증강 현실 화면 생성 방법.The surface of the spherical mapping solid of claim 1, wherein
A central surface defined as the intersection of the viewing angle of the camera and the spherical mapping solids when the camera faces the front, and mapped to the front region;
An upper surface defined as an intersection of the area where the camera's field of view is reachable and the spherical mapping solids when the altitude angle of the camera is rotated upward, and mapped to the top area,
A lower surface defined as the intersection of the area where the camera's field of view is reachable and the spherical mapping solids when the altitude angle of the camera is rotated downward, and mapped to the lower area,
A left horizontal surface defined as an intersection of the area where the camera's viewing angle is reachable and the spherical mapping solids when the camera's direction angle is rotated in the left direction, and mapped to the left area,
A right horizontal surface defined as an intersection of the area where the camera's viewing angle is reachable and the rectangular mapping solids when the direction angle of the camera is rotated in the right direction, and mapped to the right area,
When the direction angle of the camera is rotated in the left direction and the elevation angle is rotated in the upper direction, the camera is defined as a set obtained by subtracting the left horizontal surface and the top surface from the intersection of the reachable area of the camera and the rectangular mapping solids. Top left surface, mapped to top left region,
When the direction angle of the camera is rotated in the right direction and the elevation angle is rotated in the upper direction, it is defined as a set obtained by subtracting the right horizontal surface and the top surface from the intersection of the reachable area of the camera and the rectangular mapping solids. The upper right surface that maps to the upper right region,
When the direction angle of the camera is rotated in the left direction and the altitude is rotated in the downward direction, it is defined as a set obtained by subtracting the left horizontal surface and the bottom surface from the intersection of the reachable area of the camera and the rectangular mapping solids. The lower left surface mapped to the lower left region, and
When the direction angle of the camera is rotated in the right direction and the altitude is rotated downward, it is defined as a set obtained by subtracting the right horizontal surface and the bottom surface from the intersection of the reachable area of the camera and the rectangular mapping solids. An augmented reality screen generation method, characterized in that divided into a lower right surface mapped to the lower right area.
상기 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하는 단계는
상기 매핑 입체 상의 투사된 좌표로부터 상기 중심부 표면의 경계에 도달하기까지 상기 가상 오브젝트들을 회전시켜야 하는 회전 방향이 수직 성분만 가질 경우에는 상기 가상 오브젝트들을 각각 상단 영역 또는 하단 영역에 표시하고, 상기 회전 방향이 수평 성분만 가질 경우 각각 좌측 영역 또는 우측 영역에 표시하며, 상기 회전 방향이 수직 성분 및 수평 성분을 가질 경우에는 그 회전 방향에 따라 좌상단, 우상단, 좌하단, 우하단 영역들 중 하나의 영역에 표시하는 단계를 포함하는 것을 특징으로 하는 증강 현실 화면 생성 방법.The method according to claim 2,
Determining in which of the front region and the peripheral region of the augmented reality layer to display the virtual objects is
When the direction of rotation in which the virtual objects are to be rotated from the projected coordinates on the mapping stereoscopic body to reach the boundary of the central surface has only a vertical component, the virtual objects are displayed in an upper region or a lower region, respectively, and the rotation direction In case of having only the horizontal component, it is displayed in the left region or the right region, respectively. When the rotation direction has the vertical component and the horizontal component, it is displayed in one of the upper left, upper right, lower left and lower right regions according to the rotation direction. And displaying the augmented reality screen.
상기 상단 표면과 상기 하단 표면은 상기 구형의 매핑 입체의 상단 극점과 하단 극점을 포함하도록 상기 구형의 후면 영역으로 확장 가능한 것을 특징으로 하는 증강 현실 화면 생성 방법.The method according to claim 2,
And the top surface and the bottom surface are expandable to the rear region of the sphere to include the top pole and the bottom pole of the rectangular mapping solid.
상기 구형의 매핑 입체 상의 투사된 좌표로부터 상기 중심부 표면의 경계에 도달하기까지 상기 가상 오브젝트들을 수직과 수평, 두 가지 방향을 이용하여 회전시켜야 하는 회전량 및 주변 영역의 폭에 기초하여 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하는 단계를 포함하는 것을 특징으로 하는 증강 현실 화면 생성 방법.The method of claim 2, wherein the mapping of the virtual objects in the peripheral area to which the virtual objects belong, respectively,
From the projected coordinates on the spherical mapping solids, the virtual objects are rotated based on the amount of rotation and the width of the surrounding area that the virtual objects must rotate in two directions, vertically and horizontally, to reach the boundary of the central surface. And mapping each of the virtual objects within a peripheral area to which they belong.
사용자가 상기 증강 현실 장치를 회전 병진할 경우에, 그 회전 방향의 성분에 상응하는 주변 영역의 폭을 동적으로 확대 또는 축소하는 단계를 더 포함하는 것을 특징으로 하는 증강 현실 화면 생성 방법.The method according to claim 1,
And dynamically expanding or reducing the width of the peripheral area corresponding to the component of the rotation direction when the user rotates and translates the augmented reality device.
사용자가 휴대하는 증강 현실 디바이스의 카메라 방향을 제공하는 자세 센서 모듈;
현실 세계 화면을 제공하는 카메라 모듈; 및
상기 카메라 위치 및 방향을 기준으로 하여, 증강 현실 화면에 표시될 주변 정보의 가상 오브젝트들을 파악하고, 상기 카메라 위치 및 방향을 중심으로 한 구형의 매핑 입체에 투사한 좌표에 따라, 상기 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하고, 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하며, 상기 가상 오브젝트들이 매핑된 상기 증강 현실 레이어와 상기 카메라 모듈로 촬영한 현실 세계 화면을 합성하여 증강 현실 화면을 생성하도록 동작하는 제어부를 포함하며,
상기 증강 현실 레이어는
상기 카메라의 시야각 내에 위치하는 가상 오브젝트들을 표시하는 정면 영역과, 상기 정면 영역의 외곽에 위치하며 상기 카메라의 시야각 바깥에 위치한 가상 오브젝트들을 표시하는 주변 영역들로 구분되고,
상기 주변 영역들은 상기 정면 영역의 상측에 위치하는 상단 영역, 상기 정면 영역의 하측에 위치하는 하단 영역, 상기 정면 영역의 좌측에 위치하는 좌측 영역, 상기 정면 영역의 우측에 위치하는 우측 영역, 상기 정면 영역의 좌상측에 위치하는 좌상단 영역, 상기 정면 영역의 우상측에 위치하는 우상단 영역, 상기 정면 영역의 좌하측에 위치하는 좌하단 영역 및 상기 정면 영역의 우하측에 위치하는 우하단 영역인 것을 특징으로 하는 증강 현실 장치.A position detection module for providing a camera position of an augmented reality device carried by a user;
A posture sensor module providing a camera direction of an augmented reality device carried by a user;
A camera module for providing a real world screen; And
Based on the camera position and direction, the virtual objects of the peripheral information to be displayed on the augmented reality screen are identified, and the virtual objects are augmented according to the coordinates projected on a spherical mapping stereoscopic centered on the camera position and direction. Determining which area of the front layer and the surrounding areas of the reality layer to display, map the virtual objects in the peripheral area to which the virtual objects belong, respectively, to the augmented reality layer and the camera module to which the virtual objects are mapped And a controller operable to synthesize the captured real world screen to generate an augmented reality screen.
The augmented reality layer
A front region displaying virtual objects located within the viewing angle of the camera, and a peripheral region displaying virtual objects positioned outside the front viewing region of the camera,
The peripheral regions may include an upper region located above the front region, a lower region located below the front region, a left region located to the left of the front region, a right region located to the right of the front region, and the front region. And an upper left region located on the upper left side of the region, an upper right region positioned on the upper right side of the front region, a lower left region positioned on the lower left side of the front region, and a lower right region positioned on the lower right side of the front region. Augmented reality device made with.
상기 구형의 매핑 입체의 표면은 상기 카메라가 정면을 바라볼 때 상기 카메라의 시야각과 상기 구형의 매핑 입체의 교집합으로 정의되며, 상기 정면 영역에 매핑되는 중심부 표면,
상기 카메라의 고도각이 상측 방향으로 회전될 때 상기 카메라의 시야각이 도달가능한 영역과 상기 구형의 매핑 입체의 교집합으로 정의되며 상기 상단 영역에 매핑되는 상단 표면,
상기 카메라의 고도각이 하측 방향으로 회전될 때 상기 카메라의 시야각이 도달가능한 영역과 상기 구형의 매핑 입체의 교집합으로 정의되며 상기 하단 영역에 매핑되는 하단 표면,
상기 카메라의 방향각이 좌측 방향으로 회전될 때 상기 카메라의 시야각이 도달가능한 영역과 상기 구형의 매핑 입체의 교집합으로 정의되며 상기 좌측 영역에 매핑되는 좌측 수평 표면,
상기 카메라의 방향각이 우측 방향으로 회전될 때 상기 카메라의 시야각이 도달가능한 영역과 상기 구형의 매핑 입체의 교집합으로 정의되며 상기 우측 영역에 매핑되는 우측 수평 표면,
상기 카메라의 방향각이 좌측 방향으로 회전됨과 동시에 고도각도 상측 방향으로 회전될 때 상기 카메라의 시야각이 도달가능한 영역과 상기 구형의 매핑 입체의 교집합에서 좌측 수평 표면 및 상단 표면을 뺀 집합으로 정의되며 상기 좌상단 영역에 매핑되는 좌상단 표면,
상기 카메라의 방향각이 우측 방향으로 회전됨과 동시에 고도각도 상측 방향으로 회전될 때 상기 카메라의 시야각이 도달가능한 영역과 상기 구형의 매핑 입체의 교집합에서 우측 수평 표면 및 상단 표면을 뺀 집합으로 정의되며 상기 우상단 영역에 매핑되는 우상단 표면,
상기 카메라의 방향각이 좌측 방향으로 회전됨과 동시에 고도각도 하측 방향으로 회전될 때 상기 카메라의 시야각이 도달가능한 영역과 상기 구형의 매핑 입체의 교집합에서 좌측 수평 표면 및 하단 표면을 뺀 집합으로 정의되며 상기 좌하단 영역에 매핑되는 좌하단 표면, 및
상기 카메라의 방향각이 우측 방향으로 회전됨과 동시에 고도각도 하측 방향으로 회전될 때 상기 카메라의 시야각이 도달가능한 영역과 상기 구형의 매핑 입체의 교집합에서 우측 수평 표면 및 하단 표면을 뺀 집합으로 정의되며 상기 우하단 영역에 매핑되는 우하단 표면으로 구분되는 것을 특징으로 하는 증강 현실 장치.The method of claim 11,
The spherical mapping solid surface is defined as the intersection of the viewing angle of the camera and the spherical mapping solid when the camera faces the front surface, and a central surface mapped to the front region;
An upper surface defined as an intersection of the area where the camera's field of view is reachable and the spherical mapping solids when the altitude angle of the camera is rotated upward, and mapped to the top area,
A lower surface defined as the intersection of the area where the camera's field of view is reachable and the spherical mapping solids when the altitude angle of the camera is rotated downward, and mapped to the lower area,
A left horizontal surface defined as an intersection of the area where the camera's viewing angle is reachable and the spherical mapping solids when the camera's direction angle is rotated in the left direction, and mapped to the left area,
A right horizontal surface defined as an intersection of the area where the camera's viewing angle is reachable and the rectangular mapping solids when the direction angle of the camera is rotated in the right direction, and mapped to the right area,
When the direction angle of the camera is rotated in the left direction and the elevation angle is rotated in the upper direction, the camera is defined as a set obtained by subtracting the left horizontal surface and the top surface from the intersection of the reachable area of the camera and the rectangular mapping solids. Top left surface, mapped to top left region,
When the direction angle of the camera is rotated in the right direction and the elevation angle is rotated in the upper direction, it is defined as a set obtained by subtracting the right horizontal surface and the top surface from the intersection of the reachable area of the camera and the rectangular mapping solids. The upper right surface that maps to the upper right region,
When the direction angle of the camera is rotated in the left direction and the altitude is rotated in the downward direction, it is defined as a set obtained by subtracting the left horizontal surface and the bottom surface from the intersection of the reachable area of the camera and the rectangular mapping solids. The lower left surface mapped to the lower left region, and
When the direction angle of the camera is rotated in the right direction and the altitude is rotated downward, it is defined as a set obtained by subtracting the right horizontal surface and the bottom surface from the intersection of the reachable area of the camera and the rectangular mapping solids. An augmented reality device characterized in that it is divided into a lower right surface that is mapped to the lower right area.
상기 매핑 입체 상의 투사된 좌표로부터 상기 중심부 표면의 경계에 도달하기까지 상기 가상 오브젝트들을 회전시켜야 하는 회전 방향이 수직 성분만 가질 경우에는 상기 가상 오브젝트들을 각각 상단 영역 또는 하단 영역에 표시하고,
상기 회전 방향이 수평 성분만 가질 경우 각각 좌측 영역 또는 우측 영역에 표시하며,
상기 회전 방향이 수직 성분 및 수평 성분을 가질 경우에는 그 회전 방향에 따라 좌상단, 우상단, 좌하단, 우하단 영역들 중 하나의 영역에 표시하도록 동작하는 것을 특징으로 하는 증강 현실 장치.The method of claim 12, wherein the control unit,
If the direction of rotation in which the virtual objects are to be rotated from the projected coordinates on the mapping solid to reach the boundary of the central surface has only a vertical component, the virtual objects are displayed in the upper region or the lower region, respectively.
When the rotation direction has only a horizontal component, respectively, it is displayed in the left region or the right region,
And when the rotation direction has a vertical component and a horizontal component, displaying the image in one of the upper left, upper right, lower left and lower right regions according to the rotation direction.
상기 구형의 매핑 입체 상의 투사된 좌표로부터 상기 중심부 표면의 경계에 도달하기까지 상기 가상 오브젝트들을 수직과 수평, 두 가지 방향을 이용하여 회전시켜야하는 회전량과 상기 정면 영역 사이의 각도 및 주변 영역의 폭에 기초하여 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하도록 동작하는 것을 특징으로 하는 증강 현실 장치.The method of claim 12, wherein the control unit,
The amount of rotation and the angle between the frontal region and the amount of rotation that the virtual objects must rotate in two directions, vertical and horizontal, from the projected coordinates on the spherical mapping solid to reach the boundary of the central surface. And map each of the virtual objects within a peripheral area to which the virtual objects belong.
사용자가 상기 증강 현실 장치를 회전 병진할 경우에, 그 회전 방향의 성분에 상응하는 주변 영역의 폭을 동적으로 확대 또는 축소하도록 동작하는 것을 특징으로 하는 증강 현실 장치.The method of claim 11, wherein the control unit,
And when the user rotates and translates the augmented reality device, the augmented reality device to dynamically enlarge or reduce the width of the peripheral area corresponding to the component of the rotation direction.
상기 카메라 모듈은 사각형 피쉬아이 렌즈 및 촬상 장치를 포함하는 것을 특징으로 하는 증강 현실 장치.The method of claim 11,
The camera module comprises a rectangular fisheye lens and the imaging device.
상기 위치 검출 모듈은 GPS 방식 또는 A-GPS 방식 기반이거나, 또는 이동통신망 기반의 위치 검출 알고리즘을 통해 상기 사용자의 위치를 결정하도록 동작하는 증강 현실 장치.The method of claim 11,
The location detecting module is a GPS method or A-GPS method based, or a mobile communication network based augmented reality device operative to determine the location of the user through a location detection algorithm.
상기 자세 센서 모듈은 가속도 센서, 지자기 센서 또는 자이로 센서를 포함하는 것을 특징으로 하는 증강 현실 장치.The method of claim 11,
The attitude sensor module includes an acceleration sensor, a geomagnetic sensor or a gyro sensor.
사용자가 휴대하는 증강 현실 디바이스의 카메라 방향을 제공하는 가속도 센서 모듈;
상기 사용자의 방향으로 바라본 현실 세계 화면을 제공하는 카메라 모듈;
상기 카메라 위치 및 방향을 기반으로 증강 현실 화면에 표시될 가상 오브젝트를 의 주변 정보를 검색할 수 있도록 외부의 검색 서버와 통신하는 통신 모듈;
상기 카메라 위치 및 방향을 기준으로 하여, 상기 주변 정보의 가상 오브젝트들을 파악하고, 상기 사용자 위치를 중심으로 한 구형의 매핑 입체에 투사한 좌표에 따라, 상기 가상 오브젝트들을 증강 현실 레이어의 정면 영역 및 주변 영역들 중 어느 영역에 표시할 것인지 결정하고, 상기 가상 오브젝트들이 속하는 주변 영역 내에 상기 가상 오브젝트들을 각각 매핑하며, 상기 가상 오브젝트들이 매핑된 상기 증강 현실 레이어와 상기 현실 세계 화면을 합성하여 증강 현실 화면을 생성하도록 작성된 프로그램을 구동하는 중앙 처리 장치; 및
상기 증강 현실 화면을 표시하는 디스플레이를 포함하며,
상기 증강 현실 레이어는
상기 카메라의 시야각 내에 위치하는 가상 오브젝트들을 표시하는 정면 영역과, 상기 정면 영역의 외곽에 위치하며 상기 카메라의 시야각 바깥에 위치한 가상 오브젝트들을 표시하는 주변 영역들로 구분되고,
상기 주변 영역들은 상기 정면 영역의 상측에 위치하는 상단 영역, 상기 정면 영역의 하측에 위치하는 하단 영역, 상기 정면 영역의 좌측에 위치하는 좌측 영역, 상기 정면 영역의 우측에 위치하는 우측 영역, 상기 정면 영역의 좌상측에 위치하는 좌상단 영역, 상기 정면 영역의 우상측에 위치하는 우상단 영역, 상기 정면 영역의 좌하측에 위치하는 좌하단 영역 및 상기 정면 영역의 우하측에 위치하는 우하단 영역인 것을 특징으로 것을 특징으로 하는 스마트폰.A GPS module for providing a camera position of an augmented reality device carried by a user;
An acceleration sensor module providing a camera direction of an augmented reality device carried by a user;
A camera module for providing a real world screen viewed in the direction of the user;
A communication module communicating with an external search server to search for peripheral information of a virtual object to be displayed on an augmented reality screen based on the camera position and direction;
Based on the camera position and direction, the virtual objects of the surrounding information are grasped, and the virtual objects are located in the front region and the periphery of the augmented reality layer according to the coordinates projected on a spherical mapping stereoscopic centered on the user position. Determining which area of the areas to display, mapping the virtual objects in a peripheral area to which the virtual objects belong, and combining the augmented reality layer and the real world screen to which the virtual objects are mapped to create an augmented reality screen A central processing unit for driving a program written to generate; And
A display for displaying the augmented reality screen,
The augmented reality layer
A front region displaying virtual objects located within the viewing angle of the camera, and a peripheral region displaying virtual objects positioned outside the front viewing region of the camera,
The peripheral regions may include an upper region located above the front region, a lower region located below the front region, a left region located to the left of the front region, a right region located to the right of the front region, and the front region. And an upper left region located on the upper left side of the region, an upper right region positioned on the upper right side of the front region, a lower left region positioned on the lower left side of the front region, and a lower right region positioned on the lower right side of the front region. Smartphone, characterized in that as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100066353A KR101155761B1 (en) | 2010-07-09 | 2010-07-09 | Method and apparatus for presenting location information on augmented reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100066353A KR101155761B1 (en) | 2010-07-09 | 2010-07-09 | Method and apparatus for presenting location information on augmented reality |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120005735A KR20120005735A (en) | 2012-01-17 |
| KR101155761B1 true KR101155761B1 (en) | 2012-06-12 |
Family
ID=45611726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100066353A KR101155761B1 (en) | 2010-07-09 | 2010-07-09 | Method and apparatus for presenting location information on augmented reality |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101155761B1 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101981964B1 (en) * | 2012-12-03 | 2019-05-24 | 삼성전자주식회사 | Terminal and method for realizing virtual reality |
| KR101525936B1 (en) * | 2013-12-30 | 2015-06-16 | 배재대학교 산학협력단 | Method and Apparatus for Providing Augmented Reality Service Based on SNS |
| KR102115020B1 (en) * | 2017-12-19 | 2020-05-26 | 김창영 | Buoy monitoring terminal and method based on augmented reality |
| US10776943B2 (en) | 2018-07-17 | 2020-09-15 | Samsung Electronics Co., Ltd. | System and method for 3D association of detected objects |
| KR102263633B1 (en) * | 2019-11-28 | 2021-06-10 | 울산과학기술원 | Method, apparatus, and system for providing low delay augmented reality information based on priority |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070076304A (en) * | 2006-01-18 | 2007-07-24 | 삼성전자주식회사 | Apparatus and method for augmented reality |
-
2010
- 2010-07-09 KR KR1020100066353A patent/KR101155761B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070076304A (en) * | 2006-01-18 | 2007-07-24 | 삼성전자주식회사 | Apparatus and method for augmented reality |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120005735A (en) | 2012-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10354407B2 (en) | Camera for locating hidden objects | |
| CA2888943C (en) | Augmented reality system and method for positioning and mapping | |
| US8823855B2 (en) | User equipment and method for providing augmented reality (AR) service | |
| KR101212636B1 (en) | Method and apparatus for presenting location information on augmented reality | |
| US9223408B2 (en) | System and method for transitioning between interface modes in virtual and augmented reality applications | |
| US10600150B2 (en) | Utilizing an inertial measurement device to adjust orientation of panorama digital images | |
| JP6423435B2 (en) | Method and apparatus for representing a physical scene | |
| KR20210046592A (en) | Augmented reality data presentation method, device, device and storage medium | |
| US20180075652A1 (en) | Server and method for producing virtual reality image about object | |
| JP7026819B2 (en) | Camera positioning method and equipment, terminals and computer programs | |
| US10896327B1 (en) | Device with a camera for locating hidden object | |
| CN105378433B (en) | Method and apparatus for adaptively showing location-based digital information | |
| US20110261187A1 (en) | Extracting and Mapping Three Dimensional Features from Geo-Referenced Images | |
| JP6609640B2 (en) | Managing feature data for environment mapping on electronic devices | |
| US20180005425A1 (en) | System and Method for Displaying Geographic Imagery | |
| US20220156969A1 (en) | Visual localization method, terminal, and server | |
| US9672588B1 (en) | Approaches for customizing map views | |
| KR101155761B1 (en) | Method and apparatus for presenting location information on augmented reality | |
| US20230298280A1 (en) | Map for augmented reality | |
| JP2021136017A (en) | Augmented reality system using visual object recognition and stored geometry to create and render virtual objects | |
| JP2017212510A (en) | Image management device, program, image management system, and information terminal | |
| CN108450032A (en) | Flight control method and device | |
| JP2010231741A (en) | Electronic tag generating and displaying system, electronic tag generating and displaying device, and method thereof | |
| CN103632627A (en) | Information display method and apparatus and mobile navigation electronic equipment | |
| JP6849331B2 (en) | Devices and computer programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150526 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160526 Year of fee payment: 7 |