KR20070087317A - Digital apparatus capable of displaying imaginary object on real image and method thereof - Google Patents

Digital apparatus capable of displaying imaginary object on real image and method thereof Download PDF

Info

Publication number
KR20070087317A
KR20070087317A KR1020060017600A KR20060017600A KR20070087317A KR 20070087317 A KR20070087317 A KR 20070087317A KR 1020060017600 A KR1020060017600 A KR 1020060017600A KR 20060017600 A KR20060017600 A KR 20060017600A KR 20070087317 A KR20070087317 A KR 20070087317A
Authority
KR
South Korea
Prior art keywords
camera
virtual
information
image data
virtual object
Prior art date
Application number
KR1020060017600A
Other languages
Korean (ko)
Other versions
KR100755187B1 (en
Inventor
조중현
Original Assignee
주식회사 엔씨소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38613359&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20070087317(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 주식회사 엔씨소프트 filed Critical 주식회사 엔씨소프트
Priority to KR1020060017600A priority Critical patent/KR100755187B1/en
Publication of KR20070087317A publication Critical patent/KR20070087317A/en
Application granted granted Critical
Publication of KR100755187B1 publication Critical patent/KR100755187B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Abstract

A digital device capable of displaying a virtual medium on a real image and a display method therefor are provided to change the display of the virtual medium in response to the change of a camera viewing angle when displaying the virtual medium mapped on a real space and display the virtual medium on the real image. A digital device(101) generates position information which is an absolute coordinate of a camera and posture information which is information about a direction in which the camera is faced(S701). The digital device(101) generates virtual image data, including at least one predetermined virtual object which exists within a viewing range on the absolute coordinate of the camera, on the basis of the position information and the posture information(S709). The digital device(101) displays an image corresponding to the last image data in which the virtual image data is synthesized to real image data(S711,S713).

Description

실제영상에 가상매체를 표시할 수 있는 디지털 기기 및 그 표시방법{Digital apparatus capable of displaying imaginary object on real image and method thereof}Digital apparatus capable of displaying virtual media on a real image and a method of displaying the same

도 1은 본 발명의 일 실시 예에 따른 디지털 기기를 포함하는 시스템의 구성도,1 is a block diagram of a system including a digital device according to an embodiment of the present invention;

도 2는 본 발명의 일 실시 예에 따른 디지털 기기의 동작 설명에 제공되는 도면,2 is a view provided to explain the operation of a digital device according to an embodiment of the present disclosure;

도 3은 도 2에 대응하여 가상매체가 함께 표시된 영상을 도시한 도면,FIG. 3 is a view illustrating an image in which a virtual medium is displayed together with FIG. 2;

도 4는 본 발명의 일 실시 예에 따른 디지털 기기의 블록도,4 is a block diagram of a digital device according to one embodiment of the present invention;

도 5는 본 발명의 일 실시 예에 따른 디지털 기기의 동작 설명에 제공되는 도면,5 is a view provided to explain the operation of a digital device according to one embodiment of the present invention;

도 6a 내지 도 6e는 가상영상데이터의 생성과정의 설명에 제공되는 도면, 그리고6A to 6E are views provided for explaining the process of generating virtual image data, and

도 7은 본 발명의 일 실시 예에 따른 디지털 기기의 동작 설명에 제공되는 흐름도이다.7 is a flowchart provided to explain an operation of a digital device according to an embodiment of the present disclosure.

본 발명은 지구상의 실제 공간상에 소정의 가상매체를 맵핑하고, 카메라의 시야 범위내에 존재하는 실제 피사체와 함께 해당 범위에 맵핑된 가상매체를 동시에 하나의 영상으로 표시함으로써, 실제영상에 가상매체를 표시할 수 있는 디지털 기기에 관한 것이다. The present invention maps a virtual medium onto a real space on the earth, and simultaneously displays a virtual medium mapped to the range as a single image together with a real subject existing within the field of view of the camera. It relates to a digital device that can be displayed.

3차원 가상 영상을 실현하는 기술은 다양하게 응용되고 있으며, 특히 게임분야에서 현장감과 사실감을 높이기 위하여 많이 이용되고 있다. 이에 따라, 개인용 컴퓨터나 네트워크로 연결된 컴퓨터뿐 아니라, 휴대용 기기에 이르기까지 다양한 3차원 가상영상 기술이 실현되고 있다. The technology for realizing 3D virtual images has been applied in various ways, and in the game field, it is widely used to enhance the realism and realism. As a result, various 3D virtual image technologies have been realized not only for personal computers and computers connected via a network, but also for portable devices.

본 발명의 목적은, 지구상의 실제 공간상에 소정의 가상매체를 맵핑하고, 카메라의 시야 범위내에 존재하는 실제 피사체와 함께 해당 범위에 맵핑된 가상매체를 동시에 하나의 영상으로 표시함으로써, 실제영상에 가상매체를 표시할 수 있는 디지털 기기를 제공함에 있다. An object of the present invention is to map a virtual medium onto a real space on the earth, and simultaneously display a virtual medium mapped to the range as a single image together with a real subject existing within the field of view of the camera. The present invention provides a digital device capable of displaying a virtual medium.

본 발명의 다른 목적은, 실제 공간상에 맵핑된 가상매체를 표시함에 있어, 카메라 시야 각의 변화에 대응하여 가상매체의 표시를 변화시키면서, 실제영상에 가상매체를 표시할 수 있는 디지털 기기를 제공함에 있다. Another object of the present invention is to provide a digital device capable of displaying a virtual medium on a real image while changing the display of the virtual medium in response to a change in the camera viewing angle in displaying the virtual medium mapped on the real space. Is in.

상기 목적을 달성하기 위해 본 발명에 따라, 피사체에 대한 실제영상데이터을 생성하는 소정의 카메라에 연결된 디지털 기기가 실제영상에 가상매체를 표시하는 방법은, 상기 카메라의 절대좌표인 위치정보 및 상기 절대좌표에서 상기 카메라가 향하는 방향에 대한 정보인 자세정보를 생성하는 단계, 상기 위치정보 및 자세정보를 기초로, 상기 카메라의 절대좌표상 시야범위 내에 존재하는 것으로 기 설정된 적어도 한 개 가상 객체를 포함하는 가상영상데이터를 생성하는 단계 및 상기 실제영상데이터에 상기 가상영상데이터를 합성한 최종영상데이터에 대응하는 영상을 표시하는 단계를 포함한다.In order to achieve the above object, according to the present invention, a digital device connected to a predetermined camera for generating actual image data of a subject to display a virtual medium in the actual image, the position information and the absolute coordinates of the absolute coordinates of the camera Generating posture information that is information about a direction to which the camera is directed; and including at least one virtual object that is preset to exist within a viewing range on an absolute coordinate of the camera based on the position information and the attitude information. Generating image data and displaying an image corresponding to final image data obtained by synthesizing the virtual image data with the actual image data.

여기서, 상기 카메라의 절대좌표상 시야범위는, 상기 카메라의 줌인 또는 줌아웃에 따른 상기 카메라의 시야범위를 상기 위치정보 및 자세정보에 기초하여 맵핑한 것이 바람직하다.Here, the field of view on the absolute coordinates of the camera preferably maps the field of view of the camera according to the zoom-in or zoom-out of the camera based on the positional information and attitude information.

본 발명 상기 실시 예에 따라, 실제영상에 가상매체를 표시하는 방법은 상기 가상객체의 절대좌표가 변경되는 경우 소정의 서버로부터 상기 변경된 가상객체의 절대좌표를 수신하는 단계를 더 포함할 수 있다.According to the embodiment of the present invention, the method of displaying a virtual medium on the actual image may further include receiving the absolute coordinates of the changed virtual object from a server when the absolute coordinate of the virtual object is changed.

또한, 상기 가상영상데이터를 생성하는 단계는, 상기 가상객체에 할당된 소정의 자세정보를 기초로, 상기 가상객체가 소정의 방향을 향하도록 상기 가상영상데이터를 생성할 수 있다. 이에 따라, 상기 가상객체의 자세정보가 변경되는 경우 소정의 서버로부터 상기 변경된 가상객체의 자세정보를 수신하는 단계를 더 포함할 수 있다.The generating of the virtual image data may generate the virtual image data so that the virtual object faces a predetermined direction, based on predetermined posture information allocated to the virtual object. Accordingly, when the posture information of the virtual object is changed, the method may further include receiving posture information of the changed virtual object from a predetermined server.

상기 카메라의 절대좌표는, 소정의 위성항법장치(GPS :Global Positioning System) 수신기에 의해 생성된 좌표인 것이 바람직하다.The absolute coordinates of the camera are preferably coordinates generated by a predetermined GPS (Global Positioning System) receiver.

상기 자세정보는, 중력방향 및 자북방향 중 적어도 한 개 방향의 축을 포함하는 3개 축으로서 서로 직교하는 축 각각을 회전축으로 상기 카메라가 회전한 각도인 것이 바람직하다.The posture information is three axes including axes in at least one of the gravity direction and the magnetic north direction, and each of the axes orthogonal to each other is an angle at which the camera is rotated on a rotation axis.

본 발명의 다른 실시 예에 따른 실제영상에 가상매체를 표시할 수 있는 디지털 기기는, 피사체에 대한 실제영상데이터을 생성하는 카메라, 상기 카메라의 절대좌표인 위치정보 및 상기 절대좌표에서 상기 카메라가 향하는 방향에 대한 정보인 자세정보를 생성하는 센서부, 소정의 영상신호를 수신하여 시각적으로 인식할 수 있도록 표시하는 표시부, 소정의 영상 데이터를 수신하여 상기 표시부에 표시하기 위한 상기 영상신호로 변환하여 출력하는 영상처리부, 상기 위치정보 및 자세정보를 기초로, 상기 카메라의 절대좌표상 시야범위 내에 존재하는 것으로 기 설정된 적어도 한 개 가상 객체를 추출하는 계산부, 상기 계산부가 추출한 적어도 한 개 가상객체를 포함하는 가상영상데이터를 생성하는 가상객체생성부 및 상기 실제영상데이터에 상기 가상영상데이터를 합성한 최종영상데이터를 생성하여 상기 영상처리부로 출력하는 영상합성부를 포함한다.According to another aspect of the present invention, there is provided a digital device capable of displaying a virtual medium on an actual image, including: a camera generating actual image data of a subject, position information of absolute coordinates of the camera, and a direction in which the camera faces in the absolute coordinates; A sensor unit for generating posture information which is information about the display unit, a display unit for receiving a predetermined image signal and visually recognizing it, and converting and outputting the predetermined image data to the image signal for display on the display unit An image processor, a calculator configured to extract at least one virtual object that is preset to exist within a viewing range on the absolute coordinates of the camera based on the position information and the attitude information, and at least one virtual object extracted by the calculator The virtual object generation unit for generating virtual image data and the addition to the actual image data To generate the final image data obtained by synthesizing the image data includes the image combination unit to output to the image processor.

본 발명의 디지털 기기는 네트워크를 통해 소정의 서버에 접속할 수 있는 네트워크 처리부를 더 포함하고, 이 때 상기 계산부는, 상기 서버가 상기 가상객체의 절대좌표가 변경됨에 따라 전송하는 상기 변경된 가상객체의 절대좌표를, 상기 네 트워크처리부를 통해 수신할 수 있다.The digital device of the present invention further includes a network processing unit capable of accessing a predetermined server through a network, wherein the calculating unit is an absolute of the changed virtual object transmitted by the server as the absolute coordinate of the virtual object is changed. Coordinates may be received through the network processor.

상기 가상객체생성부는, 상기 가상객체에 할당된 소정의 자세정보를 기초로, 상기 가상객체가 소정의 방향을 향하도록 상기 가상영상데이터를 생성하는 것이 바람직하며, 상기 계산부는 상기 서버가 상기 가상객체의 자세정보가 변경됨에 따라 전송하는 상기 변경된 가상객체의 자세정보를 상기 네트워크처리부를 통해 수신할 수 있다.The virtual object generating unit may generate the virtual image data such that the virtual object faces a predetermined direction based on predetermined posture information assigned to the virtual object, and the calculation unit generates the virtual object data by the server. As the posture information of the user is changed, the posture information of the changed virtual object may be received through the network processor.

상기 센서부는, 상기 카메라의 절대좌표를 생성하는 소정의 위성항법장치(GPS :Global Positioning System) 수신기를 포함할 수 있다.The sensor unit may include a predetermined GPS (Global Positioning System) receiver for generating absolute coordinates of the camera.

상기 센서부는, 소정의 중력센서 및 자계센서 중 하나와 함께 적어도 하나의 회전센서를 포함하여, 중력방향 및 자북방향 중 적어도 한 개 방향의 축을 포함하는 3개 축으로서 서로 직교하는 축 각각을 회전축으로 상기 카메라가 회전한 각도를 계산함으로써, 상기 자세정보를 생성할 수 있다.The sensor unit includes at least one rotation sensor together with one of a predetermined gravity sensor and a magnetic field sensor, and includes three axes including at least one of a gravity direction and a magnetic north direction. The posture information may be generated by calculating an angle at which the camera is rotated.

상기 센서부는, 소정의 중력센서 및 자계센서 중 하나와 함께 적어도 하나의 회전센서를 포함하여 그 센싱값을 상기 계산부로 출력하며, 상기 계산부는 상기 센싱값을 기초로, 중력방향 및 자북방향 중 적어도 한 개 방향의 축을 포함하는 3개 축으로서 서로 직교하는 축 각각을 회전축으로 상기 카메라가 회전한 각도를 계산함으로써, 상기 자세정보를 생성할 수 있다.The sensor unit includes at least one rotation sensor together with one of a predetermined gravity sensor and a magnetic field sensor and outputs a sensing value to the calculation unit, and the calculation unit is based on the sensing value and includes at least one of a gravity direction and a magnetic north direction. The posture information can be generated by calculating an angle at which the camera is rotated using three axes including one axis in one direction and the axes perpendicular to each other as a rotation axis.

또한, 상기 카메라는 소정의 유선 또는 무선 인터페이스에 의해 본체와 연결될 수 있다.In addition, the camera may be connected to the main body by a predetermined wired or wireless interface.

이하에서는, 도면을 참조하여 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 일 실시 예에 따른 디지털 기기를 포함하는 시스템의 구성도이며, 도 2는 본 발명의 일 실시 예에 따른 디지털 기기의 동작 설명에 제공되는 도면이다.1 is a configuration diagram of a system including a digital device according to an embodiment of the present invention, and FIG. 2 is a view provided to explain an operation of the digital device according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 본 발명의 디지털 기기(101)는 소정의 네트워크(103)를 통해 서버(105)에 연결된다. 본 발명의 디지털 기기(101)는 소정의 카메라를 포함하여 카메라를 통해 입력되는 피사체(r1)에 대한 실제영상을 생성하며, 네트워크(103)를 통해 연결된 서버(105)로부터 3차원 가상영상을 위한 정보를 수신하여 3차원 가상영상을 생성할 수 있다. 디지털 기기(101)는 생성된 실제영상과 3차원 가상영상을 합성하여 표시함으로써, 가상 객체(i1, i2)가 실제 공간상에 존재하는 것처럼 인식될 수 있는 영상을 표시할 수 있다. 1 and 2, the digital device 101 of the present invention is connected to the server 105 through a predetermined network 103. The digital device 101 of the present invention generates a real image of the subject r1 input through the camera including a predetermined camera, and generates a 3D virtual image from the server 105 connected through the network 103. The 3D virtual image may be generated by receiving the information. The digital device 101 may display an image that can be recognized as if the virtual objects i1 and i2 exist in real space by synthesizing and displaying the generated real image and the 3D virtual image.

본 발명의 '가상 객체'는, 화면을 통해 실제 존재하는 것으로 표현될 수 있는 이미지로서, 2차원 이미지 또는 3차원 이미지를 포함한다. 가상 객체는, 경도 및 위도에 의해 표시될 수 있는 실제 공간상의 특정 위치에 대응되는 가상공간에 존재한다. 따라서, 가상 객체의 위치를 위도 및 경도로 표시할 수 있다. 예를 들어, 가상객체 i1은 절대좌표 (a2,b2)에 위치하며, 가상객체 i2는 절대좌표 (a3,b3)에 위치한다.The 'virtual object' of the present invention is an image that can be represented as actually present on the screen, and includes a two-dimensional image or a three-dimensional image. The virtual object exists in a virtual space corresponding to a specific position in real space that can be represented by longitude and latitude. Therefore, the position of the virtual object can be displayed in latitude and longitude. For example, virtual object i1 is located in world coordinates (a2, b2), and virtual object i2 is located in world coordinates (a3, b3).

따라서, 이동 또는 회전 등에 의해 디지털 기기(101)의 자세나 실제 위치(경도 및 위도에 의해 표시될 수 있는 위치. 이하 '절대 위치'라 함)가 변경되면, 디지털 기기(101)와 '가상 객체' 사이의 상대적인 위치가 변하게 된다. 이에 따라, 디지털 기기(101)는 변경된 영상을 표시한다. Therefore, when the posture or the actual position of the digital device 101 (the position that can be indicated by the longitude and latitude, hereinafter referred to as an absolute position) is changed by moving or rotating, the digital device 101 and the virtual object are changed. The relative position between 'will change. Accordingly, the digital device 101 displays the changed image.

여기서, '자세'라는 것은, 가상 객체나 디지털 기기(101) 또는 디지털 기기(101)의 카메라의 특정 면이 향하고 있는 방향 벡터로써, 자북(磁北)방향이 기준이 된다. 또한, 이하에서 말하는 '자세정보'는, 가상객체나 디지털 기기(101)의 자세에 대한 정보이다. 도 2에서 디지털 기기(101)의 자세정보는 벡터 V에 대한 정보이다. Here, "posture" is a direction vector to which a specific object of a virtual object or a digital device 101 or a camera of the digital device 101 is directed, and the magnetic north direction is a reference. In addition, "posture information" described below is information on the posture of the virtual object or the digital device 101. In FIG. 2, the attitude information of the digital device 101 is information about a vector V. FIG.

예를 들어, 디지털 기기(101)가 현재의 절대 위치(a1,b1)에서 시계반대 방향으로 회전한다고 가정하면, 벡터 V에 대응되는 자세가 변경된다. 이러한 회전에 따라, 디지털 기기(101)에 표시되는 영상에서 가상객체 i2가 점점 사라지게 된다. For example, assuming that the digital device 101 rotates in the counterclockwise direction at the current absolute positions a1 and b1, the posture corresponding to the vector V is changed. As a result of this rotation, the virtual object i2 gradually disappears from the image displayed on the digital device 101.

서버(105)는 디지털 기기(101)로부터 소정의 위치정보, 자세정보 및 카메라 정보를 수신하고, 수신한 정보들에 대응하여 소정의 객체(Object)정보를 디지털 기기(101)로 전송한다.The server 105 receives predetermined location information, attitude information, and camera information from the digital device 101, and transmits predetermined object information to the digital device 101 in response to the received information.

여기서, 카메라 정보는 카메라의 줌인 또는 줌아웃 등에 따른 카메라의 시야범위에 대한 정보이다. 카메라의 시야범위는 줌인 또는 줌아웃에 따라 기 설정된 시야각 및 시야거리를 통해 구해진다.Here, the camera information is information on the field of view of the camera according to the zoom in or zoom out of the camera. The viewing range of the camera is obtained through a preset viewing angle and viewing distance according to zooming in or zooming out.

객체정보는, 가상객체에 대한 위치정보, 자세정보 및 가상객체 식별자(ID: Identification)를 포함한다. 가상객체 식별자는 가상객체에 대한 영상자원인 2차원 또는 3차원 폴리곤(polygon)에 대응된다. The object information includes location information, posture information, and a virtual object identifier (ID) for the virtual object. The virtual object identifier corresponds to a two-dimensional or three-dimensional polygon that is an image resource for the virtual object.

객체정보에 가상객체에 대한 식별자가 포함된 경우, 디지털 기기(101)는, 가상객체에 대한 2차원 또는 3차원 폴리곤(polygon)을 이미 저장하고 있을 수 있다. 이 경우, 서버(105)는 주기적 또는 비주기적으로 디지털 기기(101)에 저장될 2차원 또는 3차원 폴리곤을 추가하거나 업데이트할 수 있다.When the object information includes the identifier for the virtual object, the digital device 101 may already store a two-dimensional or three-dimensional polygon for the virtual object. In this case, the server 105 may add or update a two-dimensional or three-dimensional polygon to be stored in the digital device 101 periodically or aperiodically.

또한, 서버(105)는 가상객체가 이동하거나 움직이는 경우를 가정하여, 가상객체의 변경된 위치정보 및 자세정보를 주기적 또는 비주기적으로 디지털 기기(101)로 전송할 수 있다.In addition, the server 105 may transmit the changed position information and the posture information of the virtual object to the digital device 101 periodically or aperiodically on the assumption that the virtual object moves or moves.

또한, 실시 예에 따라, 서버(105)가 제공하는 객체정보는, 가상객체의 위치정보 및 자세정보와 함께, 가상객체 식별자를 대신하여 해당 가상객체의 폴리곤을 포함할 수도 있다. In addition, according to an embodiment, the object information provided by the server 105 may include a polygon of the virtual object instead of the virtual object identifier together with the location information and the attitude information of the virtual object.

위치정보란, 디지털 기기(101) 또는 가상객체의 절대 좌표에 대한 정보로서, 지구상의 경도, 위도 및 고도에 관한 정보를 포함한다. 위치정보와 자세정보가 있으면, 해당 디지털 기기(101)나 가상객체가 지구상의 어느 위치에서 어디를 향하고 있는지를 알 수 있다. The location information is information about the absolute coordinates of the digital device 101 or the virtual object and includes information about the longitude, latitude, and altitude on the earth. If there is location information and attitude information, it can be seen from which location on the earth the digital device 101 or the virtual object is headed.

여기서, 디지털 기기(101)에 대한 위치정보 및 자세정보가, 디지털 기기(101)의 카메라에 대한 것이라면, 카메라가 디지털 기기(101)에 합체되거나 일체로 포함된 것이 아니라, 디지털 기기(101)와 분리되어 존재하는 경우일 수 있다. Here, if the positional information and the attitude information of the digital device 101 are for the camera of the digital device 101, the camera is not incorporated or integrally included in the digital device 101, It may be present separately.

가상객체에 대한 객체정보를 디지털 기기(101)로 제공함에 있어, 서버(105)는 디지털 기기(101)의 위치로부터 소정 반경 내의 모든 가상객체에 관한 객체정보를 제공하거나, 디지털 기기(101)로부터 수신한 카메라 정보 및 자세정보를 이용하여 현재 카메라의 절대좌표상의 시야범위 내에 존재하는 가상객체에 대한 객체정보만을 제공할 수 있다. In providing the object information about the virtual object to the digital device 101, the server 105 provides object information about all the virtual objects within a predetermined radius from the position of the digital device 101 or from the digital device 101. By using the received camera information and posture information, only object information of a virtual object existing within a viewing range on the absolute coordinate of the current camera may be provided.

네트워크(103)는 유선 또는 무선 네트워크가 해당하며, 무선 네트워크가 바람직하다.The network 103 corresponds to a wired or wireless network, preferably a wireless network.

도 3은 도 2에 대응하여 가상매체가 함께 표시된 영상을 도시한 도면으로서, 벡터 V 의 자세를 가지는 디지털 기기(101)가 실제 피사체(r1)과 함께 가상객체(i1, i2)를 표시하고 있음을 보인다. FIG. 3 is a diagram illustrating an image in which a virtual medium is displayed together with FIG. 2, in which the digital device 101 having the posture of the vector V displays the virtual objects i1 and i2 together with the actual subject r1. Seems.

이하에서는 도 4 및 도 5를 참조하여, 본 발명의 일 실시 예에 따른 디지털 기기(101)를 설명한다.Hereinafter, the digital device 101 according to an embodiment of the present invention will be described with reference to FIGS. 4 and 5.

도 4은 본 발명의 일 실시 예에 따른 디지털 기기의 블록도이고, 도 5는 본 발명의 일 실시 예에 따른 디지털 기기의 동작 설명에 제공되는 도면이다. 도 4의 디지털 기기(101)는 도 1의 디지털 기기(101)에 대응되고 동일하게 동작한다.4 is a block diagram of a digital device according to an embodiment of the present invention, and FIG. 5 is a view provided to explain an operation of the digital device according to an embodiment of the present invention. The digital device 101 of FIG. 4 corresponds to the digital device 101 of FIG. 1 and operates in the same manner.

본 발명의 일 실시 예에 따른 디지털 기기(101)는 다양한 형태를 가질 수 있으며, 그 일 예로 통상의 디지털 카메라나, 휴대용 게임기의 형태 뿐만 아니라, 인간의 신체에 장착 가능한 형태로 형성될 수 있다.The digital device 101 according to an embodiment of the present invention may have various forms. For example, the digital device 101 may be formed in a form that can be mounted on a human body as well as a general digital camera or a portable game machine.

본 발명의 일 실시 예에 따른 디지털 기기(101)는 카메라(401), 센서부(403), 네트워크처리부(405), 메모리(407), 저장매체(409), 영상처리부(411), 표시부(413) 및 제어부(430)를 포함하며, 서버(105)로부터 소정의 객체정보를 수신하여, 가상영상과 실제영상을 합성한다.The digital device 101 according to an embodiment of the present invention includes a camera 401, a sensor unit 403, a network processor 405, a memory 407, a storage medium 409, an image processor 411, and a display unit ( 413 and a control unit 430, and receives predetermined object information from the server 105, and synthesizes the virtual image and the real image.

카메라(401)는 피사체로부터 반사되어 렌즈(lenz)(미도시)로 입사되는 광을 이용하여 소정의 영상데이터를 생성하여 제어부(430)로 출력한다. 카메라(401)가 생성하는 영상 데이터는 스틸 이미지 또는 동영상 데이터 중 적어도 하나를 포함한다. 이하에서는, 실제영상을 위해 카메라(401)가 생성하는 영상 데이터를 '실제영상데이터'라 한다. 그리고, 실제영상데이터와 달리 객체정보에 대응되는 가상객체에 대한 영상 데이터를 '가상영상데이터'라 한다.The camera 401 generates predetermined image data by using light reflected from a subject and incident on a lens lenz (not shown) and outputs the predetermined image data to the controller 430. The image data generated by the camera 401 includes at least one of still image or video data. Hereinafter, the image data generated by the camera 401 for the actual image is referred to as 'real image data'. Unlike the actual image data, the image data of the virtual object corresponding to the object information is called 'virtual image data'.

또한, 카메라(401)는 제어부(430)의 제어에 따라 렌즈(미도시)를 움직임으로써, 줌인(zoom-in) 영상이나 줌 아웃(zoom-out)된 영상을 생성하여 제어부(430)로 전달한다.In addition, the camera 401 moves a lens (not shown) under the control of the controller 430 to generate a zoom-in image or a zoomed-out image and transmit the same to the controller 430. do.

도 4에는 카메라(401)가 디지털 기기(101)내에 포함된 것으로 도시되고 있으나, 반드시 이에 한정될 필요없으며, 실시 예에 따라서는 센서부(403)와 함께 외부에 위치하여 유무선 인터페이스(미도시)를 통해 디지털 기기(101)와 연결될 수도 있다.Although FIG. 4 illustrates that the camera 401 is included in the digital device 101, the camera 401 is not necessarily limited thereto. In some embodiments, the camera 401 is located outside the sensor unit 403 along with a wired / wireless interface (not shown). It may be connected to the digital device 101 through.

센서부(403)는 위치부(417) 및 자세부(415)를 포함하며, 소정의 위치정보 및 회전정보를 제어부(430)로 출력한다. 회전정보는 자세정보를 생성하기 위해 자세부(415)가 센싱한 디지털 기기의 회전각도이다. The sensor unit 403 includes a position unit 417 and a posture unit 415, and outputs predetermined position information and rotation information to the control unit 430. The rotation information is a rotation angle of the digital device sensed by the posture unit 415 to generate posture information.

여기서, 도 5를 참조하여, 위치정보 및 자세정보를 보다 자세히 설명한다.Here, location information and attitude information will be described in more detail with reference to FIG. 5.

도 5를 참조하면, 동일한 수평면 상에 위치하고 서로 수직인 X 축 및 Z축이 있다. Z축을 자북(N) 방향으로 하는 경우 Z축과 X 축이 형성하는 평면은, 디지털 기기(101)가 위치하는 지구상 위치인 절대좌표에 대응된다. Referring to FIG. 5, there are X and Z axes located on the same horizontal plane and perpendicular to each other. In the case where the Z axis is in the magnetic north N direction, the plane formed by the Z axis and the X axis corresponds to the absolute coordinate which is a global position on which the digital device 101 is located.

디지털 기기(101)의 카메라(401)는 경도 a1 및 위도 b1의 위치에서 벡터 V의 자세를 가지고 있다. 따라서 디지털 기기(101)의 위치정보는 디지털 기기(101)가 위치하는 절대좌표 상 위치인 (a1,b1)이 된다.The camera 401 of the digital device 101 has a posture of the vector V at positions of longitude a1 and latitude b1. Therefore, the position information of the digital device 101 becomes (a1, b1) which is the position on the absolute coordinate where the digital device 101 is located.

자세정보는, 자북(磁北)방향인 Z축을 기준으로 하는, 벡터 V에 대한 정보로서, 피치(Pitch)값, 롤(Roll)값 및 요(Yaw)값을 포함한다. 피치값은 X축을 기준으로 디지털 기기(101)가 회전한 각을 XZ 평면을 기준으로 읽은 값이며, 요값은 Z축을 기준으로 디지털 기기(101)가 회전한 각을 XZ 평면을 기준으로 읽은 값이다. 또한, 롤값은 Y축을 기준으로 디지털 기기(101)가 회전한 각을 XY 평면을 기준으로 읽은 값이다. 이하에서는 디지털 기기(101)의 자세정보를 (Pd, Rd, Yd)라 한다. 여기서, Pd는 피치값, Rd은 롤값, 그리고 Yd은 요값이 된다.The attitude information is information on the vector V based on the Z axis in the magnetic north direction, and includes a pitch value, a roll value, and a yaw value. The pitch value is a value obtained by reading the angle rotated by the digital device 101 with respect to the X axis with respect to the XZ plane, and the yaw value is a value obtained by reading an angle rotated by the digital device 101 with respect to the Z axis with respect to the XZ plane. . In addition, the roll value is a value which reads the angle which the digital apparatus 101 rotated about the Y-axis with respect to an XY plane. Hereinafter, the attitude information of the digital device 101 is referred to as (P d , R d , Y d ). Here, P d is a pitch value, R d is a roll value, and Y d is a yaw value.

도 5를 참조하면, 자세정보는 절대좌표와 소정의 상관관계를 가진다. 예를 들어, 자북방향, 중력방향, 경도방향 또는 위도방향 등 절대좌표와 관련된 소정의 기준을 중심으로 측정되어야 한다. 예를 들어, 롤값은 자북을 기준으로 그 회전 각도를 구하고, 피치값은 중력방향을 기준으로 정해져야 한다. Referring to FIG. 5, posture information has a predetermined correlation with absolute coordinates. For example, it should be measured around a predetermined criterion related to absolute coordinates such as magnetic north direction, gravity direction, longitude direction or latitude direction. For example, the roll value should be determined based on magnetic north, and the pitch value should be determined based on the direction of gravity.

이하에서는 다시 도 4를 참조하여 각 구성요소를 설명한다. Hereinafter, each component will be described with reference to FIG. 4 again.

위치부(417)는 지구상에 디지털 기기(101)가 존재하는 경도 및 위도의 좌표인 위치정보를 구하여 제어부(430)로 출력한다. 위치부(417)는 위성항법장치(GPS: Global Positioning System, 이하 'GPS'라 함) 위성이나 지상의 송신기로부터 위치정보에 대응되는 소정의 신호를 수신하여 처리함으로써 위치정보를 생성한다. The location unit 417 obtains location information that is a coordinate of longitude and latitude in which the digital device 101 exists on the earth, and outputs the location information to the controller 430. The location unit 417 generates location information by receiving and processing a predetermined signal corresponding to the location information from a satellite positioning device (GPS: Global Positioning System (GPS)) satellite or terrestrial transmitter.

바람직하게는, 위치부(417)는 GPS 위성으로부터 소정의 데이터를 수신하여 WGS-84 좌표계상의 좌표값을 출력하는 GPS 수신기가 해당하며, 이 경우 위치정보는 디지털 기기(101)의 WGS-84 좌표계상의 좌표값이 될 수 있다.Preferably, the location unit 417 corresponds to a GPS receiver for receiving predetermined data from a GPS satellite and outputting a coordinate value on a WGS-84 coordinate system, in which case the location information is a WGS-84 coordinate system of the digital device 101. Can be the coordinate value of the image.

자세부(415)는 소정의 센서를 기초로, 디지털 기기(101)의 회전정보를 구하여 제어부(430)로 출력한다. The posture unit 415 obtains rotation information of the digital device 101 based on a predetermined sensor and outputs the rotation information to the controller 430.

실시 예에 따라, 자세부(415)는 회전센서와 함께 자계센서(magneto sensor) 및 중력센서 중 하나를 사용하여 회전정보를 구할 수 있다. 이 경우, 자계센서 또는 중력센서는 절대좌표와의 상관관계에서, 회전센서에 의해 구해진 각도를 보상하는데 사용한다. 여기서, 회전정보는 회전센서의 출력과 함께 자계센서 및 중력센서 중 하나의 출력값을 포함한다. According to an embodiment, the posture unit 415 may obtain rotation information by using one of a magneto sensor and a gravity sensor together with the rotation sensor. In this case, the magnetic field sensor or the gravity sensor is used to compensate the angle obtained by the rotation sensor in the correlation with the absolute coordinate. Here, the rotation information includes an output value of one of the magnetic field sensor and the gravity sensor together with the output of the rotation sensor.

또한, 복수 개의 자계센서(magneto sensor)와 복수 개의 중력센서를 사용하여 회전정보를 구할 수 있다.  In addition, rotation information may be obtained using a plurality of magneto sensors and a plurality of gravity sensors.

회전센서는 3 개를 포함하는 것이 바람직하다. 3개의 회전센서 각각의 출력은 피치값, 롤값 및 요값에 대응된다. 따라서, 각 회전센서는 서로 직교하는 3 개 축을 기준으로 한 디지털 기기(101)의 회전 변위(각도)를 출력하도록 디지털 기기(101)내에 설치되며, 자이로스코프(gyroscope)가 바람직하다.Preferably, the rotation sensor includes three. The output of each of the three rotation sensors corresponds to the pitch value, roll value and yaw value. Therefore, each rotation sensor is provided in the digital device 101 so as to output the rotational displacement (angle) of the digital device 101 with respect to three axes orthogonal to each other, and a gyroscope is preferable.

자이로스코프는 광학식 자이로스코프, 기계식 자이로스코프, 압전형 진동자이로스코프, 미소기전시스템(MEMS: Micro Electro Mechanical System) 기술을 이용한 초소형 마이크로 자이로스코프 등을 사용할 수 있다. Gyroscopes can include optical gyroscopes, mechanical gyroscopes, piezoelectric vibratory gyroscopes, and microscopic micro gyroscopes using Micro Electro Mechanical System (MEMS) technology.

자계센서는, 자북(N)방향을 감지함으로써, 소정 설치방향과 자북방향 사이의 각도 정보를 출력한다. 중력센서는 중력방향을 감지함으로써, 소정 설치방향과 중 력방향 사이의 각도 정보를 출력한다. 회전센서의 출력은 디지털 기기(101)의 현재 상태에서 서로 직교하는 3개 축(개체 좌표계를 형성)을 기준으로 회전한 각도이므로, 이러한 회전각도를 절대좌표 상의 자북방향이나 중력방향을 기준으로 한 값으로 보상하기 위해서는 회전센서의 3개 축을 도 5와 같이 자북방향이나 중력방향과 일치시키는 과정이 필요하다. 따라서, 자계센서나 중력센서의 출력값이 필요하다. 다시 말해, 디지털 기기(101)의 개체 좌표계와 절대좌표계의 일치시키기 위한 보상이 필요하다.The magnetic field sensor outputs angle information between the predetermined installation direction and the magnetic north direction by sensing the magnetic north direction. The gravity sensor detects the gravity direction and outputs angle information between the predetermined installation direction and the gravity direction. Since the output of the rotation sensor is an angle rotated with respect to three axes (forming an object coordinate system) orthogonal to each other in the current state of the digital device 101, the rotation angle is based on the magnetic north direction or the gravity direction on the absolute coordinate. To compensate with the value, it is necessary to match the three axes of the rotation sensor with the magnetic north direction or the gravity direction as shown in FIG. Therefore, the output value of the magnetic field sensor or the gravity sensor is required. In other words, compensation is required to match the object coordinate system and the absolute coordinate system of the digital device 101.

자세부(415)는 회전센서의 출력과 함께, 자계센서 및 중력센서 중 하나에서 출력되는 아날로그 신호를 디지털 신호로 변환한 소정의 회전정보를 제어부(430)로 출력한다. 자세부(101)는 회전정보에 포함될 수 있는 노이즈를 제거하여 출력할 수 있다. 이에 따라, 제어부(430)가 자계센서 및 중력센서 중 하나의 출력을 기초로, 회전센서의 출력에 대해 절대좌표와의 상관관계를 보상한다. The posture unit 415 outputs, to the controller 430, predetermined rotation information obtained by converting an analog signal output from one of the magnetic field sensor and the gravity sensor into a digital signal together with the output of the rotation sensor. The posture unit 101 may remove and output noise that may be included in the rotation information. Accordingly, the controller 430 compensates the correlation with the absolute coordinates of the output of the rotation sensor based on the output of one of the magnetic field sensor and the gravity sensor.

또한, 실시 예에 따라, 자세부(415)는 회전정보를 기초로, 피치값, 롤값 및 요값을 구하여 제어부(430)로 출력할 수 있다. 다시 말해, 자세부(415)가 절대좌표와의 상관관계가 보상된 자세정보를 제어부(430)로 출력할 수 있다.In addition, according to an exemplary embodiment, the posture unit 415 may obtain a pitch value, a roll value, and a yaw value based on the rotation information and output the same to the controller 430. In other words, the posture unit 415 may output the posture information whose correlation with the absolute coordinate is compensated to the controller 430.

또 다른 실시 예에 따르면, 자세부(415)는 복수 개의 자계센서 및 중력센서를 이용하여 회전센서를 대신하면서, 절대좌표와의 상관관계가 보상된 자세정보를 직접 생성할 수 있다. According to another embodiment, the posture unit 415 may directly generate posture information in which correlation with absolute coordinates is compensated for, instead of the rotation sensor using a plurality of magnetic sensors and gravity sensors.

네트워크처리부(405)는 네트워크(103)를 통해 서버(105)와 연결할 수 있으며, 유선 또는 무선 통신방법에 의해 제어부(430)가 출력하는 데이터를 서버(105) 로 전송하고, 서버(105)로부터 전송되는 데이터를 제어부(430)로 전달한다.The network processing unit 405 may be connected to the server 105 through the network 103, and transmits data output from the control unit 430 to the server 105 by a wired or wireless communication method, and from the server 105. The transmitted data is transmitted to the controller 430.

메모리(407)는 각종 활성 및 비활성 메모리를 포함하며, 디지털 기기(101)의 각종 프로그램이나 데이터들이 저장될 수 있다. The memory 407 includes various active and inactive memories, and various programs or data of the digital device 101 may be stored.

저장매체(409)에는 플래시 메모리, 하드 디스크 등이 해당하며, 디지털 기기(101)가 처리하는 각종 전자문서, 지도 정보 등의 멀티미디어 콘텐츠 등이 저장된다.The storage medium 409 corresponds to a flash memory, a hard disk, and the like, and stores multimedia content such as various electronic documents and map information processed by the digital device 101.

또한, 메모리(407)나 저장매체(409)에는 가상객체 식별자에 대응되는 폴리곤 데이터가 저장된다.In addition, polygon data corresponding to the virtual object identifier is stored in the memory 407 or the storage medium 409.

영상처리부(411)는 제어부(430)로부터 출력되는 영상 데이터를 수신하여 표시부(413)를 위한 영상신호로 변환하여 표시부(413)로 출력한다.The image processor 411 receives image data output from the controller 430, converts the image data into an image signal for the display unit 413, and outputs the image signal to the display unit 413.

표시부(413)는 영상처리부(411)로부터 전달되는 영상신호를 사용자가 시각적으로 인식 가능하게 표시한다. 표시부(413)는 엘시디(LCD), 유기발광다이오드(Organic Light Emitting Diode), PDP(Plasma Display Panel) 또는 CRT(Cathod Ray Tube) 등이 해당할 수 있다. The display unit 413 displays a video signal transmitted from the image processor 411 so that the user can visually recognize it. The display unit 413 may correspond to an LCD, an organic light emitting diode (PDP), a plasma display panel (PDP), or a cathode ray tube (CRT).

제어부(430)는 본 발명의 디지털 기기(101)의 전반적인 동작을 제어한다. The controller 430 controls the overall operation of the digital device 101 of the present invention.

제어부(430)는 카메라제어부(431), 계산부(433), 가상객체생성부(435) 및 영상합성부(437)를 포함하여, 카메라(401)로부터 입력되는 실제 영상과 서버(105)로부터 수신한 가상 객체를 합성하여 표시부(413)로 출력한다. The controller 430 may include a camera controller 431, a calculator 433, a virtual object generator 435, and an image synthesizer 437, from the real image and the server 105 that are input from the camera 401. The received virtual object is synthesized and output to the display unit 413.

카메라제어부(431)는, 사용자인터페이스(미도시)를 통한 사용자의 제어에 의해, 카메라(401)의 각종 동작을 제어한다.The camera controller 431 controls various operations of the camera 401 by the user's control through a user interface (not shown).

카메라(401)의 동작은, 줌 인(zoom in) 및 줌 아웃(zoom out)을 포함한다.Operation of the camera 401 includes zoom in and zoom out.

카메라제어부(431)는 계산부(433)의 요청에 따라 소정의 카메라 정보를 계산부(433)로 제공한다. 카메라 정보는 카메라(401)의 줌인 또는 줌아웃 등에 따른 카메라(401)의 시야각에 대한 정보이다. The camera controller 431 provides predetermined camera information to the calculator 433 at the request of the calculator 433. The camera information is information on a viewing angle of the camera 401 according to zooming in or zooming out of the camera 401.

계산부(433)는 센서부(403)로부터 위치정보 및 회전정보를 수신하고, 카메라제어부(431)로부터 카메라정보를 수신한다. The calculator 433 receives position information and rotation information from the sensor unit 403, and receives camera information from the camera controller 431.

계산부(433)는 센서부(403)로부터 수신한 위치정보를 기초로, 소정 지역을 위한 좌표계상의 좌표로 최종 변환함으로써 디지털 기기(101)의 위치정보를 계산한다. The calculation unit 433 calculates the location information of the digital device 101 by finally converting the coordinates on the coordinate system for the predetermined area based on the location information received from the sensor unit 403.

예를 들어, 계산부(433)는 위치부(417)로부터 WGS-84 좌표를 수신하면, 수신한 WGS-84 좌표를 해당 지역에 적용되는 좌표계상의 좌표로 변환함으로써 최종 위치정보를 계산한다. 예를 들어, 대한민국의 경우 동경좌표계를 사용하기 때문에, WGS-84 좌표를 동경좌표로 변환한다. 또한, WGS-84 좌표를 그대로 사용하는 지역의 경우, 별다른 변환과정 없이 그대로 위치부(417)의 출력을 그대로 위치정보로 사용할 수 있다.For example, when the calculation unit 433 receives the WGS-84 coordinates from the location unit 417, the calculation unit 433 calculates final location information by converting the received WGS-84 coordinates into coordinates on a coordinate system applied to the corresponding area. For example, Korea uses the Tokyo coordinate system, so WGS-84 coordinates are converted to Tokyo coordinates. In addition, in the case of a region using the WGS-84 coordinates as it is, the output of the location unit 417 may be used as the location information without any conversion process.

또한, 계산부(433)는 회전정보를 이용하여, 디지털 기기(101)의 자세정보를 계산한다. 계산부(433)는 자계센서나 중력센서의 출력을 기초로, 회전센서의 각도를 소정의 변환식에 따라 변환하는 방법으로 절대좌표와의 상관관계를 보상한 자세정보를 계산한다. In addition, the calculation unit 433 calculates the attitude information of the digital device 101 by using the rotation information. The calculation unit 433 calculates attitude information that compensates for the correlation with the absolute coordinates by converting the angle of the rotation sensor according to a predetermined conversion equation based on the output of the magnetic field sensor or the gravity sensor.

계산부(433)는 카메라 정보, 위치정보 및 자세정보를 네트워크처리부(405)를 통해 서버(105)로 전달한다. The calculator 433 transmits the camera information, the location information, and the attitude information to the server 105 through the network processor 405.

계산부(433)는 서버(105)로부터 전송되는 적어도 하나의 가상 객체에 대한 객체정보를 수신하여 가상객체생성부(435)로 전달한다. The calculator 433 receives object information on at least one virtual object transmitted from the server 105 and transmits the object information to the virtual object generator 435.

도 4의 실시 예에서, 서버(105)가 전송하는 객체정보가 카메라(401)의 절대좌표상 시야범위내의 가상객체에 대한 것이므로, 계산부(433)가 별다른 계산을 할 필요없이 바로 가상객체생성부(435)로 해당 객체정보를 전달할 수 있다.In the embodiment of FIG. 4, since the object information transmitted by the server 105 is for a virtual object within the viewing range on the absolute coordinates of the camera 401, the calculation unit 433 does not need to perform a separate calculation to immediately create a virtual object. The object information may be transmitted to the unit 435.

그러나, 실시 예에 따라 서버(105)가 전송하는 객체정보가 카메라(401)의 절대좌표상 시야범위가 아닌, 디지털 기기(101)의 절대좌표로부터 소정 범위내의 가상객체 모두에 대한 것이면, 계산부(433)가 카메라의 시야범위 내의 객체정보만을 추출하여 가상객체생성부(435)로 전달할 수 있다. 이 경우, 계산부(433)는 카메라 정보와 위치정보를 서버(105)로 전송할 필요가 없게 된다.However, if the object information transmitted by the server 105 according to the embodiment is not all of the viewing range on the absolute coordinates of the camera 401, but all virtual objects within a predetermined range from the absolute coordinates of the digital device 101, the calculation unit The 433 may extract only the object information within the viewing range of the camera and transmit the extracted object information to the virtual object generator 435. In this case, the calculator 433 does not need to transmit the camera information and the location information to the server 105.

가상객체생성부(435)는 계산부(433)로부터 적어도 하나의 가상 객체에 대한 객체정보를 수신한다. 가상객체생성부(435)는, 객체정보에 포함된 가상객체의 자세정보 및 위치정보를 기초로, 카메라(401)의 시야범위 내에 존재하는 가상객체를 포함하는 가상영상데이터를 생성한다. The virtual object generator 435 receives object information on at least one virtual object from the calculator 433. The virtual object generation unit 435 generates virtual image data including a virtual object existing within a viewing range of the camera 401 based on the attitude information and the position information of the virtual object included in the object information.

가상영상데이터의 생성을 도 6a 내지 도 6b를 이용하여 간단히 설명한다. 도 6a 내지 도 6b는 가상영상데이터의 생성과정의 설명에 제공되는 도면이다. Generation of the virtual image data will be briefly described using Figs. 6A to 6B. 6A to 6B are diagrams provided to explain a process of generating virtual image data.

도 6a는 시야공간전개처리된 폴리곤(polygon)을 보인다. 가상영상데이터는 서버(105)로부터 수신한 가상객체의 식별자에 대응되는 폴리건(plolygon)을 하나의 좌표계에 배치하는 시야공간전개처리부터 시작한다. FIG. 6A shows a polygon that has been treated with view space development. The virtual image data starts with the field space development process of arranging a polygon corresponding to the identifier of the virtual object received from the server 105 in one coordinate system.

시야공간전개처리를 위하여, 가상객체생성부(435)는 가상객체의 위치정보 및 자세정보를 기초로, 카메라(401)가 생성하는 실제영상데이터에 대응되는 공간상에 가상객체를 배치한다. For the visual space development process, the virtual object generation unit 435 arranges the virtual object in a space corresponding to the actual image data generated by the camera 401 based on the position information and the attitude information of the virtual object.

가상객체생성부(435)는 시야공간처리된 3차원 영상 데이터를 현실감있게 표현하기 위해, 도 6b와 같이 광원 처리를 한다. The virtual object generation unit 435 performs light source processing as shown in FIG. 6B to realistically express the 3D image data processed by the space-of-view.

광원 처리가 끝나게 되면 투영변환처리와 매핑으로써, 2차원 화면을 위한 영상데이터를 생성한다. 투영변환처리는, 평면으로 정의된 일정한 공간밖의 부분을 잘라내는 클리핑(clipping)(도 6c), 자세정보에 따른 시야를 기초로 보이지 않고 가려진 폴리곤을 제거하는 은면처리(Hidden Surface Removal)(도 6d)를 포함한다. 클리핑을 함으로써, 가상객체에 대한 폴리곤 중에서 카메라(401)의 시야각 밖에 존재하는 부분이 제거되고 화면 매핑(도 6e)을 통해 화면상에서의 좌표를 찾아내어 2차원 화면으로 바뀐다. When the light source processing is completed, image data for the two-dimensional screen is generated by mapping with the projection conversion processing. Projection conversion processing includes clipping (FIG. 6C), which cuts out portions of a certain space defined by a plane, and hidden surface removal (FIG. 6D), which removes hidden polygons without being visible based on the field of view according to attitude information. ). By clipping, portions existing outside the viewing angle of the camera 401 among the polygons for the virtual object are removed, and the coordinates on the screen are found through the screen mapping (FIG. 6E), and the screen is converted into a two-dimensional screen.

가상객체생성부(435)는 투영변환처리된 영상데이터를 소정의 래스터화(rasterization)와 랜더링(rendering) 처리를 함으로써, 가상영상데이터를 생성한다.The virtual object generation unit 435 generates virtual image data by performing rasterization and rendering on the projection converted image data.

가상객체생성부(435)에서 생성된 가상영상데이터는 배경없이 가상객체만을 포함할 수 있다. The virtual image data generated by the virtual object generator 435 may include only the virtual object without a background.

영상합성부(437)는 가상객체생성부(435)로부터 가상영상데이터를 수신하고, 카메라(401)로부터 실제영상데이터를 수신하고, 가상영상데이터와 실제영상데이터를 합성하여 최종 영상데이터를 생성한다. 영상합성부(437)는 생성된 최종 영상데 이터를 영상처리부(411)로 출력한다.The image synthesizer 437 receives the virtual image data from the virtual object generator 435, receives the actual image data from the camera 401, and synthesizes the virtual image data and the actual image data to generate final image data. . The image synthesizer 437 outputs the generated final image data to the image processor 411.

이상의 실시 예에서는 실제 영상에 가상객체를 삽입하는 것을 전제로 설명하였으나, 본 발명이 반드시 이에 한정되지 아니한다. 다시 말해, 가상객체를 중심으로 하는 가상현실에 실제영상을 합성하여 표시할 수 있다. In the above exemplary embodiment, the virtual object is inserted into the actual image, but the present invention is not limited thereto. In other words, the actual image may be synthesized and displayed on the virtual reality centered on the virtual object.

예를 들어, 가상객체 및 가상 배경화면에 의해 이루어지는 게임 속에 카메라를 통해 입수되는 실제 영상의 피사체가 합성되어 표시되는 것이다. 카메라(401)를 통해 입력되는 실제영상데이터에서 특정 피사체의 영상만을 크로마키(Chroma Key) 기술 등을 이용하여 추출하여 합성한다. For example, a subject of an actual image obtained through a camera is synthesized and displayed in a game formed by a virtual object and a virtual background screen. Only the image of a specific subject is extracted from the actual image data input through the camera 401 using a chroma key technology and synthesized.

도 7은 본 발명의 일 실시 예에 따른 디지털 기기의 동작 설명에 제공되는 흐름도이다. 이하에서는 도 1 내지 도 7을 참조하여, 본 발명의 일 실시 예에 따른 디지털 기기(101)의 동작을 설명한다.7 is a flowchart provided to explain an operation of a digital device according to an embodiment of the present disclosure. Hereinafter, an operation of the digital device 101 according to an embodiment of the present invention will be described with reference to FIGS. 1 to 7.

네트워크(103)를 통해 서버(105)에 연결된 디지털 기기(101)는 계산부(433)를 이용하여 자신의 위치정보 및 자세정보를 계산한다. 여기서 위치정보는 (a1,b1)라 하고, 자세정보는 (Pd, Rd, Yd)라 한다(S701).The digital device 101 connected to the server 105 through the network 103 calculates its own location information and posture information using the calculator 433. Here, the location information is referred to as (a1, b1), and the attitude information is referred to as (P d , R d , Y d ) (S701).

디지털 기기(101)의 계산부(433)는 계산된 자신의 위치정보 및 자세정보와 함께 카메라 정보를 네트워크처리부(405)를 통해 서버(105)로 전송한다. 카메라 정보는 카메라제어부(431)가 생성한다(S703). The calculator 433 of the digital device 101 transmits the camera information to the server 105 through the network processor 405 along with the calculated position information and posture information thereof. Camera information is generated by the camera controller 431 (S703).

서버(105)는 디지털 기기(101)로부터 위치정보, 자세정보 및 카메라 정보를 수신하면, 디지털 기기(101)의 위치를 기준으로 벡터 V 방향의 일정 범위 즉, 카메라(401)의 절대좌표상 시야범위 내에 존재하는 가상객체의 객체정보를 추출하고(S705), 추출한 객체정보를 디지털 기기(101)로 전송한다(S707). When the server 105 receives the location information, the attitude information, and the camera information from the digital device 101, the server 105 receives a certain range of the vector V direction based on the location of the digital device 101, that is, the absolute field of view of the camera 401. The object information of the virtual object existing within the range is extracted (S705), and the extracted object information is transmitted to the digital device 101 (S707).

디지털 기기(101)의 계산부(433)는 서버(105)로부터 객체정보를 수신하여 가상객체생성부(435)로 전달하고, 가상객체생성부(435)는 객체정보에 포함된 가상객체의 위치정보 및 자세정보를 기초로, 현재 디지털 기기(101)의 시야각 내에 포함되는 가상객체의 영상인 가상영상데이터를 생성한다(S709).The calculator 433 of the digital device 101 receives the object information from the server 105 and transmits the object information to the virtual object generator 435, and the virtual object generator 435 positions the position of the virtual object included in the object information. Based on the information and the attitude information, the virtual image data which is an image of the virtual object currently included in the viewing angle of the digital device 101 is generated (S709).

디지털 기기(101)의 가상객체생성부(435)는 생성한 가상영상데이터를 영상합성부(437)로 전달하고, 영상합성부(437)는 가상영상데이터와 카메라(401)로부터 수신한 실제영상데이터를 합성하여 최종영상데이터를 생성한다(S711).The virtual object generator 435 of the digital device 101 transfers the generated virtual image data to the image synthesizer 437, and the image synthesizer 437 receives the virtual image data and the real image received from the camera 401. The final image data is generated by synthesizing the data (S711).

디지털 기기(101)는 합성한 최종영상데이터를 표시부(413)를 통해 사용자에게 표시한다(S713). 이를 통해, 본 발명의 일 실시 예에 따른 디지털 기기(101)는 카메라(401)의 시야각 범위내에 존재하는 실제 현실속에 가상객체를 포함시켜 표시할 수 있다.The digital device 101 displays the synthesized final image data to the user through the display unit 413 (S713). Through this, the digital device 101 according to an embodiment of the present invention may include and display a virtual object in an actual reality existing within the viewing angle range of the camera 401.

도 7에는 도시되지 않았으나, 서버(105)는 가상객체의 위치정보 및 자세정보가 변경될 경우 해당 변경된 자세정보 및 위치정보를 디지털 기기(101)로 전송할 수 있다. 이에 따라, 디지털 기기(101)에 표시되는 가상객체는 변경된 자세정보에 따라 자세를 변경하거나, 변경된 위치정보에 따라 위치를 변경할 수 있다.Although not shown in FIG. 7, when the location information and the posture information of the virtual object are changed, the server 105 may transmit the changed posture information and the location information to the digital device 101. Accordingly, the virtual object displayed on the digital device 101 may change the posture according to the changed posture information, or change the position according to the changed position information.

본 발명은 다양하게 응용될 수 있다. 예를 들어, 실제 공간상에 가상매체를 다수 등장시킴으로해서, 가상현실을 체험토록 할 수 있다. 이것은 통상의 가상체험과 달리, 실제공간을 기초로, 가상매체를 맵핑시킨다. The present invention can be applied in various ways. For example, a large number of virtual media may appear in a real space to experience virtual reality. Unlike ordinary virtual experiences, this maps virtual media based on real space.

본 발명은 방법, 디바이스 및 시스템으로 구현될 수 있다. 또한 본 발명이 컴퓨터 소프트웨어로 구현될 때는, 본 발명의 구성요소는 필요한 동작의 수행에 필요한 코드 세그먼트(code segment)로 대치될 수 있다. 프로그램이나 코드 세그먼트는 마이크로프로세서에 의해 처리될 수 있는 매체에 저장될 수 있으며, 전송매체나 통신 네트워크를 통하여 운반 파형(carrier waves)와 결합된 컴퓨터 데이터로서 전송될 수 있다.The invention can be implemented in methods, devices and systems. In addition, when the present invention is implemented in computer software, the components of the present invention may be replaced with code segments necessary for performing necessary operations. The program or code segment may be stored on a medium that can be processed by a microprocessor and transmitted as computer data coupled with carrier waves via a transmission medium or communication network.

마이크로프로세서에 의해 처리될 수 있는 매체는 전자회로, 반도체 메모리 소자, 롬(ROM), 플래시 메모리, EEPROM, 플로피 디스크, 광학적 디스크, 하드 디스크, 광섬유, 무선 네트워크 등과 같이 정보를 전달하고 저장할 수 있는 것을 포함한다. 또한, 컴퓨터 데이터는 전기적 네트워크 채널, 광섬유, 전자기장, 무선 네트워크 등을 통해 전송될 수 있는 데이터를 포함한다. Media that can be processed by a microprocessor include those capable of transmitting and storing information such as electronic circuits, semiconductor memory devices, ROMs, flash memories, EEPROMs, floppy disks, optical disks, hard disks, optical fibers, wireless networks, and the like. Include. Computer data also includes data that can be transmitted over electrical network channels, optical fibers, electromagnetic fields, wireless networks, and the like.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the above-described specific embodiment, the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.

이상 설명한 바와 같이, 본 발명에 따른 디지털 기기는, 연결된 카메라의 시야 범위내에 존재하는 실제 피사체와 함께 해당 범위내의 실제 공간상에 맵핑된 가상매체를 동시에 하나의 영상으로 표시할 수 있다. As described above, the digital device according to the present invention may simultaneously display a virtual medium mapped on the real space within the corresponding range as a single image together with the real subject existing within the viewing range of the connected camera.

가상매체는 실제 공간상의 절대좌표에 맵핑되어 있음에 따라, 디지털 기기는 자신의 위치변경에 대응하여 가상매체의 종류와 자세를 변경하여 표시할 수 있다. As the virtual medium is mapped to the absolute coordinates in the real space, the digital device may change the type and posture of the virtual medium in response to its position change.

또한, 디지털 기기는 위치의 변경이 없더라도 자신의 자세정보를 기초로, 표시되는 가상매체의 자세를 변경하면서 표시할 수 있어, 실제 공간상에 가상매체가 실현된 것처럼 표시할 수 있다.In addition, even if the position of the digital device is not changed, the digital device can display the virtual medium displayed on the basis of its posture information while changing the position, so that the digital medium can be displayed as if the virtual medium is realized in the actual space.

Claims (16)

피사체에 대한 실제영상데이터을 생성하는 소정의 카메라에 연결된 디지털 기기가 실제영상에 가상매체를 표시하는 방법에 있어서,A method of displaying a virtual medium on a real image by a digital device connected to a predetermined camera that generates real image data of a subject, 상기 카메라의 절대좌표인 위치정보 및 상기 절대좌표에서 상기 카메라가 향하는 방향에 대한 정보인 자세정보를 생성하는 단계;Generating position information which is absolute coordinates of the camera and attitude information which is information on a direction to which the camera is directed in the absolute coordinates; 상기 위치정보 및 자세정보를 기초로, 상기 카메라의 절대좌표상 시야범위 내에 존재하는 것으로 기 설정된 적어도 하나의 가상 객체를 포함하는 가상영상데이터를 생성하는 단계; 및Generating virtual image data including at least one virtual object that is preset to exist within a viewing range on an absolute coordinate of the camera based on the position information and attitude information; And 상기 실제영상데이터에 상기 가상영상데이터를 합성한 최종영상데이터에 대응하는 영상을 표시하는 단계;를 포함하는 것을 특징으로 하는 실제영상에 가상매체를 표시하는 방법.And displaying the image corresponding to the final image data obtained by synthesizing the virtual image data on the real image data. 제 1항에 있어서,The method of claim 1, 상기 카메라의 절대좌표상 시야범위는,The viewing range in absolute coordinates of the camera, 상기 카메라의 줌인 또는 줌아웃에 따른 상기 카메라의 시야범위를 상기 위치정보 및 자세정보에 기초하여 맵핑한 것임을 특징으로 하는 실제영상에 가상매체를 표시하는 방법.And displaying a virtual medium on a real image, wherein the viewing range of the camera according to the zoom-in or zoom-out of the camera is mapped based on the position information and the attitude information. 제 1항에 있어서,The method of claim 1, 상기 가상객체의 절대좌표가 변경되는 경우 소정의 서버로부터 상기 변경된 가상객체의 절대좌표를 수신하는 단계;를 더 포함하는 것을 특징으로 하는 실제영상에 가상매체를 표시하는 방법.And receiving the absolute coordinates of the changed virtual object from a predetermined server when the absolute coordinates of the virtual object are changed. 제 1항에 있어서,The method of claim 1, 상기 가상영상데이터를 생성하는 단계는, Generating the virtual image data, 상기 가상객체에 할당된 소정의 자세정보를 기초로, 상기 가상객체가 소정의 방향을 향하도록 상기 가상영상데이터를 생성하는 것을 특징으로 하는 실제영상에 가상매체를 표시하는 방법.And generating the virtual image data such that the virtual object faces a predetermined direction, based on the predetermined posture information assigned to the virtual object. 제 4항에 있어서,The method of claim 4, wherein 상기 가상객체의 자세정보가 변경되는 경우 소정의 서버로부터 상기 변경된 가상객체의 자세정보를 수신하는 단계;를 더 포함하는 것을 특징으로 하는 실제영상에 가상매체를 표시하는 방법.And receiving posture information of the changed virtual object from a predetermined server when the posture information of the virtual object is changed. 제1항에 있어서,The method of claim 1, 상기 카메라의 절대좌표는, 소정의 위성항법장치(GPS :Global Positioning System) 수신기에 의해 생성된 좌표인 것을 특징으로 하는 실제영상에 가상매체를 표시하는 방법.The absolute coordinates of the camera are coordinates generated by a predetermined GPS (Global Positioning System) receiver. 제 1항에 있어서,The method of claim 1, 상기 자세정보는, 중력방향 및 자북방향 중 적어도 한 개 방향의 축을 포함하는 3개 축으로서 서로 직교하는 축 각각을 회전축으로 상기 카메라가 회전한 각도인 것을 특징으로 하는 실제영상에 가상매체를 표시하는 방법. The posture information includes three axes including axes in at least one of a gravity direction and a magnetic north direction. The posture information is an angle at which the camera is rotated around each of axes that are orthogonal to each other. Way. 피사체에 대한 실제영상데이터을 생성하는 카메라;A camera for generating actual image data of the subject; 상기 카메라의 절대좌표인 위치정보 및 상기 절대좌표에서 상기 카메라가 향하는 방향에 대한 정보인 자세정보를 생성하는 센서부;A sensor unit configured to generate position information which is absolute coordinates of the camera and attitude information which is information on a direction to which the camera is directed in the absolute coordinates; 소정의 영상신호를 수신하여 시각적으로 인식할 수 있도록 표시하는 표시부;A display unit for receiving a predetermined video signal and displaying the same so as to be visually recognized; 소정의 영상 데이터를 수신하여 상기 표시부에 표시하기 위한 상기 영상신호로 변환하여 출력하는 영상처리부; An image processor which receives predetermined image data and converts the image data into the image signal for display on the display unit; 상기 위치정보 및 자세정보를 기초로, 상기 카메라의 절대좌표상 시야범위 내에 존재하는 것으로 기 설정된 적어도 하나의 가상 객체를 추출하는 계산부;A calculator configured to extract at least one virtual object that is preset to exist within a viewing range on an absolute coordinate of the camera based on the position information and attitude information; 상기 계산부가 추출한 적어도 하나의 가상객체를 포함하는 가상영상데이터를 생성하는 가상객체생성부; 및A virtual object generation unit generating virtual image data including at least one virtual object extracted by the calculation unit; And 상기 실제영상데이터에 상기 가상영상데이터를 합성한 최종영상데이터를 생성하여 상기 영상처리부로 출력하는 영상합성부;를 포함하여 이루어지는 실제영상에 가상매체를 표시할 수 있는 디지털 기기.And an image synthesizing unit configured to generate final image data obtained by synthesizing the virtual image data to the actual image data and output the final image data to the image processing unit. 제8항에 있어서,The method of claim 8, 상기 카메라의 절대좌표상 시야범위는,The viewing range in absolute coordinates of the camera, 상기 카메라의 줌인 또는 줌아웃에 따른 상기 카메라의 시야범위를 상기 위치정보 및 자세정보에 기초하여 맵핑한 것임을 특징으로 하는 실제영상에 가상매체를 표시할 수 있는 디지털 기기.And a virtual medium displayed on an actual image, wherein the viewing range of the camera according to the zoom-in or zoom-out of the camera is mapped based on the position information and attitude information. 제 8항에 있어서,The method of claim 8, 네트워크를 통해 소정의 서버에 접속할 수 있는 네트워크 처리부;를 더 포함하고,Further comprising; a network processing unit for connecting to a predetermined server through a network, 상기 계산부는, The calculation unit, 상기 서버가 상기 가상객체의 절대좌표가 변경됨에 따라 전송하는 상기 변경된 가상객체의 절대좌표를, 상기 네트워크처리부를 통해 수신하는 것을 특징으로 하는 실제영상에 가상매체를 표시할 수 있는 디지털 기기.And a virtual medium on a real image, wherein the server receives the absolute coordinate of the changed virtual object transmitted by the server as the absolute coordinate of the virtual object is changed. 제 8항에 있어서,The method of claim 8, 상기 가상객체생성부는, The virtual object generation unit, 상기 가상객체에 할당된 소정의 자세정보를 기초로, 상기 가상객체가 소정의 방향을 향하도록 상기 가상영상데이터를 생성하는 것을 특징으로 하는 실제영상에 가상매체를 표시할 수 있는 디지털 기기.And generating the virtual image data such that the virtual object faces a predetermined direction based on predetermined posture information assigned to the virtual object. 제 11항에 있어서,The method of claim 11, 네트워크를 통해 소정의 서버에 접속할 수 있는 네트워크 처리부;를 더 포함하고,Further comprising; a network processing unit for connecting to a predetermined server through a network, 상기 계산부는, The calculation unit, 상기 서버가 상기 가상객체의 자세정보가 변경됨에 따라 전송하는 상기 변경된 가상객체의 자세정보를, 상기 네트워크처리부를 통해 수신하는 것을 특징으로 하는 실제영상에 가상매체를 표시할 수 있는 디지털 기기.And a posture information of the changed virtual object transmitted by the server as the posture information of the virtual object is changed through the network processor. 제 1항에 있어서,The method of claim 1, 상기 센서부는,The sensor unit, 상기 카메라의 절대좌표를 생성하는 소정의 위성항법장치(GPS :Global Positioning System) 수신기를 포함하는 것을 특징으로 하는 실제영상에 가상매체를 표시할 수 있는 디지털 기기.And a predetermined satellite positioning system (GPS) receiver for generating absolute coordinates of the camera. 제 8항에 있어서,The method of claim 8, 상기 센서부는,The sensor unit, 소정의 중력센서 및 자계센서 중 하나와 함께 적어도 하나의 회전센서를 포함하여, 중력방향 및 자북방향 중 적어도 한 개 방향의 축을 포함하는 3개 축으로서 서로 직교하는 축 각각을 회전축으로 상기 카메라가 회전한 각도를 계산함으로써, 상기 자세정보를 생성하는 것을 특징으로 하는 실제영상에 가상매체를 표시할 수 있는 디지털 기기.The camera rotates about three axes including at least one rotation sensor together with one of a predetermined gravity sensor and a magnetic field sensor, including axes in at least one of the gravity direction and the magnetic north direction. A digital device capable of displaying a virtual medium on an actual image, wherein the posture information is generated by calculating an angle. 제 8항에 있어서,The method of claim 8, 상기 센서부는,The sensor unit, 소정의 중력센서 및 자계센서 중 하나와 함께 적어도 하나의 회전센서를 포함하여 그 센싱값을 상기 계산부로 출력하며, And at least one rotation sensor together with one of a predetermined gravity sensor and a magnetic field sensor to output the sensing value to the calculation unit, 상기 계산부는,The calculation unit, 상기 센싱값을 기초로, 중력방향 및 자북방향 중 적어도 한 개 방향의 축을 포함하는 3개 축으로서 서로 직교하는 축 각각을 회전축으로 상기 카메라가 회전한 각도를 계산함으로써, 상기 자세정보를 생성하는 것을 특징으로 하는 실제영상에 가상매체를 표시할 수 있는 디지털 기기.Generating the posture information by calculating an angle at which the camera rotates on each of axes that are orthogonal to each other as three axes including axes in at least one of a gravity direction and magnetic north direction based on the sensing values. A digital device capable of displaying a virtual medium on a real image characterized by. 제 8항에 있어서,The method of claim 8, 상기 카메라는 소정의 유선 또는 무선 인터페이스에 의해 본체와 연결되는 것을 특징으로 하는 실제영상에 가상매체를 표시할 수 있는 디지털 기기.The camera is a digital device capable of displaying a virtual medium on the actual image, characterized in that connected to the main body by a predetermined wired or wireless interface.
KR1020060017600A 2006-02-23 2006-02-23 Digital apparatus capable of displaying imaginary object on real image and method thereof KR100755187B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060017600A KR100755187B1 (en) 2006-02-23 2006-02-23 Digital apparatus capable of displaying imaginary object on real image and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060017600A KR100755187B1 (en) 2006-02-23 2006-02-23 Digital apparatus capable of displaying imaginary object on real image and method thereof

Publications (2)

Publication Number Publication Date
KR20070087317A true KR20070087317A (en) 2007-08-28
KR100755187B1 KR100755187B1 (en) 2007-09-03

Family

ID=38613359

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060017600A KR100755187B1 (en) 2006-02-23 2006-02-23 Digital apparatus capable of displaying imaginary object on real image and method thereof

Country Status (1)

Country Link
KR (1) KR100755187B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100945288B1 (en) * 2008-06-16 2010-03-03 경희대학교 산학협력단 Applying Extended ARG to Augmented Reality Based Single Media Multi-Services Method and the system
KR20110072684A (en) * 2009-12-23 2011-06-29 엘지이노텍 주식회사 Method and system providing information based on position
KR20110087623A (en) * 2010-01-26 2011-08-03 광주과학기술원 System and method for storing information of vision image, and the recording media storing the program performing the said method
KR101132512B1 (en) * 2010-06-28 2012-04-02 삼성에스디에스 주식회사 System for generating 3D mobile augmented reality based on the user
KR101363317B1 (en) * 2009-07-21 2014-02-14 에스케이플래닛 주식회사 Method for Providing Location Based Services by Using Information Of Direction, Server And Portable Terminal Therefor
US8750559B2 (en) 2010-12-13 2014-06-10 Pantech Co., Ltd. Terminal and method for providing augmented reality
US9870644B2 (en) 2011-06-14 2018-01-16 Samsung Electronics Co., Ltd. Apparatus and method for image processing
KR101932007B1 (en) * 2017-12-15 2019-03-15 네이버랩스 주식회사 Method and system for spatial messaging and content sharing

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980014722A (en) * 1996-08-16 1998-05-25 이명관 Position detecting device using GPS and control method thereof
JP3631117B2 (en) * 2000-09-14 2005-03-23 キヤノン株式会社 Video processing apparatus and method, and storage medium
KR200243789Y1 (en) 2001-01-27 2001-09-25 임승수 Millor formed displayer of the sight of one's back
JP2004227332A (en) * 2003-01-23 2004-08-12 Hitachi Ltd Information display method

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100945288B1 (en) * 2008-06-16 2010-03-03 경희대학교 산학협력단 Applying Extended ARG to Augmented Reality Based Single Media Multi-Services Method and the system
KR101363317B1 (en) * 2009-07-21 2014-02-14 에스케이플래닛 주식회사 Method for Providing Location Based Services by Using Information Of Direction, Server And Portable Terminal Therefor
KR20110072684A (en) * 2009-12-23 2011-06-29 엘지이노텍 주식회사 Method and system providing information based on position
KR20110087623A (en) * 2010-01-26 2011-08-03 광주과학기술원 System and method for storing information of vision image, and the recording media storing the program performing the said method
KR101132512B1 (en) * 2010-06-28 2012-04-02 삼성에스디에스 주식회사 System for generating 3D mobile augmented reality based on the user
US8750559B2 (en) 2010-12-13 2014-06-10 Pantech Co., Ltd. Terminal and method for providing augmented reality
US8879784B2 (en) 2010-12-13 2014-11-04 Pantech Co., Ltd. Terminal and method for providing augmented reality
US9870644B2 (en) 2011-06-14 2018-01-16 Samsung Electronics Co., Ltd. Apparatus and method for image processing
KR101932007B1 (en) * 2017-12-15 2019-03-15 네이버랩스 주식회사 Method and system for spatial messaging and content sharing

Also Published As

Publication number Publication date
KR100755187B1 (en) 2007-09-03

Similar Documents

Publication Publication Date Title
JP7268692B2 (en) Information processing device, control method and program
CN106164982B (en) Electronic equipment positioning based on image
US20180018792A1 (en) Method and system for representing and interacting with augmented reality content
KR100755187B1 (en) Digital apparatus capable of displaying imaginary object on real image and method thereof
US20140267234A1 (en) Generation and Sharing Coordinate System Between Users on Mobile
US10939068B2 (en) Image capturing device, image capturing system, image processing method, and recording medium
KR100941749B1 (en) Augmented reality apparatus and virtual image composition method
WO2014169692A1 (en) Method,device and storage medium for implementing augmented reality
KR20120038316A (en) User equipment and method for providing ar service
KR20110082636A (en) Spatially correlated rendering of three-dimensional content on display components having arbitrary positions
JP2012068481A (en) Augmented reality expression system and method
CN103517061B (en) A kind of display control method of terminal equipment and device
JP2012128779A (en) Virtual object display device
WO2018113759A1 (en) Detection system and detection method based on positioning system and ar/mr
JP2019124849A (en) Head-mount display device, display system, and method for controlling head-mount display device
JP2019212225A (en) Terminal device and terminal device control method
JP2017212510A (en) Image management device, program, image management system, and information terminal
JP2016122392A (en) Information processing apparatus, information processing system, control method and program of the same
JP2005038321A (en) Head mount display device
Tokusho et al. Prototyping an outdoor mobile augmented reality street view application
US11210864B2 (en) Solution for generating virtual reality representation
JP2006252468A (en) Image processing method and image processing system
JP2014182479A (en) Information terminal, system, program, and method for controlling display of augmented reality by attitude
JP2016122277A (en) Content providing server, content display terminal, content providing system, content providing method, and content display program
JP2010231741A (en) Electronic tag generating and displaying system, electronic tag generating and displaying device, and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20120725

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130719

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150804

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160812

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170803

Year of fee payment: 11

J204 Request for invalidation trial [patent]