KR20170143476A - Method for Displaying Selectable Virtual-Object Data of Augmented Reality by using User's Order - Google Patents
Method for Displaying Selectable Virtual-Object Data of Augmented Reality by using User's Order Download PDFInfo
- Publication number
- KR20170143476A KR20170143476A KR1020170173662A KR20170173662A KR20170143476A KR 20170143476 A KR20170143476 A KR 20170143476A KR 1020170173662 A KR1020170173662 A KR 1020170173662A KR 20170173662 A KR20170173662 A KR 20170173662A KR 20170143476 A KR20170143476 A KR 20170143476A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- augmented reality
- virtual object
- actual
- data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Abstract
Description
본 발명은, 카메라를 구비한 각 사용자의 증강현실 장치와 통신하는 서버를 통해 실행되는 방법에 있어서, 현실세계에 존재하는 실제객체 중 특정한 실제객체와 관련된 가상객체를 사용자 조건에 따라 각기 다르게 출력하거나 각기 다른 가상객체를 출력하기 위한 출력조건 정보를 상기 실제객체를 식별하는 식별정보와 연계 저장하고, 특정 사용자의 증강현실 장치의 카메라를 통해 촬영된 실제현실 데이터로부터 상기 식별정보에 대응하는 특정한 실제객체를 인식한 경우, 상기 특정 사용자 증강현실 장치에 설정된 사용자 조건을 확인하거나 또는 지정된 서버에 등록된 사용자 조건을 확인하며, 상기 확인된 사용자 조건과 매칭되는 출력조건 정보를 근거로 상기 특정 사용자의 증강현실 장치를 통해 상기 특정한 실제객체와 관련된 가상객체를 적어도 하나의 다른 사용자의 증강현실 장치를 통해 출력된 방식과 다른 방식으로 출력되도록 처리하거나 적어도 하나의 다른 사용자의 증강현실 장치를 통해 출력된 가상객체와 다른 가상객체를 출력하도록 처리하는 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법에 관한 것이다.The present invention relates to a method executed by a server communicating with an augmented reality device of each user having a camera, the method comprising the steps of: outputting virtual objects related to a specific physical object, Storing output condition information for outputting a different virtual object in association with identification information for identifying the actual object, extracting from the actual reality data photographed through a camera of a specific user's augmented reality apparatus a specific physical object corresponding to the identification information The augmented reality server 100 checks a user condition set in the specific user augmented reality device or a user condition registered in a designated server, and, based on the output condition information matched with the confirmed user condition, A virtual object associated with the specific physical object is written through the device Is output in a manner different from that output through the augmented reality device of one other user or is processed to output a virtual object different from the virtual object output through the augmented reality device of at least one other user And a method for displaying a selective virtual object in an augmented reality.
지금까지 증강현실을 이용한 정보 제공 서비스의 경우, 사전 설정된 정보(모델)을 제공하거나, 단편적인 정보를 제공하는 경우가 대부분이었다. 앞으로의 증강현실 서비스는 네트워크를 기반으로 좀더 복합한 정보를 쉽고 빠르게 제공되는 형태로 발전해 나갈 것으로 예측된다. In the case of the information providing service using the augmented reality up to now, most cases provide predetermined information (model) or provide fragmentary information. Future augmented reality service is expected to develop more complex information easily and quickly based on network.
좀더 자세하게 온라인 서비스의 제공 방식과 유사하게 발전될 것으로 예측할 수 있는데, 정보 제공자(Contents Provider)가 제공하는 일방적이고 획일화된 증강현실 모델이 아니라 사용자의 관점에서 사용자의 상황에 적합한 정보를 추출하고 추출된 데이터를 통합적으로 제공되는 모델을 증강현실 기법을 적용할 경우 기존 네트워크 기반의 서비스 수준은 보다 발전된 형태로 진보될 수 있다.It can be predicted that it will be developed in a similar manner to the way of providing online service in more detail. It is not a one - sided and uniformized augmented reality model provided by the contents provider, but extracts information suitable for the user ' If the augmented reality method is applied to a model that provides integrated data, the existing network - based service level can be further developed.
본 발명의 목적은, 카메라를 구비한 각 사용자의 증강현실 장치와 통신하는 서버를 통해 실행되는 방법에 있어서, 현실세계에 존재하는 실제객체 중 특정한 실제객체와 관련된 가상객체를 사용자 조건에 따라 각기 다르게 출력하거나 각기 다른 가상객체를 출력하기 위한 출력조건 정보를 상기 실제객체를 식별하는 식별정보와 연계 저장하는 제1 단계와 특정 사용자의 증강현실 장치의 카메라를 통해 촬영된 실제현실 데이터로부터 상기 식별정보에 대응하는 특정한 실제객체를 인식한 경우, 상기 특정 사용자 증강현실 장치에 설정된 사용자 조건을 확인하거나 또는 지정된 서버에 등록된 사용자 조건을 확인하는 제2 단계 및 상기 확인된 사용자 조건과 매칭되는 출력조건 정보를 근거로 상기 특정 사용자의 증강현실 장치를 통해 상기 특정한 실제객체와 관련된 가상객체를 적어도 하나의 다른 사용자의 증강현실 장치를 통해 출력된 방식과 다른 방식으로 출력되도록 처리하거나 적어도 하나의 다른 사용자의 증강현실 장치를 통해 출력된 가상객체와 다른 가상객체를 출력하도록 처리하는 제3 단계를 포함하는 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법을 제공함에 있다.An object of the present invention is to provide a method that is executed through a server communicating with an augmented reality device of each user having a camera, in which virtual objects related to a specific actual object among actual objects existing in the real world are differently Outputting condition information for outputting or outputting different virtual objects with identification information for identifying the actual object, and a second step for storing the output condition information for outputting different virtual objects from the actual reality data photographed through the camera of the specific user's augmented reality device A second step of confirming a user condition set in the specific user augmented reality device or confirming a user condition registered in a designated server when the corresponding specific real object is recognized and a step of outputting the output condition information matched with the confirmed user condition [0030] On the basis of the augmented reality device of the specific user, A virtual object associated with the object is output in a manner different from that output from the augmented reality device of at least one other user or a virtual object different from the virtual object output through the augmented reality device of at least one other user is output And a third step of processing the selected virtual object in the augmented reality using the user condition.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법은, 카메라를 구비한 각 사용자의 증강현실 장치와 통신하는 서버를 통해 실행되는 방법에 있어서, 현실세계에 존재하는 실제객체 중 특정한 실제객체와 관련된 가상객체를 사용자 조건에 따라 각기 다르게 출력하거나 각기 다른 가상객체를 출력하기 위한 출력조건 정보를 상기 실제객체를 식별하는 식별정보와 연계 저장하는 제1 단계와 특정 사용자의 증강현실 장치의 카메라를 통해 촬영된 실제현실 데이터로부터 상기 식별정보에 대응하는 특정한 실제객체를 인식한 경우, 상기 특정 사용자 증강현실 장치에 설정된 사용자 조건을 확인하거나 또는 지정된 서버에 등록된 사용자 조건을 확인하는 제2 단계 및 상기 확인된 사용자 조건과 매칭되는 출력조건 정보를 근거로 상기 특정 사용자의 증강현실 장치를 통해 상기 특정한 실제객체와 관련된 가상객체를 적어도 하나의 다른 사용자의 증강현실 장치를 통해 출력된 방식과 다른 방식으로 출력되도록 처리하거나 적어도 하나의 다른 사용자의 증강현실 장치를 통해 출력된 가상객체와 다른 가상객체를 출력하도록 처리하는 제3 단계를 포함하는 것을 특징으로 한다.A method of displaying a selective virtual object of an augmented reality using a user condition according to the present invention is implemented through a server communicating with an augmented reality device of each user having a camera, A first step of output condition information for outputting different virtual objects according to user conditions or outputting different virtual objects in association with identification information for identifying the actual objects, A second step of confirming a user condition set in the specific user AR server or a user condition registered in a designated server when the specific real object corresponding to the identification information is recognized from real reality data shot through the AR server, Based on the output condition information matched with the identified user condition A virtual object associated with the specific physical object is output through the augmented reality device of the specific user so as to be output in a manner different from that output through the augmented reality device of at least one other user, And outputting a virtual object different from the virtual object output through the third step.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법에 있어서, 상기 출력조건 정보는, 현실세계에 존재하는 각각의 실제객체 별로 설정되는 것을 특징으로 한다.In the method of displaying a selective virtual object of an augmented reality using a user condition according to the present invention, the output condition information is set for each real object existing in the real world.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법에 있어서, 특정 사용자의 증강현실 장치의 카메라를 통해 상기 특정한 실제객체를 촬영하여 실제현실 데이터를 획득하기 전에 상기 실제객체와 연계된 출력조건 정보를 확인하기 위한 상기 특정 사용자의 증강현실 장치의 사용자 조건에 대응하는 사용자 조건 정보를 설정하거나 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.The method of displaying a selected virtual object in an augmented reality using a user condition according to the present invention includes the steps of capturing the specific real object through a camera of a specific user's augmented reality device and outputting the output associated with the real object And setting or storing user condition information corresponding to a user condition of the augmented reality device of the specific user for confirming the condition information.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법은, 실제현실 데이터를 실시간 획득하는 실제현실 획득수단을 구비한 각각의 사용자 별 증강현실 장치와 통신하는 서버를 통해 실행되는 방법에 있어서, 각각의 사용자 별 증강현실 장치의 실제현실 획득수단을 통해 현실세계에 존재하는 동일한 실제객체를 촬영하여 획득된 각각의 실제현실 데이터 상에서 인식된 가상객체 표시 위치에 상기 실제객체와 관련된 가상객체를 표시할 경우에 각 증강현실 장치의 사용자 조건에 따라 상기 실제객체와 관련된 가상객체를 각기 다르게 출력하거나 상기 실제객체와 관련된 각기 다른 가상객체를 출력하기 위한 출력조건 정보를 상기 실제객체를 식별하는 정보와 연계 저장하는 제1 단계와 특정 사용자 증강현실 장치의 실제현실 획득수단을 통해 상기 실제객체를 촬영하여 실제현실 데이터를 획득하여 상기 획득된 실제현실 데이터 상의 가상객체 표시 위치에 상기 실제객체와 관련된 가상객체를 표시하는 경우, 상기 특정 사용자 증강현실 장치에 설정된 사용자 조건을 확인하거나 또는 지정된 서버에 설정 등록된 상기 특정 사용자 증강현실 장치의 사용자 조건을 확인하는 제2 단계 및 상기 특정 사용자 증강현실 장치로 상기 확인된 사용자 조건과 매칭된 출력조건 정보에 대응하는 가상객체를 제공하여 상기 특정 사용자 증강현실 장치를 통해 상기 출력조건 정보에 맞게 출력하도록 처리하는 제3 단계를 포함하는 것을 특징으로 한다.A method for displaying a selective virtual object in an augmented reality using a user condition according to the present invention is implemented through a server communicating with each user augmented reality device having real-reality acquisition means for acquiring real-world data in real time A virtual object associated with the actual object is displayed at a virtual object display position recognized on each of the actual real data obtained by capturing the same physical object existing in the real world through the actual reality obtaining means of each user augmented reality device Output condition information for outputting different virtual objects related to the actual object differently or outputting different virtual objects related to the actual object according to a user condition of each augmented reality device is associated with information for identifying the actual object A first step of storing the actual user data and a practical reality of the specific user augmented reality device When a virtual object related to the actual object is displayed at a virtual object display position on the obtained actual reality data by photographing the actual object through the means for acquiring the actual reality data, A second step of confirming a user condition of the specific user augmented reality device registered or set in a designated server, and a step of providing a virtual object corresponding to the checked output condition information with the specific user augmented reality device And outputting the output condition information according to the output condition information through the specific user augmented reality device.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법에 있어서, 상기 출력조건 정보는, 각각의 사용자 별 증강현실 장치의 실제현실 획득수단을 통해 현실세계에 존재하는 동일한 실제객체를 촬영하여 획득된 각각의 실제현실 데이터 상에서 인식된 가상객체 표시 위치에 상기 실제객체와 관련된 가상객체를 표시하는 경우에 각 증강현실 장치의 사용자 조건에 따라 각각의 사용자 별 증강현실 장치에 상기 실제객체와 관련된 가상객체를 각기 다르게 출력하는 조건과 상기 실제객체와 관련된 복수의 가상객체 중에서 어느 한 가상객체를 선택하여 출력하는 조건 중 적어도 하나의 조건을 포함하여 이루어지는 것을 특징으로 한다.In the method of displaying a selective virtual object of an augmented reality using a user condition according to the present invention, the output condition information is obtained by photographing the same real object existing in the real world through the actual reality acquiring means of each user augmented reality device When a virtual object related to the actual object is displayed at a virtual object display position recognized on each of the obtained actual reality data, the virtual reality object associated with each of the user augmented reality apparatuses A condition for outputting each object differently, and a condition for selecting and outputting a virtual object among a plurality of virtual objects associated with the actual object.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법에 있어서, 특정 사용자 증강현실 장치의 실제현실 획득수단을 통해 상기 실제객체를 촬영하여 실제현실 데이터를 획득하기 전에 상기 실제객체와 연계된 출력조건 정보를 확인하기 위한 상기 특정 사용자 증강현실 장치의 사용자 조건에 대응하는 사용자 조건 정보를 설정하거나 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.The method of displaying a selective virtual object of an augmented reality using a user condition according to the present invention is a method of displaying a selected virtual object in an augmented reality using a user condition, And setting or storing user condition information corresponding to the user condition of the specific user augmented reality device for confirming the output condition information.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법은, 실제현실 데이터를 실시간 획득하는 실제현실 획득수단을 구비한 증강현실 장치와 통신하는 서버를 통해 실행되는 방법에 있어서, 서버에서 증강현실 장치의 실제현실 획득수단을 통해 획득되는 실제현실 데이터의 특정한 가상객체 표시 위치에 표시될 가상객체를 사용자 조건에 따라 각기 다르게 출력하거나 다른 가상객체를 출력하는 출력조건 정보를 저장하는 제1 단계와 증강현실 장치의 실제현실 획득수단을 통해 획득되는 실제현실 데이터의 가상객체 표시 위치에 가상객체를 표시하는 경우, 서버에서 상기 증강현실 장치에 설정된 사용자에 대한 사용자 조건을 확인하거나 또는 지정된 서버에 설정 등록된 사용자 조건을 확인하는 제2 단계 및 서버에서 상기 확인된 사용자 조건과 매칭되는 출력조건 정보에 대응하는 가상객체를 상기 상기 증강현실 장치로 제공하여 상기 출력조건 정보에 맞게 상기 증강현실 장치의 실제현실 획득수단을 통해 획득되는 실제현실 데이터의 가상객체 표시 위치에 출력되도록 처리하는 제3 단계를 포함하는 것을 특징으로 한다.A method of displaying a selective virtual object in an augmented reality using a user condition according to the present invention is implemented through a server communicating with an augmented reality apparatus having real-reality acquisition means for acquiring real-world data in real time, A first step of outputting output condition information for outputting different virtual objects according to user conditions or outputting different virtual objects to be displayed at a specific virtual object display position of actual real data obtained through actual real data acquisition means of the real device When a virtual object is displayed at a virtual object display position of actual reality data obtained through actual reality acquisition means of the augmented reality device, the server checks the user condition for the user set in the augmented reality device, A second step of confirming the user condition, The augmented reality device is provided with a virtual object corresponding to the output condition information matched with the user condition of the augmented reality device to the augmented reality device, And a third step of processing the output signal so as to be output.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법에 있어서, 상기 출력조건 정보는, 각 사용자의 증강현실 장치에 구비된 실제현실 획득수단을 통해 동일한 실제현실 세계를 촬영하여 획득되는 실제현실 데이터에 표시될 가상객체를 각 사용자 조건에 따라 각기 다르게 출력하거나 다른 가상객체를 출력하는 조건을 포함하여 이루어지는 것을 특징으로 한다.The method for displaying a virtual object of an augmented reality using a user condition according to the present invention is characterized in that the output condition information includes at least one of a real reality image obtained by photographing the same real world through an actual reality acquiring means, And a condition for outputting different virtual objects to be displayed in the real data according to respective user conditions or outputting other virtual objects.
본 발명에 따른 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법에 있어서, 상기 제1 단계는, 각 사용자 조건을 설정하는 사용자 조건정보를 저장하는 단계를 더 포함하고, 상기 제2 단계는, 증강현실 장치를 사용하는 사용자의 저장된 사용자 조건정보에 대응하는 사용자 조건을 확인하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the method for displaying a virtual object in augmented reality using a user condition according to the present invention, the first step may further include storing user condition information for setting each user condition, And confirming a user condition corresponding to stored user condition information of a user using the real device.
본 발명에 따른 사용자 조건을 이용한 선택적 가상객체 데이터 운용방법은, 증강현실 장치에서 실제현실 획득수단을 통해 실제현실 데이터를 획득하고, 상기 획득된 실제현실 데이터를 판독하여 실제객체(또는 가상객체 표시 위치)를 인식하는 단계와, 증강현실 장치에서 상기 인식된 실제객체(또는 가상객체 표시 위치)에 대한 출력조건 정보를 확인하고, 상기 증강현실 장치를 이용하는 사용자가 지정한 사용자 조건 정보와 매칭되는 출력조건 정보를 확인하는 단계와, 증강현실 장치에서 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터를 확인하는 단계와, 증강현실 장치에서 상기 확인된 가상객체 데이터가 상기 실제객체(또는 가상객체 표시 위치) 상에 출력되도록 처리하는 단계를 포함한다.A method for operating a selective virtual object using a user condition according to the present invention includes the steps of: acquiring real reality data through an actual reality acquiring unit in an augmented reality apparatus, reading the acquired real reality data, Recognizing the output condition information of the recognized real object (or the virtual object display position) in the augmented reality device, and outputting the output condition information matching the user condition information designated by the user using the augmented reality device Checking the stored virtual object data in connection with the checked output condition information in the augmented reality device; and checking the stored virtual object data in the augmented reality device, To be output on the display device.
본 발명에 따른 사용자 조건을 이용한 선택적 가상객체 데이터 운용 기능이 구비된 증강현실 장치는, 증강현실 장치에서 실제현실 획득수단을 통해 실제현실 데이터를 획득하고, 상기 획득된 실제현실 데이터를 판독하여 실제객체(또는 가상객체 표시 위치)를 인식하는 실제객체 인식부와, 증강현실 장치에서 상기 인식된 실제객체(또는 가상객체 표시 위치)에 대한 출력조건 정보를 확인하고, 상기 증강현실 장치를 이용하는 사용자가 지정한 사용자 조건 정보와 매칭되는 출력조건 정보를 확인하는 출력조건 확인부와, 증강현실 장치에서 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터를 확인하는 가상객체 입력부와, 증강현실 장치에서 상기 확인된 가상객체 데이터가 상기 실제객체(또는 가상객체 표시 위치) 상에 출력되도록 처리하는 증강현실 표시부를 구비하여 이루어지는 것을 특징으로 한다.The augmented reality device having the selective virtual object data operation function using the user condition according to the present invention can acquire real reality data through the actual reality acquisition means in the augmented reality device, (Or a virtual object display position) of the augmented reality device, and an output condition information for the recognized actual object (or a virtual object display position) in the augmented reality device, An output condition checking unit for checking output condition information matched with the user condition information; a virtual object input unit for verifying virtual object data stored in connection with the verified output condition information in the augmented reality device; So that the virtual object data is output on the actual object (or virtual object display position) It is characterized by formed by having an augmented reality display.
본 발명에 따르면, 사용자를 대상으로 제공되는 정보가 정형화된 정보가 아닌 사용자의 요구에 맞는 효과적인 정보의 전달이 가능하며, 사용자의 요구에 맞는 정보의 제공을 통해 정보의 이용가치가 높아진다.According to the present invention, information provided to a user can be effectively transmitted according to a user's request, rather than information formatted, and the use of information is enhanced through provision of information suited to a user's request.
도 1은 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 증강현실 장치 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 과정을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 과정을 도시한 도면이다.
도 4는 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 예시를 도시한 도면이다.
도 5는 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자 조건이 임대로 설정한 경우에 대한 가상객체 데이터를 출력하는 예시화면을 도시한 도면이다.
도 6은 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자가 임대하고자 하는 계약 대상 건물로 설정한 경우에 대한 가상객체 데이터를 출력하는 예시 화면을 도시한 도면이다.1 is a diagram illustrating a configuration of an augmented reality apparatus for providing a virtual object differentiated for each user based on a condition of a user for one real object according to an embodiment of the present invention.
2 is a diagram illustrating a process of providing differentiated virtual objects for each user based on a condition of a user for one real object according to an embodiment of the present invention.
3 is a view illustrating a process of providing differentiated virtual objects for each user based on a user's condition for one real object according to an embodiment of the present invention.
4 is a diagram illustrating an example of providing differentiated virtual objects for each user based on a user's condition for one real object according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating an exemplary screen for outputting virtual object data for a case where a user condition for one real object according to an exemplary embodiment of the present invention is set as a lease.
FIG. 6 is a diagram illustrating an example screen for outputting virtual object data for a case where the user sets a contracted building to be rented for one actual object according to an embodiment of the present invention.
본 발명에 따른 사용자 조건을 이용한 선택적 가상객체 데이터 운용방법은, 증강현실 장치에서 실제현실 획득수단을 통해 실제현실 데이터를 획득하고, 상기 획득된 실제현실 데이터를 판독하여 실제객체(또는 가상객체 표시 위치)를 인식하는 단계와, 증강현실 장치에서 상기 인식된 실제객체(또는 가상객체 표시 위치)에 대한 출력조건 정보를 확인하고, 상기 증강현실 장치를 이용하는 사용자가 지정한 사용자 조건 정보와 매칭되는 출력조건 정보를 확인하는 단계와, 증강현실 장치에서 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터를 확인하는 단계와, 증강현실 장치에서 상기 확인된 가상객체 데이터가 상기 실제객체(또는 가상객체 표시 위치) 상에 출력되도록 처리하는 단계를 포함하여 이루어지는 것을 특징으로 한다.A method for operating a selective virtual object using a user condition according to the present invention includes the steps of: acquiring real reality data through an actual reality acquiring unit in an augmented reality apparatus, reading the acquired real reality data, Recognizing the output condition information of the recognized real object (or the virtual object display position) in the augmented reality device, and outputting the output condition information matching the user condition information designated by the user using the augmented reality device Checking the stored virtual object data in connection with the checked output condition information in the augmented reality device; and checking the stored virtual object data in the augmented reality device, So as to be output on the display device.
본 발명에 따른 사용자 조건을 이용한 선택적 가상객체 데이터 운용방법에 있어서, 상기 사용자 조건 정보는, 상기 증강현실 장치 상에 구비된 메모리부 상에 선 등록된 사용자 조건 정보 또는, 상기 증강현실 장치와 통신망을 통해 연결된 서버 상에 저장된 사용자 조건 정보 또는, 상기 실제객체(또는 가상객체 표시 위치)를 통해 선택 가능한 사용자 조건 정보 입력(또는 선택)을 위한 사용자 인터페이스를 통해 입력(또는 선택)되는 사용자 조건 정보인 것을 특징으로 한다.The user condition information may include at least one of user condition information previously registered on a memory unit provided on the augmented reality apparatus, (Or selected) through a user interface for inputting (or selecting) user condition information selectable via the actual object (or virtual object display position) .
한편, 상기 전술한 사용자 조건을 이용한 선택적 가상객체 데이터 운용방법을 실행하는 프로그램을 기록한 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체를 포함한다.A computer-readable recording medium having recorded thereon a program for executing a method for operating a selective virtual object data using the above-described user condition.
한편, 본 발명에 따른 사용자 조건을 이용한 선택적 가상객체 데이터 운용 기능이 구비된 증강현실 장치는, 증강현실 장치에서 실제현실 획득수단을 통해 실제현실 데이터를 획득하고, 상기 획득된 실제현실 데이터를 판독하여 실제객체(또는 가상객체 표시 위치)를 인식하는 실제객체 인식부와, 증강현실 장치에서 상기 인식된 실제객체(또는 가상객체 표시 위치)에 대한 출력조건 정보를 확인하고, 상기 증강현실 장치를 이용하는 사용자가 지정한 사용자 조건 정보와 매칭되는 출력조건 정보를 확인하는 출력조건 확인부와, 증강현실 장치에서 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터를 확인하는 가상객체 입력부와, 증강현실 장치에서 상기 확인된 가상객체 데이터가 상기 실제객체(또는 가상객체 표시 위치) 상에 출력되도록 처리하는 증강현실 표시부를 구비하여 이루어지는 것을 특징으로 한다.Meanwhile, the augmented reality apparatus having the selective virtual object data operation function using the user condition according to the present invention acquires the actual reality data through the actual reality acquisition means in the augmented reality apparatus, reads the obtained actual reality data A virtual object recognizing unit for recognizing an actual object (or a virtual object display position), an output condition information for the recognized real object (or a virtual object display position) in the augmented reality apparatus, A virtual object input unit for confirming virtual object data stored in connection with the checked output condition information in the augmented reality apparatus, So that the verified virtual object data is output on the actual object (or virtual object display position) And an augmented reality display unit for processing the augmented reality.
이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다. The operation principle of the preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings and description. It should be understood, however, that the drawings and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention, and are not to be construed as limiting the present invention. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The terms used below are defined in consideration of the functions of the present invention, which may vary depending on the user, intention or custom of the operator. Therefore, the definition should be based on the contents throughout the present invention.
*또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성요소와 본 발명을 위해 추가된 구성요소 사이의 관계도 명백하게 이해할 수 있을 것이다. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention and are incorporated in and constitute a part of this specification. The functional configuration is omitted as much as possible, and a functional configuration that should be additionally provided for the present invention is mainly described. Those skilled in the art will readily understand the functions of components that have been used in the prior art among the functional configurations that are not shown in the following description, The relationship between the elements and the components added for the present invention will also be clearly understood.
또한, 이하 실시예는 본 발명의 핵심적인 기술적 특징을 효율적으로 설명하기 위해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 명백하게 이해할 수 있도록 용어를 적절하게 변형하여 사용할 것이나, 이에 의해 본 발명이 한정되는 것은 결코 아니다. In order to efficiently explain the essential technical features of the present invention, the following embodiments properly modify the terms so that those skilled in the art can clearly understand the present invention, It is by no means limited.
결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.As a result, the technical idea of the present invention is determined by the claims, and the following embodiments are merely means for effectively explaining the technical idea of the present invention to a person having ordinary skill in the art to which the present invention belongs Only.
도면1은 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 증강현실 장치(100) 구성을 도시한 도면이다.1 is a diagram illustrating a configuration of an augmented reality device 100 for providing a virtual object differentiated for each user based on a condition of a user for one real object according to an embodiment of the present invention.
보다 상세하게 본 도면1은 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. In more detail, FIG. 1 illustrates a configuration in which a virtual object differentiated for each user is provided based on a condition of a user for one real object. If a person skilled in the art is familiar with the present invention, It will be appreciated that various implementations of the augmented reality device 100 configuration (e.g., some configuration portions may be omitted, or broken down or combined) may be inferred by referring to and / or modifying Figure 1, The present invention is not limited to the above-described embodiments.
본 발명의 증강현실 장치(100)는 실제현실 데이터를 획득하는 기능, 가상객체 데이터를 획득하는 기능, 상기 실제현실 데이터에 포함된 실제객체(또는 가상객체 데이터 표시할 위치 값)를 결정하는 기능 및 상기 실제현실 데이터 상의 실제객체(또는 가상객체 표시 위치)에 상기 획득된 가상객체 데이터를 표시하여 출력하는 기능 중 적어도 하나의 기능을 구비한 장치의 총칭으로서, 상기 실제현실 데이터를 획득하는 방식, 상기 가상객체 데이터를 획득하는 방식, 상기 실제객체(또는 가상객체 표시 위치)를 결정하는 방식 및 상기 실제현실 데이터 상에 상기 가상객체 데이터를 표시하는 방식에 의해 한정되지 아니한다. The augmented reality device 100 of the present invention has a function of acquiring actual reality data, a function of acquiring virtual object data, a function of determining an actual object (or a position value to display virtual object data) included in the actual reality data, A function of displaying the obtained virtual object data on a real object (or a virtual object display position) on the actual real data and outputting the obtained virtual object data; and a method of acquiring the actual data A method of obtaining virtual object data, a method of determining the actual object (or a virtual object display position), and a method of displaying the virtual object data on the actual reality data.
예를들어, 상기 실제현실 데이터는 카메라를 통해 실시간 획득되거나, 또는 상기 증강현실 장치(100) 내 메모리로부터 획득되거나, 또는 통신망을 통해 수신될 수 있다. 상기 가상객체 데이터는 상기 증강현실 장치(100) 내 메모리로부터 획득되거나, 또는 통신망을 통해 수신되거나, 또는 상기 메모리에 저장되거나 통신망을 통해 수신되는 결합 가능한 폴리곤(Polygon) 데이터에 텍스쳐(Texture) 데이터를 매핑/렌더링하여 실시간 생성될 수 있다. 상기 실제객체(또는 가상객체 표시 위치)는 마커 방식과 마커리스 방식 중 어느 하나의 방식을 통해 결정되거나, 또는 상기 실제현실 데이터의 색상/채도 값을 판독하여 결정되는 색상/채도 영역에 대한 기하학적 구조(또는 팔레트 구성)와 실제객체의 기하학적 구조(또는 팔레트 구성)를 인식하여 결정될 수 있다. 상기 실제현실 데이터 상에 상기 가상객체 데이터를 표시하는 방식은 상기 실제현실 데이터와 가상객체 데이터를 조합한 하나의 출력 데이터를 생성하여 표시하는 방식, 실제현실 계층(Layer)와 적어도 하나의 가상현실 계층을 구비한 출력 데이터를 구성한 후 상기 출력 데이터의 실제현실 계층에 상기 실제현실 데이터를 출력함과 동시에 적어도 하나의 가상현실 계층에 가상객체 데이터를 표시하는 방식을 적어도 하나 포함할 수 있다. 만약 상기 실제현실 데이터가 투명 디스플레이에 표시되는 경우, 상기 가상객체 데이터는 상기 실제객체와 관측자의 시선방향이 만나는 투명 디스플레이 위치에 상기 실제객체에 대응하는 가상객체 데이터를 출력하는 형태로 표시될 수 있다.For example, the actual reality data may be acquired in real time via a camera, or may be acquired from a memory in the augmented reality device 100, or received via a communication network. The virtual object data may include texture data to be combined with polygon data obtained from a memory in the augmented reality device 100, received via a communication network, stored in the memory, or received via a communication network. Can be generated in real time by mapping / rendering. The actual object (or virtual object display position) may be determined through a method of a marker method or a markerless method, or a geometric structure for a color / saturation area determined by reading the color / (Or palette configuration) and the geometry of the actual object (or palette configuration). The method of displaying the virtual object data on the actual real data includes a method of generating and displaying one output data obtained by combining the actual real data and the virtual object data, And outputting the actual real data to the actual real layer of the output data and displaying the virtual object data in at least one virtual reality layer. If the actual reality data is displayed on the transparent display, the virtual object data may be displayed in a form of outputting virtual object data corresponding to the actual object at a transparent display position where the gaze direction of the actual object meets the gaze direction .
또한, 상기 증강현실 장치(100)는 상기 장치의 이용 분야와 외형(또는 구조) 및 접속되는 통신망에 의해 한정되지 아니한다.In addition, the augmented reality device 100 is not limited by the use field of the device, the external form (or structure), and the communication network to be connected.
예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 설치 장치 형태 등으로 구현될 수 있다.For example, the augmented reality device 100 may be configured as an independent device in which each component is integrated in one case, an interlock device in which each component is separately provided in two or more connected devices, And may be implemented in the form of an installation device.
도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(120), 메모리부(155) 및 출력부(105)를 구비하며, 실제현실 데이터를 획득하는 방식에 따라 카메라부(165)를 더 구비하고, 가상객체 데이터를 획득하는 방식에 따라 통신부(115)를 더 구비하고, 가상객체 데이터가 표시될 실제현실 데이터 상의 실제객체(또는 가상객체 표시 위치)를 결정하는 방식에 따라 센서부(160)를 더 구비하고, 사용자 조작을 위한 조작부(110)를 더 구비할 수 있다.1, the augmented reality device 100 includes a control unit 120, a memory unit 155, and an output unit 105. The augmented reality device 100 includes a camera unit 165 The communication unit 115 may further include a communication unit 115 according to a method of acquiring virtual object data. The
상기 제어부(120)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(120) 내에 도시하여 설명하기로 한다.The controller 120 physically includes a processor, an execution memory, and a bus, and functions as a recording medium that processes a program included in the augmented reality device 100 so that it is functionally loaded into the execution memory and operated by the processor . FIG. 1 is a block diagram illustrating the configuration of a program unit included in the augmented reality system 100 according to an embodiment of the present invention.
상기 메모리부(155)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(120)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.The memory unit 155 includes a nonvolatile memory, and functions as a storage medium for storing / retaining program codes to be loaded into the controller 120 functionally and a data set used by the program codes. The program code includes system program code for operating / controlling the basic operation of the augmented reality device 100 and application program code for providing various application services included in the augmented reality device 100. [
본 발명의 실시 방법에 따르면, 상기 메모리부(155)는 상기 실제현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(155)는 상기 실제현실 데이터를 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.According to the embodiment of the present invention, the memory unit 155 can store the actual reality data, in which case the memory unit 155 can perform the function of the actual reality obtaining means for obtaining the actual reality data have.
본 발명의 실시 방법에 따르면, 상기 메모리부(155)는 상기 가상객체 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(155)는 상기 가상객체 데이터를 획득하는 가상현실 획득수단의 기능을 수행할 수 있다.According to the embodiment of the present invention, the memory unit 155 may store the virtual object data. In this case, the memory unit 155 may perform the function of the virtual reality obtaining means for obtaining the virtual object data have.
본 발명의 실시 방법에 따르면, 상기 메모리부(155)는 본 발명에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하기 위해, 실제현실 데이터를 통해 획득되는 실제현실 데이터 상에 포함된 실제객체(또는 가상객체 표시 위치) 정보와, 상기 실제객체(또는 가상객체 표시 위치)를 통해 가상객체 데이터 출력시, 상기 가상객체 데이터를 출력할 N(N≥1)개의 출력조건 정보와, 상기 N개의 출력조건 각각에 대응하여 출력할 가상객체 데이터를 저장하는 것이 가능하다.According to an embodiment of the present invention, the memory unit 155 may acquire virtual objects differentiated from each other based on the condition of the user for one real object according to the present invention, (N > / = 1) to output the virtual object data when the virtual object data is output through the actual object (or the virtual object display position) It is possible to store the output condition information and the virtual object data to be output corresponding to each of the N output conditions.
상기 출력부(105)는 실제현실 데이터 상의 실제객체에 가상객체 데이터를 표시하는 출력장치를 포함하며, LCD와 같은 일반 출력장치와 안경, 고글, 유리창과 같은 투명 디스플레이 중 어느 하나를 포함할 수 있다.The output unit 105 includes an output device for displaying virtual object data on a real object on actual data, and may include a general output device such as an LCD and a transparent display such as glasses, goggles, and windows .
상기 카메라부(165)는 광학부와 CCD(Charge Coupled Device)로 구성된 카메라로부터 래스터(Raster) 기반의 실제현실 데이터를 비트맵 방식으로 실시간 획득하는 장치를 포함한다. 여기서, 상기 실제현실 데이터는 이미지 데이터 또는 동영상 데이터를 포함할 수 있다. 즉, 상기 카메라부(165)는 상기 증강현실 장치(100)에서 실제현실 데이터를 실시간 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.The camera unit 165 includes an apparatus for real-time acquiring raster-based actual reality data from a camera composed of an optical unit and a CCD (Charge Coupled Device) in a bitmap manner. Here, the actual reality data may include image data or moving image data. That is, the camera unit 165 may perform a function of real-reality acquisition means for acquiring real-world data in real time from the augment-
본 발명의 실시 방법에 따르면, 상기 카메라부(165)는 상기 센서부(160)와 연동하여 센서 입력에 필요한 특정 데이터만 선택적으로 획득하거나, 또는 이미지(또는 동영상) 형태의 센싱 데이터를 획득하는 센서부(160)의 기능을 수행할 수 있다.According to the embodiment of the present invention, the camera unit 165 may include a sensor (not shown) for interlocking with the sensor unit 160 to selectively acquire only specific data necessary for a sensor input or acquire sensing data in the form of an image Unit 160 of the present invention.
예를들어, 상기 카메라부(165)와 센서부(160)가 연동하는 경우, 상기 카메라부(165)는 상기 센서부(160)가 센싱하는 영역의 실제현실 데이터만 선택적으로 획득할 수 있으며, 이를 위해 상기 카메라부(165)와 센서부(160)의 시선 방향이 일치되도록 설정된다.For example, when the camera unit 165 and the sensor unit 160 are interlocked with each other, the camera unit 165 can selectively obtain only actual real data of a region sensed by the sensor unit 160, For this purpose, the eyes of the camera unit 165 and the sensor unit 160 are set to coincide with each other.
또는, 상기 카메라부(165)는 실제현실 데이터를 획득함과 동시에, 상기 실제현실 데이터를 판독하여 지정된 센싱 대상의 이미지(또는 동영상) 데이터를 센싱하는 센서부(160)의 기능을 수행할 수 있다.Alternatively, the camera unit 165 may perform the function of the sensor unit 160 that acquires actual reality data and simultaneously reads the actual reality data and senses image (or moving image) data of a designated sensing target .
상기 통신부(115)는 상기 증강현실 장치(100)가 접속하는 유선(또는 무선) 통신망에 따라 어느 하나의 통신 규격과 프로토콜을 기반으로 상기 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망 상의 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 수행한다.The communication unit 115 includes a communication module that connects to the communication network based on any one communication standard and protocol according to a wired (or wireless) communication network to which the augmented reality device 100 is connected, Or a device) and / or a communication channel with another augmented reality device 100. [0034] FIG.
본 발명의 실시 방법에 따르면, 상기 통신부(115)는 통신망 상의 서버(또는 장치)로부터 실제현실 데이터를 수신하는 실제현실 획득수단의 기능을 수행하거나, 또는 상기 통신망 상의 서버(또는 장치)에 저장된 가상객체 데이터를 수신하는 가상현실 획득수단의 기능을 수행할 수 있다.According to the embodiment of the present invention, the communication unit 115 performs the function of real-reality acquisition means for receiving real-life data from a server (or a device) on a communication network, And can perform the function of the virtual reality obtaining means for receiving the object data.
상기 센서부(160)는 상기 증강현실 장치(100)에 구비된 적어도 하나의 센서로부터 아날로그 신호 또는 디지털 신호 형태의 센싱 신호를 획득하여 데이터 처리가 가능한 센싱 데이터로 변환하는 센서모듈을 포함한다. 여기서, 상기 센서는 환경 변화에 따라 전기적 신호(예컨대, 저항, 전류, 전압)를 발생시키는 전기적 신호 센서와, 상기 카메라와 같이 실제현실 데이터를 획득함과 동시에 상기 실제현실 데이터로부터 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 카메라 센서를 포함할 수 있다. 만약 상기 센서가 카메라 센서를 포함하는 경우 상기 센서부(160)는 상기 카메라부(165)와 통합될 수 있다.The sensor unit 160 includes a sensor module for acquiring a sensing signal in the form of an analog signal or a digital signal from at least one sensor provided in the augmented reality device 100 and converting the sensed signal into sensing data capable of data processing. Here, the sensor may include an electrical signal sensor for generating an electrical signal (e.g., resistance, current, voltage) in accordance with an environmental change, and a controller for acquiring actual data, such as the camera, And a camera sensor for selectively acquiring only data. If the sensor includes a camera sensor, the sensor unit 160 may be integrated with the camera unit 165.
상기 조작부(110)는 상기 증강현실 장치(100)에 사용자 조작이 필요한 경우, 상기 사용자 조작을 입력받는 입력모듈을 포함한다. 상기 조작부(110)는 키 버튼을 구비하여 사용자 조작에 필요한 정보를 키 입력받는 키 입력 모듈과, 상기 출력부(105)와 연동하여 통해 사용자 조작에 필요한 정보를 입력받는 터치 스크린 모듈을 포함하며, 상기 카메라부(165) 또는 센서부(160)와 연동하여 사용자의 손 동작, 몸 동작 및 눈 움직임 중 어느 하나를 인식하여 사용자 조작에 필요한 정보를 입력받는 사용자 인식 모듈을 더 포함할 수 있다.The
도면1을 참조하면, 상기 증강현실 장치(100)는, 적어도 하나의 실제현실 획득수단을 통해 실제현실 데이터를 입력하는 실제현실 입력부(125)와, 상기 실제현실 데이터로부터 가상객체 데이터를 출력할 실제객체를 인식하는 실제객체 인식부(130)와, 상기 증강현실 장치(100)를 통해 출력할 하나 이상의 가상객체에 대한 사용자가 설정한 사용자 조건 정보를 확인하고, 상기 확인된 사용자 조건 정보를 기반으로 상기 사용자 조건 정보와 매칭되는 출력조건 정보를 확인하는 출력조건 확인부(135)와, 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터를 기반으로 상기 인식된 실제객체에 표시할 가상객체 데이터를 결정하는 가상객체 결정부(140)와, 적어도 하나의 가상현실 획득수단을 통해 상기 결정된 가상객체 데이터를 입력하는 가상객체 입력부(145)와, 상기 가상객체 데이터를 상기 실제현실 데이터 상의 실제객체에 표시하여 상기 출력부(105)를 통해 출력하는 증강현실 표시부(150)를 구비한다.Referring to FIG. 1, the augmented reality device 100 includes an actual reality input unit 125 for inputting realistic reality data through at least one actual reality acquisition unit, and an actual reality input unit 125 for outputting virtual object data from the actual reality data. A virtual object recognizing unit 130 for recognizing an object and a user condition information set by the user for one or more virtual objects to be output through the augmented reality device 100, An output condition checking unit 135 for checking output condition information matched with the user condition information, and a virtual condition determining unit 135 for obtaining virtual object data to be displayed on the recognized real object based on the stored virtual object data in connection with the checked output condition information And a virtual object input unit for inputting the determined virtual object data through at least one virtual reality obtaining unit, And a 145 and, augmented reality display that displays the virtual object data to the actual object on the real-world data outputted through the output unit 105 (150).
상기 실제현실 입력부(125)는 상기 카메라부(165)를 통해 실제현실 데이터를 실시간 입력하거나, 또는 상기 메모리부(155)에 저장된 실제현실 데이터를 입력하거나, 또는 상기 통신부(115)를 통해 실제현실 데이터를 수신하며, 상기 입력된 실제현실 데이터는 상기 출력부(105)를 통해 출력되거나 또는 상기 증강현실 표시부(150)로 전달된다.The actual reality input unit 125 inputs real reality data in real time through the camera unit 165 or inputs actual reality data stored in the memory unit 155 or outputs the real reality data through the communication unit 115. [ And the input actual reality data is output through the output unit 105 or transmitted to the augmented reality display unit 150. [
상기 실제현실 데이터가 입력되면, 상기 실제객체 인식부(130)는 상기 실제현실 데이터를 판독하여 가상객체 데이터를 출력할 적어도 하나의 실제객체(또는 가상객체 표시 위치)를 인식한다.When the actual data is input, the actual object recognizer 130 reads the actual data and recognizes at least one actual object (or a virtual object display location) to output the virtual object data.
**
본 발명의 일 실시 방법에 따르면, 상기 실제객체 인식부(130)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 미리 정의된 마커를 검출하고, 상기 마커가 검출된 위치를 가상객체 데이터를 출력할 실제객체(또는 가상객체 표시 위치)로 인식할 수 있다. 여기서, 상기 마커는 미리 정의된 기호, 부호, 문양 중 어느 하나를 포함할 수 있다.According to an embodiment of the present invention, the actual object recognition unit 130 reads the actual reality data to extract a color / saturation value, reads out the extracted color / saturation value, and detects a predefined marker , The position at which the marker is detected can be recognized as an actual object (or a virtual object display position) to output the virtual object data. Here, the marker may include any one of predefined symbols, symbols, and patterns.
본 발명의 다른 일 실시 방법에 따르면, 상기 메모리부(155)는 상기 실제현실 데이터에 포함된 실제객체를 인식하는 객체 인식 정보를 저장할 수 있으며, 이 경우 상기 실제객체 인식부(130)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 상기 색상/채도를 통해 구분되는 영역의 경계 선을 검출하고, 상기 검출된 경계선을 연결 및 조합하여 기하학 구조를 인식하거나 상기 경계선 내의 색상/채도 분포 패턴을 인식한 후, 상기 인식된 기하학 구조와 분포 패턴을 상기 객체 인식 정보에 미리 정의된 실제객체들의 기하학 구조와 분포 패턴과 비교하여 상기 실제현실 데이터에 포함된 실제객체를 인식할 수 있다.According to another embodiment of the present invention, the memory unit 155 may store object recognition information for recognizing an actual object included in the actual reality data. In this case, And extracting the color / saturation value by reading out the real data, detecting the extracted color / saturation value, detecting a boundary line of an area distinguished through the hue / saturation, connecting and combining the detected boundary lines, Or recognizes the color / saturation distribution pattern in the boundary line, compares the recognized geometry structure and the distribution pattern with the geometric structure and distribution pattern of predefined actual objects in the object recognition information, The actual object can be recognized.
여기서, 상기 색상/채도 값은 RGB(Red, Green, Blue) 팔레트 값을 색상/채도로 변환하는 행렬식을 통해 추출될 수 있으며, 상기 객체 인식 정보는 상기 실제현실 데이터의 색상/채도를 판독하여 색상/채도 상의 기하학 구조 정보와 상기 색상/채도의 분포 패턴 정보가 획득되는 경우, 상기 획득된 기하학 구조와 분포 패턴에 대응하는 실제객체가 무엇인지 판별할 수 있도록 미리 정의된 실제객체들의 기하학 구조와 분포 패턴을 포함한다.Here, the color / saturation value may be extracted through a determinant converting a RGB (Red, Green, Blue) palette value into color / saturation, and the object recognition information may be obtained by reading the color / / Geometric structure information on the saturation and distribution pattern information of the hue / saturation are obtained, geometric structure and distribution of predefined actual objects so as to determine what is the actual object corresponding to the acquired geometric structure and distribution pattern Pattern.
본 발명의 또다른 일 실시 방법에 따르면, 상기 실제객체 인식부(130)는 상기 실제현실 데이터를 상기 마커를 인식하는 서버(또는 장치)로 전송하거나, 또는 상기 객체 인식 정보를 구비한 서버(또는 장치)로 전송하여 상기 실제현실 데이터 상에 상기 가상객체 데이터를 출력할 실제객체(또는 가상객체 표시 위치)로 인식할 수 있다.According to another embodiment of the present invention, the actual object recognition unit 130 may transmit the actual reality data to a server (or a device) that recognizes the marker, or a server (or a server Device) to recognize the virtual object data as an actual object (or a virtual object display position) to output the virtual object data on the actual real data.
한편, 상기 실제현실 데이터가 카메라부(165)를 통해 실시간 입력되는 경우, 상기 실제객체 인식부(130)는 상기 센서부(160)와 카메라부(165)의 시선 방향을 일치시킨 후, 상기 카메라부(165)를 통해 입력되는 실제현실 데이터의 좌표계와 상기 센서부(160)를 통해 센싱되는 센싱 신호의 좌표계를 매칭하여 특정 센싱 신호가 검출되는 좌표 값을 가상객체 데이터를 출력할 실제객체(또는 가상객체 표시 위치)로 인식할 수 있다. If the actual object data is input in real time through the camera unit 165, the actual object recognizer 130 matches the direction of the eyes of the sensor unit 160 and the camera unit 165, A coordinate system in which a specific sensing signal is detected is matched with a coordinate system of a sensing signal sensed through the sensor unit 160 and a coordinate system of actual real data input through the sensing unit 160, Virtual object display position).
또는, 상기 실제현실 데이터가 상기 메모리부(155)에 저장되거나 또는 통신부(115)를 통해 수신되고 상기 실제현실 데이터에 상기 실제객체 위치를 판별하는 메타 데이터가 포함(또는 링크)된 경우, 상기 실제객체 인식부(130)는 상기 실제현실 데이터에 포함(또는 링크)된 메타 데이터를 참조하여 상기 가상객체 데이터를 출력할 실제객체(또는 가상객체 표시 위치)를 인식할 수 있다.Alternatively, when the actual reality data is stored (or received via the communication unit 115) in the memory unit 155 and the metadata for determining the actual object position is included (or linked) in the actual reality data, The object recognition unit 130 may recognize an actual object (or a virtual object display position) to output the virtual object data by referring to the metadata included (or linked) in the actual reality data.
상기 출력조건 확인부(135)는 상기 증강현실 장치(100)를 통해 출력할 하나 이상의 가상객체에 대한 사용자가 설정한 사용자 조건 정보를 확인하고, 상기 확인된 사용자 조건 정보를 기반으로 상기 사용자 조건 정보와 매칭되는 출력조건 정보를 확인한다.The output condition check unit 135 checks the user condition information set by the user for one or more virtual objects to be outputted through the augmented reality device 100 and outputs the user condition information And the output condition information matched with the output condition information.
본 발명의 실시 방법에 따르면, 상기 사용자 조건정보와 매칭되는 출력조건 정보 확인은, 상기 증강현실 장치(100) 상에 가상객체 데이터를 요청하는 사용자가 사용자 조건정보를 상기 증강현실 장치(100) 또는 상기 증강현실 장치(100)와 통신망을 통해 연결된 서버(예를들어, 증강현실 운영 서버(도시생략)) 상에 선 등록한 후, 상기 증강현실 장치(100) 상에 구비된 메모리부(155)와 연계하여 상기 사용자 조건정보와 매칭되는 출력조건 정보를 확인함으로써, 상기 사용자 조건정보와 매칭되는 출력조건 정보를 확인한다.According to the embodiment of the present invention, the output condition information matching with the user condition information is performed by a user requesting virtual object data on the augmented reality device 100, (For example, an augmented reality operation server (not shown)) connected to the augmented reality device 100 via a communication network, and then, the memory unit 155 and the memory unit 155 provided on the augmented reality device 100 And checks the output condition information matched with the user condition information by checking the output condition information matched with the user condition information.
본 발명의 다른 실시 방법에 따르면, 상기 사용자 조건정보와 매칭되는 출력조건 정보 확인은, 상기 증강현실 장치(100) 상에 가상객체 데이터를 요청하는 사용자가 사용자 조건정보를 상기 증강현실 장치(100) 또는 상기 증강현실 장치(100)와 통신망을 통해 연결된 서버(예를들어, 증강현실 운영 서버(도시생략)) 상에 선 등록한 후, 상기 사용자 조건 정보를 증강현실 장치(100)와 통신망을 통해 연결된 서버로 전송하여 상기 사용자 조건정보와 매칭되는 출력조건 정보를 수신함으로써, 상기 사용자 조건정보와 매칭되는 출력조건 정보를 확인한다.According to another embodiment of the present invention, output condition information matching with the user condition information is performed by a user requesting virtual object data on the augmented reality device 100, Or a server connected to the augmented reality device 100 through a communication network (for example, an augmented reality operation server (not shown)), and then transmits the user condition information to the augmented reality device 100 through a communication network And receives output condition information matched with the user condition information, thereby confirming the output condition information matched with the user condition information.
본 발명의 또 다른 실시 방법에 따르면, 상기 출력중인 실제현실 데이터 및 상기 실제현실 데이터 상에 포함된 실제객체(또는 가상객체 표시 위치)를 이용한 가상객체 데이터 출력시, 선택 가능한 사용자 조건 정보 입력(또는 선택)을 위한 사용자 인터페이스를 출력한 후, 상기 출력된 사용자 인터페이스를 통해 입력받는 것이 가능하다.According to another embodiment of the present invention, when outputting the virtual object data using the actual real data that is being output and the actual object (or virtual object display position) included on the actual real data, Selection), and then receive the input through the output user interface.
여기서, 상기 사용자 조건정보와 매칭되는 출력조건 정보의 확인 및 가상객체 데이터를 출력하는 예시는 이하 도시될 도면을 통해 상세히 설명한다.Herein, an example of output condition information matching with the user condition information and outputting virtual object data will be described in detail with reference to the drawings.
상기 가상객체 결정부(140)는 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터를 기반으로 상기 인식된 실제객체에 표시할 가상객체 데이터를 결정하고, 출력조건 정보가 확인되지 않거나, 또는 사용자 조건정보가 설정되지 않은 경우, 상기 실제현실 데이터로부터 검출된 실제객체에 표시할 가상객체 데이터를 결정한다.The virtual object determination unit 140 determines virtual object data to be displayed on the recognized real object based on the stored virtual object data in connection with the checked output condition information, If the condition information is not set, virtual object data to be displayed on the actual object detected from the actual reality data is determined.
만약 상기 실제현실 데이터 상의 실제객체에 표시할 가상객체 데이터가 어느 하나의 가상객체 데이터로 고정되는 경우, 상기 가상객체 결정부(140)는 상기 고정된 상기 실제객체 인식부(130)를 통해 인식된 실제객체에 표시할 가상객체 데이터를 결정할 수 있다.If the virtual object data to be displayed on the actual object on the actual reality data is fixed to any one of the virtual object data, the virtual object determination unit 140 determines whether the virtual object data The virtual object data to be displayed on the real object can be determined.
*본 발명의 일 실시 방법에 따르면, 상기 실제객체가 마커를 통해 인식된 경우, 상기 가상객체 결정부(140)는 상기 마커 모양/형태/색상/구조를 판독하여 상기 실제객체에 표시할 가상객체 데이터를 결정할 수 있다.According to an embodiment of the present invention, when the actual object is recognized through a marker, the virtual object determination unit 140 reads the marker shape / shape / color / structure and displays a virtual object Data can be determined.
만약 상기 마커에 상기 가상객체 데이터를 결정하기 위한 정보가 부호화되어 포함된 경우, 상기 가상객체 결정부(140)는 상기 실제객체 인식부(130)를 통해 인식된 마커에 포함된 부호화 정보를 인식 및 판독하여 상기 실제객체에 표시할 가상객체 데이터를 결정할 수 있다.If the marker information includes information for determining the virtual object data, the virtual object determination unit 140 recognizes and recognizes the encoded information included in the recognized marker through the actual object recognition unit 130, And determine virtual object data to be displayed on the real object.
본 발명의 다른 일 실시 방법에 따르면, 상기 가상객체 결정부(140)는 상기 실제객체 인식부(130)를 통해 인식된 실제객체의 모양/형태/색상/구조를 판독하여 상기 실제객체에 표시할 가상객체 데이터를 결정할 수 있다. 또는 상기 실제현실 데이터에 상기 가상객체 데이터를 결정하기 위한 별도의 표시가 포함된 경우, 상기 표시를 판독하여 상기 실제객체 인식부(130)를 통해 인식된 실제객체에 표시할 가상객체 데이터를 결정할 수 있다.According to another embodiment of the present invention, the virtual object determination unit 140 reads the shape / shape / color / structure of the actual object recognized through the actual object recognition unit 130 and displays the shape / The virtual object data can be determined. Or if the actual reality data includes a separate indication for determining the virtual object data, the display may be read to determine virtual object data to be displayed on the actual object recognized through the actual object recognition unit 130 have.
한편, 상기 실제현실 데이터가 메모리부(155)에 저장되어 있거나 또는 통신부(115)를 통해 수신되고 상기 실제현실 데이터에 상기 실제객체 인식부(130)를 통해 인식된 실제객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정하는 메타 데이터가 포함(또는 링크)된 경우, 상기 가상객체 결정부(140)는 상기 메타 데이터를 참조하여 상기 실제객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정할 수 있다.Meanwhile, when the actual real data is stored in the memory unit 155 or received through the communication unit 115 and the real object recognized by the actual object recognizer 130 The virtual object determination unit 140 refers to the metadata and determines whether or not the virtual object data to be displayed in the virtual object display position Object data can be determined.
상기 가상객체 입력부(145)는 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 실시간 생성되는 가상객체 데이터 중 상기 가상객체 결정부(140)를 통해 결정된 가상객체 데이터를 상기 실제현실 데이터의 실제객체에 표시할 가상객체 데이터로 입력한다.The virtual object input unit 145 inputs virtual object data determined through the virtual object determination unit 140 among virtual object data stored in a memory, received via a communication network, or generated in real time, And inputs it as virtual object data to be displayed on the object.
상기 증강현실 표시부(150)는 상기 실제현실 입력부(125)를 통해 입력되는 실제현실 데이터 상의 실제객체(또는 가상객체 표시 위치)에 상기 가상객체 입력부(145)를 통해 입력되는 가상객체 데이터를 표시한 후, 상기 출력부(105)를 통해 출력한다.The augmented reality display unit 150 displays virtual object data input through the virtual object input unit 145 on an actual object (or a virtual object display position) on the actual reality data input through the actual reality input unit 125 And then output through the output unit 105. [
본 발명의 일 실시 방법에 따르면, 상기 증강현실 표시부(150)는 상기 실제현실 데이터 상의 실제객체에 투명영역을 포함하는 가상객체 데이터를 중첩시켜 증강현실 데이터를 생성한 후, 상기 증강현실 데이터를 상기 출력부(105)를 통해 출력할 수 있다.According to an embodiment of the present invention, the augmented reality display unit 150 generates augmented reality data by superimposing virtual object data including a transparent region on an actual object on the actual reality data, And output it through the output unit 105.
본 발명의 다른 일 실시 방법에 따르면, 상기 증강현실 표시부(150)는 실제현실 계층과 가상현실 계층을 포함하는 증강현실 데이터 포맷을 구성한 후, 상기 증강현실 데이터 포맷의 실제현실 계층에 상기 실제현실 데이터를 출력하고 상기 실제현실 데이터의 실제객체 위치에 대응하는 가상현실 계층에 가상객체 데이터를 출력하여 상기 출력부(105)를 통해 출력할 수 있다.According to another embodiment of the present invention, the augmented reality display unit 150 constructs an augmented reality data format including an actual real layer and a virtual reality layer, and then stores the actual reality data in an actual real layer of the augmented reality data format. And outputs the virtual object data to the virtual reality layer corresponding to the actual object position of the actual real data through the output unit 105. [
*여기서, 상기 가상현실 계층은 일반적인 가상객체 데이터를 출력하는 일반 가상현실 계층과, 사용자 조건정보를 이용한 사용자 맞춤형 가상객체 데이터를 출력하는 사용자 가상현실 계층으로 구분되는 것이 가능하며, 상기 증강현실 장치(100) 상에 어떤 계층을 출력할지 여부를 설정하여, 일반적인 가상객체 데이터와 사용자 맞춤형 가상객체 데이터 중 하나 이상이 출력되는 것이 가능하다.Here, the virtual reality layer may be classified into a general virtual reality layer outputting general virtual object data and a user virtual reality layer outputting user-customized virtual object data using user condition information, and the augmented reality device 100), it is possible to output at least one of general virtual object data and user-customized virtual object data.
본 발명의 또다른 일 실시 방법에 따르면, 상기 출력부(105)가 투명 디스플레이를 포함하는 경우, 상기 증강현실 표시부(150)는 상기 실제객체 인식부(130)를 통해 결정된 투명 디스플레이 상의 실제객체 위치에 상기 가상객체 데이터만 표시하여 출력할 수 있다.According to another embodiment of the present invention, when the output unit 105 includes a transparent display, the augmented reality display unit 150 displays the actual object position on the transparent display determined through the actual object recognition unit 130 Only the virtual object data can be displayed and output.
도면2는 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 과정을 도시한 도면이다.2 is a diagram illustrating a process of providing differentiated virtual objects for each user based on a condition of a user for one real object according to an embodiment of the present invention.
보다 상세하게 본 도면2는 상기 도면1에 도시된 증강현실 장치(100)에서 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.2 shows a process of providing a virtual object differentiated for each user based on a condition of a user for one real object in the augmented reality device 100 shown in FIG. 1, and FIG. As a person skilled in the art, referring to and / or modifying FIG. 2, various methods for providing a differentiated virtual object for each user based on the condition of the user for the actual object (For example, an operation method in which some steps are omitted or the order is changed). However, the present invention includes all of the above-described embodiments, and the technical features Is not limited.
도면2를 참조하면, 상기 도면1에 도시된 증강현실 장치(100)는 적어도 하나 이상의 실제현실 획득수단을 통해 실제현실 데이터가 입력되고(200), 상기 입력된 실제현실 데이터를 기반으로 실제현실 데이터 상에 포함된 실제객체(또는 가상객체 표시 위치)를 인식한다(205).Referring to FIG. 2, the augmented reality device 100 shown in FIG. 1 receives real-
만약, 상기 입력된 실제현실 데이터를 기반으로 실제현실 데이터상에 포함된 실제객체(또는 가상객체 표시 위치)가 확인되면(210), 상기 증강현실 장치(100)는 상기 증강현실 장치(100)를 사용하는 사용자가 상기 증강현실 장치(100)(또는 상기 증강현실 장치(100)와 통신망을 통해 연결된 서버(예를들어, 증강현실 운영 서버(도시생략))상에 설정한 사용자 조건 정보를 확인한다(215).If an actual object (or a virtual object display position) included in actual real data is confirmed 210 based on the inputted real reality data, the augmented reality device 100 may recognize the augmented reality device 100 The user who uses the ARC device 100 confirms the user condition information set on the augmented reality device 100 (or a server (for example, augmented reality operation server (not shown)) connected to the augmented reality device 100 via the communication network (215).
만약, 상기 증강현실 장치(100)를 이용하는 사용자가 설정한 사용자 조건정보가 확인되지 않는다면(220), 상기 증강현실 장치(100)는 상기 인식된 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터를 확인하고, 상기 확인된 가상객체 데이터를 상기 증강현실 장치(100)를 통해 출력되도록 처리한다.If the user condition information set by the user using the augmented reality device 100 is not confirmed at
반면, 상기 증강현실 장치(100)를 이용하는 사용자가 설정한 사용자 조건정보가 확인되면(220), 이하 도면3에 도시된 과정에 따라 상기 확인된 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터가 출력되도록 처리한다.Meanwhile, when the user condition information set by the user using the augmented reality device 100 is confirmed (220), a virtual object (virtual object) for the verified actual object So that data is output.
도면3은 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 과정을 도시한 도면이다.FIG. 3 is a diagram illustrating a process of providing differentiated virtual objects for each user based on a condition of a user for one real object according to an embodiment of the present invention.
도면3을 참조하면, 상기 도면1에 도시된 증강현실 장치(100)는 상기 도면2에 도시된 과정에 따라 상기 증강현실 장치(100)를 이용하는 사용자가 설정한 사용자 조건정보가 확인된 후, 상기 확인된 사옹자 조건 정보와 매칭되는 출력조건 정보를 확인한다(300).Referring to FIG. 3, the augmented reality device 100 shown in FIG. 1 performs a process shown in FIG. 2, after user condition information set by a user using the augmented reality device 100 is confirmed, And confirms the output condition information matched with the confirmed senator condition information (300).
만약, 상기 확인된 사용자 조건 정보와 매칭되는 출력조건 정보가 확인되지 않는 경우(305), 상기 증강현실 장치(100)는 상기 인식된 실제객체(또는 가상객체 출력 위치)에 대한 가상객체 데이터를 확인하고(310), 만약, 상기 인식된 실제객체(또는 가상객체 출력 위치)에 대한 가상객체 데이터가 확인되면(320), 상기 인식된 실제현실 데이터를 기반으로 확인된 실제객체(또는 가상객체 출력 위치)에 대한 가상객체 데이터가 출력되도록 처리한다(325).If the output condition information matching the checked user condition information is not confirmed 305, the augmented reality device 100 confirms the virtual object data for the recognized actual object (or virtual object output location) If the virtual object data for the recognized real object (or the virtual object output location) is confirmed (320), the actual object (or the virtual object output location (325) to output the virtual object data.
반면, 상기 확인된 사용자 조건 정보와 매칭되는 출력조건 정보가 확인되는 경우(305), 상기 증강현실 장치(100)는 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터 중 인식된 실제객체(또는 가상객체 출력 위치)에 대한 가상객체 데이터를 확인한다(315).On the other hand, if the output condition information matched with the identified user condition information is confirmed (305), the augmented reality device 100 determines whether or not the recognized actual object Virtual object output position) of the virtual object data (315).
만약, 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터 중 인식된 실제객체(또는 가상객체 출력 위치)에 대한 가상객체 데이터가 확인되면(320), 상기 상기 확인된 출력조건 정보와 연결하여 저장된 가상객체 데이터 중 인식된 실제객체(또는 가상객체 출력 위치)에 대한 가상객체 데이터가 출력되도록 처리한다(325).If the virtual object data for the recognized real object (or virtual object output location) among the stored virtual object data is confirmed (320) in connection with the checked output condition information, The virtual object data for the actual object (or virtual object output position) recognized among the virtual object data is output (325).
또한, 상기 출력조건 정보를 기반으로 확인된 가상객체 데이터 외 상기 실제현실 데이터를 기반으로 인식된 실제객체(또는 가상객체 출력 위치)를 기반으로 일반적으로 제공되는 가상객체 데이터를 더 포함하여 제공하는 것이 가능하다.In addition, it is possible to further provide virtual object data generally provided based on actual object (or virtual object output position) recognized based on the actual real data other than the virtual object data confirmed based on the output condition information It is possible.
도면4는 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 예시를 도시한 도면이다.4 is a diagram illustrating an example of providing differentiated virtual objects for each user based on a user's condition for one real object according to an embodiment of the present invention.
보다 상세하게 본 도면4는 상기 도면1에 도시된 증강현실 장치(100)에서 상기 도면2 내지 도면3에 도시된 과정에 따라 하나의 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 예시를 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 실제객체에 대한 사용자의 조건을 기준으로 각 사용자마다 차별화된 가상객체를 제공하는 예시에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.FIG. 4 shows a detailed view of the augmented reality device 100 shown in FIG. 1 according to the processes shown in FIGS. 2 to 3, If the person skilled in the art is familiar with the present invention, it is possible to refer to and / or modify the FIG. 4 to differentiate each user based on the condition of the user for the actual object It is to be understood that the invention is not limited to the particular embodiments set forth herein, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. The technical features thereof are not limited only by the method shown in FIG.
도면4를 참조하면, 상기 도면1에 도시된 증강현실 장치(100)를 통해 일반적으로 제공되는 가상객체 데이터는 본 도면4에서와 같이 집과 관련된 집관련 가상객체 데이터(400)인 경우, 상기 집관련 가상객체 데이터(400)는 집 임대와 관련된 임대 가상객체 데이터(405)와, 상기 집이 위치한 지역과 관련된 임대 가상객체 데이터(410)와, 상기 집이 속한 건물에 대한 건물 가상객체 데이터(415) 중 하나 이상을 포함한다.Referring to FIG. 4, the virtual object data, which is generally provided through the augmented reality device 100 shown in FIG. 1, is house related
여기서, 사용자가 집 임대와 관련된 가상객체 데이터 요청을 위해, 사용자 조건 정보를 임대로 설정한 경우, 상기 집관련 가상객체 데이터(400)를 구성하는 하나 이상의 가상객체 데이터 중 임대 가상객체 데이터(405)가 상기 사용자의 증강현실 장치(100)를 통해 출력된다.Here, when the user sets the user condition information as lease for the virtual object data request related to the house lease, the rental
즉, 임대 대상 건물을 찾는 사용자가 임대 대상 건물에 대한 가상객체 데이터를 요청한다면, 이하 도면5에서와 같이 현실세계 영상(즉, 실제현실 데이터)로부터 인식되는 임대 대상 건물에 대한 가상객체 중 임대가 요청된 건물을 식별하는 가상객체 데이터를 표시한다.That is, if a user searching for a building to be rented requests virtual object data for a building to be rented, a lease out of the virtual objects for the rental target building recognized from the real world image (i.e., actual reality data) And displays virtual object data identifying the requested building.
또한, 사용자가 지역과 관련된 가상객체 데이터 요청을 위해, 사용자 조건 정보를 지역으로 설정한 경우, 상기 집관련 가상객체 데이터(400)를 구성하는 하나 이상의 가상객체 데이터 중 임대 가상객체 데이터(410)가 상기 사용자의 증강현실 장치(100)를 통해 출력된다.When the user sets the user condition information in the region for the request of the virtual object data related to the area, the rental
즉, 특정 임대 대상 건물을 계약 대상 건물로 결정한 사용자가 상기 임대 대상 건물에 대한 가상객체 데이터를 요청하면, 이하 도면6에 도시된 바와 같이 실제현실 데이터로부터 인식되는 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터 중 임대 건물의 내부 평면도를 포함하는 가상객체 데이터를 표시한다.That is, when a user who has determined a specific rental target building to be a contract target building requests virtual object data for the rental target building, as shown in FIG. 6, the actual object (or virtual object display location) The virtual object data including the inner plan view of the rental building.
또한, 사용자가 건물과 관련된 가상객체 데이터 요청을 위해, 사용자 조건 정보를 건물로 설정한 경우, 상기 집관련 가상객체 데이터(400)를 구성하는 하나 이상의 가상객체 데이터 중 건물 가상객체 데이터(415)가 상기 사용자의 증강현실 장치(100)를 통해 출력된다.In addition, when the user sets the user condition information to the building for the request of the virtual object data related to the building, the building
도면5는 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자 조건이 임대로 설정한 경우에 대한 가상객체 데이터를 출력하는 예시화면을 도시한 도면이다.FIG. 5 is a diagram illustrating an exemplary screen for outputting virtual object data for a case where a user condition for one real object according to an embodiment of the present invention is set as a lease.
보다 상세하게 본 도면5는 상기 도면1에 도시된 증강현실 장치(100)가 상기 도면2 내지 도면3에 도시된 과정에 따라 사용자 조건을 임대로 설정한 경우에 있어서의 실제현실 데이터 상에 가상객체 데이터를 출력하는 예시 화면을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면5를 참조 및/또는 변형하여, 하나의 실제객체에 대한 사용자 조건이 임대로 설정한 경우에 대한 가상객체 데이터를 출력하는 예시화면에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면5에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.5 is a diagram illustrating an example of a case where augmented reality device 100 shown in FIG. 1 performs a virtual object on actual data in a case where a user condition is set as a rental according to the process shown in FIGS. 2 to 3 As shown in FIG. 5, if the user condition for one physical object is set as a lease (For example, omitting some steps or changing the order) to the example screen for outputting the virtual object data for the case of the present invention, And the technical characteristics thereof are not limited only by the method shown in FIG.
도면6은 본 발명의 실시 방법에 따른 하나의 실제객체에 대한 사용자가 임대하고자 하는 계약 대상 건물로 설정한 경우에 대한 가상객체 데이터를 출력하는 예시 화면을 도시한 도면이다.FIG. 6 is a diagram illustrating an exemplary screen for outputting virtual object data for a case where the user sets a contract target building to be rented for one actual object according to an embodiment of the present invention.
보다 상세하게 본 도면6은 상기 도면1에 도시된 증강현실 장치(100)가 상기 도면2 내지 도면3에 도시된 과정에 따라 사용자 조건을 상기 도면5에 도시된 예시화면을 통해 계약 대상 건물로 설정한 경우에 있어서의 실제현실 데이터 상에 가상객체 데이터를 출력하는 예시 화면을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조 및/또는 변형하여, 하나의 실제객체에 대한 사용자 조건이 임대하고자 하는 계약 대상 건물로 설정한 경우에 대한 가상객체 데이터를 출력하는 예시화면에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면6에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 6 illustrates a case where the augmented reality device 100 shown in FIG. 1 sets a user condition to a contract target building through the example screen shown in FIG. 5 according to the process shown in FIGS. And the virtual object data is output on the actual real data in one case. As a person skilled in the art, referring to and / or modifying FIG. 6, (For example, some steps are omitted or the order is changed) for outputting the virtual object data for the case where the user condition for the actual object of the real object of the user is set as the contract target building to be rented However, it should be understood that the present invention includes all of the above-described embodiments, Jing is not limited.
100 : 증강현실 장치
105 : 출력부
110 : 조작부
115 : 통신부
120 : 제어부
125 : 실제현실 입력부
130 : 실제객체 인식부
135 : 출력조건 확인부
140 : 가상객체 결정부
145 : 가상객체 입력부
150 : 증강현실 표시부
155 : 메모리부
160 : 센서부
165 : 카메라부100: augmented reality device
105: Output section
110:
115:
120:
125: Actual Reality Input
130: actual object recognition unit
135: Output condition check unit
140: virtual object determination unit
145: virtual object input unit
150: Augmented Reality Display
155:
160:
165:
Claims (3)
현실세계에 존재하는 실제객체 중 특정한 실제객체와 관련된 가상객체를 사용자 조건에 따라 각기 다르게 출력하거나 각기 다른 가상객체를 출력하기 위한 출력조건 정보를 상기 실제객체를 식별하는 식별정보와 연계 저장하는 제1 단계;
특정 사용자의 증강현실 장치의 카메라를 통해 촬영된 실제현실 데이터로부터 상기 식별정보에 대응하는 특정한 실제객체를 인식한 경우, 상기 특정 사용자 증강현실 장치에 설정된 사용자 조건을 확인하거나 또는 지정된 서버에 등록된 사용자 조건을 확인하는 제2 단계; 및
상기 확인된 사용자 조건과 매칭되는 출력조건 정보를 근거로 상기 특정 사용자의 증강현실 장치를 통해 상기 특정한 실제객체와 관련된 가상객체를 적어도 하나의 다른 사용자의 증강현실 장치를 통해 출력된 방식과 다른 방식으로 출력되도록 처리하거나 적어도 하나의 다른 사용자의 증강현실 장치를 통해 출력된 가상객체와 다른 가상객체를 출력하도록 처리하는 제3 단계;를 포함하는 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법.
A method of executing via a server in communication with an augmented reality device of each user having a camera,
And outputting condition information for outputting different virtual objects according to user conditions or outputting different virtual objects among the actual objects existing in the real world in association with identification information for identifying the actual objects, step;
When recognizing a specific physical object corresponding to the identification information from actual reality data photographed through a camera of a specific user's augmented reality device, it is possible to check the user condition set in the specific user augmented reality device, A second step of confirming the condition; And
A virtual object associated with the specific physical object through the augmented reality device of the specific user is generated in a different manner from the method output through the augmented reality device of at least one other user based on the output condition information matched with the verified user condition And outputting a virtual object different from the virtual object output through the augmented reality device of at least one other user. The method of claim 1, wherein the virtual object is a virtual object.
현실세계에 존재하는 각각의 실제객체 별로 설정되는 것을 특징으로 하는 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법.
2. The apparatus according to claim 1,
Wherein each virtual object is set for each real object existing in the real world.
특정 사용자의 증강현실 장치의 카메라를 통해 상기 특정한 실제객체를 촬영하여 실제현실 데이터를 획득하기 전에 상기 실제객체와 연계된 출력조건 정보를 확인하기 위한 상기 특정 사용자의 증강현실 장치의 사용자 조건에 대응하는 사용자 조건 정보를 설정하거나 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법.
The method according to claim 1,
A step of acquiring an actual condition of the augmented reality device corresponding to the user condition of the augmented reality device of the specific user for confirming the output condition information associated with the actual object before capturing the specific actual object through the camera of the augmented reality device of the specific user, The method of claim 1, further comprising setting or storing user condition information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170173662A KR20170143476A (en) | 2017-12-15 | 2017-12-15 | Method for Displaying Selectable Virtual-Object Data of Augmented Reality by using User's Order |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170173662A KR20170143476A (en) | 2017-12-15 | 2017-12-15 | Method for Displaying Selectable Virtual-Object Data of Augmented Reality by using User's Order |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170055922A Division KR20170052553A (en) | 2017-05-01 | 2017-05-01 | Method for Displaying Selectable Virtual-Object Data of Augmented Reality by using User's Order |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180151126A Division KR20180130095A (en) | 2018-11-29 | 2018-11-29 | Method for Displaying Selectable Virtual-Object Data of Augmented Reality |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20170143476A true KR20170143476A (en) | 2017-12-29 |
Family
ID=60939361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170173662A KR20170143476A (en) | 2017-12-15 | 2017-12-15 | Method for Displaying Selectable Virtual-Object Data of Augmented Reality by using User's Order |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20170143476A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210108044A (en) * | 2020-02-25 | 2021-09-02 | 제주한라대학교산학협력단 | Video analysis system for digital twin technology |
-
2017
- 2017-12-15 KR KR1020170173662A patent/KR20170143476A/en active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210108044A (en) * | 2020-02-25 | 2021-09-02 | 제주한라대학교산학협력단 | Video analysis system for digital twin technology |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101603017B1 (en) | Gesture recognition device and gesture recognition device control method | |
| US10122888B2 (en) | Information processing system, terminal device and method of controlling display of secure data using augmented reality | |
| KR101746838B1 (en) | Method for Operating Augmented Reality by using Display Stand | |
| CN113994396A (en) | User guidance system based on augmented reality and/or gesture detection technology | |
| KR20190035116A (en) | Method and apparatus for displaying an ar object | |
| JP6057562B2 (en) | Information processing apparatus and control method thereof | |
| CN109478227A (en) | Calculate the iris in equipment or the identification of other physical feelings | |
| KR101619512B1 (en) | Method for Interchanging between Augmented Reality Device | |
| KR101691565B1 (en) | Method for Displaying Virtual-Object Data by using Augmented Reality | |
| KR20190119212A (en) | System for performing virtual fitting using artificial neural network, method thereof and computer recordable medium storing program to perform the method | |
| KR101682705B1 (en) | Method for Providing Augmented Reality by using RF Reader | |
| KR101638630B1 (en) | Method for Optimizing a Augmented Reality Data | |
| KR20180130095A (en) | Method for Displaying Selectable Virtual-Object Data of Augmented Reality | |
| KR20170143476A (en) | Method for Displaying Selectable Virtual-Object Data of Augmented Reality by using User's Order | |
| KR20170052553A (en) | Method for Displaying Selectable Virtual-Object Data of Augmented Reality by using User's Order | |
| KR20120009639A (en) | Method for Managing Selectable Virtual-Object Data using User's Order, Augmented Reality Device and Recording Medium | |
| KR101692764B1 (en) | Method for Providing Augmented Reality by using Virtual Point | |
| KR102117510B1 (en) | Method for Displaying Selectable Virtual-Object Data of Augmented Reality | |
| KR20170005373A (en) | Method for Providing Customized Augmented Reality | |
| KR101680124B1 (en) | Method for Transferring Augmented Reality between Different Platform | |
| KR20110136035A (en) | Adaptive augmented reality device to real world | |
| KR101792250B1 (en) | Method for Providing Adaptive Augmented Reality to Real World | |
| KR101705122B1 (en) | Method for Operating Audio-Object by using Augmented Reality | |
| CN109214482A (en) | A kind of indoor orientation method, device, terminal device and storage medium | |
| KR20170086005A (en) | Method for Providing Augmented Reality by using Distance Difference |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application | ||
| A107 | Divisional application of patent |