KR101991401B1 - Method and apparatus for displaying augmented reality - Google Patents

Method and apparatus for displaying augmented reality Download PDF

Info

Publication number
KR101991401B1
KR101991401B1 KR1020170132720A KR20170132720A KR101991401B1 KR 101991401 B1 KR101991401 B1 KR 101991401B1 KR 1020170132720 A KR1020170132720 A KR 1020170132720A KR 20170132720 A KR20170132720 A KR 20170132720A KR 101991401 B1 KR101991401 B1 KR 101991401B1
Authority
KR
South Korea
Prior art keywords
augmented reality
distance
image
area
real image
Prior art date
Application number
KR1020170132720A
Other languages
Korean (ko)
Other versions
KR20190041293A (en
Inventor
신승호
조익환
전진수
임국찬
최지윤
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020170132720A priority Critical patent/KR101991401B1/en
Publication of KR20190041293A publication Critical patent/KR20190041293A/en
Application granted granted Critical
Publication of KR101991401B1 publication Critical patent/KR101991401B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

개시된 증강 현실 표시 장치가 수행하는 증강 현실 표시 방법은, 현실 영상과 증강 현실 표시 장치로부터 현실 영상의 각 영역까지의 거리에 관한 깊이 정보를 획득하는 단계와, 현실 영상에 가상 객체를 배치하는 단계와, 증강 현실 표시 장치로부터 가상 객체까지의 거리를 획득하는 단계와, 획득된 거리 및 깊이 정보를 기초로 현실 영상 중 아웃 포커싱할 영역을 결정하는 단계와, 가상 객체 및 아웃 포커싱할 영역이 반영된 현실 영상을 포함하는 증강 현실 영상을 표시하는 단계를 포함한다.A method of displaying an augmented reality performed by an augmented reality display device includes the steps of acquiring depth information on a distance from a real image and augmented reality display device to each area of a real image, The method includes the steps of: obtaining a distance from the augmented reality display device to a virtual object; determining an out-focusing area of the real image based on the obtained distance and depth information; And displaying the augmented reality image including the augmented reality image.

Description

증강 현실 표시 방법 및 장치{METHOD AND APPARATUS FOR DISPLAYING AUGMENTED REALITY}TECHNICAL FIELD [0001] The present invention relates to a method and an apparatus for displaying augmented reality,

본 발명은 증강 현실(Augmented reality) 표시 방법 및 장치에 관한 것으로, 더욱 상세하게는 현실 영상과 가상 객체를 포함하는 증강 현실 영상을 표시하는 방법 및 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a method and apparatus for displaying augmented reality, and more particularly, to a method and apparatus for displaying an augmented reality image including a real image and a virtual object.

주지하고 있는 바와 같이, 증강 현실 기술은 현실의 배경 영상에 가상 객체를 함께 표현하여 특수 효과를 제공하는 기술로서, 가상 객체가 현실 세계에 존재하는 것처럼 느끼는 착각을 일으키게 한다.As is well known, augmented reality technology is a technique of providing a special effect by expressing a virtual object together with a background image of a real world, causing an illusion that a virtual object feels as if it exists in the real world.

이러한 증강 현실 기술 분야에서는 증강 현실 영상에 대한 현실감을 향상시키기 위한 노력이 지속되고 있다.In such augmented reality technology field, efforts to improve the reality of the augmented reality image are continuing.

종래에는 현실 영상에 가상 객체를 어떻게 표시할 것인지에 대한 방향으로 주로 연구가 이루어졌다. 예를 들어, 실제 영상에서의 광원을 인식하고, 인식된 광원의 위치에 근거하여 음영을 가지는 가상 객체를 생성한 후, 생성된 가상 객체를 현실 영상에 렌더링하여 증강 현실 영상을 표시하였다.Conventionally, research has been conducted mainly on how to display a virtual object on a real image. For example, a light source in a real image is recognized, a virtual object having a shadow is generated based on the position of the recognized light source, and the generated virtual object is rendered in a real image to display an augmented reality image.

그러나 현실 영상에 가상 객체를 어떻게 표시할 것인지에 대한 고려만으로는 증강 현실 영상에 대한 현실감을 향상시키기에는 한계가 있었다.However, there is a limit to improve the reality of the augmented reality image only by considering how to display the virtual object in the real image.

대한민국 공개특허공보 제10-2011-0107545호, 공개일자 2011년 10월 04일.Korean Patent Publication No. 10-2011-0107545, published on October 04, 2011.

사람의 눈은 현실 세계를 바라볼 때에 모든 객체에 대해 인 포커싱을 하지 않고 초점과 그 주변에 있는 객체에 대해서만 인 포커싱을 하며, 이외의 객체들에 대해서는 아웃 포커싱을 한다. 그런데 증강 현실 표시 장치가 증강 현실 영상 내의 현실 영상을 표시할 때에는 인간의 눈과는 달리 아웃 포커싱 처리를 하지 않는다. 이에 따라, 사람이 현실 세계를 직접 바라보면서 증강 현실 영상의 현실 영상을 함께 바라보는 경우에는 증강 현실 영상에 대해 이질감을 느끼게 되며, 이는 증강 현실 영상에 대한 현실감을 저하시키는 작용을 한다.When looking at the real world, the human eye does not focus on all objects but focuses only on the object in focus and its surroundings, and out-focusing on other objects. However, when the augmented reality display device displays a real image in the augmented reality image, unlike the human eye, the outfocusing process is not performed. Accordingly, when a person looks directly at the real world and sees the reality image of the AR, the user feels a sense of heterogeneity with respect to the AR image, which reduces the reality of the AR image.

본 발명의 실시예에 의하면, 현실 영상 중에서 일부 영역에 대해 아웃 포커싱을 하여 증강 현실 영상을 표시하는 증강 현실 표시 장치 및 증강 현실 표시 방법을 제공한다.According to an embodiment of the present invention, there is provided an augmented reality display device and an augmented reality display method for displaying an augmented reality image by out-focusing on a certain area in a real image.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to those mentioned above, and another problem to be solved can be clearly understood by those skilled in the art from the following description.

본 발명의 일 관점에 따른 증강 현실 표시 장치가 수행하는 증강 현실 표시 방법은, 현실 영상과 상기 증강 현실 표시 장치로부터 상기 현실 영상의 각 영역까지의 거리에 관한 깊이 정보를 획득하는 단계와, 상기 현실 영상에 가상 객체를 배치하는 단계와, 상기 증강 현실 표시 장치로부터 상기 가상 객체까지의 거리를 획득하는 단계와, 상기 획득된 거리 및 상기 깊이 정보를 기초로 상기 현실 영상 중 아웃 포커싱할 영역을 결정하는 단계와, 상기 가상 객체 및 상기 아웃 포커싱할 영역이 반영된 상기 현실 영상을 포함하는 증강 현실 영상을 표시하는 단계를 포함한다.A method of displaying an augmented reality performed by an augmented reality display device according to an aspect of the present invention includes the steps of acquiring depth information about a distance between a real image and each area of the augmented reality display device, The method includes the steps of: arranging a virtual object on an image; acquiring a distance from the augmented reality display to the virtual object; determining an out-focusing area of the real image based on the obtained distance and the depth information And displaying the augmented reality image including the virtual object and the real image reflecting the area to be outfocused.

본 발명의 다른 관점에 따른 증강 현실 표지 장치는, 표시부와, 상기 표시부를 통해 보여지는 현실 영상과 상기 증강 현실 표시 장치로부터 상기 현실 영상의 각 영역까지의 거리에 관한 깊이 정보를 획득하는 정보 획득부와, 제어부를 포함하되, 상기 제어부는, 상기 현실 영상에 가상 객체를 배치하고, 상기 증강 현실 표시 장치로부터 상기 가상 객체까지의 거리를 획득하며, 상기 획득된 거리를 기초로 상기 현실 영상 중 아웃 포커싱할 영역을 결정하고, 상기 가상 객체 및 상기 아웃 포커싱할 영역이 반영된 상기 현실 영상을 포함하는 증강 현실 영상을 표시하도록 상기 표시부를 제어한다.According to another aspect of the present invention, an augmented reality marking apparatus includes a display unit, an information acquiring unit that acquires depth information about a distance from a real image displayed through the display unit to each area of the real image, And a controller, wherein the controller is configured to arrange a virtual object on the real image, acquire a distance from the augmented reality display to the virtual object, and perform out-focusing on the real image based on the obtained distance, And controls the display unit to display an augmented reality image including the virtual image and the real image reflecting the area to be outfocused.

본 발명의 실시예에 의하면, 현실 영상 중에서 가상 객체가 배치된 위치의 주변은 인 포커싱을 하고 나머지 영역은 아웃 포커싱을 하여 증강 현실 영상을 표시한다.According to the embodiment of the present invention, the vicinity of the position where the virtual object is disposed in the real image is focused and the remaining area is out-focused to display the augmented reality image.

따라서, 사람이 현실 세계를 직접 바라보면서 증강 현실 영상의 현실 영상을 함께 바라보는 경우에 증강 현실 영상에 대한 이질감을 느끼지 않게 되며, 이로써 증강 현실 영상에 대한 현실감이 증대되는 효과가 있다.Accordingly, when a person looks directly at the real world, the user feels no sense of heterogeneity with respect to the augmented reality image when looking at the reality image of the augmented reality image together, thereby enhancing the reality of the augmented reality image.

도 1은 본 발명의 일 실시예에 따른 증강 현실 표시 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 표시 장치가 수행하는 증강 현실 표시 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 표시 장치에 의해 표시되는 증강 현실 영상의 일 예를 보인 도면이다.1 is a block diagram of an augmented reality display apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a method of displaying an augmented reality performed by the augmented reality display apparatus according to an embodiment of the present invention.
3 is a diagram illustrating an example of an augmented reality image displayed by the augmented reality display apparatus according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions in the embodiments of the present invention, which may vary depending on the intention of the user, the intention or the custom of the operator. Therefore, the definition should be based on the contents throughout this specification.

도 1은 본 발명의 일 실시예에 따른 증강 현실 표시 장치의 블록 구성도이다.1 is a block diagram of an augmented reality display apparatus according to an embodiment of the present invention.

도 1에 나타낸 바와 같이 일 실시예에 따른 증강 현실 표시 장치(100)는 정보 획득부(110), 제어부(120), 저장부(130), 표시부(140)를 포함한다.1, the augmented reality display apparatus 100 includes an information obtaining unit 110, a control unit 120, a storage unit 130, and a display unit 140. As shown in FIG.

정보 획득부(110)는 증강 현실 영상에 이용할 현실 영상에 대하여, 증강 현실 표시 장치(100)로부터 현실 영상의 각 영역까지의 거리에 관한 깊이 정보를 획득한다. 예를 들어, 정보 획득부(110)는 스테레오 카메라를 이용해 현실 영상을 촬영하여 각 영역별 깊이 정보를 함께 획득할 수 있다. 또는, 정보 획득부(110)는 일반 카메라와 깊이 센서를 이용하여 현실 영상과 그 깊이 정보를 획득할 수도 있다. 또는, 정보 획득부(110)는 증강 현실 표시 장치(100)와는 별도로 구비된 카메라 및 깊이 센서로부터 정보를 입력 받을 수 있는 통신 인터페이스를 포함할 수 있다. 이 경우라면, 정보 획득부(110)는 통신 인터페이스를 통해 외부로부터 현실 영상과 그 깊이 정보를 입력 받을 수 있다.The information obtaining unit 110 obtains depth information on the distance from the augmented reality display device 100 to each region of the real image with respect to the real image to be used for the augmented reality image. For example, the information obtaining unit 110 can photograph a real image using a stereo camera and acquire depth information for each area together. Alternatively, the information acquiring unit 110 may acquire a real image and its depth information using a general camera and a depth sensor. Alternatively, the information obtaining unit 110 may include a camera separately provided from the augmented reality display device 100, and a communication interface capable of receiving information from the depth sensor. In this case, the information obtaining unit 110 can receive the real image and its depth information from the outside through the communication interface.

저장부(130)에는 제어부(120)에 의한 실행시에, 증강 현실 표시 과정을 전반적으로 제어할 수 있는 프로세스를 수행하는 컴퓨터 실행가능 명령어가 저장된다. 그리고, 증강 현실 영상 상에 표시하고자 하는 가상 객체에 대응하는 3차원 모델 데이터가 저장될 수 있다. 또, 정보 획득부(110)에 의해 획득된 현실 영상에 대한 영상 데이터 및 깊이 정보가 저장될 수 있다. 예를 들어, 저장부(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램, 롬 중 적어도 하나의 타입의 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.The storage unit 130 stores a computer-executable instruction for performing a process of controlling the augmented reality display process at the time of execution by the control unit 120. [ Then, the 3D model data corresponding to the virtual object to be displayed on the augmented reality image may be stored. In addition, the image data and the depth information of the real image obtained by the information obtaining unit 110 may be stored. For example, the storage unit 130 may store at least one of a flash memory type, a hard disk type, a multimedia card micro type, a card type memory, a RAM, and a ROM Readable < / RTI > type of recording medium.

제어부(120)는 저장부(130)에 저장된 컴퓨터 실행가능 명령어를 실행하여 증강 현실 표시 과정을 전반적으로 제어할 수 있는 프로세스를 수행한다. 이러한 프로세스에 의하면, 정보 획득부(110)에 의해 획득된 현실 영상에 가상 객체를 배치하고, 증강 현실 표시 장치(100)로부터 가상 객체까지의 거리를 획득하며, 획득된 거리 및 깊이 정보를 기초로 현실 영상 중 아웃 포커싱할 영역을 결정하고, 가상 객체 및 아웃 포커싱할 영역이 반영된 현실 영상을 포함하는 증강 현실 영상을 표시하도록 표시부(140)를 제어한다. 예를 들어, 제어부(120)는 CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등과 같은 프로세서를 포함할 수 있다.The controller 120 executes the computer executable instructions stored in the storage unit 130 to perform a process of controlling the augmented reality display process as a whole. According to this process, a virtual object is placed on the real image obtained by the information obtaining unit 110, a distance from the augmented reality display device 100 to the virtual object is obtained, and based on the obtained distance and depth information Determines an area to be out-focused in the real image, and controls the display unit 140 to display the virtual object and the augmented reality image including the real image reflecting the area to be out-focused. For example, the control unit 120 may include a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).

표시부(140)는 제어부(120)에 의해 수행되는 프로세스의 결과에 의한 제어신호에 따라, 가상 객체 및 아웃 포커싱할 영역이 반영된 현실 영상을 포함하는 증강 현실 영상을 표시한다. 예를 들어, 출력부(140)는 LCD(Liquid Crystal Display) 등과 같은 평판 디스플레이 소자를 포함할 수 있다.The display unit 140 displays a virtual object and an augmented reality image including a real image reflecting an area to be out-focused according to a control signal resulting from a process performed by the controller 120. [ For example, the output unit 140 may include a flat panel display device such as a liquid crystal display (LCD) or the like.

도 2는 본 발명의 일 실시예에 따른 증강 현실 표시 장치가 수행하는 증강 현실 표시 방법을 설명하기 위한 흐름도이다.2 is a flowchart illustrating a method of displaying an augmented reality performed by the augmented reality display apparatus according to an embodiment of the present invention.

도 2를 참조하면, 일 실시예에 따른 증강 현실 표시 방법은, 현실 영상과 증강 현실 표시 장치로부터 현실 영상의 각 영역까지의 거리에 관한 깊이 정보를 획득하는 단계(S210)를 포함한다.Referring to FIG. 2, the method of displaying an augmented reality according to an exemplary embodiment of the present invention includes acquiring depth information about a distance between a real image and each region of a real image from the augmented reality display device (S210).

그리고, 일 실시예에 따른 증강 현실 표시 방법은, 획득된 현실 영상에 가상 객체를 배치하는 단계(S220)를 더 포함한다.In addition, the method of displaying an augmented reality according to an exemplary embodiment further includes a step S220 of arranging a virtual object in the obtained real image.

또, 일 실시예에 따른 증강 현실 표시 방법은, 증강 현실 표시 장치로부터 가상 객체까지의 거리를 획득하는 단계(S230)를 더 포함한다. 여기서, 증강 현실 표시 장치로부터 가상 객체까지의 거리는 사전에 깊이 정보가 결정되어 있는 3차원 모델 데이터로부터 추출하거나 단계 S210에서 획득된 깊이 정보를 기초로 계산할 수 있다.In addition, the augmented reality display method according to an embodiment further includes a step (S230) of acquiring a distance from the augmented reality display device to the virtual object. Here, the distance from the augmented reality display device to the virtual object may be extracted from the three-dimensional model data in which the depth information has been determined in advance, or may be calculated based on the depth information obtained in step S210.

그리고, 일 실시예에 따른 증강 현실 표시 방법은, 획득된 증강 현실 표시 장치로부터 가상 객체까지의 거리를 기초로 현실 영상 중 아웃 포커싱할 영역을 결정하는 단계(S240)를 더 포함한다. 여기서, 증강 현실 표시 장치로부터 가상 객체까지의 거리와 증강 현실 표시 장치로부터 현실 영상의 각 영역까지의 거리의 차이가 소정 값 이상인 영역을 아웃 포커싱할 영역으로 결정할 수 있다. 즉, 가상 객체와 그 주변의 영역은 인 포커싱 영역으로 결정하고, 이외의 영역을 아웃 포커싱 영역으로 결정할 수 있다. 예컨대, 인 포커싱 영역과 아웃 포커싱 영역은 화소 단위로 나누어 영역을 구분할 수 있다.In addition, the method of displaying an augmented reality according to an exemplary embodiment further includes a step S240 of determining an out-focusing area of a real image based on a distance from the obtained augmented reality display device to a virtual object. Here, an area in which the difference between the distance from the augmented reality display device to the virtual object and the distance from the augmented reality display device to each area of the real image is greater than or equal to a predetermined value may be determined as the area to be outfocused. That is, the virtual object and its surrounding area can be determined as the in-focus area, and the other area can be determined as the out-focusing area. For example, the in-focus region and the out-focusing region can be divided into a plurality of regions.

또, 일 실시예에 따른 증강 현실 표시 방법은, 가상 객체 및 아웃 포커싱할 영역이 반영된 현실 영상을 포함하는 증강 현실 영상을 표시하는 단계(S250)를 더 포함한다. 여기서, 현실 영상 중에서 아웃 포커싱할 영역 내의 화소들에 대해 블러(blur) 처리를 수행하여 아웃 포커싱 처리를 할 수 있다. 이때, 블러 처리는 가우시안 블러 커널(Gaussian blur kernel)을 이용할 수 있다. 또, 아웃 포커싱할 영역 내에서, 증강 현실 표시 장치로부터 가상 객체까지의 거리와 현실 영상의 각 영역까지의 거리의 차이 크기에 따라 가우시안 블러 커널을 변경하여 아웃 포커싱의 정도를 조절할 수 있다. 즉, 아웃 포커싱할 영역 내에서 가상 객체로부터 멀어질수록 블러 처리의 강도가 증가되도록 하여 더 희미해지게 할 수 있다.In addition, the method of displaying an augmented reality according to an exemplary embodiment of the present invention further includes the step of displaying an augmented reality image including a virtual object and a real image reflecting an area to be outfocused (S250). Here, blur processing may be performed on the pixels in the area to be out-focused of the real image to perform out-focusing processing. At this time, the blur processing may use a Gaussian blur kernel. In addition, within the area to be out-focused, the degree of out-focusing can be adjusted by changing the Gaussian blur kernel according to the difference between the distance from the augmented reality display device to the virtual object and the distance to each area of the real image. That is, as the distance from the virtual object in the area to be outfocused increases, the intensity of the blur processing is increased so that it becomes fainter.

이하, 도 1 내지 도 3을 참조하여 본 발명의 일 실시예에 따른 증강 현실 표시 장치(100)에 의해 수행되는 증강 현실 표시 방법에 대해 더 자세히 살펴보기로 한다.Hereinafter, a method of displaying an augmented reality performed by the augmented reality display apparatus 100 according to an embodiment of the present invention will be described in more detail with reference to Figs.

먼저, 증강 현실 표시 장치(100)의 저장부(130)에는 증강 현실 표시 장치(100)의 제어부(120)에 의한 실행시에, 증강 현실 표시 과정을 전반적으로 제어할 수 있는 프로세스를 수행하는 컴퓨터 실행가능 명령어가 저장된다. 그리고, 증강 현실 영상 상에 표시하고자 하는 가상 객체에 대응하는 3차원 모델 데이터가 저장될 수 있다.The storage unit 130 of the augmented reality display apparatus 100 includes a computer 120 for performing a process of controlling the augmented reality display process at the time of execution by the control unit 120 of the augmented reality display apparatus 100. [ Executable instructions are stored. Then, the 3D model data corresponding to the virtual object to be displayed on the augmented reality image may be stored.

이러한 상태에서 제어부(120)는 저장부(130)에 저장되어 있는 컴퓨터 실행가능 명령어를 실행하여 증강 현실 표시 과정을 전반적으로 제어할 수 있는 프로세스를 수행하게 된다. 제어부(120)에 의해 해당 프로세스가 수행되면, 증강 현실 표시 장치(100)의 정보 획득부(110)는 증강 현실 영상에 이용할 현실 영상과 증강 현실 표시 장치(100)로부터 현실 영상의 각 영역까지의 거리에 관한 깊이 정보를 획득한다. 예를 들어, 정보 획득부(110)는 스테레오 카메라를 이용해 현실 영상을 촬영하여 깊이 정보를 함께 획득할 수 있다. 또는, 정보 획득부(110)는 일반 카메라와 깊이 센서를 이용하여 현실 영상과 그 깊이 정보를 획득할 수도 있다. 또는, 정보 획득부(110)가 증강 현실 표시 장치(100)와는 별도로 구비된 카메라 및 깊이 센서로부터 정보를 입력 받을 수 있는 통신 인터페이스를 포함하는 경우라면, 정보 획득부(110)는 통신 인터페이스를 통해 외부로부터 현실 영상과 그 깊이 정보를 입력 받을 수 있다(S210).In this state, the controller 120 executes the computer executable instructions stored in the storage unit 130 to perform a process of controlling the augmented reality display process as a whole. When the corresponding process is performed by the control unit 120, the information obtaining unit 110 of the augmented reality display apparatus 100 obtains a difference between a real image to be used for the augmented reality image and each region of the augmented reality display apparatus 100 Obtain depth information about the distance. For example, the information acquisition unit 110 may acquire depth information by capturing a real image using a stereo camera. Alternatively, the information acquiring unit 110 may acquire a real image and its depth information using a general camera and a depth sensor. Alternatively, if the information obtaining unit 110 includes a camera separately provided from the augmented reality display device 100 and a communication interface capable of receiving information from the depth sensor, the information obtaining unit 110 may obtain information The real image and its depth information can be input from the outside (S210).

그리고, 제어부(120)는 저장부(130)에 저장된 3차원 모델 데이터를 읽어 들이며, 읽어 들인 3차원 모델 데이터의 좌표 정보를 확인하고, 단계 S210에서 획득된 현실 영상에 확인된 좌표 정보에 따라 3차원 모델 데이터에 대응하는 가상 객체를 배치한다(S220).The control unit 120 reads the three-dimensional model data stored in the storage unit 130 and confirms the coordinate information of the read three-dimensional model data. Then, in accordance with the coordinate information confirmed in the real image obtained in step S210, The virtual object corresponding to the dimensional model data is arranged (S220).

이어서, 제어부(120)는 증강 현실 표시 장치(100)로부터 가상 객체까지의 거리를 획득한다. 여기서, 제어부(120)는 저장부(130)에 저장된 3차원 모델 데이터의 깊이 정보를 기초로 증강 현실 표시 장치(100)로부터 가상 객체까지의 거리를 획득할 수 있다. 만약, 사용자에 의해 가상 객체의 위치가 변경된 경우에는 단계 S210에서 획득된 현실 영상에 대한 깊이 정보를 기초로 증강 현실 표시 장치(100)로부터 가상 객체까지의 거리를 계산할 수 있다. 예컨대, 증강 현실 표시 장치(100)와 동일한 위치에 가상으로 놓인 렌더링 카메라로부터 가상 객체까지의 거리를 획득하는데, 가상 객체가 배치된 영역에 대해 단계 S210에서 획득된 깊이 정보를 기초로 증강 현실 표시 장치(100)로부터 가상 객체까지의 거리를 계산할 수 있다(S230).Then, the controller 120 acquires the distance from the augmented reality display device 100 to the virtual object. Here, the controller 120 may obtain the distance from the augmented reality display device 100 to the virtual object based on the depth information of the 3D model data stored in the storage unit 130. [ If the position of the virtual object is changed by the user, the distance from the augmented reality display device 100 to the virtual object can be calculated based on the depth information of the real image obtained in step S210. For example, the distance from the rendering camera, which is virtually placed at the same position as the augmented reality display device 100, to the virtual object is obtained. Based on the depth information acquired in step S210 for the area in which the virtual object is disposed, The distance from the virtual object 100 to the virtual object can be calculated (S230).

그리고, 제어부(120)는 단계 S230에서 획득된 증강 현실 표시 장치(100)로부터 가상 객체까지의 거리를 기초로 현실 영상 중 아웃 포커싱할 영역을 결정한다. 여기서, 제어부(120)는 증강 현실 표시 장치(100)로부터 가상 객체까지의 거리와 증강 현실 표시 장치(100)로부터 현실 영상의 각 영역까지의 거리의 차이가 소정 값 이상인 영역을 아웃 포커싱할 영역으로 결정할 수 있다. 예를 들어, 증강 현실 표시 장치(100)로부터 가상 객체까지의 거리가 10m일 경우에 현실 영상 중에서 증강 현실 표시 장치(100)로부터의 거리가 9.5m보다 가깝거나 10.5m보다 먼 영역을 아웃 포커싱할 영역으로 결정할 수 있다. 즉, 가상 객체와 그 주변의 객체가 있는 영역은 인 포커싱 영역으로 결정하고, 이외의 영역을 아웃 포커싱 영역으로 결정할 수 있다(S240).Then, the controller 120 determines an out-focusing area of the real image based on the distance from the augmented reality display device 100 acquired in step S230 to the virtual object. Here, the controller 120 may be configured to out-focus an area having a difference between the distance from the augmented reality display device 100 to the virtual object and the distance from the augmented reality display device 100 to each area of the real image to a predetermined value or more You can decide. For example, when the distance from the augmented reality display apparatus 100 to the virtual object is 10 m, out of the real images, the distance from the augmented reality display apparatus 100 is more than 9.5 m or more than 10.5 m Area can be determined. That is, the area where the virtual object and its surrounding objects exist can be determined as the in-focus area, and the other area can be determined as the out-focusing area (S240).

다음으로, 제어부(120)는 가상 객체 및 아웃 포커싱할 영역이 반영된 현실 영상을 포함하는 증강 현실 영상을 표시하도록 표시부(140)를 제어한다. 여기서, 제어부(120)는 단계 S210에서 획득된 현실 영상 중에서 단계 S240에서 결정된 아웃 포커싱할 영역 내의 화소들에 대해 블러 처리를 수행하여 아웃 포커싱 처리를 할 수 있다.Next, the control unit 120 controls the display unit 140 to display the virtual object and the augmented reality image including the real image reflecting the area to be out-focused. Here, the controller 120 may perform out-focusing processing by performing blur processing on the pixels in the out-focusing area determined in step S240 among the real images obtained in step S210.

도 3은 본 발명의 일 실시예에 따른 증강 현실 표시 장치(100)에 의해 표시되는 증강 현실 영상의 일 예를 보인 도면으로, (가)는 현실 영상의 일부 영역에 대해 아웃 포커싱 처리를 하기 전의 전체 현실 화면이며, (나)는 현실 영상의 일부 영역에 대해 아웃 포커싱 처리를 한 후의 증강 현실 영상이다. 도 3의 (나)에 예시한 바와 같이 제어부(120)는 가상 객체(301)의 주변이 인 포커싱 영역(302)으로 설정되고, 이외의 영역이 아웃 포커싱 영역(303)으로 설정된 증강 현실 영상을 생성할 수 있다.3 is a diagram illustrating an example of an augmented reality image displayed by the augmented reality display apparatus 100 according to an embodiment of the present invention. (B) is an augmented reality image after out-focusing processing for a partial region of the real image. 3B, the controller 120 sets the focusing area 302 in which the periphery of the virtual object 301 is set as the focusing area 302 and the other area is the out-focusing area 303 as the augmented reality image Can be generated.

제어부(120)는 아웃 포커싱할 영역 내의 화소들에 대해 블러 처리를 수행할 때에, 가우시안 블러 커널을 이용할 수 있다. 또, 아웃 포커싱할 영역 내에서, 증강 현실 표시 장치(100)와 가상 객체까지의 거리와 증강 현실 표시 장치(100)와 현실 영상의 각 영역까지의 거리 간의 차이값의 크기에 따라 가우시안 블러 커널을 변경하여 아웃 포커싱의 정도를 조절할 수 있다. 즉, 아웃 포커싱할 영역 내에서 가상 객체로부터 멀어질수록 블러 처리의 강도가 증가되도록 하여 더 희미해지게 할 수 있다.The controller 120 may use a Gaussian blur kernel when performing blur processing on pixels in an area to be out-focused. In addition, the Gaussian blur kernel is calculated according to the magnitude of the difference between the distance between the augmented reality display device 100 and the virtual object, and the distance to each area of the augmented reality display device 100, The degree of out-focusing can be adjusted. That is, as the distance from the virtual object in the area to be outfocused increases, the intensity of the blur processing is increased so that it becomes fainter.

그러면, 표시부(140)는 제어부(120)에 의해 수행되는 프로세스의 결과에 의한 제어신호에 따라, 가상 객체 및 아웃 포커싱할 영역이 반영된 현실 영상을 포함하는 증강 현실 영상을 표시한다. 예를 들어, 도 3의 (가)와 같이 가상 객체(301)의 주변이 인 포커싱 영역(302)으로 처리되고, 이외의 영역이 아웃 포커싱 영역(303)으로 처리된 증강 현실 영상을 표시할 수 있다(S250).Then, the display unit 140 displays the virtual object and the augmented reality image including the real image reflecting the area to be out-focused, according to the control signal resulting from the process performed by the control unit 120. [ For example, as shown in (a) of FIG. 3, the periphery of the virtual object 301 is processed in the focusing area 302, and the other areas are displayed in the out-focusing area 303 (S250).

한편, 단계 S250에서 증강 현실 영상이 표시부(140)에 의해 표시되는 상황에서 사용자는 그래픽 사용자 인터페이스 등과 같이 증강 현실 표시 장치(100)에 의해 제공되는 인터페이스를 이용하여 증강 현실 화면에서 가상 객체의 위치를 변경할 수 있으며, 이 경우에는 단계 S230 내지 단계 S250이 다시 수행된다. 즉, 가상 객체의 위치 변경에 대응하여 현실 영상 중 아웃 포커싱할 영역 또한 위치가 변경된다.Meanwhile, in a state where the augmented reality image is displayed by the display unit 140 in step S250, the user uses the interface provided by the augmented reality display device 100, such as a graphic user interface, In this case, steps S230 to S250 are performed again. That is, the area to be out-focused in the real image is also changed in response to the change of the position of the virtual object.

지금까지 설명한 바와 같이, 본 발명의 실시예에 의하면 현실 영상 중에서 가상 객체가 배치된 위치의 주변은 인 포커싱을 하고 나머지 영역은 아웃 포커싱을 하여 증강 현실 영상을 표시한다.As described above, according to the embodiment of the present invention, the periphery of the position where the virtual object is disposed in the real image is focused, and the remaining area is out-focused to display the augmented reality image.

따라서, 사람이 현실 세계를 직접 바라보면서 증강 현실 영상의 현실 영상을 함께 바라보는 경우에 증강 현실 영상에 대한 이질감을 느끼지 않게 되며, 이로써 증강 현실 영상에 대한 현실감이 증대된다.Therefore, when a person looks directly at the real world and sees the reality image of the augmented reality image together, he feels no sense of heterogeneity with the augmented reality image, thereby realizing the reality of the augmented reality image.

본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each step of the flowchart and each block of the block diagrams appended to the present invention may be performed by computer program instructions. These computer program instructions may be loaded into a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus so that the instructions, which may be executed by a processor of a computer or other programmable data processing apparatus, And means for performing the functions described in each step are created. These computer program instructions may also be stored in a computer usable or computer readable memory capable of directing a computer or other programmable data processing apparatus to implement the functionality in a particular manner so that the computer usable or computer readable memory It is also possible for the instructions stored in the block diagram to produce a manufacturing item containing instruction means for performing the functions described in each block or flowchart of the block diagram. Computer program instructions may also be stored on a computer or other programmable data processing equipment so that a series of operating steps may be performed on a computer or other programmable data processing equipment to create a computer- It is also possible that the instructions that perform the processing equipment provide the steps for executing the functions described in each block of the block diagram and at each step of the flowchart.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Also, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments, the functions mentioned in the blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially concurrently, or the blocks or steps may sometimes be performed in reverse order according to the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

본 발명의 실시예에 따르면, 현실 영상 중에서 가상 객체가 배치된 위치의 주변은 인 포커싱을 하고 나머지 영역은 아웃 포커싱을 하여 증강 현실 영상을 표시한다.According to the embodiment of the present invention, the vicinity of the position where the virtual object is disposed in the real image is focused and the remaining area is out-focused to display the augmented reality image.

이러한 본 발명은 현실의 배경 영상 내에 가상 객체를 함께 표현하여 특수 효과를 제공하는 증강 현실용 디바이스를 채용하는 각종의 증강 현실 산업 분야에 널리 이용할 수 있다.The present invention can be widely used in various augmented reality industrial fields employing a device for augmented reality in which a virtual object is represented together with a background image in a real world to provide a special effect.

100 : 증강 현실 표시 장치
110 : 정보 획득부
120 : 제어부
130 : 저장부
140 : 표시부100: Augmented reality display
110: Information obtaining unit
120:
130:
140:

Claims (7)

증강 현실 표시 장치가 수행하는 증강 현실 표시 방법으로서,
현실 영상을 획득함과 아울러 상기 증강 현실 표시 장치로부터 상기 현실 영상의 각 영역까지의 거리에 관한 깊이 정보를 획득하는 단계와,
상기 현실 영상에 가상 객체를 배치하는 단계와,
상기 증강 현실 표시 장치로부터 상기 가상 객체까지의 거리를 획득하는 단계와,
상기 획득된 거리 및 상기 깊이 정보를 기초로 상기 획득된 현실 영상 중 아웃 포커싱할 영역을 결정하는 단계와,
상기 획득된 현실 영상 중에서 상기 아웃 포커싱할 영역 내의 화소들에 대해 블러(blur) 처리를 수행한 현실 영상과 상기 가상 객체를 포함하는 증강 현실 영상을 표시하는 단계를 포함하는
증강 현실 표시 방법.An augmented reality display method performed by an augmented reality display device,
Obtaining depth information on a distance from the augmented reality display device to each region of the real image,
Disposing a virtual object on the real image;
Obtaining a distance from the augmented reality display device to the virtual object;
Determining an out-focusing area of the obtained real image based on the obtained distance and the depth information;
And displaying the augmented reality image including the virtual image and the real image blurred on the pixels in the area to be outfocused among the obtained real images
Augmented reality display method. 제 1 항에 있어서,
상기 아웃 포커싱할 영역을 결정하는 단계는, 상기 가상 객체까지의 거리와 상기 현실 영상의 각 영역까지의 거리의 차이가 소정 값 이상인 영역을 상기 아웃 포커싱할 영역으로 결정하는 것인
증강 현실 표시 방법.The method according to claim 1,
Wherein the step of determining an area to be out-focused includes determining an area in which a difference between a distance to the virtual object and a distance to each area of the real image is equal to or greater than a predetermined value,
Augmented reality display method. 삭제delete 제 1 항에 있어서,
상기 블러 처리는, 가우시안 블러 커널을 이용하는
증강 현실 표시 방법.The method according to claim 1,
The blur processing may be performed using a Gaussian blur kernel
Augmented reality display method. 제 4 항에 있어서,
상기 아웃 포커싱할 영역 내에서, 상기 가상 객체까지의 거리와 상기 현실 영상의 각 영역까지의 거리의 차이 크기에 따라 상기 가우시안 블러 커널을 변경하여 상기 아웃 포커싱의 정도를 조절하는
증강 현실 표시 방법.5. The method of claim 4,
The degree of out-focusing is adjusted by changing the Gaussian blur kernel according to the difference between the distance to the virtual object and the distance to each region of the real image within the out-focusing area,
Augmented reality display method. 제 1 항, 제 2 항, 제 4 항 또는 제 5 항 중에서 어느 한 항에 기재된 증강 현실 표시 방법을 프로세서가 수행하도록 하기 위하여
컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.In order to allow the processor to perform the augmented reality display method according to any one of claims 1, 2, 4, and 5
A computer program stored on a computer readable recording medium. 증강 현실 영상을 표시하는 증강 현실 표시 장치로서,
표시부와,
상기 표시부를 통해 보여지는 현실에 대하여 촬영된 현실 영상을 획득함과 아울러 상기 증강 현실 표시 장치로부터 상기 현실 영상의 각 영역까지의 거리에 관한 깊이 정보를 획득하는 정보 획득부와,
제어부를 포함하되,
상기 제어부는, 상기 현실 영상에 가상 객체를 배치하고, 상기 증강 현실 표시 장치로부터 상기 가상 객체까지의 거리를 획득하며, 상기 획득된 거리 및 상기 깊이 정보를 기초로 상기 획득된 현실 영상 중 아웃 포커싱할 영역을 결정하고, 상기 획득된 현실 영상 중에서 상기 아웃 포커싱할 영역 내의 화소들에 대해 블러(blur) 처리를 수행한 현실 영상과 상기 가상 객체를 포함하는 증강 현실 영상을 표시하도록 상기 표시부를 제어하는
증강 현실 표시 장치.1. An augmented reality display device for displaying an augmented reality image,
A display section,
An information acquiring unit acquiring a photographed reality image with respect to a reality shown through the display unit and acquiring depth information about a distance from the augmented reality display unit to each area of the real image,
And a control unit,
Wherein the control unit disposes a virtual object on the real image, acquires a distance from the augmented reality display to the virtual object, and out-focuses the acquired real image on the basis of the obtained distance and the depth information And controls the display unit to display an augmented reality image including the virtual image and a real image blurred on the pixels in the area to be out-focused, from among the obtained real images
Augmented reality display.
KR1020170132720A 2017-10-12 2017-10-12 Method and apparatus for displaying augmented reality KR101991401B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170132720A KR101991401B1 (en) 2017-10-12 2017-10-12 Method and apparatus for displaying augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170132720A KR101991401B1 (en) 2017-10-12 2017-10-12 Method and apparatus for displaying augmented reality

Publications (2)

Publication Number Publication Date
KR20190041293A KR20190041293A (en) 2019-04-22
KR101991401B1 true KR101991401B1 (en) 2019-06-20

Family

ID=66282936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170132720A KR101991401B1 (en) 2017-10-12 2017-10-12 Method and apparatus for displaying augmented reality

Country Status (1)

Country Link
KR (1) KR101991401B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11927756B2 (en) 2021-04-01 2024-03-12 Samsung Electronics Co., Ltd. Method for providing augmented reality image and head mounted display device supporting the same
KR20230135439A (en) * 2022-03-16 2023-09-25 삼성전자주식회사 An augmented reality device and a method for operating the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168642A (en) * 2011-02-10 2012-09-06 Ntt Docomo Inc Device, method and program for displaying objects

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110107545A (en) 2010-03-25 2011-10-04 에스케이텔레콤 주식회사 Augmented reality system and method using recognition light source, augmented reality processing apparatus for realizing the same
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168642A (en) * 2011-02-10 2012-09-06 Ntt Docomo Inc Device, method and program for displaying objects

Also Published As

Publication number Publication date
KR20190041293A (en) 2019-04-22

Similar Documents

Publication Publication Date Title
CN109242943B (en) Image rendering method and device, image processing equipment and storage medium
CN106355153B (en) A kind of virtual objects display methods, device and system based on augmented reality
US9898081B2 (en) Gaze and saccade based graphical manipulation
KR102126300B1 (en) Method and apparatus for generating an all-in-focus image
US11880956B2 (en) Image processing method and apparatus, and computer storage medium
JP5300825B2 (en) Instruction receiving device, instruction receiving method, computer program, and recording medium
CN107038738A (en) Object is shown using modified rendering parameter
CN106657757B (en) Image preview method and device for camera application and camera application system
CN108805989B (en) Scene crossing method and device, storage medium and terminal equipment
CN109448050B (en) Method for determining position of target point and terminal
CN114026603B (en) Rendering computer-generated real text
US11308701B2 (en) Rendering augmented reality image including virtual object with surface showing reflection of environment
KR20190048506A (en) Method and apparatus for providing virtual room
KR101991401B1 (en) Method and apparatus for displaying augmented reality
KR101919077B1 (en) Method and apparatus for displaying augmented reality
EP3038061A1 (en) Apparatus and method to display augmented reality data
US20130236117A1 (en) Apparatus and method for providing blurred image
US20200195914A1 (en) Method and apparatus for providing information to a user observing a multi view content
KR101841719B1 (en) Multi-display apparatus and the operation method thereof
CN109766530B (en) Method and device for generating chart frame, storage medium and electronic equipment
US8817081B2 (en) Image processing apparatus, image processing method, and program
CN112567430A (en) Image generation device, image generation method, and program
CN110520902B (en) Method and device for applying dynamic effect to image
CN106780758B (en) imaging method and device for virtual reality equipment and virtual reality equipment
JP6371547B2 (en) Image processing apparatus, method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right