KR20140108128A - Method and apparatus for providing augmented reality - Google Patents

Method and apparatus for providing augmented reality Download PDF

Info

Publication number
KR20140108128A
KR20140108128A KR1020140019692A KR20140019692A KR20140108128A KR 20140108128 A KR20140108128 A KR 20140108128A KR 1020140019692 A KR1020140019692 A KR 1020140019692A KR 20140019692 A KR20140019692 A KR 20140019692A KR 20140108128 A KR20140108128 A KR 20140108128A
Authority
KR
South Korea
Prior art keywords
image
augmented reality
virtual
state information
photographed
Prior art date
Application number
KR1020140019692A
Other languages
Korean (ko)
Other versions
KR102214827B1 (en
Inventor
마껑위
쟝쉬
김지연
조정욱
문영수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/193,411 priority Critical patent/US20140240354A1/en
Priority to US14/323,298 priority patent/US9224426B2/en
Publication of KR20140108128A publication Critical patent/KR20140108128A/en
Application granted granted Critical
Publication of KR102214827B1 publication Critical patent/KR102214827B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Provided are a method and an apparatus for providing augmented reality. The apparatus for providing augmented reality includes: photographing modules which are separated from each other, and photograph an real scenes including an object; a tracking part which tracks the object included in the photographed real scenes, and acquires condition information of the object; an image processing part which calculates condition information corresponding to the photographed real scenes of a virtual image based on the acquired condition information of the object, and synthesizes the virtual image and the photographed real scenes based on the calculated condition information to generate an augmented reality image; and a rendering part which executes a rendering process to display the generated augmented reality image.

Description

증강 현실 제공 장치 및 방법{METHOD AND APPARATUS FOR PROVIDING AUGMENTED REALITY}Technical Field [0001] The present invention relates to an apparatus and method for providing augmented reality,

증강 현실(Augmented Reality) 기술을 사용한 가상 시착 서비스 제공 방법 및 장치에 관한 것이다. To a method and apparatus for providing a virtual touched service using Augmented Reality technology.

증강 현실이란, 가상 현실의 한 분야로 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. Augmented reality is a field of virtual reality that is a computer graphics technique that combines virtual objects or information into a real environment to make it look like objects in the original environment.

증강 현실 기술은 인간과 컴퓨터 사이의 상호작용에 관한 기술로서, 증강 현실 기술을 이용하면, 현실 세계의 장면에 가상 물체를 겹쳐 보여주어 시뮬레이션할 수 있다. 증강 현실 기술은 상호성과 상상력을 기본 특징으로한 컴퓨터의 고급 “인간 컴퓨터 인터페이스”이다. 사용자는 가상 현실 시스템을 통해 객관적인 물리 세계에서 경험했던 직접적인 현실감을 느낄 수 있고, 공간, 시간 및 기타 객관적 제약을 뛰어 넘어, 현실 세계에서 몸소 경험할 수 없는 체험을 할 수 있다. Augmented reality technology is a technology related to the interaction between human and computer. By using augmented reality technology, it is possible to simulate a virtual world by superimposing a virtual object on a scene in the real world. Augmented reality technology is an advanced "human computer interface" of a computer based on mutuality and imagination. Through the virtual reality system, the user can feel direct realism experienced in the objective physical world, and can go beyond space, time and other objective constraints, and experience in the real world can not be experienced personally.

최근, 증강 현실 기술의 비약적인 발전으로, 응용 범위가 점점 더 넓어지고 있으며, 콘텐츠 디스플레이 방식도 매우 다양화 되고 있다. In recent years, with the breakthrough of AR technology, the application range has been widening and the content display method has been diversified.

서로 다른 복수개의 시각에서 대상체를 포함하는 실제 장면을 촬영하고, 촬영된 대상체로부터 획득된 상태 정보에 기초하여 가상 이미지의 상태 정보를 산출하고, 산출된 상태 정보에 기초하여 가상 이미지 및 촬영된 실제 장면을 합성하여 증강 현실 이미지를 렌더링하는 증강 현실 제공 방법 및 장치를 제공한다. A method for shooting a virtual scene, comprising: capturing an actual scene including a target object at a plurality of different times, calculating status information of the virtual image based on the status information obtained from the captured object, And provides an augmented reality providing method and apparatus for rendering an augmented reality image.

본 실시예가 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.The technical problem to be solved by this embodiment is not limited to the above-described technical problem, and other technical problems may exist.

일 측면에 따르면, 증강 현실 제공 장치는, 서로 이격하게 배치되어, 대상체를 포함하는 실제 장면을 촬영하는 복수개의 촬영 모듈; 상기 촬영된 실제 장면에 포함된 상기 대상체를 트래킹하여, 상기 대상체의 상태 정보를 획득하는 트래킹부; 상기 대상체의 상기 획득된 상태 정보에 기초하여 가상 이미지의 상기 촬영된 실제 장면과 대응되는 상태 정보를 산출하고, 상기 산출된 상태 정보에 기초하여 상기 가상 이미지 및 상기 촬영된 실제 장면을 합성한 증강 현실 이미지를 생성하는 이미지 처리부; 및 상기 생성된 증강 현실 이미지를 디스플레이하기 위하여 렌더링하는 렌더링부를 포함한다.According to one aspect, an augmented reality providing apparatus includes: a plurality of shooting modules that are arranged apart from each other and photograph an actual scene including an object; A tracking unit for tracking the object included in the photographed real scene and obtaining state information of the object; A state information generator for generating state information corresponding to the photographed actual scene of the virtual image based on the obtained state information of the object and generating an augmented reality based on the virtual image and the photographed real scene based on the calculated state information An image processing unit for generating an image; And a rendering unit for rendering the generated augmented reality image for display.

또한, 상기 이미지 처리부는, 상기 가상 이미지의 상기 산출된 상태 정보에 기초하여, 상기 대상체에 대응하는 투명 모형을 생성하고, 상기 가상 이미지와 상기 대상체 사이의 가림 효과를 발생시키기 위하여, 상기 투명 모형을 상기 대상체에 오버랩할 수 있다. Also, the image processing unit may generate a transparent model corresponding to the object, based on the calculated state information of the virtual image, and generate the transparent model to generate a clipping effect between the virtual image and the object. And can overlap the object.

또한, 상기 이미지 처리부는, 상기 대상체의 상기 획득된 상태 정보에 기초하여, 상기 대상체에 대응하는 투명 모형을 생성하고, 상기 가상 이미지와 상기 대상체 사이의 가림 효과를 발생시키기 위하여, 상기 투명 모형을 상기 대상체에 오버랩할 수 있다. It is preferable that the image processing unit generates a transparent model corresponding to the object on the basis of the obtained state information of the object and generates the transparent model corresponding to the transparent model to generate the clipping effect between the virtual image and the object. It can overlap the object.

또한, 상기 렌더링부는, 복수개의 렌더러블 카메라를 포함하며, 상기 복수개의 렌더러블 카메라를 이용하여 상기 가상 이미지 및 상기 촬영된 실제 장면을 렌더링할 수 있다. The rendering unit may include a plurality of renderable cameras, and render the virtual image and the photographed real scene using the plurality of renderable cameras.

또한, 상기 가상 이미지는 가상 안경 이미지이고, 상기 복수개의 촬영 모듈은 제1 카메라 및 제2 카메라를 포함하고, 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나는 상기 트래킹부를 포함하고, 상기 제1 카메라는 상기 실제 장면을 좌측에서 촬영하고, 상기 제2 카메라는 상기 실제 장면을 우측에서 촬영할 수 있다. It is also preferable that the virtual image is a virtual eyeglass image, and the plurality of photographing modules include a first camera and a second camera, at least one of the first camera and the second camera includes the tracking unit, The camera may photograph the actual scene on the left side and the second camera may photograph the actual scene on the right side.

또한, 상기 이미지 처리부는, 상기 제1 카메라 및 상기 제2 카메라 중 상기 트래킹부를 포함하는 적어도 하나의 카메라를 이용하여, 상기 대상체의 머리 부분을 트래킹하여 상기 대상체의 머리 부분의 상태 정보를 획득하고, 상기 대상체의 머리 부분의 상태 정보에 기초하여 상기 가상 안경 이미지의 상기 촬영된 실제 장면과 대응되는 상태 정보를 산출하고, 상기 산출된 상태 정보에 기초하여 상기 가상 안경 이미지를 상기 대상체의 머리 부분에 오버랩하여 증강 현실 이미지를 생성할 수 있다. Also, the image processing unit may use the at least one camera including the tracking unit of the first camera and the second camera to track the head of the target object to obtain the state information of the head of the target object, And a state information generating unit for generating state information corresponding to the photographed actual scene of the virtual eyeglass image on the basis of the state information of the head part of the object and outputting the virtual eyeglass image to the head part of the object based on the calculated state information, Thereby generating an augmented reality image.

또한, 상기 가상 이미지는 가상 의복 이미지이고, 상기 복수개의 촬영 모듈은 제1 카메라 및 제2 카메라를 포함하고, 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나는 상기 트래킹부를 포함하고, 상기 제1 카메라는 상기 실제 장면을 좌측에서 촬영하고, 상기 제2 카메라는 상기 실제 장면을 우측에서 촬영할 수 있다. It is also preferable that the virtual image is a virtual clothing image, and the plurality of photographing modules include a first camera and a second camera, at least one of the first camera and the second camera includes the tracking unit, The camera may photograph the actual scene on the left side and the second camera may photograph the actual scene on the right side.

또한, 상기 이미지 처리부는, 상기 대상체의 형태 정보를 획득하는 깊이 센서를 포함하고, 상기 깊이 센서에 의해 획득된 상기 대상체의 형태 정보에 기초하여 상기 가상 의복 이미지의 형태 정보를 산출하고, 상기 산출된 형태 정보에 기초하여 상기 가상 의복 이미지의 형태를 변경하고, 상기 변경된 가상 의복 이미지를 상기 대상체에 오버랩하여 증강 현실 이미지를 생성하고, 상기 렌더링부는 상기 실제 장면이 촬영된 위치인 양 측면에서 상기 증강 현실 이미지를 렌더링할 수 있다. The image processing unit may further include a depth sensor for obtaining shape information of the target object, the shape information of the virtual clothing image is calculated based on the shape information of the target object obtained by the depth sensor, Wherein the augmented reality image is generated by changing the shape of the virtual clothing image based on the shape information and overlapping the modified virtual clothing image with the object, The image can be rendered.

상기 복수개의 촬영 모듈은 상기 트래킹부를 포함하는 복수개의 트래킹 카메라를 포함하며, 상기 렌더링부는 복수개의 렌더러블 카메라를 포함하고, 상기 복수개의 렌더러블 카메라 각각의 파라미터는 상기 복수개의 트래킹 카메라 각각의 파라미터와 대응되도록 설정될 수 있다. Wherein the plurality of photographing modules include a plurality of tracking cameras including the tracking unit, the rendering unit includes a plurality of renderable cameras, and the parameter of each of the plurality of renderable cameras is a parameter of each of the plurality of tracking cameras Can be set to correspond.

또한, 상기 장치는 상기 렌더링된 증강 현실 이미지를 디스플레이하는 디스플레이부를 더 포함할 수 있다. The apparatus may further include a display unit for displaying the rendered augmented reality image.

다른 일 측면에 따르면, 증강 현실 제공 방법은, 서로 다른 복수개의 시각에서 대상체를 포함하는 실제 장면을 촬영하는 단계; 상기 촬영된 실제 장면에 포함된 상기 대상체를 트래킹하여, 상기 대상체의 상태 정보를 획득하는 단계; 상기 대상체의 상기 획득된 상태 정보에 기초하여 가상 이미지의 상기 촬영된 실제 장면과 대응되는 상태 정보를 산출하는 단계; 상기 산출된 상태 정보에 기초하여 상기 가상 이미지 및 상기 촬영된 실제 장면을 합성한 증강 현실 이미지를 생성하는 단계; 및 상기 증강 현실 이미지를 렌더링하는 단계를 포함한다.According to another aspect, a method for providing an augmented reality includes: capturing an actual scene including a target object at a plurality of different views; Obtaining state information of the object by tracking the object included in the photographed actual scene; Calculating state information corresponding to the photographed actual scene of the virtual image based on the obtained state information of the object; Generating an augmented reality image in which the virtual image and the photographed real scene are synthesized based on the calculated state information; And rendering the augmented reality image.

또한, 상기 증강 현실 이미지를 생성하는 단계는, 상기 가상 이미지의 상기 산출된 상태 정보에 기초하여, 상기 대상체에 대응하는 투명 모형을 생성하는 단계; 상기 가상 이미지와 상기 대상체 사이의 가림 효과를 발생시키기 위하여, 상기 투명 모형을 상기 대상체에 오버랩하는 단계; 및 상기 가상 이미지 및 상기 촬영된 실제 장면을 합성하여, 상기 가림 효과가 적용된 상기 증강 현실 이미지를 생성하는 단계를 포함할 수 있다. The step of generating the augmented reality image may include: generating a transparent model corresponding to the object, based on the calculated state information of the virtual image; Overlapping the transparent model with the object to generate a clipping effect between the virtual image and the object; And synthesizing the virtual image and the photographed actual scene to generate the augmented reality image to which the blurring effect is applied.

또한, 상기 증강 현실 이미지를 생성하는 단계는, 상기 대상체의 상기 획득된 상태 정보에 기초하여, 상기 대상체에 대응하는 투명 모형을 생성하는 단계; 상기 가상 이미지와 상기 대상체 사이의 가림 효과를 발생시키기 위하여, 상기 투명 모형을 상기 대상체에 오버랩하는 단계; 및 상기 가상 이미지 및 상기 촬영된 실제 장면을 합성하여, 상기 가림 효과가 적용된 상기 증강 현실 이미지를 생성하는 단계를 포함할 수 있다.In addition, the step of generating the augmented reality image may include: generating a transparent model corresponding to the object based on the obtained state information of the object; Overlapping the transparent model with the object to generate a clipping effect between the virtual image and the object; And synthesizing the virtual image and the photographed actual scene to generate the augmented reality image to which the blurring effect is applied.

또한, 상기 증강 현실 이미지를 렌더링하는 단계는, 복수개의 렌더링부를 이용하여 상기 가상 이미지 및 상기 촬영된 실제 장면을 렌더링할 수 있다. In addition, rendering the augmented reality image may render the virtual image and the photographed real scene using a plurality of rendering units.

또한, 상기 가상 이미지는 가상 안경 이미지이고, 상기 실제 장면을 촬영하는 단계는 상기 실제 장면을 좌측 및 우측에서 촬영할 수 있다. In addition, the virtual image may be a virtual eyeglass image, and the step of photographing the actual scene may photograph the actual scene on the left and right sides.

또한, 상기 대상체의 상태 정보를 획득하는 단계는, 상기 좌측에서 촬영된 실제 장면 및 상기 우측에서 촬영된 실제 장면 중 적어도 하나를 이용하여, 상기 대상체의 머리 부분을 트래킹하여, 상기 대상체의 머리 부분의 상태 정보를 획득하는 단계를 포함하고, 상기 가상 이미지의 상태 정보를 산출하는 단계는, 상기 대상체의 머리 부분의 상태 정보에 기초하여 상기 가상 안경 이미지의 상기 촬영된 실제 장면과 대응되는 상태 정보를 산출하는 단계를 포함하고, 상기 증강 현실 이미지를 생성하는 단계는, 상기 산출된 상태 정보에 기초하여 상기 가상 안경 이미지를 상기 대상체의 머리 부분에 오버랩하여 증강 현실 이미지를 생성하는 단계를 포함하고, 상기 증강 현실 이미지를 렌더링하는 단계는, 상기 실제 장면을 촬영한 위치인 양 측면에서 상기 증강 현실 이미지를 렌더링하는 단계를 포함할 수 있다. The step of acquiring the state information of the object further comprises the step of tracking the head part of the object using at least one of the actual scene photographed on the left side and the actual scene photographed on the right side, And calculating status information of the virtual image based on status information of the head portion of the object, the status information corresponding to the photographed actual scene of the virtual glasses image is calculated Wherein the step of generating the augmented reality image includes generating the augmented reality image by overlapping the virtual eyeglass image with the head part of the object based on the calculated state information, Wherein the step of rendering the real image comprises the steps of: It may include the step of rendering the river realistic image.

또한, 상기 가상 이미지는 가상 의복 이미지이고, 상기 실제 장면을 촬영하는 단계는, 상기 실제 장면을 좌측 및 우측에서 촬영할 수 있다. In addition, the virtual image is a virtual clothing image, and the step of photographing the actual scene may photograph the actual scene on the left and right sides.

또한, 상기 대상체의 상태 정보를 획득하는 단계는, 깊이 센서를 이용하여 상기 대상체의 형태 정보를 획득하는 단계를 포함하고, 상기 가상 이미지의 상태 정보를 산출하는 단계는, 상기 획득된 대상체의 형태 정보에 기초하여 상기 가상 의복 이미지의 형태 정보를 산출하는 단계를 포함하고, 상기 증강 현실 이미지를 생성하는 단계는 상기 산출된 형태 정보에 기초하여 상기 가상 의복 이미지의 형태를 변형하고, 상기 변형된 가상 의복 이미지를 상기 대상체에 오버랩하여 증강 현실 이미지를 생성하는 단계를 포함하고, 상기 증강 현실 이미지를 렌더링하는 단계는, 상기 실제 장면을 촬영한 위치인 양 측면에서 상기 증강 현실 이미지를 렌더링하는 단계를 포함할 수 있다.The step of acquiring the state information of the object may include acquiring the shape information of the object using a depth sensor, and the step of calculating the state information of the virtual image may include: Wherein the step of generating the augmented reality image includes the steps of modifying the shape of the virtual garment image based on the calculated shape information, And generating an augmented reality image by overlapping an image with the object, wherein the step of rendering the augmented reality image includes rendering the augmented reality image on both sides of the position where the actual scene is imaged .

다른 일 측면에 따르면, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다. According to another aspect, there is provided a computer-readable recording medium storing a program for causing a computer to execute the method.

상기된 바에 따르면, 증강 현실 기술과 3D 디스플레이 기술을 이용하여, 가상 시착 서비스를 제공할 수 있다. According to the above, a virtual touched service can be provided using the augmented reality technology and the 3D display technology.

도 1은 일 실시예에 따른 증강 현실 제공 장치의 구조를 도시한 블록도이다.
도 2는 도 1에 도시된 증강 현실 제공 장치가 증강 현실 이미지를 디스플레이하는 것을 설명하기 위한 도면이다.
도 3은 도 1에 도시된 증강 현실 제공 장치가 가상 안경 시착 서비스를 제공하는 것을 설명하기 위한 도면이다.
도 4는 도 1에 도시된 증강 현실 제공 장치가 가상 안경 시착 서비스를 제공할 때의 데이터 구조를 나타낸 도면이다.
도 5는 도 1에 도시된 증강 현실 제공 장치가 대상체의 투명 모형을 이용하여 가림 효과를 발생시키는 것을 설명하기 위한 도면이다.
도 6 내지 도 7은 도 1에 도시된 증강 현실 제공 장치가 가상 의복 시착 서비스를 제공하는 것을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 흐름도이다.1 is a block diagram illustrating a structure of an augmented reality providing apparatus according to an embodiment.
FIG. 2 is a diagram for explaining that the augmented reality providing apparatus shown in FIG. 1 displays an augmented reality image.
FIG. 3 is a diagram for explaining that the augmented reality providing apparatus shown in FIG. 1 provides a virtual eyeglass watching service.
FIG. 4 is a diagram showing a data structure when the augmented reality providing apparatus shown in FIG. 1 provides a virtual eyeglass watching service.
FIG. 5 is a diagram for explaining that the augmented reality providing apparatus shown in FIG. 1 generates a blurring effect by using a transparent model of a target object.
FIGS. 6 to 7 are views for explaining that the augmented reality providing apparatus shown in FIG. 1 provides a virtual clothing appearance service.
8 is a flowchart illustrating an augmented reality providing method according to an embodiment.

아래에서는 첨부한 도면을 참조하여 개시된 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 실시예를 상세히 설명한다. 그러나 실시예들은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 도면을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. BRIEF DESCRIPTION OF THE DRAWINGS The above and other aspects of the present invention will become more apparent by describing in detail exemplary embodiments thereof with reference to the attached drawings in which: FIG. However, the embodiments may be embodied in various different forms and are not limited to the embodiments described herein. In the drawings, the same reference numbers are used throughout the specification to refer to the same or like parts.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "comprising ", it means that it can include other elements as well, without departing from the other elements unless specifically stated otherwise.

명세서 전체에서, “가상 시착(virtual try-on)”이란, 증강 현실 기술을 이용하여 가상의 의복, 모자, 안경, 신발, 장신구 등을 시험 삼아 착용해 보는 것을 의미한다. Throughout the specification, " virtual try-on " refers to wearing a virtual apparel, hat, glasses, shoes, ornaments, etc., using augmented reality techniques.

명세서 전체에서, “가림 효과”란, 실제 장면의 이미지 상에 가상 이미지가 합성될 때, 가상 이미지 중 실제 장면 내의 대상체의 후면에 위치하여 대상체에 의해 가려지는 부분이 디스플레이상에 보이지 않도록 하는 효과를 의미한다. Throughout the specification, " blurring effect " refers to the effect that, when a virtual image is synthesized on an image of a real scene, a portion of the virtual image positioned on the rear side of the object in the actual scene so that the portion covered by the object is not visible on the display it means.

명세서 전체에서, “트래킹”이란, 촬영된 실제 장면의 이미지와 가상 이미지를 합성하기 위하여, 촬영된 실제 장면 내의 대상체의 위치, 형태, 움직임 등을 추적하는 것을 의미한다. Throughout the specification, " tracking " means tracking the position, shape, motion, etc. of an object in a photographed real scene, in order to synthesize a virtual image with an image of the photographed real scene.

이하 첨부된 도면을 참고하여 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

도 1은 일 실시예에 따른 증강 현실 제공 장치의 구조를 도시한 블록도이다. 1 is a block diagram illustrating a structure of an augmented reality providing apparatus according to an embodiment.

일 실시예에 따른 증강 현실 제공 장치(100)는 촬영 모듈(110), 트래킹부(120), 이미지 처리부(130) 및 렌더링부(140)를 포함한다. The augmented reality providing apparatus 100 includes an imaging module 110, a tracking unit 120, an image processing unit 130, and a rendering unit 140.

일 실시예에 따른 촬영 모듈(110)들은, 서로 이격하게 배치되어, 대상체를 포함하는 실제 장면을 촬영한다. The photographing modules 110 according to one embodiment are disposed apart from each other to photograph an actual scene including a target object.

일 실시예에 따른 촬영 모듈(110)은, 직교형 입체 카메라, 일체형 입체 카메라, 평행식 입체 카메라 등을 포함할 수 있으나, 이에 제한되지 않는다. The imaging module 110 according to one embodiment may include, but is not limited to, an orthogonal stereoscopic camera, an integrated stereoscopic camera, a parallel stereoscopic camera, and the like.

일 실시예에 따른 촬영 모듈(110)은, 트래킹부(120)를 포함하는 트래킹 카메라를 포함할 수 있다. The photographing module 110 according to one embodiment may include a tracking camera including the tracking unit 120. [

일 실시예에 따른 트래킹부(120)는, 대상체를 검출하고 트래킹하여, 대상체의 상태 정보를 획득한다. The tracking unit 120 according to an embodiment detects and tracks a target object and obtains state information of the target object.

일 실시예에 따른 트래킹부(120)는, 복수개의 촬영 모듈(110) 중 적어도 하나에 포함될 수 있다. The tracking unit 120 according to one embodiment may be included in at least one of the plurality of photographing modules 110.

일 실시예에 따른 이미지 처리부(130)는, 대상체의 획득된 상태 정보에 기초하여 가상 이미지에 대한, 촬영된 실제 장면과 대응되는 상태 정보를 산출한다. 또한, 이미지 처리부(130)는 가상 이미지의 산출된 상태 정보에 기초하여 가상 이미지 및 촬영된 실제 장면을 합성한 증강 현실 이미지를 생성한다. The image processing unit 130 according to the embodiment calculates state information corresponding to the photographed actual scene of the virtual image based on the obtained state information of the object. Also, the image processing unit 130 generates an augmented reality image in which a virtual image and a photographed real scene are synthesized based on the calculated state information of the virtual image.

일 실시예에 따른 이미지 처리부(130)는, 가상 이미지의 산출된 상태 정보에 기초하여, 대상체에 대응하는 투명 모형을 생성하고, 가상 이미지와 대상체 사이의 가림 효과를 발생시키기 위하여, 투명 모형을 대상체에 오버랩할 수 있다. The image processing unit 130 according to an embodiment generates a transparent model corresponding to a target object based on the calculated state information of the virtual image and generates a transparent model corresponding to the target object in order to generate a blurring effect between the virtual image and the target object. As shown in Fig.

또한, 이미지 처리부(130)는, 대상체의 획득된 상태 정보에 기초하여, 대상체에 대응하는 투명 모형을 생성하고, 가상 이미지와 대상체 사이의 가림 효과를 발생시키기 위하여, 투명 모형을 대상체에 오버랩할 수 있다. The image processing unit 130 may generate a transparent model corresponding to the object based on the acquired state information of the object and may overlap the transparent model with the object in order to generate a clipping effect between the virtual image and the object have.

일 실시예에 따른 렌더링부(140)는, 생성된 증강 현실 이미지를 디스플레이하기 위하여 렌더링한다. The rendering unit 140 according to an embodiment renders the generated augmented reality image for display.

일 실시예에 따른 렌더링부(140)는, 복수개의 렌더러블 카메라를 포함하며, 복수개의 렌더러블 카메라를 이용하여 가상 이미지 및 촬영된 실제 장면을 렌더링할 수 있다. The rendering unit 140 may include a plurality of renderable cameras, and may render a virtual image and a photographed real scene using a plurality of renderable cameras.

도 2는 도 1에 도시된 증강 현실 제공 장치가 증강 현실 이미지를 디스플레이하는 것을 설명하기 위한 도면이다. FIG. 2 is a diagram for explaining that the augmented reality providing apparatus shown in FIG. 1 displays an augmented reality image.

일 실시예에 따른 복수개의 촬영 모듈(110)은 복수개의 카메라를 포함할 수 있다. 복수개의 촬영 모듈(110)은 서로 이격하게 배치되어 대상체를 포함하는 실제 장면을 촬영할 수 있다. 예를 들면, 촬영 모듈 1은 제1 시각 이미지를 촬영하고, 촬영 모듈 2는 제2 시각 이미지를 촬영하고, 촬영 모듈 n은 제 n 시각 이미지를 촬영할 수 있다. The plurality of photographing modules 110 according to an exemplary embodiment may include a plurality of cameras. The plurality of photographing modules 110 may be disposed apart from each other to photograph an actual scene including a target object. For example, the photographing module 1 may photograph the first visual image, the photographing module 2 may photograph the second visual image, and the photographing module n may photograph the nth visual image.

일 실시예에 따른 트래킹부(120)는 촬영된 실제 장면에 포함된 대상체를 검출하고, 트래킹하여, 대상체의 상태 정보를 획득할 수 있다. 예를 들어, 트래킹부(120)는 대상체의 위치, 형태, 움직임 등을 트래킹할 수 있다. 트래킹부(120)는 복수개의 센서를 포함할 수 있으며, 깊이 센서를 포함할 수 있다. 또한, 트래킹부(120)는 깊이 카메라(depth camera)를 포함하는 촬영 모듈(110)에 포함되어 구현될 수 있다.The tracking unit 120 according to an embodiment may detect and track the object included in the photographed real scene to obtain the state information of the object. For example, the tracking unit 120 may track the position, shape, motion, and the like of the object. The tracking unit 120 may include a plurality of sensors, and may include a depth sensor. In addition, the tracking unit 120 may be included in the photographing module 110 including a depth camera.

일 실시예에 따른 이미지 처리부(130)는, 복수개의 촬영 모듈(110)에 의해 각각 다른 시각에서 촬영된 실제 장면의 이미지들을 수신할 수 있다. 또한, 이미지 처리부(130)는 트래킹부(120)에 의해 획득된 실제 장면에 포함된 대상체의 상태 정보(220)를 수신할 수 있다. 이미지 처리부(130)는 획득된 대상체의 상태 정보(220)에 기초하여 가상 이미지에 대한, 촬영된 실제 장면과 대응되는 상태 정보(230)를 산출할 수 있다. 이미지 처리부(130)는 산출된 가상 이미지의 상태 정보(230)에 기초하여 가상 이미지와 실제 장면을 합성한 증강 현실 이미지 즉, 복수개의 서로 다른 시각에서의 렌더링 이미지(240)를 생성할 수 있다. 이미지 처리부(130)는 워크스테이션, 데스크탑 컴퓨터, 태블릿 PC 등의 컴퓨팅 장치를 이용하여 구현될 수 있다.The image processing unit 130 according to one embodiment can receive images of a real scene photographed at different times by the plurality of photographing modules 110. [ In addition, the image processing unit 130 may receive the state information 220 of the object included in the actual scene acquired by the tracking unit 120. The image processing unit 130 may calculate state information 230 corresponding to the photographed actual scene of the virtual image based on the obtained state information 220 of the object. The image processing unit 130 may generate an augmented reality image that is a composite image of a virtual image and a real scene, that is, a rendering image 240 at a plurality of different times, based on the calculated state information 230 of the virtual image. The image processing unit 130 may be implemented using a computing device such as a workstation, a desktop computer, or a tablet PC.

일 실시예에 따른 이미지 처리부(130)는 가상 이미지의 산출된 상태 정보에 기초하여, 대상체에 대응하는 투명 모형을 생성할 수 있다. 이미지 처리부(130)는 가상 이미지 중 대상체 후면에 위치하여 대상체에 의해 가려지는 부분에 대하여 가림 효과를 발생시키기 위하여, 투명 모형을 대상체에 오버랩할 수 있다. The image processing unit 130 according to one embodiment can generate a transparent model corresponding to the object based on the calculated state information of the virtual image. The image processing unit 130 can overlap a transparent model with a target object in order to generate a blurring effect on a portion of the virtual image positioned behind the target object and blocked by the target object.

또한, 이미지 처리부(130)는 획득된 대상체의 상태 정보(220)에 기초하여, 대상체에 대응하는 투명 모형을 생성할 수 있다. 이미지 처리부(130)는 가상 이미지 중 대상체 후면에 위치하여 대상체에 의해 가려지는 부분에 대하여 가림 효과를 발생시키기 위하여, 투명 모형을 대상체에 오버랩할 수 있다. In addition, the image processing unit 130 can generate a transparent model corresponding to the object based on the obtained state information 220 of the object. The image processing unit 130 can overlap a transparent model with a target object in order to generate a blurring effect on a portion of the virtual image positioned behind the target object and blocked by the target object.

일 실시예에 따른 렌더링부(미도시)는, 복수개의 렌더러블 카메라를 포함할 수 있다. 복수개의 렌더러블 카메라는 복수개의 촬영 모듈과 대응되도록 위치할 수 있다. 복수개의 렌더러블 카메라의 내부 파라미터 및 외부 파라미터는 복수개의 촬영 모듈의 카메라의 파라미터와 대응되도록 설정될 수 있다. The rendering unit (not shown) according to an exemplary embodiment may include a plurality of renderable cameras. The plurality of renderable cameras may be positioned so as to correspond to the plurality of photographing modules. The internal parameters and the external parameters of the plurality of renderable cameras can be set to correspond to the camera parameters of the plurality of photographing modules.

일 실시예에 따른 렌더링부는, 렌더링 영역을 디스플레이부(250)의 디스플레이 영역과 대응되도록 하여, 촬영된 실제 장면 및 가상 이미지를 렌더링할 수 있다. 복수개의 렌더러블 카메라는 복수개의 서로 다른 시각에서의 렌더링 이미지(240)를 렌더링할 수 있다. The rendering unit according to one embodiment may render the rendered real scene and the virtual image by making the rendering region correspond to the display region of the display unit 250. [ The plurality of renderable cameras may render the rendered image 240 at a plurality of different times.

일 실시예에 따른 디스플레이부(250)는, 이미지 처리부(130)에서 합성된 증강 현실 이미지를 디스플레이할 수 있다. 디스플레이부(250)는, 편광 방식, 시분할 방식, HMD(Head Mounted Display) 방식, 색차 방식, 패럴랙스 배리어(Parallax Barrier) 방식 및 렌티큘러(Lenticular) 방식 등의 3D 디스플레이를 이용하여 구현될 수 있으나, 이에 제한되지 않는다.The display unit 250 may display the augmented reality image synthesized by the image processing unit 130 according to an exemplary embodiment. The display unit 250 may be implemented using a 3D display such as a polarization method, a time division method, an HMD (Head Mounted Display) method, a color difference method, a Parallax Barrier method, or a lenticular method, But is not limited thereto.

도 3은 도 1에 도시된 증강 현실 제공 장치가 가상 안경 시착 서비스를 제공하는 것을 설명하기 위한 도면이다.FIG. 3 is a diagram for explaining that the augmented reality providing apparatus shown in FIG. 1 provides a virtual eyeglass watching service.

도 3에 도시한 바와 같이, 증강 현실 제공 장치(100)는 촬영 모듈(110)로서 좌측 카메라(310)와 우측 카메라(320)를 포함하고, 트래킹부(미도시), 이미지 처리부(미도시), 렌더링부(미도시) 및 3D 디스플레이(330)를 포함할 수 있다. 3, the augmented reality providing apparatus 100 includes a left camera 310 and a right camera 320 as a photographing module 110, and includes a tracking unit (not shown), an image processing unit (not shown) A rendering unit (not shown), and a 3D display 330.

좌측 카메라(310)와 우측 카메라(320)는 대상체(340)를 포함하는 실제 장면을 각각 좌측 시각 및 우측 시각에서 촬영할 수 있다. The left camera 310 and the right camera 320 can photograph the actual scene including the object 340 at the left and right sides, respectively.

이미지 처리부는 트래킹부를 포함할 수 있다. 트래킹부는 깊이 센서를 이용하여, 대상체(340)의 머리를 트래킹할 수 있다. 트래킹부는 좌측 카메라(310) 및 우측 카메라(320) 중 적어도 하나를 이용해 대상체(340)의 머리의 위치, 형태, 움직임 등과 같은 상태 정보를 획득할 수 있다. The image processing unit may include a tracking unit. The tracking unit can track the head of the object 340 using a depth sensor. The tracking unit can acquire status information such as the position, shape, and movement of the head of the object 340 using at least one of the left camera 310 and the right camera 320. [

이미지 처리부는 획득된 대상체의 상태 정보에 기초하여, 가상 안경 이미지가 대상체(340)의 머리 부분에 적절히 위치하도록, 가상 안경 이미지의 상태 정보를 산출할 수 있다. 이미지 처리부는 산출된 상태 정보에 기초하여, 가상 안경 이미지 및 촬영된 실제 장면을 합성할 수 있다. The image processing unit may calculate state information of the virtual eyeglass image so that the virtual eyeglass image is appropriately positioned at the head portion of the object 340 based on the obtained state information of the object. The image processing unit may synthesize the virtual glasses image and the photographed actual scene based on the calculated state information.

렌더링부는, 좌측 시각 및 우측 시각에서 합성된 이미지를 렌더링할 수 있다. The rendering unit may render the synthesized image from the left and right views.

생성된 증강 현실 이미지는 3D 디스플레이를 통해 디스플레이될 수 있다.The generated augmented reality image can be displayed through the 3D display.

도 4는 도 1에 도시된 증강 현실 제공 장치가 가상 안경 시착 서비스를 제공할 때의 데이터 구조를 나타낸 도면이다.FIG. 4 is a diagram showing a data structure when the augmented reality providing apparatus shown in FIG. 1 provides a virtual eyeglass watching service.

도 4에 도시된 데이터 구조는 트리 형상 구조로서, 각 노드(node)에 하나 또는 다수의 자식 노드가 있고, 이와 관련된 하나 또는 다수의 이미지를 포함할 수 있다. 이미지는 3D 모형을 포함할 수 있다. The data structure shown in Fig. 4 is a tree-shaped structure, and each node has one or a plurality of child nodes, and may include one or more images related thereto. The image may include a 3D model.

도 4에 도시된 바와 같이, 루트 노드(410)는 제1 촬영 모듈 노드(420)와 제2 촬영 모듈 노드(430)를 포함할 수 있다. 제1 촬영 모듈 노드(420) 및 제2 촬영 모듈 노드(430)는 각각 좌측 시각 이미지(425)와 우측 시각 이미지(435)를 저장할 수 있다. 제1 촬영 모듈 노드(420)는 가상 안경 이미지(445)를 포함한 가상 이미지 노드(440)와 대상체의 투명 모형(455)을 포함한 투명 모형 노드(450)를 연결할 수 있다. As shown in FIG. 4, the root node 410 may include a first imaging module node 420 and a second imaging module node 430. The first imaging module node 420 and the second imaging module node 430 may store a left visual image 425 and a right visual image 435, respectively. The first imaging module node 420 may connect the transparent model node 450 including the virtual image node 440 including the virtual eyeglass image 445 and the transparent model 455 of the object.

트래킹부(120)는 실시간으로, 촬영 모듈(110)에 의해 촬영된 실제 장면(425, 435)에 포함된 대상체의 머리를 검출하고, 트래킹하여, 대상체의 상태 정보를 획득할 수 있다. 이미지 처리부(130)는 대상체의 머리의 상태 정보에 기초하여 대상체와 대응하는 투명 모형(455)의 위치, 크기, 형태, 움직임 등의 상태 정보를 산출할 수 있다. 이미지 처리부(130)는 투명 모형(455)의 상태 정보에 기초하여 가상 안경 이미지(445)를 적절한 위치 및 방향으로 배치할 수 있다. The tracking unit 120 can detect and track the head of the object included in the actual scene 425 or 435 photographed by the photographing module 110 in real time to obtain the state information of the object. The image processing unit 130 may calculate state information such as the position, size, shape, and movement of the transparent model 455 corresponding to the object based on the state information of the head of the object. The image processing unit 130 can arrange the virtual glasses image 445 in appropriate positions and directions based on the state information of the transparent model 455. [

렌더링부(140)는 적절한 가림 효과를 발생시키기 위하여, 이미지의 렌더링 순서를 결정할 수 있다. 예를 들어, 렌더링부(140)는 촬영된 실제 장면(425, 435)을 렌더링한 후, 대상체의 투명 모형(455)을 렌더링하고, 가상 안경 이미지(445)를 렌더링하여, 가상 안경 이미지 중 대상체 후면에 위치해야 하는 부분이 대상체에 의해 가려지고, 대상체 중 가상 안경 이미지 후면에 위치해야 하는 부분이 가상 안경 이미지에 의해 가려지도록 할 수 있다. The rendering unit 140 may determine the rendering order of the image in order to generate a proper blurring effect. For example, after rendering the photographed real scene 425, 435, the rendering unit 140 may render the transparent model 455 of the object, render the virtual eyeglass image 445, A portion which should be located on the rear side is covered by the object, and a portion of the object, which should be located on the rear side of the virtual glasses image, can be covered by the virtual glasses image.

도 5는 도 1에 도시된 증강 현실 제공 장치가 대상체의 투명 모형을 이용하여 가림 효과를 발생시키는 것을 설명하기 위한 도면이다.FIG. 5 is a diagram for explaining that the augmented reality providing apparatus shown in FIG. 1 generates a blurring effect by using a transparent model of a target object.

도 5의 (a)는, 일 실시예에 따른 증강 현실 제공 장치(100)가 가림 효과를 적용하지 않고 대상체에 가상 이미지를 합성하여 디스플레이한 것을 나타낸다. 도 5의 (a)에 따르면, 가상 안경 이미지 중 대상체의 머리에 의해 가려져야 하는 부분이 가림 효과 없이 디스플레이된다. FIG. 5A shows that the augmented reality providing apparatus 100 according to the embodiment synthesizes and displays a virtual image on a target object without applying a blurring effect. According to Fig. 5 (a), the portion of the virtual eyeglass image that should be covered by the head of the object is displayed without the clipping effect.

도 5의 (b)는, 일 실시예에 따른 증강 현실 제공 장치(100)가 대상체의 머리 부분과 대응되는 투명 모형을 생성하여, 가상 안경 이미지 중 대상체의 머리에 의해 가려져야 하는 부분이 투명 모형에 의해 가려지는 가림 효과를 발생시키는 것을 나타낸다. 투명 모형은 대상체와 대응되는 형태, 크기, 위치, 움직임을 갖도록 생성되며, 가상 이미지의 가림 효과를 발생시키기 위하여 사용되고, 투명 모형 자체가 디스플레이되지는 않는다. FIG. 5B is a view showing a state in which the augmented reality providing apparatus 100 according to an exemplary embodiment of the present invention generates a transparent model corresponding to a head portion of a target object, Thereby generating a clipping effect that is blocked by the clogging. The transparent model is generated to have a shape, size, position, and motion corresponding to the object, is used to generate the clipping effect of the virtual image, and the transparent model itself is not displayed.

결과적으로, 증강 현실 이미지는 도 5의 (c)와 같이 디스플레이될 수 있다. As a result, the augmented reality image can be displayed as shown in Fig. 5 (c).

일 실시예에 따른 증강 현실 제공 장치(100)는 대상체를 트래킹하여, 대상체의 상태 정보가 갱신됨에 따라, 투명 모형 및 가상 이미지의 상태 정보를 실시간으로 갱신할 수 있다. The augmented reality providing apparatus 100 according to the embodiment can update the state information of the transparent model and the virtual image in real time as the state information of the object is updated by tracking the object.

도 6 내지 도 7은 도 1에 도시된 증강 현실 제공 장치가 가상 의복 시착 서비스를 제공하는 것을 설명하기 위한 도면이다. FIGS. 6 to 7 are views for explaining that the augmented reality providing apparatus shown in FIG. 1 provides a virtual clothing appearance service.

도 6에 도시된 바와 같이, 일 실시예에 따른 가상 의복 시착용 증강 현실 제공 장치(100)는 촬영 모듈(110)로서 좌측 카메라(610) 및 우측 카메라(620)를 포함하고, 트래킹부(630), 이미지 처리부(미도시), 렌더링부(미도시) 및 3D 디스플레이(640)를 포함할 수 있다. 6, the virtual auction providing apparatus 100 for virtual clothing according to an embodiment includes a left camera 610 and a right camera 620 as a photographing module 110, and a tracking unit 630 , An image processing unit (not shown), a rendering unit (not shown), and a 3D display 640.

좌측 카메라(610) 및 우측 카메라(620)는 대상체(650)를 포함하는 실제 장면을 각각 좌측 시각 및 우측 시각에서 촬영할 수 있다. The left camera 610 and the right camera 620 can photograph the actual scene including the object 650 at the left and right views, respectively.

트래킹부(630)는 깊이 센서를 포함할 수 있고, 깊이 센서는 대상체(650)의 위치, 형태, 움직임 등을 검출할 수 있다. The tracking unit 630 may include a depth sensor, and the depth sensor may detect the position, shape, motion, and the like of the object 650.

이미지 처리부(130)는 획득된 대상체의 상태 정보에 기초하여, 가상 의복 이미지가 대상체(650)의 이미지 상에 적절히 위치하도록, 가상 의복 이미지의 상태 정보를 산출할 수 있다. 이미지 처리부(130)는 산출된 상태 정보에 기초하여, 가상 의복 이미지 및 촬영된 실제 장면을 합성할 수 있다. The image processing unit 130 may calculate state information of the virtual garment image so that the virtual garment image is appropriately positioned on the image of the object 650 based on the obtained state information of the object. The image processing unit 130 may synthesize the virtual clothing image and the photographed actual scene based on the calculated state information.

렌더링부(140)는, 좌측 시각 및 우측 시각에서 합성된 이미지를 렌더링할 수 있다. The rendering unit 140 may render the synthesized image at the left and right views.

생성된 증강 현실 이미지는 3D 디스플레이(640)를 통해 디스플레이될 수 있다. The generated augmented reality image can be displayed through the 3D display 640. [

도 7을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 제공 장치(100)는, 대상체를 포함하는 실제 장면을 복수개의 촬영 모듈(110)을 이용하여, 좌측에서 촬영한 이미지(710) 및 우측에서 촬영한 이미지(720)를 획득할 수 있다. Referring to FIG. 7, an augmented reality providing apparatus 100 according to an embodiment of the present invention includes an image 710 captured from the left side using a plurality of image capturing modules 110, An image 720 taken on the right side can be obtained.

본 발명의 일 실시예에 따른 트래킹부(120)는 촬영된 이미지 중 적어도 하나를 이용하여, 촬영된 실제 장면에 포함된 대상체를 검출할 수 있다. 또한, 트래킹부(120)는 검출된 대상체를 트래킹(730)하여, 대상체의 위치, 형태, 움직임 등과 같은 대상체의 상태 정보를 획득할 수 있다. The tracking unit 120 according to an embodiment of the present invention can detect an object included in a photographed real scene using at least one of the photographed images. In addition, the tracking unit 120 may track the detected object 730 to obtain the state information of the object, such as the position, shape, and movement of the object.

본 발명의 일 실시예에 따른 이미지 처리부(130)는 획득된 대상체의 상태 정보에 기초하여, 가상 의복 이미지의 상태 정보를 산출하고, 산출된 상태 정보에 기초하여, 가상 의복 이미지를 촬영된 실제 장면 이미지와 합성할 수 있다. 이미지 처리부(130)는 대상체의 상태 정보가 갱신됨에 따라, 가상 의복 이미지의 상태 정보를 실시간으로 갱신할 수 있다. The image processing unit 130 according to an embodiment of the present invention calculates status information of the virtual clothing image based on the acquired status information of the target object, and based on the calculated status information, Can be combined with images. The image processing unit 130 can update the status information of the virtual clothing image in real time as the status information of the object is updated.

본 발명의 일 실시예에 따른 렌더링부(140)는 가상 의복 이미지와 촬영된 실제 장면 이미지가 합성된 증강 현실 이미지를 렌더링할 수 있다. 렌더링부(140)는 좌측 시각에서의 합성 이미지(740) 및 우측 시각에서의 합성 이미지(750)를 복수개의 렌더러블 카메라를 이용하여 렌더링할 수 있다.The rendering unit 140 according to an embodiment of the present invention may render an augmented reality image in which a virtual clothing image and a photographed real scene image are combined. The rendering unit 140 may render the composite image 740 at the left time and the composite image 750 at the right time using a plurality of renderable cameras.

도 8은 일 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 흐름도이다.8 is a flowchart illustrating an augmented reality providing method according to an embodiment.

단계 810에서, 일 실시예에 따른 증강 현실 제공 장치(100)는 서로 다른 복수개의 시각에서 대상체를 포함하는 실제 장면을 촬영한다. In step 810, the augmented reality providing apparatus 100 according to an embodiment shoots an actual scene including a target object at a plurality of different times.

단계 820에서, 일 실시예에 따른 증강 현실 제공 장치(100)는 촬영된 실제 장면에 포함된 대상체를 트래킹하여, 대상체의 상태 정보를 획득한다. In step 820, the augmented reality providing apparatus 100 according to an embodiment tracks the object included in the photographed real scene to obtain the state information of the object.

단계 830에서, 일 실시예에 따른 증강 현실 제공 장치(100)는 대상체의 획득된 상태 정보에 기초하여, 가상 이미지의 촬영된 실제 장면과 대응되는 상태 정보를 산출한다. In step 830, the augmented reality providing apparatus 100 according to one embodiment calculates state information corresponding to the photographed actual scene of the virtual image, based on the obtained state information of the object.

단계 840에서, 일 실시예에 따른 증강 현실 제공 장치(100)는 산출된 상태 정보에 기초하여 가상 이미지 및 촬영된 실제 장면을 합성한 증강 현실 이미지를 생성한다. In step 840, the augmented reality providing apparatus 100 according to one embodiment generates an augmented reality image in which a virtual image and a photographed real scene are synthesized based on the calculated state information.

일 실시예에 따른 증강 현실 제공 장치(100)는 산출된 가상 이미지의 상태 정보 및 획득된 대상체의 상태 정보 중 적어도 하나에 기초하여, 대상체에 대응하는 투명 모형을 생성할 수 있다. 증강 현실 제공 장치(100)는 가상 이미지와 대상체 사이의 가림 효과를 발생시키기 위하여, 투명 모형을 대상체에 오버랩할 수 있다. 증강 현실 제공 장치(100)는 가상 이미지 및 촬영된 실제 장면을 합성하여, 가림 효과가 적용된 증강 현실 이미지를 생성할 수 있다. The augmented reality providing apparatus 100 according to an exemplary embodiment can generate a transparent model corresponding to a target object based on at least one of the state information of the virtual image and the obtained state information of the target object. The augmented reality providing apparatus 100 may overlap a transparent model with a target object in order to generate a blurring effect between the virtual image and the target object. The augmented reality providing apparatus 100 can generate augmented reality image to which a blurring effect is applied by combining a virtual image and a photographed actual scene.

단계 850에서, 일 실시예에 따른 증강 현실 제공 장치(100)는 생성된 증강 현실 이미지를 렌더링한다. In step 850, the augmented reality providing apparatus 100 according to an embodiment renders the generated augmented reality image.

일 실시예에 따른 증강 현실 제공 장치(100)는 3D 디스플레이가 가능한 전자 장치에서 구현될 수 있다.The augmented reality providing apparatus 100 according to an embodiment may be implemented in an electronic device capable of 3D display.

일 실시예에 따른 증강 현실 제공 장치(100)는 사용자에게 3D 가상 시착 서비스를 제공할 수 있다.The augmented reality providing apparatus 100 according to an exemplary embodiment may provide a 3D virtual touch service to a user.

일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. One embodiment may also be implemented in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.

전술한 설명은 예시를 위한 것이며, 개시된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It is to be understood that the foregoing description is intended to be illustrative, and that those skilled in the art to which the disclosed embodiments belong may readily modify other embodiments without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

개시된 실시예들의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 개시된 실시예들의 범위에 포함되는 것으로 해석되어야 한다.The scope of the disclosed embodiments is defined by the appended claims rather than the foregoing detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are included in the scope of the disclosed embodiments Should be interpreted.

100: 증강 현실 제공 장치 110: 촬영 모듈
120: 트래킹부 130: 이미지 처리부
140: 렌더링부 220: 대상체의 상태 정보
230: 가상 이미지의 상태 정보 250: 디스플레이부100: augmented reality providing device 110: photographing module
120: tracking unit 130: image processing unit
140: rendering unit 220: status information of the object
230: Status information of the virtual image 250:

Claims (19)

서로 이격하게 배치되어, 대상체를 포함하는 실제 장면을 촬영하는 복수개의 촬영 모듈;
상기 촬영된 실제 장면에 포함된 상기 대상체를 트래킹하여, 상기 대상체의 상태 정보를 획득하는 트래킹부;
상기 대상체의 상기 획득된 상태 정보에 기초하여 가상 이미지의 상기 촬영된 실제 장면과 대응되는 상태 정보를 산출하고, 상기 산출된 상태 정보에 기초하여 상기 가상 이미지 및 상기 촬영된 실제 장면을 합성한 증강 현실 이미지를 생성하는 이미지 처리부; 및
상기 생성된 증강 현실 이미지를 디스플레이하기 위하여 렌더링하는 렌더링부를 포함하는 증강 현실 제공 장치.A plurality of photographing modules arranged apart from each other and photographing an actual scene including the object;
A tracking unit for tracking the object included in the photographed real scene and obtaining state information of the object;
A state information generator for generating state information corresponding to the photographed actual scene of the virtual image based on the obtained state information of the object and generating an augmented reality based on the virtual image and the photographed real scene based on the calculated state information An image processing unit for generating an image; And
And a rendering unit configured to render the generated augmented reality image to display the augmented reality image. 제1항에 있어서, 상기 이미지 처리부는,
상기 가상 이미지의 상기 산출된 상태 정보에 기초하여, 상기 대상체에 대응하는 투명 모형을 생성하고, 상기 가상 이미지와 상기 대상체 사이의 가림 효과를 발생시키기 위하여, 상기 투명 모형을 상기 대상체에 오버랩하는, 증강 현실 제공 장치.The image processing apparatus according to claim 1,
A transparent model corresponding to the object is generated based on the calculated state information of the virtual image, and the transparent model is overlapped with the object to generate a clipping effect between the virtual image and the object, Reality providing device. 제1항에 있어서, 상기 이미지 처리부는,
상기 대상체의 상기 획득된 상태 정보에 기초하여, 상기 대상체에 대응하는 투명 모형을 생성하고, 상기 가상 이미지와 상기 대상체 사이의 가림 효과를 발생시키기 위하여, 상기 투명 모형을 상기 대상체에 오버랩하는, 증강 현실 제공 장치.The image processing apparatus according to claim 1,
A transparent model corresponding to the object based on the acquired state information of the object and overlapping the transparent model with the object in order to generate a clipping effect between the virtual image and the object, . 제1항에 있어서, 상기 렌더링부는,
복수개의 렌더러블 카메라를 포함하며,
상기 복수개의 렌더러블 카메라를 이용하여 상기 가상 이미지 및 상기 촬영된 실제 장면을 렌더링하는 증강 현실 제공 장치.The apparatus of claim 1,
A plurality of renderable cameras,
And the virtual image and the photographed real scene are rendered using the plurality of renderable cameras. 제1항에 있어서, 상기 가상 이미지는
가상 안경 이미지이고,
상기 복수개의 촬영 모듈은 제1 카메라 및 제2 카메라를 포함하고,
상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나는 상기 트래킹부를 포함하고,
상기 제1 카메라는 상기 실제 장면을 좌측에서 촬영하고, 상기 제2 카메라는 상기 실제 장면을 우측에서 촬영하는, 증강 현실 제공 장치.The method of claim 1,
It is a virtual eyeglass image,
Wherein the plurality of photographing modules include a first camera and a second camera,
At least one of the first camera and the second camera includes the tracking unit,
Wherein the first camera photographs the actual scene on the left side, and the second camera photographs the actual scene on the right side. 제5항에 있어서, 상기 이미지 처리부는,
상기 제1 카메라 및 상기 제2 카메라 중 상기 트래킹부를 포함하는 적어도 하나의 카메라를 이용하여, 상기 대상체의 머리 부분을 트래킹하여 상기 대상체의 머리 부분의 상태 정보를 획득하고, 상기 대상체의 머리 부분의 상태 정보에 기초하여 상기 가상 안경 이미지의 상기 촬영된 실제 장면과 대응되는 상태 정보를 산출하고, 상기 산출된 상태 정보에 기초하여 상기 가상 안경 이미지를 상기 대상체의 머리 부분에 오버랩하여 증강 현실 이미지를 생성하는, 증강 현실 제공 장치. 6. The image processing apparatus according to claim 5,
Wherein at least one camera including the tracking unit of the first camera and the second camera is used to track the head of the target object to obtain the state information of the head of the target object, And generates an augmented reality image by overlapping the virtual eyeglass image with a head portion of the object based on the calculated state information, based on the state information corresponding to the photographed actual scene of the virtual eyeglass image , An augmented reality providing device. 제1항에 있어서, 상기 가상 이미지는
가상 의복 이미지이고,
상기 복수개의 촬영 모듈은 제1 카메라 및 제2 카메라를 포함하고,
상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나는 상기 트래킹부를 포함하고,
상기 제1 카메라는 상기 실제 장면을 좌측에서 촬영하고, 상기 제2 카메라는 상기 실제 장면을 우측에서 촬영하는, 증강 현실 제공 장치.The method of claim 1,
It is a virtual clothing image,
Wherein the plurality of photographing modules include a first camera and a second camera,
At least one of the first camera and the second camera includes the tracking unit,
Wherein the first camera photographs the actual scene on the left side, and the second camera photographs the actual scene on the right side. 제7항에 있어서, 상기 이미지 처리부는,
상기 대상체의 형태 정보를 획득하는 깊이 센서를 포함하고, 상기 깊이 센서에 의해 획득된 상기 대상체의 형태 정보에 기초하여 상기 가상 의복 이미지의 형태 정보를 산출하고, 상기 산출된 형태 정보에 기초하여 상기 가상 의복 이미지의 형태를 변경하고, 상기 변경된 가상 의복 이미지를 상기 대상체에 오버랩하여 증강 현실 이미지를 생성하고,
상기 렌더링부는 상기 실제 장면이 촬영된 위치인 양 측면에서 상기 증강 현실 이미지를 렌더링하는, 증강 현실 제공 장치.The image processing apparatus according to claim 7,
And a depth sensor for obtaining shape information of the target object, wherein the shape information of the virtual clothing image is calculated based on the shape information of the target object obtained by the depth sensor, and based on the calculated shape information, Changing the form of the garment image, generating the augmented reality image by overlapping the modified virtual garment image with the object,
Wherein the rendering unit renders the augmented reality image on both sides where the actual scene is photographed. 제1항에 있어서, 상기 복수개의 촬영 모듈은
상기 트래킹부를 포함하는 복수개의 트래킹 카메라를 포함하며,
상기 렌더링부는 복수개의 렌더러블 카메라를 포함하고,
상기 복수개의 렌더러블 카메라 각각의 파라미터는 상기 복수개의 트래킹 카메라 각각의 파라미터와 대응되도록 설정된, 증강 현실 제공 장치.The apparatus according to claim 1, wherein the plurality of photographing modules
And a plurality of tracking cameras including the tracking unit,
Wherein the rendering unit includes a plurality of renderable cameras,
Wherein the parameter of each of the plurality of renderable cameras is set to correspond to a parameter of each of the plurality of tracking cameras. 제1항에 있어서,
상기 렌더링된 증강 현실 이미지를 디스플레이하는 디스플레이부를 더 포함하는 증강 현실 제공 장치.The method according to claim 1,
And a display unit for displaying the rendered augmented reality image. 서로 다른 복수개의 시각에서 대상체를 포함하는 실제 장면을 촬영하는 단계;
상기 촬영된 실제 장면에 포함된 상기 대상체를 트래킹하여, 상기 대상체의 상태 정보를 획득하는 단계;
상기 대상체의 상기 획득된 상태 정보에 기초하여 가상 이미지의 상기 촬영된 실제 장면과 대응되는 상태 정보를 산출하는 단계;
상기 산출된 상태 정보에 기초하여 상기 가상 이미지 및 상기 촬영된 실제 장면을 합성한 증강 현실 이미지를 생성하는 단계; 및
상기 증강 현실 이미지를 렌더링하는 단계를 포함하는 증강 현실 제공 방법.Capturing an actual scene including a target object at a plurality of different views;
Obtaining state information of the object by tracking the object included in the photographed actual scene;
Calculating state information corresponding to the photographed actual scene of the virtual image based on the obtained state information of the object;
Generating an augmented reality image in which the virtual image and the photographed real scene are synthesized based on the calculated state information; And
And rendering the augmented reality image. 제11항에 있어서, 상기 증강 현실 이미지를 생성하는 단계는,
상기 가상 이미지의 상기 산출된 상태 정보에 기초하여, 상기 대상체에 대응하는 투명 모형을 생성하는 단계;
상기 가상 이미지와 상기 대상체 사이의 가림 효과를 발생시키기 위하여, 상기 투명 모형을 상기 대상체에 오버랩하는 단계; 및
상기 가상 이미지 및 상기 촬영된 실제 장면을 합성하여, 상기 가림 효과가 적용된 상기 증강 현실 이미지를 생성하는 단계를 포함하는 증강 현실 제공 방법.12. The method of claim 11, wherein the step of generating the augmented reality image comprises:
Generating a transparent model corresponding to the object based on the calculated state information of the virtual image;
Overlapping the transparent model with the object to generate a clipping effect between the virtual image and the object; And
And synthesizing the virtual image and the photographed real scene to generate the augmented reality image to which the blurring effect is applied. 제11항에 있어서, 상기 증강 현실 이미지를 생성하는 단계는,
상기 대상체의 상기 획득된 상태 정보에 기초하여, 상기 대상체에 대응하는 투명 모형을 생성하는 단계;
상기 가상 이미지와 상기 대상체 사이의 가림 효과를 발생시키기 위하여, 상기 투명 모형을 상기 대상체에 오버랩하는 단계; 및
상기 가상 이미지 및 상기 촬영된 실제 장면을 합성하여, 상기 가림 효과가 적용된 상기 증강 현실 이미지를 생성하는 단계를 포함하는 증강 현실 제공 방법.12. The method of claim 11, wherein the step of generating the augmented reality image comprises:
Generating a transparent model corresponding to the object based on the obtained state information of the object;
Overlapping the transparent model with the object to generate a clipping effect between the virtual image and the object; And
And synthesizing the virtual image and the photographed real scene to generate the augmented reality image to which the blurring effect is applied. 제11항에 있어서, 상기 증강 현실 이미지를 렌더링하는 단계는,
복수개의 렌더링부를 이용하여 상기 가상 이미지 및 상기 촬영된 실제 장면을 렌더링하는, 증강 현실 제공 방법.12. The method of claim 11, wherein rendering the augmented reality image comprises:
And rendering the virtual image and the photographed real scene using a plurality of rendering units. 제11항에 있어서, 상기 가상 이미지는
가상 안경 이미지이고,
상기 실제 장면을 촬영하는 단계는 상기 실제 장면을 좌측 및 우측에서 촬영하는, 증강 현실 제공 방법.12. The method of claim 11,
It is a virtual eyeglass image,
Wherein the step of photographing the actual scene captures the actual scene on the left and right sides. 제15항에 있어서, 상기 대상체의 상태 정보를 획득하는 단계는,
상기 좌측에서 촬영된 실제 장면 및 상기 우측에서 촬영된 실제 장면 중 적어도 하나를 이용하여, 상기 대상체의 머리 부분을 트래킹하여, 상기 대상체의 머리 부분의 상태 정보를 획득하는 단계를 포함하고,
상기 가상 이미지의 상태 정보를 산출하는 단계는,
상기 대상체의 머리 부분의 상태 정보에 기초하여 상기 가상 안경 이미지의 상기 촬영된 실제 장면과 대응되는 상태 정보를 산출하는 단계를 포함하고,
상기 증강 현실 이미지를 생성하는 단계는,
상기 산출된 상태 정보에 기초하여 상기 가상 안경 이미지를 상기 대상체의 머리 부분에 오버랩하여 증강 현실 이미지를 생성하는 단계를 포함하고,
상기 증강 현실 이미지를 렌더링하는 단계는,
상기 실제 장면을 촬영한 위치인 양 측면에서 상기 증강 현실 이미지를 렌더링하는 단계를 포함하는 증강 현실 제공 방법.16. The method of claim 15, wherein the obtaining of status information of the object comprises:
And tracking the head portion of the object using at least one of the actual scene photographed from the left side and the actual scene photographed from the right side to obtain the state information of the head portion of the object,
Wherein the step of calculating status information of the virtual image comprises:
And calculating state information corresponding to the photographed actual scene of the virtual eyeglass image based on state information of the head portion of the object,
Wherein the step of generating the augmented reality image comprises:
And generating the augmented reality image by overlapping the virtual eyeglass image with the head part of the object based on the calculated state information,
The step of rendering the augmented reality image comprises:
And rendering the augmented reality image on both sides of a position where the actual scene is photographed. 제11항에 있어서, 상기 가상 이미지는
가상 의복 이미지이고,
상기 실제 장면을 촬영하는 단계는, 상기 실제 장면을 좌측 및 우측에서 촬영하는, 증강 현실 제공 방법.12. The method of claim 11,
It is a virtual clothing image,
Wherein the step of photographing the actual scene captures the actual scene on the left and right sides. 제17항에 있어서, 상기 대상체의 상태 정보를 획득하는 단계는,
깊이 센서를 이용하여 상기 대상체의 형태 정보를 획득하는 단계를 포함하고,
상기 가상 이미지의 상태 정보를 산출하는 단계는,
상기 획득된 대상체의 형태 정보에 기초하여 상기 가상 의복 이미지의 형태 정보를 산출하는 단계를 포함하고,
상기 증강 현실 이미지를 생성하는 단계는
상기 산출된 형태 정보에 기초하여 상기 가상 의복 이미지의 형태를 변형하고, 상기 변형된 가상 의복 이미지를 상기 대상체에 오버랩하여 증강 현실 이미지를 생성하는 단계를 포함하고,
상기 증강 현실 이미지를 렌더링하는 단계는,
상기 좌측 및 우측에서 상기 증강 현실 이미지를 렌더링하는 단계를 포함하는 증강 현실 제공 방법.The method of claim 17, wherein the obtaining of the state information of the object comprises:
Acquiring shape information of the object using a depth sensor,
Wherein the step of calculating status information of the virtual image comprises:
And calculating shape information of the virtual garment image based on the obtained shape information of the target object,
The step of generating the augmented reality image
Modifying the shape of the virtual clothing image based on the calculated shape information and generating an augmented reality image by overlapping the modified virtual clothing image with the object,
The step of rendering the augmented reality image comprises:
And rendering the augmented reality image on the left and right sides. 제11항 내지 제18항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium recording a program for causing a computer to execute the method according to any one of claims 11 to 18.
KR1020140019692A 2003-10-15 2014-02-20 Method and apparatus for providing augmented reality KR102214827B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/193,411 US20140240354A1 (en) 2013-02-28 2014-02-28 Augmented reality apparatus and method
US14/323,298 US9224426B2 (en) 2003-10-15 2014-07-03 Apparatus and method for managing multimedia playback

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310063294.8A CN104021590A (en) 2013-02-28 2013-02-28 Virtual try-on system and virtual try-on method
CN201310063294.8 2013-02-28

Publications (2)

Publication Number Publication Date
KR20140108128A true KR20140108128A (en) 2014-09-05
KR102214827B1 KR102214827B1 (en) 2021-02-15

Family

ID=51438326

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140019692A KR102214827B1 (en) 2003-10-15 2014-02-20 Method and apparatus for providing augmented reality

Country Status (2)

Country Link
KR (1) KR102214827B1 (en)
CN (1) CN104021590A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016137595A1 (en) * 2015-02-25 2016-09-01 Intel Corporation Scene modification for augmented reality using markers with parameters
KR101696102B1 (en) * 2015-11-04 2017-01-13 계명대학교 산학협력단 System for providing virtual reality and method thereof
CN109685906A (en) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 Scene fusion method and device based on augmented reality
US10586276B2 (en) 2016-03-31 2020-03-10 Samsung Electronics Co., Ltd. Method and device for combining an avatar image with a portion of a user's image
KR20220064130A (en) * 2020-11-11 2022-05-18 홍인숙 Virtual accessory fitting simulation system using augmented reality
CN114640838A (en) * 2022-03-15 2022-06-17 北京奇艺世纪科技有限公司 Picture synthesis method and device, electronic equipment and readable storage medium
KR102533209B1 (en) * 2022-09-29 2023-05-17 주식회사 리콘랩스 Method and system for creating dynamic extended reality content

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025584B (en) * 2016-01-29 2020-05-08 中芯国际集成电路制造(上海)有限公司 Fitting service processing method based on glasses type interactive terminal
FR3053509B1 (en) * 2016-06-30 2019-08-16 Fittingbox METHOD FOR OCCULATING AN OBJECT IN AN IMAGE OR A VIDEO AND ASSOCIATED AUGMENTED REALITY METHOD
CN106355479A (en) * 2016-09-22 2017-01-25 京东方科技集团股份有限公司 Virtual fitting method, virtual fitting glasses and virtual fitting system
CN108108370A (en) * 2016-11-24 2018-06-01 百度在线网络技术（北京）有限公司 Search result methods of exhibiting and device
CN106773050B (en) * 2016-12-28 2019-07-05 广州时间网络科技有限公司 A kind of intelligent AR glasses virtually integrated based on two dimensional image
CN107833109A (en) * 2017-11-27 2018-03-23 赵明 A kind of holographic matching process and system of wisdom retail
US10552665B2 (en) * 2017-12-12 2020-02-04 Seiko Epson Corporation Methods and systems for training an object detection algorithm using synthetic images
CN108108023B (en) 2018-01-02 2021-02-19 联想(北京)有限公司 Display method and display system
CN108182730B (en) * 2018-01-12 2022-08-12 北京小米移动软件有限公司 Virtual and real object synthesis method and device
US11182973B2 (en) 2018-01-24 2021-11-23 Hewlett-Packard Development Company, L.P. Augmented reality display
CN108764135B (en) * 2018-05-28 2022-02-08 北京微播视界科技有限公司 Image generation method and device and electronic equipment
CN108830928A (en) * 2018-06-28 2018-11-16 北京字节跳动网络技术有限公司 Mapping method, device, terminal device and the readable storage medium storing program for executing of threedimensional model
CN111710044A (en) * 2019-03-18 2020-09-25 北京京东尚科信息技术有限公司 Image processing method, apparatus and computer-readable storage medium
CN110179296B (en) * 2019-06-05 2020-10-16 浙江中谷塑业有限公司 Intelligent exhibition stand based on target identification and interest commodity detection
CN111951407A (en) * 2020-08-31 2020-11-17 福州大学 Augmented reality model superposition method with real position relation
CN114445601A (en) * 2022-04-08 2022-05-06 北京大甜绵白糖科技有限公司 Image processing method, device, equipment and storage medium
CN115174985B (en) * 2022-08-05 2024-01-30 北京字跳网络技术有限公司 Special effect display method, device, equipment and storage medium
CN117292097B (en) * 2023-11-23 2024-02-02 南昌世弘泛亚科技股份有限公司 AR try-on interactive experience method and system

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010079421A (en) * 2001-07-14 2001-08-22 홍순모 A design method provide with 3D rendering for fashion goods and therefor system
KR20040097349A (en) * 2002-03-26 2004-11-17 김소운 System and Method for 3-Dimension Simulation of Glasses
JP2006249618A (en) * 2005-03-11 2006-09-21 Toshiba Corp Virtual try-on device
KR20090054779A (en) * 2007-11-27 2009-06-01 백진철 Apparatus and method of web based fashion coordination
KR20100073175A (en) * 2008-12-22 2010-07-01 한국전자통신연구원 Methodlogy of animatable digital clone creation from multi-view images capturing dynamic performance
KR20110104686A (en) * 2010-03-17 2011-09-23 에스케이텔레콤 주식회사 Marker size based interaction method and augmented reality system for realizing the same
KR20110107542A (en) * 2010-03-25 2011-10-04 에스케이텔레콤 주식회사 Augmented reality system and method using virtual user interface
KR20110136038A (en) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 System for tracking augmented reality device using several sensor
KR20110136026A (en) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 System for optimizing a augmented reality data
KR20120007878A (en) * 2010-07-15 2012-01-25 경희대학교 산학협력단 3d motion tracking method of human's movement
US20120086783A1 (en) * 2010-06-08 2012-04-12 Raj Sareen System and method for body scanning and avatar creation
US20120313955A1 (en) * 2010-01-18 2012-12-13 Fittingbox Augmented reality method applied to the integration of a pair of spectacles into an image of a face
US20130314410A1 (en) * 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for rendering virtual try-on products

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231790A (en) * 2007-12-20 2008-07-30 北京理工大学 Enhancing reality flight simulator based on a plurality of fixed cameras
CN102073793A (en) * 2011-01-25 2011-05-25 张庆国 Cube algorithm-based 4D digital film network cooperative creation system
CN102156810A (en) * 2011-03-30 2011-08-17 北京触角科技有限公司 Augmented reality real-time virtual fitting system and method thereof
CN102156808A (en) * 2011-03-30 2011-08-17 北京触角科技有限公司 System and method for improving try-on effect of reality real-time virtual ornament
CN102682211A (en) * 2012-05-09 2012-09-19 晨星软件研发(深圳)有限公司 Three-dimensional fitting method and device
CN202662016U (en) * 2012-07-20 2013-01-09 长安大学 Real-time virtual fitting device

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010079421A (en) * 2001-07-14 2001-08-22 홍순모 A design method provide with 3D rendering for fashion goods and therefor system
KR20040097349A (en) * 2002-03-26 2004-11-17 김소운 System and Method for 3-Dimension Simulation of Glasses
KR20040097200A (en) * 2002-03-26 2004-11-17 김소운 System and Method for 3-Dimension Simulation of Glasses
JP2006249618A (en) * 2005-03-11 2006-09-21 Toshiba Corp Virtual try-on device
KR20090054779A (en) * 2007-11-27 2009-06-01 백진철 Apparatus and method of web based fashion coordination
KR20100073175A (en) * 2008-12-22 2010-07-01 한국전자통신연구원 Methodlogy of animatable digital clone creation from multi-view images capturing dynamic performance
US20120313955A1 (en) * 2010-01-18 2012-12-13 Fittingbox Augmented reality method applied to the integration of a pair of spectacles into an image of a face
KR20110104686A (en) * 2010-03-17 2011-09-23 에스케이텔레콤 주식회사 Marker size based interaction method and augmented reality system for realizing the same
KR20110107542A (en) * 2010-03-25 2011-10-04 에스케이텔레콤 주식회사 Augmented reality system and method using virtual user interface
US20120086783A1 (en) * 2010-06-08 2012-04-12 Raj Sareen System and method for body scanning and avatar creation
KR20110136038A (en) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 System for tracking augmented reality device using several sensor
KR20110136026A (en) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 System for optimizing a augmented reality data
KR20120007878A (en) * 2010-07-15 2012-01-25 경희대학교 산학협력단 3d motion tracking method of human's movement
US20130314410A1 (en) * 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for rendering virtual try-on products

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016137595A1 (en) * 2015-02-25 2016-09-01 Intel Corporation Scene modification for augmented reality using markers with parameters
US10026228B2 (en) 2015-02-25 2018-07-17 Intel Corporation Scene modification for augmented reality using markers with parameters
KR101696102B1 (en) * 2015-11-04 2017-01-13 계명대학교 산학협력단 System for providing virtual reality and method thereof
US10586276B2 (en) 2016-03-31 2020-03-10 Samsung Electronics Co., Ltd. Method and device for combining an avatar image with a portion of a user's image
US11232512B2 (en) 2016-03-31 2022-01-25 Samsung Electronics Co., Ltd. Method and device for combining an avatar image with a portion of a user's image
CN109685906A (en) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 Scene fusion method and device based on augmented reality
KR20220064130A (en) * 2020-11-11 2022-05-18 홍인숙 Virtual accessory fitting simulation system using augmented reality
CN114640838A (en) * 2022-03-15 2022-06-17 北京奇艺世纪科技有限公司 Picture synthesis method and device, electronic equipment and readable storage medium
CN114640838B (en) * 2022-03-15 2023-08-25 北京奇艺世纪科技有限公司 Picture synthesis method and device, electronic equipment and readable storage medium
KR102533209B1 (en) * 2022-09-29 2023-05-17 주식회사 리콘랩스 Method and system for creating dynamic extended reality content
WO2024071519A1 (en) * 2022-09-29 2024-04-04 주식회사 리콘랩스 Method and system for generating dynamic extended reality (xr) content

Also Published As

Publication number Publication date
CN104021590A (en) 2014-09-03
KR102214827B1 (en) 2021-02-15

Similar Documents

Publication Publication Date Title
KR102214827B1 (en) Method and apparatus for providing augmented reality
US11010958B2 (en) Method and system for generating an image of a subject in a scene
TWI712918B (en) Method, device and equipment for displaying images of augmented reality
JP4933406B2 (en) Image processing apparatus and image processing method
US20180192033A1 (en) Multi-view scene flow stitching
US20140240354A1 (en) Augmented reality apparatus and method
US20110216160A1 (en) System and method for creating pseudo holographic displays on viewer position aware devices
TWI547901B (en) Simulating stereoscopic image display method and display device
TW201835723A (en) Graphic processing method and device, virtual reality system, computer storage medium
CN109598796A (en) Real scene is subjected to the method and apparatus that 3D merges display with dummy object
WO2019085022A1 (en) Generation method and device for optical field 3d display unit image
CN108616752B (en) Head-mounted equipment supporting augmented reality interaction and control method
CN105611267B (en) Merging of real world and virtual world images based on depth and chrominance information
JP2019510991A (en) Arrangement for rendering virtual reality with an adaptive focal plane
JP7148634B2 (en) head mounted display device
US9161012B2 (en) Video compression using virtual skeleton
JP6775669B2 (en) Information processing device
US10902554B2 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
WO2018173206A1 (en) Information processing device
JP7044846B2 (en) Information processing equipment
JP5539486B2 (en) Information processing apparatus and information processing method
JP6562371B1 (en) Display device, display processing device, and display processing program
Hamadouche Augmented reality X-ray vision on optical see-through head mounted displays
JP2024062935A (en) Method and apparatus for generating stereoscopic display content - Patents.com
CN116612234A (en) Efficient dynamic occlusion based on stereoscopic vision within augmented or virtual reality applications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant