KR20110107545A - Augmented reality system and method using recognition light source, augmented reality processing apparatus for realizing the same - Google Patents

Augmented reality system and method using recognition light source, augmented reality processing apparatus for realizing the same Download PDF

Info

Publication number
KR20110107545A
KR20110107545A KR1020100026720A KR20100026720A KR20110107545A KR 20110107545 A KR20110107545 A KR 20110107545A KR 1020100026720 A KR1020100026720 A KR 1020100026720A KR 20100026720 A KR20100026720 A KR 20100026720A KR 20110107545 A KR20110107545 A KR 20110107545A
Authority
KR
South Korea
Prior art keywords
light source
frame
augmented reality
real
image
Prior art date
Application number
KR1020100026720A
Other languages
Korean (ko)
Inventor
정진
소경숙
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020100026720A priority Critical patent/KR20110107545A/en
Publication of KR20110107545A publication Critical patent/KR20110107545A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 광원 인식을 이용한 증강현실 시스템 및 그 방법과, 이를 구현하기 위한 증강현실 처리 장치에 관한 것으로서, 상세하게는 실제 영상에서 인식된 실제 객체의 위치에서의 현실 환경(예컨대, 광원 등)의 인식을 통해 가상 객체를 보다 현실의 상황에 맞게 합성함으로써, 사용자에게 현실 환경을 정확하게 반영한 증강현실 합성 영상을 제공할 수 있다.The present invention relates to an augmented reality system and method using light source recognition, and to an augmented reality processing apparatus for implementing the same, and more specifically, to a real environment (eg, a light source, etc.) at a position of a real object recognized in a real image. By synthesizing the virtual objects according to the real situation through recognition, it is possible to provide a user with augmented reality composite image accurately reflecting the real environment.

Description

광원 인식을 이용한 증강현실 시스템 및 그 방법과, 이를 구현하기 위한 증강현실 처리 장치{AUGMENTED REALITY SYSTEM AND METHOD USING RECOGNITION LIGHT SOURCE, AUGMENTED REALITY PROCESSING APPARATUS FOR REALIZING THE SAME}Augmented reality system and method using light source recognition, and augmented reality processing apparatus for realizing the same.

본 발명은 광원 인식을 이용한 증강현실 시스템 및 그 방법과, 이를 구현하기 위한 증강현실 처리 장치에 관한 것으로서, 상세하게는 실제 영상에서 인식된 실제 객체의 위치에서의 현실 환경(예컨대, 광원 등)의 인식을 통해 가상 객체를 보다 현실의 상황에 맞게 합성함으로써, 사용자에게 현실 환경을 정확하게 반영한 증강현실 합성 영상을 제공할 수 있는, 광원 인식을 이용한 증강현실 시스템 및 그 방법과, 이를 구현하기 위한 증강현실 처리 장치에 관한 것이다.
The present invention relates to an augmented reality system and method using light source recognition, and to an augmented reality processing apparatus for implementing the same, and more specifically, to a real environment (eg, a light source, etc.) at a position of a real object recognized in a real image. Augmented reality system and method using light source recognition and augmented reality for realizing the augmented reality composite image that accurately reflects the real environment to the user by synthesizing the virtual object according to the real situation through recognition It relates to a processing device.

증강현실(AR: Agumented Reality)은 카메라를 통해 촬영된 실제 피사체나 특정 부위에 대해 미리 정해 놓은 정보나 가상 객체를 화면상에 합성한다. 이러한 증강현실은 보다 많은 정보를 표시하게 하거나 실제로 존재하는 것처럼 화면상에 가상 객체를 표시하여 현실을 더욱 풍부하게 보이게 한다.AR (Agumented Reality) synthesizes information or virtual objects that are predetermined about a real subject or a specific part photographed through a camera on a screen. Such augmented reality makes the reality appear richer by displaying more information or displaying virtual objects on the screen as if they existed.

증강현실의 구현을 위한 기술의 핵심은 대상 위치 인식(Recognition)과 인식된 지점의 위치 추적(Tracking) 및 영상 합성 기술이 포함된다. 증강현실은 대상 위치 인식 기술과 위치 추적 기술로 파악된 위치에 미리 준비된 가상 객체나 정보 등의 콘텐츠를 합성하는 방식으로 수행된다. 종래의 증강현실에서는 단순히 만들어 놓은 가상 객체를 사전에 정의해 놓은 특정 위치에 합성하여 현실의 모습보다 더욱 풍부한 표현을 가능하게 하는 기술이다.Key technologies for implementing augmented reality include object location recognition, tracking of recognized points, and image synthesis. Augmented reality is performed by synthesizing content, such as virtual objects or information, prepared in advance to locations identified by target location recognition technology and location tracking technology. In the conventional augmented reality, simply synthesized virtual objects are created at a specific location previously defined to enable a richer expression than reality.

하지만, 종래의 증강현실 기술에서는 현실의 상황(예컨대, 빛, 기울기 등)을 고려하지 않고 현실의 모습과는 매칭되지 않은 경우가 있었다. 이러한 비매칭은 사용자가 증강현실로 몰입하는 것을 방해하는 요소로 지적되고 있다.However, in the conventional augmented reality technology, there is a case where the actual augmented reality technology does not match the actual state without considering the situation (eg, light, tilt, etc.). This mismatch has been pointed out as a factor that prevents the user from immersing into augmented reality.

종래의 증강현실에서는 외부의 실제 환경을 반영하지 않고 미리 설정된 렌더링만을 수행하여 실제 생길 수 있는 그림자의 방향 등을 고려하지 않아 합성된 결과가 부자연스러운 경우가 있었다. 그 원인은 렌더링 시 미리 설정한 광원 정보 등을 기반으로 렌더링을 수행하여 현실에서의 광원과 차이가 나게 되어 부자연스러운 영상이 나타나게 된다.In the conventional augmented reality, the synthesized result may be unnatural because it does not consider the direction of shadow that may be actually generated by performing only a preset rendering without reflecting the external real environment. The cause is that the rendering is performed based on the pre-set light source information at the time of rendering to be different from the light source in reality, resulting in an unnatural image.

이러한 문제의 해결을 위해 종래의 기술은 센서를 이용하여 실제 광원을 인식하고 그 인식된 광원을 렌더링시에 반영하여 더욱 자연스러운 합성을 가능하게 한다. 하지만, 이러한 종래의 기술은 센서를 이용하기 때문에 사용자가 추가적인 센서 장비를 착용하거나 센서 장비가 설치되어야 하는 불편함이 있다.
In order to solve this problem, the conventional technology recognizes a real light source using a sensor and reflects the recognized light source in rendering to enable more natural synthesis. However, since the conventional technology uses a sensor, a user may be inconvenient to wear additional sensor equipment or to install the sensor equipment.

본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 실제 영상에서 인식된 실제 객체의 위치에서의 현실 환경(예컨대, 광원 등)의 인식을 통해 가상 객체를 보다 현실의 상황에 맞게 합성함으로써, 사용자에게 현실 환경을 정확하게 반영한 증강현실 합성 영상을 제공할 수 있는, 광원 인식을 이용한 증강현실 시스템 및 그 방법과, 이를 구현하기 위한 증강현실 처리 장치를 제공하는 것을 목적으로 한다.
The present invention has been made to solve the above problems, by synthesizing a virtual object to a more realistic situation through the recognition of the real environment (eg, light source, etc.) at the location of the real object recognized in the real image, It is an object of the present invention to provide an augmented reality system and method using light source recognition, and an augmented reality processing apparatus for realizing the augmented reality composite image that accurately reflects the real environment.

이를 위하여, 본 발명의 제1 측면에 따른 증강현실 시스템은, 광원 인식을 이용한 증강현실 시스템에 있어서, 실제 객체를 촬영하여 실제 영상을 획득하기 위한 영상 촬영 장치; 상기 실제 영상의 밝기를 고려하여 상기 실제 영상에서의 광원을 인식하고 상기 인식된 광원의 위치에 근거하여 음영을 가지는 가상 객체를 생성하고 상기 실제 영상에 상기 생성된 가상 객체를 렌더링하여 증강현실 영상을 생성하기 위한 증강현실 처리 장치; 및 상기 증강현실 처리 장치에서 생성된 증강현실 영상을 표시하기 위한 영상 표시 장치를 포함하는 것을 특징으로 한다.To this end, an augmented reality system according to a first aspect of the present invention, an augmented reality system using light source recognition, an image capture device for capturing a real object to obtain a real image; Recognizing a light source in the real image in consideration of the brightness of the real image, generating a virtual object having a shadow based on the position of the recognized light source, and rendering the generated virtual object on the real image to generate an augmented reality image. Augmented reality processing apparatus for generating; And an image display device for displaying an augmented reality image generated by the augmented reality processing device.

바람직하게는, 상기 증강현실 처리 장치는, 상기 실제 영상의 프레임을 복수의 프레임 영역으로 구분하고 상기 구분된 복수의 프레임 영역의 밝기에 근거하여 상기 실제 영상에서의 광원을 인식할 수 있다.Preferably, the apparatus for augmented reality processing may classify a frame of the real image into a plurality of frame regions and recognize a light source in the real image based on brightness of the divided plurality of frame regions.

바람직하게는, 상기 증강현실 처리 장치는, 상기 실제 영상에서의 실제 객체의 윤곽선을 인식하고 상기 인식된 윤곽선의 밝기가 소정의 밝기 이상의 객체를 탐색하여 상기 실제 영상에서의 광원을 인식할 수 있다.Preferably, the apparatus for augmented reality processing may recognize a contour of a real object in the real image and search for an object whose brightness of the recognized contour is greater than or equal to a predetermined brightness to recognize a light source in the real image.

바람직하게는, 상기 증강현실 처리 장치는, 상기 실제 영상의 프레임 내의 광원이 존재하지 않는 경우에 상기 실제 영상의 프레임의 밝기 변화를 통해 상기 실제 영상 외부의 광원 위치를 추정할 수 있다.Preferably, the augmented reality processing apparatus, when there is no light source in the frame of the real image may estimate the position of the light source outside the real image through the change in the brightness of the frame of the real image.

한편, 본 발명의 제2 측면에 따른 증강현실 처리 장치는, 광원을 이용한 증강현실 처리 장치에 있어서, 실제 영상에서 가상 객체가 합성될 실제 객체의 위치를 인식하고 상기 인식된 실제 객체의 위치를 트래킹하기 위한 위치 인식 및 트래킹부; 상기 실제 영상의 밝기를 고려하여 상기 실제 영상에서의 광원을 인식하기 위한 광원 인식부; 및 상기 트래킹된 실제 객체의 위치와 상기 결정된 광원의 위치를 기초로 하여 음영을 가지는 가상 객체를 생성하고, 상기 생성된 가상 객체를 상기 트래킹된 실제 객체의 위치에 합성하여 출력하기 위한 렌더링부를 포함하는 것을 특징으로 한다.Meanwhile, the augmented reality processing apparatus according to the second aspect of the present invention, in the augmented reality processing apparatus using a light source, recognizes the position of the real object to be synthesized virtual object in the real image and tracking the position of the recognized real object Position recognition and tracking unit for; A light source recognizing unit for recognizing a light source in the real image in consideration of brightness of the real image; And a rendering unit for generating a virtual object having a shadow based on the position of the tracked real object and the position of the determined light source, and outputting the synthesized virtual object to the position of the tracked real object. It is characterized by.

바람직하게는, 상기 광원 인식부는, 상기 실제 영상의 프레임을 복수의 프레임 영역으로 구분하고 상기 구분된 복수의 프레임 영역의 밝기에 근거하여 상기 실제 영상에서 광원을 인식할 수 있다.Preferably, the light source recognizing unit may classify the frame of the real image into a plurality of frame regions and recognize the light source in the real image based on the brightness of the divided plurality of frame regions.

바람직하게는, 상기 광원 인식부는, 상기 실제 영상의 프레임을 복수의 프레임 영역으로 구분하고, 상기 구분된 복수의 프레임 영역 중에서 밝기가 가장 밝은 프레임 영역의 중앙 또는 가장자리를 상기 광원의 위치로 결정할 수 있다.Preferably, the light source recognizing unit may divide a frame of the actual image into a plurality of frame regions, and determine a center or an edge of a frame region having the brightest brightness among the divided frame regions as the position of the light source. .

바람직하게는, 상기 광원 인식부는, 상기 실제 영상의 프레임을 같은 크기를 가지는 복수의 프레임 영역으로 구분하고, 상기 구분된 복수의 프레임 영역 중에서 밝기가 가장 밝은 프레임 영역과 가장 어두운 프레임 영역을 찾아 상기 광원의 위치를 결정할 수 있다.Preferably, the light source recognizing unit divides the frame of the real image into a plurality of frame regions having the same size, and finds the brightest frame region and the darkest frame region of the divided frame regions to find the light source. Can determine the position of.

바람직하게는, 상기 광원 인식부는, 상기 구분된 복수의 프레임 영역 중에서 프레임 밝기가 소정의 임계치 이상인 적어도 하나의 프레임 영역을 상기 광원의 위치로 결정할 수 있다.Preferably, the light source recognizing unit may determine, as the location of the light source, at least one frame region having a frame brightness of a predetermined threshold or more among the divided frame regions.

바람직하게는, 상기 광원 인식부는, 상기 실제 영상에서의 실제 객체의 윤곽선을 인식하고 상기 인식된 윤곽선의 밝기가 소정의 밝기 이상의 객체를 탐색하여 상기 실제 영상에서의 광원을 인식할 수 있다.Preferably, the light source recognizing unit may recognize the contour of the real object in the real image and search for an object whose brightness of the recognized contour is greater than a predetermined brightness to recognize the light source in the real image.

바람직하게는, 상기 광원 인식부는, 상기 실제 영상의 프레임 내의 광원이 존재하지 않는 경우에 상기 실제 영상의 프레임의 밝기 변화를 통해 상기 실제 영상 외부의 광원 위치를 추정할 수 있다.Preferably, the light source recognizing unit may estimate the location of the light source outside the real image by changing the brightness of the frame of the real image when there is no light source in the frame of the real image.

바람직하게는, 상기 렌더링부는, 상기 광원 인식부에서 광원의 위치가 변경되면, 상기 생성된 가상 객체의 가상 음영을 상기 변경된 광원의 위치에 맞게 변경할 수 있다.Preferably, when the position of the light source is changed in the light source recognizing unit, the rendering unit may change the virtual shadow of the generated virtual object to match the position of the changed light source.

바람직하게는, 상기 렌더링부는, 상기 합성된 가상 객체와 상기 인식된 광원 사이에 다른 실사 물체에 의해 생성된 다른 가상 객체가 삽입되면 상기 삽입된 다른 가상 객체에 의해 상기 인식된 광원이 가려짐에 따라 상기 생성된 가상 객체의 가상 음영을 변경할 수 있다.Preferably, when the other virtual object generated by the other real object is inserted between the synthesized virtual object and the recognized light source, the rendering unit may block the recognized light source by the inserted other virtual object. The virtual shadow of the generated virtual object may be changed.

본 발명의 제3 측면에 따른 증강현실 방법은, 광원을 이용한 증강현실 방법에 있어서, 실제 객체를 촬영하여 실제 영상을 획득하는 영사 획득 단계; 상기 획득된 실제 영상에서 가상 객체가 합성될 실제 객체의 위치를 인식하고 상기 인식된 실제 객체의 위치를 트래킹하는 인식 및 트래킹 단계; 상기 획득된 실제 영상의 밝기를 고려하여 상기 실제 영상에서의 광원을 인식하는 광원 인식 단계; 상기 인식된 광원을 기초로 하여 음영을 가지는 가상 객체를 생성하는 가상 객체 생성 단계; 상기 생성된 가상 객체를 상기 트래킹된 실제 영상에서의 실제 객체의 위치에 합성하는 영상 합성 단계; 및 상기 합성된 영상을 영상 표시 장치를 통해 표시하는 영상 표시 단계를 포함하는 것을 특징으로 한다.An augmented reality method according to a third aspect of the present invention, the augmented reality method using a light source, a projection acquisition step of obtaining a real image by photographing a real object; A recognition and tracking step of recognizing a position of a real object to which a virtual object is synthesized in the obtained real image and tracking a position of the recognized real object; A light source recognition step of recognizing a light source in the real image in consideration of the brightness of the obtained real image; Creating a virtual object having a shadow based on the recognized light source; An image synthesizing step of synthesizing the generated virtual object with a position of a real object in the tracked real image; And an image display step of displaying the synthesized image through an image display device.

바람직하게는, 상기 광원 인식 단계는, 상기 실제 영상의 프레임을 복수의 프레임 영역으로 구분하고 상기 구분된 복수의 프레임 영역의 밝기에 근거하여 상기 실제 영상에서 광원을 인식할 수 있다.Preferably, in the light source recognition step, the frame of the real image may be divided into a plurality of frame regions, and the light source may be recognized in the real image based on the brightness of the divided plurality of frame regions.

바람직하게는, 상기 광원 인식 단계는, 상기 실제 영상의 프레임을 복수의 프레임 영역으로 구분하고, 상기 구분된 복수의 프레임 영역 중에서 밝기가 가장 밝은 프레임 영역의 중앙 또는 가장자리를 상기 광원의 위치로 결정할 수 있다.Preferably, in the light source recognition step, the frame of the actual image may be divided into a plurality of frame regions, and a center or an edge of the frame region having the brightest brightness among the divided frame regions may be determined as the position of the light source. have.

바람직하게는, 상기 광원 인식 단계는, 상기 실제 영상의 프레임을 같은 크기를 가지는 복수의 프레임 영역으로 구분하고, 상기 구분된 복수의 프레임 영역 중에서 밝기가 가장 밝은 프레임 영역과 가장 어두운 프레임 영역을 찾아 상기 광원의 위치를 결정할 수 있다.Preferably, in the light source recognition step, the frame of the actual image is divided into a plurality of frame regions having the same size, and among the divided frame regions, the frame region having the brightest brightness and the darkest frame region is found. The location of the light source can be determined.

바람직하게는, 상기 광원 인식 단계는, 상기 구분된 복수의 프레임 영역 중에서 프레임 밝기가 소정의 임계치 이상인 적어도 하나의 프레임 영역을 상기 광원의 위치로 결정할 수 있다.Preferably, in the light source recognition step, at least one frame region having a frame brightness greater than or equal to a predetermined threshold value among the divided frame regions may be determined as the position of the light source.

바람직하게는, 상기 광원 인식 단계는, 상기 실제 영상에서의 실제 객체의 윤곽선을 인식하고 상기 인식된 윤곽선의 밝기가 소정의 밝기 이상의 객체를 탐색하여 상기 실제 영상에서의 광원을 인식할 수 있다.Preferably, in the light source recognition step, the contour of the real object in the real image may be recognized, and the light source in the real image may be recognized by searching for an object whose brightness of the recognized contour is greater than or equal to a predetermined brightness.

바람직하게는, 상기 광원 인식 단계는, 상기 실제 영상의 프레임 내의 광원이 존재하지 않는 경우에 상기 실제 영상의 프레임의 밝기 변화를 통해 상기 실제 영상 외부의 광원 위치를 추정할 수 있다.Preferably, in the light source recognition step, when there is no light source in the frame of the real image, the location of the light source outside the real image may be estimated by changing the brightness of the frame of the real image.

바람직하게는, 상기 가상 객체 생성 단계는, 상기 인식된 광원의 위치가 변경되면, 상기 생성된 가상 객체의 가상 음영을 상기 변경된 광원의 위치에 맞게 변경할 수 있다.Preferably, in the virtual object generation step, when the position of the recognized light source is changed, the virtual shadow of the generated virtual object may be changed to match the position of the changed light source.

바람직하게는, 상기 가상 객체 생성 단계는, 상기 합성된 가상 객체와 상기 인식된 광원 사이에 다른 실사 물체에 의해 생성된 다른 가상 객체가 삽입되면 상기 삽입된 다른 가상 객체에 의해 상기 인식된 광원이 가려짐에 따라 상기 생성된 가상 객체의 가상 음영을 변경할 수 있다.
Preferably, in the virtual object generating step, when the other virtual object generated by another real object is inserted between the synthesized virtual object and the recognized light source, the recognized light source is blocked by the inserted other virtual object. According to the load, the virtual shadow of the created virtual object may be changed.

본 발명은, 실제 영상에서 인식된 실제 객체의 위치에서의 현실 환경(예컨대, 광원 등)의 인식을 통해 가상 객체를 보다 현실의 상황에 맞게 합성함으로써, 사용자에게 현실 환경을 정확하게 반영한 증강현실 합성 영상을 제공할 수 있는 효과가 있다.The present invention synthesizes a virtual object to a more realistic situation by recognizing a real environment (for example, a light source) at a location of a real object recognized in a real image, thereby augmented reality composite image accurately reflecting the real environment to a user. There is an effect that can provide.

또한, 본 발명은, 실제 광원을 인식하고 반영하여 렌더링시에 반영하여 더욱 자연스러운 합성을 가능하게 함으로써, 더욱 자연스러운 합성 영상을 사용자에게 제공할 수 있는 효과가 있다.
In addition, the present invention has the effect of providing a more natural composite image by recognizing and reflecting the actual light source to be reflected at the time of rendering to enable more natural synthesis.

도 1 은 본 발명에 따른 광원을 이용한 증강현실 시스템의 일실시예 구성도,
도 2 및 도 3 은 본 발명에 따른 광원 인식부에서의 광원 결정 방식에 대한 제1 및 제2 실시예 예시도,
도 4 는 본 발명에 따른 광원을 이용한 증강현실 방법에 대한 일실시예 흐름도이다.1 is a configuration diagram of an embodiment of an augmented reality system using a light source according to the present invention;
2 and 3 are views illustrating first and second embodiments of a light source determination method in a light source recognition unit according to the present invention;
4 is a flowchart illustrating an embodiment of an augmented reality method using a light source according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configuration of the present invention and the operation and effect thereof will be clearly understood through the following detailed description. Prior to the detailed description of the present invention, the same components will be denoted by the same reference numerals even if they are displayed on different drawings, and the detailed description will be omitted when it is determined that the well-known configuration may obscure the gist of the present invention. do.

본 발명에 대한 구체적인 설명을 하기에 앞서, 증강현실을 구현하기 위한 기본적인 기술에 대하여 설명한다. Prior to the detailed description of the present invention, the basic technology for implementing augmented reality will be described.

증강현실은 카메라를 통해 촬영된 실제 피사체나 특정 부위에 대하여 미리 정해 놓은 정보 또는 가상 객체를 화면상에 합성하여, 부가적인 정보를 제공하거나 또는 실제 동작하는 것처럼 화면상에 표시하여 현실을 더욱 풍부하게 표시하는 비전(vision) 기술이다. Augmented reality combines predetermined information or virtual objects with respect to real subjects or specific areas captured by the camera on the screen, and provides additional information or displays them on the screen as if they were actually operated. It is the vision technology to display.

증강현실을 구현하기 위한 기본적인 기술은, 대상 위치 인식(Recognition) 및 인식된 지점의 트래킹(tracking) 기술, 해당 위치에서의 기울기 및 방향 등을 추정하는 기술, 가상 객체 생성 기술 및 합성 기술을 포함한다. 따라서, 인식 기술과 트랙킹 기술로 파악된 위치에 미리 정해둔 기울기 및 방향에 따라 가상 객체를 생성하고 합성하는 방식으로 구현될 수 있다. Basic techniques for implementing augmented reality include techniques for object recognition and tracking of recognized points, techniques for estimating inclination and direction at corresponding positions, virtual object creation techniques, and synthesis techniques. . Therefore, the virtual object may be implemented by generating and synthesizing a virtual object according to a predetermined tilt and direction at a position determined by a recognition technique and a tracking technique.

이중, 가상 객체 생성 기술은 미리 정해진 3차원 모델링 데이터에 따라 기울기 및 방향 등의 추정값을 통해 적정한 시점에서 보이도록 렌더링하여 가상 객체를 생성한다.Among them, the virtual object generation technology generates virtual objects by rendering them to be viewed at an appropriate point of time through estimation values such as tilt and direction according to predetermined 3D modeling data.

본 발명은 이러한 가상 객체 생성 분야에 해당하는 기술로, 실제 영상에서 인식된 실제 객체의 위치에서의 현실 환경(예컨대, 빛이나 소리 등)의 인식을 통해 가상 객체를 보다 현실의 상황에 맞게 합성하는 것이다. 구체적으로, 본 발명은 3차원 모델의 렌더링(예컨대, 색체 및 음영 등)에 관한 것이다.The present invention is a technology corresponding to the field of creating a virtual object, which synthesizes a virtual object according to a more realistic situation by recognizing a real environment (for example, light or sound) at a location of a real object recognized in a real image. will be. In particular, the present invention relates to the rendering of three-dimensional models (eg, color and shading, etc.).

도 1 은 본 발명에 따른 광원을 이용한 증강현실 시스템의 일실시예 구성도이다.1 is a configuration diagram of an embodiment of an augmented reality system using a light source according to the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 광원을 이용한 증강현실 시스템(10)은 영상 촬영 장치(11), 증강현실 처리 장치(100), 영상 표시 장치(12)를 포함한다. 여기서, 증강현실 처리 장치(100)는 위치 인식 및 트래킹부(110), 광원 인식부(120) 및 렌더링부(130)를 포함한다.As shown in FIG. 1, the augmented reality system 10 using the light source according to the present invention includes an image photographing apparatus 11, an augmented reality processing apparatus 100, and an image display apparatus 12. Here, the augmented reality processing apparatus 100 includes a position recognition and tracking unit 110, a light source recognition unit 120 and a rendering unit 130.

이하, 본 발명에 따른 광원을 이용한 증강현실 시스템(10) 및 증강현실 처리 장치(100)의 구성요소 각각에 대하여 살펴보기로 한다.Hereinafter, each of the components of the augmented reality system 10 and the augmented reality processing apparatus 100 using a light source according to the present invention will be described.

증강현실 시스템(10)의 영상 촬영 장치(11)는 실제 객체를 포함하는 현실 환경을 촬영하여 이로부터 현실 환경에 대한 실제 영상을 획득하고, 그 획득된 실제 영상을 증강현실 처리 장치(100)로 전달한다. 영상 촬영 장치(11)는 컴퓨터 등의 외부 콘트롤 장치와 연결되는 카메라 또는 웹캠(webcam)이거나, 개인휴대단말기에 내장된 카메라일 수 있다.The image capturing apparatus 11 of the augmented reality system 10 captures a real environment including a real object, obtains a real image of the real environment from the real environment, and converts the obtained real image into the augmented reality processing apparatus 100. To pass. The image capturing apparatus 11 may be a camera or a webcam connected to an external control device such as a computer, or a camera embedded in a personal portable terminal.

한편, 증강현실 처리 장치(100)의 위치 인식 및 트래킹부(110)는 영상 촬영 장치(11)에서 촬영된 실제 영상에서 가상 객체가 합성될 실제 객체의 위치를 인식하고 그 인식된 실제 객체의 위치를 트래킹한다. 위치 인식 및 트래킹부(110)는 영상 촬영 장치(11)로부터 실제 영상에 대한 좌표 정보를 추출하거나 미리 설정된 카메라 파라미터를 통해 실제 객체의 위치를 인식할 수 있다. 또한, 실제 객체의 위치 인식에 마커(Marker)가 이용되거나 실제 영상에서 마커리스(Markerless) 분석을 통해 해당 실제 객체의 위치가 인식되고 트래킹될 수 있다. 이러한 인식을 통해 위치 인식 및 트래킹부(110)는 실제 영상의 해당 위치에서의 가상 객체의 기울기 및 방향 등을 추정한다. 이는 가상 객체의 크기, 방향, 기울기 등을 실제 객체의 위치에 맞게 변경하기 위함이다.Meanwhile, the position recognizing and tracking unit 110 of the augmented reality processing apparatus 100 recognizes a position of a real object to which a virtual object is synthesized in a real image captured by the image capturing apparatus 11 and positions the recognized real object. To track. The location recognizing and tracking unit 110 may extract coordinate information of the real image from the image capturing apparatus 11 or recognize the location of the real object through a preset camera parameter. In addition, a marker may be used to recognize the position of the real object or the position of the corresponding real object may be recognized and tracked through markerless analysis in the real image. Through this recognition, the position recognition and tracking unit 110 estimates the inclination and direction of the virtual object at the corresponding position of the real image. This is to change the size, direction, and tilt of the virtual object according to the position of the real object.

광원 인식부(120)는 영상 촬영 장치(11)에서 촬영된 실제 영상에서의 광원을 인식한다. 구체적으로, 광원 인식부(120)는 영상 촬영 장치(11)에서 촬영된 실제 영상의 프레임을 복수의 프레임 영역으로 구분하고, 그 구분된 복수의 프레임 영역의 밝기를 고려하여 실제 영상에서의 광원을 인식한다. 즉, 광원 인식부(120)는 실제 영상과 합성될 가상 객체의 음영을 고려하여 복수의 프레임 영역으로 구분된 프레임 영역에서 광원의 위치를 결정한다. 또한, 광원 인식부(120)는 실제 영상에서의 실제 객체의 윤곽선을 인식하고, 그 인식된 윤곽선의 밝기가 미리 정의된 밝기 이상의 객체를 탐색하여 실제 영상에서의 광원을 인식할 수 있다. 또한, 광원 인식부(120)는 실제 영상의 프레임 내의 광원이 존재하지 않는 경우에 실제 영상의 프레임의 밝기 변화를 통해 실제 영상 외부의 광원 위치를 추정할 수 있다.The light source recognizing unit 120 recognizes a light source in an actual image captured by the image capturing apparatus 11. In detail, the light source recognizing unit 120 divides the frame of the actual image photographed by the image capturing apparatus 11 into a plurality of frame regions, and considers the brightness of the divided plurality of frame regions to select the light source of the actual image. Recognize. That is, the light source recognizing unit 120 determines the position of the light source in a frame region divided into a plurality of frame regions in consideration of the shadow of the virtual object to be synthesized with the actual image. In addition, the light source recognizing unit 120 may recognize the contour of the real object in the real image, search for an object whose brightness of the recognized contour is greater than a predetermined brightness, and recognize the light source in the real image. In addition, when there is no light source in the frame of the real image, the light source recognizing unit 120 may estimate the location of the light source outside the real image by changing the brightness of the frame of the real image.

렌더링부(130)는 광원 인식부(120)에서 인식된 광원을 기초로 하여 가상 음영을 가지는 가상 객체를 생성한다. 렌더링부(130)는 기본적으로 미리 정해진 3차원 모델링 데이터에 따라 가상 객체를 생성한다. 그리고 렌더링부(130)는 해당 실제 객체의 위치에 따라 가상 객체의 크기, 기울기 및 방향 등을 고려하여 사용자가 바라보는 실제 영상에서의 적정한 시점에서 보이도록 가상 객체를 변경할 수 있다. 여기서, 본 발명에 따른 증강현실 처리 장치(100)는 3차원 모델의 렌더링(예컨대, 색체 및 음영 등)에 관한 것으로, 렌더링부(130)는 색체 및 음영 등을 적용하여 3차원 모델의 가상 객체를 생성한다. 또한, 렌더링부(130)는 광원의 위치뿐만 아니라 광원의 종류에 따라 가상 객체의 음영을 변경할 수 있다. 렌더링부(130)는 생성된 가상 객체를 위치 인식 및 트래킹부(110)에서 트래킹된 실제 객체의 위치에 합성하여 영상 표시 장치(12)로 출력한다. 렌더링부(130)는 위치 인식 및 트래킹부(110)에서 트래킹된 실제 객체의 위치에 가상 객체를 정확하게 위치시키는 기능을 수행한다. 위치 인식 및 트래킹부(110)가 실시간으로 트래킹된 실제 객체의 위치를 렌더링부(130)로 전달하면, 렌더링부(130)는 그 트래킹된 위치에 정확하게 가상 객체를 합성하는 기능을 수행한다.The renderer 130 generates a virtual object having a virtual shadow based on the light source recognized by the light source recognizer 120. The rendering unit 130 basically generates a virtual object according to predetermined 3D modeling data. The rendering unit 130 may change the virtual object to be viewed at an appropriate point in the actual image viewed by the user in consideration of the size, tilt, and direction of the virtual object according to the position of the corresponding real object. Here, the augmented reality processing apparatus 100 according to the present invention relates to the rendering of the three-dimensional model (for example, color and shade, etc.), the rendering unit 130 by applying the color and shadow, etc. virtual object of the three-dimensional model Create In addition, the rendering unit 130 may change the shadow of the virtual object according to the type of the light source as well as the position of the light source. The renderer 130 synthesizes the generated virtual object with the position of the real object tracked by the position recognition and tracking unit 110 and outputs the synthesized virtual object to the image display device 12. The renderer 130 performs a function of accurately positioning the virtual object at the position of the real object tracked by the position recognition and tracking unit 110. When the position recognition and tracking unit 110 transmits the position of the real object tracked in real time to the rendering unit 130, the rendering unit 130 performs a function of synthesizing the virtual object accurately to the tracked position.

또한, 렌더링부(130)는 광원 인식부(120)에서 인식된 광원의 위치가 변경되면, 생성된 가상 객체의 음영을 그 변경된 광원의 위치에 맞게 변경할 수 있다. 또한, 렌더링부(130)는 다른 실사 객체에 의해 생성된 다른 가상 객체의 모양이나 위치를 광원에 반영하는 것이 가능하다. 예를 들면, 광원과 가상 객체 사이에 다른 실제 객체에 의해 생성된 다른 가상 객체를 위치시킬 경우, 다른 가상 객체에 의해 광원이 가려져 해당 모양으로 가상의 그림자가 생기거나 광량이 감소할 수 있다. 여기서, 다른 가상 객체는 다른 실제 객체가 위치하여 생성된다. 즉, 렌더링부(130)에서 실제 영상에 합성된 가상 객체와 광원 인식부(120)에서 인식된 광원의 위치 사이에 다른 실사 물체에 의해 생성된 다른 가상 객체가 삽입되면, 렌더링부(130)는 광원의 위치를 기준으로 새로 삽입된 다른 가상 객체에 의해 광원이 가려저 해당 모양으로 가상의 그림자가 생기거나 광량이 감소하는 것을 반영하여 가상 객체의 음영을 변경할 수 있다.In addition, when the position of the light source recognized by the light source recognition unit 120 is changed, the rendering unit 130 may change the shadow of the generated virtual object according to the changed position of the light source. In addition, the rendering unit 130 may reflect the shape or position of another virtual object generated by another actual object to the light source. For example, when placing another virtual object generated by another real object between the light source and the virtual object, the light source may be obscured by the other virtual object so that a virtual shadow may be formed in the shape or the amount of light may be reduced. Here, another virtual object is created by placing another real object. That is, when another virtual object generated by another real object is inserted between the virtual object synthesized in the actual image in the rendering unit 130 and the position of the light source recognized in the light source recognition unit 120, the rendering unit 130 Based on the position of the light source, the shadow of the virtual object may be changed by reflecting that the light source is covered by another newly inserted virtual object, thereby creating a virtual shadow in the shape or decreasing the amount of light.

증강현실 시스템(10)의 영상 표시 장치(12)는 증강현실 처리 장치(10)에서 합성된 증강현실 영상을 표시한다. 이후, 사용자는 렌더링부(130)를 통해 출력된 합성 영상을 컴퓨터 화면, 개인 휴대단말기의 디스플레이 화면 등을 통해 볼 수 있다.The image display apparatus 12 of the augmented reality system 10 displays an augmented reality image synthesized by the augmented reality processing apparatus 10. Thereafter, the user may view the composite image output through the rendering unit 130 through a computer screen or a display screen of a personal portable terminal.

도 2 및 도 3 은 본 발명에 따른 광원 인식부에서의 광원 결정 방식에 대한 제1 및 제2 실시예 예시도이다.2 and 3 are exemplary views illustrating first and second embodiments of a light source determination method in a light source recognition unit according to the present invention.

도 2 및 도 3에 도시된 바와 같이, 광원 인식부(120)는 영상 촬영 장치(11)에서 촬영된 실제 영상의 프레임을 복수의 프레임 영역으로 구분하고, 그 구분된 복수의 프레임 영역의 밝기 중에서 가장 밝은 프레임 영역을 실제 영상에서의 광원으로 인식한다. 이는 가상 객체의 렌더링시에 광원 인식부(120)에서 인식된 광원에 대한 광원 정보가 렌더링부(130)에 반영되어 더욱 자연스러운 영상 합성을 가능하게 한다. 여기서, 하나의 프레임에서 프레임 영역의 크기 또는 형태 등은 다양하게 설정될 수 있다. 광원 인식부(120)는 하나의 화면 프레임에서 객체 영역을 제외한 배경 영역만을 추출하고, 배경 영역이 포함된 프레임을 복수의 프레임 영역으로 분할할 수 있다.As illustrated in FIGS. 2 and 3, the light source recognizing unit 120 divides a frame of an actual image photographed by the image capturing apparatus 11 into a plurality of frame regions, and among the brightness of the divided plurality of frame regions. The brightest frame area is recognized as the light source in the real image. This allows light source information on the light source recognized by the light source recognition unit 120 at the time of rendering the virtual object to be reflected in the rendering unit 130 to enable more natural image synthesis. Here, the size or shape of the frame area in one frame may be variously set. The light source recognition unit 120 may extract only a background region excluding an object region from one screen frame, and may divide a frame including the background region into a plurality of frame regions.

예를 들어, 위치 인식 및 트래킹부(110)는 영상 촬영 장치(예컨대, 카메라 등)(11)에서 촬영된 실제 영상만을 이용하여 실제 객체의 위치를 인식하고 추적한다. 광원 인식부(120)는 증강현실을 위해 촬영되고 있는 실제 영상에서의 실제 광원을 인식하기 위하여, 실제 영상의 프레임 영역의 명도를 확인한다. 광원 인식부(120)는 광원의 추적을 위하여 카메라로부터 인식하는 프레임을 도 2 및 도 3과 같이 n등분한다. 광원 인식부(120)는 n개의 영역으로 나누어진 각각의 프레임 영역에 대한 명도를 비교하여 가장 밝은 영역을 선택한다. 광원 인식부(120)는 명도가 가장 높은 프레임 영역을 인식하여 해당 프레임 영역을 광원으로 결정한다. 광원 인식부(120)는 광원이 해당 영역에서 나오는 것으로 인식한다. 또한, 광원 인식부(120)는 렌더링시 광원의 방향으로 인지하여 광원의 방향을 렌더링부(130)로 전달하여 3차원 모델링 데이터의 렌더링에 반영시킬 수 있다. 여기서, 광원 인식부(120)는 분할된 프레임의 개수인 n의 크기를 증가시켜 많은 영역으로의 분할을 통해 광원의 위치를 더욱 정확하게 결정할 수 있다. 또한, 광원 인식부(120)는 분할된 프레임의 개수인 n의 크기를 조절할 수 있으며, 하드웨어(Hardware)의 성능이나 남은 자원에 따라 n의 개수를 변경할 수 있다. 기본적으로 분할 프레임의 n 개수가 많아 질수록 더욱 세밀한 광원의 위치 추적이 가능하다. 하지만, 분석할 프레임이 많아지면 하드웨어의 부하가 많아지므로 작업량 등 상황에 따라 분할 프레임의 n 개수는 가변될 수 있다. 예를 들어, 광원 인식부(120)는 보다 높은 품질이 필요하거나 고성능의 하드웨어의 경우 분할 프레임 수인 n의 크기를 많게 하고, 다른 작업에 의해 자원이 많지 않은 경우 분할 프레임을 늘려서 광원을 분석할 수 있다.For example, the location recognition and tracking unit 110 recognizes and tracks the location of the real object using only the real image photographed by the image photographing apparatus (eg, a camera) 11. The light source recognition unit 120 checks the brightness of the frame area of the real image in order to recognize the real light source in the real image being photographed for the augmented reality. The light source recognizing unit 120 divides the frame recognized from the camera to track the light source n equally as shown in FIGS. 2 and 3. The light source recognition unit 120 selects the brightest area by comparing brightness of each frame area divided into n areas. The light source recognition unit 120 recognizes the frame area having the highest brightness and determines the frame area as the light source. The light source recognition unit 120 recognizes that the light source comes from the corresponding area. In addition, the light source recognizing unit 120 may recognize the direction of the light source when rendering and transmit the direction of the light source to the rendering unit 130 to reflect the rendering of the 3D modeling data. Here, the light source recognizing unit 120 may increase the size of n, which is the number of divided frames, to more accurately determine the position of the light source through dividing into many areas. In addition, the light source recognition unit 120 may adjust the size of n, which is the number of divided frames, and change the number of n according to the performance of the hardware or the remaining resources. Basically, as the number of divided frames increases, more detailed position tracking of the light source is possible. However, as the number of frames to be analyzed increases, the load on hardware increases, so the number of n of divided frames may vary according to a workload or the like. For example, the light source recognizing unit 120 may analyze the light source by increasing the size of n, the number of divided frames in the case of high performance or high-performance hardware, and increasing the divided frames when there are not many resources by other operations. have.

도 2에 도시된 바와 같이, 광원 인식부(120)는 실제 영상의 프레임 가운데를 중심으로 n개의 영역으로 나누는 경우에 해당 프레임 영역이나 프레임 영역의 가장자리(예컨대, 화면의 끝부분)의 가운데를 광원으로 결정한다. 그러면, 렌더링부(130)는 그 결정된 광원의 위치에 따라 가상 객체의 렌더링을 수행하게 한다. 도 3에 도시된 바와 같이, 광원 인식부(120)는 실제 영상의 프레임 전체를 같은 크기로 n등분 하였을 경우 가장 밝은 영역을 찾는다. 그리고 광원 인식부(120)는 그 주변의 영역을 분석하여 가장 어둡게 변하는 영역을 찾아 광원의 방향을 결정하여 전체 프레임의 가장자리를 광원으로 인식한다.As shown in FIG. 2, when the light source recognizing unit 120 divides the n area around the center of the frame of the actual image into the n areas, the light source is positioned at the center of the frame area or the edge of the frame area (for example, the end of the screen). Decide on Then, the renderer 130 performs rendering of the virtual object according to the determined position of the light source. As shown in FIG. 3, the light source recognizing unit 120 finds the brightest area when the entire frame of the actual image is divided into n equal parts. The light source recognition unit 120 analyzes the area around the device to find the darkest area and determines the direction of the light source to recognize the edge of the entire frame as the light source.

실제 영상의 프레임을 n개의 프레임 영역으로 나누는 방식을 하기의 도 2 및 도 3과 같이 두 가지 경우로 나누어서 더욱 상세하게 살펴보기로 한다.A method of dividing a frame of an actual image into n frame areas is divided into two cases as shown in FIGS. 2 and 3 to be described in more detail.

도 2에 도시된 바와 같이, 광원 인식부(120)는 실제 영상의 프레임을 실제 영상의 프레임의 중앙(200)을 기준으로 복수의 프레임 영역으로 구분한다. 광원 인식부(120)는 프레임의 중앙(200)을 기준으로 8등분으로 구분한다. 그리고 광원 인식부(120)는 그 구분된 복수의 프레임 영역의 밝기를 확인한다. 광원 인식부(120)는 그 확인된 복수의 프레임 영역의 밝기 중에서 밝기가 가장 밝은 프레임 영역(201)을 선택한다. 광원 인식부(120)는 실제 영상의 프레임 가운데(200)를 중심으로 n개의 영역으로 나누는 경우에 밝기가 가장 밝은 해당 프레임 영역(201)이나 프레임 영역의 가장자리(화면의 끝부분)(202)의 가운데를 광원으로 인식하게 한다. 이는 실제 영상에서의 실제 광원에 의해 실제 객체의 음영이 변화함에 따라, 가상 객체도 실제 광원에 의해 영향을 받게 하기 위함이다. 여기서, 광원 인식부(120)는 밝기가 가장 밝은 프레임 영역의 중앙 또는 가장자리를 광원의 위치로 결정할 수 있다.As illustrated in FIG. 2, the light source recognizing unit 120 divides a frame of an actual image into a plurality of frame regions based on the center 200 of the frame of the actual image. The light source recognition unit 120 is divided into eight equal parts based on the center 200 of the frame. The light source recognition unit 120 checks the brightness of the divided plurality of frame regions. The light source recognizing unit 120 selects the frame area 201 having the brightest brightness among the identified plurality of frame areas. The light source recognizing unit 120 divides the frame area 201 or the edge of the frame area (the end of the screen) 202 with the brightest brightness when divided into n areas around the center of the frame 200 of the actual image. Recognize the center as a light source. This is because the virtual object is also affected by the real light source as the shadow of the real object is changed by the real light source in the real image. Here, the light source recognizing unit 120 may determine the center or the edge of the frame area having the brightest brightness as the location of the light source.

도 3에 도시된 바와 같이, 광원 인식부(120)는 실제 영상의 프레임을 같은 크기를 가지는 복수의 프레임 영역으로 구분한다. 광원 인식부(120)는 전체 프레임을 동일한 크기의 9등분의 사각형 프레임으로 구분한다. 광원 인식부(120)는 그 구분된 복수의 프레임 영역의 밝기를 확인한다. 광원 인식부(120)는 그 확인된 복수의 프레임 영역의 밝기 중에서 밝기가 가장 밝은 프레임 영역과 가장 어두운 프레임 영역을 찾아 광원을 인식한다. 그리고 광원 인식부(120)는 그 결정된 광원 정보(예컨대, 광원 위치, 광원 세기 등)를 렌더링부(130)로 전달한다. 이는 가상 객체의 렌더링시 3차원 모델링 데이터에 반영하기 위함이다.As shown in FIG. 3, the light source recognizing unit 120 divides a frame of an actual image into a plurality of frame regions having the same size. The light source recognition unit 120 divides the entire frame into nine equal square frames of the same size. The light source recognition unit 120 checks the brightness of the divided plurality of frame regions. The light source recognizing unit 120 recognizes the light source by finding the brightest frame area and the darkest frame area among the checked brightness of the plurality of frame areas. The light source recognizing unit 120 transmits the determined light source information (eg, light source position, light source intensity, etc.) to the rendering unit 130. This is to reflect the 3D modeling data when rendering the virtual object.

도 3에 도시된 바와 같이, 동일한 프레임 영역으로 9등분된 경우에 가장 밝은 프레임 영역은 오른쪽 위 프레임 영역(301)이고, 해당 프레임 영역의 주변 영역 중 가장 어두운 영역이 밝은 프레임 영역(301)의 왼쪽 아래 프레임 영역(302)일 경우, 광원은 오른쪽 위에서 나온다고 가정하게 된다. 따라서 광원 인식부(120)는 오른쪽 위 프레임 영역(301)의 모서리점(304)를 광원이라고 결정한다. 여기서, 광원 인식부(120)는 밝기가 가장 밝은 오른쪽 위 프레임 영역(301)에서 가장 어두운 왼쪽 아래 프레임 영역(302)으로의 방향(303)을 광원의 방향으로 설정하게 된다. 즉, 광원 인식부(120)는 밝은 영역과 어두운 영역을 연결하는 연장선 상에 광원의 위치를 결정하게 된다.As shown in FIG. 3, the brightest frame area is the upper right frame area 301 when divided into nine equal parts, and the darkest area among the peripheral areas of the frame area is the left side of the bright frame area 301. In the case of the lower frame area 302, it is assumed that the light source comes from the upper right. Accordingly, the light source recognizing unit 120 determines that the corner point 304 of the upper right frame area 301 is a light source. Here, the light source recognizing unit 120 sets the direction 303 from the upper right frame area 301 having the brightest brightness to the darkest lower left frame area 302 as the direction of the light source. That is, the light source recognizing unit 120 determines the position of the light source on an extension line connecting the bright area and the dark area.

한편, 광원 인식부(120)는 그 구분된 복수의 프레임 영역 중에서 프레임 밝기가 특정 밝기 세기의 임계치 이상인 적어도 하나의 프레임 영역을 적어도 하나의 광원의 위치로 결정할 수 있다. 광원 인식부(120)는 가상 객체의 음영을 변화시키는 복수의 광원을 설정할 수 있다. 그러면, 렌더링부(130)는 적어도 하나의 광원에 따라 음영을 가지는 가상 객체를 생성한다.Meanwhile, the light source recognizing unit 120 may determine, as the location of the at least one light source, at least one frame area having a frame brightness greater than or equal to a threshold of a specific brightness intensity among the divided frame areas. The light source recognition unit 120 may set a plurality of light sources for changing the shadow of the virtual object. Then, the rendering unit 130 generates a virtual object having a shadow according to at least one light source.

도 4 는 본 발명에 따른 광원을 이용한 증강현실 방법에 대한 일실시예 흐름도이다.4 is a flowchart illustrating an embodiment of an augmented reality method using a light source according to the present invention.

영상 촬영 장치(11)는 실제 객체를 포함하는 현실 환경을 촬영하여 이로부터 현실 환경에 대한 실제 영상을 획득한다(S402).The image capturing apparatus 11 captures a real environment including a real object and obtains a real image of the real environment from the image S11.

위치 인식 및 트래킹부(110)는 영상 촬영 장치(11)에서 촬영된 실제 영상에서의 실제 객체의 위치를 인식한다(S404). 실제 객체는 가상 객체가 합성될 객체 위치이다. 위치 인식 및 트래킹부(110)는 영상 획득 장치로부터 실제 영상에 대한 좌표 정보를 추출하거나 미리 설정된 카메라 파라미터를 통해 실제 객체의 위치를 인식할 수 있다.The position recognition and tracking unit 110 recognizes the position of the real object in the real image captured by the image capturing apparatus 11 (S404). The real object is the object location where the virtual object is to be synthesized. The location recognizing and tracking unit 110 may extract coordinate information of the real image from the image capturing apparatus or recognize the location of the real object through a preset camera parameter.

그리고 위치 인식 및 트래킹부(110)는 그 인식된 실제 객체의 위치를 트래킹한다(S406). 실제 객체의 위치 인식에 마커(Marker)가 이용되거나 실제 영상에서 마커리스(Markerless) 분석을 통해 해당 실제 객체의 위치가 인식되고 트래킹될 수 있다. 이러한 인식을 통해 위치 인식 및 트래킹부(110)는 실제 영상의 해당 위치에서의 가상 객체의 기울기 및 방향 등을 추정한다.The location recognition and tracking unit 110 tracks the location of the recognized real object (S406). A marker may be used to recognize the position of the real object or the position of the corresponding real object may be recognized and tracked through markerless analysis in the real image. Through this recognition, the position recognition and tracking unit 110 estimates the inclination and direction of the virtual object at the corresponding position of the real image.

이후, 광원 인식부(120)는 영상 촬영 장치(11)에서 촬영된 실제 영상의 프레임을 복수의 프레임 영역으로 구분한다(S408).Thereafter, the light source recognizing unit 120 divides the frame of the actual image captured by the image capturing apparatus 11 into a plurality of frame regions (S408).

광원 인식부(120)는 그 구분된 복수의 프레임 영역의 밝기를 고려하여 실제 영상에서의 광원을 인식한다(S410). 즉, 광원 인식부(120)는 실제 영상과 합성될 가상 객체에 음영을 고려하여 복수의 프레임 영역으로 구분된 프레임 영역에서 광원의 위치를 결정한다.The light source recognition unit 120 recognizes a light source in an actual image in consideration of the brightness of the divided plurality of frame regions (S410). That is, the light source recognizing unit 120 determines the position of the light source in the frame area divided into the plurality of frame areas in consideration of the shadow of the virtual object to be synthesized with the actual image.

구체적으로 살펴보면, 광원 인식부(120)는 실제 영상의 프레임 가운데를 중심으로 n개의 영역으로 나누는 경우에 해당 프레임 영역이나 프레임 영역의 가장자리(예컨대, 화면의 끝부분)의 가운데를 광원으로 인식할 수 있다. 또한, 광원 인식부(120)는 실제 영상의 프레임 전체를 같은 크기로 n등분 하였을 경우 가장 밝은 영역을 찾는다. 그리고 광원 인식부(120)는 그 주변의 영역을 분석하여 가장 어둡게 변하는 영역을 찾아 광원의 방향을 결정하여 전체 프레임의 가장자리를 광원으로 결정할 수 있다. 또한, 광원 인식부(120)는 밝은 영역과 어두운 영역을 연결하는 연장선 상에 광원의 위치를 결정하게 된다.In detail, the light source recognizing unit 120 may recognize the center of the frame area or the edge of the frame area (for example, the end of the screen) as a light source when the area is divided into n areas around the center of the frame of the actual image. have. In addition, the light source recognition unit 120 finds the brightest area when the entire frame of the actual image is divided into n equal parts. The light source recognizing unit 120 may determine the direction of the light source by analyzing the surrounding area to determine the darkest area and determine the edge of the entire frame as the light source. In addition, the light source recognizing unit 120 determines the position of the light source on an extension line connecting the bright area and the dark area.

"408" 과정 내지 "410" 과정과는 다르게, 광원 인식부(120)는 실제 영상에서의 실제 객체의 윤곽선을 인식하고, 그 인식된 윤곽선의 밝기가 미리 정의된 밝기 이상의 객체를 탐색하여 실제 영상에서의 광원을 인식할 수 있다. 또한, 광원 인식부(120)는 실제 영상의 프레임 내의 광원이 존재하지 않는 경우에 실제 영상의 프레임의 밝기 변화를 통해 실제 영상 외부의 광원 위치를 추정할 수 있다.Unlike the process of "408" to "410", the light source recognition unit 120 recognizes the contour of the real object in the real image, searches for an object whose brightness of the recognized contour is greater than or equal to a predefined brightness, and then the real image. You can recognize the light source from. In addition, when there is no light source in the frame of the real image, the light source recognizing unit 120 may estimate the location of the light source outside the real image by changing the brightness of the frame of the real image.

한편, 렌더링부(130)는 광원 인식부(120)에서 인식된 광원의 위치를 기초로 하여 가상 음영을 가지는 가상 객체를 생성한다(S412). 여기서, 렌더링부(130)는 기본적으로 미리 정해진 3차원 모델링 데이터에 따라 가상 객체를 생성한다. 그리고 렌더링부(130)는 해당 실제 객체의 위치에 따라 가상 객체의 크기, 기울기 및 방향 등을 고려하여 사용자가 바라보는 실제 영상에서의 적정한 시점에서 보이도록 가상 객체를 변경할 수 있다. 여기서, 렌더링부(130)는 광원의 위치뿐만 아니라 광원의 종류에 따라 가상 객체의 음영을 변경할 수 있다.On the other hand, the rendering unit 130 generates a virtual object having a virtual shadow on the basis of the position of the light source recognized by the light source recognition unit 120 (S412). Here, the rendering unit 130 basically generates a virtual object according to the predetermined 3D modeling data. The rendering unit 130 may change the virtual object to be viewed at an appropriate point in the actual image viewed by the user in consideration of the size, tilt, and direction of the virtual object according to the position of the corresponding real object. Here, the rendering unit 130 may change the shadow of the virtual object according to the type of the light source as well as the position of the light source.

렌더링부(130)는 "S412" 과정에서 생성된 가상 객체를 위치 인식 및 트래킹부(110)에서 트래킹된 실제 영상에서의 실제 객체의 위치에 합성하여 출력한다(S414). 렌더링부(130)는 위치 인식 및 트래킹부(110)에서 트래킹된 실제 객체의 위치에 가상 객체를 정확하게 위치시키는 기능을 수행한다.The rendering unit 130 synthesizes and outputs the virtual object generated in step S412 to the position of the real object in the real image tracked by the position recognition and tracking unit 110 (S414). The renderer 130 performs a function of accurately positioning the virtual object at the position of the real object tracked by the position recognition and tracking unit 110.

이후, 영상 표시 장치(12)는 "S414" 과정에서 합성된 증강현실 영상을 표시한다(S416). 사용자는 영상 표시 장치(12)를 통해 표시된 합성 영상을 컴퓨터 화면, 개인 휴대단말기의 디스플레이 화면 등을 통해 볼 수 있다.Thereafter, the image display device 12 displays the augmented reality image synthesized in step S414 (S416). The user may view the composite image displayed through the image display device 12 on a computer screen or a display screen of a personal portable terminal.

한편, 렌더링부(130)는 광원 인식부(120)에서 인식된 광원의 위치가 변경되면, 생성된 가상 객체의 음영을 그 변경된 광원의 위치에 맞게 변경할 수 있다.Meanwhile, when the position of the light source recognized by the light source recognition unit 120 is changed, the rendering unit 130 may change the shadow of the generated virtual object to match the position of the changed light source.

한편, 렌더링부(130)에서 실제 영상에 합성된 가상 객체와 광원 인식부(120)에서 인식된 광원의 위치 사이에 실사 물체 또는 다른 가상 객체가 삽입되면, 렌더링부(130)는 광원의 위치를 기준으로 삽입된 실사 물체 또는 다른 가상 객체의 실루엣에 따라 합성된 가상 객체의 음영을 변경할 수 있다.Meanwhile, when a real object or another virtual object is inserted between the virtual object synthesized in the actual image by the rendering unit 130 and the position of the light source recognized by the light source recognition unit 120, the rendering unit 130 adjusts the position of the light source. The shadow of the synthesized virtual object may be changed according to the silhouette of the real object or another virtual object inserted as a reference.

한편, 본 발명은 상기한 증강현실 방법을 소프트웨어적인 프로그램으로 구현하여 컴퓨터로 읽을 수 있는 소정 기록매체에 기록해 둠으로써 다양한 재생장치에 적용할 수 있다. On the other hand, the present invention can be applied to a variety of playback apparatus by implementing the augmented reality method as a software program to record on a computer-readable predetermined recording medium.

다양한 재생장치는 PC, 노트북, 휴대용 단말 등일 수 있다.Various playback devices may be PCs, laptops, portable terminals, and the like.

예컨대, 기록매체는 각 재생장치의 내장형으로 하드디스크, 플래시 메모리, RAM, ROM 등이거나, 외장형으로 CD-R, CD-RW와 같은 광디스크, 콤팩트 플래시 카드, 스마트 미디어, 메모리 스틱, 멀티미디어 카드일 수 있다. For example, the recording medium may be a hard disk, a flash memory, a RAM, a ROM, or the like as an internal type of each playback device, or an optical disc such as a CD-R or a CD-RW, a compact flash card, a smart media, a memory stick, or a multimedia card as an external type. have.

이 경우, 컴퓨터로 읽을 수 있는 기록매체에 기록한 프로그램은, 앞서 설명한 바와 같이, 실제 객체를 촬영하여 실제 영상을 획득하는 영사 획득 과정과, 상기 획득된 실제 영상에서 가상 객체가 합성될 실제 객체의 위치를 인식하고 상기 인식된 실제 객체의 위치를 트래킹하는 인식 및 트래킹 과정과, 상기 획득된 실제 영상의 프레임을 복수의 프레임 영역으로 구분하고 상기 구분된 복수의 프레임 영역의 밝기를 고려하여 상기 실제 영상에서의 광원을 인식하는 광원 인식 과정과, 상기 인식된 광원을 기초로 하여 음영을 가지는 가상 객체를 생성하는 가상 객체 생성 과정과, 상기 생성된 가상 객체를 상기 트래킹된 실제 영상에서의 실제 객체의 위치에 합성하는 영상 합성 과정과, 및 상기 합성된 영상을 영상 표시 장치를 통해 표시하는 영상 표시 과정을 포함하여 실행될 수 있다. In this case, as described above, the program recorded on the computer-readable recording medium includes a projection acquisition process of capturing a real object to obtain a real image, and a location of a real object to which a virtual object is to be synthesized from the obtained real image. Recognition and tracking process of recognizing the data and tracking the location of the recognized real object, and dividing the obtained frame of the real image into a plurality of frame regions and considering the brightness of the divided plurality of frame regions in the real image. A light source recognition process for recognizing a light source of a light source, a virtual object generation process for generating a virtual object having a shadow based on the recognized light source, and the generated virtual object at a position of a real object in the tracked real image An image synthesizing process for synthesizing, and an image display for displaying the synthesized image through an image display device; It can be implemented including the definition.

여기서, 각 과정에서의 구체적인 기술은 상기의 증강현실 시스템 및 방법의 구성과 동일하므로 중복되는 기술 설명은 생략한다.Here, the detailed description in each process is the same as the configuration of the augmented reality system and method described above, and the overlapping description of the description is omitted.

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
The above description is merely illustrative of the present invention, and various modifications may be made by those skilled in the art without departing from the technical spirit of the present invention. Therefore, the embodiments disclosed in the specification of the present invention are not intended to limit the present invention. The scope of the present invention should be construed according to the following claims, and all the techniques within the scope of equivalents should be construed as being included in the scope of the present invention.

본 발명에 따른 증강현실 시스템은 실제 영상에서 인식된 실제 객체의 위치에서의 현실 환경(예컨대, 광원 등)의 인식을 통해 가상 객체를 보다 현실의 상황에 맞게 합성함으로써, 사용자에게 현실 환경을 정확하게 반영한 증강현실 합성 영상을 제공할 수 있다.
The augmented reality system according to the present invention synthesizes a virtual object more realistically by recognizing a real environment (for example, a light source) at a location of a real object recognized in a real image, thereby accurately reflecting the real environment to a user. Augmented reality composite image can be provided.

11: 영상 촬영 장치 100: 증강현실 처리 장치
110: 위치 인식 및 트래킹부 120: 광원 인식부
130: 렌더링부 12: 영상 표시 장치11: imaging device 100: augmented reality processing device
110: location recognition and tracking unit 120: light source recognition unit
130: renderer 12: video display device

Claims (23)

광원 인식을 이용한 증강현실 시스템에 있어서,
실제 객체를 촬영하여 실제 영상을 획득하기 위한 영상 촬영 장치;
상기 실제 영상의 밝기를 고려하여 상기 실제 영상에서의 광원을 인식하고 상기 인식된 광원의 위치에 근거하여 음영을 가지는 가상 객체를 생성하고 상기 실제 영상에 상기 생성된 가상 객체를 렌더링하여 증강현실 영상을 생성하기 위한 증강현실 처리 장치; 및
상기 증강현실 처리 장치에서 생성된 증강현실 영상을 표시하기 위한 영상 표시 장치
를 포함하는 증강현실 시스템.
In the augmented reality system using light source recognition,
An image capturing apparatus for obtaining a real image by photographing a real object;
Recognizing a light source in the real image in consideration of the brightness of the real image, generating a virtual object having a shadow based on the position of the recognized light source, and rendering the generated virtual object on the real image to generate an augmented reality image. Augmented reality processing apparatus for generating; And
Image display device for displaying an augmented reality image generated by the augmented reality processing device
Augmented reality system comprising a.
제 1 항에 있어서,
상기 증강현실 처리 장치는,
상기 실제 영상의 프레임을 복수의 프레임 영역으로 구분하고 상기 구분된 복수의 프레임 영역의 밝기에 근거하여 상기 실제 영상에서의 광원을 인식하는 증강현실 시스템.
The method of claim 1,
The augmented reality processing device,
An augmented reality system for dividing a frame of the real image into a plurality of frame regions and recognizing a light source in the real image based on brightness of the divided plurality of frame regions.
제 1 항에 있어서,
상기 증강현실 처리 장치는,
상기 실제 영상에서의 실제 객체의 윤곽선을 인식하고 상기 인식된 윤곽선의 밝기가 소정의 밝기 이상의 객체를 탐색하여 상기 실제 영상에서의 광원을 인식하는 증강현실 시스템.
The method of claim 1,
The augmented reality processing device,
An augmented reality system recognizing a contour of a real object in the real image and searching for an object whose brightness of the recognized contour is greater than a predetermined brightness to recognize a light source in the real image.
제 1 항에 있어서,
상기 증강현실 처리 장치는,
상기 실제 영상의 프레임 내의 광원이 존재하지 않는 경우에 상기 실제 영상의 프레임의 밝기 변화를 통해 상기 실제 영상 외부의 광원 위치를 추정하는 증강현실 시스템.
The method of claim 1,
The augmented reality processing device,
An augmented reality system for estimating a location of a light source outside the real image by changing a brightness of a frame of the real image when there is no light source in the frame of the real image.
광원을 이용한 증강현실 처리 장치에 있어서,
실제 영상에서 가상 객체가 합성될 실제 객체의 위치를 인식하고 상기 인식된 실제 객체의 위치를 트래킹하기 위한 위치 인식 및 트래킹부;
상기 실제 영상의 밝기를 고려하여 상기 실제 영상에서의 광원을 인식하기 위한 광원 인식부; 및
상기 트래킹된 실제 객체의 위치와 상기 결정된 광원의 위치를 기초로 하여 음영을 가지는 가상 객체를 생성하고, 상기 생성된 가상 객체를 상기 트래킹된 실제 객체의 위치에 합성하여 출력하기 위한 렌더링부
를 포함하는 광원을 이용한 증강현실 처리 장치.
In the augmented reality processing apparatus using a light source,
A location recognition and tracking unit for recognizing a location of a real object to be synthesized in a real image and tracking the location of the recognized real object;
A light source recognizing unit for recognizing a light source in the real image in consideration of brightness of the real image; And
A rendering unit configured to generate a virtual object having a shadow based on the position of the tracked real object and the position of the determined light source, and to synthesize the generated virtual object with the position of the tracked real object and output the synthesized virtual object
Augmented reality processing apparatus using a light source comprising a.
제 5 항에 있어서,
상기 광원 인식부는,
상기 실제 영상의 프레임을 복수의 프레임 영역으로 구분하고 상기 구분된 복수의 프레임 영역의 밝기에 근거하여 상기 실제 영상에서 광원을 인식하는 증강현실 처리 장치.
The method of claim 5, wherein
The light source recognition unit,
And dividing a frame of the real image into a plurality of frame regions and recognizing a light source in the real image based on brightness of the divided plurality of frame regions.
제 6 항에 있어서,
상기 광원 인식부는,
상기 실제 영상의 프레임을 복수의 프레임 영역으로 구분하고, 상기 구분된 복수의 프레임 영역 중에서 밝기가 가장 밝은 프레임 영역의 중앙 또는 가장자리를 상기 광원의 위치로 결정하는 증강현실 처리 장치.
The method according to claim 6,
The light source recognition unit,
And dividing the frame of the actual image into a plurality of frame regions, and determining a center or an edge of a frame region having the brightest brightness among the divided frame regions as the position of the light source.
제 6 항에 있어서,
상기 광원 인식부는,
상기 실제 영상의 프레임을 같은 크기를 가지는 복수의 프레임 영역으로 구분하고, 상기 구분된 복수의 프레임 영역 중에서 밝기가 가장 밝은 프레임 영역과 가장 어두운 프레임 영역을 찾아 상기 광원의 위치를 결정하는 증강현실 처리 장치.
The method according to claim 6,
The light source recognition unit,
An apparatus for augmented reality processing for dividing a frame of the actual image into a plurality of frame regions having the same size, and determining the position of the light source by finding the brightest and darkest frame regions among the divided frame regions. .
제 6 항에 있어서,
상기 광원 인식부는,
상기 구분된 복수의 프레임 영역 중에서 프레임 밝기가 소정의 임계치 이상인 적어도 하나의 프레임 영역을 상기 광원의 위치로 결정하는 증강현실 처리 장치.
The method according to claim 6,
The light source recognition unit,
An augmented reality processing apparatus for determining at least one frame region having a frame brightness greater than or equal to a predetermined threshold value among the divided frame regions as the position of the light source.
제 5 항에 있어서,
상기 광원 인식부는,
상기 실제 영상에서의 실제 객체의 윤곽선을 인식하고 상기 인식된 윤곽선의 밝기가 소정의 밝기 이상의 객체를 탐색하여 상기 실제 영상에서의 광원을 인식하는 증강현실 처리 장치.
The method of claim 5, wherein
The light source recognition unit,
And recognizing the contour of the real object in the real image and searching for an object whose brightness of the recognized contour is greater than or equal to a predetermined brightness to recognize the light source in the real image.
제 5 항에 있어서,
상기 광원 인식부는,
상기 실제 영상의 프레임 내의 광원이 존재하지 않는 경우에 상기 실제 영상의 프레임의 밝기 변화를 통해 상기 실제 영상 외부의 광원 위치를 추정하는 증강현실 처리 장치.
The method of claim 5, wherein
The light source recognition unit,
And estimating a location of a light source outside the real image through a change in brightness of the frame of the real image when there is no light source in the frame of the real image.
제 5 항에 있어서,
상기 렌더링부는,
상기 광원 인식부에서 광원의 위치가 변경되면, 상기 생성된 가상 객체의 가상 음영을 상기 변경된 광원의 위치에 맞게 변경하는 증강현실 처리 장치.
The method of claim 5, wherein
The rendering unit,
When the position of the light source is changed in the light source recognition unit, the augmented reality processing apparatus for changing the virtual shadow of the generated virtual object to match the position of the changed light source.
제 5 항에 있어서,
상기 렌더링부는,
상기 합성된 가상 객체와 상기 인식된 광원 사이에 다른 실사 물체에 의해 생성된 다른 가상 객체가 삽입되면 상기 삽입된 다른 가상 객체에 의해 상기 인식된 광원이 가려짐에 따라 상기 생성된 가상 객체의 가상 음영을 변경하는 증강현실 처리 장치.
The method of claim 5, wherein
The rendering unit,
If another virtual object generated by another real object is inserted between the synthesized virtual object and the recognized light source, the virtual light shade of the generated virtual object is blocked by the recognized light source by the inserted other virtual object. Augmented reality processing device to change.
광원을 이용한 증강현실 방법에 있어서,
실제 객체를 촬영하여 실제 영상을 획득하는 영사 획득 단계;
상기 획득된 실제 영상에서 가상 객체가 합성될 실제 객체의 위치를 인식하고 상기 인식된 실제 객체의 위치를 트래킹하는 인식 및 트래킹 단계;
상기 획득된 실제 영상의 밝기를 고려하여 상기 실제 영상에서의 광원을 인식하는 광원 인식 단계;
상기 인식된 광원을 기초로 하여 음영을 가지는 가상 객체를 생성하는 가상 객체 생성 단계;
상기 생성된 가상 객체를 상기 트래킹된 실제 영상에서의 실제 객체의 위치에 합성하는 영상 합성 단계; 및
상기 합성된 영상을 영상 표시 장치를 통해 표시하는 영상 표시 단계
를 포함하는 증강현실 방법.
In the augmented reality method using a light source,
A projection obtaining step of photographing a real object to obtain a real image;
A recognition and tracking step of recognizing a position of a real object to which a virtual object is synthesized in the obtained real image and tracking a position of the recognized real object;
A light source recognition step of recognizing a light source in the real image in consideration of the brightness of the obtained real image;
Creating a virtual object having a shadow based on the recognized light source;
An image synthesizing step of synthesizing the generated virtual object with a position of a real object in the tracked real image; And
An image display step of displaying the synthesized image through an image display device;
Augmented reality method comprising a.
제 14 항에 있어서,
상기 광원 인식 단계는,
상기 실제 영상의 프레임을 복수의 프레임 영역으로 구분하고 상기 구분된 복수의 프레임 영역의 밝기에 근거하여 상기 실제 영상에서 광원을 인식하는 증강현실 방법.
The method of claim 14,
The light source recognition step,
And dividing the frame of the real image into a plurality of frame regions and recognizing a light source in the real image based on the brightness of the divided plurality of frame regions.
제 15 항에 있어서,
상기 광원 인식 단계는,
상기 실제 영상의 프레임을 복수의 프레임 영역으로 구분하고, 상기 구분된 복수의 프레임 영역 중에서 밝기가 가장 밝은 프레임 영역의 중앙 또는 가장자리를 상기 광원의 위치로 결정하는 증강현실 방법.
The method of claim 15,
The light source recognition step,
And dividing the frame of the actual image into a plurality of frame regions, and determining a center or an edge of the frame region having the brightest brightness among the divided frame regions as the position of the light source.
제 15 항에 있어서,
상기 광원 인식 단계는,
상기 실제 영상의 프레임을 같은 크기를 가지는 복수의 프레임 영역으로 구분하고, 상기 구분된 복수의 프레임 영역 중에서 밝기가 가장 밝은 프레임 영역과 가장 어두운 프레임 영역을 찾아 상기 광원의 위치를 결정하는 증강현실 방법.
The method of claim 15,
The light source recognition step,
And dividing the frame of the real image into a plurality of frame areas having the same size, and determining the position of the light source by finding the brightest and darkest frame areas among the divided frame areas.
제 15 항에 있어서,
상기 광원 인식 단계는,
상기 구분된 복수의 프레임 영역 중에서 프레임 밝기가 소정의 임계치 이상인 적어도 하나의 프레임 영역을 상기 광원의 위치로 결정하는 증강현실 방법.
The method of claim 15,
The light source recognition step,
An augmented reality method for determining at least one frame region having a frame brightness of a predetermined threshold or more among the divided frame regions as the position of the light source.
제 14 항에 있어서,
상기 광원 인식 단계는,
상기 실제 영상에서의 실제 객체의 윤곽선을 인식하고 상기 인식된 윤곽선의 밝기가 소정의 밝기 이상의 객체를 탐색하여 상기 실제 영상에서의 광원을 인식하는 증강현실 방법.
The method of claim 14,
The light source recognition step,
An augmented reality method of recognizing a contour of a real object in the real image and searching for an object whose brightness of the recognized contour is greater than a predetermined brightness to recognize a light source in the real image.
제 14 항에 있어서,
상기 광원 인식 단계는,
상기 실제 영상의 프레임 내의 광원이 존재하지 않는 경우에 상기 실제 영상의 프레임의 밝기 변화를 통해 상기 실제 영상 외부의 광원 위치를 추정하는 증강현실 방법.
The method of claim 14,
The light source recognition step,
An augmented reality method for estimating a location of a light source outside the real image by changing a brightness of a frame of the real image when there is no light source in the frame of the real image.
제 14 항에 있어서,
상기 가상 객체 생성 단계는,
상기 인식된 광원의 위치가 변경되면, 상기 생성된 가상 객체의 가상 음영을 상기 변경된 광원의 위치에 맞게 변경하는 증강현실 방법.
The method of claim 14,
The virtual object creation step,
If the position of the recognized light source is changed, the augmented reality method for changing the virtual shadow of the generated virtual object to match the position of the changed light source.
제 14 항에 있어서,
상기 가상 객체 생성 단계는,
상기 합성된 가상 객체와 상기 인식된 광원 사이에 다른 실사 물체에 의해 생성된 다른 가상 객체가 삽입되면 상기 삽입된 다른 가상 객체에 의해 상기 인식된 광원이 가려짐에 따라 상기 생성된 가상 객체의 가상 음영을 변경하는 증강현실 방법.
The method of claim 14,
The virtual object creation step,
If another virtual object generated by another real object is inserted between the synthesized virtual object and the recognized light source, the virtual light shade of the generated virtual object is blocked by the recognized light source by the inserted other virtual object. Augmented reality method to change.
제14항 내지 제22항 중 어느 한 항에 의한 과정을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for executing the process according to any one of claims 14 to 22.
KR1020100026720A 2010-03-25 2010-03-25 Augmented reality system and method using recognition light source, augmented reality processing apparatus for realizing the same KR20110107545A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100026720A KR20110107545A (en) 2010-03-25 2010-03-25 Augmented reality system and method using recognition light source, augmented reality processing apparatus for realizing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100026720A KR20110107545A (en) 2010-03-25 2010-03-25 Augmented reality system and method using recognition light source, augmented reality processing apparatus for realizing the same

Publications (1)

Publication Number Publication Date
KR20110107545A true KR20110107545A (en) 2011-10-04

Family

ID=45025670

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100026720A KR20110107545A (en) 2010-03-25 2010-03-25 Augmented reality system and method using recognition light source, augmented reality processing apparatus for realizing the same

Country Status (1)

Country Link
KR (1) KR20110107545A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015125992A1 (en) * 2014-02-18 2015-08-27 엘지전자 주식회사 Image display device and method for controlling same
CN106575450A (en) * 2014-05-13 2017-04-19 河谷控股Ip有限责任公司 Augmented reality content rendering via albedo models, systems and methods
KR20180022366A (en) * 2016-08-24 2018-03-06 한국과학기술원 Integrated learning apparatus for lighting/object/hands recognition/tracking in augmented/virtual reality and method therefor
KR20190041293A (en) 2017-10-12 2019-04-22 에스케이텔레콤 주식회사 Method and apparatus for displaying augmented reality
KR20190043956A (en) 2017-10-19 2019-04-29 에스케이텔레콤 주식회사 Method and apparatus for displaying augmented reality
WO2019107942A1 (en) * 2017-12-01 2019-06-06 클릭트 주식회사 Method and program for providing augmented reality image by using depth data
US10546422B2 (en) 2013-09-13 2020-01-28 Signify Holding B.V. System and method for augmented reality support using a lighting system's sensor data
US10593113B2 (en) 2014-07-08 2020-03-17 Samsung Electronics Co., Ltd. Device and method to display object with visual effect
KR20210019681A (en) * 2019-08-13 2021-02-23 중앙대학교 산학협력단 Method of harmonic rendering on augmented reality environment, and augmented reality system and recoding medium for performing thereof
KR20210084373A (en) * 2014-08-18 2021-07-07 삼성전자주식회사 Method and device to display background image
CN117424970A (en) * 2023-10-23 2024-01-19 神力视界(深圳)文化科技有限公司 Light control method and device, mobile terminal and storage medium

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10546422B2 (en) 2013-09-13 2020-01-28 Signify Holding B.V. System and method for augmented reality support using a lighting system's sensor data
WO2015125992A1 (en) * 2014-02-18 2015-08-27 엘지전자 주식회사 Image display device and method for controlling same
US10685498B2 (en) 2014-05-13 2020-06-16 Nant Holdings Ip, Llc Augmented reality content rendering via albedo models, systems and methods
CN106575450A (en) * 2014-05-13 2017-04-19 河谷控股Ip有限责任公司 Augmented reality content rendering via albedo models, systems and methods
US11710282B2 (en) 2014-05-13 2023-07-25 Nant Holdings Ip, Llc Augmented reality content rendering via Albedo models, systems and methods
US10192365B2 (en) 2014-05-13 2019-01-29 Nant Holdings Ip, Llc Augmented reality content rendering via albedo models, systems and methods
US11176754B2 (en) 2014-05-13 2021-11-16 Nant Holdings Ip, Llc Augmented reality content rendering via albedo models, systems and methods
CN106575450B (en) * 2014-05-13 2019-07-26 河谷控股Ip有限责任公司 It is rendered by the augmented reality content of albedo model, system and method
US11200746B2 (en) 2014-07-08 2021-12-14 Samsung Electronics Co., Ltd. Device and method to display object with visual effect
US10593113B2 (en) 2014-07-08 2020-03-17 Samsung Electronics Co., Ltd. Device and method to display object with visual effect
KR20210084373A (en) * 2014-08-18 2021-07-07 삼성전자주식회사 Method and device to display background image
KR20180022366A (en) * 2016-08-24 2018-03-06 한국과학기술원 Integrated learning apparatus for lighting/object/hands recognition/tracking in augmented/virtual reality and method therefor
KR20190041293A (en) 2017-10-12 2019-04-22 에스케이텔레콤 주식회사 Method and apparatus for displaying augmented reality
KR20190043956A (en) 2017-10-19 2019-04-29 에스케이텔레콤 주식회사 Method and apparatus for displaying augmented reality
WO2019107942A1 (en) * 2017-12-01 2019-06-06 클릭트 주식회사 Method and program for providing augmented reality image by using depth data
US11328487B2 (en) 2017-12-01 2022-05-10 Clicked, Inc. Method and program for providing augmented reality image by using depth data
KR20210019681A (en) * 2019-08-13 2021-02-23 중앙대학교 산학협력단 Method of harmonic rendering on augmented reality environment, and augmented reality system and recoding medium for performing thereof
CN117424970A (en) * 2023-10-23 2024-01-19 神力视界(深圳)文化科技有限公司 Light control method and device, mobile terminal and storage medium

Similar Documents

Publication Publication Date Title
KR20110107545A (en) Augmented reality system and method using recognition light source, augmented reality processing apparatus for realizing the same
US10074012B2 (en) Sound and video object tracking
CN109583285B (en) Object recognition method
KR101227255B1 (en) Marker size based interaction method and augmented reality system for realizing the same
CN110136229B (en) Method and equipment for real-time virtual face changing
US10488195B2 (en) Curated photogrammetry
US9846960B2 (en) Automated camera array calibration
US9756261B2 (en) Method for synthesizing images and electronic device thereof
JP5950973B2 (en) Method, apparatus and system for selecting a frame
US9491441B2 (en) Method to extend laser depth map range
US20170024893A1 (en) Scene analysis for improved eye tracking
JP6894962B2 (en) Image data capture method, device, and program for free-viewpoint video
KR101250619B1 (en) Augmented reality system and method using virtual user interface
KR101303877B1 (en) Method and apparatus for serving prefer color conversion of skin color applying face detection and skin area detection
US20200226729A1 (en) Image Processing Method, Image Processing Apparatus and Electronic Device
US20030202120A1 (en) Virtual lighting system
JP2014178957A (en) Learning data generation device, learning data creation system, method and program
US11527014B2 (en) Methods and systems for calibrating surface data capture devices
US10987198B2 (en) Image simulation method for orthodontics and image simulation device thereof
JP2016537901A (en) Light field processing method
KR102459851B1 (en) Device and method to adjust brightness of image
JP2013200867A (en) Animation creation device and camera
KR20180080618A (en) Method and apparatus for realistic rendering based augmented reality
US20230152883A1 (en) Scene processing for holographic displays
KR20150039049A (en) Method and Apparatus For Providing A User Interface According to Size of Template Edit Frame

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application