WO2011152634A2 - 모니터 기반 증강현실 시스템 - Google Patents

모니터 기반 증강현실 시스템 Download PDF

Info

Publication number
WO2011152634A2
WO2011152634A2 PCT/KR2011/003940 KR2011003940W WO2011152634A2 WO 2011152634 A2 WO2011152634 A2 WO 2011152634A2 KR 2011003940 W KR2011003940 W KR 2011003940W WO 2011152634 A2 WO2011152634 A2 WO 2011152634A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
marker
camera
augmented reality
monitor
Prior art date
Application number
PCT/KR2011/003940
Other languages
English (en)
French (fr)
Other versions
WO2011152634A3 (ko
Inventor
이문기
Original Assignee
Lee Moon Key
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lee Moon Key filed Critical Lee Moon Key
Publication of WO2011152634A2 publication Critical patent/WO2011152634A2/ko
Publication of WO2011152634A3 publication Critical patent/WO2011152634A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present invention relates to improvements in augmented reality systems.
  • the augmented reality system is a technology for synthesizing and synthesizing a virtual graphic image with a realistic image taken with a camera.
  • This augmented reality technology is largely divided into GPS-based and vision-based.
  • Monitor-based augmented reality system according to the present invention is based on vision.
  • the existing vision-based augmented reality system is a technology that recognizes a marker from a captured real image, calculates a three-dimensional distance and direction between the camera and the marker, and uses the information to synthesize a virtual object in a perspective image.
  • Markers can be used by printing barcodes in the form of black and white squares on paper, or before registering images of photographs or images of any natural still images in the database of augmented reality programs.
  • Artoolkits are known in the library of augmented reality programs using printed two-dimensional barcodes as a background.
  • Space Invaders an augmented reality game recently released in May 2010 by a company called Zenitum (http://www.zenitum.com/), can take pictures printed on paper with a smartphone camera.
  • the game program running on the smartphone recognizes the picture from the photographed image by referring to the picture information registered in advance, finds the 3D relative position between the camera and the picture, and then displays the 3D earth and the earth as a graphic image on the picture. It is supposed to output a composite of a spaceship that attacks.
  • the user can move the smartphone to see the 3D earth and the ship from various angles and attack the ship by touching the touch screen of the smartphone.
  • Qualcomm has released a software development kit for free that includes image registration and tracking since November 2010.
  • the disadvantage of the existing augmented reality system is that augmented reality programs need to register the background image, such as markers, photographs, or any natural still images, to be used to determine the three-dimensional position and orientation between the background and the camera.
  • the background of the reality system is limited to still images.
  • the background of the existing augmented reality system is a video of a TV or computer screen capable of outputting not only still images but also video, all videos to be output on the TV or computer screen must be predicted and registered in the augmented reality program. If a movie to be output on a TV or computer screen can be obtained or predicted in advance, and each frame of the movie is registered in advance, the size of the registered database will be very large and the registration time will be very long.
  • An object of the present invention is to provide an augmented reality system in the background of a computer display or TV screen that can be output video to solve the disadvantage that the background of the existing augmented reality system is limited to monotonous still image.
  • the augmented reality system of the present invention outputs a pattern image (marker) registered in advance on a computer screen or a TV screen to be used as a background image of the augmented reality system, and captures a computer screen or a TV screen with a camera.
  • the present invention provides an augmented reality system for generating an augmented reality image by extracting the marker from an image and calculating a three-dimensional position and direction between the camera and the marker to synthesize a virtual object image.
  • Another solution is to calculate a three-dimensional relative position between the camera and the background image by comparing each frame of the computer screen or TV screen to be used as a background image with the image captured by the camera in real time. It provides an augmented reality system for generating and outputting augmented reality images according to.
  • the monitor-based augmented reality system can implement a richer augmented reality image by using an arbitrary image output to the TV or computer monitor capable of video output as a background.
  • the system of the present invention may implement an effect that a game character in a monitor outputting a game image is moved out of the monitor.
  • the 3D monitor image used in conjunction with the conventional shutter glasses or polarized glasses it is possible to provide a three-dimensional image that changes the viewing surface according to the position of the user viewing the monitor used as the background of the augmented reality system of the present invention.
  • the three-dimensional image (vo) of the car running on the tablet PC screen of Figure 5 is displayed on the display of the smartphone (mos) in augmented reality and the tablet PC outputs a video of the road moving in accordance with the speed of the running car Can enjoy a more realistic three-dimensional image.
  • FIG. 1 is a block diagram of a first embodiment of the present invention using a fixed marker
  • FIG. 2 is a block diagram of a second embodiment of the present invention using a movable marker
  • FIG. 3 shows the marker follows the camera eye of the smartphone
  • FIG. 6 is a configuration diagram using a second camera
  • FIG. 1 shows a monitor (mob) of a desktop PC, which is outputting a moving video of a moving road, by using a camera of a smartphone (mos) to synthesize a three-dimensional image (vo) of a car running on the road and output it to the display of the smartphone.
  • the configuration is shown.
  • capturing an image of a desktop monitor is just one example, and the present invention can be implemented by capturing an image output by an arbitrary image output device such as a beam projector or a tablet pc monitor.
  • an arbitrary image output device such as a beam projector or a tablet pc monitor.
  • a marker bm of a form registered in advance in an arbitrary still image or moving image is synthesized and output.
  • FIG. 1 shows a monitor (mob) of a desktop PC, which is outputting a moving video of a moving road, by using a camera of a smartphone (mos) to synthesize a three-dimensional image (vo) of a car running on
  • the marker bm is a dotted line formed vertically on the left and right sides of the monitor of the desktop pc.
  • the position of the marker is preferably located outside the screen so that the original image is hidden as little as possible by the marker.
  • the image of the marker (bm) is registered in advance in the augmented reality program to be executed on the smartphone, and then the marker (bm) is detected from the image taken by the camera of the smartphone and the 3D between the monitor of the desktop pc and the camera of the smartphone
  • the relative position can be detected. Finding the relative position and orientation between the marker and the camera is well known in the field of augmented reality. If the marker is completely opaque, there is a problem of covering the original image. Therefore, it is preferable to form the semitransparent image so that the original image and the marker image overlap.
  • the augmented reality image can be output on the display of the smartphone by synthesizing the graphic object with the captured image according to the relative position between the camera and the marker.
  • a web camera connected to a computer may be used, or a camera attached to the eyeglass display to photograph a gaze direction may be used.
  • FIG. 9 An example of a spectacle-type display with a camera is a company called Vujix, which is marketed as a product called WRAP 920AR ( http://www.vuzix.com/consumer/products_wrap920ar.html ).
  • the marker bm having the fixed position of the first embodiment has a disadvantage of covering the original image of the desktop.
  • the mouse cursor icon is composed of a square marker cu of FIG. 2
  • the position of the marker cu can be moved using a mouse.
  • the marker may be touched with a finger and then dragged.
  • the reason why the center of the upper side of the rectangular marker cu of FIG. 2 is broken is to detect not only the relative position (x, y, z) between the camera and the marker but also the relative direction (yaw, pitch, roll).
  • the rectangular form is just one example, and in practice, any image including enough feature points may be used as a marker.
  • including a sufficient feature point means that it is sufficient to obtain a three-dimensional relative position and direction between the camera and the marker.
  • the size of the marker is large enough to be detected in the image taken by the camera of the smartphone to be sufficient to detect the three-dimensional relative position and direction between the camera and the marker. It is also desirable to form the marker semitransparent so that the original image of the obscured portion is visible. The user can move the marker by manipulating the mouse to clearly see the area covered by the marker.
  • the movement of the marker (cu) or the position information (x, y) on the screen is transmitted to the augmented reality program running on the smartphone by using a communication means such as Bluetooth so that the augmented reality program is the camera and the desktop monitor (mob)
  • the location information should be available to find the three-dimensional relative position between them.
  • the augmented reality program analyzes the image taken by the camera of the smartphone to detect the marker (cu) to obtain the relative position between the camera and the marker, and to refer to the coordinates in the desktop monitor of the received marker, The relative position can be found.
  • the augmented reality image may be output by synthesizing the graphic object with the captured image according to the obtained relative position.
  • the shape of the marker of the augmented reality of the present invention may be changed, in which case it is preferable to transmit the shape, size or color information of the changed marker to the augmented reality program in order to be able to detect the marker in the augmented reality program.
  • the augmented reality program detects a marker whose shape has been changed by using the information of the marker received from the captured image, and outputs the augmented reality image by synthesizing the graphic object with the captured image according to the relative position between the marker and the camera.
  • the position of the marker in the image taken by the camera of the smartphone is transmitted to the desktop computer, and the desktop computer uses the information to adjust the position of the marker, but the marker is located at the center of the field of view of the camera of the smartphone. It is desirable to adjust the position at all times.
  • the technique in which these markers follow the camera gaze direction is disclosed in Patent No. 936816 'Pointing device by camera and marker output'. Specifically, in FIG. 3, the marker cua that is in the gaze direction (va) of the camera of the smartphone is positioned as the mouse cursor marker when the camera's camera position moves to pb and the gaze direction of the smartphone camera changes to vb. Moreover, it is preferable to move to the visual direction direction cub.
  • the marker is fixed at one position (cua), it is inconvenient to move the smartphone very carefully so that the marker does not disappear from the camera's field of view. However, if the marker follows the eye of the camera of the smartphone, the user can freely move the smartphone camera in any direction on the monitor of the desktop to view the augmented reality image.
  • Example 4 the desktop computer drastically restricts the movement of the mouse cursor icon when moving the mouse cursor marker to more precisely calculate the relative position and direction between the camera of the smartphone and the mouse cursor icon. Shake can be prevented. This means that the movement of the mouse cursor icon is severely limited, which means that the mouse cursor icon jumps in the direction of the camera when the distance from the marker to the center of the image captured by the camera of the smartphone becomes a certain threshold or more. it means.
  • the position of the mouse cursor marker is kept fixed so that the image processing unit of the augmented reality program can detect the more precise mouse cursor position.
  • the distance information between the camera of the smartphone and the marker calculated by the AR program is transmitted to the desktop computer, and the desktop computer preferably changes the size of the marker in proportion to the distance. That is, when the camera of the smartphone approaches the marker (pc-> pd) as shown in FIG. 4, it is preferable to reduce the size of the marker (cuc-> cud). On the contrary, when the camera of the smartphone moves away from the marker, it is convenient to detect the marker by enlarging the marker so that the size of the marker is always constant in the image captured by the smartphone.
  • the desktop computer transmits the changed size information of the marker to the augmented reality program of the smartphone through a communication means such as Bluetooth, and the augmented reality program of the smartphone uses the received size information of the marker to obtain the relative position between the marker and the camera. Can be.
  • the distance between the camera and the marker can be more accurately obtained by limiting the size of the mouse cursor marker. For example, when the camera approaches the marker, the size of the marker is maintained as it is until the size of the detected marker in the captured image reaches a predetermined threshold size, and the marker is reduced in size as it becomes larger than the threshold size. Similarly, when the camera is moved away from the marker, the size of the marker is maintained as it is until the size of the marker detected in the captured image is smaller than the predetermined threshold size, and the marker is greatly changed at the moment when the camera becomes smaller than the threshold size. In this way, by fixing the size of the marker at most moments and changing the size of the marker at only one moment, the image processing program can detect the marker better.
  • the markers used in the above embodiments 1 to 7 have the disadvantage of covering the original screen.
  • the marker cu displayed on the desktop monitor is displayed on the image captured by the camera of the smartphone.
  • a marker (cus) is preferably not displayed on the smartphone display (mos) that the augmented reality image is output.
  • the original image without the marker on the desktop or the original image of the portion covered by the marker (cu) on the desktop and its position on the monitor are transmitted to the augmented reality program to synthesize the augmented reality image from the captured image on the desktop monitor ( After detecting the cu), it is desirable to remove the captured marker from the final output image by combining the original image received from the desktop or the partial image covered by the marker at a suitable perspective projection.
  • FIG. 5 is an embodiment of a monitor-based augmented reality system according to the present invention using a tablet pc and a smartphone.
  • the original video for example, a moving road video viewed from a running car
  • the monitor (mob) of the tablet PC is transmitted to the augmented reality program.
  • the video output on the monitor of the tablet pc is transmitted to the augmented reality program in real time and in parallel with the camera of the smartphone to take a video of the monitor (mob) of the tablet pc.
  • the augmented reality program compares the received screen image of the tablet PC with the video taken by the camera of the smartphone in order for each frame to calculate the 3D relative position and direction between the camera of the smartphone and the monitor of the smartphone.
  • a computer graphic object vo for example, a three-dimensional model of a running car
  • the information transmitted from the tablet PC to the smartphone is preferably transmitted only the feature point information extracted from the image, instead of transmitting the compressed video or the image. It is a technology similar to comparing technology, which recognizes the whole or part of the monitor screen (mouse cursor icon) information and detects three-dimensional relative position between the camera and the monitor and outputs a pointing signal.
  • a pointing device by '.
  • Obtaining the corresponding feature points from the image output on the tablet pc and the image taken by the camera of the smartphone is a well-known technique, for example, in find_obj.cpp in the sample code of the open software package for image processing called opencv2.2. Is implemented.
  • the opencv function cvFindExtrinsicCameraParams2 we can find the relative position between the camera and the tablet pc. Specifically, as follows: x, y values of the three-dimensional coordinate values of the feature points obtained from the image output to the tablet pc is set to the coordinate value in the image and z value is set to zero. Enter these coordinates as the object point of the function above. Then, the corresponding feature points are obtained from the image captured by the smartphone camera, and the coordinate values in the image of the point are input as the image point value of the above function.
  • the 3d monitor has a time division method and a space division method.
  • the time division method includes shutter glasses and an active retarder which sequentially outputs an image to be displayed to the left eye and an image to be displayed to the right eye in sequence.
  • the spatial division method has a polarized spectacle that outputs an image to be seen by the left eye at an even horizontal line and an image to be displayed to the right eye at an odd horizontal line (two different horizontal lines).
  • a polarized spectacle display may be implemented by simultaneously projecting images to be shown to the left and right eyes by using a beam projector polarized in a direction on one screen, respectively.
  • the marker (bm) of Example 1 or the marker (cu) of Example 2 invisible to the human eye in the following manner: It can be placed in any size as well as at the edges, ie 3d monitors (including 3d beam projectors).
  • the marker (bm) is combined with the image to be shown to the left eye and the image to be displayed to the right eye, respectively, and output to the image to be shown to the left eye.
  • the markers (second markers) to be synthesized are configured to have a complementary color inversion relationship, that is, the first markers are complementary color inverted to generate a second marker, where the complementary color markers are made of two markers that are semitransparent and overlapped.
  • the marker is invisible to the human eye
  • the second image can obtain a second marker by black and white reversing the first image.
  • the second marker can be obtained by setting the complementary color of the color to the color of the second marker, where the complementary color of a color means that the relationship becomes white when the two colors are summed together. If you look at the 3d monitor that synthesizes the complementary color markers with the original output image semi-transparently and outputs them with the naked eye, the first marker and the second marker output at the same position do not overlap each other.
  • the first marker and the second marker are visible in the left and right eyes, respectively.
  • compositing two images semi-transparently means synthesizing the average image of two images.
  • the average image of the two images can be obtained by making the average value of the pixel values of the respective corresponding positions of the two images the pixel value of the new image.
  • the first marker or the second marker may be photographed to be recognized by the image processing unit. Finding the relative position can generate an augmented reality image.
  • the first image processing unit includes a second camera and a second image processing unit, which is more stable augmented reality image. Can be synthesized.
  • the second camera cm2 may be installed around the display mob photographed by the first camera cm1 to photograph the first camera.
  • the first image processor may calculate the position of the first camera more accurately by referring to the information.
  • the second camera preferably uses a depth camera, such as a kinect, in order to capture the first camera in the dark environment.
  • the camera is proportional to the distance between the points of the object corresponding to that pixel.
  • a depth camera it is also possible to analyze and track only the shape regardless of the color of the first camera.
  • the latest release of Microsoft's Kinect includes a standard color camera and a depth camera using infrared, which is a well-known technique for analyzing a depth image taken by Kinect to track a person. Taking a camera attached to the display can be easily implemented.
  • the depth camera includes a stereo camera that outputs a depth image by stereo matching.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 동영상을 배경으로 하여 3차원 그래픽 객체를 상기 동영상 위에 합성할 수 있는 증강현실 시스템에 관한 것이다.

Description

모니터 기반 증강현실 시스템
본 발명은 증강 현실 시스템의 개선에 관한 것이다. 증강현실 시스템은 카메라로 촬영한 실제 영상에 가상의 그래픽 이미지를 원근감 있게 정합하여 합성하는 기술이다. 이러한 증강현실 기술은 크게 GPS 기반과 비전 기반으로 나뉜다. 본 발명에의한 모니터 기반 증강현실 시스템은 비전 기반에 의한 것이다.
기존의 비전 기반 증강현실 시스템은 촬영된 실제 영상에서 마커를 인식하여 카메라와 마커 사이의 3차원 거리와 방향을 산출한 후 그 정보를 이용하여 가상 객체를 실제 영상에 원근감 있게 합성하는 기술이다. 마커는 종이에 흑백 사각형 형태의 바코드를 인쇄하여 사용하기도 하고, 사진 또는 임의의 자연의 정지 영상의 이미지를 미리 증강현실 프로그램의 데이타베이스에 이미지 등록(image registration)을 한 후 사용하기도 한다. 인쇄된 2차원 바코드를 배경으로 사용하는 증강 현실 프로그램의 라이브러리에는 예를 들면 에이알툴킷(artoolkit)이 알려져 있다. 그리고 사진 또는 임의의 자연의 정지 영상을 인공적인 마커 대신 배경으로 사용하는 시스템은 마커리스(markerless) 증강현실 시스템이라 하고 Georg Klein 과 David Murray 의 Parallel Tracking and Mapping for small AR Workspaces 라는 논문 ( http://www.robots.ox.ac.uk/~gk/publications/KleinMurray2007ISMAR.pdf ) 에 자세히 설명되어있다. Georg Klein 과 David Murray 이 공개한 증강현실 샘플 코드는 프로그램 시작 직후 카메라를 마커로 사용할 배경 앞에서 평행이동하는 과정을 통해 배경 영상을 등록해야만 증강 현실 영상을 볼 수 있다. 현재 이러한 마커리스(markerless) 증강현실 기술을 응용한 스마트폰용 게임이 출시되고 있다. 예를 들면 제니텀 (http://www.zenitum.com/ )이라는 회사에서 최근(2010년5월)에 출시한 스페이스 인베이더라는 증강현실 게임은 종이에 인쇄된 그림을 스마트폰의 카메라로 촬영하면 스마트폰에서 실행되는 게임 프로그램은 미리 등록된 상기 그림 정보를 참조하여 촬영된 영상에서 그 그림을 인식하여 카메라와 그림 사이의 3차원 상대위치를 알아낸 후 그 그림 위에 그래픽영상으로 3차원 지구와 지구를 공격하는 우주선을 합성하여 출력하게 되어있다. 사용자는 스마트폰을 움직여서 다양한 각도에서 3차원 지구와 우주선을 볼 수 있고 스마트폰의 터치스크린을 터치해서 우주선을 공격하게 되어있다. 또한 이러한 마커리스 증강현실 프로그램을 구현할 수 있도록 2010년 11월부터 퀄컴에서는 이미지 등록과 추적 기능을 포함하는 증강현실용 라이브러리(software development kit)를 무료로 배포하고 있다.
이러한 기존의 증강 현실 시스템의 단점은 배경과 카메라 사이의 3차원 위치와 방향을 결정하는데 사용할 마커나 사진 또는 임의의 자연의 정지 영상과 같은 배경 이미지를 증강현실 프로그램에 미리 이미지 등록을 해야 하기 때문에 증강현실 시스템의 배경이 정지 영상으로 제한된다는 것이다. 즉 기존의 증강현실 시스템의 배경을 정지 영상 뿐만 아니라 동영상도 출력할 수 있는 TV 나 컴퓨터의 화면의 영상으로 한다면 TV 나 컴퓨터 화면에 출력될 모든 동영상을 미리 예측하여 증강현실 프로그램에 등록을 해야 한다. 만약 TV 나 컴퓨터화면에 출력될 동영상을 미리 입수 또는 예측할 수 있어서 그 동영상의 매 프레임을 미리 등록해 놓는다면 등록된 데이타베이스의 크기는 매우 커질 것이고, 등록 시간도 매우 오래 걸릴 것이다. 그리고 그러한 매우 큰 데이타베이스 안의 등록된 무수한 영상과 현재의 촬영된 영상을 비교하는데 시간도 매우 오래 걸려서 실시간 증강 현실 시스템은 거의 불가능할 것이다. 또한 생방송의 영상과 같이 TV 나 컴퓨터화면에 출력될 동영상을 미리 입수하거나 예측할 수 없다면 기존 증강현실 시스템으로는 TV 나 컴퓨터화면을 배경으로 하는 증강현실 시스템을 구현하기는 불가능하다. 본 발명은 상기한 기존의 증강현실 시스템의 배경이 단조로운 정지 영상으로 제한되어있다는 단점을 해결하여 동영상이 출력될 수 있는 컴퓨터 디스플레이나 TV 화면을 배경으로 하는 증강현실 시스템을 제공하는 것을 목적으로 한다.
본 발명의 증강 현실 시스템은 상기한 목적을 달성하기 위하여 증강 현실 시스템의 배경 영상으로 사용될 컴퓨터 화면 또는 TV 화면에 미리 이미지 등록된 패턴영상(마커)을 출력하고 카메라로 컴퓨터 화면 또는 TV 화면을 촬영한 영상에서 상기 마커를 추출하여 카메라와 마커 사이의 3차원 위치와 방향을 산출하여 가상 객체 이미지를 합성함으로써 증강 현실 이미지를 생성하는 증강현실 시스템을 제공한다.
또한 다른 해결 방법으로는 배경 영상으로 사용될 컴퓨터 화면 또는 TV 화면의 매 프레임을 실시간으로 증강 현실 프로그램이 참조하여 카메라로 촬영한 영상과 비교하여 카메라와 배경 영상 사이의 3차원 상대위치를 산출하여 그 위치에 맞게 증강 현실 이미지를 생성하여 출력하는 증강 현실 시스템을 제공한다.
본 발명에 의한 모니터 기반 증강현실 시스템은 동영상 출력이 가능한 TV나 컴퓨터 모니터에 출력되고 있는 임의의 영상을 배경으로 사용하여 좀더 풍부한 증강현실 이미지를 구현할 수 있다. 예를 들면 본 발명의 시스템으로 게임 영상이 출력 중인 모니터 안의 게임 캐릭터가 모니터 밖으로 나와 돌아다니는 효과도 구현할 수도 있다. 또한 기존의 셔터 안경이나 편광 안경과 함께 사용하는 3D모니터 영상과 달리 본 발명의 증강 현실시스템의 배경으로 사용되는 모니터를 보는 사용자의 위치에 따라 보이는 면이 바뀌는 3차원 영상을 제공할 수도 있다. 예를 들어서 도5와 같이 책상 위에 놓인 태블릿 PC 화면(mob)을 스마트폰(mos)의 카메라로 촬영하여 본 발명의 증강 현실 시스템의 배경으로 사용 한다면 사용자가 태블릿 PC를 회전하면 태블릿 PC 화면 위에 표시되는 그래픽 객체인 자동차(vo)의 뒷면도 볼 수 있다. 도5의 태블릿 PC화면 위에는 달려가는 자동차의 3차원 영상(vo)이 증강 현실로 스마트폰(mos)의 디스플레이에 표시되고 태블릿 PC에는 상기 달려가는 자동차의 속도에 맞게 움직이는 도로의 동영상이 출력된다면 사용자는 좀더 현실감 있는 3차원 영상을 즐길 수 있다.
도1은 고정된 마커를 사용하는 본 발명의 제1실시예 구성도
도2는 움직일 수 있는 마커를 사용하는 본 발명의 제2 실시예 구성도
도3은 마커가 스마트폰의 카메라 시선방향으로 따라오는 모습
도4는 마커 크기가 스마트폰의 카메라와 마커 사이의 거리에 비례하게 변하는 모습
도5는 스마트폰과 태블릿 pc를 사용한 실시예
도6은 제2카메라를 사용하는 구성도
실시예1
도1은 움직이는 도로의 동영상이 출력되고 있는 데스크탑 pc의 모니터(mob)를 스마트폰(mos)의 카메라로 촬영하여 도로를 달리는 자동차의 3차원 영상(vo)을 합성하여 스마트폰의 디스플레이에 출력하는 구성을 나타낸 것이다. 여기서 데스크탑 모니터의 영상을 촬영하는 것은 하나의 예일 뿐 실제로는 빔 프로젝터나 태블릿 pc모니터 등 임의의 영상 출력 장치에 의해 출력된 영상을 촬영해서 본 발명을 실시할 수 있다. 도1의 pc의 모니터(mob)에는 임의의 정지 영상 또는 동영상에 미리 등록된 형태의 마커(bm)가 합성되어 출력된다. 도1에서 마커(bm)는 데스크탑 pc의 모니터의 좌우측에 상하로 길게 형성된 점선 형태이다. 마커의 위치는 가능하면 원래 영상이 마커에 의해 최대한 덜 가려지도록 화면 외곽에 위치시키는 것이 바람직하다. 스마트폰에서 실행될 증강현실 프로그램에 미리 그 마커(bm)의 이미지를 등록시킨 후 스마트폰의 카메라에서 촬영한 영상에서 그 마커(bm)를 검출하여 데스크탑 pc 의 모니터와 스마트폰의 카메라사이의 3차원 상대위치를 검출할 수 있다. 마커와 카메라 사이의 상대 위치와 방향을 구하는 것은 증강현실 분야의 공지 기술이다. 마커를 완전히 불투명하게 형성하면 원래 영상을 가리는 문제가 있으므로 반투명하게 형성하여 원래 영상과 마커 영상이 겹쳐 보이게 하는 것이 바람직하다. 이렇게 구한 카메라와 마커 사이의 상대위치에 맞게 그래픽 객체를 촬영된 영상에 원근감 있게 합성하여 증강 현실 영상을 스마트폰의 디스플레이에 출력할 수 있다.
이러한 스마트폰 카메라 대신 컴퓨터에 연결된 웹 카메라를 사용할 수도 있고 안경형 디스플레이에 시선방향을 촬영하게 부착된 카메라를 사용할 수도 있다.
카메라가 부착된 안경형 디스플레이의 예를 들면 뷰직스라는 회사에서 WRAP 920AR 이라는 제품(http://www.vuzix.com/consumer/products_wrap920ar.html)으로 출시하고 있다.
실시예2
상기 실시예1의 위치가 고정된 마커(bm)는 데스크탑의 원래 영상을 가린다는 단점이 있다. 그러한 문제를 해결하기 위하여 마커를 이동 가능하게 하는 것이 바람직하다. 예를 들어서 마우스 커서 아이콘을 도2의 사각형형태의 마커(cu)로 구성하면 마우스를 사용하여 마커(cu)의 위치를 이동시킬 수 있다. 태블릿 pc인 경우에는 손가락으로 마커를 터치한 후 끌어서 이동(Dragging)시킬 수 있다. 도2의 사각형 마커(cu)의 윗변의 중심이 끊어진 이유는 카메라와 마커 사이의 상대 위치(x,y,z)뿐 만 아니라 상대 방향(yaw, pitch, roll)도 검출하기 위함이다. 여기서 사각형 형태는 하나의 예일 뿐 실제로는 충분한 특징점을 포함하는 임의의 이미지를 마커로 사용해도 무방하다. 여기서 충분한 특징점을 포함한다는 뜻은 카메라와 마커 사이의 3차원 상대 위치와 방향을 구하기에 충분한 것을 의미한다. 또한 마커의 크기는 스마트폰의 카메라로 촬영한 영상에서 검출하여 카메라와 마커 사이의 3차원 상대 위치와 방향을 검출하는데 충분할 정도로 크게 하는 것이 바람직하다. 또한 마커를 반투명하게 형성하여 가려진 부분의 원래 영상이 보이게 하는 것이 바람직하다. 사용자는 마우스를 조작하여 마커를 이동시켜서 마커로 가려진 부분을 확실히 볼 수 있다. 이 경우 마커(cu)의 움직임 또는 스크린 위에서의 위치 정보(x,y)를 블루투스와 같은 통신 수단을 이용하여 스마트폰에서 실행되는 증강현실 프로그램에 전송하여 증강현실 프로그램이 카메라와 데스크탑 모니터(mob)사이의 3차원 상대 위치를 구하는데 그 위치 정보를 사용할 수 있어야 한다. 즉 증강현실 프로그램은 스마트폰의 카메라로 촬영된 이미지를 분석하여 마커(cu)를 검출하여 카메라와 마커 사이의 상대 위치를 구하고 수신된 마커의 데스크탑 모니터 안에서의 좌표를 참조하여 카메라와 데스크탑 모니터 사이의 상대위치를 구할 수 있다. 이렇게 구한 상대위치에 맞게 그래픽 객체를 촬영된 영상에 합성하여 증강 현실 영상을 출력할 수 있다.
실시예3
컴퓨터 마우스 커서 아이콘의 경우 마우스 커서의 화면 안에서의 위치에 따라 또는 시간에 따라 그 형태가 바뀔 수 있다. 예를 들면 마우스 버튼을 눌렀을 때와 누르지 않았을 때의 형태가 다를 수 있다. 또한 오래 걸리는 작업중임을 나타내기 위하여 모래시계 아이콘으로 바뀔 수도 있다.윈도우 비스타의 경우 모래시계 대신 회전하는 도너츠 형태로 바뀐다. 마찬가지로 본 발명의 증강현실의 마커도 형태가 바뀔 수 있고 그 경우 증강현실 프로그램에서 그 마커를 검출할 수 있도록 하기 위하여 바뀐 마커의 형태, 크기 또는 색상 정보를 증강현실 프로그램에 전송하는 것이 바람직하다. 증강 현실 프로그램은 촬영된 영상에서 수신한 마커의 정보를 이용하여 형태가 바뀐 마커를 검출하여 마커와 카메라 사이의 상대위치에 맞게 그래픽 객체를 촬영된 영상에 합성하여 증강 현실 영상을 출력할 수 있다.
실시예4
상기 실시예2의 경우 스마트폰의 카메라로 촬영한 영상 안에서의 마커의 위치를 데스크탑 컴퓨터에 전송하고 데스크탑 컴퓨터는 그 정보를 이용하여 마커의 위치를 조정하되 마커가 스마트폰의 카메라의 시야의 중심에 항상 위치하도록 조정하는 것이 바람직하다. 이러한 마커가 카메라 시선 방향을 따라가는 기술은 등록 특허 936816호 '카메라와 마커 출력에의한 포인팅 장치 '에 공개되어있다. 구체적으로 설명하면 도3에서 스마트폰의 카메라의 시선 방향(va)에 있던 마커(cua)는 스마트폰의 카메라의 위치가 pb로 이동하여 스마트폰 카메라의 시선 방향이 vb 로 바뀐다면 마우스 커서 마커 위치도 그 시선 방향쪽(cub)으로 이동시키는 것이 바람직하다. 만약 마커를 한 위치(cua)에 고정시킨다면 스마트폰의 카메라의 시야에서 마커가 사라지지 않게 매우 조심해서 스마트폰을 움직여야 하는 불편함이 있다. 그러나 마커가 스마트폰의 카메라의 시선방향을 따라온다면 사용자는 데스크탑의 모니터 위의 임의 방향으로 스마트폰 카메라를 자유롭게 이동하면서 증강현실 영상을 볼 수 있다.
실시예 5
상기 실시예4에서 데스크탑 컴퓨터는 마우스 커서 마커를 이동시킬 때 마우스 커서 아이콘의 움직임을 띄엄 띄엄하게 제한하여 스마트폰의 카메라와 마우스 커서 아이콘 사이의 상대 위치와 방향을 좀더 정밀하게 산출하여 증강현실 영상의 떨림을 방지할 수 있다. 여기서 마우스 커서 아이콘의 움직임을 띄엄 띄엄하게 제한한다는 뜻은 스마트폰의 카메라로 촬영한 영상의 중심에서 마커가 벗어난 거리가 어느 정도 임계치 이상이 되는 순간에 마우스 커서 아이콘을 카메라 시선 방향으로 점프하게 하는 것을 의미한다.
이처럼 대부분의 순간에는 마우스 커서 마커의 위치가 고정된 상태를 유지함으로써 증강현실 프로그램의 영상처리부에서는 좀더 정확한 마우스 커서 위치를 검출할 수 있다.
실시예6
상기 실시예4에서 증강현실 프로그램에서 산출한 스마트폰의 카메라와 마커 사이의 거리정보를 데스크탑 컴퓨터에 전송하고 데스크탑 컴퓨터는 그 거리에 비례하게 마커의 크기를 변경하는 것이 바람직하다. 즉 도4와 같이 스마트폰의 카메라가 마커를 향해 접근(pc->pd)하면 마커의 크기를 축소(cuc->cud)시키는 것이 바람직하다. 반대로 스마트폰의 카메라가 마커로부터 멀어지면 마커를 확대시켜서 스마트폰으로 촬영된 영상에서 마커의 크기가 항상 일정하게 유지시키는 것이 마커를 검출하는데 편리하다. 데스크탑 컴퓨터는 블루투스와 같은 통신 수단을 통해 스마트폰의 증강현실 프로그램에 변경된 마커의 크기정보를 전송하고 스마트폰의 증강현실 프로그램은 수신된 마커의 크기정보를 이용하여 마커와 카메라 사이의 상대 위치를 구할 수 있다.
실시예7
상기 실시예6에서 카메라와 마커 사이의 거리에 따라 마우스 커서 마커의 크기를 변화시키는 경우 그 변할 수 있는 크기를 띄엄 띄엄하게 제한하여 카메라와 마커 사이의 거리를 좀더 정확하게 구할 수 있다. 예를 들어서 카메라를 마커에 접근 시키는 경우 촬영된 이미지에서 검출된 마커의 크기가 어느 정해진 임계 크기가 될 때까지는 마커의 크기를 그대로 유지하고 임계 크기보다 커지는 순간에 마커를 작게 축소시킨다. 마찬가지로 카메라를 마커로부터 멀어지게 하는 경우 촬영된 이미지에서 검출된 마커의 크기가 어느 정해진 임계 크기보다 작게 될 때까지는 마커의 크기를 그대로 유지하고 임계 크기보다 작아지는 순간에 마커를 크게 변화시킨다. 이렇게 대부분의 순간에는 마커의 크기를 고정시키고 어느 한 순간에만 마커의 크기를 변경시킴으로써 영상처리프로그램은 마커를 좀더 잘 검출할 수 있다.
실시예8
상기 실시예1~7에서 사용한 마커는 원래 화면을 가린다는 단점이 있다. 구체적으로 도2의 경우 데스크탑 모니터에 표시된 마커(cu)는 스마트폰의 카메라로 촬영한 영상(mos)에 표시(cus)된다. 그러나 이러한 마커(cus)는 증강현실 영상이 출력되는 스마트폰 디스플레이(mos)에 표시 되지 않는 것이 바람직하다. 즉 데스크탑의 마커가 없는 원래 영상 또는 데스크탑의 마커(cu)가 가린 부분의 원래 영상과 모니터에서의 그 위치를 증강현실 프로그램에 전송하여 증강 현실 영상을 합성할 때 촬영된 이미지에서 데스크탑 모니터 속의 마커(cu)를 검출 한 후 그 위치에 데스크탑으로부터 수신 받은 원래 영상 또는 마커가 가린 부분 영상을 적당히 투사 변환(perspective projection)하여 합성함으로써 촬영된 마커를 최종 출력 영상에서 제거하는 것이 바람직하다.
실시예9
도5는 태블릿 pc와 스마트폰을 사용한 본 발명에 의한 모니터 기반 증강현실 시스템의 실시예이다. 본 실시예에서는 상기 실시예들에서 사용한 인공적인 도형이나 아이콘과 같은 마커들 대신 태블릿 pc의 모니터(mob)에 출력되는 원래 동영상(예를 들면 달리는 차에서 본 움직이는 도로 동영상)을 증강현실 프로그램에 전송하여 마커 대신 사용하는 구성을 개시한다. 이러한 구성은 인공적인 마커가 원래 화면을 가린다는 상기 실시예들의 단점을 극복할 수 있다. 태블릿 pc의 모니터에 출력되는 동영상은 실시간으로 증강현실 프로그램에 전송되고 그와 병행하여 스마트폰의 카메라는 상기 태블릿 pc의 모니터(mob)의 동영상을 촬영한다. 증강현실 프로그램은 수신 받은 태블릿 pc의 화면 영상과 스마트폰의 카메라로 촬영한 동영상을 프레임마다 차례로 비교하여 스마트폰의 카메라와 태블릿 pc모니터 사이의 3차원 상대 위치와 방향을 산출하여 스마트폰의 카메라로 촬영한 영상 위에 컴퓨터 그래픽 객체(vo)(예를 들면 달리는 자동차의 3차원 모델)를 합성하여 스마트폰의 디스플레이(mos)에 출력한다. 태블릿 pc에서 스마트폰으로 전송하는 정보는 통신의 부담을 줄이기 위해 압축된 동영상을 전송하거나 이미지를 전송하는 대신 이미지에서 추출한 특징점 정보만 전송하는 것이 바람직하다.이러한 매 프레임 영상을 전달해서 촬영된 영상과 비교하는 기술과 유사한 기술로 모니터 화면 전체 또는 일부(마우스 커서 아이콘)정보를 영상 인식하여 카메라와 모니터 사이의 3차원 상대위치를 검출하여 포인팅 신호를 출력하는 기술로 등록 특허 936816호 '카메라와 마커 출력에의한 포인팅 장치 '가 있다. 태블릿 pc에 출력되는 영상과 그 태블릿 pc를 스마트폰의 카메라에 촬영한 영상에서 대응되는 특징점을 구하는 것은 공지기술로 예를 들면 opencv2.2라는 영상처리용 공개 소프트웨어 패키지의 샘플코드 중 find_obj.cpp 에 구현되어있다. 이러한 대응점들을 cvFindExtrinsicCameraParams2 라는 opencv 함수의 입력 파라메터로 사용함으로써 카메라와 태블릿 pc사이의 상대 위치를 구할 수 있다. 구체적으로 설명하면 다음과 같다.즉 태블릿 pc에 출력중인 이미지에서 구한 특징점들의 3차원 좌표값의 x,y 값은 이미지에서의 좌표값으로 하고 z값은 0으로 설정한다. 이러한 좌표값을 위 함수의 오브젝트 포인트로 입력한다. 그리고 스마트폰의 카메라로 촬영된 이미지에서 대응되는 특징점들을 구해서 그 점의 이미지에서의 좌표값을 위 함수의 이미지 포인트값으로 입력하면 된다.
실시예10
최근에 3d 모니터가 대중화되고 있다. 3d 모니터는 시분할 방식과 공간 분할 방식이 있다. 시분할 방식에는 왼쪽 눈에 보여질 영상과 오른쪽 눈에 보여질 영상을 번갈아 순차적으로 빠르게 출력하는 셔터 안경식(shutter glasses)과 액티브 리타더(active retarder) 방식이 있다. 그리고 공간 분할 방식에는 화면을 구성하는 다수의 수평선 중 짝수번째 수평선에는 왼쪽 눈에 보여질 영상을 출력하고 홀수번째 수평선에는 오른쪽 눈에 보여질 영상을 동시에 출력하는 편광 안경식이 있다.(두 개의 서로 다른 방향으로 편광된 빔 프로젝터를 사용해서 좌우측 눈에 보여질 영상을 두 프로젝터가 각각 동시에 한 화면에 투사하여 편광 안경식 디스플레이를 을 구현할 수도 있다. 이러한 3d 프로젝터를 사용해서 본 실시예를 구성할 수도 있다. 이러한 3d 모니터를 사용하여 본 발명에의한 증강 현실 시스템을 구성하는 경우 다음과 같은 방법으로 실시예1의 마커(bm) 또는 실시예2의 마커(cu)를 사람 눈에 보이지 않게 하여 마커를 모니터 변두리뿐 만 아니라 임의 위치에 임의의 크기로 배치할 수 있다. 즉 3d 모니터(3d 빔 프로젝터도 포함한다)에 출력되는 왼쪽 눈에 보여질 영상과 오른쪽 눈에 보여질 영상에 각각 마커(bm)를 합성하여 출력하되 왼쪽 눈에 보여질 영상에 합성할 마커(제1마커)와 오른쪽 눈에 보여질 영상에 합성할 마커(제2마커)가 서로 보색 반전된 관계가 되도록 구성한다. 즉 제1마커를 보색 반전해서 제2마커를 생성한다. 여기서 보색 반전된 마커란 두 마커를 반투명하게 만들어서 겹치게 놓을 경우 마커가 사람 눈에 보이지 않는 것을 말한다. 만약 제1 마커를 흑백 이미지로 만들었다면 제2 이미지는 제1 이미지를 흑백 반전함으로써 제2 마커를 얻을 수 있다. 임의의 칼라로 된 제1 마커는 각 픽셀의 색의 보색(complementary color)을 제2 마커의 색으로 설정함으로써 제2 마커를 얻을 수 있다.여기서 어떤 색의 보색이란 두 색을 합산했을 경우 백색이 되는 관계를 의미한다. 이러한 보색 관계의 마커를 원래 출력할 영상과 반투명하게 합성한 후 출력하는 3d 모니터를 사람의 맨 눈으로 보면 같은 위치에 출력되는 제1 마커와 제2마커가 서로 겹쳐서 보이지 않지만 셔터 안경이나 편광 안경을 쓰면 좌우측 눈에 각각 제1 마커와 제2 마커가 보이게 된다. 여기서 두 이미지를 반투명하게 합성한다는 것은 두 이미지의 평균 이미지를 합성하는 것을 의미한다. 두 이미지의 평균 이미지는 두 이미지의 각각의 대응되는 위치의 픽셀값의 평균값을 새 이미지의 픽셀값으로 함으로써 구할 수 있다. 이러한 제1 마커와 제2마커를 출력하는 모니터를 셔터 안경이나 편광 안경렌즈가 렌즈 앞에 부착된 카메라로 촬영하면 제1 마커 또는 제2마커를 촬영하여 영상처리부에서 인식 할 수 있고 카메라와 마커 사이의 상대위치를 알아내서 증강현실 영상을 생성할 수 있다.
실시예11
도2와 같은 구성의 경우 디스플레이(mob)에 출력중인 마크(cu)를 정면에서 스마트폰의 카메라를 조금씩 좌우로 움직이며 촬영을 하는 경우 마크가 작으면 스마트폰을 움직여도 스마트폰의 카메라로 촬영된 영상에서 마크의 크기나 형태 변화는 매우 작아서 스마트폰의 움직임을 검출하기가 어렵고 그렇기 때문에 합성된 증강현실 영상이 떨리는 문제가 있다. 본 실시예는 상기한 문제를 해결하기 위하여 스마트폰 카메라의 위치를 좀더 안정적으로 검출하는 구성을 개시한다. 즉 상기 실시예1~10의 영상처리부와 디스플레이를 촬영하는 카메라를 각각 제1영상처리부와 제1 카메라라고 하면 상기 제1영상처리부에 제2카메라와 제2 영상처리부를 포함하여 좀더 안정적인 증강현실 영상을 합성할 수 있다. 제2 카메라(cm2)는 도6과 같이 제1카메라(cm1)가 촬영하는 디스플레이(mob) 주변에 설치되어 제1 카메라를 촬영할 수 있다. 제2영상처리부는 제2카메라로 촬영한 영상에서 제1카메라를 검출하고 추적하여 그 위치를 출력하면 제1 영상처리부는 그 정보를 참조하여 제1카메라의 위치를 좀더 정확히 산출할 수 있다. 어두운 환경에서도 제2카메라가 제1카메라를 촬영하기 위하여 제2카메라는 키넥트(kinect)와 같은 깊이 카메라(depth camera)를 사용하는 것이 바람직하다.깊이 카메라는 촬영된 영상의 픽셀 값이 카메라에서 그 픽셀에 대응하는 물체의 점 사이의 거리에 비례하는 카메라이다. 깊이 카메라를 사용하면 제1 카메라의 색상에 무관하게 형태만 분석하여 추적하는 것도 가능하다. 마이크로 소프트에서 최근에 출시한 키넥트는 일반적인 칼라 카메라와 적외선을 이용한 깊이 카메라를 포함하고 있다.키넥트에서 촬영한 깊이 이미지를 분석하여 사람을 추적하는 것은 공지기술이므로 사람이 손에 쥐거나 착용한 안경형 디스플레이에 부착된 카메라를 촬영하는 것은 쉽게 구현될 수 있다. 본 실시예에서 깊이 카메라는 스테레오 매칭에의한 깊이 영상을 출력하는 스테레오 카메라를 포함한다.

Claims (21)

  1. 증강현실 시스템에 있어서
    원래 영상에 마커영상을 합성하여 디스플레이에 출력하는 마커 출력부;
    상기 디스플레이에 출력되는 영상을 촬영하는 제1카메라;
    상기 제1카메라에서 촬영한 영상에서 마커를 인식하여 카메라와 디스플레이 사이의 상대 위치를 산출하는 제1영상처리부;
    상기 제1영상처리부에서 산출한 상대 위치를 이용하여 그래픽 객체를 제1카메라에서 촬영한 영상에 합성하는 영상 합성부;
    를 포함하는 것을 특징으로 하는 모니터 기반 증강현실 시스템.
  2. 상기 1항에 있어서
    마커는 마우스 커서 아이콘인 것을 특징으로 하는 모니터 기반 증강현실 시스템.
  3. 상기 2항에 있어서
    제1영상처리부는 마우스 커서 아이콘의 디스플레이에서의 위치를 참조하여 제1카메라와 디스플레이 사이의 상대위치를 산출하는 것을 특징으로 하는 모니터 기반 증강현실 시스템.
  4. 상기 2항에 있어서
    제1영상처리부는 마우스커서 아이콘이 제1카메라의 시선방향으로 이동하도록 조정하는 것을 특징으로 하는 모니터 기반 증강현실 시스템.
  5. 상기 4항에 있어서 마우스커서 아이콘이 제1카메라의 시선방향으로 이동하도록 하되 촬영된 영상의 중심에서 마우스 커서가 벗어난 거리가 일정 크기 이상이 되는 순간에 마우스 커서를 촬영된 영상의 중심에 오도록 점프시켜 이동시킴으로써 마우스커서 아이콘의 위치 변화가 띄엄띄엄하게 되도록 하는 것을 특징으로 하는 모니터 기반 증강현실 시스템.
  6. 상기 2항에 있어서
    제1영상처리부는 마우스커서 아이콘의 크기를 제1카메라와 마우스 커서 아이콘 사이의 거리에 비례하게 조정 하는 것을 특징으로 하는 모니터 기반 증강현실 시스템.
  7. 상기 6항에 있어서
    제1영상처리부는 마우스커서 아이콘의 크기를 조정하되 촬영된 영상에서 검출된 마우스 커서 아이콘의 크기가 정해진 일정 크기범위를 벗어나서 작아지거나 커지는 순간에 상기 일정 크기 범위 안에 크기가 들어오도록 크기 변화를 띄엄띄엄하게 조정하는 것을 특징으로 하는 모니터 기반 증강현실 시스템.
  8. 1항에 있어서 영상 합성부는
    영상 출력부에서 출력중인 마커가 가린 영역의 원래 영상을 참조하여 촬영된 영상에서 마커가 가린 부분을 마커가 가리지 않은 형태로 복원하는 영상을 합성하여 출력하는 것을 특징으로 하는 모니터 기반 증강현실 시스템
  9. 증강현실 시스템에 있어서
    영상을 디스플레이에 출력하는 영상 출력부;
    상기 디스플레이에 출력되는 영상을 촬영하는 제1카메라;
    상기 제1카메라에서 촬영한 영상과 영상 출력부에서 현재 출력중인 영상을 비교하여 제1카메라와 디스플레이 사이의 상대 위치를 산출하는 제1영상처리부;
    상기 제1영상처리부에서 산출한 상대 위치를 이용하여 그래픽 객체를 카메라에서 촬영한 영상에 합성하는 영상 합성부;
    를 포함하는 것을 특징으로 하는 모니터 기반 증강현실 시스템.
  10. 상기 1항에 있어서 디스플레이는 3d 스테레오 영상을 출력할 수 있는 3d 디스플레이이고
    마커는 서로 보색 반전 관계에 있는 제1 마커와 제2 마커를 포함하되
    제1 마커는 오른쪽 눈에 보여질 영상에 합성되고
    제2 마커는 왼쪽 눈에 보여질 영상에 합성되는 것을 특징으로하는
    모니터 기반 증강현실 시스템.
  11. 상기 10항에 있어서
    카메라는 3d 모니터의 좌측 눈에 보여질 영상 또는 우측 눈에 보여질 영상 중 한 영상만 촬영할 수 있는 카메라인 것을 특징으로하는 모니터 기반 증강현실 시스템.
  12. 상기 10항에 있어서
    카메라는 좌측 눈에 보여질 영상 또는 우측 눈에 보여질 영상 중 한 영상만 통과시키는 편광 필터 또는 셔터가 부착된 것을 특징으로하는 모니터 기반 증강현실 시스템.
  13. 1항 또는 9항 중 어느 한 항에 있어서
    상기 제1영상처리부는
    제1카메라를 촬영하는 제2카메라;
    상기 제2카메라에서 촬영한 영상을 분석하여 제1카메라의 위치를 산출하는 제2 영상처리부를 포함하고
    제2 영상처리부에서 산출한 제1카메라의 위치를 참조하여 제1카메라의 위치를 좀더 정확히 산출하는 것을 특징으로하는 모니터 기반 증강현실 시스템.
  14. 상기 13항에 있어서 제2카메라는 깊이 카메라인 것을 특징으로하는 모니터 기반 증강현실 시스템.
  15. 디스플레이에 마커를 출력하는 단계;
    상기 마커를 촬영하는 단계;
    상기 촬영된 이미지를 영상 처리하여 마커를 인식하여 마커와 카메라 사이의 상대 위치를 산출하는 단계;
    상기 상대 위치를 산출하는 단계에서 산출한 상대 위치를 이용하여 그래픽 객체를 카메라에서 촬영한 영상에 합성하는 영상 합성단계를 포함하고,
    상기 마커와 카메라 사이의 상대 위치를 산출하는 단계는,
    상기 촬영된 이미지에서 상기 디스플레이에 출력중인 마커에 대응하는 부분을 검출하여 상기 대응하는 부분의 특징점들의 대응 관계로부터 상대 위치를 산출 하는 단계를 포함하는 것을 특징으로 하는 모니터 기반 증강현실 영상 생성 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
  16. 15항에 있어서
    마커는 마우스 커서 아이콘인 것을 특징으로하는
    모니터 기반 증강현실 영상 생성 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
  17. 16항에 있어서
    마커를 출력하는 단계는
    촬영된 이미지에서 마커가 촬영된 이미지의 중심에서 일정 범위 이내에 위치하도록 마커 출력 위치를 조정하는 단계를 포함하는 것을 특징으로하는 모니터 기반 증강현실 영상 생성 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
  18. 16항에 있어서
    마커를 출력하는 단계는
    촬영된 이미지에서 마커의 크기가 일정 크기 범위 이내가 되도록 마커 크기를 확대 또는 축소하는 단계를 포함하는 것을 특징으로하는 모니터 기반 증강현실 영상 생성 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
  19. 15항에 있어서
    영상 합성 단계는
    출력된 마커가 가린 영역의 원래 영상을 참조하여 촬영된 영상에서 마커가 가린 부분을 마커가 가리지 않은 형태로 복원하는 영상을 합성하여 출력하는 것을 특징으로 하는 모니터 기반 증강현실 영상 생성 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
  20. 디스플레이에 출력중인 영상을 촬영하는 단계;
    상기 촬영된 이미지를 영상 처리하여 카메라와 디스플레이 사이의 상대 위치를 산출하는 단계;
    상기 상대 위치를 산출하는 단계에서 산출한 상대 위치를 이용하여 그래픽 객체를 카메라에서 촬영한 영상에 합성하는 영상 합성단계를 포함하고,
    상기 카메라와 디스플레이 사이의 상대 위치를 산출하는 단계는,
    상기 촬영된 이미지에서 상기 디스플레이에 출력중인 화면 영상에 대응하는 부분을 검출하여 상기 두 영상 사이의 특징점들의 대응 관계로부터 상대 위치를 산출 하는 단계를 포함하는 것을 특징으로 하는 모니터 기반 증강현실 영상 생성 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
  21. 15항에 있어서
    디스플레이에 마커를 출력하는 단계는
    좌측눈에 보여질 영상에 제1마커를 합성하여 3d 디스플레이에 출력하는 단계와
    우측눈에 보여질 영상에 제2마커를 합성하여 3d 디스플레이에 출력하는 단계를 포함하되 상기 제1마커와 제2 마커는 서로 보색 반전 관계이고
    마커를 촬영하는 단계는 좌측눈에 보여질 영상과 우측 눈에 보여질 영상 중 한 영상만 촬영하는 단계를 포함하는 것을 특징으로하는 모니터 기반 증강현실 영상 생성 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2011/003940 2010-05-29 2011-05-28 모니터 기반 증강현실 시스템 WO2011152634A2 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20100050704 2010-05-29
KR10-2010-0050704 2010-05-29
KR20100119256 2010-11-28
KR10-2010-0119256 2010-11-28
KR20110003741 2011-01-13
KR10-2011-0003741 2011-01-13

Publications (2)

Publication Number Publication Date
WO2011152634A2 true WO2011152634A2 (ko) 2011-12-08
WO2011152634A3 WO2011152634A3 (ko) 2012-04-19

Family

ID=45067173

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/003940 WO2011152634A2 (ko) 2010-05-29 2011-05-28 모니터 기반 증강현실 시스템

Country Status (2)

Country Link
KR (1) KR20110132260A (ko)
WO (1) WO2011152634A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015178571A1 (ko) * 2014-05-20 2015-11-26 주식회사 비주얼캠프 시선 추적형 입력 장치
US9804813B2 (en) 2014-11-26 2017-10-31 The United States Of America As Represented By Secretary Of The Navy Augmented reality cross-domain solution for physically disconnected security domains
EP3309713A4 (en) * 2015-06-11 2019-02-20 Devar Entertainment Limited METHOD AND DEVICE FOR INTERACTING WITH VIRTUAL OBJECTS
US11561611B2 (en) 2020-10-29 2023-01-24 Micron Technology, Inc. Displaying augmented reality responsive to an input

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648301B2 (en) 2011-09-30 2017-05-09 Moon Key Lee Image processing system based on stereo image
EP2627093A3 (en) * 2012-02-13 2013-10-02 Thomson Licensing Method and device for inserting a 3D graphics animation in a 3D stereo content
KR101395388B1 (ko) * 2012-06-29 2014-05-14 인텔렉추얼디스커버리 주식회사 증강 현실 표현 장치 및 방법
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
KR101407249B1 (ko) * 2013-05-16 2014-06-13 한밭대학교 산학협력단 증강현실에 의한 프리젠테이션 제어 시스템 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090040839A (ko) * 2007-10-22 2009-04-27 이문기 증강현실 컴퓨터 장치
KR20090087807A (ko) * 2008-02-13 2009-08-18 세종대학교산학협력단 증강 현실을 구현하는 방법 및 이를 이용하는 장치
KR100936816B1 (ko) * 2007-05-26 2010-01-14 이문기 카메라와 마크 출력에의한 포인팅 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100936816B1 (ko) * 2007-05-26 2010-01-14 이문기 카메라와 마크 출력에의한 포인팅 장치
KR20090040839A (ko) * 2007-10-22 2009-04-27 이문기 증강현실 컴퓨터 장치
KR20090087807A (ko) * 2008-02-13 2009-08-18 세종대학교산학협력단 증강 현실을 구현하는 방법 및 이를 이용하는 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015178571A1 (ko) * 2014-05-20 2015-11-26 주식회사 비주얼캠프 시선 추적형 입력 장치
US9804813B2 (en) 2014-11-26 2017-10-31 The United States Of America As Represented By Secretary Of The Navy Augmented reality cross-domain solution for physically disconnected security domains
EP3309713A4 (en) * 2015-06-11 2019-02-20 Devar Entertainment Limited METHOD AND DEVICE FOR INTERACTING WITH VIRTUAL OBJECTS
US11561611B2 (en) 2020-10-29 2023-01-24 Micron Technology, Inc. Displaying augmented reality responsive to an input
US11874956B2 (en) 2020-10-29 2024-01-16 Micron Technology, Inc. Displaying augmented reality responsive to an input

Also Published As

Publication number Publication date
KR20110132260A (ko) 2011-12-07
WO2011152634A3 (ko) 2012-04-19

Similar Documents

Publication Publication Date Title
WO2011152634A2 (ko) 모니터 기반 증강현실 시스템
US11546505B2 (en) Touchless photo capture in response to detected hand gestures
WO2011108827A2 (ko) 증강현실의 포인팅 장치
CN110544280B (zh) Ar系统及方法
KR101822471B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
WO2010027193A2 (en) Spatially correlated rendering of three-dimensional content on display components having arbitrary positions
US9651782B2 (en) Wearable tracking device
US8780178B2 (en) Device and method for displaying three-dimensional images using head tracking
US9123272B1 (en) Realistic image lighting and shading
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
Tomioka et al. Approximated user-perspective rendering in tablet-based augmented reality
US20150213649A1 (en) Three-dimensional environment sharing system and three-dimensional environment sharing method
TWI701941B (zh) 圖像處理方法及裝置、電子設備及儲存介質
WO2014105646A1 (en) Low-latency fusing of color image data in a color sequential display system
JP2013206322A (ja) 情報処理装置、情報処理システム及び情報処理方法
TW202206978A (zh) 用於擴展現實的隱私控制介面
WO2022022029A1 (zh) 虚拟显示方法、装置、设备和计算机可读存储介质
US20100188355A1 (en) Apparatus and method for detecting an object pointed by a user
WO2022158953A1 (en) Extended reality interaction in synchronous virtual spaces using heterogeneous devices
KR20090040839A (ko) 증강현실 컴퓨터 장치
US11589001B2 (en) Information processing apparatus, information processing method, and program
JPH10336505A (ja) 画像表示装置及び画像表示方法
JP2015184986A (ja) 複合現実感共有装置
US20230290081A1 (en) Virtual reality sharing method and system
WO2016185634A1 (ja) 情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11789992

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11789992

Country of ref document: EP

Kind code of ref document: A2