KR20110026168A - Function display system and method for electronic device mop-up using augmentation-reality - Google Patents

Function display system and method for electronic device mop-up using augmentation-reality Download PDF

Info

Publication number
KR20110026168A
KR20110026168A KR1020090083949A KR20090083949A KR20110026168A KR 20110026168 A KR20110026168 A KR 20110026168A KR 1020090083949 A KR1020090083949 A KR 1020090083949A KR 20090083949 A KR20090083949 A KR 20090083949A KR 20110026168 A KR20110026168 A KR 20110026168A
Authority
KR
South Korea
Prior art keywords
image
mockup
electronic device
augmented reality
unit
Prior art date
Application number
KR1020090083949A
Other languages
Korean (ko)
Other versions
KR101125981B1 (en
Inventor
정용욱
김한철
이정선
김무항
김승경
김동환
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020090083949A priority Critical patent/KR101125981B1/en
Publication of KR20110026168A publication Critical patent/KR20110026168A/en
Application granted granted Critical
Publication of KR101125981B1 publication Critical patent/KR101125981B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: An electronic device mop-up function display system using augmentation-reality is provided to prevent the distortion of an image by projecting an image after revising the image according to the 3D location of the electronic device mop-up. CONSTITUTION: A marker detection unit(35) decides the 3D location of the electronic device. An image storage(30) matches process screens by the sorts of the electronic devices. An image search unit(50) extracts the augmented reality image coincided with the kinds of the electronic device and the selection of a user. An augment reality matching unit(55) transfers the augmented reality image after processing the image to be matched on the 3D location of the electronic device.

Description

증강현실을 이용한 전자기기 목업의 기능 시현 시스템 및 방법{Function Display System and Method for electronic device mop-up using Augmentation-reality}Function display system and method for electronic device mop-up using Augmentation-reality}

본 발명은, 증강현실을 이용한 전자기기 목업의 기능 시현 시스템 및 방법에 관한 것으로서, 전자기기의 3차원 위치에 따라 전자기기 목업에 증강현실 영상을 정합하여 투사하고, 사용자의 선택에 부합되며 실제 전자기기에 구현되는 영상을 전자기기 목업에 출력하여 디스플레이할 수 있도록 하는 증강현실을 이용한 전자기기 목업의 기능 시현 시스템 및 방법에 관한 것이다. The present invention relates to a system and method for functional display of electronic equipment mockup using augmented reality, and to match and project the augmented reality image on the electronic equipment mockup according to the three-dimensional position of the electronic device, meets the user's selection and the actual electronic The present invention relates to a system and method for functional display of an electronic device mockup using augmented reality, which enables an image to be output to an electronic device mockup for display.

일반적으로 사용자가 휴대기기와 같은 전자기기를 구매하고자 하는 경우, 판매점에서는 고가의 전자기기를 디스플레이용으로 구비하기 어렵기 때문에, 전자기기와 동일한 외관을 가진 전자기기 목업을 전시하여 사용자에게 보여주고, 사용자는 전자기기의 외관과, 판매자 또는 설명서에 기재된 설명만으로 전자기기의 기능을 이해하고 전자기기를 구입하여야 한다. 이 경우, 사용자는 전자기기에서 실제 구현되는 화면을 볼 수 없기 때문에 전자기기의 구매 후 기대와 맞지 않아서 실망하거나, 설명서만으로는 기능을 숙지하기 어려운 경우도 있다. In general, when a user wants to purchase an electronic device such as a mobile device, since a retailer cannot easily purchase expensive electronic devices for display, an electronic equipment mockup having the same appearance as the electronic device is displayed and shown to the user. The user should understand the function of the electronic device only with the appearance of the electronic device and the description described in the seller or the manual, and purchase the electronic device. In this case, the user may not be able to see the screen that is actually implemented in the electronic device, and may be disappointed because it does not meet the expectations after purchasing the electronic device, or it may be difficult to learn the function only by the manual.

한편, 몇몇 전자기기 목업에 실제 구현 화면을 보여줄 수 있도록 전자부품들을 추가하는 경우가 있으나, 이 경우 단가가 급격히 상승한다는 문제점이 있다. On the other hand, there are cases in which electronic components are added to some electronic device mock-ups to show actual implementation screens, but in this case, there is a problem that the unit price increases rapidly.

이러한 문제점을 해소하기 위해, 전자기기에 증강현실 기술을 이용하여 휴대기기의 실제 기능을 시현하는 시스템들이 개발되고 있다. In order to solve this problem, systems using augmented reality technology in electronic devices to demonstrate the actual function of the portable device has been developed.

여기서, 증강현실 기술은 가상현실 기술에서 파생된 기술로서, 실세계에 대한 인지도를 향상시키는 기술을 말한다. 실세계와의 상호작용을 배제하고 오직 미리 구축해 놓은 가상공간 내에서의 상호작용을 처리하는 가상현실 기술과는 달리, 증강현실 기술은 실시간 처리를 바탕으로 미리 구축된 실세계 정보가 특수 인터페이스를 통해 실제로 관찰되는 실세계의 영상에 겹쳐서 표현되고, 실제와의 상호작용을 제공하도록 함으로써, 관찰자가 실세계 관찰대상에 대해 신속하고 편리한 상황판단을 할 수 있도록 하는 기술이다. Here, the augmented reality technology is a technology derived from the virtual reality technology, and refers to a technology for improving the recognition of the real world. Unlike virtual reality technology, which excludes interaction with the real world and handles interactions only in the pre-established virtual space, augmented reality technology uses real-time processing to actually observe the pre-built real world information through a special interface. It is a technology that allows an observer to make a quick and convenient situation judgment on a real world observation object by being superimposed on the real world image and providing interaction with reality.

이러한 증강현실 기술을 이용하여 프로젝터와 카메라를 이용하여 전자기기 목업에 기능 구현 화면을 투사하는 시스템이 개발되어 있으나, 기존의 시스템들은 단순히 프로젝터와 카메라 간의 물리적 거리 차이를 보정하거나, 투사되는 면 자체가 평면이 아닌 경우에 이를 기하학적으로 보정하여 투사하거나, 다수의 프로젝터를 이용하여 휴대기기 목업의 위치 추적의 정확성을 높이도록 한다. A system for projecting a screen to implement a function on an electronic device mockup using a projector and a camera using the augmented reality technology has been developed. However, existing systems simply compensate for the physical distance difference between the projector and the camera, If it is not a plane, it is geometrically corrected to project, or multiple projectors are used to increase the accuracy of the location tracking of the mobile device mockup.

이에 따라, 전자기기 목업 자체가 카메라나 프로젝터에 대해 수직 및/또는 수평으로 기울어져 있는 경우와 같은 3차원적 위치를 고려하지 아니하므로, 전자기기 목업에 투사된 이미지가 왜곡된다는 문제점이 있다. 또한, 기존의 시스템들은 사용자와 인터렉션할 수 있는 방법이 개시되어 있지 않다. Accordingly, since the electronic mockup itself does not consider a three-dimensional position such as when tilted vertically and / or horizontally with respect to a camera or a projector, there is a problem in that an image projected on the electronic mockup is distorted. In addition, existing systems do not disclose a method for interacting with a user.

본 발명의 목적은, 전자기기 목업의 3차원 위치에 따라 이미지를 보정하여 투사함으로써, 이미지의 왜곡을 방지할 수 있으며, 사용자와의 인터렉션이 용이한 증강현실을 이용한 전자기기 목업의 기능 시현 시스템 및 방법을 제공하는 것이다.An object of the present invention, by correcting and projecting the image according to the three-dimensional position of the mockup of the electronic device, to prevent distortion of the image, the functional demonstration system of the electronic device mockup using augmented reality easy to interact with the user and To provide a way.

상기 목적은, 디스플레이창을 갖는 전자기기 목업을 촬영하는 카메라와, 상기 전자기기 목업에 증강현실 영상을 출력하는 출력기를 포함하는 영상입출력유닛; 및 상기 영상입출력유닛으로부터 촬영된 영상과, 기저장된 전자기기 기종별 작동화면에 기초하여, 상기 전자기기 목업에 출력될 증강현실 영상을 생성하여 상기 영상입출력유닛으로 출력하는 영상제공유닛;을 포함하는 증강현실을 이용한 전자기기 목업의 기능 시현 시스템에 의해 달성될 수 있다.The object includes: an image input / output unit including a camera for photographing an electronic device mockup having a display window and an output unit for outputting an augmented reality image to the electronic device mockup; And an image providing unit configured to generate an augmented reality image to be output to the mockup of the electronic device based on an image photographed from the image input / output unit and an operation screen for each electronic device model previously stored, and output the image to the image input / output unit. It can be achieved by a functional display system of the electronic equipment mockup using augmented reality.

또한, 상기 목적은, 디스플레이창을 갖는 전자기기 목업을 촬영하는 단계; 상기 촬영된 영상과, 기저장된 전자기기 기종별 작동화면에 기초하여, 상기 전자기기 목업에 출력될 증강현실 영상을 생성하는 단계; 상기 전자기기 목업에 증강현실 영상을 상기 전자기기 목업에 출력하는 단계;를 포함하는 증강현실을 이용한 전자기기 목업의 기능 구현 방법에 의해 달성될 수 있다.In addition, the object, the step of photographing the electronic device mockup having a display window; Generating an augmented reality image to be output to the mockup of the electronic device based on the captured image and a previously stored operation screen for each electronic device model; Outputting an augmented reality image to the electronic device mockup to the electronic device mockup; can be achieved by a method for implementing a function of the electronic device mockup using augmented reality.

본 증강현실을 이용한 전자기기 목업의 기능 시현 시스템에서는, 전자기기의 3차원 위치에 따라 전자기기 목업에 증강현실 영상을 정합하여 투사하고, 전자기기 목업을 통한 사용자의 조작버튼 선택에 따라 실제 전자기기에 구현되는 영상을 전자기기 목업에 출력하여 디스플레이한다. In the functional display system of the electronic equipment mockup using the augmented reality, the augmented reality image is matched to the electronic equipment mockup and projected according to the three-dimensional position of the electronic equipment, and the actual electronic equipment is selected according to the user's operation button selection through the electronic equipment mockup. The image to be implemented is displayed on the electronic device mockup.

이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 전자기기 목업의 기능 시현 시스템의 구성블럭도이고, 도 2는 도 1의 전자기기 목업의 기능 시현 시스템을 휴대폰의 키오스크에 적용한 일 실시예를 보인 도면이다. 1 is a block diagram of a functional display system of the electronic device mockup according to the present invention, Figure 2 is a view showing an embodiment in which the functional display system of the electronic device mockup of Figure 1 applied to the kiosk of the mobile phone.

본 발명의 상세한 설명에서는 도 2를 참조하여, 전자기기를 핸드폰과 같은 휴대기기로 설정하여 설명하나, 본 전자기기 목업의 기능 시현 시스템은 화면을 통해 기능이 구현되는 핸드폰, PMP, 네비게이션 등의 휴대기기에 적용할 수 있음은 물론, 이러한 휴대기기 이외에 디스플레이창을 갖는 다양한 전자기기에 본 전자기기 목업의 기능 시스템을 적용할 수 있음은 물론이다. 이하에서는, 휴대기기를 예로 들어서 본원 발명의 상세히 설명하기로 한다.In the detailed description of the present invention, with reference to FIG. 2, the electronic device is described as a mobile device such as a mobile phone, but the function display system of the mock-up of the electronic device includes a mobile phone, a PMP, a navigation device, and the like implemented through a screen. Applicable to the device, of course, the functional system of the present electronic device mockup can be applied to a variety of electronic devices having a display window in addition to such a portable device. Hereinafter, a mobile device will be described as an example and the present invention will be described in detail.

도 1에 예시된 휴대기기 목업의 기능 시현 시스템은, 휴대기기 목업을 촬영하고 미리 저장된 영상을 휴대기기 목업에 출력하는 영상입출력유닛(10)과, 영상입출력유닛(10)에서 촬영된 휴대기기 목업과 사용자의 선택에 부합되는 증강현실 영상을 추출하여 휴대기기 목업의 3차원 위치에 정합시켜 출력하는 영상제공유닛(20)을 포함한다. The function display system of the mobile device mockup illustrated in FIG. 1 includes a video input / output unit 10 for capturing a mobile device mockup and outputting a pre-stored image to the mobile device mockup, and a mobile device mockup captured by the video input / output unit 10. And an image providing unit 20 for extracting an augmented reality image corresponding to a user's selection and matching the output to a three-dimensional position of a mock-up of a mobile device.

영상입출력유닛(10)은, 휴대기기 목업을 촬영하는 카메라(11)와, 카메라(11)에서 촬영된 화상에 대응되도록 정합된 증강현실 영상을 출력하는 출력기인 프로젝터(15)를 포함한다. 여기서, 카메라(11)로는 VGA 이상의 해상도를 지원하는 웹캠 을 사용할 수 있고, 웹캠에는 후술할 적외선을 이용한 마커를 인식하기 위해 적외선 필터가 장착될 수 있다. 프로젝터(15)에는 충분한 영역에 걸쳐 투사할 수 있는 단초점 렌즈가 장착되어 있다. The image input / output unit 10 includes a camera 11 for photographing a mock-up of a mobile device and a projector 15 that is an output device for outputting an augmented reality image matched to correspond to an image captured by the camera 11. Here, the camera 11 may use a webcam that supports a resolution of VGA or higher, and the webcam may be equipped with an infrared filter to recognize a marker using infrared rays, which will be described later. The projector 15 is equipped with a short focal lens that can project over a sufficient area.

영상제공유닛(20)은, 카메라(11)와 프로젝터(15)간의 FOV(Field of View)를 보정하는 켈리브레이터(25)와, 휴대기기 목업에 출력되는 증강현실 영상을 저장하는 영상저장부(30)와, 휴대기기 목업에 표시된 마커를 검출하는 마커검출기(35)와, 촬영된 휴대기기 목업의 이미지를 보정하는 이미지보정부(40)와, 보정된 휴대기기 목업의 이미지를 제공받아 사용자의 조작 버튼 선택 여부를 판단하는 조작판단부(45)와, 휴대기기의 기종과 사용자의 조작 버튼 선택에 부합되는 영상을 영상저장부(30)에서 검색하는 영상검색부(50)와, 영상검색부(50)에서 검색된 증강현실 영상을 휴대기기 목업의 위치에 따라 보정하는 증강현실 정합부(55)를 포함한다. The image providing unit 20 includes a calibrator 25 for correcting a field of view (FOV) between the camera 11 and the projector 15, and an image storage unit for storing an augmented reality image output to a mockup of a mobile device. 30, a marker detector 35 for detecting a marker displayed on the mobile device mockup, an image compensator 40 for correcting the image of the captured mobile device mockup, and a corrected image of the mobile device mockup An operation determination unit 45 for determining whether to select an operation button, an image retrieval unit 50 for retrieving an image corresponding to a model of a mobile device and a user's operation button from the image storage unit 30, and an image retrieval unit; An augmented reality matching unit 55 for correcting the augmented reality image retrieved by the unit 50 according to the location of the mobile device mockup.

켈리브레이터(25)는, 카메라(11)와 프로젝터(15) 간의 물리적 거리에 따라 발생하는 카메라(11)로부터 입력된 이미지와, 프로젝터(15)에서 출력되는 증강현실 영상 간의 물리적 위치 차이를 보정한다. The calibrator 25 corrects the physical position difference between the image input from the camera 11 generated according to the physical distance between the camera 11 and the projector 15 and the augmented reality image output from the projector 15. do.

영상저장부(30)는, 휴대기기의 기종에 따라, 휴대기기의 실제 작동시 디스플레이창에 표시되는 각 작동화면들이 매칭되어 저장되어 있으며, 이때 각 작동화면들은 실제 휴대기기에서 해당 작동화면을 디스플레이하기 위해 선택되는 조작 버튼과 매칭되어 저장되어 있다. 이와 함께, 영상저장부(30)에는 각 휴대기기의 기종에 따라, 마커의 크기와 위치에 대한 정보가 저장되어 있다. Image storage unit 30, according to the model of the mobile device, each operation screen displayed on the display window when the actual operation of the mobile device is matched and stored, where each operation screen displays the operation screen on the actual mobile device It is stored in accordance with the operation button selected to. In addition, the image storage unit 30 stores information on the size and position of the marker according to the model of each mobile device.

여기서, 작동화면들은 동영상이나 플래시 등 인터랙션이 가능한 미디어로 제 작되어 있다. 이러한 각 작동화면은 디스플레이창에 표시되는 영상뿐만 아니라 휴대기기 자체의 형상이 포함된다. 즉, 각 작동화면은, 도 3에 도시된 바와 같이, 디스플레이창에 표시되는 화상과 함께 휴대기기의 프레임과 휴대기기의 작동 버튼 등이 모두 포함되어 있다. 도 3에서는 작동화면(5)이 휴대기기 프레임과 동일한 크기로 형성되어 있으나, 작동화면(5)이 모두 디스플레이창에 표시되도록 크기를 조절할 수도 있음은 물론이다. 또한, 작동화면(5)의 크기는 마커의 크기에 부합되도록 설정될 수 있다. Here, the operation screens are made of media that can interact with each other, such as a video or a flash. Each of the operation screens includes not only the image displayed on the display window but also the shape of the mobile device itself. That is, each operation screen, as shown in FIG. 3, includes both the frame of the mobile device and the operation button of the mobile device together with the image displayed on the display window. In FIG. 3, the operation screen 5 is formed to have the same size as the frame of the mobile device, but the size of the operation screen 5 may be adjusted to be displayed on the display window. In addition, the size of the operation screen 5 may be set to match the size of the marker.

한편, 영상저장부(30)에 각 작동화면이 휴대기기의 기종에 매칭되어 저장될 때, 휴대기기의 각 기종을 정면에서 촬영한 정면이미지와, 해당 기종의 실제 작동시 디스플레이창에 표시되는 화면들을 포함하는 각 작동화면들이 매칭되어 저장된다. On the other hand, when each operation screen is stored in the image storage unit 30 is matched with the model of the mobile device, the front image photographing each model of the mobile device from the front, and the screen displayed on the display window when the actual operation of the model Each operation screen including these is matched and stored.

마커는 휴대기기의 디스플레이창을 카메라(11)에서 감지할 수 있도록 표시한 것으로서, 특정 패턴, 특정 색상 또는 적외선 등을 이용하여 휴대기기의 디스플레이창 또는 그 둘레에 표시한다. 휴대폰을 예로 들면, 휴대폰은 기종마다 디스플레이창의 위치나 크기 등이 상이하다. 따라서, 마커의 크기나 위치에 따라 휴대폰의 기종을 판단할 수도 있고, 휴대폰의 3차원 위치를 파악할 수도 있다. The marker is displayed so that the display window of the mobile device can be detected by the camera 11, and is displayed on or around the display window of the mobile device using a specific pattern, a specific color, or infrared rays. Taking a mobile phone as an example, the mobile phone has a different position and size of the display window for each model. Therefore, the model of the mobile phone may be determined according to the size or position of the marker, or the three-dimensional position of the mobile phone may be determined.

마커검출기(35)는, 카메라(11)에서 촬영된 휴대기기 목업의 이미지에서 마커를 검출하고, 검출된 마커의 형상에 따라 휴대기기의 3차원 위치를 판단한다. 예를 들어, 도 4에 도시된 바와 같이, 휴대폰이 카메라(11)에 대해 수직 위치하고 있으나, 수평면에서 비스듬히 위치한 경우, 마커검출기(35)에서 검출된 마커의 형상 은 마름모꼴에 가깝게 된다. 그러면, 마커검출기(35)는 영상저장부(30)에 저장된 마커의 수평면에 대한 회전각도를 구하여 마커의 위치를 판단한다. 또한, 도 5에 도시된 바와 같이, 휴대폰이 카메라(11)에 대해 수직방향으로 기울어져 있는 경우, 마커검출기(35)에서 검출된 마커의 형상은 사다리꼴이 되며, 이때, 사다리꼴의 뾰족한 정도에 따라 마커검출기(35)는 마커, 즉 휴대기기 목업의 수직방향에 대한 기울기를 파악할 수 있다. 한편, 도 6에 도시된 바와 같이, 휴대기기 목업이 카메라(11)에 대해 수직방향뿐만 아니라 수평방향으로도 기울어져 있는 경우, 마커검출기(35)에서 검출된 마커의 형상은 찌그러진 마름모꼴이 되며, 마커검출기(35)는 수직방향의 기울기와 수평방향의 회전각도를 각각 구하여 휴대기기 목업의 3차원 위치를 파악할 수 있다. The marker detector 35 detects a marker in the image of the mobile device mock-up photographed by the camera 11 and determines a three-dimensional position of the portable device according to the detected marker shape. For example, as illustrated in FIG. 4, when the mobile phone is vertically positioned with respect to the camera 11 but is obliquely positioned in a horizontal plane, the shape of the marker detected by the marker detector 35 is close to a lozenge. Then, the marker detector 35 determines the position of the marker by obtaining a rotation angle of the horizontal plane of the marker stored in the image storage unit 30. In addition, as shown in FIG. 5, when the mobile phone is inclined in the vertical direction with respect to the camera 11, the shape of the marker detected by the marker detector 35 becomes trapezoidal, and at this time, depending on the sharpness of the trapezoid The marker detector 35 may grasp the inclination of the marker, that is, the vertical direction of the mobile device mock-up. Meanwhile, as shown in FIG. 6, when the mobile device mock-up is inclined not only in the vertical direction but also in the horizontal direction with respect to the camera 11, the shape of the marker detected by the marker detector 35 becomes a crushed lozenge. The marker detector 35 may determine the three-dimensional position of the mock-up of the mobile device by obtaining the inclination in the vertical direction and the rotation angle in the horizontal direction, respectively.

이렇게 마커검출기(35)에서 판단된 마커의 3차원 위치에 의해 이미지보정부(40)에서는 촬영된 이미지를 정면이미지로 변형한다. The image correction unit 40 transforms the photographed image into a front image by the three-dimensional position of the marker determined by the marker detector 35.

이미지보정부(40)는 카메라(11)로부터 촬영된 휴대기기 목업의 이미지를 제공받고, 마커검출기(35)를 통해 휴대기기 목업의 3차원 위치에 대한 정보를 제공받는다. 그런 다음, 이미지보정부(40)는 휴대기기 목업의 3차원 위치에 따라 카메라(11)로부터 제공된 휴대기기 목업의 이미지를 정면이미지로 변형시킨다. 즉, 이미지보정부(40)는 영상검색부(50)에서 휴대기기 목업에 대응되는 증강현실 영상을 영상저장부(30)를 검색할 수 있도록, 영상저장부(30)에 저장된 휴대기기 정면이미지 형태로 촬영된 이미지를 보정하게 된다. 이렇게 보정된 이미지는 영상검색부(50)로 제공된다. The image compensator 40 is provided with an image of the mobile device mock-up photographed from the camera 11, and receives information about the three-dimensional position of the mobile device mock-up through the marker detector 35. Then, the image compensator 40 transforms the image of the mobile device mockup provided from the camera 11 into a front image according to the three-dimensional position of the mobile device mockup. That is, the image compensator 40 may search the image storage unit 30 for the augmented reality image corresponding to the mobile device mockup in the image search unit 50, and the front image of the mobile device stored in the image storage unit 30. The image captured in the form is corrected. The corrected image is provided to the image search unit 50.

조작판단부(45)는, 촬영된 휴대기기 목업의 영상들을 상호 비교하여 사용자의 선택을 판단한다. 이때, 조작판단부(45)는 일정 시간마다 카메라(11)를 통해 촬영된 휴대기기 목업의 이미지를 이전에 촬영된 휴대기기 목업의 이미지와 비교한다.  The operation determination unit 45 compares the images of the photographed mobile device mock-ups to determine the user's selection. In this case, the operation determination unit 45 compares the image of the mobile device mockup photographed by the camera 11 at a predetermined time with the image of the mobile device mockup previously photographed.

일반적으로 휴대기기 목업의 경우에는 최소한의 전자부품들만 내장되어 있지 않기 때문에, 사용자가 휴대기기 목업의 조작버튼을 가압하더라도 휴대기기 목업의 작동은 불가능하다. 그러나, 본 발명에서는 사용자가 임의의 조작버튼을 가압할 경우, 이를 감지하여 실제 휴대기기에서 해당 조작버튼을 가압한 경우에 휴대기기의 디스플레이창에 표시되는 증강현실 영상을 영상저장부(30)로부터 인출하여 휴대기기 목업에 투사할 수 있다. 이를 위해, 조작판단부(45)에서는 촬영된 휴대기기 목업의 이미지를 일정 시간마다 비교한 다음, 조작버튼 영역의 이미지가 변경된 경우, 사용자가 손가락이나 펜 등을 이용하여 해당 조작버튼을 선택한 것으로 판단한다. 이렇게 임의의 조작버튼이 선택된 것으로 판단되면, 조작판단부(45)는 해당 조작버튼이 선택되었음을 영상검색부(50)로 전달한다. In general, in the case of a mobile device mockup, since only minimal electronic components are built in, even if a user presses an operation button of the mobile device mockup, the operation of the mobile device mockup is impossible. However, in the present invention, when a user presses a certain operation button, the augmented reality image displayed on the display window of the mobile device is detected from the image storage unit 30 when the user presses the operation button on the actual mobile device. It can be pulled out and projected onto the mobile device mockup. To this end, the operation determination unit 45 compares the images of the photographed mobile device mock-up every predetermined time, and when the image of the operation button area is changed, it is determined that the user selects the operation button using a finger or a pen. do. When it is determined that an arbitrary operation button is selected in this way, the operation determination unit 45 transmits to the image search unit 50 that the operation button is selected.

영상검색부(50)는 이미지보정부(40)와 조작판단부(45)로부터 제공된 정보를 이용하여 부합되는 증강현실 영상을 영상저장부(30)로부터 인출하여 증강현실 정합부(55)로 전달한다. 이미지보정부(40)로부터 휴대기기 목업의 이미지가 제공되는 경우, 영상검색부(50)는 영상저장부(30)에 저장된 휴대기기 기종들의 이미지와, 이미지보정부(40)에서 처리된 휴대기기 목업의 이미지를 비교하여 해당되는 휴대기기 기종을 찾아낸다. 그런 다음, 해당 휴대기기 기종의 메인 디스플레이 화면을 추출 하여 증강현실 정합부(55)로 전달한다. The image retrieval unit 50 extracts a matched augmented reality image from the image storage unit 30 using the information provided from the image compensator 40 and the operation determination unit 45, and delivers the augmented reality image to the augmented reality matching unit 55. do. When the image of the mobile device mockup is provided from the image correction unit 40, the image search unit 50 may display images of the mobile device models stored in the image storage unit 30 and the mobile device processed by the image correction unit 40. Compare the mockup's images to find the appropriate mobile device. Then, the main display screen of the mobile device is extracted and transmitted to the augmented reality matching unit 55.

또한, 영상검색부(50)는 조작판단부(45)로부터 임의의 조작버튼이 선택되었다는 것을 전달받으면, 해당 휴대기기 기종의 증강현실 영상 중 해당 조작버튼의 선택시 표시되는 영상을 선택하여 추출한 다음, 증강현실 정합부(55)로 전달한다. In addition, when the image retrieval unit 50 receives that an arbitrary operation button is selected from the operation determination unit 45, the image search unit 50 selects and extracts an image displayed when the operation button is selected from the augmented reality image of the mobile device. , To deliver to the augmented reality matching unit (55).

증강현실 정합부(55)는, 영상검색부(50)에서 추출된 증강현실 영상을 마커검출기(35)에서 판단된 휴대기기 목업의 3차원 위치 및 마커의 크기에 정합되도록 처리하고, 정합된 증강현실영상을 프로젝터(15)로 전달한다. The augmented reality matching unit 55 processes the augmented reality image extracted by the image search unit 50 to match the 3D position and the size of the marker of the mobile device mockup determined by the marker detector 35, and matches the augmented reality. The actual image is transmitted to the projector 15.

예를 들어, 증강현실 정합부(55)는, 도 4에 도시된 바와 같이, 휴대폰이 카메라(11)에 대해 수평면에서 비스듬히 위치한 경우, 증강현실 정합부(55)는 마커검출기(35)에서 산출한 회전각도만큼 증강현실 영상을 회전시킨 다음, 프로젝터(15)로 전달한다. 만약, 도 5에 도시된 바와 같이, 휴대폰이 카메라(11)에 대해 수직방향으로 기울어져 있는 경우, 증강현실 정합부(55)는 마커검출기(35)에서 산출된 수직방향 기울기에 기초하여 증강현실 영상을 사다리꼴로 변형시켜 프로젝터(15)로 전달한다. 한편, 도 6에 도시된 바와 같이, 휴대기기 목업이 카메라(11)에 대해 수직방향뿐만 아니라 수평방향으로도 기울어져 있는 경우, 증강현실 정합부(55)는 마커검출기(35)에서 검출된 마커의 수직방향 기울기와 수평방향 회전각도에 기초하여, 증강현실 영상을 변형시켜 프로젝터(15)로 전달한다. For example, the augmented reality matching unit 55, as shown in Figure 4, when the mobile phone is positioned obliquely in the horizontal plane with respect to the camera 11, the augmented reality matching unit 55 is calculated by the marker detector 35 The augmented reality image is rotated by one rotation angle, and then transmitted to the projector 15. If, as shown in Figure 5, the mobile phone is inclined in the vertical direction with respect to the camera 11, the augmented reality matching unit 55 is augmented reality based on the vertical inclination calculated by the marker detector 35 The image is transformed into a trapezoid and transmitted to the projector 15. Meanwhile, as shown in FIG. 6, when the mobile device mock-up is inclined not only in the vertical direction but also in the horizontal direction with respect to the camera 11, the augmented reality matching unit 55 detects the marker detected by the marker detector 35. Based on the vertical tilt and the horizontal rotation angle of the augmented reality image is transformed and transmitted to the projector 15.

이러한 구성에 의한 증강현실을 이용한 휴대기기 목업의 기능 시현 시스템에서 휴대기기 목업의 기능을 구현하는 과정을 도 2 및 도 7을 참조하여 설명하면 다음과 같다. Referring to Figures 2 and 7 the process of implementing the function of the mobile device mockup in the function display system of the mobile device mockup using augmented reality by such a configuration as follows.

도 2에 도시된 바와 같이, 휴대기기 목업의 기능 시현 시스템에 장착된 키오스크(100)에 휴대폰(1)을 안착시킨 다음, 시스템을 동작시키면, 카메라(11)와 프로젝터(15)가 각각 작동하게 된다. 이때, 켈리브레이터(25)는 카메라(11)와 프로젝터(15)의 물리적 거리에 따라 발생하는 오차를 보정한다(S700). As shown in FIG. 2, when the mobile phone 1 is seated in the kiosk 100 mounted on the function display system of the mobile device mockup, the system is operated to operate the camera 11 and the projector 15 respectively. do. In this case, the calibrator 25 corrects an error generated according to the physical distance between the camera 11 and the projector 15 (S700).

그런 다음, 카메라(11)에서 휴대기기 목업을 촬영하고, 촬영된 이미지는 마커검출기(35)와 이미지보정부(40)로 각각 전달된다(S710). Then, the camera 11 photographs the mobile device mockup, and the photographed image is transferred to the marker detector 35 and the image compensator 40, respectively (S710).

마커검출기(35)에서는 이미지에서 마커를 추출하고, 마커의 형태에 따라 휴대기기 목업의 3차원 위치를 파악한다(S720). 마커검출기(35)에서 파악된 휴대기기 목업의 위치정보는, 이미지보정부(40)로 전달되고, 이미지보정부(40)에서는 이미지를 마커검출기(35)에서 파악된 휴대기기 목업의 위치에 따라 카메라(11)로부터 제공된 이미지를 보정한다(S730). 이미지보정부(40)에서 보정된 이미지는 영상검색부(50)로 전달된다. The marker detector 35 extracts a marker from the image and determines a three-dimensional position of the mock-up of the mobile device according to the shape of the marker (S720). The location information of the mobile device mockup grasped by the marker detector 35 is transmitted to the image compensator 40, and the image compensator 40 transfers the image according to the location of the mobile device mockup grasped by the marker detector 35. The image provided from the camera 11 is corrected (S730). The image corrected by the image correction unit 40 is transmitted to the image search unit 50.

영상검색부(50)에서는 이미지보정부(40)에서 보정된 이미지에 부합되는 이미지를 갖는 휴대기기 기종이 존재하는지 여부를 파악하고, 해당 휴대기기 기종이 존재하는 경우, 이에 매칭된 증강현실 영상 중 초기화면을 인출하여 증강현실 정합부(55)로 전달한다(S740). The image retrieval unit 50 determines whether there is a mobile device model having an image corresponding to the image corrected by the image compensator 40, and if the mobile device model exists, among the augmented reality images matched thereto. The initial screen is extracted and transferred to the augmented reality matching unit 55 (S740).

증강현실 정합부(55)에서는 해당 증강현실 영상을 마커검출기(35)에서 파악된 휴대기기 목업의 위치와 마커의 크기에 따라, 증강현실 영상의 투사위치 및 크기를 변경하는 정합을 수행한다(S750). 이에 따라, 휴대기기 목업에 해당 증강현실 영상을 투사하였을 때 화면이 왜곡되지 않는다. The augmented reality matching unit 55 performs matching to change the projection position and the size of the augmented reality image according to the position of the mobile device mockup and the size of the marker detected by the marker detector 35 (S750). ). Accordingly, the screen is not distorted when the augmented reality image is projected onto the mobile device mockup.

정합이 완료되면, 증강현실 정합부(55)는 정합된 증강현실 영상을 프로젝터(15)로 전달하여 휴대기기 목업인 휴대폰에 투사되도록 한다(S760). When the matching is completed, the augmented reality matching unit 55 transmits the matched augmented reality image to the projector 15 to be projected on the mobile phone mock-up (S760).

이렇게 목업 휴대폰에 실제 휴대폰의 초기화면이 표시된 상태에서 사용자가 실제 휴대폰의 기능을 파악하기 위해 목업 휴대폰의 조작 버튼에 손가락을 대면, 카메라(11)에서 촬영된 이미지가 이미지보정부(40)를 거쳐서 조작판단부(45)로 제공된다. 조작판단부(45)에서는 일정 시간 간격을 두고 카메라(11)에서 촬영된 두 개의 이미지를 비교하여 조작버튼 영역의 이미지 변화여부를 파악하고(S770), 임의의 조작 버튼 영역의 이미지가 변경된 경우 해당 영역에 위치하는 조작 버튼이 선택되었다고 판단한다. 조작판단부(45)에서는 선택된 조작 버튼에 대한 정보를 영상검색부(50)로 전달한다. When the user displays his / her finger on the operation button of the mock-up mobile phone while the initial screen of the actual mobile phone is displayed on the mock-up mobile phone, the image captured by the camera 11 passes through the image correction unit 40. It is provided to the operation determination part 45. The operation determination unit 45 compares two images photographed by the camera 11 at a predetermined time interval to determine whether the operation button region has an image change (S770), and when an image of an arbitrary operation button region is changed, It is determined that the operation button located in the area is selected. The operation determination unit 45 transmits the information on the selected operation button to the image search unit 50.

영상검색부(50)에서는 해당 조작 버튼의 선택시 표시되는 화면을 영상저장부(30)로부터 인출하고(S780), 인출된 증강현실 영상을 증강현실 정합부(55)로 전달한다. 증강현실 정합부(55)에서는 마커검출기(35)에서 파악된 목업 휴대폰의 3차원 위치에 정합되도록 증강현실 영상을 처리한 다음(S790), 프로젝터(15)로 전달하여 휴대기기 목업으로 증강현실 영상이 투사되도록 한다(S800). The image retrieval unit 50 withdraws the screen displayed when the operation button is selected from the image storage unit 30 (S780), and transfers the extracted augmented reality image to the augmented reality matching unit 55. The augmented reality matching unit 55 processes the augmented reality image to be matched to the three-dimensional position of the mock-up mobile phone identified by the marker detector 35 (S790), and transfers it to the projector 15 to augmented reality image to the mobile device mock-up. To be projected (S800).

한편, 마커검출기(35)는 휴대기기 목업의 기능 시현 시스템이 작동하는 동안, 지속적으로 마커의 위치를 검출함으로써, 시스템의 동작 중 휴대기기 목업의 위치가 변경되는 것을 실시간으로 파악하여 대처할 수 있도록 한다. Meanwhile, the marker detector 35 continuously detects the position of the marker while the function display system of the mobile device mockup is operating, so that the position of the mobile device mockup is changed in real time so that the marker detector 35 can cope with it in real time. .

이러한 증강현실을 이용한 휴대기기 목업의 기능 시현 시스템은, 휴대기기 목업의 3차원 위치를 실시간으로 파악하여 증강현실 영상을 휴대기기 목업의 3차원 위치에 정합하여 출력함으로써, 정확하고 왜곡되지 않은 이미지를 휴대기기 목업에 투사할 수 있다. 그리고 사용자의 조작버튼 선택에 따라 실제 휴대기기에서 구현되는 증강현실 영상을 제공함으로써, 사용자와의 실시간 인터랙션이 가능하다. 따라서, 사용자는 휴대기기의 구매 이전에 휴대기기를 시연해 볼 수 있으므로, 사용자는 정확한 정보를 제공받을 수 있고 판매자는 사용자의 불만이나 환불을 방지할 수 있다. 한편, 본 시스템을 사용할 경우, 휴대기기 목업 각각에 별도의 전자장치를 구현하지 아니하여도 될 뿐만 아니라, 새로운 휴대기기 기종이 개발되더라도 해당 휴대기기 기종의 이미지와 구현 화면들을 영상저장부(30)에 등록하기만 하면 되므로, 단가가 감소된다. The function display system of the mobile device mockup using the augmented reality captures the three-dimensional position of the mobile device mockup in real time and matches the augmented reality image to the three-dimensional position of the mobile device mockup to output an accurate and non-distorted image. Project onto mobile device mockups. In addition, by providing an augmented reality image implemented in an actual mobile device according to a user's operation button selection, real-time interaction with the user is possible. Therefore, the user can demonstrate the mobile device before purchase of the mobile device, so that the user can be provided with accurate information and the seller can prevent the user's complaint or refund. On the other hand, when using this system, not only does not need to implement a separate electronic device for each mobile device mockup, but even if a new mobile device is developed image and implementation screens of the corresponding mobile device image storage unit 30 Since only the registration is required, the unit price is reduced.

도 1은 본 발명에 따른 휴대기기 목업의 기능 시현 시스템의 구성블럭도, 1 is a block diagram of a functional display system of a mobile device mockup according to the present invention;

도 2는 도 1의 휴대기기 목업의 기능 시현 시스템을 휴대폰의 키오스크에 적용한 일 실시예를 보인 도면, FIG. 2 is a diagram illustrating an embodiment in which the function display system of the mobile device mockup of FIG. 1 is applied to a kiosk of a mobile phone; FIG.

도 3은 도 1의 휴대기기 목업의 기능 시현 시스템에 의해 휴대기기 목업에 증강현실 영상이 투사되는 상태를 보인 휴대기기 목업의 사시도, 3 is a perspective view of a mobile device mockup showing a state in which an augmented reality image is projected onto the mobile device mockup by the function display system of the mobile device mockup of FIG. 1;

도 4 내지 도 6은 각각 휴대기기 목업이 카메라에 대해 각각 상이한 3차원 위치에 배치된 실시예들을 보인 도면, 4 to 6 illustrate embodiments in which mobile device mock-ups are disposed at different three-dimensional positions with respect to a camera, respectively.

도 7은 본 발명의 휴대기기 목업의 기능 시현 시스템에 의해 휴대기기 목업의 기능을 시현하는 과정을 나타낸 흐름도이다. 7 is a flowchart illustrating a process of demonstrating the functions of the mobile device mock-up by the function display system of the mobile device mock-up of the present invention.

* 본 발명의 주요 부분에 대한 도면 부호의 설명 *Description of reference numerals for the main parts of the present invention

10 : 영상입출력유닛 11 : 카메라 10: video input / output unit 11: camera

15 : 프로젝터 20 : 영상제공유닛 15: projector 20: video providing unit

25 : 켈리브레이터 30 : 영상저장부 25: Calibrator 30: Image storage unit

35 : 마커검출기 40 : 이미지보정부 35: marker detector 40: image correction

45 : 조작판단부 50 : 영상검색부 45: operation determination unit 50: image search unit

55 : 증강현실 정합부 55: augmented reality matching unit

Claims (17)

디스플레이창을 갖는 전자기기 목업을 촬영하는 카메라와, 상기 전자기기 목업에 증강현실 영상을 출력하는 출력기를 포함하는 영상입출력유닛; 및An image input / output unit including a camera for photographing an electronic device mockup having a display window, and an output unit for outputting an augmented reality image to the electronic device mockup; And 상기 영상입출력유닛으로부터 촬영된 영상과, 기저장된 전자기기 기종별 작동화면에 기초하여, 상기 전자기기 목업에 출력될 증강현실 영상을 생성하여 상기 영상입출력유닛으로 출력하는 영상제공유닛;을 포함하는 증강현실을 이용한 전자기기 목업의 기능 시현 시스템. And an image providing unit configured to generate an augmented reality image to be output to the electronic device mockup based on an image photographed from the image input / output unit and an operation screen for each electronic device model previously stored, and output the image to the image input / output unit. Functional demonstration system of electronic mockup using reality. 제1항에 있어서,The method of claim 1, 상기 영상제공유닛은,The image providing unit, 상기 카메라에서 촬영된 상기 전자기기 목업의 이미지에서 상기 전자기기 목업에 표시된 마커를 검출하고, 상기 마커의 형태에 따라 상기 전자기기 목업의 3차원 위치를 판단하는 마커검출기; A marker detector for detecting a marker displayed on the electronic equipment mockup from the image of the electronic equipment mockup photographed by the camera, and determining a three-dimensional position of the electronic equipment mockup according to the shape of the marker; 상기 전자기기의 실제 작동시 상기 디스플레이창을 통해 표시되는 작동화면들이 상기 전자기기의 기종에 따라 매칭되어 저장된 영상저장부; An image storage unit in which operation screens displayed through the display window are matched and stored according to a model of the electronic device during actual operation of the electronic device; 상기 영상저장부에서, 상기 카메라를 통해 촬영된 이미지에 부합되는 상기 전자기기의 기종을 검색하고, 상기 전자기기의 기종과 상기 사용자의 선택에 부합되는 증강현실 영상을 추출하는 영상검색부; 및,An image retrieval unit for retrieving a model of the electronic device corresponding to the image photographed by the camera and extracting an augmented reality image corresponding to the model of the electronic device and the user's selection in the image storage unit; And, 상기 영상검색부에서 추출된 증강현실 영상을 상기 마커검출기에서 판단된 상기 전자기기 목업의 3차원 위치에 정합되도록 처리하여 상기 출력기로 전달하는 증강현실 정합부;를 포함하는 것을 특징으로 하는 증강현실을 이용한 전자기기 목업의 기능 시현 시스템. An augmented reality matching unit for processing the augmented reality image extracted by the image retrieval unit to be matched to the three-dimensional position of the electronic device mockup determined by the marker detector and transmitting it to the output unit; Functional demonstration system of mockup of electronic equipment using. 제 2 항에 있어서, The method of claim 2, 상기 영상저장부는, 상기 전자기기 목업의 기종에 따라, 상기 전자기기 목업의 이미지와, 상기 전자기기의 실제 구현이미지인 증강현실 영상이 상호 매칭되어 저장된 것을 특징으로 하는 전자기기 목업의 기능 시현 시스템. The image storage unit, according to the model of the electronic device mockup, electronic mockup of the electronic device, characterized in that the image of the electronic device mockup and augmented reality image that is the actual implementation image of the electronic device matched and stored. 제 2 항에 있어서,The method of claim 2, 상기 마커검출기에서 판단된 상기 전자기기 목업의 3차원 위치를 고려하여 상기 전자기기 목업의 이미지를 상기 영상저장부에 저장된 형태로 보정하는 이미지보정부를 더 포함하는 것을 특징으로 하는 증강현실을 이용한 전자기기 목업의 기능 시현 시스템. The electronic device using an augmented reality, characterized in that further comprising an image correction for correcting the image of the electronic device mockup in the form stored in the image storage in consideration of the three-dimensional position of the electronic device mockup determined by the marker detector. Mockup's functional presentation system. 제 4 항에 있어서, The method of claim 4, wherein 상기 영상검색부는, 상기 이미지보정부에서 보정된 상기 전자기기 목업의 이미지와, 상기 영상저장부에 저장된 상기 전자기기 목업의 이미지를 비교하여 상기 전자기기 목업의 기종을 판단하는 것을 특징으로 하는 증강현실을 이용한 전자기기 목업의 기능 시현 시스템. The image search unit, augmented reality, characterized in that for determining the type of the electronic device mockup by comparing the image of the electronic device mockup corrected by the image correction unit and the image of the electronic device mockup stored in the image storage unit Display System of Electronic Equipment Mockup Using 제 2 항에 있어서, The method of claim 2, 상기 영상제공유닛은,The image providing unit, 상기 카메라에서 촬영된 이미지들을 일정 시간 간격을 두고 상호 비교하여 사용자의 선택을 판단하는 조작판단부를 더 포함하는 것을 특징으로 하는 증강현실을 이용한 전자기기 목업의 기능 시현 시스템. The system of claim 1, further comprising an operation determination unit for determining the user's selection by comparing the images taken by the camera at a predetermined time interval. 제 6 항에 있어서,The method of claim 6, 상기 조작판단부는, 미리 설정된 일정 시간마다 상기 카메라를 통해 촬영된 이미지를 시간 순으로 비교하고, 상기 비교결과 상기 사용자에 의해 상기 전자기기 목업의 임의의 조작 버튼의 이미지가 변경된 경우, 상기 사용자가 상기 조작 버튼을 선택한 것으로 판단하는 것을 특징으로 하는 증강현실을 이용한 전자기기 목업의 기능 시현 시스템. The operation determining unit compares the image photographed by the camera at a predetermined time interval in chronological order, and when the image of any operation button of the electronic device mockup is changed by the user as a result of the comparison, the user A functional demonstration system of an electronic equipment mock-up using augmented reality, characterized in that it is determined that the operation button is selected. 제 7 항에 있어서, The method of claim 7, wherein 상기 영상검색부는, 상기 조작판단부에 의해 상기 사용자가 상기 조작 버튼을 선택한 것으로 판단되면, 상기 영상저장부로부터 상기 조작 버튼 선택에 매칭된 증강현실 영상을 검색하여 추출하는 것을 특징으로 하는 증강현실을 이용한 전자기기 목업의 기능 시현 시스템. The image search unit, if it is determined that the user has selected the operation button by the operation determination unit, the augmented reality characterized in that the search for the extracted augmented reality image matching the selection of the operation button from the image storage unit; Functional demonstration system of mockup of electronic equipment using. 제 2 항에 있어서,The method of claim 2, 상기 마커는 특정 패턴, 특정 색상, 적외선 중 하나를 이용하여 표시되며; The marker is displayed using one of a specific pattern, a specific color, and an infrared ray; 상기 마커검출기는 상기 특정 패턴, 특정 색상, 적외선 중 하나를 검출하는 것을 특징으로 하는 증강현실을 이용한 전자기기 목업의 기능 시현 시스템. The marker detector detects one of the specific pattern, specific color, and infrared light. 제 2 항에 있어서, The method of claim 2, 상기 카메라와 상기 출력기 간의 물리적 위치 차이를 보정하는 켈리브레이터;를 더 포함하는 것을 특징으로 하는 증강현실을 이용한 전자기기 목업의 기능 시현 시스템. And a calibrator for correcting a physical position difference between the camera and the output device. 디스플레이창을 갖는 전자기기 목업을 촬영하는 단계;Photographing an electronic device mockup having a display window; 상기 촬영된 영상과, 기저장된 전자기기 기종별 작동화면에 기초하여, 상기 전자기기 목업에 출력될 증강현실 영상을 생성하는 단계;Generating an augmented reality image to be output to the mockup of the electronic device based on the captured image and a previously stored operation screen for each electronic device model; 상기 전자기기 목업에 증강현실 영상을 상기 전자기기 목업에 출력하는 단계;를 포함하는 것을 특징으로 하는 증강현실을 이용한 전자기기 목업의 기능 구현 방법. And outputting an augmented reality image to the mockup of the electronic device to the mockup of the electronic device. 제 11 항에서,In claim 11, 상기 촬영된 상기 전자기기 목업의 이미지에서 상기 전자기기 목업에 표시된 마커를 검출하고, 상기 마커의 형태에 따라 상기 전자기기 목업의 3차원 위치를 판 단하는 단계; 를 더 포함하며,Detecting a marker displayed on the electronic equipment mockup from the photographed image of the electronic equipment mockup, and determining a three-dimensional position of the electronic equipment mockup according to the shape of the marker; More, 상기 증강현실 영상을 생성하는 단계는,Generating the augmented reality image, 상기 촬영된 이미지에 부합되는 상기 전자기기의 기종에 부합되는 증강현실 영상을 추출하는 단계; 를 포함하며,Extracting an augmented reality image corresponding to a model of the electronic device corresponding to the photographed image; Including; 상기 출력하는 단계는 상기 추출된 증강현실 영상을 상기 전자기기 목업에 출력하는 것을 특징으로 하는 증강현실을 이용한 전자기기 목업의 기능 구현 방법. The outputting of the electronic device mockup using augmented reality, characterized in that for outputting the extracted augmented reality image to the electronic device mockup. 제 12 항에 있어서,13. The method of claim 12, 상기 증강현실 영상을 생성하는 단계는,Generating the augmented reality image, 추출된 상기 증강현실 영상을 상기 전자기기 목업의 3차원 위치에 정합시키는 단계;를 더 포함하며,And matching the extracted augmented reality image to a three-dimensional position of the electronic device mockup. 상기 출력하는 단계는, 상기 전자기기 목업의 3차원 위치에 정합된 증강현실 영상을 출력하는 것을 특징으로 하는 증강현실을 이용한 전자기기 목업의 기능 구현 방법. The outputting may include outputting an augmented reality image matched to a three-dimensional position of the mockup of the electronic device. 제 13 항에 있어서,The method of claim 13, 상기 촬영된 이미지들을 일정 시간 간격을 두고 상호 비교하여 상기 이미지의 변화여부를 판단하는 단계; 를 더 포함하며,Comparing the photographed images with a predetermined time interval to determine whether the image is changed; More, 상기 판단결과, 상기 전자기기 목업의 조작 버튼 영역의 이미지가 변화된 경우, 상기 증강현실 영상을 생성하는 단계는, 해당 조작 버튼의 선택시 실제 전자기 기에 표시되는 증강현실 영상을 추출하는 것을 특징으로 하는 증강현실을 이용한 전자기기 목업의 기능 구현 방법. When the image of the manipulation button region of the electronic device mockup is determined, the generating of the augmented reality image may include extracting an augmented reality image displayed on an actual electronic device when the manipulation button is selected. How to implement the function of electronic mockup using reality. 제 11 항에 있어서, The method of claim 11, 상기 전자기기 목업의 3차원 위치를 고려하여 상기 전자기기 목업의 이미지를 정면이미지 형태로 보정하는 단계를 더 포함하는 것을 특징으로 하는 증강현실을 이용한 전자기기 목업의 기능 구현 방법. And correcting the image of the electronic device mockup in the form of a front image in consideration of the three-dimensional position of the electronic device mockup. 제 15 항에 있어서, The method of claim 15, 보정된 상기 전자기기 목업의 이미지와, 미리 저장된 전자기기의 이미지를 비교하여 상기 전자기기 목업의 기종을 판단하는 단계를 더 포함하는 것을 특징으로 하는 증강현실을 이용한 전자기기 목업의 기능 구현 방법. And comparing the corrected image of the electronic device mockup with an image of a pre-stored electronic device to determine a model of the electronic device mockup. 제 15 항에 있어서,The method of claim 15, 상기 전자기기 목업을 촬영하는 카메라와 상기 전자기기 목업에 증강현실 영상을 출력하는 출력기 간의 물리적 위치 차이를 보정하는 단계;를 더 포함하는 것을 특징으로 하는 증강현실을 이용한 전자기기 목업의 기능 구현 방법. Correcting the physical position difference between the camera for photographing the electronic equipment mockup and the output device for outputting an augmented reality image to the electronic equipment mockup; The method of the electronic equipment mockup using augmented reality further comprising.
KR1020090083949A 2009-09-07 2009-09-07 Function Display System and Method for electronic device mop-up using Augmentation-reality KR101125981B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090083949A KR101125981B1 (en) 2009-09-07 2009-09-07 Function Display System and Method for electronic device mop-up using Augmentation-reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090083949A KR101125981B1 (en) 2009-09-07 2009-09-07 Function Display System and Method for electronic device mop-up using Augmentation-reality

Publications (2)

Publication Number Publication Date
KR20110026168A true KR20110026168A (en) 2011-03-15
KR101125981B1 KR101125981B1 (en) 2012-03-19

Family

ID=43933306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090083949A KR101125981B1 (en) 2009-09-07 2009-09-07 Function Display System and Method for electronic device mop-up using Augmentation-reality

Country Status (1)

Country Link
KR (1) KR101125981B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102608502B1 (en) * 2022-12-29 2023-12-01 주식회사 투스페이스 Method for Providing Mock-up Image Based on Augumented Reality and Service Providing Server Used Therefor
WO2024075974A1 (en) * 2022-10-04 2024-04-11 삼성전자 주식회사 Augmented reality apparatus and operating method thereof

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034981A (en) 2005-07-29 2007-02-08 Canon Inc Image processing system, and image processing device
KR100914848B1 (en) * 2007-12-15 2009-09-02 한국전자통신연구원 Method and architecture of mixed reality system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024075974A1 (en) * 2022-10-04 2024-04-11 삼성전자 주식회사 Augmented reality apparatus and operating method thereof
KR102608502B1 (en) * 2022-12-29 2023-12-01 주식회사 투스페이스 Method for Providing Mock-up Image Based on Augumented Reality and Service Providing Server Used Therefor

Also Published As

Publication number Publication date
KR101125981B1 (en) 2012-03-19

Similar Documents

Publication Publication Date Title
US9740935B2 (en) Maintenance assistant system
US10165199B2 (en) Image capturing apparatus for photographing object according to 3D virtual object
US7349020B2 (en) System and method for displaying an image composition template
US20100328200A1 (en) Device and related method for converting display screen into touch panel screen
JP5740884B2 (en) AR navigation for repeated shooting and system, method and program for difference extraction
US8350896B2 (en) Terminal apparatus, display control method, and display control program
CN101379455B (en) Input device and its method
US8388146B2 (en) Anamorphic projection device
JP2013076924A5 (en)
CN109934931B (en) Method and device for collecting image and establishing target object recognition model
KR20170027266A (en) Image capture apparatus and method for operating the image capture apparatus
JP2017162103A (en) Inspection work support system, inspection work support method, and inspection work support program
JP2016045588A (en) Data processor, data processing system, control method for data processor, and program
CN108282650B (en) Naked eye three-dimensional display method, device and system and storage medium
US20170302908A1 (en) Method and apparatus for user interaction for virtual measurement using a depth camera system
KR101125981B1 (en) Function Display System and Method for electronic device mop-up using Augmentation-reality
JP2018112894A (en) System and control method
CN112073640B (en) Panoramic information acquisition pose acquisition method, device and system
KR100845274B1 (en) Apparatus and method for generating user-interface based on face recognition in a exhibition system
JP6027952B2 (en) Augmented reality image generation system, three-dimensional shape data generation device, augmented reality presentation device, augmented reality image generation method, and program
CN104700392B (en) Virtual image positioning method and device
JP2010272078A (en) System, and control unit of electronic information board, and cursor control method
US20180047169A1 (en) Method and apparatus for extracting object for sticker image
US20190124298A1 (en) Image-providing system, image-providing method, and program
JP2009281830A (en) Device, method, program and system for setting installation of plurality of displays

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141231

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151228

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171213

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200121

Year of fee payment: 9