WO2014171644A1 - 거울을 이용한 증강현실 시스템 - Google Patents

거울을 이용한 증강현실 시스템 Download PDF

Info

Publication number
WO2014171644A1
WO2014171644A1 PCT/KR2014/002700 KR2014002700W WO2014171644A1 WO 2014171644 A1 WO2014171644 A1 WO 2014171644A1 KR 2014002700 W KR2014002700 W KR 2014002700W WO 2014171644 A1 WO2014171644 A1 WO 2014171644A1
Authority
WO
WIPO (PCT)
Prior art keywords
mirror
image
augmented reality
reality system
display
Prior art date
Application number
PCT/KR2014/002700
Other languages
English (en)
French (fr)
Inventor
이문기
Original Assignee
Lee Moon Key
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lee Moon Key filed Critical Lee Moon Key
Publication of WO2014171644A1 publication Critical patent/WO2014171644A1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present invention relates to an improvement of an augmented reality system using a mirror.
  • the present invention relates to an improvement of an augmented reality system using a mirror called a holoflector published by Microsoft.
  • An introductory video about HoloPlactor is at http://venturebeat.com/2012/02/28/microsoft-holoflector/.
  • Holo-Plactor is as shown in Figure 1
  • LCD display (FD) is installed behind the half mirror (HM) and Kinect (CM) is installed above the half mirror to recognize the user's gesture and three-dimensional position in front of the half mirror (HM).
  • CM Kinect
  • matching and outputting a virtual object means that the user prints his or her own appearance in the mirror and the virtual object as if they exist in the same space.
  • the user can feel as if the mirror's own image (RO) and virtual object (VO) exist in the same space. For example, you can move the virtual ball (VO) with your hand (RO) in the mirror.
  • the holo-flector has a problem that it is difficult to photograph the user when the user approaches the half mirror because the kinect CM is installed at the upper edge of the half mirror HM.
  • the distance between Kinect and the user should not be too small.
  • the user may have access to the digital signage screen in order to see the screen details in detail. There is a problem that is difficult to do.
  • the present invention provides a configuration to install the kinect (CM) at a distance (IT) from the display surface inside the display (FDT) as shown in Figure 2 in order to solve the problem of the conventional holo-flector.
  • the display FDT be a transparent display in order to photograph the user with the installed Kinect.
  • HMT variable reflectivity mirror
  • These reflectivity variable mirrors are introduced as Switchable Mirrors at http://kentoptronics.com/solutions.html.
  • the image output to the transparent display (FDT) and the transparent state can be quickly reciprocated, and accordingly the variable reflectivity mirror (HMT) is also driven to reciprocate the transparent state and the mirror state quickly.
  • Kinect preferably photographs the user at the moment when the transparent display and the variable reflectivity mirror are transparent.
  • the three-dimensional position of the user's point cloud is mirrored on the mirror surface and moved inside the mirror.
  • the collision or contact between the surrounding virtual object and the point symmetrically transformed point cloud should be examined to calculate the motion of the virtual object at the next moment, and the virtual object should be output to the screen by transforming its position and shape according to the movement.
  • Kinect must be able to detect not only the position of the user but also the position of the display surface.
  • the user manually inputs a three-dimensional relative position between the Kinect and the display through trial and error several times, but in the case of the configuration of FIG.
  • the direction of the eyes may be changed by driving the Kinect with a motor to photograph the user.
  • the relative position and direction between the kinect and the display is changed.
  • the relative position and direction between the kinect and the display can be automatically measured, and the reflective augmented reality system can be driven without interruption.
  • the configuration of FIG. 2 does not have a problem even if the shooting direction of the Kinect is changed from time to time according to the user's movement.
  • such an automatic measurement is not possible with the configuration of FIG.
  • FIG. 3 is an embodiment of the present invention with the addition of a mirror
  • the augmented reality system using the mirror according to the present invention as shown in FIG. 2 is an improvement of the existing system (a holo-plitter published by Microsoft Corporation) as shown in FIG.
  • the Kinect (CM) is installed at the upper edge of the half mirror (HM), so if the user approaches the mirror half close, the distance between the Kinect and the user is too narrow to measure the user's three-dimensional position with the Kinect.
  • the system of the present invention installs the Kinect at a predetermined distance (IT) inside the reflectivity variable mirror (HMT), which can change the reflectivity with a transparent display (FDT) and an electrical signal as shown in FIG. Provide configuration.
  • the transparent display is driven to quickly reciprocate the image output state and the transparent state, and the variable reflectivity mirror drives the display to be transparent at the moment when the display is transparent and the display is mirrored at the moment the display outputs the image. And the user is photographed at the moment when the display and the variable reflectivity mirror are transparent.
  • the hologram optical element is an optical element used for a near eye display, and a light path incident by attaching a reflective or transmissive hologram film (HO) to a mirror or plastic plate (GL) that reflects light internally is internally reflected. It changes the role of.
  • wedge light guide instead of such a holographic optical element.
  • An introductory article about the wedge light guides is titled wedge optics in flat panel displays (http://download.microsoft.com/download/4/B/4/4B49C1C2-4C7A-4CEA-ADB5-EF4E4E7F5F63/Wedge%20optics % 20in% 20flat% 20panel% 20displays.pdf).
  • the wedge-shaped light guide is a structure in which light incident to one end is totally reflected inside to emit it to the other end.
  • Kinect Various depth cameras or stereo cameras may be used instead of Kinect to detect the user's three-dimensional position.

Abstract

본 발명은 마이크로소프트사의 홀로플렉터와 같은 거울을 이용한 증강현실 시스템의 개선에 관한 것이다. 기존의 시스템의 키넥트와 같은 영상 촬영 장치가 디스플레이 테두리 위쪽에 설치되어있어서 사용자가 디스플레이에 가깝게 접근하면 사용자를 촬영하기 어렵다는 문제가 있다. 이러한 문제를 해결하기 위하여 본 발명의 시스템은 카메라를 디스플레이 안쪽에 설치하되 디스플레이는 투명 디스플레이인 것을 특징으로 한다.

Description

거울을 이용한 증강현실 시스템
본 발명은 거울을 이용한 증강 현실 시스템의 개선에 관한 것이다.
본 발명은 마이크로소프트사에서 발표한 홀로플렉터(holoflector )라는 거울을 이용한 증강현실 시스템의 개선에 관한 것이다. 홀로플렉터에대한 소개 동영상은 http://venturebeat.com/2012/02/28/microsoft-holoflector/ 에 있다. 홀로플렉터는 도1과 같이
반거울(half mirror) (HM)뒤에 LCD디스플레이(FD)를 설치하고 반거울 위쪽에 키넥트(CM)를 설치하여 반거울(HM) 앞의 사용자(CS)의 제스처와 3차원 위치를 인식하고 그에 반응하는 가상 객체 영상(VO)을 LCD디스플레이(FD)에 정합하여 출력하는 시스템이다. 여기서 가상 객체를 정합하여 출력한다는 것은 사용자가 거울에 비친 자신의 모습과 가상 객체가 동일 공간에 존재하는 것처럼 출력한다는 의미이다. 이 시스템을 사용하면 사용자는 거울에 비친 자신의 모습(RO)과 가상 객체(VO)가 같은 공간에 존재하는 것처럼 느낄 수 있다. 예를 들어서 가상 공(VO)을 거울에 비친 자신의 손(RO)으로 이동시킬 수 있다.
상기한 홀로플렉터는 키넥트(CM)를 반거울(HM) 위쪽 테두리에 설치하기 때문에 사용자가 반거울에 접근하면 사용자를 촬영하기 어렵다는 문제가 있다. 키넥트로 사용자의 3차원 위치를 측정하려면 키넥트와 사용자 사이의 간격이 너무 작아서는 안된다. 예를 들어서 홀로플렉터로 디지털 사이니지를 구성하는 경우 사용자는 화면 내용을 자세히 보기 위하여 디지털 사이니지 화면에 거의 접촉할 정도로 접근할 수도 있는데 이 경우 키넥트를 반거울 위쪽에 설치하면 사용자를 정확히 촬영하기 어렵다는 문제가 있다.
본 발명은 상기한 기존의 홀로플렉터의 문제를 해결하기 위하여 키넥트(CM)를 도2와 같이 디스플레이(FDT) 안쪽에 디스플레이 표면으로부터 간격(IT)을 두고 설치하는 구성을 제공한다. 도 2와 같이 설치된 키넥트로 사용자를 촬영하기 위하여 디스플레이(FDT)는 투명 디스플레이로 하는 것이 바람직하다. 그리고 반거울 대신 반사도를 전기 신호로 조절 할 수 있는 가변 반사도 거울(HMT)을 사용하는 것이 바람직하다. 이러한 반사도 가변 거울은 http://kentoptronics.com/solutions.html 에 스위칭 가능 거울(Switchable Mirror)로 소개되어있다. 이러한 구성으로 투명 디스플레이(FDT)에 영상을 출력하는 상태와 투명한 상태를 빠르게 왕복하게 하고 그에 맞춰서 가변 반사도 거울(HMT)도 투명 상태와 거울 상태를 빠르게 왕복하도록 구동한다. 키넥트는 투명 디스플레이와 가변 반사도 거울이 투명 상태인 순간에 사용자를 촬영하는 것이 바람직하다.
홀로플렉터와 같은 반사형 증강 현실 시스템에 가상 객체를 거울에 반사된 실제 사물에 정합하여 디스플레이에 출력하려면 사용자의 포인트 클라우드의 3차원 위치를 거울면에 면대칭 변환하여 거울 안쪽으로 이동시킨 후 그 위치 주변의 가상 객체와 면대칭 변환된 포인트 클라우드사이의 충돌 또는 접촉을 검사하여 다음 순간의 가상 객체의 움직임을 계산하여 가상 객체를 그 움직임에 맞게 위치와 형태를 변형하여 화면에 출력하여야 한다. 즉 키넥트는 사용자의 위치 뿐만 아니라 디스플레이 면의 위치도 검출 할 수 있어야 한다. 기존의 도1과 같은 구성의 시스템은 사용자가 키넥트와 디스플레이 사이의 3차원 상대 위치를 여러 번 시행착오를 거쳐 수동으로 입력하여 구성했으나 본 발명에의한 도2의 구성의 경우에는 화면의 정해진 위치에 정해진 형태와 크기의 사각형 마크를 출력하고 키넥트로 그 마크를 촬영하고 영상처리 프로그램으로 마크의 크기와 찌그러진 형태를 인식하여 키넥트와 마크 사이의 3차원 상대 위치를 계산해서 키넥트와 디스플레이 사이의 상대 위치를 순간적으로 빠르게 자동으로 알아낼 수 있다.
이와 같이 키넥트와 디스플레이 사이의 상대 위치를 계산하는 과정은 최초 한번만 실행하고 그 계산된 값은 기억 장치에 기록한 후 다음 번 실행시에는 그 기록된 값을 읽어 사용하는 것이 바람직하다.
형태가 알려진 사각형 마크를 촬영한 영상에서 사각형 마크의 찌그러진 형태와 크기로부터 카메라와 마크 사이의 3차원 상대 위치를 계산 하는 것은 퍼스펙티브 4 점 문제(perspective 4 point problem)의 해법으로 알려진 기술 이다.
사용자가 화면 정면에 있지 않은 경우 사용자를 촬영하기 위하여 키넥트를 모터로 구동하여 시선 방향을 바꿀 수도 있다. 이 경우 키넥트와 디스플레이 사이의 상대 위치와 방향이 변하게 되는데 상기한 방식으로 자동으로 키넥트와 디스플레이 사이의 상대 위치와 방향을 자동 측정하여 반사형 증강 현실 시스템을 중단 없이 구동 할 수 있다. 즉 도2의 구성은 키넥트의 촬영 방향이 사용자 움직임에 따라 수시로 바뀌어도 문제가 없지만 도1과 같은 구성으로는 그러한 자동 측정이 불가능하여 키넥트의 시선이 고정된다는 문제가 있다.
또한 키넥트를 디스플레이 안쪽에 숨김으로써 사용자에게 자신이 촬영되고 있다는 사실을 숨김으로써 감시된다는 거부감을 줄일 수 있고 시스템의 외관을 아름답게 할 수 있고 좀더 신기함을 제공 할 수 있다.
도1은 기존 시스템의 구성도
도2는 본 발명의 구성도
도3은 거울을 추가한 본 발명의 실시예
도4는 홀로그램 광학 소자를 사용한 본 발명의 실시예
실시예1
도2와 같은 본 발명에의한 거울을 이용한 증강 현실 시스템은 도1과 같은 기존의 시스템(마이크로소프트사가 발표한 홀로플렉터)을 개선한 것이다. 도1에서 키넥트(CM)는 반거울(HM) 의 위쪽 테두리에 설치되어있어서 사용자가 반거울에 매우 가깝게 접근하면 키넥트와 사용자 사이의 거리가 너무 좁아서 키넥트로 사용자의 3차원 위치를 측정 할 수 없다는 문제가 있다. 이 문제를 해결하기 위하여 본 발명의 시스템은 도2와 같이 키넥트를 투명 디스플레(FDT)와 전기신호로 반사도를 변화시킬 수 있는 반사도 가변 거울(HMT) 안쪽에 일정 거리(IT)를 두고 설치하는 구성을 제공한다. 투명 디스플레이는 영상을 출력하는 상태와 투명 상태를 빠르게 왕복하도록 구동 되고 반사도 가변 거울은 상기 디스플레이가 투명 상태인 순간에 투명 상태가 되게 하고 상기 디스플레이가 영상을 출력하는 순간에 거울 상태가 되게 구동하고 키넥트는 상기 디스플레이와 반사도 가변 거울이 투명 상태인 순간에 사용자를 촬영하는 것을 특징으로 한다.
도1의 경우 키넥트와 디스플레이 사이의 간격(IT) 때문에 시스템이 두꺼워지는 문제가 있다. 이러한 문제는 도3과 같이 키넥트와 디스플레이 사이에 키넥트의 시선 방향을 바꿔주는 거울(RM)을 설치함으로써 해결될 수 있다.
도4는 도3의 거울 대신 홀로그램 광학 소자를 이용하여 시스템의 두께를 더 줄인 구성이다. 홀로그램 광학 소자는 안경형 디스플레이(near eye display)에 사용되는 광학 소자로 입사된 빛은 내부에서 전반사시키는 거울이나 플라스틱 판(GL)에 반사형 또는 투과형 홀로그램 필름(HO)를 부착하여 입사된 빛의 경로를 바꿔주는 역할을 한다.
이러한 홀로그램 광학 소자 대신 쐐기형 빛 가이드(wedge light guide)를 사용해도 무방하다. 쐐기형 빛 가이드에 대한 소개문서는 wedge optics in flat panel displays 라는 제목으로 (http://download.microsoft.com/download/4/B/4/4B49C1C2-4C7A-4CEA-ADB5-EF4E4E7F5F63/Wedge%20optics%20in%20flat%20panel%20displays.pdf) 에 있다. 쐐기형 빛 가이드는 일단으로 입사된 빛은 내부에서 전반사시켜서 다른 일단으로 방출시키는 구조이다.
사용자의 3차원 위치를 검출하기 위하여 키넥트 대신 다양한 깊이 카메라(depth camera) 또는 스테레오 카메라를 사용 할 수도 있다.

Claims (9)

  1. 증강 현실 시스템에 있어서
    투명 디스플레이;
    상기 투명 디스플레이 앞 또는 뒤에 설치된 반사도 가변 거울;
    상기 디스플레이 뒤쪽에 설치되어 사용자를 촬영하는 영상 촬영 수단;
    상기 영상 촬영 수단으로 촬영한 사용자 영상을 분석하여 가상 객체 영상을 거울에 반사된 사용자 영상에 정합하여 상기 투명 디스플레이에 출력하는 영상처리수단을 포함하는 것을 특징으로 하는 거울을 이용한 증강현실 시스템
  2. 1항에 있어서
    상기 투명 디스플레이는 영상을 출력하는 상태와 투명 상태를 빠르게 왕복하고
    상기 영상 촬영 수단은 상기 투명 디스플레이가 투명인 순간에 사용자를 촬영하는 것을 특징으로 하는 거울을 이용한 증강현실 시스템
  3. 1항에 있어서
    상기 반사도 가변 거울은 거울 상태와 투명 상태를 빠르게 왕복하고
    상기 영상 촬영 수단은 상기 반사도 가변 거울이 투명인 순간에 사용자를 촬영하는 것을 특징으로 하는 거울을 이용한 증강현실 시스템
  4. 1항에 있어서
    상기 영상 처리 수단은
    디스플레이에 크기와 형태가 알려진 마크를 출력시키고
    그 마크를 영상 촬영 수단으로 촬영하여
    그 촬영된 영상에서 마크의 크기와 찌그러진 형태를 인식하여 영상 촬영 수단과 디스플레이 사이의 3차원 상대 위치를 산출하여 가상 객체를
    사용자의 거울에 비친 영상에 정합하여 출력하는 것을 특징으로 하는 거울을 이용한 증강현실 시스템
  5. 1항에 있어서
    상기 영상 촬영 수단은 영상 촬영 수단의 시선 방향을 바꿔서 시스템의 부피를 줄여주는 광학 소자를 포함하는 것을 특징으로하는 거울을 이용한 증강현실 시스템
  6. 5항에 있어서
    상기 광학 소자는 거울,홀로그램 광학 소자 또는 쐐기형 빛 가이드인 것을 특징으로하는 거울을 이용한 증강현실 시스템
  7. 1항에 있어서
    상기 영상 촬영 수단은 적외선 패턴을 투사하는 투사부와
    상기 적외선 패턴이 사물에 투사된 영상을 촬영하는 카메라부를 포함하는 것을 특징으로하는 거울을 이용한 증강현실 시스템
  8. 1항에 있어서
    상기 영상 촬영 수단은 스테레오카메라인 것을 특징으로하는 거울을 이용한 증강현실 시스템
  9. 1항에 있어서
    상기 영상 촬영 수단은 깊이 카메라인 것을 특징으로하는 거울을 이용한 증강현실 시스템
PCT/KR2014/002700 2013-04-14 2014-03-29 거울을 이용한 증강현실 시스템 WO2014171644A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130040705 2013-04-14
KR10-2013-0040705 2013-04-14

Publications (1)

Publication Number Publication Date
WO2014171644A1 true WO2014171644A1 (ko) 2014-10-23

Family

ID=51731545

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/002700 WO2014171644A1 (ko) 2013-04-14 2014-03-29 거울을 이용한 증강현실 시스템

Country Status (2)

Country Link
KR (1) KR20140123418A (ko)
WO (1) WO2014171644A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255819A (zh) * 2018-08-14 2019-01-22 清华大学 基于平面镜的Kinect标定方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102572632B1 (ko) * 2022-08-26 2023-08-29 강남대학교 산학협력단 사용자 얼굴 인식을 이용하여 증강 현실 서비스를 제공하는 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070038944A1 (en) * 2005-05-03 2007-02-15 Seac02 S.R.I. Augmented reality system with real marker object identification
US20070040033A1 (en) * 2005-11-18 2007-02-22 Outland Research Digital mirror system with advanced imaging features and hands-free control
KR20080102789A (ko) * 2007-05-22 2008-11-26 김성현 버츄어 미러
KR20100135001A (ko) * 2009-06-16 2010-12-24 두원공과대학산학협력단 의류착용용 디지털 가상 거울 시스템 및 그 처리방법
KR20110129908A (ko) * 2009-02-23 2011-12-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 미러 디바이스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070038944A1 (en) * 2005-05-03 2007-02-15 Seac02 S.R.I. Augmented reality system with real marker object identification
US20070040033A1 (en) * 2005-11-18 2007-02-22 Outland Research Digital mirror system with advanced imaging features and hands-free control
KR20080102789A (ko) * 2007-05-22 2008-11-26 김성현 버츄어 미러
KR20110129908A (ko) * 2009-02-23 2011-12-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 미러 디바이스
KR20100135001A (ko) * 2009-06-16 2010-12-24 두원공과대학산학협력단 의류착용용 디지털 가상 거울 시스템 및 그 처리방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255819A (zh) * 2018-08-14 2019-01-22 清华大学 基于平面镜的Kinect标定方法及装置
CN109255819B (zh) * 2018-08-14 2020-10-13 清华大学 基于平面镜的Kinect标定方法及装置

Also Published As

Publication number Publication date
KR20140123418A (ko) 2014-10-22

Similar Documents

Publication Publication Date Title
CN108885341B (zh) 基于棱镜的眼睛跟踪
EP3220180A1 (en) Camera applications in a handheld device
JP5060622B2 (ja) 画面と指示体との間でインタラクションを行うためのインタラクション装置
US10079970B2 (en) Controlling image focus in real-time using gestures and depth sensor data
EP3625648A1 (en) Near-eye display with extended effective eyebox via eye tracking
KR20140004592A (ko) 3d 깊이 정보를 기반으로 한 이미지 블러
JP6031545B2 (ja) 撮像装置及び撮影支援方法
EP2667620A2 (en) System for projecting 3d images and detecting gestures
KR101690646B1 (ko) 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법
KR20130035984A (ko) 스테레오 영상 기반 영상처리 시스템
CN110880161B (zh) 一种多主机多深度摄像头的深度图像拼接融合方法及系统
JP5261562B2 (ja) 携帯用機器のカメラアプリケーション
WO2014171644A1 (ko) 거울을 이용한 증강현실 시스템
CN208255619U (zh) 一种可自动对焦的全息投影装置
KR102214199B1 (ko) 이동 통신 단말기
US10171751B2 (en) Superimposing an image on an image of an object being photographed
CN107852457B (zh) 取景器装置和操作该装置的方法
CN116405653A (zh) 实时裸眼3d的图像处理方法、系统、设备及介质
CN202975484U (zh) 横竖两用立体拍摄附加镜及观屏器
JP2012147059A (ja) 画像情報処理装置及び画像情報処理システム
JP5691631B2 (ja) 画像合成方法
US20190098228A1 (en) Superimposing an image on an image of an object being photographed
JP3197950U (ja) 画像観察フレーム
Tsuchiya et al. Aerial Imaging by Retro-Reflection for Mid-Air Image Display and Camera Viewpoint Transfer
CN109005316B (zh) 影像感测模块

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14785947

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14785947

Country of ref document: EP

Kind code of ref document: A1