KR20140122126A - 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법 - Google Patents

투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법 Download PDF

Info

Publication number
KR20140122126A
KR20140122126A KR1020130038825A KR20130038825A KR20140122126A KR 20140122126 A KR20140122126 A KR 20140122126A KR 1020130038825 A KR1020130038825 A KR 1020130038825A KR 20130038825 A KR20130038825 A KR 20130038825A KR 20140122126 A KR20140122126 A KR 20140122126A
Authority
KR
South Korea
Prior art keywords
user
image
viewpoint
augmented reality
transparent display
Prior art date
Application number
KR1020130038825A
Other languages
English (en)
Other versions
KR102079097B1 (ko
Inventor
조규성
신대규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130038825A priority Critical patent/KR102079097B1/ko
Priority to US14/243,255 priority patent/US9972130B2/en
Publication of KR20140122126A publication Critical patent/KR20140122126A/ko
Application granted granted Critical
Publication of KR102079097B1 publication Critical patent/KR102079097B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Human Computer Interaction (AREA)

Abstract

본 발명은 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법에 관한 것이다.
이를 위해 본 발명은 전면 카메라에 의해서 촬영된 얼굴 이미지로부터 사용자 시점을 산출하고, 산출된 사용자 시점에 따라 사용자의 시야각과 동일한 화각에 대응되는 영역의 이미지를 검출하고, 검출된 이미지를 이용하여 증강현실을 구현하고, 구현된 증강현실을 투명 디스플레이에 출력함으로써 사용자에게 투명 디스플레이 상에 정확하게 구현된 증강현실을 제공할 수 있게 된다.

Description

투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법{DEVICE AND METHOD FOR IMPLEMENTING AUGMENTED REALITY USING TRANSPARENT DISPLAY}
본 발명은 증강현실 구현 장치 및 그 방법에 관한 것으로, 특히 투명디스플레이를 이용하여 증강현실을 구현하기 위한 장치 및 그 장치에서 증강현실을 구현하기 위한 방법에 관한 것이다.
일반적으로 현재 모바일 단말기들은 전면에 LCD(Liquid Crystal Display) 또는 아몰레드(AMOLED)와 같은 스크린을 장착하고, 후면에 카메라를 장착하고 있다. 이러한 단말기에서 증강현실을 구현할 시 후면 카메라를 통해서 영상을 입력되고, 입력된 영상을 분석하여 관심 오브젝트를 인식한다. 이후 모바일 단말기는 인식된 관심 오브젝트에 이미지 또는 텍스트 등과 같은 가상 정보를 합성하여 화면상에 표시한다.
최근에는 투명 LCD, 투명 유리 또는 투명 액정 패널 등과 같은 투명 디스플레이를 구비한 장치가 많이 이용되고 있으며, 이러한 투명 디스플레이가 장착된 장치는 스크린 상에 사용자가 보고 있는 시점의 배경을 보여주게 된다.
상기와 같은 투명 디스플레이를 구비한 장치는 증강현실을 구현할 시 사용자가 보고 있는 시점의 배경 이미지를 캡쳐하고, 캡쳐된 배경 이미지를 분석하여 관심 오브젝트를 인식한 후 인식된 관심 오브젝트 상에 가상 정보를 매핑하여 투명 디스플레이 화면 상에 표시한다.
하지만, 투명 디스플레이를 구비한 장치는 사용자의 시점 및 시야각에 따라 투명 디스플레이를 통해서 표시되는 배경이 변화되기 때문에 장치에 구비된 후면 카메라로부터 입력되는 배경 이미지와 서로 일치하지 않는다는 문제점이 있다.
이에 따라, 투명 디스플레이를 구비한 장치에서 증강현실을 구현할 경우 사용자의 시점 및 시야각에 따라 캡쳐된 배경 이미지와 후면 카메라로부터 입력되는 배경 이미지가 서로 불일치 하기 때문에 사용자의 관심사가 아닌 오브젝트를 인식하게 되어 사용자의 관심사가 아닌 오브젝트의 위치에 가상 정보를 맵핑하게 되는 문제점이 있다.
따라서, 본 발명에서는 투명 디스플레이를 이용하여 증강현실을 구현하기 위한 장치 및 그 방법을 제공한다.
상술한 바를 달성하기 위한 본 발명은 투명 디스플레이를 구비한 증강현실 구현 장치에 있어서, 투명 디스플레이부와, 사용자의 얼굴 이미지를 촬영하는 전면 카메라부와, 배경 이미지를 촬영하는 후면 카메라부와, 이미지로부터 관심 오브젝트를 인식하고, 상기 인식된 관심 오브젝트에 가상 정보를 맵핑하여 증강현실을 구현하는 증강현실 구현부와, 상기 얼굴 이미지로부터 사용자 시점을 산출하고, 상기 사용자 시점과 상기 후면 카메라부의 시점이 차이가 있으면 상기 후면 카메라부의 시점을 상기 사용자 시점으로 이동시키고, 상기 사용자의 시야각과 동일한 화각에 대응되는 영역의 이미지를 검출한 후 상기 검출된 이미지를 이용하여 상기 증강현실을 구현하고, 상기 구현된 증강현실을 상기 투명 디스플레이부에 출력하는 제어부를 포함하는 것을 특징으로 한다.
또한, 본 발명은 투명 디스플레이를 구비한 증강현실 구현 방법에 있어서, 전면 카메라에 의해서 촬영된 얼굴 이미지로부터 사용자 시점을 산출하는 과정과, 상기 사용자 시점과 후면 카메라의 시점이 차이가 있으면 상기 후면 카메라부의 시점을 상기 사용자 시점으로 이동시키는 과정과, 상기 사용자의 시야각과 동일한 화각에 대응되는 영역의 이미지를 검출하는 과정과, 상기 검출된 이미지를 이용하여 상기 증강현실을 구현하고, 상기 구현된 증강현실을 상기 투명 디스플레이에 출력하는 과정을 포함하는 것을 특징으로 한다.
본 발명은 투명 디스플레이를 구비한 장치에서 사용자의 시점 및 시야각에 따라 표시된 배경 이미지와 후면 카메라로부터 입력된 배경 이미지를 일치시켜 올바른 증강현실을 구현할 수 있다는 이점이 있다.
도 1은 본 발명의 실시 예에 따른 투명 디스플레이를 구비한 장치에 대한 블록도,
도 2는 본 발명의 투명 디스플레이를 구비하는 장치에서 전면 카메라부와 후면 카메라부의 위치를 설명하기 위한 예시도,
도 3은 본 발명의 실시 예에 따라 투명 디스플레이를 구비하는 장치에서 증강현실을 구현하는 과정을 나타내는 흐름도,
도 4 내지 도 6은 본 발명의 실시 예에 따라 투명 디스플레이를 구비하는 장치에서 증강현실을 구현하는 동작을 설명하기 위한 예시도들.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
도 1은 본 발명의 실시 예에 따른 투명 디스플레이를 구비한 장치에 대한 블록도이다.
본 발명의 투명 디스플레이를 구비한 장치(10)는 제어부(100), 전면 카메라부(111)와 후면 카메라부(112)를 포함하는 카메라부(110), 증강현실 구현부(120), 투명 디스플레이부(130), 저장부(140)를 포함한다.
제어부(100)는 일반적으로 투명 디스플레이를 구비한 장치(10)의 동작을 제어하는데, 특히 전면 카메라부(111)를 통해서 사용자의 얼굴 이미지를 수신하고, 수신된 사용자의 얼굴 이미지를 통해서 사용자의 시점(이하, 시점은 시선이라고도 할 수 있음)을 산출한다. 예를 들어, 제어부(100)는 눈동자 추적(Eye Tracking) 기술을 이용하여 입력된 사용자의 얼굴 이미지에서 사용자의 3차원 시점을 산출할 수 있다. 본 발명에서는 눈동자 추적 기술을 이용하여 사용자의 3차원 시점을 산출하는 것을 예로 들었으나, 3차원 시점을 산출하기 위해 다양한 기술을 이용할 수 있다.
제어부(100)는 후면 카메라부(112)를 통해서 배경 이미지를 수신하고, 수신된 배경 이미지를 이용하여 후면 카메라부(112)의 시점을 산출한다. 예를 들어, 제어부(100)는 배경 이미지를 통해서 후면 카메라부(112)의 3차원 시점을 산출할 수 있다.
제어부(100)는 산출된 사용자의 시점과 산출된 후면 카메라부(112)의 시점이 일치되고, 사용자의 시야각과 후면 카메라부(112)의 시야각이 일치되도록 후면 카메라부(112)의 시점과 시야각을 이동시킨다. 예를 들어, 제어부(100)는 사용자의 3차원 시점을 기준으로 후면 카메라부(112)의 3차원 시점을 사용자의 3차원 시점과 일치되도록 이동시킨다. 이와 같이 이동된 후면 카메라부(112)의 3차원 시점에 의해서 입력되는 배경 이미지는 사용자의 시점에 따른 배경 이미지와 일치하게 된다. 이후 제어부(100)는 후면 카메라부(112)의 이동된 3차원 시점에 의해서 입력되는 배경 이미지 중 사용자의 시야각과 후면 카메라의 화각이 일치되는 영역의 이미지를 검출하고, 검출된 이미지를 이용하여 증강현실 구현부(120)를 통해서 증강현실을 구현한 후 투명 디스플레이부(130)를 통해서 출력한다.
카메라부(110)는 전면 카메라부(111)와 후면 카메라부(112)를 포함하고, 영상(정지 영상 또는 동영상)을 촬영할 수 있다. 특히, 본 발명의 카메라부(110)는 눈동자 추적 기능을 이용하여 사용자의 얼굴 영상을 촬영하고, 촬영된 영상을 제어부(100)에 전송할 수 있다.
전면 카메라부(111)는 사용자가 투명 디스플레이부(130)를 정면으로 바라볼 때 사용자의 얼굴을 촬영할 수 있는 위치에 구비되고, 후면 카메라부(112)는 사용자가 투명 디스플레이부(130)를 정면으로 바라볼 때 전면 카메라부(111)의 뒷면에서 사용자가 바라보는 배경 이미지를 촬영할 수 있는 위치에 구비될 수 있다.
구체적으로, 도 2를 참조하여 살펴보면, 도 2는 본 발명의 투명 디스플레이를 구비하는 장치에서 전면 카메라부와 후면 카메라부의 위치를 설명하기 위한 예시도이다.
본 발명에서는 도 2의 (a)와 같이 투명 디스플레이를 구비하는 장치(10)의 전면(200)에서 사용자가 투명 디스플레이부(130)를 정면으로 바라볼 때 사용자의 얼굴을 촬영할 수 있는 위치에 있는 카메라를 전면 카메라부(111)로 정의하고, 도 2의 (b)와 같이 투명 디스플레이를 구비하는 장치(10)의 후면(210)에서 사용자가 투명 디스플레이부(130)를 정면으로 바라볼 때 사용자가 바라보는 배경을 촬영할 수 있는 위치에 있는 카메라를 후면 카메라부(112)로 정의할 수 있다.
이와 같이 정지 영상 및 동영상을 촬영하는 카메라부(110)는 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이므로 상세한 설명을 생략하기로 한다.
증강현실 구현부(120)는 일반적인 영상 인식 기법들을 이용하여 제어부(100)에 의해서 선택된 배경 이미지를 분석한 후 관심 오브젝트를 인식하고, 인식된 관심 오브젝트에 가상 정보를 맵핑한다. 이때, 가상 정보는 인식된 관심 오브젝트에 대한 이름, 위치, 설명등과 같은 부가적인 정보를 의미한다.
투명 디스플레이부(130)는 투명 소자로 구성되며, 사용자가 투명 유리에 비친 배경을 볼 수 있는 것과 같이 사용자의 눈으로 보여지는 배경을 그대로 표시한다. 이러한 투명 디스플레이부(130)는 투시형과 직시형으로 구분되며, 투시형으로 HUD(Head Up Display)와 HMD(Head Mount Display)을 포함하고, 직시형으로 투명 LCD(Liquid Crystal Display), 투명 OLED(Organic Light Diode)를 포함한다. 본 발명에서 투명 디스플레이부(130)는 증강현실 구현부(120)로부터 구현된 증강현실을 출력한다. 즉, 본 발명에서는 증강현실 구현부(120)에서 맵핑된 가상 정보를 투명 디스플레이부(130)를 통해서 출력한다.
저장부(140)는 제어부(100)의 제어에 따라 카메라부(110), 증강현실 구현부(120), 투명 디스플레이부(130)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 또한 저장부(140)는 투명 디스플레이를 구비한 증강현실 구현 장치(10) 또는 제어부(100)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.
도 3은 본 발명의 실시 예에 따라 투명 디스플레이를 구비하는 장치에서 증강현실을 구현하는 과정을 나타내는 흐름도이다.
도 3에 따르면, 300단계에서 제어부(100)는 전면 카메라부(111)로부터 사용자의 얼굴 이미지를 수신한다. 구체적으로, 제어부(100)는 전면 카메라부(111)로부터 사용자의 얼굴이 포함된 이미지를 수신하는 것이다.
310단계에서 제어부(100)는 사용자의 얼굴이 포함된 이미지로부터 사용자 시점을 산출한다. 구체적으로, 제어부(100)는 수신된 이미지에 얼굴이 포함된 경우 눈동자 추적 기술을 이용하여 사용자가 어디서 어느 방향을 보고 있는지를 나타내는 사용자의 3차원 시점을 산출한다. 여기서, 3차원 시점은 전면 카메라부(111)의 상대적인 회전값인 회전, 편향, 상하이동(roll, yaw, pitch)과 변위값인 x축, y축, z축의 좌표로 나타낼 수 있다. 또한 이러한 시점은 사용자의 눈 또는 카메라가 바라보는 방향을 나타나는 직선으로 표현될 수 있다.
320단계에서 제어부(100)는 산출된 사용자 시점과 후면 카메라부(112)의 시점이 대응되도록 후면 카메라부(112)의 시점을 이동시킨다. 다시 말해서, 제어부(100)는 사용자의 3차원 시점인 전면 카메라부(111)의 회전, 편향, 상하이동(roll, yaw, pitch)과 변위값인 x1축, y1축, z1축의 좌표를 기준으로 후면 카메라부(112)의 3차원 시점인 후면 카메라부(112)의 회전, 편향, 상하이동(roll, yaw, pitch)과 변위값인 x2축, y2축, z2축의 좌표를 사용자의 3차원 시점으로 이동시키는 것이다.
330단계에서 제어부(100)는 사용자의 시야각과 후면 카메라부(112)의 화각이 일치하는 영역에 해당하는 이미지를 검출한다. 다시 말해서, 제어부(100)는 사용자에서부터 투명 디스플레이부(130)의 폭에 대응하는 기준각을 산출한다. 구체적으로, 제어부(100)는 투명 디스플레이부(130)의 양쪽 끝에서 사용자까지의 직선들이 교차하여 생성되는 기준각을 산출한다. 이후 제어부(100)는 후면 카메라부(112)로부터 입력된 배경 이미지 중 이동된 후면 카메라부(112)의 시점을 기준으로 기준각과 동일한 화각에 대응되는 영역의 이미지를 검출한다. 여기서 사용자의 시야각은 일반적인 사람의 시야각을 의미한다.
340단계에서 제어부(100)는 검출된 이미지를 이용하여 증강현실을 구현한 후 결과를 출력한다. 다시 말해서 제어부(100)는 검출된 이미지를 분석하여 관심 오브젝트를 인식하고, 인식된 관심 오브젝트에 가상 정보를 맵핑하도록 증강현실 구현부(120)를 제어한다. 이후 제어부(100)는 증강현실 구현부(120)를 통해서 맵핑된 가상 정보를 투명 디스플레이부(130)를 통해서 출력한다.
이와 같이 본 발명의 실시 예는 투명 디스플레이를 구비하는 장치에서 관심 오브젝트 상에 정확하게 가상 정보를 매핑하여 사용자에게 제공할 수 있게 된다.
도 4 내지 도 6은 본 발명의 실시 예에 따라 투명 디스플레이를 구비하는 장치에서 증강현실을 구현하는 동작을 설명하기 위한 예시도들이다.
본 발명의 실시 예에서는 투명 디스플레이를 구비하는 장치(10)가 사용자의 정면에 전면 카메라부(111)를 구비하고, 그 반대편에 후면 카메라부(112)를 구비하는 것을 예로 설명하도록 한다. 또한 분 발명의 실시 예에서는 시점, 화각, 시야각이 2차원으로 표현되었으나, 이에 한정되지 않으며, 이러한 시점, 화각, 시야각은 3차원으로 표현 가능하다.
도 4는 본 발명의 실시 예에 따라 사용자의 시점과 후면 카메라부의 시점을 설명하기 위한 예시도이다.
도 4에 따르면, 후면 카메라부(112)는 도면부호 400과 같은 시점을 가지고, 사용자는 도면부호 401와 같은 사용자 시점을 가진다. 제어부(100)는 전면 카메라부(111)로부터 입력되는 사용자 얼굴이 포함된 이미지를 이용하여 사용자 시점(401)을 산출할 수 있다.
도 5는 본 발명의 실시 예에 따라 사용자의 시점과 후면 카메라부의 시점을 일치시키는 동작을 설명하기 위한 예시도이다.
본 발명의 실시 예에서는 후면 카메라부(112)의 시점을 도면부호 500와 같이 나타내고, 사용자 시점을 도면부호 501과 같이 나타내는 것으로 가정한다.
제어부(100)는 산출된 사용자 시점(501)으로 보는 배경과 일치하는 이미지를 획득하기 위해 후면 카메라부(112)의 시점(500)으로 입력되는 기준 이미지를 사용자 시점(501)으로 입력되는 이미지로 변환한다.
예를 들어, 본 발명의 실시 예에서는 후면 카메라부(112)의 시점의 중심선과 사용자 시점의 중심선 사이의 각도차가 θy라고 가정한다. 이때, 사용자 시점(501)의 중심선은 사용자의 시야각을 이등분하는 직선으로 나타낼 수 있다.
도 5에 따르면, 후면 카메라부(112)의 시점(500)을 기준으로 후면 카메라부(112)의 화각에 대응하여 입력되는 이미지 영역은 도면부호 510과 같이 나타낼 수 있다.
상기와 같이 사용자의 시점(501)과 후면 카메라부(112)의 시점(500)은 θy만큼 서로 차이가 있기 때문에 사용자의 시점(501)으로 입력되는 이미지를 획득하기 위해서 제어부(100)는 기준 이미지를 사용자 시점(501)과 일치하도록 θy만큼 회전한 이미지로 변환한다. 이때, 제어부(100)는 2차원 호모그래피 영상 변환 기술을 이용하여 기준 이미지를 변환할 수 있다. 본 발명의 실시 예에서는 2차원 호모그래피 영상 변환 기술을 이용하는 것을 예로 설명하였으나, 이로 한정되지 않으며, 기준 이미지를 사용자 시점(501)과 일치하도록 θy만큼 회전한 이미지로 변환하기 위한 이미지 변환 기술을 사용할 수 있다.
이와 같이 변환된 이미지는 후면 카메라부(112)의 시점을 사용자 시점(501)과 일치하도록 θy만큼 이동시킨 시점으로 입력되는 이미지 영역(511)에 대응된다.
다만, 후면 카메라부(112)의 화각을 벗어나는 영역의 이미지를 출력할 수 없기 때문에, 투명 디스플레이부(130)를 통해서 출력되는 이미지는 A에서 B까지 해당하는 영역에 해당한다. 다른 실시 예로 후면 카메라부(112)는 후면 카메라부(112)의 시점을 θy만큼 이동시킨 시점으로 입력되는 이미지가 A에서 B까지 해당하는 영역에 포함되도록 하기 위해서 광각 카메라가 이용될 수 있다.
이후 제어부(100)는 사용자가 투명 디스플레이부(130)를 통해서 볼 수 있는 배경과 일치하는 이미지를 검출하는데, 이에 대해서 구체적으로 도 6을 참조하여 설명하면 다음과 같다.
도 6은 본 발명의 실시 예에 따라 사용자의 시야각과 후면 카메라부의 시야각이 일치하는 영역에 해당하는 이미지를 검출하는 동작을 설명하기 위한 예시도이다.
도 6에 따르면, 제어부(100)는 사용자가 투명 디스플레이부(130)를 통해서 볼 수 있는 배경과 일치하는 이미지를 추출하기 위해서 투명 디스플레이부(130)의 양쪽 끝(a, b)에서 사용자까지의 직선들이 교차하여 생성되는 기준각(θv)을 산출한다.
이후 제어부(100)는 변환된 이미지 중 후면 카메라부(112)의 시점을 나타내는 중심선(600)을 기준으로 기준각(θv)과 동일한 화각에 대응되는 영역의 이미지(610)를 검출한다. 다시 말해서, 제어부(100)는 변환된 이미지에 해당하는 A에서 B까지 영역에서 기준각(θv)과 동일한 화각에 대응되는 A'에서 B'까지 영역의 이미지를 검출할 수 있다.
이후 제어부(100)는 검출된 이미지를 분석하여 관심 오브젝트를 인식하고, 인식된 관심 오브젝트에 가상 정보를 맵핑하도록 증강현실 구현부(120)를 제어한 후 증강현실 구현부(120)를 통해서 맵핑된 가상 정보를 투명 디스플레이부(130)를 통해서 출력한다.
본 발명의 실시 예에서는 사용자의 시야각이 투명 디스플레이의 폭과 겹쳐지는 각도를 이용하여 사용자가 투명 디스플레이를 통해서 보는 배경과 유사한 이미지를 획득하는 것을 설명하였으나, 투명 디스플레이의 폭과 높이에 겹쳐지는 각도를 이용하여 사용자가 투명 디스플레이를 통해서 보는 배경과 유사한 이미지를 획득하는 것도 포함될 수 있다.
이와 같이 본 발명은 사용자가 투명 디스플레이를 통해서 보는 배경과 동일한 이미지를 획득하여 획득된 이미지 상의 관심 오브젝트의 위치에 가상 정보를 정확하게 맵핑시킴으로써 투명 디스플레이를 구비하는 장치를 가진 사용자에게 보다 정확하게 구현된 증강현실을 제공할 수 있게 된다.
본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 증강현실 구현 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한, 상기 증강현실 구현 장치는 유선 또는 무선으로 연결되는 증강현실 구현 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 증강현실 구현 장치는 상기 증강현실 구현 장치가 기설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 증강현실 구현 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 증강현실 구현 장치의 요청 또는 자동으로 해당 프로그램을 상기 증강현실 구현 장치로 전송하는 제어부를 포함할 수 있다.
100: 제어부
110: 카메라부
111: 전면 카메라부
112: 후면 카메라부
120: 증강현실 구현부
130: 투명 디스플레이부
140: 저장부

Claims (14)

  1. 투명 디스플레이를 구비한 증강현실 구현 장치에 있어서,
    투명 디스플레이부와,
    사용자의 얼굴 이미지를 촬영하는 전면 카메라부와,
    배경 이미지를 촬영하는 후면 카메라부와,
    이미지로부터 관심 오브젝트를 인식하고, 상기 인식된 관심 오브젝트에 가상 정보를 맵핑하여 증강현실을 구현하는 증강현실 구현부와,
    상기 얼굴 이미지로부터 사용자 시점을 산출하고, 상기 산출된 사용자 시점에 따라 상기 사용자의 시야각과 동일한 화각에 대응되는 영역의 이미지를 검출한 후 상기 검출된 이미지를 이용하여 상기 증강현실을 구현하고, 상기 구현된 증강현실을 상기 투명 디스플레이부에 출력하는 제어부를 포함하는 것을 특징으로 하는 증강현실 구현 장치.
  2. 제1항에 있어서, 상기 제어부는,
    상기 사용자 시점과 상기 후면 카메라부의 시점이 차이가 있으면 상기 후면 카메라부의 시점을 상기 사용자 시점과 대응하는 위치로 이동시키는 것을 특징으로 하는 증강현실 구현 장치.
  3. 제1항에 있어서, 상기 사용자 시점은,
    상기 전면 카메라부의 회전, 편향, 상하이동(roll, yaw, pitch)과 x축, y축, z축의 변위값을 포함하는 것을 특징으로 하는 증강현실 구현 장치.
  4. 제2항에 있어서, 상기 제어부는,
    상기 사용자 시점과 상기 후면 카메라부의 시점간의 각도차가 존재하면 상기 배경 이미지를 상기 사용자 시점에 해당하는 이미지로 변환하는 것을 특징으로 하는 증강현실 구현 장치.
  5. 제4항에 있어서, 상기 변환된 이미지는,
    상기 후면 카메라부의 시점을 상기 사용자 시점과 상기 후면 카메라부의 시점간의 각도차만큼 회전한 이미지인 것을 특징으로 하는 증강현실 구현 장치.
  6. 제5항에 있어서, 상기 제어부는,
    상기 사용자의 시점으로부터 상기 투명 디스플레이부의 폭에 대응하는 기준각을 산출하고, 상기 변환된 이미지 중 상기 후면 카메라부의 이동된 시점을 기준으로 상기 산출된 기준각과 동일한 화각에 대응되는 영역의 이미지를 검출하는 것을 특징으로 하는 증강현실 구현 장치.
  7. 제6항에 있어서, 상기 제어부는,
    상기 검출된 이미지를 분석하여 관심 오브젝트를 검출하고, 상기 검출된 관심 오브젝트에 가상 정보가 맵핑되도록 상기 증강현실 구현부를 제어하고, 상기 가상 정보를 상기 투명 디스플레이부를 통해서 출력하는 것을 특징으로 하는 증강현실 구현 장치.
  8. 투명 디스플레이를 구비한 증강현실 구현 방법에 있어서,
    전면 카메라에 의해서 촬영된 얼굴 이미지로부터 사용자 시점을 산출하는 과정과,
    상기 산출된 사용자 시점에 따라 상기 사용자의 시야각과 동일한 화각에 대응되는 영역의 이미지를 검출하는 과정과,
    상기 검출된 이미지를 이용하여 상기 증강현실을 구현하고, 상기 구현된 증강현실을 상기 투명 디스플레이에 출력하는 과정을 포함하는 것을 특징으로 하는 증강현실 구현 방법.
  9. 제8항에 있어서,
    상기 사용자 시점과 후면 카메라의 시점이 차이가 있으면 상기 후면 카메라부의 시점을 상기 사용자 시점과 대응하는 위치로 이동시키는 과정을 더 포함하는 것을 특징으로 하는 증강현실 구현 방법.
  10. 제8항에 있어서, 상기 사용자 시점은,
    상기 전면 카메라부의 회전, 편향, 상하이동(roll, yaw, pitch)과 x축, y축, z축의 변위값을 포함하는 것을 특징으로 하는 증강현실 구현 방법.
  11. 제9항에 있어서, 상기 후면 카메라의 시점을 상기 사용자 시점으로 이동시키는 과정은,
    상기 사용자 시점과 상기 후면 카메라부의 시점간의 각도차가 존재하면 상기 배경 이미지를 상기 사용자 시점에 해당하는 이미지로 변환하는 과정임을 특징으로 하는 증강현실 구현 방법.
  12. 제11항에 있어서, 상기 변환된 이미지는,
    상기 후면 카메라부의 시점을 상기 사용자 시점과 상기 후면 카메라부의 시점간의 각도차만큼 회전한 이미지인 것을 특징으로 하는 증강현실 구현 방법.
  13. 제12항에 있어서, 상기 사용자의 시야각과 동일한 화각에 대응되는 영역의 이미지를 검출하는 과정은,
    상기 사용자의 시점으로부터 상기 투명 디스플레이부의 폭에 대응하는 기준각을 산출하는 과정과,
    상기 변환된 이미지 중 상기 후면 카메라부의 이동된 시점을 기준으로 상기 산출된 기준각과 동일한 화각에 대응되는 영역의 이미지를 검출하는 과정을 포함하는 것을 특징으로 하는 증강현실 구현 방법.
  14. 제13항에 있어서, 상기 구현된 증강현실을 상기 투명 디스플레이에 출력하는 과정은,
    상기 검출된 이미지를 분석하여 관심 오브젝트를 검출하는 과정과,
    상기 검출된 관심 오브젝트에 가상 정보를 맵핑하는 과정과,
    상기 가상 정보를 상기 투명 디스플레이를 통해서 출력하는 과정을 포함하는 것을 특징으로 하는 증강현실 구현 방법.
KR1020130038825A 2013-04-09 2013-04-09 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법 KR102079097B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130038825A KR102079097B1 (ko) 2013-04-09 2013-04-09 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
US14/243,255 US9972130B2 (en) 2013-04-09 2014-04-02 Apparatus and method for implementing augmented reality by using transparent display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130038825A KR102079097B1 (ko) 2013-04-09 2013-04-09 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20140122126A true KR20140122126A (ko) 2014-10-17
KR102079097B1 KR102079097B1 (ko) 2020-04-07

Family

ID=51654117

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130038825A KR102079097B1 (ko) 2013-04-09 2013-04-09 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법

Country Status (2)

Country Link
US (1) US9972130B2 (ko)
KR (1) KR102079097B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016153108A1 (ko) * 2015-03-20 2016-09-29 한국과학기술원 증강현실 기반 동적 서비스 제공 방법 및 장치
KR20160121257A (ko) * 2015-04-10 2016-10-19 서울과학기술대학교 산학협력단 증강현실을 이용한 건축 디자인 검증 시스템과 방법
KR101690646B1 (ko) * 2016-08-02 2016-12-28 아이피랩 주식회사 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법
KR20210147843A (ko) * 2020-05-29 2021-12-07 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 이미지 표시 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6205189B2 (ja) * 2013-06-28 2017-09-27 オリンパス株式会社 情報提示システム及び情報提示システムの制御方法
JP6271083B2 (ja) * 2015-04-07 2018-01-31 三菱電機株式会社 空気調和機のメンテナンスサポートシステム
WO2017221663A1 (ja) * 2016-06-20 2017-12-28 パナソニックＩｐマネジメント株式会社 映像表示システム
US10078916B2 (en) * 2016-07-01 2018-09-18 Invia Robotics, Inc. Pick to augmented reality
KR20180050847A (ko) 2016-11-07 2018-05-16 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
US10135822B2 (en) 2017-03-21 2018-11-20 YouaretheID, LLC Biometric authentication of individuals utilizing characteristics of bone and blood vessel structures
US11374929B2 (en) * 2017-03-21 2022-06-28 Global E-Dentity, Inc. Biometric authentication for an augmented reality or a virtual reality device
KR102366242B1 (ko) 2017-12-07 2022-02-23 삼성전자주식회사 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법
US10902556B2 (en) * 2018-07-16 2021-01-26 Nvidia Corporation Compensating for disparity variation when viewing captured multi video image streams
CN113016011A (zh) 2018-09-26 2021-06-22 佳殿玻璃有限公司 用于基底、涂覆品、中空玻璃单元等的增强现实系统和方法
CN110716641B (zh) * 2019-08-28 2021-07-23 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质
KR20210113485A (ko) * 2020-03-05 2021-09-16 삼성전자주식회사 투명 스크린을 포함하는 디스플레이 장치를 제어하기 위한 방법 및 그 디스플레이 장치
US11995853B2 (en) 2021-11-04 2024-05-28 Honeywell Federal Manufacturing & Technologies, Llc System and method for transparent augmented reality
US11792506B2 (en) * 2022-02-09 2023-10-17 Motorola Mobility Llc Electronic devices and corresponding methods for defining an image orientation of captured images
KR102588759B1 (ko) * 2023-03-03 2023-10-13 (주)빛글림 투명 디스플레이를 이용한 콘텐츠 제공 시스템 및 방법

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060227138A1 (en) * 2005-04-05 2006-10-12 Nissan Motor Co., Ltd. Image processing device and method
WO2007133209A1 (en) * 2006-05-12 2007-11-22 Information Decision Technologies, Llc Advanced augmented reality system and method for firefighter and first responder training
US20100164702A1 (en) * 2008-12-26 2010-07-01 Kabushiki Kaisha Toshiba Automotive display system and display method
US20110310238A1 (en) * 2010-06-17 2011-12-22 Electronics And Telecommunications Research Institute Apparatus and method for inputting coordinates using eye tracking
KR20120008191A (ko) * 2010-07-16 2012-01-30 한국과학기술원 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기
US20120072873A1 (en) * 2010-09-16 2012-03-22 Heeyeon Park Transparent display device and method for providing object information
KR101132976B1 (ko) * 2010-12-14 2012-04-09 한국과학기술원 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법
US20120113092A1 (en) * 2010-11-08 2012-05-10 Avi Bar-Zeev Automatic variable virtual focus for augmented reality displays
KR20120067854A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
US20120162384A1 (en) * 2010-12-22 2012-06-28 Vesely Michael A Three-Dimensional Collaboration
KR20120118656A (ko) * 2011-04-19 2012-10-29 네오뷰코오롱 주식회사 투명한 디스플레이가 구비된 블루투스 단말장치
US20130234934A1 (en) * 2010-12-22 2013-09-12 Zspace, Inc. Three-Dimensional Collaboration
US20130260360A1 (en) * 2012-03-27 2013-10-03 Sony Corporation Method and system of providing interactive information
KR20130137063A (ko) * 2012-06-06 2013-12-16 삼성전자주식회사 증강 현실 서비스를 제공하는 이동통신 단말기 및 증강 현실 서비스에 대한 화면으로의 화면 전환 방법

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060227138A1 (en) * 2005-04-05 2006-10-12 Nissan Motor Co., Ltd. Image processing device and method
WO2007133209A1 (en) * 2006-05-12 2007-11-22 Information Decision Technologies, Llc Advanced augmented reality system and method for firefighter and first responder training
US20100164702A1 (en) * 2008-12-26 2010-07-01 Kabushiki Kaisha Toshiba Automotive display system and display method
US20110310238A1 (en) * 2010-06-17 2011-12-22 Electronics And Telecommunications Research Institute Apparatus and method for inputting coordinates using eye tracking
KR20120008191A (ko) * 2010-07-16 2012-01-30 한국과학기술원 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
US20120072873A1 (en) * 2010-09-16 2012-03-22 Heeyeon Park Transparent display device and method for providing object information
US20120113092A1 (en) * 2010-11-08 2012-05-10 Avi Bar-Zeev Automatic variable virtual focus for augmented reality displays
KR101132976B1 (ko) * 2010-12-14 2012-04-09 한국과학기술원 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법
KR20120067854A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
US20120162384A1 (en) * 2010-12-22 2012-06-28 Vesely Michael A Three-Dimensional Collaboration
US20130234934A1 (en) * 2010-12-22 2013-09-12 Zspace, Inc. Three-Dimensional Collaboration
KR20120118656A (ko) * 2011-04-19 2012-10-29 네오뷰코오롱 주식회사 투명한 디스플레이가 구비된 블루투스 단말장치
US20130260360A1 (en) * 2012-03-27 2013-10-03 Sony Corporation Method and system of providing interactive information
KR20130137063A (ko) * 2012-06-06 2013-12-16 삼성전자주식회사 증강 현실 서비스를 제공하는 이동통신 단말기 및 증강 현실 서비스에 대한 화면으로의 화면 전환 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Deza et al., "Encyclopedia of distances", Springer Science & Business Media (2012) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016153108A1 (ko) * 2015-03-20 2016-09-29 한국과학기술원 증강현실 기반 동적 서비스 제공 방법 및 장치
KR20160121257A (ko) * 2015-04-10 2016-10-19 서울과학기술대학교 산학협력단 증강현실을 이용한 건축 디자인 검증 시스템과 방법
KR101690646B1 (ko) * 2016-08-02 2016-12-28 아이피랩 주식회사 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법
US10326929B2 (en) 2016-08-02 2019-06-18 Iplab Inc. Camera driving device and method for see-through displaying
KR20210147843A (ko) * 2020-05-29 2021-12-07 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 이미지 표시 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체

Also Published As

Publication number Publication date
US20140300634A1 (en) 2014-10-09
US9972130B2 (en) 2018-05-15
KR102079097B1 (ko) 2020-04-07

Similar Documents

Publication Publication Date Title
KR102079097B1 (ko) 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
US10242504B2 (en) Head-mounted display device and computer program
US10078367B2 (en) Stabilization plane determination based on gaze location
US9401050B2 (en) Recalibration of a flexible mixed reality device
US10643389B2 (en) Mechanism to give holographic objects saliency in multiple spaces
US10395116B2 (en) Dynamically created and updated indoor positioning map
US8388146B2 (en) Anamorphic projection device
CN114761909A (zh) 针对头戴式显示器的内容稳定
US20190285896A1 (en) Transmission-type head mounted display apparatus, method of controlling transmission-type head mounted display apparatus, and computer program for controlling transmission-type head mounted display apparatus
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
CN115698909A (zh) 增强现实引导
US20200081249A1 (en) Internal edge verification
EP4172733A1 (en) Augmented reality eyewear 3d painting
KR20230029923A (ko) 롤링 셔터 카메라들을 사용하는 시각적 관성 추적
KR20230022239A (ko) 증강 현실 환경 향상
US20210406542A1 (en) Augmented reality eyewear with mood sharing
TWI792106B (zh) 資訊顯示方法及其處理裝置與顯示系統
KR20230106800A (ko) 증강현실 구현 디스플레이 장치 및 방법
CN118055324A (zh) 桌面ar定位系统、方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant