KR20090047889A - 투명 디스플레이를 이용한 증강 현실 구현 방법, 장치 및시스템 - Google Patents

투명 디스플레이를 이용한 증강 현실 구현 방법, 장치 및시스템 Download PDF

Info

Publication number
KR20090047889A
KR20090047889A KR1020070113970A KR20070113970A KR20090047889A KR 20090047889 A KR20090047889 A KR 20090047889A KR 1020070113970 A KR1020070113970 A KR 1020070113970A KR 20070113970 A KR20070113970 A KR 20070113970A KR 20090047889 A KR20090047889 A KR 20090047889A
Authority
KR
South Korea
Prior art keywords
user
augmented reality
image data
unit
electronic device
Prior art date
Application number
KR1020070113970A
Other languages
English (en)
Other versions
KR100911376B1 (ko
Inventor
유민기
추혜용
황치선
박상희
정우석
신재헌
조경익
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070113970A priority Critical patent/KR100911376B1/ko
Publication of KR20090047889A publication Critical patent/KR20090047889A/ko
Application granted granted Critical
Publication of KR100911376B1 publication Critical patent/KR100911376B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 증강 현실 구현 방법에 관한 것으로, 투명 전자 소자를 이용하여 복잡한 광학적 구조가 필요 없는 증강 현실 구현 장치를 제공한다.
이를 위하여 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 방법은, (a) 사용자의 현재 위치를 인식하는 단계; (b) 상기 인식된 사용자의 현재 위치 정보를 위치에 따른 영상 데이터를 저장하는 서버로 출력하고, 상기 현재 위치 정보에 대응하여 상기 서버로부터 출력되는 영상 데이터를 수신하는 단계; (c) 사용자가 바라보는 방향을 인식하는 단계; 및 (d) 상기 인식된 방향 정보를 기반으로 상기 수신된 영상 데이터 중 상기 사용자에게 표시할 부분 영상 데이터를 외부로부터 입력되는 빛을 투과시키는 투명 전자 소자로 구성된 화면에 출력하는 단계를 포함한다.
그럼으로써, 복잡한 광학적 구조가 없는 증강 현실 구현 장치를 제공하는 이점이 있다.
증강 현실, 투명 디스플레이, 투명 전자 소자

Description

투명 디스플레이를 이용한 증강 현실 구현 방법, 장치 및 시스템{THE METHOD, APPARATUS AND SYSTEM FOR REALIZING AUGMENTED REALITY USING TRANSPARENT DISPLAY}
본 발명은 증강 현실 구현 방법에 관한 것으로, 특히 투명 전자 소자를 이용하여 증강 현실 영상을 표시하기 위한 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-079-02, 과제명: 투명 전자 소자를 이용한 스마트 창].
최근 디스플레이 기술의 발달로 인하여 투명 전자 소자를 이용한 투명 디스플레이 장치가 개발되었다. 투명 디스플레이 장치는 투명한 유리 또는 투명한 플라스틱 상에 투명 전극, 투명 반도체 및 투명 절연체 등을 적층하여 구현한다. 발광면은 유기물 발광 소자(OLED : Organic Light Emitting Diode), 무기물 발광 소자(LED : Light Emitting Diode) 또는 액정(LCD : Liquid Crystal Display) 등으로 이루어진다.
한편, 증강 현실(Augmented Reality)이란 일반적으로 가상 환경 및 가상 현실에서 파생한 용어로서, 실제 환경에 컴퓨터 그래픽 영상을 삽입하여 실세계 영상과 가상의 영상을 혼합한 것을 의미한다. 실세계 정보에는 사용자가 필요로 하지 않는 정보도 있고 때로는 사용자가 필요로 한 정보가 부족할 수도 있다. 그러나, 컴퓨터로 만든 가상 환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않는 정보들을 만들어낼 수도 있다. 즉, 증강 현실 시스템은 실세계와 가상 세계를 결합함으로써 실시간으로 사용자와 상호 작용이 이루어지도록 하는 것이다.
상기와 같은 증강 현실을 구현하기 위해서는 실제의 영상을 입력받을 수 있는 카메라와 실제 영상과 가상 영상을 디스플레이할 수 있는 HMD(Head Mounted Display)와 같은 디스플레이 장치를 필요로 하는데, 일반 사용자는 비용 문제로 인하여 이러한 장치를 별도로 구비하기 힘들다.
또한, 상기와 같은 장치를 이용하는 경우 거울 등을 이용한 복잡한 광학적 장비가 필요하기 때문에 이를 구현하는 데 어려움이 있다.
따라서, 본 발명의 목적은, 투명 전자 소자를 이용하여 복잡한 광학적 구조가 필요 없는 증강 현실 구현 장치를 제공하는 데 있다.
또한, 본 발명의 다른 목적은, 사용자가 바라보는 배경 및 사물에 가상 환경을 덧입혀 종래 기술에 비하여 좀 더 현실적인 증강 현실을 구현하기 위한 장치 및 방법을 제공하는 데 있다.
또한, 본 발명의 다른 목적은, 하기의 설명 및 본 발명의 일실시 예에 의하여 파악될 수 있다.
이를 위하여 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 방법은, (a) 사용자의 현재 위치를 인식하는 단계; (b) 상기 인식된 사용자의 현재 위치 정보를 위치에 따른 영상 데이터를 저장하는 서버로 출력하고, 상기 현재 위치 정보에 대응하여 상기 서버로부터 출력되는 영상 데이터를 수신하는 단계; (c) 사용자가 바라보는 방향을 인식하는 단계; 및 (d) 상기 인식된 방향 정보를 기반으로 상기 수신된 영상 데이터 중 상기 사용자에게 표시할 부분 영상 데이터를 외부로부터 입력되는 빛을 투과시키는 투명 전자 소자로 구성된 화면에 출력하는 단계를 포함한다.
또한, 이를 위하여 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증 강 현실 구현 장치는, 사용자의 현재 위치를 인식하는 위치 인식부; 상기 위치 인식부로부터 수신된 상기 사용자의 현재 위치 정보를 위치에 따른 영상 데이터를 저장하는 서버로 출력하고, 상기 현재 위치 정보에 대응하여 상기 서버로부터 출력되는 영상 데이터를 수신하는 무선부; 상기 사용자가 바라보는 방향을 인식하고 상기 인식된 방향에 관한 정보를 출력하는 방향 인식부; 상기 방향 인식부로부터 수신된 방향 정보를 기반으로 상기 무선부로부터 수신된 영상 데이터 중 사용자에게 표시할 부분 영상 데이터를 출력하는 제어부; 및 상기 제어부로부터 수신된 부분 영상 데이터를 출력하며, 외부로부터 입력되는 빛을 투과시키는 투명 전자 소자로 구성된 표시부를 포함한다.
또한, 이를 위하여 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 시스템은, 증강 현실 구현 장치; 및 상기 증강 현실 구현 장치로부터 출력되는 위치 정보에 기반하여 상기 위치에서 표시될 수 있는 영상 데이터를 상기 증강 현실 구현 장치로 출력하는 서버를 포함하되, 상기 증기 증강 현실 구현 장치는, 사용자의 위치를 인식하여 상기 서버로 출력하는 위치 인식부; 상기 서버로부터 상기 사용자의 위치에 따른 영상 데이터를 수신하는 무선부; 상기 사용자가 바라보는 방향을 인식하고 상기 인식된 방향에 관한 정보를 출력하는 방향 인식부; 상기 방향 인식부로부터 수신된 방향 정보를 기반으로 상기 무선부로부터 수신된 영상 데이터 중 사용자에게 표시할 부분 영상 데이터를 출력하는 제어부; 및 상기 제어부로부터 수신된 부분 영상 데이터를 출력하며, 외부로부터 입력되는 빛을 투과시키는 투명 전자 소자로 구성된 표시부를 포함한다.
상술한 바와 같이 본 발명은, 투명 전자 소자를 이용하여 복잡한 광학적 구조가 없는 증강 현실 구현 장치 및 방법을 제공하는 이점이 있다.
또한, 본 발명은, 사용자의 위치 및 사용자가 바라보는 방향에 따른 영상 정보를 획득하여 종래 기술에 비하여 좀더 현실적인 증강 현실을 구현할 수 있는 이점이 있다.
또한, 본 발명에 따른 증강 현실 구현 장치는, 영상이 출력되는 화면을 투명 전자 소자를 이용하여 곡면 형태로 제작할 수 있기 때문에 넓은 시야각을 보장할 수 있는 이점이 있다.
이하, 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 또한, 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명을 생략한다.
도 1은 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 시스템의 블록 구성도이다. 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 시스템은, 증강 현실 처리 서버(110) 및 증강 현실 구현 장치(120)를 포함한다. 이하, 도 1을 참조하여 본 발명의 일실시 예에 따른 투명 전 자 소자를 이용한 증강 현실 구현 시스템의 동작 및 구성에 대하여 상세히 설명한다.
본 발명의 일실시 예에 따른 증강 현실 처리 서버(110)는, 위치에 따른 영상 데이터 및 음성 데이터를 저장하며, 본 발명의 일실시 예에 따른 증강 현실 구현 장치(120)로부터 출력되는 위치 정보에 대응되는 영상 데이터 및 음성 데이터를 증강 현실 구현 장치(120)로 출력한다.
본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 장치(120)는, 사용자의 현재 위치를 인식하여 인식된 위치 정보를 증강 현실 처리 서버(110)로 출력하고, 상기 위치 정보에 대응하여 증강 현실 처리 서버(110)로부터 출력되는 영상 데이터를 수신하여 사용자에게 보여준다.
즉, 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 장치(120)는, 투명 전자 소자를 이용하여 사용자가 현재 바라보는 사물 및 배경 상에 상기 증강 현실 처리 서버(110)로부터 수신된 영상 데이터를 덧입혀 사용자에게 보여줌으로써 좀더 현실적인 증강 현실을 제공할 수 있다.
한편, 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 장치(120)는 복잡한 광학적 구조를 필요로 하지 않기 때문에, 안경이나 고글 등의 착용이 간편한 형태로 제작할 수 있는 이점이 있다.
이하, 도 2를 참조하여 본 발명의 일실시 예에 따른 투명 전자 소자를 이용 한 증강 현실 구현 장치(120)에 대하여 좀 더 상세히 설명한다.
도 2는 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 장치(120)의 블록 구성도이다. 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 장치(120)는, 무선부(210), 위치 인식부(212), 영상 촬영부(214), 음성 처리부(220), 제어부(230), 방향 인식부(232), 동작 인식부(234), 키 입력부(236), 뇌파 감지부(238) 및 표시부(240)를 포함한다. 이하, 도 2를 참조하여 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 장치(120)의 구성 및 동작에 대하여 상세히 설명한다.
본 발명의 일실시 예에 따른 무선부(210)는, 위치 인식부(212)로부터 출력되는 현재 위치 정보를 증강 현실 처리 서버(110)로 출력하고, 상기 현재 위치 정보에 대응하여 증강 현실 처리 서버(110)로부터 출력되는 영상 데이터를 수신한다.
또한, 본 발명의 일실시 예에 따른 무선부(210)는, 상기 위치 정보에 대응하여 증강 현실 처리 서버(110)로부터 출력되는 음성 데이터를 수신하여 음성 처리부(220)로 출력한다.
또한, 본 발명의 일실시 예에 따른 무선부(210)는, 음성 처리부(220)를 통하여 입력된 음성 데이터를 외부로 출력한다.
본 발명의 일실시 예에 따른 위치 인식부(212)는, 사용자의 현재 위치를 인 식하고 인식된 현재 위치 정보를 무선부(210)를 통하여 증강 현실 처리 서버(110)로 출력한다. 이 때, 위치 인식부(212)는 GPS(Global Positioning System) 수신기일 수 있다.
본 발명의 일실시 예에 따른 영상 촬영부(214)는, 사용자가 바라보는 방향의 사물을 촬영한다. 영상 촬영부(214)에서 촬영된 영상은 다른 사용자에게 유선 및 무선으로 직접 전송할 수도 있고, 증강 현실 처리 서버(110)를 통하여 전송할 수도 있다. 상기 무선으로의 직접 전송 및 증강 현실 처리 서버(110)를 통한 전송은 무선부(210)를 통하여 이루어질 수 있다.
본 발명의 일실시 예에 따른 음성 처리부(220)는, 음성을 입력받기 위한 마이크(MIC) 및 음성을 출력하기 위한 스피커(SPK)를 포함하며, 무선부(210)로부터 수신되는 음성 데이터를 외부로 출력한다. 특히, 본 발명의 일실시 예에 따른 음성 처리부(220)를 이용하여 사용자는 화면에 표시되는 부분 영상 데이터가 사용자가 현재 바라보는 배경 및 사물에 적절하게 배치되지 않는 경우 부분 영상 데이터의 출력 위치를 이동시킬 수 있다. 즉, 사용자는 음성 처리부(220)를 통한 음성 제어 명령을 입력함으로써 표시부(240)에 표시되는 부분 영상 데이터의 출력 위치를 이동시킬 수 있다.
또한, 본 발명의 일실시 예에 따른 음성 처리부(220)를 통하여 입력된 음성 데이터는 무선부(210)를 통하여 외부로 출력될 수 있고, 상기와 같이 외부로 출력 된 음성 데이터는 다른 사용자가 사용하는 본 발명의 일실시 예에 따른 증강 현실 구현 장치(120)에서 수신될 수 있다. 즉, 본 발명의 일실시 예에 따른 음성 처리부(220)를 통하여 타 사용자와 음성 통신을 할 수 있다.
본 발명의 일실시 예에 따른 제어부(230)는, 방향 인식부(232)로부터 수신된 방향 정보를 기반으로 증강 현실 처리 서버(110)로부터 출력되어 무선부(210)를 통하여 수신된 영상 데이터 중 사용자에게 표시할 부분 영상 데이터를 표시부(240)로 출력한다. 즉, 현재 위치 정보에 기반하여 증강 현실 처리 서버(110)로부터 수신된 영상 데이터 중 사용자가 현재 바라보는 방향의 배경 및 사물에 적합한 화면을 사용자에게 보여준다.
또한, 본 발명의 일실시 예에 따른 제어부(230)는, 키 입력부(236), 음성 처리부(220) 및 동작 인식부(234)를 통하여 입력된 제어 명령에 따라 표시부(240)에 출력되는 영상 데이터의 출력 위치를 이동시킨다. 즉, 본 발명의 일실시 예에 따른 제어부(230)는, 표시부(240)에 표시되는 부분 영상 데이터가 사용자가 현재 바라보는 배경 및 사물에 적절하게 배치되지 않는 경우, 키 입력부(236), 음성 처리부(220) 및 동작 인식부(234)를 통하여 입력된 제어 명령에 따라 영상 데이터의 출력 위치를 이동시킨다.
또한, 본 발명의 일실시 예에 따른 제어부(230)는, 뇌파 감지부(238)로부터 수신되는 사용자의 뇌파 정보에 따라 표시부(240)에 출력되는 영상 데이터의 밝기 및 음성 데이터의 크기를 조절한다. 예를 들어, 상기 뇌파 정보에 따른 사용자의 상태를 파악하여 사용자가 졸고 있는 경우 출력되는 영상 데이터의 밝기를 어둡게 하거나 음성 데이터의 크기를 작게 할 수 있다.
본 발명의 일실시 예에 따른 방향 인식부(232)는, 사용자가 바라보는 방향을 인식하고 인식된 방향 정보를 제어부(230)로 출력한다. 이 때, 방향 인식부(232)는, 트랙커(tracker) 또는 자이로스코프(gyroscope)일 수 있다.
본 발명의 일실시 예에 따른 동작 인식부(234)는, 사용자의 동작을 인식하고 인식된 동작 정보를 제어부(230)로 출력한다. 이 때, 동작 인식부(234)는, 헴틱 디바이스일 수 있다.
본 발명의 일실시 예에 따른 동작 인식부(234)를 이용하여 사용자는 화면에 표시된 사물의 위치를 이동시킬 수도 있고, 화면에 표시된 부분 영상 데이터가 사용자가 현재 바라보는 배경 및 사물에 적절하게 배치되지 않는 경우 부분 영상 데이터의 출력 위치를 이동시킬 수 있다.
본 발명의 일실시 예에 따른 키 입력부(236)는, 사용자가 누르는 키에 대응하는 키 입력 신호를 제어부(230)로 출력하며, 자판 및 터치 스크린 등을 포함한다. 사용자는 본 발명의 일실시 예에 따른 키 입력부(236)를 이용하여 각 종 정보를 입력할 수 있다. 특히, 본 발명의 일실시 예에 따른 키 입력부(236)를 이용하여 사용자는 화면에 표시되는 부분 영상 데이터가 사용자가 현재 바라보는 배경 및 사 물에 적절하게 배치되지 않는 경우 부분 영상 데이터의 출력 위치를 이동시킬 수 있다.
본 발명의 일실시 예에 따른 뇌파 감지부(238)는, 사용자의 뇌파를 감지하여 감지된 뇌파 정보를 제어부(230)로 출력한다. 뇌파 감지부(238)에서 출력되는 사용자의 뇌파 정보를 이용하여 제어부(230)는 사용자가 졸고 있는지 등의 사용자 상태를 파악할 수 있으며, 이에 따라 사용자에게 들려주는 음성의 크기를 조절하게끔 할 수도 있고 사용자에게 표시되는 영상 데이터의 밝기를 조절할 수도 있다.
본 발명의 일실시 예에 따른 표시부(240)는, 투명 전자 소자로 구성된 투명 디스플레이를 포함한다. 도 3은 본 발명의 일실시 예에 따른 표시부(240)에 적용되는 투명 디스플레이를 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 일실시 예에 적용되는 투명 디스플레이는 서브(302), 구동 패널(304), 표시 패널(306) 및 보호 덮개(308)를 포함한다.
서브(302)는, 투명 전자 소자를 형성하기 위해 유리 또는 플라스틱 등으로 이루어진다.
구동 패널(304)은, 서브(302)상에 형성되는 투명 전극, 투명 반도체, 투명 절연체 등의 투명 전자소자를 이용하여 가상 영상을 구동하기 위한 영역이다.
표시 패널(306)은, 유기물 발광 소자, 무기물 발광 소자 또는 LCD 등으로 이루어지며 수십에서 수백 마이크로미터의 크기를 가지는 픽셀은 구동 패널(304)로부 터 출력되는 신호에 의하여 점멸된다.
보호 덮개(308)는, 구동 패널(304)과 표시 패널(306)을 보호하기 위해 형성된다.
이러한 투명 디스플레이를 이용한 표시부(240)는, 실선의 화살표로 표시된 외부로부터 입력되는 빛을 투과시키고, 점선의 화살표로 표시된 표시 패널(306)로부터 출력되는 영상을 출력하여, 사용자에게 실제 배경 및 사물에 가상 영상을 덧입혀 보여줄 수 있는 것이다. 또한, 이러한 투명 디스플레이는 곡면 형태로 제작이 가능하여 넓은 시야각을 보장하는 장점이 있다.
상기와 같은 본 발명은, 증강 현실 구현 장치(120)에서 출력된 위치 정보에 대응하여 증강 현실 처리 서버(110)로부터 수신된 영상 데이터를 사용자가 현재 바라보는 방향을 인식한 후 이에 맞게 출력함으로써, 사용자가 현재 바라보는 사물 및 배경과 더불어 이에 대응되는 화면을 볼 수 있게 한다.
도 4는 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 방법을 나타내는 흐름도이다. 이하, 도 4를 참조하여 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 방법에 대하여 상세히 설명하되 상기 도 1 및 도 2를 참조하여 설명한 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 장치의 내용과 중복되는 내용은 생략한다.
단계(401)에서 본 발명의 일실시 예에 따른 위치 인식부(212)는, 사용자의 현재 위치를 인식하고 무선부(210)를 통하여 상기 인식된 위치 정보를 증강 현실 처리 서버(110)로 출력한다.
단계(403)에서 본 발명의 일실시 예에 따른 증강 현실 처리 서버(110)는, 수신된 위치 정보에 따른 영상 데이터를 출력하고, 무선부(210)는 증강 현실 처리 서버(110)로부터 수신된 영상 데이터를 제어부(230)로 출력한다.
단계(405)에서 본 발명의 일실시 예에 따른 방향 인식부(232)는, 사용자가 현재 바라보는 방향을 인식하고 인식된 방향 정보를 제어부(230)로 출력한다.
단계(407)에서 본 발명의 일실시 예에 따른 제어부(230)는, 위치 정보 및 방향 정보를 기반으로 상기 수신된 영상 데이터 중 사용자에게 표시할 부분 영상 데이터를 표시부(240)로 출력한다.
단계(409)에서 본 발명의 일실시 예에 따른 제어부(230)는 사용자로부터 화면의 출력 위치를 이동시키는 제어 명령의 입력이 있는지 판단하고 있다면 단계(411)로 진행하고 그렇지 않으면 단계(401)로 진행한다. 이 때, 제어 명령의 입력은 키 입력부(236)를 통한 키 입력 또는 음성 처리부(220)를 통한 음성 입력으로 이루어질 수 있다.
단계(411)에서 본 발명의 일실시 예에 따른 제어부(230)는 입력된 제어 명령에 따라 화면의 출력 위치를 이동시킨다.
상기와 같은 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 방법을 도 5를 예로 들어 이하에서 설명한다.
도 5는 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 방법을 보여주기 위한 예시도이다.
도 5의 (a)는 본 발명의 일실시 예에 따른 증강 현실 구현 장치를 네비게이션으로 사용하는 예를 보여주는 도면이다. 도 5의 (a)를 참조하면, 사용자가 안경 형태의 투명 디스플레이를 착용하고 운전을 하고 있음을 알 수 있다. 이 때, 네비게이션으로 이용되는 증강 현실 구현 장치는 현재의 위치 정보를 증강 현실 구현 서버로 전송하고, 전송된 정보에 대응하여 증강 현실 구현 서버로부터 수신된 정보를 투명 디스플레이에 표시하게 된다.
도 5의 (a)를 참조하면, 증강 현실 구현 서버로부터 전방의 4거리 상에서 좌회전을 유도하는 방향 표시 화살표(502)를 출력하는 데이터를 받은 것을 알 수 있는데, 기술상의 오차로 인하여 화살표(502)의 출력 위치가 사용자가 보는 배경에 일치하지 않는 것을 알 수 있다. 이 때, 사용자는 키 입력, 음성 입력 등을 통한 제어 명령을 입력하여 화살표(502)의 출력 위치를 이동시킬 수 있다.
도 5의 (b)는 도 5의 (a)와 같이 화살표(502)의 출력 위치가 사용자가 보는 배경 및 사물에 일치하지 아니하여 제어 명령을 통하여 화살표(502)의 출력 위치를 사용자가 보는 배경 및 사물에 일치하도록 출력 위치를 이동시킨 결과를 보여준다.
이렇듯, 본 발명에 따르면 사용자가 바라보는 실제 배경 및 사물에 가상 영상을 자연스럽게 덧입히고, 가상 영상을 적절한 위치에 배치하여 좀 더 정확한 정보를 전달할 수 있는 이점이 있게 된다.
상술한 본 발명의 설명에서는 구체적인 일실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서, 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.
도 1은 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 시스템의 블록 구성도,
도 2는 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 장치의 블록 구성도,
도 3은 본 발명의 일실시 예에 따른 표시부에 적용되는 투명 디스플레이를 설명하기 위한 도면,
도 4는 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 방법을 나타내는 흐름도,
도 5는 본 발명의 일실시 예에 따른 투명 전자 소자를 이용한 증강 현실 구현 방법을 보여주기 위한 예시도.

Claims (14)

  1. (a) 사용자의 현재 위치를 인식하는 단계;
    (b) 상기 인식된 사용자의 현재 위치 정보를 위치에 따른 영상 데이터를 저장하는 서버로 출력하고, 상기 현재 위치 정보에 대응하여 상기 서버로부터 출력되는 영상 데이터를 수신하는 단계;
    (c) 사용자가 바라보는 방향을 인식하는 단계; 및
    (d) 상기 인식된 방향 정보를 기반으로 상기 수신된 영상 데이터 중 상기 사용자에게 표시할 부분 영상 데이터를 외부로부터 입력되는 빛을 투과시키는 투명 전자 소자로 구성된 화면에 출력하는 단계
    를 포함하는 투명 전자 소자를 이용한 증강 현실 구현 방법.
  2. 제 1항에 있어서,
    상기 사용자의 위치에 따른 음성 데이터를 수신하여 외부로 출력하는 단계
    를 더 포함하는 투명 전자 소자를 이용한 증강 현실 구현 방법.
  3. 제 1항에 있어서,
    상기 사용자로부터 키 입력을 받는 단계; 및
    상기 사용자로부터 입력된 키 입력 신호에 따라 상기 부분 영상 데이터의 출력 위치를 이동시키는 단계
    를 더 포함하는 투명 전자 소자를 이용한 증강 현실 구현 방법.
  4. 제 2항에 있어서,
    상기 사용자로부터 음성을 통하여 제어 명령을 받는 단계; 및
    상기 사용자로부터 음성 입력된 제어 명령에 따라 상기 부분 영상 데이터의 출력 위치를 이동시키는 단계
    를 더 포함하는 투명 전자 소자를 이용한 증강 현실 구현 방법.
  5. 제 1항에 있어서,
    상기 사용자의 뇌파를 감지하는 단계; 및
    상기 감지된 뇌파 정보에 따라 상기 출력되는 부분 영상 데이터의 밝기를 조절하는 단계
    를 더 포함하는 투명 전자 소자를 이용한 증강 현실 구현 방법.
  6. 제 2항에 있어서,
    상기 사용자의 뇌파를 감지하는 단계; 및
    상기 감지된 뇌파 정보에 따라 상기 출력되는 부분 음성 데이터의 크기를 조절하는 단계
    를 더 포함하는 투명 전자 소자를 이용한 증강 현실 구현 방법.
  7. 사용자의 현재 위치를 인식하는 위치 인식부;
    상기 위치 인식부로부터 수신된 상기 사용자의 현재 위치 정보를 위치에 따른 영상 데이터를 저장하는 서버로 출력하고, 상기 현재 위치 정보에 대응하여 상기 서버로부터 출력되는 영상 데이터를 수신하는 무선부;
    상기 사용자가 바라보는 방향을 인식하고 상기 인식된 방향에 관한 정보를 출력하는 방향 인식부;
    상기 방향 인식부로부터 수신된 방향 정보를 기반으로 상기 무선부로부터 수신된 영상 데이터 중 사용자에게 표시할 부분 영상 데이터를 출력하는 제어부; 및
    상기 제어부로부터 수신된 부분 영상 데이터를 출력하며, 외부로부터 입력되는 빛을 투과시키는 투명 전자 소자로 구성된 표시부
    를 포함하는 투명 전자 소자를 이용한 증강 현실 구현 장치.
  8. 제 7항에 있어서,
    상기 무선부는, 상기 사용자의 위치에 따른 음성 데이터를 수신하고,
    상기 무선부로부터 수신된 음성 데이터를 출력하는 음성 처리부를 더 포함하는
    투명 전자 소자를 이용한 증강 현실 구현 장치.
  9. 제 7항에 있어서,
    상기 사용자로부터 키 입력을 받기 위한 키 입력부를 더 포함하고,
    상기 제어부는, 상기 키 입력부를 통하여 입력된 키 입력 신호에 따라 상기 표시부로 출력되는 부분 영상 데이터의 출력 위치를 이동시키는
    투명 전자 소자를 이용한 증강 현실 구현 장치.
  10. 제 8항에 있어서, 상기 제어부는,
    상기 음성 처리부를 통하여 입력된 음성 제어 명령에 따라 상기 표시부로 출력되는 부분 영상 데이터의 출력 위치를 이동시키는
    투명 전자 소자를 이용한 증강 현실 구현 장치.
  11. 제 7항에 있어서,
    상기 사용자의 동작을 인식하는 동작 인식부를 더 포함하고,
    상기 제어부는, 상기 동작 인식부로부터 수신된 상기 사용자의 동작 정보에 따라 상기 표시부에 출력되는 부분 영상 데이터의 출력 위치를 이동시키는
    투명 전자 소자를 이용한 증강 현실 구현 장치.
  12. 제 7항에 있어서,
    사용자의 뇌파를 감지하는 뇌파 감지부를 더 포함하고,
    상기 제어부는, 상기 뇌파 감지부로부터 수신된 뇌파 정보에 따라 상기 표시부로 출력되는 부분 영상 데이터의 밝기를 조절하는
    투명 전자 소자를 이용한 증강 현실 구현 장치.
  13. 제 8항에 있어서,
    사용자의 뇌파를 감지하는 뇌파 감지부를 더 포함하고,
    상기 제어부는, 상기 뇌파 감지부로부터 수신된 뇌파 정보에 따라 상기 음성 처리부로 출력되는 부분 음성 데이터의 크기를 조절하는
    투명 전자 소자를 이용한 증강 현실 구현 장치.
  14. 증강 현실 구현 장치; 및
    상기 증강 현실 구현 장치로부터 출력되는 위치 정보에 기반하여 상기 위치에서 표시될 수 있는 영상 데이터를 상기 증강 현실 구현 장치로 출력하는 서버
    를 포함하되,
    상기 증기 증강 현실 구현 장치는,
    사용자의 위치를 인식하여 상기 서버로 출력하는 위치 인식부;
    상기 서버로부터 상기 사용자의 위치에 따른 영상 데이터를 수신하는 무선부;
    상기 사용자가 바라보는 방향을 인식하고 상기 인식된 방향에 관한 정보를 출력하는 방향 인식부;
    상기 방향 인식부로부터 수신된 방향 정보를 기반으로 상기 무선부로부터 수신된 영상 데이터 중 사용자에게 표시할 부분 영상 데이터를 출력하는 제어부; 및
    상기 제어부로부터 수신된 부분 영상 데이터를 출력하며, 외부로부터 입력되는 빛을 투과시키는 투명 전자 소자로 구성된 표시부를 포함하는
    투명 전자 소자를 이용한 증강 현실 구현 시스템.
KR1020070113970A 2007-11-08 2007-11-08 투명 디스플레이를 이용한 증강 현실 구현 방법 및 장치 KR100911376B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070113970A KR100911376B1 (ko) 2007-11-08 2007-11-08 투명 디스플레이를 이용한 증강 현실 구현 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070113970A KR100911376B1 (ko) 2007-11-08 2007-11-08 투명 디스플레이를 이용한 증강 현실 구현 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090047889A true KR20090047889A (ko) 2009-05-13
KR100911376B1 KR100911376B1 (ko) 2009-08-10

Family

ID=40857161

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070113970A KR100911376B1 (ko) 2007-11-08 2007-11-08 투명 디스플레이를 이용한 증강 현실 구현 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100911376B1 (ko)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101036107B1 (ko) * 2010-11-30 2011-05-19 심광호 고유식별 정보를 이용한 증강 현실 구현시스템
KR101036600B1 (ko) * 2009-12-18 2011-05-24 주식회사 비전소프트텍 투명스크린을 이용한 3차원 가상현실 시스템 및 가상영상 표시방법
KR20120026702A (ko) * 2010-09-10 2012-03-20 주식회사 엘지유플러스 증강현실을 이용한 사용자 인터페이스 제공방법 및 그 방법을 이용한 이동 단말기
KR20120029229A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 지역 정보 제공 방법
WO2012091326A2 (ko) * 2010-12-29 2012-07-05 건아정보기술 주식회사 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
WO2012144808A2 (ko) * 2011-04-19 2012-10-26 네오뷰코오롱 주식회사 투명 디스플레이가 구비된 블루투스 단말장치
KR101232864B1 (ko) * 2010-02-25 2013-02-19 김희남 이동 단말에 대한 주변 정보 안내 서비스 제공 방법 및 시스템
WO2013085853A1 (en) * 2011-12-06 2013-06-13 Brian Mount Augmented reality virtual monitor
WO2013090100A1 (en) * 2011-12-12 2013-06-20 John Clavin Connecting head mounted displays to external displays and other communication networks
KR101299910B1 (ko) * 2010-08-18 2013-08-23 주식회사 팬택 증강 현실 서비스의 공유 방법 및 그를 위한 사용자 단말기와 원격자 단말기
WO2013173728A1 (en) * 2012-05-17 2013-11-21 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
WO2014014145A1 (ko) * 2012-07-19 2014-01-23 엘지전자 주식회사 뇌파 신호를 이용하는 헤드 마운트 디스플레이 장치 및 그 제어 방법
US9552063B2 (en) 2013-11-29 2017-01-24 Samsung Electronics Co., Ltd. Electronic device including transparent display and method of controlling the electronic device
US9898866B2 (en) 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US10410372B1 (en) 2018-06-14 2019-09-10 The University Of North Carolina At Chapel Hill Methods, systems, and computer-readable media for utilizing radial distortion to estimate a pose configuration
KR20210037886A (ko) * 2019-09-30 2021-04-07 주식회사 엘지유플러스 착용형 장치 및 이의 동작 방법과 상황 인식 서버
US11049476B2 (en) 2014-11-04 2021-06-29 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds in head-worn displays

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09159747A (ja) * 1995-12-08 1997-06-20 Matsushita Electric Ind Co Ltd Ｇｐｓ機能内蔵ヘッドマウントディスプレイ装置
JP2001197400A (ja) 2000-01-12 2001-07-19 Mixed Reality Systems Laboratory Inc 表示装置、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置のための画像生成方法、コンピュータおよびプログラム記憶媒体
KR20020025301A (ko) * 2000-09-28 2002-04-04 오길록 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법
KR100593398B1 (ko) * 2003-12-08 2006-06-28 한국전자통신연구원 증강현실을 이용한 휴대단말기 사용자의 위치정보제공시스템 및 방법

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101036600B1 (ko) * 2009-12-18 2011-05-24 주식회사 비전소프트텍 투명스크린을 이용한 3차원 가상현실 시스템 및 가상영상 표시방법
KR101232864B1 (ko) * 2010-02-25 2013-02-19 김희남 이동 단말에 대한 주변 정보 안내 서비스 제공 방법 및 시스템
KR101299910B1 (ko) * 2010-08-18 2013-08-23 주식회사 팬택 증강 현실 서비스의 공유 방법 및 그를 위한 사용자 단말기와 원격자 단말기
KR20120026702A (ko) * 2010-09-10 2012-03-20 주식회사 엘지유플러스 증강현실을 이용한 사용자 인터페이스 제공방법 및 그 방법을 이용한 이동 단말기
KR20120029229A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 지역 정보 제공 방법
WO2012074174A1 (ko) * 2010-11-30 2012-06-07 건아정보기술 주식회사 고유식별 정보를 이용한 증강 현실 구현시스템
KR101036107B1 (ko) * 2010-11-30 2011-05-19 심광호 고유식별 정보를 이용한 증강 현실 구현시스템
WO2012091326A2 (ko) * 2010-12-29 2012-07-05 건아정보기술 주식회사 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
WO2012091326A3 (ko) * 2010-12-29 2012-09-07 건아정보기술 주식회사 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
WO2012144808A2 (ko) * 2011-04-19 2012-10-26 네오뷰코오롱 주식회사 투명 디스플레이가 구비된 블루투스 단말장치
WO2012144808A3 (ko) * 2011-04-19 2013-03-07 네오뷰코오롱 주식회사 투명 디스플레이가 구비된 블루투스 단말장치
WO2013085853A1 (en) * 2011-12-06 2013-06-13 Brian Mount Augmented reality virtual monitor
US9497501B2 (en) 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US10497175B2 (en) 2011-12-06 2019-12-03 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
WO2013090100A1 (en) * 2011-12-12 2013-06-20 John Clavin Connecting head mounted displays to external displays and other communication networks
WO2013173728A1 (en) * 2012-05-17 2013-11-21 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
US10365711B2 (en) 2012-05-17 2019-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
WO2014014145A1 (ko) * 2012-07-19 2014-01-23 엘지전자 주식회사 뇌파 신호를 이용하는 헤드 마운트 디스플레이 장치 및 그 제어 방법
US9898866B2 (en) 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US9552063B2 (en) 2013-11-29 2017-01-24 Samsung Electronics Co., Ltd. Electronic device including transparent display and method of controlling the electronic device
US11049476B2 (en) 2014-11-04 2021-06-29 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds in head-worn displays
US10410372B1 (en) 2018-06-14 2019-09-10 The University Of North Carolina At Chapel Hill Methods, systems, and computer-readable media for utilizing radial distortion to estimate a pose configuration
KR20210037886A (ko) * 2019-09-30 2021-04-07 주식회사 엘지유플러스 착용형 장치 및 이의 동작 방법과 상황 인식 서버

Also Published As

Publication number Publication date
KR100911376B1 (ko) 2009-08-10

Similar Documents

Publication Publication Date Title
KR100911376B1 (ko) 투명 디스플레이를 이용한 증강 현실 구현 방법 및 장치
US20220107687A1 (en) Touch free interface for augmented reality systems
US11670267B2 (en) Computer vision and mapping for audio applications
US10983593B2 (en) Wearable glasses and method of displaying image via the wearable glasses
US10564919B2 (en) Display system, display apparatus, method for controlling display apparatus, and program
US9375639B2 (en) Image display system and head-mounted display device
CA2913650C (en) Virtual object orientation and visualization
US10191281B2 (en) Head-mounted display for visually recognizing input
US20150379770A1 (en) Digital action in response to object interaction
US10303435B2 (en) Head-mounted display device, method of controlling head-mounted display device, and computer program
US20190227694A1 (en) Device for providing augmented reality service, and method of operating the same
US10642348B2 (en) Display device and image display method
US20140285520A1 (en) Wearable display device using augmented reality
KR20150110257A (ko) 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
CN115698909A (zh) 增强现实引导
JP6492673B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2017091433A (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
EP4172740A1 (en) Augmented reality eyewear with speech bubbles and translation
KR20190067523A (ko) 글래스 타입 단말기 및 그것의 동작방법
KR20180052156A (ko) 이동 단말기 및 그 제어 방법
KR20150108561A (ko) 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130729

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee