KR101395388B1 - 증강 현실 표현 장치 및 방법 - Google Patents

증강 현실 표현 장치 및 방법 Download PDF

Info

Publication number
KR101395388B1
KR101395388B1 KR1020120070759A KR20120070759A KR101395388B1 KR 101395388 B1 KR101395388 B1 KR 101395388B1 KR 1020120070759 A KR1020120070759 A KR 1020120070759A KR 20120070759 A KR20120070759 A KR 20120070759A KR 101395388 B1 KR101395388 B1 KR 101395388B1
Authority
KR
South Korea
Prior art keywords
information
user
users
display device
line
Prior art date
Application number
KR1020120070759A
Other languages
English (en)
Other versions
KR20140003107A (ko
Inventor
안양근
정광모
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to KR1020120070759A priority Critical patent/KR101395388B1/ko
Priority to PCT/KR2013/005815 priority patent/WO2014003509A1/ko
Priority to US14/411,689 priority patent/US20150170420A1/en
Publication of KR20140003107A publication Critical patent/KR20140003107A/ko
Application granted granted Critical
Publication of KR101395388B1 publication Critical patent/KR101395388B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강 현실 표현 장치가 개시된다. 개시된 증강 현실 표현 장치는 투명한 디스플레이 장치를 이용하여 사용자가 투명한 디스플레이 장치 너머로 보고 있는 사물에 대한 정보를 투명한 디스플레이 장치상에 디스플레이 한다. 증강 현실 표현 장치는 사용자의 시선 또는 손방향을 인식하여 사용자가 투명한 디스플레이 장치 너머로 보고 있는 사물을 식별할 수 있다.

Description

증강 현실 표현 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY}
본 발명은 증강 현실 표현 장치 및 방법에 관한 것으로, 좀더 구체적으로는 사용자의 시선, 손방향 등을 인식하여 특정한 위치에 정보를 표현하는 투명한 디스플레이 장치를 사용하는 증강 현실 표현 장치 및 방법에 관한 것이다.
정보 통신 기술의 발전으로, 실제 현실상의 객체에 실시간으로 가상 현실 데이터를 표시하는 증강 현실(Augmented Reality) 기법이 제안되었다.
증강 현실에서 가상현실 데이터를 표시할 객체를 결정하는 방법으로는, 실제 현실에 마커(Marker)를 표시한 후, 상기 마커를 인식하여 마커상에 가상현실 데이터를 표시하는 증강 현실 기법과, 실제 현실에 마커를 표시하지 않고 실제 현실 상의 객체를 직접 인식하여 가상현실 데이터를 표시하는 마커리스(Markerless) 증강 현실 기법이 존재한다.
또한, 증강 현실기법에서 실제 현실에 가상 현실 데이터를 표시하는 방법으로는, 카메라를 통해 촬영되어 저장 매체에 저장된 실제 현실로부터 마커/마커리스 방식으로 객체를 인식하고, 인식된 객체 상에 가상현실 데이터를 표시하는 방법과, 카메라를 통해 실시간 촬영되는 실제 현실로부터 마커/마커리스 방식으로 객체를 인식하고 인식된 객체 상에 가상현실 데이터를 표시하는 방법이 있다.
하기 실시예들의 목표는 사용자가 투명한 디스플레이 장치를 통해 건너편에 보이는 사물의 정보를 사용자에게 직관적으로 제공하는 것이다.
예시적 실시예에 따르면, 평판 형태의 투명한 디스플레이 장치의 제1 면 방향에 위치한 사용자의 시선 또는 상기 사용자의 손 방향을 인식하는 인식부, 상기 사용자의 시선 또는 상기 사용자의 손 방향에 대응하고, 상기 평판 형태의 투명한 디스플레이 장치의 제2면 방향에 위치하는 객체를 식별하는 객체 식별부, 상기 식별된 객체에 대한 정보를 수집하는 정보 수집부 및 상기 수집된 정보를 상기 디스플레이 장치에 디스플레이하는 디스플레이부를 포함하는 증강 현실 표현 장치가 제공된다.
여기서, 상기 사용자를 촬영하여 영상을 생성하는 카메라부를 더 포함하고, 상기 인식부는 상기 생성된 영상을 분석하여 상기 사용자의 시선 또는 상기 사용자의 손 방향을 인식할 수 있다.
그리고, 상기 인식부는 상기 생성된 영상을 분석하여 상기 사용자를 인식하고, 상기 정보 수집부는 상기 인식된 사용자에 대한 정보를 참조하여 상기 정보를 수집할 수 있다.
또한, 상기 디스플레이부는 상기 객체와 상기 사용자의 시선을 연결하는 직선이 상기 투명한 디스플레이 장치와 교차하는 지점에 상기 수집된 정보를 디스플레이 하거나, 상기 객체와 상기 사용자의 손 방향을 연결하는 직선이 상기 투명한 디스플레이 장치와 교차하는 지점에 상기 수집된 정보를 디스플레이 할 수 있다.
여기서, 상기 디스플레이 장치는 상기 정보가 포함되는 영역에 제2 사용자에 대한 제2 정보를 디스플레이 할 수 있다.
그리고, 상기 디스플레이 장치는 렌티큘러 렌즈 또는 편광 화면을 이용하여 상기 정보 및 상기 제2 정보를 동일한 영역에 디스플레이 할 수 있다.
또 다른 예시적 실시예에 따르면, 평판 형태의 투명한 디스플레이 장치의 제1 면 방향에 위치한 사용자의 시선 또는 상기 사용자의 손 방향을 인식하는 단계, 상기 사용자의 시선 또는 상기 사용자의 손 방향에 대응하고, 상기 평판 형태의 투명한 디스플레이 장치의 제2면 방향에 위치하는 객체를 식별하는 단계, 상기 식별된 객체에 대한 정보를 수집하는 단계 및 상기 수집된 정보를 상기 디스플레이 장치에 디스플레이하는 단계를 포함하는 증강 현실 표현 방법이 제공된다.
여기서, 상기 사용자를 촬영하여 영상을 생성하는 단계를 더 포함하고, 상기 사용자의 시선 또는 상기 사용자의 손 방향을 인식하는 단계는 상기 생성된 영상을 분석하여 상기 사용자의 시선 또는 상기 사용자의 손 방향을 인식할 수 있다.
그리고, 상기 사용자의 시선 또는 상기 사용자의 손 방향을 인식하는 단계는 상기 생성된 영상을 분석하여 상기 사용자를 인식하고, 상기 정보를 수집하는 단계는 상기 인식된 사용자에 대한 정보를 참조하여 상기 정보를 수집할 수 있다.
또한, 상기 디스플레이하는 단계는 상기 객체와 상기 사용자의 시선을 연결하는 직선이 상기 투명한 디스플레이 장치와 교차하는 지점에 상기 수집된 정보를 디스플레이 하거나, 상기 객체와 상기 사용자의 손 방향을 연결하는 직선이 상기 투명한 디스플레이 장치와 교차하는 지점에 상기 수집된 정보를 디스플레이 할 수 있다.
여기서, 상기 디스플레이하는 단계는 상기 정보가 포함되는 영역에 제2 사용자에 대한 제2 정보를 디스플레이 할 수 있다.
그리고, 상기 디스플레이 장치는 렌티큘러 렌즈 또는 편광 화면을 이용하여 상기 정보 및 상기 제2 정보를 동일한 영역에 디스플레이 할 수 있다.
하기 실시예들에 따르면, 사용자가 투명한 디스플레이 장치를 통해 건너편에 보이는 사물의 정보를 사용자에게 직관적으로 제공할 수 있다.
도 1은 예시적 실시예에 따라서 투명한 디스플레이 장치를 이용하는 증강 현실 표현 장치의 개념을 도시한 도면이다.
도 2는 예시적 실시예에 따른 증강 현실 표현 장치의 구성을 도시한 블록도이다.
도 3은 예시적 실시예에 따라서, 서로 다른 사용자에 대한 정보를 동일한 영역에 디스플레이 하는 것을 도시한 도면이다.
도 4는 예시적 실시예에 따른 편광 화면과 렌티큘러 렌즈를 이용한 투명한 디스플레이 장치를 도시한 도면이다.
도 5는 예시적 실시예에 따른 증강 현실 표현 방법을 단계별로 설명한 순서도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 예시적 실시예에 따라서 투명한 디스플레이 장치를 이용하는 증강 현실 표현 장치의 개념을 도시한 도면이다.
도 1의 (a)는 투명한 디스플레이 장치(130)가 시티 투어 버스나 기차의 창문으로 사용된 경우를 도시한 도면이다. 도 1의 (a)에서 사용자(110)는 시티 투어 버스나 기차 내부에 위치하며, 투명한 디스플레이 장치(130)가 사용된 창문을 통해 바깥 풍경을 볼 수 있다. 만약 사용자(110)가 투명한 디스플레이 장치(130)를 통해 타워(120)를 보는 경우에, 증강 현실 표현 장치는 투명한 디스플레이 장치(130)의 특정 부분에 타워(120)에 대한 정보(140)를 디스플레이 하도록 제어할 수 있다.
이 경우에, 투명한 디스플레이 장치(130)에 디스플레이 되는 정보(140)는 타워의 역사, 위치, 또는 타워 주변의 관광 정보에 대한 정보일 수 있다.
일측에 따르면, 증강 현실 표현 장치는 카메라를 이용하여 사용자(110)를 촬영할 수 있다. 증강 현실 표현 장치는 촬영된 영상을 분석하여 사용자(110)의 시선을 인식하고, 사용자가 바라보는 객체(여기서는 타워(120))를 식별할 수 있다. 증강 현실 표현 장치는 식별된 객체(120)에 대한 정보를 수집하고, 수집된 정보를 투명한 디스플레이 장치(130)의 특정 영역에 디스플레이 할 수 있다.
일측에 따르면, 수집된 정보가 디스플레이 되는 영역은 사용자(110)가 바라보는 객체(120)와 사용자의 시선을 연결하는 직선이 투명 디스플레이(130)장치와 교차하는 지점을 포함할 수 있다.
도 1의 (b)는 투명한 디스플레이 장치(170)가 수족관의 수조의 일부로 사용된 경우를 도시한 도면이다. 도 1의 (b)에서 사용자(150)는 손을 들어 수조 내의 물고기(160)를 가리킬 수 있다. 이 경우에, 증강 현실 표현 장치는 투명한 디스플레이 장치(170)의 특정 부분에 물고기(160)에 대한 정보(180)를 디스플레이 하도록 제어할 수 있다.
이 경우에, 투명한 디스플레이 장치(170)에 디스플레이 되는 정보(180)는 물고기의 생태, 낚시 정보, 요리 정보 등을 포함할 수 있다.
일측에 따르면, 증강 현실 표현 장치는 카메라를 이용하여 사용자(150)를 촬영할 수 있다. 증강 현실 표현 장치는 촬영된 영상을 분석하여 사용자(150)의 손 방향을 인식하고, 사용자(150)의 손이 가리키는 객체(여기서는 물고기(160))를 식별할 수 있다. 증강 현실 표현 장치는 식별된 객체(160)에 대한 정보를 수집하고, 수집된 정보를 투명한 디스플레이 장치(170)의 특정 영역에 디스플레이 할 수 있다.
도 2는 예시적 실시예에 따른 증강 현실 표현 장치의 구성을 도시한 블록도이다.
증강 현실 표현 장치(200)는 카메라(210), 인식부(220), 객체 식별부(230), 정보 수집부(240) 및 디스플레이부(250)를 포함할 수 있다.
카메라부(210)는 사용자를 촬영하여 영상을 생성한다. 여기서, 사용자는 평판 형태의 투명한 디스플레이 장치(260)의 제1면 방향에 위치할 수 있다. 일측에 따르면, 투명한 디스플레이 장치(260)는 시티 투어 버스 또는 기차 등에서 창문으로 사용될 수 있다. 이 경우에, 제1 면은 시티 투어 버스 또는 기차의 내부를 향한 방향이고, 제2면은 시티 투어 버스 또는 기차의 외부를 향한 방향일 수 있다.
인식부(220)는 사용자의 시선 또는 사용자의 손 방향을 인식한다. 일측에 따르면, 인식부(220)는 카메라부(210)를 이용하여 촬영된 영상을 분석하여 사용자의 시선 또는 사용자의 손 방향을 인식할 수 있다.
객체 식별부(230)는 사용자의 시선 또는 사용자의 손 방향에 대응하고, 평판 형태의 투명한 디스플레이 장치의 제2면 방향에 위치하는 객체를 식별할 수 있다.
예를 들어, 투명한 디스플레이 장치(260)는 시티 투어 버스 또는 기차 등의 창문으로 사용될 수 있다. 이 경우에, 시티 투어 버스 또는 기차 등의 내부로 향하는 제1 면 방향에 위치한 사용자는 시티 투어 버스 또는 기차 등의 외부로 향하는 제2 면 방향에 위치한 타워 등을 바라보거나, 손을 들어 타워를 가리킬 수 있다. 이 경우에, 객체 식별부(230)는 사용자가 바라보거나 사용자가 가리키는 타워를 객체로서 식별할 수 있다.
정보 수집부(240)는 식별된 객체에 대한 정보를 수집한다. 일측에 따르면, 인식부(220)는 카메라(210)를 이용하여 촬영된 영상을 분석하여 사용자를 인식하고, 정보 수집부(220)는 인식된 사용자에 대한 정보를 참조하여 식별된 객체에 대한 정보를 수집할 수 있다.
예를 들어, 인식된 사용자가 어린이이고, 식별된 객체가 도시의 건물인 경우에, 정보 수집부(240)는 해당 건물 및 해당 건물의 주변에 대한 관광 정보, 맛집 정보 등을 검색할 수 있다. 그러나, 인식된 사용자가 어른 이고, 식별된 객체가 도시의 건물인 경우에, 정보 수집부(240)는 해당 건물의 부동산 정보 등을 검색할 수 있다.
디스플레이부(250)는 수집된 정보를 디스플레이 장치(260)에 디스플레이 할 수 있다. 일측에 따르면, 디스플레이부(250)는 투명한 디스플레이 장치(260) 중에서, 식별된 객체와 사용자의 시선을 연결하는 직선이 투명한 디스플레이 장치(260)와 교차하는 지점에 수집된 정보를 디스플레이 할 수 있다. 또는 디스플레이부(250)는 투명한 디스플레이 장치(260) 중에서, 식별된 객체와 사용자의 손 방향을 연결하는 직선이 투명한 디스플레이 장치(260)와 교차하는 지점에 수집된 정보를 디스플레이할 수 있다.
일측에 따르면, 디스플레이 장치(260)는 복수의 정보를 동일한 영역에 디스플레이할 수 있다. 이하 복수의 정보를 동일한 영역에 디스플레이 하는 구성에 대해서는 도 3을 참조하여 설명하기로 한다.
도 3은 예시적 실시예에 따라서, 서로 다른 사용자에 대한 정보를 동일한 영역에 디스플레이 하는 것을 도시한 도면이다.
도 3에서, 제1 사용자(310)는 투명 디스플레이(330) 건너편의 제1 객체(350)를 바라보고, 제2 사용자(320)는 투명 디스플레이(330) 건너편의 제2 객체(340)를 바라본다.
복수의 사용자(310, 320)가 서로 다른 객체(350, 370)들을 바라보는 경우에, 각각의 시선과 투명 디스플레이(330)는 동일한 영역에서 겹칠 수 있다. 따라서, 각 객체(340, 350)에 대한 정보가 동일한 영역에 디스플레이 되어야 할 수 있다.
도 3과 같은 경우에, 디스플레이 장치(330)는 렌티큘러 렌즈 또는 편광 화면을 이용하여 제1 객체(350)에 대한 제1 정보(360)와 제2 객체(340)에 대한 제2 정보(370)를 동일한 영역에 디스플레이 할 수 있다. 이 경우에, 각 사용자(310, 320)는 각자에게 해당하는 정보만을 볼 수 있다.
이하 디스플레이 장치(330)가 렌티큘러 렌즈 도는 편광 화면을 이용하는 실시예에 대해서는 도 4를 참조하여 설명하기로 한다.
도 4는 예시적 실시예에 따른 편광 화면과 렌티큘러 렌즈를 이용한 투명한 디스플레이 장치를 도시한 도면이다.
도 4의 (a)는 디스플레이 장치(410)가 편광 화면을 이용하는 실시예를 도시한 도면이다.
디스플레이 장치(410)는 화면을 복수개의 영역(421, 422, 423, 431, 432, 433)으로 분할할 수 있다. 디스플레이 장치(410)는 분할된 영역(421, 422, 423, 431, 432, 433)들 중에서 제1 그룹에 포함된 영역(421, 422, 423)들은 제1 사용자를 위한 정보를 디스플레이 하도록 제어, 제2 그룹에 포함된 영역(431, 432, 433)들은 제2 사용자를 위한 정보를 디스플레이 하도록 제어할 수 있다.
디스플레이 장치(410)는 편광 필터등을 이용하여 제1 그룹에 포함된 영역(421, 422, 423)에 디스플레이되는 제1 정보를 제1 사용자에게 제공할 수 있다. 이 경우에, 제1 사용자는 편광 안경 등을 이용하여 제2 정보는 차단하고, 제1 정보만을 볼 수 있다. 또한, 디스플레이 장치(410)는 제2 그룹에 포함된 영역(431, 432, 433)에 디스플레이 되는 제2 정보를 제2 사용자에게 제공할 수 있다. 이 경우에, 제2 사용자는 편광 안경 등을 이용하여 제1 정보는 차단하고, 제2 정보만을 볼 수 있다.
도 4의 (b)는 디스플레이 장치가 렌티큘러(lenticular) 렌즈를 이용하는 실시예를 도시한 도면이다.
디스플레이 장치는 디스플레이 장치의 각 화소(471, 472, 473, 474, 481, 482, 483, 484)들을 분할하여 제1 영역(471, 472, 473, 474)과 제2 영역(481, 482, 483, 484)로 그룹핑한다. 이 경우에, 제1 영역에 포함된 화소들(471, 472, 473, 474)은 제1 정보를 디스플레이 하고, 제2 영역에 포함된 화소들(481, 482, 483, 484)을 디스플레이 한다.
제1 사용자(460)가 렌티큘러 렌즈가 적용된 디스플레이 장치를 보는 경우에, 제1 사용자(460)의 시선은 렌티큘러 렌즈로 인하여 굴절된다. 따라서, 제1 사용자(460)는 복수의 화소들 중에서, 제1 영역에 포함된 화소들(471, 472, 473, 474)만을 볼 수 있다. 또한, 제2 사용자(450)의 시선은 렌티큘러 렌즈로 인하여 굴절되므로, 제2 사용자(450)는 복수의 화소들 중에서, 제2 영역에 포함된 화소들(481, 482, 483, 484)만을 볼 수 있다.
따라서, 도 4의 (a)와 (b)에 도시된 실시예에 따르면, 디스플레이 장치가 동일한 영역에 제1 정보와 제2 정보를 디스플레이 한 경우에도, 제1 사용자와 제2 사용자는 자신에게 대응되는 정보만을 선택하여 볼 수 있다.
도 5는 예시적 실시예에 따른 증강 현실 표현 방법을 단계별로 설명한 순서도이다.
단계(510)에서, 증강 현실 표현 장치는 사용자를 촬영하여 영상을 생성한다.
단계(520)에서, 증강 현실 표현 장치는 평판 형태의 투명한 디스플레이 장치의 제1 면 방향에 위치한 사용자의 시선 또는 사용자의 손 방향을 인식한다. 여기서, 사용자는 투명한 디스플레이 장치의 건너편(제2 면 방향)에 위치한 객체를 바라보거나, 손으로 가리킨다.
일측에 따르면, 단게(520)에서, 증강 현실 표현 장치는 단계(510)에서 촬영된 영상을 영상을 분석하여 사용자의 시선 또는 사용자의 손 방향을 인식할 수 있다.
단계(530)에서, 증강 현실 표현 장치는 사용자의 시선 또는 사용자의 손 방향에 대응하고, 상기 평판 형태의 투명한 디스플레이 장치의 제2 면 방향에 위치하는 객체를 식별할 수 있다.
단계(540)에서, 증강 현실 표현 장치는 식별된 객체에 대한 정보를 수집한다. 일측에 따르면 단계(540)에서, 증강 현실 표현 장치는 인식된 사용자에 대한 정보를 참조하여 정보를 수집할 수 있다. 일측에 따르면, 증강 현실 표현 장치는 단계(510)에서 촬영된 영상을 분석하여 사용자를 인식할 수 있다.
단계(550)에서, 증강 현실 표현 장치는 상기 수집된 정보를 상기 디스플레이 장치에 디스플레이할 수 있다.
일측에 따르면, 단계(550)에서, 증강 현실 표현 장치는 식별된 객체와 사용자의 시선을 연결하는 직선이 투명한 디스플레이 장치와 교차하는 지점에 수집된 정보를 디스플레이할 수 있다. 또는 증강 현실 표현 장치는 식별된 객체와 사용자의 손 방향을 연결하는 직선이 투명한 디스플레이 장치와 교차하는 지점에 수집된 정보를 디스플레이할 수 있다.
일측에 따르면, 복수의 사용자가 서로 다른 객체들을 바라보는 경우에, 각각의 시선과 투명 디스플레이는 동일한 영역에서 겹칠 수 있다. 이 경우에, 증강 현실 표현 장치는 각 객체에 대한 정보를 동일한 영역에 디스플레이 할 수 있다.
일측에 따르면, 디스플레이 장치는 렌티큘러 렌즈 또는 편광 화면을 이용하여 제1 사용자에 대한 제1 정보와 제2 사용자에 대한 제2 정보를 동일한 영역에 디스플레이 할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면 방향에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
200: 증강 현실 표시 장치
210: 카메라
220: 인식부
230: 객체 식별부
240: 정보 수집부
250: 디스플레이부
260: 투명한 디스플레이 장치

Claims (13)

  1. 평판 형태의 투명한 디스플레이 장치의 제1 면 방향에 위치한 복수의 사용자들 각각의 시선 또는 상기 복수의 사용자들 각각의 손 방향을 인식하는 인식부;
    상기 복수의 사용자들 각각의 시선 또는 상기 복수의 사용자들 각각의 손 방향에 대응하고, 상기 평판 형태의 투명한 디스플레이 장치의 제2면 방향에 위치하는 하나 이상의 객체들을 식별하는 객체 식별부;
    상기 식별된 하나 이상의 객체들에 대한 정보를 수집하는 정보 수집부; 및
    상기 수집된 정보를 상기 디스플레이 장치에 디스플레이하는 디스플레이부
    를 포함하고,
    상기 디스플레이부는 제1 사용자의 시선 또는 손 방향에 대응하는 제1 객체와 상기 제1 객체와 상기 제1 사용자의 시선 또는 손 방향을 연결하는 제1 직선이 상기 디스플레이 장치와 교차하는 지점에 제1 정보를 디스플레이 및 제2 사용자의 시선 또는 손 방향에 대응하는 제2 객체와 상기 제2 객체와 상기 제2 사용자의 시선 또는 손 방향을 연결하는 제2 직선이 상기 디스플레이 장치와 교차하는 지점에 제2 정보를 동시에 디스플레이하고,
    상기 제1 사용자 및 상기 제2 사용자는 상기 복수의 사용자들 중 하나이고,
    상기 제1 객체 및 상기 제2 객체는 상기 하나 이상의 객체들 중 하나이고,
    상기 제1 정보 및 상기 제2 정보는 상기 수집된 정보인 증강 현실 표현 장치.
  2. 제1항에 있어서,
    상기 복수의 사용자들의 각각을 촬영하여 영상을 생성하는 카메라부
    를 더 포함하고,
    상기 인식부는 상기 생성된 영상을 분석하여 상기 복수의 사용자들 각각의 시선 또는 상기 복수의 사용자들 각각의 손 방향을 인식하는 증강 현실 표현 장치.
  3. 제2항에 있어서,
    상기 인식부는 상기 생성된 영상을 분석하여 상기 복수의 사용자들의 각각을 인식하고,
    상기 정보 수집부는 상기 인식된 각각의 사용자에 따라 상기 정보를 상이하게 수집하는 증강 현실 표현 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 디스플레이부는 상기 제1 정보 및 상기 제2 정보가 디스플레이되는 지점들이 교차하는 경우 상기 제1 정보를 상기 제1 사용자에게만 디스플레이 하고, 상기 제2 정보를 상기 제2 사용자에게만 디스플레이 하는 증강 현실 표현 장치.
  6. 제5항에 있어서,
    상기 디스플레이부는 상기 투명한 디스플레이 장치의 렌티큘러 렌즈 또는 편광 화면을 이용하여 상기 제1 정보를 상기 제1 사용자에게만 디스플레이하고, 상기 제2 정보를 제2 사용자에게만 디스플레이 하는 증강 현실 표현 장치.
  7. 평판 형태의 투명한 디스플레이 장치의 제1 면 방향에 위치한 복수의 사용자들 각각의 시선 또는 상기 복수의사용자들 각각의 손 방향을 인식하는 단계;
    상기 복수의 사용자들 각각의 시선 또는 상기 복수의 사용자들 각각의 손 방향에 대응하고, 상기 평판 형태의 투명한 디스플레이 장치의 제2면 방향에 위치하는 하나 이상의 객체들을 식별하는 단계;
    상기 식별된 하나 이상의 객체들에 대한 정보를 수집하는 단계; 및
    상기 수집된 정보를 상기 디스플레이 장치에 디스플레이하는 단계
    를 포함하고,
    상기 디스플레이하는 단계는 제1 사용자의 시선 또는 손 방향에 대응하는 제1 객체와 상기 제1 객체와 상기 제1 사용자의 시선 또는 손 방향을 연결하는 제1 직선이 상기 디스플레이 장치와 교차하는 지점에 제1 정보를 디스플레이 및 제2 사용자의 시선 또는 손 방향에 대응하는 제2 객체와 상기 제2 객체와 상기 제2 사용자의 시선 또는 손 방향을 연결하는 제2 직선이 상기 디스플레이 장치와 교차하는 지점에 제2 정보를 동시에 디스플레이하고,
    상기 제1 사용자 및 상기 제2 사용자는 상기 복수의 사용자들 중 하나이고,
    상기 제1 객체 및 상기 제2 객체는 상기 하나 이상의 객체들 중 하나이고,
    상기 제1 정보 및 상기 제2 정보는 상기 수집된 정보인 증강 현실 표현 방법.
  8. 제7항에 있어서,
    상기 복수의 사용자들의 각각을 촬영하여 영상을 생성하는 단계
    를 더 포함하고,
    상기 인식하는 단계는 상기 생성된 영상을 분석하여 상기 복수의 사용자들 각각의 시선 또는 상기 복수의 사용자들 각각의 손 방향을 인식하는 증강 현실 표현 방법.
  9. 제8항에 있어서,
    상기 인식하는 단계는 상기 생성된 영상을 분석하여 상기 복수의 사용자들 각각을 인식하고,
    상기 정보를 수집하는 단계는 상기 인식된 복수의 사용자들 각각에 따라 상기 정보를 상이하게 수집하는 증강 현실 표현 방법.
  10. 삭제
  11. 제7항에 있어서,
    상기 디스플레이하는 단계는 상기 제1 정보 및 상기 제2 정보가 디스플레이되는 지점들이 교차하는 경우 상기 제1 정보를 상기 제1 사용자에게만 디스플레이하고, 상기 제2 정보를 상기 제2 사용자에게만 디스플레이 하는 증강 현실 표현 방법.
  12. 제11항에 있어서,
    상기 디스플레이하는 단계는 상기 디스플레이 장치의 렌티큘러 렌즈 또는 편광 화면을 이용하여 상기 제1 정보를 상기 제1 사용자에게만 디스플레이하고, 상기 제2 정보를 제2 사용자에게만 디스플레이 하는 증강 현실 표현 방법.
  13. 삭제
KR1020120070759A 2012-06-29 2012-06-29 증강 현실 표현 장치 및 방법 KR101395388B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120070759A KR101395388B1 (ko) 2012-06-29 2012-06-29 증강 현실 표현 장치 및 방법
PCT/KR2013/005815 WO2014003509A1 (ko) 2012-06-29 2013-07-01 증강 현실 표현 장치 및 방법
US14/411,689 US20150170420A1 (en) 2012-06-29 2013-07-01 Apparatus and method for displaying augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120070759A KR101395388B1 (ko) 2012-06-29 2012-06-29 증강 현실 표현 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140003107A KR20140003107A (ko) 2014-01-09
KR101395388B1 true KR101395388B1 (ko) 2014-05-14

Family

ID=49783553

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120070759A KR101395388B1 (ko) 2012-06-29 2012-06-29 증강 현실 표현 장치 및 방법

Country Status (3)

Country Link
US (1) US20150170420A1 (ko)
KR (1) KR101395388B1 (ko)
WO (1) WO2014003509A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552675B2 (en) * 2013-06-03 2017-01-24 Time Traveler App Llc Display application and perspective views of virtual space
KR101452359B1 (ko) * 2014-02-21 2014-10-23 주식회사 베이스디 완구 조립영상 제공방법
KR102127356B1 (ko) 2014-07-31 2020-06-26 삼성전자주식회사 투명 디스플레이 장치 및 그 제어 방법
US20170045935A1 (en) 2015-08-13 2017-02-16 International Business Machines Corporation Displaying content based on viewing direction
CN108615159A (zh) * 2018-05-03 2018-10-02 百度在线网络技术（北京）有限公司 基于注视点检测的访问控制方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110136012A (ko) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 위치와 시선방향을 추적하는 증강현실 장치
US20120038629A1 (en) * 2008-11-13 2012-02-16 Queen's University At Kingston System and Method for Integrating Gaze Tracking with Virtual Reality or Augmented Reality
KR20120067854A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8248462B2 (en) * 2006-12-15 2012-08-21 The Board Of Trustees Of The University Of Illinois Dynamic parallax barrier autosteroscopic display system and method
KR20090001572A (ko) * 2007-04-27 2009-01-09 인하대학교 산학협력단 증강현실 구현 장치 및 이에 사용되는 마커
US8937592B2 (en) * 2010-05-20 2015-01-20 Samsung Electronics Co., Ltd. Rendition of 3D content on a handheld device
WO2011152634A2 (ko) * 2010-05-29 2011-12-08 Lee Moon Key 모니터 기반 증강현실 시스템
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120038629A1 (en) * 2008-11-13 2012-02-16 Queen's University At Kingston System and Method for Integrating Gaze Tracking with Virtual Reality or Augmented Reality
KR20110136012A (ko) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 위치와 시선방향을 추적하는 증강현실 장치
KR20120067854A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법

Also Published As

Publication number Publication date
KR20140003107A (ko) 2014-01-09
WO2014003509A1 (ko) 2014-01-03
US20150170420A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
US9857589B2 (en) Gesture registration device, gesture registration program, and gesture registration method
US9934573B2 (en) Technologies for adjusting a perspective of a captured image for display
CN105659200B (zh) 用于显示图形用户界面的方法、设备和系统
CN108399349B (zh) 图像识别方法及装置
EP3358298B1 (en) Building height calculation method and apparatus, and storage medium
CN106705837B (zh) 一种基于手势的物体测量方法及装置
US20190102956A1 (en) Information processing apparatus, information processing method, and program
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
KR101395388B1 (ko) 증강 현실 표현 장치 및 방법
CN111095364A (zh) 信息处理装置、信息处理方法和程序
JP2020526735A (ja) 瞳孔距離測定方法、装着型眼用機器及び記憶媒体
US20130229535A1 (en) Client terminal, server, and program
JP2012100116A (ja) 表示処理装置、表示処理方法およびプログラム
US20160189341A1 (en) Systems and methods for magnifying the appearance of an image on a mobile device screen using eyewear
EP3557386B1 (en) Information processing device and information processing method
KR101314687B1 (ko) 시선 경로 제공장치 및 시선 경로 제공방법
US20230244307A1 (en) Visual assistance
US20160274765A1 (en) Providing a context related view with a wearable apparatus
CN110264515B (zh) 一种标注方法及电子设备
JP5140719B2 (ja) ３次元表示時における指示位置設定装置および方法並びにプログラム
JP2006042280A (ja) 画像処理装置
CN115834858A (zh) 显示方法、装置、头戴显示设备及存储介质
KR20140066848A (ko) 얼굴 검출 장치 및 얼굴 검출 방법
CN116797643A (zh) 获取vr中用户注视区域的方法、存储介质及电子设备
KR20120083064A (ko) 실제 얼굴 판별 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee