KR20230081693A - 증강현실 제공 장치 및 이의 동작 방법 - Google Patents

증강현실 제공 장치 및 이의 동작 방법 Download PDF

Info

Publication number
KR20230081693A
KR20230081693A KR1020220165065A KR20220165065A KR20230081693A KR 20230081693 A KR20230081693 A KR 20230081693A KR 1020220165065 A KR1020220165065 A KR 1020220165065A KR 20220165065 A KR20220165065 A KR 20220165065A KR 20230081693 A KR20230081693 A KR 20230081693A
Authority
KR
South Korea
Prior art keywords
image
user
augmented reality
display information
target object
Prior art date
Application number
KR1020220165065A
Other languages
English (en)
Inventor
고범준
Original Assignee
(주)민트팟
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)민트팟 filed Critical (주)민트팟
Publication of KR20230081693A publication Critical patent/KR20230081693A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

본 발명의 일 실시예에 따른 증강현실 제공 장치의 동작 방법은, 사용자의 정면을 촬영한 실사 영상에 포함된 적어도 하나의 후보 객체를 인식하는 단계, 상기 적어도 하나의 후보 객체 중 상기 사용자의 시선이 향하는 대상 객체를 결정하는 단계, 상기 대상 객체에 대한 양안 시차를 계산하는 단계, 상기 양안 시차에 기초하여 표시 정보의 위치를 조정하는 단계, 및 상기 표시 정보를 포함하는 AR(Augmented Reality) 영상을 출력하는 단계를 포함할 수 있다.

Description

증강현실 제공 장치 및 이의 동작 방법{Device for Providing Augmented Reality and Method for operating the same}
본 개시는 증강현실 제공 장치 및 이의 동작 방법에 관한 것으로, 증강현실 구현을 위한 영상에 표시되는 정보의 품질을 높일 수 있는 기술이다.
최근 가상현실(Virtual Reality: VR)과 증강현실(Augmented Reality: AR)이 주목을 받고 있다.
가상현실(VR)은 배경과 현실 세계의 객체로 구성된 가상의 이미지를 컴퓨터 그래픽(Computer Graphic: CG) 영상으로 제공하여 가상공간을 만들어낸다. 증강현실(AR)은 현실의 이미지에 가상으로 만들어진 이미지를 겹쳐 하나의 영상으로 보여주는 기술이다. 증강현실(AR)은 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고서도 어떠한 특정한 환경이나 상황을 인위적으로 만들어, 그것을 사용하는 사람이 마치 실제 주변 상황 및 환경과 상호작용을 하고 있는 것처럼 만들어 줄 수 있다.
증강현실 애플리케이션은 현실 세계의 객체와 가상의 객체가 상호작용하여 현실감이 높다. 최근에는 컴퓨터 그래픽 기술, 소프트웨어 및 하드웨어 기술의 발전으로 인해, 게임, 산업, 교육, 훈련, 의학 등 다양한 분야에서 증강현실 기술을 이용한 다양한 애플리케이션들이 개발되고 있다.
본 발명의 실시예는 증강현실 영상에 표시되는 정보가 사용자에게 정상적으로 표시될 수 있는 증강현실 제공 장치 및 이의 동작 방법을 제공할 수 있다.
본 발명의 실시예에 따른 증강현실 제공 장치의 동작 방법은, 사용자의 정면을 촬영한 실사 영상에 포함된 적어도 하나의 후보 객체를 인식하는 단계, 상기 적어도 하나의 후보 객체 중 상기 사용자의 시선이 향하는 대상 객체를 결정하는 단계, 상기 대상 객체에 대한 양안 시차를 계산하는 단계, 상기 양안 시차에 기초하여 표시 정보의 위치를 조정하는 단계, 및 상기 표시 정보를 포함하는 AR(Augmented Reality) 영상을 출력하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 증강현실 제공 장치는, 사용자의 정면을 촬영한 실사 영상에 포함된 적어도 하나의 후보 객체를 인식하는 객체 인식부; 상기 적어도 하나의 후보 객체 중 상기 사용자의 시선이 향하는 대상 객체를 결정하는 대상 객체 결정부; 상기 대상 객체에 대한 양안 시차를 계산하는 양안 시차 계산부; 상기 양안 시차에 기초하여 표시 정보의 위치를 조정하는 표시 정보 위치 조정부; 및 상기 표시 정보를 포함하는 AR(Augmented Reality) 영상을 출력하는 AR 영상 표시부를 포함할 수 있다.
본 발명의 실시예는 사용자가 실제 객체에 초점을 맞추더라도 AR 영상에 포함되는 표시 정보에 대한 초점도 맞도록 제공할 수 있는 증강현실 제공 장치 및 이의 동작 방법을 제공한다.
아울러 본 발명의 실시예는 예시를 위한 것으로, 당업자라면 첨부된 특허청구범위의 기술적 사상과 범위를 통해 다양한 수정, 변경, 대체 및 부가가 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 증강현실을 제공하기 위한 시스템을 나타낸 개념도이다.
도 2는 도 1에 도시된 사용자 장치의 일 실시예를 나타낸 블록도이다.
도 3은 도 2에 도시된 증강현실 제공 장치의 일 구현 예를 나타낸 도면이다.
도 4는 본 발명의 비교 예에 따라 양안 시차와는 무관하게 표시 정보가 표시되는 일 예를 나타낸 도면이다.
도 5는 도 4의 예에서 제공되는 사용자의 시야를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다.
도 7은 도 6의 S20 단계 및 S30 단계를 설명하기 위한 도면이다.
도 8은 도 6의 S40 단계를 설명하기 위한 도면이다.
도 9는 도 6의 S50 단계 및 S60 단계를 설명하기 위한 도면이다.
도 10은 본 발명의 증강현실 제공 방법에 따른 사용자의 시야를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 증강현실 제공 장치의 하드웨어 구성을 나타내는 도면이다.
이하, 첨부한 도면을 참조하여 본 발명의 다양한 실시 예들에 대해 상세히 설명하고자 한다. 본 문서에서 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 문서에 개시되어 있는 본 발명의 다양한 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 다양한 실시 예들은 여러 가지 형태로 실시될 수 있으며 본 문서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 발명의 실시 예들을 배제하도록 해석될 수 없다.
본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 증강현실을 제공하기 위한 시스템을 나타낸 개념도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 증강현실을 제공하기 위한 시스템은, 서버(100)와 적어도 하나의 사용자 장치(200)를 포함할 수 있다.
여기서, 서버(100)는 사용자 장치(200)로 증강현실(Augmented Reality: AR, 이하 'AR'이라 함) 영상 및 AR 영상 내의 미리 특정된 적어도 하나의 객체(예로서, 인물 또는 사물)에 대해서 미리 설정된 객체 정보를 제공할 수 있다. 이를 위해, 서버(100)는 AR 영상 및 객체 정보를 저장하는 데이터베이스(미도시)를 포함할 수 있다. 일례로, 서버(100)는 AR 영상 제공 사업자의 서버 컴퓨터일 수 있다.
또한, 서버(100)는 AR 영상 저작도구를 이용하여 AR 영상을 저작하고 편집할 수 있다. 일 예로, 객체 정보를 생성하기 위해서, 객체에 대한 영역을 특정할 때에는, 서버(100)에 접속된 관리자 컴퓨터에서 마우스, 키보드 등의 입력 장치를 이용하여 객체 영역을 지정할 수 있다. 또한, 서버(100)는 입력장치로서 관리자 컴퓨터에 연결된 HMD(head mount display)를 포함하여, HMD의 사용자 시선과 연동되는 포인터 등을 이용하여 객체 영역을 특정할 수도 있다. 또는 사람의 안면 인식, 차량의 번호판 인식 등과 같이, 다양한 설정된 조건에 의해 영상 내 객체들을 자동으로 인식하여 지정할 수도 있다.
또한, 서버(100)는 사용자 장치(200)를 통해 증강현실 공간에서 수행되는 증강현실 사용자와의 상호 인터렉션 서비스를 제공할 수 있다. 특히, 서버(100)는 증강현실 사용자간의 상호 인터렉션을 위해 복수의 사용자 장치(200)의 현재 위치 및 좌표계를 서로 동기화시켜 사용자 장치(200)로 관련 정보를 전송할 수 있다.
서버(100)는 사용자 장치(200)로부터의 지시에 따라서 AR 영상 및/또는 객체 정보를 사용자 장치(200)에 실시간으로 전송할 수 있다. 혹은 서버(100)는 AR 영상 및/또는 객체 정보 전체를 사용자 장치(200)에 미리 전송하여 다운로드 시킨 후, 사용자 장치(200)가 다운로드된 AR 영상 및/또는 객체 정보 전체를 이용할 수도 있다.
사용자 장치(200)는 사용자의 시선 방향에 따라 AR 영상 내 적어도 일부 영상을 출력하는 장치이다. 사용자 장치(200)는 실제 객체 정보를 획득하고 실제 객체와 가상 객체를 맵핑하여 AR 공간을 통해 증강현실 서비스를 제공할 수 있다.
사용자 장치(200)는 AR 공간에서 수행되는 증강현실 사용자와의 상호 인터렉션을 처리할 수 있다. 사용자 장치(200)는 증강현실 사용자와의 상호 인터렉션이 가능한 서비스 앱을 서버(100)로부터 다운로드 받아서 실행할 수 있다.
사용자 장치(200)는 HMD, 스마트폰 등의 휴대용 단말기, 휴대용 컴퓨터 등일 수 있으며, 또는 이들의 조합으로 이루어지는 구성일 수도 있다. 여기서, 휴대용 단말기는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 그리고, 휴대용 컴퓨터는 노트북, 랩톱(laptop) 등을 포함할 수 있다.
한편, 상술한 사용자 장치(200)는 네트워크를 통해 서버(100) 또는 다른 사용자 장치(200)에 접속할 수 있다. 여기서, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network;WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크로 구현될 수 있다. 한편으로, 네트워크는 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다. 필요에 따라서, 네트워크는 유선 및 무선이 혼용된 네트워크일 수 있다.
도 2는 도 1에 도시된 사용자 장치의 일 실시예를 나타낸 블록도이다.
도 2를 참조하면, 본 개시에서는 사용자 장치(200)가 증강현실 서비스를 제공할 수 있는 증강현실(AR) 제공 장치(300)임을 전제로 설명하기로 한다.
AR 제공 장치(300)는 사용자에게 실사 영상과 함께 가상으로 생성된 영상(즉, AR 영상)을 제공하여 증강현실을 경험할 수 있도록 하는 증강현실 서비스를 구현할 수 있다.
AR 제공 장치(300)는 실사 영상 획득부(310), 안구 추적 센서(320), 입력부(330), 통신부(340), AR 영상 표시부(350), 객체 인식부(360), 대상 객체 결정부(370), 양안 시차 계산부(380), 표시 정보 위치 조정부(390) 및 AR 영상 생성부(395)를 포함할 수 있다.
실사 영상 획득부(310)는 미리 정해진 위치, 방향과 FOV(field of view)에 따라 영상을 획득할 수 있다. 여기서, 영상은 컬러 이미지(color image) 및/또는 깊이 이미지(depth image)를 포함할 수 있다. 즉, 실사 영상 획득부(310)는 컬러 이미지를 획득하는 컬러 센서 및/또는 깊이 이미지를 획득하는 깊이 센서를 포함할 수 있다. 일 실시예에 따라, 컬러 센서 및/또는 깊이 센서는 CIS(complementary metal-oxide semiconductor(CMOS) image sensor)일 수 있다.
안구 추적 센서(320)는 사용자의 동공의 위치를 감지하여 사용자의 시선 방향을 추적할 수 있다. 일 실시예에 따라, 안구 추적 센서(320)는 사용자의 안구를 촬영한 이미지를 분석하여 사용자의 좌안 및 우안 각각의 동공의 위치를 식별할 수 있고, 식별된 동공의 위치에 따라 사용자의 시선 방향을 감지할 수 있다.
입력부(330)는 사용자로부터 AR 제공 장치(300)의 제어를 위한 신호를 입력 받는 구성으로서, 사용자로부터의 물리적 입력을 전기적 신호로 변환하는 기능을 수행할 수 있다. 예시적으로, 입력부(330)는 자이로 센서, 터치 패널, 키 버튼을 구비한 키패드 등을 포함하여 사용자의 입력을 검출하여 입력 데이터를 생성하는 장치일 수 있다.
통신부(340)는 서버(100)와 통신을 수행할 수 있다. 일 예로, 통신부(340)는 서버(100)에 네트워크를 통해 접속하여 AR 영상 및 객체 정보 중 적어도 하나를 수신할 수 있다. 통신부(340)는 원격지에 존재하는 다른 사용자 장치(200)와 증강 콘텐츠를 공유하고 동기화하여 함께 체험할 수 있도록 증강 콘텐츠 및 동기화를 위한 정보를 송수신할 수 있다. 여기서, 증강 콘텐츠는 AR 영상을 비롯하여 사용자에게 증강현실 체험을 제공할 수 있는 음성 데이터, 진동 데이터 등을 포함할 수 있다. 비록 도 3에는 도시되지 않았으나, AR 제공 장치(300)는 음성 데이터의 출력을 위한 스피커 및/또는 진동 데이터의 출력을 위한 진동 발생기를 포함할 수 있다.
AR 영상 표시부(350)는 시각적으로 증강현실 체험을 제공하기 위한 AR 영상을 표시하는 디스플레이를 포함할 수 있다. AR 영상 표시부(350)는 AR 영상 생성부(395)가 생성한 AR 영상을 표시하되, 사용자가 현실의 이미지도 함께 볼 수 있도록 투명한 디스플레이로 구현될 수 있다.
객체 인식부(360)는 실사 영상 획득부(310)에 의해 생성된 실사 영상을 분석하여 실사 영상에 포함된 적어도 하나의 후보 객체를 인식할 수 있다. 여기서, 적어도 하나의 후보 객체는 사람 또는 사물의 형상에 해당할 수 있고, 실사 영상에서 사람 또는 사물의 형상을 포함하는 영역은 객체 영역으로 정의될 수 있다. 또한, 객체 영역은 2차원 좌표에 의해 특정되는 영역, 또는 각도에 의해 특정되는 영역일 수 있다.
대상 객체 결정부(370)는 적어도 하나의 후보 객체 중 사용자가 바라보는 대상 객체를 결정할 수 있다. 일 실시예에 따라, 대상 객체 결정부(370)는 안구 추적 센서(320)에 감지된 사용자의 시선 방향과 오버랩(overlap)되는 후보 객체를 실사 영상에서 선택할 수 있다. 다른 실시예에 따라, 대상 객체 결정부(370)는 좌안에 대응하는 실사 영상과 우안에 대응하는 실사 영상을 비교하여 사용자가 바라보는 대상 객체를 결정할 수 있다.
양안 시차 계산부(380)는 사용자가 바라보는 대상 객체가 사용자의 좌안과 우안 각각의 중심 시선으로부터 얼마나 쉬프트(shift)되어 있는지를 나타내는 양안 시차를 계산할 수 있다. 즉, 양안 시차는 좌안 시차와 우안 시차를 포함하는 개념으로서, 좌안 시차와 우안 시차를 서로 동일할 수도 있고, 서로 다를 수도 있다. 여기서, 좌안의 중심 시선은 좌안이 정면을 바라봤을 때 시선의 중심선을 의미하고, 우안의 중심 시선은 우안이 정면을 바라봤을 때 시선의 중심선을 의미할 수 있다. 또한, 좌안의 중심 시선은 좌측에 배치된 제1 AR 영상 표시부(도 3의 420)의 중심선과 일치할 수 있고, 우안의 중심 시선은 우측에 배치된 제2 AR 영상 표시부(도 3의 425)의 중심선과 일치할 수 있다.
양안 시차 계산부(380)는 사용자가 바라보는 객체와 AR 제공 장치(300)의 중심점 간의 거리, 좌안 또는 우안과 AR 제공 장치(300)의 중심점 간의 수직 거리, 좌안 또는 우안과 사용자가 바라보는 객체 간의 각도, 및 좌안 또는 우안과 AR 제공 장치(300)의 중심점 간의 각도를 기초로 양안 시차를 계산할 수 있다. 양안 시차를 계산하는 방식에 대한 상세한 설명은 도 8을 참조하여 후술하기로 한다.
표시 정보 위치 조정부(390)는 계산된 양안 시차만큼 AR 영상에 포함된 표시 정보의 위치를 이동시키기 위한 위치 조정 값을 계산할 수 있다. 여기서, 표시 정보는 AR 영상에 포함되어 사용자에게 전달되는 정보를 의미할 수 있고, 사용자 인터페이스(user interface; UI), 자막(subtitle) 및/또는 캡션(caption)을 포함할 수 있다. 또한, 위치 조정 값은 좌안 시차에 대응하는 제1 위치 조정 값과 우안 시차에 대응하는 제2 위치 조정 값을 포함할 수 있다.
AR 영상 생성부(395)는 AR 영상 표시부(350)로 출력되는 AR 영상을 생성할 수 있다. 구체적으로, AR 영상 생성부(395)는 좌측에 배치된 제1 AR 영상 표시부(도 3의 420)에 표시되는 제1 AR 영상, 및 우측에 배치된 제2 AR 영상 표시부(도 3의 425)에 표시되는 제2 AR 영상을 각각 생성할 수 있다.
제1 AR 영상 및 제2 AR 영상 각각에는 표시 정보가 포함될 수 있는데, AR 영상 생성부(395)는 표시 정보 위치 조정부(390)로부터 제공되는 제1 위치 조정 값에 기초하여 제1 AR 영상의 표시 정보의 위치를 변경할 수 있고, 표시 정보 위치 조정부(390)로부터 제공되는 제2 위치 조정 값에 기초하여 제2 AR 영상의 표시 정보의 위치를 변경할 수 있다.
AR 영상의 제공시 사용자의 시선 방향에 따라 양안 시차가 존재할 경우, 양안 시차를 반영하지 않고 표시 정보가 AR 영상에 표시되면 표시 정보가 초점이 맞지 않은 상태로 사용자에게 보여질 수 있어 증강 현실의 품질이 저하될 수 있다. 본 개시에서는 양안 시차를 반영하여 AR 영상에 표시 정보의 위치를 조정함으로써 표시 정보의 초점을 맞출 수 있어 증강 현실의 품질이 향상될 수 있다.
도 3은 도 2에 도시된 증강현실 제공 장치의 일 구현 예를 나타낸 도면이다.
도 3을 참조하면, AR 제공 장치(300)의 일 구현 예(400)가 도시되어 있으며, AR 제공 장치(400)는 사용자가 착용할 수 있는 안경 형태의 외관을 가질 수 있다. 다만, 본 발명의 범위는 이에 한정되지 않으며, AR 제공 장치(400)는 안경 이외에 사람의 눈에 착용 가능한 임의의 형태(예컨대, 고글, 헬멧 등)를 가질 수 있다.
AR 제공 장치(400)는 도 2의 AR 제공 장치(300)에 포함된 구성들을 포함할 수 있으며, 이들 중 일부에 대응하는 구성들이 도 3에 나타나 있다.
AR 제공 장치(400)는 본체(410), 제1 AR 영상 표시부(420), 제2 AR 영상 표시부(425), 제1 영상 획득부(430), 제2 영상 획득부(435), 제3 영상 획득부(440), 안구 추적 센서(450), 및 제1 및 제2 본체 거치부(460)를 포함할 수 있다.
본체(410)는 안경테에 해당하는 형상을 가질 수 있고, 도 2의 AR 제공 장치(300)에 포함된 구성들이 내부에 탑재되거나 장착될 수 있는 형태를 가질 수 있다.
제1 AR 영상 표시부(420)는 사용자의 좌안에 대응하여 배치될 수 있고, 제1 AR 영상을 표시할 수 있다. 제2 AR 영상 표시부(425)는 사용자의 우안에 대응하여 배치될 수 있고, 제2 AR 영상을 표시할 수 있다. 제1 AR 영상 표시부(420)와 제2 AR 영상 표시부(425)는 도 2의 AR 영상 표시부(350)에 대응될 수 있다.
제1 영상 획득부(430)는 사용자의 좌안에 대응하여 배치될 수 있고, 좌안이 볼 수 있는 2차원 이미지(예컨대, 컬러 이미지)에 해당하는 제1 실사 영상을 촬영할 수 있다.
제2 영상 획득부(435)는 사용자의 우안에 대응하여 배치될 수 있고, 우안이 볼 수 있는 2차원 이미지에 해당하는 제2 실사 영상을 촬영할 수 있다.
제3 영상 획득부(440)는 AR 제공 장치(400)의 중심점에 대응하여 배치될 수 있고, AR 제공 장치(400)의 정면에서 볼 수 있는 깊이 영상을 촬영할 수 있다. 깊이 영상은 피사체에 대응하는 깊이 정보(즉, 거리 정보)의 집합으로 구성될 수 있다. 깊이 영상의 깊이 정보는 ToF(time of flight) 방식에 따라 계산될 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.
제1 내지 제3 영상 획득부(430, 435, 440)는 본체(410)의 정면을 향해 배치될 수 있고, 도 2의 실사 영상 획득부(310)에 대응될 수 있다.
도 3에서는 AR 제공 장치(400)가 3개의 카메라에 해당하는 제1 내지 제3 영상 획득부(430, 435, 440)를 포함하는 것으로 예시되어 있으나, 다른 실시예에 따라, AR 제공 장치(400)는 제1 및 제2 영상 획득부(430, 435)를 생략하고 제3 영상 획득부(440)만을 포함할 수도 있다. 이 경우, 제3 영상 획득부(440)는 깊이 이미지뿐 아니라 2차원 이미지도 획득 가능한 3D(3-dimension) 카메라일 수 있다. 그리고, 제3 영상 획득부(440)에 의해 획득된 2차원 이미지는 제1 및 제2 영상 획득부(430, 435)에 의해 획득된 것과 유사한 형태로 변환(예컨대, 좌측 또는 우측 이미지를 crop)하여 사용함으로써, 제1 및 제2 영상 획득부(430, 435) 없이도 해당 기능이 수행되도록 할 수 있다.
안구 추적 센서(450)는 본체(410)의 후면을 향해 배치되어 좌안 및 우안 각각의 동공 위치를 감지할 수 있으며, 도 2의 안구 추적 센서(320)에 해당할 수 있다.
제1 및 제2 본체 거치부(460)는 안경 다리에 해당하는 형상을 가짐으로써, AR 제공 장치(400)가 사용자에 의해 착용될 수 있도록 할 수 있다.
도 4는 본 발명의 비교 예에 따라 양안 시차와는 무관하게 표시 정보가 표시되는 일 예를 나타낸 도면이다. 도 5는 도 4의 예에서 제공되는 사용자의 시야를 나타낸 도면이다.
도 4를 참조하면, 사용자가 AR 제공 장치(400)를 착용한 상태에서 정면에 위치한 제1 객체(OBJ1)를 바라보게 되면, 제1 객체(OBJ1)의 상은 제1 AR 영상 표시부(420)의 중심선(CL)의 우측에 위치하게 되고, 제1 객체(OBJ1)의 상은 제2 AR 영상 표시부(425)의 중심선(CL)의 좌측에 위치하게 된다. 여기서, 중심선(CL)은 제1 AR 영상 표시부(420) 또는 제2 AR 영상 표시부(425)의 중앙을 지나는 수직선을 의미할 수 있다.
제1 AR 영상 표시부(420) 및 제2 AR 영상 표시부(425) 각각이 출력하는 제1 및 제2 AR 영상 각각에 중심선(CL)에 정렬된 표시 정보(도 4에서 '자막')는 제1 및 제2 AR 영상 각각의 중앙에 위치할 수 있다.
즉, 제1 AR 영상의 표시 정보는 제1 객체(OBJ1)의 상에 대해 좌측에 위치하고, 제2 AR 영상의 표시 정보는 제1 객체(OBJ1)의 상에 대해 우측에 위치할 수 있다.
도 5를 참조하면, 도 4의 예시에서 사용자가 제1 객체(OBJ1)에 초점을 맞추었을 경우 사용자의 시야(US)가 나타나 있다. 즉, 제1 객체(OBJ1)에 초점을 맞춘 상태이므로, 제1 객체(OBJ1)를 중심으로 표시 정보(자막)는 2개의 상으로 분리되어 보여질 수 있다.
반대로, 비록 도시되지 않았으나, 사용자가 표시 정보(자막)에 초점을 맞추었을 경우 제1 객체(OBJ1)는 표시 정보(자막)를 중심으로 2개의 상으로 분리되어 보여질 수 있다.
따라서, 본 발명의 비교 예와 같이 사용자의 시선 방향과 무관하게 표시 정보의 위치가 조정되지 못할 경우, 실제 객체에 초점을 맞추게 되면 AR 영상의 표시 정보의 초점이 맞지 않게 되는 현상이 발생할 수 있어 증강현실의 품질이 현저하게 저하될 수 있다.
이는 제1 객체(OBJ1)가 AR 제공 장치(400)로부터 충분히 멀지 않기 때문이며, 제1 객체(OBJ1)와 AR 제공 장치(400) 간의 거리가 가까울수록 위와 같은 현상이 심화될 수 있다.
도 6은 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다. 도 7은 도 6의 S20 단계 및 S30 단계를 설명하기 위한 도면이다. 도 8은 도 6의 S40 단계를 설명하기 위한 도면이다. 도 9는 도 6의 S50 단계 및 S60 단계를 설명하기 위한 도면이다. 도 10은 본 발명의 증강현실 제공 방법에 따른 사용자의 시야를 나타낸 도면이다.
도 6을 참조하면, 실사 영상 획득부(310)는 미리 정해진 위치, 방향과 FOV에 따라 영상을 획득할 수 있다(S10). 도 4에서 제1 영상 획득부(430)는 제1 실사 영상을 획득하고, 제2 영상 획득부(435)는 제2 실사 영상을 획득하고, 제3 영상 획득부(440)는 깊이 영상을 획득할 수 있다.
객체 인식부(360)는 실사 영상 획득부(310)에 의해 생성된 실사 영상을 분석하여 실사 영상에 포함된 적어도 하나의 후보 객체를 인식할 수 있다(S20). 즉, 객체 인식부(360)는 제1 실사 영상과 제2 실사 영상 각각에서 적어도 하나의 후보 객체를 인식할 수 있다.
대상 객체 결정부(370)는 적어도 하나의 후보 객체 중 사용자가 바라보는 대상 객체를 결정할 수 있다(S30).
도 7을 참조하면, AR 제공 장치(400)를 착용한 사용자의 정면에 제1 객체(OBJ1)와 제2 객체(OBJ2)가 위치한다고 가정하기로 한다.
제1 실사 영상은 제1 AR 영상 표시부(420)의 위치에 대응하여 배치되는 제1 영상 획득부(430)에 의해 획득된 실사 영상이므로, 제1 AR 영상 표시부(420)에서 보여지는 실사 영상과 제1 실사 영상은 서로 동일하다고 가정하기로 한다. 또한, 제2 실사 영상은 제2 AR 영상 표시부(425)의 위치에 대응하여 배치되는 제2 영상 획득부(435)에 의해 획득된 실사 영상이므로, 제2 AR 영상 표시부(422)에서 보여지는 실사 영상과 제1 실사 영상은 서로 동일하다고 가정하기로 한다. 따라서, 도 7에서 볼 수 있듯이, 제1 실사 영상에서의 제1 객체(OBJ1)와 제2 객체(OBJ2) 각각은 제2 실사 영상에서의 제1 객체(OBJ1)와 제2 객체(OBJ2) 각각에 비해 상대적으로 우측으로 쉬프트된 위치를 가질 수 있다.
객체 인식부(360)는 제1 실사 영상에서 제1 객체(OBJ1)를 인식하여 제1 객체 영역(510)을 특정할 수 있고, 제2 객체(OBJ2)를 인식하여 제2 객체 영역(515)을 특정할 수 있다. 여기서, 각 객체를 인식하는 방식은 딥 러닝(deep learning)을 이용한 이미지 분석 방법이 이용될 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.
또한, 객체 인식부(360)는 제2 실사 영상에서 제1 객체(OBJ1)를 인식하여 제3 객체 영역(520)을 특정할 수 있고, 제2 객체(OBJ2)를 인식하여 제4 객체 영역(525)을 특정할 수 있다.
제1 내지 제4 객체 영역(510~525) 각각은 사각 형태의 영역으로 특정될 수 있으며, 이는 예시에 불과하며 다양한 형태(예컨대, 원형, 육각형)의 영역으로 특정될 수 있다.
일 실시예에 따라, 제1 내지 제4 객체 영역(510~525) 각각은 2차원 좌표계를 통해 4개의 좌표(예: (1,1), (1,2), (2,2), (2,1))로 정의되는 사각형 내부의 영역으로 특정될 수 있다. 여기서, 2차원 좌표계가 아닌 제3 영상 획득부(440)에 의해 획득된 깊이 영상을 더 이용하여 3차원 좌표계에서의 3차원 좌표로 제1 내지 제4 객체 영역(510~525) 각각이 특정될 수도 있다.
다른 실시예에 따라, 제1 내지 제4 객체 영역(510~525) 각각은 사용자의 눈의 중심과 해당 AR 영상 표시부의 중심을 잇는 직선을 기준으로 방향성을 갖는 2개의 각도 범위(예: -10~+20도(좌우)와 -5~+10도(상하))로 정의되는 사각형 내부의 영역으로 특정될 수 있다.
일 실시예에 따라, 대상 객체 결정부(370)는 안구 추적 센서(320)에 의해 감지된 사용자의 시선 방향과 오버랩되는 후보 객체를 실사 영상에서 선택할 수 있다.
도 7에서 안구 추적 센서(450)는 사용자의 좌안(LE)의 제1 동공 위치(530)를 검출하고, 사용자의 우안(RE)의 제2 동공 위치(540)를 검출할 수 있다.
대상 객체 결정부(370)는 제1 동공 위치(530)에 기초하여 제1 시선 방향(550)을 결정할 수 있고, 제1 시선 방향(550)과 제1 AR 영상 표시부(420)가 만나는 지점의 좌표를 결정할 수 있다. 여기서, 대상 객체 결정부(370)는 제1 동공 위치(530)에 기초하여 제1 시선 방향(550)과 제1 AR 영상 표시부(420)가 만나는 지점의 좌표를 실시간으로 계산할 수도 있으나, 실시예에 따라 제1 동공 위치(530)가 제1 시선 방향(550)과 제1 AR 영상 표시부(420)가 만나는 지점의 좌표와 맵핑되어 있는 테이블을 미리 저장한 뒤, 테이블을 참조하여 검출된 제1 동공 위치(530)에 대응하는 제1 시선 방향(550)과 제1 AR 영상 표시부(420)가 만나는 지점의 좌표를 리드(read)할 수 있다.
대상 객체 결정부(370)는 제1 시선 방향(550)과 제1 AR 영상 표시부(420)가 만나는 지점의 좌표와 오버랩되는 객체 영역을 판단하고, 해당 객체 영역에 해당하는 후보 객체를 좌안(LE)에 대한 대상 객체로 결정할 수 있다. 도 7의 예시에서 제1 시선 방향(550)과 제1 AR 영상 표시부(420)가 만나는 지점의 좌표와 오버랩되는 객체 영역은 제1 객체 영역(510)이므로, 제1 객체(OBJ1)가 대상 객체로 결정될 수 있다.
대상 객체 결정부(370)는 제2 동공 위치(540)에 기초하여 제2 시선 방향(560)을 결정할 수 있고, 제2 시선 방향(560)과 제2 AR 영상 표시부(425)가 만나는 지점의 좌표를 결정할 수 있다. 여기서, 대상 객체 결정부(370)는 제2 동공 위치(540)에 기초하여 제2 시선 방향(560)과 제2 AR 영상 표시부(425)가 만나는 지점의 좌표를 실시간으로 계산할 수도 있으나, 실시예에 따라 제2 동공 위치(540)가 제2 시선 방향(560)과 제2 AR 영상 표시부(425)가 만나는 지점의 좌표와 맵핑되어 있는 테이블을 미리 저장한 뒤, 테이블을 참조하여 검출된 제2 동공 위치(540)에 대응하는 제2 시선 방향(560)과 제2 AR 영상 표시부(425)가 만나는 지점의 좌표를 리드할 수 있다.
대상 객체 결정부(370)는 제2 시선 방향(560)과 제2 AR 영상 표시부(425)가 만나는 지점의 좌표와 오버랩되는 객체 영역을 판단하고, 해당 객체 영역에 해당하는 후보 객체를 우안(RE)에 대한 대상 객체로 결정할 수 있다. 도 7의 예시에서 제2 시선 방향(560)과 제2 AR 영상 표시부(425)가 만나는 지점의 좌표와 오버랩되는 객체 영역은 제3 객체 영역(520)이므로, 제1 객체(OBJ1)가 대상 객체로 결정될 수 있다.
다른 실시예에 따라, 만일 AR 제공 장치(400)가 안구 추적 센서(450)를 포함하지 않아 직접적으로 사용자의 시선 방향을 알 수 없는 경우, 대상 객체 결정부(370)는 좌안(LE)의 시야를 나타내는 제1 실사 영상과 우안(RE)의 시야를 나타내는 제2 실사 영상을 비교하여 대상 객체를 결정할 수 있다. 즉, 양안 시차가 존재하는 사람의 눈의 특성상 시야의 중심점을 기준으로 대칭을 이루는 객체는 현재 사용자가 해당 객체를 보고 있다고 판단할 수 있다. 따라서, 제1 실사 영상의 중심선으로부터 해당 객체 영역이 일측(예컨대, 우측)으로 쉬프트된 정도와, 제2 실사 영상의 중심선으로부터 해당 객체 영역이 타측(예컨대, 좌측)으로 쉬프트된 정도가 서로 동일할 경우, 시야의 중심점을 기준으로 대칭을 이룬다고 볼 수 있으며, 사용자가 해당 객체 영역의 후보 객체를 바라보고 있다고 볼 수 있다.
다시 도 6을 참조하면, 양안 시차 계산부(380)는 사용자가 바라보는 대상 객체가 사용자의 좌안과 우안 각각의 중심 시선으로부터 얼마나 쉬프트되어 있는지를 나타내는 대상 객체에 대한 양안 시차를 계산할 수 있다(S40).
도 8에서, 양안 시차 계산부(380)는 대상 객체(TOBJ)가 좌안(LE)과 우안(RE) 각각의 중심 시선과 일치하는 중심선(CL)으로부터 얼마나 쉬프트되어 있는지를 나타내는 좌안 시차와 우안 시차를 계산할 수 있다. 설명의 편의상 대상 객체(TOBJ)에 대한 좌안 시차와 우안 시차는 L3로 서로 동일하다고 가정하기로 하고, 좌안 시차를 계산하는 방법을 중심으로 설명하기로 한다. 또한, 좌안 시차와 우안 시차가 서로 다른 경우에도 이하에서 설명되는 좌안 시차를 계산하는 방법이 실질적으로 동일하게 적용될 수 있음에 유의하여야 한다.
먼저 좌안(LE)과 우안(RE) 사이의 거리인 양안 거리(ED)는 평균 성인 양안 거리인 13cm로 정해질 수 있고, 좌안(LE)과 제1 AR 영상 표시부(420) 간의 거리인 제1 길이(L1)는 삼각함수 관계를 이용하여 다음의 수학식 1에 의해 계산될 수 있다.
[수학식 1]
Figure pat00001
여기서, 제1 각도(θ1)는 안구 추적 센서(450)와 좌안(LE)이 이루는 각도를 의미하고, 안구 추적 센서(450)가 감지한 제1 동공 위치(530)로부터 양안 시차 계산부(380)가 산출할 수 있다.
만일 AR 제공 장치(400)가 안구 추적 센서(450)를 포함하지 않을 경우에는, 양안 시차 계산부(380)는 소정의 캘리브레이션(calibration) 동작을 거쳐 제1 길이(L1)를 추정할 수 있다. 예를 들어, 캘리브레이션 동작은 일정 거리(예컨대, 10m)에 있는 실제 객체(예컨대, 벽)를 배경으로 두고 사용자가 AR 제공 장치(400)를 착용한 상태에서, 기준 길이(예컨대, 3cm)에 대응하는 양안 시차가 있는 가상 객체의 이미지를 제1 AR 영상 표시부(420)에 출력하고, 가상 객체가 실제 객체보다 멀리 있는 것처럼 보인다면 제1 길이(L1)는 기준 길이보다 큰 것이고, 가상 객체가 실제 객체보다 멀리 있는 것처럼 보인다면 제1 길이(L1)는 기준 길이보다 작은 것이다. 이와 같은 특성을 이용하여, 양안 시차 계산부(380)는 실제 객체와 가상 객체 간의 원근감 차이에 기초하여 제1 길이(L1)를 추정할 수 있다.
양안 시차 계산부(380)는 다음의 수학식 2를 통해 제2 각도(θ2)의 탄젠트 값을 계산할 수 있다.
[수학식 2]
Figure pat00002
여기서, 제2 길이(L2)는 AR 제공 장치(400)와 대상 객체(TOBJ) 간의 거리를 의미하며, 양안 시차 계산부(380)는 제3 AR 영상 획득부(440)가 촬영한 깊이 영상으로부터 제2 길이(L2)를 획득할 수 있다.
양안 시차 계산부(380)는 다음의 수학식 3을 통해 대상 객체(TOBJ)가 사용자의 좌안(LE)의 중심 시선으로부터 얼마나 쉬프트되어 있는지를 나타내는 좌안 시차인 제3 길이(L3)를 계산할 수 있다.
[수학식 3]
Figure pat00003
또한, 양안 시차 계산부(380)는 마찬가지의 방식으로 우안 시차도 계산할 수 있으나, 위에서 미리 가정한 바에 따라 좌안 시차와 우안 시차는 동일하다고 가정한다.
다시 도 6을 참조하면, 표시 정보 위치 조정부(390)는 계산된 양안 시차만큼 AR 영상에 포함된 표시 정보의 위치를 이동시키기 위한 제1 위치 조정 값 및 제2 위치 조정 값을 계산할 수 있다(S50).
AR 영상 생성부(395)는 표시 정보 위치 조정부(390)로부터 제공되는 제1 위치 조정 값에 기초하여 제1 AR 영상의 표시 정보의 위치를 변경할 수 있고, 표시 정보 위치 조정부(390)로부터 제공되는 제2 위치 조정 값에 기초하여 제2 AR 영상의 표시 정보의 위치를 변경할 수 있다. AR 영상 생성부(395)는 위치 조정된 표시 정보를 포함하는 제1 AR 영상 및 제2 AR 영상 각각을 생성하여 AR 영상 표시부(350)로 출력할 수 있다(S60).
도 9를 참조하면, 표시 정보 위치 조정부(390)는 양안 시차 계산부(380)에 의해 계산된 양안 시차만큼 AR 영상에 포함된 표시 정보의 위치를 이동시키기 위한 제1 위치 조정 값 및 제2 위치 조정 값을 계산할 수 있다. 제1 위치 조정 값 및 제2 위치 조정 값은 좌안 시차 및 우안 시차를 제1 AR 영상 및 제2 AR 영상의 차원으로 변환한 값일 수 있다. 다만, 본 개시에서는 설명의 편의상 제1 위치 조정 값 및 제2 위치 조정 값이 좌안 시차 및 우안 시차인 제3 길이(L3)와 동일하다고 가정하기로 한다.
AR 영상 생성부(395)는 표시 정보 위치 조정부(390)로부터 제공되는 제1 위치 조정 값인 제3 길이(L3)에 기초하여 제1 AR 영상의 표시 정보('자막')의 위치를 중심선(CL)으로부터 우측으로 제3 길이(L3)만큼 이동시킬 수 있다. AR 영상 생성부(395)는 표시 정보 위치 조정부(390)로부터 제공되는 제2 위치 조정 값인 제3 길이(L3)에 기초하여 제2 AR 영상의 표시 정보('자막')의 위치를 중심선(CL)으로부터 좌측으로 제3 길이(L3)만큼 이동시킬 수 있다. 즉, 제1 위치 조정 값과 제2 위치 조정 값은 제3 길이(L3)의 크기와 특정 부호를 가진 값일 수 있고, 특정 부호는 표시 정보를 이동시키는 방향을 나타낼 수 있으며, 표시 정보 위치 조정부(390)에 의해 결정될 수 있다.
따라서, 제1 AR 영상 표시부(420)에는 중심선(CL)으로부터 우측으로 제3 길이(L3)만큼 이동되어 표시 정보가 표시될 수 있으며, 제2 AR 영상 표시부(425)에는 중심선(CL)으로부터 좌측으로 제3 길이(L3)만큼 이동되어 표시 정보가 표시될 수 있다. 즉, 제1 AR 영상에서의 표시 정보의 위치와 제2 AR 영상에서의 표시 정보의 위치는 상이할 수 있다.
도 10을 참조하면, 도 9의 예시에서 사용자가 대상 객체(TOBJ)에 초점을 맞추었을 경우 사용자의 시야(US)가 나타나 있다. 즉, 대상 객체(TOBJ)에 해당하는 양안 시차를 표시 정보(자막)에도 적용한 상태이므로, 표시 정보(자막)가 하나의 상으로 일체감 있게 보여질 수 있다.
본 발명의 일 실시예와 같이 사용자의 시선 방향에 대응하여 표시 정보의 위치가 조정될 수 있는 경우, 실제 객체에 초점을 맞추게 되더라도 AR 영상의 표시 정보의 초점도 맞게 사용자에게 보여질 수 있어, 증강현실의 품질이 향상될 수 있다.
도 11은 본 발명의 일 실시예에 따른 증강현실 제공 장치의 하드웨어 구성을 나타내는 도면이다.
도 11에 도시된 바와 같이, AR 제공 장치(600)는, 중앙 처리 장치(CPU; 610), 입출력부(620), 메모리(630) 및 통신 인터페이스(640)를 포함할 수 있다.
여기서, 중앙 처리 장치(610)는 AR 제공 장치(600)의 각종 처리 및 각 구성을 제어할 수 있다. 입출력부(620)는 사용자와의 사이에서 입력 인터페이스 및 출력 인터페이스를 제공할 수 있다. 메모리(630)는 운영체제 프로그램 및 각종 프로그램(예로서, AR 콘텐츠 반응 평가 프로그램 혹은 AR 콘텐츠 실행 프로그램) 등을 기록한다. 통신 인터페이스(640)는 유무선 통신망을 통해 서버(도 1의 100), 혹은 다른 AR 제공 장치(도 1의 200)와의 통신 기능을 제공할 수 있다. 또한, 도시하지는 않았으나, AR 제공 장치(600)는 각종 정보를 수집하기 위한 센싱 장치를 더 구비할 수 있다.
이에 따라, 본 발명의 실시예에 따른 시스템의 컴퓨터 프로그램은 메모리(630)에 기록되고, 중앙 처리 장치(610)에 의해 처리됨으로써 도 2에서 도시한 각 기능 블록들을 수행하는 모듈로서 구현될 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (14)

  1. 사용자의 정면을 촬영한 실사 영상에 포함된 적어도 하나의 후보 객체를 인식하는 단계;
    상기 적어도 하나의 후보 객체 중 상기 사용자의 시선이 향하는 대상 객체를 결정하는 단계;
    상기 대상 객체에 대한 양안 시차를 계산하는 단계;
    상기 양안 시차에 기초하여 표시 정보의 위치를 조정하는 단계; 및
    상기 표시 정보를 포함하는 AR(Augmented Reality) 영상을 출력하는 단계를 포함하는 증강현실 제공 장치의 동작 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 후보 객체는 딥 러닝(deep learning)을 이용한 이미지 분석 방법을 통해 인식되는 증강현실 제공 장치의 동작 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 후보 객체는 4개의 좌표로 정의되는 객체 영역으로 특정되는 증강현실 제공 장치의 동작 방법.
  4. 제1항에 있어서,
    상기 적어도 하나의 후보 객체는 방향성을 갖는 2개의 각도 범위로 정의되는 객체 영역으로 특정되는 증강현실 제공 장치의 동작 방법.
  5. 제1항에 있어서,
    상기 사용자의 시선이 향하는 대상 객체를 결정하는 단계는,
    안구 추적 센서를 이용해 상기 사용자의 안구에서 동공 위치를 검출하는 단계;
    상기 동공 위치에 대응하는 상기 사용자의 시선 방향을 결정하는 단계; 및
    상기 사용자의 시선 방향과 오버랩되는 상기 대상 객체를 결정하는 단계를 포함하는 증강현실 제공 장치의 동작 방법.
  6. 제1항에 있어서,
    상기 실사 영상은 좌안의 시야를 나타내는 제1 실사 영상 및 우안의 시야를 나타내는 제2 실사 영상을 포함하고,
    상기 사용자의 시선이 향하는 대상 객체를 결정하는 단계는,
    상기 제1 실사 영상과 상기 제2 실사 영상을 비교하는 단계; 및
    비교 결과 상기 사용자의 시야의 중심점을 기준으로 대칭을 이루는 객체를 상기 대상 객체로 결정하는 단계를 포함하는 증강현실 제공 장치의 동작 방법.
  7. 제1항에 있어서,
    상기 대상 객체에 대한 양안 시차를 계산하는 단계는,
    상기 사용자의 좌안과 우안 사이의 양안 거리, 상기 증강현실 제공 장치와 상기 대상 객체와의 거리, 및 상기 좌안 또는 상기 우안과 상기 증강현실 제공 장치 간의 거리를 연산하여 상기 양안 시차를 계산하는 단계를 포함하는 증강현실 제공 장치의 동작 방법.
  8. 제7항에 있어서,
    상기 좌안 또는 상기 우안과 상기 증강현실 제공 장치 간의 거리는, 상기 좌안 또는 상기 우안과 안구 추적 센서가 이루는 각도에 기초하여 산출되는 증강현실 제공 장치의 동작 방법.
  9. 제7항에 있어서,
    상기 좌안 또는 상기 우안과 상기 증강현실 제공 장치 간의 거리는, 일정 거리에 있는 실제 객체와 상기 AR 영상의 가상 객체 간의 원근감 차이에 기초하여 추정되는 증강현실 제공 장치의 동작 방법.
  10. 제1항에 있어서,
    상기 양안 시차에 기초하여 표시 정보의 위치를 조정하는 단계는, 상기 양안 시차에 대응하여 상기 표시 정보의 위치를 상기 AR 영상에서 이동시키는 단계를 포함하는 증강현실 제공 장치의 동작 방법.
  11. 사용자의 정면을 촬영한 실사 영상에 포함된 적어도 하나의 후보 객체를 인식하는 객체 인식부;
    상기 적어도 하나의 후보 객체 중 상기 사용자의 시선이 향하는 대상 객체를 결정하는 대상 객체 결정부;
    상기 대상 객체에 대한 양안 시차를 계산하는 양안 시차 계산부;
    상기 양안 시차에 기초하여 표시 정보의 위치를 조정하는 표시 정보 위치 조정부; 및
    상기 표시 정보를 포함하는 AR(Augmented Reality) 영상을 출력하는 AR 영상 표시부를 포함하는 증강현실 제공 장치.
  12. 제11항에 있어서,
    상기 AR 영상 표시부는, 상기 사용자의 좌안에 제1 AR 영상을 제공하는 제1 AR 영상 표시부와, 상기 사용자의 우안에 제2 AR 영상을 제공하는 제2 AR 영상 표시부를 포함하는 증강현실 제공 장치.
  13. 제12항에 있어서,
    상기 제1 AR 영상에서의 표시 정보의 위치와, 상기 제2 AR 영상에서의 표시 정보의 위치는 상이한 증강현실 제공 장치.
  14. 제12항에 있어서,
    상기 제1 AR 영상 표시부와 상기 제2 AR 영상 표시부가 탑재되는 본체;
    상기 본체의 정면을 향해 배치되어 상기 실사 영상을 획득하는 실사 영상 획득부; 및
    상기 본체의 후면을 향해 배치되어 상기 사용자의 안구를 감지하는 안구 추적 센서를 더 포함하는 증강현실 제공 장치.
KR1020220165065A 2021-11-30 2022-11-30 증강현실 제공 장치 및 이의 동작 방법 KR20230081693A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210168976 2021-11-30
KR20210168976 2021-11-30

Publications (1)

Publication Number Publication Date
KR20230081693A true KR20230081693A (ko) 2023-06-07

Family

ID=86762054

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220165065A KR20230081693A (ko) 2021-11-30 2022-11-30 증강현실 제공 장치 및 이의 동작 방법

Country Status (1)

Country Link
KR (1) KR20230081693A (ko)

Similar Documents

Publication Publication Date Title
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN107683497B (zh) 信息处理设备、信息处理方法及程序
CN107111370B (zh) 现实世界对象的虚拟表示
US9778464B2 (en) Shape recognition device, shape recognition program, and shape recognition method
US20240037880A1 (en) Artificial Reality System with Varifocal Display of Artificial Reality Content
US10999412B2 (en) Sharing mediated reality content
EP2879098A1 (en) Three-dimensional environment sharing system, and three-dimensional environment sharing method
KR20160113139A (ko) 시선 스와이프 선택
KR20160094190A (ko) 시선 추적 장치 및 방법
CN112771856B (zh) 可分离失真视差确定
US11244496B2 (en) Information processing device and information processing method
US11943602B1 (en) Systems and methods for spatial update latency compensation for head-tracked audio
WO2014128751A1 (ja) ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
KR20210096306A (ko) 컴퓨팅 디바이스들 상에서 3-차원 월페이퍼의 생성 및 사용자 상호작용들
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
US20210390780A1 (en) Augmented reality environment enhancement
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
JP6446465B2 (ja) 入出力装置、入出力プログラム、および入出力方法
WO2020044916A1 (ja) 情報処理装置、情報処理方法及びプログラム
GB2546273A (en) Detection system
KR20230081693A (ko) 증강현실 제공 장치 및 이의 동작 방법
JP6479835B2 (ja) 入出力装置、入出力プログラム、および入出力方法
US11442543B1 (en) Electronic devices with monocular gaze estimation capabilities