KR102455306B1 - 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치, 방법 및 컴퓨터프로그램 - Google Patents

스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치, 방법 및 컴퓨터프로그램 Download PDF

Info

Publication number
KR102455306B1
KR102455306B1 KR1020220059713A KR20220059713A KR102455306B1 KR 102455306 B1 KR102455306 B1 KR 102455306B1 KR 1020220059713 A KR1020220059713 A KR 1020220059713A KR 20220059713 A KR20220059713 A KR 20220059713A KR 102455306 B1 KR102455306 B1 KR 102455306B1
Authority
KR
South Korea
Prior art keywords
image
user
computing device
unit
view
Prior art date
Application number
KR1020220059713A
Other languages
English (en)
Inventor
백경창
이명훈
Original Assignee
주식회사 라훔나노테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 라훔나노테크 filed Critical 주식회사 라훔나노테크
Priority to KR1020220059713A priority Critical patent/KR102455306B1/ko
Priority to KR1020220129701A priority patent/KR20230160692A/ko
Application granted granted Critical
Publication of KR102455306B1 publication Critical patent/KR102455306B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/0977—Reflective elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/0988—Diaphragms, spatial filters, masks for removing or filtering a part of the beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

본 발명의 실시예는, 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치에 있어서, 사용자의 머리에 착용되는 착용부와 상기 착용부에서 전방으로 연장되는 브라켓을 포함하는 헤드 마운트 장치; 및 상기 헤드 마운트 장치에 설치되는 컴퓨팅 장치를 포함하며, 상기 헤드 마운트 장치는, 상기 컴퓨팅 장치로 상기 사용자의 전방 뷰를 반사시키는 뷰 반사부; 및 상기 컴퓨팅 장치에서 제공되는 영상을 상기 사용자 눈으로 반사시키는 영상 반사부를 포함하는, 영상 제공 장치를 제공할 수 있다.

Description

스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치, 방법 및 컴퓨터프로그램 {APPARATUS, METHOD, AND COMPUTER PROGRAM FOR PROVIDING VISION USING HEAD MOUNT WORKING WITH A SMARTPHONE}
본 발명은 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치, 방법 및 컴퓨터프로그램에 관한 것이다.
최근 들어, 스마트폰 및 태블릿 PC 등의 발전과 더불어 3D 영상, 가상현실 컨텐츠, 증강현실 콘텐츠 또는 혼합현실 컨텐츠 등이 다양하게 개발되고 있고, 이러한 컨텐츠 영상을 보다 사실적으로 볼 수 있도록 여러 기기들이 다채롭게 보급되고 있다.
가상현실(VR; Virtual Reality)은 컴퓨터시스템으로 생성한 3차원 그래픽 가상공간과 상호 작용하는 기술이고, 증강현실(AR; Augmented Reality)은 현실세계와 가상세계를 결합한 기술로서 실제환경(實際環境)에 가상사물을 겹쳐 원래의 환경에 존재하는 사물처럼 보이도록 하는 기술이며, 혼합현실(MR; Mixed Reality: MR)은 증강현실에 공간인식 및 물체인식 기능을 더하여 현실감을 더욱 증가시킨 기술이다.
가상현실을 구현하는 기기는 현실과 차단된 상태에서 앞을 볼 수 없는 형태로 제작되지만, 증강현실이나 혼합현실을 구현하는 기기는 그 특성상 현실을 볼 수 있는 형태로 투명 광학계로 제작되고 있다.
그리고, 증강현실을 구현하는 기기는 스마트폰, 태블릿 PC 등의 모바일 기기로 구현하는 방식이 있고, 자체 운영체제 및 CPU를 구비한 스마트 글라스 방식이나 스마트 고글 방식 등이 있으며, 모바일 기기 방식은 광학렌즈를 활용하지 않고 화면을 확대 없이 보는 방식과, 광학렌즈를 이용하여 화면을 확대하여 보는, 즉 대화면으로 보는 방식이 있다.
이때, 증강현실의 구현 기기로서 스마트 글라스 방식 및 스마트 고글 방식 등은 자체 운영체제와 CPU, 소형 디스플레이 부품 등의 사용으로 고가인 단점을 안고 있다.
나아가, 스마트폰 및 태블릿 PC 등의 모바일 기기 방식은 손에 들고 화면을 봐야 하므로 장시간 사용시 팔이 아프거나 다른 한 손에 대한 사용자의 행동이 제약되는 문제가 있으며, 볼 수 있는 화면 영역도 모바일 기기의 디스플레이 화면으로 한정된 한계를 안고 있다.
대한민국 공개특허 제10-2014-0045291호 (하나 이상의 반사 광학 표면이 수반된 헤드 장착 디스플레이 장치)
본 발명의 실시예는, 스마트폰이나 태블릿 PC 등의 모바일 기기를 이용하여 가상현실, 증강현실, 혼합현실을 구현할 수 있는, 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치, 방법 및 컴퓨터프로그램를 제공하는데 목적을 가진다.
본 발명의 실시예는, 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치에 있어서, 사용자의 머리에 착용되는 착용부와 상기 착용부에서 전방으로 연장되는 브라켓을 포함하는 헤드 마운트 장치; 및 상기 헤드 마운트 장치에 설치되는 컴퓨팅 장치를 포함하며, 상기 헤드 마운트 장치는, 상기 컴퓨팅 장치로 상기 사용자의 전방 뷰를 반사시키는 뷰 반사부; 및 상기 컴퓨팅 장치에서 제공되는 영상을 상기 사용자 눈으로 반사시키는 영상 반사부를 포함하는, 영상 제공 장치를 제공할 수 있다.
본 발명의 실시예에서, 상기 뷰 반사부는 상기 컴퓨팅 장치의 상측에 위치하며, 상기 영상 반사부는 상기 컴퓨팅 장치의 하측에 위치할 수 있다.
본 발명의 실시예에서, 상기 영상 반사부는 상기 영상을 상기 사용자 눈으로 반사시키면서, 상기 전방 뷰가 상기 사용자 눈에 보이도록 투과시키는 반투과 재질로 형성될 수 있다.
본 발명의 실시예에서, 상기 컴퓨팅 장치는, 프로세서; 통신 인터페이스; 메모리; 후방 카메라; 전방 카메라; 디스플레이부; 및 상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은, 상기 전방 카메라를 통해 상기 뷰 반사부에서 반사된 상기 전방 뷰를 획득하는 과정; 상기 메모리 혹은 상기 통신 인터페이스를 통해 상기 영상을 획득하는 과정; 및 상기 전방 뷰에 기초해 상기 디스플레이부로 제공되는 상기 영상을 상기 영상 반사뷰에 반사시켜 상기 사용자 눈으로 제공하는 과정을 포함할 수 있다.
본 발명의 실시예에서, 상기 컴퓨터 프로그램은, 상기 후방 카메라를 통해 상기 사용자 눈의 위치를 획득하는 과정; 및 상기 사용자 눈의 위치에 기초해 상기 영상을 보정하는 과정을 더 포함할 수 있다.
본 발명의 실시예는, 스마트폰이나 태블릿 PC 등의 모바일 기기를 이용하여 가상현실, 증강현실, 혼합현실을 구현할 수 있는, 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치, 방법 및 컴퓨터프로그램를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치(10)의 사시도이다.
도 2는 본 발명의 실시예에 따른 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치(10)에서 컴퓨팅 장치(100)가 제거된 헤드 마운트 장치(200)의 사시도이다.
도 3은 본 발명의 실시예에 따른 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치(10)의 측면 사시도이다.
도 4은 본 발명의 실시예에서, 안착부와 컴퓨팅 장치 사이의 관계를 도시한 것이다.
도 5는 헤드 마운트 장치(200)에 구비된 컴퓨팅 장치(100)의 하드웨어 구성도이다.
도 6는 본 발명의 실시예에 따른 스마트폰 연동 헤드 마운트를 이용한 영상 제공 방법의 순서도이다.
도 7은 본 발명의 실시예에 따른 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치(10)를 사용하는 사용자를 도시한 것이다.
도 8은 본 발명의 실시예에 따른 컴퓨팅 장치가 외부 컴퓨팅 장치와 연동하는 시스템을 도시한 것이다.
도 9은 외부 컴퓨팅 장치의 하드웨어 구성도이다.
본 발명의 실시예들은 다양한 변경들을 가할 수 있으므로 실시예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 실시예들을 특정한 형태들로 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다. 본 명세서에서 A, B 및 C 중 적어도 하나를 포함한다는 의미는 A, B, 및 C 중 1개 혹은 2개 이상의 다양한 조합을 모두 포함하는 것으로 한다. 예로, {A}, {B}, {C}, {A, B}, {A, C}, {B, C}, {A, B, C} 이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 "모듈"이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 "모듈"은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 "모듈"은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 "모듈"은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 "모듈"은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 "모듈"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 "모듈"들로 결합되거나 추가적인 구성요소들과 "부" 또는 "모듈"들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)" 또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치, 방법 및 컴퓨터프로그램을 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치(10)의 사시도이다. 도 2는 본 발명의 실시예에 따른 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치(10)에서 컴퓨팅 장치(100)가 제거된 헤드 마운트 장치(200)의 사시도이다. 도 3은 본 발명의 실시예에 따른 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치(10)의 측면 사시도이다. 도 4은 본 발명의 실시예에서, 안착부와 컴퓨팅 장치 사이의 관계를 도시한 것이다.
본 발명의 실시예에 따른 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치(10)는, 사용자의 머리에 마운트할 수 있는 헤드 마운트 장치(200)와, 헤드 마운트 장치(100)에 일체로 구비되거나, 착탈 가능하게 안착되게 설치되는 컴퓨팅 장치(100)를 포함할 수 있다.
도 1 내지 도 4를 참조하면, 헤드 마운트 장치(200)는, 컴퓨팅 장치(100)가 안착될 수 있는 브라켓(210), 브라켓(210)를 사용자 머리에 견고하게 고정하기 위한 착용부(220), 사용자 눈에게 영상을 제공하는 영상 반사부(240)를 포함할 수 있다. 나아가, 헤드 마운트 장치(200)는 전방 뷰를 촬영할 수 있는 촬영부를 더 포함할 수 있다.
브라켓(210)은 착용부(220)에서 연장되며, 사용자 머리에서 전방으로 돌출되게 형성될 수 있다. 브라켓(210)은 안착부(212), 영상 개구부(214), 고정부(216)를 포함할 수 있다.
안착부(212)는 컴퓨팅 장치(100)의 전면을 지지할 수 있다. 컴퓨팅 장치(100)의 전면에 디스플레이부(151)가 구비된 경우에, 컴퓨팅 장치(100)의 디스플레이부(151)의 밖의 둘레 부분(예로, 베젤)이 안착부(212)에 지지되어 안착될 수 있으며, 또한 컴퓨팅 장치(100)의 디스플레이부(151) 내부의 둘레 부분(예로, 화면 일부)이 안착부(212)에 지지되어 안착될 수 있다.
이 경우, 컴퓨팅 장치(100)의 디스플레이부(151)가 하측 방향을 향하게 컴퓨팅 장치(100)가 안착부(212)에 지지될 수 있다. 컴퓨팅 장치(100)는 납작한 직육면체 형상을 가질 수 있는 넓은 면적의 양면(전면 및 후면)이 상하 방향으로 놓이게 안착부(212)에 지지될 수 있다.
안착부(212)는 헤드 마운트 장치(200)가 사용자 머리에 바르게 씌어진 경우에 안착부(212)의 평면(혹은 상부면, 지지면)의 법선 방향(VA)은 수직한 방향일 수 있다(도 4 참조). 다양한 실시예에서, 안착부(212)의 평면의 법선 방향(VA)은 사용자 머리를 향해 경사지거나, 사용자의 전방을 향해 경사질 수 있다.
영상 개구부(214)는 안착부(212)의 안쪽에 형성될 수 있다. 다시 말해, 영상 개구부(214)의 적어도 일부 혹은 전체 둘레 부분이 안착부(212)일 수 있다. 컴퓨팅 장치(100)가 안착부(212)에 지지될 경우, 컴퓨팅 장치(100)의 디스플레이부(151)의 영상이 영상 개구부(214)를 통해 하측 방향으로 노출될 수 있다. 다시 말해, 컴퓨팅 장치(100)의 디스플레이부(151)의 영상은 영상 반사부(240)를 향해 디스플레이될 수 있다.
도 2를 참조하면, 고정부(216)는 안착부(212)에 형성되어, 컴퓨팅 장치(100)를 고정할 수 있다. 고정부(216)는 컴퓨팅 장치(100)가 안착부(212) 상에 지지될 경우 전후 방향 혹은 좌우 방향으로 이동하는 것을 제한할 수 있다. 고정부(216)는 클립, 클램프, 슬릿 등으로 컴퓨팅 장치(100)를 고정하거나, 탄성재질로 형성되어 억지끼움 방식으로 고정할 수 있다. 여기서, 고정부(216)는 컴퓨팅 장치(100)의 전면, 후면, 좌측면, 우측면 중 적어도 하나를 지지하도록 안착부(212) 상에 형성될 수 있다.
착용부(220)는 헤드 마운트 장치(200)를 사용자 머리에 착용할 때 고정할 수 있는 역할을 할 수 있다. 착용부(220)는 사용자 머리의 둘레를 수평하게 고정할 수 있는 가로 밴드(220a)와, 사용자 머리의 둘례를 수직하게 고정할 수 있는 세로 밴드(220b)를 포함할 수 있다. 사용자는 사용자 머리에 맞도록 가로 밴드(220a)와 세로 밴드(220b)의 길이를 조절하여 헤드 마운트 장치(200)를 머리에 견고하게 고정할 수 있다.
영상 반사부(240)는 디스플레이부(151)에서 제공되는 영상을 반사시켜서 사용자 눈으로 제공할 수 있다.
영상 반사부(240)는 안착부(212) 보다 하측에 위치하며, 사용자의 눈 전방에 위치할 수 있다. 영상 반사부(240)는 디스플레이부(151) 보다 하측에 위치하며, 디스플레이부(151)의 영상을 반사시킬 수 있다. 이를 통해, 영상 반사부(240)는 안착부(212)의 영상 개구부(214)를 통해 컴퓨팅 장치(100)의 디스플레이부(151)에서 제공되는 영상을 사용자의 눈으로 반사시킬 수 있다. 사용자는 영상 반사부(240)에서 반사된 영상을 시청할 수 있다.
영상 반사부(240)는 상측이 전방으로 경사지게 형성될 수 있다. 영상 반사부(250)의 경사각은 디스플레이부(151)의 법선방향(VB)에 따라 달라질 수 있다.
영상 반사부(240)는 디스플레이부(151)의 영상을 반사하면서, 전방의 뷰를 사용자가 투과하여 볼 수 있도록 반투과 재질로 형성될 수 있다. 즉, 사용자는 영상 반사부(240)를 투과하여 전방 뷰를 볼 수 있는 동시에 디스플레이부(151)에서 제공되어 반사된 영상을 시청할 수도 있다. 이를 통해, 사용자는 가상 세계에서 구현되는 가상현실을 체험하거나 현실세계에 구현되는 증강현실 혹은 혼합현실을 체험할 수 있다.
다양한 실시예에서, 영상 반사부(240)는 사용자의 조작으로 혹은 영상의 종류에 따라서 외부광을 투과 혹은 불투과시킬 수 있다. 예를 들어, 가상현실을 구현할 경우, 영상 반사부(240)는 외부광이 사용자 눈으로 전달되지 않도록 영상 반사부(240)를 불투과성으로 만들고, 영상 반사부(240)에 반사된 영상을 사용자 눈으로 전달한다. 다른 예를 들어, 증강현실 혹은 혼합현실을 구현할 경우, 영상 반사부(240)는 외부광이 사용자 눈으로 전달되어 외부 풍경을 볼 수 있도록 영상 반사부(240)를 투과성으로 만들고, 영상 반사부(240)에 반사된 영상과 영상 반사부(240)를 투과한 외부광을 사용자 눈으로 전달한다.
다양한 실시예에서, 영상 반사부(240)는 브라켓(210)에 영상 반사부 연결부(242)를 통해 연결되어 지지되며, 영상 반사부 연결부(242)를 통해 전기 신호를 받음으로써, 영상 반사부(240)의 투광성 혹은 불투과성 성질이 변경될 수 있다. 영상 반사부(240)는 프로세서(110)에 의해 전기적으로 연결되어 전기 신호를 통해 제어될 수 있다.
한편, 헤드 마운트 장치(200)는 영상 반사부(240)에서 반사된 영상(혹은 영상 반사부(240)를 통해 투과된 외부광)을 제외한 외부광이 사용자 눈으로 유입되어 사용자가 영상 시청을 방해하는 것을 막기 위해, 사용자 눈에게 밀폐 공간을 제공하는 광 차폐부(250)를 포함할 수 있다(도 7 참조). 광 차폐부(250)는 브라켓(210)의 하측으로 결합되고 사용자 눈으로 외부광이 유입되지 않도록 사용자 눈을 감싸는 불투과 재료로 형성될 수 있다.
촬영부는 사용자의 전방 뷰를 촬영할 수 있다. 촬영부는 전방 뷰를 촬영하는 컴퓨팅 장치(100)의 후면 카메라(171b)와, 전방 뷰를 컴퓨팅 장치(100)의 후면 카메라(171b)로 반사시키는 뷰 반사부(230)를 포함할 수 있다.
컴퓨팅 장치(100)의 후면 카메라(171b)는 디스플레이부(151)가 구비된 전면과 대향하는 후면에 설치되며, 상측 방향(혹은 안착부의 법선 방향)을 촬영할 수 있다.
뷰 반사부(230)는 사용자의 전방 뷰를 반사시키기 위해 상단이 전방을 향해 경사지게 구비될 수 있으며, 후면 카메라(171b) 보다 상측에 위치할 수 있다. 뷰 반사부(230)는 반사부(230)의 상단 혹은 하단에 연결된 지지다리(232)를 통해 브라켓(210)의 일단에 고정될 수 있다.
도 2를 참조하면, 지지다리(232)의 일단은 브라켓(210)의 전방에 연결되어 수직 방향을 제1 소정 길이로 연장되고, 후측 방향으로 제1 소정 길이보다 긴 제2 소정 길이로 연결되고, 지지다리(232)의 타단에 뷰 반사부(230)의 하단이 연결될 수 있다. 이 경우, 지지다리(232)는 컴퓨팅 장치(100)의 상단면을 눌러 고정하는 역할을 수행할 수 있다.
다양한 실시예에서, 도시되진 않았지만, 촬영부는 컴퓨팅 장치(100) 혹은 헤드 마운트 장치(200)에 설치되어 전방을 향해 놓여서 전방 뷰를 직접적으로 촬영하는 카메라(미도시)를 포함할 수 있다.
도 5는 헤드 마운트 장치(200)에 구비된 컴퓨팅 장치(100)의 하드웨어 구성도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 컴퓨팅 장치(100)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(141)을 로드(Load)하는 메모리(120), 통신 인터페이스(130) 및 컴퓨터 프로그램(141)을 저장하는 스토리지(140)를 포함할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 적어도 하나의 프로세서(110)를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 브라켓(210)에 착탈 가능하게 설치할 수 있는 스마트폰, 브라켓(210)에 고정 결합되는 디스플레이 장치 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
본 명세서에서 설명되는 각 과정들은 컴퓨팅 장치(100)에 의하여 수행되는 것으로 설명되나, 각 과정의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 과정들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.
또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 컴퓨팅 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
또한, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(140)로부터 컴퓨터 프로그램(141)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(141)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(141)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.
버스(BUS)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(BUS)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(130)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(130)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 예를 들어, 통신 인터페이스(130)는, 근거리 통신, 이동 통신, 방송 통신 방식 중 적어도 하나를 지원할 수 있다. 이를 위해, 통신 인터페이스(130)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(130)는 생략될 수도 있다.
근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다.
스토리지(140)는 컴퓨터 프로그램(141)을 비 임시적으로 저장할 수 있다. 스토리지(140)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(141)은 메모리(120)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 과정들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
나아가, 컴퓨팅 장치(100)는 출력부(150), 센서부(160), A/V입력부(170), 사용자 입력부(180), 배터리(190) 중 적어도 하나를 더 포함할 수 있다.
출력부(150)는 실행되는 프로그램(또는 애플리케이션)에 의해 생성 혹은 실행되는 비디오 신호, 오디오 신호 및 진동 신호 중 적어도 하나를 출력할 수 있다. 출력부(150)는 영상 신호를 출력하는 디스플레이부(151), 오디오 신호를 출력하는 음향 출력부(152), 진동 신호를 출력하는 진동 출력부(153) 중 적어도 하나를 포함할 수 있다. 여기서, 디스플레이부(151)는 컴퓨팅 장치(100)의 전면에 형성될 수 있다.
센싱부(160)는, 컴퓨팅 장치(100)의 상태 또는 컴퓨팅 장치(100) 주변의 상태를 센싱하고, 센싱된 테이터 및/또는 정보를 스토리지(140)에 저장하거나 프로세서(110)로 전달할 수 있다.
센싱부(160)는, 가속도 센서(Acceleration sensor)(161a), 자이로스코프 센서(161b), 모션 센서(161c), 걸음 센서(161d), GPS와 같은 위치 센서부(161e) 중 적어도 하나를 포함할 수 있다. 나아가, 센서부(160)는 자기 센서(Magnetic sensor), 온/습도 센서, 적외선 센서, 기압 센서, 근접 센서, 및 RGB 센서 중 적어도 하나를 더 포함할 수 있다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
A/V(Audio/Video) 입력부(170)는 외부로부터 컴퓨팅 장치(100)로 오디오 신호 또는 비디오 신호의 입력을 위한 것으로, 카메라(171a, 171b)와 마이크로폰(172) 등을 포함할 수 있다. 카메라(171a, 171b)는 화상 통화모드 또는 촬영모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 카메라(171a, 171b)는 컴퓨팅 장치(100)의 전면에 형성된 전면 카메라(171a)와 후면에 형성된 후면 카메라(171b)를 포함할 수 있다. 마이크로폰(172)은 외부의 음향 신호를 입력 받아 전기적인 음향 데이터로 처리하여 저장할 수 있다.
사용자 입력부(180)는, 사용자가 컴퓨팅 장치(100)를 제어하기 위한 사용자 입력 신호 혹은 데이터를 입력하는 수단을 의미한다. 사용자 입력부(180)는 터치 패드(181)(일 예로, 접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등)와, 키 패드(key pad), 전원 버튼, 볼륨 버튼 등과 같은 물리 버튼(182)을 포함할 수 있으나, 이에 한정되는 것은 아니다. 한편, 터치 패드(181)는 디스플레이부(151)와 일체로 형성된 터치스크린일 수 있다.
배터리(190)는 일정한 크기의 용량을 가지며, 유무선을 통해 충전 가능하며, 컴퓨팅 장치(100)의 각 구성 요소들에 전력을 공급할 수 있다.
도 6는 본 발명의 실시예에 따른 스마트폰 연동 헤드 마운트를 이용한 영상 제공 방법의 순서도이다. 도 7은 본 발명의 실시예에 따른 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치(10)를 사용하는 사용자를 도시한 것이다. 도 8은 본 발명의 실시예에 따른 컴퓨팅 장치가 외부 컴퓨팅 장치와 연동하는 시스템을 도시한 것이다. 도 9은 외부 컴퓨팅 장치의 하드웨어 구성도이다.
컴퓨팅 장치(100)는 본 발명의 실시예에 따른 스마트폰 연동 헤드 마운트를 이용한 영상 제공 방법을 수행할 수 있다.
도 6를 참조하면, 본 발명의 실시예에 따른 스마트폰 연동 헤드 마운트를 이용한 영상 제공 방법은, 사용자 눈의 위치를 확인하는 과정(S110), 전방 뷰를 획득하는 과정(S120), 영상을 획득하는 과정(S130), 및 영상을 보정하는 과정(S140), 및 영상을 디스플레이하는 과정(S150) 중 적어도 하나를 포함할 수 있다.
S110 과정에서, 컴퓨팅 장치(100)는 헤드 마운트 장치(200)를 착용한 사용자 눈의 위치를 확인할 수 있다. 다양한 실시예에서, 컴퓨팅 장치(100)는 전면에 형성된 전면 카메라(171a)를 이용하여 영상 반사부(240)에 반사된 사용자의 눈 주변을 촬영할 수 있다. 컴퓨팅 장치(100)는 촬영된 사용자의 이미지를 분석하여 사용자 눈의 위치를 확인할 수 있다. 여기서, 사용자 눈의 위치를 확인하는 이유는 디스플레이부(151)에서 제공하는 영상의 중심이 사용자 눈의 중심에 맞추기 위함이다.
또한, S110과정에서, 컴퓨팅 장치(100)는 헤드 마운트 장치(200)를 착용한 사용자의 시선 방향을 실시간으로 확인할 수 있다. 다양한 실시예에서, 컴퓨팅 장치(100)는 전면 카메라(171a)를 이용하여 영상 반사부(240)에 반사된 사용자의 눈 주변을 실시간을 촬영하고, 촬영된 영상을 분석하여 사용자의 시선 방향을 실시간을 분석할 수 있다. 여기서, 사용자 시선 방향을 확인하는 이유는 디스플레이부(151)에서 제공하는 영상을 사용자 시선 방향에 따라 보정하기 위함이다.
S120 과정에서, 컴퓨팅 장치(100)는 사용자의 전방 뷰를 획득할 수 있다. 다양한 실시예에서, 컴퓨팅 장치(100)는 컴퓨팅 장치(100)의 후면 카메라(171b)를 이용해 뷰 반사부(230)를 통해 반사된 사용자의 전방 뷰(L1)를 촬용할 수 있다. 혹은 컴퓨팅 장치(100)는 전방을 향하는 카메라(미도시)를 이용해 사용자의 전방 뷰를 촬영할 수 있다.
사용자의 전방 뷰(L2)는 사용자 눈으로 보여지는 풍경이다. 다만, 카메라를 통해 촬영된 사용자의 전방 뷰(L1)는 카메라로 촬영된 뷰와 사용자 눈의 이격 거리로 인해 실제 사용자가 바라보는 뷰(L2)와 차이를 가질 수 있다.
여기서, 컴퓨팅 장치(100)는 카메라로 촬영된 사용자의 전방 뷰를 사용자 눈 위치에 기초하여 보정된 사용자의 전방 뷰(L2)를 획득할 수 있다. 보정된 사용자의 전방 뷰는 실제로 사용자가 눈으로 본 전방 뷰와 일치할 수 있다.
S130 과정에서, 컴퓨팅 장치(100)는 사용자에게 제공할 영상을 획득할 수 있다. 다양한 실시예에서, 컴퓨팅 장치(100)는 스토리지(140)에 저장된 영상을 획득할 수 있다. 또한, 컴퓨팅 장치(100)는 통신 인터페이스(130)을 통해 외부 서버를 통해 스트리밍 영상을 획득할 수 있다.
영상은, 그림, 웹툰 등과 같은 이미지, 영화, 드라마, 미디어아트 등과 같은 비디오, 컵, 화분 등과 같은 무생물 정적 객체, 자동차, 비행기 등과 같은 무생물 동적 객체, 강아지, 식물 등과 같은 생물 객체, 반응형 아바타 등과 같이 상호 작용이 가능한 반응형 객체 중 적어도 하나 혹은 2 이상의 조합을 포함할 수 있다. 또한, 영상은 카메라(171a, 171b)를 통해 촬영된 이미지, 동영상, 실시간 동영상을 포함할 수 있다.
도 8을 참조하면, 다양한 실시예에서, 컴퓨팅 장치(100)는 통신 인터페이스(130)를 통해 외부 컴퓨팅 장치(300)로부터 영상을 획득할 수 있다. 이 경우, 컴퓨팅 장치(100)는 외부 컴퓨팅 장치(300)와 근거리 통신 기술을 이용해 연결된 상태일 수 있다. 예를 들어, 근거리 통신 기술은 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
S140 과정에서, 컴퓨팅 장치(100)는 획득한 영상을 보정할 수 있다. 다양한 실시예에서, 컴퓨팅 장치(100)는 사용자 눈의 위치에 따라 영상의 중심 위치를 보정할 수 있다. 혹은, 컴퓨팅 장치(100)는 사용자 시선에 따라 영상의 중심 위치를 보정할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 보정된 전방 뷰에 따라 영상의 위치를 보정할 수 있다. 예를 들어, 보정된 전방 뷰가 쇼파가 높인 거실 풍경인 경우, 컴퓨팅 장치(100)가 영상에 포함된 강아지 객체의 위치를 쇼파 위에 놓이도록 영상 내지 영상 속 강아지 객체의 위치를 조절함으로써, 실제 강아지가 쇼파 위에 있는 것 과 같은 체험을 제공할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 카메라(171a, 171b)를 통해 촬영된 이미지, 동영상 혹은 실시간 동영상을 확대하거나 축소하는 보정을 할 수 있다.
S150 과정에서, 컴퓨팅 장치(100)는 영상을 디스플레이부(151)를 통해 제공함으로써, 영상 반사부(240)에 반사된 영상이 사용자 눈에 제공될 수 있도록 한다(L3).
다양한 실시예에서, 컴퓨팅 장치(100)는 디스플레이부(151) 및 음향 출력부(152)를 통해 인터넷 강의와 같은 동영상을 제공할 수 있다.
게다가, 도 6를 참조하면, 본 발명의 실시예에 따른 스마트폰 연동 헤드 마운트를 이용한 영상 제공 방법은, 사용자 음성을 인식하는 과정(S160), 및 사용자 음성에 따른 과정을 수행하는 과정(S170)을 더 포함할 수 있다.
S160 과정에서, 컴퓨팅 장치(100)는 사용자 음성을 실시간으로 인식할 수 있다. 다양한 실시예에서, 컴퓨팅 장치(100)는 마이크로폰(172)를 통해 사용자 음성을 녹음할 수 있으며, 음성 인식 인공지능 모듈을 이용하여 사용자 음성을 인식할 수 있다.
S170 과정에서, 컴퓨팅 장치(100)는 사용자 음성에 따른 과정을 수행할 수 있다. 다양한 실시예에서, 컴퓨팅 장치(100)는 인식된 사용자 음성으로부터 사용자 명령을 판단하고, 사용자 명령에 따라 기 설정된 과정을 수행할 수 있다. 예를 들어, 인식된 사용자 음성이 "지금 몇시야?"인 경우 사용자 명령은 '현재 시각을 보여주기'로 판단할 수 있으며, 컴퓨팅 장치(100)는 디스플레이부(151)로 현재 시각 정보를 사용자에게 제공하는 과정을 수행할 수 있다.
게다가, 도 6를 참조하면, 본 발명의 실시예에 따른 스마트폰 연동 헤드 마운트를 이용한 영상 제공 방법은, 사용자 동작을 인식하는 과정(S180), 및 사용자 동작에 따른 과정을 수행하는 과정(S190)을 더 포함할 수 있다.
S180 과정에서, 컴퓨팅 장치(100)는 사용자 동작을 실시간으로 인식할 수 있다. 다양한 실시예에서, 컴퓨팅 장치(100)는 센서부(160)의 다양한 센서들에 의해 센싱된 사용자의 동작 데이터와, 카메라(171a, 171b)를 통해 촬영된 사용자의 얼굴 표정 등을 이용하여 사용자가 취하고 있는 몸 동작, 손 동작, 얼굴 표정 등을 인식할 수 있다.
S190 과정에서, 컴퓨팅 장치(100)는 사용자 동작에 따른 과정을 수행할 수 있다. 다양한 실시예에서, 컴퓨팅 장치(100)는 인식된 사용자 동작(예로, 몸 동작, 손 동작, 얼굴 표정 등)으로부터 사용자 명령을 판단하고, 사용자 명령에 따라 기 설정된 과정을 수행할 수 있다. 예를 들어, 인식된 사용자 동작이 '영상에서 보여지는 객체를 선택하는 손 동작'이라면, 사용자 명령은 '객체를 선택하기'로 판단할 수 있으며, 컴퓨팅 장치(100)는 디스플레이부(151)로 선택된 객체와 관련된 특정 과정을 수행할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 디스플레이부(151), 음향 출력부(152), 센서부(160), 카메라(171a, 171b), 및 마이크로폰(172)를 통해 반응형 아바타를 사용자에게 제공하고, 사용자의 음성 및 동작을 인식하여 인식된 음성 및 동작에 대응하는 특정 동작을 수행하도록 반응형 아바타의 동영상을 제공함으로써, 반응형 아바타와 상호 작용하는 체험을 제공할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 사용자가 말하는 영어를 인식하고, 인식된 영어에 대응하는 영어로 대답하는 반응형 아바타를 사용자에게 제공함으로써, 일방적 영어 학습이 아닌 실생활에서 사용 가능한 쌍방향 영어 학습을 제공할 수 있다.
또한, 컴퓨팅 장치(100)는 영상을 통해, 반응형 아바타를 통해 특정 광고를 제공하고, 사용자의 음성 혹은 동작을 통해 특정 광고에 관한 가상현실, 증강현실, 혼합현실을 체험할 수 있는 메타버스 광고 플랫폼을 사용자에게 제공할 수 있다.
또한, 컴퓨팅 장치(100)는 디스플레이부(151)를 통해 3차원 미디어아트를 사용자에게 제공함으로써, 영상 제공 장치(10)는 사용자의 틱장애, 우울증 등과 같은 문제를 치료할 수 있는 의료 기기로도 제공될 수 있다.
도 9을 참조하면, 외부 컴퓨팅 장치(300)는 헤드 마운트 장치(200)에 결합되어 사용자에게 영상을 제공하는 컴퓨팅 장치(100)와 무선 통신으로 영상을 송신하거나, 컴퓨팅 장치(100)의 작동을 제어할 수 있다. 예를 들어, 외부 컴퓨팅 장치(300)는 컴퓨팅 장치(100)에서 영상을 플레이하거나 정지하는 동작, 영상의 종류를 선택하는 동작 등을 수행할 수 있다.
다양한 실시예에서, 외부 컴퓨팅 장치(300)와 컴퓨팅 장치(100)가 연동된 경우, 외부 컴퓨팅 장치(300)에서 컴퓨팅 장치(100)로 송신된 제어 신호에 의해 컴퓨팅 장치(100)는 자동으로 온오프되어 제어 신호에 따른 영상을 사용자에게 제공할 수 있다.
다양한 실시예에서, 외부 컴퓨팅 장치(300)와 컴퓨팅 장치(100)가 연동된 경우, 외부 컴퓨팅 장치(300)는 컴퓨팅 장치(100)를 제어하는 리모 콘트롤러 역할을 수행할 수 있다. 예를 들어, 컴퓨팅 장치(100)의 소리 크기, 영상 속도, 영상 종류, 등을 제어할 수 있다.
이 경우, 외부 컴퓨팅 장치(300)는 스마트폰, 태블릿 PC 와 같이 실생활에서 누구나 사용하는 전자 장치일 수 있으며, 외부 컴퓨팅 장치(300)에 설치된 프로그램을 통해 컴퓨팅 장치(100)를 제어하거나, 영상을 송출할 수 있다. 또한, 이 경우, 컴퓨팅 장치(100)는 영상을 수신할 수 있는 통신 인터페이스(130), 수신된 영상을 디스플레이하는 디스플레이부(100), 영상 속 음향을 출력하는 음향 출력부(352), 컴퓨팅 장치(100)의 구성요소를 제어하는 프로세서(110)와 같이 최소한의 구성요소로만 이뤄질 수 있다.
외부 컴퓨팅 장치(300)는 스마트폰, 테블릿PC, 데스크탑, 노트북, 웨어러블 장치 등을 포함할 수 있다. 다양한 실시예에서, 외부 컴퓨팅 장치(300)는 적어도 하나의 프로세서(310)를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다.
다양한 실시예에서, 외부 컴퓨팅 장치(300)는 프로세서(310), 메모리(320), 통신 인터페이스(330), 출력부(350), 센서부(360), A/V 입력부(370), 사용자 입력부(380), 배터리(390) 중 적어도 하나를 포함할 수 있다. 외부 컴퓨팅 장치(300)의 각 구성요소들은 컴퓨팅 장치(100)의 각 구성요소들의 설명을 그대로 적용할 수 있으므로, 자세한 설명은 생략하기로 한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : 컴퓨팅 장치
200 : 헤드 마운트 장치
300 : 외부 컴퓨팅 장치

Claims (5)

  1. 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치에 있어서,
    사용자의 머리에 착용되는 착용부와 상기 착용부에서 전방으로 연장되는 브라켓을 포함하는 헤드 마운트 장치; 및
    상기 헤드 마운트 장치에 설치되며, 프로세서; 통신 인터페이스; 메모리; 일면에 구비된 후면 카메라; 타면에 구비된 전면 카메라; 상기 전면 카메라와 동일한 타면에 구비된 디스플레이부; 및 상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하는 컴퓨팅 장치를 포함하며,
    상기 헤드 마운트 장치는,
    상기 컴퓨팅 장치의 상측에 위치하며, 상기 컴퓨팅 장치로 상기 사용자의 전방 뷰를 반사시키는 뷰 반사부; 및
    상기 컴퓨팅 장치의 하측에 위치하며, 상기 컴퓨팅 장치에서 제공되는 영상을 상기 사용자 눈으로 반사시키는 영상 반사부를 포함하는,
    상기 컴퓨터 프로그램은,
    상기 후면 카메라를 통해 상기 뷰 반사부에서 반사된 상기 전방 뷰를 획득하는 과정;
    상기 메모리 혹은 상기 통신 인터페이스를 통해 상기 영상을 획득하는 과정;
    상기 전면 카메라를 통해 상기 영상 반사부에 반사된 상기 사용자 눈을 촬영하고, 촬영된 이미지에 기초해 상기 사용자 눈의 위치를 획득하는 과정; 및
    상기 전방 뷰 및 상기 사용자 눈의 위치에 기초해 상기 디스플레이부로 제공되는 상기 영상을 보정하여 상기 영상 반사부에 반사시켜 상기 사용자 눈으로 제공하는 과정을 포함하는, 영상 제공 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 영상 반사부는 상기 영상을 상기 사용자 눈으로 반사시키면서, 상기 전방 뷰가 상기 사용자 눈에 보이도록 투과시키는 반투과 재질로 형성되는, 영상 제공 장치.
  4. 삭제
  5. 삭제
KR1020220059713A 2022-05-16 2022-05-16 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치, 방법 및 컴퓨터프로그램 KR102455306B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220059713A KR102455306B1 (ko) 2022-05-16 2022-05-16 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치, 방법 및 컴퓨터프로그램
KR1020220129701A KR20230160692A (ko) 2022-05-16 2022-10-11 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치, 방법 및 컴퓨터프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220059713A KR102455306B1 (ko) 2022-05-16 2022-05-16 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치, 방법 및 컴퓨터프로그램

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220129701A Division KR20230160692A (ko) 2022-05-16 2022-10-11 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치, 방법 및 컴퓨터프로그램

Publications (1)

Publication Number Publication Date
KR102455306B1 true KR102455306B1 (ko) 2022-10-19

Family

ID=83804698

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220059713A KR102455306B1 (ko) 2022-05-16 2022-05-16 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치, 방법 및 컴퓨터프로그램
KR1020220129701A KR20230160692A (ko) 2022-05-16 2022-10-11 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치, 방법 및 컴퓨터프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220129701A KR20230160692A (ko) 2022-05-16 2022-10-11 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치, 방법 및 컴퓨터프로그램

Country Status (1)

Country Link
KR (2) KR102455306B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120050144A1 (en) * 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
KR20140045291A (ko) 2010-12-28 2014-04-16 록히드 마틴 코포레이션 하나 이상의 반사 광학 표면이 수반된 헤드 장착 디스플레이 장치
US20140104692A1 (en) * 2012-10-11 2014-04-17 Sony Computer Entertainment Europe Limited Head mountable display
KR20170037210A (ko) * 2015-09-25 2017-04-04 삼성전자주식회사 체결 장치 및 이를 포함하는 헤드 마운트 장치
US20180206720A1 (en) * 2014-08-08 2018-07-26 The Johns Hopkins University Head-mounted indirect opthalmoscope camera
KR20220056197A (ko) * 2019-08-28 2022-05-04 엘지전자 주식회사 전자 디바이스

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120050144A1 (en) * 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
KR20140045291A (ko) 2010-12-28 2014-04-16 록히드 마틴 코포레이션 하나 이상의 반사 광학 표면이 수반된 헤드 장착 디스플레이 장치
US20140104692A1 (en) * 2012-10-11 2014-04-17 Sony Computer Entertainment Europe Limited Head mountable display
US20180206720A1 (en) * 2014-08-08 2018-07-26 The Johns Hopkins University Head-mounted indirect opthalmoscope camera
KR20170037210A (ko) * 2015-09-25 2017-04-04 삼성전자주식회사 체결 장치 및 이를 포함하는 헤드 마운트 장치
KR20220056197A (ko) * 2019-08-28 2022-05-04 엘지전자 주식회사 전자 디바이스

Also Published As

Publication number Publication date
KR20230160692A (ko) 2023-11-24

Similar Documents

Publication Publication Date Title
US11828940B2 (en) System and method for user alerts during an immersive computer-generated reality experience
JP7408678B2 (ja) 画像処理方法およびヘッドマウントディスプレイデバイス
US9479736B1 (en) Rendered audiovisual communication
US10284817B2 (en) Device for and method of corneal imaging
US11487354B2 (en) Information processing apparatus, information processing method, and program
US20200211512A1 (en) Headset adjustment for optimal viewing
US11733956B2 (en) Display device sharing and interactivity
US11423604B2 (en) Method and device for tailoring a synthesized reality experience to a physical setting
WO2021103990A1 (zh) 显示方法、电子设备及系统
US20220270335A1 (en) Computationally efficient model selection
US20230288701A1 (en) Sensor emulation
KR102455306B1 (ko) 스마트폰 연동 헤드 마운트를 이용한 영상 제공 장치, 방법 및 컴퓨터프로그램
US20230377249A1 (en) Method and Device for Multi-Camera Hole Filling
US11468611B1 (en) Method and device for supplementing a virtual environment
KR102611770B1 (ko) 헤드 마운트 장치를 이용한 3d 영상 제공 장치 및 3d 영상 제공 장치에 사용되는 무안경 3d 필름층을 제조하기 위한 몰드 제조 방법
US20240104862A1 (en) Spatially aware playback for extended reality content
US11373323B2 (en) Spatial relationships of point cloud clusters
US20240211035A1 (en) Focus adjustments based on attention
EP4273613A1 (en) Head mounted display device, operating method for device, and storage medium
US11496723B1 (en) Automatically capturing a moment
US12039659B2 (en) Method and device for tailoring a synthesized reality experience to a physical setting
US20220180473A1 (en) Frame Rate Extrapolation
US11308716B1 (en) Tailoring a computer-generated reality experience based on a recognized object
US20230334676A1 (en) Adjusting Display of an Image based on Device Position
US12033240B2 (en) Method and device for resolving focal conflict

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant