KR20170014451A - 시야 확보 시스템, 방법 및 이를 수행하기 위한 단말 - Google Patents

시야 확보 시스템, 방법 및 이를 수행하기 위한 단말 Download PDF

Info

Publication number
KR20170014451A
KR20170014451A KR1020150107847A KR20150107847A KR20170014451A KR 20170014451 A KR20170014451 A KR 20170014451A KR 1020150107847 A KR1020150107847 A KR 1020150107847A KR 20150107847 A KR20150107847 A KR 20150107847A KR 20170014451 A KR20170014451 A KR 20170014451A
Authority
KR
South Korea
Prior art keywords
augmented reality
reality data
terminal
image
optical module
Prior art date
Application number
KR1020150107847A
Other languages
English (en)
Inventor
윤용근
유제영
홍성현
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020150107847A priority Critical patent/KR20170014451A/ko
Publication of KR20170014451A publication Critical patent/KR20170014451A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

시야 확보 시스템, 방법 및 이를 수행하기 위한 단말이 제공된다. 본 발명의 일 실시예에 따른 시야 확보 시스템은, 전방의 영상을 획득하는 광학 모듈을 구비하며, 상기 광학 모듈의 위치 및 방향을 측정하는 단말; 및 상기 광학 모듈의 위치 및 방향에 관한 정보를 상기 단말로부터 수신하며, 상기 단말의 요청에 따라 상기 광학 모듈의 위치 및 방향에 대응되는 증강 현실 데이터를 상기 단말로 송신하는 서버를 포함하며, 상기 증강 현실 데이터는, 상기 영상에 포함된 오브젝트의 윤곽선과 연관되는 가상 이미지를 포함하며, 상기 단말은, 상기 가상 이미지를 상기 영상에 합성하여 출력한다.

Description

시야 확보 시스템, 방법 및 이를 수행하기 위한 단말{SYSTEM AND METHOD FOR SECURING A CLEAR VIEW, AND TERMINAL FOR PERFORMING THE SAME}
본 발명의 실시예들은 사용자의 시야가 제한되는 상황에서 효율적으로 시야를 확보할 수 있는 기술과 관련된다.
사람의 시야는 사람이 눈을 움직이지 않고 볼 수 있는 범위로서, 시신경으로부터 인지된 가시광선을 뇌로 전달하는 과정을 통해 형성된다. 그러나, 사람의 시야는 기상 악화(폭우, 폭설, 안개 등), 화재, 수중 환경(바다속 등) 등과 같은 여러 주변 환경으로 인해 제한될 수 있으며, 제한된 시야는 사람의 상황 판단을 위한 정보의 양을 축소시킬 수 있다. 이에 따라, 건물 내 화재, 운전 중 짙은 안개, 부유물로 인한 수중 환경의 오염 등과 같이 사람의 시야가 제한되는 상황에서, 화상, 차량 충돌 및 차선 이탈, 수중 바위와의 충돌 등과 같은 여러 사고가 발생할 수 있으며, 현재까지는 이러한 문제를 해결하기보다는 이러한 상황을 최대한 피해가는 방향으로 논의되고 있다.
한국공개특허공보 제10-2012-0071203호(2012.07.02)
본 발명의 실시예들은 획득한 영상에 가상 이미지를 합성하여 출력하도록 함으로써 사용자가 효율적으로 시야를 확보할 수 있는 수단을 제공하기 위한 것이다.
본 발명의 예시적인 실시예에 따르면, 전방의 영상을 획득하는 광학 모듈을 구비하며, 상기 광학 모듈의 위치 및 방향을 측정하는 단말; 및 상기 광학 모듈의 위치 및 방향에 관한 정보를 상기 단말로부터 수신하며, 상기 단말의 요청에 따라 상기 광학 모듈의 위치 및 방향에 대응되는 증강 현실 데이터를 상기 단말로 송신하는 서버를 포함하며, 상기 증강 현실 데이터는, 상기 영상에 포함된 오브젝트의 윤곽선과 연관되는 가상 이미지를 포함하며, 상기 단말은, 상기 가상 이미지를 상기 영상에 합성하여 출력하는, 시야 확보 시스템이 제공된다.
상기 서버는, 상기 증강 현실 데이터의 존재 여부를 판단하며, 상기 단말은, 상기 증강 현실 데이터가 상기 서버에 존재하지 않는 경우 상기 가상 이미지를 포함하는 신규 증강 현실 데이터를 생성하고, 상기 신규 증강 현실 데이터에 포함된 상기 가상 이미지를 상기 영상에 합성하여 출력할 수 있다.
상기 단말은, 상기 광학 모듈을 이용하여 상기 오브젝트와 상기 광학 모듈과의 거리를 감지하고, 감지된 상기 거리로부터 상기 오브젝트의 윤곽선을 획득하여 상기 신규 증강 현실 데이터를 생성할 수 있다.
상기 단말은, 상기 영상을 분석하여 상기 영상에 포함된 상기 오브젝트의 픽셀들 간의 색상 차이를 감지하고, 감지된 상기 색상 차이로부터 상기 오브젝트의 윤곽선을 획득하여 상기 신규 증강 현실 데이터를 생성할 수 있다.
상기 단말은, 상기 신규 증강 현실 데이터를 상기 서버에 업로드하며, 상기 서버는, 타 단말의 요청에 따라 상기 신규 증강 현실 데이터를 상기 타 단말로 송신할 수 있다.
상기 단말은, 지피에스(GPS) 모듈, 움직임 센서, 방향 센서, 와이파이(Wi-fi) 모듈, 블루투스 모듈 및 고도 측정기 중 적어도 하나를 이용하여 상기 광학 모듈의 위치 및 방향을 측정할 수 있다.
상기 단말은, 헤드 마운티드 디스플레이(HMD : Head Mounted Display)일 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 전방의 영상을 획득하는 광학 모듈; 상기 광학 모듈의 위치 및 방향을 측정하는 측정 모듈; 상기 광학 모듈의 위치 및 방향에 관한 정보를 서버로 송신하며, 상기 광학 모듈의 위치 및 방향에 대응되되 상기 영상에 포함된 오브젝트의 윤곽선과 연관되는 가상 이미지를 포함하는 증강 현실 데이터를 상기 서버로부터 수신하는 송수신 모듈; 및 상기 가상 이미지를 상기 영상에 합성하여 출력하는 출력 모듈을 포함하는, 단말이 제공된다.
상기 송수신 모듈은, 상기 증강 현실 데이터의 존재 여부를 상기 서버로 질의하며, 상기 단말은, 상기 증강 현실 데이터가 상기 서버에 존재하지 않는 경우 상기 가상 이미지를 포함하는 신규 증강 현실 데이터를 생성하는 생성 모듈을 더 포함하며, 상기 출력 모듈은, 상기 신규 증강 현실 데이터에 포함된 상기 가상 이미지를 상기 영상에 합성하여 출력할 수 있다.
상기 생성 모듈은, 상기 광학 모듈을 통해 상기 오브젝트와 상기 광학 모듈과의 거리를 감지하고, 감지된 상기 거리로부터 상기 오브젝트의 윤곽선을 획득하여 상기 신규 증강 현실 데이터를 생성할 수 있다.
상기 생성 모듈은, 상기 영상을 분석하여 상기 영상에 포함된 상기 오브젝트의 픽셀들 간의 색상 차이를 감지하고, 감지된 상기 색상 차이로부터 상기 오브젝트의 윤곽선을 획득하여 상기 신규 증강 현실 데이터를 생성할 수 있다.
상기 송수신 모듈은, 상기 신규 증강 현실 데이터를 상기 서버에 업로드할 수 있다.
상기 측정 모듈은, 지피에스(GPS) 모듈, 움직임 센서, 방향 센서, 와이파이(Wi-fi) 모듈, 블루투스 모듈 및 고도 측정기 중 적어도 하나를 이용하여 상기 광학 모듈의 위치 및 방향을 측정할 수 있다.
상기 단말은, 헤드 마운티드 디스플레이(HMD : Head Mounted Display)일 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 전방의 영상을 획득하는 광학 모듈을 구비하는 단말에서, 상기 광학 모듈의 위치 및 방향을 측정하는 단계; 상기 단말에서, 상기 광학 모듈의 위치 및 방향에 관한 정보를 서버로 송신하는 단계; 상기 서버에서, 상기 단말의 요청에 따라 상기 광학 모듈의 위치 및 방향에 대응되되 상기 영상에 포함된 오브젝트의 윤곽선과 연관되는 가상 이미지를 포함하는 증강 현실 데이터를 상기 단말로 송신하는 단계; 및 상기 단말에서, 상기 가상 이미지를 상기 영상에 합성하여 출력하는 단계를 포함하는, 시야 확보 방법이 제공된다.
상기 광학 모듈의 위치 및 방향에 관한 정보를 서버로 송신하는 단계 이후, 상기 서버에서, 상기 증강 현실 데이터의 존재 여부를 판단하는 단계; 상기 단말에서, 상기 증강 현실 데이터가 상기 서버에 존재하지 않는 경우 상기 가상 이미지를 포함하는 신규 증강 현실 데이터를 생성하는 단계; 및 상기 단말에서, 상기 신규 증강 현실 데이터에 포함된 상기 가상 이미지를 상기 영상에 합성하여 출력하는 단계를 더 포함할 수 있다.
상기 신규 증강 현실 데이터를 생성하는 단계는, 상기 광학 모듈을 이용하여 상기 오브젝트와 상기 광학 모듈과의 거리를 감지하고, 감지된 상기 거리로부터 상기 오브젝트의 윤곽선을 획득하여 상기 신규 증강 현실 데이터를 생성할 수 있다.
상기 신규 증강 현실 데이터를 생성하는 단계는, 상기 영상을 분석하여 상기 영상에 포함된 상기 오브젝트의 픽셀들 간의 색상 차이를 감지하고, 감지된 상기 색상 차이로부터 상기 오브젝트의 윤곽선을 획득하여 상기 신규 증강 현실 데이터를 생성할 수 있다.
상기 신규 증강 현실 데이터를 생성하는 단계 이후, 상기 단말에서, 상기 신규 증강 현실 데이터를 상기 서버에 업로드하는 단계; 및 상기 서버에서, 타 단말의 요청에 따라 상기 신규 증강 현실 데이터를 상기 타 단말에 송신하는 단계를 더 포함할 수 있다.
상기 광학 모듈의 위치 및 방향을 측정하는 단계는, 지피에스(GPS) 모듈, 움직임 센서, 방향 센서, 와이파이(Wi-fi) 모듈, 블루투스 모듈 및 고도 측정기 중 적어도 하나를 이용하여 상기 광학 모듈의 위치 및 방향을 측정할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 광학 모듈에서, 전방의 영상을 획득하는 단계; 측정 모듈에서, 상기 광학 모듈의 위치 및 방향을 측정하는 단계; 송수신 모듈에서, 상기 광학 모듈의 위치 및 방향에 관한 정보를 서버로 송신하는 단계; 및 상기 송수신 모듈에서, 상기 광학 모듈의 위치 및 방향에 대응되되 상기 영상에 포함된 오브젝트의 윤곽선과 연관되는 가상 이미지를 포함하는 증강 현실 데이터를 상기 서버로부터 수신하는 단계; 및 출력 모듈에서, 상기 가상 이미지를 상기 영상에 합성하여 출력하는 단계를 포함하는, 시야 확보 방법이 제공된다.
상기 광학 모듈의 위치 및 방향을 측정하는 단계 이후, 상기 송수신 모듈에서, 상기 증강 현실 데이터의 존재 여부를 상기 서버로 질의하는 단계; 생성 모듈에서, 상기 증강 현실 데이터가 상기 서버에 존재하지 않는 경우 상기 가상 이미지를 포함하는 신규 증강 현실 데이터를 생성하는 단계; 및 상기 출력 모듈에서, 상기 신규 증강 현실 데이터에 포함된 상기 가상 이미지를 상기 영상에 합성하여 출력하는 단계를 더 포함할 수 있다.
상기 신규 증강 현실 데이터를 생성하는 단계는, 상기 광학 모듈을 이용하여 상기 오브젝트와 상기 광학 모듈과의 거리를 감지하고, 감지된 상기 거리로부터 상기 오브젝트의 윤곽선을 획득하여 상기 신규 증강 현실 데이터를 생성할 수 있다.
상기 신규 증강 현실 데이터를 생성하는 단계는, 상기 영상을 분석하여 상기 영상에 포함된 상기 오브젝트의 픽셀들 간의 색상 차이를 감지하고, 감지된 상기 색상 차이로부터 상기 오브젝트의 윤곽선을 획득하여 상기 신규 증강 현실 데이터를 생성할 수 있다.
상기 신규 증강 현실 데이터를 생성하는 단계 이후, 상기 송수신 모듈에서, 상기 신규 증강 현실 데이터를 상기 서버에 업로드하는 단계를 더 포함할 수 있다.
상기 광학 모듈의 위치 및 방향을 측정하는 단계는, 지피에스(GPS) 모듈, 움직임 센서, 방향 센서, 와이파이(Wi-fi) 모듈, 블루투스 모듈 및 고도 측정기 중 적어도 하나를 이용하여 상기 광학 모듈의 위치 및 방향을 측정할 수 있다.
본 발명의 실시예들에 따르면, 단말을 통해 획득한 영상에 오브젝트의 윤곽선과 연관되는 가상 이미지를 합성하여 출력하도록 함으로써, 화재, 안개, 폭우 등으로 인해 시야가 제한되는 환경에서 사용자가 전방의 오브젝트를 용이하게 인지할 수 있다.
또한, 본 발명의 실시예들에 따르면, 증강 현실 데이터가 서버에 저장되어 있지 않은 경우 단말이 해당 위치 및 방향에 대응되는 신규 증강 현실 데이터를 스스로 생성하여 서버에 업로드하도록 함으로써, 다양한 위치 및 방향에 대응되는 증강 현실 데이터를 서버에서 다량 확보할 수 있다.
도 1은 본 발명의 일 실시예에 따른 시야 확보 시스템의 상세 구성을 나타낸 블록도
도 2는 본 발명의 제1 실시예에 따른 단말의 예시도
도 3은 본 발명의 제2 실시예에 따른 단말의 예시도
도 4는 본 발명의 실시예들에 따른 단말의 상세 구성을 나타낸 블록도
도 5는 주변 환경으로 인해 사용자의 시야가 제한되는 상황을 나타낸 예시도
도 6은 본 발명의 실시예들에 따른 단말을 통해 사용자의 시야가 확보되는 상황을 나타낸 예시도
도 7은 본 발명의 일 실시예에 따른 시야 확보 방법을 설명하기 위한 흐름도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 시야 확보 시스템(100)의 상세 구성을 나타낸 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 시야 확보 시스템(100)은 하나 이상의 단말(102) 및 서버(104)를 포함한다.
단말(102)은 전방의 영상을 획득하고, 획득한 영상에 가상 이미지를 합성하여 출력하기 위한 장치로서, 예를 들어 스마트폰, 노트북, 태블릿 컴퓨터, PDA, 스마트 글래스(smart glass), 스마트 고글(smart goggles) 등과 같은 웨어러블 디바이스 등이 될 수 있다. 또한, 단말(102)은 헤드 마운티드 디스플레이(HMD : Head Mounted Display)일 수 있으며, 이 경우 사용자 눈 앞의 영상을 사용자에게 곧바로 제공할 수 있다.
단말(102)은 영상 획득을 위한 광학 모듈(미도시)을 구비할 수 있다. 광학 모듈은 예를 들어, 비디오 카메라, 캠코더, 뎁스 카메라(depth camera)(또는 적외선 카메라) 등이 될 수 있으며, 단말(102)의 일측에 장착될 수 있다. 단말(102)은 광학 모듈을 통해 사용자 전방의 영상을 획득할 수 있으며, 상기 영상에는 오브젝트가 하나 이상 포함될 수 있다. 여기서, 오브젝트는 출입문, 벽, 도로, 복도, 지형 지물 등과 같이 3차원 형상을 갖는 객체뿐 아니라 도로의 차선, 표지판 기호 등과 같이 2차원 형상을 갖는 객체를 모두 포함하는 넓은 의미로 사용된다.
단말(102)은 광학 모듈을 통해 획득한 영상을 출력할 수 있다. 다만, 화재, 안개, 폭우 등으로 인해 사용자의 시야가 제한되는 경우, 광학 모듈을 통해 획득한 영상이 뿌옇게 흐려지는 등 사용자에게 잘 보이지 않을 수 있다. 이에 따라, 본 발명의 실시예들에서는 사용자의 시야가 제한되는 상황에서 효율적으로 시야를 확보할 수 있도록 단말(102)이 획득한 영상에 가상 이미지를 합성하여 출력하도록 구성된다.
이를 위해, 단말(102)에는 서버(104)로부터 제공되는 애플리케이션이 미리 설치되어 있을 수 있으며, 단말(102)은 사용자의 애플리케이션 실행에 따라 서버(104)에 접속할 수 있다. 이후, 단말(102)은 광학 모듈의 위치 및 방향을 측정하고, 측정된 광학 모듈의 위치 및 방향에 관한 정보를 서버(104)로 송신할 수 있다. 여기서, 광학 모듈의 위치는 3차원 공간 상에서 광학 모듈이 위치하는 지점으로서, 광학 모듈의 위치에 관한 정보는 광학 모듈이 위치하는 지점의 위도, 경도 및 고도 정보를 포함할 수 있다. 또한, 광학 모듈의 방향은 3차원 공간 상에서 광학 모듈이 향하고 있는 방향으로서, 광학 모듈이 향하고 있는 방향의 벡터 정보를 포함할 수 있다. 상술한 바와 같이, 광학 모듈은 단말(102)의 일측에 장착되므로, 광학 모듈의 위치 및 방향은 단말(102)의 위치 및 방향과 동일할 수 있다.
구체적으로, 단말(102)은 지피에스(GPS) 모듈, 움직임 센서, 방향 센서, 와이파이(Wi-fi) 모듈, 블루투스 모듈 및 고도 측정기 중 적어도 하나를 이용하여 광학 모듈의 위치 및 방향을 측정할 수 있다. 여기서, 움직임 센서는 예를 들어, 가속도 센서일 수 있으며, 방향 센서는 예를 들어, 자기 센서, 자이로 센서 등이 될 수 있다. 또한, 고도 측정기는 예를 들어, 산소 포화도 측정기일 수 있다. 일 예시로서, 단말(102)은 단말(102)의 내부에 구비된 지피에스 모듈을 이용하여 광학 모듈(또는 단말(102))이 위치한 지점의 위도 및 경도를 측정하고 단말(102)의 내부에 구비된 고도 측정기를 이용하여 광학 모듈(또는 단말(102))이 위치한 지점의 고도를 측정하며, 단말(102)의 내부에 구비된 자이로 센서를 이용하여 광학 모듈(또는 단말(102))의 방향(또는 각도)을 측정할 수 있다. 다른 예시로서, 단말(102)은 단말(102)의 내부에 구비된 와이파이 모듈(또는 블루투스 모듈)을 이용하여 주변의 액세스포인트(AP)(또는 비콘)로부터 신호를 수신하고 수신된 신호의 세기를 이용하여 광학 모듈(또는 단말(102))의 위치를 측정하고, 단말(102)의 내부에 구비된 자기 센서를 이용하여 광학 모듈(또는 단말(102))의 방향을 측정할 수 있다. 이와 같이, 단말(102)은 상술한 여러 수단을 이용하여 광학 모듈의 위치 및 방향을 측정할 수 있으며, 측정된 광학 모듈의 위치 및 방향에 관한 정보를 서버(104)로 송신할 수 있다.
또한, 단말(102)은 측정된 광학 모듈의 위치 및 방향에 대응되는 증강 현실 데이터의 존재 여부를 서버(104)로 질의할 수 있다. 여기서, 증강 현실 데이터는 영상에 합성되어 출력되기 위한 가상 이미지를 포함하는 파일로서, 상기 가상 이미지는 영상에 포함된 오브젝트의 윤곽선과 연관될 수 있다. 예를 들어, 오브젝트가 출입문일 경우 가상 이미지는 출입문의 테두리, 손잡이 등의 윤곽선을 나타낼 수 있다. 또한, 오브젝트가 도로의 차선일 경우 가상 이미지는 중앙선, 버스 전용 차선 등의 윤곽선을 나타낼 수 있다. 이와 같은 증강 현실 데이터는 타 단말에서 생성되어 서버(104)로 업로드되거나 서버(104)에서 생성되어 저장될 수 있다.
증강 현실 데이터는 3차원 공간 상의 위치에 따라 서로 다른 가상 이미지를 포함할 수 있다. 예를 들어, 3차원 공간 상의 (x1, y1, z1) 지점에 대응되는 증강 현실 데이터와 (x2, y2, z2) 지점에 대응되는 증강 현실 데이터는 서로 다른 가상 이미지를 포함할 수 있다. 또한, 증강 현실 데이터는 동일한 위치일지라도 방향(또는 바라보는 각도)이 다른 경우 서로 다른 가상 이미지를 포함할 수 있다. 예를 들어, 3차원 공간 상의 (x1, y1, z1) 지점에서의 a 법선 벡터 방향에 대응되는 증강 현실 데이터와 (x1, y1, z1) 지점에서의 b 법선 벡터 방향에 대응되는 증강 현실 데이터는 서로 다른 가상 이미지를 포함할 수 있다.
만약, 단말(102)에서 측정된 광학 모듈의 위치 및 방향에 대응되는 증강 현실 데이터가 서버(104)에 존재하는 경우, 단말(102)은 서버(104)로부터 상기 증강 현실 데이터를 수신하고, 상기 증강 현실 데이터에 포함된 가상 이미지를 획득된 상기 영상에 합성하여 출력할 수 있다. 이에 따라, 사용자는 현실 세계의 오브젝트에 가상 이미지가 겹쳐진 형태의 영상을 볼 수 있다. 상술한 바와 같이, 가상 이미지는 상기 오브젝트의 윤곽선을 나타내므로, 사용자는 화재, 안개, 폭우 등으로 인해 시야가 제한되는 환경에서도 상기 오브젝트를 용이하게 인지할 수 있다.
또한, 사용자가 단말(102)을 소지한 채 이동하거나 단말(102)의 각도를 달리하는 경우 광학 모듈의 위치 및 방향이 달라지게 되며, 이에 따라 단말(102)에서 출력되는 영상 및 가상 이미지 또한 달라질 수 있다. 즉, 단말(102)은 광학 모듈의 위치 및 방향에 관한 정보를 실시간으로 서버(104)에 송신할 수 있으며, 서버(104)는 광학 모듈의 위치 및 방향에 대응되는 증강 현실 데이터를 실시간으로 단말(102)로 송신할 수 있다. 이에 따라, 사용자가 단말(102)을 소지한 채 이동하거나 단말(102)의 각도를 달리하더라도, 사용자는 해당 위치 및 방향에 대응되는 가상 이미지를 실시간으로 확인할 수 있으며 이로 인해 전방의 경로 및 상황을 보다 정확하게 판단할 수 있다.
한편, 여기서는 단말(102)이 오브젝트의 윤곽선과 연관되는 가상 이미지를 영상에 합성하여 출력하는 것으로 설명하였으나, 이는 하나의 실시예에 불과하다. 예를 들어, 가상 이미지는 오브젝트의 윤곽선뿐 아니라 오브젝트의 색상, 질감 등과 연관될 수도 있으며, 이 경우 단말(102)은 오브젝트의 윤곽선, 색상, 질감 등과 연관되는 가상 이미지를 영상에 합성하여 출력할 수 있다. 또한, 오브젝트의 색상 및 질감과 연관된 가상 이미지의 출력시, 단말(102)은 오브젝트와 단말(102) 간의 거리에 따라 상기 색상 또는 질감을 다르게 출력할 수 있다. 예를 들어, 단말(102)은 단말(102)로부터 가까운 거리에 위치하는 오브젝트의 경우 출력되는 색상의 투명도를 상대적으로 낮게 하며 단말(102)로부터 먼 거리에 위치하는 오브젝트의 경우 출력되는 색상의 투명도를 상대적으로 높게 할 수 있다. 이에 따라, 사용자는 오브젝트 간의 상대적인 거리 차이를 체감할 수 있다.
또한, 단말(102)에서 측정된 광학 모듈의 위치 및 방향에 대응되는 증강 현실 데이터가 서버(104)에 존재하지 않는 경우, 단말(102)은 광학 모듈의 위치 및 방향에 대응되는 신규 증강 현실 데이터를 생성할 수 있다. 상기 신규 증강 현실 데이터는 상기 영상에 포함된 오브젝트의 윤곽선과 연관되는 가상 이미지를 포함할 수 있다.
일 실시예로서, 단말(102)은 광학 모듈을 이용하여 오브젝트와 광학 모듈과의 거리를 감지하고, 감지된 상기 거리로부터 오브젝트의 윤곽선을 획득하여 신규 증강 현실 데이터를 생성할 수 있다. 상술한 바와 같이, 광학 모듈은 예를 들어, 뎁스 카메라일 수 있으며, 단말(102)은 뎁스 카메라로부터 방사된 광선을 이용하여 뎁스 카메라와 오브젝트와의 거리를 측정하고, 상기 거리에 따라 오브젝트의 윤곽선을 획득하고, 획득된 오브젝트의 윤곽선으로부터 가상 이미지를 생성할 수 있다. 상기 방법은 3차원 형상을 갖는 오브젝트(예를 들어, 건물 내 비상구)의 윤곽선을 획득하는 데 용이할 수 있다.
다른 실시예로서, 단말(102)은 획득된 영상을 분석하여 영상에 포함된 오브젝트의 픽셀들 간의 색상 차이를 감지하고, 감지된 색상 차이로부터 오브젝트의 윤곽선을 획득하여 신규 증강 현실 데이터를 생성할 수 있다. 상술한 바와 같이, 광학 모듈은 예를 들어, 비디오 카메라일 수 있으며, 이 경우 단말(102)은 영상에 포함된 오브젝트의 픽셀들 간의 색상 차이를 감지하고, 감지된 색상 차이에 따라 오브젝트의 윤곽선을 획득하고, 획득된 오브젝트의 윤곽선으로부터 가상 이미지를 생성할 수 있다. 상기 방법은 2차원 형상을 갖는 오브젝트(예를 들어, 색깔 또는 선 형상이 다른 도로의 차선)의 윤곽선을 획득하는 데 용이할 수 있다.
단말(102)은 생성된 신규 증강 현실 데이터에 포함된 가상 이미지를 획득된 영상에 합성하여 출력할 수 있다. 즉, 단말(102)에서 측정된 광학 모듈의 위치 및 방향에 대응되는 증강 현실 데이터가 서버(104)에 존재하지 않는 경우, 단말(102)은 상기 광학 모듈의 위치 및 방향에 대응되는 신규 증강 현실 데이터를 스스로 생성하여 증강 현실 화면을 출력할 수 있다.
또한, 단말(102)은 생성된 신규 증강 현실 데이터를 서버(104)에 업로드할 수 있으며, 서버(104)는 타 단말의 요청에 따라 상기 신규 증강 현실 데이터를 상기 타 단말로 송신할 수 있다. 즉, 서버(104)는 복수의 단말(102)로부터 각 위치 및 방향에 대응되는 증강 현실 데이터를 수신할 수 있으며, 데이터베이스(미도시)에 증강 현실 데이터를 저장할 수 있다. 이때, 서버(104)는 각 증강 현실 데이터에 대응되는 위치 및 방향 정보를 해당 증강 현실 데이터와 함께 데이터베이스에 저장할 수 있다. 이에 따라, 서버(104)는 단말(102)의 요청에 따라 데이터베이스에 저장된 증강 현실 데이터 중 단말(102)로부터 수신한 3차원 공간 상의 위치 및 방향 정보에 대응되는 증강 현실 데이터를 단말(102)로 제공할 수 있다.
서버(104)는 증강 현실 데이터를 저장 및 관리하고, 단말(102)의 요청에 따라 저장된 증강 현실 데이터를 단말(102)로 제공한다. 구체적으로, 서버(104)는 단말(102)로부터 광학 모듈의 위치 및 방향에 관한 정보를 수신하고, 단말(102)의 요청에 따라 상기 광학 모듈의 위치 및 방향에 대응되는 증강 현실 데이터가 데이터베이스에 저장되어 있는지의 여부를 판단할 수 있다. 상술한 바와 같이, 증강 현실 데이터는 영상에 합성되어 출력되기 위한 가상 이미지를 포함하는 파일로서, 단말(102)에서 생성되어 서버(104)로 업로드되거나 서버(104)에서 생성되어 저장될 수 있다. 즉, 서버(104)는 단말(102)로부터 수신한 증강 현실 데이터를 데이터베이스에 저장할 수 있으며, 단말(102)로부터 광학 모듈의 위치 및 방향에 관한 정보, 광학 모듈과 오브젝트와의 거리 정보, 광학 모듈에서 획득된 영상 정보 등을 수신하여 증강 현실 데이터를 직접 생성할 수도 있다. 서버(104)가 증강 현실 데이터를 생성하는 방법은 단말(102)이 증강 현실 데이터를 생성하는 방법과 동일하며, 이에 대해서는 앞에서 설명하였다. 서버(104)는 데이터베이스에 저장된 증강 현실 데이터 중 단말(102)이 제공한 광학 모듈의 위치 및 방향에 대응되는 증강 현실 데이터를 단말(102)로 송신할 수 있다.
또한, 단말(102)로부터 요청된 광학 모듈의 위치 및 방향에 대응되는 증강 현실 데이터가 서버(104)의 데이터베이스에 저장되어 있지 않은 경우, 단말(102)은 상기 광학 모듈의 위치 및 방향에 대응되는 신규 증강 현실 데이터를 생성하여 서버(104)로 송신하고, 서버(104)는 단말(102)로부터 수신한 신규 증강 현실 데이터를 데이터베이스에 저장할 수 있다. 이때, 서버(104)는 신규 증강 현실 데이터와 이에 대응되는 위치 및 방향에 관한 정보를 단말(102)로부터 수신하고, 상기 증강 현실 데이터와 해당 위치 및 방향에 관한 정보를 데이터베이스에 저장할 수 있다. 상술한 바와 같이, 단말(102)은 신규 증강 현실 데이터를 직접 생성하고 신규 증강 현실 데이터에 포함된 가상 이미지를 영상에 합성하여 출력할 수 있다. 다만, 단말(102)이 매번 신규 증강 현실 데이터를 생성하여 저장하기에는 단말(102)의 저장 공간이 부족할 수 있다. 또한, 단말(102)이 타 단말에서 생성되어 서버(104)에 업로드된 다른 증강 현실 데이터를 폭넓게 활용하기 위해, 본 발명의 실시예들은 해당 위치 및 방향에 대응되는 증강 현실 데이터가 서버(104)에 저장되어 있는 경우 단말(102)이 증강 현실 데이터를 생성할 필요 없이 서버(104)로부터 상기 증강 현실 데이터를 제공 받아 활용할 수 있도록 하였다.
이에 따라, 서버(104)는 복수 개의 단말(102)로부터 각 위치 및 방향에 대응되는 증강 현실 데이터를 수신하여 데이터베이스에 저장함으로써 다량의 증강 현실 데이터를 관리할 수 있다. 서버(104)는 단말(102)로부터 수신한 증강 현실 데이터를 이용하여 데이터베이스에 저장된 증강 현실 데이터를 업데이트할 수 있다. 즉, 서버(104)는 단말(102)로부터 수신한 증강 현실 데이터가 데이터베이스에 저장된 증강 현실 데이터(단말(102)로부터 수신한 증강 현실 데이터와 동일한 위치 및 방향 정보에 대응되는 것으로 가정)와 일치하지 않는 경우 데이터베이스에 저장된 증강 현실 데이터를 단말(102)로부터 수신한 증강 현실 데이터로 업데이트할 수 있으며, 단말(102)로부터 수신한 증강 현실 데이터가 데이터베이스에 저장된 증강 현실 데이터(단말(102)로부터 수신한 증강 현실 데이터와 동일한 위치 및 방향 정보에 대응되는 것으로 가정)와 일치하는 경우 단말(102)로부터 수신한 증강 현실 데이터를 데이터베이스에 저장하지 않을 수 있다. 이에 따라, 서버(102)는 데이터베이스의 저장 공간을 효율적으로 활용할 수 있으며, 저장 공간을 불필요하게 낭비하지 않을 수 있다.
도 2는 본 발명의 제1 실시예에 따른 단말(102)의 예시도이다. 도 2에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 단말(102)은 스마트 글래스, 스마트 고글 등과 같은 헤드 마운티드 디스플레이(HMD)일 수 있다. 이에 따라, 사용자는 별도의 손 동작 없이 단말(102)을 통해 눈 앞의 영상을 볼 수 있다. 이때, 상기 영상에는 증강 현실 데이터에 포함된 가상 이미지가 합성되어 나타날 수 있다.
도 3은 본 발명의 제2 실시예에 따른 단말(102)의 예시도이다. 도 3에 도시된 바와 같이, 도 3은 본 발명의 제2 실시예에 따른 단말(102)은 스마트폰, 테블릿 컴퓨터, PDA 등과 같은 휴대 기기일 수 있다. 이 경우, 사용자는 바라보고자 하는 영역으로 단말(102)의 광학 모듈이 향하도록 단말(102)의 위치 및 자세를 조정할 수 있으며, 단말(102)의 광학 모듈이 향하는 지점의 영상을 볼 수 있다. 이때, 상기 영상에는 증강 현실 데이터에 포함된 가상 이미지가 합성되어 나타날 수 있다.
도 4는 본 발명의 실시예들에 따른 단말(102)의 상세 구성을 나타낸 블록도이다. 도 4에 도시된 바와 같이, 본 발명의 실시예들에 따른 단말(102)은 광학 모듈(202), 측정 모듈(204), 송수신 모듈(206), 출력 모듈(208), 생성 모듈(210) 및 입력 모듈(212)을 포함한다.
광학 모듈(202)은 단말(102)의 전방 영상을 획득하는 장치로서, 예를 들어 비디오 카메라, 캠코더, 뎁스 카메라(또는 적외선 카메라) 등이 될 수 있다. 광학 모듈(202)은 단말(102)의 일측에 장착될 수 있으며, 사용자는 광학 모듈(202)을 통해 전방의 영상을 획득할 수 있다.
측정 모듈(204)은 광학 모듈(202)의 위치 및 방향을 측정한다. 상술한 바와 같이, 광학 모듈(202)은 단말(102)의 일측에 장착되므로, 광학 모듈(202)의 위치 및 방향은 단말(102)의 위치 및 방향과 동일할 수 있다. 측정 모듈(204)은 지피에스 모듈, 움직임 센서, 방향 센서, 와이파이 모듈, 블루투스 모듈 및 고도 측정기 중 적어도 하나를 이용하여 광학 모듈(202)의 위치 및 방향을 측정할 수 있다.
일 예시로서, 측정 모듈(204)은 단말(102)의 내부에 구비된 지피에스 모듈을 이용하여 광학 모듈(202)이 위치한 지점의 위도 및 경도를 측정하고 단말(102)의 내부에 구비된 고도 측정기를 이용하여 광학 모듈(202)이 위치한 지점의 고도를 측정하며, 단말(102)의 내부에 구비된 자이로 센서를 이용하여 광학 모듈(202)의 방향을 측정할 수 있다. 다른 예시로서, 단말(102)은 단말(102)의 내부에 구비된 와이파이 모듈을 이용하여 주변의 액세스포인트(AP)로부터 신호를 수신하고 수신된 신호의 세기를 이용하여 광학 모듈(202)의 위치를 측정하고, 단말(102)의 내부에 구비된 자기 센서를 이용하여 광학 모듈(202)의 방향을 측정할 수 있다.
송수신 모듈(206)은 서버(104)와의 신호 송수신을 담당하는 모듈이다. 구체적으로, 송수신 모듈(206)은 광학 모듈(202)의 위치 및 방향에 관한 정보를 서버(104)로 송신하며, 상기 광학 모듈의 위치 및 방향에 대응되는 증강 현실 데이터의 존재 여부를 서버(104)에 질의할 수 있다. 만약, 상기 광학 모듈의 위치 및 방향에 대응되는 증강 현실 데이터가 서버(104)에 존재하는 경우, 송수신 모듈(206)은 상기 광학 모듈의 위치 및 방향에 대응되는 증강 현실 데이터를 서버(104)로부터 수신할 수 있다.
또한, 상기 광학 모듈의 위치 및 방향에 대응되는 증강 현실 데이터가 서버(104)에 존재하지 않는 경우, 생성 모듈(210)은 상기 광학 모듈의 위치 및 방향에 대응되는 신규 증강 현실 데이터를 생성할 수 있으며, 송수신 모듈(206)은 생성된 신규 증강 현실 데이터를 서버(104)에 업로드할 수 있다.
출력 모듈(208)은 서버(104)로부터 수신한 증강 현실 데이터에 포함된 가상 이미지를 획득한 영상에 합성하여 출력할 수 있다. 또한, 상기 광학 모듈의 위치 및 방향에 대응되는 증강 현실 데이터가 서버(104)에 존재하지 않는 경우, 출력 모듈(208)은 생성된 신규 증강 현실 데이터에 포함된 가상 이미지를 획득한 영상에 합성하여 출력할 수 있다. 이에 따라, 사용자는 현실 세계의 오브젝트에 가상 이미지가 겹쳐진 형태의 영상을 볼 수 있다. 상술한 바와 같이, 가상 이미지는 상기 오브젝트의 윤곽선을 나타내므로, 사용자는 화재, 안개, 폭우 등으로 인해 시야가 제한되는 환경에서도 상기 오브젝트를 용이하게 인지할 수 있다.
생성 모듈(210)은 광학 모듈(202)의 위치 및 방향에 대응되는 증강 현실 데이터가 서버(104)에 존재하지 않는 경우 상기 광학 모듈의 위치 및 방향에 대응되는 신규 증강 현실 데이터를 생성한다. 일 예시로서, 생성 모듈(210)은 광학 모듈(202)을 통해 오브젝트와 광학 모듈(202)과의 거리를 감지하고, 감지된 상기 거리로부터 오브젝트의 윤곽선을 획득하여 신규 증강 현실 데이터를 생성할 수 있다. 다른 예시로서, 생성 모듈(210)은 획득된 영상을 분석하여 영상에 포함된 오브젝트의 픽셀들 간의 색상 차이를 감지하고, 감지된 상기 색상 차이로부터 오브젝트의 윤곽선을 획득하여 신규 증강 현실 데이터를 생성할 수 있다.
입력 모듈(212)은 사용자로부터 상기 신규 증강 현실 데이터에 관한 코멘트를 입력 받는다. 상기 코멘트는 신규 증강 현실 데이터에 포함된 가상 이미지와 관련되어 사용자가 입력하는 문장 또는 문구로서, 예를 들어 “이곳은 문입니다.”, “이곳은 급격한 커브 구간이므로, 운전시 주의 바랍니다.” 등과 같은 문장일 수 있다. 송수신 모듈(206)은 신규 증강 현실 데이터의 송신시 사용자로부터 입력 받은 코멘트를 상기 신규 증강 현실 데이터와 함께 서버(104)로 송신할 수 있다. 이에 따라, 타 단말에서 상기 신규 증강 현실 데이터에 포함된 가상 이미지가 출력되는 경우 상기 코멘트가 가상 이미지와 함께 출력될 수 있으며, 사용자는 출력되는 가상 이미지에 관한 정보를 보다 용이하게 획득할 수 있다.
도 5는 주변 환경으로 인해 사용자의 시야가 제한되는 상황을 나타낸 예시도이다. 도 5에 도시된 바와 같이, 건물 내에 화재가 발생하는 경우, 화재로 인한 연기 때문에 사용자의 시야가 제한될 수 있으며, 사용자는 건물의 비상구를 찾는 데 어려움을 겪을 수 있다.
또한, 여기서는 건물 내 화재가 발생하는 상황을 가정하여 설명하였으나 이는 일 실시예에 불과하며, 본 발명의 실시예들에 따른 단말(102)은 다른 상황에서도 적용 가능하다. 예를 들어, 사용자가 고속도로에서 운전하고 있는 도중 전방에 짙은 안개가 발생하는 경우, 안개로 인해 사용자의 시야가 제한될 수 있으며, 사용자는 전방의 도로 또는 차선을 인지하는 데 어려움을 겪을 수 있다. 따라서, 이 경우 본 발명의 실시예들에 따른 단말(102)이 적용될 수 있다. 또한, 사용자가 오브젝트의 색상을 잘 구별하지 못하는 색약 환자인 경우, 색약으로 인해 신호등, 안내 표지판 등을 인지하는 데 어려움을 겪을 수 있으며, 이 경우에도 본 발명의 실시예들에 따른 단말(102)이 적용될 수 있다.
도 6은 본 발명의 실시예들에 따른 단말(102)을 통해 사용자의 시야가 확보되는 상황을 나타낸 예시도이다. 도 6에 도시된 바와 같이, 건물 내에서 화재가 발생하는 경우, 사용자는 단말(102)을 통해 애플리케이션을 실행시킬 수 있으며, 이 경우 오브젝트에 가상 이미지가 합성된 영상이 출력될 수 있다. 이에 따라, 사용자는 가상 이미지를 통해 표현되는 오브젝트의 윤곽선으로부터 해당 오브젝트를 용이하게 파악할 수 있다.
또한, 도면에서 도시하지는 않았으나, 예를 들어, 사용자가 고속도로에서 운전하고 있는 도중 전방에 짙은 안개가 발생하는 경우, 사용자는 오브젝트에 가상 이미지가 합성된 영상을 볼 수 있으며, 안개로 인해 사용자의 시야가 제한되는 환경에서도 전방의 오브젝트를 용이하게 인지할 수 있다.
도 7은 본 발명의 일 실시예에 따른 시야 확보 방법을 설명하기 위한 흐름도이다.
먼저, 단말(102)은 사용자의 입력에 따라 서버(104)로부터 제공 받은 애플리케이션을 실행시킨다(S702). 단말(102)에는 서버(104)로부터 제공되는 애플리케이션이 미리 설치되어 있을 수 있으며, 단말(102)은 사용자의 애플리케이션 실행에 따라 서버(104)에 접속할 수 있다.
다음으로, 단말(102)은 광학 모듈(202)을 통해 전방의 영상을 획득한다(S704). 광학 모듈(202)은 예를 들어 비디오 카메라, 캠코더, 뎁스 카메라(또는 적외선 카메라) 등이 될 수 있으며, 단말(102)의 일측에 장착될 수 있다.
다음으로, 단말(102)은 광학 모듈(202)의 위치 및 방향을 측정한다(S706). 상술한 바와 같이, 단말(102)은 지피에스 모듈, 움직임 센서, 방향 센서, 와이파이 모듈, 블루투스 모듈 및 고도 측정기 중 적어도 하나를 이용하여 광학 모듈의 위치 및 방향을 측정할 수 있다.
다음으로, 단말(102)은 광학 모듈(202)의 위치 및 방향에 대응되는 증강 현실 데이터의 존재 여부를 서버(104)에 질의한다(S708). 이때, 단말(102)은 광학 모듈의 위치 및 방향에 관한 정보를 서버(104)로 송신할 수 있다.
만약, 광학 모듈(202)의 위치 및 방향에 대응되는 증강 현실 데이터가 서버(104)에 존재하는 경우, 단말(102)은 광학 모듈(202)의 위치 및 방향에 대응되는 증강 현실 데이터를 서버(104)로부터 수신한다(S710).
만약, 광학 모듈(202)의 위치 및 방향에 대응되는 증강 현실 데이터가 서버(104)에 존재하지 않는 경우, 단말(102)은 광학 모듈(202)의 위치 및 방향에 대응되는 신규 증강 현실 데이터를 생성한다(S712).
다음으로, 단말(102)은 서버(104)로부터 수신한 증강 현실 데이터 또는 단말(102)에서 생성된 신규 증강 현실 데이터에 포함된 가상 이미지를 획득된 영상에 합성하여 출력한다(S714, S716). 상술한 바와 같이, 가상 이미지는 상기 영상에 포함된 오브젝트의 윤곽선과 연관될 수 있다.
마지막으로, 단말(102)은 단말(102)에서 생성된 신규 증강 현실 데이터를 서버(104)에 업로드한다(S718). 이에 따라, 서버(104)는 단말(102)로부터 수신한 신규 증강 현실 데이터를 데이터베이스에 저장할 수 있으며, 타 단말의 요청에 따라 상기 신규 증강 현실 데이터를 상기 타 단말로 송신할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 시야 확보 시스템
102 : 단말
104 : 서버
202 : 광학 모듈
204 : 측정 모듈
206 : 송수신 모듈
208 : 출력 모듈
210 : 생성 모듈
212 : 입력 모듈

Claims (26)

  1. 전방의 영상을 획득하는 광학 모듈을 구비하며, 상기 광학 모듈의 위치 및 방향을 측정하는 단말; 및
    상기 광학 모듈의 위치 및 방향에 관한 정보를 상기 단말로부터 수신하며, 상기 단말의 요청에 따라 상기 광학 모듈의 위치 및 방향에 대응되는 증강 현실 데이터를 상기 단말로 송신하는 서버를 포함하며,
    상기 증강 현실 데이터는, 상기 영상에 포함된 오브젝트의 윤곽선과 연관되는 가상 이미지를 포함하며,
    상기 단말은, 상기 가상 이미지를 상기 영상에 합성하여 출력하는, 시야 확보 시스템.
  2. 청구항 1에 있어서,
    상기 서버는, 상기 증강 현실 데이터의 존재 여부를 판단하며,
    상기 단말은, 상기 증강 현실 데이터가 상기 서버에 존재하지 않는 경우 상기 가상 이미지를 포함하는 신규 증강 현실 데이터를 생성하고, 상기 신규 증강 현실 데이터에 포함된 상기 가상 이미지를 상기 영상에 합성하여 출력하는, 시야 확보 시스템.
  3. 청구항 2에 있어서,
    상기 단말은, 상기 광학 모듈을 이용하여 상기 오브젝트와 상기 광학 모듈과의 거리를 감지하고, 감지된 상기 거리로부터 상기 오브젝트의 윤곽선을 획득하여 상기 신규 증강 현실 데이터를 생성하는, 시야 확보 시스템.
  4. 청구항 2에 있어서,
    상기 단말은, 상기 영상을 분석하여 상기 영상에 포함된 상기 오브젝트의 픽셀들 간의 색상 차이를 감지하고, 감지된 상기 색상 차이로부터 상기 오브젝트의 윤곽선을 획득하여 상기 신규 증강 현실 데이터를 생성하는, 시야 확보 시스템.
  5. 청구항 2에 있어서,
    상기 단말은, 상기 신규 증강 현실 데이터를 상기 서버에 업로드하며,
    상기 서버는, 타 단말의 요청에 따라 상기 신규 증강 현실 데이터를 상기 타 단말로 송신하는, 시야 확보 시스템.
  6. 청구항 1에 있어서,
    상기 단말은, 지피에스(GPS) 모듈, 움직임 센서, 방향 센서, 와이파이(Wi-fi) 모듈, 블루투스 모듈 및 고도 측정기 중 적어도 하나를 이용하여 상기 광학 모듈의 위치 및 방향을 측정하는, 시야 확보 시스템.
  7. 청구항 1에 있어서,
    상기 단말은, 헤드 마운티드 디스플레이(HMD : Head Mounted Display)인, 시야 확보 시스템.
  8. 전방의 영상을 획득하는 광학 모듈;
    상기 광학 모듈의 위치 및 방향을 측정하는 측정 모듈;
    상기 광학 모듈의 위치 및 방향에 관한 정보를 서버로 송신하며, 상기 광학 모듈의 위치 및 방향에 대응되되 상기 영상에 포함된 오브젝트의 윤곽선과 연관되는 가상 이미지를 포함하는 증강 현실 데이터를 상기 서버로부터 수신하는 송수신 모듈; 및
    상기 가상 이미지를 상기 영상에 합성하여 출력하는 출력 모듈을 포함하는, 단말.
  9. 청구항 8에 있어서,
    상기 송수신 모듈은, 상기 증강 현실 데이터의 존재 여부를 상기 서버로 질의하며,
    상기 단말은, 상기 증강 현실 데이터가 상기 서버에 존재하지 않는 경우 상기 가상 이미지를 포함하는 신규 증강 현실 데이터를 생성하는 생성 모듈을 더 포함하며,
    상기 출력 모듈은, 상기 신규 증강 현실 데이터에 포함된 상기 가상 이미지를 상기 영상에 합성하여 출력하는, 단말.
  10. 청구항 9에 있어서,
    상기 생성 모듈은, 상기 광학 모듈을 통해 상기 오브젝트와 상기 광학 모듈과의 거리를 감지하고, 감지된 상기 거리로부터 상기 오브젝트의 윤곽선을 획득하여 상기 신규 증강 현실 데이터를 생성하는, 단말.
  11. 청구항 9에 있어서,
    상기 생성 모듈은, 상기 영상을 분석하여 상기 영상에 포함된 상기 오브젝트의 픽셀들 간의 색상 차이를 감지하고, 감지된 상기 색상 차이로부터 상기 오브젝트의 윤곽선을 획득하여 상기 신규 증강 현실 데이터를 생성하는, 단말.
  12. 청구항 9에 있어서,
    상기 송수신 모듈은, 상기 신규 증강 현실 데이터를 상기 서버에 업로드하는, 단말.
  13. 청구항 8에 있어서,
    상기 측정 모듈은, 지피에스(GPS) 모듈, 움직임 센서, 방향 센서, 와이파이(Wi-fi) 모듈, 블루투스 모듈 및 고도 측정기 중 적어도 하나를 이용하여 상기 광학 모듈의 위치 및 방향을 측정하는, 단말.
  14. 청구항 8에 있어서,
    상기 단말은, 헤드 마운티드 디스플레이(HMD : Head Mounted Display)인, 단말.
  15. 전방의 영상을 획득하는 광학 모듈을 구비하는 단말에서, 상기 광학 모듈의 위치 및 방향을 측정하는 단계;
    상기 단말에서, 상기 광학 모듈의 위치 및 방향에 관한 정보를 서버로 송신하는 단계;
    상기 서버에서, 상기 단말의 요청에 따라 상기 광학 모듈의 위치 및 방향에 대응되되 상기 영상에 포함된 오브젝트의 윤곽선과 연관되는 가상 이미지를 포함하는 증강 현실 데이터를 상기 단말로 송신하는 단계; 및
    상기 단말에서, 상기 가상 이미지를 상기 영상에 합성하여 출력하는 단계를 포함하는, 시야 확보 방법.
  16. 청구항 15에 있어서,
    상기 광학 모듈의 위치 및 방향에 관한 정보를 서버로 송신하는 단계 이후,
    상기 서버에서, 상기 증강 현실 데이터의 존재 여부를 판단하는 단계;
    상기 단말에서, 상기 증강 현실 데이터가 상기 서버에 존재하지 않는 경우 상기 가상 이미지를 포함하는 신규 증강 현실 데이터를 생성하는 단계; 및
    상기 단말에서, 상기 신규 증강 현실 데이터에 포함된 상기 가상 이미지를 상기 영상에 합성하여 출력하는 단계를 더 포함하는, 시야 확보 방법.
  17. 청구항 16에 있어서,
    상기 신규 증강 현실 데이터를 생성하는 단계는, 상기 광학 모듈을 이용하여 상기 오브젝트와 상기 광학 모듈과의 거리를 감지하고, 감지된 상기 거리로부터 상기 오브젝트의 윤곽선을 획득하여 상기 신규 증강 현실 데이터를 생성하는, 시야 확보 방법.
  18. 청구항 16에 있어서,
    상기 신규 증강 현실 데이터를 생성하는 단계는, 상기 영상을 분석하여 상기 영상에 포함된 상기 오브젝트의 픽셀들 간의 색상 차이를 감지하고, 감지된 상기 색상 차이로부터 상기 오브젝트의 윤곽선을 획득하여 상기 신규 증강 현실 데이터를 생성하는, 시야 확보 방법.
  19. 청구항 16에 있어서,
    상기 신규 증강 현실 데이터를 생성하는 단계 이후,
    상기 단말에서, 상기 신규 증강 현실 데이터를 상기 서버에 업로드하는 단계; 및
    상기 서버에서, 타 단말의 요청에 따라 상기 신규 증강 현실 데이터를 상기 타 단말에 송신하는 단계를 더 포함하는, 시야 확보 방법.
  20. 청구항 15에 있어서,
    상기 광학 모듈의 위치 및 방향을 측정하는 단계는, 지피에스(GPS) 모듈, 움직임 센서, 방향 센서, 와이파이(Wi-fi) 모듈, 블루투스 모듈 및 고도 측정기 중 적어도 하나를 이용하여 상기 광학 모듈의 위치 및 방향을 측정하는, 시야 확보 방법.
  21. 광학 모듈에서, 전방의 영상을 획득하는 단계;
    측정 모듈에서, 상기 광학 모듈의 위치 및 방향을 측정하는 단계;
    송수신 모듈에서, 상기 광학 모듈의 위치 및 방향에 관한 정보를 서버로 송신하는 단계; 및
    상기 송수신 모듈에서, 상기 광학 모듈의 위치 및 방향에 대응되되 상기 영상에 포함된 오브젝트의 윤곽선과 연관되는 가상 이미지를 포함하는 증강 현실 데이터를 상기 서버로부터 수신하는 단계; 및
    출력 모듈에서, 상기 가상 이미지를 상기 영상에 합성하여 출력하는 단계를 포함하는, 시야 확보 방법.
  22. 청구항 21에 있어서,
    상기 광학 모듈의 위치 및 방향을 측정하는 단계 이후,
    상기 송수신 모듈에서, 상기 증강 현실 데이터의 존재 여부를 상기 서버로 질의하는 단계;
    생성 모듈에서, 상기 증강 현실 데이터가 상기 서버에 존재하지 않는 경우 상기 가상 이미지를 포함하는 신규 증강 현실 데이터를 생성하는 단계; 및
    상기 출력 모듈에서, 상기 신규 증강 현실 데이터에 포함된 상기 가상 이미지를 상기 영상에 합성하여 출력하는 단계를 더 포함하는, 시야 확보 방법.
  23. 청구항 22에 있어서,
    상기 신규 증강 현실 데이터를 생성하는 단계는, 상기 광학 모듈을 이용하여 상기 오브젝트와 상기 광학 모듈과의 거리를 감지하고, 감지된 상기 거리로부터 상기 오브젝트의 윤곽선을 획득하여 상기 신규 증강 현실 데이터를 생성하는, 시야 확보 방법.
  24. 청구항 22에 있어서,
    상기 신규 증강 현실 데이터를 생성하는 단계는, 상기 영상을 분석하여 상기 영상에 포함된 상기 오브젝트의 픽셀들 간의 색상 차이를 감지하고, 감지된 상기 색상 차이로부터 상기 오브젝트의 윤곽선을 획득하여 상기 신규 증강 현실 데이터를 생성하는, 시야 확보 방법.
  25. 청구항 22에 있어서,
    상기 신규 증강 현실 데이터를 생성하는 단계 이후,
    상기 송수신 모듈에서, 상기 신규 증강 현실 데이터를 상기 서버에 업로드하는 단계를 더 포함하는, 시야 확보 방법.
  26. 청구항 21에 있어서,
    상기 광학 모듈의 위치 및 방향을 측정하는 단계는, 지피에스(GPS) 모듈, 움직임 센서, 방향 센서, 와이파이(Wi-fi) 모듈, 블루투스 모듈 및 고도 측정기 중 적어도 하나를 이용하여 상기 광학 모듈의 위치 및 방향을 측정하는, 시야 확보 방법.
KR1020150107847A 2015-07-30 2015-07-30 시야 확보 시스템, 방법 및 이를 수행하기 위한 단말 KR20170014451A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150107847A KR20170014451A (ko) 2015-07-30 2015-07-30 시야 확보 시스템, 방법 및 이를 수행하기 위한 단말

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150107847A KR20170014451A (ko) 2015-07-30 2015-07-30 시야 확보 시스템, 방법 및 이를 수행하기 위한 단말

Publications (1)

Publication Number Publication Date
KR20170014451A true KR20170014451A (ko) 2017-02-08

Family

ID=58155781

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150107847A KR20170014451A (ko) 2015-07-30 2015-07-30 시야 확보 시스템, 방법 및 이를 수행하기 위한 단말

Country Status (1)

Country Link
KR (1) KR20170014451A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018164287A1 (ko) * 2017-03-06 2018-09-13 라인 가부시키가이샤 증강현실 제공 방법, 장치 및 컴퓨터 프로그램
US20190139321A1 (en) 2017-11-03 2019-05-09 Samsung Electronics Co., Ltd. System and method for changing a virtual reality environment dynamically
KR20210084984A (ko) * 2019-12-30 2021-07-08 한국과학기술연구원 가상현실 영상을 표시하는 방법 및 장치
KR20210084983A (ko) * 2019-12-30 2021-07-08 한국과학기술연구원 가상현실 영상을 표시하는 방법 및 장치
US11164390B2 (en) 2019-12-30 2021-11-02 Korea Institute Of Science And Technology Method and apparatus for displaying virtual reality image

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120071203A (ko) 2010-12-22 2012-07-02 한국전자통신연구원 운전자의 시야 확보 장치 및, 운전자의 시야 확보 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120071203A (ko) 2010-12-22 2012-07-02 한국전자통신연구원 운전자의 시야 확보 장치 및, 운전자의 시야 확보 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018164287A1 (ko) * 2017-03-06 2018-09-13 라인 가부시키가이샤 증강현실 제공 방법, 장치 및 컴퓨터 프로그램
US11120629B2 (en) 2017-03-06 2021-09-14 Line Corporation Method and device for providing augmented reality, and computer program
US11562545B2 (en) 2017-03-06 2023-01-24 Line Corporation Method and device for providing augmented reality, and computer program
US20190139321A1 (en) 2017-11-03 2019-05-09 Samsung Electronics Co., Ltd. System and method for changing a virtual reality environment dynamically
WO2019088761A1 (en) * 2017-11-03 2019-05-09 Samsung Electronics Co., Ltd. Device and method for changing a virtual reality environment dynamically
US10803674B2 (en) 2017-11-03 2020-10-13 Samsung Electronics Co., Ltd. System and method for changing a virtual reality environment dynamically
KR20210084984A (ko) * 2019-12-30 2021-07-08 한국과학기술연구원 가상현실 영상을 표시하는 방법 및 장치
KR20210084983A (ko) * 2019-12-30 2021-07-08 한국과학기술연구원 가상현실 영상을 표시하는 방법 및 장치
US11164390B2 (en) 2019-12-30 2021-11-02 Korea Institute Of Science And Technology Method and apparatus for displaying virtual reality image

Similar Documents

Publication Publication Date Title
US9175975B2 (en) Systems and methods for navigation
EP3008708B1 (en) Vision augmented navigation
US9563981B2 (en) Information processing apparatus, information processing method, and program
US20070003162A1 (en) Image generation device, image generation method, and image generation program
US11398078B2 (en) Gradual transitioning between two-dimensional and three-dimensional augmented reality images
US10643342B2 (en) Group optimization depth information method and system for constructing a 3D feature map
US20070009137A1 (en) Image generation apparatus, image generation method and image generation program
KR20170014451A (ko) 시야 확보 시스템, 방법 및 이를 수행하기 위한 단말
US20150331487A1 (en) Infotainment system
US10789744B2 (en) Method and apparatus for augmented reality display on vehicle windscreen
US20140285523A1 (en) Method for Integrating Virtual Object into Vehicle Displays
JP2016189184A (ja) リアルタイム多次元画像融合
US20070124071A1 (en) System for providing 3-dimensional vehicle information with predetermined viewpoint, and method thereof
EP2829844A1 (en) Navigation system
US11294456B2 (en) Perspective or gaze based visual identification and location system
US10996469B2 (en) Method and apparatus for providing driving information of vehicle, and recording medium
US20200320720A1 (en) Dynamic object tracking
CN114258319A (zh) 一种投影方法及装置、车辆及ar-hud
KR20130003521A (ko) 센서를 이용한 운전 안내 시스템
US11694345B2 (en) Moving object tracking using object and scene trackers
KR20210042431A (ko) 3d 헤드업디스플레이 시스템 및 그의 제어 방법
WO2023026451A1 (ja) 物体捜索システム、物体捜索装置、物体捜索方法
JP2019121140A (ja) 表示制御装置、ヘッドアップディスプレイ装置
JP2022098316A (ja) 案内装置
TWM618998U (zh) 複眼攝像系統及使用複眼攝像系統的車輛