KR102345355B1 - 사용자 단말장치 및 그 장치의 구동방법 - Google Patents

사용자 단말장치 및 그 장치의 구동방법 Download PDF

Info

Publication number
KR102345355B1
KR102345355B1 KR1020210061462A KR20210061462A KR102345355B1 KR 102345355 B1 KR102345355 B1 KR 102345355B1 KR 1020210061462 A KR1020210061462 A KR 1020210061462A KR 20210061462 A KR20210061462 A KR 20210061462A KR 102345355 B1 KR102345355 B1 KR 102345355B1
Authority
KR
South Korea
Prior art keywords
augmented reality
terminal device
reality content
user terminal
arbitrary place
Prior art date
Application number
KR1020210061462A
Other languages
English (en)
Inventor
오성훈
Original Assignee
오성훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오성훈 filed Critical 오성훈
Priority to KR1020210061462A priority Critical patent/KR102345355B1/ko
Application granted granted Critical
Publication of KR102345355B1 publication Critical patent/KR102345355B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 사용자 단말장치 및 그 장치의 구동방법에 관한 것으로서, 본 발명의 실시예에 따른 사용자 단말장치는, 현실 세계에서 임의 장소에 설치되는 사물과 관련한 증강현실 콘텐츠, 사물의 위치 정보 및 임의 지점을 기준으로 하는 회전 정보를 매칭시켜 저장하는 저장부, 및 임의 장소를 바라보는 방향을 기준으로 사물이 임의 장소에서 고정된 상태로 인식되도록 증강현실 콘텐츠를 회전시켜 사용자가 원하는 화면상에 표시하는 제어부를 포함할 수 있다.

Description

사용자 단말장치 및 그 장치의 구동방법{User Terminal Device and Driving Method Thereof}
본 발명은 사용자 단말장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 가령 바닥인식(surface tracking) 증강현실 기법을 적용하여 증강현실 서비스를 제공하는 사용자 단말장치 및 그 장치의 구동방법에 관한 것이다.
증강현실(Augmented Reality)은 실제로 존재하는 환경에 가상의 사물이나 정보를 합성하여 마치 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 증강현실은 컴퓨터 그래픽 기술을 사용하여 현실과 유사한 또는 현실과 동떨어진 가상의 공간을 생성하는 가상현실(Virtual Reality) 기술에서 파생된 기술 분야로써, 현실 공간과 가상공간을 일치화시켜, 현실에 가상의 물체를 합성하여 그 합성된 가상의 물체가 원래 현실 공간에 존재하는 것처럼 보이도록 한다.
그래픽 기술의 발전으로 현실보다 더 현실같은 가상 공간을 생성하지만, 이질감이 느껴지는 가상 현실 기술과는 달리, 증강 현실 기술은 현실 공간 위에 가상의 물체를 합성하여 중첩하여 보여주므로, 이질감이 적을 뿐아니라, 현실 공간에서는 얻을 수 없는 부가적인 정보나 가상의 물체를 증강하여 현실 공간을 콘텐츠의 목적에 맞는 공간으로 보강할 수 있는 특징이 있다.
그런데, 종래에는 증강현실을 구현하기 위해 마커나 마커리스 등을 이용하여 공간의 3차원 자세를 추정하는데 이 기술은 미리 학습된 이미지 특징점을 이용하여 인식을 수행함에 따라 가상 객체를 증강할 공간을 특정하지 못하거나, 공간상에 이미지 특징점이 존재하지 않는 경우 3차원 자세 정보를 얻지 못하여 증강현실 구현의 정확도가 낮아질 수 있는 문제가 있다.
또한, 최근에는 공사현장, 지하에 매설되어 있는 배관들, 전봇대 등을 현실 세계와 매칭하려는 시장의 요구가 있으나, 종래에 공개되어 있는 증강현실 기법을 적용할 수 없는 문제가 있다.
한국공개특허공보 제10-2017-0081964(2017.07.13)
웹사이트 주소 https://www.youtube.com/watch?v=wVdUagd5JAg 웹사이트 주소 https://www.youtube.com/watch?v=JNcm2OYuUKk 웹사이트 주소 https://www.youtube.com/watch?v=yOGlpmsXJl8
본 발명의 실시예는 가령 바닥인식 증강현실 기법을 적용하여 증강현실 서비스를 제공하는 사용자 단말장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.
본 발명의 실시예에 따른 사용자 단말장치는, 현실 세계의 임의 장소에 설치되는 사물에 대응하는 가상의 증강현실 콘텐츠, 상기 사물의 위치 정보 및 임의 지점을 기준으로 하는 상기 증강현실 콘텐츠의 회전 정보를 매칭시켜 저장하는 저장부, 및 상기 임의 장소에 고정된 사물의 모습 중 상기 임의 장소를 바라보는 방향의 모습이 보여지도록 상기 증강현실 콘텐츠를 회전시켜 화면상에 표시하는 제어부를 포함한다.
상기 제어부는, 상기 임의 지점의 기준으로서 북쪽을 설정하고, 상기 설정한 북쪽을 기준으로 하는 회전 정보를 설정하여 저장시킬 수 있다.
상기 사용자 단말장치는, 상기 임의 장소의 위치 및 상기 임의 장소를 바라보는 방향을 센싱하는 센서부를 더 포함할 수 있다.
상기 센서부는 위치 인식을 위한 GPS 센서 및 방향 인식을 위한 지자기 센서를 포함할 수 있다.
상기 제어부는, 상기 임의 장소를 카메라로 비출 때 상기 사물의 모습 중 상기 카메라로 비추는 방향에서의 모습을 상기 증강현실 콘텐츠로 화면상에 표시할 수 있다.
상기 제어부는, 제1 방향에서의 상기 사물의 모습과 제2 방향에서의 상기 사물의 모습이 서로 다르도록 상기 증강현실 콘텐츠를 회전시켜 표시할 수 있다.
또한, 본 발명의 실시예에 따른 사용자 단말장치의 구동방법은, 저장부가, 현실 세계의 임의 장소에 설치되는 사물에 대응하는 가상의 증강현실 콘텐츠, 상기 사물의 위치 정보 및 임의 지점을 기준으로 하는 상기 증강현실 콘텐츠의 회전 정보를 매칭시켜 저장하는 단계, 및 제어부가, 상기 임의 장소에 고정된 사물의 모습 중 상기 임의 장소를 바라보는 방향의 모습이 보여지도록 상기 증강현실 콘텐츠를 회전시켜 화면상에 표시하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면 가령 공사현장이나 지하에 매설되어 있는 배관들이나 전봇대 등등 현실 세계와 매칭시켜 콘텐츠를 설정함으로써 증강현실을 통해 쉽게 공사현장의 내부를 확인할 수 있어 오프라인에서 설계도면 등을 확인해야 하는 번거로움을 없앨 수 있을 것이다
또한, 본 발명의 실시예는 가령 프로그램 내부적으로 기준 방위와 그를 기준으로 하는 현실 세계에서의 사물에 대한 가상 콘텐츠의 회전값을 설정해 둠으로써 어느 위치나 어느 방향에서 공사 현장을 바라보아도 현실 세계에서와 같이 고정된 상태로 사물을 인식할 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 증강현실을 위한 사용자 단말장치를 나타내는 도면,
도 2는 도 1의 사용자 단말장치의 증강현실 동작을 설명하기 위한 도면,
도 3은 본 발명의 실시예에 따른 증강현실 동작을 위한 데이터 구축 동작을 설명하기 위한 도면,
도 4는 도 1의 사용자 단말장치의 세부구조를 예시한 블록다이어그램, 그리고
도 5는 도 1의 사용자 단말장치의 구동과정을 나타내는 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 증강현실을 위한 사용자 단말장치를 나타내는 도면, 도 2는 도 1의 사용자 단말장치의 증강현실 동작을 설명하기 위한 도면, 그리고 도 3은 본 발명의 실시예에 따른 증강현실 동작을 위한 데이터 구축 동작을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 증강현실을 위한 사용자 단말장치(이하, 사용자 단말장치)(100)는 다양한 유형의 단말장치를 포함한다.
예를 들어, 사용자 단말장치(100)는 스마트폰, 태블릿PC, 랩탑 컴퓨터, 데스크탑컴퓨터, 서버 등 다양한 장치를 포함할 수 있으며, 복수의 장치가 서로 연동하여 동작할 수도 있다. 대표적으로, 스마트폰 등은 서버와 연동하여 본 발명의 실시예에 따른 서비스를 제공할 수 있지만, 스마트폰은 프로그램이나 어플리케이션(이하, 앱)을 포함하여 스탠드얼론 형태로 동작하는 것도 얼마든지 가능하므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
물론 본 발명의 실시예에 따른 사용자 단말장치(100)는 증강현실 서비스를 제공하기 위한 프로그래밍(예: 앱 등)은 컴퓨터 등에서 수행한 후 해당 앱을 앱 스토어 등을 통해 스마트폰으로 제공하여 서비스가 이루어지도록 할 수도 있다. 별도의 저장 매체 등을 통해 설치되도록 할 수도 있다. 태블릿 PC나 컴퓨터의 경우에는 프로그램의 제작과 실행이 모두 동일 장치에서 이루어지는 것도 얼마든지 가능할 수 있다. 여기서, 프로그램의 제작이란 소스 코딩을 의미한다기보다는 물론 그러한 의미를 포함할 수 있지만, 예를 들어 공간상에 인테리어 가구를 배치한다고 가정했을 때 특정 가구를 공간상의 임의 위치에 배치한 후, 현실 세계의 북쪽을 기준으로 하는 데이터 가령 회전값을 설정하는 것을 의미할 수 있다. 따라서, 어느 하나의 의미에 특별히 한정하지는 않을 것이다.
가령, 도 1에서 볼 때, 사용자 단말장치(100)는 도 2에서와 같이 현실 세계의 임의 장소에서 바닥의 특정 지점을 카메라를 통해 비춘 후 해당 부위에 배치하기 위한 가구를 지정하여 가상의 증강현실 콘텐츠(200)로 표시되도록 하거나, 공사현장의 경우에는 특정 방향으로 배관을 배치하여 가상의 콘텐츠를 설정할 수 있다. 따라서, 특정 공간을 이후에 다시 앱을 실행하여 카메라로 비추는 경우에는 기설정되어 있는 가상의 증강현실 콘텐츠가 팝업되어 화면에 표시될 수 있다. 물론 이는 카메라로 비추는 곳의 위치를 인식하거나, 카메라에 인식되는 촬영 영상에서 해당 바닥이나 공간이 인식되었기 때문에 가능하다. 위치 인식을 위해서는 GPS 정보 등이 활용될 수 있지만, 바닥 인식의 경우에는 화상 이미지에서의 특징점 정보 등이 활용될 수 있다.
무엇보다 본 발명의 실시예에 따른 사용자 단말장치(100)는 임의 공간을 어떠한 방향에서 비추는지에 관계없이 현실 세계에서 공간상의 가구나 땅속에 매설되어 있는 배관이 사용자가 바라보는 방향을 중심으로 가상의 증강현실 콘텐츠를 화면에 표시한다는 것이다. 다시 말해 A의 방향에서 도 2에서와 같은 탁자의 정면이 증강현실 콘텐츠를 통해 화면상에 보여졌다면, B의 방향에서 동일 공간을 비출 때에는 해당 탁자의 측면이 증강현실 콘텐츠를 통해 화면상에 보여지도록 한다. 이를 위하여, 가상의 콘텐츠를 설정시에 임의의 기준점을 설정하고, 가령 현실 세계에서의 북쪽을 기준으로 설정하고, 해당 복쪽을 기준으로 현실 세계에서 실제 사물이 배치되는 위치에 대한 정보를 회전값의 형태로 지정한다. 물론 이때 해당 공간에 대한 위치정보가 저장되어야 하는 것은 분명하다. 이는 도 3에서 보여주고 있다.
따라서, 스마트폰이나 태블릿PC와 같은 사용자 단말장치(100)는 내부적으로 GPS 센서나 지자기 센서 등을 포함하므로, 해당 센서들을 통해 현재 사용자가 사용자 단말장치(100)를 어떠한 상태로 사용하고 있는지, 가령 카메라를 어떠한 방향으로 비추고 있는지를 알 수 있다. 다시 말해, 센서를 통해 현재 위치와 방향 정보를 얻을 수 있는 것이다. 따라서, 위치나 방향에 따라 취득되는 방향 정보와 동일 위치에서 기저장되어 있는 가상 콘텐츠의 방향 정보를 근거로 가상 콘텐츠의 회전값을 보정하여 화면에 가상의 콘텐츠가 표시되도록 함으로써 사용자는 현실 세계에서 배치되는 가구를 어느 방향에서 바라보든지 가상의 공간에서도 가상의 콘텐츠를 통해 동일하게 가구를 바라볼 수 있게 된다. 한편, 북쪽을 기준으로 현실 세계에서의 배관을 좌측으로 80도의 방향으로 매설하였다고 가정해 보자. 따라서, 사용자 단말장치(100)의 지자기 센서를 통해 사용자가 어느 방향을 비추는지 인식하여 그 변경된 방향의 각도만큼 기설정된 가상의 콘텐츠의 각도를 보정함으로써 배관이 어느 방향에서 바라보든 고정된 상태가 되어 보이게 되는 것이다.
예를 들어, 공사현장이나 지하에 매설되어 있는 배관들의 경우에는 작업자들이 지하에 있는 경우 어느 쪽이 북쪽인지 인식하는 것이 현실적으로 매우 어려우며, 따라서 설계도를 확인하는 경우에는 많은 번거로움이 있다. 따라서, 사용자가 해당 위치에서 사용자 단말장치(100)를 통해 특정 공간이나 장소를 비추는 경우 해당 사용자 단말장치(100)를 비추는 방향을 기준으로 실제의 배관의 상태 또는 모습을 가상의 콘텐츠로 화면에 보여줌으로써 작업자들의 작업이 수월해질 수 있다.
좀더 구체적으로 설명하면, 본 발명의 실시예에 따른 사용자 단말장치(100)는 바닥인식을 통한 증강현실 콘텐츠를 사용자가 모바일상에서 프로그램 실행시 설계자가 의도한 대로 지구의 위치를 중심으로 회전값을 정해주는 것이다. 예를 들어 작업자는 도 3에서와 같이 T자 오브젝트(300)의 위치와 회전값이 (0,0,0)일 때 북쪽으로 설정하고 작업을 했다고 (가정)하면 기존 증강현실 프로그램으로 실행시에 실제 현실 세계의 북쪽을 향하게 되는 것이 아니라 프로그램을 실행과 동시에 각종 모바일 디바이스 안에 내장된 센서로 현실 세계를 인식하고 인식하는 곳을 중심으로 위치 및 회전값이 (0, 0, 0)으로 매겨지며 위에 T자 오브젝트(300)는 거기에 따라 재배치될 수 있다. 그에 따라 설계자는 빨간 막대가 진북을 가리키게 작업을 했지만 모바일 디바이스 중심으로 재배치된 가상의 북쪽을 가리키게 된다. 따라서 후에 사용자가 후 보정을 해줘야 하는 번거로움이 뒤따를 수 있다. 물론 게임 콘텐츠나 단순한 감상 콘텐츠면 위치나 회전값이 상관이 없을 수 있다. 하지만 본 발명의 실시예에서와 같이 공사현장, 지하에 매설되어 있는 배관들, 전봇대 등등 반드시 현실 세계와 매칭되어야 하는 콘텐츠들이 있으며 이런 콘텐츠에 대한 요구들을 받아 회전값을 자동으로 보정해주어야 한다.
이를 위하여 즉 위치 보정을 위하여 본 발명의 실시예에서는 사용자 단말장치(100)의 GPS(남반구, 북반구에 따라 계산이 달라짐), 지자기 센서를 이용해 진북을 찾고, 사용자 단말장치(100)의 세계의 좌표계를 현실 좌표계로 3차원(3D) 변환(transformations)을 한다. 3차원 변환은 3차원 공간상에서 X축, Y축, Z축과 각 축에 대한 회전값을 행렬의 형태로 표현할 수 있다. 3D 변환을 하는 과정은 몇가지 과정을 거치며, 대표적으로 변환 행렬, 변환 관계 구하기, 회전 변환 구하기, 강체(Rigid) 변환 구하기 등으로 이루어진다. 세부 내용은 행렬과 벡터의 내적을 구하는 수학식으로 계산되며, 자세한 내용은 웹사이트 주소 https://en.wikipedia.org/wiki/Rigid_transformation에서도 확인해 볼 수 있다.
결론적으로 본 발명의 실시예에서는 증강현실을 즐길 때 별도의 후보정 없이 자동으로 설계자가 의도한 대로 현실 세계의 회전값을 가지고 증강현실 콘텐츠가 증강되어 화면에 표시되는 것이다. 이를 위하여, 현실 세계에서의 사물에 대응하는 상태를 회전값의 형태로 표현하며, 해당 회전값은 북쪽을 기준으로 설정한다고 볼 수 있다. 따라서 기설정한 북쪽과 현실세계에서 취득되는 진북에 대한 방위정보의 차이를 근거로 증강현실 콘텐츠의 회전값을 보정해줌으로써 사용자가 바라보는 방향에서의 사물의 모습을 마치 사물이 고정된 상태에서 보는 것과 같은 느낌을 가질 수 있도록 한다. 물론 이의 경우 화면상에서 콘텐츠를 회전한다기보다는 프로그램 내부적으로 회전시킨 상태에서 화면상에 팝업되도록 하는 것이 바람직하지만, 다양한 형태로 구현될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
도 4는 도 1의 사용자 단말장치의 세부구조를 예시한 블록다이어그램이다.
도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 사용자 단말장치(100)는 인터페이스부(400), 제어부(410), AR 콘텐츠처리부(420), 저장부(430) 및 센서부(440)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것을 저장부(430)와 같은 일부 구성요소가 생략되어 사용자 단말장치(100)가 구성되거나, AR 콘텐츠처리부(420)와 같은 일부 구성요소가 제어부(410)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
인터페이스부(400)는 통신 인터페이스부와 사용자 인터페이스부를 포함한다. 통신 인터페이스부는 예를 들어 본 발명의 실시예에 따른 서비스를 제공받기 위하여 앱 스토어 등의 서버와 통신하기 위한 동작을 수행할 수 있다. 또한, 사용자 인터페이스부는 모니터 화면과 같은 디스플레이부를 포함하거나, 전원버튼과 같은 버튼부를 포함할 수 있다. 카메라를 포함할 수도 있다. 음성 명령어로 동작이 제어되는 경우에는 음성인식모듈을 포함할 수 있을 것이다.
제어부(410)는 도 1의 사용자 단말장치(100)를 구성하는 도 4의 인터페이스부(400), AR 콘텐츠처리부(420), 저장부(430) 및 센서부(440)의 전반적인 제어동작을 담당한다. 예를 들어, 사용자, 가령 설계자의 요청이 있을 때 AR 콘텐츠처리부(420)에 탑재된 프로그램을 실행하여 증강현실 서비스를 제공하기 위한 데이터 구축 동작을 수행할 수 있다. 예를 들어, 임의의 공간에서 가구를 배치하는 인테리어 동작을 수행하는 경우 화면상에 팝업되는 특정 제품을 지정하여 도 2에서와 같이 원하는 공간에 배치할 수 있다. 그리고, 도 3에서와 같이 북쪽을 기준으로 하는 회전값을 설정하여 현실 세계에서 배치되는 가구의 상태를 지정해 줄 수 있다.
또한, 제어부(410)는 위의 서비스 구축 동작이 완료되면, 또는 사용자의 설계가 완료되면, 가령 사용자가 앱을 실행한 후 위의 해당 공간을 비추면 센서부(440)를 통해 현재 위치와 방향에 대한 정보를 취득할 수 있다. 그리고 현재 위치, 더 정확하게는 방향을 기준으로 기설정된 가상의 콘텐츠를 회전시켜 해당 방향에서 바라보는 대로 가상의 콘텐츠를 화면에 표시한다. 화면에 표시되는 가상의 콘텐츠는 실제로 현실 세계에서의 가구 등의 사물을 바라보는 것과 동일한 느낌을 가질 수 있게 된다. 물론 이러한 동작은 AR 콘텐츠처리부(420)에서 이루어지며, 제어부(410)는 AR 콘텐츠처리부(420)에 연동하여 제공되는 화상 데이터를 디스플레이 등에 표시되도록 제어할 수 있다.
AR 콘텐츠처리부(420)는 위에서 설명한 바와 같이 임의 공간에 설치되는 또는 매설되는 사물에 대한 실제 상태를 가상의 콘텐츠로 지정하기 위한 동작을 수행한다. 물론 해당 콘텐츠는 고정된 상태로 화면상에 보여주어야 하는 것이며, 사용자가 바라보는 방향을 기준으로 현실 세계에서와 동일한 모습을 보여주도록 동작한다. 다시 말해, 사용자가 카메라를 임의 공간에 제1 방향으로 비추었을 때 가상의 콘텐츠가 실제 현실 세계에서의 사물과 같은 정면을 화면에 보여주었다면, 제2 방향으로 비추었을 때는 정면이 아닌 측면을 화면에 보여주는 등의 동작을 처리한다.
따라서, AR 콘텐츠처리부(420)는 센서부(440)를 통해 취득되는 위치나 방향 정보를 가상 콘텐츠와 관련해 기설정되어 있는 방향 정보와 비교하여 차이만큼 가상의 콘텐츠에 설정된 위치값을 조정하여 조정된 위치값에 따라 가상의 콘텐츠를 변경하여 화면상에 표시한다. 프로그램 내부적으로 가상의 콘텐츠에 대한 3차원 변환이 이루어진다고 볼 수 있다. 따라서, AR 콘텐츠처리부(420)는 실제 지구상의 북쪽만 알 수 있다면 기설정된 가상의 콘텐츠를 다양한 형태로 변경하여 화면에 표시해 줄 수 있다. 가령, AR 콘텐츠처리부(420)는 일종의 피벗(pivot)과 같은 동작을 수행한다고 볼 수 있다. 다시 말해 북쪽을 기준점으로 지정해 줌으로써 해당 축을 기준으로 가상의 콘텐츠들이 사용자의 위치 변경에 따라 회전하여 자유롭게 화면상에 표시될 수 있는 것이다.
저장부(430)는 제어부(410)의 제어하에 처리되는 데이터를 임시 저장하고, 저장한 데이터를 출력할 수 있다. 예를 들어, 저장부(430)는 센서부(440)의 센싱 데이터를 제어부(410)의 제어하에 저장한 후 AR 콘텐츠처리부(420)에 제공되도록 할 수 있다.
센서부(440)는 GPS 센서나 지자기 센서 등을 포함한다. GPS 센서는 현재의 위치를 감지하기 위해 사용될 수 있으며, 가상의 콘텐츠를 임의의 공간에 설정할 때에도 해당 GPS의 위치 정보가 활용될 수 있다. 좌표값의 형태로 사용될 수 있다. 따라서, 사용자가 임의의 위치에서 앱을 실행하였을 때 사용자가 어느 위치에 위치하는지를 판단할 수 있다. 또한, 지자기 센서를 통해서는 사용자가 카메라를 비추는 방향을 감지할 수 있다. 센서부(440)는 지자기 센서를 통해 취득한 방향 정보를 제어부(410)로 제공한다.
상기한 내용 이외에도 도 4의 인터페이스부(400), 제어부(410), AR 콘텐츠처리부(420), 저장부(430) 및 센서부(440)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
한편, 본 발명의 다른 실시예로서 제어부(410)는 CPU 및 메모리를 포함할 수 있으며, 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트 정보의 연산동작을, 그리고 명령어해석부는 인터프리터나 컴파일러 등을 포함하여 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 사용자 단말장치(100)의 동작 초기에 AR 콘텐츠 처리부(430)에 저장되어 있는 프로그램을 복사하여 메모리 즉 램(RAM)에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수 있다.
도 5는 도 1의 사용자 단말장치의 구동과정을 나타내는 흐름도이다.
설명의 편의상 도 5를 도 1과 함께 참조하면, 본 발명의 실시예에 따른 사용자 단말장치(100)는 현실 세계의 임의 장소에 설치되는 사물과 관련한 가상의 증강현실 콘텐츠, 사물의 위치 정보 및 임의 지점을 기준으로 하는 증강현실 콘텐츠의 회전 정보를 매칭시켜 저장한다(S500). 여기서, 임의 지점은 북쪽이 기준이 될 수 있으며, 증강현실을 구현하기 위한 가상의 콘텐츠들은 북쪽을 기준으로 하는 회전값이 설정될 수 있다. 해당 회전값은 실제로 현실 세계에서 임의 공간에 사물이 배치되거나 지하에 매설되는 배관의 실제 상태를 의미할 수 있다.
또한, 사용자 단말장치(100)는 임의 장소에 고정된 사물의 모습 중 임의 장소를 바라보는 방향의 모습이 보여지도록 증강현실 콘텐츠를 회전시켜 화면상에 표시한다(S510). 예를 들어, 현재 현실 세계에서 인식되는 북쪽과 기설정된 북쪽에 차이가 발생하는 만큼 기설정된 회전값을 보정하여 현실 세계에서 실제 설치된 상태로 사용자에게 보이도록 하는 것이다. 또는 그 차이를 통해 사용자가 어느 방향에서 사물을 바라보는지를 알 수 있다. 따라서, 그에 따라 기설정된 콘텐츠의 회전값을 보정하여 화면에 표시해 줄 수 있을 것이다.
상기한 내용에 이외에도 도 1의 사용자 단말장치(100)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 사용자 단말장치 200: 가상의 (증강현실) 콘텐츠
300: T자 오브젝트 400: 인터페이스부
410: 제어부 420: AR 콘텐츠처리부
430:저장부 440: 센서부

Claims (7)

  1. 현실 세계의 임의 장소에 설치되는 사물에 대응하는 가상의 증강현실 콘텐츠, 상기 사물의 위치 정보 및 임의 지점을 기준으로 하는 상기 증강현실 콘텐츠의 회전 정보를 매칭시켜 저장하는 저장부; 및
    상기 임의 장소에 고정된 사물의 모습 중 상기 임의 장소를 바라보는 방향의 모습이 보여지도록 상기 증강현실 콘텐츠를 회전시켜 화면상에 표시하는 제어부;를 포함하되,
    상기 제어부는, 상기 임의 장소를 카메라로 비출 때 상기 사물의 모습 중 상기 카메라로 비추는 방향에서의 모습을 상기 증강현실 콘텐츠로 화면상에 표시하고,
    상기 제어부는, 제1 방향에서의 상기 사물의 모습과 제2 방향에서의 상기 사물의 모습이 서로 다르도록 상기 증강현실 콘텐츠를 회전시켜 표시하는 사용자 단말장치.
  2. 제1항에 있어서,
    상기 제어부는, 상기 임의 지점의 기준으로서 북쪽을 설정하고, 상기 설정한 북쪽을 기준으로 하는 회전 정보를 설정하여 저장시키는 사용자 단말장치.
  3. 제1항에 있어서,
    상기 임의 장소의 위치 및 상기 임의 장소를 바라보는 방향을 센싱하는 센서부;를 더 포함하는 사용자 단말장치.
  4. 제3항에 있어서,
    상기 센서부는 위치 인식을 위한 GPS 센서 및 방향 인식을 위한 지자기 센서를 포함하는 사용자 단말장치.
  5. 삭제
  6. 삭제
  7. 저장부가, 현실 세계의 임의 장소에 설치되는 사물에 대응하는 가상의 증강현실 콘텐츠, 상기 사물의 위치 정보 및 임의 지점을 기준으로 하는 상기 증강현실 콘텐츠의 회전 정보를 매칭시켜 저장하는 단계; 및
    제어부가, 상기 임의 장소에 고정된 사물의 모습 중 상기 임의 장소를 바라보는 방향의 모습이 보여지도록 상기 증강현실 콘텐츠를 회전시켜 화면상에 표시하는 단계;
    상기 제어부가, 상기 임의 장소를 카메라로 비출 때 상기 사물의 모습 중 상기 카메라로 비추는 방향에서의 모습을 상기 증강현실 콘텐츠로 화면상에 표시하는 단계; 및
    상기 제어부가, 제1 방향에서의 상기 사물의 모습과 제2 방향에서의 상기 사물의 모습이 서로 다르도록 상기 증강현실 콘텐츠를 회전시켜 표시하는 단계;를
    포함하는 사용자 단말장치의 구동방법.
KR1020210061462A 2021-05-12 2021-05-12 사용자 단말장치 및 그 장치의 구동방법 KR102345355B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210061462A KR102345355B1 (ko) 2021-05-12 2021-05-12 사용자 단말장치 및 그 장치의 구동방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210061462A KR102345355B1 (ko) 2021-05-12 2021-05-12 사용자 단말장치 및 그 장치의 구동방법

Publications (1)

Publication Number Publication Date
KR102345355B1 true KR102345355B1 (ko) 2021-12-30

Family

ID=79178525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210061462A KR102345355B1 (ko) 2021-05-12 2021-05-12 사용자 단말장치 및 그 장치의 구동방법

Country Status (1)

Country Link
KR (1) KR102345355B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150077607A (ko) * 2013-12-27 2015-07-08 주식회사 윈드밸리 증강현실을 이용한 공룡 유적지 체험 서비스 제공 시스템 및 그 방법
KR20170081964A (ko) 2016-01-05 2017-07-13 한국전자통신연구원 공간 구조 인식을 통한 증강 현실 장치 및 그 방법
KR20200022737A (ko) * 2018-08-23 2020-03-04 주식회사 버넥트 혼합현실 기반의 접이식 표시 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150077607A (ko) * 2013-12-27 2015-07-08 주식회사 윈드밸리 증강현실을 이용한 공룡 유적지 체험 서비스 제공 시스템 및 그 방법
KR20170081964A (ko) 2016-01-05 2017-07-13 한국전자통신연구원 공간 구조 인식을 통한 증강 현실 장치 및 그 방법
KR20200022737A (ko) * 2018-08-23 2020-03-04 주식회사 버넥트 혼합현실 기반의 접이식 표시 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
웹사이트 주소 https://www.youtube.com/watch?v=JNcm2OYuUKk
웹사이트 주소 https://www.youtube.com/watch?v=wVdUagd5JAg
웹사이트 주소 https://www.youtube.com/watch?v=yOGlpmsXJl8

Similar Documents

Publication Publication Date Title
US11163997B2 (en) Methods and apparatus for venue based augmented reality
JP7337104B2 (ja) 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体
KR102529120B1 (ko) 영상을 획득하는 방법, 디바이스 및 기록매체
US9495802B2 (en) Position identification method and system
US10754546B2 (en) Electronic device and method for executing function using input interface displayed via at least portion of content
US20170255450A1 (en) Spatial cooperative programming language
US9792731B2 (en) System and method for controlling a display
AU2014203449B2 (en) Information processing apparatus, and displaying method
EP3241074A1 (en) System and method for interactive projection
JP6500355B2 (ja) 表示装置、表示プログラム、および表示方法
KR20150082358A (ko) 기준 좌표계 결정
KR20120009564A (ko) 3차원 마우스 포인터 생성방법 및 생성장치
US20120242664A1 (en) Accelerometer-based lighting and effects for mobile devices
CN113359986B (zh) 增强现实数据展示方法、装置、电子设备及存储介质
EP3062293A1 (en) Shadow rendering apparatus and control method thereof
CN110599432B (zh) 影像处理系统及影像处理方法
JP2021185498A (ja) 拡張現実空間に配置される３ｄオブジェクトを生成する方法
KR102345355B1 (ko) 사용자 단말장치 및 그 장치의 구동방법
CN108090212B (zh) 兴趣点的展示方法、装置、设备及存储介质
US11562538B2 (en) Method and system for providing a user interface for a 3D environment
KR20210057586A (ko) 블라인드 워터마킹 기술을 이용한 카메라 기반 측위 방법 및 시스템
CN114299809B (zh) 方向信息显示方法、显示装置、电子设备和可读存储介质
KR20150094338A (ko) 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 시스템 및 방법
CN110827411B (zh) 自适应环境的增强现实模型显示方法、装置、设备及存储介质
CN114299271A (zh) 三维建模方法、三维建模装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant