KR101470757B1 - 증강현실 서비스 제공 방법 및 장치 - Google Patents

증강현실 서비스 제공 방법 및 장치 Download PDF

Info

Publication number
KR101470757B1
KR101470757B1 KR20130116072A KR20130116072A KR101470757B1 KR 101470757 B1 KR101470757 B1 KR 101470757B1 KR 20130116072 A KR20130116072 A KR 20130116072A KR 20130116072 A KR20130116072 A KR 20130116072A KR 101470757 B1 KR101470757 B1 KR 101470757B1
Authority
KR
South Korea
Prior art keywords
virtual object
mobile device
plane space
touch screen
distance
Prior art date
Application number
KR20130116072A
Other languages
English (en)
Inventor
이종원
유한규
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=52678222&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101470757(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR20130116072A priority Critical patent/KR101470757B1/ko
Application granted granted Critical
Publication of KR101470757B1 publication Critical patent/KR101470757B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강현실 서비스 제공 방법 및 장치를 개시한다. 본 발명에 따르면, 터치 스크린을 포함하는 모바일 기기를 이용한 증강현실 서비스 제공 방법으로서, (a) 상기 모바일 기기의 자세에 따른 2차원 제약평면 공간을 생성하는 단계; 및 (b) 카메라를 통해 획득된 영상에 포함된 대상물에 상응하여 디스플레이되는 가상 객체를 상기 터치 스크린 상에서의 사용자 조작에 따라 상기 2차원 제약평면 공간 상에서 이동 또는 회전시키는 단계를 포함하는 증강현실 서비스 제공 방법이 제공된다.

Description

증강현실 서비스 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING AUGMENTED REALITY SERVICE}
본 발명은 증강현실 서비스 제공 방법 및 장치에 관한 것으로서, 증강현실에서 나타나는 가상 객체를 쉽게 움직일 수 있도록 하는 방법 및 장치에 관한 것이다.
최근 모바일 시장의 활성화에 따른 모바일 기기의 사용량의 급격한 증가로 인하여 이와 관련된 스마트폰 어플리케이션이 많이 생겨나고 있다. 특히 모바일 기기를 이용한 증강현실(Augmented Reality: AR) 서비스는 현실 세계에 3차원 가상 객체를 보여주는 기술로서, 현실 세계에 실시간으로 부가정보를 갖는 가상 객체를 합쳐 하나의 영상으로 보여주는 것으로 1990년대 후반부터 다양한 연구 개발이 진행되고 있다.
그러나, 지금까지의 증강현실 서비스는 마커 등의 인식을 통해 3차원 가상 객체를 디스플레이해주는 것만을 의미할 뿐, 아직까지 모바일 증강현실 환경에서 상호작용에 대한 연구는 많이 진행되고 있지 않다.
한국공개특허 2012-0086266(발명의 명칭: 증강현실 환경에서의 가상 객체 조작방법 및 이를 구현하는 증강현실 장치)에서는 모바일 기기의 내장 센서를 이용하여 3차원 가상 객체의 3축 이동, 3축 회전 및 크기를 조작할 수 있도록 하는 방법을 개시하고 있다.
이러한, 상기한 선행기술에서 3축 이동은, 가상 객체를 3축 상에서 이동시키고자 하는 목표 이동 방향으로 모바일 기기를 기울이면서(사용자의 제1 회전 조작), 동시에 목표 이동방향으로 터치 스크린상에서 드래그 앤 드랍(제1 드래그 앤 드랍 조작)하는 방식으로 정의된다.
그러나, 상기와 같은 방식으로 가상 객체를 이동시키는 경우, 직관적인 조작이 어려울 뿐만 아니라, 복잡한 계산 과정을 통해 가상 객체를 이동 또는 회전시키기 때문에 시간 지연이 크게 발생하는 문제점이 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 모바일 증강현실 환경에서 사용자가 손쉽게 증강된 가상 객체를 조작할 수 있는 증강현실 서비스 제공 방법 및 장치를 제안하고자 한다.
상기한 기술적 과제를 해결하기 위해 본 발명의 바람직한 일 실시예에 따르면, 터치 스크린을 포함하는 모바일 기기를 이용한 증강현실 서비스 제공 방법으로서, (a) 상기 모바일 기기의 자세에 따른 2차원 제약평면 공간을 생성하는 단계; 및 (b) 카메라를 통해 획득된 영상에 포함된 대상물에 상응하여 디스플레이되는 가상 객체를 상기 터치 스크린 상에서의 사용자 조작에 따라 상기 2차원 제약평면 공간 상에서 이동 또는 회전시키는 단계를 포함하는 증강현실 서비스 제공 방법이 제공된다.
상기 (a) 단계는 내장 센서 또는 영상 분석을 통해 계산된 상기 모바일 기기와 상기 가상 객체와의 거리 및 상기 모바일 기기의 방향을 이용하여 상기 2차원 제약평면 공간을 생성할 수 있다.
상기 제약평면 공간은 상기 모바일 기기의 방향과 평행하며, 상기 가상객체의 중점을 통과하는 평면으로 정의될 수 있다.
상기 사용자 조작은 드래그를 포함하며, 상기 (b) 단계는 상기 터치 스크린 상에서 드래그의 길이 및 상기 모바일 기기와 상기 가상 객체의 거리 중 적어도 하나를 고려하여 상기 가상 객체를 이동 또는 회전시킬 수 있다.
상기 (b) 단계는 상기 터치 스크린 상에서 드래그의 길이 및 상기 모바일 기기와 상기 가상 객체의 거리에 비례하여 상기 가상 객체를 이동 또는 회전시킬 수 있다.
상기 이동 또는 회전은 상기 터치 스크린상에 출력되는 모드 변환 메뉴에 의해 결정될 수 있다.
상기 이동 또는 회전은 상기 터치 스크린상에서의 드래그 방향에 결정될 수 있다.
상기 가상 객체의 회전 시, 상기 가상 객체의 회전축은 드래그와 매칭이 되는 상기 제약평면 공간 상의 선분과 수직한 방향으로 결정될 수 있다.
상기 이동 또는 회전에 따른 상기 가상 객체의 변경된 위치 및 방향 정보를 저장할 수 있다.
본 발명의 다른 측면에 따르면, 상기한 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명의 또 다른 측면에 따르면, 증강현실 서비스 장치로서, 상기 장치의 상기 모바일 기기의 자세에 따른 2차원 제약평면 공간을 생성하는 제약평면 공간 생성부; 카메라를 통해 획득된 영상에서 인식된 미리 설정된 대상물에 상응하는 가상 객체를 디스플레이하는 디스플레이부; 상기 터치 스크린 상에서의 사용자 조작 정보를 수신하고, 상기 사용자 조작 정보에 따라 상기 가상 객체를 상기 2차원 제약평면 공간 상에서 이동 또는 회전시키는 가상 객체 조작부를 포함하는 증강현실 서비스 제공 장치가 제공된다
본 발명에 따르면, 모바일 기기의 자세에 따라 2차원 제약평면 공간을 정의하기 때문에 가상 객체를 손쉽게 이동 및 회전시킬 수 있는 장점이 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 모바일 기기의 상세 구성을 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 제약평면 공간을 설명하기 위한 도면.
도 3은 본 발명에 따른 터치 조작의 일 예를 도시한 도면.
도 4는 본 발명에 따른 모바일 기기에서 사용자의 드래그 제스처를 기반으로 가상 객체를 이동시키는 예를 도시한 도면.
도 5는 본 발명에 따른 모바일 기기에서 사용자의 드래그 조작이 있는 경우 가상 객체와의 거리에 따라 가상 객체를 다르게 이동시키는 예를 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 가상 객체 회전 과정을 설명하기 위한 도면.
도 7은 본 발명의 다른 실시예에 따른 가상 객체의 이동 및 회전 과정을 설명하기 위한 도면.
도 8은 본 발명에 따른 가상 객체 이동 또는 회전 과정의 순서도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 모바일 기기의 상세 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 모바일 기기(100)는 영상 획득부(101), 자세 계산부(102), 제약평면 공간 생성부(104), 가상 객체 추출부(106), 디스플레이부(108), 가상 객체 조작부(110) 및 저장부(112)를 포함할 수 있다.
영상 획득부(101)는 모바일 기기(100)에 장착된 카메라를 통해 촬영된 영상을 수신한다.
영상 획득부(101)는 현실 세계 영상을 수신하며, 또한 증강 현실 서비스를 위해 제공된 마커, 코드 또는 카드와 같은 가상 객체 디스플레이를 위한 대상물에 대한 영상을 획득한다.
자세 계산부(102)는 모바일 기기(100)의 움직임을 센싱하기 위해 제공되는 센서 또는 영상 분석을 통해 현재 모바일 기기(100)의 위치 및 방향과 같은 자세를 계산한다.
여기서, 센서는, 거리 측정 센서, 가속도 센서 또는 자기장 센서를 포함할 수 있으며, 이들 센서를 통해 현재 모바일 기기(100)의 위치 및 방향과 같은 자세를 계산할 수 있다.
본 발명의 다른 실시예에 따르면, 모바일 기기(100)의 위치와 방향은 가상 객체를 포함하고 있는 증강현실 공간좌표계를 기준으로 정의될 수 있다. 여기서, 공간좌표계는 증강현실 서비스를 위해 사용하는 가상 객체에 상응하는 대상물(예를 들어, 마커)를 기반으로 정의될 수 있으며 가상객체와 실제공간에 존재하는 객체들의 위치 및 방향을 정의하는데 기준이 된다. 또한 모바일 기기(100)와 가상 객체와의 거리는 가상 객체에 상응하는 대상물(예를 들어, 가상객체(200))과의 거리일 수 있다.
본 발명의 바람직한 일 실시예에 따르면, 증강 현실 서비스에서 현실 세계에 상기한 대상물에 따른 가상 객체를 표시하고 나아가 가상 객체를 사용자가 손쉽게 이동 또는 회전시킬 수 있도록 제약평면 공간을 제공한다.
본 발명에 따른 제약평면 공간 생성부(104)는 자세 계산부(102)를 통해 계산된 모바일 기기(100)의 위치 및 방향 정보를 이용하여 가상 객체가 움직일 수 있는 가상의 2차원 제약평면 공간을 생성한다.
도 2는 본 발명의 일 실시예에 따른 제약평면 공간을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 모바일 기기(100)가 A와 같은 자세를 갖는 경우, A'의 2차원 제약평면 공간(202-1)이 생성되고, 증강된 가상 객체(200)는 A'와 같은 제약평면 공간(202-1)상에서 움직인다.
한편, 모바일 기기(100)가 B와 같은 자세를 갖는 경우, B'의 2차원 제약평면 공간(202-2)이 생성되고, 증강된 가상 객체(200)는 B'와 같은 제약평면 공간(202-2)상에서 움직이는 것으로 정의된다.
정리하면, 본 발명에 따른 제약평면 공간 생성부(104)는 증강현실 공간좌표계에서 선택된 가상 객체의 중점을 통과하며 A와 B에 평행한 A'와 B'와 같은 2차원 제약평면 공간(202)을 생성하고, 가상 객체는 상기와 같이 모바일 기기(100)의 위치 및 방향에 따라 생성된 2차원 제약평면 공간(202)상에서 이동 또는 회전하게 된다.
제약평면 공간상에서 가상 객체의 움직임은 하기에서 상세하게 설명될 것이다.
가상 객체 추출부(106)는 영상 획득부(101)에서 획득한 영상 내에서 미리 설정된 대상물에 상응하는 가상 객체를 추출한다.
전술한 바와 같이, 미리 설정된 대상물은 마커, 태그, QR 코드 등일 수 있으며, 영상 내에 마커 등이 존재하는 경우, 데이터베이스(미도시)를 참조하여 대상물에 상응하는 가상 객체를 추출한다. 이하에서는 설명의 편의를 위해 마커의 인식을 통해 가상 객체가 디스플레이되는 것을 가정하여 설명한다.
데이터베이스는 모바일 기기(100) 내에 존재할 수 있으나, 이에 한정됨이 없이 모바일 기기(100)와 네트워크를 통해 연결된 서버에 구비될 수 있다.
이때, 영상 획득을 통해 소정 대상물이 인식되는 경우, 모바일 기기(100)는 서버에 대상물 식별 정보를 전송할 수 있으며, 서버는 대상물에 상응하는 가상 객체 정보를 모바일 기기(100)로 전송할 수 있다.
디스플레이부(108)는 영상 획득부(101)에서 획득된 영상과 상기와 같이 추출된 가상 객체를 화면에 디스플레이한다.
본 발명에 따르면, 사용자는 대상물의 인식을 통해 추출된 가상 객체를 상기한 제약평면 공간상에서 이동 또는 회전시킬 수 있다.
본 발명에 따른 모바일 기기(100)는 터치 스크린을 구비할 수 있으며, 가상 객체 조작부(110)는 사용자의 터치 신호를 수신하며, 수신된 터치 신호에 따라 가상 객체를 이동 또는 회전시킨다.
가상 객체의 이동 또는 회전된 경우, 저장부(112)는 가상 객체에 대한 변경된 위치 및 방향 정보를 저장하고, 추후 가상 객체를 다시 디스플레이하는 경우, 초기 위치 및 방향이 아닌 사용자의 조작에 따라 변경된 위치 및 사용자가 회전시킨 방향으로 가상 객체가 디스플레이되도록 한다.
여기서, 가상 객체의 위치는 증강현실 공간좌표계의 x, y, z좌표로 저장될 수 있으며, 방향은 공간좌표계의 x, y, z축을 기준으로 정의될 수 있다.
도 3에 도시된 바와 같이, 본 발명에 따른 터치는 손가락을 소정 방향으로 이동시키는 드래그(Drag), 두 손가락을 가까워지는 방향으로 이동시키는 핀치(Pinch) 및 두 손가락을 서로 멀어지는 방향으로 이동시키는 스프리드(Spread)를 포함할 수 있다. 그밖에 손가락으로 터치 스크린을 단속적으로 접촉하는 탭, 더블 탭 등 다양한 터치 제스처가 사용될 수 있다.
이하에서는 드래그를 이용하여 가상 객체를 이동 또는 회전시키는 것을 중심으로 설명하나, 반드시 이에 한정되지 않는다는 점을 당업자는 이해하여야 할 것이다.
이하에서는 도 4 내지 도 7을 참조하여 본 발명에 따른 가상 객체의 이동 또는 회전 과정을 상세하게 설명한다.
도 4는 본 발명에 따른 모바일 기기에서 사용자의 드래그 제스처를 기반으로 가상 객체를 이동시키는 예를 도시한 도면이다.
도 4에 도시된 바와 같이, 모바일 기기(100)의 자세에 따라 2차원 제약평면 공간(202)이 정의되며, 모바일 기기(100)는 가상 객체(200)가 디스플레이되는 상태에서 사용자의 드래그 조작이 있는 경우, 현재의 제약평면 공간상에서 사용자가 드래그한 방향으로 가상 객체(200)를 이동시킨다. 이때, 가상 객체(200)의 이동 거리는 드래그 거리에 비례한다.
본 발명의 바람직한 실시예에 따르면, 가상 객체(200)의 이동은 드래그 거리뿐만 아니라, 가상 객체(200)와 모바일 기기(100)와의 거리에 비례하여 결정된다.
도 5는 본 발명에 따른 모바일 기기에서 사용자의 드래그 조작이 있는 경우 가상 객체와의 거리에 따라 가상 객체를 다르게 이동시키는 예를 도시한 도면이다.
도 5에 도시된 바와 같이, 제약평면 공간(202)을 생성하는 경우, 모바일 기기(100)의 위치 정보가 저장되고, 이를 통해 가상 객체(200)와 모바일 기기(100)와의 거리를 계산할 수 있다. 여기서, 위치 정보는 증강현실 공간좌표계에서 모바일 기기(100)의 x,y,z 좌표이다.
사용자의 드래그 조작이 있는 경우, 모바일 기기(100)는 드래그 거리뿐만 아니라, 모바일 기기(100)의 위치 정보를 이용하여 가상 객체를 이동시킨다.
도 5를 참조하면, 동일한 드래그 조작이 있는 경우, 모바일 기기(100)와 가상 객체(200)의 거리가 멀수록 가상 객체의 이동 거리는 더 길어지게 된다.
즉, 드래그 거리가 dp로 동일하다고 하더라도 모바일 기기(100)와 가상 객체의 거리가 lA인 경우에는 가상 객체의 이동 거리가 CA인 반면, lB인 경우에는 가상 객체의 이동 거리가 CB가 된다.
도 6은 본 발명의 일 실시예에 따른 가상 객체 회전 과정을 설명하기 위한 도면이다.
본 발명의 바람직한 일 실시예에 따르면, 모바일 기기(100)의 터치 스크린에는 이동 및 회전 중 하나를 위한 메뉴가 존재할 수 있으며, 이동 메뉴를 선택하는 경우에는 상기한 바와 같이, 사용자의 드래그 조작 시 가상 객체가 드래그 거리 및 모바일 기기(100)와 가상 객체(200)의 거리에 따라 소정 방향으로 이동한다.
한편, 사용자가 회전 메뉴의 선택을 통해 모드를 변환하는 경우, 모바일 기기(100)는 사용자의 드래그 조작에 따라 가상 객체를 소정 각도만큼 회전시킨다.
본 발명에 따르면, 가상 객체의 회전 방향은 제약평면 공간(202) 상에 드래그 방향에 수직한 방향으로 정의되며, 보다 상세하게는 터치 스크린상에서의 2차원적인 드래그 조작 시, 드래그 조작과 매칭이 되는 제약평면 공간(202) 상의 선분과 수직한 방향으로 가상 객체의 회전축이 정의된다.
또한, 드래그 거리에 비례하여 회전 각도가 결정되며, 이때 상기한 도 5에서 설명한 바와 같이 드래그 거리뿐만 아니라 모바일 기기(100)와 가상 객체(200)의 거리에 비례하여 회전 각도가 결정될 수 있다.
상기한 도 4 내지 도 6에서는 모드 변환을 통해 제약평면 공간 위에서 이동 및 회전축이 정의되는 것을 설명하였다.
본 발명의 다른 실시예에 따르면 제약평면 공간의 수직 방향으로 이동 및 제약평면 공간의 수직축을 중심으로 회전시킬 수 있다.
도 7은 본 발명의 다른 실시예에 따른 가상 객체의 이동 및 회전 과정을 설명하기 위한 도면이다.
도 7을 참조하면, 드래그 방향에 따라 가상 객체의 이동 및 회전 중 하나를 결정할 수 있다.
사용자가 드래그 조작 A(수직 방향으로의 드래그)를 수행하는 경우, 모바일 기기(100)는 가상 객체를 수직 방향으로 드래그 거리 및 모바일 기기와 가상 객체와의 거리를 고려하여 이동시킨다.
한편, 사용자가 드래그 조작 B(수평 방향으로의 드래그)를 수행하는 경우, 모바일 기기(100)는 가상 객체를 드래그 방향에 수직 방향을 회전 축으로 하여 드래그 거리 및 모바일 기기와 가상 객체와의 거리에 따라 가상 객체를 회전시킨다.
도 7에서는 수직 방향을 가상 객체의 이동, 수평 방향을 가상 객체의 회전으로 정의한 경우이나, 이와 반대로 수평 방향이 가상 객체의 이동, 수직 방향이 가상 객체의 회전으로 정의될 수도 있을 것이다.
도 8은 본 발명에 따른 가상 객체 이동 또는 회전 과정의 순서도로서, 도 4 내지 도 6와 같은 방법으로 가상 객체를 이동 또는 회전시키는 과정을 도시한 도면이다.
도 8을 참조하면, 모바일 기기(100)는 카메라를 통해 영상을 획득한다(단계 800).
모바일 기기(100)는 영상 획득 시 모바일 기기(100)의 자세에 따라 2차원 제약평면 공간을 생성한다(단계 802).
단계 700에서 획득된 영상에 마커가 포함된 경우, 모바일 기기(100)는 마커에 상응하는 가상 객체를 추출하여 획득된 영상과 함께 디스플레이한다(단계 804).
가상 객체가 디스플레이되고, 이동 모드에서 사용자의 드래그 조작이 인식되는 경우, 모바일 기기(100)는 드래그 조작에 따라 가상 객체를 이동시킨다(단계 806).
단계 806에서, 모바일 기기(100)에는 모바일 기기(100)와 가상 객체(200)의 거리 정보가 미리 저장되어 있으며, 미리 저장된 거리 정보 및 드래그 거리에 비례하여 가상 객체를 이동시킨다.
모바일 기기(100)는 사용자의 회전 모드 변환 요청이 있는 경우(단계 808), 드래그 조작에 따라 가상 객체를 회전시킨다(단계 810).
단계 810에서, 모바일 기기(100)에는 모바일 기기(100)와 가상 객체(200)의 거리 정보가 미리 저장되어 있으며, 미리 저장된 거리 정보 및 드래그 거리에 비례하여 가상 객체를 회전시킨다.
모바일 기기(100)는 상기와 같이 이동 또는 회전에 따른 가상 객체의 위치 및 방향 정보를 저장한다(단계 812).
본 발명에 따르면, 증강현실에서 가상 객체를 인터랙티브하게 조작함으로써 사용자의 흥미를 배가시킬 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (12)

  1. 터치 스크린을 포함하는 모바일 기기를 이용한 증강현실 서비스 제공 방법으로서,
    (a) 상기 모바일 기기의 자세에 따른 2차원 제약평면 공간을 생성하는 단계; 및
    (b) 카메라를 통해 획득된 영상에 포함된 대상물에 상응하여 디스플레이되는 가상 객체를 상기 터치 스크린 상에서의 사용자 조작에 따라 상기 2차원 제약평면 공간 상에서 이동 또는 회전시키는 단계를 포함하되,
    상기 (a) 단계는 내장 센서 또는 영상 분석을 통해 계산된 상기 모바일 기기와 상기 가상 객체와의 거리 및 상기 모바일 기기의 방향을 이용하여 상기 2차원 제약평면 공간을 생성하는 증강현실 서비스 제공 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 2차원 제약평면 공간은 상기 모바일 기기의 방향과 평행하며, 상기 가상객체의 중점을 통과하는 평면으로 정의되는 증강현실 서비스 제공 방법.
  4. 제1항에 있어서,
    상기 사용자 조작은 드래그를 포함하며,
    상기 (b) 단계는 상기 터치 스크린 상에서 드래그의 길이 및 상기 모바일 기기와 상기 가상 객체의 거리 중 적어도 하나를 고려하여 상기 가상 객체를 이동 또는 회전시키는 증강현실 서비스 제공 방법.
  5. 제4항에 있어서,
    상기 (b) 단계는 상기 터치 스크린 상에서 드래그의 길이 및 상기 모바일 기기와 상기 가상 객체의 거리에 비례하여 상기 가상 객체를 이동 또는 회전시키는 증강현실 서비스 제공 방법.
  6. 제4항에 있어서,
    상기 이동 또는 회전은 상기 터치 스크린상에 출력되는 모드 변환 메뉴에 의해 결정되는 증강현실 서비스 제공 방법.
  7. 제4항에 있어서,
    상기 이동 또는 회전은 상기 터치 스크린상에서의 드래그 방향에 결정되는 증강현실 서비스 제공 방법.
  8. 제4항에 있어서,
    상기 가상 객체의 회전 시, 상기 가상 객체의 회전축은 상기 드래그와 매칭이 되는 상기 제약평면 공간 상의 선분과 수직한 방향으로 결정되는 증강현실 서비스 제공 방법.
  9. 제1항에 있어서,
    상기 이동 또는 회전에 따른 상기 가상 객체의 변경된 위치 및 방향 정보를 저장하는 단계를 더 포함하는 증강현실 서비스 제공 방법.
  10. 제1항에 따른 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  11. 터치 스크린을 포함하는 증강현실 서비스 장치로서,
    상기 장치의 자세에 따른 2차원 제약평면 공간을 생성하는 제약평면 공간 생성부;
    카메라를 통해 획득된 영상에서 인식된 미리 설정된 대상물에 상응하는 가상 객체를 디스플레이하는 디스플레이부;
    상기 터치 스크린 상에서의 사용자 조작 정보를 수신하고, 상기 사용자 조작 정보에 따라 상기 가상 객체를 상기 2차원 제약평면 공간 상에서 이동 또는 회전시키는 가상 객체 조작부를 포함하되,
    상기 제약평면 공간 생성부는 내장 센서 또는 영상 분석을 통해 계산된 상기 장치와 상기 가상 객체와의 거리 및 상기 장치의 방향을 이용하여 상기 2차원 제약평면 공간을 생성하는 증강현실 서비스 제공 장치.


  12. 삭제
KR20130116072A 2013-09-30 2013-09-30 증강현실 서비스 제공 방법 및 장치 KR101470757B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130116072A KR101470757B1 (ko) 2013-09-30 2013-09-30 증강현실 서비스 제공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130116072A KR101470757B1 (ko) 2013-09-30 2013-09-30 증강현실 서비스 제공 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101470757B1 true KR101470757B1 (ko) 2014-12-08

Family

ID=52678222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130116072A KR101470757B1 (ko) 2013-09-30 2013-09-30 증강현실 서비스 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101470757B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101576538B1 (ko) * 2015-05-12 2015-12-21 주식회사 아이아라 평면 도안 입체화 구현 장치
KR101666561B1 (ko) * 2015-07-13 2016-10-24 한국과학기술원 증강 공간 내 부분 공간 획득 시스템 및 방법
WO2017122909A1 (ko) * 2016-01-14 2017-07-20 주식회사 팝스라인 단말 및 그의 제어 방법
US10839563B2 (en) 2017-12-20 2020-11-17 Samsung Electronics Co., Ltd. Method and apparatus for processing image interaction
CN112130946A (zh) * 2020-09-22 2020-12-25 西安宇视信息科技有限公司 一种飞机信息展示方法、装置、电子设备和存储介质
KR20220074393A (ko) * 2020-11-27 2022-06-03 (주)와이투콘 확장현실 기반 가상 체험 서비스 제공 장치 및 방법
KR102597040B1 (ko) * 2022-12-26 2023-10-31 세종대학교산학협력단 증강현실 콘텐츠 현장 저작 방법 및 그 장치
KR20240001463A (ko) 2022-06-27 2024-01-03 주식회사 파르온 대상물 인식 및 증강현실 콘텐츠 구현시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120061197A (ko) * 2010-12-03 2012-06-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20120086266A (ko) * 2011-01-25 2012-08-02 광주과학기술원 증강현실 환경에서의 가상객체 조작방법 및 이를 구현하는 증강현실 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120061197A (ko) * 2010-12-03 2012-06-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20120086266A (ko) * 2011-01-25 2012-08-02 광주과학기술원 증강현실 환경에서의 가상객체 조작방법 및 이를 구현하는 증강현실 장치

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101576538B1 (ko) * 2015-05-12 2015-12-21 주식회사 아이아라 평면 도안 입체화 구현 장치
WO2016182167A1 (ko) * 2015-05-12 2016-11-17 주식회사 아이아라 평면 도안 입체화 구현 장치
KR101666561B1 (ko) * 2015-07-13 2016-10-24 한국과학기술원 증강 공간 내 부분 공간 획득 시스템 및 방법
WO2017010614A1 (ko) * 2015-07-13 2017-01-19 한국과학기술원 증강 공간 내 부분 공간 획득 시스템 및 방법
US10409447B2 (en) 2015-07-13 2019-09-10 Korea Advanced Institute Of Science And Technology System and method for acquiring partial space in augmented space
WO2017122909A1 (ko) * 2016-01-14 2017-07-20 주식회사 팝스라인 단말 및 그의 제어 방법
US10839563B2 (en) 2017-12-20 2020-11-17 Samsung Electronics Co., Ltd. Method and apparatus for processing image interaction
CN112130946A (zh) * 2020-09-22 2020-12-25 西安宇视信息科技有限公司 一种飞机信息展示方法、装置、电子设备和存储介质
CN112130946B (zh) * 2020-09-22 2024-03-26 西安宇视信息科技有限公司 一种飞机信息展示方法、装置、电子设备和存储介质
KR20220074393A (ko) * 2020-11-27 2022-06-03 (주)와이투콘 확장현실 기반 가상 체험 서비스 제공 장치 및 방법
KR102434457B1 (ko) * 2020-11-27 2022-08-22 (주)와이투콘 확장현실 기반 가상 체험 서비스 제공 장치 및 방법
KR20240001463A (ko) 2022-06-27 2024-01-03 주식회사 파르온 대상물 인식 및 증강현실 콘텐츠 구현시스템
KR102597040B1 (ko) * 2022-12-26 2023-10-31 세종대학교산학협력단 증강현실 콘텐츠 현장 저작 방법 및 그 장치

Similar Documents

Publication Publication Date Title
KR101470757B1 (ko) 증강현실 서비스 제공 방법 및 장치
JP7079231B2 (ja) 情報処理装置及び情報処理システム及び制御方法、プログラム
JP5942456B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5807686B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5936155B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
US9224237B2 (en) Simulating three-dimensional views using planes of content
US9437038B1 (en) Simulating three-dimensional views using depth relationships among planes of content
KR101433305B1 (ko) 증강 현실 환경을 위한 모바일 디바이스 기반 콘텐츠 맵핑
US20130010071A1 (en) Methods and systems for mapping pointing device on depth map
CN110473293B (zh) 虚拟对象处理方法及装置、存储介质和电子设备
US11842514B1 (en) Determining a pose of an object from rgb-d images
EP3036718A1 (en) Approaches for simulating three-dimensional views
JP2012212345A (ja) 端末装置、オブジェクト制御方法及びプログラム
CN102708355A (zh) 信息处理装置、信息处理方法及程序
CN109564703B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
CN105074617A (zh) 三维用户界面装置和三维操作处理方法
JP2013164697A (ja) 画像処理装置、画像処理方法、プログラム及び画像処理システム
US20200357177A1 (en) Apparatus and method for generating point cloud data
US11373329B2 (en) Method of generating 3-dimensional model data
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
JP6152888B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
WO2021131941A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
JP6304305B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20150042621A1 (en) Method and apparatus for controlling 3d object
WO2013176574A1 (en) Methods and systems for mapping pointing device on depth map

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171124

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191014

Year of fee payment: 6

J206 Request for trial to confirm the scope of a patent right
J301 Trial decision

Free format text: TRIAL NUMBER: 2023100000335; TRIAL DECISION FOR CONFIRMATION OF THE SCOPE OF RIGHT_DEFENSIVE REQUESTED 20230113

Effective date: 20230621

J206 Request for trial to confirm the scope of a patent right
J301 Trial decision

Free format text: TRIAL NUMBER: 2023100002623; TRIAL DECISION FOR CONFIRMATION OF THE SCOPE OF RIGHT_DEFENSIVE REQUESTED 20230804

Effective date: 20240405