KR20160073025A - 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법 - Google Patents

실측을 통한 증강현실기반의 객체 생성장치 및 그 방법 Download PDF

Info

Publication number
KR20160073025A
KR20160073025A KR1020140181292A KR20140181292A KR20160073025A KR 20160073025 A KR20160073025 A KR 20160073025A KR 1020140181292 A KR1020140181292 A KR 1020140181292A KR 20140181292 A KR20140181292 A KR 20140181292A KR 20160073025 A KR20160073025 A KR 20160073025A
Authority
KR
South Korea
Prior art keywords
user
unit
augmented reality
angle
distance
Prior art date
Application number
KR1020140181292A
Other languages
English (en)
Other versions
KR101665399B1 (ko
Inventor
이주성
홍종선
Original Assignee
이주성
홍종선
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이주성, 홍종선 filed Critical 이주성
Priority to KR1020140181292A priority Critical patent/KR101665399B1/ko
Publication of KR20160073025A publication Critical patent/KR20160073025A/ko
Application granted granted Critical
Publication of KR101665399B1 publication Critical patent/KR101665399B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

실측정보를 기반으로 실내 3D 도면 및 객체 정보를 증강현실로 구현할 수 있도록 한 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법에 관한 것으로서, 실제 실내의 영상을 도면 프로그램을 이용하여 도면화하는 3D 변환부; 측정 대상물과의 거리를 측정하는 거리 측정부; 상기 측정 대상물의 촬영시 카메라의 각도를 측정하는 각도 측정부; 상기 3D 변환부에서 변환한 도면과 상기 거리 측정부에서 측정한 거리 값 및 상기 각도 측정부에서 측정한 각도 값을 매핑하여 저장부에 저장하고, 사용자가 특정 객체를 선택하면 상기 실측을 기본으로 설계된 3D도면상에 상기 선택한 특정 객체를 증강현실로 구현하는 제어부; 및 상기 제어부의 제어에 따라 카메라 뷰에 디스플레이되는 실내 도면의 해당 위치에 상기 특정 객체를 중첩하여 증강현실로 디스플레이해주는 표시부로 실측을 통한 증강현실기반의 객체 생성장치를 구현한다.

Description

실측을 통한 증강현실기반의 객체 생성장치 및 그 방법{Object generation apparatus and method of based augmented reality using actual measured}
본 발명은 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법에 관한 것으로, 특히 실측정보를 기반으로 실내 3D 도면 및 객체 정보를 증강현실로 구현할 수 있도록 한 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법에 관한 것이다.
증강현실(augmented reality)은 현실 세계에 컴퓨터 기술로 만든 가상물체 및 정보를 융합, 보완해 주는 기술을 의미한다. 현실 세계에 실시간으로 부가정보를 갖는 가상 세계를 더해 하나의 영상으로 보여주므로 혼합현실(MR: mixed reality)이라고도 한다. 1990년 보잉사의 항공기 전선 조립과정을 설명하는 데 처음 사용된 이후 미국과 일본을 중심으로 이에 대한 기술 연구개발이 진행되었다. 최근 2000년대 중반 이후 스마트폰의 등장 및 활성화됨에 따라 이 기술을 적용하면서 주목받기 시작했다.
가상현실(VR: virtual reality) 기술은 컴퓨터 그래픽이 만든 가상환경에 사용자를 몰입하도록 함으로써 실제 환경을 볼 수 없는 데 비해, 증강현실 기술은 실제 환경에 가상의 객체를 혼합하여 사용자가 실제 환경에서 보다 실감나는 부가정보를 제공받을 수 있다. 예컨대, 길을 가다 스마트폰 카메라로 주변을 비추면 근처에 있는 상점의 위치 및 전화번호, 지도 등의 정보가 입체영상으로 표시되고, 하늘을 비추면 날씨정보가 나타나는 등 다양한 분야에 적용되고 있다.
증강현실 기반으로 데이터를 제공해주는 종래기술이 하기의 <특허문헌 1> 대한민국 등록특허 등록번호 10-1360999호(2014.02.04. 등록), <특허문헌 2> 대한민국 공개특허 공개번호 10-2013-0137077호(2013.12. 16. 공개), <특허문헌 3> 대한민국 공개특허 공개번호 10-2014-0122302호(2014.10.20. 공개), <특허문헌 4> 대한민국 등록특허 등록번호 10-1380854호(2014.03.27. 등록),<특허문헌 5> 대한민국 공개특허 공개번호 10-2013-0025200호(2013.03.11. 공개) 및 <특허문헌 6> 대한민국 공개특허 공개번호 10-2013-0007142호(2013.01.18. 공개)에 개시된다.
<특허문헌 1>에 개시된 종래기술은 과학실험 등의 실험상황을 촬영한 영상에, 실험용 센서로부터 측정된 데이터를 증강현실로 오버래핑하여 실시간으로 제공한다.
<특허문헌 2>에 개시된 종래기술은 아웃 도어 증강현실 서비스와 인도어 증강 현실 서비스가 서로 전환되는 시점에서 서비스 전환에 걸리는 시간 동안 전활 될 아웃 도어 또는 인도어의 정보를 표시함으로써, 보다 자연스러운 서비스 전환을 제공받을 수 있다.
<특허문헌 3>에 개시된 종래기술은 교량정보에 대한 가시적인 정보와 비가시적인 정보를 용이하게 획득할 수 있는 이동단말기를 이용한 증강현실 기반 교량 정보제공 및 사용성능 평가 시스템을 제공한다.
<특허문헌 4>에 개시된 종래기술은 3차원 POI 및 가상객체를 표현하기 위한 프로그램 코드를 포함하는 HTML문서 및 3차원 브라우저 엔진을 이용한 웹 정보구조에 기반한 증가 현실 콘텐츠를 제공한다.
<특허문헌 5>에 개시된 종래기술은 3차원 좌표값을 이용한 벡터 연산을 통해 실내 환경에서 흩어져 있는 각각의 사물별로 고도 정보를 부여한 증강 현실 정보를 제공한다.
<특허문헌 6>에 개시된 종래기술은 이동 단말의 카메라를 통한 실사 뷰(Live View)와 그 실사 뷰에 대응하는 3차원 가상 뷰(Virtual View)간의 정합을 이용하여 지상은 물론 지하 시설물에 대한 각종 정보를 증강현실 정보로 이동 단말의 사용자에게 제공해준다.
대한민국 등록특허 등록번호 10-1360999호(2014.02.04. 등록) 대한민국 공개특허 공개번호 10-2013-0137077호(2013.12. 16. 공개) 대한민국 공개특허 공개번호 10-2014-0122302호(2014.10.20. 공개) 대한민국 등록특허 등록번호 10-1380854호(2014.03.27. 등록) 대한민국 공개특허 공개번호 10-2013-0025200호(2013.03.11. 공개) 대한민국 공개특허 공개번호 10-2013-0007142호(2013.01.18. 공개)
그러나 상기와 같은 종래기술들은 마커 기반의 증간현실 구현 기법으로서, 증강현실 구현의 성능은 뛰어나지만 해당 마커가 존재하는 특정 경우만 사용할 수 있는 단점이 있다.
따라서 본 발명은 상기와 같은 종래의 증강현실 기법에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 실측정보를 기반으로 실내 3D 도면 및 객체 정보를 증강현실로 구현할 수 있도록 한 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법을 제공하는 데 그 목적이 있다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 실측을 통한 증강현실기반의 객체 생성장치는 실내 영상을 도면 프로그램을 이용하여 도면화하는 3D 변환부; 측정 대상물과의 거리를 측정하는 거리 측정부; 상기 측정 대상물의 영상 획득시 각도를 측정하는 각도 측정부; 상기 3D 변환부에서 변환한 도면과 상기 거리 측정부에서 측정한 거리 값 및 상기 각도 측정부에서 측정한 각도 값을 매핑하여 저장부에 저장하고, 사용자가 특정 객체를 선택하면 상기 실측을 기본으로 설계된 3D도면상에 상기 선택한 특정 객체를 증강현실로 구현하는 제어부; 상기 제어부의 제어에 따라 카메라 뷰에 디스플레이되는 실내 도면의 해당 위치에 상기 특정 객체를 중첩하여 증강현실로 디스플레이해주는 표시부를 포함하는 것을 특징으로 한다.
상기에서 제어부는 저장부에 저장된 3D도면을 추출하는 3D도면 추출부; 상기 3D도면 상에서 사용자가 지정한 위치의 좌표값을 추출하는 지정위치 좌표값 추출부; 상기 지정된 위치에 대응하는 실제 위치의 거리와 각도를 검출하는 거리 및 각도 정보 검출부; 사용자의 위치를 검출하는 사용자 위치 산출부; 상기 산출한 사용자 위치를 기반으로 카메라의 해당 위치에 객체를 생성하는 객체 생성부를 포함하는 것을 특징으로 한다.
상기에서 제어부는 상기 사용자 위치 산출부에서 산출한 사용자 위치에 대응하여 3D 도면의 좌표를 재조정하여 카메라 뷰의 이동에 반응하는 3D도면 좌표 조정부; 사용자의 조작 정보를 입력받는 정보 입력모듈을 더 포함하는 것을 특징으로 한다.
상기에서 사용자 위치 산출부는 사용자가 지정한 3D 도면의 좌표값과 사용자가 지정한 3D 도면에 대응하는 실제 위치의 좌표값을 삼각함수로 처리하여 3D 도면의 제작시 원점좌표 기준으로 현재 사용자 위치를 산출하는 것을 특징으로 한다.
또한, 상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 실측을 통한 증강현실기반의 객체 생성방법은 (a) 실내 영상을 도면 프로그램을 이용하여 3D 도면화하여 저장하는 단계; (b) 상기 저장한 3D 도면에서 사용자가 지정한 위치의 좌표값을 추출하는 단계; (c) 상기 지정한 위치에 대응하는 실제 실내 위치의 거리와 각도를 산출하는 단계; (d) 현재 사용자의 위치를 산출하는 단계; (e) 카메라 뷰에 3D 뷰를 출력하고, 카메라의 해당 위치에 객체를 생성하여 증강현실을 구현하는 단계를 포함하는 것을 특징으로 한다.
상기에서 (d)단계는 사용자가 지정한 3D 도면의 좌표값과 사용자가 지정한 3D 도면에 대응하는 실제 위치의 좌표값을 삼각함수로 처리하여 3D 도면의 제작시 원점 좌표 기준으로 현재 사용자 위치를 산출하는 것을 특징으로 한다.
또한, 본 발명에 따른 실측을 통한 증강현실 기반의 객체 생성방법은 (f) 상기 (d)단계와 상기 (e)단계의 사이에 개재되고, 상기 (d)단계에서 산출한 사용자 위치에 따른 이동 벡터를 산출하고, 산출한 이동 벡터를 이용하여 3D 도면의 좌표를 조정하여 카메라 뷰의 이동에 반응하는 단계를 더 포함하는 것을 특징으로 한다.
상기에서 (e)단계는 (e1)사용자가 선택한 객체를 배치할 실제 실내의 지점까지의 거리와 각도를 계산하는 단계;(e2)현재 위치를 기준으로 객체 배치 좌표를 산출하는 단계; (e3)객체 배치 좌표를 기초로 카메라의 해당 위치를 산출하고, 산출한 카메라의 해당 위치에 증강현실로 객체를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면 실측정보를 기반으로 실내 3D 도면 및 객체 정보를 증강현실로 구현함으로써, 더욱 현실감 있는 증강현실 구현이 가능하며, 증강현실의 객체 생성 위치도 지정해줄 수 있으며, 객체의 배치시 실측 3D 도면 정보가 없어도 객체 배치를 배치할 수 있는 장점이 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 실측을 통한 증강현실기반의 객체 생성장치의 블록 구성도,
도 2는 도 1의 제어부의 실시 예 구성도,
도 3은 본 발명에서 사용자 위치를 검출하는 방법을 설명하기 위한 설명도,
도 4는 본 발명의 바람직한 실시 예에 따른 실측을 통한 증강현실기반의 객체 생성방법을 보인 흐름도.
이하 본 발명의 바람직한 실시 예에 따른 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시 예에 따른 실측을 통한 증강현실기반의 객체 생성장치의 구성도이다.
본 발명에 따른 실측을 통한 증강현실기반의 객체 생성장치는 카메라(101), 영상 처리부(102), 3D 변환부(103), 거리 측정부(104), 각도 측정부(105), 제어부(106), 저장부(107), 표시부(108), 입력부(109), 레이저 포인터(110), 프레임 형성부(111)를 포함한다.
상기 카메라(101)는 객체를 생성하여 증강현실을 구현하기 위한 실제 실내 또는 조선, 플랜트, 자동차, 미디어, 게임 등의 영상을 획득하는 역할을 하며, 영상 처리부(102)는 상기 카메라(101)에서 획득된 영상을 통상의 영상 처리 기법을 이용하여 처리하는 역할을 한다. 여기서 증강현실을 구현하기 위한 대상은 상기와 같이 실내, 조선, 플랜트, 자동차, 미디어, 게임 등 다양하며, 증강현실을 구현하는 방식은 모두 동일하므로, 이하 설명의 편의를 실내에 대해서만 설명하기로 한다.
여기서 카메라(101)는 3D 영상을 획득할 수 있도록 복수의 카메라를 이용하거나 파노라마 카메라를 이용할 수 있다.
상기 거리 측정부(104)는 측정 대상물과의 거리를 측정하는 역할을 하는 것으로서, 적외선센서 또는 초음파센서 등을 이용할 수 있다. 거리 측정을 위해 측정 대상물에 적외선 또는 초음파를 발사하고 반사되는 신호를 처리하여 거리를 측정한다.
상기 프레임 형성부(111)는 상기 거리 측정부(104)에 의해 측정되는 거리를 위치 정보로 이용하여, 다수의 위치 정보를 연결하여 면을 형성하고 형성한 면 정보를 기반으로 실제 실내와 동일한 실내 프레임을 형성하는 역할을 한다.
상기 3D 변환부(103)는 상기 영상 처리부(102)에 의해 처리된 실제 실내 영상 또는 상기 프레임 형성부(110)에서 형성된 실내 프레임 영상을 도면 프로그램을 이용하여 도면화하는 역할을 한다.
상기 각도 측정부(105)는 상기 측정 대상물의 촬영시 카메라(101)(예를 들어, 스마트폰의 촬영 각도)의 각도를 측정하는 역할을 하는 것으로서, 통상의 스마트폰에 장착된 지자기 센서, 자이로센서, 가속도 센서 등을 이용하여 구현할 수 있다.
상기 저장부(107)는 실내를 측정하여 생성한 3D 도면과 실내 위치의 거리 및 각도 정보를 저장하는 역할을 하며, 상기 표시부(108)는 상기 제어부(106)의 제어에 따라 카메라 뷰에 디스플레이되는 실내 도면의 해당 위치에 상기 특정 객체를 중첩하여 증강현실로 디스플레이해주는 역할을 하며, 입력부(109)는 사용자가 조작하는 조작 정보를 입력받아 상기 제어부(106)에 전달해주는 역할을 한다.
상기 제어부(106)는 상기 3D 변환부(103)에서 변환한 도면과 상기 거리 측정부(104)에서 측정한 거리 값 및 상기 각도 측정부(105)에서 측정한 각도 값을 매핑하여 저장부(107)에 저장하고, 사용자가 특정 객체를 선택하면 상기 실측을 기본으로 설계된 3D도면상에 상기 선택한 특정 객체를 증강현실로 구현해주는 역할을 한다.
이러한 제어부(106)는 도 2에 도시한 바와 같이, 저장부에 저장된 3D도면을 추출하는 3D도면 추출부(111); 상기 3D도면상에서 사용자가 지정한 위치의 좌표값을 추출하는 지정위치 좌표값 추출부(112); 상기 지정된 위치에 대응하는 실제 위치의 거리와 각도를 검출하는 거리 및 각도 정보 검출부(113); 사용자의 위치를 검출하는 사용자 위치 산출부(114); 상기 검출한 사용자 위치를 기반으로 카메라의 해당 위치에 객체를 생성하는 객체 생성부(116); 상기 사용자 위치 산출부(114)에서 산출한 사용자 위치에 대응하여 3D 도면의 좌표를 재조정하여 카메라 뷰의 이동에 반응하는 3D도면 좌표 조정부(115); 및 사용자의 조작 정보를 입력받는 정보 입력모듈(117)을 포함한다.
상기 사용자 위치 산출부(114)는 사용자가 지정한 3D 도면의 좌표값과 사용자가 지정한 3D 도면에 대응하는 실제 위치의 좌표값을 삼각함수로 처리하여 3D 도면의 제작시 원점 좌표기준으로 현재 사용자 위치를 산출하는 것이 바람직하다.
이와 같이 구성된 본 발명의 바람직한 실시 예에 따른 실측을 통한 증강현실기반의 객체 생성장치를 구체적으로 설명하면 다음과 같다.
먼저, 증강현실 기반으로 객체를 생성하기 위해서, 카메라(101)를 통해 증강현실을 구현하기 위한 실제 실내를 촬영하여 실내 영상을 획득하거나 프레임 형성부(110)를 통해 실제 실내에 대응하여 실내 프레임 영상을 형성한다. 카메라(101)를 이용할 경우 복수의 카메라를 이용하거나 파노라마 카메라를 이용하는 것이 바람직하다. 프레임 형성부(110)는 거리 측정부(104)와 연동하여 측정되는 측정 대상물(실내 벽면)에 대하여 다수의 거리 값(위치 좌표)을 획득하고, 획득되는 다수의 위치 좌표를 선으로 연결하여 면을 형성한다. 이후 각각의 면들을 프레임으로 조합하여 실제 실내와 동일한 실내의 프레임을 형성한다. 여기서 프레임이란 실제 실내의 벽면 구조를 위치 좌표를 통해 형성한 벽면 구조를 의미한다.
영상 처리부(102)는 상기 카메라(101)에서 획득한 실내 영상을 통상의 영상 처리 기법을 이용하여 영상 처리한다.
다음으로, 3D 변환부(103)는 상기 영상 처리부(102)에 의해 처리된 실제 실내 영상 또는 상기 프레임 형성부(110)에서 형성한 프레임을 도면 프로그램(캐드 프로그램)을 이용하여 3D로 도면화한다. 여기서 촬영된 실내 영상을 2D로 도면화하여 사용할 수도 있다.
여기서 거리 측정부(104)는 적외선센서 또는 초음파센서 또는 레이저 포인터를 이용한 거리 측정방식 등을 이용하여 측정 대상물(실내의 특정 위치)의 거리를 측정한다. 아울러 각도 측정부(105)는 통상의 스마트폰에 장착된 지자기 센서, 자이로센서, 가속도 센서 등을 이용하여 상기 측정 대상물의 영상 획득시 카메라(101)(예를 들어, 스마트폰의 촬영 각도)의 각도를 측정한다.
상기 제어부(103)는 상기 3D변환부(103)를 통해 생성되는 3D 도면 정보에 상기 거리 측정 정보 및 각도 측정 정보를 매핑하여, 저장부(107)에 저장한다.
이후, 사용자가 스마트폰의 카메라를 통해 특정 객체를 선택하면, 즉, 스마트폰으로 특정 객체(예를 들어, 실내에 배치할 가구, 조선, 플랜트, 자동차, 미디어, 게임, 기타)를 촬영하면, 특정 객체와 카메라의 거리 정보, 카메라의 촬영 각도 정보 등을 산출하여 저장한다.
다음으로, 사용자가 저장부(1070에 저장된 실제 실내에 대한 3D 도면을 선택하면 3D 도면 추출부(111)에서 저장부(107)에 저장된 3D 도면을 추출하여 화면에 디스플레이해준다, 화면상에 실제 실내에 대한 3D 도면이 디스플레이된 상태에서 사용자가 특정 위치를 지정하면, 지정위치 좌표값 추출부(112)에서 지정위치에 대한 좌표값을 추출한다. 여기서 좌표값 추출은 실내 촬영 영상을 3D 도면으로 제작할 때 각 위치에 대한 좌표값이 함께 생성되어 저장되므로, 사용자가 위치를 지정하는 순간 신속하게 해당 지정 위치에 대한 좌표값을 추출할 수 있다.
이후, 거리 및 각도 정보 검출부(113)에서 지정된 3D면에 대응하는 실제 위치의 거리와 각도를 산출한다. 예컨대, 실제 실내에서 카메라를 통해 촬영할 때 카메라와 실제 실내의 특정 위치 간의 거리 정보 및 카메라의 촬영 각도 등을 산출하게 된다.
다음으로, 사용자 위치 산출부(114)는 상기 산출한 각각의 정보를 기초로 사용자의 위치를 검출한다. 예컨대, 상기 사용자 위치 산출부(114)는 사용자가 지정한 3D 도면의 좌표값과 사용자가 지정한 3D 도면에 대응하는 실제 위치의 좌표값을 도 3과 같은 삼각함수로 처리하여 3D 도면의 제작시 원점 좌표기준으로 현재 사용자 위치를 산출한다.
이후, 3D도면 좌표 조정부(115)에서 상기 사용자 위치 산출부(114)에서 산출한 사용자 위치에 대응하여 3D 도면의 좌표를 재조정하여 카메라 뷰의 이동에 반응하도록 한다. 예컨대, 스마트폰의 지자기 센서, 자이로센서, 가속도 센서 등을 이용하여 사용자의 각도와 움직임에 반응하여 이동 벡터를 구하고, 이렇게 산출한 이동 벡터를 기준으로 3D 도면의 각 좌표값을 재조정하여 객체를 배치할 좌표를 산출한다. 즉, 증강현실로 생성할 객체의 생성 위치를 지정하게 된다.
다음으로, 객체 생성부(116)에서 상기 검출한 사용자 위치를 기반으로 카메라의 해당 위치에 객체를 생성시켜, 증강현실로 객체를 구현하게 된다.
도 4는 본 발명의 바람직한 실시 예에 따른 실측을 통한 증강현실기반의 객체 생성방법을 보인 흐름도로서, S는 단계(step)를 나타낸다.
본 발명에 따른 실측을 통한 증강현실기반의 객체 생성방법은 (a) 증강현실을 구현하기 위해 획득된 영상을 도면 프로그램을 이용하여 3D 도면화하여 저장하는 단계(S101 ~ S103); (b) 상기 저장한 3D 도면에서 사용자가 지정한 위치의 좌표값을 추출하는 단계(S104 ~ S105); (c) 상기 지정한 위치에 대응하는 실제 실내 위치의 거리와 각도를 산출하는 단계(S106); (d) 현재 사용자의 위치를 산출하는 단계(S107); (e) 상기 (d)단계에서 산출한 사용자 위치에 따른 이동 벡터를 산출하고, 산출한 이동 벡터를 이용하여 3D 도면의 좌표를 조정하여 카메라 뷰의 이동에 반응하는 단계(S108 ~ S109); (f) 카메라 뷰에 3D 뷰를 출력하고, 카메라의 해당 위치에 객체를 생성하여 증강현실을 구현하는 단계(S110 ~ S113)를 포함한다.
상기 (d)단계(S107)는 사용자가 지정한 3D 도면의 좌표값과 사용자가 지정한 3D 도면에 대응하는 실제 위치의 좌표값을 삼각함수로 처리하여 3D 도면의 제작시 원점 좌표 기준으로 현재 사용자 위치를 산출하는 것이 바람직하다.
상기 (e)단계는 (e1)사용자가 선택한 객체를 배치할 실제 실내의 지점까지의 거리와 각도를 계산하는 단계(S111); (e2)현재 위치를 기준으로 객체 배치 좌표를 산출하는 단계(S112); (e3)객체 배치 좌표를 기초로 카메라의 해당 위치를 산출하고, 산출한 카메라의 해당 위치에 증강현실로 객체를 생성하는 단계(S113)를 포함한다.
이와 같이 구성된 본 발명의 바람직한 실시 예에 따른 실측을 통한 증강현실기반의 객체 생성방법을 구체적으로 설명하면 다음과 같다.
먼저, 단계 S101에서 증강현실 기반으로 객체를 생성하기 위해서, 카메라(101)를 통해 증강현실을 구현하기 위한 실제 실내를 촬영하여 실내 영상을 획득하거나 프레임 형성부(110)를 통해 실제 실내에 대응하여 실내 프레임 영상을 형성한다. 카메라(101)를 이용할 경우 복수의 카메라를 이용하거나 파노라마 카메라를 이용하는 것이 바람직하다. 프레임 형성부(110)는 거리 측정부(104)와 연동하여 측정되는 측정 대상물(실내 벽면)에 대하여 다수의 거리 값(위치 좌표)을 획득하고, 획득되는 다수의 위치 좌표를 선으로 연결하여 면을 형성한다. 이후 각각의 면들을 프레임으로 조합하여 실제 실내와 동일한 실내의 프레임을 형성한다. 여기서 프레임이란 실제 실내의 벽면 구조를 위치 좌표를 통해 형성한 벽면 구조를 의미한다.
단계 S102에서 영상 처리부(102)는 획득된 영상을 통상의 영상 처리 기법을 이용하여 영상 처리한다. 이후, 3D 변환부(103)는 상기 영상 처리부(102)에 의해 처리된 실제 실내 영상을 도면 프로그램(캐드 프로그램)을 이용하여 3D로 도면화한다. 여기서 촬영된 실내 영상을 2D로 도면화하여 사용할 수도 있다. 이때, 거리 측정부(104)는 적외선센서 또는 초음파센서 또는 레이저 포인터를 이용한 거리 측정방식 등을 이용하여 측정 대상물(실내의 특정 위치)의 거리를 측정하여 제어부(106)에 전달한다. 아울러 각도 측정부(105)는 통상의 스마트폰에 장착된 지자기 센서, 자이로센서, 가속도 센서 등을 이용하여 상기 측정 대상물의 촬영시 카메라(101)(예를 들어, 스마트폰의 촬영 각도)의 각도를 측정한다.
상기 제어부(103)는 단계 S103에서 상기 3D변환부(103)를 통해 생성되는 3D 도면 정보에 상기 거리 측정 정보 및 각도 측정 정보를 매핑하여, 저장부(107)에 저장한다.
이후, 사용자가 스마트폰의 카메라를 통해 특정 객체를 선택하면, 즉, 스마트폰으로 특정 객체(예를 들어, 실내에 배치할 가구)를 촬영하면, 특정 객체와 카메라의 거리 정보, 카메라의 촬영 각도 정보 등을 산출하여 저장한다.
다음으로, 사용자가 저장부(107)에 저장된 실제 실내에 대한 3D 도면을 선택하면, 단계 S104에서 3D 도면 추출부(111)에서 저장부(107)에 저장된 3D 도면을 추출하여 화면에 디스플레이해준다,
그리고 화면상에 실제 실내에 대한 3D 도면이 디스플레이된 상태에서 사용자가 특정 위치를 지정하면, 단계 S105에서 지정위치 좌표값 추출부(112)에서 지정위치에 대한 좌표값을 추출한다. 여기서 좌표값 추출은 실내 촬영 영상을 3D 도면으로 제작할 때 각 위치에 대한 좌표값이 함께 생성되어 저장되므로, 사용자가 위치를 지정하는 순간 신속하게 해당 지정 위치에 대한 좌표값을 추출할 수 있다.
이후, 단계 S106에서 거리 및 각도 정보 검출부(113)에서 지정된 3D면에 대응하는 실제 위치의 거리와 각도를 산출한다. 예컨대, 실제 실내에서 카메라를 통해 촬영할 때 카메라와 실제 실내의 특정 위치 간의 거리 정보 및 카메라의 촬영 각도 등을 산출하게 된다.
다음으로, 단계 S107에서 사용자 위치 산출부(114)는 상기 산출한 각각의 정보를 기초로 사용자의 위치를 검출한다. 예컨대, 상기 사용자 위치 산출부(114)는 사용자가 지정한 3D 도면의 좌표값과 사용자가 지정한 3D 도면에 대응하는 실제 위치의 좌표값을 도 3과 같은 삼각함수로 처리하여 3D 도면의 제작시 원점 좌표기준으로 현재 사용자 위치를 산출한다.
이후, 단계 S108 및 단계 S109에서 3D도면 좌표 조정부(115)에서 상기 사용자 위치 산출부(114)에서 산출한 사용자 위치에 대응하여 3D 도면의 좌표를 재조정하여 카메라 뷰의 이동에 반응하도록 한다. 예컨대, 스마트폰의 지자기 센서, 자이로센서, 가속도 센서 등을 이용하여 사용자의 각도와 움직임에 반응하여 이동 벡터를 구하고, 이렇게 산출한 이동 벡터를 기준으로 3D 도면의 각 좌표값을 재조정하여 객체를 배치할 좌표를 산출한다. 즉, 증강현실로 생성할 객체의 생성 위치를 지정하게 된다.
다음으로, 단계 S110 내지 단계 S113에서 객체 생성부(116)는 상기 검출한 사용자 위치를 기반으로 카메라의 해당 위치에 객체를 생성시켜, 증강현실로 객체를 구현하게 된다.
예컨대, 단계 S110에서 카메라 뷰에 3D 뷰를 출력하고, 단계 S111에서 객체(가구)를 배치할 지점까지의 거리와 각도를 계산한다. 이후 단계 S112에서 현재 위치를 기준으로 객체 배치 좌표를 산출한다. 이후 단계 S113에서 카메라의 해당 위치에 객체(예를 들어, 가구)를 생성하여 증강현실을 통해 객체를 표시하게 된다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
본 발명은 증간현실 기술을 통해 가구, 선박, 플랜트, 미디어, 자동차, 게임 등과 같은 객체를 생성하는 기술에 적용된다.
101: 카메라
102: 영상 처리부
103: 3D 변환부
104: 거리 측정부
105: 각도 측정부
106: 제어부
107: 저장부
108: 표시부
109: 입력부
110: 프레임 형성부
111: 3D 도면 추출부
112: 지정위치 좌표값 추출부
113: 거리 및 각도 정보 검출부
114: 사용자 위치 산출부
115: 3D 도면 좌표 조정부
116: 객체 생성부
117: 정보 입력 모듈

Claims (8)

  1. 실재 실내의 영상을 도면 프로그램을 이용하여 도면화하는 3D 변환부;
    측정 대상물과의 거리를 측정하는 거리 측정부;
    측정 대상물의 촬영시 카메라의 각도를 측정하는 각도 측정부;
    상기 3D 변환부에서 변환한 도면과 상기 거리 측정부에서 측정한 거리 값 및 상기 각도 측정부에서 측정한 각도 값을 매핑하여 저장부에 저장하고, 사용자가 특정 객체를 선택하면 상기 실측을 기본으로 설계된 3D도면상에 상기 선택한 특정 객체를 증강현실로 구현하는 제어부; 및
    상기 제어부의 제어에 따라 카메라 뷰에 디스플레이되는 실내 도면의 해당 위치에 상기 특정 객체를 중첩하여 증강현실로 디스플레이해주는 표시부를 포함하는 것을 특징으로 하는 실측을 통한 증강현실기반의 객체 생성장치.
  2. 청구항 1에 있어서, 상기 제어부는 저장부에 저장된 3D도면을 추출하는 3D도면 추출부; 상기 3D도면 상에서 사용자가 지정한 위치의 좌표값을 추출하는 지정위치 좌표값 추출부; 상기 지정된 위치에 대응하는 실제 위치의 거리와 각도를 검출하는 거리 및 각도 정보 검출부; 사용자의 위치를 검출하는 사용자 위치 산출부; 상기 산출한 사용자 위치를 기반으로 카메라의 해당 위치에 객체를 생성하는 객체 생성부를 포함하는 것을 특징으로 하는 실측을 통한 증강현실기반의 객체 생성장치.
  3. 청구항 2에 있어서, 상기 제어부는 상기 사용자 위치 산출부에서 산출한 사용자 위치에 대응하여 3D 도면의 좌표를 재조정하여 카메라 뷰의 이동에 반응하는 3D도면 좌표 조정부; 사용자의 조작 정보를 입력받는 정보 입력모듈을 더 포함하는 것을 특징으로 하는 실측을 통한 증강현실기반의 객체 생성장치.
  4. 청구항 2에 있어서, 상기 사용자 위치 산출부는 사용자가 지정한 3D 도면의 좌표값과 사용자가 지정한 3D 도면에 대응하는 실제 위치의 좌표값을 삼각함수로 처리하여 3D 도면의 제작시 원점좌표 기준으로 현재 사용자 위치를 산출하는 것을 특징으로 하는 실측을 통한 증강현실기반의 객체 생성장치.
  5. (a) 실제 실내의 영상을 도면 프로그램을 이용하여 3D 도면화하여 저장하는 단계;
    (b) 상기 저장한 3D 도면에서 사용자가 지정한 위치의 좌표값을 추출하는 단계;
    (c) 상기 지정한 위치에 대응하는 실제 실내 위치의 거리와 각도를 산출하는 단계;
    (d) 현재 사용자의 위치를 산출하는 단계; 및
    (e) 카메라 뷰에 3D 뷰를 출력하고, 카메라의 해당 위치에 객체를 생성하여 증강현실을 구현하는 단계를 포함하는 것을 특징으로 하는 실측을 통한 증강현실기반의 객체 생성방법.
  6. 청구항 5에 있어서, 상기 (d)단계는 사용자가 지정한 3D 도면의 좌표값과 사용자가 지정한 3D 도면에 대응하는 실제 위치의 좌표값을 삼각함수로 처리하여 3D 도면의 제작시 원점 좌표 기준으로 현재 사용자 위치를 산출하는 것을 특징으로 하는 실측을 통한 증강현실기반의 객체 생성방법.
  7. 청구항 5에 있어서, (f) 상기 (d)단계와 상기 (e)단계의 사이에 개재되고, 상기 (d)단계에서 산출한 사용자 위치에 따른 이동 벡터를 산출하고, 산출한 이동 벡터를 이용하여 3D 도면의 좌표를 조정하여 카메라 뷰의 이동에 반응하는 단계를 더 포함하는 것을 특징으로 하는 실측을 통한 증강현실기반의 객체 생성방법.
  8. 청구항 5에 있어서, 상기 (e)단계는 (e1)사용자가 선택한 객체를 배치할 실제 실내의 지점까지의 거리와 각도를 계산하는 단계; (e2)현재 위치를 기준으로 객체 배치 좌표를 산출하는 단계; (e3)객체 배치 좌표를 기초로 카메라의 해당 위치를 산출하고, 산출한 카메라의 해당 위치에 증강현실로 객체를 생성하는 단계를 포함하는 것을 특징으로 하는 실측을 통한 증강현실기반의 객체 생성방법.


KR1020140181292A 2014-12-16 2014-12-16 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법 KR101665399B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140181292A KR101665399B1 (ko) 2014-12-16 2014-12-16 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140181292A KR101665399B1 (ko) 2014-12-16 2014-12-16 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20160073025A true KR20160073025A (ko) 2016-06-24
KR101665399B1 KR101665399B1 (ko) 2016-10-13

Family

ID=56343217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140181292A KR101665399B1 (ko) 2014-12-16 2014-12-16 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101665399B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190065624A (ko) * 2017-12-04 2019-06-12 삼성중공업 주식회사 모바일 기기를 이용한 위치 보정 시스템 및 방법
KR102124860B1 (ko) * 2019-11-28 2020-07-03 주식회사 메인소프트 증강현실을 통한 시트 배치 시뮬레이션 방법, 장치 및 컴퓨터프로그램
KR20200079736A (ko) * 2018-12-26 2020-07-06 (주)신한항업 영상 정합을 이용한 3d 실내공간 자동 생성 방법 및 시스템
KR20200080905A (ko) * 2018-12-27 2020-07-07 (주)신한항업 실내공간 실시간 확인이 가능한 클라우드 이용 3d 실내공간 서비스 방법 및 시스템
KR20200080908A (ko) * 2018-12-27 2020-07-07 (주)신한항업 실내공간 내 사물의 정보 확인이 가능한 클라우드 이용 3d 실내공간 서비스 방법 및 시스템
KR20210022343A (ko) * 2019-08-20 2021-03-03 주식회사 버넥트 지하시설물 관련 혼합현실 제공방법 및 시스템
WO2021040107A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 Ar 장치 및 그 제어 방법
KR102234217B1 (ko) * 2019-11-08 2021-03-30 에스케이 주식회사 Ar 기반의 비계 검증 방법 및 시스템
WO2021101213A1 (ko) * 2019-11-19 2021-05-27 주식회사 쓰리아이 3d 투어 내에서 실제 거리 측정 방법
WO2021132909A1 (ko) * 2019-12-27 2021-07-01 (주)아키드로우 벽면 포인팅 기반 실내 구조 정보 생성에 따른 가상 객체 매핑 및 재설계 처리를 수행하는 휴대용 단말기 및 그 동작 방법
KR102655648B1 (ko) * 2023-11-10 2024-04-08 (주)다함아이비씨 시공도면 레이아웃 현장 제공 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102588818B1 (ko) * 2021-10-01 2023-10-16 이백산 시공현장에서 IoT 영상 처리장치를 이용하여 설계도면을 입체영상으로 출력하는 시스템

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110091200A (ko) * 2010-02-05 2011-08-11 엘지전자 주식회사 시뮬레이션을 위한 영상 처리 장치 및 방법
KR20130007142A (ko) 2011-06-29 2013-01-18 김현아 이동 단말에서의 증강현실 기반 정보 제공 방법 및 기록 매체
KR20130025200A (ko) 2011-09-01 2013-03-11 에스케이텔레콤 주식회사 증강 현실을 이용하여 실내 위치 기반 서비스를 제공하는 단말기 및 컴퓨터로 읽을 수 있는 기록매체
JP2013149042A (ja) * 2012-01-18 2013-08-01 Hitachi Plant Technologies Ltd 設備保守管理システム
KR20130137077A (ko) 2012-06-06 2013-12-16 삼성전자주식회사 증강 현실 서비스 제공 장치 및 방법
KR101360999B1 (ko) 2013-08-09 2014-02-10 코리아디지탈 주식회사 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기
KR101380854B1 (ko) 2013-03-21 2014-04-04 한국과학기술연구원 웹 정보구조에 기반한 증강현실 콘텐츠 제공장치 및 방법
KR20140122302A (ko) 2013-04-08 2014-10-20 순천향대학교 산학협력단 이동단말기를 이용한 증강현실 기반 교량 정보 제공 및 사용성능 평가 시스템
WO2014192316A1 (ja) * 2013-05-31 2014-12-04 パナソニックＩｐマネジメント株式会社 モデリング装置、３次元モデル生成装置、モデリング方法、プログラム、レイアウトシミュレータ

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110091200A (ko) * 2010-02-05 2011-08-11 엘지전자 주식회사 시뮬레이션을 위한 영상 처리 장치 및 방법
KR20130007142A (ko) 2011-06-29 2013-01-18 김현아 이동 단말에서의 증강현실 기반 정보 제공 방법 및 기록 매체
KR20130025200A (ko) 2011-09-01 2013-03-11 에스케이텔레콤 주식회사 증강 현실을 이용하여 실내 위치 기반 서비스를 제공하는 단말기 및 컴퓨터로 읽을 수 있는 기록매체
JP2013149042A (ja) * 2012-01-18 2013-08-01 Hitachi Plant Technologies Ltd 設備保守管理システム
KR20130137077A (ko) 2012-06-06 2013-12-16 삼성전자주식회사 증강 현실 서비스 제공 장치 및 방법
KR101380854B1 (ko) 2013-03-21 2014-04-04 한국과학기술연구원 웹 정보구조에 기반한 증강현실 콘텐츠 제공장치 및 방법
KR20140122302A (ko) 2013-04-08 2014-10-20 순천향대학교 산학협력단 이동단말기를 이용한 증강현실 기반 교량 정보 제공 및 사용성능 평가 시스템
WO2014192316A1 (ja) * 2013-05-31 2014-12-04 パナソニックＩｐマネジメント株式会社 モデリング装置、３次元モデル生成装置、モデリング方法、プログラム、レイアウトシミュレータ
KR101360999B1 (ko) 2013-08-09 2014-02-10 코리아디지탈 주식회사 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190065624A (ko) * 2017-12-04 2019-06-12 삼성중공업 주식회사 모바일 기기를 이용한 위치 보정 시스템 및 방법
KR20200079736A (ko) * 2018-12-26 2020-07-06 (주)신한항업 영상 정합을 이용한 3d 실내공간 자동 생성 방법 및 시스템
KR20200080905A (ko) * 2018-12-27 2020-07-07 (주)신한항업 실내공간 실시간 확인이 가능한 클라우드 이용 3d 실내공간 서비스 방법 및 시스템
KR20200080908A (ko) * 2018-12-27 2020-07-07 (주)신한항업 실내공간 내 사물의 정보 확인이 가능한 클라우드 이용 3d 실내공간 서비스 방법 및 시스템
KR20210022343A (ko) * 2019-08-20 2021-03-03 주식회사 버넥트 지하시설물 관련 혼합현실 제공방법 및 시스템
WO2021040107A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 Ar 장치 및 그 제어 방법
US11164383B2 (en) 2019-08-30 2021-11-02 Lg Electronics Inc. AR device and method for controlling the same
KR102234217B1 (ko) * 2019-11-08 2021-03-30 에스케이 주식회사 Ar 기반의 비계 검증 방법 및 시스템
WO2021101213A1 (ko) * 2019-11-19 2021-05-27 주식회사 쓰리아이 3d 투어 내에서 실제 거리 측정 방법
KR102124860B1 (ko) * 2019-11-28 2020-07-03 주식회사 메인소프트 증강현실을 통한 시트 배치 시뮬레이션 방법, 장치 및 컴퓨터프로그램
WO2021132909A1 (ko) * 2019-12-27 2021-07-01 (주)아키드로우 벽면 포인팅 기반 실내 구조 정보 생성에 따른 가상 객체 매핑 및 재설계 처리를 수행하는 휴대용 단말기 및 그 동작 방법
KR102655648B1 (ko) * 2023-11-10 2024-04-08 (주)다함아이비씨 시공도면 레이아웃 현장 제공 시스템

Also Published As

Publication number Publication date
KR101665399B1 (ko) 2016-10-13

Similar Documents

Publication Publication Date Title
KR101665399B1 (ko) 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법
US10037627B2 (en) Augmented visualization system for hidden structures
JP6687204B2 (ja) 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法
CN110383343B (zh) 不一致检测系统、混合现实系统、程序和不一致检测方法
US10482659B2 (en) System and method for superimposing spatially correlated data over live real-world images
EP2769181B1 (en) Reimaging based on depthmap information
EP2769363B1 (en) Depth cursor and depth measurement in images
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
KR101295714B1 (ko) 3차원 증강 현실 제공 장치 및 방법
CN107402000A (zh) 用于相对于测量仪器参照显示装置的系统和方法
KR101506610B1 (ko) 증강현실 제공 장치 및 그 방법
CN105659295A (zh) 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备
JP4926826B2 (ja) 情報処理方法および情報処理装置
EP2769183A2 (en) Three dimensional routing
JP2006105640A (ja) ナビゲーション装置
KR102097416B1 (ko) 표고차를 고려한 지하관로의 관리를 위한 증강 현실 표현 방법 및 이를 기록한 기록매체
KR20140090022A (ko) 3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치
CN113597568A (zh) 数据处理方法、控制设备及存储介质
KR101641672B1 (ko) 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템
JP5862865B2 (ja) 合成画像表示装置及び合成画像表示プログラム
US11341716B1 (en) Augmented-reality system and method
JP6640294B1 (ja) 複合現実システム、プログラム、携帯端末装置、及び方法
JP2016122277A (ja) コンテンツ提供サーバ、コンテンツ表示端末、コンテンツ提供システム、コンテンツ提供方法、および、コンテンツ表示プログラム
KR20140031129A (ko) 사용자 인터렉션에 기반한 전방위 영상의 가상면 생성 방법
KR101902131B1 (ko) 시뮬레이션 파노라마 실내영상 제작 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190927

Year of fee payment: 4