KR102294071B1 - 증강 현실에 기반한 o2o 카메라 솔루션에서의 객체 위치 표시 변환 및 id 부여 방법 - Google Patents

증강 현실에 기반한 o2o 카메라 솔루션에서의 객체 위치 표시 변환 및 id 부여 방법 Download PDF

Info

Publication number
KR102294071B1
KR102294071B1 KR1020200090321A KR20200090321A KR102294071B1 KR 102294071 B1 KR102294071 B1 KR 102294071B1 KR 1020200090321 A KR1020200090321 A KR 1020200090321A KR 20200090321 A KR20200090321 A KR 20200090321A KR 102294071 B1 KR102294071 B1 KR 102294071B1
Authority
KR
South Korea
Prior art keywords
camera
panoramic
photographing
augmented reality
coordinates
Prior art date
Application number
KR1020200090321A
Other languages
English (en)
Inventor
김성영
이창섭
Original Assignee
금오공과대학교 산학협력단
이창섭
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 금오공과대학교 산학협력단, 이창섭 filed Critical 금오공과대학교 산학협력단
Priority to KR1020200090321A priority Critical patent/KR102294071B1/ko
Application granted granted Critical
Publication of KR102294071B1 publication Critical patent/KR102294071B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

제안기술은 증강 현실에 기반한 O2O 카메라 솔루션에서의 객체 위치 표시 변환 및 ID 부여 방법에 관한 것으로, 더욱 상세하게는 증강 현실(Augmented Reality) 카메라 기술을 접목한 O2O 카메라 솔루션에서의 객체 위치 표시 변환 및 ID 부여 방법에 관한 발명이다.

Description

증강 현실에 기반한 O2O 카메라 솔루션에서의 객체 위치 표시 변환 및 ID 부여 방법{Method of object location display conversion and ID assignment in augmented reality based O2O camera solution}
제안기술은 증강 현실에 기반한 O2O 카메라 솔루션에서의 객체 위치 표시 변환 및 ID 부여 방법에 관한 것으로, 더욱 상세하게는 증강 현실(Augmented Reality) 카메라 기술을 접목한 O2O 카메라 솔루션에서의 객체 위치 표시 변환 및 ID 부여 방법에 관한 발명이다.
최근, 비대면 상거래 활성화가 권장되면서 대형 매장과 같이 온라인 쇼핑몰이 갖춰지지 않은 재래 시장 및 일반 상점 등은 경제적으로 어려움을 겪고 있다.
온라인 쇼핑몰 구축 시 비용 및 유지 관리의 어려움이 있기 때문에 재래 시장 및 일반 상점에서 온라인 쇼핑몰을 구축하는데 어려움이 있었다.
한국공개특허 제10-2018-0047794호
본 발명은 상기와 같은 문제를 해결하기 위해 발명된 것으로서, 증강 현실 카메라 기술을 접목한 가상 위치 기반 AR O2O 카메라 솔루션을 적용하여 오프라인 공간을 온라인 공간에 동일하게 구현할 수 있도록 하는데 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 증강 현실에 기반한 O2O 카메라 솔루션에 있어서,
증강 현실(Augmented Reality) 기능 및 객체 인식 기능을 갖는 촬영 유닛을 이용하여 해당 공간을 촬영하는 단계;
촬영 유닛 중 파노라마 카메라에서 촬영된 파노라마 뷰에 위치별 좌표가 부여되는 단계;
촬영 유닛의 파노라마 카메라와 3D 카메라가 동기화되는 단계;
촬영 유닛에서 파노라마 카메라와 3D 카메라에서 촬영된 객체를 인식하는 단계;
객체에 아이디(ID)를 부여하는 단계;를 포함하는 것을 특징으로 한다.
촬영 유닛을 이용하여 해당 공간을 촬영하는 단계는,
파노라마 카메라를 이용하여 촬영하는 단계 및 3D 카메라를 이용하여 촬영하는 단계를 포함하는 것을 특징으로 한다.
촬영 유닛 중 파노라마 카메라에서 촬영된 파노라마 뷰에 위치별 좌표가 부여되는 단계는,
파노라마 뷰와 동일한 각도 및 길이의 싱크마크가 형성되는 단계;
싱크마크를 기준으로 파노라마 뷰의 위치별 각도, 길이 및 고도가 부여되는 단계;를 포함하는 것을 특징으로 한다.
객체에 아이디(ID)를 부여하는 단계에서 객체의 아이디는,
객체가 위치하는 파노라마 뷰의 위치별 좌표 및 해당 위치별 좌표에서 촬영된 3D 카메라의 360° 어라운드 뷰에서 객체가 위치하는 각도를 결합하여 부여되는 것을 특징으로 한다.
본 발명에 따르면, 증강 현실 카메라 기술을 접목한 가상 위치 기반 AR O2O 카메라 솔루션을 적용하여 오프라인 공간을 온라인 공간에 구현할 때, 객체의 아이디를 실시간으로 부여함으로써 촬영 후 복잡한 영상 편집을 줄이고, 아이디 만으로 촬영 영상 안에서 쉽게 객체의 위치를 찾을 수 있는 효과가 있다.
도 1은 본 발명에 따른 파노라마 카메라와 3D 카메라를 이용한 공간 촬영 개념도.
도 2는 본 발명에 따른 상품의 객체 인식 개념도.
도 3은 본 발명에 따른 추출된 상품의 객체 분리 개념도.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용되는 용어는 단지 특정한 실시 예들을 설명하기 위한 것으로, 본 발명을 한정하려는 의도가 아니다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명한다.
본 발명은 증강 현실에 기반한 O2O 카메라 솔루션에서의 객체 위치 표시 변환 및 ID 부여 방법에 관한 것으로, 더욱 상세하게는 증강 현실(Augmented Reality) 카메라 기술을 접목한 O2O 카메라 솔루션에서의 객체 위치 표시 변환 및 ID 부여 방법에 관한 발명이다.
도 1에는 본 발명에 따른 파노라마 카메라와 3D 카메라를 이용한 공간 촬영 개념도가 도시되어 있다.
본 발명의 증강 현실에 기반한 O2O 카메라 솔루션에서의 객체 위치 표시 변환 및 ID 부여 방법은,
증강 현실(Augmented Reality) 기능 및 객체 인식 기능을 갖는 촬영 유닛을 이용하여 해당 공간을 촬영하는 단계;
상기 촬영 유닛 중 파노라마 카메라에서 촬영된 파노라마 뷰에 위치별 좌표가 부여되는 단계;
상기 촬영 유닛의 파노라마 카메라와 3D 카메라가 동기화되는 단계;
상기 촬영 유닛에서 상기 파노라마 카메라와 3D 카메라에서 촬영된 객체를 인식하는 단계;
상기 객체에 아이디(ID)를 부여하는 단계;를 포함하여 진행된다.
먼저, 증강 현실(Augmented Reality) 기능 및 객체 인식 기능을 갖는 촬영 유닛을 이용하여 해당 공간을 촬영하는 단계는 상기 파노라마 카메라를 이용하여 촬영하는 단계 및 상기 3D 카메라를 이용하여 촬영하는 단계를 포함하는 것으로, 상기 파노마라 카메라와 상기 3D 카메라를 이용하여 제작자가 원하는 오프라인 공간을 촬영하게 된다.
상기 파노라마 카메라를 이용하여 촬영하는 단계 및 상기 3D 카메라를 이용하여 촬영하는 단계는 동시에 진행될 수 있다.
일반적으로, 상기 오프라인 공간은 매장의 내부 또는 재래 시장일 수 있으며, 제작자의 의도에 따라 달라질 수 있다.
상기 증강 현실(Augmented Reality) 기능 및 객체 인식 기능을 갖는 촬영 유닛을 이용하여 해당 공간을 촬영하는 단계가 완료되면, 상기 촬영 유닛 중 파노라마 카메라에서 촬영된 파노라마 뷰에 위치별 좌표가 부여되는 단계가 진행된다.
상기 촬영 유닛 중 파노라마 카메라에서 촬영된 파노라마 뷰에 위치별 좌표가 부여되는 단계는,
상기 파노라마 뷰와 동일한 각도 및 길이의 싱크마크가 형성되는 단계;
상기 싱크마크를 기준으로 상기 파노라마 뷰의 위치별 각도, 길이 및 고도가 부여되는 단계;를 포함하여 진행된다.
상기 파노라마 카메라는 원하는 오프라인 공간을 비교적 넓은 각도로 촬영한 파노라마 뷰의 이미지를 촬영하게 된다.
상기 파노라마 뷰에 위치별 좌표를 부여하기 위해 먼저, 상기 파노라마 뷰와 동일한 각도 및 길이를 갖는 싱크마크가 형성된다.
상기 싱크마크는 상기 파노라마 카메라와 상기 3D 카메라에서 촬영된 이미지에 각도, 길이 및 고도 등의 위치 정도를 부여하기 위한 것으로, GPS 좌표와 같은 눈금자 역할을 하게 된다.
상기 3D 카메라는 상기 싱크마크를 이용하여 상기 파노라마 뷰에 부여된 각 위치별 좌표에서 360°(시야가 바라보는 방향)의 어라운드 뷰를 촬영하게 된다.
상기 파노라마 카메라를 이용하여 촬영하는 단계와 상기 3D 카메라를 이용하여 촬영하는 단계는 단계별로 진행될 수도 있으며, 동시에 진행될 수도 있다.
상기 파노라마 카메라를 이용하여 촬영하는 단계와 상기 3D 카메라를 이용하여 촬영하는 단계가 동시에 진행되는 경우, 상기 파노라마 카메라를 이용한 촬영 시작 이후 상기 3D 카메라를 이용한 촬영이 시작된다.
즉, 상기 위치별 좌표는 상기 파노라마 카메라의 촬영에 따라 실시간으로 부여되는 것으로, 시간상 비교적 먼저 촬영된 파노라마 뷰의 위치별 좌표는 상기 파노라마 뷰의 촬영이 종료되기 전 부여되며, 상기 위치별 좌표가 부여됨과 동시에 상기 3D 카메라는 해당 위치별 좌표에 대한 어라운드 뷰를 촬영하게 된다.
모든 위치별 좌표에 대한 상기 어라운드 뷰의 촬영이 종료되면, 상기 촬영 유닛의 영상처리보드에서는 상기 파노라마 카메라와 3D 카메라를 동기화하여 상기 파노라마 카메라와 3D 카메라에서 촬영된 각각의 객체를 인식하는 단계를 진행하게 된다.
도 2에는 본 발명에 따른 상품의 객체 인식 개념도가 도시되어 있다.
상기 촬영 유닛은 상기 파노라마 뷰와 상기 어라운드 뷰에 촬영된 모든 객체를 인식하여 각각의 객체에 아이디(ID)를 자동으로 부여하게 된다. 상기 객체의 아이디는 상기 객체가 위치하는 상기 파노라마 뷰의 위치별 좌표(해당 위치의 각도, 길이 및 고도)와 해당 위치별 좌표에서 촬영된 상기 어라운드 뷰에서 해당 객체가 위치하는 각도를 결합하여 부여된다.
예를 들어, 상기 싱크마크의 크기가 70000, 상기 파노라마 뷰의 위치별 좌표가 P(200, 23000), 상기 어라운드 뷰에서 해당 객체가 위치하는 각도가 A180(0~360°)일 때 상기 객체의 아이디는 'X200Y23000A180'이 된다.
상기 객체의 아이디에 대해 설명하면, 상기 객체의 아이디에서 X는 해당 객체의 위치에서 상기 파노라마 뷰에 위치 정도를 부여하는 기준이 되는 상기 싱크마크의 좌표가 되고, Y는 기준 바닥면으로부터 해당 객체의 높이(고도)가 되며, A는 상기 싱크마크의 위치를 0도로 했을 때 상기 어라운드 뷰에서 해당 객체가 위치하는 각도를 나타낸다.
즉, 상기 객체의 아이디는 상기 파노라마 카메라와 3D 카메라로 촬영한 이미지 안에서 상기 객체의 위치 좌표가 된다.
도 3에는 본 발명에 따른 추출된 상품의 객체 분리 개념도가 도시되어 있다.
상기 객체의 아이디는 서버에 저장되며, 상기 서버에 저장된 상기 객체의 아이디 중 필요한 객체를 분리하게 된다.
상기 객체의 분리는 판매자에 의해 이루어진다. 상기 판매자는 상기 서버에 저장된 상기 객체의 아이디 중 원하는 객체의 아이디를 식별하고, 상기 원하는 객체에 대한 정보를 상기 서버에 저장하여 애플리케이션에 업로드하게 되며, 상기 객체의 아이디 중 원하지 않는 객체의 아이디는 상기 서버에서 삭제하게 된다.
상기에서 설명한 바와 같이, 증강 현실 카메라 기술을 접목한 가상 위치 기반 AR O2O 카메라 솔루션을 적용하여 오프라인 공간을 온라인 공간에 동일하게 구현할 수 있게 된다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면 후술 될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (4)

  1. 증강 현실(Augmented Reality) 기능 및 객체 인식 기능을 갖는 촬영 유닛을 이용하여 해당 공간을 촬영하는 단계;
    상기 촬영 유닛 중 파노라마 카메라에서 촬영된 파노라마 뷰에 위치별 좌표가 부여되는 단계;
    상기 촬영 유닛의 파노라마 카메라와 3D 카메라가 동기화되는 단계;
    상기 촬영 유닛에서 상기 파노라마 카메라와 3D 카메라에서 촬영된 객체를 인식하는 단계;
    상기 객체에 아이디(ID)를 부여하는 단계;를 포함하고,
    상기 객체에 아이디(ID)를 부여하는 단계에서 상기 객체의 아이디는,
    상기 객체가 위치하는 상기 파노라마 뷰의 위치별 좌표 및 해당 위치별 좌표에서 촬영된 상기 3D 카메라의 360° 어라운드 뷰에서 상기 객체가 위치하는 각도를 결합하여 부여되는 것을 특징으로 하는 증강 현실에 기반한 O2O 카메라 솔루션에서의 객체 위치 표시 변환 및 ID 부여 방법.
  2. 제1항에 있어서,
    상기 촬영 유닛을 이용하여 해당 공간을 촬영하는 단계는,
    상기 파노라마 카메라를 이용하여 촬영하는 단계 및 상기 3D 카메라를 이용하여 촬영하는 단계를 포함하는 것
    을 특징으로 하는 증강 현실에 기반한 O2O 카메라 솔루션에서의 객체 위치 표시 변환 및 ID 부여 방법.
  3. 제2항에 있어서,
    상기 촬영 유닛 중 파노라마 카메라에서 촬영된 파노라마 뷰에 위치별 좌표가 부여되는 단계는,
    상기 파노라마 뷰와 동일한 각도 및 길이의 싱크마크가 형성되는 단계;
    상기 싱크마크를 기준으로 상기 파노라마 뷰의 위치별 각도, 길이 및 고도가 부여되는 단계;를 포함하는 것
    을 특징으로 하는 증강 현실에 기반한 O2O 카메라 솔루션에서의 객체 위치 표시 변환 및 ID 부여 방법.
  4. 삭제
KR1020200090321A 2020-07-21 2020-07-21 증강 현실에 기반한 o2o 카메라 솔루션에서의 객체 위치 표시 변환 및 id 부여 방법 KR102294071B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200090321A KR102294071B1 (ko) 2020-07-21 2020-07-21 증강 현실에 기반한 o2o 카메라 솔루션에서의 객체 위치 표시 변환 및 id 부여 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200090321A KR102294071B1 (ko) 2020-07-21 2020-07-21 증강 현실에 기반한 o2o 카메라 솔루션에서의 객체 위치 표시 변환 및 id 부여 방법

Publications (1)

Publication Number Publication Date
KR102294071B1 true KR102294071B1 (ko) 2021-08-26

Family

ID=77465644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200090321A KR102294071B1 (ko) 2020-07-21 2020-07-21 증강 현실에 기반한 o2o 카메라 솔루션에서의 객체 위치 표시 변환 및 id 부여 방법

Country Status (1)

Country Link
KR (1) KR102294071B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016503618A (ja) * 2012-11-15 2016-02-04 ジロプティック パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置
KR20170042258A (ko) * 2016-11-10 2017-04-18 김영덕 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법
KR20180047794A (ko) 2016-11-01 2018-05-10 주식회사 케이티 오프라인 매장의 방문자 행동 패턴에 기반한 o2o 마케팅 플랫폼 시스템 및 그 구축 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016503618A (ja) * 2012-11-15 2016-02-04 ジロプティック パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置
KR20180047794A (ko) 2016-11-01 2018-05-10 주식회사 케이티 오프라인 매장의 방문자 행동 패턴에 기반한 o2o 마케팅 플랫폼 시스템 및 그 구축 방법
KR20170042258A (ko) * 2016-11-10 2017-04-18 김영덕 증강 현실 기반 쇼핑 정보 제공 시스템 및 그의 제어 방법

Similar Documents

Publication Publication Date Title
US10116915B2 (en) Cleaning of depth data by elimination of artifacts caused by shadows and parallax
US10158939B2 (en) Sound Source association
US20180205963A1 (en) Encoding Free View Point Data in Movie Data Container
US20030012410A1 (en) Tracking and pose estimation for augmented reality using real features
US10621777B2 (en) Synthesis of composite images having virtual backgrounds
US20030095711A1 (en) Scalable architecture for corresponding multiple video streams at frame rate
US20150193970A1 (en) Video playing method and system based on augmented reality technology and mobile terminal
KR102152436B1 (ko) 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법
CN213461894U (zh) 一种xr-扩展现实系统
JP7456034B2 (ja) 複合現実表示装置および複合現実表示方法
WO2022074294A1 (en) Network-based spatial computing for extended reality (xr) applications
KR20150102985A (ko) 카메라 흔들림을 검출하는 화상 회의 서버
JP3561446B2 (ja) 画像生成方法及びその装置
TW202244680A (zh) 位置姿勢獲取方法、電子設備及電腦可讀儲存媒體
JP7241812B2 (ja) 情報可視化システム、情報可視化方法、及びプログラム
US11272125B2 (en) Systems and methods for automatic detection and insetting of digital streams into a video
KR102294071B1 (ko) 증강 현실에 기반한 o2o 카메라 솔루션에서의 객체 위치 표시 변환 및 id 부여 방법
CN213126145U (zh) 一种ar-虚拟互动系统
CN113793420A (zh) 深度信息处理方法、装置、电子设备及存储介质
US11176353B2 (en) Three-dimensional dataset and two-dimensional image localization
Kim et al. 3-d virtual studio for natural inter-“acting”
KR20160093769A (ko) 공간 매칭 기법을 적용한 가상 콘텐츠 생성 방법 및 시스템
CN111260544B (zh) 数据处理方法及装置、电子设备和计算机存储介质
Aliakbarpour et al. Imu-aided 3d reconstruction based on multiple virtual planes
CN112312041A (zh) 基于拍摄的图像校正方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant