KR101618308B1

KR101618308B1 - Panoramic image acquisition and Object Detection system for Product of Interactive Online Store based Mirror World.

Info

Publication number: KR101618308B1
Application number: KR1020130099264A
Authority: KR
Inventors: 최명진; 김태영; 지의규
Original assignee: (주)인스페이스
Priority date: 2013-08-21
Filing date: 2013-08-21
Publication date: 2016-05-09
Also published as: KR20150022065A

Abstract

본 발명은 미러월드 기반 인터랙티브 온라인 쇼핑몰 구축을 위한 파노라마 영상 획득 및 객체 검출이 가능한 시스템에 관한 것으로서, 더욱 상세하게는 미러월드 기반 인터랙티브 온라인 쇼핑몰을 제공하여 실제 백화점 혹은 쇼핑몰에서 마주치는 뷰를 그대로 제공해 주면서 관심있는 제품에 대하여 상세정보를 알 수 있도록 하며, 로봇영상획득장치를 통해 객체 고유 식별자 정보를 획득하여 관련된 제품 정보를 수집하고 이를 접속단말기에 제공하는 미러월드 기반 인터랙티브 온라인 쇼핑몰 구축을 위한 파노라마 영상 획득 및 객체 검출이 가능한 시스템에 관한 것이다.The present invention relates to a system capable of acquiring panoramic images and object detection for constructing an interactive online shopping mall based on a mirror world, and more particularly, to providing a mirror world-based interactive online shopping mall to provide a view that is encountered in actual department stores or shopping malls Acquisition of panoramic images for constructing a mirror-world-based interactive online shopping mall, acquiring detailed information about a product of interest, acquiring object unique identifier information through a robot image acquisition device, collecting related product information, And a system capable of object detection.

Description

[0001] The present invention relates to a panorama image acquisition and object detection system for building an interactive online shopping mall based on a mirror world.

본 발명은 미러월드 기반 인터랙티브 온라인 쇼핑몰 구축을 위한 파노라마 영상 획득 및 객체 검출이 가능한 시스템에 관한 것으로서, 더욱 상세하게는 미러월드 기반 인터랙티브 온라인 쇼핑몰을 제공하여 실제 백화점 혹은 쇼핑몰에서 마주치는 뷰를 그대로 제공해 주면서 관심있는 제품에 대하여 상세정보를 알 수 있도록 하며, 로봇영상획득장치를 통해 객체 고유 식별자 정보를 획득하여 관련된 제품 정보를 수집하고 이를 접속단말기에 제공하는 미러월드 기반 인터랙티브 온라인 쇼핑몰 구축을 위한 파노라마 영상 획득 및 객체 검출이 가능한 시스템에 관한 것이다.
The present invention relates to a system capable of acquiring panoramic images and object detection for constructing an interactive online shopping mall based on a mirror world, and more particularly, to providing a mirror world-based interactive online shopping mall to provide a view that is encountered in actual department stores or shopping malls Acquisition of panoramic images for constructing a mirror-world-based interactive online shopping mall, acquiring detailed information about a product of interest, acquiring object unique identifier information through a robot image acquisition device, collecting related product information, And a system capable of object detection.

현재 IT 기술의 발달로 스마트폰을 통해 각종 상품들을 실시간으로 확인할 수 있게 되었으며, 소비자와의 상호교감을 이끌어내는 새로운 형태의 인터랙티브 마케팅의 필요성이 증대되는 실정이다.With the development of IT technology, it has become possible to check various products in real time through smart phones, and the need for interactive marketing of new forms of interacting with consumers is increasing.

즉, 소비자는 더 이상 평범한 주입형 마케팅에는 관심을 갖지 않게 되었으며, 소비자와의 상호 교감을 이끌어내는 새로운 형태의 인터랙티브 마케팅이 등장하게 되었다.In other words, consumers are no longer interested in ordinary injection marketing, and new forms of interactive marketing are emerging that lead to interaction with consumers.

이를 해결하고자 기존의 온라인 쇼핑몰은 2차원적인 웹페이지에 단 방향적인 정보를 제공하고 있었으며, 가상현실 기술을 활용한 새로운 마케팅 플랫폼이 생겨났으나 현실감이 떨어지고 적용 분야도 제한적이어서 활성화되고 있지 않아 새로운 쇼핑의 패러다임을 일으키지 못하는 실정이다.In order to solve this problem, existing online shopping malls are providing unidirectional information to two - dimensional web pages, and a new marketing platform using virtual reality technology has been created. However, since the realistic feeling is low and the application field is limited, It is not a paradigm.

따라서, 새로운 소비패턴 욕구를 충족시키는 양방향성의 현실감 있는 플랫폼 기술을 요구하게 되었다.Therefore, there has been a demand for a bi-directional realistic platform technology that satisfies a new consumption pattern desire.

그리고, 종래의 온라인 쇼핑몰은 오프라인 매장에서 느낄 수 있는 쇼핑의 재미, 오락공간으로서의 기능이 부족하였다.In addition, the conventional online shopping mall lacks the shopping fun and the entertainment space that can be felt in the offline store.

종래의 기술은 인터넷 쇼핑 시에 실제와 같은 가상공간을 제공하지 않으므로 소비자에게 실제공간의 느낌을 제공해주지 못하고 있으므로 한계가 있으며 결국 소비자는 실제로 쇼핑몰 혹은 백화점으로 나가게 되는 문제점이 있었다. The conventional technology does not provide a virtual space such as a real one at the time of internet shopping, and thus it can not provide a feeling of actual space to the consumer. Therefore, there is a limitation that the consumer actually goes to a shopping mall or a department store.

한편, 오프라인 쇼핑몰에서는 제품 판매 지원을 위해서 진열대 위치 변경이라던지 매장 행사 상품 등록과 같은 제한된 공간에서 이루어지기 때문에 경쟁이 심하였고 그 형태도 제약적이었다.On the other hand, in the offline shopping mall, competition was severe and its form was restricted because it was done in a limited space such as changing the position of a shelf or registering a store event for supporting product sales.

한편, 로드뷰나 스트리트뷰처럼 미러월드 영상을 확보하기 위하여 차량 또는 특수카메라 장치로 주기적으로 촬영한다.On the other hand, in order to secure Mirror World images like road view and street view, it is photographed periodically by vehicle or special camera device.

하지만 대형 마트처럼 실내 공간이 좁은 상태에서 미러월드 영상을 확보하기 위해서는 현재 사람이 수동으로 카메라를 돌려가며 찍고 있기 때문에 촬영 인력 및 비용이 상승하는 문제가 발생한다.However, in order to secure a mirror world image in a small space such as a large-sized shopping mart, a person manually rotates the camera and takes a photograph, resulting in an increase in shooting personnel and costs.

좁은 실내에서는 실외와는 달리 피사체가 가깝기 때문에 카메라 정합 오류가 높아 여러 대의 카메라로 동시에 찍는 것이 불가능하고, 한 대의 카메라로 돌려서 찍는 방식을 취한다.In a narrow room, unlike outdoor, because the subject is close, camera matching error is high, so it is impossible to take pictures with multiple cameras at the same time.

한 대의 카메라로 한 번에 찍는 방식도 있지만 이는 해상도가 떨어져 객체 고유 식별자 정보의 추출이 어렵다.There is a method of taking one at a time with one camera, but it is difficult to extract object unique identifier information because of resolution.

또한, 쇼핑몰 특성상 진열 상품이 수시로 바뀌므로 매번 수동으로 촬영하는 것이 쉽지 않으며 촬영 위치를 촬영자가 별도로 기록해야 되기 때문에 수작업 시간이 많이 소요되는 문제점이 있다.In addition, since display products are frequently changed due to the nature of a shopping mall, it is not easy to manually photograph each time, and the photographing position must be separately recorded by the photographer, thus requiring a long time for manual operation.

종래에는 객체 고유 식별자 정보를 읽어서 오류가 발생하면 오류 알람을 발생시키며 리더기에 객체 고유 식별자 정보를 다시 한번 입력하게 하는 기술이 존재하였다.Conventionally, there is a technique of reading an object unique identifier information to generate an error alarm when an error occurs, and inputting object unique identifier information to the reader once again.

종래의 기술은 다시 객체 고유 식별자 정보를 입력할 경우에 사람이 다시 한번 읽도록 해주어야 하므로 인력이 항상 필요하게 되었다.The conventional technique requires a human to read the object unique identifier information again, so that manpower is always required.

특히, 로봇으로 영상을 다수 획득하여 파노라마로 제공하는 시스템에서는 자동으로 객체 고유 식별자 정보를 추출하게 되는데, 추출 실패시 객체 고유 식별자 정보를 사람이 직접 다시 읽어서 입력하게 되면 많은 인력 낭비가 발생할 수밖에 없었다.
In particular, in a system that acquires a large number of images with a robot and provides them as a panorama, it automatically extracts the object unique identifier information. If the object unique identifier information is manually read by the user when the extraction fails, a lot of manpower is wasted.

없음.none.

따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 목적은 쇼핑 실내 공간에 대한 미러월드 영상 확보를 위하여 로봇영상획득장치를 구성하여 해당 로봇영상획득장치를 통해 신뢰성 있는 상품 정보를 자동으로 추출하도록 하는데 있다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and it is an object of the present invention to provide a robot image acquisition apparatus for securing a mirror world image in a shopping space, And to automatically extract product information.

본 발명의 다른 목적은 로봇영상획득장치를 통해 획득된 객체 고유식별자 정보에 오류가 발생할 경우에 이에 대한 오류를 제거하여 관련된 영상과 객체 고유식별자 정보를 연계하여 제품 정보를 저장하고 있는 디비로부터 관련된 제품의 정보를 획득하여 접속단말기에 제공하여 소비자가 일련의 동작(예를 들면 마우스 클릭)을 행하면 제품정보에 대하여 디스플레이해주도록 하는데 있다.It is another object of the present invention to provide an image processing apparatus and a method for processing a product related to a related product from a database storing product information by linking an associated image and an object unique identifier information when an error occurs in the object unique identifier information acquired through the robot image acquisition apparatus, And displays the product information when the consumer performs a series of operations (e.g., a mouse click).

본 발명의 또 다른 목적은 다수의 파노라마 영상을 이용하여 제품의 객체 고유 식별자 정보 추출시 오류 검출 및 보정을 수행하여 신뢰성을 높일 수 있도록 하는데 있다.
Another object of the present invention is to improve reliability by performing error detection and correction upon extracting object unique identifier information of a product using a plurality of panoramic images.

본 발명이 해결하고자 하는 과제를 달성하기 위하여,In order to achieve the object of the present invention,

본 발명의 일실시예에 따른 미러월드 기반 인터랙티브 온라인 쇼핑몰 구축을 위한 파노라마 영상 획득 및 객체 검출이 가능한 시스템은,A system for acquiring a panorama image and detecting an object for building a mirror-world-based interactive online shopping mall according to an embodiment of the present invention includes:

촬영 계획을 설정하며, 설정된 촬영 계획에 따라 매장 공간 및 진열 제품에 대한 파노라마 촬영을 수행하여 해당 정보를 미러월드기반인터랙티브쇼핑서버(200)로 업로드하기 위한 로봇영상획득장치(100)와;A robot image acquiring device 100 for setting up a photographing plan, performing panoramic photographing of the store space and display products according to the set photographing plan and uploading the information to the mirror world based interactive shopping server 200;

상기 로봇영상획득장치(100)로부터 수집된 정보와 오프라인매장디비, 온라인쇼핑몰디비, 광고디비와 연동하여 미러월드 공간정보를 구축하며, 구축된 공간정보를 접속단말기에 제공하고, 접속단말기에서 인터랙티브한 쇼핑을 수행할 수 있도록 서비스를 제공하기 위한 미러월드기반인터랙티브쇼핑서버(200)와;The mirror world space information is constructed in cooperation with the information collected from the robot image acquisition apparatus 100, the offline store database, the online shopping mall database, and the advertisement database, provides the constructed spatial information to the access terminal, A mirror world based interactive shopping server 200 for providing a service for shopping;

상기 미러월드기반인터랙티브쇼핑서버(200)에 접속하여 미러월드 공간 상에서 인터랙티브한 쇼핑을 실행하기 위한 접속단말기(300)와;An access terminal 300 for accessing the mirror world based interactive shopping server 200 to perform interactive shopping on the mirror world space;

상품 고유식별번호, 가격, 위치의 객체 정보를 저장하고 있는 오프라인매장디비(400)와;An in-store store 400 storing object information of a product unique identification number, price, and location;

상품에 대한 가격, 평점, 관련 상세 정보를 저장하고 있는 온라인쇼핑몰디비(500)와;An online shopping mall database 500 storing price, rating, and related detailed information about the product;

상품에 대한 광고 및 미러월드 공간에 대한 영상 및 음성 광고 정보를 저장하고 있는 광고디비(600);를 포함하여 구성되어 본 발명의 과제를 해결하게 된다.
And an advertisement database (600) storing advertisement for the goods and video and audio advertisement information for the mirror world space, thereby solving the problems of the present invention.

이상의 구성 및 작용을 지니는 본 발명에 따른 미러월드 기반 인터랙티브 온라인 쇼핑몰 구축을 위한 파노라마 영상 획득 및 객체 검출이 가능한 시스템은,A system capable of acquiring a panorama image and detecting an object for constructing an interactive online shopping mall based on the mirror world according to the present invention having the above-

쇼핑 실내 공간에 대한 미러월드 영상 확보를 위하여 로봇영상획득장치를 구성하여 해당 로봇영상획득장치를 통해 신뢰성있는 상품 정보를 자동으로 추출하여 사용자에게 제공하게 된다.In order to secure the mirror world image of the shopping space, a robot image acquisition device is constructed, and reliable product information is automatically extracted and provided to the user through the robot image acquisition device.

또한, 로봇영상획득장치를 통해 획득된 객체 고유식별자 정보에 오류가 발생할 경우에 이에 대한 오류를 제거하여 관련된 영상과 객체 고유식별자 정보를 연계하여 제품 정보를 저장하고 있는 디비로부터 관련된 제품의 정보를 획득하여 접속단말기에 제공하여 소비자가 일련의 동작(예를 들면 마우스 클릭)을 행하면 제품정보에 대하여 디스플레이해주도록 함으로써, 차별화된 제품 정보 제공 효과를 사용자에게 제공하게 된다.When an error occurs in the object unique identifier information acquired through the robot image acquiring device, the error is eliminated and the associated image is correlated with the object unique identifier information to acquire information on the related product from the database storing the product information (For example, clicking a mouse) to display the product information, thereby providing differentiated product information providing effects to the user.

또한, 쇼핑몰과 같이 촬영 빈도수가 높은 매장에 로봇영상획득장치를 제공함으로써, 다량의 객체 정보 추출이 가능한 효과를 제공하게 된다.In addition, by providing a robot image acquiring device in a store having a high image pickup frequency such as a shopping mall, an effect of extracting a large amount of object information can be provided.

또한, 다수의 파노라마 영상을 이용하여 제품의 객체 고유 식별자 정보 추출시 오류 검출 및 보정을 수행하여 신뢰성을 높일 수 있는 효과를 제공하게 된다.
In addition, error detection and correction are performed when extracting object unique identifier information of a product using a plurality of panoramic images, thereby providing an effect of enhancing reliability.

도 1은 본 발명의 일실시예에 따른 미러월드 기반 인터랙티브 온라인 쇼핑몰 구축을 위한 파노라마 영상 획득 및 객체 검출이 가능한 시스템의 전체 개념도이다.
도 2는 본 발명의 일실시예에 따른 미러월드 기반 인터랙티브 온라인 쇼핑몰 구축을 위한 파노라마 영상 획득 및 객체 검출이 가능한 시스템의 전체 블록도이다.
도 3은 본 발명의 일실시예에 따른 미러월드 기반 인터랙티브 온라인 쇼핑몰 구축을 위한 파노라마 영상 획득 및 객체 검출이 가능한 시스템의 다수 영상의 상호 비교를 통한 에러 검출 및 보정 예를 나타낸 예시도이다.
도 4는 본 발명의 일실시예에 따른 미러월드 기반 인터랙티브 온라인 쇼핑몰 구축을 위한 파노라마 영상 획득 및 객체 검출이 가능한 시스템의 다수개의 촬영 영상에서의 동일 객체 이미지를 통한 객체 인식 및 객체 3차원 위치 계산 예를 나타낸 예시도이다.
도 5는 본 발명의 일실시예에 따른 미러월드 기반 인터랙티브 온라인 쇼핑몰 구축을 위한 파노라마 영상 획득 및 객체 검출이 가능한 시스템의 에피폴라 기하에 대한 예시도이며, 도 6은 영상 정렬 방법을 나타낸 예시도이다.FIG. 1 is a conceptual diagram illustrating a panorama image acquisition and object detection system for constructing an interactive online shopping mall based on a mirror world according to an embodiment of the present invention.
2 is an overall block diagram of a system capable of panorama image acquisition and object detection for constructing an interactive online shopping mall based on a mirror world according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating an example of error detection and correction based on mutual comparison of multiple images of a system capable of acquiring panoramic images and object detection for building a mirror-world-based interactive online shopping mall according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating an example of an object recognition and object three-dimensional position calculation based on the same object image in a plurality of photographed images of a panorama image acquisition and object detection system for constructing an interactive online shopping mall in accordance with an embodiment of the present invention Fig.
FIG. 5 is a diagram illustrating an epipolar geometry of a system capable of acquiring panoramic images and object detection for building a mirror-world-based interactive online shopping mall according to an embodiment of the present invention, and FIG. 6 is an exemplary view illustrating an image alignment method .

상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 미러월드 기반 인터랙티브 온라인 쇼핑몰 구축을 위한 파노라마 영상 획득 및 객체 검출이 가능한 시스템은,According to an aspect of the present invention, there is provided a system for acquiring a panorama image and detecting an object for building an interactive online shopping mall based on a mirror world,

상품에 대한 광고 및 미러월드 공간에 대한 영상 및 음성 광고 정보를 저장하고 있는 광고디비(600);를 포함하여 구성되는 것을 특징으로 한다.And an advertisement database (600) storing advertisement for the product and video and audio advertisement information for the mirror world space.

이때, 상기 로봇영상획득장치(100)는,At this time, the robot image acquiring apparatus 100,

자동으로 파노라마 촬영을 수행하기 위해서 실내 지도를 기반으로 촬영 계획을 입력하는 촬영계획입력부(110)와,A photographing plan input unit 110 for inputting a photographing plan based on an indoor map for automatically performing panoramic photographing,

상기 촬영계획입력부로부터 획득된 촬영 계획 정보를 바탕으로 로봇 이동을 제어하는 로봇이동제어부(120)와,A robot movement control unit 120 for controlling the robot movement based on the photographing plan information obtained from the photographing plan input unit,

상기 촬영계획입력부로부터 획득된 촬영 계획 정보를 바탕으로 촬영을 수행하기 위하여 카메라 촬영을 제어하는 카메라촬영제어부(130)와,A camera photographing control unit 130 for controlling the camera photographing in order to perform photographing based on the photographing plan information obtained from the photographing plan input unit,

상기 카메라촬영제어부의 제어에 따라 촬영을 수행하는 카메라부(140)와,A camera unit 140 for performing photographing under the control of the camera photographing control unit,

상기 카메라부에 의해 촬영된 영상을 미러월드기반인터랙티브쇼핑서버(200)로 전송하기 위한 촬영영상전송부(150)를 포함하여 구성되는 것을 특징으로 한다.And a photographed image transfer unit 150 for transferring the image photographed by the camera unit to the mirror-world interactive shopping server 200.

이때, 상기 미러월드기반인터랙티브쇼핑서버(200)는,At this time, the mirror world based interactive shopping server (200)

로봇영상획득장치(100)로부터 전송되는 데이터를 수집하여 미러월드공간정보구축부에 제공하기 위한 현실공간정보수집부(210)와,A real space information collecting unit 210 for collecting data from the robot image acquiring apparatus 100 and providing the collected data to a mirror world space information building unit,

제공된 데이터로부터 파노라마 영상 생성하며, 다시점의 촬영 영상에 인식된 객체 정보를 매칭하여 3차원 좌표를 계산하여 접속단말기에서 표출되는 파노라마 영상 내에 객체 이미지 위에 객체 정보를 해당 위치에 맞게 표현하며, 오프라인매장디비, 온라인쇼핑몰디비, 광고디비와 정보를 매칭하여 미러월드 공간 정보를 구축하는 미러월드공간정보구축부(220)와,The panorama image is generated from the provided data, and the three-dimensional coordinate is calculated by matching the object information recognized on the photographed image of the multi-viewpoint, and the object information is displayed on the object image in the panorama image displayed on the access terminal, A mirror world spatial information construction unit 220 for constructing mirror world spatial information by matching information with an advertisement shopping mall,

객체 식별자 정보로부터 오프라인매장디비에 있는 객체 정보를 쿼리하기 위한 오프라인매장디비연동부(230)와,An offline store database interworking unit 230 for querying object information in the offline store database from the object identifier information,

객체 식별자 정보로부터 온라인쇼핑몰디비에 있는 객체 정보를 쿼리하기 위한 온라인쇼핑몰디비연동부(240)와,An online shopping mall database interworking unit 240 for querying the object information in the online shopping mall database from the object identifier information,

객체 식별자 정보로부터 광고디비에 있는 객체 정보를 쿼리하고, 미러월드 공간 내에 영상 및 음성 정보를 쿼리하기 위한 광고디비연동부(250)와,An advertisement database interworking unit 250 for querying object information in the advertisement database from the object identifier information and querying image and voice information in the mirror world space,

상기 미러월드공간정보구축부(220)에서 생성된 미러월드 공간 정보를 접속단말기(300)로 전송하기 위한 미러월드공간정보전송부(260)를 포함하여 구성되는 것을 특징으로 한다.And a mirror world space information transmitter 260 for transmitting the mirror world space information generated by the mirror world space information building unit 220 to the access terminal 300.

이때, 상기 미러월드공간정보구축부(220)는,At this time, the mirror world space information construction unit 220,

현실공간정보수집부에서 전달받은 다시점 촬영 영상으로부터 540도 파노라마 영상을 생성하는 파노라마영상생성부(221)와,A panoramic image generation unit 221 for generating a 540-degree panoramic image from the multi-view image received from the real space information collection unit,

현실공간정보수집부(210)에서 전달받은 다시점 촬영 영상으로부터 객체인식코드를 검출하여 객체를 매핑시키며, 객체 검출이 완료되면 검출된 정보를 객체인식부로 전달하기 위한 객체검출부(222)와,An object detection unit 222 for detecting an object recognition code from the multi-view point image received from the real space information collecting unit 210 and mapping the object to the object recognition unit, and for transmitting the detected information to the object recognition unit when the object detection is completed,

상기 객체검출부(222)에서 전달받은 정보로부터 객체인식코드를 인식하여 객체 고유 식별자 정보를 추출하는 객체인식부(223)와,An object recognition unit 223 for recognizing the object recognition code from the information received from the object detection unit 222 and extracting the object unique identifier information,

다시점의 촬영 영상에 인식된 객체 정보를 매칭하여 3차원 좌표를 계산하는 객체위치계산부(224)를 포함하여 구성되는 것을 특징으로 한다.And an object position calculation unit 224 for calculating three-dimensional coordinates by matching the recognized object information to the photographed image of the multi-viewpoint.

이때, 상기 객체 고유 식별자 정보는, At this time, the object-

오프라인매장디비연동부(230)와 온라인쇼핑몰디비연동부(240)를 통해 객체 정보를 추출 시에 적용되는 것을 특징으로 한다.And is applied when extracting object information through the offline store database interworking unit 230 and the online shopping mall database interworking unit 240. [

이때, 상기 계산된 3차원 좌표는, At this time, the calculated three-

접속단말기(300)에서 표출되는 파노라마 영상 내에 객체 이미지 위에 객체 정보를 해당 위치에 맞게 표현하기 위하여 적용되는 것을 특징으로 한다.And is adapted to represent object information on the object image in the panorama image displayed on the access terminal 300 according to the corresponding position.

이때, 상기 객체위치계산부(224)는,At this time, the object position calculation unit 224 calculates,

다른 각도에서 촬영된 동일 객체의 객체 고유 식별자 정보를 추출하여 상호 비교를 통한 에러 검출 및 보정을 수행하는 것을 특징으로 한다.And extracts object unique identifier information of the same object photographed from another angle to perform error detection and correction through mutual comparison.

이하, 본 발명에 의한 미러월드 기반 인터랙티브 온라인 쇼핑몰 구축을 위한 파노라마 영상 획득 및 객체 검출이 가능한 시스템의 실시예를 통해 상세히 설명하도록 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of a panorama image acquisition and object detection system for constructing an interactive online shopping mall based on the mirror world according to the present invention will be described in detail.

도 1은 본 발명의 일실시예에 따른 미러월드 기반 인터랙티브 온라인 쇼핑몰 구축을 위한 파노라마 영상 획득 및 객체 검출이 가능한 시스템의 전체 개념도이다.FIG. 1 is a conceptual diagram illustrating a panorama image acquisition and object detection system for constructing an interactive online shopping mall based on a mirror world according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 본 발명은 미러월드 기반 인터랙티브 온라인 쇼핑몰을 제공하여 오프라인 매장과 유사하게 온라인 매장을 구성하여 현실감있는 미러월드 공간을 제공하게 되는 것이다.As shown in FIG. 1, the present invention provides an interactive online shopping mall based on a mirror world, thereby providing a realistic mirror world space by configuring an online store similar to an offline store.

따라서, 사용자들은 자신의 접속단말기 등을 통해 접속하여 미러월드 상에서 쇼핑을 즐길 수 있게 되는 것이다.Accordingly, users can enjoy shopping on the mirror world by accessing through their own access terminals and the like.

이를 위하여, 촬영 계획을 설정하며, 설정된 촬영 계획에 따라 매장 공간 및 진열 제품에 대한 파노라마 촬영을 수행하여 해당 정보를 미러월드기반인터랙티브쇼핑서버(200)로 업로드하기 위한 로봇영상획득장치(100)와;To this end, a robot image acquiring apparatus 100 for setting a photographing plan, performing a panoramic photographing of a store space and a display product according to a set photographing plan and uploading the information to the mirror world based interactive shopping server 200, ;

상품에 대한 광고 및 미러월드 공간에 대한 영상 및 음성 광고 정보를 저장하고 있는 광고디비(600);를 포함하여 구성된다.And an advertisement database (600) storing advertisement for the product and video and audio advertisement information for the mirror world space.

상기 로봇영상획득장치(100) 이외에 매장 공간 및 진열 제품에 대한 파노라마 촬영을 수행하기 위하여 어떠한 촬영 장치도 본 발명의 범주에 속하는 것은 당연한 것이다.It is a matter of course that any photographing device belongs to the scope of the present invention in order to perform panoramic photographing of a store space and a display product in addition to the robot image acquiring device 100.

즉, 파노라마 영상을 제공하기 위한 어떠한 수단도 본 발명에 속한다 할 것이다.That is, any means for providing a panoramic image belongs to the present invention.

본 발명에서 설명하고 있는 객체 고유 식별자 정보는 예를 들어, 바코드, QR 코드, 기타 객체를 인식하기 위한 코드를 의미하는 것으로서, 객체를 인식하기 위한 어떠한 수단들도 본 발명의 범주에 포함될 것이다.The object-specific identifier information described in the present invention means, for example, a code for recognizing a bar code, a QR code, and other objects, and any means for recognizing the object will be included in the scope of the present invention.

본 발명의 움직이는 로봇을 통하여 수집된 제품 영상들을 편집하여 파노라마 영상으로 구축하고 각각의 제품에 대하여 객체 고유 식별자를 독출하여 영상 속의 제품에 대하여 제품에 관한 정보를 획득한다. The product images collected through the moving robot of the present invention are edited and constructed as a panoramic image, and the object unique identifier is read for each product to obtain information about the product in the image.

제품에 관한 정보는 당 분야에서 이미 많이 사용하는 것으로서 백화점 혹은 할인 매장에서 제품을 구입하고 계산대에서 계산 시에 객체 고유 식별자 리더기로 객체 고유 식별자를 리딩하면 제품(물건)의 가격 및 제품 코드, 제품명등을 제품정보 데이터베이스와 연동하여 영수증에 자동 인쇄하고 가격도 계산할 수 있도록 하는 시스템에서 사용되는 제품 정보를 말한다. Information on the product is used in many fields in the field. When a product is purchased at a department store or a discount store and the object unique identifier is read by the object unique identifier reader when calculating at the counter, the price of the product (article) To the product information database, automatically prints the receipts, and calculates the price.

상기 제품 정보를 보유하고 있는 디비에는 기존에는 불필요하였던 동영상 광고정보 등을 더 포함할 수 있다. In addition, the digital video recorder having the product information may further include video advertisement information that has not been previously required.

제공되는 파노라마 영상과 이러한 영상에서 제품을 살펴볼 수 있도록 일정한 동작에 따라 소비자에게 다른 각도의 영상 혹은 일정한 방향으로 전진한 영상으로 보여줄 수 있는 기능이 있는데, 이를 트래블링 이라 한다.There is a panorama image provided and a function to show the image to another angle image or a forward direction in a certain direction according to a certain operation so that the user can observe the product from the image. This is called traveling.

예를 들어 네이버 거리뷰와 같이 마우스를 클릭하면 방향에 따라 전진할 수도 있고 주위를 둘러볼 수 있는 파노라마 영상을 볼 수 있으며 본 발명에 따른 파노라마 영상은 백화점을 거리뷰처럼 파노라마 영상으로 구축하고 상기 파노라마 영상을 마우스 클릭에 따라 마치 여행하듯이 하는 트래블링시스템이 마련되게 된다. For example, when a mouse is clicked as in a Naver review, a panorama image that can be advanced according to a direction can be viewed and a surrounding panorama image can be viewed. A panorama image according to the present invention is constructed by building a department store as a panorama image, A traveling system is provided for traveling the image as if clicking the mouse.

본 발명에 따른 시스템은 실제 백화점 혹은 쇼핑몰에서 마주치는 뷰를 그대로 제공해 주면서 관심있는 제품에 대하여 상세정보를 알 수 있고 장바구니에 담을 수 있거나 관심 제품으로 등록할 수 있고 결제를 통하여 결제를 하게 되면 일정 금액 이상이라면 해당 백화점 혹은 쇼핑몰에서 배달까지 해줄 수 있을 수도 있다. The system according to the present invention can provide detailed information about a product of interest while providing a view that is encountered in a real department store or a shopping mall, and can register it as a shopping cart or register it as a product of interest. If it is over, it may be able to deliver from the department store or shopping mall.

또한, 가상 쇼핑몰은 실제 매장이 오픈되기 전에 로봇영상획득장치를 가동하여 로봇에 장입된 동선에 따라서 실제 매장을 로봇이 움직이면서 다수의 영상을 획득하게 된다. In addition, the virtual shopping mall activates the robot image acquiring device before the actual store is opened, and acquires a plurality of images as the robot moves the actual store according to the copper wire loaded in the robot.

상기 다수의 영상은 파노라마 영상으로 편집되어 소비자에게 제공되게 된다.The plurality of images are edited as panoramic images and provided to consumers.

이러한 일련의 작업은 제품의 진열을 마치면 매장 오픈 전에 매일 행하게 된다. This series of work is done every day before the store is opened, after the product has been displayed.

그러므로 이러한 파노라마 영상은 다이나믹하게 변화되며 제품의 위치도 항상 바뀌게 되므로 로봇영상획득장치에서 획득된 영상 속에서 객체 고유 식별자를 독출하게 된다. Therefore, since the panoramic image changes dynamically and the position of the product is always changed, the object unique identifier is read out from the image acquired by the robot image acquisition device.

또한, 가상 쇼핑몰 공간은 오프라인 공간과는 달리 벽, 천장, 또는 무형의 공간 등과 음성을 제약없이 활용할 수 있기 때문에 해당 위치에서의 관련 상품 광고를 온라인 공간 내에 삽입할 수 있다.In addition, since the virtual shopping mall space can utilize voice unrestrictedly with walls, ceiling, or intangible space unlike the offline space, it is possible to insert relevant product advertisement at the corresponding location into the online space.

다음의 각각의 구성요소에 대하여 구체적으로 설명하도록 하겠다.Each of the following components will be described in detail.

상기 로봇영상획득장치 (100)는 매장 공간 및 진열 제품을 자동으로 파노라마 촬영을 수행하여 그 데이터를 미러월드기반인터랙티브쇼핑서버에 업로드하는 장치이다. The robot image acquiring device 100 is a device for automatically performing panoramic photographing of store space and display products and uploading the data to the mirror world-based interactive shopping server.

즉, 촬영 계획을 설정하며, 설정된 촬영 계획에 따라 매장 공간 및 진열 제품에 대한 파노라마 촬영을 수행하여 해당 정보를 미러월드기반인터랙티브쇼핑서버(200)로 업로드하게 된다.In other words, the photographing plan is set, panorama photographing is performed on the store space and the display product according to the set photographing plan, and the information is uploaded to the mirror world-based interactive shopping server 200.

넓은 실내 공간 및 짧은 주기 촬영하며, 객체 인식이 가능한 고해상도 영상을 획득하기 위한 촬영 계획을 설정할 수 있다.It is possible to set a shooting plan for acquiring a high-resolution image capable of object recognition and a wide indoor space and short-period shooting.

도 2는 본 발명의 일실시예에 따른 미러월드 기반 인터랙티브 온라인 쇼핑몰 구축을 위한 파노라마 영상 획득 및 객체 검출이 가능한 시스템의 전체 블록도이다.2 is an overall block diagram of a system capable of panorama image acquisition and object detection for constructing an interactive online shopping mall based on a mirror world according to an embodiment of the present invention.

상기 로봇영상획득장치(100)는,The robot image acquiring device (100)

상기 카메라부에 의해 촬영된 영상을 미러월드기반인터랙티브쇼핑서버(200)로 전송하기 위한 촬영영상전송부(150)를 포함하여 구성된다.And a photographed image transfer unit 150 for transferring the image photographed by the camera unit to the mirror world based interactive shopping server 200. [

상기 촬영계획입력부(110)는 자동으로 파노라마 촬영을 수행하기 위해서 실내 지도를 기반으로 촬영 계획을 입력하게 된다.The photographing plan input unit 110 automatically inputs the photographing plan based on the indoor map in order to perform the panoramic photographing.

이때, 촬영 계획된 정보는 로봇이동제어부와 카메라촬영제어부에 전달된다.At this time, the photographed information is transmitted to the robot movement control section and the camera photographing control section.

예를 들어, 촬영자가 촬영하고자 하는 매장의 공간 정보를 입력하면 지정된 시간에 자동으로 촬영을 시작하며, 실내에서는 GPS를 통한 위치 정보를 획득할 수 없으므로 촬영 위치에 표시해놓은 위치 식별자를 통해 촬영 위치를 선정하고 촬영 영상과 함께 위치 정보를 저장하게 된다.For example, when a photographer inputs spatial information of a store to be photographed, the photographing starts automatically at a designated time, and since it is impossible to acquire the position information through GPS, the photographing position can be obtained through the position identifier displayed at the photographing position And stores the location information together with the shot image.

좁은 실내 공간이기 때문에 촬영 시에는 한 대의 카메라를 자동으로 540도 돌려서 촬영하도록 한다.Because it is a small indoor space, one camera should be automatically rotated 540 degrees when shooting.

상기 로봇이동제어부(120)는 촬영계획입력부로부터 획득된 촬영 계획 정보를 바탕으로 로봇 이동을 제어하며, 카메라촬영제어부(130)는 촬영계획입력부로부터 획득된 촬영 계획 정보를 바탕으로 촬영을 수행하기 위하여 카메라 촬영을 제어하게 된다.The robot movement control unit 120 controls the movement of the robot on the basis of the photographing plan information obtained from the photographing plan input unit. The camera photographing control unit 130 performs photographing based on the photographing plan information obtained from the photographing plan input unit And controls the camera shooting.

상기 촬영영상전송부(150)는 카메라부에 의해 촬영된 영상을 미러월드기반인터랙티브쇼핑서버(200)로 전송하는 것이다.The photographed image transmission unit 150 transmits the image photographed by the camera unit to the mirror-world-based interactive shopping server 200.

이때, FTP, 클라우드 등의 네트워크 기술을 이용하여, 인터넷으로 원격지에 영상 정보를 전송한다.At this time, video information is transmitted to a remote place via the Internet using a network technology such as FTP and the cloud.

한편, 상기 미러월드기반인터랙티브쇼핑서버(200)는,On the other hand, the mirror world based interactive shopping server (200)

상기 미러월드공간정보구축부(220)에서 생성된 미러월드 공간 정보를 접속단말기(300)로 전송하기 위한 미러월드공간정보전송부(260)를 포함하여 구성되게 된다.And a mirror world space information transmission unit 260 for transmitting the mirror world space information generated by the mirror world space information construction unit 220 to the access terminal 300.

상기 현실공간정보수집부(210)는 로봇영상획득장치(100)로부터 전송되는 데이터를 수집하여 미러월드공간정보구축부에 제공하게 된다.The real space information collecting unit 210 collects the data transmitted from the robot image acquiring apparatus 100 and provides the collected data to the mirror world spatial information constructing unit.

이때, 상기 미러월드공간정보구축부(220)는 제공된 데이터로부터 파노라마 영상 생성하며, 다시점의 촬영 영상에 인식된 객체 정보를 매칭하여 3차원 좌표를 계산하여 접속단말기에서 표출되는 파노라마 영상 내에 객체 이미지 위에 객체 정보를 해당 위치에 맞게 표현하며, 오프라인매장디비, 온라인쇼핑몰디비, 광고디비와 정보를 매칭하여 미러월드 공간 정보를 구축하게 된다.At this time, the mirror world spatial information construction unit 220 generates a panorama image from the provided data, calculates the three-dimensional coordinates by matching the recognized object information with the captured image of the multi-viewpoint image, And the mirror world space information is constructed by matching the information with the offline store database, the online shopping mall database, and the advertisement database.

상기 미러월드공간정보구축부(220)는,The mirror world space information construction unit 220,

상기 파노라마영상생성부(221)는 현실공간정보수집부에서 전달받은 다시점 촬영 영상으로부터 540도 파노라마 영상을 생성하며, 객체검출부(222)는 현실공간정보수집부(210)에서 전달받은 다시점 촬영 영상으로부터 객체인식코드를 검출하여 객체를 매핑시키며, 객체 검출이 완료되면 검출된 정보를 객체인식부로 전달하기 위한 기능을 수행하게 된다.The panorama image generation unit 221 generates a 540-degree panorama image from the multi-viewpoint image received from the physical space information collection unit. The object detection unit 222 detects the panorama image from the multi- Detects the object recognition code from the image and maps the object, and transmits the detected information to the object recognition unit when the object detection is completed.

상기 객체인식부(223)는 객체검출부(222)에서 전달받은 정보로부터 객체인식코드를 인식하여 객체 고유 식별자 정보를 추출하게 된다.The object recognition unit 223 recognizes the object recognition code from the information received from the object detection unit 222 and extracts object unique identifier information.

상기 객체위치계산부(224)는 다시점의 촬영 영상에 인식된 객체 정보를 매칭하여 3차원 좌표를 계산하게 된다.The object position calculation unit 224 calculates three-dimensional coordinates by matching the recognized object information with the captured image of the multi-viewpoint.

즉, 계산된 3차원 좌표는 접속단말기(300)에서 표출되는 파노라마 영상내에 객체 이미지 위에 객체 정보를 해당 위치에 맞게 표현하기 위해 사용된다. That is, the calculated three-dimensional coordinates are used to represent the object information on the object image in the panorama image displayed on the access terminal 300 according to the corresponding position.

상기 객체위치계산부는 도 3에 도시한 바와 같이, 다른 각도에서 촬영된 동일 객체의 객체 고유 식별자 정보를 추출하여 상호 비교를 통한 에러 검출 및 보정을 수행하게 된다.As shown in FIG. 3, the object position calculation unit extracts object unique identifier information of the same object photographed at different angles, and performs error detection and correction through mutual comparison.

즉, 항상 객체 고유 식별자 정보를 정확하게 획득할 수 있는 것은 아니다.That is, it is not always possible to accurately obtain the object unique identifier information.

보통 객체 고유 식별자 정보를 획득하는 영상은 하나의 제품에 가장 해상도가 높은 영상 혹은 제품에서 가장 가까운 장소에서 획득된 정지영상에서 객체 고유 식별자 정보를 판독하게 된다.In general, the image acquiring the object unique identifier information reads the object unique identifier information on the still image obtained at the nearest place in the product or the image having the highest resolution in one product.

일반적으로 객체 고유 식별자 정보를 획득하는데에 어려움은 없지만 상황에 따라 오류가 발생하게 된다.Generally, there is no difficulty in obtaining the object-specific identifier information, but an error occurs depending on the situation.

이러한 경우에 재 판독을 하여도 동일한 오류가 지속적으로 발생하므로 종래에는 사람이 직접 리더기를 통해 판독하고 수동으로 입력해야 하지만 자동으로 고유 식별자 정보를 수집하는 시스템에서는 인력의 도움을 받기란 어렵다.In this case, even if re-reading is performed, the same error continuously occurs. Therefore, it is difficult to receive the help of manpower in a system that collects unique ID information automatically in the prior art although it is conventionally required to manually read through a reader and input manually.

그러므로 객체 고유 식별자 정보 획득에 실패한 경우에는 로봇영상획득장치에서 획득된 다수의 정지 영상 중에서 제품에 존재하는 다수의 영상을 추출하여 그 중 객체 고유 식별자 정보를 읽는데에 사용된 정지영상을 제외한 다른 정지영상에서 객체 고유 식별자 정보를 읽어서 획득하는 것이다.Therefore, when the object unique identifier information acquisition fails, a plurality of images existing in the product are extracted from the plurality of still images acquired by the robot image acquiring device, and the still images used for reading the object unique identifier information are extracted And acquires the object unique identifier information by reading it.

좀 더 자세히 설명하자면, 진열된 제품 밑에 태그가 있고 태그에는 제품명, 제품코드, 제조사, 가격, 용량 등이 있으며 한쪽에는 객체 고유 식별자가 인쇄되어 있다.To be more specific, there is a tag underneath the display, and the tag contains the product name, product code, manufacturer, price, and capacity, and the unique identifier is printed on one side.

로봇영상획득장치는 이미 정해진 경로를 따라서 여러 가지 제품 영상을 획득하게 된다.The robot image acquisition device acquires various product images along the predetermined path.

전기밥솥이라는 제품의 영상을 획득하면서 로봇영상획득장치는 지나가게 되는데 각도가 조금씩 바뀌면서 전기밥솥의 다수 영상을 획득하게 된다.The robot image capturing device passes through while acquiring images of a product called an electric rice cooker, and a plurality of images of the electric cooker are acquired while the angle is slightly changed.

이러한 다수의 영상을 수집하여 파노라마 영상으로 생성하게 되는데 이러한 기술은 일반적인 기술이므로 상세한 설명은 생략하겠다.Such a plurality of images are collected and generated as panoramic images. Since these techniques are general techniques, a detailed description will be omitted.

상기 영상 중에서 다수의 정지 영상을 수치로 평가하여 제품의 객체 고유 식별자 영역에 가장 많은 화소수를 가진 영상을 정하여 객체 고유 식별자를 획득하게 된다.A plurality of still images in the image are numerically evaluated to obtain an image having the largest number of pixels in the object unique identifier region of the product to obtain an object unique identifier.

이러한 대표 영상으로부터 객체 고유 식별자를 획득하는 것은 가장 오류율을 줄일 수 있으나, 오류를 완전하게 해결하지는 못한다.Obtaining the object unique identifier from such a representative image can reduce the error rate most, but does not completely resolve the error.

비록 화소수는 많아도 빛의 간섭으로 인하여 객체 고유 식별자를 선명하게 읽을 수 없는 경우도 있으며, 수집 당시의 상황에 따라서 객체 고유 식별자 획득에 실패할 수도 있다.Even if the number of pixels is large, the object unique identifier may not be read clearly due to the interference of light, and may fail to acquire the object unique identifier depending on the situation at the time of collection.

이러한 경우에는 다른 정지영상으로부터 다시 선택하여 객체 고유 식별자를 획득하는 방법을 채택할 수 있다.In such a case, a method of selecting again from another still image and acquiring an object unique identifier may be adopted.

예를 들면 A3로부터 객체 고유 식별자 획득이 실패되면 인접한 영상인 A2 혹은 A4로부터 객체 고유 식별자를 획득하는 것이다.For example, if the acquisition of the object unique identifier from A3 fails, the object unique identifier is obtained from the adjacent image A2 or A4.

객체 고유 식별자 인식 오류는 객체 고유 식별자 중간에 검증하는 코드가 읽혀지는 가를 가지고 오류를 알 수 있으며 이러한 기술은 일반적인 것이므로 상세한 설명은 생략하겠다.An object-specific identifier recognition error can be identified by checking whether the verification code is read in the middle of the object unique identifier.

한편, 객체위치계산부(224)는 다시점의 촬영 영상에 인식된 객체 정보를 매칭하여 3차원 좌표를 계산하게 되는데, 도 4와 같이 다수개의 촬영 영상에서의 동일 객체 이미지를 통한 객체 인식 및 객체 3차원 위치 계산을 수행하게 된다.The object position calculation unit 224 calculates three-dimensional coordinates by matching the recognized object information on the photographed image of the multi-point image. As shown in FIG. 4, Dimensional position calculation.

상기 객체 3차원 위치 계산을 위해서는 스테레오 영상 처리에 기본적으로 사용되는 에피폴라 기하와 영상 정렬 방법을 사용한다.In order to calculate the object three-dimensional position, an epipolar geometry and an image alignment method, which are basically used for stereo image processing, are used.

도 5에 도시한 바와 같이, 각 카메라 중심인 C1, C2에 대하여 삼차원 상의 점 X 를 영상 I1, I2에 각각 투영시켜서 x1, x2를 획득하게 되며, 이 두 점은 정합점(corresponding point)이 된다.As shown in FIG. 5, a three-dimensional point X on each camera center C1 and C2 is projected onto the images I1 and I2, respectively, to obtain x1 and x2, and these two points are corresponding points .

도 5와 같이 두 카메라 중심을 이어주는 선을 기준선(base line)이라 하며, 이 기준선과 영상평면이 만나는 점을 에피폴(epipole) 'e' 로 정의한다. As shown in FIG. 5, a line connecting the centers of two cameras is referred to as a base line, and a point at which the reference line and the image plane meet is defined as an epipole 'e'.

이때 각 영상에 투영된 점 x 와 에피폴 e 를 연결하는 선을 에피폴라 선(epipolar line)이라 한다. The line connecting the point x and the epipole e projected on each image is called an epipolar line.

이러한 기하학적 정보로부터 한쪽 영상 위의 점에 대하여 다른 영상 위에 에피폴라 라인 l 을 구할 수 있다.From this geometric information, the epipolar line l can be found on the other image with respect to the point on one image.

도 6과 같이, 정렬된 영상으로부터 삼각법을 이용하여, x1, x2 정보로부터 X 위치 정보를 획득하게 된다.As shown in FIG. 6, X position information is obtained from the x1 and x2 information using the trigonometric method from the aligned image.

상기에서 계산된 3차원 좌표는 접속단말기(300)에서 표출되는 파노라마 영상 내에 객체 이미지 위에 객체 정보를 해당 위치에 맞게 표현하기 위하여 적용되는 것이다.The three-dimensional coordinates calculated in the above are applied to represent object information on the object image in the panorama image displayed on the access terminal 300 according to the corresponding position.

한편, 상기 객체 고유 식별자 정보는 오프라인매장디비연동부와 온라인쇼핑몰디비연동부를 통해 객체 정보를 추출 시에 사용된다.The object unique identifier information is used for extracting object information through the offline store database association unit and the online shopping mall database association unit.

상기 오프라인매장디비연동부(230)는 추출된 객체 식별자 정보로부터 오프라인매장디비에 있는 객체 정보를 쿼리하게 되며, 상기 온라인쇼핑몰디비연동부(240)는 추출된 객체 식별자 정보로부터 온라인쇼핑몰디비에 있는 객체 정보를 쿼리하며, 상기 광고디비연동부(250)는 추출된 객체 식별자 정보로부터 광고디비에 있는 객체 정보를 쿼리하고, 미러월드 공간 내에 영상 및 음성 정보를 쿼리하는 것이다.The offline store database interworking unit 230 queries the object information in the offline store database from the extracted object identifier information, and the online shopping mall database interworking unit 240 extracts the object in the online shopping mall database from the extracted object identifier information, The advertisement database interrogator 250 queries the object information in the advertisement database from the extracted object identifier information and queries the video and audio information in the mirror world space.

이때, 상기 미러월드공간정보전송부(260)는 미러월드공간정보구축부(220)에서 생성된 미러월드 공간 정보를 접속단말기(300)로 전송하게 되는 것이다.At this time, the mirror world space information transmission unit 260 transmits the mirror world space information generated by the mirror world space information construction unit 220 to the access terminal 300.

상기 접속단말기는 상품에 대한 광고 및 미러월드 공간에 대한 영상 및 음성 광고 정보를 획득하여 GUI 화면에 제공하는 것이다.The access terminal obtains advertisement for the goods and video and audio advertisement information for the mirror world space, and provides the obtained information to the GUI screen.

결국, 쇼핑 실내 공간에 대한 미러월드 영상 확보를 위하여 로봇영상획득장치를 구성하여 해당 로봇영상획득장치를 통해 신뢰성 있는 상품 정보를 자동으로 추출하여 사용자에게 제공하게 되는 것이다.Finally, the robot image acquiring device is configured to acquire the mirror world image of the shopping space, and the reliable product information is automatically extracted from the robot image acquiring device and is provided to the user.

상기와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. It will be understood by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is to be understood, therefore, that the embodiments described above are to be considered in all respects as illustrative and not restrictive.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

100 : 로봇영상획득장치
200 : 미러월드기반인터랙티브쇼핑서버
300 : 접속단말기
400 : 오프라인매장디비
500 : 온라인쇼핑몰디비
600 : 광고디비100: Robot image acquisition device
200: Mirror World-based interactive shopping server
300: access terminal
400: In-store store
500: Online Shopping Mall
600: Advertising div

Claims

delete

A system for acquiring panoramic images and object detection for building a mirror world-based interactive online shopping mall,
A photographing plan input unit 110 for inputting a photographing plan based on an indoor map for automatically performing panoramic photographing,
A robot movement control unit 120 for controlling the robot movement based on the photographing plan information obtained from the photographing plan input unit,
A camera photographing control unit 130 for controlling the camera photographing in order to perform photographing based on the photographing plan information obtained from the photographing plan input unit,
A camera unit 140 for performing photographing under the control of the camera photographing control unit,
And a photographed image transmission unit (150) for transmitting the image photographed by the camera unit to the mirror world based interactive shopping server (200);
A real space information collecting unit 210 for collecting data from the robot image acquiring apparatus 100 and providing the collected data to a mirror world space information building unit,
The panorama image is generated from the provided data, and the three-dimensional coordinate is calculated by matching the object information recognized on the photographed image of the multi-viewpoint, and the object information is displayed on the object image in the panorama image displayed on the access terminal, A mirror world spatial information construction unit 220 for constructing mirror world spatial information by matching information with an advertisement shopping mall,
An offline store database interworking unit 230 for querying object information in the offline store database from the object identifier information,
An online shopping mall database interworking unit 240 for querying the object information in the online shopping mall database from the object identifier information,
An advertisement database interworking unit 250 for querying object information in the advertisement database from the object identifier information and querying image and voice information in the mirror world space,
A mirror world-based interactive shopping server 200 configured to include a mirror world space information transmitter 260 for transmitting mirror world space information generated by the mirror world space information building unit 220 to the access terminal 300; Wow;
An access terminal 300 for accessing the mirror world based interactive shopping server 200 to perform interactive shopping on the mirror world space;
An in-store store 400 storing object information of a product unique identification number, price, and location;
An online shopping mall database 500 storing price, rating, and related detailed information about the product;
And an advertisement database (600) storing advertisement for the product and video and audio advertisement information for the mirror world space,
The mirror world space information construction unit 220,
A panoramic image generation unit 221 for generating a 540-degree panoramic image from the multi-view image received from the real space information collection unit,
An object detection unit 222 for detecting an object recognition code from the multi-view point image received from the real space information collecting unit 210 and mapping the object to the object recognition unit, and for transmitting the detected information to the object recognition unit when the object detection is completed,
An object recognition unit 223 for recognizing the object recognition code from the information received from the object detection unit 222 and extracting the object unique identifier information,
And an object position calculation unit 224 for calculating three-dimensional coordinates by matching the recognized object information with the captured image of the multi-view point.
The object position calculation unit 224 calculates the object position,
And extracting object unique identifier information of the same object photographed at different angles to perform error detection and correction through mutual comparison. The system for obtaining panoramic image and object detection for constructing an interactive online shopping mall based on the mirror world.