KR20200091196A - Method for augmented reality contents data optimization using user feedback - Google Patents

Method for augmented reality contents data optimization using user feedback Download PDF

Info

Publication number
KR20200091196A
KR20200091196A KR1020190008167A KR20190008167A KR20200091196A KR 20200091196 A KR20200091196 A KR 20200091196A KR 1020190008167 A KR1020190008167 A KR 1020190008167A KR 20190008167 A KR20190008167 A KR 20190008167A KR 20200091196 A KR20200091196 A KR 20200091196A
Authority
KR
South Korea
Prior art keywords
augmented reality
data
server
user terminal
recognized
Prior art date
Application number
KR1020190008167A
Other languages
Korean (ko)
Inventor
박정현
Original Assignee
주식회사 카이로스에이알
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카이로스에이알 filed Critical 주식회사 카이로스에이알
Priority to KR1020190008167A priority Critical patent/KR20200091196A/en
Publication of KR20200091196A publication Critical patent/KR20200091196A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Abstract

According to the present invention, an augmented reality content data optimization method using user feedback may comprise the steps of: receiving three-dimensional (3D) scanning data from a server to a user terminal; recognizing a 3D object through a photographing unit of the user terminal; and transmitting shooting information at the time when the 3D object is recognized to the server.

Description

사용자 피드백을 이용한 증강현실 콘텐츠 데이터 최적화 방법{METHOD FOR AUGMENTED REALITY CONTENTS DATA OPTIMIZATION USING USER FEEDBACK}Method for optimizing augmented reality content data using user feedback{METHOD FOR AUGMENTED REALITY CONTENTS DATA OPTIMIZATION USING USER FEEDBACK}

본 발명은 사용자 피드백(사용경험)을 이용하여 증강현실 콘텐츠 데이터를 최적화 하는 방법에 관한 것이다.The present invention relates to a method of optimizing augmented reality content data using user feedback (experience).

디스플레이 장치를 통해 표시되는 현실은 카메라를 통해 실제 세계를 촬영한 실제현실(Full Reality)과 실제 세계에는 존재하지 않으나 컴퓨터를 통해 만들어진 가상 세계를 표현하는 가상현실(Virtual Reality)로 나뉘며, SF(Science Fiction) 영화와 같이 미리 정해진 장면 시나리오에 따라 블루스크린 앞에서 실제현실을 촬영하고 여기에 가상현실을 조합한 크로마키현실(Chroma-Key Reality)이 존재하며, 크로마키현실은 분류 상 가상현실에 속한다.The reality displayed through the display device is divided into Full Reality, which photographs the real world through a camera, and Virtual Reality, which does not exist in the real world, but expresses a virtual world created through a computer. Fiction) Chroma-Key Reality, which combines virtual reality in front of a blue screen according to a predetermined scene scenario, such as a movie, exists, and chromakey reality belongs to virtual reality by classification.

최근 정보 통신 지속적인 기술의 발전으로 실제현실 상의 객체에 실시간으로 가상현실 데이터를 표시하는 증강현실(Augmented Reality)이 제안되었다. 증강현실은 SF영화와 같이 미리 정해진 장면 시나리오가 없다는 점, 실제현실을 블루스크린 앞에서 촬영하지 않는 점에서 크로마키현실과 구분된다.Recently, augmented reality (Augmented Reality) has been proposed to display virtual reality data in real time on objects in real reality due to the continuous development of information and communication technologies. Augmented reality is distinguished from chromakey reality in that there are no predetermined scene scenarios, such as SF movies, and that real reality is not shot in front of a blue screen.

증강현실에서 실제현실 상에 가상현실 데이터를 표시할 객체를 결정하는 방법으로는, 실제현실에 마커(Marker)를 표시한 후 상기 마커를 인식하여 상기 마커 상에 가상현실 데이터를 표시하는 마커 방식 증강현실과, 실제현실에 마커를 표시하지 않고 실제현실 상의 객체를 직접 인식하여 가상현실 데이터를 표시하는 마커리스(Markerless) 증강현실이 존재한다. In augmented reality, as a method of determining an object to display virtual reality data on a real reality, a marker method augmenting a marker method to display the virtual reality data on the marker by recognizing the marker after displaying the marker in real reality There is a markerless augmented reality that displays virtual reality data by directly recognizing objects on the real reality and without displaying markers on the real reality.

또한, 증강현실에서 실제현실에 가상현실 데이터를 표시하는 방법으로는, 카메라를 통해 촬영되어 저장매체에 저장된 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법과, 카메라를 통해 실시간 촬영되는 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법이 존재하며, 상술된 방법 이외에 카메라를 통해 실제현실을 촬영하지 않고 인간의 눈이 그 너머의 실제현실을 바라보는 투명한 물건(예컨대, 안경, 고글, 유리창 등)을 투명 디스플레이로 이용하고 센서 기술을 통해 상기 인간의 눈이 투명 디스플레이 너머의 객체를 인식하여 상기 투명 디스플레이 상에 가상현실 데이터를 표시하는 방법이 이론적으로 존재한다. 마커리스 증강현실 방법은 3차원 오브젝트(Object)를 추적하거나 주변 환경 및 공간을 인지하여, 가상 콘텐츠를 현실 세계 상에 증강시키는 방법이다.In addition, as a method of displaying virtual reality data in real reality in augmented reality, the object is recognized in a marker/markerless manner from the real reality captured by the camera and stored in the storage medium, and the virtual reality data is displayed on the recognized object. There is a method of displaying, and a method of recognizing an object in a marker/markerless manner from real reality photographed in real time through a camera and displaying virtual reality data on the recognized object. A transparent object (e.g., glasses, goggles, glass window, etc.) that the human eye sees the real reality beyond is used as a transparent display and the human eye recognizes objects beyond the transparent display through sensor technology. Therefore, a method for displaying virtual reality data on the transparent display theoretically exists. The markerless augmented reality method is a method of augmenting virtual content on the real world by tracking a 3D object or recognizing the surrounding environment and space.

여기서, 3차원 오브젝트를 스캐닝한 데이터를 활용하는 경우에는 전체 360도 촬영 스캐닝 파일을 이용하기 때문에, 하드웨어나 통신 환경에 따라 실제 쓰이지 않은 불필요한 데이터를 처리하게 되는 비효율성이 발생할 수 있다.Here, when using the data scanned by the 3D object, since the entire 360-degree shooting scanning file is used, inefficiency may occur in processing unnecessary data that is not actually used according to hardware or communication environment.

본 발명의 일 실시예는 상기와 같은 문제점을 해결하기 위한 것으로서, 3차원 오브젝트(Object) 스캐닝 파일의 효율적인 최적화를 수행하여, 실질적으로 불필요한 데이터 처리에 사용되는 에너지 및 전력을 절약하는 방법을 제공하기 위한 것이다.One embodiment of the present invention is to solve the above problems, by performing an efficient optimization of a three-dimensional object (Object) scanning file, to provide a method for saving energy and power used for substantially unnecessary data processing It is for.

본 발명의 일 실시예는 사용자의 3D Object 트래킹(Tracking) 경험을 피드백으로 활용하여 유연한 데이터 관리가 가능한 방법을 제공하기 위한 것이다.One embodiment of the present invention is to provide a method capable of flexible data management by utilizing a user's 3D object tracking experience as feedback.

본 발명의 일 실시예에 따른 사용자 피드백을 이용한 증강현실 콘텐츠 데이터 최적화 방법은 서버로부터 사용자 단말기기로 3D 스캐닝 데이터를 수신하는 단계, 사용자 단말기기의 촬영부를 통해 3D Object를 인식하는 단계, 그리고 3D Object가 인식된 시점에서의 촬영 정보를 서버에 전송하는 단계를 포함할 수 있다.The method for optimizing augmented reality content data using user feedback according to an embodiment of the present invention includes receiving 3D scanning data from a server to a user terminal, recognizing a 3D object through a photographing unit of the user terminal, and 3D object And transmitting photographing information at the recognized time point to the server.

3D Object가 인식된 시점에서의 촬영 정보를 서버에 전송하는 단계 후에,After the step of transmitting the shooting information at the time when the 3D Object is recognized to the server,

전송된 3D Object가 인식된 시점에서의 촬영 정보를 통해 3D 스캐닝 데이터를 3D scanning data through the shooting information at the time when the transmitted 3D object is recognized

최적화하는 단계를 더 포함할 수 있다.It may further include the step of optimizing.

촬영 정보는 3D Object가 인식된 시점에서의 촬영 이미지 정보, 카메라 위치 및 각도 중 어느 하나 이상을 포함할 수 있다.The photographing information may include one or more of photographed image information, a camera position, and an angle at the time when the 3D object is recognized.

사용자 단말기기(100)의 촬영부(110)를 통해 3D Object를 인식하는 단계(12)이후에, 인식 실패하는 경우, 변경된 각도와 위치에서 3D Object를 촬영 및 인식하는 단계를 더 포함할 수 있다.After the step 12 of recognizing the 3D object through the photographing unit 110 of the user terminal device 100, if recognition fails, the method may further include photographing and recognizing the 3D object at a changed angle and position. .

본 발명의 일 실시예에 따르면, 3차원 오브젝트(Object) 스캐닝 파일의 효율적인 최적화를 수행하여, 실질적으로 불필요한 데이터 처리에 사용되는 에너지 및 전력을 절약할 수 있다.According to an embodiment of the present invention, efficient optimization of a 3D object scanning file can be performed, thereby saving energy and power used for substantially unnecessary data processing.

본 발명의 일 실시예에 따르면, 사용자의 3D Object 촬영 경험을 피드백으로 활용하기 때문에 유연한 데이터 관리가 가능하다.According to an embodiment of the present invention, since the user's 3D object shooting experience is used as feedback, flexible data management is possible.

도 1은 본 발명의 일 실시예에 따른 사용자 피드백을 이용한 증강현실 콘텐츠 데이터 관리 시스템의 개요도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 피드백을 이용한 증강현실 콘텐츠 데이터 최적화 방법을 나타내는 순서도이다.1 is a schematic diagram of an augmented reality content data management system using user feedback according to an embodiment of the present invention.
2 is a flowchart illustrating a method for optimizing augmented reality content data using user feedback according to an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In describing the embodiments of the present specification, when it is determined that detailed descriptions of related well-known configurations or functions may obscure the subject matter of the present specification, detailed descriptions thereof will be omitted.

어떤 구성 요소가 다른 구성 요소에 '연결되어 있다'거나 '접속되어 있다'고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 '포함'한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다. When a component is referred to as being'connected' or'connected' to another component, it may be directly connected to or connected to the other component, but other components may exist in the middle. It should be understood. In addition, in the present invention, description of'including' a specific configuration does not exclude a configuration other than the corresponding configuration, and means that an additional configuration may be included in the scope of the present invention or the technical spirit of the present invention.

또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.In addition, the components shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and do not mean that each component is composed of separate hardware or one software component unit. That is, for convenience of description, each component is listed and included as each component, and at least two components of each component are combined to form one component, or one component is divided into a plurality of components to perform a function. The integrated and separated embodiments of the components are also included in the scope of the present invention without departing from the essence of the present invention.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.Also, some of the components are not essential components for performing essential functions in the present invention, but may be optional components for improving performance. The present invention can be implemented by including only components necessary for realizing the essence of the present invention, except components used for performance improvement, and structures including only essential components excluding optional components used for performance improvement. Also included in the scope of the present invention.

도 1은 본 발명의 일 실시예에 따른 사용자 피드백을 이용한 증강현실 콘텐츠 데이터 관리 시스템의 개요도이다.1 is a schematic diagram of an augmented reality content data management system using user feedback according to an embodiment of the present invention.

도 1을 참고하면, 제어부(140)는 증강현실 화면 구성부(150), 통신부(160), 촬영부(110), 표시부(120) 및 저장부(130)를 제어할 수 있다.Referring to FIG. 1, the control unit 140 may control the augmented reality screen configuration unit 150, the communication unit 160, the imaging unit 110, the display unit 120, and the storage unit 130.

증강현실 화면 구성부(150)는 실사 영상에 증강 정보를 합성한 증강 현실 화면을 구성한다. 증강 정보는 사용자 입력 신호의 선택에 따른 인터랙션이 수행되는 사용자 인터페이스 요소로 구성될 수 있다.The augmented reality screen constructing unit 150 configures an augmented reality screen that combines augmented information with a live image. The augmentation information may consist of a user interface element in which interaction is performed according to selection of a user input signal.

통신부(160)는 외부 서버 또는 다른 단말 장치(도시되지 않음)와의 통신을 수행할 수 있다. The communication unit 160 may perform communication with an external server or other terminal device (not shown).

촬영부(110)는 렌즈, CCD 또는 CMOS와 같은 영상 센서 및 아날로그 디지털 컨버터 등의 모듈을 포함하여 구성되며, 피사체를 포착하여 생성되는 화상 신호를 획득하여 디지털 신호로 변환하여 제어부(140)로 전달할 수 있다.The photographing unit 110 includes a lens, an image sensor such as a CCD or CMOS, and a module such as an analog digital converter, acquires an image signal generated by capturing a subject, converts it into a digital signal, and transmits it to the control unit 140 Can.

제어부(140)는 디지털 신호로 변환된 영상에 대한 노이즈 제거, 색감 처리 등의 영상 처리를 수행할 수 있다.The control unit 140 may perform image processing such as noise removal and color sense processing on an image converted to a digital signal.

표시부(120)는 컬러 액정 표시 장치와 같은 디스플레이 장치를 포함할 수 있다. 표시부(120)는 제어부(140)의 제어에 따라 촬영 모드에서 촬영부(110)에 의해 포착되고 있는 실사 영상을 표시할 수 있다. 또한, 표시부(120)는 액티브 모드에서 촬영부(110)에 의해 포착되고 있는 실사 영상에 프레임 마커, 데이터 리스트, 또는 데이터 타입, 데이터 송수신을 나타내는 정보 등 증강 정보를 결합한 증강 현실 화면을 증강현실 화면 구성부(150)로부터 수신하여 표시할 수 있다.The display unit 120 may include a display device such as a color liquid crystal display device. The display unit 120 may display a live-action image captured by the photographing unit 110 in the photographing mode under the control of the control unit 140. In addition, the display unit 120 augmented reality screen combining augmented information such as frame marker, data list, or data type, information indicating data transmission and reception to the live image captured by the photographing unit 110 in the active mode augmented reality screen It can be received from the configuration unit 150 and displayed.

저장부(130)는 동작에 필요한 운영 체제, 프로그램, 데이터, 데이터, 통신 프로토콜 정보 등 다양한 정보를 저장할 수 있다.The storage unit 130 may store various information such as an operating system, programs, data, data, and communication protocol information necessary for operation.

서버(200)는 사용자 단말기기(100) 내부의 로컬 영역에 위치하거나 외부에 위치하면서 사용자 단말기기(100)의 유선 또는 무선 통신망을 통해 데이터를 송수신 할 수 있고, 사전에 준비된 3D Object 스캐닝 데이터(170)를 보관하고 있는 구성요소이다.The server 200 may transmit/receive data through the wired or wireless communication network of the user terminal device 100 while being located in the local area inside the user terminal device 100 or outside the user terminal device, and may have previously prepared 3D Object scanning data ( 170).

도 2는 본 발명의 일 실시예에 따른 사용자 피드백을 이용한 증강현실 콘텐츠 데이터 최적화 방법을 나타내는 순서도이다. 2 is a flowchart illustrating a method for optimizing augmented reality content data using user feedback according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 사용자 피드백을 이용한 증강현실 콘텐츠 데이터 최적화 방법은 서버(200)로부터 사용자 단말기기(100)로 3D 스캐닝 데이터(170)를 수신하는 단계(11), 사용자 단말기기(100)의 촬영부(110)를 통해 3D Object를 인식하는 단계(12), 그리고 3D Object가 인식된 시점에서의 촬영 정보를 서버(200)에 전송하는 단계(15)를 포함할 수 있다.Referring to FIG. 2, a method for optimizing augmented reality content data using user feedback according to an embodiment of the present invention includes receiving 3D scanning data 170 from the server 200 to the user terminal 100 (11) , Recognizing the 3D Object through the photographing unit 110 of the user terminal device 100 (12), and transmitting the photographing information at the time when the 3D Object is recognized to the server 200 (15) can do.

먼저, 서버(200)로부터 사용자 단말기기(100)로 3D 스캐닝 데이터(170)를 수신하는 단계(11)는 서버(200) 내의 사전에 준비된 3D Object 스캐닝 데이터(170)를 사용자 단말기기(100)으로 송신하는 단계이다. 사용자 단말기기(100)는 스마트폰, 태블릿 등의 모바일 기기 중 어느 하나를 포함할 수 있다. 3D Object 스캐닝 데이터는, 3차원 입체정보 촬영이 가능하며, 증강현실 콘텐츠를 구현할 수 있는 일반적인 증강현실 SDK과 호환이 가능한 데이터 형태로의 촬영이 가능한 3차원 스캐너를 이용하여 얻어진 것일 수 있다. 예를 들어, 증강현실 SDK는 구글의 ARCore, 애플의 ARKit, 뷰포리아 등일 수 있다.First, the step (11) of receiving the 3D scanning data 170 from the server 200 to the user terminal device 100 is the user terminal device 100 using the previously prepared 3D Object scanning data 170 in the server 200 It is a step of transmitting. The user terminal device 100 may include any one of a mobile device such as a smart phone and a tablet. The 3D object scanning data may be obtained using a 3D scanner capable of shooting in 3D stereoscopic information and capable of shooting in a data format compatible with a general augmented reality SDK capable of realizing augmented reality content. For example, the augmented reality SDK may be Google's ARCore, Apple's ARKit, or Viewporia.

다음으로, 사용자 단말기기(100)의 촬영부(110)를 통해 3D Object를 인식하는 단계(12)는, 사용자가 사용자 단말기기(100)의 촬영부(110)를 통해 3D Object를 비춰 인식하는 단계이다. 이렇게 인식된 3D Object를 이용하여, 사용자 단말기기(100)의 증강현실 화면 구성부(150)에서 서버(200)로부터 수신된 3D Object 스캐닝 데이터와 비교하여, 대응하는 증강현실 콘텐츠를 나타나게 할 수 있다.Next, step 12 of recognizing the 3D object through the photographing unit 110 of the user terminal device 100 is performed by the user through the photographing unit 110 of the user terminal device 100 to recognize the 3D object. It is a step. Using the recognized 3D object, the augmented reality screen configuration unit 150 of the user terminal device 100 can compare the 3D object scanning data received from the server 200 and display corresponding augmented reality content. .

구체적으로, 사용자 단말기기(100)의 촬영부(110)를 통해 3D Object를 인식하는 단계(12)이후에, 인식 실패하는 경우, 변경된 각도와 위치에서 3D Object를 촬영 및 인식하는 단계(14)를 더 포함할 수 있다.Specifically, after the step 12 of recognizing the 3D object through the photographing unit 110 of the user terminal device 100, if the recognition fails, the step of photographing and recognizing the 3D object at a changed angle and position (14) It may further include.

인식이 실패하는 경우, 사용자는 사용자 단말기기(100)의 각도와 위치를 변경하게 되며, 최종적으로는 특정 위치 및 각도 등 값을 가질 때 3D Object를 인식하게 된다. If the recognition fails, the user changes the angle and position of the user terminal device 100, and finally recognizes the 3D object when it has a value such as a specific position and angle.

다음으로, 3D Object가 인식된 시점에서의 촬영 정보를 서버(200)에 전송하는 단계(15)를 포함할 수 있다.Next, it may include a step 15 of transmitting the shooting information at the time when the 3D Object is recognized to the server 200.

본 발명의 명세서에서 '촬영 정보'는 '사용자 피드백'과 동일한 의미로 해석될 수 있다. In the specification of the present invention,'shooting information' may be interpreted as having the same meaning as'user feedback'.

구체적으로, 촬영 정보는 3D Object가 인식된 시점에서의 촬영 이미지 정보, 카메라 위치 및 각도 중 어느 하나 이상을 포함할 수 있다. 구체적으로, 사용자가 3D Object를 인식하기 위해 사용자 단말 기기(100)의 위치와 각도를 변화하게 되고, 이때 최종적으로 인식되는 시점에서의 사용자 단말기기(100) 표시부(120) 상에 보여지는 촬영 이미지의 구도, 카메라의 위지 및 각도 등을 의미할 수 있다. Specifically, the photographing information may include one or more of photographed image information, a camera position, and an angle at the time when the 3D object is recognized. Specifically, the user changes the position and angle of the user terminal device 100 in order to recognize the 3D object, and at this time, the captured image shown on the display unit 120 of the user terminal device 100 at the time of the final recognition Can mean composition, camera position and angle.

다만, 촬영 정보는 이에 제한되지 않으며, 3D Object 스캐닝 데이터(170)에서의 위치 및 각도 값과 대응시킬 수 있는 형태의 위치 및 각도 데이터를 추출할 수 있는 소스 데이터 형태와 관련된 모든 데이터 중 하나 이상을 이용할 수 있다.However, the shooting information is not limited to this, and one or more of all data related to the source data type capable of extracting the position and angle data in a form that can correspond to the position and angle values in the 3D object scanning data 170 Can be used.

다음으로, 3D Object가 인식된 시점에서의 촬영 정보를 서버(200)에 전송하는 단계(15)는 서버(200)내에 있는 3D Object 스캐닝 데이터(170)의 개별 값들과 대응 여부를 비교하기 위하여 촬영 정보 형태로 사용자 피드백을 서버(200)에 전송하는 단계이다. 이때, 전송되는 3D Object 스캐닝 데이터(170) 및 촬영 정보를 저장 및 연산 처리 할 수 있는 구성이면, 서버(200)에 국한되지 않고 다른 구성으로 전달될 수 있다.Next, the step 15 of transmitting the shooting information at the time when the 3D object is recognized to the server 200 is taken to compare the individual values of the 3D object scanning data 170 in the server 200 and whether or not it corresponds. This is a step of transmitting user feedback to the server 200 in the form of information. At this time, if it is a configuration capable of storing and calculating processing of the transmitted 3D Object scanning data 170 and photographing information, it is not limited to the server 200 and may be transferred to another configuration.

3D Object가 인식된 시점에서의 촬영 정보를 서버(200)에 전송하는 단계(15) 후에, 전송된 3D Object가 인식된 시점에서의 촬영 정보를 통해 3D 스캐닝 데이터(170)를 최적화하는 단계(16)를 더 포함할 수 있다.After the step (15) of transmitting the shooting information at the time when the 3D Object is recognized to the server 200, optimizing the 3D scanning data (170) through the shooting information at the time when the transmitted 3D Object is recognized (16) ) May be further included.

구체적으로, 전송 받은 촬영 정보의 값과 사전에 확보된 3D Object 스캐닝 데이터(170)의 값을 1회 이상 비교하여, 대응률이 일정 비율 미만이라면, 실제 3D Object 인식에 기여하지 않은 값으로 판단하여 대응되지 않는 3D Object 스캐닝 데이터(170)를 제거 혹은 압축할 수 있다.Specifically, by comparing the value of the received shooting information and the value of the 3D Object scanning data 170 secured in advance one or more times, if the correspondence rate is less than a certain ratio, it is determined as a value that does not contribute to the recognition of the actual 3D Object Incompatible 3D object scanning data 170 may be removed or compressed.

예를 들어, 기준 대응률을 약 10% 미만으로 설정할 수 있다. For example, a reference correspondence rate may be set to less than about 10%.

또는 기준 대응률을 5% 미만으로 설정할 수 있다.Alternatively, the reference response rate may be set to less than 5%.

이를 통해, 사전에 서버(200) 내에 일정 용량을 가지는 3D Object 스캐닝 데이터는 사용자 단말기기(100)의 3D Object 인식 횟수가 증가함에 따라, 불필요한 데이터가 삭제되거나 압축되어, 데이터 처리 속도가 증가할 수 있고, 불필요한 에너지나 전력 소비를 줄일 수 있다.Through this, 3D Object scanning data having a predetermined capacity in the server 200 may be deleted or compressed in unnecessary data as the number of 3D Object recognition of the user terminal device 100 increases, thereby increasing the data processing speed. And reduce unnecessary energy and power consumption.

나아가, 획일적인 기준이 아닌 사용자의 3D Object 촬영 경험을 피드백으로 활용하기 때문에, 다양한 촬영 현장 상황에 제한 받지 않고 유연한 데이터 관리가 가능하다.Furthermore, since the user's 3D object shooting experience is used as feedback rather than a uniform standard, flexible data management is possible without being limited by various shooting scene conditions.

상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.In the above-described embodiment, the methods are described based on a flowchart as a series of steps or blocks, but the present invention is not limited to the order of steps, and some steps may occur in a different order than the steps described above or simultaneously. have. In addition, those of ordinary skill in the art may recognize that the steps shown in the flowcharts are not exclusive, other steps may be included, or one or more steps in the flowchart may be deleted without affecting the scope of the present invention. You will understand.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.The above-described embodiment includes examples of various aspects. It is not possible to describe all possible combinations for representing various aspects, but those skilled in the art will recognize that other combinations are possible. Accordingly, the present invention will be said to include all other replacements, modifications and changes that fall within the scope of the following claims.

100: 사용자 단말기기 200: 서버
110: 촬영부 120: 표시부
130: 저장부 140: 제어부
150: 증강현실 화면 구성부 160: 통신부
170: 3D Object Scanning Data100: user terminal 200: server
110: photographing unit 120: display unit
130: storage unit 140: control unit
150: augmented reality screen configuration unit 160: communication unit
170: 3D Object Scanning Data

Claims (4)

서버로부터 사용자 단말기기로 3D 스캐닝 데이터를 수신하는 단계;
상기 사용자 단말기기의 촬영부를 통해 3D Object를 인식하는 단계; 그리고
상기 3D Object가 인식된 시점에서의 촬영 정보를 서버에 전송하는 단계;
를 포함하는 사용자 피드백을 이용한 증강현실 콘텐츠 데이터 최적화 방법.Receiving 3D scanning data from a server to a user terminal;
Recognizing a 3D Object through the imaging unit of the user terminal device; And
Transmitting photographing information at a time point when the 3D object is recognized to a server;
Augmented reality content data optimization method using user feedback, including. 제1항에서,
상기 3D Object가 인식된 시점에서의 촬영 정보를 서버에 전송하는 단계 후에,
전송된 상기 3D Object가 인식된 시점에서의 촬영 정보를 통해 3D 스캐닝 데이터를 최적화하는 단계를 더 포함하는 것인,
사용자 피드백을 이용한 증강현실 콘텐츠 데이터 최적화 방법.
In claim 1,
After the step of transmitting the shooting information at the time when the 3D Object is recognized, to the server,
Further comprising the step of optimizing the 3D scanning data through the shooting information at the time when the transmitted 3D Object is recognized,
Method for optimizing augmented reality content data using user feedback.
제1항에서,
상기 촬영 정보는,
상기 3D Object가 인식된 시점에서의 촬영 이미지 정보, 카메라 위치 및 각도 중 어느 하나 이상을 포함하는,
사용자 피드백을 이용한 증강현실 콘텐츠 데이터 최적화 방법.In claim 1,
The shooting information,
Includes any one or more of the captured image information, camera position and angle at the time when the 3D Object is recognized,
Method for optimizing augmented reality content data using user feedback. 제 1항에서,
상기 사용자 단말기기의 촬영부를 통해 3D Object를 인식하는 단계 이후에,
인식 실패하는 경우,
변경된 각도와 위치에서 3D Object를 촬영 및 인식하는 단계를 더 포함하는 것인,
사용자 피드백을 이용한 증강현실 콘텐츠 데이터 최적화 방법.
In claim 1,
After the step of recognizing a 3D Object through the photographing unit of the user terminal device,
If recognition fails,
Further comprising the step of shooting and recognizing a 3D Object at a changed angle and position,
Method for optimizing augmented reality content data using user feedback.
KR1020190008167A 2019-01-22 2019-01-22 Method for augmented reality contents data optimization using user feedback KR20200091196A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190008167A KR20200091196A (en) 2019-01-22 2019-01-22 Method for augmented reality contents data optimization using user feedback

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190008167A KR20200091196A (en) 2019-01-22 2019-01-22 Method for augmented reality contents data optimization using user feedback

Publications (1)

Publication Number Publication Date
KR20200091196A true KR20200091196A (en) 2020-07-30

Family

ID=71839278

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190008167A KR20200091196A (en) 2019-01-22 2019-01-22 Method for augmented reality contents data optimization using user feedback

Country Status (1)

Country Link
KR (1) KR20200091196A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023224239A1 (en) * 2022-05-20 2023-11-23 주식회사 피앤씨솔루션 Method and system for data labeling using augmented reality glasses device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023224239A1 (en) * 2022-05-20 2023-11-23 주식회사 피앤씨솔루션 Method and system for data labeling using augmented reality glasses device

Similar Documents

Publication Publication Date Title
CN107771395B (en) Method and apparatus for generating and transmitting metadata for virtual reality
EP3410390A1 (en) Image processing method and device, computer readable storage medium and electronic device
US9536479B2 (en) Image display device and method
US10692290B2 (en) Augmented reality video communications
US10242710B2 (en) Automatic cinemagraph
CN106851386B (en) Method and device for realizing augmented reality in television terminal based on Android system
CN104796610A (en) Mobile terminal and camera sharing method, device and system thereof
US20200302664A1 (en) Creating and displaying multi-layered augemented reality
CN112614057A (en) Image blurring processing method and electronic equipment
CN107948505B (en) Panoramic shooting method and mobile terminal
US20190313071A1 (en) Dynamic chroma key for video background replacement
CN113115110B (en) Video synthesis method and device, storage medium and electronic equipment
CN110868547A (en) Photographing control method, photographing control device, electronic equipment and storage medium
CN115526787A (en) Video processing method and device
US10026205B2 (en) Method and apparatus for providing preview image
US20150077575A1 (en) Virtual camera module for hybrid depth vision controls
CN113542600A (en) Image generation method, device, chip, terminal and storage medium
KR20200091196A (en) Method for augmented reality contents data optimization using user feedback
KR20110136026A (en) System for optimizing a augmented reality data
CN111670464B (en) Augmented reality image providing method and program using depth data
CN104918037B (en) 3D rendering display device and method and mobile terminal
CN114143471B (en) Image processing method, system, mobile terminal and computer readable storage medium
CN115359105A (en) Depth-of-field extended image generation method, depth-of-field extended image generation device, and storage medium
CN113837937A (en) Multimedia processing chip, electronic equipment image fusion method and image cutting method
US10665023B2 (en) System and method for providing improved augmented reality content