KR102524016B1 - System for interaction with object of content - Google Patents

System for interaction with object of content Download PDF

Info

Publication number
KR102524016B1
KR102524016B1 KR1020210012477A KR20210012477A KR102524016B1 KR 102524016 B1 KR102524016 B1 KR 102524016B1 KR 1020210012477 A KR1020210012477 A KR 1020210012477A KR 20210012477 A KR20210012477 A KR 20210012477A KR 102524016 B1 KR102524016 B1 KR 102524016B1
Authority
KR
South Korea
Prior art keywords
projected
content
size
area
user
Prior art date
Application number
KR1020210012477A
Other languages
Korean (ko)
Other versions
KR20220023681A (en
Inventor
김덕규
박기훈
Original Assignee
김덕규
박기훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김덕규, 박기훈 filed Critical 김덕규
Publication of KR20220023681A publication Critical patent/KR20220023681A/en
Priority to KR1020230049795A priority Critical patent/KR102548510B1/en
Application granted granted Critical
Publication of KR102524016B1 publication Critical patent/KR102524016B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

투영된 콘텐츠와 인터렉션하기 위한 시스템이 개시된다. 본 발명의 일 실시 형태에 따른 시스템은 객체(object)를 포함하는 콘텐츠를 피투영체 중 캘리브레이션 영역 - 캘리브레이션 영역은 피투영체의 전체 영역 중 콘텐츠가 투영되는 영역임 - 에 투영하는 빔 프로젝터와, 캘리브레이션 영역을 포함하는 피투영체를 촬영하고, 촬영 중인 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 상기 빔 프로젝터로 전송하는 모바일 단말을 포함하며, 빔 프로젝터는 사용자의 신체 특정 부위의 위치 및 크기에 따라 객체와 인터렉션할 수 있다.A system for interacting with projected content is disclosed. A system according to an embodiment of the present invention includes a beam projector for projecting content including an object onto a calibration area of a projected object, wherein the calibration area is an area where content is projected among the entire area of the projected object, and a calibration area and a mobile terminal for photographing a projected object including and transmitting the position and size of a specific part of the user's body in a calibration area being photographed to the beam projector, wherein the beam projector produces images according to the position and size of the specific part of the user's body. You can interact with objects.

Description

투영된 콘텐츠와 인터렉션하기 위한 시스템{SYSTEM FOR INTERACTION WITH OBJECT OF CONTENT}System for interacting with projected content {SYSTEM FOR INTERACTION WITH OBJECT OF CONTENT}

본 출원은, 투영된 콘텐츠와 인터렉션하기 위한 시스템에 관한 것이다.This application relates to a system for interacting with projected content.

최근 코로나의 여파로 어린이집이나 학교에 대한 등원이나 등교가 제한되고 있다. 이로 인해 집에서 아이들을 돌보는 시간이 증가하고 있으며, 집에서 아이들과 함께 즐길 수 있는 게임이나 교육 장치에 대한 수요 또한 증가하고 있다.In the aftermath of the recent corona, attendance at daycare centers and schools is restricted. As a result, the time to take care of children at home is increasing, and the demand for games or educational devices that can be enjoyed with children at home is also increasing.

교육 장치 중에 특히 빔프로젝터와 같이 특정 공간에 영상을 투영하고, 이를 다수가 시청하는 장치들이 있다. 기존의 영상 투영 장치들은 인터렉션을 하기 위해서는 전문가들이 해당 장비들을 특정 장소에 고정시키고 캘리브레이션 작업을 해야 사용이 가능하다. 이렇듯 영상 투영 장치의 경우, 설치에 있어서 전문성과 복잡성의 복잡하다는 문제점이 있다.Among educational devices, there are devices that project images in a specific space, such as a beam projector, and a large number of people watch them. Existing image projection devices can be used only when experts fix the equipment in a specific place and perform calibration work in order to interact. As such, in the case of the image projection device, there is a problem of complexity of professionalism and complexity in installation.

한국공개특허 제10-2019-0055364호(“인터렉티브 비디오 게임 시스템”, 공개일: 2019년05월23일)Korean Patent Publication No. 10-2019-0055364 (“Interactive Video Game System”, Publication Date: May 23, 2019)

본 발명의 일 실시 형태에 의하면, 간단하게 설치 가능하며, 저렴한 비용으로 시스템을 구축할 수 있음과 동시에 아이들의 집중력이나 몰입감을 향상시키고 상상력이나 창의력을 고취시킬 수 있는 투영된 콘텐츠와 인터렉션하기 위한 시스템을 제공한다.According to an embodiment of the present invention, a system for interacting with projected content that can be installed easily, can be built at low cost, and can improve children's concentration or immersion and inspire imagination or creativity. provides

본 발명의 일 실시 형태에 의하면, 객체(object)를 포함하는 콘텐츠를 피투영체 중 캘리브레이션 영역 - 상기 캘리브레이션 영역은 상기 피투영체의 전체 영역 중 상기 콘텐츠가 투영되는 영역임 - 에 투영하는 빔 프로젝터; 및 상기 캘리브레이션 영역을 포함하는 상기 피투영체를 촬영하고, 촬영 중인 상기 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 상기 빔 프로젝터로 전송하는 모바일 단말;을 포함하며, 상기 빔 프로젝터는, 상기 사용자의 신체 특정 부위의 위치 및 크기에 따라 상기 객체와 인터렉션하는, 투영된 콘텐츠와 인터렉션하기 위한 시스템이 제공된다.According to one embodiment of the present invention, a beam projector for projecting content including an object onto a calibration area of the projected object, wherein the calibration area is an area on which the content is projected among the entire area of the projected object; and a mobile terminal that photographs the object to be projected including the calibration area and transmits the position and size of a specific part of the user's body in the calibration area being photographed to the beam projector, wherein the beam projector comprises: A system for interacting with projected content is provided that interacts with the object according to the position and size of a specific part of the body of the user.

본 발명의 일 실시 형태에 의하면, 상기 모바일 단말은, 상기 피투영체의 전체 영역 중 상기 캘리브레이션 영역의 좌표를 더 구할 수 있다.According to an embodiment of the present invention, the mobile terminal may further obtain coordinates of the calibration area among the entire areas of the projected object.

본 발명의 일 실시 형태에 의하면, 상기 빔 프로젝터는, 상기 피투영체에 캘리브레이션 조정용 화면을 투영하고, 상기 모바일 단말은, 투영된 상기 캘리브레이션 조정용 화면을 포함하는 상기 피투영체를 촬영하고, 촬영된 상기 피투영체에 대해 기준값을 설정하며, 설정된 상기 기준값에 기초하여 상기 캘리브레이션 영역의 좌표를 구할 수 있다.According to an embodiment of the present invention, the beam projector projects a screen for calibration adjustment onto the projected object, the mobile terminal photographs the projected object including the projected screen for calibration adjustment, and captures the captured object to be projected. A reference value is set for the spirit body, and coordinates of the calibration area may be obtained based on the set reference value.

본 발명의 일 실시 형태에 의하면, 상기 모바일 단말은, 촬영된 상기 피투영체의 각 픽셀의 값을 그레이 레벨값으로 변환하고, 변환된 그레이 레벨값에 기초하여 히스토그램을 구하고, 구한 상기 히스토그램의 평균값보다 기 설정된 비율을 가지는 값을 상기 기준값으로 설정할 수 있다.According to an embodiment of the present invention, the mobile terminal converts the value of each pixel of the photographed object to be projected into a gray level value, obtains a histogram based on the converted gray level value, and obtains a histogram greater than the average value of the obtained histogram. A value having a preset ratio may be set as the reference value.

본 발명의 일 실시 형태에 의하면, 상기 히스토그램의 평균값은, 계산된 상기 히스토그램을 크기에 따라 기 설정된 구간으로 나눈 구간의 평균값일 수 있다.According to an embodiment of the present invention, the average value of the histogram may be an average value of a section obtained by dividing the calculated histogram into preset sections according to sizes.

본 발명의 일 실시 형태에 의하면, 상기 모바일 단말은, 촬영된 상기 피투영체에 대한 컨타우어(contour) 목록 중 상기 모바일 단말에서 촬영된 화면의 크기 대비 기 설정된 크기 이상이며, 4개의 각을 가지는 컨타우어 후보를 구하고, 구한 상기 컨타우어 후보 중 내부의 그레이 레벨값(gray level)의 평균값이 상기 기준값과 기 설정된 오차 범위 이내이며, 가장 큰 크기를 가지는 컨타우어를 상기 캘리브레이션 영역으로 구하고, 구한 상기 캘리브레이션 영역의 4개의 꼭지점의 좌표를 상기 캘리브레이션 영역의 좌표로 할 수 있다.According to an embodiment of the present invention, the mobile terminal has a contour that is larger than a preset size compared to the size of a screen photographed by the mobile terminal among a list of contours for the photographed object to be projected and has four angles. Obtaining a contaur candidate, obtaining an average value of internal gray level values of the obtained contaur candidates within a predetermined error range from the reference value, and obtaining a contaur having the largest size as the calibration area, and obtaining the calibration Coordinates of four vertices of the region may be set as coordinates of the calibration region.

본 발명의 일 실시 형태에 의하면, 상기 모바일 단말은, 촬영 중인 상기 캘리브레이션 영역에서 사용자의 스켈레톤을 추출하고, 추출된 상기 사용자의 스켈레톤으로부터 상기 사용자의 신체 특정 부위의 위치 및 크기를 추정하고, 추정된 상기 위치를 상기 빔 프로젝터의 콘텐츠 영역 - 상기 콘텐츠 영역은 상기 콘텐츠가 실행되는 상기 빔 프로젝터 내의 메모리 영역임 - 의 좌표로 투영 변환하며, 투영 변환된 위치 및 상기 크기를 상기 빔 프로젝터로 전송할 수 있다.According to an embodiment of the present invention, the mobile terminal extracts a user's skeleton from the calibration area being photographed, estimates the position and size of a specific part of the user's body from the extracted skeleton of the user, and estimates the estimated The location may be projected and converted into coordinates of a content area of the beam projector, the content area being a memory area within the beam projector where the content is executed, and the projected and transformed location and size may be transmitted to the beam projector.

본 발명의 일 실시 형태에 의하면, 상기 사용자의 신체 특정 부위는, 사용자의 손이며, 상기 사용자의 손의 위치는, 손의 위치 = 손목의 위치 + (팔꿈치의 위치 - 손목의 위치)

Figure 112021011621222-pat00001
0.5이며, 상기 사용자의 손의 크기는, 사용자의 손의 크기 = Max(최소 크기,
Figure 112021011621222-pat00002
) 일 수 있다.According to an embodiment of the present invention, the specific part of the user's body is the user's hand, and the position of the user's hand is: hand position = wrist position + (elbow position - wrist position)
Figure 112021011621222-pat00001
0.5, and the size of the user's hand is the size of the user's hand = Max (minimum size,
Figure 112021011621222-pat00002
) can be

본 발명의 일 실시 형태에 의하면, 상기 빔 프로젝터는, 상기 신체 특정 부위의 위치에 따라 크기가 상기 객체의 내부 영역과 오버랩되면, 기 설정된 에니메이션 효과를 투영할 수 있다.According to an embodiment of the present invention, the beam projector may project a predetermined animation effect when the size of the specific body part overlaps with the inner area of the object according to the position of the specific body part.

본 발명의 일 실시 형태에 의하면, 빔 프로젝터에서, 객체(object)를 포함하는 콘텐츠를 피투영체 중 캘리브레이션 영역 - 상기 캘리브레이션 영역은 상기 피투영체의 전체 영역 중 상기 콘텐츠가 투영되는 영역임 - 에 투영하는 제1 단계; 모바일 단말에서, 상기 캘리브레이션 영역을 포함하는 상기 피투영체를 촬영하는 제2 단계; 상기 모바일 단말에서, 촬영 중인 상기 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 상기 빔 프로젝터로 전송하는 제3 단계; 및 상기 빔 프로젝터에서, 상기 사용자의 신체 특정 부위의 위치 및 크기에 따라 상기 객체와 인터렉션하는 제4 단계;를 포함하는, 투영된 콘텐츠와 인터렉션하기 위한 방법이 제공된다.According to an embodiment of the present invention, in a beam projector, projecting content including an object onto a calibration area of an object to be projected, wherein the calibration area is an area in which the content is projected among the entire area of the object to be projected first step; a second step of photographing the projected object including the calibration area in a mobile terminal; a third step of transmitting, in the mobile terminal, the location and size of a specific part of the user's body in the calibration area being photographed to the beam projector; and a fourth step of interacting with the object according to the location and size of the specific body part of the user in the beam projector.

본 발명의 일 실시 형태에 의하면, 상기 방법은, 상기 모바일 단말에서, 상기 피투영체의 전체 영역 중 상기 캘리브레이션 영역의 좌표를 구하는 단계;를 더 포함할 수 있다.According to an embodiment of the present invention, the method may further include, in the mobile terminal, obtaining coordinates of the calibration area among the entire areas of the projected object.

본 발명의 일 실시 형태에 의하면, 상기 캘리브레이션 영역의 좌표를 구하는 단계는, 상기 빔 프로젝터에서, 상기 피투영체에 캘리브레이션 조정용 화면을 투영하는 단계; 상기 모바일 단말에서, 투영된 상기 캘리브레이션 조정용 화면을 포함하는 상기 피투영체를 촬영하는 단계; 상기 모바일 단말에서, 촬영된 상기 피투영체에 대해 기준값을 설정하는 단계; 및 상기 모바일 단말에서, 설정된 상기 기준값에 기초하여 상기 캘리브레이션 영역의 좌표를 구하는 단계;를 포함할 수 있다.According to an embodiment of the present invention, the obtaining of the coordinates of the calibration area may include: projecting a calibration adjustment screen onto the projected object in the beam projector; In the mobile terminal, photographing the projected object including the projected calibration screen; setting a reference value for the photographed object to be projected in the mobile terminal; and obtaining, in the mobile terminal, coordinates of the calibration area based on the set reference value.

본 발명의 일 실시 형태에 의하면, 상기 기준값을 설정하는 단계는, 촬영된 상기 피투영체의 각 픽셀의 값을 그레이 레벨값으로 변환하고, 변환된 그레이 레벨값에 기초하여 히스토그램을 구하는 단계; 및 구한 상기 히스토그램의 평균값보다 기 설정된 비율을 가지는 값을 상기 기준값으로 설정하는 단계;를 포함할 수 있다.According to an embodiment of the present invention, the step of setting the reference value may include converting a value of each pixel of the imaged object to be projected into a gray level value, and obtaining a histogram based on the converted gray level value; and setting, as the reference value, a value having a predetermined ratio greater than the obtained average value of the histogram.

본 발명의 일 실시 형태에 의하면, 상기 히스토그램의 평균값은, 계산된 상기 히스토그램을 크기에 따라 기 설정된 구간으로 나눈 구간의 평균값일 수 있다.According to an embodiment of the present invention, the average value of the histogram may be an average value of a section obtained by dividing the calculated histogram into preset sections according to sizes.

본 발명의 일 실시 형태에 의하면, 상기 캘리브레이션 영역의 좌표를 구하는 단계는, 촬영된 상기 피투영체에 대한 컨타우어(contour) 목록 중 상기 모바일 단말에서 촬영된 화면의 크기 대비 기 설정된 크기 이상이며, 4개의 각을 가지는 컨타우어 후보를 구하는 단계; 구한 상기 컨타우어 후보 중 내부의 그레이 레벨값(gray level)의 평균값이 상기 기준값과 기 설정된 오차 범위 이내이며, 가장 큰 크기를 가지는 컨타우어를 상기 캘리브레이션 영역으로 구하는 단계; 및 구한 상기 캘리브레이션 영역의 4개의 꼭지점의 좌표를 상기 캘리브레이션 영역의 좌표로 하는 단계;를 포함할 수 있다.According to one embodiment of the present invention, the step of obtaining the coordinates of the calibration area is equal to or greater than a predetermined size compared to the size of the screen captured on the mobile terminal in the list of contours for the captured object to be projected, 4 obtaining contaur candidates having angles of N; obtaining, as the calibration area, a contaur having an average value of internal gray levels among the obtained contaur candidates within a predetermined error range from the reference value and having the largest size; and setting the obtained coordinates of the four vertices of the calibration area as the coordinates of the calibration area.

본 발명의 일 실시 형태에 의하면, 상기 모바일 단말에서, 촬영 중인 상기 캘리브레이션 영역에서 사용자의 스켈레톤을 추출하는 단계; 추출된 상기 사용자의 스켈레톤으로부터 상기 사용자의 신체 특정 부위의 위치 및 크기를 추정하는 단계; 추정된 상기 위치를 상기 빔 프로젝터의 콘텐츠 영역 - 상기 콘텐츠 영역은 상기 콘텐츠가 실행되는 상기 빔 프로젝터 내의 메모리 영역임 - 의 좌표로 투영 변환하는 단계; 및 투영 변환된 위치 및 상기 크기를 상기 빔 프로젝터로 전송하는 제3 단계;를 포함할 수 있다.According to an embodiment of the present invention, in the mobile terminal, extracting a user's skeleton from the calibration area being photographed; estimating a location and size of a specific body part of the user from the extracted skeleton of the user; projecting and transforming the estimated position into coordinates of a content area of the beam projector, the content area being a memory area within the beam projector where the content is executed; and a third step of transmitting the projection-converted position and size to the beam projector.

본 발명의 일 실시 형태에 의하면, 상기 사용자의 신체 특정 부위는, 사용자의 손이며, 상기 사용자의 손의 위치는, 손의 위치 = 손목의 위치 + (팔꿈치의 위치 - 손목의 위치)

Figure 112021011621222-pat00003
0.5이며, 상기 사용자의 손의 크기는, 사용자의 손의 크기 = Max(최소 크기,
Figure 112021011621222-pat00004
) 일 수 있다.According to an embodiment of the present invention, the specific part of the user's body is the user's hand, and the position of the user's hand is: hand position = wrist position + (elbow position - wrist position)
Figure 112021011621222-pat00003
0.5, and the size of the user's hand is the size of the user's hand = Max (minimum size,
Figure 112021011621222-pat00004
) can be

본 발명의 일 실시 형태에 의하면, 상기 제4 단계는, 상기 빔 프로젝터에서, 상기 신체 특정 부위의 위치에 따라 크기가 상기 객체의 내부 영역과 오버랩되면, 기 설정된 에니메이션 효과를 투영하는 단계;를 더 포함할 수 있다.According to one embodiment of the present invention, the fourth step may include projecting a predetermined animation effect in the beam projector when the size of the specific body part overlaps with the inner area of the object according to the position of the specific body part; can include

본 발명의 일 실시 형태에 의하면, 빔 프로젝터와 연동하여 투영된 콘텐츠와 인터렉션하기 위한 모바일 단말에 있어서, 상기 모바일 단말은, 상기 빔 프로젝터에 의해 투영된 캘리브레이션 영역 - 상기 캘리브레이션 영역은 객체(object)를 포함하는 콘텐츠가 디스플레이됨 - 을 포함하는 상기 피투영체를 촬영하는 카메라 모듈; 및 촬영 중인 상기 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 상기 빔 프로젝터로 전송하는 제어 모듈을 포함하며, 상기 빔 프로젝터는, 상기 사용자의 신체 특정 부위의 위치 및 크기에 따라 상기 객체와 인터렉션하도록 구성된, 투영된 콘텐츠와 인터렉션하기 위한 모바일 단말이 제공된다.According to an embodiment of the present invention, in a mobile terminal for interacting with projected content in conjunction with a beam projector, the mobile terminal includes a calibration area projected by the beam projector - the calibration area is an object. a camera module for photographing the object to be projected, including content being displayed; and a control module for transmitting the position and size of a specific part of the user's body in the calibration area being photographed to the beam projector, wherein the beam projector interacts with the object according to the position and size of the specific part of the user's body. A mobile terminal for interacting with projected content is provided, configured to:

본 발명의 일 실시 형태에 의하면, 빔 프로젝터와 연동하는 모바일 단말을 이용하여 투영된 콘텐츠와 인터렉션하기 위한 방법에 있어서, 상기 모바일 단말에서, 상기 빔 프로젝터에 의해 투영된 캘리브레이션 영역 - 상기 캘리브레이션 영역은 객체(object)를 포함하는 콘텐츠가 디스플레이됨 - 을 포함하는 상기 피투영체를 촬영하는 단계와, 상기 모바일 단말에서, 촬영 중인 상기 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 상기 빔 프로젝터로 전송하는 단계를 포함하며, 상기 빔 프로젝터는, 상기 사용자의 신체 특정 부위의 위치 및 크기에 따라 상기 객체와 인터렉션하도록 구성된, 빔 프로젝터와 연동하는 모바일 단말을 이용하여 투영된 콘텐츠와 인터렉션하는 방법이 제공된다.According to an embodiment of the present invention, in a method for interacting with projected content using a mobile terminal that works with a beam projector, in the mobile terminal, a calibration area projected by the beam projector - the calibration area is an object content including (object) is displayed - photographing the object to be projected, and transmitting, in the mobile terminal, the position and size of a specific part of the user's body in the calibration area being photographed to the beam projector A method of interacting with the projected content using a mobile terminal interworking with the beam projector is provided, wherein the beam projector is configured to interact with the object according to the location and size of a specific body part of the user.

모바일 단말과 연동하여 투영된 콘텐츠와 인터렉션하기 위한 빔 프로젝터에 있어서, 상기 빔 프로젝터는, 객체(object)를 포함하는 콘텐츠를 피투영체 중 캘리브레이션 영역 - 상기 캘리브레이션 영역은 상기 피투영체의 전체 영역 중 상기 콘텐츠가 투영되는 영역임 - 에 투영하는 투영 모듈; 및 상기 모바일 단말에서 전송된 사용자의 신체 특정 부위의 위치 및 크기에 따라 상기 객체와 인터렉션하는 제어 모듈;을 포함하며, 상기 모바일 단말은, 상기 캘리브레이션 영역을 포함하는 상기 피투영체를 촬영하고, 촬영 중인 상기 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 상기 빔 프로젝터로 전송하는, 투영된 콘텐츠와 인터렉션하기 위한 빔 프로젝터가 제공된다.In a beam projector for interacting with projected content in conjunction with a mobile terminal, the beam projector displays content including an object in a calibration area of an object to be projected - the calibration area is the content in the entire area of the object to be projected. is a projected area - a projection module that projects on ; and a control module that interacts with the object according to the location and size of a specific body part of the user transmitted from the mobile terminal, wherein the mobile terminal photographs the projected object including the calibration area and is photographing A beam projector for interacting with projected content is provided, which transmits the location and size of a specific body part of the user in the calibration area to the beam projector.

본 발명의 일 실시 형태에 의하면, 모바일 단말과 연동하는 빔 프로젝터를 이용하여 투영된 콘텐츠와 인터렉션하기 위한 방법에 있어서, 상기 빔 프로젝터에서, 객체(object)를 포함하는 콘텐츠를 피투영체 중 캘리브레이션 영역 - 상기 캘리브레이션 영역은 상기 피투영체의 전체 영역 중 상기 콘텐츠가 투영되는 영역임 - 에 투영하는 단계; 및 상기 빔 프로젝터에서, 상기 모바일 단말에서 전송된 사용자의 신체 특정 부위의 위치 및 크기에 따라 상기 객체와 인터렉션하는 단계;를 포함하며, 상기 모바일 단말은, 상기 캘리브레이션 영역을 포함하는 상기 피투영체를 촬영하고, 촬영 중인 상기 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 상기 빔 프로젝터로 전송하는, 모바일 단말과 연동하는 빔 프로젝터를 이용하여 투영된 콘텐츠와 인터렉션하기 위한 방법이 제공된다.According to an embodiment of the present invention, in a method for interacting with projected content using a beam projector that works with a mobile terminal, the beam projector displays content including an object in a calibration area- projecting on the calibration area, which is an area where the content is projected among the entire areas of the projected object; and interacting with the object according to the location and size of a specific body part of the user transmitted from the mobile terminal, in the beam projector, wherein the mobile terminal photographs the projected object including the calibration area and transmitting the location and size of a specific body part of a user in the calibration area being photographed to the beam projector.

본 발명의 일 실시 형태에 의하면, 상술한 방법 중 적어도 하나를 컴퓨터에서 실행하기 위한 프로그램을 기록한, 컴퓨터로 독출 가능한 기록 매체가 제공된다.According to one embodiment of the present invention, there is provided a computer-readable recording medium in which a program for executing at least one of the above-described methods in a computer is recorded.

본 발명의 일 실시 형태에 의하면, 모바일 단말에서 실행중인 콘텐츠를 빔 프로젝터를 통해 투영하고, 투영된 콘텐츠 내의 객체와 사용자와의 인터렉션을 감지함으로써, 간단하게 설치 가능하며, 저렴한 비용으로 시스템을 구축할 수 있다.According to an embodiment of the present invention, by projecting content running on a mobile terminal through a beam projector and detecting an interaction between an object in the projected content and a user, it is possible to simply install the system and build a system at low cost. can

또한, 본 발명의 일 실시 형태에 의하면, 인터렉션이 감지되면 기 설정된 에니메이션 효과를 디스플레이함으로써, 아이들의 집중력이나 몰입감을 향상시키고 상상력이나 창의력을 고취시킬 수 있다.In addition, according to one embodiment of the present invention, when an interaction is detected, a predetermined animation effect is displayed, thereby improving children's concentration or immersion and inspiring imagination or creativity.

도 1은 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하기 위한 시스템의 구성도이다.
도 2a는 본 발명의 일 실시 형태에 따른 빔 프로젝터의 내부 블록도이다.
도 2b는 본 발명의 일 실시 형태에 따른 모바일 단말의 내부 블록도이다.
도 3은 본 발명의 일 실시 형태에 따른 실행중인 투영된 콘텐츠와 인터렉션하기 위한 과정을 설명하기 위한 도시한 도면이다.
도 4는 본 발명의 일 실시 형태에 따른 히스토그램을 도시한 도면이다.
도 5는 본 발명의 일 실시 형태에 따른 모바일 단말의 촬영 영상, 캘리브레이션 영역의 컨타우어, 캘리브레이션 영역을 콘텐츠 영역으로 투영 변환한 결과를 도시한 도면이다.
도 6은 본 발명의 일 실시 형태에 따른 투영 변환을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하는 방법을 설명하는 흐름도이다.1 is a configuration diagram of a system for interacting with projected content according to an embodiment of the present invention.
Figure 2a is an internal block diagram of a beam projector according to an embodiment of the present invention.
2B is an internal block diagram of a mobile terminal according to an embodiment of the present invention.
3 is a diagram for explaining a process for interacting with projected content being executed according to an embodiment of the present invention.
4 is a diagram showing a histogram according to an embodiment of the present invention.
5 is a diagram illustrating a result of projecting and converting a captured image of a mobile terminal, a contauer of a calibration area, and a calibration area into a content area according to an embodiment of the present invention.
6 is a diagram for explaining projection transformation according to an embodiment of the present invention.
7 is a flowchart illustrating a method of interacting with projected content according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 설명한다. 그러나 본 발명의 실시형태는 여러 가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로만 한정되는 것은 아니다. 도면에서의 요소들의 형상 및 크기 등은 더욱 명확한 설명을 위해 과장될 수 있으며, 도면상의 동일한 부호로 표시되는 요소는 동일한 요소이다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. However, the embodiments of the present invention can be modified in many different forms, and the scope of the present invention is not limited only to the embodiments described below. The shapes and sizes of elements in the drawings may be exaggerated for clearer explanation, and elements indicated by the same reference numerals in the drawings are the same elements.

도 1은 본 발명의 일 실시 형태에 따른 실행중인 투영된 콘텐츠와 인터렉션하기 위한 시스템(100)의 구성도이다. 1 is a block diagram of a system 100 for interacting with projected content in action according to one embodiment of the present invention.

한편, 도 2a는 본 발명의 일 실시 형태에 따른 빔 프로젝터(110)의 내부 블록도이며, 도 2b는 본 발명의 일 실시 형태에 따른 모바일 단말(120)의 내부 블록도이다. 도 3은 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하기 위한 과정을 설명하기 위한 도시한 도면이다. On the other hand, Figure 2a is an internal block diagram of the beam projector 110 according to an embodiment of the present invention, Figure 2b is an internal block diagram of the mobile terminal 120 according to an embodiment of the present invention. 3 is a diagram for explaining a process for interacting with projected content according to an embodiment of the present invention.

또한, 도 3은 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하기 위한 과정을 설명하기 위한 도시한 도면이며, 도 4는 본 발명의 일 실시 형태에 따른 히스토그램을 도시한 도면이다.3 is a diagram for explaining a process for interacting with projected content according to an embodiment of the present invention, and FIG. 4 is a diagram showing a histogram according to an embodiment of the present invention.

그리고, 도 5는 본 발명의 일 실시 형태에 따른 모바일 단말의 촬영 영상, 캘리브레이션 영역의 컨타우어, 캘리브레이션 영역을 콘텐츠 영역으로 투영 변환한 결과를 도시한 도면이며, 도 6은 본 발명의 일 실시 형태에 따른 투영 변환을 설명하기 위한 도면이다.5 is a diagram showing a result of projecting and converting a captured image of a mobile terminal, a contauer of a calibration area, and a calibration area into a content area according to an embodiment of the present invention. FIG. 6 is an embodiment of the present invention. It is a diagram for explaining the projection transformation according to.

우선, 도 1에 도시된 바와 같이, 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하는 시스템(100)은 빔 프로젝터(110) 및 모바일 단말(120)을 포함하여 구성될 수 있다.First, as shown in FIG. 1 , a system 100 for interacting with projected content according to an embodiment of the present invention may include a beam projector 110 and a mobile terminal 120 .

상술한 빔 프로젝터(110)는 도 2a에 도시된 바와 같이, 실행 모듈(111), 제어 모듈(112), 투영 모듈(113) 및 송수신 모듈(114)을 포함하며, 상술한 모바일 단말(120)은, 도 2b에 도시된 바와 같이, 카메라 모듈(121), 제어 모듈(122) 및 송수신 모듈(123)을 포함하여 구성될 수 있다.As shown in FIG. 2A, the above-described beam projector 110 includes an execution module 111, a control module 112, a projection module 113, and a transmission/reception module 114, and the above-described mobile terminal 120 As shown in FIG. 2B, it may include a camera module 121, a control module 122, and a transmission/reception module 123.

구체적으로, 빔 프로젝터(110) 중 실행 모듈(111)은 콘텐츠를 콘텐츠 영역(110b)에서 실행할 수 있으며, 실행되는 콘텐츠는 투영 모듈(113)을 통해 피투영체(10)에 투영될 수 있다. Specifically, the execution module 111 of the beam projector 110 may execute content in the content area 110b, and the executed content may be projected onto the projected object 10 through the projection module 113.

여기서, 콘텐츠 영역(110b)은 콘텐츠가 실행되는 빔 프로젝터(110) 내의 메모리 영역일 수 있다.Here, the content area 110b may be a memory area within the beam projector 110 in which content is executed.

또한, 상술한 콘텐츠는 동화 구현 콘텐츠, 숫자나 글자 교육과 관련된 콘텐츠, 알파벳 교육과 관련된 콘텐츠 등 다양한 콘텐츠를 포함할 수 있으며, 콘텐츠 내에는 객체(object, OB), 예를 들면 캐릭터, 숫자 등이 포함될 수 있다. In addition, the above-described contents may include various contents such as fairy tale implementation contents, contents related to number or letter education, and contents related to alphabet education. can be included

빔 프로젝터(110) 중 제어 모듈(112)은 모바일 단말(120)로부터 사용자(1)의 신체 특정 부위(예: 손)의 위치 및 크기가 수신되면, 사용자(1)의 신체 특정 부위의 위치 및 크기에 따라 콘텐츠 내의 객체(OB)와 인터렉션(interacton)할 수 있다.When the control module 112 of the beam projector 110 receives the location and size of a specific body part (eg, hand) of the user 1 from the mobile terminal 120, the location and size of the specific body part of the user 1 and Depending on the size, it can interact with an object (OB) in the content.

구체적으로, 빔 프로젝터(110) 중 제어 모듈(112)은, 도 3의 (d)에 도시된 바와 같이, 모바일 단말(120)로부터 수신된 사용자(1)의 신체 특정 부위의 위치에 따라 크기가 객체(OB)의 내부 영역과 오버랩되면, 기 설정된 에니메이션 효과(AM)를 피투영체(10)에 투영할 수 있다. 상술한 객체(OB)의 내부 영역 식별을 위해 윤곽 검출을 위한 공지의 알고리즘이 이용될 수 있다. Specifically, the control module 112 of the beam projector 110, as shown in (d) of FIG. 3, has a size according to the location of a specific body part of the user 1 received from the mobile terminal 120. When overlapped with the inner area of the object OB, the preset animation effect AM may be projected onto the object 10 to be projected. A known algorithm for contour detection may be used to identify the inner region of the object OB described above.

상술한 기 설정된 에니메이션 효과(AM)는, 예를 들면 인터렉션이 감지되면, 사용자(1)와 객체(OB) 사이에 별 모양을 디스플레이하는 등의 에니메이션 효과일 수 있다. For example, the preset animation effect AM may be an animation effect such as displaying a star shape between the user 1 and the object OB when an interaction is detected.

빔 프로젝터(110) 중 투영 모듈(113)은, 도 3의 (b) 내지 (d)에 도시된 바와 같이, 객체(OB)를 포함하는 콘텐츠 또는 에니메이션 효과(AM)를 피투영체(10) 중 캘리브레이션 영역(110a)에 투영할 수 있다. 여기서, 캘리브레이션 영역(110a)은 피투영체(10)의 전체 영역 중 콘텐츠가 투영되는 영역일 수 있다.The projection module 113 of the beam projector 110, as shown in (b) to (d) of FIG. It can be projected onto the calibration area 110a. Here, the calibration area 110a may be an area on which content is projected among the entire areas of the projected object 10 .

또한, 빔 프로젝터(110) 중 투영 모듈(113)은, 도 3의 (a)에 도시된 바와 같이, 피투영체(10)에 캘리브레이션 조정용 화면(110c)을 투영할 수 있다. 이러한 캘리브레이션 조정용 화면(110c)은 모바일 단말(120)에서 상술한 캘리브레이션 영역(110a)의 좌표를 구하는데 이용될 수 있다. In addition, the projection module 113 of the beam projector 110 may project the calibration adjustment screen 110c onto the projected object 10 as shown in (a) of FIG. 3 . The calibration adjustment screen 110c may be used to obtain the coordinates of the aforementioned calibration area 110a in the mobile terminal 120 .

빔 프로젝터(110) 중 송수신 모듈(114)은 모바일 단말(120)과 데이터를 송수신하기 위한 모듈로, 본 발명의 일 실시 형태에 의하면, 모바일 단말(120)로부터 투영 변환된 사용자(1)의 신체 특정 부위(예: 손)에 대한 위치 및 크기를 수신하여 제어 모듈(122)로 전달할 수 있다.The transmission/reception module 114 of the beam projector 110 is a module for transmitting/receiving data with the mobile terminal 120, according to an embodiment of the present invention, the body of the user 1 projected and converted from the mobile terminal 120. The location and size of a specific part (eg, hand) may be received and transmitted to the control module 122 .

한편, 모바일 단말(120) 중 카메라 모듈(121)은 캘리브레이션 영역(110a)(또는 캘리브레이션 조정용 화면)을 포함하는 피투영체(10)를 촬영하고, 촬영된 피투영체(10)를 제어 모듈(122)로 전달할 수 있다.Meanwhile, the camera module 121 of the mobile terminal 120 photographs the projected object 10 including the calibration area 110a (or a screen for calibration adjustment), and transmits the photographed projected object 10 to the control module 122. can be forwarded to

모바일 단말(120) 중 제어 모듈(122)은 촬영 중인 캘리브레이션 영역(110a)에서 사용자(1)의 신체 특정 부위(예: 손)의 위치(P) 및 크기를 구하고, 이를 빔 프로젝터(110)로 전송할 수 있다.The control module 122 of the mobile terminal 120 obtains the position (P) and size of a specific part (eg, hand) of the user 1's body in the calibration area 110a being photographed, and outputs it to the beam projector 110. can transmit

구체적으로, 도 3의 (c)에 도시된 바와 같이, 모바일 단말(120) 중 제어 모듈(122)은 촬영 중인 캘리브레이션 영역(110a)에서 사용자(1)의 스켈레톤(SK)을 추출할 수 있다. 스켈레톤(SK)의 추출은 적절한 공지의 비전 모델, 예를 들면 포즈넷 등을 이용해서 추출할 수 있다. Specifically, as shown in (c) of FIG. 3 , the control module 122 of the mobile terminal 120 may extract the skeleton SK of the user 1 from the calibration area 110a being captured. Extraction of the skeleton (SK) can be extracted using an appropriately known vision model, for example, Posenet or the like.

이후, 추출된 사용자(1)의 스켈레톤(SK)으로부터 사용자(1)의 신체 특정 부위의 위치(P) 및 크기를 추정하며, 추정된 위치(P)를 빔 프로젝터(110)의 콘텐츠 영역(110b)의 좌표로 투영 변환하며, 이후 투영 변환된 위치 및 크기를 빔 프로젝터(110)로 전송할 수 있다. Thereafter, the position (P) and size of a specific body part of the user 1 are estimated from the extracted skeleton (SK) of the user 1, and the estimated position (P) is the content area 110b of the beam projector 110. ), and then the projection-converted position and size may be transmitted to the beam projector 110.

여기서, 사용자의 손의 위치는, 예를 들면 하기 수학식 1에 따라 구할 수 있다.Here, the position of the user's hand can be obtained, for example, according to Equation 1 below.

[수학식 1][Equation 1]

손의 위치 = 손목의 위치 + (팔꿈치의 위치 - 손목의 위치) × 0.5Hand position = wrist position + (elbow position - wrist position) × 0.5

또한, 사용자의 손의 크기는, 예를 들면 하기 수학식 2에 따라 구할 수 있다.In addition, the size of the user's hand can be obtained, for example, according to Equation 2 below.

[수학식 2][Equation 2]

사용자의 손의 크기 = Max(최소 크기,

Figure 112021011621222-pat00005
) User's hand size = Max(minimum size,
Figure 112021011621222-pat00005
)

수학식 2에서, 최소 크기를 기 설정된 값일 수 있다.In Equation 2, the minimum size may be a preset value.

본 발명에서 투영 변환은, 도 6에 도시된 바와 같이, 행렬(H)을 이용하여 캘리브레이션 영역(110a)의 좌표들(예: p1 내지 p5)을 콘텐츠 영역(110b)내의 좌표들(예: p1' 내지 p5')로 변환하는 것을 의미한다.In the present invention, projection transformation, as shown in FIG. 6, uses a matrix H to convert the coordinates (eg, p 1 to p 5 ) of the calibration area 110a to the coordinates (eg, p 5 ) in the content area 110b. : p 1 'to p 5 ').

한편, 콘텐츠 영역(110b)은 콘텐츠가 실행되는 빔 프로젝터(110) 내의 메모리 영역임은 상술한 바와 같다. Meanwhile, as described above, the content area 110b is a memory area within the beam projector 110 in which content is executed.

한편, 모바일 단말(120) 중 제어 모듈(122)은 피투영체(10)의 전체 영역 중 캘리브레이션 영역(110a)의 좌표를 더 구할 수 있다.Meanwhile, the control module 122 of the mobile terminal 120 may further obtain the coordinates of the calibration area 110a of the entire area of the projected object 10 .

이를 위해, 도 3의 (a)을 참조하면, 우선 빔 프로젝터(110) 중 투영 모듈(113)은 피투영체(10)에 캘리브레이션 조정용 화면(110c)을 투영한다. 이후, 모바일 단말(120) 중 카메라 모듈(121)은 캘리브레이션 영역(110a)을 포함하는 피투영체(10)를 촬영한다. 이후 모바일 단말(120) 중 제어 모듈(122)은 촬영된 피투영체(10)에 대해 기준값을 설정하며, 설정된 기준값에 기초하여 캘리브레이션 영역(110a)의 좌표를 구할 수 있다.To this end, referring to (a) of FIG. 3 , first of all, the projection module 113 of the beam projector 110 projects the calibration adjustment screen 110c onto the projected object 10 . Thereafter, the camera module 121 of the mobile terminal 120 captures the projected object 10 including the calibration area 110a. Thereafter, the control module 122 of the mobile terminal 120 may set a reference value for the photographed projected object 10 and obtain coordinates of the calibration area 110a based on the set reference value.

상술한 기준값을 구하기 위해, 도 4에 도시된 바와 같이, 모바일 단말(120) 중 제어 모듈(122)은 촬영된 피투영체(10)의 각 픽셀의 값을 그레이 레벨값으로 변환하고, 변환된 그레이 레벨값에 기초하여 히스토그램을 구한다. 이후 구한 히스토그램의 평균값보다 기 설정된 비율을 가지는 값을 기준값으로 설정할 수 있다.In order to obtain the above reference value, as shown in FIG. 4 , the control module 122 of the mobile terminal 120 converts the value of each pixel of the captured object 10 into a gray level value, and converts the converted gray level value. A histogram is obtained based on the level values. Then, a value having a preset ratio than the average value of the obtained histogram may be set as a reference value.

본 발명의 일 실시 형태에 의하면, 상술한 히스토그램의 평균값은 히스토그램을 크기에 따라 기 설정된 구간으로 나눈 구간의 평균값일 수 있다. According to an embodiment of the present invention, the average value of the above-described histogram may be an average value of a section divided by a size of the histogram into preset sections.

즉, 0부터 255까지의 그레이 레벨 값을, 예를 들면 10 구간으로 나누어 각 구간마다 적절한 크기의 그레이 레벨값을 설정하며, 10개의 각 구간에 대한 평균값을 상술한 평균값으로 할 수 있다. 이와 같은 방식에 의하면, 연산량을 줄일 수 있는 이점이 있다.That is, the gray level values from 0 to 255 are divided into, for example, 10 sections, and a gray level value of an appropriate size is set for each section, and the average value for each of the 10 sections can be the above-described average value. According to this method, there is an advantage in that the amount of calculation can be reduced.

이후, 모바일 단말(120) 중 제어 모듈(122)은 촬영된 피투영체(10)에 대한 컨타우어(contour) 목록 중 모바일 단말(120)에서 촬영된 화면의 크기 대비 기 설정된 크기 이상이며, 4개의 각을 가지는 컨타우어 후보를 구하고, 구한 컨타우어 후보 중 내부의 그레이 레벨(gray level)의 평균값이 기준값과 기 설정된 오차 범위 이내이며, 가장 큰 크기를 가지는 컨타우어를 캘리브레이션 영역으로 구하고, 구한 캘리브레이션 영역의 4개의 꼭지점의 좌표를 캘리브레이션 영역의 좌표로 할 수 있다.Thereafter, the control module 122 of the mobile terminal 120 is larger than the predetermined size compared to the size of the screen photographed by the mobile terminal 120 among the contour lists for the photographed projected object 10, and four A contaur candidate having an angle is obtained, the average value of the internal gray level of the obtained contauer candidates is within the reference value and a preset error range, and the contaur having the largest size is obtained as a calibration area, and the obtained calibration area The coordinates of the four vertices of may be the coordinates of the calibration area.

도 5는 본 발명의 일 실시 형태에 따른 모바일 단말의 촬영 영상(501), 캘리브레이션 영역의 컨타우어(502), 캘리브레이션 영역을 콘텐츠 영역으로 투영 변환한 결과(503)를 도시한 도면이다.5 is a diagram illustrating a captured image 501 of a mobile terminal, a contaur 502 of a calibration area, and a result 503 of projecting and converting a calibration area into a content area according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 피투영체에 투영된 캘리브레이션 영역이 어느 정도 각도로 기울어진 경우에도 컨타우어(502)를 찾을 수 있으며, 콘텐츠 영역(110b)으로 투영 변환하면 보정된 영상을 얻을 수 있음을 알 수 있다.As shown in FIG. 5, even when the calibration area projected on the object to be projected is tilted at a certain angle, the contauer 502 can be found, and a corrected image can be obtained by projecting and converting to the content area 110b. can know

한편, 모바일 단말(120) 중 송수신 모듈(123)은 사용자의 신체 특정 부위의 위치 및 크기를 빔 프로젝터(110)로 전송할 수 있다.Meanwhile, the transmission/reception module 123 of the mobile terminal 120 may transmit the location and size of a specific part of the user's body to the beam projector 110 .

상술한 모바일 단말(110)는, 예를 들면 휴대폰, 스마트폰, PDA(personal digital assistants), PC(personal computer), 태블릿 PC(tablet personal computer), 노트북(notebook), 데스크탑 컴퓨터, 및 노트북 등 다양한 형태의 모바일 단말를 포함할 수 있다.The above-described mobile terminal 110 includes, for example, a mobile phone, a smart phone, a personal digital assistant (PDA), a personal computer (PC), a tablet personal computer (tablet PC), a notebook, a desktop computer, and a notebook computer. It may include a mobile terminal of the form.

상술한 바와 같이, 본 발명의 일 실시 형태에 의하면, 모바일 단말에서 실행중인 콘텐츠를 빔 프로젝터를 통해 투영하고, 투영된 콘텐츠 내의 객체와 사용자와의 인터렉션을 감지함으로써, 간단하게 설치 가능하며, 저렴한 비용으로 시스템을 구축할 수 있다.As described above, according to an embodiment of the present invention, by projecting content running on a mobile terminal through a beam projector and detecting an object in the projected content and an interaction between the user, the installation is simple and inexpensive. system can be built.

또한, 본 발명의 일 실시 형태에 의하면, 인터렉션이 감지되면 기 설정된 에니메이션 효과를 디스플레이함으로써, 아이들의 집중력이나 몰입감을 향상시키고 상상력이나 창의력을 고취시킬 수 있다.In addition, according to one embodiment of the present invention, when an interaction is detected, a predetermined animation effect is displayed, thereby improving children's concentration or immersion and inspiring imagination or creativity.

한편, 도 7은 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하는 방법을 설명하는 흐름도이다.Meanwhile, FIG. 7 is a flowchart illustrating a method of interacting with projected content according to an embodiment of the present invention.

이하, 도 1 내지 도 7을 참조하여 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하기 위한 방법을 상세하게 설명한다. 다만, 발명의 간명화를 위해 도 1 내지 도 6에서 기설명된 내용과 중복된 사항에 대한 설명은 생략하기로 한다.Hereinafter, a method for interacting with projected content according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 7 . However, for simplicity of the invention, descriptions of items overlapping with those previously described in FIGS. 1 to 6 will be omitted.

도 1 내지 도 7에서 도시된 바와 같이, 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하기 위한 방법은, 빔 프로젝터에서, 객체(object)를 포함하는 콘텐츠를 피투영체 중 캘리브레이션 영역에 투영하는 단계에 의해 개시될 수 있다(S701). 여기서, 캘리브레이션 영역은 피투영체의 전체 영역 중 콘텐츠가 투영되는 영역임은 상술한 바와 같다.As shown in FIGS. 1 to 7 , a method for interacting with projected content according to an embodiment of the present invention includes, in a beam projector, projecting content including an object onto a calibration area among projected objects. It may be initiated by step (S701). As described above, the calibration area is an area on which content is projected among the entire areas of the projected object.

다음, 모바일 단말에서, 캘리브레이션 영역을 포함하는 피투영체를 촬영할 수 있다(S702).Next, the mobile terminal can capture the projected object including the calibration area (S702).

이후, 모바일 단말에서, 촬영 중인 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 빔 프로젝터로 전송할 수 있다(S703).Thereafter, the mobile terminal may transmit the position and size of a specific part of the user's body in the calibration area being photographed to the beam projector (S703).

상술한 단계 S703은 촬영 중인 캘리브레이션 영역에서 사용자의 스켈레톤을 추출하는 단계와, 추출된 사용자의 스켈레톤으로부터 사용자의 신체 특정 부위의 위치 및 크기를 추정하는 단계와, 추정된 위치를 빔 프로젝터의 콘텐츠 영역 의 좌표로 투영 변환하는 단계와, 투영 변환된 위치 및 크기를 빔 프로젝터로 전송하는 단계를 포함할 수 있다.The above-described step S703 includes the step of extracting the user's skeleton from the calibration area being photographed, estimating the position and size of a specific part of the user's body from the extracted skeleton of the user, and the estimated position of the content area of the beam projector. It may include projecting and transforming into coordinates, and transmitting the projection-transformed position and size to a beam projector.

여기서, 사용자의 신체 특정 부위는, 사용자의 손이며, 사용자의 손의 위치 및 크기는 상술한 수학식 1 내지 2를 통해 구할 수 있다.Here, the specific part of the user's body is the user's hand, and the position and size of the user's hand can be obtained through Equations 1 and 2 above.

마지막으로, 빔 프로젝터에서, 사용자의 신체 특정 부위의 위치 및 크기에 따라 객체와 인터렉션할 수 있다(S704).Finally, the beam projector may interact with an object according to the position and size of a specific part of the user's body (S704).

상술한 단계 S704는 신체 특정 부위의 위치에 따라 크기가 객체의 내부 영역과 오버랩되면, 기 설정된 에니메이션 효과를 투영하는 단계일 수 있다.The above-described step S704 may be a step of projecting a predetermined animation effect when the size of the specific body part overlaps with the inner region of the object according to the position of the specific body part.

본 발명의 실시 형태에 의하면, 상술한 S701 단계에 앞서, 상기 방법은, 모바일 단말에서, 피투영체의 전체 영역 중 캘리브레이션 영역의 좌표를 구하는 단계를 더 포함할 수 있다.According to an embodiment of the present invention, prior to step S701 described above, the method may further include, in the mobile terminal, obtaining coordinates of a calibration area among the entire areas of the projected object.

상술한 캘리브레이션 영역의 좌표를 구하는 단계는, 빔 프로젝터에서 피투영체에 캘리브레이션 조정용 화면을 투영하는 단계와, 모바일 단말에서 투영된 캘리브레이션 조정용 화면을 포함하는 피투영체를 촬영하는 단계와, 모바일 단말에서 촬영된 피투영체에 대해 기준값을 설정하는 단계와, 모바일 단말에서 설정된 기준값에 기초하여 캘리브레이션 영역의 좌표를 구하는 단계를 포함할 수 있다.The step of obtaining the coordinates of the calibration area described above includes the step of projecting a screen for calibration adjustment on the projected object from a beam projector, the step of photographing the projected object including the projected screen for calibration adjustment on a mobile terminal, and the photographed image at the mobile terminal. The method may include setting a reference value for the projected object and obtaining coordinates of a calibration area based on the reference value set in the mobile terminal.

상술한 기준값을 설정하는 단계는, 촬영된 피투영체의 각 픽셀의 값을 그레이 레벨로 변환하고, 변환된 그레이 레벨에 기초하여 히스토그램을 구하는 단계와, 구한 히스토그램의 평균값보다 기 설정된 비율을 가지는 값을 기준값으로 설정하는 단계를 포함할 수 있다.The step of setting the reference value described above includes converting the value of each pixel of the photographed object to be projected into a gray level, obtaining a histogram based on the converted gray level, and obtaining a value having a predetermined ratio greater than the average value of the obtained histogram. It may include setting as a reference value.

상술한 히스토그램의 평균값은, 계산된 히스토그램을 크기에 따라 기 설정된 구간으로 나눈 구간의 평균값일 수 있다.The average value of the above-described histogram may be an average value of a section obtained by dividing the calculated histogram into preset sections according to sizes.

상술한 캘리브레이션 영역의 좌표를 구하는 단계는, 촬영된 피투영체에 대한 컨타우어(contour) 목록 중 모바일 단말에서 촬영된 화면의 크기 대비 기 설정된 크기 이상이며, 4개의 각을 가지는 컨타우어 후보를 구하는 단계와, 구한 컨타우어 후보 중 내부의 그레이 레벨(gray level)의 평균값이 기준값과 기 설정된 오차 범위 이내이며, 가장 큰 크기를 가지는 컨타우어를 캘리브레이션 영역으로 구하는 단계와, 구한 캘리브레이션 영역의 4개의 꼭지점의 좌표를 캘리브레이션 영역의 좌표로 하는 단계를 포함할 수 있다.The step of obtaining the coordinates of the calibration area described above is a step of obtaining a contour candidate having four angles and larger than a predetermined size compared to the size of a screen captured on a mobile terminal from a list of contours for a captured projected object. And, among the obtained contauer candidates, the average value of the internal gray level is within a reference value and a preset error range, and the step of obtaining the contauer having the largest size as a calibration area, and the four vertices of the obtained calibration area A step of making the coordinates into the coordinates of the calibration area may be included.

상술한 바와 같이, 본 발명의 일 실시 형태에 의하면, 모바일 단말에서 실행중인 콘텐츠를 빔 프로젝터를 통해 투영하고, 투영된 콘텐츠 내의 객체와 사용자와의 인터렉션을 감지함으로써, 간단하게 설치 가능하며, 저렴한 비용으로 시스템을 구축할 수 있다.As described above, according to an embodiment of the present invention, by projecting content running on a mobile terminal through a beam projector and detecting an object in the projected content and an interaction between the user, the installation is simple and inexpensive. system can be built.

또한, 본 발명의 일 실시 형태에 의하면, 인터렉션이 감지되면 기 설정된 에니메이션 효과를 디스플레이함으로써, 아이들의 집중력이나 몰입감을 향상시키고 상상력이나 창의력을 고취시킬 수 있다.In addition, according to one embodiment of the present invention, when an interaction is detected, a predetermined animation effect is displayed, thereby improving children's concentration or immersion and inspiring imagination or creativity.

상술한 본 발명의 일 실시 형태에 따른 투영된 콘텐츠와 인터렉션하기 위한 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The above-described method for interacting with projected content according to an embodiment of the present invention may be produced as a program to be executed on a computer and stored in a computer-readable recording medium. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. In addition, the computer-readable recording medium is distributed to computer systems connected through a network, so that computer-readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the art to which the present invention belongs.

또한, 본 발명을 설명함에 있어, '~ 모듈'은 다양한 방식, 예를 들면 프로세서, 프로세서에 의해 수행되는 프로그램 명령들, 소프트웨어 모듈, 마이크로 코드, 컴퓨터 프로그램 생성물, 로직 회로, 애플리케이션 전용 집적 회로, 펌웨어 등에 의해 구현될 수 있다.In addition, in describing the present invention, '~ module' refers to various methods, for example, a processor, program instructions executed by the processor, a software module, a microcode, a computer program product, a logic circuit, an application-specific integrated circuit, and firmware. etc. can be implemented.

본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니한다. 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경할 수 있다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.The present invention is not limited by the above-described embodiments and accompanying drawings. It is intended to limit the scope of rights by the appended claims, and it is to those skilled in the art that various forms of substitution, modification and change can be made without departing from the technical spirit of the present invention described in the claims. It will be self-explanatory.

1: 사용자 10: 피투영체(벽면)
100: 시스템 110a: 캘리브레이션 영역
110b: 콘텐츠 영역 110: 빔 프로젝터
111: 실행 모듈 112: 제어 모듈
113: 투영 모듈 114: 송수신 모듈
120: 모바일 단말 121: 카메라 모듈
122: 제어 모듈 123: 송수신 모듈
501: 모바일 단말의 촬영 영상
502: 컨타우어 503: 컨텐츠 영역으로 투영 변환된 영상
AM: 에니메이션 효과 P: 위치
OB: 객체 SK: 스켈레톤1: User 10: Projected object (wall)
100: system 110a: calibration area
110b: content area 110: beam projector
111: execution module 112: control module
113: projection module 114: transmission and reception module
120: mobile terminal 121: camera module
122: control module 123: transmit/receive module
501: Captured video of mobile terminal
502: Contauer 503: Image converted to projection into the content area
AM: Animation effect P: Position
OB: Object SK: Skeleton

Claims (10)

삭제delete 삭제delete 객체(object)를 포함하는 콘텐츠를 피투영체 중 캘리브레이션 영역 - 상기 캘리브레이션 영역은 상기 피투영체의 전체 영역 중 상기 콘텐츠가 투영되는 영역임 - 에 투영하는 빔 프로젝터; 및
상기 캘리브레이션 영역을 포함하는 상기 피투영체를 촬영하고, 촬영 중인 상기 캘리브레이션 영역에서 사용자의 신체 특정 부위의 위치 및 크기를 상기 빔 프로젝터로 전송하는 모바일 단말;을 포함하며,
상기 빔 프로젝터는, 상기 사용자의 신체 특정 부위의 위치 및 크기에 따라 상기 객체와 인터렉션하며, 상기 신체 특정 부위의 위치에 따라 크기가 상기 객체의 내부 영역과 오버랩되면 기 설정된 에니메이션 효과를 투영하고,
상기 모바일 단말은, 상기 피투영체의 전체 영역 중 상기 캘리브레이션 영역의 좌표를 더 구하며,
상기 빔 프로젝터는, 상기 피투영체에 캘리브레이션 조정용 화면을 투영하고,
상기 모바일 단말은, 투영된 상기 캘리브레이션 조정용 화면을 포함하는 상기 피투영체를 촬영하고, 촬영된 상기 피투영체에 대해 기준값 - 상기 기준값은 촬영된 상기 피투영체의 각 픽셀들의 그레이 레벨값에 기초한 히스토그램의 평균값보다 기 설정된 비율을 가지는 값임 - 을 설정하며, 설정된 상기 기준값에 기초하여 상기 캘리브레이션 영역의 좌표를 구하는, 투영된 콘텐츠와 인터렉션하기 위한 시스템.
a beam projector that projects content including an object onto a calibration area of the projected object, wherein the calibration area is an area where the content is projected among the entire area of the projected object; and
A mobile terminal for photographing the object to be projected including the calibration area and transmitting the position and size of a specific part of the user's body in the photographing calibration area to the beam projector;
The beam projector interacts with the object according to the location and size of a specific body part of the user, and projects a preset animation effect when the size of the specific body part overlaps with an internal area of the object,
The mobile terminal further obtains coordinates of the calibration area among the entire areas of the projected object,
The beam projector projects a calibration adjustment screen onto the projected object,
The mobile terminal photographs the projected object including the projected screen for calibration adjustment, and obtains a reference value for the captured projected object - the reference value is an average value of a histogram based on gray level values of pixels of the captured object. A system for interacting with projected content, wherein the system for interacting with projected content sets - is a value having a preset ratio, and obtains coordinates of the calibration area based on the set reference value.
 삭제delete 제3항에 있어서,
상기 히스토그램의 평균값은,
계산된 상기 히스토그램을 크기에 따라 기 설정된 구간으로 나눈 구간의 평균값인, 투영된 콘텐츠와 인터렉션하기 위한 시스템.
According to claim 3,
The average value of the histogram is,
A system for interacting with projected content, which is an average value of an interval dividing the calculated histogram into predetermined intervals according to the size.
 제3항에 있어서,
상기 모바일 단말은,
촬영된 상기 피투영체에 대한 컨타우어(contour) 목록 중 상기 모바일 단말에서 촬영된 화면의 크기 대비 기 설정된 크기 이상이며, 4개의 각을 가지는 컨타우어 후보를 구하고,
구한 상기 컨타우어 후보 중 내부의 그레이 레벨값(gray level)의 평균값이 상기 기준값과 기 설정된 오차 범위 이내이며, 가장 큰 크기를 가지는 컨타우어를 상기 캘리브레이션 영역으로 구하고,
구한 상기 캘리브레이션 영역의 4개의 꼭지점의 좌표를 상기 캘리브레이션 영역의 좌표로 하는, 투영된 콘텐츠와 인터렉션하기 위한 시스템.
According to claim 3,
The mobile terminal,
From a list of contours for the captured object to be projected, obtaining a contour candidate having four angles and larger than a preset size relative to the size of the screen captured on the mobile terminal;
Among the obtained contaur candidates, an average value of internal gray levels is within a predetermined error range from the reference value, and a contaur having the largest size is obtained as the calibration area;
A system for interacting with projected content, wherein the obtained coordinates of the four vertexes of the calibration area are set as coordinates of the calibration area.
 제3항에 있어서,
상기 모바일 단말은,
촬영 중인 상기 캘리브레이션 영역에서 사용자의 스켈레톤을 추출하고,
추출된 상기 사용자의 스켈레톤으로부터 상기 사용자의 신체 특정 부위의 위치 및 크기를 추정하고,
추정된 상기 위치를 상기 빔 프로젝터의 콘텐츠 영역 - 상기 콘텐츠 영역은 상기 콘텐츠가 실행되는 상기 빔 프로젝터 내의 영역임 - 의 좌표로 투영 변환하며,
투영 변환된 위치 및 상기 크기를 상기 빔 프로젝터로 전송하는, 투영된 콘텐츠와 인터렉션을 위한 시스템.
According to claim 3,
The mobile terminal,
Extracting the user's skeleton from the calibration area being photographed;
Estimating the position and size of a specific part of the user's body from the extracted skeleton of the user;
Projecting and transforming the estimated position into coordinates of a content area of the beam projector, wherein the content area is an area within the beam projector in which the content is executed;
A system for interacting with projected content, which transmits the projection-transformed position and size to the beam projector.
 제7항에 있어서,
상기 사용자의 신체 특정 부위는,
사용자의 손인, 투영된 콘텐츠와 인터렉션하기 위한 시스템.
According to claim 7,
The specific part of the user's body,
A system for interacting with the projected content, which is the user's hand.
 제8항에 있어서,
상기 사용자의 손의 위치는,
손의 위치 = 손목의 위치 + (팔꿈치의 위치 - 손목의 위치)
Figure 112021011621222-pat00006
0.5이며,
상기 사용자의 손의 크기는,
사용자의 손의 크기 = Max(최소 크기,
Figure 112021011621222-pat00007
)
인, 투영된 콘텐츠와 인터렉션하기 위한 시스템.
According to claim 8,
The position of the user's hand is
hand position = wrist position + (elbow position - wrist position)
Figure 112021011621222-pat00006
is 0.5,
The size of the user's hand,
User's hand size = Max(minimum size,
Figure 112021011621222-pat00007
)
A system for interacting with human and projected content.
 삭제delete
KR1020210012477A 2020-08-21 2021-01-28 System for interaction with object of content KR102524016B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230049795A KR102548510B1 (en) 2020-08-21 2023-04-17 Beam projector for interacting with content

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200104988 2020-08-21
KR20200104988 2020-08-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230049795A Division KR102548510B1 (en) 2020-08-21 2023-04-17 Beam projector for interacting with content

Publications (2)

Publication Number Publication Date
KR20220023681A KR20220023681A (en) 2022-03-02
KR102524016B1 true KR102524016B1 (en) 2023-04-21

Family

ID=80815686

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210012477A KR102524016B1 (en) 2020-08-21 2021-01-28 System for interaction with object of content
KR1020230049795A KR102548510B1 (en) 2020-08-21 2023-04-17 Beam projector for interacting with content

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230049795A KR102548510B1 (en) 2020-08-21 2023-04-17 Beam projector for interacting with content

Country Status (1)

Country Link
KR (2) KR102524016B1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818027B2 (en) * 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
KR20130104780A (en) * 2012-03-15 2013-09-25 에스케이텔레콤 주식회사 User interation service system and method using projector
CN108845668B (en) * 2012-11-07 2022-06-03 北京三星通信技术研究有限公司 Man-machine interaction system and method
KR102018435B1 (en) 2017-11-15 2019-11-20 (주)새온 System for interactive video game

Also Published As

Publication number Publication date
KR102548510B1 (en) 2023-06-28
KR20230054806A (en) 2023-04-25
KR20220023681A (en) 2022-03-02

Similar Documents

Publication Publication Date Title
US11321597B2 (en) Facial patterns for optical barcodes
US11501574B2 (en) Multi-person pose recognition method and apparatus, electronic device, and storage medium
US10394318B2 (en) Scene analysis for improved eye tracking
US11967089B2 (en) Object tracking method, tracking processing method, corresponding apparatus, and electronic device
CN111046125A (en) Visual positioning method, system and computer readable storage medium
KR20150105479A (en) Realization method and device for two-dimensional code augmented reality
Yin et al. Toward natural interaction in the real world: Real-time gesture recognition
Prochazka et al. Augmented reality implementation methods in mainstream applications
US20220198762A1 (en) Display system, display device, and program
US20220319055A1 (en) Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture
CN111738769B (en) Video processing method and device
CN112818807A (en) Tumble detection method, tumble detection device, tumble detection apparatus, and storage medium
CN117795550A (en) Image quality sensitive semantic segmentation for use in training image generation countermeasure networks
CN111353325A (en) Key point detection model training method and device
CN115699096B (en) Tracking augmented reality devices
KR102524016B1 (en) System for interaction with object of content
CN115393423A (en) Target detection method and device
US11769263B2 (en) Three-dimensional scan registration with deformable models
KR20240006669A (en) Dynamic over-rendering with late-warping
CN114140608A (en) Photovoltaic panel marking method and device, electronic equipment and storage medium
CN115620094B (en) Key point marking method and device, electronic equipment and storage medium
KR101333076B1 (en) System and method for implementing interactive screen using a plurality of cameras, and recording media thereof
KR101179969B1 (en) Device and method for detecting marker
WO2022102236A1 (en) Information processing device, information processing method, and program
US20240185524A1 (en) Augmented three-dimensional structure generation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
A107 Divisional application of patent
GRNT Written decision to grant