KR101289385B1 - Frontal/vertical dual camera based motion detection log data processing system for interactive user-participating contents service - Google Patents

Frontal/vertical dual camera based motion detection log data processing system for interactive user-participating contents service Download PDF

Info

Publication number
KR101289385B1
KR101289385B1 KR1020120039528A KR20120039528A KR101289385B1 KR 101289385 B1 KR101289385 B1 KR 101289385B1 KR 1020120039528 A KR1020120039528 A KR 1020120039528A KR 20120039528 A KR20120039528 A KR 20120039528A KR 101289385 B1 KR101289385 B1 KR 101289385B1
Authority
KR
South Korea
Prior art keywords
interaction
region
user
area
module
Prior art date
Application number
KR1020120039528A
Other languages
Korean (ko)
Inventor
정광모
박영충
최광순
안양근
홍성희
박병하
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020120039528A priority Critical patent/KR101289385B1/en
Application granted granted Critical
Publication of KR101289385B1 publication Critical patent/KR101289385B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PURPOSE: Multiple camera based experience contents motion recognition interaction log system is provided to judge existence of interaction of experience contents, region and coordinate by recognizing plane user interaction plane operation and depth operation. CONSTITUTION: An image acquisition module (210) acquires a red-green-blue (RGB) image from a front camera (100) and a vertical camera (100). A user object detection module (240) removes a background image from a user image and extracts a valid user object. An interaction existence judgment module (220) judges whether occurrence of interaction by a contents indication region is included in an interaction detection region. An interaction log data accumulation module (260) stores frame unit interaction information in a database. [Reference numerals] (210) Front/vertical camera image acquisition module; (220) Interaction existence judgment module; (230) Interaction log data generation module; (240) User object detection module; (250) Interactoin image extraction module; (260) Interaction log data accumulation module; (270) Interaction log data transmitting interface module

Description

다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템{Frontal/Vertical Dual Camera based Motion Detection Log Data Processing System for Interactive User-Participating Contents Service}Multi / Vertical Dual Camera based Motion Detection Log Data Processing System for Interactive User-Participating Contents Service}

본 발명은 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템에 관한 것이다.The present invention relates to a multi-camera-based experience content motion recognition interaction log system.

사용자 동작인식을 통해 사실감과 몰입감을 제공하는 네츄럴 사용자 인터페이스(Natural UI) 기반 체험콘텐츠 서비스는 게임분야에서 시작되어 스마트TV나 스마트폰에도 적용되고 있는 추세이다.Natural UI based experience contents services that provide realism and immersion through user gesture recognition have been applied to smart TVs and smartphones since they started in the game field.

동작인식을 위한 모션 센싱에서는 3차원 동작 인식을 위한 움직임 깊이 정보를 획득해야 하는데, 그 정확성을 제고시키기 위해 종래에는 고가의 스테레오 비전카메라나 TOF(Time of Flight) 센서 카메라를 사용하고 있다. 반면에 저가의 웹카메라 타입의 비전카메라를 통한 동작인식은 저가의 구축비용을 통해 고도의 정밀성을 요구하지 않는 동작인식 서비스에 주로 사용되고 있다.In motion sensing for motion recognition, motion depth information for 3D motion recognition should be obtained. In order to improve the accuracy, conventionally, an expensive stereo vision camera or a time of flight (TOF) sensor camera is used. On the other hand, motion recognition using low cost web camera type vision camera is mainly used for motion recognition service that does not require high precision through low cost of construction.

한편, 체험콘텐츠 저작도구 시스템에서는 콘텐츠의 스토리 텔링에 따라 구성된 씬(Scene) 내의 체험콘텐츠 객체가 타임라인(time line)에 기반하여 사용자와의 인터랙션을 통한 객체의 상호작용 동작 유무를 확인하여야 한다.On the other hand, in the experience content authoring system, the experience content object in the scene configured according to the storytelling of the content should check whether the object interacts with the user through interaction with the user based on a timeline.

이를 위해 동작인식 처리부에서 센싱된 사용자 동작인식 정보는 3차원 공간좌표와 맵핑되어 3차원의 공간좌표(X, Y 및 Z축)값으로 생성되고, 이렇게 생성된 공간좌표값이 인터랙션이 요구되는 콘텐츠 객체의 화면상의 좌표영역에 해당할 경우 마우스/키보드 선택(클릭) 이벤트를 발생하여 체험콘텐츠 객체와 상호작용하는 방식으로 진행된다.To this end, the user's motion recognition information sensed by the motion recognition processor is mapped to the three-dimensional space coordinates to generate three-dimensional spatial coordinates (X, Y, and Z-axis values), and the generated spatial coordinates are the content requiring interaction. If the object corresponds to the coordinate area on the screen, a mouse / keyboard selection (click) event is generated to interact with the experience content object.

한편, 콘텐츠 개발자는 체험콘텐츠 객체와의 사용자 인터랙션 기능을 확인하기 위해 저작도구의 마우스나 키보드로 객체를 선택하여 인터랙션 기능을 확인하면서 저작하는 경우가 있다. 이 경우에 체험콘텐츠 사용자의 인터랙션 좌표/유무/영역과 같은 동작인식 정보를 타임라인 별 콘텐츠 씬 단위로 확인하는 콘텐츠 객체 인터랙션 에뮬레이션 기능을 제공하면 사용자와 체험콘텐츠 간 인터랙션 기능 검증을 통한 효과적인 저작이 가능할 것이다.On the other hand, the content developer may author while checking the interaction function by selecting an object with a mouse or a keyboard of the authoring tool in order to confirm the user interaction function with the experience content object. In this case, if the content object interaction emulation function that checks the motion recognition information such as the interaction coordinates / existence / area of the experiential contents user by the unit of the scene scene for each timeline is provided, effective authoring is possible by verifying the interaction function between the user and the experiential contents. will be.

동작 인식 기반 체험콘텐츠 서비스는 게임분야에 활발히 적용되고 있으며, 최근에는 스마트TV나 스마트폰 제어에 동작인식 UI를 채용한 제품이 발표되고 있다. 그러나 게임콘솔이나 TV 등은 일반 개발자가 제어할 수 있는 범용적인 기기가 아니며, 따라서 이러한 기기를 활용한 동작인식 응용 서비스 개발은 개발사가 기능 SDK를 제공하지 않으면 개발할 수 없는 구조이다.The motion recognition based experience contents service is actively applied to the game field, and recently, a product using a motion recognition UI for controlling a smart TV or a smart phone has been announced. However, game consoles and TVs are not general devices that can be controlled by general developers, and therefore, motion recognition application service development using these devices cannot be developed unless the developer provides a function SDK.

체험콘텐츠 저작 시 동작인식 기반 인터랙션 정보를 이용한 콘텐츠 객체 상호작용 피드백기능 확인을 위해 동작 인터랙션 에뮬레이터로 수행하지 않고 저작도구 시스템의 마우스나 키보드 인터페이스 장치로 인터랙션을 확인하는 경우 체험콘텐츠의 재생시간의 시작과 종료 사이에 일어나는 타임라인 별 콘텐츠 인터랙션을 직관적으로 검증 확인하지 못하는 문제점이 있다.Content object interaction using motion recognition-based interaction information when authoring the experience content When checking the interaction with the mouse or keyboard interface device of the authoring tool system instead of using the action interaction emulator to check the feedback function, There is a problem in that it is not possible to intuitively verify and verify the content interaction for each timeline that occurs between terminations.

본 발명은 동작을 통해 체험콘텐츠와 인터랙션하여 몰입감을 증가시키는 실감형 서비스 시스템에서 저가의 비전카메라를 2대를 이용하여 3차원 동작공간 내의 사용자 인터랙션 평면동작과 깊이동작을 인식하여 체험콘텐츠의 인터랙션 유무와 영역 및 좌표를 판별하고, 인터랙션 로그 정보를 저장하여 저작도구에서 생성한 체험콘텐츠 객체의 동작인식 인터랙션 에뮬레이션 및 확인을 수행하는 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템을 제공함을 목적으로 한다.The present invention recognizes user interaction plane motion and depth motion in a three-dimensional motion space using two low-cost vision cameras in a realistic service system that interacts with experience content through motion to increase immersion. The purpose of the present invention is to provide a multi-camera-based experience content motion recognition interaction log system that determines the area and coordinates, and stores the interaction log information to perform the motion recognition interaction emulation and verification of the experience content object generated by the authoring tool.

즉, 고도의 인터랙션 정밀성을 요구하지 않는 동작인식 기반 게임, 체험형 학습 등의 체험콘텐츠 서비스 환경 구축에 있어서, 2대의 저가형 비전카메라로 취득한 정면 및 수직 영상 처리를 통해 체험콘텐츠의 재생 시간에 발생한 사용자 인터랙션 정보(영역, 유무 및 좌표)를 로그화하고 동작공간 내 사용자의 위치정보를 저작도구 시스템으로 전송함으로써 저비용으로 동작인식 체험콘텐츠 인터랙션 기능 검증 에뮬레이션을 수행하는 저비용의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템을 제공함을 목적으로 한다.In other words, in the construction of experience contents service environment such as motion recognition game and experience learning that do not require high level of interaction precision, users generated during playback of experience contents through front and vertical image processing acquired by two low-cost vision cameras. Low-cost multi-camera-based experience content motion recognition interaction that performs interaction verification of motion recognition experience content interaction function at low cost by logging interaction information (area, presence and coordinates) and transmitting user's location information in motion space to authoring tool system It aims to provide a log system.

본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템은 사용자의 전방 및 수직 위치에 설치되어 정면 영상과 수직 영상을 발생시키는 전방카메라와 수직카메라; 상기 전방카메라와 상기 수직카메라로부터 발생된 영상을 이용하여 3차원 공간상의 동작인식을 수행하고, 체험콘텐츠와 인터랙션하는 사용자의 동작인식 영역을 검출한 후에 체험콘텐츠의 인터랙션 영역 좌표와 인터랙션 유무를 로그 데이터로 축적하는 인터랙션 로그 처리 시스템 및 상기 인터랙션 로그 처리 시스템의 처리결과를 디스플레이하는 디스플레이를 포함하여 이루어진다.
전술한 구성에서, 상기 인터랙션 로그 처리 시스템은 상기 전방카메라 및 상기 수직카메라로부터 RGB 영상을 취득하는 영상 취득 모듈; 사용자 영역 추출을 위해 상기 전방카메라와 상기 수직카메라로부터 입력된 사용자 영상으로부터 백그라운드 영상을 제거하고 유효한 사용자 객체를 추출하는 사용자 객체 검출 모듈; 상기 사용자 객체에서 사용자가 인터랙션을 수행하는 콘텐츠 지시영역을 왼손, 오른손, 왼발 및 오른발 영역으로 구분하여 추출하는 인터랙션 영역 추출 모듈; 사용자가 체험콘텐츠의 인터랙션 동작 수행시 정의된 인터랙션 감지 영역에 콘텐츠 지시 영역(손 및 발)이 포함되어 인터랙션이 발생했는지의 여부를 판단하는 인터랙션 유무 판별 모듈; 타임라인 별 콘텐츠 구성 객체에 대한 인터랙션 유무, 평면동작용 X 및 Y 좌표와 깊이동작용 X 및 Z 좌표로 이루어진 인터랙션 좌표 및 인터랙션 영역 정보를 포함하는 인터랙션 로그 정보를 생성하는 인터랙션 로그 데이터 생성 모듈 및 생성된 인터랙션 로그 데이터를 사용자별, 콘텐츠별, 타임라인 시간대별 및 콘텐츠 객체별로 분류하여 프레임 단위의 인터랙션 정보를 데이터베이스(DB)에 저장하고, 로그 확인창에 포인트 클라우드 형태로 표시하는 인터랙션 로그데이터 축적 모듈을 구비한 것을 특징으로 한다.
본 발명의 로그 시스템은 체험콘텐츠 저작시 상기 인터랙션 로그 처리 시스템으로부터 인터랙션 기능을 실시간으로 확인하기 위한 체험콘텐츠 저작도구 시스템을 더 구비하고, 상기 인터랙션 로그 처리 시스템은 상기 체험콘텐츠 저작도구 시스템으로 상기 인터랙션 로그데이터를 전송하는 인터랙션 로그데이터 전송 인터페이스 모듈을 더 구비한 것을 특징으로 한다.
상기 인터랙션 영역 추출 모듈은 사용자의 왼손, 오른손, 왼발 및 오른발의 4개 영역으로 동작인식 인터랙션 영역을 정의한 상태에서, 상기 수직카메라 영상의 사용자 객체 사각형 영역의 중심점에서 가장 멀어진 객체 영역의 X, Z좌표 포인트를 확인하여 좌(중심점에서 왼쪽)/우(중심점에서 오른쪽) 영역을 판별하고, 상기 전방카메라 영상에서 사용자의 손 인터랙션 영역과 발 인터랙션 영역을 분리하며, 상기 전방카메라 영상의 사용자 객체 사각형 영역의 중심점에서 제일 멀어진 객체 영역의 좌측 혹은 우측의 X, Y좌표 포인트를 추출하되, 이 경우에 왼손 인터랙션 영역은 (왼손 인터랙션으로 정의) AND (상기 좌(중심점에서 왼쪽)/우(중심점에서 오른쪽) 영역 중에서 좌영역) AND (상기 손 인터랙션 영역) AND (상기 좌측 혹은 우측의 X, Y좌표 포인트 중에서 좌측의 X, Y 좌표 포인트)로 정해지고, 상기 오른손 인터랙션 영역은 (오른손 인터랙션으로 정의) AND (상기 좌(중심점에서 왼쪽)/우(중심점에서 오른쪽) 영역 중에서 우영역) AND (상기 손 인터랙션 영역) AND (상기 좌측 혹은 우측의 X, Y좌표 포인트 중에서 우측의 X, Y 좌표 포인트)로 정해지며, 상기 왼발 인터랙션 영역은 (왼발 인터랙션으로 정의) AND (상기 좌(중심점에서 왼쪽)/우(중심점에서 오른쪽) 영역 중에서 좌영역) AND (상기 손 인터랙션 영역) AND (상기 좌측 혹은 우측의 X, Y좌표 포인트 중에서 좌측의 X, Y 좌표 포인트)로 정해지며, 상기 오른발 인터랙션 영역은 (오른발 인터랙션으로 정의) AND (상기 좌(중심점에서 왼쪽)/우(중심점에서 오른쪽) 영역 중에서 우영역) AND (상기 손 인터랙션 영역) AND (상기 좌측 혹은 우측의 X, Y좌표 포인트 중에서 우측의 X, Y 좌표 포인트)로 정해진 것을 특징으로 한다.
상기 인터랙션 유무 판별 모듈은 상기 수직카메라의 영상을 기준으로 미리 설정된 깊이동작 인식값을 이용하여 판단하되, 상기 수직카메라 영상의 사용자 객체 사각형 영역의 상단 끝 영역이 깊이동작 인터랙션 판단 영역과 겹치는 것을 확인하여 인터랙션의 유무를 판단하는 것을 특징으로 한다.
상기 인터랙션 로그 데이터는 체험콘텐츠 재생 타임라인 별 콘텐츠 구성 객체와의 인터랙션 유무 정보(Y/N), 인터랙션 좌표 정보(평면동작 X, Y 좌표, 깊이동작 X, Z 좌표) 및 인터랙션 영역 정보(왼손, 오른손, 왼발, 오른발)로 정의되고, 상기 정의된 3종류의 인터랙션 로그 데이터는 사용자의 동작인식 인터랙션 프로세스가 진행되는 동안 체험콘텐츠의 재생 프레임 단위로 생성되며, 상기 인터랙션 로그 데이터 중 상기 인터랙션 영역 정보(전면카메라 기준 X, Y좌표)는 로그 데이터 표시 윈도우에 포인트 클라우드 형태로 각 재생 프레임마다 표시되는 것을 특징으로 한다.Multi-camera-based experience content motion recognition interaction log system of the present invention is installed in the front and vertical position of the user and the front camera and the vertical camera to generate a front image and a vertical image; Performs motion recognition in 3D space using the images generated from the front camera and the vertical camera, and detects the motion recognition area of the user interacting with the experience content, and then logs the interaction area coordinates and the presence or absence of the experience content. And a display for displaying the result of the interaction log processing system and the result of the interaction log processing system.
In the above configuration, the interaction log processing system includes an image acquisition module for acquiring an RGB image from the front camera and the vertical camera; A user object detection module for removing a background image from a user image input from the front camera and the vertical camera and extracting a valid user object for user region extraction; An interaction region extraction module for dividing and extracting a content instruction region in which the user interacts in the user object into a left hand, right hand, left foot, and right foot region; An interaction determination module for determining whether an interaction has occurred by including a content indication area (hands and feet) in an interaction detection area defined when a user performs an interaction operation of the experience content; Interaction log data generation module for generating interaction log information including interaction coordinates and interaction area information including presence / absence of plane movement X and Y coordinates and depth action X and Z coordinates Interaction log data accumulation module which classifies each interaction log data by user, content, timeline time zone and content object to store the interaction information by frame in database (DB) and display it in point cloud form on log confirmation window Characterized in that provided.
The log system of the present invention further includes an experience content authoring tool system for checking the interaction function from the interaction log processing system in real time when the experience content is authored, and the interaction log processing system logs the interaction log into the experience content authoring tool system. And an interaction log data transmission interface module for transmitting data.
The interaction region extraction module defines a motion recognition interaction region with four regions of the user's left hand, right hand, left foot, and right foot, and includes X and Z coordinates of the object region farthest from the center point of the user object square region of the vertical camera image. Determine the point to determine the left (left to center) / right (right to center) area, and separate the user's hand interaction area and the foot interaction area from the front camera image, the user's rectangular area of the front camera image Extract the X and Y coordinate points on the left or right side of the object area farthest from the center point, in which case the left-hand interaction area is defined as (left-hand interaction) AND (the left (left to center) / right (right to center) area (Left region) AND (the hand interaction region) AND (from the left or right X, Y coordinate point X, Y coordinate point of the side), and the right hand interaction region is defined as (right hand interaction) AND (right region among the left (left to center) / right (right to center) region) AND (the hand interaction region) ) AND (the X, Y coordinate point of the right among the X, Y coordinate points of the left or right), and the left foot interaction area is defined as (left foot interaction) AND (the left (left to center) / right (center point) In the right) region, the left region) AND (the hand interaction region) AND (the left or right X, Y coordinate point of the left, X, Y coordinate point of the left) is defined as, the right foot interaction region is defined as (right foot interaction) ) AND (Right area among the left (left to center) / right (right to center) area) AND (the hand interaction area) AND (X, Y on the right among the X, Y coordinate points on the left or right side) Coordinate point).
The presence or absence of the interaction determination module is determined by using a predetermined depth motion recognition value based on the image of the vertical camera, and confirms that the upper end area of the rectangular area of the user object of the vertical camera image overlaps with the depth motion interaction determination area. It is characterized by determining the presence or absence of the interaction.
The interaction log data includes interaction information (Y / N) with content composition objects for each experience content playback timeline, interaction coordinate information (plane motion X, Y coordinate, depth motion X, Z coordinate), and interaction area information (left hand, Right-handed, left-handed, right-handed), and the three types of interaction log data defined above are generated in units of playback frames of experience content during a user's motion recognition interaction process, and the interaction region information of the interaction log data ( The front camera reference X and Y coordinates are displayed in each log frame in the form of a point cloud in the log data display window.

삭제delete

삭제delete

본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템에 따르면, 동작인식 기반 사용자 체험형 실감콘텐츠 서비스 환경 구축에 있어서, 저가의 웹카메라 타입의 비전카메라 2대를 사용자의 수평 및 수직 방향으로 설치하여 재생 콘텐츠 객체와 인터랙션하는 영역, 인터랙션하는 공간 좌표 및 인터랙션의 유무를 종합적으로 검출하고 판별하여 체험형 콘텐츠 저작도구의 콘텐츠 객체 인터랙션 기능 검증 확인 역할을 수행함으로써 체험콘텐츠 저작의 효율성 및 생산성을 높일 수가 있다.According to the multi-camera-based experience content motion recognition interaction log system of the present invention, in the construction of motion recognition-based user experience-type realistic content service environment, by installing two low-cost web camera type vision camera in the horizontal and vertical direction of the user By detecting and discriminating the area interacting with the playback content object, the spatial coordinates interacting with each other, and the presence or absence of the interaction, the user can improve the efficiency and productivity of the experience content authoring by performing the role of verifying the content object interaction function of the experiential content authoring tool. .

도 1은 본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템의 블록 구성도.
도 2는 본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템에서 인터랙션 영역 추출 방식을 설명하기 위한 도.
도 3은 본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템에서 인터랙션 유무 판단 방식을 설명하기 위한 도.
도 4는 본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템에서 인터랙션 로그 데이터 생성, 축적 및 표시 방식을 설명하기 위한 도.1 is a block diagram of a multi-camera-based experience content motion recognition interaction log system of the present invention.
2 is a view illustrating an interaction region extraction method in a multi-camera-based experience content motion recognition interaction log system of the present invention.
3 is a view for explaining the interaction determination method in the multi-camera-based experience content motion recognition interaction log system of the present invention.
4 is a view illustrating a method of generating, accumulating, and displaying interaction log data in a multi-camera-based experience-based content recognition interaction log system according to the present invention;

이하에는 첨부한 도면을 참고하여 본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the multi-camera-based experience content motion recognition interaction log system of the present invention.

도 1은 본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템의 블록 구성도이다. 도 1에 도시한 바와 같이, 본 발명의 다중카메라 기반 체험 콘텐츠 인터랙션 로그 시스템은 사용자와 체험콘텐츠 간 인터랙션(Interaction)을 사용자 동작을 통해 처리하기 위해 전방카메라(Frontal Camera)(110)와 수직카메라(Vertical Camera)(100)를 이용하여 3차원 공간상의 동작인식을 수행하고, 체험콘텐츠와 인터랙션하는 사용자의 동작인식 영역(왼손, 오른손, 왼발 및 오른발 영역)을 검출한 후에 체험콘텐츠의 인터랙션 영역 좌표와 인터랙션 유무를 로그로 축적하는 시스템이다. 이를 위해 본 발명의 로그 시스템은, 평면동작 인식을 위한 비전 방식 전방카메라(110)와 깊이동작 인식을 위한 수직카메라(120), 전방카메라(110) 및 수직카메라(120)의 2대의 카메라를 USB 포트에 연결한 PC 기반의 인터랙션 로그 처리 시스템(200) 및 처리결과 확인용 디스플레이(130)로 구성될 수 있다. 본 발명의 시스템에는 또한 체험콘텐츠 저작시 인터랙션 기능을 실시간으로 확인하기 위한 체험콘텐츠 저작도구 시스템(300)가 포함되어 연동될 수 있다.1 is a block diagram of a multi-camera-based experience content motion recognition interaction log system of the present invention. As shown in FIG. 1, the multi-camera-based experience content interaction log system according to the present invention includes a front camera 110 and a vertical camera in order to process an interaction between a user and the experience content through a user action. After performing the motion recognition in 3D space using the Vertical Camera (100) and detecting the motion recognition area (left hand, right hand, left foot and right foot area) of the user interacting with the experience content, the coordinates of the interaction area of the experience content It is a system that accumulates interactions as logs. To this end, the log system of the present invention, the front camera 110 for the plane motion recognition and the two cameras of the vertical camera 120, the front camera 110 and the vertical camera 120 for depth motion recognition USB It may be configured as a PC-based interaction log processing system 200 connected to the port and a display 130 for checking the processing result. The system of the present invention can also be linked to the experience content authoring tool system 300 for checking the interaction function in real time when authoring the experience content.

구체적으로 본 발명의 로그 시스템은 비전 기반 사용자 동작인식용 전방카메라(110)와 수직카메라(100)(이하 '전방/수직카메라'라 한다), 영상처리를 통한 인터랙션 영역/유무를 판별하여 인터랙션 로그를 처리하는 인터랙션 로그 처리 시스템(200) 및 체험콘텐츠 저작 시스템(300) 및 영상 디스플레이(130)로 구성될 수 있다. 다음으로, 인터렉션 로그 시스템(200) 내부의 소프트웨어 기능 모듈은 전방/수직 카메라(110),(100)로부터의 영상 취득 모듈(210), 전방/수직카메라(110),(100)에 의해 촬영된 영상을 기반으로 한 사용자 객체 검출 모듈(240), 체험콘텐츠 객체의 인터랙션 시간/공간좌표 기반의 인터랙션 영역 추출 및 인터랙션 유무 판별 모듈(250),(220), 인터랙션 로그데이터 생성 모듈(230), 인터랙션 로그 축적 모듈(260) 및 저작도구 시스템(300)과의 인터페이스 모듈(270)로 구성될 수 있다.Specifically, the log system of the present invention determines an interaction area / presence by using a vision-based user motion recognition front camera 110 and a vertical camera 100 (hereinafter referred to as 'front / vertical camera'), and image processing. The interaction log processing system 200 and the experience content authoring system 300 and the image display 130 to process the. Next, the software function module inside the interaction log system 200 is captured by the image acquisition module 210, the front / vertical camera 110, and 100 from the front / vertical cameras 110 and 100. User object detection module 240 based on image, interaction time / spatial coordinate based interaction area extraction and interaction determination module 250, 220 based on interaction content of experience content object, interaction log data generation module 230, interaction It may be configured as a log accumulation module 260 and an interface module 270 with the authoring tool system 300.

체험콘텐츠 사용자의 전방 및 수직 영상은 사용자 전방과 천장에 설치된 2대의 카메라, 즉 전방카메라(110)와 수직카메라(100)에서 각각 획득된 후에 인터랙션 로그 처리 시스템(200)으로 전송된다. 인터랙션 로그 처리 시스템(200)의 전방/수직카메라 영상 취득 모듈(210)은 USB 포트에 연결된 2대의 카메라(110),(100)로부터 RGB 영상을 취득한다.The front and vertical images of the user of the experience content are acquired from two cameras installed in front of the user and the ceiling, that is, the front camera 110 and the vertical camera 100, respectively, and then transmitted to the interaction log processing system 200. The front / vertical camera image acquisition module 210 of the interaction log processing system 200 acquires an RGB image from two cameras 110 and 100 connected to the USB port.

사용자 객체 검출 모듈(240)은 사용자 영역 추출을 위해 전방카메라(110)와 수직카메라(100)로부터의 입력된 사용자 영상으로부터 백그라운드 영상을 제거하고 유효한 사용자 객체(Object)를 추출한다. 인터랙션 영역 추출 모듈(240)은 추출된 사용자 객체에서 사용자가 인터랙션을 수행하는 콘텐츠 지시영역을 왼손, 오른손, 왼발 및 오른발 영역으로 구분하여 추출한다. 인터랙션 유무 판별 모듈(220)은 사용자가 체험콘텐츠의 인터랙션 동작 수행 시 정의된 인터랙션 감지 영역에 콘텐츠 지시 영역(손 및 발)이 포함되어 인터랙션이 발생했는지의 여부를 판단한다.The user object detection module 240 removes a background image from the input user images from the front camera 110 and the vertical camera 100 and extracts a valid user object for user region extraction. The interaction region extraction module 240 classifies and extracts the content instruction region in which the user interacts with the extracted left and right regions. The interaction determination module 220 determines whether an interaction occurs by including a content instruction area (hands and feet) in the interaction detection area defined when the user performs the interaction operation of the experience content.

인터랙션 로그 데이터 생성 모듈(230)은 타임라인 별 콘텐츠 구성 객체와의 인터랙션 유무, 인터랙션 좌표(평면동작 X, Y 좌표, 깊이동작 X, Z 좌표), 인터랙션 영역 정보를 포함하는 인터랙션 로그 정보를 생성한다. 인터랙션 로그데이터 축적 모듈(260)은 앞서 생성된 인터랙션 로그 데이터를 사용자별, 콘텐츠별, 타임라인 시간대별 및 콘텐츠 객체별로 분류하여 프레임 단위의 인터랙션 정보를 데이터베이스(DB)에 저장하고, 로그 확인창에 포인트 클라우드 형태로 표시한다. 마지막으로 인터랙션 로그 데이터 전송 인터페이스 모듈(270)은 저작도구 시스템(300)의 동작 인터랙션 에뮬레이션 기능을 위해 저작도구 시스템으로 인터랙션 로그 데이터를 전송한다.The interaction log data generation module 230 generates the interaction log information including the presence or absence of interaction with content configuration objects for each timeline, interaction coordinates (plane motion X, Y coordinates, depth motion X, Z coordinates), and interaction region information. . The interaction log data accumulation module 260 classifies the previously generated interaction log data by user, by content, by timeline, and by content object to store the interaction information on a frame-by-frame basis in the database (DB), and in the log confirmation window. Display in point cloud form. Finally, the interaction log data transmission interface module 270 transmits the interaction log data to the authoring tool system for the operation interaction emulation function of the authoring tool system 300.

이와 같이 본 발명의 다중카메라 기반의 체험콘텐츠 동작인식 인터랙션 로그 시스템은 3차원 동작인식 기반 체험콘텐츠 서비스 시스템에서 저작도구로 생성된 체험콘텐츠의 타임라인 별 콘텐츠 구성 객체의 인터랙션 유무 판별, 인터랙션 좌표 및 인터랙션 영역 정보를 추출한 후에 이를 로그정보로 저장하여 평면 및 깊이동작 기반 콘텐츠 인터랙션 모니터링 에뮬레이터로 적용할 수 있다.As described above, the multi-camera-based experience content motion recognition interaction log system of the 3D motion recognition-based experience content service system determines the presence or absence of interactions, interaction coordinates, and interactions of content composition objects for each timeline of the experience content generated by the authoring tool. After extracting the area information, it can be stored as log information and applied as a content interaction monitoring emulator based on plane and depth motion.

이하에서는 본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템의 동작에 대해 상세하게 설명한다.Hereinafter, the operation of the multi-camera-based experience content motion recognition interaction log system of the present invention will be described in detail.

본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템은 최종 동작인식 인터랙션 로그 데이터 생성 및 축적을 위해 다음과 같은 프로세스로 동작한다.The multi-camera-based experience content motion recognition interaction log system of the present invention operates in the following process to generate and accumulate the final motion recognition interaction log data.

a) 동작인식용 영상 취득(210)a) Acquisition of motion recognition image (210)

전방/수직카메라(110),(100)로부터 동작인식 처리용 RGB 영상이 입력된다.RGB images for motion recognition processing are input from the front / vertical cameras 110 and 100.

b) 유효 사용자 객체 검출(240)b) valid user object detection 240

입력된 전방/수직 카메라 영상에서 후경 이미지(Background Image)를 제거하고, 유효한 사용자 객체를 판별 후 객체별로 레이블링한다.The background image is removed from the input front / vertical camera image, and a valid user object is identified and labeled for each object.

c) 인터랙션 영역 추출 및 유무 판단(250),(220)c) Extraction and Determination of Interaction Regions 250 and 220

체험콘텐츠 구성 객체의 인터랙션 특성(타임라인상의 인터랙션 시간, 인터랙션 영역(손과 발))에 따라 사용자 인터랙션 영역을 추출하고 인터랙션 유무를 판단한다.The user interaction area is extracted according to the interaction characteristics (interaction time on the timeline, interaction area (hands and feet)) of the experience content composition object, and the presence or absence of the interaction is determined.

d) 인터랙션 로그 데이터 생성 및 축적(230),(260)d) generating and accumulating interaction log data (230, 260);

사용자 동작인지에 따른 인터랙션 유무/좌표/영역 정보를 생성 및 저장하고 디스플레이한다.Creates, stores, and displays interaction existence / coordinates / area information according to user's motion.

e) 인터랙션 로그 데이터 전송(270)e) Interaction Log Data Transfer (270)

체험콘텐츠 저작도구 시스템(300)에서 실시간 저작에 따른 동작기반 인터랙션 기능 확인을 위한 에뮬레이터 구동 시 축적된 인터랙션 로그 데이터를 전송한다.The experience content authoring tool system 300 transmits the accumulated interaction log data when driving the emulator for checking the action-based interaction function according to the real-time authoring.

이하에서는 본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템에서 인터랙션 영역 추출 방식에 대해 설명한다.Hereinafter, the interaction region extraction method in the multi-camera-based experience content motion recognition interaction log system of the present invention will be described.

도 2는 본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템에서 인터랙션 영역 추출 방식을 설명하기 위한 도이다. 도 2에 도시한 바와 같이, 본 발명에서는 동작인식 인터랙션 영역은 사용자의 왼손, 오른손, 왼발 및 오른발의 4개 영역으로 정의한다. 동작인식 인터랙션 영역은 체험콘텐츠 저작도구에서 콘텐츠 저작시 인터랙션이 발생하는 각 객체별로 정의하고, 기 정의된 영역 정보를 로그시스템이 인지하고 있는 것으로 가정한다.2 is a diagram illustrating an interaction region extraction method in the multi-camera-based experience content motion recognition interaction log system of the present invention. As shown in FIG. 2, the motion recognition interaction region is defined as four regions of the user's left hand, right hand, left foot and right foot. The motion recognition interaction area is defined for each object in which interaction occurs when authoring content in the experience content authoring tool, and it is assumed that the log system recognizes the predefined area information.

<조건1> 수직카메라(100) 영상의 사용자 객체 사각형 영역의 중심점에서 가장 멀어진 객체 영역의 X, Z좌표 포인트를 확인하여 좌(중심점에서 왼쪽)/우(중심점에서 오른쪽) 영역을 판별한다.<Condition 1> The X and Z coordinate points of the object area farthest from the center point of the rectangular area of the user object of the vertical camera 100 image are identified to determine a left (left to center) / right (right to center) area.

<조건2> 전방카메라(110) 영상에서 사용자의 손 인터랙션 영역과 발 인터랙션 영역을 분리한다.(도 2의 좌측 그림의 하늘색 점선임. 영역 조정가능)<Condition 2> The user's hand interaction area and foot interaction area are separated from the front camera 110 image. (Light blue dotted line in the left figure of FIG. 2.

<조건3> 전방카메라(110) 영상의 사용자 객체 사각형 영역의 중심점에서 제일 멀어진 객체 영역의 좌측 혹은 우측의 X, Y좌표 포인트를 추출한다(사용자 객체 영역 중 머리끝 좌표는 추출대상에서 제외함).<Condition 3> Extract the X and Y coordinate points of the left or right of the object area farthest from the center point of the rectangular area of the user object in the front camera 110 image. .

- 왼손 인터랙션 영역 판단 = (저작도구에서 왼손 인터랙션으로 정의) AND (<조건1> 좌영역) AND (<조건2> 손 인터랙션 영역) AND (<조건 3> 좌측 포인트)-Left Hand Interaction Area Determination = (Defined as Left Hand Interaction in Authoring Tool) AND (<Condition1> Left Area) AND (<Condition2> Hand Interaction Area) AND (<Condition 3> Left Point)

- 오른손 인터랙션 영역 판단 = (저작도구에서 오른손 인터랙션으로 정의) AND (<조건1> 우영역) AND (<조건2> 손인터랙션 영역) AND (<조건 3> 우측 포인트)-Determination of right-hand interaction area = (defined as right-hand interaction in the writing tool) AND (<condition1> right area) AND (<condition2> hand interaction area) AND (<condition3> right point)

- 왼발 인터랙션 영역 판단 = (저작도구에서 왼발 인터랙션으로 정의) AND (<조건1> 좌영역) AND (<조건2> 발 인터랙션 영역) AND (<조건 3> 좌측 포인트)-Left foot interaction area judgment = (defined as left foot interaction in the authoring tool) AND (<condition1> left area) AND (<condition2> foot interaction area) AND (<condition 3> left point)

- 오른발 인터랙션 영역 판단 = (저작도구에서 오른발 인터랙션으로 정의) AND (<조건1> 우영역) AND (<조건2> 발 인터랙션 영역) AND (<조건 3> 우측 포인트)-Determination of right foot interaction area = (defined as right foot interaction in the authoring tool) AND (<condition1> right area) AND (<condition2> foot interaction area) AND (<condition 3> right point)

이하에서는 본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템에서 인터랙션 유무 판단 방식에 대해 설명한다.Hereinafter, an interaction determination method in the multi-camera-based experience content motion recognition interaction log system of the present invention will be described.

도 3은 본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템에서 인터랙션 유무 판단 방식을 설명하기 위한 도이다. 도 3에 도시한 바와 같이 본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템에서 동작인식 인터랙션 유무 판단은 수직카메라(100)의 영상을 기준으로 판단하는데, 미리 설정된 깊이동작 인식값을 이용한다. 깊이동작 인식값은 1 ~ 5단계까지 인터랙션 깊이를 조정할 수 있다. 이때 수직카메라(100) 영상의 사용자 객체 사각형 영역의 상단 끝 영역이 깊이동작 인터랙션 판단 영역과 겹치는 것을 확인하여 인터랙션의 유무를 판별한다. 깊이동작 기반 인터랙션이 감지되면(수직카메라(100) 객체의 상단 영역이 인터랙션 판단 영역에 들어간 상태), 인터랙션 판단 결과를 컬러 바(Bar)로 표시한다.3 is a diagram illustrating an interaction determination method in the multi-camera-based experience content motion recognition interaction log system of the present invention. As shown in FIG. 3, in the multi-camera-based experience content motion recognition interaction log system of the present invention, the motion recognition interaction is determined based on the image of the vertical camera 100, and uses a preset depth motion recognition value. Depth recognition value can adjust the interaction depth from 1 to 5 steps. In this case, it is determined whether the upper end region of the rectangular region of the user object of the vertical camera 100 overlaps with the depth operation interaction determining region by determining whether there is an interaction. When the depth motion-based interaction is detected (the state where the upper region of the vertical camera 100 object enters the interaction determination region), the interaction determination result is displayed as a color bar.

이하에서는 본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템에서 인터랙션 로그 데이터 생성, 축적 및 표시 방식에 대해 설명한다.Hereinafter, a method of generating, accumulating, and displaying interaction log data in the multi-camera-based experience content motion recognition interaction log system according to the present invention will be described.

도 4는 본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템에서 인터랙션 로그 데이터 생성, 축적 및 표시 방식을 설명하기 위한 도이다. 도 4에 도시한 바와 같이, 본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템에서 인터랙션 로그 데이터는 체험콘텐츠 재생 타임라인 별 콘텐츠 구성 객체와의 인터랙션 유무 정보(Y/N), 인터랙션 좌표 정보(평면동작 X, Y 좌표, 깊이동작 X, Z 좌표) 및 인터랙션 영역 정보(왼손, 오른손, 왼발, 오른발)로 정의될 수 있다.4 is a diagram illustrating a method of generating, accumulating, and displaying interaction log data in a multi-camera-based experience-based content recognition interaction log system according to the present invention. As shown in FIG. 4, in the multi-camera-based experience content action recognition interaction log system of the present invention, the interaction log data includes interaction information (Y / N) and interaction coordinate information (Y / N) with content configuration objects for each experience content playback timeline. Plane motion X, Y coordinate, depth motion X, Z coordinate) and interaction region information (left hand, right hand, left foot, right foot).

이러한 3종류의 인터랙션 로그 데이터는 사용자의 동작인식 인터랙션 프로세스가 진행되는 동안 체험콘텐츠의 재생 프레임 단위로 생성된다. 예를 들어, 재생 프레임 레이트가 30fps인 경우, 인터랙션 유무값이 'YES' 로 판단된 시점부터 각 로그 데이터 별로 초당 30개씩 생성된다. 다음으로, 이렇게 생성된 인터랙션 로그 데이터는 사용자별, 콘텐츠별, 타임라인 시간대별 및 콘텐츠 객체별로 분류된 후에 프레임 단위의 인터랙션 정보로 데이터베이스(DB)에 저장된다. 인터랙션 로그 데이터 중 인터랙션 영역 좌표(전면카메라 기준 X, Y좌표)를 로그 데이터 표시 윈도우에 포인트 클라우드 형태로 각 재생 프레임마다 표시한다.These three types of interaction log data are generated in units of playback frames of experience content during the user's motion recognition interaction process. For example, if the playback frame rate is 30 fps, 30 pieces per second are generated for each log data from the time when the interaction value is determined as 'YES'. Next, the generated interaction log data is classified by user, by content, by timeline, and by content object, and then stored in the database as frame-based interaction information. Among the interaction log data, the interaction region coordinates (X, Y coordinates of the front camera reference) are displayed for each playback frame in the form of point clouds in the log data display window.

본 발명의 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템은 전술한 실시예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수가 있다. 예를 들어, 전시, 체험 또는 교육 목적의 체험형 콘텐츠를 동작인식 인터랙션 방식으로 수행하는 서비스 환경 구축시 체험콘텐츠 저작도구와 연동하여 사용자와 저작 중인 콘텐츠 객체간 인터랙션 기능을 검증하고 확인하는 저작도구의 동작 인터랙션 에뮬레이션 시스템으로 사용될 수 있다.The multi-camera-based experience content motion recognition interaction log system of the present invention is not limited to the above-described embodiments and can be modified in various ways within the scope of the technical idea of the present invention. For example, when building a service environment that performs experiential content for exhibition, experience, or educational purposes in a motion-aware interaction manner, the authoring tool verifies and verifies the interaction function between the user and the content object being authored by linking with the experience content authoring tool. It can be used as an operation interaction emulation system.

100: 전방카메라, 110: 수직카메라,
130: 디스플레이, 200: 인터랙션 로그 처리 시스템,
210: 영상 취득 모듈, 220: 인터랙션 유무 판별 모듈,
230: 인터랙션 로그데이터 생성 모듈, 240: 사용자객체 검출 모듈,
250: 인터랙션 영역 추출 모듈, 260: 인터랙션 로그데이터 축적모듈,
300: 저작도구 시스템100: front camera, 110: vertical camera,
130: display, 200: interaction log processing system,
210: an image acquisition module, 220: interaction presence determination module,
230: interaction log data generation module, 240: user object detection module,
250: interaction region extraction module, 260: interaction log data accumulation module,
300: Authoring Tool System

Claims (6)

삭제delete 사용자의 전방 및 수직 위치에 설치되어 정면 영상과 수직 영상을 발생시키는 전방카메라와 수직카메라;
상기 전방카메라 및 상기 수직카메라로부터 RGB 영상을 취득하는 영상 취득 모듈과, 사용자 영역 추출을 위해 상기 전방카메라와 상기 수직카메라로부터 입력된 사용자 영상으로부터 백그라운드 영상을 제거하고 유효한 사용자 객체를 추출하는 사용자 객체 검출 모듈과, 상기 사용자 객체에서 사용자가 인터랙션을 수행하는 콘텐츠 지시영역을 왼손, 오른손, 왼발 및 오른발 영역으로 구분하여 추출하는 인터랙션 영역 추출 모듈과, 사용자가 체험콘텐츠의 인터랙션 동작 수행시 정의된 인터랙션 감지 영역에 콘텐츠 지시 영역(손 및 발)이 포함되어 인터랙션이 발생했는지의 여부를 판단하는 인터랙션 유무 판별 모듈과, 타임라인 별 콘텐츠 구성 객체에 대한 인터랙션 유무, 평면동작용 X 및 Y 좌표와 깊이동작용 X 및 Z 좌표로 이루어진 인터랙션 좌표 및 인터랙션 영역 정보를 포함하는 인터랙션 로그 정보를 생성하는 인터랙션 로그 데이터 생성 모듈과, 생성된 인터랙션 로그 데이터를 사용자별, 콘텐츠별, 타임라인 시간대별 및 콘텐츠 객체별로 분류하여 프레임 단위의 인터랙션 정보를 데이터베이스(DB)에 저장하고, 로그 확인창에 포인트 클라우드 형태로 표시하는 인터랙션 로그데이터 축적 모듈을 포함하는 인터랙션 로그 처리 시스템; 및
상기 인터랙션 로그 처리 시스템의 처리결과를 표시하는 디스플레이를 포함하여 이루어진 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템.A front camera and a vertical camera installed at front and vertical positions of the user to generate a front image and a vertical image;
An image acquisition module for acquiring RGB images from the front camera and the vertical camera, and a user object detection for removing a background image from a user image input from the front camera and the vertical camera and extracting a valid user object for user region extraction A module, an interaction area extraction module for dividing and extracting a content indication area in which the user interacts in the user object into a left hand, right hand, left foot, and right foot area; and an interaction detection area defined when the user performs the interaction operation of the experience content An interaction determination module for determining whether or not an interaction has occurred by including a content instruction area (hands and feet), and whether or not there is an interaction for content constructing objects by timeline, plane motion X and Y coordinates, and depth motion X Interaction coordinates consisting of and Z coordinates Interaction log data generation module for generating interaction log information including interaction area information, and classifies the generated interaction log data by user, by content, by timeline, and by content object. An interaction log processing system including an interaction log data accumulation module for storing the data in a point cloud form in the log confirmation window; And
And a display for displaying a processing result of the interaction log processing system. 제 2 항에 있어서,
체험콘텐츠 저작시 상기 인터랙션 로그 처리 시스템으로부터 인터랙션 기능을 실시간으로 확인하기 위한 체험콘텐츠 저작도구 시스템을 더 구비하고,
상기 인터랙션 로그 처리 시스템은 상기 체험콘텐츠 저작도구 시스템으로 상기 인터랙션 로그데이터를 전송하는 인터랙션 로그데이터 전송 인터페이스 모듈을 더 구비한 것을 특징으로 하는 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템.3. The method of claim 2,
And an experience content authoring tool system for checking the interaction function from the interaction log processing system in real time when authoring the experience content.
The interaction log processing system further comprises an interaction log data transmission interface module for transmitting the interaction log data to the experience content authoring tool system. 제 2 항 또는 제 3 항에 있어서,
상기 인터랙션 영역 추출 모듈은 사용자의 왼손, 오른손, 왼발 및 오른발의 4개 영역으로 동작인식 인터랙션 영역을 정의한 상태에서,
상기 수직카메라 영상의 사용자 객체 사각형 영역의 중심점에서 가장 멀어진 객체 영역의 X, Z좌표 포인트를 확인하여 좌(중심점에서 왼쪽)/우(중심점에서 오른쪽) 영역을 판별하고,
상기 전방카메라 영상에서 사용자의 손 인터랙션 영역과 발 인터랙션 영역을 분리하며,
상기 전방카메라 영상의 사용자 객체 사각형 영역의 중심점에서 제일 멀어진 객체 영역의 좌측 혹은 우측의 X, Y좌표 포인트를 추출하되,
이 경우에 왼손 인터랙션 영역은 (왼손 인터랙션으로 정의) AND (상기 좌(중심점에서 왼쪽)/우(중심점에서 오른쪽) 영역 중에서 좌영역) AND (상기 손 인터랙션 영역) AND (상기 좌측 혹은 우측의 X, Y좌표 포인트 중에서 좌측의 X, Y 좌표 포인트)로 정해지고,
상기 오른손 인터랙션 영역은 (오른손 인터랙션으로 정의) AND (상기 좌(중심점에서 왼쪽)/우(중심점에서 오른쪽) 영역 중에서 우영역) AND (상기 손 인터랙션 영역) AND (상기 좌측 혹은 우측의 X, Y좌표 포인트 중에서 우측의 X, Y 좌표 포인트)로 정해지며,
상기 왼발 인터랙션 영역은 (왼발 인터랙션으로 정의) AND (상기 좌(중심점에서 왼쪽)/우(중심점에서 오른쪽) 영역 중에서 좌영역) AND (상기 발 인터랙션 영역) AND (상기 좌측 혹은 우측의 X, Y좌표 포인트 중에서 좌측의 X, Y 좌표 포인트)로 정해지며,
상기 오른발 인터랙션 영역은 (오른발 인터랙션으로 정의) AND (상기 좌(중심점에서 왼쪽)/우(중심점에서 오른쪽) 영역 중에서 우영역) AND (상기 발 인터랙션 영역) AND (상기 좌측 혹은 우측의 X, Y좌표 포인트 중에서 우측의 X, Y 좌표 포인트)로 정해진 것을 특징으로 하는 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템.The method according to claim 2 or 3,
The interaction region extraction module defines a motion recognition interaction region with four regions of a user's left hand, right hand, left foot, and right foot,
Determine the left (left to center) / right (right to center) area by checking the X and Z coordinate points of the object area farthest from the center point of the rectangular area of the user object of the vertical camera image,
Separating the user's hand interaction area and foot interaction area from the front camera image;
Extract the X and Y coordinate points of the left or right side of the object area farthest from the center point of the rectangular area of the user object of the front camera image,
In this case, the left-hand interaction region is defined as (left-hand interaction) AND (left region among the left (left to center) / right (right to center) region) AND (the hand interaction region) AND (X, on the left or right side) Among the Y coordinate points, X, Y coordinate points on the left),
The right hand interaction region is defined as (right hand interaction) AND (right region among the left (left to center) / right (right to center) region) AND (the hand interaction region) AND (the X or Y coordinate of the left or right side) X, Y coordinate point of the right side)
The left foot interaction region is defined as (left foot interaction) AND (left region of the left (left to center) / right (right to center) region) AND (the foot interaction region) AND (the X or Y coordinate of the left or right side) X, Y coordinate point on the left side of the point)
The right foot interaction region is defined as (right foot interaction) AND (right region among the left (left to center) / right (right to center) region) AND (the foot interaction region) AND (the X or Y coordinate of the left or right side) Multi-camera-based experience content motion recognition interaction log system, characterized in that determined by X, Y coordinate point of the right side of the point). 제 2 항 또는 제 3 항에 있어서,
상기 인터랙션 유무 판별 모듈은 상기 수직카메라의 영상을 기준으로 미리 설정된 깊이동작 인식값을 이용하여 판단하되,
상기 수직카메라 영상의 사용자 객체 사각형 영역의 상단 끝 영역이 깊이동작 인터랙션 판단 영역과 겹치는 것을 확인하여 인터랙션의 유무를 판단하는 것을 특징으로 하는 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템.The method according to claim 2 or 3,
The presence or absence of the interaction determination module is determined by using a predetermined depth motion recognition value based on the image of the vertical camera,
Multi-camera-based experience content motion recognition interaction log system, characterized in that to determine the presence of the interaction by confirming that the upper end area of the user object rectangular area of the vertical camera image overlaps with the depth motion interaction determination area. 제 2 항 또는 제 3 항에 있어서,
상기 인터랙션 로그 데이터는 체험콘텐츠 재생 타임라인 별 콘텐츠 구성 객체와의 인터랙션 유무 정보(Y/N), 인터랙션 좌표 정보(평면동작 X, Y 좌표, 깊이동작 X, Z 좌표) 및 인터랙션 영역 정보(왼손, 오른손, 왼발, 오른발)로 정의되고,
상기 정의된 3종류의 인터랙션 로그 데이터는 사용자의 동작인식 인터랙션 프로세스가 진행되는 동안 체험콘텐츠의 재생 프레임 단위로 생성되며,
상기 인터랙션 로그 데이터 중 상기 인터랙션 영역 정보(전면카메라 기준 X, Y좌표)는 로그 데이터 표시 윈도우에 포인트 클라우드 형태로 각 재생 프레임마다 표시되는 것을 특징으로 하는 다중 카메라 기반 체험 콘텐츠 동작인식 인터랙션 로그 시스템.The method according to claim 2 or 3,
The interaction log data includes interaction information (Y / N) with content composition objects for each experience content playback timeline, interaction coordinate information (plane motion X, Y coordinate, depth motion X, Z coordinate), and interaction area information (left hand, Right hand, left foot, right foot)
The three types of interaction log data defined above are generated in units of playback frames of experience content during the user's motion recognition interaction process.
And the interaction area information (front camera reference X and Y coordinates) of the interaction log data is displayed for each playback frame in a point cloud form in a log data display window.
KR1020120039528A 2012-04-17 2012-04-17 Frontal/vertical dual camera based motion detection log data processing system for interactive user-participating contents service KR101289385B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120039528A KR101289385B1 (en) 2012-04-17 2012-04-17 Frontal/vertical dual camera based motion detection log data processing system for interactive user-participating contents service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120039528A KR101289385B1 (en) 2012-04-17 2012-04-17 Frontal/vertical dual camera based motion detection log data processing system for interactive user-participating contents service

Publications (1)

Publication Number Publication Date
KR101289385B1 true KR101289385B1 (en) 2013-07-29

Family

ID=48997980

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120039528A KR101289385B1 (en) 2012-04-17 2012-04-17 Frontal/vertical dual camera based motion detection log data processing system for interactive user-participating contents service

Country Status (1)

Country Link
KR (1) KR101289385B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170060721A (en) * 2015-11-25 2017-06-02 전자부품연구원 Tangible Test System for UX Profiling in the Prototyping Service
KR101824079B1 (en) * 2017-04-14 2018-01-31 주식회사 디지믹스 A System For Providing Experimental Contents Based On Object Detection
KR20200001871A (en) * 2018-06-28 2020-01-07 한국과학기술연구원 System and Method for 3D Interaction Visualization of Virtual Space
CN116703952A (en) * 2023-08-09 2023-09-05 深圳魔视智能科技有限公司 Method and device for filtering occlusion point cloud, computer equipment and storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080106676A (en) * 2007-06-04 2008-12-09 주식회사 케이티 System and method for virtual reality singing room service

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080106676A (en) * 2007-06-04 2008-12-09 주식회사 케이티 System and method for virtual reality singing room service

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170060721A (en) * 2015-11-25 2017-06-02 전자부품연구원 Tangible Test System for UX Profiling in the Prototyping Service
KR102163149B1 (en) * 2015-11-25 2020-10-08 한국전자기술연구원 Tangible Test System for UX Profiling in the Prototyping Service
KR101824079B1 (en) * 2017-04-14 2018-01-31 주식회사 디지믹스 A System For Providing Experimental Contents Based On Object Detection
KR20200001871A (en) * 2018-06-28 2020-01-07 한국과학기술연구원 System and Method for 3D Interaction Visualization of Virtual Space
KR102135331B1 (en) * 2018-06-28 2020-07-17 한국과학기술연구원 System and Method for 3D Interaction Visualization of Virtual Space
CN116703952A (en) * 2023-08-09 2023-09-05 深圳魔视智能科技有限公司 Method and device for filtering occlusion point cloud, computer equipment and storage medium
CN116703952B (en) * 2023-08-09 2023-12-08 深圳魔视智能科技有限公司 Method and device for filtering occlusion point cloud, computer equipment and storage medium

Similar Documents

Publication Publication Date Title
US20220107687A1 (en) Touch free interface for augmented reality systems
KR101890459B1 (en) Method and system for responding to user&#39;s selection gesture of object displayed in three dimensions
CN109298629B (en) System and method for guiding mobile platform in non-mapped region
US9465443B2 (en) Gesture operation input processing apparatus and gesture operation input processing method
US9303982B1 (en) Determining object depth information using image data
US20120056989A1 (en) Image recognition apparatus, operation determining method and program
EP2919093A1 (en) Method, system, and computer for identifying object in augmented reality
CN102893293A (en) Position capture input apparatus, system, and method therefor
CN105229582A (en) Based on the gestures detection of Proximity Sensor and imageing sensor
US10409446B2 (en) Information processing apparatus and method for manipulating display position of a three-dimensional image
KR101289385B1 (en) Frontal/vertical dual camera based motion detection log data processing system for interactive user-participating contents service
TWI489326B (en) Operating area determination method and system
CN102339160A (en) Input method and input apparatus
CN103608761A (en) Input device, input method and recording medium
JP2012238293A (en) Input device
EP3547265A1 (en) Method, storage medium and apparatus for generating environment model
CN105892637A (en) Gesture identification method and virtual reality display output device
CN102236408A (en) Multi-point human-computer interaction system for fusing large screen based on image recognition and multiple projectors
CN109542218B (en) Mobile terminal, human-computer interaction system and method
JP6467039B2 (en) Information processing device
KR20150071594A (en) Augmented reality overlay for control devices
CN113780045A (en) Method and apparatus for training distance prediction model
Demitševa Gesture based computer controlling using Kinect camera
Zhang et al. Binocular vision sensor (Kinect)-based pedestrian following mobile robot
CN103428551A (en) Gesture remote control system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160711

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190715

Year of fee payment: 7