KR20180076595A - Motion data generating method by sensor for measuring motion physical quantity - Google Patents

Motion data generating method by sensor for measuring motion physical quantity Download PDF

Info

Publication number
KR20180076595A
KR20180076595A KR1020160180921A KR20160180921A KR20180076595A KR 20180076595 A KR20180076595 A KR 20180076595A KR 1020160180921 A KR1020160180921 A KR 1020160180921A KR 20160180921 A KR20160180921 A KR 20160180921A KR 20180076595 A KR20180076595 A KR 20180076595A
Authority
KR
South Korea
Prior art keywords
motion
motion data
sensor
physical quantity
image content
Prior art date
Application number
KR1020160180921A
Other languages
Korean (ko)
Other versions
KR101882980B1 (en
Inventor
박홍식
윤태수
채일진
전형진
Original Assignee
동서대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동서대학교산학협력단 filed Critical 동서대학교산학협력단
Priority to KR1020160180921A priority Critical patent/KR101882980B1/en
Publication of KR20180076595A publication Critical patent/KR20180076595A/en
Application granted granted Critical
Publication of KR101882980B1 publication Critical patent/KR101882980B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Abstract

The present invention provides a method for creating motion data based on a sensor for measuring a physical quantity related to a motion. According to the present invention, the method for creating the motion data based on the sensor for measuring the physical quantity related to the motion creates motion data by utilizing a sensor, such as a gyro sensor, an acceleration sensor, or a geomagnetic sensor for measuring a physical quantity related to a motion, thereby smoothly and easily detecting a variable pattern of a fine motion. Accordingly, the motion data to be provided to a motion base accurately realizing a three dimension (3D) motion may be smoothly and easily produced. Specifically, the present invention has a technical feature effectively applied to create motion data of the motion base for realizing virtual reality (VR) content allowing a user to actually feel a special environment such as the space, the deep sea, the ends of the earth, or the wild.

Description

운동관련 물리량 측정센서 기반 모션데이터 생성방법{Motion data generating method by sensor for measuring motion physical quantity}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a motion-

본 발명은 운동관련 물리량 측정센서 기반 모션데이터 생성방법에 관한 것으로, 좀더 구체적으로는 자이로 센서, 가속도 센서, 지자계 센서와 같은 운동관련 물리량 측정센서를 활용하여 모션데이터를 생성함으로써 미세 움직임의 가변적 패턴 검출을 원활하고 용이하게 수행할 수 있고, 이를 통해 정밀한 3차원 운동을 구현하는 모션베이스에 제공될 모션데이터를 원활하고 용이하게 생성할 수 있으며, 특히 우주, 심해, 극지, 오지와 같은 비-일상적인 환경을 실감할 수 있는 VR 컨텐츠의 구현을 위한 모션베이스의 모션데이터 생성에 효과적으로 적용될 수 있는 운동관련 물리량 측정센서 기반 모션데이터 생성방법에 관한 것이다.The present invention relates to a motion data generation method based on a motion-related physical quantity measurement sensor, and more particularly, to a motion data generation method using motion-related physical quantity measurement sensors such as a gyro sensor, an acceleration sensor, It is possible to smoothly and easily perform motion detection and to smoothly and easily generate motion data to be provided to a motion base that realizes a precise three-dimensional motion. In particular, it is possible to generate motion data in a non-routine The present invention relates to a motion data generation method based on motion-related physical quantity measurement that can be effectively applied to generation of motion-based motion data for realizing VR contents that can realize real environment.

가상현실(VR) 롤러코스터, 가상현실 어드벤처 게임 등을 비롯한 체험형 VR 컨텐츠의 개발 및 VR 컨텐츠를 구현하기 위한 4D 모션베이스 장치 개발이 현재 활발하게 이루어지고 있는 실정이다. 여기서 4D 모션베이스 장치는 설정시간 동안의 동작제어를 위한 모션데이터에 의해 다양한 입체운동을 구현하게 되는데, 이와 같은 모션데이터 생성기술과 관련하여 본 출원인에 의해 대한민국 등록특허공보 등록번호 제10-1223040호 "체험형 모션시뮬레이터의 모션데이터 생성장치", 등록번호 제10-1397995호 "4Ｄ 영화 상영을 위한 모션 데이터 기반의 영상 획득 방법, 그리고 이를 기반한 4축 조이스틱 장치를 이용한 모션 데이터 생성방법", 등록번호 제10-1651979호 "유니티 게임엔진의 동영상 파일포맷 변환 기반 모션데이터 입력방법" 등이 안출된 바 있다.Development of experiential VR contents including virtual reality (VR) roller coaster and virtual reality adventure game, and development of 4D motion base device for realizing VR contents are actively performed. Here, the 4D motion base apparatus realizes various stereoscopic motions based on motion data for motion control during the set time. In relation to such motion data generation technology, the 4D motion base apparatus disclosed in Korean Patent Registration No. 10-1223040 &Quot; Motion data generation device for experience-type motion simulator ", Registration No. 10-1397995 "Motion data-based image acquisition method for 4D movie screening, and motion data generation method using 4-axis joystick device based thereon" 10-1651979 "Method of inputting motion data based on conversion of video file format of Unity game engine"

한편 최근에는 우주, 심해, 극지, 오지와 같은 비-일상적인 환경을 실감할 수 있는 VR 컨텐츠의 개발과 활용이 활발하게 이루어지고 있다. 이와 같은 비-일상적인 환경 기반의 VR 컨텐츠에서는 미세 움직임이나 급격한 환경 변화를 원활하게 4D 모션데이터로 생성하여 모션베이스를 통해 구현할 필요가 있는데, 종래의 통상적인 4D 모션데이터 생성기술로는 이를 원활하게 수행하는데 한계가 있었다.In recent years, VR contents that can realize non-routine environment such as space, deep sea, polar, and remote areas have been actively developed and utilized. In such a non-routine environment-based VR content, it is necessary to smoothly generate the fine motion or the sudden environment change as 4D motion data and implement it through the motion base. In the conventional 4D motion data generation technology, There was a limit to practice.

대한민국 등록특허공보 등록번호 제10-1223040호 "체험형 모션시뮬레이터의 모션데이터 생성장치"Korean Registered Patent Publication No. 10-1223040 entitled " Motion Data Generator for Experiential Type Motion Simulator " 대한민국 등록특허공보 등록번호 제10-1397995호 "4Ｄ 영화 상영을 위한 모션 데이터 기반의 영상 획득 방법, 그리고 이를 기반한 4축 조이스틱 장치를 이용한 모션 데이터 생성방법"Korean Patent Registration No. 10-1397995 entitled " Image acquisition method based on motion data for 4D movie screening, and motion data generation method using the 4-axis joystick device based on the image acquisition method & 대한민국 등록특허공보 등록번호 제10-1651979호 "유니티 게임엔진의 동영상 파일포맷 변환 기반 모션데이터 입력방법"Korean Patent Registration No. 10-1651979 entitled " Motion data input method based on video file format conversion of Unity game engine &

따라서 본 발명은 이와 같은 종래 기술의 문제점을 개선하여, 수동 또는 자동 조작되는 영상컨텐츠 연동 움직임 조작기에 설치된 운동관련 물리량 측정센서(자이로 센서, 가속도 센서, 지자계 센서 등)로부터 검출되는 운동관련 물리량(속도, 가속도, 각속도 등)으로부터 모션데이터가 생성되도록 함으로써 미세 움직임의 가변적 패턴 검출을 원활하고 용이하게 수행할 수 있고, 이를 통해 정밀한 3차원 운동을 구현하는 모션베이스에 제공될 모션데이터를 원활하고 용이하게 생성할 수 있으며, 특히 우주, 심해, 극지, 오지와 같은 비-일상적인 환경을 실감할 수 있는 VR 컨텐츠의 구현을 위한 모션베이스의 모션데이터 생성에 효과적으로 적용될 수 있는 새로운 형태의 운동관련 물리량 측정센서 기반 모션데이터 생성방법을 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and it is an object of the present invention to provide a motion-related physical quantity sensor (gyro sensor, acceleration sensor, Speed data, acceleration data, angular velocity data, and the like), it is possible to smoothly and easily perform variable pattern detection of fine motion, thereby enabling smooth and easy motion data to be provided in a motion base And can be applied to the generation of motion-based motion data for the realization of VR content that can realize non-routine environments such as space, deep sea, polar, and remote areas. And a sensor-based motion data generation method.

상술한 목적을 달성하기 위한 본 발명의 특징에 의하면, 본 발명은 디스플레이장치(110)를 통해 영상컨텐츠가 출력되는 영상컨텐츠 출력단계와; 디스플레이장치(110)에서 현재 출력되고 있는 영상컨텐츠에 대응하는 움직임이 영상컨텐츠 연동 움직임 조작기(120)에 의해 수동 또는 자동으로 조작되는 영상컨텐츠 연동 움직임 조작단계와; 영상컨텐츠 연동 움직임 조작기(120)에 설치되는 움직임검출 센서유닛(130)에 의해 영상컨텐츠 연동 움직임 조작기(120)의 움직임정보가 검출되는 영상컨텐츠 연동 움직임 조작기 움직임정보 검출단계와; 움직임검출 센서유닛(130)으로부터 입력되는 영상컨텐츠 연동 움직임 조작기 움직임정보가 소스 모션데이터 저장유닛(140)에 소스 모션데이터로 저장되는 소스 모션데이터 저장단계와; 영상컨텐츠에 연동된 모션을 구현하기 위해 선정된 대상 모션플랫폼(1)의 종류에 대응하는 모션데이터 형식정보가 모션데이터 변환유닛(150)에 입력되는 모션데이터 형식정보 입력단계와; 소스 모션데이터 저장유닛(140)로부터 전달되는 소스 모션데이터가 대상 모션플랫폼(1)의 모션데이터 형식정보에 맞추어 모션데이터 변환유닛(150)에 의해 대상 모션플랫폼(1)의 입력 모션데이터로 변환되는 모션데이터 변환단계와; 모션데이터 변환유닛(150)에서 생성된 입력 모션데이터가 입력 모션데이터 모션플랫폼 전달유닛(160)에 의해 대상 모션플랫폼(1)으로 전달되는 입력 모션데이터 모션플랫폼 전달단계를 포함하는 것을 특징으로 하는 운동관련 물리량 측정센서 기반 모션데이터 생성방법을 제공한다.According to an aspect of the present invention, there is provided an image display apparatus including: an image content output step of outputting image content through a display device; An image content interlocking motion manipulation step in which the motion corresponding to the image content currently being output by the display device 110 is manually or automatically manipulated by the image content interlocking motion manipulator 120; An image content interlocking motion controller motion information detecting step of detecting motion information of the motion image interlocking motion controller 120 by the motion detection sensor unit 130 installed in the motion image interlocking motion controller 120; A source motion data storage step in which image content interlocking motion controller motion information input from the motion detection sensor unit 130 is stored as source motion data in a source motion data storage unit 140; A motion data format information input step of inputting motion data format information corresponding to the type of the selected target motion platform 1 to the motion data conversion unit 150 in order to implement the motion linked with the video content; The source motion data transmitted from the source motion data storage unit 140 is converted into the input motion data of the target motion platform 1 by the motion data conversion unit 150 in accordance with the motion data format information of the target motion platform 1 A motion data conversion step; Wherein the input motion data generated by the motion data conversion unit (150) is transferred by the input motion data motion platform transfer unit (160) to the target motion platform (1) And a motion data generation method based on the related physical quantity measurement sensor.

이와 같은 본 발명에 따른 운동관련 물리량 측정센서 기반 모션데이터 생성방법에서 상기 영상컨텐츠 연동 움직임 조작기 움직임정보 검출단계는, 하나 이상의 운동관련 물리량 측정센서(131)에 의해 영상컨텐츠 연동 움직임 조작기(120)의 속도, 가속도, 각속도를 포함하는 운동 관련 물리량이 영상컨텐츠 연동 움직임 조작기 움직임정보로 검출되도록 할 수 있다.In the motion-related physical quantity measurement sensor-based motion data generation method according to the present invention, the image content interlocking motion controller motion information detection step may include detecting motion information related to the motion of the image content interlocking motion controller 120 by at least one motion- Motion-related physical quantities including velocity, acceleration, and angular velocity can be detected as motion information of the motion-picture motion-linked motion-controller.

이와 같은 본 발명에 따른 운동관련 물리량 측정센서 기반 모션데이터 생성방법에서 상기 영상컨텐츠 연동 움직임 조작기 움직임정보 검출단계는, 3축 자이로 센서(1311), 3축 가속도 센서(1312), 3축 지자계 센서(1313)에 의해 영상컨텐츠 연동 움직임 조작기(120)의 xyz 3축 방향의 각속도와 가속도 및 이동방향 정보가 통합적으로 검출되도록 할 수 있다.In the movement-related physical quantity measurement sensor-based motion data generation method according to the present invention, the image content interlocking motion controller motion information detection step may include a three-axis gyro sensor 1311, a three-axis acceleration sensor 1312, The angular velocity, acceleration, and movement direction information of the video content interlocking motion actuator 120 in the x, y, and z axes directions can be integrally detected by the motion vector detection unit 1313.

본 발명에 의한 운동관련 물리량 측정센서 기반 모션데이터 생성방법에 의하면, 미세 움직임의 가변적 패턴 검출이 원활하고 용이하게 수행되고, 이를 통해 정밀한 3차원 운동을 구현하는 모션베이스에 제공될 모션데이터가 원활하고 용이하게 생성되는 효과가 있다. 이에 따라 본 발명에 따른 운동관련 물리량 측정센서 기반 모션데이터 생성방법은 특히 우주, 심해, 극지, 오지와 같은 비-일상적인 환경을 실감할 수 있는 VR 컨텐츠의 구현을 위한 모션베이스의 모션데이터 생성에 효과적으로 적용될 수 있다.According to the motion-related physical quantity measurement sensor-based motion data generation method of the present invention, it is possible to smoothly and easily perform variable-pattern detection of fine motion, and thereby motion data to be provided to a motion base that realizes precise three- There is an effect that it is easily generated. Accordingly, the motion data generation method based on the motion-related physical quantity measurement sensor according to the present invention is particularly useful for motion-based motion data generation for realizing VR contents that can realize a non-routine environment such as space, deep water, Can be effectively applied.

도 1은 현재 출력되는 영상컨텐츠와 연동되어 운동하는 모션플랫폼을 보여주기 위한 도면;
도 2는 본 발명에 따른 운동관련 물리량 측정센서 기반 모션데이터 생성방법의 진행 순서를 보여주기 위한 도면;
도 3은 본 발명에 따른 운동관련 물리량 측정센서 기반 모션데이터 생성방법을 구현하기 위한 시스템 구성을 보여주기 위한 도면;
도 4는 본 발명에 따른 운동관련 물리량 측정센서 기반 모션데이터 생성방법을 구현하기 위한 영상컨텐츠 연동 움직임 조작기의 예시도;
도 5는 본 발명에 따른 운동관련 물리량 측정센서 기반 모션데이터 생성방법에서의 모션데이터 변환단계 구현 예시도;
도 6의 (a)와 (b)는 본 발명에 따른 운동관련 물리량 측정센서 기반 모션데이터 생성방법을 구현하는 모션데이터 생성 전용 휴대단말기의 구성 예시도;
도 7은 본 발명에 따른 운동관련 물리량 측정센서 기반 모션데이터 생성방법을 구현하는 모션데이터 생성 전용 휴대단말기를 보여주기 위한 도면이다.FIG. 1 is a diagram illustrating a motion platform that moves in conjunction with a currently output image content; FIG.
FIG. 2 is a diagram illustrating a procedure of a motion data generation method based on a motion-related physical quantity measurement sensor according to the present invention; FIG.
3 is a diagram illustrating a system configuration for implementing a motion data generation method based on a motion-related physical quantity measurement sensor according to the present invention;
FIG. 4 illustrates an example of an image content interlocking motion controller for implementing a motion data generation method based on a motion-related physical quantity measurement sensor according to the present invention;
FIG. 5 illustrates an example of a motion data conversion step in a motion data generation method based on a motion-related physical quantity measurement sensor according to the present invention;
6A and 6B are diagrams illustrating a configuration example of a motion data generation dedicated mobile terminal that implements a motion data generation method based on a motion-related physical quantity measurement sensor according to the present invention;
FIG. 7 is a diagram illustrating a mobile terminal dedicated to generating motion data that implements a motion data generation method based on a motion-related physical quantity measurement sensor according to the present invention.

이하, 본 발명의 실시예를 첨부된 도면 도 1 내지 도 7에 의거하여 상세히 설명한다. 한편, 도면과 상세한 설명에서 일반적인 모션플랫폼, 모션데이터, 모션데이터 생성기술, 디스플레이장치, 센서, 운동관련 물리량 측정센서, 자이로 센서, 가속도 센서, 지자계 센서, 휴대용 스마트 기기, 미들웨어 등으로부터 이 분야의 종사자들이 용이하게 알 수 있는 구성 및 작용에 대한 도시 및 언급은 간략히 하거나 생략하였다. 특히 도면의 도시 및 상세한 설명에 있어서 본 발명의 기술적 특징과 직접적으로 연관되지 않는 요소의 구체적인 기술적 구성 및 작용에 대한 상세한 설명 및 도시는 생략하고, 본 발명과 관련되는 기술적 구성만을 간략하게 도시하거나 설명하였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings 1 to 7. In the drawings and the detailed description of the present invention, it is to be understood that the present invention is not limited to the general motion platform, motion data, motion data generation technology, display device, sensor, motion related physical quantity measurement sensor, gyro sensor, acceleration sensor, The description and the illustration of the construction and operation that the workers can easily understand are simplified or omitted. In the drawings and specification, there are shown in the drawings and will not be described in detail, and only the technical features related to the present invention are shown or described only briefly. Respectively.

본 발명의 실시예에 따른 운동관련 물리량 측정센서 기반 모션데이터 생성방법은 도 1에서와 같이 2차원 운동 또는 3차원 운동을 수행하는 대상 모션플랫폼(1)을 특정 영상컨텐츠에 연동시켜 구동하기 위한 모션데이터를 생성하는 시스템으로서, 도 2에서와 같이 영상컨텐츠 출력단계, 영상컨텐츠 연동 움직임 조작단계, 영상컨텐츠 연동 움직임 조작기 움직임정보 검출단계, 소스 모션데이터 저장단계, 모션데이터 형식정보 입력단계, 모션데이터 변환단계, 입력 모션데이터 모션플랫폼 전달단계를 거쳐 수행된다.The motion-related physical quantity measurement sensor-based motion data generation method according to the embodiment of the present invention is a method for generating a motion-based motion data based on a motion of a target motion platform 1 performing a two-dimensional motion or a three- As shown in FIG. 2, the system includes a video content output step, a video content interlocking motion manipulation step, a video content interlocking motion controller motion information detection step, a source motion data storage step, a motion data format information input step, Step, input motion data, and motion platform delivery steps.

영상컨텐츠 출력단계는 도 3에서와 같이 디스플레이장치(110)를 통해 영상컨텐츠가 출력되는 단계이다. 이와 같이 디스플레이장치(110)에서 출력되는 영상컨텐츠의 현재 출력화면에 대응하는 모션데이터에 의해 대상 모션플랫폼(1)의 2차원 또는 3차원 운동이 구현된다. 디스플레이장치(110)로는 영상출력 전용 단말기, 컴퓨터, 휴대용 스마트 기기(스마트 폰, 스마트 패드, 태블릿 PC, 모션데이터 생성 전용 휴대단말기 등)가 사용될 수 있다. The image content output step is a step of outputting image content through the display device 110 as shown in FIG. As described above, the two-dimensional or three-dimensional motion of the target motion platform 1 is implemented by the motion data corresponding to the current output screen of the image content output from the display device 110. [ As the display device 110, a video output terminal, a computer, a portable smart device (a smart phone, a smart pad, a tablet PC, a portable terminal dedicated to generating motion data, etc.) may be used.

영상컨텐츠 연동 움직임 조작단계는 디스플레이장치(110)에서 현재 출력되고 있는 영상컨텐츠에 대응하는 움직임이 영상컨텐츠 연동 움직임 조작기(120)에 의해 수동 또는 자동으로 조작되는 단계이다. 여기서 영상컨텐츠 연동 움직임 조작기(120)는 도 4에서와 같이 사용자에 의해 직접 조작되는 설정 형상의 수동 조작기(121)로 이루어질 수도 있고, 자동으로 움직이는 자동 조작기(122)로 이루어질 수도 있다. 특히 자동 조작기(122)는 이미지 특성별 움직임이 설정되어 있는 것으로, 현재 출력되고 있는 영상컨텐츠에 대한 이미지분석을 실시간으로 수행하여 이미지분석에 의해 산출되는 이미지 특성 별 움직임을 실행하게 될 수 있다. 이와 같은 영상컨텐츠 연동 움직임 조작기(120)로는 휴대용 스마트 기기(스마트 폰, 스마트 패드, 태블릿 PC)가 사용될 수 있으나, 본 발명의 실시예에 따른 운동관련 물리량 측정센서 기반 모션데이터 생성방법은 모션데이터 생성 전용 휴대단말기(170)를 영상컨텐츠 연동 움직임 조작기(120)로 사용하게 된다.The image content interlocking motion manipulation step is a step in which the motion corresponding to the image content currently being output by the display device 110 is manually or automatically manipulated by the image content interlocking motion manipulator 120. 4, the image content interlocking motion manipulator 120 may be a manual manipulator 121 of a setting shape directly manipulated by a user or may be an automatic manipulator 122 that moves automatically. Particularly, the automatic operation unit 122 has motion set for each image characteristic, and performs image analysis on the currently outputted image contents in real time, thereby performing motion according to image characteristics calculated by image analysis. A portable smart device (smart phone, smart pad, tablet PC) may be used as the motion image interlocking motion controller 120, but a motion data generation method based on motion related physical quantity measurement sensor according to an embodiment of the present invention includes generating motion data The dedicated portable terminal 170 is used as the video content interlocking motion manipulator 120.

영상컨텐츠 연동 움직임 조작기 움직임정보 검출단계는 영상컨텐츠 연동 움직임 조작기(120)에 설치되는 움직임검출 센서유닛(130)에 의해 영상컨텐츠 연동 움직임 조작기(120)의 움직임정보가 검출되는 단계이다. 여기서 움직임검출 센서유닛(130)은 영상컨텐츠 연동 움직임 조작기(120)의 속도, 가속도, 각속도를 포함하는 운동 관련 물리량을 측정하는 하나 이상의 운동관련 물리량 측정센서(131)로 구성될 수 있다. 이를 위하여 움직임검출 센서유닛(130)은 자이로 센서(1311), 가속도 센서(1312), 지자계 센서(1313)를 포함하는 구성으로 이루어져 영상컨텐츠 연동 움직임 조작기(120)의 3차원 움직임정보가 통합적으로 검출되도록 할 수 있다. 특히 움직임검출 센서유닛(130)은 3축 자이로 센서(1311), 3축 가속도 센서(1312), 3축 지자계 센서(1313)를 포함하는 구성으로 이루어져 영상컨텐츠 연동 움직임 조작기(120)의 xyz 3축 방향의 각속도와 가속도 및 이동방향 정보가 통합적으로 검출되도록 할 수 있다.The motion picture information interlocking motion controller motion information detection step detects motion information of the motion picture interlock motion controller 120 by the motion detection sensor unit 130 installed in the motion picture interlock motion controller 120. Here, the motion detection sensor unit 130 may include at least one motion-related physical quantity measurement sensor 131 for measuring motion-related physical quantities including the velocity, acceleration, and angular velocity of the motion-picture motion controller 120. To this end, the motion detection sensor unit 130 includes a gyro sensor 1311, an acceleration sensor 1312, and a geomagnetic sensor 1313 so that the three-dimensional motion information of the video content interlocking motion controller 120 is integrated Can be detected. In particular, the motion detection sensor unit 130 includes a three-axis gyro sensor 1311, a three-axis acceleration sensor 1312, and a three-axis geomagnetic sensor 1313. The motion detection sensor unit 130 includes xyz 3 The angular velocity in the axial direction, the acceleration, and the movement direction information can be integrally detected.

소스 모션데이터 저장단계는 움직임검출 센서유닛(130)으로부터 입력되는 영상컨텐츠 연동 움직임 조작기 움직임정보가 소스 모션데이터 저장유닛(140)에 소스 모션데이터로 저장되는 단계이다.In the source motion data storage step, the video content interlocking motion motion information input from the motion detection sensor unit 130 is stored in the source motion data storage unit 140 as source motion data.

모션데이터 형식정보 입력단계는 영상컨텐츠에 연동된 모션을 구현하기 위해 선정된 대상 모션플랫폼(1)의 종류에 대응하는 모션데이터 형식정보가 모션데이터 변환유닛(150)에 입력되는 단계이다.The motion data format information input step is a step in which the motion data format information corresponding to the selected type of the target motion platform 1 is input to the motion data conversion unit 150 in order to implement the motion linked with the image content.

모션데이터 변환단계는 소스 모션데이터 저장유닛(140)로부터 전달되는 소스 모션데이터가 대상 모션플랫폼(1)의 모션데이터 형식정보에 맞추어 모션데이터 변환유닛(150)에 의해 대상 모션플랫폼(1)의 입력 모션데이터로 변환되는 단계이다.The motion data conversion step is a step in which the source motion data transmitted from the source motion data storage unit 140 is input by the motion data conversion unit 150 in accordance with the motion data format information of the target motion platform 1, And is converted into motion data.

모션데이터 변환유닛(150)은 영상컨텐츠에 연동된 모션을 구현하기 위해 선정된 대상 모션플랫폼(1)의 종류에 대응하는 모션데이터 형식정보가 입력되고, 소스 모션데이터 저장유닛(140)에 저장된 소스 모션데이터를 전달받으며, 대상 모션플랫폼(1)의 모션데이터 형식정보에 맞추어 소스 모션데이터를 대상 모션플랫폼(1)의 입력 모션데이터로 변환하는 유닛이다. 여기서 모션데이터 형식정보에 맞추어 선택된 특정 소스 모션데이터가 대상 모션플랫폼(1)의 입력 모션데이터로 변환된다. 즉 도 5에서와 같이 3축 자이로 센서(1311), 3축 가속도 센서(1312), 3축 지자계 센서(1313) 각각으로부터 산출되는 소스 모션데이터들 중에서 설정 개수의 소스 모션데이터가 선택되어 대상 모션플랫폼(1)의 입력 모션데이터로 변환되는 것이다. 모션데이터 형식정보는 대상 모션플랫폼(1)이 구현하는 xyz 좌표계 상의 선형운동, 회전운동의 차원에 대응하는 것이다. 예를 들어 대상 모션플랫폼(1)이 xyz 좌표계 상에서 z축 선형운동만을 구현할 경우 모션데이터 형식정보는 대상 모션플랫폼(1)의 z축 위치값 또는 z축 위치값에 연동된 제어수치값의 표현형식으로 주어지며{도 5의 Case 1}, 대상 모션플랫폼(1)이 xyz 좌표계 상에서 xyz축 선형운동 및 롤링/피칭/요잉 회전운동을 모두 구현할 경우 모션데이터 형식정보는 대상 모션플랫폼(1)의 xyz축 위치값, 롤링 회전값/피칭 회전값/요잉 회전값 또는 xyz축 위치값, 롤링 회전값/피칭 회전값/요잉 회전값에 연동된 제어수치값의 표현형식으로 주어지게 된다.{도 5의 Case N} 이와 더불어 대상 모션플랫폼(1)이 미세진동 운동을 구현할 경우 모션데이터 형식정보에는 미세진동 운동값의 표현형식도 추가적으로 포함된다. 대상 모션플랫폼(1)의 미세진동 운동 구현과 관련된 기술구성은 본 발명자에 의해 출원된 특허출원번호 제10-2016-0130678호 "서보모터 기반 미세진동형 모션플랫폼 시스템"을 참조할 수 있다.The motion data conversion unit 150 receives motion data format information corresponding to the type of the target motion platform 1 selected to implement the motion linked with the image content, And is a unit that receives the motion data and converts the source motion data into the input motion data of the target motion platform 1 in accordance with the motion data format information of the target motion platform 1. [ Here, the specific source motion data selected in accordance with the motion data format information is converted into the input motion data of the target motion platform 1. That is, as shown in FIG. 5, the set number of source motion data is selected from the source motion data calculated from each of the triaxial gyro sensor 1311, the triaxial acceleration sensor 1312, and the 3-axis geomagnetic sensor 1313, And is converted into input motion data of the platform 1. The motion data format information corresponds to the dimension of the linear motion and the rotational motion on the xyz coordinate system implemented by the target motion platform 1. For example, if the target motion platform (1) implements only z-axis linear motion on the xyz coordinate system, the motion data format information may be expressed in the form of a representation of the control numerical value associated with the z- (Case 1 in FIG. 5). When the target motion platform 1 implements both the xyz axis linear motion and the rolling / pitching / yaw rotation motions on the xyz coordinate system, the motion data format information is xyz of the target motion platform 1 Axis position value, a rolling rotation value / a pitching rotation value / a yaw rotation value or an xyz axis position value, and a control numerical value linked to a rolling rotation value / a pitch rotation value / a yaw rotation value. Case N} In addition, when the target motion platform 1 implements the fine vibration motion, the motion data format information additionally includes a representation format of the fine vibration motion value. The technology construction related to the implementation of the fine vibration motion of the target motion platform 1 can be referred to the patent application No. 10-2016-0130678 entitled " Servo motor based fine oscillation type motion platform system "filed by the present inventor.

입력 모션데이터 모션플랫폼 전달단계는 모션데이터 변환유닛(150)에서 생성된 입력 모션데이터가 입력 모션데이터 모션플랫폼 전달유닛(160)에 의해 대상 모션플랫폼(1)으로 전달되는 단계이다.The input motion data motion platform transfer step is a step in which the input motion data generated in the motion data conversion unit 150 is transferred to the target motion platform 1 by the input motion data motion platform transfer unit 160.

한편 본 발명에 따른 운동관련 물리량 측정센서 기반 모션데이터 생성방법은 도 6의 (a)에서와 같이 모션데이터 생성 전용 휴대단말기(170)가 디스플레이장치(110)와 영상컨텐츠 연동 움직임 조작기(120)로 사용되도록 할 수 있다. 이 경우 도 7에서와 같이 모션데이터 생성 전용 휴대단말기(170)의 전면 패널(171)이 디스플레이장치(110)로 사용되고, 모션데이터 생성 전용 휴대단말기(170)에 내장된 PCB(172)에 자이로 센서(1311), 가속도 센서(1312), 지자계 센서(1313)가 집적 설치되면서 모션데이터 생성 전용 휴대단말기(170) 자체가 영상컨텐츠 연동 움직임 조작기(120)로 사용된다.Meanwhile, in the method of generating motion data based on a motion-related physical quantity measurement sensor according to the present invention, as shown in FIG. 6 (a), a mobile terminal 170 for exclusive use of motion data is connected to a display device 110 and a video content interlocking motion controller 120 Can be used. 7, the front panel 171 of the portable terminal 170 dedicated to generating motion data is used as the display device 110 and the gyro sensor 170 is mounted on the PCB 172 built in the portable terminal 170 dedicated to generating motion data. The motion data generation dedicated portable terminal 170 itself is used as the video content interlocking motion manipulator 120 while the acceleration sensor 1311, the acceleration sensor 1312 and the geomagnetic sensor 1313 are integrated.

이와 달리 본 발명에 따른 운동관련 물리량 측정센서 기반 모션데이터 생성방법은 도 6의 (b)에서와 같이 디스플레이장치(110)와 별도로 구비되는 모션데이터 생성 전용 휴대단말기(170)가 영상컨텐츠 연동 움직임 조작기(120)로 사용되도록 할 수 있다. 이 경우, 모션데이터 생성 전용 휴대단말기(170)의 PCB(172)에 설치되는 자이로 센서(1311), 가속도 센서(1312), 지자계 센서(1313)가 움직임검출 센서유닛(130)로 사용되도록 하고, 모션데이터 생성 전용 휴대단말기(170)에 설치되는 모션데이터 생성/관리 애플리케이션(180)에 소스 모션데이터 저장유닛(140), 모션데이터 변환유닛(150), 입력 모션데이터 모션플랫폼 전달유닛(160)이 포함되도록 할 수 있다. 여기서 모션데이터 생성 전용 휴대단말기(170)에 설치되는 모션데이터 생성/관리 애플리케이션(180)은 미들웨어 구조로 이루어져 대상 모션플랫폼(1)의 종류나 구동소프트웨어의 운영체제에 상관없이 모션데이터의 생성/변환/입력이 수행될 수 있도록 한다.In contrast, according to the motion-related physical quantity measurement sensor-based motion data generation method of the present invention, as shown in FIG. 6B, the motion-data generation-dedicated portable terminal 170 separately provided from the display device 110, (120). In this case, the gyro sensor 1311, the acceleration sensor 1312, and the geodetic sensor 1313 provided on the PCB 172 of the mobile terminal 170 dedicated to generating the motion data are used as the motion detection sensor unit 130 A motion data storage unit 140, a motion data conversion unit 150, an input motion data motion platform transfer unit 160, and a motion data generation / management application unit 180 installed in the motion data generation / management application 180, Can be included. Here, the motion data generation / management application 180 installed in the mobile terminal 170 dedicated to generating motion data has a middleware structure and is capable of generating / converting / decoding motion data regardless of the type of the target motion platform 1 or the operating system of the driving software. Allow input to be performed.

모션데이터 생성 전용 휴대단말기(170)는 무선통신유닛을 구비하여 외부와의 무선통신을 수행할 수 있으며, 통신케이블이 접속되는 접속단자를 구비하여 유선통신을 수행할 수도 있고, 전원케이블/충전케이블이 접속되는 접속단자를 구비하여 전원을 공급받거나 충전을 수행할 수 있다. 또한 모션데이터 생성 전용 휴대단말기(170)는 도 7에서와 같이 하나 이상의 입력버튼(173)을 구비하여 각종 기능이 수행될 수 있도록 한다. 즉 각 입력버튼(173)은 온오프 기능, 이펙트의 시작과 끝을 프레임에 마크하는 기능 등을 수행할 수 있다.The mobile terminal 170 dedicated to generating motion data may include a wireless communication unit to perform wireless communication with the outside and may include a connection terminal to which a communication cable is connected to perform wired communication, And can be supplied with power or can be charged. In addition, the portable terminal 170 dedicated to generating motion data may include one or more input buttons 173 as shown in FIG. 7 so that various functions can be performed. That is, each input button 173 can perform an on-off function, a function of marking the start and end of an effect on a frame, and the like.

상기와 같이 구성된 본 발명의 실시예에 따른 운동관련 물리량 측정센서 기반 모션데이터 생성방법은 수동 또는 자동 조작되는 영상컨텐츠 연동 움직임 조작기(120)에 설치된 운동관련 물리량 측정센서(131){자이로 센서(1311), 가속도 센서(1312), 지자계 센서(1313) 등}로부터 검출되는 운동관련 물리량(속도, 가속도, 각속도 등)으로부터 모션데이터가 생성되도록 하므로, 미세 움직임의 가변적 패턴 검출을 원활하고 용이하게 수행할 수 있고, 이를 통해 정밀한 3차원 운동을 구현하는 대상 모션플랫폼(1)에 제공될 모션데이터를 원활하고 용이하게 생성할 수 있으며, 특히 우주, 심해, 극지, 오지와 같은 비-일상적인 환경을 실감할 수 있는 VR 컨텐츠의 구현을 위한 모션베이스의 모션데이터 생성에 효과적으로 적용될 수 있게 된다.The motion-related physical quantity measurement sensor-based motion data generation method according to an embodiment of the present invention configured as described above includes a movement-related physical quantity measurement sensor 131 (gyro sensor 1311 Motion data is generated from the motion-related physical quantities (velocity, acceleration, angular velocity, and the like) detected from the acceleration sensor 1312, the geomagnetic sensor 1313 and the like), thereby smoothly and easily performing the variable- It is possible to smoothly and easily generate the motion data to be provided to the target motion platform 1 that implements precise three-dimensional motion, and in particular, to create a non-routine environment such as space, deep sea, It can be effectively applied to motion-based motion data generation for realizing VR contents that can be realized.

상술한 바와 같은, 본 발명의 실시예에 따른 운동관련 물리량 측정센서 기반 모션데이터 생성방법을 상기한 설명 및 도면에 따라 도시하였지만, 이는 예를 들어 설명한 것에 불과하며 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다는 것을 이 분야의 통상적인 기술자들은 잘 이해할 수 있을 것이다.Although the motion-based physical-quantity-measurement-sensor-based motion data generation method according to the embodiment of the present invention has been described with reference to the above description and drawings, it should be understood that the present invention is not limited to the above- It will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention.

1 : 대상 모션플랫폼
100 : 운동관련 물리량 측정센서 기반 모션데이터 생성시스템
110 : 디스플레이장치
120 : 영상컨텐츠 연동 움직임 조작기
121 : 수동 조작기
122 : 자동 조작기
130 : 움직임검출 센서유닛
131 : 운동관련 물리량 측정센서
1311 : 자이로 센서
1312 : 가속도 센서
1313 : 지자계 센서
140 : 소스 모션데이터 저장유닛
150 : 모션데이터 변환유닛
160 : 입력 모션데이터 모션플랫폼 전달유닛
170 : 모션데이터 생성 전용 휴대단말기
171 : 전면 패널
172 : 센서 장착 PCB
173 : 입력버튼
180 : 모션데이터 생성/관리 애플리케이션1: Target motion platform
100: Motion-related physical quantity measurement Sensor-based motion data generation system
110: display device
120: motion image interlocking motion manipulator
121: Manual operation
122: Automatic actuator
130: Motion detection sensor unit
131: Motion-related physical quantity measurement sensor
1311: Gyro sensor
1312: Acceleration sensor
1313: Earth magnetic sensor
140: Source motion data storage unit
150: Motion data conversion unit
160: input motion data motion platform delivery unit
170: Portable terminal for generating motion data
171: Front panel
172: Sensor mounting PCB
173: Input Button
180: Motion data creation / management application

Claims (3)

디스플레이장치(110)를 통해 영상컨텐츠가 출력되는 영상컨텐츠 출력단계와;
디스플레이장치(110)에서 현재 출력되고 있는 영상컨텐츠에 대응하는 움직임이 영상컨텐츠 연동 움직임 조작기(120)에 의해 수동 또는 자동으로 조작되는 영상컨텐츠 연동 움직임 조작단계와;
영상컨텐츠 연동 움직임 조작기(120)에 설치되는 움직임검출 센서유닛(130)에 의해 영상컨텐츠 연동 움직임 조작기(120)의 움직임정보가 검출되는 영상컨텐츠 연동 움직임 조작기 움직임정보 검출단계와;
움직임검출 센서유닛(130)으로부터 입력되는 영상컨텐츠 연동 움직임 조작기 움직임정보가 소스 모션데이터 저장유닛(140)에 소스 모션데이터로 저장되는 소스 모션데이터 저장단계와;
영상컨텐츠에 연동된 모션을 구현하기 위해 선정된 대상 모션플랫폼(1)의 종류에 대응하는 모션데이터 형식정보가 모션데이터 변환유닛(150)에 입력되는 모션데이터 형식정보 입력단계와;
소스 모션데이터 저장유닛(140)로부터 전달되는 소스 모션데이터가 대상 모션플랫폼(1)의 모션데이터 형식정보에 맞추어 모션데이터 변환유닛(150)에 의해 대상 모션플랫폼(1)의 입력 모션데이터로 변환되는 모션데이터 변환단계와;
모션데이터 변환유닛(150)에서 생성된 입력 모션데이터가 입력 모션데이터 모션플랫폼 전달유닛(160)에 의해 대상 모션플랫폼(1)으로 전달되는 입력 모션데이터 모션플랫폼 전달단계를 포함하는 것을 특징으로 하는 운동관련 물리량 측정센서 기반 모션데이터 생성방법.An image content output step of outputting image content through the display device 110;
An image content interlocking motion manipulation step in which the motion corresponding to the image content currently being output by the display device 110 is manually or automatically manipulated by the image content interlocking motion manipulator 120;
An image content interlocking motion controller motion information detecting step of detecting motion information of the motion image interlocking motion controller 120 by the motion detection sensor unit 130 installed in the motion image interlocking motion controller 120;
A source motion data storage step in which image content interlocking motion controller motion information input from the motion detection sensor unit 130 is stored as source motion data in a source motion data storage unit 140;
A motion data format information input step of inputting motion data format information corresponding to the type of the selected target motion platform 1 to the motion data conversion unit 150 in order to implement the motion linked with the video content;
The source motion data transmitted from the source motion data storage unit 140 is converted into the input motion data of the target motion platform 1 by the motion data conversion unit 150 in accordance with the motion data format information of the target motion platform 1 A motion data conversion step;
Wherein the input motion data generated by the motion data conversion unit (150) is transferred by the input motion data motion platform transfer unit (160) to the target motion platform (1) A method of generating motion data based on sensor related physical quantity measurement. 제 1항에 있어서,
상기 영상컨텐츠 연동 움직임 조작기 움직임정보 검출단계는,
하나 이상의 운동관련 물리량 측정센서(131)에 의해 영상컨텐츠 연동 움직임 조작기(120)의 속도, 가속도, 각속도를 포함하는 운동 관련 물리량이 영상컨텐츠 연동 움직임 조작기 움직임정보로 검출되도록 하는 것을 특징으로 하는 운동관련 물리량 측정센서 기반 모션데이터 생성방법.The method according to claim 1,
The video content interlocking motion controller motion information detection step may include:
And motion-related physical quantities including velocity, acceleration, and angular velocity of the image content interlocking motion controller 120 are detected by the at least one motion-related physical quantity measurement sensor 131 as image content interlocking motion controller motion information. Method of generating motion data based on a physical quantity measurement sensor. 제 2항에 있어서,
상기 영상컨텐츠 연동 움직임 조작기 움직임정보 검출단계는,
3축 자이로 센서(1311), 3축 가속도 센서(1312), 3축 지자계 센서(1313)에 의해 영상컨텐츠 연동 움직임 조작기(120)의 xyz 3축 방향의 각속도와 가속도 및 이동방향 정보가 통합적으로 검출되도록 하는 것을 특징으로 하는 운동관련 물리량 측정센서 기반 모션데이터 생성방법.3. The method of claim 2,
The video content interlocking motion controller motion information detection step may include:
The angular velocity, acceleration, and moving direction information of the video content interlocking motion actuator 120 in the x, y, and z-axis directions are integrated by the 3-axis gyro sensor 1311, the 3-axis acceleration sensor 1312, Wherein the motion-related physical quantity measurement sensor-based motion data generation method comprises:
KR1020160180921A 2016-12-28 2016-12-28 Motion data generating method by sensor for measuring motion physical quantity KR101882980B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160180921A KR101882980B1 (en) 2016-12-28 2016-12-28 Motion data generating method by sensor for measuring motion physical quantity

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160180921A KR101882980B1 (en) 2016-12-28 2016-12-28 Motion data generating method by sensor for measuring motion physical quantity

Publications (2)

Publication Number Publication Date
KR20180076595A true KR20180076595A (en) 2018-07-06
KR101882980B1 KR101882980B1 (en) 2018-07-27

Family

ID=62921304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160180921A KR101882980B1 (en) 2016-12-28 2016-12-28 Motion data generating method by sensor for measuring motion physical quantity

Country Status (1)

Country Link
KR (1) KR101882980B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101223040B1 (en) 2011-06-27 2013-01-17 (주)브이아이앰 Motion data generation device
KR101397995B1 (en) 2013-11-21 2014-06-27 (주)브이아이앰 Image acquisition method based on motion data for 4-Dimensional cinema presentations, and system for creating motion data using 4-Dimensional joistick based on the same
KR101651979B1 (en) 2015-08-12 2016-08-29 동서대학교 산학협력단 Method for inputting motion data by converting file format of moving image in Unity game engine
KR101656025B1 (en) * 2016-05-03 2016-09-08 (주) 올림플래닛 Method and computer program for controlling object in virtual reality interface system based on motion recognition of user

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101223040B1 (en) 2011-06-27 2013-01-17 (주)브이아이앰 Motion data generation device
KR101397995B1 (en) 2013-11-21 2014-06-27 (주)브이아이앰 Image acquisition method based on motion data for 4-Dimensional cinema presentations, and system for creating motion data using 4-Dimensional joistick based on the same
KR101651979B1 (en) 2015-08-12 2016-08-29 동서대학교 산학협력단 Method for inputting motion data by converting file format of moving image in Unity game engine
KR101656025B1 (en) * 2016-05-03 2016-09-08 (주) 올림플래닛 Method and computer program for controlling object in virtual reality interface system based on motion recognition of user

Also Published As

Publication number Publication date
KR101882980B1 (en) 2018-07-27

Similar Documents

Publication Publication Date Title
KR102276173B1 (en) Haptic effect generation for space-dependent content
CN102830795B (en) Utilize the long-range control of motion sensor means
CN103635891B (en) The world is presented in a large amount of digital remotes simultaneously
US8957909B2 (en) System and method for compensating for drift in a display of a user interface state
US9776083B2 (en) Spatially-correlated multi-display human-machine interface
CN205229799U (en) Self -propelled equipment
US8339364B2 (en) Spatially-correlated multi-display human-machine interface
US8952956B2 (en) Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
JP5561092B2 (en) INPUT DEVICE, INPUT CONTROL SYSTEM, INFORMATION PROCESSING METHOD, AND PROGRAM
Higuchi et al. Flying head: A head-synchronization mechanism for flying telepresence
JP2007047294A (en) Stereoscopic image display device
JP2012161604A (en) Spatially-correlated multi-display human-machine interface
JP2010257081A (en) Image procession method and image processing system
CN104166466A (en) Body feeling manipulating system and method provided with auxiliary control function
CN204945943U (en) For providing the remote control equipment of remote control signal for external display device
WO2017061890A1 (en) Wireless full body motion control sensor
CN108885493A (en) Method, holder, motion sensing control device and the system of motion sensing control device control holder
KR101882980B1 (en) Motion data generating method by sensor for measuring motion physical quantity
KR101878475B1 (en) Motion data generating system by sensor for measuring motion physical quantity
Spada et al. Locomotion and telepresence in virtual and real worlds
US11887259B2 (en) Method, system, and apparatus for full-body tracking with magnetic fields in virtual reality and augmented reality applications
Aloor et al. Design of VR headset using augmented reality
KR101881565B1 (en) Motion data generating & editing system by sensor for measuring motion physical quantity and Motion data editing program device
Han et al. Mixed reality system for virtual interior design
Lv et al. Interaction design in augmented reality on the smartphone

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant