KR102304024B1 - Virtual mobility control system based on smartphone - Google Patents

Virtual mobility control system based on smartphone Download PDF

Info

Publication number
KR102304024B1
KR102304024B1 KR1020210071721A KR20210071721A KR102304024B1 KR 102304024 B1 KR102304024 B1 KR 102304024B1 KR 1020210071721 A KR1020210071721 A KR 1020210071721A KR 20210071721 A KR20210071721 A KR 20210071721A KR 102304024 B1 KR102304024 B1 KR 102304024B1
Authority
KR
South Korea
Prior art keywords
virtual
display
virtualization server
screen
virtual model
Prior art date
Application number
KR1020210071721A
Other languages
Korean (ko)
Inventor
임문수
Original Assignee
임문수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임문수 filed Critical 임문수
Priority to KR1020210071721A priority Critical patent/KR102304024B1/en
Application granted granted Critical
Publication of KR102304024B1 publication Critical patent/KR102304024B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/30—Transportation; Communications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network

Abstract

An objective of the present invention is to provide a virtual mobility control system based on a smart phone to facilitate the control of virtual mobility using a user terminal by configuring a virtual model screen in real time according to a button operation or movement of the smartphone linked to a virtualization server and displaying the virtual model screen on a display of a control terminal. According to an embodiment of the present invention, the virtual mobility control system based on the smartphone comprises: a smartphone for performing virtual mobility control by executing a virtual application; a virtualization server configuring a virtual model screen in real time based on control information from the smart phone linked through the virtual application; and a control terminal that interworks with the virtualization server and displays the virtual model screen configured in real time by the virtualization server on a display.

Description

스마트폰에 기반한 가상 모빌리티 컨트롤 시스템{Virtual mobility control system based on smartphone}Virtual mobility control system based on smartphone

본 발명은 스마트폰에 기반한 가상 모빌리티 컨트롤 시스템에 관한 것이다.The present invention relates to a virtual mobility control system based on a smartphone.

스마트폰은 현대인이 삶을 영위하는데 있어 매우 중요한 통신수단이자 도구이다. Smartphones are a very important means of communication and tools for modern people's lives.

더불어, 스마트폰의 고성능화, 데이터 통신 기술 발달과, 다양한 어플리케이션이 개발됨에 따라 최근 스마트폰을 이용한 모빌리티(mobility) 서비스가 증가하고 있다.In addition, as the performance of smart phones, data communication technology development, and various applications are developed, mobility services using smart phones are increasing.

하지만, 모빌리티 서비스는 일부 한정된 분야에서만 활용되고 있다.However, the mobility service is being used only in some limited fields.

한편, 컴퓨터, TV와 같은 디지털기기에서의 동작 지시나 제어는 마우스 또는 리모컨과 같은 물리적인 입력 장치를 사용하였다.On the other hand, a physical input device such as a mouse or a remote control is used to instruct or control an operation in a digital device such as a computer or TV.

최근 동작 인식 기술의 등장으로 물리적인 입력장치 없이 디지털기기를 제어 가능하게 되었다. With the recent advent of gesture recognition technology, it has become possible to control digital devices without a physical input device.

동작 인식 기술은 사용자의 움직임을 인식하여 기기와 상호작용하는 기술로서, 예를 들어, 카메라 모듈로 사용자의 모션을 캡쳐하여 움직임을 인식하거나 리모컨을 움직이면 디지털기기에 부착된 센서가 리모컨의 동작을 인식하는 방식이 있다.The motion recognition technology recognizes the user's movement and interacts with the device. For example, when the user's motion is captured by the camera module to recognize the movement or the remote control is moved, the sensor attached to the digital device recognizes the operation of the remote control. There is a way to do it.

이와 같은 동작 인식 기술은 게임 또는 교육 등 다양한 분야에서 활용되고 있다.Such motion recognition technology is being used in various fields such as games or education.

하지만, 종래의 동작 인식 방식은 카메라 모듈과 같은 별도의 센서를 이용하여 동작하기 때문에 센서를 반드시 구비해야 함은 물론, 센서의 인식 범위 내에서 동작해야 하므로 제한적이었다.However, since the conventional motion recognition method operates using a separate sensor such as a camera module, the sensor must be provided, and it is limited because it must operate within the recognition range of the sensor.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 가상 모델 화면을 구성하여 제어 단말의 디스플레이에 표시함에 있어서 가상화 서버에 연동된 스마트폰의 버튼 조작 또는 움직임에 따라 가상 모델 화면을 실시간으로 재구성하여 제어 단말의 디스플레이에 표시함으로써 사용자 단말을 이용한 가상 모빌리티의 제어가 용이하도록 한, 스마트폰에 기반한 가상 모빌리티 컨트롤 시스템을 제공함에 있다. The present invention has been devised to solve the above problems, and an object of the present invention is to configure a virtual model screen and display it on a display of a control terminal according to button manipulation or movement of a smartphone linked to a virtualization server. An object of the present invention is to provide a smart phone-based virtual mobility control system that facilitates control of virtual mobility using a user terminal by reconfiguring the screen in real time and displaying it on the display of the control terminal.

또한, 본 발명의 다른 목적은, 스마트폰의 모빌리티 서비스를 활용하여 디지털기기의 동작을 제어함으로써 디지털기기에 동작 인식을 위한 별도의 센서를 구비하지 않아도 되므로 비용 절감 및 편의성이 증대되도록 한, 스마트폰에 기반한 가상 모빌리티 컨트롤 시스템을 제공함에 있다.In addition, another object of the present invention is to control the operation of the digital device by utilizing the mobility service of the smartphone, so that it is not necessary to provide a separate sensor for motion recognition in the digital device, thereby reducing costs and increasing convenience. to provide a virtual mobility control system based on

본 발명의 과제는 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 스마트폰에 기반한 가상 모빌리티 컨트롤 시스템은, 가상 어플리케이션을 실행하여 가상 모빌리티 제어를 수행하는 스마트폰; 상기 가상 어플리케이션을 통해 연동된 상기 스마트폰으로부터의 제어 정보에 기초하여 가상 모델 화면을 실시간으로 구성하는 가상화 서버; 및 상기 가상화 서버와 연동되어, 상기 가상화 서버에 의해 실시간으로 구성된 가상 모델 화면을 디스플레이에 표시하는 제어 단말을 포함하여 구성될 수 있다.A virtual mobility control system based on a smartphone according to an embodiment of the present invention for solving the above problems includes a smartphone for executing a virtual application to perform virtual mobility control; a virtualization server that configures a virtual model screen in real time based on control information from the smart phone linked through the virtual application; and a control terminal that interworks with the virtualization server and displays a virtual model screen configured in real time by the virtualization server on a display.

상기 스마트폰은, 상기 가상화 서버와 연결된 네트워크를 통해 통신을 수행하는 통신부; 상기 가상 어플리케이션이 실행되는 동안 버튼 조작 및 움직임을 감지하는 센서부; 상기 가상화 서버로부터 제공된 가상 어플리케이션을 실행하며, 상기 센서부에 의해 인식된 제어 정보를 포함하는 제어 메시지를 생성하여 상기 가상화 서버로 송신하는 어플리케이션 실행부; 및 상기 가상 어플리케이션의 실행 화면을 표시하는 디스플레이를 구비한 입출력 인터페이스부를 포함할 수 있다.The smartphone may include: a communication unit for performing communication through a network connected to the virtualization server; a sensor unit for detecting button manipulation and movement while the virtual application is running; an application execution unit executing a virtual application provided from the virtualization server, generating a control message including control information recognized by the sensor unit, and transmitting the generated control message to the virtualization server; and an input/output interface unit having a display for displaying an execution screen of the virtual application.

상기 센서부는, 스마트폰의 3축 방향의 가속도 및 각속도를 감지하는 가속도 센서 및 자이로 센서를 포함하는 동작 인식 센서; 및 상기 가상화 서버로의 접속을 위한 서버 접속용 인식 코드를 촬영하는 카메라 센서를 포함할 수 있다.The sensor unit may include: a motion recognition sensor including an acceleration sensor and a gyro sensor for sensing acceleration and angular velocity in three axes of the smartphone; And it may include a camera sensor for photographing the recognition code for server connection for connection to the virtualization server.

상기 서버 접속용 인식 코드는, 상기 가상화 서버로의 접속을 위한 링크 정보를 포함하는 QR 코드일 수 있다.The recognition code for server connection may be a QR code including link information for connection to the virtualization server.

상기 서버 접속용 인식 코드는, 상기 제어 단말의 디스플레이 화면에 표시될 수 있다.The recognition code for accessing the server may be displayed on a display screen of the control terminal.

상기 스마트폰은, 상기 카메라 센서로 상기 서버 접속용 인식 코드 촬영 시 상기 가상화 서버로의 접속을 위한 링크 정보를 획득하여 디스플레이에 표시하고, 상기 디스플레이에 표시된 링크 정보를 통해 상기 가상화 서버에 접속하여 가상 어플리케이션을 설치할 수 있다.The smartphone acquires link information for connection to the virtual server when capturing the recognition code for server connection with the camera sensor and displays it on a display, and accesses the virtual server through the link information displayed on the display to create a virtual You can install applications.

상기 가상 어플리케이션 실행 화면은, 상기 가상화 서버에 의해 구성된 가상 모델 화면에 대응되는 가상 모델의 이미지가 표시되는 제1 영역 및 상기 가상 모델의 크기, 색상 및 동작을 조작하기 위한 적어도 하나 이상의 버튼을 구비한 조작 화면이 표시되는 제2 영역으로 구분될 수 있다.The virtual application execution screen includes a first area in which an image of a virtual model corresponding to the virtual model screen configured by the virtualization server is displayed and at least one button for manipulating the size, color and operation of the virtual model It may be divided into a second area in which the manipulation screen is displayed.

상기 어플리케이션 실행부는 상기 제2 영역에 표시된 적어도 하나 이상의 버튼 조작에 대응되는 제어 정보를 포함하는 제어 메시지를 생성하여 상기 가상화 서버로 전송할 수 있다.The application execution unit may generate a control message including control information corresponding to manipulation of at least one or more buttons displayed in the second area and transmit it to the virtualization server.

상기 제2 영역은, 상기 제1 영역 위에 중첩되어 표시되거나, 상기 제1 영역과 분리된 다른 영역에 표시될 수 있다.The second area may be displayed overlapping the first area or may be displayed in another area separated from the first area.

상기 동작 인식 센서는, 상기 가상 어플리케이션 실행 시 활성화되어 상기 스마트폰의 상, 하, 좌, 우 방향으로의 움직임 및 회전 움직임을 인식할 수 있다.The gesture recognition sensor may be activated when the virtual application is executed to recognize movement and rotation of the smartphone in up, down, left, and right directions.

상기 어플리케이션 실행부는, 상기 동작 인식 센서에 의해 인식된 동작 인식 정보를 포함하는 제어 메시지를 생성하여 상기 가상화 서버로 전송할 수 있다.The application execution unit may generate a control message including motion recognition information recognized by the motion recognition sensor and transmit it to the virtualization server.

상기 가상화 서버는, 상기 스마트폰 및 상기 제어 단말과의 네트워크 통신을 지원하는 통신부; 적어도 하나 이상의 가상화 엔진이 저장된 DB; 및 상기 DB에 저장된 가상화 엔진을 구동하며, 상기 스마트폰으로 제어 메시지가 수신되면 상기 제어 메시지에 포함된 제어 정보를 토대로 가상 모델 화면을 구성하는 가상화 엔진으로 전달하며, 상기 가상화 엔진을 통해 구성된 가상 모델 화면을 상기 제어 단말로 실시간 송신하는 서버 제어부를 포함할 수 있다.The virtualization server may include: a communication unit supporting network communication with the smart phone and the control terminal; DB in which at least one or more virtualization engines are stored; and driving the virtualization engine stored in the DB, and when a control message is received by the smart phone, it is transmitted to a virtualization engine constituting a virtual model screen based on the control information included in the control message, and the virtual model configured through the virtualization engine It may include a server control unit for transmitting the screen to the control terminal in real time.

상기 서버 제어부는, 클라우드 컴퓨팅 환경에서 적어도 하나 이상의 가상 프로세서를 실행하여 상기 DB에 저장된 가상화 엔진을 호출하여 상기 클라우드 컴퓨팅 환경에서 구동할 수 있다.The server control unit may execute at least one virtual processor in the cloud computing environment to call a virtualization engine stored in the DB to drive it in the cloud computing environment.

상기 가상화 엔진은, 클라우드의 물리적 자원을 이용하여 가상 모델 화면을 구성하며, 상기 서버 제어부로부터 입력된 제어 정보에 기초하여 상기 가상 모델 화면을 실시간으로 수정하여 재구성할 수 있다.The virtualization engine may configure a virtual model screen using physical resources of the cloud, and may modify and reconfigure the virtual model screen in real time based on control information input from the server control unit.

상기 가상화 엔진은, 언리얼 엔진(Unreal Engine) 및 유니티 엔진(Unity Engine)를 포함할 수 있다.The virtualization engine may include an Unreal Engine and a Unity Engine.

상기 제어 단말은, 상기 가상화 서버와의 연동을 위해 미리 설치된 프로그램을 실행하며, 상기 가상화 서버에 의해 구성된 가상 모델 화면을 처리하는 신호 처리부; 상기 프로그램을 통해 상기 가상화 서버와의 네트워크 통신을 지원하는 통신부; 및 상기 프로그램의 실행 화면을 표시하며 상기 실행 화면 상에 상기 가상 모델 화면을 표시하는 디스플레이를 포함할 수 있다.The control terminal may include: a signal processing unit executing a program installed in advance for interworking with the virtualization server, and processing a virtual model screen configured by the virtualization server; a communication unit supporting network communication with the virtualization server through the program; and a display for displaying an execution screen of the program and displaying the virtual model screen on the execution screen.

상기 디스플레이는, 상기 프로그램이 실행되면 상기 실행 화면 상에 서버 접속용 인식 코드를 추가로 표시할 수 있다.The display may further display a recognition code for server connection on the execution screen when the program is executed.

상기 가상 모델 화면은, 상기 가상화 서버의 언리얼 엔진에 의해 실시간으로 구성된 화면이거나, 상기 가상화 서버의 유티니 엔진에 의해 실시간으로 구성된 화면일 수 있다.The virtual model screen may be a screen configured in real time by the Unreal engine of the virtualization server or a screen configured in real time by the Unity engine of the virtualization server.

상기 제어 단말은, 상기 프로그램의 실행 시 동작 온(ON) 되는 카메라를 더 포함할 수 있다.The control terminal may further include a camera that is turned on when the program is executed.

상기 카메라는, 카메라 렌즈; 카메라 렌즈 주위에 배열되어 적외선을 발광하는 적외선 발광부; 및 상기 적외선 발광부로부터 발광된 적외선이 카메라의 전방에 위치한 반사 물체에 의해 반사되어 카메라 렌즈로 입사되면, 입사된 적외선을 감지하여 영상을 촬영하는 적외선 카메라 모듈을 포함할 수 있다.The camera may include a camera lens; an infrared light emitting unit arranged around the camera lens to emit infrared light; and an infrared camera module that detects the incident infrared rays and captures an image when the infrared rays emitted from the infrared light emitting unit are reflected by a reflective object located in front of the camera and are incident on the camera lens.

상기 적외선 발광부는, 복수 개의 적외선 발광소자가 카메라 렌즈의 주변을 따라 원 형상으로 배열되고, 원 형상으로 배열된 복수 개의 적외선 발광소자가 일체형으로 결합된 하나의 조립체 형태로 형성될 수 있다.The infrared light emitting unit may be formed in an assembly form in which a plurality of infrared light emitting devices are arranged in a circular shape along the periphery of the camera lens, and a plurality of infrared light emitting devices arranged in a circular shape are integrally combined.

상기 적외선 카메라 모듈은, 상기 카메라 렌즈로 입사된 적외선을 전기적인 아날로그 신호로 변환하며, 상기 변환된 아날로그 신호를 샘플링하여 디지털 영상 신호로 변환할 수 있다.The infrared camera module may convert infrared rays incident to the camera lens into an electrical analog signal, and sample the converted analog signal to convert the converted analog signal into a digital image signal.

상기 반사 물체는, 막대 형상의 몸체부; 및 상기 몸체부의 종단에 설치되어 광원을 반사시키는 반사 물질이 도포된 반사판을 포함할 수 있다.The reflective object may include a rod-shaped body portion; and a reflective plate installed at the end of the body and coated with a reflective material for reflecting the light source.

상기 반사판은, 상기 카메라를 향하도록 배치되는 경우 상기 카메라의 적외선 발광부에 의해 방사된 적외선의 일부를 카메라 렌즈를 향해 반사할 수 있다.The reflector, when disposed to face the camera, may reflect a portion of infrared rays emitted by the infrared light emitting unit of the camera toward the camera lens.

상기 반사판은, 상기 카메라 전방의 지정된 촬영 영역 내에서 위치 이동이 가능할 수 있다.The reflector may be moved within a designated photographing area in front of the camera.

상기 신호 처리부는, 상기 카메라를 통해 입력되는 영상으로부터 카메라의 촬영 영역을 기준으로 전방에 위치한 반사 물체의 위치를 파악하고, 상기 반사 물체의 위치를 디스플레이의 전체 화면 영역 중의 일 위치에 대응시켜 포인트가 표시되도록 할 수 있다.The signal processing unit, from the image input through the camera, determines the position of the reflective object located in front with respect to the photographing area of the camera, and corresponds the position of the reflective object to a position in the entire screen area of the display, so that the point is can be displayed.

상기 신호 처리부는, 상기 디스플레이를 통해 가상 모델 화면이 표시되는 동안 상기 가상 모델 화면 상에 상기 포인트가 표시되도록 하고, 상기 포인트의 위치 변화에 따른 제어 정보를 포함하는 제어 메시지를 생성하여 가상화 서버로 송신할 수 있다.The signal processing unit causes the point to be displayed on the virtual model screen while the virtual model screen is displayed through the display, and generates a control message including control information according to a change in the position of the point and transmits it to the virtualization server can do.

상기 제어 단말은, 실외 또는 실내의 일 공간에 설치된 키오스크 장치일 수 있다.The control terminal may be a kiosk device installed in an outdoor or indoor work space.

상기 키오스크 장치는, 본체의 전면에 삽입되어 고정 설치되며, 소정의 영상을 출력하거나, 디스플레이 화면을 통한 터치 입력을 받는 디스플레이; 상기 디스플레이의 하부에 설치되어 적외선을 발광하고, 적외선을 반사하는 반사 물체의 위치를 인식하는 카메라; 상기 디스플레이가 실장된 본체의 하부에 지면과 고정되도록 설치되어 본체를 고정하는 고정부재; 일 측이 본체의 양 측면에 끼워지도록 결합되며 타 측이 지면을 향하도록 설치되어 본체가 전면 또는 후면 방향으로 기울어지지 않도록 지지하는 지지부재; 및 상기 지지부재의 타 측 종단을 지면에 고정하며 지면으로부터 지지부재로 전달되는 진동이나 충격을 흡수하는 내진장치를 포함할 수 있다.The kiosk device includes: a display that is fixedly installed in the front of the main body, outputs a predetermined image, or receives a touch input through a display screen; a camera installed under the display to emit infrared light and recognize a position of a reflective object reflecting infrared light; a fixing member installed in a lower portion of the main body on which the display is mounted so as to be fixed to the ground and fixing the main body; a support member having one side coupled to fit both sides of the body and the other side facing the ground to support the body so as not to incline in the front or rear direction; and an earthquake-resistant device that fixes the other end of the support member to the ground and absorbs vibrations or shocks transmitted from the ground to the support member.

상기 디스플레이는, 상기 스마트폰의 버튼 조작 또는 움직임에 따른 제어 정보에 기초하여 상기 가상화 서버의 가상화 엔진으로부터 실시간으로 구성된 가상 모델 화면을 표시할 수 있다.The display may display a virtual model screen configured in real time from the virtualization engine of the virtualization server based on control information according to button manipulation or movement of the smartphone.

상기 고정부재는, 하부면과 지면 사이에 설치되어 상기 지면으로부터 발생되는 진동 또는 충격을 흡수하는 충격흡수패드를 포함할 수 있다.The fixing member may include a shock absorbing pad installed between the lower surface and the ground to absorb vibration or shock generated from the ground.

상기 지지부재는, 'ㄱ'자 형태로 절곡된 형상으로 형성될 수 있다.The support member may be formed in a shape bent in a 'L' shape.

상기 지지부재는, 상기 본체와 결합되는 부위가 내부 홈이 형성되고 일측이 개방된 'U'자 형상으로 형성되며, 'U'자 형상의 내부 홈으로 상기 본체가 수평방향으로 삽입되어 고정될 수 있다.The support member is formed in a 'U' shape in which a portion coupled to the body is formed with an internal groove and one side is open, and the body is inserted into the 'U'-shaped internal groove in the horizontal direction to be fixed have.

상기 지지부재는, 상기 'U'자 형상의 내측 벽에 상기 본체와 결합 시의 결합력을 증대시키는 탄성 패드가 부착될 수 있다.The support member may have an elastic pad attached to the inner wall of the 'U' shape to increase the coupling force when coupled to the main body.

상기 내진장치는, 지면에 고정되게 설치되며, 지면으로부터 전달되는 진동이나 충격을 흡수하는 재질로 형성되며, 내측 중앙부를 수직 방향으로 관통하는 통로가 형성되는 제1 완충부; 및 상기 제1 완충부의 내측 통로 상에 삽입되도록 설치되며, 상부가 지지부재의 타 측 종단에 고정 결합되고 하부가 지면에 고정 결합되어 지지부재를 수직방향으로 탄력 지지하며, 지면으로부터 진동이나 충격이 전달되는 경우 상기 제1 완충부의 내측에 형성된 통로를 따라 수직 방향으로 상하 이동하며 충격을 흡수하는 제2 완충부를 포함할 수 있다.The earthquake-resistant device, is fixed to the ground, is formed of a material that absorbs vibration or shock transmitted from the ground, a first cushioning unit in which a passage passing through the inner central portion in a vertical direction is formed; and installed to be inserted into the inner passage of the first buffer, the upper part is fixedly coupled to the other end of the support member, and the lower part is fixedly coupled to the ground to elastically support the support member in the vertical direction, and vibration or shock from the ground When delivered, it may include a second buffer for absorbing shock while moving up and down in the vertical direction along the passage formed inside the first buffer.

상기 제1 완충부는, 외측 표면이 보호 필름으로 코팅된 발포 합성수지 폼으로 형성될 수 있다.The first buffer unit, the outer surface may be formed of a synthetic resin foam coated with a protective film.

상기 발포 합성수지 폼은, 60 중량％ 이상의 저밀도 폴리에틸렌 수지에, 충전제, 발포제 및 산화방지제 등을 혼합하여 성형될 수 있다.The foamed synthetic resin foam may be molded by mixing a filler, a foaming agent, an antioxidant, and the like in a low-density polyethylene resin of 60% by weight or more.

상기 보호 필름은, 폴리 올레핀계 필름 또는 폴리 염화 비닐로 형성될 수 있다.The protective film may be formed of a polyolefin-based film or polyvinyl chloride.

상기 제2 완충부는, 하측이 지면에 고정되어 지면으로부터 발생되는 진동 또는 충격을 흡수하는 제1 흡수체; 상부가 지지부재의 타 측 종단에 고정 결합되어 지지부재를 지지하는 제2 흡수체; 및 하측이 제1 흡수체의 상부에 고정 결합되고 상측이 제2 흡수체의 하부에 고정 결합되어 수직 방향으로 발생하는 탄성력을 이용하여 지지부재를 탄성 지지하며, 지면으로부터 발생되는 진동 또는 충격을 흡수하는 스프링을 포함할 수 있다.The second buffer unit, the lower side is fixed to the ground, a first absorber for absorbing vibration or shock generated from the ground; a second absorber having an upper portion fixedly coupled to the other end of the support member to support the support member; And the lower side is fixedly coupled to the upper portion of the first absorber and the upper side is fixedly coupled to the lower portion of the second absorber to elastically support the support member using elastic force generated in the vertical direction, and a spring for absorbing vibration or shock generated from the ground may include.

상기 제1 흡수체 및 제2 흡수체는, 내부에 충격을 흡수하는 폴리 우레탄계의 재질로 형성될 수 있다.The first absorber and the second absorber may be formed of a polyurethane-based material that absorbs an impact therein.

본 발명의 실시예에 따르면, 가상 모델 화면을 구성하여 제어 단말의 디스플레이에 표시함에 있어서 가상화 서버에 연동된 스마트폰의 버튼 조작 또는 움직임에 따라 가상 모델 화면을 실시간으로 재구성하여 제어 단말의 디스플레이에 표시함으로써 사용자 단말을 이용한 가상 모빌리티의 제어가 용이해지는 효과를 갖는다.According to an embodiment of the present invention, when configuring the virtual model screen and displaying it on the display of the control terminal, the virtual model screen is reconfigured in real time according to the button operation or movement of the smartphone linked to the virtualization server and displayed on the display of the control terminal This has the effect of facilitating control of virtual mobility using the user terminal.

또한, 본 발명에 따르면, 스마트폰의 모빌리티 서비스를 활용하여 디지털기기의 동작을 제어함으로써 디지털기기에 동작 인식을 위한 별도의 센서를 구비하지 않아도 되므로 비용 절감 및 편의성이 증대되는 효과를 갖는다.In addition, according to the present invention, by controlling the operation of the digital device by utilizing the mobility service of the smart phone, there is no need to provide a separate sensor for the motion recognition in the digital device, thereby reducing cost and increasing convenience.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.The effect according to the present invention is not limited by the contents exemplified above, and more various effects are included in the present invention.

도 1은 본 발명의 실시예에 따른 스마트폰에 기반한 가상 모빌리티 컨트롤 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 도 1의 스마트폰의 세부 구성을 나타낸 도면이다.
도 3은 도 1의 가상화 서버의 세부 구성을 나타낸 도면이다.
도 4는 도 1의 제어 단말의 세부 구성을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 서버 접속용 인식 코드를 통해 가상화 서버에 접속하는 동작을 개략적으로 나타낸 도면이다.
도 6은 도 4의 제어 단말에 대한 카메라 구성 및 동작을 나타낸 도면이다.
도 7은 도 6의 반사 물체의 구성을 개략적으로 나타낸 도면이다.
도 8은 도 4의 제어 단말의 실시 예시도를 나타낸 도면이다.
도 9는 도 8의 키오스크 장치의 내진장치 구조를 나타낸 도면이다.
도 10 및 도 11은 본 발명의 제1 실시예에 따른 스마트폰에 기반한 가상 모빌리티 컨트롤 시스템의 동작 실시예를 나타낸 도면이다.
도 12 내지 도 14는 본 발명의 제2 실시예에 따른 스마트폰에 기반한 가상 모빌리티 컨트롤 시스템의 동작 실시예를 나타낸 도면이다.
도 15는 도 3의 가상화 서버의 추가 구성을 나타낸 도면이다.1 is a diagram schematically showing the configuration of a virtual mobility control system based on a smart phone according to an embodiment of the present invention.
FIG. 2 is a view showing a detailed configuration of the smartphone of FIG. 1 .
3 is a diagram illustrating a detailed configuration of the virtualization server of FIG. 1 .
4 is a diagram illustrating a detailed configuration of the control terminal of FIG. 1 .
5 is a diagram schematically illustrating an operation of accessing a virtualization server through an identification code for server connection according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating the configuration and operation of a camera for the control terminal of FIG. 4 .
7 is a diagram schematically illustrating the configuration of the reflective object of FIG. 6 .
8 is a diagram illustrating an exemplary embodiment of the control terminal of FIG. 4 .
9 is a view showing the structure of the earthquake-resistant device of the kiosk device of FIG.
10 and 11 are diagrams illustrating an operation example of a virtual mobility control system based on a smartphone according to a first embodiment of the present invention.
12 to 14 are diagrams illustrating an operation example of a virtual mobility control system based on a smartphone according to a second embodiment of the present invention.
15 is a diagram illustrating an additional configuration of the virtualization server of FIG. 3 .

이하에서는 첨부된 도면을 참조하여 다양한 실시 예를 보다 상세하게 설명한다. 본 명세서에 기재된 실시 예는 다양하게 변형될 수 있다. 특정한 실시예가 도면에서 묘사되고 상세한 설명에서 자세하게 설명될 수 있다. 그러나 첨부된 도면에 개시된 특정한 실시 예는 다양한 실시 예를 쉽게 이해하도록 하기 위한 것일 뿐이다. 따라서 첨부된 도면에 개시된 특정 실시 예에 의해 기술적 사상이 제한되는 것은 아니며, 발명의 사상 및 기술 범위에 포함되는 모든 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, various embodiments will be described in more detail with reference to the accompanying drawings. The embodiments described herein may be variously modified. Certain embodiments may be depicted in the drawings and described in detail in the detailed description. However, the specific embodiments disclosed in the accompanying drawings are only for easy understanding of various embodiments. Therefore, the technical spirit is not limited by the specific embodiments disclosed in the accompanying drawings, and it should be understood to include all equivalents or substitutes included in the spirit and scope of the invention.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 상술한 용어에 의해 한정되지는 않는다. 상술한 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including an ordinal number, such as first, second, etc., may be used to describe various elements, but these elements are not limited by the above-described terms. The above terminology is used only for the purpose of distinguishing one component from another component.

본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.In this specification, terms such as "comprises" or "have" are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof. When a component is referred to as being “connected” or “connected” to another component, it is understood that the other component may be directly connected or connected to the other component, but other components may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that no other element is present in the middle.

한편, 본 명세서에서 사용되는 구성요소에 대한 "모듈" 또는 "부"는 적어도 하나의 기능 또는 동작을 수행한다. 그리고 "모듈" 또는 "부"는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 기능 또는 동작을 수행할 수 있다. 또한, 특정 하드웨어에서 수행되어야 하거나 적어도 하나의 프로세서에서 수행되는 "모듈" 또는 "부"를 제외한 복수의 "모듈들" 또는 복수의 "부들"은 적어도 하나의 모듈로 통합될 수도 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Meanwhile, as used herein, a “module” or “unit” for a component performs at least one function or operation. And “module” or “unit” may perform a function or operation by hardware, software, or a combination of hardware and software. In addition, a plurality of “modules” or a plurality of “units” other than a “module” or “unit” that must be performed in specific hardware or are executed in at least one processor may be integrated into at least one module. The singular expression includes the plural expression unless the context clearly dictates otherwise.

그 밖에도, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.In addition, in describing the present invention, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be abbreviated or omitted.

도 1은 본 발명의 실시예에 따른 스마트폰에 기반한 가상 모빌리티 컨트롤 시스템의 구성을 개략적으로 나타낸 도면이며, 도 2는 도 1의 스마트폰의 세부 구성을 나타낸 도면이며, 도 3은 도 1의 가상화 서버의 세부 구성을 나타낸 도면이며, 도 4는 도 1의 제어 단말의 세부 구성을 나타낸 도면이다.1 is a diagram schematically showing the configuration of a virtual mobility control system based on a smartphone according to an embodiment of the present invention, FIG. 2 is a diagram showing the detailed configuration of the smartphone of FIG. 1, and FIG. 3 is the virtualization of FIG. It is a diagram showing the detailed configuration of the server, and FIG. 4 is a diagram showing the detailed configuration of the control terminal of FIG. 1 .

도 1을 참조하면, 스마트폰에 기반한 가상 모빌리티 컨트롤 시스템(이하에서는 '시스템'이라 칭하도록 한다.)은 스마트폰(10), 가상화 서버(20) 및 제어 단말(30)을 포함한다.Referring to FIG. 1 , a smart phone-based virtual mobility control system (hereinafter, referred to as a 'system') includes a smart phone 10 , a virtualization server 20 , and a control terminal 30 .

스마트폰(10)은 가상화 서버(20)에 접속하여 가상화 서버(20)로부터 제공된 가상 어플리케이션을 실행한다.The smartphone 10 connects to the virtualization server 20 and executes a virtual application provided from the virtualization server 20 .

이때, 스마트폰(10)은 가상화 서버(20)의 서버 접속용 인식 코드를 촬영해 취득한 링크를 통해 가상화 서버(20)에 접속하여 가상 어플리케이션을 실행할 수 있다.At this time, the smart phone 10 may connect to the virtualization server 20 through a link obtained by photographing the recognition code for server connection of the virtualization server 20 and execute a virtual application.

스마트폰(10)은 가상 어플리케이션을 실행함으로써 가상화 서버(20)로부터 제공되는 가상 모빌리티 제어 화면을 디스플레이에 표시할 수 있다.The smart phone 10 may display the virtual mobility control screen provided from the virtualization server 20 on the display by executing the virtual application.

이에, 스마트폰(10)은 가상 모빌리티 제어 화면 상의 인터페이스를 조작하거나 스마트폰(10)의 움직임을 통해, 가상화 서버(20)와 연동된 제어 단말(30)의 디스플레이에 표시된 가상 모델 화면 상의 대상물을 제어할 수 있게 된다.Accordingly, the smartphone 10 manipulates the interface on the virtual mobility control screen or through the movement of the smartphone 10, the object on the virtual model screen displayed on the display of the control terminal 30 interlocked with the virtualization server 20 be able to control

이를 위해, 스마트폰(10)은 가상 모빌리티 제어 화면 상의 버튼 조작 정보, 또는 사용자의 조작에 따른 스마트폰(10)의 동작 인식 정보를 포함하는 제어 메시지를 생성하여 가상화 서버(20)로 제공한다.To this end, the smart phone 10 generates a control message including button manipulation information on the virtual mobility control screen, or motion recognition information of the smart phone 10 according to a user's manipulation, and provides it to the virtualization server 20 .

가상화 서버(20)는 클라우드 컴퓨팅 환경에서 구현되는 컴퓨터 장치일 수 있다.The virtualization server 20 may be a computer device implemented in a cloud computing environment.

가상화 서버(20)는 클라우드 컴퓨팅 환경에서 적어도 하나 이상의 프로세서를 실행하고, 적어도 하나 이상의 프로세서는 가상화 환경에서 가상 모델 화면을 구성하여 제어 단말(30)의 디스플레이를 통해 표시되도록 할 수 있다.The virtualization server 20 may execute at least one processor in a cloud computing environment, and the at least one processor may configure a virtual model screen in the virtualization environment to be displayed through the display of the control terminal 30 .

가상화 서버(20)는 제어 단말(30)에서 실행되는 프로그램 또는 어플리케이션을 통해 제어 단말(30)과 네트워크로 연결될 수 있다.The virtualization server 20 may be connected to the control terminal 30 and the network through a program or application executed in the control terminal 30 .

또한, 가상화 서버(20)는 가상 모델 화면 상의 가상 모델 혹은 가상 환경의 제어가 가능한 가상 어플리케이션을 스마트폰(10)에 제공하고, 가상 어플리케이션의 실행 화면을 구성하여 스마트폰(10)으로 제공한다.In addition, the virtualization server 20 provides a virtual application capable of controlling a virtual model or virtual environment on the virtual model screen to the smartphone 10 , configures an execution screen of the virtual application, and provides it to the smartphone 10 .

가상화 서버(20)는 스마트폰(10)에서 실행되는 가상 어플리케이션을 통해 제어 메시지를 수신하면, 수신된 제어 메시지에 따라 가상 모델 화면을 실시간으로 재구성하여 제어 단말(30)의 디스플레이를 통해 실시간으로 표시되도록 한다.When the virtualization server 20 receives a control message through a virtual application running on the smart phone 10 , the virtual model screen is reconfigured in real time according to the received control message and displayed in real time through the display of the control terminal 30 . make it possible

제어 단말(30)은 미리 설치된 프로그램 또는 어플리케이션을 실행하여 가상화 서버(20)와 네트워크로 연결된다.The control terminal 30 is connected to the virtualization server 20 and the network by executing a pre-installed program or application.

제어 단말(30)은 가상화 서버(20)로부터 구성된 가상 모델 화면을 프로그램의 실행 화면 상에 표시할 수 있다.The control terminal 30 may display the virtual model screen configured from the virtualization server 20 on the execution screen of the program.

이때, 제어 단말(30)은 프로그램의 시작 화면에 서버 접속용 인식 코드를 출력할 수 있다. 따라서, 사용자는 프로그램의 시작 화면에 표시된 서버 접속용 인식 코드를 확인하고, 이를 스마트폰(10)의 카메라로 촬영함으로써 가상화 서버(20)에 접속 가능한 링크 정보를 획득할 수 있다.In this case, the control terminal 30 may output the recognition code for server connection on the start screen of the program. Accordingly, the user can obtain link information accessible to the virtualization server 20 by checking the recognition code for server connection displayed on the start screen of the program, and photographing it with the camera of the smart phone 10 .

스마트폰(10)의 세부 구성 설명은 도 2를 참조한다.For a detailed configuration description of the smartphone 10, refer to FIG. 2 .

도 2를 참조하면, 스마트폰(10)은 단말 제어부(11), 입출력 인터페이스부(12), 센서부(13), 통신부(14), 저장부(15) 및 어플리케이션 실행부(16)를 포함한다.Referring to FIG. 2 , the smartphone 10 includes a terminal control unit 11 , an input/output interface unit 12 , a sensor unit 13 , a communication unit 14 , a storage unit 15 , and an application execution unit 16 . do.

단말 제어부(11)는 스마트폰(10)의 각 구성요소의 동작을 제어하며, 각 구성요소 간에 전달되는 신호를 처리한다.The terminal control unit 11 controls the operation of each component of the smartphone 10 and processes signals transmitted between each component.

단말 제어부(11)는 통신부(14)를 통한 신호의 송수신을 제어하며, 통신부(14)를 통해 수신된 데이터를 입출력 인터페이스부(12)의 디스플레이에 표시되도록 제어한다.The terminal control unit 11 controls transmission and reception of signals through the communication unit 14 , and controls data received through the communication unit 14 to be displayed on the display of the input/output interface unit 12 .

또한, 단말 제어부(11)는 가상화 서버(20)로의 접속을 시도하고, 가상 어플리케이션을 설치하는 일련의 동작을 제어한다.In addition, the terminal control unit 11 attempts to connect to the virtualization server 20 and controls a series of operations for installing a virtual application.

입출력 인터페이스부(12)는 사용자로부터의 제어 명령을 입력 받기 위한 입력수단과 스마트폰(10)의 동작 상태 및 결과 등을 출력하는 출력수단을 포함할 수 있다.The input/output interface unit 12 may include an input unit for receiving a control command from a user and an output unit for outputting the operating state and result of the smart phone 10 .

여기서, 입력수단은 키 버튼을 포함할 수 있으며, 디스플레이 상에 구현되는 소프트 키를 포함할 수도 있다.Here, the input means may include a key button, and may include a soft key implemented on a display.

출력수단은 디스플레이를 포함할 수 있으며, 스피커와 같은 음성출력수단을 포함할 수도 있다.The output means may include a display, and may include an audio output means such as a speaker.

일 예로서, 출력수단은 가상화 서버(20) 접속 시 실행되는 가상 어플리케이션의 실행 화면을 디스플레이에 표시할 수 있으며, 제어 단말(30)에 표시된 대상물의 제어를 위한 조작 화면을 디스플레이에 추가로 표시할 수 있다.As an example, the output means may display an execution screen of a virtual application executed when the virtualization server 20 is connected on the display, and additionally display an operation screen for controlling an object displayed on the control terminal 30 on the display. can

또한, 출력수단은 스마트폰(10)의 키 조작 또는 동작 인식에 따라 변화하는 실행 화면을 디스플레이에 표시할 수도 있다.In addition, the output means may display an execution screen that changes according to the key manipulation or operation recognition of the smart phone 10 on the display.

이때, 터치 필름, 터치 시트, 터치 패드 등의 터치 센서가 디스플레이에 구비되는 경우, 디스플레이는 터치 스크린으로 동작하며, 입력수단과 출력수단이 통합된 형태로 구현될 수 있다.In this case, when a touch sensor such as a touch film, a touch sheet, or a touch pad is provided in the display, the display operates as a touch screen, and the input means and the output means are integrated.

이때, 디스플레이는 액정 디스플레이(LCD), 박막 트랜지스터 액정 디스플레이(TFT LCD), 유기 발광 다이오드(OLED), 플렉시블 디스플레이, 전계 방출 디스플레이(FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.In this case, the display may include at least one of a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT LCD), an organic light emitting diode (OLED), a flexible display, a field emission display (FED), and a three-dimensional display (3D display). have.

센서부(13)는 카메라 센서 및 동작 인식 센서 등을 포함할 수 있다.The sensor unit 13 may include a camera sensor and a motion recognition sensor.

카메라 센서는 가상화 서버(20)로의 접속을 위한 서버 접속용 인식 코드를 촬영할 수 있다. 일 예로, 서버 접속용 인식 코드는 가상화 서버(20)의 접속 링크 정보를 포함하는 QR 코드일 수 있다.The camera sensor may photograph the recognition code for server connection for connection to the virtualization server 20 . As an example, the recognition code for server connection may be a QR code including connection link information of the virtualization server 20 .

카메라 센서에 의해 서버 접속용 인식 코드 촬영 시, 단말 제어부(11)는 가상화 서버(20)의 접속 링크 정보를 취득하여 디스플레이에 표시할 수 있다.When capturing the recognition code for server connection by the camera sensor, the terminal control unit 11 may acquire connection link information of the virtualization server 20 and display it on the display.

동작 인식 센서는 사용자의 동작에 따른 스마트폰(10)의 3축 방향의 가속도 및 각속도를 감지하는 가속도 센서 및 자이로 센서를 포함할 수 있다.The gesture recognition sensor may include an acceleration sensor and a gyro sensor that detect acceleration and angular velocity in the three-axis direction of the smartphone 10 according to a user's motion.

동작 인식 센서는 가상 어플리케이션 실행 시 활성화될 수 있다.The gesture recognition sensor may be activated when the virtual application is executed.

동작 인식 센서는 스마트폰(10)의 움직임을 인식하고, 인식 정보를 어플리케이션 실행부(16)로 인가한다. 이에, 어플리케이션 실행부(16)는 동작 인식 센서에 의해 인식된 동작 정보에 기초하여 가상 어플리케이션에 대응되는 제어 메시지를 생성하고, 이를 통신부를 통해 가상화 서버(20)로 송신할 수 있다.The motion recognition sensor recognizes the movement of the smart phone 10 and applies the recognition information to the application execution unit 16 . Accordingly, the application execution unit 16 may generate a control message corresponding to the virtual application based on the motion information recognized by the motion recognition sensor, and transmit it to the virtualization server 20 through the communication unit.

어플리케이션 실행부(16)는 가상화 서버(20) 접속 시에 가상화 서버(20)로부터 제공된 가상 어플리케이션을 실행한다. 어플리케이션 실행부(16)는 가상 어플리케이션 실행 시 가상화 서버(20)로부터의 가상 어플리케이션 실행 화면을 구현하여 디스플레이에 표시할 수 있다.The application execution unit 16 executes a virtual application provided from the virtualization server 20 when the virtualization server 20 is connected. The application execution unit 16 may implement a virtual application execution screen from the virtualization server 20 and display it on the display when the virtual application is executed.

여기서, 가상 어플리케이션 실행 화면은 가상 모델 화면에 표시된 대상물 이미지, 가상 모델 화면에 표시되는 가상 모델의 크기, 색상, 라이트 동작 등을 제어하기 위한 하나 이상의 버튼을 구비한 조작 화면을 포함할 수 있다.Here, the virtual application execution screen may include a manipulation screen having one or more buttons for controlling an object image displayed on the virtual model screen, a size, color, and light operation of a virtual model displayed on the virtual model screen.

또한, 어플리케이션 실행부(16)는 스마트폰(10)의 동작 상태 및/또는 가상 어플리케이션 실행 화면 내의 버튼 조작 인식 상태를 실시간으로 감시한다.In addition, the application execution unit 16 monitors the operation state of the smartphone 10 and/or the button operation recognition state in the virtual application execution screen in real time.

통신부(14)는 가상화 서버(20) 및/또는 제어 단말(30)과의 통신을 위한 통신모듈을 포함할 수 있다. The communication unit 14 may include a communication module for communication with the virtualization server 20 and/or the control terminal 30 .

일 예로, 통신모듈은 가상화 서버(20)와 네트워크로 연결되어 가상화 서버(20)로부터 제공되는 가상 어플리케이션을 수신할 수 있다. 또한, 통신모듈은 가상 어플리케이션이 실행되는 동안 생성된 제어 메시지를 가상화 서버(20)로 송신한다. 통신모듈은 제어 메시지가 생성될 때마다 실시간으로 가상화 서버(20)로 송신할 수 있다.For example, the communication module may be connected to the virtualization server 20 through a network to receive a virtual application provided from the virtualization server 20 . In addition, the communication module transmits a control message generated while the virtual application is running to the virtualization server 20 . The communication module may transmit a control message to the virtualization server 20 in real time whenever a control message is generated.

여기서, 통신모듈은 무선 인터넷 통신, 근거리 통신(Short Range Communication) 또는 유선 통신을 위한 통신 인터페이스를 지원하는 모듈일 수 있다.Here, the communication module may be a module supporting a communication interface for wireless Internet communication, short range communication, or wired communication.

무선 인터넷 기술로는 무선랜(WLAN), 와이브로(Wibro), 와이파이(Wi-Fi), 와이맥스(Wimax) 등이 포함될 수 있다.The wireless Internet technology may include a wireless LAN (WLAN), Wibro, Wi-Fi, Wimax, and the like.

또한, 근거리 통신 기술로는 블루투스(Bluetooth), 지그비(ZigBee), UWB(Ultra Wideband), RFID(Radio Frequency Identification), 적외선통신(Infrared Data Association, IrDA) 등이 포함될 수 있다.In addition, the short-range communication technology may include Bluetooth, ZigBee, Ultra Wideband (UWB), Radio Frequency Identification (RFID), Infrared Data Association (IrDA), and the like.

유선 통신 기술로는 USB(Universal Serial Bus) 통신 등이 포함될 수 있다.The wired communication technology may include Universal Serial Bus (USB) communication and the like.

저장부(15)는 스마트폰(10)이 동작하는데 필요한 데이터 및/또는 알고리즘 등을 저장할 수 있다. The storage unit 15 may store data and/or algorithms required for the smart phone 10 to operate.

일 예로서, 저장부(15)는 가상화 서버(20)의 접속 정보가 저장될 수 있으며, 가상 어플리케이션의 실행 정보가 저장될 수도 있다. 또한, 저장부(15)는 스마트폰(10)의 동작 인식 또는 가상 어플리케이션의 실행 화면 내 버튼 조작 인식에 따라 제어 단말(30)의 디스플레이에 표시된 가상 모델 화면을 제어하기 위한 명령 및/또는 알고리즘 등이 저장될 수 있다.As an example, the storage unit 15 may store access information of the virtualization server 20 and may store execution information of a virtual application. In addition, the storage unit 15 is a command and/or algorithm for controlling the virtual model screen displayed on the display of the control terminal 30 according to the operation recognition of the smart phone 10 or the recognition of button manipulations in the execution screen of the virtual application, etc. This can be saved.

여기서, 저장부(15)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), RAM(Random Access Memory), SRAM(Static Random Access Memory), ROM(Read-Only Memory), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory)와 같은 저장매체를 포함할 수 있다.Here, the storage unit 15 is a flash memory type (Flash Memory Type), a hard disk type (Hard Disk Type), a multimedia card micro type (Multimedia Card Micro Type), a card type memory (eg, SD or XD memory) etc.), RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory), PROM (Programmable Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), etc. may include

본 발명에서는 스마트폰(10)을 통해 가상 모델 화면을 제어하는 기술에 대해 개시하였으나, 실시 형태에 따라 가상화 서버(20)와의 통신 서비스를 지원하면서 휴대가 용이한 전자 단말이라면 어느 것이든 해당될 수도 있다.In the present invention, the technology for controlling the virtual model screen through the smartphone 10 has been disclosed, but according to the embodiment, any electronic terminal that is easy to carry while supporting a communication service with the virtualization server 20 may be applicable. have.

가상화 서버(20)의 세부 구성은 도 3을 참조하도록 한다.The detailed configuration of the virtualization server 20 is to refer to FIG.

도 3을 참조하면, 가상화 서버(20)는 통신부(21), 서버 제어부(22) 및 DB(23)를 포함한다.Referring to FIG. 3 , the virtualization server 20 includes a communication unit 21 , a server control unit 22 , and a DB 23 .

통신부(21)는 가상화 서버(20) 및 제어 단말(30)과의 네트워크 통신을 지원하는 통신모듈을 포함할 수 있다. The communication unit 21 may include a communication module supporting network communication with the virtualization server 20 and the control terminal 30 .

여기서, 통신모듈은 무선 인터넷 통신, 근거리 통신(Short Range Communication) 또는 유선 통신을 위한 통신 인터페이스를 지원하는 모듈일 수 있다.Here, the communication module may be a module supporting a communication interface for wireless Internet communication, short range communication, or wired communication.

서버 제어부(22)는 제어 단말(30)에 설치된 프로그램 또는 어플리케이션을 통해 제어 단말(30)의 정보를 관리할 수 있다. The server control unit 22 may manage information of the control terminal 30 through a program or an application installed in the control terminal 30 .

서버 제어부(22)는 제어 단말(30)에 설치된 프로그램 또는 어플리케이션이 실행되면 제어 단말(30)과 연동된다. 이때, 서버 제어부(22)는 미리 정해진 대상물에 대한 가상 모델 화면을 구성하여 제어 단말(30)의 디스플레이 화면을 통해 표시되도록 한다.The server control unit 22 interworks with the control terminal 30 when a program or application installed in the control terminal 30 is executed. In this case, the server control unit 22 configures a virtual model screen for a predetermined object to be displayed through the display screen of the control terminal 30 .

또한, 서버 제어부(22)는 서버 접속용 인식 코드를 통해 가상화 서버(20)에 접속한 스마트폰(10)으로 가상 어플리케이션을 제공할 수 있다. 서버 제어부(22)는 가상 어플리케이션을 통해 소정의 제어 정보를 포함하는 제어 메시지가 수신되면, 제어 메시지를 가상 모델 화면을 구성하는 프로세서로 제어 메시지를 전달할 수 있다.In addition, the server control unit 22 may provide a virtual application to the smart phone 10 connected to the virtualization server 20 through the server connection recognition code. When a control message including predetermined control information is received through the virtual application, the server controller 22 may transmit the control message to a processor configuring the virtual model screen.

서버 제어부(22)는 적어도 하나 이상의 프로세서를 실행할 수 있다. 여기서, 프로세서는 중앙 처리 장치(CPU) 또는 메모리 및/또는 스토리지에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다.The server control unit 22 may execute at least one or more processors. Here, the processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in memory and/or storage.

또한, 프로세서는 가상 프로세서를 포함할 수도 있다. 가상 프로세서는 클라우드 컴퓨팅 환경에서 구현되는 가상화 환경에서 DB(23)에 저장된 가상화 엔진을 호출하여 실행할 수 있다.In addition, the processor may include a virtual processor. The virtual processor may be executed by calling a virtualization engine stored in the DB 23 in a virtualization environment implemented in a cloud computing environment.

가상화 엔진은 클라우드의 물리적 자원들을 이용하여 가상 모델 화면을 재구성할 수 있다.The virtualization engine may reconstruct the virtual model screen using physical resources of the cloud.

여기서, 가상화 엔진은 스마트폰(10)으로부터 수신된 제어 메시지에 포함된 제어 정보에 기초하여 가상 모델 화면을 실시간으로 재구성하고, 재구성한 가상 모델 화면을 통신부를 통해 제어 단말(30)로 실시간 송신한다.Here, the virtualization engine reconstructs the virtual model screen in real time based on the control information included in the control message received from the smart phone 10, and transmits the reconstructed virtual model screen to the control terminal 30 through the communication unit in real time. .

가상화 엔진은 서로 다른 방식으로 가상 모델 화면을 구성하는 가상화 엔진A(231) 및 가상화 엔진B(232)를 포함할 수 있으며, 그 외에서 복수 개의 가상화 엔진이 포함될 수 있다. 일 예로, 가상화 엔진A(231)는 언리얼 엔진(Unreal Engine)이고, 가상화 엔진B(232)는 유니티 엔진(Unity Engine) 일 수 있다.The virtualization engine may include a virtualization engine A 231 and a virtualization engine B 232 that configure a virtual model screen in different ways, and in addition, a plurality of virtualization engines may be included. For example, the virtualization engine A 231 may be an Unreal engine, and the virtualization engine B 232 may be a Unity engine.

언리얼 엔진은 대상물의 컨피규레이팅에 기반한 가상 모델 화면에서 스마트폰(10)의 제어 메시지에 따른 제어 정보를 가상 모델 화면에 실시간으로 반영하여 수정할 수 있다.The Unreal Engine may reflect and modify control information according to the control message of the smartphone 10 on the virtual model screen in real time on the virtual model screen based on the configuration of the object.

유니티 엔진은 대상물의 움직임에 기반한 가상 모델 화면에서 스마트폰(10)의 제어 메시지에 따른 제어 정보를 가상 모델 화면에 실시간으로 반영하여 수정할 수 있다.The Unity engine may reflect and modify control information according to the control message of the smart phone 10 on the virtual model screen in real time on the virtual model screen based on the movement of the object.

서버 제어부(22)는 스마트폰(10) 및 제어 단말(30)과 네트워크 연결 시, 스마트폰(10) 및 제어 단말(30) 각각에 대한 인증 절차를 수행할 수도 있다.The server control unit 22 may perform an authentication procedure for each of the smart phone 10 and the control terminal 30 when the smart phone 10 and the control terminal 30 and the network are connected.

제어 단말(30)의 세부 구성은 도 4를 참조하도록 한다.For a detailed configuration of the control terminal 30, refer to FIG. 4 .

도 4를 참조하면, 제어 단말(30)은 신호 처리부(31), 통신부(32), 저장부(33) 및 디스플레이(34)를 포함한다.Referring to FIG. 4 , the control terminal 30 includes a signal processing unit 31 , a communication unit 32 , a storage unit 33 , and a display 34 .

신호 처리부(31)는 사용자의 요청에 따라 사전에 미리 설치된 프로그램 또는 어플리케이션을 실행한다. 이때 통신부(32)는 실행된 프로그램 또는 어플리케이션을 통해 가상화 서버(20)와 네트워크로 연결될 수 있다.The signal processing unit 31 executes a pre-installed program or application according to a user's request. At this time, the communication unit 32 may be connected to the virtualization server 20 and the network through an executed program or application.

신호 처리부(31)는 미리 설치된 프로그램 또는 어플리케이션의 실행 화면을 디스플레이(34)에 표시되도록 한다.The signal processing unit 31 displays an execution screen of a pre-installed program or application on the display 34 .

디스플레이(34)는 신호 처리부(31)의 제어에 따라 미리 설치된 프로그램 또는 어플리케이션의 실행 화면을 표시한다. 디스플레이(34)는 프로그램 또는 어플리케이션의 실행 시, 도 5에 도시된 바와 같이, 실행 화면 상에 서버 접속용 인식 코드(341)를 추가로 표시할 수 있다. 이에, 사용자는 자신의 스마트폰(10) 카메라를 이용하여 디스플레이(34)의 실행 화면 상에 표시된 서버 접속용 인식 코드(341)를 촬영함으로써 가상화 서버(20)로의 접속을 위한 링크 정보(111)를 획득하는 것이 가능하게 된다.The display 34 displays an execution screen of a pre-installed program or application under the control of the signal processing unit 31 . When the program or application is executed, the display 34 may additionally display the recognition code 341 for server connection on the execution screen as shown in FIG. 5 . Accordingly, the user uses his/her smartphone 10 camera to photograph the server connection recognition code 341 displayed on the execution screen of the display 34 , thereby providing link information 111 for connection to the virtualization server 20 . becomes possible to obtain.

이때, 통신부(32)는 네트워크로 연결된 가상화 서버(20)로부터 지정된 대상물에 대응되는 가상 모델 화면을 수신할 수 있다. 신호 처리부(31)는 통신부(32)를 통해 수신된 가상 모델 화면을 디스플레이(34)에 실시간으로 표시한다.At this time, the communication unit 32 may receive a virtual model screen corresponding to the designated object from the virtualization server 20 connected to the network. The signal processing unit 31 displays the virtual model screen received through the communication unit 32 on the display 34 in real time.

여기서, 디스플레이(34)에 표시되는 가상 모델 화면은 가상화 서버(20)의 언리얼 엔진에 의해 구성된 컨피규레이팅에 기반한 가상 모델 화면일 수 있다. Here, the virtual model screen displayed on the display 34 may be a virtual model screen based on the configuration configured by the Unreal engine of the virtualization server 20 .

한편, 디스플레이(34)에 표시되는 가상 모델 화면은 가상화 서버(20)의 유니티 엔진에 의해 구성된 가상 모델 화면일 수 있다.Meanwhile, the virtual model screen displayed on the display 34 may be a virtual model screen configured by the Unity engine of the virtualization server 20 .

스마트폰(10)의 버튼 조작 또는 동작 인식에 의한 제어 정보를 실시간으로 반영하여 구성된 가상 모델 화면의 실시예는 도 10 내지 도 14를 참조하도록 한다.An embodiment of a virtual model screen configured by reflecting control information by button manipulation or gesture recognition of the smartphone 10 in real time will be described with reference to FIGS. 10 to 14 .

통신부(32)는 가상화 서버(20)와의 통신을 위한 통신모듈을 포함할 수 있다. The communication unit 32 may include a communication module for communication with the virtualization server 20 .

일 예로, 통신모듈은 가상화 서버(20)와 네트워크로 연결되어 가상화 서버(20)로부터 제공되는 가상 모델 화면을 수신할 수 있다. For example, the communication module may be connected to the virtualization server 20 through a network to receive a virtual model screen provided from the virtualization server 20 .

여기서, 통신모듈은 무선 인터넷 통신, 근거리 통신(Short Range Communication) 또는 유선 통신을 위한 통신 인터페이스를 지원하는 모듈일 수 있다.Here, the communication module may be a module supporting a communication interface for wireless Internet communication, short range communication, or wired communication.

무선 인터넷 기술로는 무선랜(WLAN), 와이브로(Wibro), 와이파이(Wi-Fi), 와이맥스(Wimax) 등이 포함될 수 있다.The wireless Internet technology may include a wireless LAN (WLAN), Wibro, Wi-Fi, Wimax, and the like.

또한, 근거리 통신 기술로는 블루투스(Bluetooth), 지그비(ZigBee), UWB(Ultra Wideband), RFID(Radio Frequency Identification), 적외선통신(Infrared Data Association, IrDA) 등이 포함될 수 있다.In addition, the short-range communication technology may include Bluetooth, ZigBee, Ultra Wideband (UWB), Radio Frequency Identification (RFID), Infrared Data Association (IrDA), and the like.

유선 통신 기술로는 USB(Universal Serial Bus) 통신 등이 포함될 수 있다.The wired communication technology may include Universal Serial Bus (USB) communication and the like.

저장부(33)는 제어 단말(30)이 동작하는데 필요한 데이터 및/또는 알고리즘 등을 저장할 수 있다. The storage unit 33 may store data and/or algorithms required for the control terminal 30 to operate.

일 예로서, 저장부(33)는 사전에 미리 설치되어 가상화 서버(20)와 연동되어 가상 모델 화면을 표시하기 위한 프로그램 또는 어플리케이션이 저장될 수 있다. 또한, 저장부(33)는 가상화 서버(20)로부터 실시간으로 수신되는 가상 모델 화면 또는 화면 구성 정보가 저장될 수도 있다.As an example, the storage unit 33 may be pre-installed in advance and interwork with the virtualization server 20 to store a program or application for displaying a virtual model screen. Also, the storage unit 33 may store a virtual model screen or screen configuration information received in real time from the virtualization server 20 .

여기서, 저장부(33)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), RAM(Random Access Memory), SRAM(Static Random Access Memory), ROM(Read-Only Memory), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory)와 같은 저장매체를 포함할 수 있다.Here, the storage unit 33 is a flash memory type (Flash Memory Type), a hard disk type (Hard Disk Type), a multimedia card micro type (Multimedia Card Micro Type), a card type memory (for example, SD or XD memory) etc.), RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory), PROM (Programmable Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), etc. may include

한편, 제어 단말(30)은 신호 처리부(31)에 의해 미리 설치된 프로그램 또는 어플리케이션 실행 시 동작 온(ON) 되는 카메라(35)를 더 포함할 수 있다.Meanwhile, the control terminal 30 may further include a camera 35 that is turned on when a program or application installed in advance by the signal processing unit 31 is executed.

도 6은 도 4의 제어 단말에 대한 카메라 구성 및 동작을 나타낸 도면이고 도 7은 도 6의 반사 물체의 구성을 개략적으로 나타낸 도면이다.FIG. 6 is a diagram illustrating the configuration and operation of a camera for the control terminal of FIG. 4 , and FIG. 7 is a diagram schematically illustrating the configuration of the reflective object of FIG. 6 .

도 6 및 도 7을 참조하면, 카메라(35)는 카메라 렌즈, 카메라 렌즈 주위에 배열된 적외선 발광부, 및 적외선 발광부로부터 발광되며 카메라의 전방에 위치한 소정의 반사 물체에 의해 반사되어 카메라 렌즈로 입사되는 적외선을 감지하여 영상을 촬영하는 적외선 카메라 모듈을 포함할 수 있다.6 and 7 , the camera 35 emits light from the camera lens, an infrared light emitting unit arranged around the camera lens, and an infrared light emitting unit and is reflected by a predetermined reflective object located in front of the camera to the camera lens. It may include an infrared camera module for capturing an image by sensing incident infrared rays.

적외선 발광부는 복수 개의 적외선 발광소자가 카메라 렌즈의 주변을 따라 원 형상으로 배열되며, 원 형상으로 배열된 복수 개의 적외선 발광소자가 일체형으로 결합된 하나의 조립체 형태로 형성될 수 있다.In the infrared light emitting unit, a plurality of infrared light emitting devices are arranged in a circular shape along the periphery of the camera lens, and a plurality of infrared light emitting devices arranged in a circular shape may be formed in an assembly form in which they are integrally combined.

도면에는 도시하지 않았으나, 적외선 발광부의 전면에는 적외선 광원을 전방의 지정된 촬영 영역으로 방사하도록 적외선 분포를 조절하는 방사 조절 장치가 추가로 설치될 수 있다.Although not shown in the drawings, a radiation control device for controlling the distribution of infrared rays to radiate an infrared light source to a designated photographing area in front may be additionally installed on the front surface of the infrared light emitting unit.

방사 조절 장치는 방사 패널 및 방사 패널의 각도를 조절하는 각도 조절부를 포함할 수 있다.The radiation control device may include a radiation panel and an angle control unit for adjusting angles of the radiation panel.

방사 패널은 적외선 발광소자에 의해 발광된 적외선이 입사되면, 소정 각도로 굴절시켜 전면으로 방사시킨다.When the infrared light emitted by the infrared light emitting device is incident on the radiation panel, it is refracted at a predetermined angle and radiated to the front side.

각도 조절부는 카메라 본체에 고정되는 제1 연결부재, 방사 패널의 일측에 고정되는 제2 연결부재, 및 회전축을 기준으로 제1 연결부재 및 제2 연결부재가 교차하도록 설치되는 회전부재를 포함한다.The angle adjusting unit includes a first connecting member fixed to the camera body, a second connecting member fixed to one side of the radiation panel, and a rotating member installed so that the first connecting member and the second connecting member intersect with respect to a rotation axis.

회전부재의 회전축을 기준으로 제1 연결부재 및 제2 연결부재가 이루는 사이각을 조절함에 따라 방사 패널의 방사 각도가 조절될 수 있다. The radiation angle of the radiation panel may be adjusted by adjusting the angle between the first and second connection members based on the rotational axis of the rotating member.

적외선 카메라 모듈은 카메라 렌즈로 적외선이 입사되면, 입사된 적외선을 전기적인 아날로그 신호로 변환하고, 변환된 아날로그 신호를 샘플링하여 디지털 영상 신호로 변환할 수 있다.When infrared rays are incident on the camera lens, the infrared camera module may convert the incident infrared rays into electrical analog signals, and sample the converted analog signals to convert them into digital image signals.

신호 처리부(31)는 카메라(35)를 통해 입력되는 영상으로부터 카메라(35)의 촬영 영역을 기준으로 반사 물체(40)의 위치를 파악하고, 파악된 반사 물체(40)의 위치를 디스플레이(34)의 전체 화면 영역 중의 일 위치에 대응시켜 포인트(343)가 표시되도록 할 수 있다.The signal processing unit 31 determines the position of the reflective object 40 based on the photographing area of the camera 35 from the image input through the camera 35, and displays the position of the identified reflective object 40 on the display 34 ), the point 343 may be displayed in correspondence with one position in the entire screen area.

반사 물체(40)는 도 7에 도시된 바와 같이, 막대 형상의 몸체부(41) 및 몸체부(41)의 종단에 설치되어 광원을 반사시키는 반사 물질이 도포된 반사판(45)을 포함할 수 있다..As shown in FIG. 7, the reflective object 40 may include a rod-shaped body part 41 and a reflective plate 45 provided with a reflective material installed at the end of the body part 41 to reflect a light source. have..

반사판(45)은 제어 단말(30)의 카메라(35)를 향하도록 배치되는 경우, 적외선 발광부에 의해 방사된 적외선의 일부를 카메라 렌즈를 향해 반사한다.When the reflecting plate 45 is disposed to face the camera 35 of the control terminal 30 , a portion of infrared radiation emitted by the infrared light emitting unit is reflected toward the camera lens.

사용자는 반사판(45)이 카메라(35)를 향하도록 하고, 지정된 촬영 영역 내에서 반사판(45)의 위치를 자유롭게 이동시킬 수 있다.The user may direct the reflector 45 toward the camera 35 and freely move the position of the reflector 45 within a designated photographing area.

본 발명의 실시예에서는 반사 물체(40)가 막대 형상으로 형성된 것을 예로하였으나 이에 한정되는 것은 아니며, 일 영역에 반사판(45)을 포함하는 다양한 형태로 성형 가능하다.In the embodiment of the present invention, it is exemplified that the reflective object 40 is formed in a bar shape, but the present invention is not limited thereto, and may be molded into various shapes including the reflective plate 45 in one area.

신호 처리부(31)는 디스플레이(34)를 통해 가상화 서버(20)로부터 수신된 가상 모델 화면이 표시되는 동안 카메라(35)에 의해 인식된 반사 물체(40)의 위치 변화에 따라 포인트(343)의 위치를 가변시키고, 포인트(343)의 위치 변화에 따른 제어 정보를 포함하는 제어 메시지를 생성하여 가상화 서버(20)로 송신할 수 있다.The signal processing unit 31 is a point 343 according to a change in the position of the reflective object 40 recognized by the camera 35 while the virtual model screen received from the virtualization server 20 is displayed through the display 34 . The location may be changed, and a control message including control information according to the location change of the point 343 may be generated and transmitted to the virtualization server 20 .

이에 가상화 서버(20)는 제어 단말(30)로부터 수신된 제어 메시지에 포함된 제어 정보를 확인하고, 확인된 제어 정보를 가상화 엔진에 전달하여 가상 모델 화면을 수정하도록 한다.Accordingly, the virtualization server 20 checks the control information included in the control message received from the control terminal 30 , and transmits the checked control information to the virtualization engine to modify the virtual model screen.

가상화 서버(20)는 가상화 엔진에 의해 수정된 가상 모델 화면을 제어 단말(30)로 송신하여 디스플레이(34)에 수정된 가상 모델 화면이 표시되도록 한다.The virtualization server 20 transmits the virtual model screen modified by the virtualization engine to the control terminal 30 so that the modified virtual model screen is displayed on the display 34 .

이와 같이, 사용자는 제어 단말(30)의 카메라(35) 전면에서 반사 물체(40)의 위치를 이동시킴으로써 가상 모델 화면을 제어할 수도 있다.In this way, the user may control the virtual model screen by moving the position of the reflective object 40 in front of the camera 35 of the control terminal 30 .

여기서, 제어 단말(30)은 PC, 노트북 등과 같이 가상화 서버(20)에 의해 구성된 가상 모델 화면을 출력하기 위한 디스플레이(35)를 가지며, 가상화 서버(20)와 통신 가능한 단말이 해당될 수 있다.Here, the control terminal 30 has a display 35 for outputting a virtual model screen configured by the virtualization server 20 such as a PC, a notebook computer, etc., and may correspond to a terminal capable of communicating with the virtualization server 20 .

한편, 제어 단말(30)은 실외 또는 실내의 일 공간에 설치된 키오스크 장치일 수도 있다.Meanwhile, the control terminal 30 may be a kiosk device installed in an outdoor or indoor space.

도 8은 도 4의 제어 단말의 실시 예시도를 나타낸 도면이고, 도 9는 도 8의 키오스크 장치의 내진장치 구조를 나타낸 도면이다.8 is a diagram showing an exemplary embodiment of the control terminal of FIG. 4 , and FIG. 9 is a diagram showing the structure of the seismic device of the kiosk device of FIG. 8 .

도 8 및 도 9를 참조하면, 키오스크 장치는 본체의 전면에 삽입되어 고정 설치되며, 소정의 영상을 출력하거나, 디스플레이 화면을 통한 터치 입력을 받는 디스플레이(34)를 포함할 수 있으며, 디스플레이(34)의 하부에 설치되어 적외선을 발광하고, 적외선을 반사하는 반사 물체(40)의 위치를 인식하는 카메라(35)를 더 포함할 수 있다.8 and 9 , the kiosk device is inserted and fixedly installed in the front of the main body, and may include a display 34 that outputs a predetermined image or receives a touch input through a display screen, and the display 34 ) may further include a camera 35 for recognizing the position of the reflective object 40 that emits infrared rays and reflects infrared rays installed in the lower portion.

키오스크 장치는 디스플레이(34)를 통한 사용자의 터치 입력에 의해 미리 설치된 프로그램 또는 어플리케이션을 실행한다. The kiosk device executes a pre-installed program or application by a user's touch input through the display 34 .

사용자는 사용자의 스마트폰(10)을 이용하여 서버 접속용 인식 코드를 인식해 가상화 서버(20) 링크에 접속하여 가상 어플리케이션을 실행할 수 있다. 여기서, 서버 접속용 인식 코드는 키오스크 장치의 디스플레이(34)의 화면 상에 표시되거나, 혹은 키오스크 장치의 전면 일 영역(37)에 부착된 것일 수 있다.The user can use the user's smartphone 10 to recognize the recognition code for server connection, connect to the virtualization server 20 link, and execute a virtual application. Here, the recognition code for server connection may be displayed on the screen of the display 34 of the kiosk device, or may be attached to a front area 37 of the kiosk device.

이 경우, 디스플레이(34)는 가상화 서버(20)로부터 구성된 가상 모델 화면을 표시하고, 이때 디스플레이(34)에 표시된 가상 모델 화면은 사용자의 스마트폰(10) 조작에 따라 가상 모델 혹은 가상 환경이 실시간으로 변경될 수 있다.In this case, the display 34 displays a virtual model screen configured from the virtualization server 20 , and the virtual model screen displayed on the display 34 is a virtual model or virtual environment in real time according to the user's operation of the smartphone 10 . can be changed to

카메라(35)는 도 6에 도시된 카메라의 구성 및 동작과 동일하거나 유사하므로 이에 대한 중복 설명은 생략한다.Since the camera 35 is the same as or similar to the configuration and operation of the camera shown in FIG. 6 , a redundant description thereof will be omitted.

스마트폰(10) 조작에 따른 가상 모델 화면이 실시간으로 변경되는 실시예는 도 10 내지 도 14를 참조하도록 한다.An embodiment in which the virtual model screen according to manipulation of the smartphone 10 is changed in real time will be described with reference to FIGS. 10 to 14 .

한편, 키오스크 장치는 디스플레이(34)가 실장된 본체의 하부에 지면과 고정되도록 설치되어 본체를 고정하는 고정부재(100), 및 'ㄱ'자 형태로 절곡된 형상으로 형성되어 일 측이 본체의 양 측면에 끼워지도록 결합되며 타 측이 지면을 향하도록 설치되어 본체가 전면 또는 후면 방향으로 기울어지지 않도록 지지하는 지지부재(110) 및 지지부제(120)의 타 측 종단을 지면에 고정하며 지면으로부터 지지부재(12)로 전달되는 진동이나 충격을 흡수하는 내진장치(120)를 포함한다.On the other hand, the kiosk device is installed in the lower part of the main body on which the display 34 is mounted so as to be fixed to the ground, and is formed in a fixing member 100 for fixing the main body, and a bent shape in the 'L' shape, so that one side of the main body is formed. The other end of the support member 110 and the support member 120 that are coupled to be fitted on both sides and are installed so that the other side faces the ground so as not to incline the body in the front or rear direction are fixed to the ground and are removed from the ground. It includes a seismic device 120 for absorbing vibration or shock transmitted to the support member 12 .

고정부재(100)와 지면 사이에는 지면으로부터 발생되는 진동 또는 충격을 흡수하는 충격흡수패드가 설치될 수 있다.A shock absorbing pad for absorbing vibration or shock generated from the ground may be installed between the fixing member 100 and the ground.

지지부재(110)의 일 측은 내부 홈이 형성되고 일측이 개방된 'U'자 형상으로 형성되어 'U'자 형상의 내부 홈으로 본체가 수평방향으로 삽입되어 고정된다. 'U'자 형상의 내측 벽에는 탄성패드가 부착되어 본체와 결합 시의 결합력을 증대시킬 수 있다.One side of the support member 110 is formed in a 'U' shape with an inner groove and one side open, and the body is inserted into the 'U'-shaped inner groove in the horizontal direction and fixed. An elastic pad is attached to the inner wall of the 'U' shape to increase the coupling force when coupled to the body.

지지부재(110)의 타측은 내진장치(120)의 중앙부를 관통하는 통로에 삽입되어 내진장치의 제2 완충부에 고정 결합된다.The other side of the support member 110 is inserted into a passage passing through the central portion of the earthquake-resistant device 120 and is fixedly coupled to the second buffer portion of the earthquake-resistant device.

도 9를 참조하면, 내진장치(120)는 지면에 고정되게 설치되며, 지면으로부터 전달되는 진동이나 충격을 흡수하는 재질로 형성되며, 내측 중앙부를 수직 방향으로 관통하는 통로가 형성되는 제1 완충부(121), 및 제1 완충부(121)의 내측 통로 상에 삽입되도록 설치되며, 상부가 지지부재(110)의 타 측 종단에 고정 결합되고 하부가 지면에 고정 결합되어 지지부재(110)를 수직방향으로 탄력 지지하며, 지면으로부터 진동이나 충격이 전달되는 경우 제1 완충부(121)의 내측에 형성된 통로를 따라 수직 방향으로 상하 이동하며 충격을 흡수하는 제2 완충부를 포함한다.Referring to FIG. 9 , the earthquake-resistant device 120 is fixedly installed on the ground, is formed of a material that absorbs vibration or shock transmitted from the ground, and is a first buffer part having a passage penetrating the inner central part in a vertical direction. (121), and installed to be inserted into the inner passage of the first buffer unit 121, the upper portion is fixedly coupled to the other end of the support member 110, and the lower portion is fixedly coupled to the ground to support the support member 110 It elastically supports in the vertical direction, and moves up and down in the vertical direction along the passage formed inside the first buffer 121 when vibration or shock is transmitted from the ground, and includes a second buffer for absorbing shock.

제1 완충부(121)는 외측 표면이 보호 필름으로 코팅된 발포 합성수지 폼으로 형성된다.The first buffer portion 121 is formed of a synthetic resin foam having an outer surface coated with a protective film.

발포 합성수지 폼은 60 중량％ 이상의 저밀도 폴리에틸렌 수지에, 충전제, 발포제 및 산화방지제 등을 혼합하여 성형되며, 보호 필름은 폴리 올레핀계 필름 또는 폴리 염화 비닐로 형성될 수 있다.The foamed synthetic resin foam is molded by mixing 60% by weight or more of a low-density polyethylene resin with a filler, a foaming agent and an antioxidant, and the protective film may be formed of a polyolefin-based film or polyvinyl chloride.

제2 완충부는 제1 흡수체(123), 스프링(122) 및 제2 흡수체(124)를 포함한다.The second buffer includes a first absorber 123 , a spring 122 , and a second absorber 124 .

제1 흡수체(123)는 하측이 지면에 고정되어 지면으로부터 발생되는 진동 또는 충격을 흡수한다. 또한, 제1 흡수체(123)는 상측이 스프링에 고정 결합되어 스프링(122)을 지지한다.The lower side of the first absorber 123 is fixed to the ground to absorb vibration or shock generated from the ground. In addition, the upper side of the first absorber 123 is fixedly coupled to the spring to support the spring 122 .

스프링(122)은 하측이 제1 흡수체(123)의 상부에 고정 결합되고 상측이 제2 흡수체(124)의 하부에 고정 결합되어 수직 방향으로 발생하는 탄성력을 이용하여 지지부재(110)를 탄성 지지하며, 지면으로부터 발생되는 진동 또는 충격을 흡수한다.The spring 122 has a lower side fixedly coupled to the upper portion of the first absorber 123 and an upper side fixedly coupled to the lower portion of the second absorbent body 124 to elastically support the support member 110 using elastic force generated in the vertical direction. and absorbs vibrations or shocks generated from the ground.

제2 흡수체(124)는 하부가 스프링(122)의 상부에 고정 결합되고 상부가 지지부재(110)의 타 측 종단에 고정 결합되어 지지부재(110)를 지지한다.The second absorber 124 has a lower portion fixedly coupled to the upper portion of the spring 122 and an upper portion fixedly coupled to the other end of the support member 110 to support the support member 110 .

제1 흡수체(123) 및 제2 흡수체(124)는 내부에 충격을 흡수하는 폴리 우레탄계의 재질로 성형될 수 있다.The first absorber 123 and the second absorber 124 may be formed of a polyurethane-based material that absorbs shocks therein.

도 10 및 도 11은 본 발명의 제1 실시예에 따른 가상 모델 화면의 제어 동작을 나타낸 도면이다. 도 10 및 도 11의 실시예에서는 가상 모델 화면을 구성하는 대상물이 자동차인 것을 예로하였으나, 이에 한정되는 것은 아니다.10 and 11 are diagrams illustrating a control operation of a virtual model screen according to the first embodiment of the present invention. 10 and 11 , the object constituting the virtual model screen is an automobile as an example, but the present invention is not limited thereto.

도 10 및 도 11을 참조하면, 제어 단말(30)은 미리 설치된 프로그램 또는 어플리케이션을 실행하여 가상화 서버(20)에 접속하고, 이때 가상화 서버(20)는 지정된 대상물에 대한 가상 모델 화면을 구성하여 제어 단말(30)로 송신함으로써 제어 단말(30)의 디스플레이를 통해 가상 모델 화면이 표시되도록 한다.10 and 11 , the control terminal 30 executes a pre-installed program or application to access the virtualization server 20, and at this time, the virtualization server 20 configures and controls a virtual model screen for a specified object. By transmitting to the terminal 30 , the virtual model screen is displayed through the display of the control terminal 30 .

여기서, 가상화 서버(20)는 클라우드 컴퓨팅 환경에서 가상화 엔진, 예를 들어, 언리얼 엔진을 구동하고, 언리얼 엔진을 통해 대상물의 컨피규레이팅에 기반한 가상 모델 화면을 구성하고, 도 10과 같이, 가상 모델 화면을 제어 단말(30)의 디스플레이(34)에 표시되도록 한다.Here, the virtualization server 20 drives a virtualization engine, for example, Unreal Engine, in a cloud computing environment, configures a virtual model screen based on the configuration of an object through the Unreal Engine, and as shown in FIG. 10 , a virtual model A screen is displayed on the display 34 of the control terminal 30 .

스마트폰(10)은 가상화 서버(20) 접속 시, 가상화 서버(20)로부터 제공된 가상 어플리케이션을 실행하여 제어 단말(30)에 표시된 가상 모델 화면을 제어할 수 있다.The smart phone 10 may control the virtual model screen displayed on the control terminal 30 by executing a virtual application provided from the virtualization server 20 when the virtualization server 20 is connected.

스마트폰(10)은 가상 어플리케이션 실행 시 디스플레이에 가상 어플리케이션의 실행 화면(121)을 표시한다.The smartphone 10 displays the execution screen 121 of the virtual application on the display when the virtual application is executed.

가상 어플리케이션의 실행 화면(121)의 제1 영역에는 제어할 대상물, 즉, 제어 단말(30)의 디스플레이에 표시된 가상 모델 화면 상의 가상 모델 이미지가 표시될 수 있다.In the first area of the execution screen 121 of the virtual application, an object to be controlled, that is, a virtual model image on the virtual model screen displayed on the display of the control terminal 30 may be displayed.

또한, 가상 어플리케이션의 실행 화면(121)의 제2 영역에는 가상 모델 화면 상의 가상 모델에 대한 스펙, 예를 들어, 가상 모델의 크기 및 색상과, 동작을 변경하기 위한 적어도 하나 이상의 버튼(122)이 표시될 수 있다.In addition, in the second area of the execution screen 121 of the virtual application, at least one or more buttons 122 for changing the specifications of the virtual model on the virtual model screen, for example, the size and color of the virtual model, and the operation are provided. can be displayed.

일 예로, 가상 어플리케이션의 실행 화면(121)의 제2 영역에는 가상 모델의 색상을 변경하기 위한 버튼(122)이 표시될 수 있으며, 이때 버튼(122)은 각 색상별로 복수 개가 표시될 수 있다.For example, a button 122 for changing the color of the virtual model may be displayed in the second area of the execution screen 121 of the virtual application, and a plurality of buttons 122 may be displayed for each color.

여기서, 가상 어플리케이션의 실행 화면(121)의 제2 영역은 제1 영역 위에 중첩되어 표시될 수 있다.Here, the second area of the execution screen 121 of the virtual application may be displayed to overlap the first area.

이에, 사용자는 가상 어플리케이션의 실행 화면(121)의 제2 영역에 표시된 복수 개의 버튼 중 어느 하나를 선택할 수 있다.Accordingly, the user may select any one of the plurality of buttons displayed on the second area of the execution screen 121 of the virtual application.

이 경우, 스마트폰(10)은 가상 어플리케이션의 실행 화면(121) 상의 버튼 조작을 인식하고, 조작된 버튼에 대응되는 제어 정보를 포함하는 제어 메시지를 생성하여 가상화 서버(20)로 전송한다.In this case, the smartphone 10 recognizes a button manipulation on the execution screen 121 of the virtual application, generates a control message including control information corresponding to the manipulated button, and transmits it to the virtualization server 20 .

가상화 서버(20)는 스마트폰(10)으로부터 수신된 제어 메시지에 포함된 제어 정보를 가상화 엔진, 예를 들어, 유니티 엔진으로 전달하며, 유니티 엔진은 전달된 제어 정보에 대응하여 가상 모델 화면을 수정하고, 수정된 가상 모델 화면을 제어 단말(30)로 송신한다. 이 경우, 유니티 엔진은 전달된 제어 정보에 기초하여 가상 모델의 색상 등을 수정할 수 있다.The virtualization server 20 transmits the control information included in the control message received from the smart phone 10 to the virtualization engine, for example, the Unity engine, and the Unity engine modifies the virtual model screen in response to the transmitted control information. and transmits the modified virtual model screen to the control terminal 30 . In this case, the Unity engine may correct the color of the virtual model based on the transmitted control information.

따라서, 제어 단말(30)은 가상화 서버(20)로부터 색상이 수정된 가상 모델 화면이 수신되면, 도 10에 도시된 바와 같이, 수정된 가상 모델 화면을 실시간으로 디스플레이(34)에 표시할 수 있다.Accordingly, the control terminal 30 may display the corrected virtual model screen on the display 34 in real time, as shown in FIG. 10 , when the color-corrected virtual model screen is received from the virtualization server 20 . .

도 11을 참조하면, 스마트폰(10)은 가상 어플리케이션 실행 중 활성화된 동작 인식 센서를 통해 스마트폰(10)의 상, 하, 좌, 우 방향으로의 움직임 및/또는 회전 움직임 등을 인식하고, 동작 인식 정보를 포함하는 제어 메시지를 생성하여 가상화 서버(20)로 전송할 수 있다.Referring to FIG. 11 , the smart phone 10 recognizes the up, down, left, right direction and/or rotational movement of the smart phone 10 through the motion recognition sensor activated during the execution of the virtual application, A control message including motion recognition information may be generated and transmitted to the virtualization server 20 .

가상화 서버(20)는 스마트폰(10)으로부터 수신된 제어 메시지에 포함된 동작 인식 정보를 클라우드 컴퓨팅 환경에서 구동 중인 언리얼 엔진으로 전달하며, 언리얼 엔진은 전달된 동작 인식 정보에 대응하여 가상 모델 화면을 수정하고, 수정된 가상 모델 화면을 제어 단말(30)로 송신한다. 이 경우, 언리얼 엔진은 전달된 동작 인식 정보에 기초하여 가상 모델의 시점 방향을 상, 하, 좌, 우 방향 및/또는 회전 방향으로 수정할 수 있다.The virtualization server 20 transmits the motion recognition information included in the control message received from the smartphone 10 to the Unreal engine running in the cloud computing environment, and the Unreal engine displays the virtual model screen in response to the transmitted motion recognition information. and transmits the modified virtual model screen to the control terminal 30 . In this case, the Unreal Engine may correct the viewing direction of the virtual model to an up, down, left, right, and/or rotational direction based on the transmitted motion recognition information.

따라서, 제어 단말(30)은 시점 방향이 수정된 가상 모델 화면을 수신하여 실시간으로 디스플레이(34)에 표시할 수 있다.Accordingly, the control terminal 30 may receive the virtual model screen in which the viewpoint direction is corrected and display it on the display 34 in real time.

도 12 내지 도 14는 본 발명의 제2 실시예에 따른 가상 모델 화면의 제어 동작을 나타낸 도면이다. 도 12 내지 도 14의 실시예에서는 가상 모델 화면을 구성하는 대상물이 자동차인 것을 예로하였으나, 이에 한정되는 것은 아니다.12 to 14 are diagrams illustrating a control operation of a virtual model screen according to a second embodiment of the present invention. 12 to 14 , the object constituting the virtual model screen is an automobile as an example, but the present invention is not limited thereto.

도 12 내지 도 14를 참조하면, 제어 단말(30)은 미리 설치된 프로그램 또는 어플리케이션을 실행하여 가상화 서버(20)에 접속하고, 이때 가상화 서버(20)는 지정된 대상물에 대한 가상 모델 화면을 구성하여 제어 단말(30)로 송신함으로써 제어 단말(30)의 디스플레이(34)를 통해 가상 모델 화면이 표시되도록 한다.12 to 14, the control terminal 30 executes a pre-installed program or application to connect to the virtualization server 20, and at this time, the virtualization server 20 configures and controls a virtual model screen for a specified object. By transmitting to the terminal 30 , the virtual model screen is displayed through the display 34 of the control terminal 30 .

가상화 서버(20)는 클라우드 컴퓨팅 환경에서 가상화 엔진, 예를 들어, 유니티 엔진을 구동하고, 유니티 엔진을 통해 자동차의 주행에 기반한 가상 모델 화면을 구성하고, 도 12와 같이, 가상 모델 화면을 제어 단말(30)의 디스플레이(34)에 표시되도록 한다.The virtualization server 20 drives a virtualization engine, for example, a unity engine in a cloud computing environment, configures a virtual model screen based on driving of a car through the unity engine, and controls the virtual model screen as shown in FIG. 12 , a control terminal (30) to be displayed on the display (34).

스마트폰(10)은 가상화 서버(20) 접속 시, 가상화 서버(20)로부터 제공된 가상 어플리케이션을 실행하여 제어 단말에 표시된 가상 모델 화면을 제어할 수 있다.When the virtualization server 20 is connected, the smartphone 10 may execute a virtual application provided from the virtualization server 20 to control the virtual model screen displayed on the control terminal.

스마트폰(10)은 가상 어플리케이션 실행 시 디스플레이에 가상 어플리케이션의 실행 화면(123)을 표시한다.The smartphone 10 displays the execution screen 123 of the virtual application on the display when the virtual application is executed.

가상 어플리케이션의 실행 화면(123)의 제1 영역에는 제어할 대상물, 즉, 제어 단말(30)의 디스플레이(34)에 표시된 가상 모델 화면 상의 가상 모델 이미지가 표시될 수 있다.In the first area of the execution screen 123 of the virtual application, an object to be controlled, that is, a virtual model image on the virtual model screen displayed on the display 34 of the control terminal 30 may be displayed.

또한, 가상 어플리케이션의 실행 화면(123)의 제1 영역에는 가상 모델 화면 상의 가상 모델, 즉, 자동차의 움직임을 제어하기 위한 버튼(124, 125)이 표시될 수도 있다.Also, in the first area of the execution screen 123 of the virtual application, the buttons 124 and 125 for controlling the movement of the virtual model on the virtual model screen, that is, the vehicle may be displayed.

일 예로, 가상 어플리케이션의 실행 화면(123)의 제1 영역에는 자동차에 대응되는 가상 모델의 엑셀러레이터를 구동하기 위한 버튼(124) 및 브레이크를 구동하기 위한 버튼(125) 등이 표시될 수 있다.For example, in the first area of the execution screen 123 of the virtual application, a button 124 for driving an accelerator of a virtual model corresponding to a vehicle and a button 125 for driving a brake may be displayed.

또한, 가상 어플리케이션의 실행 화면(123)의 제2 영역에는, 도 14와 같이, 자동차에 대응되는 가상 모델의 스펙을 변경하기 위한 조작부(126)가 표시될 수 있다.Also, in the second area of the execution screen 123 of the virtual application, as shown in FIG. 14 , the manipulation unit 126 for changing the specification of the virtual model corresponding to the vehicle may be displayed.

조작부(126)는 가상 모델의 색상을 변경하기 위한 복수 개의 버튼(127)이 표시될 수 있다.The manipulation unit 126 may display a plurality of buttons 127 for changing the color of the virtual model.

여기서, 가상 어플리케이션의 실행 화면(123)의 제1 영역 및 제2 영역은 서로 중첩되지 않도록 분리되어 표시될 수 있다.Here, the first area and the second area of the execution screen 123 of the virtual application may be displayed separately so as not to overlap each other.

이에, 사용자는 가상 어플리케이션의 실행 화면(123)의 제1 영역 또는 제2 영역에 표시된 복수 개의 버튼 중 어느 하나를 선택할 수 있다.Accordingly, the user may select any one of a plurality of buttons displayed on the first area or the second area of the execution screen 123 of the virtual application.

이 경우, 스마트폰(10)은 가상 어플리케이션의 실행 화면(123) 상의 버튼 조작을 인식하고, 조작된 버튼에 대응되는 제어 정보를 포함하는 제어 메시지를 생성하여 가상화 서버(20)로 전송한다.In this case, the smartphone 10 recognizes a button manipulation on the execution screen 123 of the virtual application, generates a control message including control information corresponding to the manipulated button, and transmits it to the virtualization server 20 .

가상화 서버(20)는 스마트폰(10)으로부터 수신된 제어 메시지에 포함된 제어 정보를 가상화 엔진, 예를 들어, 유니티 엔진으로 전달하며, 유니티 엔진은 전달된 제어 정보에 대응하여 가상 모델 화면을 수정하고, 수정된 가상 모델 화면을 제어 단말(30)로 송신한다. 이 경우, 유니티 엔진은 전달된 제어 정보에 기초하여 가상 모델의 색상을 수정하거나, 가상 모델의 움직임 또는 위치를 수정할 수 있다.The virtualization server 20 transmits the control information included in the control message received from the smart phone 10 to the virtualization engine, for example, the Unity engine, and the Unity engine modifies the virtual model screen in response to the transmitted control information. and transmits the modified virtual model screen to the control terminal 30 . In this case, the Unity engine may correct the color of the virtual model or the movement or position of the virtual model based on the transmitted control information.

따라서, 제어 단말(30)은 가상화 서버(20)로부터 색상, 움직임 또는 위치가 수정된 가상 모델 화면이 수신되면, 도 13에 도시된 바와 같이 수정된 가상 모델 화면을 실시간으로 디스플레이(34)에 표시할 수 있다.Therefore, when the control terminal 30 receives the virtual model screen in which the color, movement or position is corrected from the virtualization server 20, the modified virtual model screen is displayed on the display 34 in real time as shown in FIG. 13 . can do.

도 14를 참조하면, 스마트폰(10)은 가상 어플리케이션 실행 중 활성화된 동작 인식 센서를 통해 스마트폰(10)의 상, 하, 좌, 우 방향으로의 움직임 및/또는 회전 움직임 등을 인식하고, 동작 인식 정보를 포함하는 제어 메시지를 생성하여 가상화 서버(20)로 전송할 수 있다.Referring to FIG. 14 , the smart phone 10 recognizes the up, down, left, and right movement and/or rotational movement of the smart phone 10 through the motion recognition sensor activated during the execution of the virtual application, A control message including motion recognition information may be generated and transmitted to the virtualization server 20 .

가상화 서버(20)는 스마트폰(10)으로부터 수신된 제어 메시지에 포함된 동작 인식 정보를 클라우드 컴퓨팅 환경에서 구동 중인 유니티 엔진으로 전달하며, 유니티 엔진은 전달된 동작 인식 정보에 대응하여 가상 모델 화면을 수정하고, 수정된 가상 모델 화면을 제어 단말(30)로 송신한다. 이 경우, 유니티 엔진은 전달된 동작 인식 정보에 기초하여 가상 모델의 시점 방향 및 위치를 상, 하, 좌, 우 방향 및/또는 회전 방향으로 수정할 수 있다.The virtualization server 20 delivers the motion recognition information included in the control message received from the smart phone 10 to the Unity engine running in the cloud computing environment, and the Unity engine displays a virtual model screen in response to the transmitted motion recognition information. and transmits the modified virtual model screen to the control terminal 30 . In this case, the Unity engine may correct the viewpoint direction and position of the virtual model in up, down, left, right and/or rotational directions based on the transmitted motion recognition information.

따라서, 제어 단말(30)은 가상 모델의 시점 방향 및 위치가 수정된 가상 모델 화면을 수신하여 실시간으로 디스플레이(34)에 표시할 수 있다.Accordingly, the control terminal 30 may receive the virtual model screen in which the viewpoint direction and position of the virtual model are corrected and display it on the display 34 in real time.

도 12 내지 도 14의 제2 실시예에 따른 가상 모델 화면은 가상 모델을 이용하여 가상의 게임 환경 내에서 이동하는 게임 형태로 제공될 수 있다.The virtual model screen according to the second embodiment of FIGS. 12 to 14 may be provided in the form of a game moving in a virtual game environment using the virtual model.

사용자는 스마트폰(10)의 버튼을 조작하거나 또는 움직임을 변화시켜 제어 단말(30)의 디스플레이에 표시된 가상 모델 화면을 통한 레이싱 게임을 할 수 있다.The user may play a racing game through the virtual model screen displayed on the display of the control terminal 30 by manipulating a button of the smart phone 10 or changing the movement.

이 경우, 복수의 스마트폰(10)이 가상화 모델에 접속하여 가상 어플리케이션을 동시에 실행함으로써 레이싱 게임에 동시에 참여할 수도 있다.In this case, a plurality of smart phones 10 may simultaneously participate in a racing game by accessing the virtualization model and executing a virtual application at the same time.

가상화 서버(20)는 스마트폰(10)의 제어에 따라 레이싱 게임이 진행되는 동안 게임 데이터를 수집하고, 레이싱 게임이 종료되면 게임 데이터를 취합하여 DB(23)에 저장할 수 있다. 또한, 가상화 서버(20)는 레이싱 게임이 종료되면 게임 데이터를 제어 단말(30)로 송신하여 제어 단말(30)의 디스플레이에 표시되는 화면 상에 표시할 수 있다. 한편, 가상화 서버(20)는 게임 데이터를 스마트폰(10)으로 송신하여 스마트폰(10)의 디스플레이에 표시되는 화면 상에 표시되도록 할 수도 있다.The virtualization server 20 may collect game data while the racing game is in progress under the control of the smart phone 10 , and collect the game data when the racing game ends and store it in the DB 23 . In addition, the virtualization server 20 may transmit the game data to the control terminal 30 when the racing game is finished and displayed on the screen displayed on the display of the control terminal 30 . On the other hand, the virtualization server 20 may transmit the game data to the smart phone 10 to be displayed on the screen displayed on the display of the smart phone (10).

여기서, 게임 데이터는 게임시작시간, 게임종료시간, 레이싱 기록, 게임 점수, 순위 정보, 미션 성공/실패 정보 등을 포함할 수 있다.Here, the game data may include game start time, game end time, racing record, game score, ranking information, mission success/failure information, and the like.

도 15는 도 3의 가상화 서버의 추가 구성을 나타낸 도면이다.15 is a diagram illustrating an additional configuration of the virtualization server of FIG. 3 .

도 15를 참조하면, 가상화 서버(20)는 설문 평가부(251), 평가 점수 산정부(252) 및 광고 서비스부(253)를 포함하는 서비스 관리부(25)를 더 포함할 수 있다.Referring to FIG. 15 , the virtualization server 20 may further include a service management unit 25 including a questionnaire evaluation unit 251 , an evaluation score calculation unit 252 , and an advertisement service unit 253 .

설문 평가부(251)는 레이싱 게임이 종료되면, 사용자의 평가 정보를 수집하기 위한 설문 데이터를 생성하여 스마트폰(10)으로 송신하고, 스마트폰(10)으로부터 수신된 응답 데이터를 토대로 레이싱 게임을 평가한다.When the racing game is finished, the questionnaire evaluation unit 251 generates questionnaire data for collecting user evaluation information and transmits it to the smartphone 10 , and plays the racing game based on the response data received from the smartphone 10 . Evaluate.

평가 점수 산정부(252)는 스마트폰(10)으로부터 수신된 응답 내용을 분석하여 레이싱 게임에 대한 평가 점수를 산정한다. 이때, 평가 점수 산정부(252)는 평가 점수에 따른 등급을 부여할 수도 있다.The evaluation score calculation unit 252 calculates an evaluation score for the racing game by analyzing the response received from the smartphone 10 . In this case, the evaluation score calculation unit 252 may assign a grade according to the evaluation score.

광고 서비스부(253)는 레이싱 게임이 종료되면 레이싱 게임의 가상 모델에 해당하는 대상물, 예를 들어, 자동차와 관련된 광고 데이터를 스마트폰(10) 또는 제어 단말(30)로 송신하여 디스플레이(34)를 통해 표시되도록 한다.When the racing game ends, the advertisement service unit 253 transmits advertisement data related to an object corresponding to the virtual model of the racing game, for example, a car, to the smartphone 10 or the control terminal 30 to display 34 to be displayed through

스마트폰(10) 또는 제어 단말(30)의 디스플레이에 표시되는 광고 화면은 해당 대상물, 예를 들어, 자동차의 상품 계약을 위한 웹페이지에 접속 가능한 링크 정보를 포함할 수 있다.The advertisement screen displayed on the display of the smart phone 10 or the control terminal 30 may include link information accessible to a web page for a product contract of a corresponding object, for example, a car.

따라서, 사용자는 가상 모델 화면을 통해 체험을 한 대상물, 예를 들어, 자동차의 구매를 원하는 경우, 스마트폰(10) 또는 제어 단말(30)의 디스플레이(34)에 표시되는 광고 화면의 링크 정보를 통해 상품 계약을 위한 웹페이지에 접속하여 상품을 구매하는 것이 가능하다.Therefore, when the user wants to purchase an object experienced through the virtual model screen, for example, a car, link information of the advertisement screen displayed on the display 34 of the smart phone 10 or the control terminal 30 It is possible to purchase a product by accessing a web page for a product contract.

이상에서 살펴본 바와 같이, 본 발명에 따른 스마트폰에 기반한 가상 모빌리티 컨트롤 시스템에 따르면 사용자의 스마트폰을 가상화 서버와 연동하고, 가상화 서버에 연동된 스마트폰의 버튼 조작 또는 움직임을 통해 제어 단말에 표시된 가상 모델 화면을 실시간으로 제어할 수 있어 가상 모빌리티의 제어가 용이하고, 사용자의 편리성이 증대될 수 있다.As described above, according to the smart phone-based virtual mobility control system according to the present invention, the user's smart phone is interlocked with the virtualization server, and the virtual display displayed on the control terminal through the button operation or movement of the smart phone interlocked with the virtualization server. Since the model screen can be controlled in real time, virtual mobility can be easily controlled and user convenience can be increased.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어져서는 안 될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and it is common in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Various modifications are possible by those having the knowledge of, of course, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.

10: 스마트폰
11: 단말 제어부
12: 입출력 인터페이스부
13: 센서부
14: 통신부
15: 저장부
16: 어플리케이션 실행부
20: 가상화 서버
21: 통신부
22: 서버 제어부
23: DB
231: 가상화 엔진A
232: 가상화 엔진B
25: 서비스 관리부
251: 설문 평가부
252: 평가 점수 산정부
253: 광고 서비스부
30: 모빌리티 단말
31: 신호 처리부
32: 통신부
33: 저장부
34: 디스플레이10: Smartphone
11: terminal control
12: input/output interface unit
13: sensor unit
14: communication department
15: storage
16: application execution unit
20: Virtualization Server
21: communication department
22: server control panel
23: DB
231: virtualization engine A
232: virtualization engine B
25: Service Management Department
251: Survey evaluation unit
252: Evaluation Score Calculator
253: Advertising Services Department
30: mobility terminal
31: signal processing unit
32: communication department
33: storage
34: display

Claims (4)

가상 어플리케이션을 실행하여 가상 모빌리티 제어를 수행하는 스마트폰;
상기 가상 어플리케이션을 통해 연동된 상기 스마트폰으로부터의 제어 정보에 기초하여 가상 모델 화면을 실시간으로 구성하는 가상화 서버; 및
상기 가상화 서버와 연동되어, 상기 가상화 서버에 의해 실시간으로 구성된 가상 모델 화면을 디스플레이에 표시하는 제어 단말; 을 포함하여 구성되고,
상기 제어 단말은,
상기 가상화 서버와의 연동을 위해 미리 설치된 프로그램을 실행하며, 상기 가상화 서버에 의해 구성된 가상 모델 화면을 처리하는 신호 처리부;
상기 프로그램을 통해 상기 가상화 서버와의 네트워크 통신을 지원하는 통신부; 및
상기 프로그램의 실행 화면을 표시하며 상기 실행 화면 상에 상기 가상 모델 화면을 표시하는 디스플레이를 포함하며,
상기 디스플레이는,
상기 프로그램이 실행되면 상기 실행 화면 상에 서버 접속용 인식 코드를 추가로 표시하고,
상기 가상 모델 화면은,
상기 가상화 서버의 언리얼 엔진에 의해 실시간으로 구성된 화면이거나, 상기 가상화 서버의 유티니 엔진에 의해 실시간으로 구성된 화면이며,
상기 제어 단말은,
상기 프로그램의 실행 시 동작 온(ON) 되는 카메라를 더 포함하며,
상기 카메라는,
카메라 렌즈;
카메라 렌즈 주위에 배열되어 적외선을 발광하는 적외선 발광부; 및
상기 적외선 발광부로부터 발광된 적외선이 카메라의 전방에 위치한 반사 물체에 의해 반사되어 카메라 렌즈로 입사되면, 입사된 적외선을 감지하여 영상을 촬영하는 적외선 카메라 모듈을 포함하고,
상기 적외선 발광부는,
복수 개의 적외선 발광소자가 카메라 렌즈의 주변을 따라 원 형상으로 배열되고, 원 형상으로 배열된 복수 개의 적외선 발광소자가 일체형으로 결합된 하나의 조립체 형태로 형성되며,
상기 적외선 카메라 모듈은,
상기 카메라 렌즈로 입사된 적외선을 전기적인 아날로그 신호로 변환하며, 상기 변환된 아날로그 신호를 샘플링하여 디지털 영상 신호로 변환하고,
상기 반사 물체는,
막대 형상의 몸체부; 및
상기 몸체부의 종단에 설치되어 광원을 반사시키는 반사 물질이 도포된 반사판을 포함하며,
상기 반사판은,
상기 카메라를 향하도록 배치되는 경우 상기 카메라의 적외선 발광부에 의해 방사된 적외선의 일부를 카메라 렌즈를 향해 반사하고,
상기 반사판은,
상기 카메라 전방의 지정된 촬영 영역 내에서 위치 이동이 가능하며,
상기 신호 처리부는,
상기 카메라를 통해 입력되는 영상으로부터 카메라의 촬영 영역을 기준으로 전방에 위치한 반사 물체의 위치를 파악하고, 상기 반사 물체의 위치를 디스플레이의 전체 화면 영역 중의 일 위치에 대응시켜 포인트가 표시되도록 하고,
상기 신호 처리부는,
상기 디스플레이를 통해 가상 모델 화면이 표시되는 동안 상기 가상 모델 화면 상에 상기 포인트가 표시되도록 하고, 상기 포인트의 위치 변화에 따른 제어 정보를 포함하는 제어 메시지를 생성하여 가상화 서버로 송신하며,
상기 제어 단말은,
실외 또는 실내의 일 공간에 설치된 키오스크 장치이고,
상기 키오스크 장치는,
본체의 전면에 삽입되어 고정 설치되며, 소정의 영상을 출력하거나, 디스플레이 화면을 통한 터치 입력을 받는 디스플레이;
상기 디스플레이의 하부에 설치되어 적외선을 발광하고, 적외선을 반사하는 반사 물체의 위치를 인식하는 카메라;
상기 디스플레이가 실장된 본체의 하부에 지면과 고정되도록 설치되어 본체를 고정하는 고정부재;
일 측이 본체의 양 측면에 끼워지도록 결합되며 타 측이 지면을 향하도록 설치되어 본체가 전면 또는 후면 방향으로 기울어지지 않도록 지지하는 지지부재; 및
상기 지지부재의 타 측 종단을 지면에 고정하며 지면으로부터 지지부재로 전달되는 진동이나 충격을 흡수하는 내진장치를 포함하며,
상기 디스플레이는,
상기 스마트폰의 버튼 조작 또는 움직임에 따른 제어 정보에 기초하여 상기 가상화 서버의 가상화 엔진으로부터 실시간으로 구성된 가상 모델 화면을 표시하고,
상기 고정부재는,
하부면과 지면 사이에 설치되어 상기 지면으로부터 발생되는 진동 또는 충격을 흡수하는 충격흡수패드를 포함하며,
상기 지지부재는,
'ㄱ'자 형태로 절곡된 형상으로 형성되며,
상기 지지부재는,
상기 본체와 결합되는 부위가 내부 홈이 형성되고 일측이 개방된 'U'자 형상으로 형성되며, 'U'자 형상의 내부 홈으로 상기 본체가 수평방향으로 삽입되어 고정되고,
상기 지지부재는,
상기 'U'자 형상의 내측 벽에 상기 본체와 결합 시의 결합력을 증대시키는 탄성 패드가 부착되며,
상기 내진장치는,
지면에 고정되게 설치되며, 지면으로부터 전달되는 진동이나 충격을 흡수하는 재질로 형성되며, 내측 중앙부를 수직 방향으로 관통하는 통로가 형성되는 제1 완충부; 및
상기 제1 완충부의 내측 통로 상에 삽입되도록 설치되며, 상부가 지지부재의 타 측 종단에 고정 결합되고 하부가 지면에 고정 결합되어 지지부재를 수직방향으로 탄력 지지하며, 지면으로부터 진동이나 충격이 전달되는 경우 상기 제1 완충부의 내측에 형성된 통로를 따라 수직 방향으로 상하 이동하며 충격을 흡수하는 제2 완충부를 포함하고,
상기 제1 완충부는,
외측 표면이 보호 필름으로 코팅된 발포 합성수지 폼으로 형성되며,
상기 발포 합성수지 폼은,
60 중량％ 이상의 저밀도 폴리에틸렌 수지에, 충전제, 발포제 및 산화방지제 등을 혼합하여 성형되고,
상기 보호 필름은,
폴리 올레핀계 필름 또는 폴리 염화 비닐로 형성되며,
상기 제2 완충부는,
하측이 지면에 고정되어 지면으로부터 발생되는 진동 또는 충격을 흡수하는 제1 흡수체,
상부가 지지부재의 타 측 종단에 고정 결합되어 지지부재를 지지하는 제2 흡수체; 및
하측이 제1 흡수체의 상부에 고정 결합되고 상측이 제2 흡수체의 하부에 고정 결합되어 수직 방향으로 발생하는 탄성력을 이용하여 지지부재를 탄성 지지하며, 지면으로부터 발생되는 진동 또는 충격을 흡수하는 스프링을 포함하고,
상기 제1 흡수체 및 제2 흡수체는,
내부에 충격을 흡수하는 폴리 우레탄계의 재질로 형성되는, 스마트폰에 기반한 가상 모빌리티 컨트롤 시스템.
a smartphone for performing virtual mobility control by executing a virtual application;
a virtualization server that configures a virtual model screen in real time based on control information from the smart phone linked through the virtual application; and
a control terminal interworking with the virtualization server to display a virtual model screen configured in real time by the virtualization server on a display; consists of,
The control terminal,
a signal processing unit executing a program installed in advance for interworking with the virtualization server and processing a virtual model screen configured by the virtualization server;
a communication unit supporting network communication with the virtualization server through the program; and
and a display for displaying the execution screen of the program and displaying the virtual model screen on the execution screen,
The display is
When the program is executed, the recognition code for server connection is additionally displayed on the execution screen,
The virtual model screen is
A screen configured in real time by the Unreal engine of the virtualization server, or a screen configured in real time by the Unity engine of the virtualization server,
The control terminal,
Further comprising a camera that is turned on (ON) when the program is executed,
The camera is
camera lens;
an infrared light emitting unit arranged around the camera lens to emit infrared light; and
When the infrared ray emitted from the infrared light emitting unit is reflected by a reflective object located in front of the camera and is incident on the camera lens, including an infrared camera module for sensing the incident infrared ray and capturing an image,
The infrared light emitting unit,
A plurality of infrared light emitting devices are arranged in a circular shape along the periphery of the camera lens, and a plurality of infrared light emitting devices arranged in a circular shape are integrally combined to form one assembly,
The infrared camera module,
converting infrared rays incident on the camera lens into an electrical analog signal, sampling the converted analog signal and converting the converted analog signal into a digital image signal,
The reflective object is
a rod-shaped body; and
It is installed at the end of the body and includes a reflector coated with a reflective material to reflect the light source,
The reflector is
When disposed to face the camera, a portion of infrared radiation emitted by the infrared light emitting unit of the camera is reflected toward the camera lens,
The reflector is
It is possible to move the position within the designated shooting area in front of the camera,
The signal processing unit,
From the image input through the camera, the position of the reflective object located in the front is determined based on the shooting area of the camera, and the position of the reflective object is matched to one position in the entire screen area of the display so that the point is displayed,
The signal processing unit,
While the virtual model screen is displayed through the display, the point is displayed on the virtual model screen, and a control message including control information according to a change in the position of the point is generated and transmitted to the virtualization server,
The control terminal,
It is a kiosk device installed in an outdoor or indoor work space,
The kiosk device is
a display that is inserted and fixedly installed in the front of the main body, and outputs a predetermined image or receives a touch input through a display screen;
a camera installed under the display to emit infrared light and recognize a position of a reflective object reflecting infrared light;
a fixing member installed in a lower portion of the main body on which the display is mounted so as to be fixed to the ground and fixing the main body;
a support member having one side coupled to fit both sides of the body and the other side facing the ground to support the body so as not to incline in the front or rear direction; and
and an earthquake-resistant device that fixes the other end of the support member to the ground and absorbs vibrations or shocks transmitted from the ground to the support member,
The display is
Display a virtual model screen configured in real time from the virtualization engine of the virtualization server based on control information according to button manipulation or movement of the smartphone,
The fixing member is
and a shock absorbing pad installed between the lower surface and the ground to absorb vibrations or shocks generated from the ground,
The support member is
It is formed in a bent shape in the shape of an 'L',
The support member is
A portion coupled to the main body is formed in a 'U' shape with an inner groove and one side open, and the body is inserted and fixed in the horizontal direction into the 'U'-shaped inner groove,
The support member is
An elastic pad is attached to the inner wall of the 'U' shape to increase the bonding force when combined with the main body,
The seismic device is
a first buffer part that is fixedly installed on the ground, is formed of a material that absorbs vibration or shock transmitted from the ground, and has a passage penetrating the inner central part in a vertical direction; and
It is installed to be inserted into the inner passage of the first buffer unit, the upper part is fixedly coupled to the other end of the support member, and the lower part is fixedly coupled to the ground to elastically support the support member in the vertical direction, and vibration or shock is transmitted from the ground and a second buffer for absorbing shock while moving up and down in the vertical direction along the passage formed inside the first buffer when
The first buffer unit,
The outer surface is formed of a foamed synthetic resin foam coated with a protective film,
The foamed synthetic resin foam,
It is molded by mixing 60% by weight or more of a low-density polyethylene resin with a filler, a foaming agent, an antioxidant, and the like,
The protective film is
Formed from polyolefin-based film or polyvinyl chloride,
The second buffer unit,
A first absorber whose lower side is fixed to the ground and absorbs vibrations or shocks generated from the ground;
a second absorber having an upper portion fixedly coupled to the other end of the support member to support the support member; and
The lower side is fixedly coupled to the upper portion of the first absorber, and the upper side is fixedly coupled to the lower portion of the second absorber to elastically support the support member using elastic force generated in the vertical direction, and a spring for absorbing vibration or shock generated from the ground. including,
The first absorber and the second absorber are
A virtual mobility control system based on a smartphone that is made of a polyurethane-based material that absorbs shocks inside.
 제1항에 있어서,
상기 스마트폰은,
상기 가상화 서버와 연결된 네트워크를 통해 통신을 수행하는 통신부;
상기 가상 어플리케이션이 실행되는 동안 버튼 조작 및 움직임을 감지하는 센서부;
상기 가상화 서버로부터 제공된 가상 어플리케이션을 실행하며, 상기 센서부에 의해 인식된 제어 정보를 포함하는 제어 메시지를 생성하여 상기 가상화 서버로 송신하는 어플리케이션 실행부; 및
상기 가상 어플리케이션의 실행 화면을 표시하는 디스플레이를 구비한 입출력 인터페이스부를 포함하며,
상기 센서부는,
스마트폰의 3축 방향의 가속도 및 각속도를 감지하는 가속도 센서 및 자이로 센서를 포함하는 동작 인식 센서; 및
상기 가상화 서버로의 접속을 위한 서버 접속용 인식 코드를 촬영하는 카메라 센서를 포함하고,
상기 서버 접속용 인식 코드는,
상기 가상화 서버로의 접속을 위한 링크 정보를 포함하는 QR 코드이며,
상기 서버 접속용 인식 코드는,
상기 제어 단말의 디스플레이 화면에 표시되고,
상기 스마트폰은,
상기 카메라 센서로 상기 서버 접속용 인식 코드 촬영 시 상기 가상화 서버로의 접속을 위한 링크 정보를 획득하여 디스플레이에 표시하고, 상기 디스플레이에 표시된 링크 정보를 통해 상기 가상화 서버에 접속하여 가상 어플리케이션을 설치하며,
상기 가상 어플리케이션의 실행 화면은,
상기 가상화 서버에 의해 구성된 가상 모델 화면에 대응되는 가상 모델의 이미지가 표시되는 제1 영역 및 상기 가상 모델의 크기, 색상 및 동작을 조작하기 위한 적어도 하나 이상의 버튼을 구비한 조작 화면이 표시되는 제2 영역으로 구분되고,
상기 어플리케이션 실행부는
상기 제2 영역에 표시된 적어도 하나 이상의 버튼 조작에 대응되는 제어 정보를 포함하는 제어 메시지를 생성하여 상기 가상화 서버로 전송하며,
상기 제2 영역은,
상기 제1 영역 위에 중첩되어 표시되거나, 상기 제1 영역과 분리된 다른 영역에 표시되고,
상기 동작 인식 센서는,
상기 가상 어플리케이션 실행 시 활성화되어 상기 스마트폰의 상, 하, 좌, 우 방향으로의 움직임 및 회전 움직임을 인식하며,
상기 어플리케이션 실행부는,
상기 동작 인식 센서에 의해 인식된 동작 인식 정보를 포함하는 제어 메시지를 생성하여 상기 가상화 서버로 전송하는, 스마트폰에 기반한 가상 모빌리티 컨트롤 시스템.
According to claim 1,
The smartphone is
a communication unit for performing communication through a network connected to the virtualization server;
a sensor unit for detecting button manipulation and movement while the virtual application is running;
an application execution unit executing a virtual application provided from the virtualization server, generating a control message including control information recognized by the sensor unit, and transmitting the generated control message to the virtualization server; and
and an input/output interface unit having a display for displaying an execution screen of the virtual application,
The sensor unit,
a motion recognition sensor including an acceleration sensor and a gyro sensor for detecting acceleration and angular velocity in the three-axis direction of the smartphone; and
A camera sensor for photographing a recognition code for server connection for connection to the virtualization server,
The recognition code for accessing the server is
It is a QR code including link information for connection to the virtualization server,
The recognition code for accessing the server is
is displayed on the display screen of the control terminal,
The smartphone is
When capturing the recognition code for server connection with the camera sensor, link information for connection to the virtualization server is obtained and displayed on a display, and a virtual application is installed by connecting to the virtualization server through the link information displayed on the display,
The execution screen of the virtual application is
A first area in which an image of a virtual model corresponding to the virtual model screen configured by the virtualization server is displayed and a second operation screen having at least one button for manipulating the size, color and operation of the virtual model is displayed divided into areas,
The application execution unit
A control message including control information corresponding to at least one or more button manipulations displayed in the second area is generated and transmitted to the virtualization server,
The second area is
It is displayed overlapping the first area or displayed in another area separated from the first area,
The motion recognition sensor,
Activated when the virtual application is executed to recognize the movement and rotation movement in the up, down, left, and right directions of the smartphone,
The application execution unit,
A smart phone-based virtual mobility control system that generates and transmits a control message including motion recognition information recognized by the motion recognition sensor to the virtualization server.
 제1항에 있어서,
상기 가상화 서버는,
상기 스마트폰 및 상기 제어 단말과의 네트워크 통신을 지원하는 통신부;
적어도 하나 이상의 가상화 엔진이 저장된 DB; 및
상기 DB에 저장된 가상화 엔진을 구동하며, 상기 스마트폰으로 제어 메시지가 수신되면 상기 제어 메시지에 포함된 제어 정보를 토대로 가상 모델 화면을 구성하는 가상화 엔진으로 전달하며, 상기 가상화 엔진을 통해 구성된 가상 모델 화면을 상기 제어 단말로 실시간 송신하는 서버 제어부를 포함하며,
상기 서버 제어부는,
클라우드 컴퓨팅 환경에서 적어도 하나 이상의 가상 프로세서를 실행하여 상기 DB에 저장된 가상화 엔진을 호출하여 상기 클라우드 컴퓨팅 환경에서 구동하고,
상기 가상화 엔진은,
클라우드의 물리적 자원을 이용하여 가상 모델 화면을 구성하며, 상기 서버 제어부로부터 입력된 제어 정보에 기초하여 상기 가상 모델 화면을 실시간으로 수정하여 재구성하며,
상기 가상화 엔진은,
언리얼 엔진(Unreal Engine) 및 유니티 엔진(Unity Engine)를 포함하는, 스마트폰에 기반한 가상 모빌리티 컨트롤 시스템.
According to claim 1,
The virtualization server,
a communication unit supporting network communication with the smart phone and the control terminal;
DB in which at least one or more virtualization engines are stored; and
The virtualization engine stored in the DB is driven, and when a control message is received by the smart phone, it is transmitted to the virtualization engine constituting the virtual model screen based on the control information included in the control message, and the virtual model screen configured through the virtualization engine. including a server control unit for transmitting in real time to the control terminal,
The server control unit,
Running at least one virtual processor in the cloud computing environment to call the virtualization engine stored in the DB to drive it in the cloud computing environment,
The virtualization engine,
Configures a virtual model screen using physical resources of the cloud, and modifies and reconfigures the virtual model screen in real time based on control information input from the server control unit,
The virtualization engine,
A smartphone-based virtual mobility control system, including Unreal Engine and Unity Engine.
 삭제delete
KR1020210071721A 2021-06-02 2021-06-02 Virtual mobility control system based on smartphone KR102304024B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210071721A KR102304024B1 (en) 2021-06-02 2021-06-02 Virtual mobility control system based on smartphone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210071721A KR102304024B1 (en) 2021-06-02 2021-06-02 Virtual mobility control system based on smartphone

Publications (1)

Publication Number Publication Date
KR102304024B1 true KR102304024B1 (en) 2021-09-23

Family

ID=77926522

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210071721A KR102304024B1 (en) 2021-06-02 2021-06-02 Virtual mobility control system based on smartphone

Country Status (1)

Country Link
KR (1) KR102304024B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110241823A1 (en) * 2010-04-02 2011-10-06 Anders Paul B Tag-based personalization
KR20120093599A (en) * 2011-02-15 2012-08-23 동서대학교산학협력단 Kiosk system based on mobile and management method thereof
KR20140051850A (en) * 2011-04-21 2014-05-02 터치스트림 테크놀로지즈 아이엔씨 Play control of content on a display device
KR101400536B1 (en) * 2012-12-21 2014-05-30 (주)스마일게이트엔터테인먼트 Method and server of displaying impact responses between characters in on-line game service, and on-line game system with impact response display function

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110241823A1 (en) * 2010-04-02 2011-10-06 Anders Paul B Tag-based personalization
KR20120093599A (en) * 2011-02-15 2012-08-23 동서대학교산학협력단 Kiosk system based on mobile and management method thereof
KR20140051850A (en) * 2011-04-21 2014-05-02 터치스트림 테크놀로지즈 아이엔씨 Play control of content on a display device
KR101400536B1 (en) * 2012-12-21 2014-05-30 (주)스마일게이트엔터테인먼트 Method and server of displaying impact responses between characters in on-line game service, and on-line game system with impact response display function

Similar Documents

Publication Publication Date Title
EP3451661B1 (en) Three-dimensional imaging device and electronic device including same
US10281981B2 (en) AR output method and electronic device for supporting the same
KR102410217B1 (en) Mobile terminal
CN109471522B (en) Method for controlling pointer in virtual reality and electronic device
CN105653031B (en) Posture input with multiple views, display and physics
CN104067201B (en) Posture input with multiple views, display and physics
US20170293272A1 (en) Electronic device and method for providing information in electronic device
KR102401819B1 (en) Electronic device including an optical structure
US20170337826A1 (en) Flight Management and Control for Unmanned Aerial Vehicles
KR102582863B1 (en) Electronic device and method for recognizing user gestures based on user intention
US20130290876A1 (en) Augmented reality representations across multiple devices
KR20180075191A (en) Method and electronic device for controlling unmanned aerial vehicle
US20160178906A1 (en) Virtual wearables
US20130083018A1 (en) Personal audio/visual system with holographic objects
WO2015200406A1 (en) Digital action in response to object interaction
CN102681958A (en) Transferring data using physical gesture
US20170007926A1 (en) System, program, and method for operating screen by linking display and plurality of controllers connected via network
KR102528675B1 (en) mobile terminal
US11954200B2 (en) Control information processing method and apparatus, electronic device, and storage medium
CN111033354A (en) Eye tracking using MEMS scanning and reflected light
US9693168B1 (en) Ultrasonic speaker assembly for audio spatial effect
TWI726196B (en) Combined microphone and lighting device and computing device having same
WO2020114176A1 (en) Virtual environment viewing method, device and storage medium
KR102527901B1 (en) Input apparatus in electronic device and control method thereof
KR102304024B1 (en) Virtual mobility control system based on smartphone

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant