KR20130062430A - The apparatus and method of augmented reality in bodily tissue with social network service moudule - Google Patents

The apparatus and method of augmented reality in bodily tissue with social network service moudule Download PDF

Info

Publication number
KR20130062430A
KR20130062430A KR1020110120862A KR20110120862A KR20130062430A KR 20130062430 A KR20130062430 A KR 20130062430A KR 1020110120862 A KR1020110120862 A KR 1020110120862A KR 20110120862 A KR20110120862 A KR 20110120862A KR 20130062430 A KR20130062430 A KR 20130062430A
Authority
KR
South Korea
Prior art keywords
augmented reality
module
smart phone
social network
connection module
Prior art date
Application number
KR1020110120862A
Other languages
Korean (ko)
Other versions
KR101302120B1 (en
Inventor
강장묵
송유진
Original Assignee
동국대학교 경주캠퍼스 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 경주캠퍼스 산학협력단 filed Critical 동국대학교 경주캠퍼스 산학협력단
Priority to KR1020110120862A priority Critical patent/KR101302120B1/en
Publication of KR20130062430A publication Critical patent/KR20130062430A/en
Application granted granted Critical
Publication of KR101302120B1 publication Critical patent/KR101302120B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/247—Telephone sets including user guidance or feature selection means facilitating their use
    • H04M1/2473—Telephone terminals interfacing a personal computer, e.g. using an API (Application Programming Interface)

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: A device for implementing a relation formation service for similar disease patients through a body AR(Augmented Reality) smart phone connection module and a body AR SNS(Social Network Service) connection module and a method thereof are provided to drive a body AR application on a smart window and performs a medical information search through a social network. CONSTITUTION: A body AR SNS connection module(200) forms a social network through an SNS server(300) and executes a similar disease patient search command and a patient protector search command. The body AR SNS connection module transmits body AR data after authentication corresponding to a request of a specific body AR smart phone connection module which is located in the social network. The SNS server forms the social network with the number of N body AR smart phone connection module. [Reference numerals] (100,DD,FF) Body augmented reality smart phone combination module; (200,EE,GG) Body augmented reality SNS connection module; (AA) Smart phone; (BB,CC) Similar disease patient search command and a patient protector search command

Description

신체증강현실용 스마트폰 결합모듈과 신체증강현실용 ＳＮＳ 접속모듈을 통한 유사질병환자 친구맺기 또는 보호자 간 관계맺기 서비스 구현장치 및 방법{THE APPARATUS AND METHOD OF AUGMENTED REALITY IN BODILY TISSUE WITH SOCIAL NETWORK SERVICE MOUDULE}Apparatus and method for realizing a relationship between a friend or guardian of a similar disease patient using a smartphone coupling module for physical augmented reality and an SNS connection module for physical augmented reality

본 발명은 나와 친구관계, 친구와 친구관계, 또는 나와 협력관계에 있는 또 다른 신체증강현실용 스마트폰 결합모듈과 소셜네트워크망을 통해 다양한 의료정보를 공유할 수 있고, 환자들간의 친구 맺기 서비스를 수행할 수 있는 신체증강현실용 스마트폰 결합모듈과 신체증강현실용 SNS 접속모듈을 통한 유사질병환자 친구맺기 또는 보호자 간 관계맺기 서비스 구현장치 및 방법에 관한 것이다.
The present invention can share a variety of medical information through a social network and the network module and another social augmented reality smartphone coupling module in a friend relationship, a friend and a friend relationship with me, or a partnership with me, and a friend making service between patients The present invention relates to an apparatus and a method for implementing a relationship between a friend or guardian of a similar disease patient through a smartphone augmentation module for physical augmented reality and an SNS connection module for augmented reality.

오늘날에는 컴퓨터 기술의 발전으로 일상생활의 많은 부분에 있어서 가상의 환경을 접하고 있다. Today, advances in computer technology have led to virtual environments in many parts of everyday life.

이미 대부분의 사람들은 가상환경과 실제환경에 대한 명확한 구분이 없이 두 환경이 접목된 모바일 네트워크 사회에 살고 있다.
Most people already live in a mobile network society where the two environments are combined without a clear distinction between virtual and real environments.

이러한 가상현실과 실제 환경을 서로 접목하여 만들어낸 세상을 복합현실(Mixed Reality)이라고 하며, 그 기반이 현실인가 또는 가상인가에 따라 증강현실(Augmented Reality)과 증강가상(Augmented Virtuality)으로 구분된다.The world created by combining this virtual reality with the real environment is called Mixed Reality, and is divided into Augmented Reality and Augmented Virtuality according to whether the base is reality or virtual.

그 중 실제환경을 기반으로 하는 AR은 실제환경에서는 제공되지 못하는 정보들을 컴퓨터 기술을 이용한 가상의 영상으로 제공한다.Among them, AR based on real environment provides information that cannot be provided in real environment as virtual image using computer technology.

요즘 들어, 사용자의 인터페이스로 의료정보나 의료컨텐츠를 시각적으로 증강해서 사용자에게 실시간으로 제공하는 의료용 증강현실이 한창 개발되고 있다.Nowadays, medical augmented reality is being developed to provide a user with real-time visual enhancement of medical information or medical content with a user interface.

즉, 국내등록특허공보 제10-0877114호에서는 프로브의 위치를 추적하여 상기 프로브의 위치 정보를 획득하는 위치 정보 획득부; 상기 프로브의 위치 정보를 이용하여 미리 설정된 수행 모드에 따라 환자의 환부를 포함하는 제1 증강현실 영역에 직접적으로 상기 프로브의 이동 경로에 상응하는 영상 정보를 투사하는 증강현실 영상 제공부; 및 상기 제1 증강현실 영역과 인접한 제2 증강현실 영역에 상기 수행 모드를 설정하기 위한 메뉴를 투사하고, 상기 환자의 진료 정보 또는 진료 장비의 제어 정보 중 적어도 하나를 더 투사하는 보조 영상 제공부를 포함하고, 상기 수행 모드는 쓰기 모드, 수정 모드 또는 삭제 모드 중 적어도 하나를 포함하는 의료 영상 제공 시스템 및 의료 영상 제공 방법이 제시된 바 있으나,That is, Korean Patent Publication No. 10-0877114, Location information acquisition unit for tracking the position of the probe to obtain the position information of the probe; An augmented reality image providing unit configured to project image information corresponding to a movement path of the probe directly to a first augmented reality region including an affected part of a patient according to a preset performance mode using the position information of the probe; And an auxiliary image providing unit projecting a menu for setting the performance mode to a second augmented reality region adjacent to the first augmented reality region, and further projecting at least one of medical information of the patient or control information of the medical equipment. In addition, the performing mode has been described a medical image providing system and a medical image providing method including at least one of a write mode, a modification mode or a delete mode,

이는 인터넷을 통한 소셜네트워크서비스(SNS) 기능이 없어, 나와 친구관계, 친구와 친구관계, 또는 나와 협력관계에 있는 증강현실용 스마트폰과의 소셜네트워크망 연결이 어려워 다양한 의료정보공유 및 환자들간의 친구 맺기 서비스 구동이 어려운 문제점이 발생하였다.It does not have a social network service (SNS) function through the Internet, so it is difficult to connect a social network network with friends, friends and friends, or augmented reality smartphones that cooperate with me. It is difficult to run a friend service.

또한, 무엇보다 기존의 의료용 증강현실은 데스크 탑 방식의 단순 증강현실 표현의 구성만 있을 뿐, 증강현실 편집, 삭제의 구성이 없어, 실시간 업데이트 된 의료정보(약투여시간, 약종류,진료일자, 과거수술내역, 통증, 혈압수치, 혈당수치)를 친구, 의사 및 의료관계자에게 실시간으로 제공할 수가 없는 문제점이 있었다. 이를 모바일로 제공한다 할지라도 다양한 소셜 네트워크 서비스와 연동을 통한 의료정보의 확산과 촉진 그리고 이를 통한 참여기반의 친구 맺기가 지속적으로 이루어지지는 못한 실정이다.
In addition, the existing medical augmented reality has only the composition of a simple augmented reality expression of the desktop method, there is no configuration of augmented reality editing, deletion, real-time updated medical information (drug administration time, type of medicine, date of treatment, Past surgery history, pain, blood pressure value, blood sugar level) has a problem that can not be provided in real time to friends, doctors and medical personnel. Even if it is provided as a mobile, it is not possible to continuously promote and spread medical information through linkage with various social network services, and make friends based on participation.

국내등록특허공보 제10-1018781호(2011년03월03일 공고)Domestic Patent Publication No. 10-1018781 (March 03, 2011 notification)

상기의 문제점을 해결하기 위해 본 발명에서는 나와 친구관계, 친구와 친구관계, 또는 나와 협력관계에 있는 또 다른 신체증강현실용 스마트폰 결합모듈과 소셜네트워크망을 통해 다양한 의료정보를 공유할 수 있고, 환자들간의 친구 맺기 서비스를 수행할 수 있으며, 사용자가 신체증강현실어플리케이션을 스마트폰상에서 직접 편집·삭제할 수 있으며, 이로 인해 실시간 업데이트 된 의료정보(약투여시간, 약종류, 진료일자, 과거수술내역, 통증, 혈압수치, 혈당수치 등)를 소셜네트워크망을 통해 1:N 방식으로 친구, 의사 및 의료관계자에게 실시간 제공할 수 있는 신체증강현실용 스마트폰 결합모듈과 신체증강현실용 SNS 접속모듈을 통한 유사질병환자 친구맺기 또는 보호자 간 관계 맺기 서비스 구현장치 및 방법을 제공하는데 그 목적이 있다.
In order to solve the above problems, in the present invention, a variety of medical information can be shared through a social network and a smart phone coupling module for another physical augmented reality that is in a relationship with a friend, a friend with a friend, or a partnership with me, You can perform the service of making friends between patients, and users can directly edit and delete the physical augmented reality application on the smartphone, thereby real-time updated medical information (drug administration time, type of medicine, date of treatment, past surgery history) , Pain, blood pressure, blood sugar level, etc.) through the social network network 1: N smart phone combined module for body augmented reality and SNS connection module for body augmented reality that can provide real-time to friends, doctors and medical personnel The purpose of the present invention is to provide a device and a method for implementing a service for making a friend or a parent-child relationship with a similar disease.

상기의 목적을 달성하기 위해 본 발명에 따른 신체증강현실용 스마트폰 결합모듈과 신체증강현실용 SNS 접속모듈을 통한 유사질병환자 친구맺기 또는 보호자 간 관계맺기 서비스 구현장치는In order to achieve the above object, a device for realizing a relationship between a friend or guardian of a similar disease patient using a smartphone augmented reality module and a social augmented reality SNS connection module according to the present invention

스마트폰 내부에 위치되어, 신체기관의 영상정보데이터에다가 캠카메라에서 찍은 신체기관의 실제신체위치영상데이터를 혼합시켜, AR브라우저 상에서 신체위치별로 신체증강현실어플리케이션을 구동시키는 신체증강현실용 스마트폰 결합모듈(100)과,Located inside the smartphone, body augmented reality smart phone combination to drive the body augmented reality application for each body position on the AR browser by mixing the image information data of the body organs with the actual body position image data of the body organs taken from the cam camera Module 100,

신체증강현실용 스마트폰 결합모듈 일측에 연결되어, 소셜네트워크 서비스모듈을 통한 소셜네트워크망을 형성시킨 후, 유사질병환자 탐색명령 및 환자 보호자 탐색명령을 수행하고, 소셜네트워크망에 위치한 특정 신체증강현실용 스마트폰 결합모듈에서 신체증강현실데이터 요청이 있으면, 인증 후 요청한 신체증강현실용 스마트폰 결합모듈로 신체증강현실데이터를 전송시키는 신체증강현실용 SNS 접속모듈(200)과,Connected to one side of the smartphone augmentation module for physical augmented reality, and forms a social network network through a social network service module, performs a search command for a patient with a similar disease and a search for a guardian of a patient, and a specific body augmented reality located in a social network. When the body augmented reality data request from the smart phone coupling module for authentication, the body augmented reality SNS connection module for transmitting the body augmented reality data to the smart augmented reality smart phone coupling module after the request, and

신체증강현실용 스마트폰 결합모듈과 친구관계, 또는 신체증강현실용 스마트폰 결합모듈과 협력관계에 있는 N개의 또 다른 신체증강현실용 스마트폰 결합모듈과 소셜네트워크망을 형성시키는 소셜네트워크서비스(Social Network Service)서버(300)로 구성됨으로서 달성된다.
Social network service to form social networking network and N other body augmented reality smart phone coupling module in partnership with body augmented reality smart phone coupling module or friend relationship with body augmented reality smart phone coupling module Network Service) is achieved by being configured as a server (300).

이상에서 설명한 바와 같이, 본 발명에서는 스마트 윈도우 상에서 신체증강현실어플리케이션을 구동시킴과 동시에 소셜네트워크망을 통해 의료 정보검색 및 탐색을 할 수가 있고, 환자들간의 친구 맺기 서비스를 통해 환자들간의 유대감을 향상시킬 수 있으며, 실시간 업데이트 된 의료정보(약투여시간, 약종류, 진료일자, 과거수술내역, 통증, 혈압수치, 혈당수치 등)를 소셜네트워크망을 통해 1:N 방식으로 친구, 의사 및 의료관계자에게 실시간 제공할 수 있어, 응급상황이 발생시 응급환자구조율을 80% 향상시킬 수 있고, 다양한 의료광고 및 의료서비스를 제공받을 수 있는 좋은 효과가 있다.
As described above, in the present invention, while running the augmented reality application on the smart window and at the same time can search and search for medical information through the social network, and improve the bond between patients through the service of making friends between patients Real-time updated medical information (drug administration time, type of medication, date of treatment, past surgery history, pain, blood pressure level, blood sugar level, etc.) through social network network, 1: N method for friends, doctors and medical personnel It can be provided in real time, to improve the emergency rescue rate 80% in case of an emergency, there is a good effect to receive a variety of medical advertising and medical services.

도 1은 본 발명에 따른 신체증강현실용 스마트폰 결합모듈과 신체증강현실용 SNS 접속모듈을 통한 유사질병환자 친구맺기 또는 보호자 간 관계맺기 서비스 구현장치의 구성요소를 도시한 구성도,
도 2는 본 발명에 따른 신체증강현실용 스마트폰 결합모듈(100)의 구성요소를 도시한 블럭도,
도 3은 본 발명에 따른 신체증강현실용 스마트폰 결합모듈(100) 중 스퀘어 마커부(121)의 구성요소를 도시한 블럭도,
도 4는 본 발명에 따른 신체증강현실용 스마트폰 결합모듈(100) 중 랜더링모듈(130)의 구성요소를 도시한 블럭도,
도 5는 본 발명에 따른 신체증강현실용 스마트폰 결합모듈(100) 중 측정모듈(140)의 구성요소를 도시한 블럭도,
도 6은 본 발명에 따른 신체증강현실용 스마트폰 결합모듈과 신체증강현실용 ＳＮＳ 접속모듈을 통한 유사질병환자 친구맺기 또는 보호자 간 관계맺기 서비스 구현장치의 동작과정을 도시한 일실시예도,
도 7은 본 발명에 따른 신체증강현실용 스마트폰 결합모듈과 신체증강현실용 ＳＮＳ 접속모듈을 통한 유사질병환자 친구맺기 또는 보호자 간 관계맺기 서비스 구현방법을 도시한 순서도.1 is a block diagram illustrating the components of a device for implementing a relationship between a friend or guardian of a similar disease patient via a smartphone augmented reality module and the body augmented reality SNS connection module according to the present invention,
Figure 2 is a block diagram showing the components of the smart phone coupling module 100 for body augmented reality according to the present invention,
Figure 3 is a block diagram showing the components of the square marker unit 121 of the smart phone coupling module 100 for body augmented reality according to the present invention,
Figure 4 is a block diagram showing the components of the rendering module 130 of the smart phone coupling module 100 for body augmented reality according to the present invention,
5 is a block diagram showing the components of the measurement module 140 of the smart phone coupling module 100 for body augmented reality according to the present invention,
Figure 6 is an embodiment showing the operation process of the device for realizing a relationship between a friend or guardian of a similar disease patient through the smartphone augmented reality module for physical augmented reality and the SN connection module for augmented reality according to the present invention,
Figure 7 is a flow chart illustrating a method of implementing a relationship between a smartphone or parental guardian of a similar disease patient through a smartphone augmented reality module for physical augmented reality and SNS connection module for augmented reality according to the present invention.

이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명에 따른 신체증강현실용 스마트폰 결합모듈과 신체증강현실용 SNS 접속모듈을 통한 유사질병환자 친구맺기 또는 보호자 간 관계맺기 서비스 구현장치의 구성요소를 도시한 구성도에 관한 것으로, 이는 신체증강현실용 스마트폰 결합모듈(100), 신체증강현실용 SNS 접속모듈(200), 소셜네트워크서비스(Social Network Service)서버(300)로 구성된다.
1 is a configuration diagram showing the components of a device for implementing a relationship between a friend or guardian of a similar disease patient via the smartphone augmented reality module and the body augmented reality SNS connection module according to the present invention, It consists of a smartphone augmented reality smartphone coupling module 100, SNS connection module 200 for body augmented reality, Social Network Service (Social Network Service) server (300).

먼저, 본 발명에 따른 신체증강현실용 스마트폰 결합모듈(100)에 관해 설명한다.First, the smart phone coupling module 100 for physical augmented reality according to the present invention will be described.

상기 신체증강현실용 스마트폰 결합모듈(100)은 스마트폰 내부에 위치되어, 신체기관의 영상정보데이터에다가 캠카메라에서 찍은 신체기관의 실제신체위치영상데이터를 혼합시켜, AR브라우저 상에서 신체위치별로 신체증강현실어플리케이션을 구동시키는 역할을 한다.The body augmented reality smart phone coupling module 100 is located inside the smartphone, by mixing the actual body position image data of the body organ taken from the cam camera in addition to the image information data of the body organs, body by body position on the AR browser It drives augmented reality applications.

상기 신체증강현실어플리케이션은 AR브라우저 상에서 신체위치별(뇌, 치아, 목, 위, 간, 심장)로 증강현실로 실제신체에 투사시키는 어플리케이션을 말한다.
The physical augmented reality application refers to an application to project the actual body in augmented reality by body position (brain, teeth, neck, stomach, liver, heart) on the AR browser.

본 발명에 따른 신체증강현실용 스마트폰 결합모듈(100)은 AR 브라우저(110), 트래킹모듈(120), 렌더링모듈(130), 측정모듈(140), 증강객체조작부(150)로 구성된다.
Smartphone augmented reality module for augmented reality according to the present invention 100 is composed of AR browser 110, tracking module 120, rendering module 130, measurement module 140, augmented object manipulation unit 150.

첫째, 본 발명에 따른 AR 브라우저(110)에 관해 설명한다.First, the AR browser 110 according to the present invention will be described.

상기 AR 브라우저(110)는 스마트폰 화면상에 신체증강현실어플리케이션을 표출시키는 역할을 한다.The AR browser 110 serves to express the body augmented reality application on the smartphone screen.

이는 스마트폰의 디스플레이부 일측에 연결되어 구성된다.It is configured to be connected to one side of the display unit of the smartphone.

본 발명에 따른 AR 브라우저는 의료용 영상촬영서버를 통해 촬영된 신체기관의 영상정보데이터에다가 캠카메라에서 찍은 신체기관의 실제신체위치영상데이터를 혼합시켜, 신체위치별로 신체증강현실어플리케이션을 구동시킨다.The AR browser according to the present invention mixes the actual body position image data of the body organs taken by the cam camera with the image information data of the body organs photographed through the medical imaging server, thereby driving the body augmented reality application for each body position.

여기서, 의료용 영상촬영서버는 환자의 신체기관에 관한 영상정보를 촬영한 후, 촬영된 신체기관의 영상정보데이터를 신체증강현실용 스마트폰 결합모듈로 전달시키는 것으로, 이는 컴퓨터 단층 촬영부(computer tomography, CT), 자기 공명 영상촬영부(magnetic resonance imaging, MRI), 투시촬영부, 혈관조영부, 디지털 의료 영상 저장 전송부로 구성된다.Here, the medical imaging server photographs the image information about the body organs of the patient, and then transfers the image information data of the photographed body organs to the smartphone coupling module for body augmented reality, which is a computer tomography unit (computer tomography) , CT), magnetic resonance imaging (MRI), fluoroscopy, angiography, and digital medical image storage and transmission.

상기 캠카메라는 스마트폰에 설치된다.
The cam camera is installed in a smartphone.

둘째, 본 발명에 따른 트래킹모듈(120)에 관해 설명한다.Second, the tracking module 120 according to the present invention will be described.

상기 트래킹모듈(120)은 실제신체위치영상데이터와 신체기관의 영상정보데이터 사이를 연결시키는 매개체를 지속적으로 추적하고 인식시켜 신체증강현실어플리케이션을 생성시키기 위한 기준좌표계를 설정하는 역할을 한다.The tracking module 120 serves to set a reference coordinate system for generating a body augmented reality application by continuously tracking and recognizing a medium connecting the actual body position image data and the image information data of the body organs.

이는 AR 브라우저상에서 스퀘어 마커의 추적과 인식을 통해 좌표계를 생성시키는 스퀘어 마커부(121)가 포함되어 구성된다.
This includes a square marker unit 121 for generating a coordinate system through tracking and recognition of the square marker on the AR browser.

상기 스퀘어 마커부(121)는 마커추적부(121a)와 마커인식부(121b)로 구성된다.The square marker part 121 includes a marker tracking part 121a and a marker recognition part 121b.

상기 마커추적부(121a)는 오리지널 이미지에서 경계값을 처리한 이미지를 생성시킨 후, 컴포넌트를 연결시켜 윤곽선을 형성해서 마커테두리와 모서리를 추출시키는 역할을 한다.The marker tracker 121a serves to extract the marker borders and edges by generating an image by processing a boundary value from the original image and then connecting the components to form an outline.

상기 마커인식부(221b)는 마커의 시점을 X축, Y축으로 시점변환시키고, 일반화 시킨 후, 탬플링 매칭시켜서 미리 저장된 패턴으로 좌표계를 형성시키는 역할을 한다.The marker recognition unit 221b converts the viewpoint of the marker to the X-axis and the Y-axis, generalizes it, and then forms a coordinate system with a pre-stored pattern by performing tamping matching.

본 발명에 따른 마커추적부와 마커인식부는 AR 브라이저상에서 순차적으로 수행된다.The marker tracking unit and the marker recognition unit according to the present invention are sequentially performed on the AR browser.

또한, 본 발명에 따른 스퀘어 마커부는 사용자인터페이스를 통하여 제공되는 마커의 크기 및 패턴정보와 마커 데이터베이스에 저장되어 있는 정보들간의 매칭을 통하여 신체증강현실어플리케이션을 생성하기 위한 기준 좌표계를 생성하게 된다.In addition, the square marker unit according to the present invention generates a reference coordinate system for generating a body augmented reality application through matching between the size and pattern information of the marker provided through the user interface and the information stored in the marker database.

기준좌표계의 방향 결정을 위해서 흑백으로 구성된 2차원 행렬 마커나 템플릿이 사용된다.
A black and white two-dimensional matrix marker or template is used to determine the orientation of the reference coordinate system.

또한, 본 발명에 따른 스퀘어마커부는 X축, Y축선상에서 위치와 방향이 바뀌지 않는 신체기관을 카메라가 지속적으로 마커를 통해 추적하도록 구성된다.
In addition, the square marker unit according to the present invention is configured such that the camera continuously tracks the body organs whose positions and directions do not change on the X-axis and the Y-axis line through the markers.

셋째, 본 발명에 따른 랜더링모듈(130)에 관해 설명한다.Third, the rendering module 130 according to the present invention will be described.

상기 랜더링모듈(130)은 트래킹 모듈을 통해 생성된 좌표계를 기반으로 신체증강현실어플리케이션을 생성 및 제거시킨 후, 신체증강현실어플리케이션의 좌표를 이동시키는 역할을 한다.The rendering module 130 creates and removes the body augmented reality application based on the coordinate system generated by the tracking module, and then moves the coordinates of the body augmented reality application.

이는 신체증강현실 생성·제거부(131)와 신체증강현실 좌표이동부(132)로 구성된다.It consists of the body augmented reality generating and removing unit 131 and the body augmented reality coordinates moving unit 132.

상기 신체증강현실 생성·제거부(131)는 트래킹 모듈을 통해 생성된 좌표계를 기반으로 신체증강현실어플리케이션을 생성 및 제거시키는 역할을 한다.The body augmented reality generating and removal unit 131 serves to generate and remove a body augmented reality application based on the coordinate system generated through the tracking module.

본 발명에서는 하나의 마커를 이용하여 여러 개의 신체증강현실어플리케이션을 생성하도록 구성된다.In the present invention, it is configured to generate several body augmented reality applications using a single marker.

즉, 신체가 움직이지 않고 정위치에 있어서, 모든 신체증강현실어플리케이션이 상대적인 움직임을 가지지 않을 경우에는 하나의 마커로 가상 시스템 전체를 실제환경에 정합할 수가 있다.In other words, when the body does not move and is in position and all the augmented reality applications do not have relative movement, a single marker can match the entire virtual system to the real environment.

또한, 신체가 움직여서 동적위치에 있어서, 모든 신체증강현실어플리케이션이 상대적인 움직임이 있을 경우에는 생성되는 구성요소들 마다 각각의 기준좌표계를 설정하도록 구성된다.In addition, in the dynamic position of the body moving, all the body augmented reality application is configured to set each reference coordinate system for each generated component when there is a relative movement.

본 발명에 따른 신체증강현실 생성·제거부를 통해 생성된 신체증강현실어플리케이션은 스마트폰의 캠카메라와의 거리정보를 기반으로 정합되는 순서를 가진다.The body augmented reality application generated through the body augmented reality generating and removing unit according to the present invention has a sequence of matching based on the distance information with the cam camera of the smartphone.

즉, 캠카메라에 가까이 있는 신체증강현실어플리케이션에 의해서 멀리있는 신체증강현실데이터는 가려지게 된다.That is, the distant body augmented reality data is hidden by the body augmented reality application near the cam camera.

그리고, 작업을 수행하는 과정에서 멀리있는 신체증강현실데이터의 정보가 요구된다.In addition, in the process of performing the task, information of the physiological augmented reality data is required.

이러한 경우에는 가까이 있는 신체증강현실데이터를 제거함으로써 멀리 있는 신체증강현실데이터의 정보를 얻을 수가 있다.In such a case, the information of the distant body augmented reality data can be obtained by removing the nearby body augmented reality data.

상기 신체증강현실 좌표이동부(132)는 AR브라우저상에서 신체증강현실어플리케이션을 정위치에 위치시키기 위해 좌표이동을 수행하는 역할을 한다.The body augmented reality coordinate moving unit 132 serves to perform a coordinate shift to position the body augmented reality application in the correct position on the AR browser.

즉, 초기에 생성되는 신체증강현실어플리케이션은 마커의 중심을 원점으로 해서 생성된다. That is, the body augmented reality application generated initially is generated with the center of the marker as the origin.

이때, 신체의 상황에 따라서 원하는 위치에 마커를 위치할 수 없거나 마커 트래킹을 수행하는 동안 다른 물체의 시각적인 간섭을 받을 수도 있다.In this case, the marker may not be positioned at a desired position according to the situation of the body, or may receive visual interference of another object while performing the marker tracking.

상기 신체증강현실 좌표이동부는 마커를 트래킹이 용이한 신체 부위에 설치하고, AR 브라우저 상에서 신체증강현실어플리케이션을 정위치에 위치시키기 위해, 좌표이동시킨다.
The body augmented reality coordinate moving unit installs the marker on the body part that is easy to track, and moves the coordinates to position the body augmented reality application in the correct position on the AR browser.

넷째, 본 발명에 따른 측정모듈(140)에 관해 설명한다.Fourth, the measurement module 140 according to the present invention will be described.

상기 측정모듈(140)은 AR 브라이저상에 생성된 신체증강현실어플리케이션들간의 거리를 측정하고, 생성된 좌표계간의 거리와 방향을 측정하며, 신체증강현실어플리케이션과 실제신체위치영상데이터간의 간섭을 체크하는 역할을 한다.The measurement module 140 measures the distance between the body augmented reality applications created on the AR browser, measures the distance and direction between the generated coordinate system, and checks the interference between the body augmented reality application and the actual body position image data Play a role.

이는 신체증강현실어플리케이션들 사이의 거리측정부(141), 신체증강현실어플리케이션과 실제 신체환경간의 간섭체크부(142)가 구성된다. It is composed of a distance measuring unit 141 between the body augmented reality applications, the interference check unit 142 between the body augmented reality application and the actual body environment.

상기 거리측정부(141)는 마커를 중심으로 신체증강현실어플리케이션이 생성되어지면, 임의의 두점 사이의 거리를 마커를 기반으로 측정하는 역할을 한다.When the body augmented reality application is generated based on the marker, the distance measuring unit 141 measures the distance between two arbitrary points based on the marker.

이는 신체증강현실어플리케이션들간의 위치를 측정할 수 있고, 이로 인해 AR 브라우저 상에서 한눈에 파악할 수가 있다.It can measure the location between augmented reality applications, which can be seen at a glance on the AR browser.

상기 간섭체크부(142)는 클리핑 플레인을 통해 해당되는 기준 평면을 기준으로 한 쪽의 신체증강현실어플리케이션을 제거하는 역할을 한다.The interference check unit 142 serves to remove a body augmented reality application on the basis of the corresponding reference plane through the clipping plane.

이는 신체 일측 부위에 부착되어 있는 마커를 기준으로 클리핑 플레인을 생성함으로써, 신체증강현실어플리케이션 자체와 주변 신체 환경과의 간섭을 육안으로 파악할 수 있어, 선명한 신체증강현실어플리케이션을 생성시킬 수가 있다.
By generating a clipping plane based on a marker attached to one side of the body, it is possible to visually grasp the interference between the body augmented reality application itself and the surrounding body environment, thereby generating a clear body augmented reality application.

다섯째, 본 발명에 따른 증강객체조작부(150)에 관해 설명한다.Fifth, the augmented object manipulation unit 150 according to the present invention will be described.

상기 증강객체조작부(150)는 트래킹모듈, 렌더링모듈, 측정모듈과 연결되어 AR 브라우저에 표출되는 신체증강현실어플리케이션을 편집·삭제시키고, 신체증강현실어플리케이션에 포함된 텍스트를 문자 인식 API함수를 통해 편집·삭제시킨 후 업데이트시켜 AR 브라우저 상에 표출시키는 역할을 한다.The augmented object manipulation unit 150 is connected to the tracking module, rendering module, and measurement module to edit and delete the body augmented reality application displayed in the AR browser, and edit the text included in the body augmented reality application through a character recognition API function. · Delete and update to display on AR browser.

이는 텍스트, 2D 이미지, 3D 메시의 신체조직영상 또는 의료정보데이터를 편집·삭제시켜 조작한다.It operates by editing and deleting text, 2D image, body tissue image of 3D mesh or medical information data.

상기 텍스트의 경우에는 윈도우 모바일(Window Mobile)에서 제공하는 SIP를 활용하여 키보드 패드가 지원안되는 풀 터치스크린 환경에서 직접입력한다. In the case of the text, the SIP is directly input in a full touch screen environment in which a keyboard pad is not supported by using a SIP provided by Window Mobile.

이때, 문자 인식 API함수를 활용하여 직관적으로 글씨를 쓰듯 입력한다.In this case, the character recognition API function is used to input the text intuitively.

상기 2D 이미지와 3D 메시의 경우에는 윈도우 모바일 API(Window Mobile API)에 제공되는 오픈파일네임(OPENFILENAME) 구조체를 활용하여 직접 파일을 선택하여 불러와서 입력한다.
In the case of the 2D image and the 3D mesh, the user directly selects and inputs a file by using the OPENFILENAME structure provided in the Window Mobile API.

이때, 시스템 내의 증강이 가능한 파일들을 읽어오는 과정에서 콤보박스(Combo Box)와 같은 인터페이스 위젯에 시스템 내에 존재하는 증강 가능한 객체의 파일명을 등록하여 선택한다. At this time, in the process of reading the files that can be augmented in the system, a file name of an augmentable object existing in the system is selected and selected in an interface widget such as a combo box.

이처럼 본 발명에서는 증강객체조작부가 구성됨으로서, 사용자가 신체증강현실어플리케이션을 스마트폰상에서 직접 편집·삭제할 수 있어 실시간 업데이트 된 의료정보(약투여시간, 약종류, 진료일자, 과거수술내역, 통증, 혈압수치, 혈당수치)를 의사 및 의료관계자에게 제공할 수가 있다.
As such, in the present invention, the augmented object manipulation unit is configured, so that the user can directly edit and delete the body augmented reality application on the smart phone, thereby real-time updated medical information (drug administration time, type of medicine, treatment date, past surgery history, pain, blood pressure) Levels, blood sugar levels) can be provided to doctors and health care providers.

다음으로, 본 발명에 따른 신체증강현실용 SNS 접속모듈(200)에 관해 설명한다.Next, the SNS connection module 200 for physical augmented reality according to the present invention will be described.

상기 신체증강현실용 SNS 접속모듈(200)은 신체증강현실용 스마트폰 결합모듈 일측에 연결되어, 소셜네트워크서비스서버를 통해 소셜네트워크망을 형성시킨 후, 유사질병환자 탐색명령 및 환자 보호자 탐색명령을 수행하고, 소셜네트워크망에 위치한 특정 신체증강현실용 스마트폰 결합모듈에서 신체증강현실데이터 요청이 있으면, 인증 후 요청한 신체증강현실용 스마트폰 결합모듈로 신체증강현실데이터를 전송시키는 역할을 한다.The SNS connection module 200 for physical augmented reality is connected to one side of the smartphone augmented module for physical augmented reality, after forming a social network network through a social network service server, the similar disease patient search command and patient caregiver search command If there is a request for physical augmented reality data from a specific body augmented reality smart phone combined module located in a social network network, it plays a role of transmitting the body augmented reality data to the body augmented reality smart phone combined module requested after authentication.

이는 태깅부(Tagging)(210), CDM(Contents Description Model)부(220), 신체증강현실데이터 전송부(230)로 구성된다.
It is composed of a tagging unit (Tagging) 210, CDM (Contents Description Model) unit 220, body augmented reality data transmission unit 230.

상기 태깅부(Tagging)(210)는 검색이나 탐색을 하도록 신체증강현실어플리케이션에 태그를 설정하는 역할을 한다.
The tagging unit 210 serves to set a tag in the body augmented reality application to search or search.

상기 CDM(Contents Description Model)부(220)는 시맨틱 웹 2.0 기반에서 신체증강현실어플리케이션들을 서로 연결시키고, 복수개의 신체증강현실어플리케이션에 관한 신체기관의 영상정보데이터들을 오픈 API(Open Application Programmer Interface)를 통해 소셜네트워크서비스 서버에서 가져와서 저장시키고 관리하는 역할을 한다.
The CDM (Contents Description Model) unit 220 connects augmented reality applications to each other on the basis of semantic web 2.0, and opens image information data of body organs related to a plurality of physical augmented reality applications using an Open API (Open Application Programmer Interface). Through the social network service server, it stores and manages.

상기 신체증강현실데이터 전송부(230)는 CDM(Contents Description Model)부에 저장된 복수개의 신체증강현실어플리케이션들을 소셜네트워크망을 통해 요청한 신체증강현실용 스마트폰 결합모듈로 신체증강현실데이터를 전송시키는 역할을 한다.The body augmented reality data transmission unit 230 transmits the body augmented reality data to the body augmented reality smart phone combined module for requesting a plurality of body augmented reality applications stored in the CDM (Contents Description Model) unit through a social network network Do it.

이는 WiFi망을 통해 소셜네트워크서비스서버와 연결되어 신체증강현실데이터를 전송시킨다.It connects with social network service server through WiFi network and transmits physical augmented reality data.

이때, 전송시 신체증강현실데이터와 함께 소셜네트워크망에 접속된 또 다른 신체증강현실용 스마트폰 결합모듈의 IP주소와 인증요청신호를 동시에 전송시킨다.
At this time, the IP address and the authentication request signal of another body augmented reality smart phone combined module connected to the social network network together with the body augmented reality data is transmitted at the same time.

다음으로, 본 발명에 따른 소셜네트워크서비스(Social Network Service)서버(300)에 관해 설명한다.Next, a social network service server 300 according to the present invention will be described.

상기 소셜네트워크서비스(Social Network Service)서버(300)는 신체증강현실용 스마트폰 결합모듈과 친구관계, 또는 신체증강현실용 스마트폰 결합모듈과 협력관계에 있는 N개의 또 다른 신체증강현실용 스마트폰 결합모듈과 소셜네트워크망을 형성시키는 역할을 한다.The social network service server 300 is a smartphone augmented reality smartphone coupling module and a friend relationship, or N another body augmented reality smart phone in cooperation with the smartphone augmented reality module It forms a combination module and social network.

이는 WiFi망을 통해 신체증강현실용 SNS 접속모듈(200)과 협력관계에 있는 N개의 또 다른 신체증강현실용 스마트폰 결합모듈과 소셜네트워크망을 형성시킨다.This forms a social coupling network and N other body augmented reality smartphone coupling module in cooperation with the SNS connection module 200 for body augmented reality through the WiFi network.

본 발명에 따른 소셜네트워크서비스(Social Network Service)서버(300)는 SSO(Single Sign On, 단일의 ID로 여러 사이트를 동시에 접속할 수 있는 기술)를 이용하여 접속시 ID와 비밀번호 입력을 통해 인증절차를 거친 후, 양방향 데이터 통신이 되도록 구성된다.The social network service server 300 according to the present invention performs an authentication procedure by inputting an ID and a password when connecting using SSO (single sign on, a technology capable of simultaneously accessing multiple sites with a single ID). After coarse, bidirectional data communication is configured.

즉, 신체증강현실용 SNS 접속모듈(200)에서 유사질병환자 탐색명령 및 환자 보호자 탐색명령이 입력되면, 소셜네트워크망에 연결된 N개의 또 다른 신체증강현실용 스마트폰 결합모듈을 탐색한 후, 그 결과데이터를 요청한 신체증강현실용 SNS 접속모듈(200)로 다시 전송시킨다.That is, when a similar illness patient search command and a patient guardian search command are input from the SNS connection module 200 for physical augmented reality, after searching for N additional body augmented reality smart phone coupling modules connected to the social network network, The result data is sent back to the SNS connection module 200 for the body augmented reality.

그리고, 신체증강현실용 SNS 접속모듈(200)에서 신체증강현실데이터 전송명령이 입력되면, 협력관계에 있는 또 다른 신체증강현실용 스마트폰 결합모듈로 1:1로 연결시킨다.
Then, when the body augmented reality data transmission command is input from the SNS connection module 200 for body augmented reality, another body augmented reality smart phone coupling module in a cooperative relationship 1: 1.

이하, 본 발명에 따른 신체증강현실용 스마트폰 결합모듈과 신체증강현실용 SNS 접속모듈을 통한 유사질병환자 친구맺기 또는 보호자 간 관계맺기 서비스 구현방법에 관해 설명한다.
Hereinafter, a method for implementing a service for making a relationship between a friend or guardian with a similar disease patient through a smartphone augmentation module for physical augmented reality and an SNS connection module for augmented reality according to the present invention will be described.

먼저, 신체증강현실용 스마트폰 결합모듈(100)에서 AR브라우저를 통해 신체위치별로 신체증강현실어플리케이션을 구동시킨다.First, in the body augmented reality smart phone coupling module 100 through the AR browser to drive the body augmented reality application for each body position.

즉, AR 브라우저(110)를 통해 화면상에 신체증강현실어플리케이션을 표출시킨다.That is, through the AR browser 110 to display the body augmented reality application on the screen.

이어서, 트래킹모듈(120)을 통해 실제신체위치영상데이터와 신체기관의 영상정보데이터 사이를 연결시키는 매개체를 지속적으로 추적하고 인식시켜 신체증강현실어플리케이션을 생성시키기 위한 기준좌표계를 설정한다.Subsequently, the tracking module 120 establishes a reference coordinate system for generating a body augmented reality application by continuously tracking and recognizing a medium connecting the actual body position image data and the image information data of a body organ.

이어서, 렌더링모듈(130)에서 트래킹 모듈을 통해 생성된 좌표계를 기반으로 신체증강현실어플리케이션을 생성 및 제거시킨 후, 신체증강현실어플리케이션의 좌표를 이동시킨다.Subsequently, after generating and removing the body augmented reality application based on the coordinate system generated by the tracking module in the rendering module 130, the coordinates of the body augmented reality application are moved.

이어서, 측정모듈(140)을 통해 AR 브라우저상에 생성된 신체증강현실들간의 거리를 측정하고, 생성된 좌표계간의 거리와 방향을 측정하며, 신체증강현실어플리케이션과 실제신체위치영상데이터간의 간섭을 체크한다.Subsequently, the measurement module 140 measures the distance between the body augmented reality created on the AR browser, measures the distance and direction between the generated coordinate system, and checks the interference between the body augmented reality application and the actual body position image data do.

이어서, 증강객체조작부(150)를 통해 트래킹모듈, 렌더링모듈, 측정모듈과 연결되어 AR 브라우저에 표출되는 신체증강현실어플리케이션을 편집·삭제시키고, 신체증강현실어플리케이션에 포함된 텍스트를 문자 인식 API함수를 통해 편집·삭제시킨 후 업데이트시켜 AR 브라우저 상에 표출시킨다.Subsequently, the augmented object manipulation unit 150 is connected to the tracking module, the rendering module, and the measurement module to edit and delete the body augmented reality application displayed in the AR browser, and to convert the text included in the body augmented reality application into a character recognition API function. Edit, delete, update, and display on the AR browser.

다음으로, 신체증강현실용 SNS 접속모듈(200)에서 소셜네트워크 서비스 서버와 연결되어 친구관계, 또는 협력관계에 있는 또 다른 N개의 신체증강현실용 스마트폰 결합모듈과 소셜네트워크망을 형성시킨다.
Next, the social augmented reality SNS connection module 200 is connected to the social network service server to form a social network network with another N body augmented reality smartphone coupling module in a friend relationship, or cooperation.

다음으로, 신체증강현실용 SNS 접속모듈(200)을 통해 소셜네트워크망에서 유사질병환자 탐색명령 및 환자 보호자 탐색명령을 수행한다.
Next, the SNS connection module 200 for physical augmented reality performs a similar disease patient search command and a patient guardian search command in a social network.

끝으로, 신체증강현실용 SNS 접속모듈(200)로 소셜네트워크망에 위치한 특정 신체증강현실용 스마트폰 결합모듈에서 신체증강현실데이터 요청이 들어오면, 인증 후 요청한 신체증강현실용 스마트폰 결합모듈로 신체증강현실데이터를 전송시킨다.
Finally, when the body augmented reality data request from the specific body augmented reality smart phone combination module located in the social network network to the augmented reality SNS connection module 200, after authentication to the body augmented reality smart phone combined module Transmit physical augmented reality data.

100 : 신체증강현실용 스마트폰 결합모듈
110 : AR 브라우저 120 : 트래킹모듈
130 : 렌더링모듈 140 : 측정모듈
150 : 증강객체조작부
200 : 신체증강현실용 SNS 접속모듈
210 : 태깅부(Tagging)
220 : CDM(Contents Description Model)부
230 : 신체증강현실데이터 전송부
300 : 소셜네트워크서비스(Social Network Service)서버100: smart phone coupling module for physical augmented reality
110: AR browser 120: tracking module
130: rendering module 140: measurement module
150: augmented object control unit
200: SNS connection module for physical augmented reality
210: tagging
220: CDM (Contents Description Model) part
230: body augmented reality data transmission unit
300: social network service server

Claims (4)

스마트폰 내부에 위치 또는 의료정보에 대한 원격 서버에 접속되어, 신체기관의 영상정보데이터에다가 캠카메라에서 찍은 신체기관의 실제신체위치영상데이터를 혼합시켜, AR브라우저 상에서 신체위치별로 신체증강현실어플리케이션을 구동시키는 신체증강현실용 스마트폰 결합모듈(100)과,
신체증강현실용 스마트폰 결합모듈 일측에 연결되어, 소셜네트워크 서비스서버를 통해 소셜네트워크망을 형성시킨 후, 유사질병환자 탐색명령 및 환자 보호자 탐색명령을 수행하고, 소셜네트워크망에 위치한 특정 신체증강현실용 스마트폰 결합모듈에서 신체증강현실데이터 요청이 있으면, 인증 후 요청한 신체증강현실용 스마트폰 결합모듈로 신체증강현실데이터를 전송시키는 신체증강현실용 SNS 접속모듈(200)과,
신체증강현실용 스마트폰 결합모듈과 친구관계, 또는 신체증강현실용 스마트폰 결합모듈과 협력관계에 있는 N개의 또 다른 신체증강현실용 스마트폰 결합모듈과 소셜네트워크망을 형성시키는 소셜네트워크서비스(Social Network Service)서버(300)로 구성되는 것을 특징으로 하는 신체증강현실용 스마트폰 결합모듈과 신체증강현실용 SNS 접속모듈을 통한 유사질병환자 친구맺기 또는 보호자 간 관계맺기 서비스 구현장치.

It is connected to a remote server for location or medical information inside the smartphone and mixes the image information data of the body organs with the actual body position image data of the body organs taken by the cam camera, and performs the augmented reality application for each body position on the AR browser. Smart phone coupling module for driving body augmented reality and,
Connected to one side of the smartphone augmentation module for physical augmented reality, and forms a social network network through a social network service server, performs a search command for a patient with a similar disease and a search for a guardian of a patient, and a specific body augmented reality located in a social network. When the body augmented reality data request from the smart phone coupling module for authentication, the body augmented reality SNS connection module for transmitting the body augmented reality data to the smart augmented reality smart phone coupling module after the request, and
Social network service to form social networking network and N other body augmented reality smart phone coupling module in partnership with body augmented reality smart phone coupling module or friend relationship with body augmented reality smart phone coupling module Network Service) Server 300 is a physical augmented reality smart phone combined module and augmented reality through the SNS connection module for the body augmented reality patients with a similar illness or a parenting service implementation apparatus.

제1항에 있어서, 상기 신체증강현실용 스마트폰 결합모듈(100)은
화면상에 신체증강현실어플리케이션을 표출시키는 AR 브라우저(110)와,
실제신체위치영상데이터와 신체기관의 영상정보데이터 사이를 연결시키는 매개체를 지속적으로 추적하고 인식시켜 신체증강현실어플리케이션을 생성시키기 위한 기준좌표계를 설정하는 트래킹모듈(120)과,
트래킹 모듈을 통해 생성된 좌표계를 기반으로 신체증강현실어플리케이션을 생성 및 제거시킨 후, 신체증강현실어플리케이션의 좌표를 이동시키는 렌더링모듈(130)과,
AR 브라우저상에 생성된 신체증강현실들간의 거리를 측정하고, 생성된 좌표계간의 거리와 방향을 측정하며, 신체증강현실어플리케이션과 실제신체위치영상데이터간의 간섭을 체크하는 측정모듈(140)과,
트래킹모듈, 렌더링모듈, 측정모듈과 연결되어 AR 브라우저에 표출되는 신체증강현실어플리케이션을 편집·삭제시키고, 신체증강현실어플리케이션에 포함된 텍스트를 문자 인식 API함수를 통해 편집·삭제시킨 후 업데이트시켜 AR 브라우저 상에 표출시키는 증강객체조작부(150)로 구성되는 것을 특징으로 하는 신체증강현실용 스마트폰 결합모듈과 신체증강현실용 SNS 접속모듈을 통한 유사질병환자 친구맺기 또는 보호자 간 관계맺기 서비스 구현장치.

According to claim 1, The body augmented reality smart phone coupling module 100
AR browser 110 for displaying the body augmented reality application on the screen,
A tracking module 120 for setting a reference coordinate system for generating a body augmented reality application by continuously tracking and recognizing a medium connecting the actual body position image data and the image information data of a body organ,
After generating and removing the body augmented reality application based on the coordinate system generated by the tracking module, the rendering module 130 for moving the coordinates of the body augmented reality application,
A measurement module 140 for measuring the distance between the body augmented reality generated on the AR browser, measuring the distance and direction between the generated coordinate system, and checking the interference between the body augmented reality application and the actual body position image data;
The AR browser is connected to the tracking module, rendering module, and measurement module to edit and delete the augmented reality application displayed in the AR browser, and to edit, delete, and update the text included in the augmented reality application through the character recognition API function. Apparatus for realizing a relationship between a friend or guardian of a similar disease patient through a smartphone augmented reality module for augmented reality and SNS connection module for augmented reality, characterized in that consisting of the augmented object manipulation unit 150 to display on.

제1항에 있어서, 상기 신체증강현실용 SNS 접속모듈(200)은
검색이나 탐색을 하도록 신체증강현실어플리케이션에 태그를 설정하는 태깅부(Tagging)(210)와,
시맨틱 웹 2.0 기반에서 신체증강현실어플리케이션들을 서로 연결시키고, 복수개의 신체증강현실어플리케이션에 관한 신체기관의 영상정보데이터들을 오픈 API(Open Application Programmer Interface)를 통해 소셜네트워크서비스 서버에서 가져와서 저장시키고 관리하는 CDM(Contents Description Model)부(220)와,
CDM(Contents Description Model)부에 저장된 복수개의 신체증강현실어플리케이션들을 소셜네트워크망을 통해 요청한 신체증강현실용 스마트폰 결합모듈로 신체증강현실데이터를 전송시키는 신체증강현실데이터 전송부(230)가 포함되어 구성되는 것을 특징으로 하는 신체증강현실용 스마트폰 결합모듈과 신체증강현실용 SNS 접속모듈을 통한 유사질병환자 친구맺기 또는 보호자 간 관계맺기 서비스 구현장치.
According to claim 1, wherein the SNS connection module for physical augmented reality 200
A tagging unit 210 for tagging the augmented reality application to search or search,
It connects physical augmented reality applications to each other based on semantic web 2.0, and imports, stores and manages image information data of body organs related to a plurality of physical augmented reality applications from a social network service server through an open API (Open Application Programmer Interface). CDM (Contents Description Model) unit 220,
The body augmented reality data transmission unit 230 for transmitting the body augmented reality data to the body augmented reality smart phone combined module requested by the plurality of body augmented reality applications stored in the CDM (Contents Description Model) unit includes a Apparatus for realizing a relationship between a friend or guardian of a similar disease patient through a smartphone coupling module for physical augmented reality and SNS connection module for augmented reality.
신체증강현실용 스마트폰 결합모듈(100)에서 AR브라우저를 통해 신체위치별로 신체증강현실어플리케이션을 구동시키는 단계(S100)와,
신체증강현실용 SNS 접속모듈(200)에서 소셜네트워크 서비스 서버와 연결되어 친구관계, 또는 협력관계에 있는 또 다른 N개의 신체증강현실용 스마트폰 결합모듈과 소셜네트워크망을 형성시키는 단계(S200)와,
신체증강현실용 SNS 접속모듈(200)을 통해 소셜네트워크망에서 유사질병환자 탐색명령 및 환자 보호자 탐색명령을 수행하는 단계(S300)와,
신체증강현실용 SNS 접속모듈(200)로 소셜네트워크망에 위치한 특정 신체증강현실용 스마트폰 결합모듈에서 신체증강현실데이터 요청이 들어오면, 인증 후 요청한 신체증강현실용 스마트폰 결합모듈로 신체증강현실데이터를 전송시키는 단계(S400)로 이루어지는 것을 특징으로 하는 신체증강현실용 스마트폰 결합모듈과 신체증강현실용 SNS 접속모듈을 통한 유사질병환자 친구맺기 또는 보호자 간 관계맺기 서비스 구현장치.Driving the body augmented reality application for each body position through the AR browser in the body augmented reality smartphone coupling module (100) and
In step S200, the social augmented reality SNS connection module 200 is connected with a social network service server to form another N body augmented reality smart phone coupling module and social network in a friend relationship or a cooperative relationship (S200); ,
Performing a similar disease patient search command and a caregiver search command in a social network through the SNS connection module 200 for physical augmented reality (S300);
When the body augmented reality data request comes from a specific body augmented reality smart phone combination module located in a social network network to the SNS connection module 200 for body augmented reality, body augmented reality as a smartphone combined module for body augmented reality requested after authentication Apparatus for realizing a relationship between a friend or guardian of a similar disease patient via a smartphone augmented reality module for physical augmented reality and SNS connection module for augmented reality, characterized in that the step of transmitting data (S400).
KR1020110120862A 2011-11-18 2011-11-18 The apparatus and method of augmented reality in bodily tissue with social network service moudule KR101302120B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110120862A KR101302120B1 (en) 2011-11-18 2011-11-18 The apparatus and method of augmented reality in bodily tissue with social network service moudule

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110120862A KR101302120B1 (en) 2011-11-18 2011-11-18 The apparatus and method of augmented reality in bodily tissue with social network service moudule

Publications (2)

Publication Number Publication Date
KR20130062430A true KR20130062430A (en) 2013-06-13
KR101302120B1 KR101302120B1 (en) 2013-09-12

Family

ID=48860129

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110120862A KR101302120B1 (en) 2011-11-18 2011-11-18 The apparatus and method of augmented reality in bodily tissue with social network service moudule

Country Status (1)

Country Link
KR (1) KR101302120B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190018906A (en) * 2017-08-16 2019-02-26 연세대학교 원주산학협력단 Mobile terminal for rendering virtual organs in augmented/virtual reality and system thereof
KR20220045869A (en) * 2020-10-06 2022-04-13 제이케이앤디 주식회사 Marketing video providing system based on augmented reality and operation method thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8265957B2 (en) * 2007-01-18 2012-09-11 At&T Intellectual Property I, L.P. Methods, systems, and computer-readable media for disease management
KR100877114B1 (en) * 2007-04-20 2009-01-09 한양대학교 산학협력단 Medical image providing system and method of providing medical image using the same
US20110125844A1 (en) * 2009-05-18 2011-05-26 Telcordia Technologies, Inc. mobile enabled social networking application to support closed, moderated group interactions for purpose of facilitating therapeutic care

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190018906A (en) * 2017-08-16 2019-02-26 연세대학교 원주산학협력단 Mobile terminal for rendering virtual organs in augmented/virtual reality and system thereof
KR20220045869A (en) * 2020-10-06 2022-04-13 제이케이앤디 주식회사 Marketing video providing system based on augmented reality and operation method thereof

Also Published As

Publication number Publication date
KR101302120B1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
US11730545B2 (en) System and method for multi-client deployment of augmented reality instrument tracking
TW201935490A (en) System and method for patient engagement
US20100262435A1 (en) Targeted health care content delivery system
Sirilak et al. A new procedure for advancing telemedicine using the HoloLens
JP6514486B2 (en) MEDICAL SYSTEM, MEDICAL DEVICE, AND PROGRAM
US20140278503A1 (en) System and methods for treatment and management of one or more subjects
Virag et al. Browser-based medical visualization system
CN114711962A (en) Augmented reality operation planning navigation system and method
Morales Mojica et al. A holographic augmented reality interface for visualizing of MRI data and planning of neurosurgical procedures
EP3574837A1 (en) Medical information virtual reality server system, medical information virtual reality program, medical information virtual reality system, method of creating medical information virtual reality data, and medical information virtual reality data
Sugimoto Cloud XR (extended reality: virtual reality, augmented reality, mixed reality) and 5g mobile communication system for medical image-guided holographic surgery and telemedicine
KR101302120B1 (en) The apparatus and method of augmented reality in bodily tissue with social network service moudule
KR20180105284A (en) Remote treatment method
US8639008B2 (en) Mobile architecture using cloud for data mining application
US20140297309A1 (en) System and method for supplying medical image
KR101258961B1 (en) The apparatus and method of augmented reality of bodily tissue with smartphone
Zhang et al. Immersive augmented reality (I am real)–remote clinical consultation
Andrikos et al. Real-time medical collaboration services over the web
CN117111724A (en) Data processing method and system for XR
US20220157450A1 (en) Capturing user constructed map of bodily region of interest for remote telemedicine navigation
Liu et al. Perioperative nursing care of vascular decompression for trigeminal neuralgia under AR medical technology
CN107816995A (en) Navigation information acquisition method and device, system, computer-readable recording medium
KR20200075619A (en) Method and apparatus for recoding of treatment plan of 3d medical image
CN110415810A (en) Remote interaction system, method, apparatus and the storage medium of augmented reality
US11334976B1 (en) Medical imaging with functional architecture tracking

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161122

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170913

Year of fee payment: 5