KR101623041B1 - System and method for managing markers coexisting mixed space, and the recording media storing the program performing the said method - Google Patents
System and method for managing markers coexisting mixed space, and the recording media storing the program performing the said method Download PDFInfo
- Publication number
- KR101623041B1 KR101623041B1 KR1020090039353A KR20090039353A KR101623041B1 KR 101623041 B1 KR101623041 B1 KR 101623041B1 KR 1020090039353 A KR1020090039353 A KR 1020090039353A KR 20090039353 A KR20090039353 A KR 20090039353A KR 101623041 B1 KR101623041 B1 KR 101623041B1
- Authority
- KR
- South Korea
- Prior art keywords
- marker
- information
- virtual space
- space
- reference marker
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 239000003550 marker Substances 0.000 claims abstract description 310
- 230000003190 augmentative effect Effects 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 42
- 230000002708 enhancing effect Effects 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 230000006855 networking Effects 0.000 claims description 2
- 238000009877 rendering Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 74
- 230000000875 corresponding effect Effects 0.000 description 19
- 238000007726 management method Methods 0.000 description 18
- 238000013461 design Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000003993 interaction Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000010391 action planning Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000036642 wellbeing Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 컨텍스트 인식 모바일 증강현실을 위한 저작 기술에 따라 가상 공간과 현실 공간에서 콘텐츠 저작을 가능하게 하는, 현실 공간과 가상 공간이 공존하는 혼합 공간에서 양 공간에 위치하는 마커를 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 개시한다. 본 발명은 현실 공간의 일 지점에 위치하는 현실 공간 기준 마커; 가상 공간에 위치하여 현실 공간 기준 마커와 연동하며, 가상 공간의 일 지점에 오브젝트를 증강시키기 위한 매개체 역할을 하는 가상 공간 기준 마커; 현실 공간 기준 마커 또는 가상 공간 기준 마커를 기준으로 현실 공간 또는 가상 공간에 위치하는 오브젝트에 대한 오브젝트 표상 마커를 생성하며, 생성된 오브젝트 표상 마커를 토대로 오브젝트에 대한 정보를 처리하는 마커 처리부를 포함하는 것을 특징으로 하는 마커 관리 시스템을 제공한다. 본 발명에 따르면, 현실 공간과 가상 공간이 공존하는 혼합 공간에서 두 공간이 이음매 없이도 정보를 공유할 수 있다. 또한, 증강현실 구현 등에 있어서 영상의 렌더링 시간을 감축시킬 수 있다.The present invention relates to a marker management system for managing markers located in both spaces in a mixed space in which a real space and a virtual space coexist in a virtual space and a real space according to a authoring technique for a context aware mobile AR, And a recording medium on which a program implementing the method is recorded. The present invention relates to a real space reference marker positioned at one point in a real space; A virtual space fiducial marker positioned in the virtual space and interlocked with the physical space fiducial marker and acting as an intermediary for enhancing the object at one point in the virtual space; A marker processing unit for generating an object mark marker for an object located in a real space or a virtual space on the basis of the actual space reference marker or the virtual space reference marker and processing the information on the object based on the generated object markers And a marker management system characterized in that the marker management system is provided. According to the present invention, two spaces can share information seamlessly in a mixed space where a real space and a virtual space coexist. Also, the rendering time of the image can be reduced in the augmented reality implementation and the like.
증강현실(AR), 혼합 공간, VE(Virtual Environment) 기준 마커, RE(Real Environment) 기준 마커, CAMAR(Context Aware Mobile Augmented Reality) 태그, 마커 연동, 장면 그래프(scene graph) (AR), mixed space, VE (Virtual Environment) reference marker, RE (Real Environment) reference marker, CAMAR (Context Aware Mobile Augmented Reality) tag, marker interlock, scene graph,
Description
본 발명은 혼합 공간에 공존하는 마커들을 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 보다 상세하게는, 컨텍스트 인식 모바일 증강현실(CAMAR; Context Aware Mobile Augmented Reality)을 위한 저작 기술에 따라 가상 공간과 현실 공간에서 콘텐츠 저작을 가능하게 하는, 현실 공간과 가상 공간이 공존하는 혼합 공간에서 양 공간에 위치하는 마커를 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 상기에서, 컨텍스트 인식 모바일 증강현실(CAMAR) 저작 기술이란 모바일 사용자들이 실내/외 객체를 통해 가상 공간과 증강현실 환경 양방향에서 멀티미디어 콘텐츠를 저작할 수 있게 하는 기술을 말한다.The present invention relates to a marker management system and method for managing markers coexisting in a mixed space, and a recording medium on which a program implementing the method is recorded. More particularly, the present invention relates to a method and apparatus for creating a virtual space in a mixed space in which a virtual space and a virtual space coexist, which enables content authoring in a virtual space and a real space according to authoring technology for Context Aware Mobile Augmented Reality (CAMAR) A marker managing system for managing markers located in a space, a method thereof, and a recording medium on which a program implementing the method is recorded. In the above, context aware mobile augmented reality (CAMAR) authoring technology refers to a technology that allows mobile users to author multimedia contents in both a virtual space and an augmented reality environment through indoor / outdoor objects.
기존의 지능형 응용 서비스에 대한 연구는 공학을 중심으로 진행되었기 때문 에 웰빙 라이프케어에 관심을 갖고 있는 일반 사용자들에게 적용되는 데에 한계가 있다. 따라서 일상 생활 속에서 활용 가능한 미래형 웰빙 라이프케어 서비스를 구현하기 위해서는 사용자 요구 분석, 행동 모델링, 사용자 인터페이스 디자인, 상호작용, 유비쿼터스 컴퓨팅 등의 분야가 통합적으로 접목된 사용자 중심의 연구가 필요하다.The research on the existing intelligent application service is centered on engineering, so it is limited to general users who are interested in well - being life care. Therefore, in order to realize the future well-being lifecare service that can be utilized in everyday life, user-oriented research that integrates user needs analysis, behavior modeling, user interface design, interaction, and ubiquitous computing is needed.
최근 페이스북(facebook), 유튜브(youtube), 위키피디아(wikipedia) 등 web 2.0을 지향하는 인터넷 서비스의 등장으로 사용자들이 멀티미디어 콘텐츠를 자유롭게 게시하고 공유함으로써 사이버 공간에서의 참여가 활발해졌지만 현실 공간에서의 활용은 여전히 제한적이다. 하지만, 가상 현실 연구 사례인 세컨드 라이프(second life)가 보여준 시장에서의 급속한 성장에서 알 수 있듯이 점차 가상과 현실 공간의 경계가 사라지는 경향이 뚜렷하다. 따라서, 현실 공간과 가상 공간의 융합을 통해 새로운 비즈니스 모델을 제시할 수 있는 모바일 증강 현실 저작 핵심 기술의 선점 및 선도가 필요하다.In recent years, with the advent of web 2.0-oriented Internet services such as facebook, youtube, and wikipedia, users have been able to freely publish and share multimedia contents, which has led to increased participation in cyberspace. Is still limited. However, as evidenced by the rapid growth of the market in the second life, which is a case study of virtual reality, it is clear that the boundaries between virtual and reality spaces gradually disappear. Therefore, it is necessary to preoccupy and lead the mobile augmented reality authoring technology which can present a new business model through fusion of real space and virtual space.
최근 어반 컴퓨팅(urban computing)과 소셜 컴퓨팅(social computing) 개념의 급속한 확산과 함께 커뮤니티 서비스에 대한 관심이 증가하는 추세이다. 하지만, 기존 유비쿼터스 컴퓨팅 환경의 서비스들은 사용자의 프로파일이나 위치 등 컨텍스트의 일부만을 활용하고 있어 커뮤니티 구성원들의 요구를 반영하는 데는 한계가 있다. 따라서, 구성원들의 요구를 만족시키면서 커뮤니티의 목적을 달성하도록 구성원들의 사회적 관계 및 문화적 배경을 반영할 수 있는 새로운 형태의 소셜 u-콘텐츠 저작 기술 개발이 필요하다.Recently, urban computing and social computing concepts are rapidly spreading and interest in community services is increasing. However, existing ubiquitous computing environments utilize only a part of the context such as the user 's profile or location, which limits the needs of community members. Therefore, it is necessary to develop a new type of social u-content authoring technology that can reflect the social relations and cultural background of the members so as to achieve the purpose of the community while meeting the needs of the members.
한편, 종래 증강현실 기술에서는 가상 공간과 현실 공간 양측에서 상호 정보를 공유하지 않았다. 따라서, 현실 공간에서와 마찬가지로 가상 공간에서 객체를 증강시키기 위해서는 객체의 위치 정보와 방위 정보를 계산하거나, 객체의 특징점을 추출하는 등의 작업을 반복해야만 했다. 따라서, 영상을 렌더링하는 데에 많은 시간이 소요될 뿐만 아니라, 증강을 위한 인식 및 추적에도 시간적 측면/인력적 측면에서 많은 투자가 필요하였다.On the other hand, in the conventional augmented reality technology, mutual information is not shared between the virtual space and the real space. Therefore, in order to enhance the object in the virtual space as in the real space, it is necessary to calculate the position information and the orientation information of the object, and to extract the characteristic point of the object. Therefore, not only does it take much time to render the image, but it also requires a lot of time and manpower investment in recognition and tracking for enhancement.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 모바일 사용자들이 실내/외 객체를 통해 가상 공간과 증강현실 환경 양방향에서 멀티미디어 콘텐츠를 저작할 수 있게 하는 컨텍스트 인식 모바일 증강현실(CAMAR; Context Aware Mobile Augmented Reality) 저작 기술을 제공하며, 이 저작 기술 구현을 위해 현실 공간과 가상 공간이 공존하는 혼합 공간에서 양 공간에 위치하며 상호 유기적으로 작용하는 마커를 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 제공함을 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the above problems, and it is an object of the present invention to provide a context aware mobile augmented reality (CAMAR) which enables mobile users to author multimedia contents in both virtual space and augmented reality environment through indoor / Augmented Reality), a marker management system that manages markers that are located in both spaces in a mixed space in which a real space and a virtual space coexist, The present invention also provides a recording medium on which a program for realizing a program for implementing the invention is recorded.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 현실 공간의 일 지점에 위치하는 현실 공간 기준 마커; 가상 공간에 위치하여 상기 현실 공간 기준 마커와 연동하며, 상기 가상 공간의 일 지점에 오브젝트를 증강시키기 위한 매개체 역할을 하는 가상 공간 기준 마커; 상기 현실 공간 기준 마커 또는 상기 가상 공간 기준 마커를 기준으로 상기 현실 공간 또는 상기 가상 공간에 위치하는 오브젝트에 대한 오브젝트 표상 마커를 생성하며, 상기 생성된 오브젝트 표상 마커를 토대로 상기 오브젝트에 대한 정보를 처리하는 마커 처리부를 포함하는 것을 특징으로 하는 마커 관리 시스템을 제공한다.SUMMARY OF THE INVENTION The present invention has been made in order to accomplish the above object, and it is an object of the present invention to provide a real space reference marker positioned at one point of a real space. A virtual space fiducial marker located in a virtual space and interworking with the physical space fiducial marker and acting as a medium for enhancing an object at one point of the virtual space; An object mark marker for an object located in the virtual space or the real space based on the physical space fiducial markers or the virtual space fiducial markers, and processes the information on the object based on the generated object markers And a marker processing unit.
바람직하게는, 상기 마커 처리부는 상기 현실 공간 기준 마커 또는 상기 가상 공간 기준 마커를 기준으로 상기 오브젝트 표상 마커를 이용하여 상기 현실 공 간 또는 상기 가상 공간에 위치하는 적어도 하나의 오브젝트를 인식 추적한다.Preferably, the marker processing unit recognizes and tracks at least one object positioned in the real space or the virtual space using the object markers based on the actual space reference marker or the virtual space reference marker.
바람직하게는, 상기 마커 처리부는 상기 현실 공간 기준 마커 또는 상기 가상 공간 기준 마커를 기준으로 적어도 하나의 공간 상에 위치하는 상기 오브젝트에 대한 정보를 공유시킨다.Preferably, the marker processing unit shares information about the object located on at least one space with reference to the real space reference marker or the virtual space reference marker.
바람직하게는, 상기 마커 처리부가 처리하는 상기 오브젝트에 대한 정보는 마커 ID에 대한 정보, 마커의 생성 시간에 대한 정보, 마커의 위치나 방위에 대한 정보, 사용자에 대한 정보, 저작에 이용되는 콘텐츠에 대한 정보, 오브젝트의 크기에 대한 정보, 오브젝트의 특징점에 대한 정보, 오브젝트의 텍스처에 대한 정보, 및 오브젝트가 위치한 영역을 비추는 빛에 대한 정보 중 적어도 하나의 정보를 포함한다.Preferably, the information on the object to be processed by the marker processing unit includes information on the marker ID, information on the generation time of the marker, information on the position and orientation of the marker, information on the user, Information on the size of the object, information on the minutiae of the object, information on the texture of the object, and information on light illuminating the area where the object is located.
바람직하게는, 상기 마커 처리부는 상기 현실 공간을 뷰잉하며, 상기 오브젝트 표상 마커를 생성하는 모바일 단말; 및 상기 오브젝트에 대한 정보나 가상 공간 모델에 대한 정보를 저장하며, 상기 저장된 적어도 하나의 정보를 상기 모바일 단말에 제공하는 서버를 포함한다. 더욱 바람직하게는, 상기 모바일 단말은 상기 오브젝트 표상 마커를 생성하는 마커 생성 모듈; 오디오, 비디오, 및 텍스트 중 적어도 하나의 유형으로 이루어진 콘텐츠를 저작하는 콘텐츠 저작 모듈; 상기 오브젝트 표상 마커의 ID에 대한 정보 또는 상기 오브젝트 표상 마커의 위치나 방위에 대한 정보를 등록시키는 등록 모듈; 상기 오브젝트를 인식하는 인식 모듈; 상기 오브젝트를 추적하는 추적 모듈; 상기 모바일 단말을 소지한 자의 위치나 방향을 센싱하는 센싱 모듈; 및 상기 센싱 결과를 토대로 상기 서버로부터 상기 오브젝트 표상 마커의 리스트를 획득하여 업데이트하는 업데이트 모듈을 포함한다.Preferably, the marker processing unit includes a mobile terminal for viewing the real space and generating the object markers; And a server for storing information about the object and information about the virtual space model, and providing the stored at least one information to the mobile terminal. More preferably, the mobile terminal includes a marker generation module for generating the object markers; A content authoring module for authoring content composed of at least one of audio, video, and text; A registration module for registering information on the ID of the object markers or information on the position and orientation of the object markers; A recognition module for recognizing the object; A tracking module for tracking the object; A sensing module for sensing a position and a direction of a person holding the mobile terminal; And an update module for acquiring and updating the list of object markers from the server based on the sensing result.
바람직하게는, 상기 마커 처리부는 상기 가상 공간 기준 마커를 생성하거나, 상기 가상 공간에 위치하는 오브젝트에 대한 정보를 상기 현실 공간 기준 마커에 제공한다. 더욱 바람직하게는, 상기 마커 처리부는 포인팅된 상기 현실 공간에 대한 영상으로부터 상기 현실 공간 기준 마커를 인식하고 자세를 추정하는 현실 공간 기준 마커 트레이닝부; 및 상기 가상 공간에 상기 가상 공간 기준 마커를 생성하며, 상기 생성된 가상 공간 기준 마커를 상기 인식 및 자세 추정된 현실 공간 기준 마커와 연동시키는 가상 공간 기준 마커 생성부를 포함한다. 또는, 상기 마커 처리부는 포인팅된 상기 현실 공간에 대한 영상에 포함된 객체를 인식하는 객체 인식부; 상기 인식된 객체에 대한 컨피던스 값이 최대인 상기 가상 공간 기준 마커를 추출하는 가상 공간 기준 마커 추출부; 상기 영상에 포함된 현실 공간 기준 마커를 인식하고 자세를 추정하는 현실 공간 기준 마커 인지부; 및 상기 추출된 가상 공간 기준 마커에 대한 정보를 상기 인지된 현실 공간 기준 마커에 오버레이시키는 오버레이 구현부를 포함한다.Preferably, the marker processing unit generates the virtual space reference marker or provides information about the object located in the virtual space to the real space reference marker. More preferably, the marker processing unit includes: a real space reference marker training unit for recognizing the actual space reference marker from the image of the pointed actual space and estimating the attitude; And a virtual space reference marker generation unit for generating the virtual space reference marker in the virtual space and linking the generated virtual space reference marker with the recognition space and the posture estimated reality space reference marker. Alternatively, the marker processing unit may include an object recognizing unit that recognizes an object included in the image of the pointing physical space; A virtual space reference marker extracting unit for extracting the virtual space reference marker having a maximum confidence value for the recognized object; A real space reference marker recognition unit for recognizing a reality space reference marker included in the image and estimating a posture; And an overlay implementation for overlaying information about the extracted virtual space reference marker on the recognized real space reference marker.
바람직하게는, 상기 현실 공간 기준 마커, 상기 가상 공간 기준 마커, 및 상기 오브젝트 표상 마커 중 적어도 하나의 마커는 같은 공간에 구비되는 마커나 다른 공간에 구비되는 마커와 연동시키는 네트워킹 모듈; 및 상기 같은 공간에 구비되는 마커의 움직임을 센싱하는 센싱 모듈을 포함한다.Preferably, the at least one of the physical space fiducial markers, the virtual space fiducial markers, and the object representation markers is linked with a marker provided in the same space or a marker provided in another space. And a sensing module for sensing movement of the marker provided in the space.
바람직하게는, 상기 가상 공간 기준 마커 생성부는 상기 현실 공간과 동일한 크기의 가상 공간 모델을 생성하는 가상 공간 생성부; 및 상기 현실 공간에 대한 영상에 포함된 객체에 대응하는 대응 객체를 상기 생성된 가상 공간에 입력시키는 대응 객체 입력부를 포함하며, 상기 입력된 대응 객체와 연결되게 상기 가상 공간 기준 마커를 생성한다. 또한, 상기 현실 공간 기준 마커 트레이닝부는 상기 현실 공간을 포인팅하는 촬영부; 상기 포인팅된 현실 공간에 대한 영상을 획득하는 영상 획득부; 및 상기 획득된 영상에 포함된 객체의 위치 정보와 방위 정보를 포함하는 컨텍스트 정보를 획득하는 컨텍스트 정보 획득부를 포함하며, 상기 획득된 영상과 상기 획득된 컨텍스트 정보를 고려하여 상기 현실 공간 기준 마커를 인식하고 자세를 추정한다.Preferably, the virtual space reference marker generator includes: a virtual space generator for generating a virtual space model having the same size as the physical space; And a corresponding object input unit for inputting a corresponding object corresponding to the object included in the image of the real space into the generated virtual space, and generates the virtual space reference marker to be connected to the input corresponding object. Also, the real space reference marker training unit may include a photographing unit for pointing the real space; An image acquiring unit acquiring an image of the pointing physical space; And a context information acquisition unit for acquiring context information including location information and orientation information of an object included in the acquired image, and recognizing the real space standard marker in consideration of the obtained image and the obtained context information, And estimate the posture.
바람직하게는, 상기 현실 공간 기준 마커 트레이닝부만, 또는 상기 현실 공간 기준 마커 트레이닝부와 상기 가상 공간 기준 마커 생성부 모두 모바일 단말에 구비된다.Preferably, only the real space reference marker training portion or both the real space reference marker training portion and the virtual space reference marker generating portion are provided in the mobile terminal.
바람직하게는, 상기 현실 공간 기준 마커 트레이닝부는 사용자의 소속, 관심 키워드, 선호도, 및 선택 영역에 대한 정보 중 적어도 하나를 포함하는 사용자 정보를 수집하는 사용자 정보 수집부를 더 포함하며, 상기 수집된 사용자 정보를 더 고려하여 상기 현실 공간 기준 마커를 인식하고 자세를 추정한다.Preferably, the real space reference marker training unit further includes a user information collecting unit for collecting user information including at least one of a user's belonging, a keyword of interest, a preference, and information about the selected area, The actual space standard marker is recognized and the posture is estimated.
바람직하게는, 상기 오버레이 구현부는 상기 추출된 가상 공간 기준 마커의 좌표 정보와 상기 인지된 현실 공간 기준 마커의 좌표 정보를 일치시킨 후 상기 오버레이를 수행한다.Preferably, the overlay implementer performs the overlay after matching the coordinate information of the extracted virtual space reference marker with the coordinate information of the recognized real space reference marker.
바람직하게는, 상기 가상 공간 기준 마커 추출부는 상기 컨피던스 값이 최대인 가상 공간 기준 마커로 상기 인식된 객체들의 좌표 정보를 근거로 동일 정보를 가진 객체를 표상 영상에 가장 많이 구비한 가상 공간 기준 마커를 추출한다.The virtual space fiducial marker extraction unit may extract a virtual space fiducial marker having the largest number of objects in the representative image, based on the coordinate information of the recognized objects, .
바람직하게는, 상기 마커 처리부는 상기 오브젝트에 대한 정보를 이용하여 상기 현실 공간 또는 상기 가상 공간의 일 지점에 위치하는 오브젝트를 인식하거나 추적한다. 더 바람직하게는, 상기 마커 처리부는 상기 오브젝트를 인식하거나 추적할 때에 조도의 변화량을 고려한다.Preferably, the marker processing unit recognizes or tracks an object located at one point in the real space or the virtual space using information about the object. More preferably, the marker processing unit considers the amount of change in illuminance when recognizing or tracking the object.
또한, 본 발명은 (a) 현실 공간의 일 지점에 위치하는 현실 공간 기준 마커를 기준으로 상기 현실 공간에 위치하는 오브젝트의 위치 정보와 방위 정보를 획득하는 단계; (b) 상기 오브젝트를 반영시키기 위한 가상 공간 모델을 선택하는 단계; (c) 상기 선택된 가상 공간 모델 상의 가상 공간 기준 마커를 기준으로 상기 획득된 위치 정보 또는 상기 획득된 방위 정보를 이용하여 상기 가상 공간 모델에 위치하는 오브젝트를 생성하는 단계를 포함하는 것을 특징으로 하는 현실 공간에 위치하는 오브젝트를 가상 공간에 생성하는 방법을 제공한다.According to another aspect of the present invention, there is provided an information processing method including the steps of: (a) acquiring position information and orientation information of an object located in the real space with reference to a real space reference marker positioned at one point of the real space; (b) selecting a virtual space model for reflecting the object; (c) generating an object located in the virtual space model using the acquired position information or the obtained orientation information on the basis of a virtual space reference marker on the selected virtual space model And a method for creating an object located in a space in a virtual space.
바람직하게는, 상기 (c) 단계는 상기 가상 공간 모델에 상기 오브젝트를 표상시키기 위한 오브젝트 표상 마커를 생성한 후 상기 생성된 오브젝트 표상 마커 자리에 상기 오브젝트를 증강시켜 상기 오브젝트 생성을 수행한다. 더욱 바람직하게는, 상기 (c) 단계는 상기 오브젝트 표상 마커의 ID 정보 또는 상기 오브젝트 표상 마커의 위치 정보 또는 방위 정보를 포함하는 상기 오브젝트 표상 마커를 생성하며, 상기 오브젝트 증강시 상기 오브젝트로부터 미리 정해진 곳에 위치하는 콘텐츠도 함께 증강시킨다.In the step (c), an object mark marker for representing the object in the virtual space model is generated, and the object is augmented in place of the generated object mark marker, thereby generating the object. More preferably, the step (c) may generate the object markers including the ID information of the object markers or the position information or the orientation information of the object markers, Content that is located is also augmented.
또한, 본 발명은 (a) 포인팅된 현실 공간에 대한 영상으로부터 상기 현실 공 간에 위치하는 객체를 표상하는 현실 공간 기준 마커를 인식하고 자세를 추정하는 단계; 및 (b) 상기 현실 공간 기준 마커와 연동하며 상기 객체 또는 상기 객체가 포함된 영상을 표상하는 가상 공간 기준 마커를 가상 공간에 생성하며, 상기 생성된 가상 공간 기준 마커를 상기 인식 및 자세 추정된 현실 공간 기준 마커와 연동시키는 단계를 포함하는 것을 특징으로 하는 가상 공간 기준 마커 생성 방법을 제공한다.According to another aspect of the present invention, there is provided a method of detecting a pointing device, the method comprising: (a) recognizing a physical space reference marker representing an object positioned in the real space from an image of the pointing physical space; And (b) generating a virtual space reference marker in association with the real space reference marker and representing the object or the image including the object in a virtual space, And a step of interlocking with the spatial reference marker.
또한, 본 발명은 (a) 포인팅된 현실 공간에 대한 영상에 포함된 객체를 인식하는 단계; (b) 상기 인식된 객체에 대한 컨피던스 값이 최대인 가상 공간 기준 마커를 추출하는 단계; (c) 상기 영상에 포함된 현실 공간 기준 마커를 인식하고 자세를 추정하는 단계; 및 (d) 상기 추출된 가상 공간 기준 마커에 대한 정보를 상기 인지된 현실 공간 기준 마커에 오버레이시키는 단계를 포함하는 것을 특징으로 하는 가상 공간 기준 마커 제공 방법을 제공한다.According to another aspect of the present invention, there is provided an image processing method comprising the steps of: (a) recognizing an object included in an image of a pointed physical space; (b) extracting a virtual space reference marker having a maximum confidence value for the recognized object; (c) recognizing the actual space reference marker included in the image and estimating the posture; And (d) superimposing information on the extracted virtual space reference marker on the recognized real space reference marker.
본 발명에 따르면, 컨텍스트 인식 모바일 증강현실(CAMAR) 저작 기술 구현을 위해 현실 공간과 가상 공간이 공존하는 혼합 공간에서 양 공간에 위치하는 마커를 관리함으로써 다음 효과를 얻을 수 있다. 첫째, 양 공간에서 상호 유기적으로 작용하는 두 마커를 관리함으로써 두 공간이 이음매 없이도 정보를 공유할 수 있다. 둘째, 가상 공간 기준 마커가 현실 공간에 구비되는 오브젝트에 대한 정보를 공유함으로써 렌더링 시간을 감축시킬 수 있으며, 증강을 위한 인식 과정 및 추적 과정을 생략하거나 매우 빠르게 진행할 수 있다.According to the present invention, the following effects can be obtained by managing markers located in both spaces in a mixed space in which a real space and a virtual space coexist for implementing a context aware mobile augmented reality (CAMAR) authoring technology. First, by managing two markers that work together in both spaces, the two spaces can share information seamlessly. Secondly, the virtual space fiducial markers can reduce the rendering time by sharing information about the objects provided in the real space, and the recognition process and tracking process for the enhancement can be omitted or proceed very quickly.
또한, 본 발명에 따르면, 모바일 사용자들이 실내/외 객체를 통해 가상 공간과 증강현실 환경 양방향에서 멀티미디어 콘텐츠를 저작할 수 있는 컨텍스트 인식 모바일 증강현실(CAMAR) 저작 기술을 제공함으로써 다음 효과를 얻을 수 있다.In addition, according to the present invention, a context aware mobile augmented reality (CAMAR) authoring technology capable of authoring multimedia contents in both a virtual space and an augmented reality environment through indoor / .
- 현실 공간의 이점을 활용한 가상 공간 내의 콘텐츠의 직관적인 제작- Intuitive creation of content in virtual space utilizing the advantages of real space
- 가상 공간의 이점을 활용한 실제 공간의 콘텐츠의 효과적/효율적 제작- Effective / efficient production of contents of real space utilizing virtual space advantages
- 다수의 사용자들이 콘텐츠 및 정보를 공유하고 협업을 통한 제작- Multiple users share content and information and collaborate to create
- 많은 사람들이 동시에 참여가 가능한 저작- A work that many people can participate at the same time
- 가상 공간을 활용하여 현실 공간의 콘텐츠 및 서비스를 효과적/효율적으로 관리 및 감시- Effective / efficient management and monitoring of contents and services in real space using virtual space
o CAMAR 저작 핵심 기술은 가상 공간과 현실 공간을 모바일 증강 현실을 통해 융합함으로써 사용자들이 원하는 콘텐츠를 직관적으로 저작을 가능하게 하는 새로운 기술로써 국제적으로 경쟁력 있는 기술과 지적 재산권의 조기 확보가 가능할 것으로 예상됨.o CAMAR authoring core technology is expected to be able to secure internationally competitive technologies and intellectual property rights as a new technology that allows users to intuitively author desired contents by integrating virtual space and real space through mobile augmented reality. .
o CAMAR 저작 핵심 기술은 구성원들의 사회적 관계와 문화적 맥락을 활용하여 소셜 u-콘텐츠를 증강하고 매쉬업을 가능하게 함으로써 기존의 기술 중심의 모바일 장치를 인간 중심의 도우미로 전환하는 계기 마련과 동시에 웰빙 라이프 케어 서비스를 구현하는 데 핵심 역할을 담당할 것으로 기대됨.o CAMAR authoring core technology uses social relations and cultural context of members to reinforce social u-contents and enable mashups, thereby making it possible to transform existing technology-based mobile devices into human-centered helpers. At the same time, It is expected to play a key role in implementing the service.
o 사용자들의 참여와 지속적인 협업이 가능한 CAMAR 저작 핵심 기술은 사용자들이 언제 어디서든지 자신의 콘텐츠뿐만 아니라 주변의 정보를 활용하여 매쉬업이 가능하므로 USS 내에 편재한 다양한 서비스 및 콘텐츠의 재사용 및 재구성을 위 한 도구로 활용이 가능할 것으로 예상됨.o CAMAR authoring core technology, which allows users to participate and collaborate continuously, can mash up users by using their own contents as well as their own contents anytime and anywhere. Therefore, it is a tool for reusing and reconstructing various services and contents It is expected to be possible to use as.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the preferred embodiments of the present invention will be described below, but it is needless to say that the technical idea of the present invention is not limited thereto and can be variously modified by those skilled in the art.
본 발명의 실시예에서 마커 관리 시스템은 현실 공간(real world)과 가상 공간(virtual world)이 공존하는 혼합 공간에서 각 공간에 위치하는 기준 마커를 통해 타겟 오브젝트(target object)를 관리하는 시스템을 말한다.In the embodiment of the present invention, the marker management system refers to a system for managing a target object through a reference marker located in each space in a mixed space in which a real world and a virtual world coexist .
이러한 마커 관리 시스템은 현실 공간의 타겟 오브젝트를 가상 공간에 등록(register)시키고자 할 경우, 정보를 공유하는 각 공간의 기준 마커(reference point)를 통해 타겟 오브젝트를 가상 공간에 등록시킬 수 있다. 본 실시예에서는 가상 공간에 위치하는 기준 마커를 가상 공간 기준 마커(즉, VE(Virtual Environment) 기준 마커), 현실 공간에 위치하는 기준 마커를 현실 공간 기준 마커(즉, RE(Real Environment) 기준 마커)로 각각 정의하기로 한다.When registering the target object in the virtual space, the marker management system can register the target object in the virtual space through a reference point of each space in which the information is shared. In this embodiment, the reference markers located in the virtual space are referred to as virtual space reference markers (i.e., VE (Virtual Environment) reference markers), the reference markers located in the real space are referred to as real space reference markers ), Respectively.
또한, 마커 관리 시스템은 오브젝트 표상 마커를 이용하여 가상 공간에 등록 된 타겟 오브젝트를 관리(manage)할 수 있다. 이상의 VE 기준 마커, RE 기준 마커, 오브젝트 표상 마커 등은 모두 CAMAR(Context Aware Mobile Augmented Reality) 태그로써 구현한다. CAMAR 태그는 ARToolKit의 마커와 같이 고정된 형태의 마커 뿐만 아니라 임의의 2D 오브젝트나 3D 오브젝트를 포함하는 개념이다. 따라서, 본 실시예에서 VE 기준 마커, RE 기준 마커, 오브젝트 표상 마커 등의 마커는 일반적인 마커(즉, 고정된 형태의 마커) 외에 임의의 2D 오브젝트나 3D 오브젝트를 포함한다는 점에 유념한다.Further, the marker management system can manage the target object registered in the virtual space by using the object markers. The VE standard marker, the RE standard marker, and the object representation marker are all implemented as a CAMAR (Context Aware Mobile Augmented Reality) tag. The CAMAR tag is a concept that includes arbitrary 2D or 3D objects, as well as markers of fixed type, such as markers of ARToolKit. Therefore, in this embodiment, it is noted that the markers such as the VE reference marker, the RE reference marker, and the object markers include any 2D or 3D object in addition to a general marker (i.e., a marker in a fixed form).
마커 관리 시스템에 대한 보다 자세한 내용은 후술한다. 한편, 마커 관리 시스템은 VE 기준 마커와 RE 기준 마커의 연동을 통하여 가상 공간 상의 특정물을 현실 공간에 증강시키는 것도 가능하다.More details of the marker management system will be described later. On the other hand, the marker management system can enhance a specific object in the virtual space in the real space through the interlocking of the VE reference marker and the RE reference marker.
이상 설명한 마커 관리 시스템은 도 8 내지 도 10을 참조하여 후술할 "모바일 사용자들이 실내/외 객체를 통해 가상 공간과 증강현실 환경 양방향에서 멀티미디어 콘텐츠를 저작할 수 있는 컨텍스트 인식 모바일 증강현실(CAMAR; Context Aware Mobile Augmented Reality) 저작 핵심 기술"에 따라 가상 공간과 현실 공간 양방향에서 콘텐츠 저작(contents authoring)을 가능하게 하는 두 기준 마커도 오브젝트와 함께 관리할 수 있음은 물론이다.The above-described marker management system will be described in detail with reference to FIG. 8 to FIG. 10 as "Context Aware Context (CAMAR) ", which allows mobile users to author multimedia contents in both a virtual space and an augmented reality environment through indoor / It is needless to say that two reference markers that enable contents authoring in both the virtual space and the real space can be managed together with the object according to the " Aware Mobile Augmented Reality ".
도 1은 본 발명의 바람직한 실시예에 따른 마커 관리 시스템의 개념도이다. 도 1에 따르면, 본 발명의 바람직한 실시예에 따른 마커 관리 시스템(100)은 VE 기준 마커(110), RE 기준 마커(120), 오브젝트 표상 마커(130) 및 마커 처리부(140)를 포함한다.1 is a conceptual diagram of a marker management system according to a preferred embodiment of the present invention. Referring to FIG. 1, a
VE 기준 마커(110)는 가상 공간에 위치하는 기준 마커로서, 일정 위치에 오브젝트를 증강시키기 위한 매개체 역할을 한다. 또한, VE 기준 마커(110)는 가상 공간에 위치하는 적어도 하나의 오브젝트를 인식(recognition) 추적(tracking)하는 데에 기준이 되는 역할을 한다.The VE
VE 기준 마커(110)의 이러한 기능은 가상 공간에 구비되는 오브젝트들을 서로 연결시킬 수 있게 한다. 오브젝트들이 상호 연관성을 가진다면, VE 기준 마커(110)를 통해 하나의 오브젝트를 인식 추적하는 것만으로도 가상 공간에 구비되는 모든 오브젝트들을 렌더링시킬 수 있다. 이 경우, 하나를 제외한 나머지 오브젝트들의 위치와 방위를 계산하지 않아도 되므로 기존보다 렌더링 시간을 감축시킬 수 있으며, 복잡한 가상 환경을 체계적으로 관리할 수 있는 장면 그래프(scene graph) 형태로 구현 가능하다.This function of the VE
VE 기준 마커(110)는 RE 기준 마커(120)와 연결된다. 이에 따라, VE 기준 마커(110)는 현실 환경 정보를 토대로 직접적으로 맵핑도 가능하다. 이때, VE 기준 마커(110)는 비전(vision) 뿐만 아니라 하이브리드(hybrid) 인식 및 추적도 가능한 것이 바람직하다.The VE
전술한 바와 같이, VE 기준 마커(110)는 본 실시예에서 CAMAR(Context Aware Mobile Augmented Reality) 태그(tag)로 구현될 수 있다. 본 실시예에서 등록된 기준점(reference point)은 현실 공간의 타겟 오브젝트를 가상 공간에 등록시키기 위해 사용된 컨텍스트의 집합이 되고, 이를 CAMAR Tag로 정의한다.As described above, the
실제 객체를 가상 공간에 저장한 CAMAR Tag은 별도의 인식 과정이나 추적 과 정 없이 타겟 오브젝트 주변의 다른 객체에 증강된 컨텐츠를 볼 수 있는 기준점(reference point)이 될 뿐만 아니라, 사용자가 공유할 정보를 CAMAR Tag을 통해서 등록하면 다른 사용자는 가상 공간을 공유함으로써 해당 정보도 공유되는 공유점(sharing point) 역할과 CAMAR Tag에 포함된 컨텍스트로 맥락 기반 검색을 위한 키(key)의 역할을 할 수 있다.CAMAR Tag, which stores real objects in virtual space, is not only a reference point for viewing the augmented contents on other objects around the target object without a separate recognition process or tracking process, By registering through the CAMAR Tag, other users can share the virtual space, and the information can also act as a sharing point that is shared, and as a context-based search key in the context contained in the CAMAR Tag.
CAMAR 태그는 도 2에 도시된 바와 같이 가상 공간에 구비되는 오브젝트에 대한 정보를 담고 있는 모델 컨텍스트(model context), 오브젝트가 생성된 장소(ex. 위치, 방위 등)와 시기 등에 대한 정보를 담고 있는 환경 컨텍스트(environment context), 사용자에 대한 정보를 담고 있는 사용자 컨텍스트(user context), 저작에 이용되는 콘텐츠에 대한 정보를 담고 있는 콘텐츠 컨텍스트(contents context) 등을 포함하는 태그 데이터 모델(tag data model)로 구현된다.The CAMAR tag includes information such as a model context containing information about an object provided in the virtual space, a place where the object is created (e.g., position, orientation, etc.) and timing A tag data model including an environment context, a user context containing information on a user, and a contents context containing information on contents used in a work, .
모델 컨텍스트는 오브젝트를 표상하는 태그의 ID를 포함하는 글로벌 좌표계(global coordinate), 오브젝트의 좌표에 대한 정보를 포함하는 로컬 좌표계(local coordinate), 오브젝트의 크기에 대한 정보를 포함하는 스케일(scale), 포즈 메트릭스(pose matrix), 3D 포인트에 대한 정보(3D points)와 3D 라인에 대한 정보(3D lines)와 기타 정보를 포함하는 모델 정보(information for model), 특징점 정보(feature points)와 에지 정보(edges)와 텍스처 정보(textures)와 기타 정보를 포함하는 ID를 위한 정보(information for ID) 등으로 이루어질 수 있다.The model context includes a global coordinate system including an ID of a tag representing an object, a local coordinate system including information on coordinates of the object, a scale including information on the size of the object, Model information including information such as a pose matrix, information on 3D points (3D points), information on 3D lines (3D lines) and other information, feature point information and edge information edges, texture information, and information for an ID including other information.
그런데, 같은 객체라도 CAMAR Tag로 생성될 때의 시간이나 조도 정보에 따라 ID를 위한 특징점이 다르게 획득될 수 있기 때문에, 인식/추적 시의 시간이나 조도 정보를 인덱스(index)로 하여 ID를 위한 정보를 다르게 획득한다. 즉, ID 정보는 태그 생성 당시의 환경 컨텍스트(ex. 광 정보와 시간 정보)가 고려된 정보이다.However, even for the same object, since the minutiae points for the ID can be obtained differently according to the time or illumination information when the CAMAR tag is generated, the time or illumination information at the time of recognition / tracking is used as an index, . That is, the ID information is information that considers the environmental context (e.g., optical information and time information) at the time of tag generation.
환경 컨텍스트는 위치(location), 방향(direction), 조도(light), 시간(time) 등과 같이 CAMAR Tag가 생성될 때 환경에서 얻을 수 있는 정보를 포함하여 이루어진다.The environmental context includes information that can be obtained from the environment when the CAMAR Tag is created, such as location, direction, light, time, and so on.
사용자 컨텍스트는 소유자에 대한 정보, 공유를 위해 소속된 커뮤니티(community), 의도를 나타내는 키워드(keyword) 등 콘텐츠 저작에 기초가 되는 정보를 포함하여 이루어진다.The user context includes information based on content authoring such as information on the owner, a community belonging to the user, a keyword indicating intention, and the like.
콘텐츠 컨텍스트는 텍스트, 오디오, 비디오, 2D 콘텐츠, 3D 콘텐츠 등 다양한 콘텐츠를 포함하여 이루어진다.The content context includes various contents such as text, audio, video, 2D content, and 3D content.
이상 설명한 CAMAR 태그는 본 실시예에서 AR 마커 등의 시각 센서, IR, RFID 등 다양한 종류의 센서가 부착되어 센서와 비전의 하이브리드 방법으로 인식 및 추적이 가능한 태그로 정의된다. 예컨대, CAMAR 태그는 시각 센서(visual sensor), 능동 센서(active sensor), 수동 센서(passive sensor) 등의 결합으로 이루어질 수 있다. 상기에서, AR 마커는 증강현실 환경의 가상 객체를 표상하는 마커, 상기 마커를 둘러싸며 상기 마커의 위치 정보와 방위 정보를 표시하는 마커 프레임 등을 포함하는 개념이다.In the present embodiment, the CAMAR tag described above is defined as a tag that can be recognized and tracked by a hybrid method between a sensor and a vision by attaching various types of sensors such as an AR marker and a visual sensor, IR, and RFID. For example, the CAMAR tag may be a combination of a visual sensor, an active sensor, a passive sensor, and the like. The AR marker is a concept including a marker representing a virtual object in an augmented reality environment, a marker frame surrounding the marker and displaying positional information and orientation information of the marker.
VE 기준 마커(110)가 이와 같이 상호 연동성을 가진 CAMAR 태그로 구현된다면 RE 기준 마커(120)와의 연동을 보다 쉽게 구현할 수 있다.If the VE
RE 기준 마커(120)는 현실 공간에 위치하는 마커로서, VE 기준 마커(110)와 동일한 기능을 수행한다. 이러한 RE 기준 마커(120)는 VE 기준 마커(110)와 마찬가지로 CAMAR 태그로 구현할 수 있다.The
이상 설명한 VE 기준 마커(110)와 RE 기준 마커(120)는 가상 공간과 현실 공간에 각각 존재하는 스마트 오브젝트로서, 가상 공간과 현실 공간을 지속적으로 연결시키는 기능을 한다. VE 기준 마커(110)와 RE 기준 마커(120)는 각 공간에 위치하는 동일 오브젝트의 위치 정보와 방위 정보를 공유한다. 이에 따라, VE 기준 마커(110)와 RE 기준 마커(120)는 가상 공간과 현실 공간에서 대응하는 오브젝트들을 지속적으로 표상할 수 있다.The
한편, 가상 공간에서는 존재하나 현실 공간에는 없는 오브젝트를 현실 공간에 증강시키고자 할 경우에는 VE 기준 마커(110)를 기준으로 할 때의 상기 오브젝트의 위치 정보나 방위 정보를 VE 기준 마커(110)에 제공하면 된다. 이와 같이 본 발명에서는 마커나 특징점의 추출 없이 가상 공간과 현실 공간에 각각 존재하는 VE 기준 마커(110)와 RE 기준 마커(120)를 상호 연동시키는 것만으로 오브젝트를 자유자재로 현실 공간에 증강시킬 수 있다.Meanwhile, when the object existing in the virtual space but not in the real space is to be enhanced in the real space, the position information and the orientation information of the object when the
오브젝트 표상 마커(130)는 현실 공간 또는 가상 공간에 구비되는 오브젝트를 표상하는 마커를 말한다. 이러한 오브젝트 표상 마커(130) 역시 VE 기준 마커(110)나 RE 기준 마커(120)와 마찬가지로 CAMAR 태그로 구현될 수 있으며, 가상 공간이나 현실 공간의 소정 위치에 오브젝트를 증강시킬 수 있게 한다.The object markers 130 are markers for representing objects provided in a real space or a virtual space. The object markers 130 may be implemented as CAMAR tags in the same manner as the
가상 공간이나 현실 공간에 구비되는 오브젝트 표상 마커(130)는 CAMAR 태그를 통해 상호 유기적으로 연결된다. 즉, 위치 정보와 방위 정보를 공유함으로써 특 정 오브젝트를 기준으로 소정 거리 내에 위치하는 이웃 오브젝트들이 연동된다. 따라서, 환경이 변화된다 하더라도 오브젝트 표상 마커(130)들은 상호 유기적 관계를 통해 하나의 오브젝트로부터의 다른 오브젝트들의 인식 및 추적을 용이하게 한다.The object markers 130 provided in the virtual space or the real space are organically connected to each other through the CAMAR tag. That is, by sharing position information and azimuth information, neighboring objects positioned within a predetermined distance based on a specific object are interlocked. Thus, even if the environment is changed, the object markers 130 facilitate recognition and tracking of other objects from one object through mutual organic relationships.
한편, 오브젝트 표상 마커(130)는 센싱 모듈과 네트워킹 모듈을 구비하는 마커로 구현될 수 있다. 이러한 구성의 오브젝트 표상 마커(130)도 표상하는 오브젝트가 다른 오브젝트들과 연동을 가능하게 하며, 공간적 표상(spatial representation)을 구현할 수 있게 한다.On the other hand, the object markers 130 may be implemented by a marker having a sensing module and a networking module. The object markers 130 having such a configuration also allow the object to be displayed to be linked with other objects and can implement a spatial representation.
마커 처리부(140)는 VE 기준 마커(110) 또는 RE 기준 마커(120)를 기준으로 가상 공간 또는 현실 공간에 위치하는 오브젝트들을 처리하는 기능을 수행한다.The
마커 처리부(140)는 본 실시예에서 모바일 단말기(mobile device) 및 가상 모델 서버(virtual world server)를 포함하여 이루어질 수 있다. 모바일 단말기는 오브젝트 표상 마커(130)를 생성하거나 오브젝트 표상 마커(130)가 증강된 현실 공간을 뷰잉(viewing)하는 데에 이용된다. 또한, 가상 모델 서버(350)는 오브젝트 표상 마커(130)에 대한 정보나 가상 공간 모델에 대한 정보를 저장하는 데에 이용된다. 그러나, 마커 처리부(140)가 이러한 구성에 한정되는 것은 아니며, 단일 단말기 또는 단일 서버로 구현하는 것도 가능하다. 이하 도 3을 참조하여 마커 처리부(140)의 구성 및 동작에 대해 설명한다.The
모바일 단말기(300)는 랩탑(laptop), UMPC, PDA, 스마트 폰(smart phone) 등으로 구현될 수 있다.The
가상 모델 서버(350)는 모바일 단말기(300)와 연동하여 오브젝트 표상 마 커(130)들을 처리하는 서버이다. 이러한 가상 모델 서버(350)는 CAMAR 태그 등록에 대한 요청이 있을 경우 모델 컨텍스트의 코디네이트 정보(즉, 글로벌 코디네이트와 로컬 코디네이트)를 토대로 가상 공간 모델의 정확한 위치에 노드로써 추가한다.The virtual model server 350 is a server that processes the object markers 130 in cooperation with the
또한, 가상 모델 서버(350)는 CAMAR 태그에 대한 업데이트 요청이 있을 경우 사용자 컨텍스트의 키 정보를 기반으로 환경 컨텍스트를 이용하여 문맥상의 인덱싱(contextual indexing)을 수행함으로써 CAMAR 태그 리스트를 회수한다. 오브젝트의 모델 정보가 만들어질 때에 조도와 같은 환경 컨텍스트 값에 의존하여 오브젝트의 모델 정보(특히, 특징점들)이 만들어진다. 따라서, 오브젝트를 인식/추적할 때에 조도 값이 변함에 따라 그에 적절한 오브젝트 모델 정보를 넘겨주어 처리시킨다. 본 실시예에서 이는 컨텍스트의 키 정보를 기반으로 환경 컨텍스트를 이용하여 문맥상의 인덱싱을 수행함에 기반한다.In addition, when there is an update request for the CAMAR tag, the virtual model server 350 retrieves the CAMAR tag list by performing contextual indexing based on the key information of the user context using the environment context. Model information (particularly, minutiae points) of the object is created depending on the environmental context value such as roughness when the model information of the object is created. Accordingly, when the object is recognized / traced, the object model information corresponding to the illuminance value is transferred and processed. In this embodiment, it is based on performing contextual indexing using environment context based on context key information.
CAMAR 태그를 이용하여 오브젝트의 생성 및 등록, 관리, 활용 등을 위해 모바일 단말기(300)와 가상 모델 서버(350)는 다음과 같이 작동한다. 각각에 대해 차례대로 설명한다.The
① 오브젝트의 생성 및 등록① Object creation and registration
먼저, 센싱 모듈(305)이 오브젝트를 포함하여 사용자 주변의 환경 컨텍스트(ex. 위치, 방향 등)를 획득한다. 이후, CAMAR 태그 업데이트 모듈(306)이 가상 공간 모델 제공 모듈(353)로부터 모델 뷰를 제공받는다. 이때, 모델 뷰(view)는 모바일 단말기(300)를 통해 육안으로 확인 중인 현실 공간의 뷰와 일치하는 가상 공간의 모델 뷰인 것이 바람직하다.First, the sensing module 305 acquires an environmental context (e.g., location, direction, etc.) of the user including the object. Thereafter, the CAMAR tag update module 306 receives the model view from the virtual space model provision module 353. [ At this time, it is preferable that the model view is a model view of a virtual space coinciding with a view of a real space being visually confirmed through the
글로벌 코디네이트 정합 모듈(303)은 제공받은 모델 뷰를 현실 공간의 뷰에 정합(좌표계를 맞춤)시킨다. 이후, 로컬 코디네이트 정합 모듈(304)이 관심이 있는 타겟 오브젝트의 글로벌 코디네이트와의 관계로 나오는 데이터를 획득하여 로컬 코디네이트를 설정한다. 로컬 코디네이트 정합 모듈(304)은 사용자가 화면의 객체에 스타일러스 펜 입력 등의 상호 작용을 통해 객체에 대한 모델 정보(ex. 인식, 추적을 위한 특징점들)를 얻게 된다.The global coordination matching module 303 aligns the provided model view with the view of the real space (coordinates the coordinate system). Then, the local coordinate matching module 304 obtains the data that comes in relation to the global coordinate of the target object of interest, and sets the local coordinate. The local coordinate matching module 304 obtains model information (e.g., recognition points, tracking points) for an object through interaction of a stylus pen input or the like with an object on the screen.
이후, CAMAR 태그 생성 모듈(301)이 획득된 환경 컨텍스트와 모델 컨텍스트를 포함하여 오브젝트를 CAMAR 태그로써 생성한다. 바람직하게는, CAMAR 태그 생성 모듈(301)은 사용자 컨텍스트와 저작을 통한 컨텐츠 컨텍스트도 포함하여 오브젝트를 CAMAR 태그로써 생성한다. CAMAR 태그가 컨텐츠 컨텍스트를 포함하는 경우에는, 콘텐츠 저작 모듈(302)이 컨텐츠 컨텍스트를 생성하는 과정이 선행하며, 이후 CAMAR 태그 생성 모듈(301)이 CAMAR 태그를 생성하는 과정이 후행한다.Then, the CAMAR tag generation module 301 generates the CAMAR tag including the acquired environment context and the model context. Preferably, the CAMAR tag generation module 301 generates an object as a CAMAR tag, including a user context and a content context through authoring. When the CAMAR tag includes the content context, the process of generating the content context by the content authoring module 302 precedes the process of generating the CAMAR tag.
이후, CAMAR 태그 등록 모듈(352)이 생성된 CAMAR 태그를 등록시킨다. CAMAR 태그 등록 모듈(352)의 이러한 구동에 따라, 생성된 CAMAR 태그는 가상 모델 서버(350)에 저장된다.Thereafter, the CAMAR tag registration module 352 registers the generated CAMAR tag. In accordance with this driving of the CAMAR tag registration module 352, the generated CAMAR tag is stored in the virtual model server 350. [
② 오브젝트의 관리② Object Management
가상 모델 서버(350)는 모바일 단말기(300)로부터 생성된 CAMAR 태그를 데이터베이스에 저장한다. 바람직하게는, 가상 모델 서버(350)는 적용 가능한 가상 모델과 함께 CAMAR 태그를 데이터베이스에 저장한다. 여기서, 적용 가능한 가상 모델이란 앞서 설명한 CAMAR 태그 업데이트 모듈(306)이 가상 공간 모델 제공 모 듈(353)로부터 제공받는 모델 뷰이다. 그런데, 본 실시예에서 적용 가능한 가상 모델은 이에 한정되지 않는다. 즉, 본 실시예에서 적용 가능한 가상 모델은 상기 모델 뷰를 포함하여 CAMAR 태그를 반영시킬 수 있는 모든 모델 뷰로 정의할 수 있다.The virtual model server 350 stores the CAMAR tag generated from the
CAMAR 태그 등록 모듈(352)은 모바일 단말기(300)로부터 CAMAR 태그 등록 요청 메시지를 받으면 모델 컨텍스트 특히 글로벌 코디네이트와 로컬 코디네이트를 참조하여 CAMAR 태그를 적용 가능한 가상 모델에 노드로 저장한다. 여기서, 노드로 저장함은 모델 컨텍스트를 이용하여 가상 모델의 기준 마커와 연관시켜 저장함으로 정의할 수 있다.When the CAMAR tag registration request message is received from the
모바일 단말기(300)는 CAMAR 태그 등록 요청 이후 CAMAR 태그 업데이트 메시지를 가상 모델 서버(350)로 전송한다. 그러면, CAMAR 태그 리스트 리트리벌 모듈(351)은 CAMAR 태그의 환경 컨텍스트를 키로 하여 컨텍스트 인덱싱에 의해 CAMAR 태그 리스트를 반환한다.The
③ 오브젝트의 활용③ Utilization of objects
먼저, 모바일 단말기(300)의 센싱 모듈(305)이 환경 컨텍스트와 사용자 컨텍스트를 획득한다. 이후, CAMAR 태그 업데이트 모듈(306)이 CAMAR 태그 리스트 리트리벌 모듈(351)을 통하여 가상 모델을 획득한다. 이때, ROI 선택 모듈(314)은 가상 모델 전체 영역 중에서 관심 영역(ROI; Region Of Interest)을 추출한 후 이 부분만 모바일 단말기(300)에 디스플레이되도록 할 수 있다.First, the sensing module 305 of the
이후, 획득된 모델 컨텍스트의 특징점을 이용하여 CAMAR 태그 인식 모듈(312)이 타겟 오브젝트를 인식하며 CAMAR 태그 트래킹 모듈(313)이 상기 타겟 오 브젝트를 추적한다. 이후, 콘텐츠 증강 모듈(311)이 콘텐츠를 증강시킨다.Thereafter, the CAMAR tag recognition module 312 recognizes the target object using the acquired minutiae of the model context, and the CAMAR tag tracking module 313 tracks the target object. Thereafter, the content enhancement module 311 augments the content.
다시 도 1을 참조하여 설명한다.Referring back to FIG.
마커 처리부(140)는 본 발명의 실시예에서 CAMAR 태그가 양쪽 공간(현실 공간과 가상 공간)에 존재하도록 RE 기준 마커(120) 또는 RE 기준 마커(120)와 연동되는 적어도 하나의 오브젝트 표상 마커(130)를 포함하는 마커 그룹에 대한 정보를 제공하는 VE 기준 마커(110)를 생성하는 기능을 수행한다. 구체적으로, 마커 처리부(140)는 RE 기준 마커(120)가 표시되며 오브젝트 표상 마커(130)를 통해 적어도 하나의 오브젝트가 현실 공간에 표상되면 가상 공간에 이 영상에 대응하는 모델을 생성하며, 오브젝트 표상 마커(130)를 통해 생성된 모델에 오브젝트를 입력시킨 후 입력된 오브젝트가 RE 기준 마커(120)에 대응하게 생성된 VE 기준 마커(110)에 연결되도록 하여 VE 기준 마커(110)가 뷰잉된 현실 공간과 동일한 영상에 대한 정보를 제공할 수 있게 한다.The
또한, 마커 처리부(140)는 VE 기준 마커(110) 또는 RE 기준 마커(120)를 이용하여 일 공간 상에 콘텐츠를 저작하는 기능을 수행한다.The
한편, 마커 처리부(140)는 원활한 구동을 위해 전원부와 제어부를 더 포함할 수 있다. 전원부는 마커 처리부(140)를 구성하는 모든 구성부에 전원을 공급하며, 제어부는 마커 처리부(140)를 구성하는 모든 구성부의 전체 작동을 제어한다.Meanwhile, the
다음으로, 마커 처리부(140)가 VE 기준 마커(110)와 RE 기준 마커(120)를 이용하여 현실 공간에 있는 오브젝트를 가상 공간에 생성시키는 방법을 설명한다. 도 4는 본 발명의 바람직한 실시예에 따른 오브젝트 생성 방법을 도시한 순서도이다. 이하 설명은 도 4를 참조한다.Next, the
먼저, 센싱 모듈(305)이 현실 공간에 있는 오브젝트의 위치 정보와 방위 정보를 획득한다(S400). 이후, CAMAR 태그 업데이트 모듈(306)이 현실 공간에 있는 오브젝트를 반영시키기 위한 가상 공간 모델을 선택한다(S410). 이후, CAMAR 태그 생성 모듈(301)이 선택된 가상 공간 모델에 오브젝트가 반영될 수 있도록 오브젝트에 대한 오브젝트 표상 마커(130)를 생성한다(S420). 생성된 오브젝트 표상 마커(130)를 통해 현실 공간의 오브젝트를 가상 공간에도 구비시킬 수 있다.First, the sensing module 305 acquires position information and orientation information of an object in a real space (S400). Thereafter, the CAMAR tag update module 306 selects a virtual space model for reflecting the object in the real space (S410). Then, the CAMAR tag generation module 301 generates an object representation marker 130 for the object so that the object can be reflected in the selected virtual space model (S420). It is possible to provide the virtual space with objects in the real space through the generated object markers 130. [
이후, 글로벌 코디네이트 정합 모듈(303)이 오브젝트 표상 마커(130)의 ID를 등록시키며(S430), 로컬 코디네이트 정합 모듈(304)이 오브젝트 표상 마커(130)의 좌표 정보를 등록시킨다(S440).Thereafter, the global coordinate matching module 303 registers the ID of the object markers 130 (S430), and the local coordinate aligning module 304 registers the coordinate information of the object markers 130 (S440).
이후, 콘텐츠 저작 모듈(302)이 오브젝트와 함께 증강시키고자 하는 콘텐츠가 있는 경우 이 콘텐츠를 오브젝트와 함께 가상 공간 모델에 저작시킨다(S450). 오브젝트와 콘텐츠의 저작이 완료되면, 가상 공간 모델은 오브젝트가 반영된 상태로 완성된다(S460).Thereafter, if there is content to be augmented together with the object, the content authoring module 302 writes the content together with the object in the virtual space model (S450). When authoring of the object and the content is completed, the virtual space model is completed with the object reflected (S460).
도 5는 본 발명의 바람직한 실시예에 따른 오브젝트 생성 방법을 설명하기 위한 참고도이다. 도 5를 도 4의 각 단계에 매칭시켜 보면 다음과 같다.5 is a reference diagram for explaining an object generating method according to a preferred embodiment of the present invention. FIG. 5 is matched to each step of FIG. 4 as follows.
도 5의 (a)는 뷰잉된 현실 공간 영상이다. 도 5의 (a)에서 타겟 오브젝트(500)에 대한 정보를 S400 단계를 거쳐 획득된다. 도 5의 (b)는 가상 공간 모델에 대한 영상이다. 도 5의 (b)에서 오브젝트 표상 마커(510) 자리에 타겟 오브젝 트(500)가 반영되며, 도 5의 (b)는 S410 단계를 통해 결정된다.5 (a) is a view of the actual space image. In FIG. 5 (a), information about the
도 5의 (c)는 타겟 오브젝트(500)의 방위 정보를 구하는 과정을 도시하고 있다. 도 5의 (c)로부터 얻어진 타겟 오브젝트(500)에 대한 정보는 S440 단계를 거쳐 오브젝트 표상 마커(130)에 대한 정보로 등록된다. 도 5의 (d)는 오브젝트(420)와 콘텐츠(430)가 반영된 가상 공간 모델에 대한 영상이다. S400 단계 내지 S460 단계를 거치면 도 5의 (d)와 같은 가상 공간 모델 영상을 얻을 수 있다.FIG. 5C shows a process of obtaining the orientation information of the
다음으로, 마커 처리부(140)가 RE 기준 마커(현실 공간에 구비되는 오브젝트를 표상하는 마커)와 연동되는 VE 기준 마커를 생성하는 방법을 설명한다. 도 6은 본 발명의 바람직한 실시예에 따른 VE 기준 마커 생성 방법을 도시한 순서도이다. 이하 설명은 도 6을 참조한다.Next, a method of generating the VE reference marker in which the
먼저, 촬영부(321)가 카메라를 이용하여 현실 공간(RE)을 포인팅(pointing)한다(S600). 이후, 영상 획득부(322)가 포인팅된 현실 공간에 대해 복수개의 영상 장면들을 획득한다(S610a). 이후, 컨텍스트 정보 획득부(323)가 획득된 영상 장면들에 포함된 적어도 하나의 오브젝트에 대한 위치 정보와 방위 정보를 포함하는 컨텍스트(context) 정보를 획득한다(S620a).First, the photographing
한편, 사용자 정보 수집부(324)는 사용자의 프로파일 정보를 수집한다(S610b). 사용자의 프로파일 정보 수집은 사용자의 정보 입력을 통해 이루어질 수 있다. 이때, 사용자 정보 수집부(324)가 수집하는 사용자의 프로파일 정보는 소속, 관심 키워드, 선호도, 영역 선택에 대한 정보 등이다.Meanwhile, the user
이후, RE 기준 마커 트레이닝부(325)가 수집된 사용자의 프로파일 정보, 획 득된 컨텍스트 정보 등을 고려하여 획득된 영상 장면들로부터 RE 기준 마커의 ID를 인식하고 그 자세를 추정한다(S630).Thereafter, the RE reference marker training unit 325 recognizes the ID of the RE reference marker from the image scenes obtained in consideration of the collected profile information of the user, the acquired context information, and the like, and estimates the posture thereof (S630).
본 발명의 실시예에서는 가상 공간의 오브젝트가 현실 공간의 오브젝트와 동일하게 구비된다. 또한, 각 공간에 구비되는 오브젝트들은 정해진 위치 관계에 따라 배치된다. 따라서, VE 기준 마커를 생성하기에 앞서 현실 공간과 동일한 크기의 가상 공간 모델을 로딩(loading)함이 필요하다. 또한, 현실 공간의 각 오브젝트에 대응하는 가상 공간에서의 오브젝트 입력도 필요하다.In the embodiment of the present invention, objects in the virtual space are provided in the same manner as objects in the real space. In addition, the objects provided in each space are arranged according to a predetermined positional relationship. Therefore, it is necessary to load a virtual space model having the same size as the real space before generating the VE reference marker. It is also necessary to input an object in a virtual space corresponding to each object in the real space.
S630 단계 이후, 가상 공간 생성부(326)가 현실 공간과 동일한 크기의 가상 공간 모델을 생성한다(S640). 이후, 대응 객체 입력부(327)가 컨텍스트 정보를 이용하여 상기 가상 공간 모델에 현실 공간의 각 객체에 대응하는 대응 객체를 입력시킨다(S650). 상기에서, 컨텍스트 정보는 현실 공간에 구비된 객체의 위치 정보와 방위 정보를 포함하는 개념이다. 따라서, 현실 공간의 오브젝트와 가상 공간의 오브젝트의 좌표계 정보(위치 정보와 방위 정보)를 일치시킨다면 대응 객체 입력이 가능하다.After step S630, the virtual space creating unit 326 creates a virtual space model having the same size as the real space (S640). Thereafter, the corresponding object input unit 327 inputs corresponding objects corresponding to the objects in the real space to the virtual space model using the context information (S650). In the above, the context information is a concept including position information and orientation information of an object provided in the real space. Therefore, if the coordinate system information (position information and orientation information) of the object in the real space and the object in the virtual space are matched, the corresponding object can be input.
현실 공간과 동일한 상태의 가상 공간이 완성되면, VE 마커 생성부(328)는 RE 기준 마커에 대응하는 VE 기준 마커를 생성한다(S660). 이때, VE 마커 생성부(328)는 입력된 모든 대응 객체와 연결되도록 상기 VE 기준 마커를 생성한다. VE 기준 마커에 대응 객체를 연결시키는 방법으로는 웹 정보가 하이퍼텍스트(hypertext)로 연결되는 방법이 이용될 수 있다.When the virtual space having the same state as the real space is completed, the VE marker generating unit 328 generates a VE reference marker corresponding to the RE reference marker (S660). At this time, the VE marker generating unit 328 generates the VE reference marker to be associated with all the input corresponding objects. As a method of connecting the corresponding object to the VE reference marker, a method in which the web information is linked to hypertext can be used.
상기 S660 단계에서 생성된 VE 기준 마커는 RE 기준 마커의 인식 정보, RE 기준 마커의 자세 추정 정보, 대응 객체에 대한 연결 정보 등을 포함한다. 여기에서, RE 기준 마커의 인식 정보는 RE 기준 마커의 ID를 포함한다. RE 기준 마커의 자세 추정 정보는 RE 기준 마커의 위치 정보와 방위 정보를 포함하는 좌표계 정보를 포함한다. 대응 객체에 대한 연결 정보는 가상 공간 모델에 구비된 적어도 하나의 대응 객체의 위치 정보와 방위 정보를 포함한다. 한편, VE 기준 마커는 스케일 측정 지표를 더 포함할 수 있다.The VE reference marker generated in step S660 includes recognition information of an RE reference marker, posture estimation information of an RE reference marker, connection information on a corresponding object, and the like. Here, the recognition information of the RE reference marker includes the ID of the RE reference marker. The posture estimation information of the RE reference marker includes coordinate system information including the position information of the RE reference marker and the orientation information. The connection information for the corresponding object includes position information and orientation information of at least one corresponding object provided in the virtual space model. On the other hand, the VE reference marker may further include a scale measurement index.
한편, 도 6에 도시된 각 단계를 수행하는 촬영부(321) ~ VE 마커 생성부(328)는 마커 처리부(140)에 구비된다. 본 발명의 실시예에서 마커 처리부(140)는 컴퓨터이거나 모바일 단말기일 수 있다. 컴퓨터로는 예컨대 서버가 가능하며, 모바일 단말기로는 예컨대 휴대폰, PDA 등이 가능하다. 그러나, 마커 처리부(140)는 단일 장치가 아닌 복합 장치(ex. 모바일 단말기를 장착하는 서버 컴퓨터)이거나 도 3을 통해 언급한 바와 같이 복수개의 장치를 포함하는 개념도 가능하다. 예컨대, 마커 처리부(140)는 촬영부(321) ~ RE 기준 마커 트레이닝부(325)를 포함하는 모바일 단말기(300) 및 가상 공간 생성부(326) ~ VE 기준 마커 생성부(328)를 포함하는 서버 컴퓨터(350)로 구현될 수 있다.Meanwhile, the photographing
다음으로, 마커 처리부(140)가 VE 기준 마커(110)를 활용하는 방법을 설명한다. 도 7은 본 발명의 바람직한 실시예에 따른 VE 기준 마커 활용 방법을 도시한 순서도이다. 이하 설명은 도 7을 참조한다.Next, a method of using the
먼저, 촬영부(321)가 현실 공간(RE)을 뷰잉(viewing)한다(S700). 그러면, 영상 획득부(322)가 현실 공간에 대한 영상 장면들을 획득하며(S710), 컨텍스트 정보 획득부(323)가 영상 장면들에 포함된 적어도 하나의 RE 객체(현실 공간에 구비되는 오브젝트)의 컨텍스트 정보를 획득한다(S720). 이때, 사용자 정보 수집부(324)를 통하여 사용자의 프로파일 정보를 수집하는 것도 가능하다.First, the photographing
이후, 객체 인식부(331)가 획득된 컨텍스트 정보를 근거로 영상 장면들에 포함된 적어도 하나의 객체를 인식한다(S730). 이후, VE 기준 마커 리스트 제공부(332)가 메모리부에 저장된 사용 가능한 VE 기준 마커 리스트를 제공하면(S740), VE 기준 마커 추출부(333)가 신뢰도(confidence) 값이 최대인 VE 기준 마커를 추출한다(S750). 본 발명의 실시예에서 신뢰도 값이 최대인 VE 기준 마커란 인식된 객체들의 컨텍스트 정보(위치 정보와 방위 정보)를 근거로 동일 컨텍스트 정보를 가진 객체를 가장 많이 보유한 RE 영상 장면을 표상하는 VE 기준 마커일 수 있다.Thereafter, the object recognition unit 331 recognizes at least one object included in the video scenes based on the acquired context information (S730). If the VE reference marker list providing unit 332 provides the available VE reference marker list stored in the memory unit in operation S740, the VE reference marker extracting unit 333 extracts the VE reference marker having the maximum confidence value (S750). In the embodiment of the present invention, the VE reference marker having the maximum reliability value is a VE reference marker that represents a RE video scene having the largest number of objects having the same context information based on the context information (position information and orientation information) Lt; / RTI >
이후, RE 기준 마커 인지부(334)가 영상 장면들에 포함된 RE 기준 마커를 인식하고 그 자세를 추정한다(S760). 바람직하게는, RE 기준 마커 인지부(334)는 스케일도 측정한다. 이후, 오버레이 구현부(335)가 추출된 VE 기준 마커에 대한 정보를 획득하여 RE 기준 마커(120) 자리에 VE 기준 마커의 내용을 오버레이(overlay)시킨다(S770). 본 발명의 실시예에서 이러한 오버레이를 구현하기에 앞서 VE 기준 마커의 좌표 정보(위치 정보 및 방위 정보)와 RE 기준 마커의 좌표 정보를 일치시킨다.Thereafter, the RE reference marker recognition unit 334 recognizes the RE reference marker included in the video scenes and estimates the posture thereof (S760). Preferably, the RE reference marker recognition unit 334 also measures the scale. Then, the
도 1 내지 도 7을 참조하여 설명한 마커 관리 시스템을 이용한다면 다음과 같은 응용도 가능하다.The following applications are also possible if the marker management system described with reference to Figures 1 to 7 is used.
1. CAMAR bloki1. CAMAR block
블로키(bloki)란 기존의 블로그(blog)와 위키(wiki)를 결합한 개념이다. 블로그는 로그 단위로 일기처럼 기록되며, 한 사람 또는 소수의 몇몇 사람에게만 글을 작성할 수 있는 권한이 주어진다. 이러한 블로그는 텍스트, 사진, 음악, 플래시, 동영상 등을 포함하며, 댓글이나 트랙백이 가능하다.Blocki (blogi) is a concept that combines an existing blog (blog) with a wiki. Blogs are recorded as log entries on a daily basis and are authorized to write to only one or a few people. These blogs include text, photos, music, flash, videos, and can be commented or trackbacked.
반면, 위키는 협력 소프트웨어로서, 누구나 글을 쓸 수 있는 잇점이 있다. 일부에서는 낱말 2개 이상을 붙여 쓰고 각 낱말의 첫 글자를 대문자로 쓰면 저절로 링크로 볼 수 있다. 이러한 위키는 여러 명의 서로 다른 지성적 존재들이 힘을 합쳐 상호작용을 통한 내용의 확대와 확인 그리고 연결을 유기적으로 발생시킬 경우에 기인한다. 위키는 비교적 엄격하게 내용을 검사하고 상호 비판을 통해 정리함이 바람직하며, 자신의 만족과 동시에 집단 지성적 결과물을 공동 창출하는 효과도 얻을 수 있다.On the other hand, wiki is a collaborative software, and everyone has the advantage of writing. In some, you write two or more words and write the first letter of each word in capital letters. This wiki comes from the fact that several different intellectual beings join forces to organize the expansion, identification and connection of content through interaction. It is desirable that the wiki be relatively strictly examined and reviewed through mutual criticism, and it is also possible to co-create collective intelligent results at the same time as satisfying oneself.
본 발명에 따른 마커 관리 시스템을 적용한다면 CAMAR bloki 즉, 커뮤니티 내의 공통 목적을 설정하고 이를 위해 경험을 기록 관리하여 새로운 경험을 창출할 수 있도록 하는 증강현실 협력 소프트웨어도 가능하다.If the marker management system according to the present invention is applied, an augmented reality collaboration software that enables CAMAR bloc i, that is, a common goal in a community, to create a new experience by recording and managing experience for the community is also possible.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, ROM, 플로피 디스크, 하드 디스크, 자기 테이프 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD, 광데이터 저장장치 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.The above-described embodiments of the present invention can be embodied in a general-purpose digital computer that can be embodied as a program that can be executed by a computer and operates the program using a computer-readable recording medium. The computer readable recording medium may be a magnetic storage medium (e.g., a ROM, a floppy disk, a hard disk, a magnetic tape, or the like), an optical reading medium (e.g., a CD-ROM, a DVD, And a carrier wave (e.g., transmission over the Internet).
다음으로, 도 8 내지 도 10을 참조하여 "모바일 사용자들이 실내/외 객체를 통해 가상 공간과 증강현실 환경 양방향에서 멀티미디어 콘텐츠를 저작할 수 있는 컨텍스트 인식 모바일 증강현실(CAMAR; Context Aware Mobile Augmented Reality) 저작 핵심 기술"을 설명한다.Next, referring to FIG. 8 to FIG. 10, a context aware mobile augmented reality (CAMAR) system capable of authoring multimedia contents in both a virtual space and an augmented reality environment through indoor / Authoring core technology ".
"지능형 혼합 공간에 공존하는 소셜 u-콘텐츠의 실내외 증강과 매쉬업을 위한 컨텍스트 인식 모바일 증강현실(CAMAR; Context Aware Mobile Augmented Reality) 저작 기술"이란, USS(Ubiquitous Smart Space) 내 커뮤니티 구성원들 간의 사회적 관계와 문화적 배경 등을 포함한 통합 컨텍스트를 활용하여 소셜 u-콘텐츠를 실내렛 객체에 증강하고 매쉬업하여 구성원들 간의 선택적 공유와 지속적 협업을 가능하게 하는 CAMAR 핵심기술로 정의한다."Context Aware Mobile Augmented Reality (CAMAR) authoring technology for indoor and outdoor enhancement and mashup of social u-contents coexisting in intelligent mixed space" is a social interaction between community members in USS (Ubiquitous Smart Space) And cultural backgrounds, we define social U-content as a CAMAR core technology that enhances and mashups the intralet object and enables selective sharing and continuous collaboration among its members.
가상 공간과 현실 공간이 공존하는 지능형 혼합 공간(USS) 내 커뮤니티 구성원들 간의 사회적 관계와 문화적 배경 등을 포함하는 통합 컨텍스트를 활용하여 생성된 소셜 u-콘텐츠를 문자, 로고, 간판, 건물 등을 포함한 실내외 객체에 이음매 없이 증강하고, 구성원들의 참여와 지속적인 협업을 통해 진화하는 형태로 소셜 u-콘텐츠를 재구성하여, 선택적인 공유가 가능하도록 하는 컨텍스트 인식 모바일 증강 현실 저작 핵심기술을 개발한다.The social u-contents generated by using the integrated context including the social relations and cultural background among the community members in the intelligent mixed space (USS) in which the virtual space and the real space coexist include characters, logos, signs and buildings We will develop a context aware mobile augmented reality authoring core technology that seamlessly integrates indoor and outdoor objects, reconstructs social u-contents in the form of participating and constant collaboration, and enables selective sharing.
도 8은 CAMAR 저작 핵심 기술 개념도를 도시한 도면이다.8 is a diagram showing a conceptual diagram of the CAMAR authoring core technology.
제안하는 저작 기법은 가상 공간과 현실 공간 양방향에서 콘텐츠 제작이 가능한 모바일 증강현실 기반 저작 기술이다. 가상 공간에서는 GUI를 기반으로 원하는 멀티미디어 콘텐츠의 조작/변형/조합/이동/복사 등이 가능하다. 현실 공간에서 는 모바일 증강현실을 통해 실 객체를 인식하고 추적하여 멀티미디어 콘텐츠를 획득/선택/이동/변형/조합/복사 등의 저작기능을 가능하게 한다. 뿐만 아니라, 현실 공간에서는 증강현실을 통해 가상 공간에 있는 콘텐츠를 획득하여 저작이 가능하며, 현실 공간에서 변경한 내용은 다시 가상 공간에 반영된다. 또한, 다른 사용자들이 저작한 콘텐츠를 검색하고 활용하여 새로운 콘텐츠를 저작하는 것이 가능하다.The proposed authoring technique is a mobile augmented reality - based authoring technology that can create contents in both virtual space and real space. In the virtual space, it is possible to manipulate / modify / combine / move / copy desired multimedia contents based on the GUI. In the real space, real objects are recognized and tracked through mobile augmented reality to enable authoring functions such as acquisition / selection / movement / transformation / combination / copy of multimedia contents. In addition, in the real space, the contents in the virtual space can be acquired and authored through the augmented reality, and the contents changed in the real space are reflected again in the virtual space. In addition, it is possible to author new contents by searching and utilizing contents authored by other users.
도 9는 실내 환경에서 CAMAR 저작 기술의 개념의 예이다. 이 그림에서는 현실 공간과 스마트 홈에서의 저작과 가상 스마트 홈에서의 저작이 동시에 이루어지고 있다. 가상 공간에 있는 2명의 사용자들이 로봇 태권브이를 저작하고 있으며, 이와 동시에 가상공간에 있는 사용자도 동일한 로봇 태권브이를 저작하고 있다. 이를 위해 실 공간에서는 스마트 테이블를 인식하고 가상 공간에 존재하는 콘텐츠를 획득하여 직관적으로 저작한다. 가상 공간에서는 현실 공간에 변경하고 있는 내용을 토대로 실제로 위치하지 않아도 다른 사용자와 함께 저작한다.9 is an example of the concept of the CAMAR authoring technique in an indoor environment. In this picture, the work in the real space, the smart home, and the work in the virtual smart home are performed at the same time. Two users in the virtual space are authoring the robot taekwon v. At the same time, the users in the virtual space are writing the same robot taekwondo. To do this, we recognize Smart Table in real space and acquire contents existing in virtual space and author intuitively. In a virtual space, authoring works with other users even if they are not actually located based on the contents that are changing in the real space.
제안하는 저작 기법은 증강현실 저작과 가상 현실 저작, 그리고 콘텐츠 동기화 모듈로 구성된다. 현실 공간 저작은 모바일 장치에 위치하면서 각 사용자에게 필요한 저작 기능을 수행한다. 또한, 사용자가 위치한 장소를 활용하여 가상 공간과 연동하여 관련된 콘텐츠를 회득한다. 가상공간 저작부는 사용자들이 인터넷을 통해 접속이 가능하며 GUI를 통해 저작이 수행된다. 그리고, 콘텐츠 동기화 모듈은 두 저장 공간에서의 일어나는 저작 이벤트에 대한 공유 및 일관성 유지를 수행한다.The proposed authoring method consists of augmented reality authoring, virtual reality authoring, and content synchronization module. The real space work is located on the mobile device and performs the authoring function necessary for each user. In addition, by utilizing the place where the user is located, the related content is linked with the virtual space. The virtual space authoring department can access the users through the internet and authoring is performed through the GUI. And, the content synchronization module performs sharing and coherence maintenance of the generated authoring events in the two storage spaces.
이를 위해 증강현실 저작은 객체 인식 및 추적 모듈, 객체 선택 모듈, 객체 저장 모듈, 렌더링 모듈, 가상 객체 관리 모듈로 구성된다. 객체 인식 및 추적 모듈은 카메라 영상을 통해 입력되는 영상을 분석하여 객체를 인식하고 추적한다. 객체 저장 모듈은 사용자 및 사용자의 위치에 따라 선택된 다양한 멀티미디어 콘텐츠를 저장한다. 가상현실 저작은 GUI 기반 인터페이스 모듈, 객체 관리자, 객체 조작 모듈, 콘텐츠 제어부, 렌더링부로 구성된다. 그리고, 콘텐츠 동기화 모듈은 서버 동기화 모듈과 증강현실 동기화 모듈로 구성된다. 도 10은 제안하는 제작기술의 구조도를 나타낸다.To this end, the augmented reality work consists of an object recognition and tracking module, an object selection module, an object storage module, a rendering module, and a virtual object management module. The object recognition and tracking module recognizes and tracks the object by analyzing the image input through the camera image. The object storage module stores various multimedia contents selected according to the location of the user and the user. Virtual reality authoring consists of a GUI-based interface module, an object manager, an object manipulation module, a content controller, and a renderer. The content synchronization module includes a server synchronization module and an augmented reality synchronization module. Fig. 10 shows a structural diagram of the proposed fabrication technique.
< 본 발명의 차별성 >≪ Differentiation of the present invention >
기존의 저작은 가상 공간 저작과 현실 공간 저작이 완전히 분리되어 있음. 본 연구는 두 공간을 혼합하여 양방향으로 저작이 가능한 기술임.Existing work is completely separated between virtual space work and real space work. This study is a technology that can mix two spaces and author in both directions.
- CAMAR tag(간판, 건물 모양 등 실내/외 위치한 스마트 오브젝트와 객체)를 통한 현실 공간과 가상 공간의 매핑 기법(기술).- Mapping technique between real space and virtual space through CAMAR tag (smart objects and objects located inside / outside of signboard, building shape, etc.).
- 이벤트와 컨텍스트 기반의 현실 공간과 가상 공간의 콘텐츠 동기화 기법(기술).Content Synchronization Technique for Event - Context - based Real - space and Virtual Space.
- 증강현실 및 실 객체를 활용하여 가상 공간의 콘텐츠(3D 모델, 서비스 ,센서)를 제작하는 저작 기술.- Authoring technology for creating virtual space contents (3D models, services, sensors) using augmented reality and real objects.
- 가상 공간 및 모델을 활용한 현실 공간의 객체 인식/추적 기술.- Object recognition / tracking technology of real space using virtual space and model.
- 가상 공간 및 모델을 활용한 증강현실 환경 내의 콘텐츠 저작 기술.- Content authoring technology in augmented reality environment using virtual space and model.
- 증강현실 공간과 가상 공간 양방향 동시에 콘텐츠를 제작할 수 있는 저작 기술.- Authoring technology that can create contents simultaneously in both augmented reality space and virtual space.
- 다른 사용자가 저작한 콘텐츠를 검색하고 활용하여 새로운 콘텐츠를 제작하는 저작 기술.- Authoring technology that searches and utilizes contents authored by other users to create new contents.
- 이동 환경에서 원거리에 있는 실 환경 및 객체에 콘텐츠 제작이 가능한 저작 기술.- Authoring technology that can create content in real environment and object in remote environment in mobile environment.
- 다수 사용자의 사회적 관계 및 문화적 배경을 반영한 그룹 추천 기법.- A group recommendation technique reflecting the social relationships and cultural backgrounds of multiple users.
- 다수 사용자의 사회적 관계 및 문화적 배경을 반영한 콘텐츠 반응 생성 기법.- Content Response Generation Method Reflecting Social Relationship and Cultural Background of Multiple Users.
본 발명에 따른 구체적인 기술 개발은 다음과 같다.Specific technology development according to the present invention is as follows.
1. 커뮤니티 구성원들 간의 의견을 조화롭게 조정하고 협력하게 하는 소셜 u-콘텐츠 증강 및 상호작용 기술 개발1. Develop social u-content enhancement and interaction technologies that harmonize and coordinate opinions among community members
A. 사용자 커뮤니티 기반의 USS 서비스 시나리오 및 사용자 인터페이스 디자인A. USS service scenario and user interface design based on user community
- CAMAR 서비스 디자인 및 사용성 평가- CAMAR service design and usability evaluation
B. 소셜 u-콘텐츠 가시화를 위한 센서 융합 기반 실외 객체 인식 및 추적 기술B. Sensor-fusion-based outdoor object recognition and tracking technology for social u-content visualization
- 문자 인식을 활용한 마커 추적 및 정합 기술- Marker tracking and matching technology using character recognition
- 해상도 320×480 영상에서 문자 인식률 80% 이상, 마커 인식률 90% 이상, 추적 속도 20fps- At a resolution of 320 × 480 image, character recognition rate is 80% or more, marker recognition rate is 90% or more, tracking rate is 20fps
- 카메라 외부 센서 (GPS) 정보 융합을 통한 모델 기반 실외 건물 추적 및 정합 기술(추적 속도 10fps 이상, 추적 오차 15 픽셀 이내)- Model-based outdoor building tracking and matching technology through information fusion of camera external sensor (GPS) (tracking speed 10 fps or more, tracking error within 15 pixels)
C. 가상 및 현실 공간 커뮤니티 내 사용자 간 장소 및 선호도 기반의 협업 및 CAMAR 매쉬업 기술C. Collaboration and CAMAR mashup based on location and preference among users in virtual and real space communities
- 장소 및 선호도 기반 CAMAR 커뮤니티 생성 및 그룹 추천 기법- CAMAR community creation and group recommendation technique based on place and preference
- 커뮤니티 생성 3초 이내, 추천 정확도 65% 이상- community creation within 3 seconds, recommendation accuracy over 65%
- 개인적 상황과 선택에 따른 소셜 u-콘텐츠 정보 레벨 조절 및 필터링 기술(타당성 70% 이상, 필터링 수행 시간 0.2초 이내)- Social u-content information level adjustment and filtering technology based on personal situation and selection (more than 70% feasibility, less than 0.2 seconds of filtering time)
- 가상 환경 구성 및 실제 환경에서의 접근 기술- Virtual environment configuration and access technology in real environment
D. 커뮤니티 구성원들의 상호작용을 지원하기 위해 컨텍스트를 수집, 이해하는 컨텍스트 인지형 소셜 u-콘텐츠 지능화 기술D. Context-aware social u-content intelligence technology to collect and understand contexts to support the interaction of community members
- CAMAR 사용자의 생체 신호 컨텍스트 기반 사용자 피드백 획득 및 소셜 u-콘텐츠 상황 인지 기술- Acquisition of user feedback based on biological signal context of CAMAR user and social u-content context recognition technology
- CAMAR 사용자의 컨텍스트에 따른 소셜 u-콘텐츠의 개인화된 판단 기술- Personalized decision technology of social u-content according to CAMAR user's context
- CAMAR 사용자의 컨텍스트 기반 소셜 u-콘텐츠의 선지식 기반 행동 생성 기술- CAMAR user's context-based social u-content
E. CAMAR 저작 플랫폼 및 응용 시스템E. CAMAR authoring platform and application system
- 모바일 폰에 동작 가능한 CAMAR 저작 플랫폼 개발 프로세스 정형화 및 디자인- Formalization and design of CAMAR authoring platform development process that can operate on mobile phone
- 모바일 폰 기반의 u-콘텐츠 저작을 위한 소셜 u-콘텐츠 정보 등록, 삽입, 및 위치 지정 기술- Social u-content information registration, insertion, and positioning technology for mobile phone based u-content authoring
- 모바일 폰에 적합한 물리 엔진- Physics engine suitable for mobile phone
- 증강현실 환경에서 객체의 사실적인 반응 도출을 위한 객체의 물리적 속성 부여 기술 및 증강된 가상 객체들의 충돌 감지 기술- A technique of providing physical attributes of objects for realistic reaction of objects in augmented reality environment and collision detection technology of augmented virtual objects
2. 커뮤니티 내의 서비스 획득, 증강, 재구성을 위한 CAMAR 서비스 매쉬업 기술2. CAMAR service mash-up technology for service acquisition, enhancement and reconstruction in the community
A. CAMAR 서비스 매쉬업을 위한 서비스 시나리오 및 사용자 인터페이스 디자인A. Service scenario and user interface design for CAMAR service mashup
- CAMAR 매쉬업 서비스 디자인 및 사용성 평가- CAMAR mashup service design and usability evaluation
B. 소셜 u-콘텐츠 가시화 및 상호작용 지원 실외 스마트 오브젝트 인식 및 추적 기술B. Support for social u-content visualization and interaction Outdoor smart object recognition and tracking technology
- 문자 및 2D 바코드 인식을 이용한 로고 및 간판 추적 및 정합 기술(해상도 320×480 영상에서 문자 인식률 85%, 바코드 인식률 90%, 추적 속도 25fps 이상, 추적 속도 15fps 이상, 추적 오차 10 픽셀 이내)- Logo and signboard tracking and matching technology using character and 2D barcode recognition (85% character recognition rate, 90% bar code recognition rate, 25fps tracking speed, 15fps tracking error, 10 pixel tracking error)
- 카메라 외부 센서 및 모델 융합 기반 실외 건물 추적 및 정합 기술(추적 속도 15fps 이상, 추적 오차 10 픽셀 이내)- Camera external sensor and model fusion based outdoor building tracking and matching technology (tracking speed 15fps or more, tracking error within 10 pixels)
C. 커뮤니티 내 사회적 컨텍스트 기반 협업 및 CAMAR 매쉬업 기술C. Social Context-based Collaboration and CAMAR Mashup Technology in Community
- 사회적 컨텍스트에 기반한 CAMAR 커뮤니티 내 정보 공유 및 중재 기술(커뮤니티 생성시간 2초 이내, 그룹 추천 정확도 75% 이상)- Information sharing and intervention techniques within the CAMAR community based on social context (less than 2 seconds for community creation time and more than 75% for group recommendation accuracy)
- CAMAR 커뮤니티 내 사용자 선택 및 사회적 관계에 따른 서비스 필터링 구성 기술(필터링 수행시간 0.15초 이내, 제공 정보의 정확성 및 타당성 75% 이상)- Service filtering configuration technology according to user choice and social relations in CAMAR community (within 0.15 second of filtering execution time, accuracy and feasibility of provided information more than 75%)
- 혼합 환경의 정보 공유 수준 동기화 기술- Information sharing level synchronization technology in mixed environment
D. CAMAR 커뮤니티 구성원들의 사회적 컨텍스트 기반의 다수 소셜 u-콘텐츠 간 상호작용 기술D. CAMAR Interaction technique among multiple social u-contents based on social context of community members
- CAMAR 사용자의 멀티 모달 피드백 획득 및 소셜 u-콘텐츠의 사회적 컨텍스트 인식 기술- Acquisition of multi-modal feedback by CAMAR users and social context recognition technology of social u-contents
- CAMAR 사용자의 컨텍스트에 따라 소셜 u-콘텐츠의 상호작용을 지원하는 상황 판단 기술- CAMAR Situation determination technology that supports interaction of social u-content according to user's context
- 다중 소셜 u-콘텐츠의 사회적 컨텍스트 기반 자율적 행동 계획 기술- Social context-based autonomous action planning technology of multi-social u-content
E. CAMAR 저작 플랫폼 및 응용 시스템E. CAMAR authoring platform and application system
- CAMAR 저작 플랫폼에 요구되는 다양한 기능 추가와 기능성 향상 (90%)- Various features and functionality enhancements required by the CAMAR authoring platform (90%)
- 모바일 폰 기반의 u-콘텐츠 저작 기술- Mobile phone based u-content authoring technology
- 물리 엔진의 동시 접근을 통한 u-콘텐츠 공유 기술- u-content sharing technology through simultaneous access of physics engine
3. 커뮤니티 구성원들에게 적합한 서비스 추천, 경험의 기록 및 증강 기술 개발3. Developing service recommendations, experience recording and enhancement techniques for community members
A. 사회적 관계와 문화적 컨텍스트 기반의 CAMAR 서비스 시나리오 디자인A. CAMAR Service Scenario Design Based on Social Relationships and Cultural Context
- 서비스 추천, 경험의 기록 및 증강을 위한 CAMAR 서비스 디자인 및 사용성 평가- CAMAR service design and usability evaluation for service recommendation, experience recording and enhancement
B. 소셜 u-콘텐츠 가시화 및 상호작용 지원 실내 다수 스마트 오브젝트 인식 및 추적 기술B. Supporting social u-content visualization and interaction Many smart object recognition and tracking technology in indoor
- 수기 문자 및 2D 바코드 인식을 이용한 오브젝트 추적 및 정합 기법(해상 도 320×480 영상에서 문자 인식률 90% 이상, 바코드 인식률 95% 이상, 추적 속도 25fps 이상)- Object tracking and matching technique using handwritten characters and 2D barcode recognition (Character recognition rate over 90%, resolution of barcode recognition 95% or more, tracking rate 25 fps or more in resolution 320 × 480 image)
- 카메라 외부 센서 및 모델 융합 기반 다수 오브젝트 추적 및 정합 기법(추적 속도 15fps 이상, 추적 오차 7 픽셀 이내)- Multi-object tracking and matching technique based on camera external sensor and model convergence (tracking speed is over 15 fps, tracking error is within 7 pixels)
C. 문화적 컨텍스트를 기반으로 한 소셜 u-콘텐츠 협업 및 CAMAR 매쉬업 기술C. Social u-content collaboration and CAMAR mashup technology based on cultural context
- 문화적 컨텍스트에 기반한 CAMAR 커뮤니티 동적 구성 및 커뮤니티 내 중재 기술(커뮤니티 생성시간 1초 이내, 그룹 추천 정확도 80% 이상)- CAMAR community dynamic configuration based on cultural context and community intervention technology (community generation time less than 1 second, group recommendation accuracy more than 80%)
- CAMAR 커뮤니티 내 이벤트 기반 매쉬업 서비스 설정, 프로파일 학습 및 필터링 기술- Event-based mashup service setup, profile learning and filtering technology in CAMAR community
- 실제 환경의 컨텍스트 히스토리에 기반한 가상 환경 DB 구축 기술- Virtual environment DB construction technology based on context history of real environment
D. 다수 소셜 u-콘텐츠 간의 경험을 기반으로 자율적으로 행동하는 소셜 u-콘텐츠의 행동 생성 기술D. Behavior Generation Techniques for Social u-content that Acts Autonomously Based on Experience Between Multiple Social u-Contents
- 소셜 u-콘텐츠를 사용하는 커뮤니티 구성원들의 감성 컨텍스트 획득 및 u-콘텐츠의 문화적 컨텍스트 인식 기술- Acquisition of emotional context of community members using social u-content and cultural context recognition technology of u-contents
- 커뮤니티 내 CAMAR 사용자 간의 경험 공유를 기반으로 한 소셜 u-콘텐츠의 적응적 상황 판단 기술- Adaptive Situation Judgment Technique of Social u-contents based on sharing experiences among CAMAR users in the community
- 다수 소셜 u-콘텐츠의 사회적 컨텍스트 기반 자율적 행동 생성 기술- Social context-based autonomous behavior generation technology of multiple social u-contents
E. CAMAR 저작 플랫폼 및 응용 시스템E. CAMAR authoring platform and application system
- 소셜 u-콘텐츠를 커뮤니티의 컨텍스트 정보에 따라 유연하게 저작할 수 있 는 위짓 제공 및 유연성 향상 (80%)- Provide a widget that allows flexible creation of social u-contents according to the context information of the community and improve flexibility (80%)
- 스마트 오브젝트와 실객체 기반의 저작 기술- Smart object and real object based authoring technology
- rigid body, particle 등 다양한 객체로 물리 엔진의 확장 기술- Expansion of physics engine with various objects such as rigid body and particle
4. 커뮤니티 구성원들의 사회적 관계와 문화적 컨텍스트 기반 지속적인 협업을 위한 CAMAR 저작 핵심 기술 개발4. Development of CAMAR authoring core technology for continuous collaboration based on social relations and cultural context of community members
A. 사회적 관계와 문화적 컨텍스트 기반의 CAMAR 서비스 시나리오 디자인A. CAMAR Service Scenario Design Based on Social Relationships and Cultural Context
- 다수 사용자 간의 지속적인 협업을 위한 CAMAR 저작도구 UI 디자인 및 실용화 디자인 전략 도출- CAMAR authoring tool UI design and practical application design strategy for continuous collaboration among multiple users
B. 소셜 u-콘텐츠 가시화 및 저작을 위한 통합 인식 및 추적 기술B. Integrated recognition and tracking technology for social u-content visualization and authoring
- 수기 문자 및 2D 바코드 인식을 이용한 오브젝트 추적 및 정합 기법(해상도 320×480 영상에서 문자 인식률 95%, 마커 및 로고 인식률 95%, 추적 속도 25fps 이상)- Object tracking and matching technique using handwritten characters and 2D barcode recognition (95% character recognition rate, 95% marker and logo recognition rate, and 25fps tracking speed at resolution 320 × 480 image)
- 카메라 외부 센서 및 모델 융합 기반 다수 오브젝트 추적 및 정합 기법(추적 속도 20fps 이상, 추적 오차 5 픽셀 이내)- Multi-object tracking and matching technique based on camera external sensor and model fusion (tracking speed is 20 fps or more, tracking error is within 5 pixels)
C. 가상 및 현실의 public 공간에서 사회·문화적 컨텍스트에 기반한 소셜 u-콘텐츠와 협업 및 CAMAR 매쉬업 기술C. Social u-content based on socio-cultural context in virtual and realistic public space, collaboration and CAMAR mashup technology
- 사회·문화적 컨텍스트에 기반한 CAMAR 커뮤니티 확장 및 중재 기술(커뮤니티 생성 1초 이내, 추천 정확도 90% 이상)- CAMAR community extension and intervention technology based on socio-cultural context (community creation within 1 second, recommendation accuracy over 90%)
- CAMAR 커뮤니티 내 소셜 u-콘텐츠 저작을 위한 서비스 구성 및 분류 기술(타당성 90% 이상, 필터링 수행시간 0.05초 이내)- Service composition and classification technology for social u-content authoring in CAMAR community (more than 90% feasibility, less than 0.05 seconds of filtering time)
- 혼합환경 정보 동기화 및 통합 기술- Mixed environment information synchronization and integration technology
D. 커뮤니티 구성원들 간의 사회적·문화적 컨텍스트를 학습하고 반영하는 소셜 u-콘텐츠의 자가 성장 기술D. Self-growing technology of social u-content that learns and reflects social and cultural context among community members
- 소셜 u-콘텐츠를 사용하는 커뮤니티 구성원들의 사회적인 피드백 획득 및 학습 기술- social feedback acquisition and learning skills of community members using social u-content
- 커뮤니티 내 CAMAR 사용자의 소셜 u-콘텐츠의 반응과 사용자의 피드백에 따른 소셜 u-콘텐츠의 적응적 상황 판단을 위한 학습 기술- Learning technology for the adaptive situation judgment of the social u-contents according to the reaction of the social u-contents of the CAMAR users in the community and the feedback of the users
- 사회·문화적 경험을 공유하여 소셜 에이전트의 학습을 가능하게 하는 진화적 행동 계획 기술- Evolutionary action planning technology that enables learning of social agents by sharing social and cultural experiences
E. CAMAR 저작 플랫폼 및 응용 시스템E. CAMAR authoring platform and application system
- 소셜 u-콘텐츠 저작 시간을 최소화하고 일반 사용자들이 쉽게 사용할 수 있는 저작 플랫폼의 생산성 향상 (80%)- Increase productivity of the authoring platform (80%), which minimizes social u-content authoring time and is easy to use by ordinary users.
- 다수의 CAMAR 사용자들의 콘텐츠의 협업 가능한 저작 기법- Collaborative authoring techniques for content of multiple CAMAR users
- 응용 시나리오를 통한 사업화, 상용화 가능한 물리엔진 응용- commercialization through application scenarios, application of commercially available physics engine
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
본 발명은 모바일 사용자들이 실내/외 객체를 통해 가상 공간과 증강현실 환경 양방향에서 멀티미디어 콘텐츠를 저작할 수 있게 하는 컨텍스트 인식 모바일 증강현실(CAMAR; Context Aware Mobile Augmented Reality) 저작 기술을 제공하며, 이 저작 기술 구현을 위해 현실 공간과 가상 공간이 공존하는 혼합 공간에서 양 공간에 위치하며 상호 유기적으로 작용하는 마커를 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 개시한다.The present invention provides a context aware mobile augmented reality (CAMAR) authoring technology that enables mobile users to author multimedia contents in both a virtual space and an augmented reality environment through indoor / outdoor objects, A marker management system and method for managing markers which are located in both spaces in a mixed space where a real space and a virtual space coexist for technology implementation, and a recording medium on which a program implementing the method is recorded do.
본 발명에 따르면, 양 공간에서 상호 유기적으로 작용하는 두 마커를 관리함으로써 두 공간이 이음매 없이도 정보를 공유할 수 있다. 또한, 가상 공간 기준 마커가 현실 공간에 구비되는 오브젝트에 대한 정보를 공유함으로써 렌더링 시간을 감축시킬 수 있으며, 증강을 위한 인식 과정 및 추적 과정을 생략하거나 매우 빠르게 진행할 수 있다.According to the present invention, the two spaces can share information seamlessly by managing two markers that work together in the two spaces. In addition, the virtual space fiducial markers can reduce the rendering time by sharing information about objects provided in the real space, and the recognition process and tracking process for the enhancement can be omitted or can be performed very quickly.
본 발명은 컨텍스트 인식 모바일 증강현실 기술에 관련한 것으로서, 모바일 단말기를 이용한 유비쿼터스 컴퓨팅에 적합하다. 오늘날 증강현실 기술이 의학, 산업, 오락, 군사 분야 등에서 다양하게 응용되고 있고 주된 사용자 인터페이스가 HMD(Head Mounted Display)에서 모바일(mobile)로 변화되고 있음을 고려할 때, 본 발명이 개시하는 기술은 향후 이용가치가 높을 것이다.The present invention relates to a context aware mobile augmented reality technology and is suitable for ubiquitous computing using a mobile terminal. Considering that augmented reality technology has been widely applied in medicine, industry, entertainment, military field, and the main user interface is changing from HMD (Head Mounted Display) to mobile, It will be worth using.
도 1은 본 발명의 바람직한 실시예에 따른 마커 관리 시스템의 개념도,1 is a conceptual diagram of a marker management system according to a preferred embodiment of the present invention;
도 2는 본 발명의 바람직한 실시예에 따른 CAMAR 태그를 정의한 테이블도,FIG. 2 is a table defining a CAMAR tag according to a preferred embodiment of the present invention.
도 3은 본 발명의 바람직한 실시예에 따른 마커 처리부의 내부 구성에 대한 일실시 예시도,3 is a diagram illustrating an internal configuration of a marker processing unit according to a preferred embodiment of the present invention.
도 4는 본 발명의 바람직한 실시예에 따른 오브젝트 생성 방법을 도시한 순서도,4 is a flowchart illustrating an object generating method according to a preferred embodiment of the present invention.
도 5는 본 발명의 바람직한 실시예에 따른 오브젝트 생성 방법을 설명하기 위한 참고도,5 is a reference diagram for explaining an object generating method according to a preferred embodiment of the present invention,
도 6은 본 발명의 바람직한 실시예에 따른 VE 기준 마커 생성 방법을 도시한 순서도,6 is a flowchart illustrating a method of generating a VE fiducial marker according to a preferred embodiment of the present invention.
도 7은 본 발명의 바람직한 실시예에 따른 VE 기준 마커 활용 방법을 도시한 순서도,FIG. 7 is a flowchart illustrating a method of utilizing a VE reference marker according to a preferred embodiment of the present invention.
도 8은 CAMAR 저작 핵심 기술 개념도를 도시한 도면,8 is a view showing a conceptual diagram of a CAMAR authoring core technology,
도 9는 실내 환경에서 CAMAR 저작 기술의 개념의 예시도,Figure 9 is an illustration of the concept of CAMAR authoring technology in an indoor environment,
도 10은 제안하는 제작기술의 구조도를 나타내는 도면이다.Fig. 10 is a diagram showing a structure of a proposed fabrication technique.
< 도면의 주요 부분에 대한 부호의 설명 >Description of the Related Art
100 : 마커 관리 시스템 110 : VE 기준 마커100: marker management system 110: VE reference marker
120 : RE 기준 마커 130 : 오브젝트 표상 마커120: RE reference marker 130: object marker
140 : 마커 처리부140: marker processing section
Claims (27)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080080868 | 2008-08-19 | ||
KR20080080868 | 2008-08-19 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100022428A KR20100022428A (en) | 2010-03-02 |
KR101623041B1 true KR101623041B1 (en) | 2016-05-23 |
Family
ID=42174987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090039353A KR101623041B1 (en) | 2008-08-19 | 2009-05-06 | System and method for managing markers coexisting mixed space, and the recording media storing the program performing the said method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101623041B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3996378A4 (en) * | 2019-07-04 | 2022-09-07 | Anipen Inc. | Method and system for supporting sharing of experiences between users, and non-transitory computer-readable recording medium |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101479262B1 (en) | 2010-09-02 | 2015-01-12 | 주식회사 팬택 | Method and apparatus for authorizing use of augmented reality information |
KR20120040573A (en) * | 2010-10-19 | 2012-04-27 | 주식회사 팬택 | Apparatus and method for providing augmented reality information using mobile tag |
WO2012099377A2 (en) * | 2011-01-17 | 2012-07-26 | 엘지전자 주식회사 | Augmented reality (ar) target updating method, and terminal and server employing same |
KR101295544B1 (en) * | 2011-01-25 | 2013-08-16 | 주식회사 팬택 | Apparatus, method and system for providing of augmented reality integrated information |
KR101329935B1 (en) * | 2011-01-27 | 2013-11-14 | 주식회사 팬택 | Augmented reality system and method that share augmented reality service to remote using different marker |
KR101315951B1 (en) * | 2012-02-22 | 2013-10-08 | 김정태 | Image management apparatus using maker recognition and image tracing |
KR101401961B1 (en) * | 2012-05-01 | 2014-06-02 | 주식회사 라임페이퍼 | System for sharing augmented reality contents and method thereof |
KR102053909B1 (en) * | 2017-09-29 | 2019-12-10 | 주식회사 비즈모델라인 | Method for Providing Multimedia E-Mail Service by using Augmented Reality |
WO2019117655A1 (en) * | 2017-12-15 | 2019-06-20 | 네이버랩스 주식회사 | Remote location-based ar authoring method and system using 3d map |
KR101932007B1 (en) * | 2017-12-15 | 2019-03-15 | 네이버랩스 주식회사 | Method and system for spatial messaging and content sharing |
WO2019124851A1 (en) | 2017-12-18 | 2019-06-27 | 네이버랩스 주식회사 | Method and system for cloud sourcing geofencing-based content |
JP6413035B1 (en) | 2018-01-18 | 2018-10-24 | 株式会社ほぼ日 | Program, information processing apparatus and information processing method |
KR102629412B1 (en) | 2019-01-04 | 2024-01-26 | 삼성전자주식회사 | Electronic device and method for editing content of external device |
KR102117510B1 (en) * | 2019-07-25 | 2020-06-03 | 주식회사 비즈모델라인 | Method for Displaying Selectable Virtual-Object Data of Augmented Reality |
WO2024204910A1 (en) * | 2023-03-24 | 2024-10-03 | 이상일 | Device for providing location information-based communication service and method therefor |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100677502B1 (en) | 2006-01-13 | 2007-02-02 | 엘지전자 주식회사 | Message composing method in mobile communication terminal based on augmented reality and its mobile communication terminal |
KR100786351B1 (en) | 2006-08-29 | 2007-12-14 | 울산대학교 산학협력단 | System and method for teaching work-robot based on ar |
-
2009
- 2009-05-06 KR KR1020090039353A patent/KR101623041B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100677502B1 (en) | 2006-01-13 | 2007-02-02 | 엘지전자 주식회사 | Message composing method in mobile communication terminal based on augmented reality and its mobile communication terminal |
KR100786351B1 (en) | 2006-08-29 | 2007-12-14 | 울산대학교 산학협력단 | System and method for teaching work-robot based on ar |
Non-Patent Citations (1)
Title |
---|
우운택 등, 맥락인식 모바일 증강 현실 시스템 개발을 위한 프레임워크, 한국HCI학회 학술대회, 한국HCI학회, 2008.2, Vol.2008 No.2, pp109-114* |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3996378A4 (en) * | 2019-07-04 | 2022-09-07 | Anipen Inc. | Method and system for supporting sharing of experiences between users, and non-transitory computer-readable recording medium |
Also Published As
Publication number | Publication date |
---|---|
KR20100022428A (en) | 2010-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101623041B1 (en) | System and method for managing markers coexisting mixed space, and the recording media storing the program performing the said method | |
Langlotz et al. | Next-generation augmented reality browsers: rich, seamless, and adaptive | |
Schmalstieg et al. | Augmented Reality 2.0 | |
Langlotz et al. | Online creation of panoramic augmented reality annotations on mobile phones | |
US9161168B2 (en) | Personal information communicator | |
US20190333478A1 (en) | Adaptive fiducials for image match recognition and tracking | |
US20100245563A1 (en) | System and method for facilitating the use of whiteboards | |
KR101545138B1 (en) | Method for Providing Advertisement by Using Augmented Reality, System, Apparatus, Server And Terminal Therefor | |
CN103988150A (en) | Fast fingertip detection for initializing vision-based hand tracker | |
CN103679204A (en) | Image identification and creation application system and method based on intelligent mobile device platform | |
Park et al. | K-culture time machine: A mobile ar experience platform for korean cultural heritage sites | |
Khan et al. | Rebirth of augmented reality-enhancing reality via smartphones | |
Huang et al. | Intelligent video surveillance of tourist attractions based on virtual reality technology | |
Pintore et al. | Mobile mapping and visualization of indoor structures to simplify scene understanding and location awareness | |
Huang et al. | The application of virtual reality technology in the coordination and interaction of regional economy and culture in the sustainable development of ecotourism | |
Gee et al. | A topometric system for wide area augmented reality | |
JP2013004001A (en) | Display control device, display control method, and program | |
Shin et al. | Enriching natural monument with user-generated mobile augmented reality mashup | |
Fatima et al. | Mobile travel guide using image recognition and GPS/Geo tagging: A smart way to travel | |
Tait et al. | A projected augmented reality system for remote collaboration | |
McClean | An Augmented Reality System for Urban Environments using a Planar Building Fa cade Model | |
CN112753030A (en) | Method and apparatus for providing annotations in augmented reality | |
Coviello | Location-based augmented reality visualization of 3D models using a mobile application–izanagiXR | |
Rahman et al. | Mobile pointme based pervasive gaming interaction with learning objects annotated physical atlas | |
Polo-Rodriguez et al. | Non-invasive Synthesis from Vision Sensors for the Generation of 3D Body Landmarks, Locations and Identification in Smart Environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190425 Year of fee payment: 4 |