KR100906577B1 - 혼합현실용 콘텐츠 재생 시스템 및 방법 - Google Patents

혼합현실용 콘텐츠 재생 시스템 및 방법 Download PDF

Info

Publication number
KR100906577B1
KR100906577B1 KR1020070128543A KR20070128543A KR100906577B1 KR 100906577 B1 KR100906577 B1 KR 100906577B1 KR 1020070128543 A KR1020070128543 A KR 1020070128543A KR 20070128543 A KR20070128543 A KR 20070128543A KR 100906577 B1 KR100906577 B1 KR 100906577B1
Authority
KR
South Korea
Prior art keywords
information
content
hand
user
printed book
Prior art date
Application number
KR1020070128543A
Other languages
English (en)
Other versions
KR20090061514A (ko
Inventor
이준석
서희전
김용훈
이수웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070128543A priority Critical patent/KR100906577B1/ko
Publication of KR20090061514A publication Critical patent/KR20090061514A/ko
Application granted granted Critical
Publication of KR100906577B1 publication Critical patent/KR100906577B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 혼합현실용 콘텐츠(mixed reality contents) 재생 기술에 관한 것으로, 혼합현실 기술을 기반으로 기하마커(geometric marker)가 인쇄된 서적으로 이용하여 실감형 콘텐츠, 즉 3D 콘텐츠, 오디오, 비디오, 이미지를 제공하고, 손을 이용하여 실감형 콘텐츠를 직접 조작할 수 있는 시스템 및 방법에 관한 것이다. 본 발명은 기존의 기하마커를 통해 사용자와 콘텐츠간 상호작용(interacting)하던 방식을 발전시켜 손을 통해 상호작용하도록 하여 사용자의 통제감(統制感)과 직관성(直觀性)을 높였으며, 인쇄서적의 한 페이지를 터치스크린으로 간주하여 자료특성에 따라 일정 영역(scope)으로 분할한 후 투명센서를 삽입하여 저작토록 하였다. 사용자가 상기 영역을 손으로 터치하면 웹 카메라(web camera)를 통해 손의 위치를 인식하여 선택한 영역에 따른 3D 시뮬레이션, 오디오, 비디오, 이미지가 제시되고 웹 페이지가 연동되는 방법을 제안하여 서적으로 손으로 터치하여 인식하는 새로운 인터페이스로서의 활용 가능성을 제시하였다.
혼합현실, 기하마커 인쇄서적, 손 인식

Description

혼합현실용 콘텐츠 재생 시스템 및 방법{METHOD AND SYSTEM FOR PLAYING MIXED REALITY CONTENTS}
본 발명은 인쇄서적에서의 콘텐츠를 재생하기 위한 기술로서, 특히 혼합현실용 콘텐츠(mixed reality contents)를 재생하고 상호작용하는데 적합한 혼합현실용 콘텐츠 재생 시스템 및 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT전략기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-604-02, 과제명: 실감형 Virtual Engineering 기술개발].
기존의 혼합현실 분야의 사용자 인터페이스는 글러브를 착용하거나, 기하마커(geometric marker)를 이용하여 가상 콘텐츠를 조작하였다. 예를 들면, 사용자의 손 전체에 착용하는 글러브 형태, 손마디에 구슬과 같은 표시를 하는 형태, 또는 손가락에 작은 마커를 붙이는 형태를 사용하였다.
혼합현실의 사용자 장비의 경우에 고가의 HMD기반 혼합현실, 모니터기반 혼합현실, Hand-Held 혼합현실 환경으로 변화하고 있다. 그 중 저비용으로 편리하게 사용할 수 있는 디스플레이는 웹 카메라(web camera)를 이용한 모니터기반 혼합현실 환경으로 볼 수 있다.
2001년에 발표된 논문, "Finger Tracking for Interaction in Augmented Environments(Proc. of ISAR '01, 2001, pp. 55-64)"에서는 글러브를 착용하고 그 위에 역반사의 성질을 갖는 구슬 4개를 손의 마디 부분에 끼운 후 2개의 카메라를 이용하여 손의 자세를 추출하고 가상물을 조작하는 기술을 다루고 있다.
또한, 2004년에 발표된 논문, "FingARtips: Gesture based Direct Manipulation in Augmented Reality(Proc. Of GRAPHITE 2004, pp 212-221)"에서는 손의 3개의 위치에 기하마커를 장착하여 손의 자세를 추출하고 가상물을 조작하는 기술을 다루고 있다.
그리고 2000년에 발표된 논문, "Virtual Object Manipulation on a Table-Top AR Environment(Proc. of ISAR 2000, October 2000, pp. 111-119)"에서는 HMD장비를 착용한 상태에서 가상물이 기하마커 위에 증강되도록 하는 기술을 다루고 있다. 여기에서는 가상물이 증강되어 있는 기하마커 자체를 움직이거나 다른 기하마커가 인쇄되어 있는 판과 가상물을 접촉시킴으로써 사용자의 조작이 일어난다.
또한, 손의 트리거(trigger)를 위해 제스처(gesture) 인식에 관한 기존 연구에서는 손가락 모양을 엄지나 검지를 펼치는 형태를 취하기도 하고, 세 가지 손가락을 펼쳐서 x, y, z 축의 좌표를 구분하였다.
그런데 이러한 방법들은, 사용자의 손에 들고 있는 장비를 통해 조작이 일어나는 바, 조작성이 떨어진다는 단점이 있으며, 움직임의 제한으로 인해 사용상 불편함이 존재한다는 문제가 있다. 특히, 교육 분야에서의 주요 사용자가 어린 학생들이라는 점을 고려할 때, 상기 기술들을 적용하기에는 현실적으로 많은 무리가 따른다.
이에 본 발명은, 혼합현실 환경의 사용자 인터페이스의 불편함을 해소하고 인쇄서적의 디지털화를 구현할 수 있는 혼합현실용 콘텐츠 재생 시스템 및 방법을 제공하고자 한다.
또한 본 발명은, 기하마커에서 손을 통한 상호작용 방식으로 진화하여 사용자의 통제감과 직관성을 높일 수 있는 혼합현실용 콘텐츠 재생 시스템 및 방법을 제공하고자 한다.
본 발명의 과제를 해결하기 위한 일 관점에 따르면, 인쇄서적에 대한 임의의 프로파일 정보 및 콘텐츠 정보가 저장되는 혼합현실용 콘텐츠 재생 시스템으로서, 임의의 기하마커가 인쇄된 인쇄서적에 대한 영상 정보와 사용자의 손 형상에 대한 영상 정보를 인식하는 카메라와, 상기 카메라를 통해 인식되는 영상 정보에서 상기 인쇄서적의 각 페이지의 기하마커를 인식한 후 상기 인쇄서적의 자료특성 정보를 검출하며, 상기 카메라를 통해 인식되는 영상 정보에서 사용자의 손 형상에 대한 좌표 정보 인식을 통해 상기 인쇄서적의 각 페이지의 콘텐츠 조작 정보를 검출하는 정보 인식 수단과, 상기 기하마커 및 좌표 정보를 분석하여 상기 인쇄서적의 페이지에 관한 정보에 포함된 실감형 콘텐츠 정보를 검출하는 콘텐츠 관리 수단과, 상기 실감형 콘텐츠 정보를 실사 정보와 합성하는 콘텐츠 실행 수단과, 상기 합성되는 실감형 콘텐츠 정보 및 실사 정보를 렌더링하여 디스플레이 출력하는 콘텐츠 뷰어를 포함하는 혼합현실용 콘텐츠 재생 시스템을 제공한다.
본 발명의 과제를 해결하기 위한 다른 관점에 따르면, 임의의 기하마커가 인쇄된 인쇄서적에 대한 영상 정보와 사용자의 손 형상에 대한 영상 정보를 카메라를 통해 인식하는 단계와, 상기 카메라를 통해 인식되는 영상 정보에서 상기 인쇄서적의 각 페이지의 기하마커를 인식하여 상기 인쇄서적의 각 페이지 정보를 구하는 단계와, 상기 인쇄서적의 각 페이지의 자료특성에 따라 영역 분할되어 삽입된 투명센서 정보를 검출하는 단계와, 상기 카메라를 통해 인식되는 영상 정보에서 사용자의 손 형상에 대한 좌표 정보 인식을 통해 상기 인쇄서적의 각 페이지의 콘텐츠 조작 정보를 검출하는 단계와, 상기 기하마커 및 좌표 정보를 분석하여 상기 인쇄서적의 각 페이지 정보에 포함된 실감형 콘텐츠 정보를 검출하는 단계와, 상기 실감형 콘텐츠 정보를 실사 정보와 합성 및 렌더링하여 디스플레이 출력하는 단계를 포함하는 혼합현실용 콘텐츠 재생 방법을 제공한다.
본 발명에 의하면, 인쇄서적, 웹 카메라, 손과 같이 일상적으로 사용하는 소 재를 이용하여 저렴한 비용으로 최첨단 혼합현실 기술을 적용하고 사용자에게 인쇄서적 상에서 가상의 3D 콘텐츠, 오디오, 비디오, 이미지, 웹 페이지 등을 이용하여 새로운 디지털 콘텐츠를 경험하게 할 수 있다. 특히, 인쇄서적 기반의 학교, 기업체 연수, 학원 등 교육 서비스 모델에서 교과서나 교재를 학습하면서 디지털 콘텐츠를 활용한 보충, 심화학습이 가능하며, 상호작용이 가능하므로 개인맞춤형 교육에 활용될 수 있다. 또한 고비용, 고위험의 비행훈련, 소방훈련, 과학실험 등에서 간편하게 가상 콘텐츠를 통한 체험 학습을 진행할 수 있다. 그 밖에도 출판 분야에서 백과사전이나 미술화보 등에서 3D 콘텐츠를 통해 체험적인 독서활동이 가능하며, 광고 분야에서도 사용자가 직접 광고전단지의 특정 영역을 손으로 터치함으로서 해로운 3D 광고를 제시하여 광고 효과를 높일 수 있다.
본 발명에서의 사용자 인터페이스는, 손의 이물감을 줄이기 위해 손가락에 착용 가능한 밴드 형태로 구현하여 착용감을 편리하게 하였으며, 이로 인해 손 위치 및 좌표 인식의 정확도를 높였다.
본 발명에서는 상기 사용자 인터페이스가 착용되는 손가락으로 서적 페이지의 분할된 특정 영역을 터치하거나 두 개의 손가락 끝을 붙이는 경우를 트리거로 인식한다.
본 발명에서는 인쇄서적의 기하마커 및 상기 인터페이스를 착용한 사용자 손을 인식하기 위한 수단으로, 웹 카메라(web camera)를 사용한 것을 특징으로 한다.
본 발명에서는 상기 웹 카메라를 통해 인식되는 기하마커 및 사용자 손 형상에 따라 해당 콘텐츠를 로딩하여 실사와 정합하여 뷰어(viewer)로 표현하는 것을 특징으로 한다.
본 발명에서의 기하마커란, 가상 콘텐츠의 위치를 지정하기 위해 실제 서적에 특정 그림으로 나타낸 레퍼런스(reference) 정보를 의미하며, 웹 카메라를 통해 인식되어 실감형 콘텐츠를 보여주거나 정의되어진 조작(이동, 확대 등)을 할 수 있도록 정보를 부여한다.
실감형 서적이란, 기존 서적의 페이지 위에 실감형 콘텐츠를 제시하여 실제 서적과 3D 콘텐츠/동영상/오디오/이미지를 함께 이용할 수 있는 서적을 말한다. 실감형 콘텐츠를 제시하기 위하여 서적 내에 특정 그림으로 고안된 마커를 포함하고 있으며, 페이지별 내용구조에 맞추어 투명센서가 서적 내에 삽입되어 손으로 페이지의 특정 영역을 선택하면 실감형 콘텐츠가 구동하게 된다.
본 발명에 적용되는 실감형 콘텐츠는, 3D 객체와 이들 간의 애니메이션을 정의한 3D 콘텐츠, 동영상, 오디오, 이미지 등으로 구성된다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 설명하고자 한다.
도 1은 본 발명의 일 관점에 따른 혼합현실용 콘텐츠 재생 시스템에 대한 구성 블록도로서, 크게 클라이언트 영역(100)과 시스템 영역(200)을 포함한다.
클라이언트 영역(100)은 사용자의 단말기, 예를 들면 데스크톱(desktop) 내에 설치되는 응용 시스템으로서, 기하마커 인식부(104), 손 인식부(106), ID 통합부(108)를 포함하는 정보 인식부(110)와, 후술하는 시스템 영역(200)의 콘텐츠를 실행시키는 콘텐츠 실행부(112)와, 상기 콘텐츠 실행부(112)의 제어에 따라 실감형 콘텐츠를 실사와 합성 및 렌더링하는 콘텐츠 뷰어(114)로 이루어진다.
이러한 클라이언트 영역(100)에는 인쇄서적(1)의 기하마커(2)와 사용자 손을 촬영하기 위한 웹 카메라(10)와, 상기 웹 카메라(10)에서 촬영된 기하마커 정보 및 손 인식 정보에 따라 로딩되는 실감형 콘텐츠가 실사와 합성되어 디스플레이 되는 디스플레이 수단(12)이 연결된다.
즉, 도 2a 및 도 2b에 예시한 바와 같이, 기하마커(2)를 인쇄한 서적(1)을 인식하여 혼합현실용 콘텐츠를 재생하고 손을 이용하여 콘텐츠를 조작하는 방법을 설명하고 있는데, 웹 카메라(10), 디스플레이 수단(12), 인쇄서적(1), 사용자 손 등을 이용하여 인쇄서적(1)을 사용자가 보면서 동시에 실감형 콘텐츠를 이용할 수 있음을 알 수 있다.
한편, 상기 정보 인식부(110) 내의 기하마커 인식부(104)는 웹 카메라(10)를 통해 인식되는 영상, 즉 인쇄서적(1)의 기하마커 및 사용자 손 등의 영상에서 기하마커를 인식하는 역할을 하며, 손 인식부(106)는 상기 웹 카메라(10)를 통해 인식되는 영상에서 사용자 손 형상을 인식하는 역할을 한다.
ID 통합부(108)는 상기 기하마커와 사용자 손 형상 정보 간의 상이한 ID를 입력받아 통합 처리하여 후술하는 시스템 영역(200)에 전달하는 역할을 한다.
콘텐츠 실행부(112)는 시스템 영역(200)으로부터 제공되는 콘텐츠 정보, 예컨대 3D 콘텐츠, 오디오, 비디오 파일 등을 실사 정보, 예컨대 웹 카메라(10)를 통해 인식되는 기하마커와 손 인식 결과물을 토대로 한 인쇄서적의 임의 페이지를 합성하여 콘텐츠 뷰어(114)로 제공한다.
콘텐츠 뷰어(114)는 상기 콘텐츠 실행부(112)로부터 제공되는 콘텐츠 정보 및 실사 정보의 합성물을 렌더링하여 디스플레이 수단(12)에 제공하는 역할을 한다.
다른 한편, 본 실시예에서는, 사용자 인터페이스를 사용자의 손가락에 착용 가능한 밴드 형태로 구현한 것을 특징으로 한다. 이는, 손의 이질감을 없애고 착용감을 편리하게 하였으며, 이로 인해 손 위치 및 좌표 인식의 정확도를 높이기 위함이다. 본 실시예에서는 상기 사용자 인터페이스가 착용되는 손가락으로 서적 페이지의 분할된 특정 영역을 터치하거나 두 개의 손가락 끝을 붙이는 경우를 트리거(trigger)로 인식한다.
이는 도 3에 도시한 바와 같으며, 도 3에서는 인쇄서적(1)의 페이지의 사진 영역, 텍스트 영역 등 선택 영역(scope)을 찾아내기 위하여 손 인식을 통해 손가락 끝점 좌표와 대표 좌표 정보를 검출한 결과를 예시하였다.
다시 도 1을 살펴보면, 시스템 영역(200)은 본 실시예에 따른 실감형 콘텐츠를 저장 및 관리하며 실감형 콘텐츠 실행 프로그램과 파일정보를 교환하는 역할을 수행한다. 시스템 영역(200)은 상기 클라이언트 영역(100)과 동일한 사용자 단말기 내에 구성되거나, 또는 상기 클라이언트 영역(100)과 별도의 로컬 망(local network)으로 연결된 서버 내에 구성될 수 있다. 즉, 개인 사용자가 적용되는 경우에는 하나의 사용자 단말기 내에 클라이언트 영역 및 시스템 영역이 일체로 구성될 수 있으며, 기업, 학교, 공공기관 등에 소속된 사용자가 적용되는 경우에는 클라이언트 영역은 각각의 사용자 단말기 내에 구성하고 시스템 영역은 로컬 망과 연결된 별도의 서버에 구축하여야 할 것이다.
이러한 시스템 영역(200)은 콘텐츠 관리부(202), 프로파일 DB(Data Base)(204), 콘텐츠 DB(206)로 구성되는데, 콘텐츠 관리부(202)는 상기 클라이언트 영역(100)으로부터 제공되는 기하마커 정보와 손 정보의 인식 결과를 토대로 좌표 정보를 분석하여 인쇄서적의 임의 페이지에 관한 정보에 포함된 3D 콘텐츠, 오디오, 비디오 파일 등을 프로파일 DB(204) 및 콘텐츠 DB(206)에서 검출하고 관리하는 역할을 수행한다. 이때, 프로파일 DB(204) 및 콘텐츠 DB(206) 내의 3D 콘텐츠 오디오, 비디오 파일 등은 상기 클라이언트 영역(100)이 사용자 단말기 내에 설치될 때 저장될 수 있다.
이하, 상술한 구성과 함께, 본 발명의 다른 관점에 따른 혼합현실용 콘텐츠 재생 방법을 첨부한 도 4를 참조하여 상세히 설명하기로 한다. 설명에 앞서, 도 4의 과정은 임의의 기하마커가 인쇄서적을 제작할 때 미리 인쇄되어 있는 것을 전제로 한다.
도 4에 도시한 바와 같이, 단계(S400)에서 웹 카메라(10)를 통해 영상을 인식하였으면, 상기 웹 카메라(10)를 통한 영상은 클라이언트 영역(100)의 정보 인식부(110)로 제공된다.
정보 인식부(110)로 제공되는 영상은 소정의 전처리 과정을 거친 후 기하마커 인식부(104)로 제공되며, 기하마커 인식부(104)에서는 상기 웹 카메라(10)를 통한 영상에서 기하마커를 인식하는 과정을 거친다(S402, S404).
이후 단계(S406)에서는 인쇄서적의 자료특성 정보를 검출하는데, 상기 단계(S406)는 기하마커 인식을 통해 인쇄서적의 각 페이지 정보를 구하고, 상기 페이지의 자료특성에 따라 영역(scope)을 분할하여 삽입된 투명센서의 정보를 검출하는 과정이다.
이후 단계(S408)에서는 손 인식부(106)를 통해 상기 웹 카메라(10)를 통한 영상에서 사용자 손 형상을 인식하고 콘텐츠 조작 정보를 검출한다. 상기 콘텐츠 조작 정보 검출 과정은, 손 인식을 통해 페이지의 임의 위치 또는 기준에 나타나 있는 임의 3D 콘텐츠에 조작을 하는지에 대한 정보를 검출하는 과정이다.
단계(S410)에서는 상기 기하마커 인식부(104)를 통한 기하마커 정보와 상기 손 인식부(106)를 통한 사용자 손 형상 정보(손 인식 좌표 정보) 간의 상이한 ID를 통합하여 시스템 영역(200)에 전달한다.
단계(S412)에서 시스템 영역(200) 내의 콘텐츠 관리부(202)는 기하마커 정보와 손 인식 좌표 정보를 분석하여 프로파일 및 콘텐츠 정보를 프로파일 DB(204) 및 콘텐츠 DB(206)로부터 로딩한다.
이후 시스템 영역(200)은 단계(S414)로 진행하여 상기 프로파일 및 콘텐츠 정보를 클라이언트 영역(100)에 전달한다.
시스템 영역(200)으로부터 프로파일 및 콘텐츠 정보를 전달받은 클라이언트 영역(100)은 단계(S416)에서와 같이 상기 프로파일 및 콘텐츠 정보를 실사 정보와 합성 및 렌더링 처리한다. 이때의 실사 정보는, 예컨대 웹 카메라(10)를 통해 인식되는 기하마커와 손 인식 결과물을 토대로 한 인쇄서적의 임의 페이지 정보일 수 있다.
최종적으로 시스템 영역(200) 내의 콘텐츠 뷰어(114)를 통해 실사 정보와 합성된 실감형 콘텐츠 정보가 디스플레이 수단(12)을 통해 디스플레이될 수 있다(S418).
도 5a 내지 도 5f는 손을 통한 상호작용 방법에서 인쇄서적의 페이지의 특정 영역을 터치스크린과 같이 손으로 터치하여 이벤트를 발생시키는 액션의 예를 설명하는 도면이다.
도 5a 내지 도 5f에서는, 인쇄서적의 임의 페이지를 터치스크린으로 보고, 한 페이지를 자료특성에 따라 영역으로 분할하고 투명센서를 삽입하여 저작한 후 이 영역을 손으로 터치하면 웹 카메라를 통해 손의 위치를 인식하여 선택한 영역에 따른 3D 시뮬레이션, 오디오, 비디오, 이미지, 웹 페이지가 사용자 단말기를 통해 재생(또는 연동)되는 방법을 설명하는 예시도이다.
인쇄서적의 각 페이지 상단과 하단에 2개의 기하마커(2)를 이용하여 한 페이지 내의 각 영역에 설치된 가상의 투명센서가 인식되도록 하여 손으로 선택할 수 있게 하였으며, 한 페이지 내의 자료특성에 따라 텍스트 영역, 그래픽 영역, 표 영역, 사진 영역, 시뮬레이션 영역, 음악 영역, 음성 영역, 웹 연동 영역, 문제풀기 게임 영역 등으로 구분하여 사용자가 손으로 자료 영역을 터치하면 이를 선택한 것 으로 인식하고 해당되는 실감형 콘텐츠(3D 콘텐츠, 오디오, 비디오, 이미지 등)를 시스템 영역(200)에서 불러와 실행하거나 웹 페이지를 띄울 수 있다.
동영상의 경우에는 인쇄서적의 사진으로 제시된 식물, 인체, 우주 등을 손으로 선택하면 사진 위의 동영상을 재생시킬 수 있다(도 5a에 예시).
3D 콘텐츠의 경우에는 서적에 제시된 지층 그림, 화학실험 그림을 손으로 선택하면 과학 시뮬레이션을 할 수 있고, 각 3D 오브젝트를 사용자가 선택, 이동, 확대, 축소, 회전 등의 액션을 할 수 있다(도 5b에 예시).
오디오의 경우에는 서적에 텍스트로 제시된 신문기사나 영어문장 등을 손으로 선택하면 기사를 읽어주거나 원어민 발음을 들려준다(도 5c, 도 5d에 예시).
인쇄서적에 악보가 제시된 경우에는 해당 소절별로 또는 전체 음악을 들을 수 있다(도 5e에 예시).
문항 텍스트를 손으로 선택하면 문제풀기 및 답을 맞출 수 있는 콘텐츠가 제시된다. 또한, 단어 게임이나 줄긋기 등 인쇄서적에 제시된 퀴즈를 손으로 선택하면 게임 콘텐츠로 제시되어 게임을 할 수 있다(도 5f에 예시).
이상, 본 발명의 실시예에 대해 상세히 기술하였으나 본 발명은 이러한 실시예에 국한되는 것은 아니며, 후술하는 청구범위에 기재된 본 발명의 기술적 사상과 범주 내에서 당업자로부터 여러 가지 변형이 가능함은 물론이다.
도 1은 본 발명의 일 관점에 따른 혼합현실용 콘텐츠 재생 시스템에 대한 구성 블록도,
도 2a 및 도 2b는 본 발명에 따라 기하마커를 인쇄한 서적을 인식하여 혼합현실형 콘텐츠를 재생하고 손을 이용하여 콘텐츠를 조작하는 방법을 설명하는 화면 예시도,
도 3은 본 발명에 따라 실감형 인쇄서적에서 웹 카메라를 통한 손 인식 후 정보를 도출한 결과를 나타낸 화면 예시도,
도 4는 본 발명의 다른 관점에 따른 혼합현실용 콘텐츠 재생 방법에 대한 흐름도,
도 5a 내지 도 5f는 손을 통한 상호작용 방법에서 인쇄서적의 페이지 특정 영역을 터치스크린과 같이 손으로 터치하여 이벤트를 발생시키는 액션을 나타낸 화면 예시도.
<도면의 주요 부분에 대한 부호의 설명>
1 : 인쇄서적 2 : 기하마커
10 : 웹 카메라 12 : 디스플레이 수단
100 : 클라이언트 영역 104 : 기하마커 인식부
106 : 손 인식부 108 : ID 통합부
110 : 정보 인식부 112 : 콘텐츠 실행부
114 : 콘텐츠 뷰어 200 : 시스템 영역
202 : 콘텐츠 관리부 204 : 프로파일 DB
206 : 콘텐츠 DB

Claims (12)

  1. 임의의 기하마커가 인쇄된 인쇄서적에 대한 영상 정보와 사용자의 손 형상에 대한 영상 정보를 카메라를 통해 인식하는 단계와,
    상기 카메라를 통해 인식되는 영상 정보에서 상기 인쇄서적의 각 페이지의 기하마커를 인식하여 상기 인쇄서적의 각 페이지 정보를 구하는 단계와,
    상기 인쇄서적의 각 페이지의 자료특성에 따라 영역 분할되어 삽입된 투명센서 정보를 검출하는 단계와,
    상기 카메라를 통해 인식되는 영상 정보에서 사용자의 손 형상에 대한 좌표 정보 인식을 통해 상기 인쇄서적의 각 페이지의 콘텐츠 조작 정보를 검출하는 단계와,
    상기 기하마커 및 좌표 정보를 분석하여 상기 인쇄서적의 각 페이지 정보에 포함된 실감형 콘텐츠 정보를 검출하는 단계와,
    상기 실감형 콘텐츠 정보를 실사 정보와 합성 및 렌더링하여 디스플레이 출력하는 단계
    를 포함하는 혼합현실용 콘텐츠 재생 방법.
  2. 제 1 항에 있어서,
    상기 실사 정보는, 상기 카메라를 통해 인식되는 기하마커와 손 인식 결과물을 토대로 한 인쇄서적의 임의 페이지 정보인 것을 특징으로 하는 혼합현실용 콘텐츠 재생 방법.
  3. 삭제
  4. 인쇄서적에 대한 임의의 프로파일 정보 및 콘텐츠 정보가 저장되는 혼합현실용 콘텐츠 재생 시스템으로서,
    임의의 기하마커가 인쇄된 인쇄서적에 대한 영상 정보와 사용자의 손 형상에 대한 영상 정보를 인식하는 카메라와,
    상기 카메라를 통해 인식되는 영상 정보에서 상기 인쇄서적의 각 페이지의 기하마커를 인식한 후 상기 인쇄서적의 자료특성 정보를 검출하며, 상기 카메라를 통해 인식되는 영상 정보에서 사용자의 손 형상에 대한 좌표 정보 인식을 통해 상기 인쇄서적의 각 페이지의 콘텐츠 조작 정보를 검출하는 정보 인식 수단과,
    상기 기하마커 및 좌표 정보를 분석하여 상기 인쇄서적의 페이지에 관한 정보에 포함된 실감형 콘텐츠 정보를 검출하는 콘텐츠 관리 수단과,
    상기 실감형 콘텐츠 정보를 실사 정보와 합성하는 콘텐츠 실행 수단과,
    상기 합성되는 실감형 콘텐츠 정보 및 실사 정보를 렌더링하여 디스플레이 출력하는 콘텐츠 뷰어
    를 포함하는 혼합현실용 콘텐츠 재생 시스템.
  5. 제 4 항에 있어서,
    상기 시스템은,
    사용자의 손가락에 착용 가능한 밴드 형태의 사용자 인터페이스와 연결되는 것을 특징으로 하는 혼합현실용 콘텐츠 재생 시스템.
  6. 제 5 항에 있어서,
    상기 사용자 인터페이스는 사용자의 손 위치 및 좌표 정보를 인식하는 것을 특징으로 하는 혼합현실용 콘텐츠 재생 시스템.
  7. 제 4 항에 있어서,
    상기 정보 인식 수단은,
    상기 카메라를 통해 인식되는 인쇄서적의 영상에서 기하마커를 인식하는 기 하마커 인식 수단과,
    상기 카메라를 통해 인식되는 인쇄서적의 영상에서 사용자 손 형상을 인식하는 손 인식 수단과,
    상기 기하마커와 사용자 손 형상 정보 간의 상이한 ID를 입력받아 통합 처리하여 상기 콘텐츠 관리 수단에 전달하는 ID 통합 수단
    을 포함하는 혼합현실용 콘텐츠 재생 시스템.
  8. 제 4 항에 있어서,
    상기 실사 정보는, 상기 카메라를 통해 인식되는 기하마커와 손 인식 결과물을 토대로 한 인쇄서적의 임의 페이지 정보인 것을 특징으로 하는 혼합현실용 콘텐츠 재생 시스템.
  9. 제 4 항에 있어서,
    상기 정보 인식 수단과 상기 콘텐츠 관리 수단은 동일한 사용자 단말기 내에 구비되는 것을 특징으로 하는 혼합현실용 콘텐츠 재생 시스템.
  10. 제 4 항에 있어서,
    상기 정보 인식 수단은 사용자 단말기 내에 구비되며, 상기 콘텐츠 관리 수단은 별도의 서버 내에 구비되는 것을 특징으로 하는 혼합현실용 콘텐츠 재생 시스템.
  11. 제 10 항에 있어서,
    상기 정보 인식 수단과 상기 콘텐츠 관리 수단은 로컬 망에 의해 연결되는 것을 특징으로 하는 혼합현실용 콘텐츠 재생 시스템.
  12. 제 4 항에 있어서,
    상기 카메라는 웹 카메라인 것을 특징으로 하는 혼합현실용 콘텐츠 재생 시스템.
KR1020070128543A 2007-12-11 2007-12-11 혼합현실용 콘텐츠 재생 시스템 및 방법 KR100906577B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070128543A KR100906577B1 (ko) 2007-12-11 2007-12-11 혼합현실용 콘텐츠 재생 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070128543A KR100906577B1 (ko) 2007-12-11 2007-12-11 혼합현실용 콘텐츠 재생 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20090061514A KR20090061514A (ko) 2009-06-16
KR100906577B1 true KR100906577B1 (ko) 2009-07-10

Family

ID=40990971

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070128543A KR100906577B1 (ko) 2007-12-11 2007-12-11 혼합현실용 콘텐츠 재생 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100906577B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101338700B1 (ko) 2011-01-27 2013-12-06 주식회사 팬택 마커를 분할해서 공유하는 증강 현실 시스템 및 그 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110013831A (ko) * 2009-08-03 2011-02-10 김상국 컨텐츠 제공 매체 및 그 제공방법
KR101248736B1 (ko) * 2010-02-05 2013-03-28 에스케이플래닛 주식회사 도서형 증강현실에서 페이지 전환에 따른 증강현실 방법 및 시스템, 이를 구현하기 위한 증강현실 처리장치
KR101722550B1 (ko) 2010-07-23 2017-04-03 삼성전자주식회사 휴대용 단말에서 증강현실 컨텐츠 제작과 재생 방법 및 장치
KR101246304B1 (ko) * 2010-12-20 2013-03-21 에스케이플래닛 주식회사 증강 현실 서비스 제공 시스템 및 방법
KR101423536B1 (ko) * 2011-06-14 2014-08-01 한국전자통신연구원 인쇄매체 기반 혼합현실 구현 장치 및 방법
KR101458521B1 (ko) * 2012-12-17 2014-11-07 (주)유티엘코리아 증강현실 콘텐츠 재생 시스템
KR101896982B1 (ko) * 2016-10-13 2018-09-10 에이케이엔코리아 주식회사 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 및 이를 수행하는 시스템
KR20220045685A (ko) * 2020-10-06 2022-04-13 삼성전자주식회사 몰입감 있는 Mixed Reality를 제공하기 위한 MR 제공 장치 및 그 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000032647A (ko) * 1998-11-17 2000-06-15 정선종 3차원 독서 지원 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000032647A (ko) * 1998-11-17 2000-06-15 정선종 3차원 독서 지원 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101338700B1 (ko) 2011-01-27 2013-12-06 주식회사 팬택 마커를 분할해서 공유하는 증강 현실 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20090061514A (ko) 2009-06-16

Similar Documents

Publication Publication Date Title
KR100906577B1 (ko) 혼합현실용 콘텐츠 재생 시스템 및 방법
Specht et al. Dimensions of mobile augmented reality for learning: a first inventory
Satriadi et al. Tangible globes for data visualisation in augmented reality
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
Reichinger et al. Pictures in your mind: using interactive gesture-controlled reliefs to explore art
Billinghurst et al. Mobile collaborative augmented reality
Thevin et al. Augmented reality for people with visual impairments: Designing and creating audio-tactile content from existing objects
JP2020080154A (ja) 情報処理システム
Mohammed-Amin Augmented reality: A narrative layer for historic sites
Kimura et al. Collectively sharing human hearing in artful CollectiveEars
Uluyol et al. Augmented reality: A new direction in education
Markusson Interface Development of a Multi-Touch Photo Browser
JP6892478B2 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
Ioannides et al. Immersive digital heritage experience with the use of interactive technology
Maguire An exploration of low-fidelity prototyping methods for augmented and virtual reality
Letellier et al. Providing adittional content to print media using augmented reality
Kobeisse Touching the past: developing and evaluating tangible AR interfaces for manipulating virtual representations of historical artefacts
JP2021009351A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
Sinclair Integrating hypermedia techniques with augmented reality environments
Rahman et al. Authoring edutainment content through video annotations and 3d model augmentation
Hirabayashi et al. Development of learning support equipment for sign language and fingerspelling by mixed reality
Ducasse Tabletop tangible maps and diagrams for visually impaired users
Gerhard et al. Virtual Reality Usability Design
SK500492012A3 (sk) Spôsob interakcie pomocou rozšírenej reality
Mazza Bridging the Virtual and Physical: from Screens to Costume.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130624

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140630

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170627

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190625

Year of fee payment: 11