KR101018361B1 - 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법및 시스템, 인쇄물 기반의 증강현실 방법 및 시스템 - Google Patents

인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법및 시스템, 인쇄물 기반의 증강현실 방법 및 시스템 Download PDF

Info

Publication number
KR101018361B1
KR101018361B1 KR1020080119391A KR20080119391A KR101018361B1 KR 101018361 B1 KR101018361 B1 KR 101018361B1 KR 1020080119391 A KR1020080119391 A KR 1020080119391A KR 20080119391 A KR20080119391 A KR 20080119391A KR 101018361 B1 KR101018361 B1 KR 101018361B1
Authority
KR
South Korea
Prior art keywords
area
page
printed matter
detected
page layout
Prior art date
Application number
KR1020080119391A
Other languages
English (en)
Other versions
KR20100060691A (ko
Inventor
우운택
박종희
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020080119391A priority Critical patent/KR101018361B1/ko
Publication of KR20100060691A publication Critical patent/KR20100060691A/ko
Application granted granted Critical
Publication of KR101018361B1 publication Critical patent/KR101018361B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법 및 시스템, 인쇄물 기반의 증강현실 방법 및 시스템이 개시된다. 본 발명에 따른 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법은, 인쇄물을 촬영하여 획득된 영상으로부터 상기 인쇄물 상의 페이지 영역을 검출하는 단계; 상기 검출된 페이지 영역 내의 임의의 영역을 설정하는 단계; 상기 설정된 영역에 증강될 컨텐츠를 지정하는 단계; 및 상기 설정된 영역을 나타내는 정보와 상기 지정된 컨텐츠를 가리키는 정보를 포함하는 페이지 레이아웃을 생성하는 단계를 포함하는 것을 특징으로 한다. 이러한 본 발명에 의하면 인쇄물의 고유 정보를 이용하여 개연성 있는 컨텐츠가 증강되도록 페이지 레이아웃을 저작할 수 있다.
증강현실, 디지로그북, 레이아웃 저작

Description

인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법 및 시스템, 인쇄물 기반의 증강현실 방법 및 시스템{Method and system for authoring page layout for augmented reality based on printed matter, and method and system for augmented reality based on printed matter}
본 발명은 인쇄물 기반의 증강현실에 관한 것으로, 보다 상세하게는 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법 및 시스템, 인쇄물 기반의 증강현실 방법 및 시스템에 관한 것이다.
최근 컴퓨터 그래픽, 컴퓨터 비전 등의 기술을 기반으로 연구되고 있는 증강/혼합 현실(Augmented/Mixed Reality)이 발전함에 따라, 이러한 기술을 응용하여 종이책과 디지털 콘텐츠를 결합한 다양한 책 제작 시도가 이루어지고 있다.
소위 "디지로그 북"이란 증강현실 환경에서 인쇄물(종이책)에 인간의 시각, 청각, 촉각을 자극하는 멀티미디어 콘텐츠를 융합시켜 종이책에서 제공할 수 없는 부가적인 정보를 제공하는 책을 의미한다. 이러한 디지로그 북은 종이책의 장점인 존재감을 갖추며, 전자책의 장점인 멀티미디어 이용이 가능하다. 또한, 종이책에서 얻을 수 없는 정보를 다양한 멀티미디어 콘텐츠를 통해 획득할 수 있으며, 동일한 종이책에 목적과 상황에 따른 다양한 멀티미디어 시나리오를 결합할 수 있어, 개인화된 디지로그 북 제작이 가능하다는 장점이 있을 수 있다.
그러나 기존의 연구들에서는 디지로그 북 저작 과정에서 종이책에 포함된 고유의 정보들, 예를 들면 문자, 그림, 페이지 번호 등을 추출하고 있지 않으며 따라서 책과 증강된 콘텐츠 간의 개연성이 결여되어 있다.
본 발명이 이루고자 하는 기술적 과제는 인쇄물의 고유 정보를 이용하여 개연성 있는 컨텐츠의 증강을 이룰 수 있는 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법 및 시스템, 그리고 인쇄물 기반의 증강현실 방법 및 시스템을 제공하는 데 있다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법은, 인쇄물을 촬영하여 획득된 영상으로부터 상기 인쇄물 상의 페이지 영역을 검출하는 단계; 상기 검출된 페이지 영역 내의 임의의 영역을 설정하는 단계; 상기 설정된 영역에 증강될 컨텐츠를 지정하는 단계; 및 상기 설정된 영역을 나타내는 정보와 상기 지정된 컨텐츠를 가리키는 정보를 포함하는 페이지 레이아웃을 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 인쇄물 기반의 증강현실 방법은, 인쇄물을 촬영하여 획득된 영상으로부터 상기 인쇄물 상의 페이지 영역 을 검출하는 단계; 상기 페이지 레이아웃 저작 방법에 따라 생성되어 저장된 페이지 레이아웃 중 상기 검출된 페이지 영역에 해당하는 페이지 레이아웃을 읽어오는 단계; 및 상기 읽어온 페이지 레이아웃의 적어도 하나의 상기 설정된 영역에 지정된 컨텐츠를 증강하는 단계를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 시스템은, 인쇄물을 촬영하여 영상을 획득하는 영상 획득부; 상기 획득된 영상으로부터 상기 인쇄물 상의 페이지 영역을 검출하는 페이지 영역 검출부; 상기 검출된 페이지 영역 내의 임의의 영역을 설정하는 영역 설정부; 및 상기 설정된 영역을 나타내는 정보와 상기 설정된 영역에 증강될 컨텐츠를 가리키는 정보를 포함하는 페이지 레이아웃을 생성하는 페이지 레이아웃 생성부를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 인쇄물 기반의 증강현실 시스템은, 인쇄물을 촬영하여 영상을 획득하는 영상 획득부; 상기 획득된 영상으로부터 상기 인쇄물 상의 페이지 영역을 검출하는 페이지 영역 검출부; 상기 페이지 레이아웃 저작 방법에 따라 생성된 페이지 레이아웃을 저장하는 페이지 레이아웃 데이터베이스; 상기 저장된 페이지 레이아웃 중 상기 검출된 페이지 영역에 해당하는 페이지 레이아웃을 읽어오는 페이지 레이아웃 독출부; 및 상기 읽어온 페이지 레이아웃의 적어도 하나의 상기 설정된 영역에 지정된 컨텐츠를 증강하는 컨텐츠 재생부를 포함하는 것을 특징으로 한다.
상기 또 다른 기술적 과제를 해결하기 위하여 상기된 본 발명에 따른, 인쇄 물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법 또는 인쇄물 기반의 증강현실 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기된 본 발명에 따른 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법 및 시스템에 의하면, 인쇄물의 고유 정보를 이용하여 개연성 있는 컨텐츠가 증강되도록 페이지 레이아웃을 저작할 수 있다. 또한, 상기된 본 발명에 따른 인쇄물 기반의 증강현실 방법 및 시스템에 의하면, 인쇄물의 고유 정보를 이용하여 개연성 있는 컨텐츠를 증강시킬 수 있다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법의 흐름도이다. 본 실시예에서 인쇄물은 문자 또는 그림 등의 정보가 실려 있는 종이책, 팜플렛 등 다양한 형태일 수 있으며, 여러 페이지를 가지고 있는 경우 각 페이지마다 소정의 페이지 번호가 인쇄되어 있을 수 있다.
도 1을 참조하면, 우선 카메라로 인쇄물을 촬영하여 영상을 획득하고(110단계), 획득된 영상을 이진화한다(120단계).
획득된 영상은 인쇄물 외의 배경 부분을 포함하고 있거나, 인쇄물의 한 페이지 외의 다른 페이지 부분을 포함할 수 있다. 따라서 획득된 이진화된 영상으로부터 인쇄물 상의 한 페이지 영역을 검출한다(130단계). 여기서, 페이지 영역의 검출을 위해, 도 2에 도시된 바와 같이 인쇄물의 한 페이지의 외곽에 사각형의 검은색(또는 다른 특정 색)의 테두리(10)를 마련하고, 획득된 영상으로부터 이 테두리를 검출하여 이 테두리 내부의 영역을 페이지 영역으로 검출할 수 있다. 이러한 테두리를 마련하지 않을 경우에는 인쇄물의 한 페이지에 해당하는 전체 사각형의 꼭지점들을 추출한 뒤, 추출된 네 꼭지점으로 이루어지는 사각형 영역을 페이지 영역으 로 검출할 수도 있다.
상기 110단계에서 인쇄물을 촬영함에 있어, 보통 해당 페이지가 정확히 정면에서 촬영되지 못하고 약간 기운 채 촬영될 수도 있고, 각 페이지의 촬영 거리가 일정치 않음으로 인해 영상 내의 페이지 영역의 크기가 서로 달라질 수 있다. 후술할 160단계에서는 페이지 영역 안에서 임의의 영역을 선택하게 되는데, 전체 페이지 영역 중 선택되는 영역을 특정하려면 기준이 되는 페이지 영역이 있어야 하므로 획득된 영상을 교정(rectification)할 필요가 있다.
이를 위하여 획득된 영상 내의 페이지 영역과 이상적인 직사각형의 페이지 영역 간의 호모그래피 행렬을 구한다(140단계), 여기서 호모그래피 행렬은 페이지 외곽의 테두리를 이용하여 페이지 영역을 검출하였다면 그 테두리의 네 꼭지점을 기준으로 구할 수 있고, 한 페이지에 해당하는 전체 사각형의 꼭지점을 이용하여 페이지 영역을 검출하였다면 해당 사각형의 네 꼭지점을 기준으로 구할 수 있다.
그리고 이 호모그래피 행렬을 이용하여 영상 변환을 통해 영상을 교정함으로써 직사각형 형태의 페이지 영역을 포함하는 영상을 생성한다(150단계).
다음으로 직사각형의 페이지 영역 내에서 임의의 영역을 설정한다(160단계), 여기서 임의의 영역은 사용자가 직접 지정하는 영역이거나, 혹은 페이지 영역 내의 그림 혹은 문자를 포함하는 영역일 수 있다.
도 3은 페이지 영역 내의 그림을 한 영역으로 설정하는 경우의 상기 160단계의 구체적인 흐름도이다. 먼저 교정된 영상의 페이지 영역 내에서 그림 영역을 검출한다(161단계). 이때 페이지 영역 내의 색 분포도를 분석하고, 색 분포도가 다양 한 것으로 판단되는 영역을 그림 영역으로서 검출할 수 있다. 예를 들어 도 2에 도시된 바와 같은 페이지 영역 내에 그림(20)이 존재할 때 이를 그림 영역으로 검출하게 된다. 그리고 검출된 그림 영역의 좌표를 획득한다(162단계). 검출된 영역이 다각형이라면, 그 꼭지점들의 좌표를 검출된 영역의 좌표로서 획득할 수 있을 것이다. 도 2에 도시된 바와 같은 그림 영역의 좌표를 획득한다면 네 꼭지점의 좌표를 획득하게 된다.
도 4는 사용자가 직접 지정하는 영역을 한 영역으로 설정하는 경우의 상기 160단계의 구체적인 흐름도이다. 먼저 사용자로부터 원하는 영역을 입력받는데(163단계), 이때 사용자는 마우스 혹은 전자펜 등의 입력 수단을 통하여 화면 내의 원하는 지점들을 선택함으로써 선택된 지점들을 꼭지점으로 하는 원하는 영역을 지정할 수 있다. 도 5는 본 실시예에 따른 페이지 레이아웃 저작 방법에서 촬영된 인쇄물의 영상에서 사용자에 의해 영역이 지정되는 모습을 나타낸다. 도 5를 참조하면, 사용자가 도시된 바와 같이 화면 상에서 네 점 A, B, C, D를 마우스를 이용하여 선택한다면, 점 A, B, C, D를 네 꼭지점을 하는 흰 선으로 표시된 사각형 내부의 영역이 지정된다. 사용자가 원하는 영역을 입력하면, 입력된 영역의 좌표를 획득한다(164단계). 여기서는 물론 사용자가 지정한 지점의 좌표가 해당 영역의 좌표로서 획득될 수 있다. 이때 획득된 좌표 혹은 영역은 촬영된 화면 상에서 얻어진 것이므로 교정(rectification)된 영상에서의 좌표로 변환될 필요가 있다. 따라서 획득된 좌표를 상기 140단계에서 구해진 호모그래피 행렬을 이용하여 변환한다(165단계).
다시 도 1을 참조하여, 페이지 영역 내에서 그림 영역 또는 사용자가 원하는 영역이 설정되면, 설정된 영역에 증강될 컨텐츠를 지정한다(170단계). 이때 사용자가 미리 마련된 컨텐츠들의 목록으로부터 원하는 컨텐츠를 선택하거나, 혹은 설정된 영역에 대응하는 미리 정해진 규칙에 따라 컨텐츠가 지정될 수 있을 것이다.
한편으로, 페이지 영역 내의 페이지 번호 영역을 검출하고(200단계), 해당 페이지 번호를 획득한다(210단계). 페이지 번호가 인쇄된 영역은 OCR(Optical Character Reader) 엔진을 통하여 인식할 수 있다. 획득된 페이지 번호는 페이지 레이아웃을 읽어들일 때 각 페이지를 구별하기 위한 식별자로 사용될 수 있다.
페이지 번호가 획득되고, 각 영역에 증강될 컨텐츠가 모두 지정되면, 해당 페이지 번호와 설정된 영역을 나타내는 정보와 해당 영역에 대응하는 컨텐츠를 가리키는 정보를 포함하는 페이지 레이아웃을 생성한다.(180단계). 설정된 영역은 그 영역의 좌표 혹은 위치와 크기 등으로 나타내어질 수 있으며, 여러 영역이 설정될 수 있기 때문에 각 영역마다 식별자가 부여될 수 있다.
마지막으로, 생성된 페이지 레이아웃은 소정의 저장 매체에 저장된다(190단계).
도 6은 본 실시예에 따라 페이지 레이아웃이 생성된 결과의 예로서, (a)는 촬영된 영상을, (b)는 생성된 페이지 레이아웃을 나타낸다. 도 6을 참조하면, 사용자에 의해 문자("It is a Cow") 영역이 설정되었으며, 페이지 레이아웃에는 전체 페이지 영역의 크기, 영역의 종류(①), 타 영역과의 거리(②), 페이지 번호(③) 등이 나타나 있다.
도 7은 본 발명의 일 실시예에 따른 인쇄물 기반의 증강현실 방법의 흐름도 이다. 본 실시예에 따른 증강현실 방법은, 도 1에 관하여 설명된 페이지 레이아웃 저작 방법에 따라 생성되어 저장된 페이지 레이아웃을 이용한다.
우선, 카메라로 인쇄물을 촬영하여 영상을 획득하고(710단계), 획득된 영상을 이진화한다(720단계). 그리고 획득된 이진화된 영상으로부터 인쇄물 상의 한 페이지 영역을 검출한 뒤(730단계), 획득된 영상 내의 페이지 영역과 이상적인 직사각형의 페이지 영역 간의 호모프그래피 행렬을 구하고(740단계), 구해진 호모그래피 행렬을 이용하여 영상을 교정한다(750단계). 상기 710단계 내지 750단계는 도 1에 관하여 설명된 110단계 내지 150단계와 동일하다.
교정된 영상이 얻어지면, 그로부터 페이지 번호를 획득한다(760단계). 페이지 번호는 OCR(Optical Character Reader) 엔진을 통하여 획득할 수 있다. 저장된 페이지 레이아웃에는 이미 설명한 바와 같이 페이지 번호가 포함되어 있으므로, 760단계에서 획득된 페이지 번호를 이용하여 상기 검출된 페이지 영역에 해당하는 페이지 레이아웃을 읽어온다(770단계).
한편으로, 사용자로부터 마우스 또는 전자펜 등의 입력 수단을 통하여 710단계에서 획득된 영상 내의 어떤 위치를 입력받고 그 위치의 좌표를 구한다(793단계). 그리고 740단계에서 구해진 호모그래피 행렬을 이용하여 해당 위치의 좌표를 교정된 영상에서의 좌표로 변환한다(795단계).
촬영된 영상에 해당하는 페이지 번호와 사용자가 입력한 위치가 정해지면, 입력된 위치가 상기 저장된 페이지 레이아웃에서 컨텐츠가 지정된 영역에 속하는지 판단하고(780단계), 그러한 경우에 해당 영역에 지정된 컨텐츠를 증강한다(790단 계).
본 실시예에 의하면, 사용자로부터 화면 상의 위치를 입력받고, 그 위치를 포함하는 영역에 지정된 컨텐츠를 증강하는 것으로 설명되었으나, 사용자의 입력 없이 770단계에서 페이지 레이아웃을 읽어들여 해당 페이지 레이아웃에 설정된 영역들 각각에 지정된 컨텐츠를 곧바로 증강할 수도 있다. 이 경우 도 1에 도시된 흐름도에서 793단계, 795단계, 780단계는 삭제되고, 790단계가 770단계에서 읽어온 페이지 레이아웃의 각 영역에 지정된 컨텐츠를 증강하는 단계로 대체된다.
도 8은 본 발명의 일 실시예에 따른 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 시스템의 블록도로서, 영상 획득부(800), 페이지 영역 검출부(810), 영역 설정부(820), 페이지 번호 획득부(840), 페이지 레이아웃 생성부(850), 사용자 입력부(830), 그리고 페이지 레이아웃 데이터베이스(860)를 포함하여 이루어진다.
영상 획득부(800)는 인쇄물을 촬영하여 영상을 획득하고, 획득된 영상을 이진화한다.
페이지 영역 검출부(810)는 획득된 이진화된 영상으로부터 인쇄물 상의 한 페이지 영역을 검출한 뒤, 검출된 페이지 영역과 이상적인 직사각형의 페이지 영역 간의 호모그래피 행렬을 구하고, 이 호모그래피 행렬을 이용하여 영상 변환을 통해 영상을 교정함으로써 직사각형 형태의 페이지 영역을 포함하는 영상을 생성한다.
영역 설정부(820)는 직사각형의 페이지 영역 내에서 임의의 영역을 설정하는데, 사용자가 사용자 입력부(830)를 통하여 직접 지정하는 영역으로 설정하거나, 사용자의 직접 입력 없이 페이지 영역 내의 그림 혹은 문자를 포함하는 영역을 설정한다. 영역 설정부(820)는 사용자 입력에 따라 영역을 설정하는 경우, 사용자에 의해 입력된 영역의 좌표를 획득하고, 획득된 좌표를 교정된 영상에서의 좌표로 변환하기 위해 페이지 영역 검출부(810)에서 구해진 호모그래피 행렬을 이용하여 변환한다. 또한, 영역 설정부(820)는 사용자의 직접 입력 없이 그림 영역을 설정하는 경우, 페이지 영역 내에서 그림 영역을 검출한 뒤 검출된 그림 영역의 좌표를 획득한다.
페이지 번호 획득부(840)는 페이지 영역 내의 페이지 번호 영역을 검출하고, 해당 페이지 번호를 획득한다.
페이지 레이아웃 생성부(850)는 사용자가 사용자 입력부(830)를 통하여 영역 설정부(820)에서 설정된 영역에 증강될 컨텐츠를 선택하면 해당 컨텐츠를 각 영역에 지정한다. 만일 각 영역에 대응하는 컨텐츠의 지정에 관한 규칙이 마련되어 있다면 그에 따라 컨텐츠가 지정될 수도 있다. 그리고 페이지 레이아웃 생성부(840)는 해당 페이지 번호와 설정된 영역을 나타내는 정보와 해당 영역에 대응하는 컨텐츠를 가리키는 정보를 포함하는 페이지 레이아웃을 생성하여 페이지 레이아웃 데이터베이스(860)에 저장한다.
도 9는 본 발명의 일 실시예에 따른 인쇄물 기반의 증강현실 시스템의 블록도로서, 영상 획득부(900), 페이지 영역 검출부(910), 페이지 레이아웃 독출부(930), 컨텐츠 재생부(940), 그리고 페이지 레이아웃 데이터베이스(860)를 포함하여 이루어진다. 본 실시예에 따른 증강현실 시스템은, 도 1에 관하여 설명된 페 이지 레이아웃 저작 방법 또는 도 8에 관하여 설명된 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 시스템에 따라 생성되어 저장된 페이지 레이아웃을 이용한다.
영상 획득부(900)는 인쇄물을 촬영하여 영상을 획득하고, 획득된 영상을 이진화한다. 페이지 영역 검출부(910)는 획득된 이진화된 영상으로부터 인쇄물 상의 한 페이지 영역을 검출한 뒤, 검출된 페이지 영역과 이상적인 직사각형의 페이지 영역 간의 호모그래피 행렬을 구하고, 이 호모그래피 행렬을 이용하여 영상 변환을 통해 영상을 교정함으로써 직사각형 형태의 페이지 영역을 포함하는 영상을 생성한다.
교정된 영상이 얻어지면, 페이지 레이아웃 독출부(930)는 그로부터 페이지 번호를 획득하고, 페이지 레이아웃 데이터베이스(860)에 저장된 페이지 레이아웃들 중에서 획득된 페이지 번호에 해당하는 페이지 레이아웃을 읽어온다.
컨텐츠 재생부(940)는, 사용자가 사용자 입력부(950)를 통하여 영상 내의 어떤 위치를 입력하면, 그 위치의 좌표를 구하고 페이지 영역 검출부(910)에서 구해진 호모그래피 행렬을 이용하여 그 위치의 좌표를 교정된 영상에서의 좌표로 변환한다. 그리고 입력된 위치가 페이지 레이아웃에서 컨텐츠가 지정된 영역에 속하는 경우 해당하는 컨텐츠를 증강한다. 한편, 컨텐츠 재생부(940)는 사용자의 입력 없이 페이지 레이아웃 독출부(930)에서 읽어들인 페이지 레이아웃에 설정된 영역들 각각에 지정된 컨텐츠를 곧바로 증강할 수도 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으 로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에서 이용하는 인쇄물의 한 페이지의 예를 나타낸다.
도 3은 페이지 영역 내의 그림을 한 영역으로 설정하는 경우의 160단계의 구체적인 흐름도이다.
도 4는 사용자가 직접 지정하는 영역을 한 영역으로 설정하는 경우의 160단계의 구체적인 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 페이지 레이아웃 저작 방법에서 촬영된 인쇄물의 영상에서 사용자에 의해 영역이 지정되는 모습의 예를 나타낸다.
도 6은 본 발명의 일 실시예에 따라 페이지 레이아웃이 생성된 결과의 예를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 인쇄물 기반의 증강현실 방법의 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 시스템의 블록도이다.
도 9는 본 발명의 일 실시예에 따른 인쇄물 기반의 증강현실 시스템의 블록도이다.

Claims (18)

  1. 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법에 있어서,
    (a) 인쇄물을 촬영하여 획득된 영상으로부터 상기 인쇄물 상의 페이지 영역을 검출하는 단계;
    (b) 상기 검출된 페이지 영역 내의, 사용자의 입력에 따라 지정되는 임의의 영역을 상기 영역의 좌표를 이용하여 설정하는 단계;
    (c) 상기 설정된 영역에 증강될 컨텐츠를 지정하는 단계; 및
    (d) 상기 설정된 영역의 좌표를 포함하는, 상기 설정된 영역을 나타내는 정보와 상기 지정된 컨텐츠를 가리키는 정보를 포함하는 페이지 레이아웃을 생성하는 단계를 포함하는 것을 특징으로 하는 페이지 레이아웃 저작 방법.
  2. 제1항에 있어서,
    상기 인쇄물의 페이지의 외곽에는 소정 색깔의 테두리가 마련되며,
    상기 (a) 단계는 상기 획득된 영상으로부터 상기 테두리를 검출하고, 상기 검출된 테두리 내부의 영역을 상기 페이지 영역으로서 검출하는 것을 특징으로 하는 페이지 레이아웃 저작 방법.
  3. 제1항에 있어서,
    상기 (a) 단계는 상기 인쇄물의 페이지의 꼭지점들을 추출하고, 상기 추출된 꼭지점들로 이루어지는 사각형 영역을 상기 페이지 영역으로서 검출하는 것을 특징 으로 하는 페이지 레이아웃 저작 방법.
  4. 제1항에 있어서,
    상기 검출된 페이지 영역을 이상적인 직사각형의 영역으로 변환되도록 상기 획득된 영상을 교정하는 단계를 더 포함하는 것을 특징으로 하는 페이지 레이아웃 저작 방법.
  5. 제4항에 있어서,
    상기 획득된 영상의 교정은 상기 검출된 페이지 영역과 상기 이상적인 직사각형 영역 간의 호모그래피 행렬을 이용하여 수행되는 것을 특징으로 하는 페이지 레이아웃 저작 방법.
  6. 제1항에 있어서,
    상기 (b) 단계는,
    상기 검출된 페이지 영역 내에서 그림 영역을 검출하고, 상기 검출된 그림 영역을 상기 임의의 영역으로서 설정하는 것을 특징으로 하는 페이지 레이아웃 저작 방법.
  7. 삭제
  8. 제1항에 있어서,
    상기 (b) 단계는,
    상기 사용자로부터 원하는 영역을 입력받는 단계;
    상기 입력받은 영역의 좌표를 획득하는 단계; 및
    상기 획득된 좌표를 상기 검출된 페이지 영역과 이상적인 직사각형 영역 간의 호모그래피 행렬을 이용하여 변환하는 단계를 포함하는 것을 특징으로 하는 페이지 레이아웃 저작 방법.
  9. 제1항에 있어서,
    상기 검출된 페이지 영역 내에서 페이지 번호를 획득하는 단계를 더 포함하는 것을 특징으로 하는 페이지 레이아웃 저작 방법.
  10. 제9항에 있어서,
    상기 (d) 단계는 상기 획득된 페이지 번호를 포함하도록 상기 페이지 레이아웃을 생성하는 것을 특징으로 하는 페이지 레이아웃 저작 방법.
  11. 제1항 내지 제6항, 제8항 내지 제10항 중 어느 한 항에 기재된 페이지 레이아웃 저작 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  12. 인쇄물 기반의 증강현실 방법에 있어서,
    (a) 인쇄물을 촬영하여 획득된 영상으로부터 상기 인쇄물 상의 페이지 영역을 검출하는 단계;
    (b) 제1항에 기재된 페이지 레이아웃 저작 방법에 따라 생성되어 저장된 페이지 레이아웃 중 상기 검출된 페이지 영역에 해당하는 페이지 레이아웃을 읽어오는 단계; 및
    (c) 상기 읽어온 페이지 레이아웃의 적어도 하나의 상기 설정된 영역의 좌표를 이용하여, 상기 설정된 영역에 상기 지정된 컨텐츠를 증강하는 단계를 포함하는 것을 특징으로 하는 증강현실 방법.
  13. 제12항에 있어서,
    상기 검출된 페이지 영역을 이상적인 직사각형의 영역으로 변환되도록 상기 획득된 영상을 교정하는 단계를 더 포함하는 것을 특징으로 하는 증강현실 방법.
  14. 제13항에 있어서,
    상기 획득된 영상의 교정은 상기 검출된 페이지 영역과 상기 이상적인 직사각형 영역 간의 호모그래피 행렬을 이용하여 수행되는 것을 특징으로 하는 증강현실 방법.
  15. 제12항에 있어서,
    상기 저장된 페이지 레이아웃에는 해당하는 페이지 번호를 포함되고,
    상기 검출된 페이지 영역으로부터 페이지 번호를 획득하는 단계를 더 포함하며,
    상기 (b) 단계는 상기 획득된 페이지 번호를 이용하여 상기 검출된 페이지 영역에 해당하는 페이지 레이아웃을 읽어오는 것을 특징으로 하는 증강현실 방법.
  16. 제12항에 있어서,
    사용자로부터 상기 획득된 영상 내의 임의의 위치를 입력받는 단계를 더 포함하고,
    상기 (c) 단계는 상기 입력받은 위치를 포함하는 영역에 지정된 컨텐츠를 증강하는 것을 특징으로 하는 증강현실 방법.
  17. 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 시스템에 있어서,
    인쇄물을 촬영하여 영상을 획득하는 영상 획득부;
    상기 획득된 영상으로부터 상기 인쇄물 상의 페이지 영역을 검출하는 페이지 영역 검출부;
    상기 검출된 페이지 영역 내의, 사용자의 입력에 따라 지정되는 임의의 영역을 상기 영역의 좌표를 이용하여 설정하는 영역 설정부; 및
    상기 설정된 영역의 좌표를 포함하는, 상기 설정된 영역을 나타내는 정보와 상기 설정된 영역에 증강될 컨텐츠를 가리키는 정보를 포함하는 페이지 레이아웃을 생성하는 페이지 레이아웃 생성부를 포함하는 것을 특징으로 하는 페이지 레이아웃 저작 시스템.
  18. 인쇄물 기반의 증강현실 시스템에 있어서,
    인쇄물을 촬영하여 영상을 획득하는 영상 획득부;
    상기 획득된 영상으로부터 상기 인쇄물 상의 페이지 영역을 검출하는 페이지 영역 검출부;
    제1항에 기재된 페이지 레이아웃 저작 방법에 따라 생성된 페이지 레이아웃을 저장하는 페이지 레이아웃 데이터베이스;
    상기 저장된 페이지 레이아웃 중 상기 검출된 페이지 영역에 해당하는 페이지 레이아웃을 읽어오는 페이지 레이아웃 독출부; 및
    상기 읽어온 페이지 레이아웃의 적어도 하나의 상기 설정된 영역의 좌표를 이용하여, 상기 설정된 영역에 상기 지정된 컨텐츠를 증강하는 컨텐츠 재생부를 포함하는 것을 특징으로 하는 증강현실 시스템.
KR1020080119391A 2008-11-28 2008-11-28 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법및 시스템, 인쇄물 기반의 증강현실 방법 및 시스템 KR101018361B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080119391A KR101018361B1 (ko) 2008-11-28 2008-11-28 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법및 시스템, 인쇄물 기반의 증강현실 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080119391A KR101018361B1 (ko) 2008-11-28 2008-11-28 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법및 시스템, 인쇄물 기반의 증강현실 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20100060691A KR20100060691A (ko) 2010-06-07
KR101018361B1 true KR101018361B1 (ko) 2011-03-04

Family

ID=42361577

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080119391A KR101018361B1 (ko) 2008-11-28 2008-11-28 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법및 시스템, 인쇄물 기반의 증강현실 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101018361B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101423536B1 (ko) 2011-06-14 2014-08-01 한국전자통신연구원 인쇄매체 기반 혼합현실 구현 장치 및 방법
US10817582B2 (en) 2018-07-20 2020-10-27 Elsevier, Inc. Systems and methods for providing concomitant augmentation via learning interstitials for books using a publishing platform
KR102227525B1 (ko) 2020-05-04 2021-03-11 장원석 증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102504223B1 (ko) * 2017-11-10 2023-02-28 현대자동차주식회사 대용량 데이터를 포함하는 이미지 혹은 영상을 차량 내 헤드업 디스플레이 장치에 표시하는 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000032647A (ko) * 1998-11-17 2000-06-15 정선종 3차원 독서 지원 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000032647A (ko) * 1998-11-17 2000-06-15 정선종 3차원 독서 지원 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
전자통신동향분석, 제22권, 제4호, 2007년 8월, 서희전 외, 혼합현실기반 이러닝 기술 동향, pp. 87-95*

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101423536B1 (ko) 2011-06-14 2014-08-01 한국전자통신연구원 인쇄매체 기반 혼합현실 구현 장치 및 방법
US10817582B2 (en) 2018-07-20 2020-10-27 Elsevier, Inc. Systems and methods for providing concomitant augmentation via learning interstitials for books using a publishing platform
KR102227525B1 (ko) 2020-05-04 2021-03-11 장원석 증강 현실과 가상 현실을 이용한 문서 작성 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20100060691A (ko) 2010-06-07

Similar Documents

Publication Publication Date Title
US8494280B2 (en) Automated method for extracting highlighted regions in scanned source
JP4833573B2 (ja) 複合的な電子表現物を作成する方法、装置及びデータ処理システム
US8331677B2 (en) Combined image and text document
US20100008585A1 (en) Image processing apparatus, image processing method, computer-readable medium and computer data signal
US20120037695A1 (en) Embedded media barcode links and systems and methods for generating and using them
US8595614B2 (en) Document generating apparatus, document generating method, computer program and recording medium
US10769247B2 (en) System and method for interacting with information posted in the media
US20120005564A1 (en) Content distribution system and method
KR101018361B1 (ko) 인쇄물 기반의 증강현실을 위한 페이지 레이아웃 저작 방법및 시스템, 인쇄물 기반의 증강현실 방법 및 시스템
CN102915549A (zh) 一种图像文件的处理方法及装置
US20100007912A1 (en) Image processing apparatus, image processing method, computer-readable medium and computer data signal
CN115131804A (zh) 文档识别方法、装置、电子设备和计算机可读存储介质
KR102137039B1 (ko) 문서 파일의 압축 처리를 행하는 화상 처리 장치, 문서 파일의 압축 방법 및 저장 매체
JP2007133550A (ja) 情報管理システム、および情報管理方法
US9224305B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium storing information processing program
JP2008158777A (ja) 画像処理装置及び方法、コンピュータプログラム及び記憶媒体
JP5673277B2 (ja) 画像処理装置およびプログラム
Pattnaik et al. A Framework to Detect Digital Text Using Android Based Smartphone
JP2012049860A (ja) 画像処理装置、画像処理方法およびプログラム
KR101911613B1 (ko) 뉴스 인터뷰 영상의 오버레이 텍스트 기반 인물 인덱싱 방법 및 장치
JP4983489B2 (ja) 情報処理装置及び情報処理プログラム
KR102572130B1 (ko) 문서 이미지에서 문서 양식을 추출하는 방법 및 시스템
JP6303742B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR102535121B1 (ko) 컨텐츠의 태그정보 생성 장치 및 방법
CN111428569B (zh) 基于人工智能的绘本或教材的视觉识别方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140224

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150427

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160112

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170308

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee