KR101500530B1 - 임베디드 매체 마커, 및 이를 생성하고 이용하는 시스템 및 방법 - Google Patents

임베디드 매체 마커, 및 이를 생성하고 이용하는 시스템 및 방법 Download PDF

Info

Publication number
KR101500530B1
KR101500530B1 KR1020100125434A KR20100125434A KR101500530B1 KR 101500530 B1 KR101500530 B1 KR 101500530B1 KR 1020100125434 A KR1020100125434 A KR 1020100125434A KR 20100125434 A KR20100125434 A KR 20100125434A KR 101500530 B1 KR101500530 B1 KR 101500530B1
Authority
KR
South Korea
Prior art keywords
media
embedded
marker
content
emm
Prior art date
Application number
KR1020100125434A
Other languages
English (en)
Other versions
KR20110073265A (ko
Inventor
퀴옹 리우
춘유안 리아오
린 윌콕스
앤서니 더니건
비 류우
Original Assignee
후지제롯쿠스 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지제롯쿠스 가부시끼가이샤 filed Critical 후지제롯쿠스 가부시끼가이샤
Publication of KR20110073265A publication Critical patent/KR20110073265A/ko
Application granted granted Critical
Publication of KR101500530B1 publication Critical patent/KR101500530B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9554—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL] by using bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046—Constructional details
    • G06K19/06103—Constructional details the marking being embedded in a human recognizable image, e.g. a company logo with an embedded two-dimensional code

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

임베디드 매체 마커(EMM)는, 종이 문서의 일 부분 상에 인쇄될 수 있고 그 문서의 일 부분과 연관된 매체의 존재를 나타내는 광학 필터형 중첩 마크이다. 사용자가 휴대전화 카메라를 이용하여 EMM 표시 문서 패치를 촬상하고, 이어서 EMM 표시 문서 위치와 연관된 매체가 검색 및 휴대전화 상에 표시된다. 바코드와는 달리, EMM은 거의 투명하므로 문서 콘텐츠에 방해가 되지 않는다. EMM과 연관된 매체의 검색은 포착된 EMM 표시 문서 패치의 이미지 로컬 특징에 의거한다. 반자동 기술은, EMM이 원본 문서에 대해 방해가 최소로 되면서 충분한 식별 특징을 둘러싸도록, 문서 내의 위치에 EMM을 위치결정한다.

Description

임베디드 매체 마커, 및 이를 생성하고 이용하는 시스템 및 방법{EMBEDDED MEDIA MARKERS AND SYSTEMS AND METHODS FOR GENERATING AND USING THEM}
본 발명은, 일반적으로 임베디드 매체 마커를 포함하는 문서의 일 부분과 연관된 매체의 존재를 나타내는 임베디드 매체 마커에 관한 것이고, 또한 상술한 임베디드 매체 마커를 포함하는 아티클(article)을 생성하는 방법 및 시스템에 관한 것이다.
종이는 정보를 보는데 가장 널리 사용되는 장치 중 하나지만, 비디오 및 오디오 등과 같은 동적 매체를 플레이할 수 없다. 한편, 휴대전화는 점점 오디오 및 비디오를 플레이하는데 사용되지만, 종이의 높은 해상도, 큰 표시 사이즈, 공간 조직화의 유연성, 야외 판독성 및 정적 콘텐츠에 대한 강력함에 필적할 수 없다. 최근에는, 이미지 인식 기술을 이용하여 종이와 휴대전화를 조합해서, 종이 문서를 해당 동적 매체에 링크시키는 것이 가능하다. 휴대전화 카메라는 문서 패치(patch)의 이미지를 포착하는데 사용된다. 문서 패치가 이미지 내의 특징을 이용하여 식별되고, 문서 내의 그 위치에 링크된 디지털 매체가 검색되어 휴대전화 상에서 플레이된다.
종이 문서 상에 이러한 유형의 매체 링크를 생성하는 일반적인 방법은 문서 상에 암호화된 마커를 인쇄하는 것이다. 이러한 마커의 예는 당업자에게 잘 알려진 2차원 바코드 및 인쇄된 도트 패턴(Hecht, B., M. Rohs. J. Schoning, and A. Kruger, Wikeye - Using Magic Lenses to Explore Georeferenced Wikipedia Content, Proceedings of the 3rd International Workshop on Pervasive Mobile Interaction Devices(PERMID), pp 6-10)을 포함한다. 그러나, 이들 마커는 시각적으로 거슬리고 문서 콘텐츠 레이아웃에 방해가 된다. 데이터 글리프(DataGlyph)(Hecht D. L., Embedded Data Glyph Technology for Hardcopy Digital Documents, SPIE-Color Hard Copy and Graphics Arts III, Vol. 2171. Feb 1994, pp 341-352)는 거의 보이지 않는 기계 인식 가능한 패턴을 종이 상에 인쇄함으로써 이들 문제를 극복한다. 그러나, 이러한 유형의 마커는 문서 위치를 식별하는데 높은 해상도의 프린터 및 카메라를 요구한다. 예를 들면, RFID(Reilly, D., M. Rodgers, R. Argue, et al., Marked-up maps: combining paper maps and electronic information resources, Personal and Ubiquitous Computing, 2006, 10(4): pp 215-226) 등의 전자 마커가 사용될 수 있지만, 제조 비용이 실질적으로 증가하게 된다.
다른 시스템은 관련 문서 패치를 식별하고 그것을 이용하여 매체 링크를 생성하는데 문서 콘텐츠의 특징 자체를 이용한다. 예를 들면, 핫 페이퍼(HotPaper)(Erol, B., Emilio Antunez, and J.J. Hull, HOTPAPER: multimedia interaction with paper using mobile phones, Proceeding of Multimedia '08, pp 399-408), 및 모바일 리트리버(Mobile Retriever)(Liu, X. and Doermann, Mobile Retriever: access to digital documents from their physical source, Int. J. Doc. Anal. Recognit., 2008. 11(1): pp 19-27)는 단어의 공간 레이아웃 등의 문서 텍스트에 의거한 특징을 이용한다. 북 마크(Bookmarkr)(Henze, N. and S. Boll, Snap and share your photobooks, Proceedings of Multimedia '08, pp 409-418) 및 맵 스냅퍼(MapSnapper)(Hare, J., P. Lewis, L. Gordon, and G. Hart, Mapsnapper: Engineering an Efficient Algorithm for Matching Images of Maps from Mobile Phones, Proceedings of the SPIE, Volume 6820, pp 68200L-68200L-11(2008)) 등의 다른 시스템은, SIFT 알고리즘(Lowe, D.G., Distinctive Image Features from Scale-Invariant Keypoints, Int. J. Comput. Vision, 2004, 60(2): pp 91-110) 등의 픽셀 레벨 이미지 특징을 이용하여, 그림 및 그래픽 요소 등의 포괄적인 문서 콘텐츠를 인식한다. 이들 시스템으로, 시각적으로 거슬리는 마크가 식별에 요구되지 않게 된다.
그러나, 종래의 마커 기반 방법 및 콘텐츠 기반 방법은 매체 유형 표시자(indicator)가 없다. 바코드 및 데이터 글리프는 볼 수 있지만, 그들은 그들과 관련된 매체의 존재나 유형을 직접적으로 표시하지 않는다. 콘텐츠 기반 특징이 사용될 경우, 문서에 링크된 매체가 있다는 사용자에게로의 종이 상의 표시가 없다. 결과적으로, 전술한 핫 페이퍼의 사용자는 종이 문서 위에 카메라를 팬(pan)시켜 붉은 도트 또는 바이브레이션 등의 피드백이 휴대전화 상에 나타날 때까지 핫스폿(hotspot)을 찾아야 한다.
핫 페이퍼, 북 마크, 모바일 리트리버, CAM(Parikh, T.S., P. Javid, S. K., K. Ghosh, and K. Toyama, Mobile phones and paper documents: evaluating a new approach for capturing microfinance data in rural India, Proceedings of CHI'06, pp. 551-560)을 포함하는 많은 시스템은 카메라 폰을 이용하여 종이 문서의 이미지를 포착 및 인식하여, 링크된 디지털 매체를 액세스하는 것을 제안했다. 예를 들면, Rohs는 특정 지리 영역에 대한 동적인 날씨 정보로 종이 맵의 실시간 이미지를 증가시키는 시스템(Rohs, M., Real-world interaction with camera-phones, Proceedings of UCS. IPSJ Press(2004))을 제안했다. 전술한 핫 페이퍼는 매직 렌즈(Magic Lens)로서 카메라 폰으로, 사용자가 종이 문서의 텍스트 패치에 링크된 멀티매체 주석을 추가 및 플레이하게 할 수 있다. 전술한 북 마크는 인쇄된 사진의 스냅샷으로 디지털 사진의 검색 및 공유를 용이하게 한다.
CAM뿐만 아니라 Rohs에 의해 제안된 것과 같은 마커 기반 시스템은 문서 콘텐츠를 식별하고 조작하는 2D 바코드에 의존한다. 한편, 위키 아이(WikEye)(Hecht, B., M. Rohs, J. Schoning, and A. Kruger, Wikeye - Using Magic Lenses to Explore Georeferenced Wikipedia Content, Preceedings of the 3rd International Workshop on Pervasive Mobile Interaction Devices(PERMID), pp. 6-10)는 마커로서 격자로 배치된 검은 도트를 채용한다. 바코드 및 도트는 검출하기엔 쉽지만, 종종 시각적으로 거슬리고, 원본 문서의 포맷의 변경을 요하고, 종이 상에 여분의 표시 공간을 차지한다. 리센트 설계 가능한 마커(Reilly, D., M. Rodgers, R. Argue, et al., Marked-up maps: combining paper maps and electronic information resources, Personal and Ubiquitous Computing, 2006. 10(4): p. 215-226)는 마크 디자인 내에 인간 판독가능한 구성요소를 수용함으로써 2D 바코드를 개선하지만, 문서 변경 및 소비되는 종이 공간의 문제는 해결할 수 없다. 이들 문제를 극복하기 위해서, 당업자에게 잘 알려진 데이터 글리프 및 아노토(anoto) 패턴이 제안되었다. 그러나, 이들 인코딩 패턴은 높은 해상도의 프린터에 의해 인쇄되고 디코딩 전용 카메라에 의해 포착되어야 한다. 또한, 인쇄된 컬러 이미지 내에 비시각화된(invisible) 바 코드를 내재시키는 스테가노그래픽(steganographic) 인쇄 기술을 후지쯔(Fujitsu)가 제안하였다. 이들 시각화/비시각화 바코드, 데이터 글리프 및 아노토 패턴 모두는 이용 가능한 매체에 관한 인간에 의미 있는 정보를 드러내진 않는다.
마커 기반 시스템의 일부 한계를 피하기 위해, PBAR(Hull, J.J., B. Erol, J. Graham, Q. Ke, H. Kishi, J. Moraleda, and D.G.V. Olst, Paper-based Augmented Reality, Proceedings of Int. Conf. of Artificial Reality and Telexistence, pp. 205--209), HotPaper, Mobile Retriever and LLAH(Nakia, T., K. Kise, and M. Iwamura, Use of affine invariants in locally likely arrangement hashing for camera-based document image retrieval, Proceedings of 7th Int'l Workshop DAS'06, pp. 541-552)은 텍스트 특징, 예를 들면 텍스트 덩어리(chunk) 내의 단어의 공간 레이아웃을 이용한다. 북 마크, 맵 스냅퍼, and FIT(Liu, Q., H. Yano, D. Kimber, C. Liao, and L. Wilcox, High Accuracy and Language Independent Document Retrieval With A Fast Invarient Transform, Proceedings of ICME'09, pp 386-389)는 텍스트, 그림 및 그래픽 요소를 포함하는 포괄적인 콘텐츠를 인식하기 위해 픽셀 레벨 이미지 특징을 채용한다. 이들 시스템으로, 시각적으로 거슬리는 바코드가 식별에 요구되지 않고, 원본 문서 포맷은 손상되지 않고, 문서 발행자는 바코드 인쇄를 위한 여분의 공간을 필요로 하지 않는다. 한편, 이들 시스템은 문서 페이지 상에 시각적 마커를 완전히 제거하므로, 멀티매체 정보가 문서의 특정 위치에서 이용 가능하다는 것을 사용자에게 표시하지 않는다. 또한, 이들 접근법에서는 문서 패치의 식별을 위한 사용자의 포착을 안내할 수 있는 마크를 가지지 않는다.
따라서, 고해상도 인쇄 장치뿐만 아니라, 저해상도 인쇄 장치를 이용하여 생성될 수 있는 새로운 비방해형(non-obstructive) 임베디드 매체 마커 및 그 마커를 구현 및 이용하는 방법이 필요하다.
본 발명의 방법론의 다양한 실시형태는 임베디드 매체 마커와 관련된 종래 기술과 연관된 하나 이상의 상기 및 다른 문제를 실질적으로 방지할 수 있는 방법 및 시스템에 관한 것이다.
본 발명의 일 측면에 따르며, 데이터베이스 및 아티클(article)을 이용하여 디지털 매체를 제공하는 컴퓨터 구현된 디지털 매체 제공 방법이 제공되며, 상기 데이터베이스는 소정의 공간에 시각화된 콘텐트(content)의 각 부분에 해당하는 정보 세트를 저장하고, 상기 정보 세트는 상기 일부분 내의 복수의 특징 및 상기 일부분에 대응하는 임베디드 디지털 매체를 포함하며, 상기 콘텐트의 일부분은 그 콘텐트의 각 부분을 식별하기에 충분한 상기 복수의 특징, 상기 콘텐트를 유지하는 상기 아티클 및 상기 콘텐트 상의 적어도 하나의 임베디드 매체 마커를 포함하는 영역을 갖고, 상기 임베디드 매체 마커는 상기 콘텐트의 일부분에 따라 위치된 시각화 특징 바운더리를 포함한다. 이 방법은 요청자로부터, 상기 아티클 상의 상기 임베디드 매체 마커의 이미지를 포함하는 패치(patch)의 이미지를 수신하는 단계, 상기 패치의 이미지 내에서 복수의 특징을 추출하는 단계, 상기 추출된 복수의 특징을 상기 정보 세트의 복수의 특징과 비교하여 상기 임베디드 매체 마커에 해당하는 임베디드 디지털 매체를 식별하는 단계, 상기 임베디드 디지털 매체를 검색하는 단계, 및 상기 검색된 디지털 매체를 상기 요청자에게 제공하는 단계를 포함할 수 있다.
본 발명의 추가적인 측면은, 상기 아티클의 표면 상에 시각화된 콘텐트, 및 상기 시각화된 콘텐트에 중첩되는 임베디드 매체 마커를 포함하는 아티클을 포함하고, 상기 임베디드 매체 마커는 상기 시각화된 콘텐트의 복수의 특징을 둘러싸는 시각화 특징 바운더리를 포함하며, 상기 특징 바운더리 내의 복수의 특징 또는 상기 특징 바운더리 내의 상기 콘텐츠의 적어도 일부분을 포함하는 정보 세트와, 상기 임베디드 매체 마커에 해당하는 임베디드 디지털 매체 대상은 데이터베이스에 저장된다.
본 발명의 추가적인 측면은, 시각화된 콘텐트와 상기 콘텐트 상의 임베디드 매체 마커를 포함하는 아티클을 형성하는 컴퓨터 구현 방법을 포함한다. 상기 방법은 상기 아티클의 시각화된 콘텐트 상의 위치의 선택을 수신하는 단계, 상기 임베디드 매체 마커 내의 상기 선택된 위치 근처에 있는 상기 시각화된 콘텐트의 복수의 특징의 양에 의거하여 상기 임베디드 매체 마커의 위치 및 사이즈를 결정하는 단계, 및 상기 결정된 위치 및 사이즈에 의거하여 상기 아티클 상에 상기 임베디드 매체 마커를 위치결정하는 단계를 포함한다.
본 발명의 추가적인 측면은, 데이터베이스 및 아티클을 이용하여 디지털 매체를 제공하는 명령을 저장하는 컴퓨터 판독가능한 기록 매체를 포함할 수 있고, 상기 데이터베이스는 소정의 공간에 시각화된 콘텐트의 각 부분에 해당하는 정보의 각 세트를 저장하고, 상기 정보 세트는 상기 일부분 내의 복수의 특징 및 상기 일부분에 해당하는 임베디드 디지털 매체를 포함하며, 상기 콘텐트의 일부분은 그 콘텐트의 일부분을 식별하기에 충분한 상기 복수의 특징, 상기 콘텐트를 유지하는 상기 아티클 및 상기 콘텐트 상의 적어도 하나의 임베디드 매체 마커를 포함하는 영역을 갖고, 상기 임베디드 매체 마커는 상기 콘텐트의 일부분에 따라 위치된 시각화 특징 바운더리를 포함한다. 이러한 명령은 요청자로부터, 상기 아티클 상의 상기 임베디드 매체 마커의 이미지를 포함하는 패치의 이미지를 수신하는 것, 상기 패치의 이미지 내에서 복수의 특징을 추출하는 것, 상기 추출된 복수의 특징을 상기 정보 세트의 복수의 특징과 비교하여 상기 임베디드 매체 마커에 해당하는 임베디드 디지털 매체를 식별하는 것, 상기 임베디드 디지털 매체를 검색하는 것, 및 상기 검색된 디지털 매체를 상기 요청자에게 제공하는 것을 포함할 수 있다.
본 발명과 관련된 추가적인 측면은, 다음의 상세한 설명에서 부분적으로 설명하며 그 설명에서 명확해질 것이고, 또는 본 발명에 실시에 의해 알 수 있다. 본 발명의 측면은 구성요소 또는 다양한 구성요소의 조합과 다음의 상세한 설명과 첨부된 특허청구범위에서 특별히 지적된 측면에 의해 실현 및 달성될 수 있다.
도 1a는 프린터 설명 브로셔에 추가된 임베디드 매체 마커(EMM)의 예시적인 일 실시형태를 나타낸 도면.
도 1b는 종이 맵에 추가된 EMM의 예시적인 일 실시형태를 나타낸 도면.
도 2는 본 발명의 EMM의 예시적인 실시형태를 더 상세하게 나타낸 도면.
도 3은 원과 원 내의 키포인트 양 추정을 위한 정사각형 사이의 관계를 나타낸 도면.
도 4는 브로셔 페이지 상에 중첩된 키포인트를 나타낸 도면.
도 5의 (a)는 키포인트 분포 맵을 나타낸 도면이고, 도 5의 (b)는 누적 키포인트 분포 맵을 나타낸 도면.
도 6은 정사각형 내의 키포인트의 양을 연산하는 본 발명의 방법의 실시형태를 나타낸 도면.
도 7은 3D 공간에서 3-레벨의 구조를 가지는 EMM 모델을 나타낸 도면.
도 8은 2D 필터의 그 대각선 방향으로의 형상을 나타낸 도면.
도 9의 (a)는 일반적인 검고 하얀 멀티매체 아이콘을 나타낸 도면이고, 도 9의 (b)는 그래픽 효과로 꾸며진 EMM을 나타낸 도면.
도 10은 EMM을 문서 페이지와 알파-블렌딩(alpha blending)한 효과를 나타낸 도면.
도 11은 특정 비정규 형상의 EMM을 나타낸 도면.
도 12는 비정규 형상의 EMM의 위치결정을 위한 두 가지 방법을 나타낸 도면.
도 13 ~ 도 17은 EMM의 예시적인 특정의 장식 디자인을 나타낸 도면.
도 18은 본 발명의 일 실시형태에 따른 데이터베이스 및 아티클을 이용하여 디지털 매체를 제공하는 방법을 나타낸 플로차트.
도 19는 시각화된 콘텐트 및 그 콘텐트 상의 임베디드 매체 마커를 포함하는 아티클을 만드는 방법을 나타낸 플로차트.
도 20은 본 발명의 일 실시형태에 따른 시스템의 기능도의 예를 나타낸 도면.
도 21은 본 발명의 시스템을 구현할 수 있는, 모바일 플랫폼 등의 예시적인 실시형태를 나타낸 도면.
전술한 및 다음의 설명은 단지 예시 및 설명적인 것이고 청구된 본 발명 및 그 응용을 어떤 식으로든 제한하고자 함은 아니다.
본 명세서에 포함되고 및 그 일부분을 구성하는 첨부된 도면은 본 발명의 실시형태를 예시하고, 그 기재와 함께 본 발명의 기술 원리를 설명 및 도시한다.
이하의 상세한 설명에서, 동일한 기능의 구성요소에는 동일한 부호를 부여하여, 첨부된 도면(들)이 참조된다. 전술한 첨부된 도면은 도시를 위한 것이지 제한을 위한 것은 아니고, 본 발명의 원리와 일치되는 구체적인 실시형태 및 구현 방법을 나타낸다. 이들 구현 방법은 당업자가 본 발명을 실시할 수 있도록 충분히 상세하게 설명되고, 다른 구현 방법도 이용될 수 있으며 본 발명의 범주 및 사상에서 벗어나지 않고 구조적 변경 및/또는 다양한 구성요소의 대체가 이루어질 수 있음을 이해할 것이다. 따라서, 다음의 상세한 설명은 제한된 의미로 해석되어서는 안 된다. 또한, 설명되는 본 발명의 다양한 실시형태는 범용 컴퓨터 상에서 실행되는 소프트웨어 형태, 전용 하드웨어 형태, 또는 소프트웨어와 하드웨어의 조합 형태로 구현될 수 있다.
본 발명의 임베디드 매체 마커(EMM)의 실시형태는 문서의 특정 부분과 연관된 매체의 존재를 나타내는, 종이 문서 상에 인쇄된 특정 형태의 광학 필터형 중첩(overlay) 마크이다. 본 발명의 실시형태에 따르면, 예를 들면 사용자는 휴대전화에 내장된 카메라를 이용하여 EMM 표시 문서 패치를 촬상하고, EMM 표시 문서 위치와 연관된 매체를 휴대전화 상에 표시한다. 바코드와는 달리, 본 발명의 EMM의 실시형태는 거의 투명하지만 시각적으로 인식 가능하다. 그러므로, 본 발명의 EMM은 사용자의 문서 콘텐츠의 보기를 방해하지 않는다. EMM과 연관된 매체의 검색은 포착된 EMM 표시 문서 패치의 로컬 이미지 특징에 의거한다. 또한, 일부 실시형태는 원본 문서에의 방해를 최소한으로 하며 충분한 식별 형태를 가지도록, 문서 내의 위치에 EMM을 반자동으로 위치시키는 기술을 설명한다.
본 발명의 특정 실시형태의 측면은 EMM을 생성하는 시스템 및 방법을 제공하고 이러한 마커를 구체화하는 다양한 대상을 설명한다. 본 발명의 실시형태에서, EMM은, 어떤 다른 곳에 저장될 수 있는, EMM을 구체화하는 대상(예를 들면, 종이)과 연관된 추가적인 디지털 매체 또는 데이터(디지털 매체 대상)의 존재를 사용자에게 표시하는데 사용된다. 또한, EMM을 사용하여, 사용자는 연관된 디지털 매체 대상을 쉽게 검색 및 볼 수 있다. 본 발명의 실시형태에서, 이러한 매체 또는 데이터는 EMM을 사용하는 대상에 의해 도시된 콘텐트를 추가 설명한다. 즉, 임베디드 EMM은 EMM을 구체화하는 대상과 관련된 로컬 또는 외부 매체 대상에의 매체 링크와 같이 동작한다.
본 발명의 하나 이상의 실시형태에서, 전술한 매체 링크의 존재 및 유형을 나타내는 임베디드 매체 마크(EMM)라고 하는 의미 있는 인식 마크로 종이는 보강된다. 본 발명의 하나 이상의 실시형태에서, 사용자가 EMM을 볼 경우, 문서와 연관된 디지털 매체를 보기 위해 휴대전화 카메라로 EMM 표시 문서 패치의 이미지를 포착하도록 배운다(또는 다른 방식으로 알게 됨). 이는 사용자가 추가적인 정보를 위해 클릭하는, 링크의 존재를 표시하는 언더라인, 폰트 차이부, 또는 이미지 태그를 이용하는 웹페이지와 다소 유사하다. 본 발명의 하나 이상의 실시형태에서, EMM은 바코드와는 달리, 거의 투명할 수 있어 문서 콘텐트에 거의 방해가 되지 않는다. 본 발명의 하나 이상의 실시형태에서, 공지된 임베디드 데이터 글리프(Embedded Data Glyph)(Embedded Data Glyph Technology for Hardcopy Digital Documents, SPIE-Color Hard Copy and Graphics Arts III, Vol. 2171. Feb 1994, pp 341-352) 또는 아노토 패턴(Anoto patterns)과는 달리, EMM은 정규의 저해상도 프린터에서도 인쇄될 수 있고 일반적인 휴대전화 카메라에 의해 포착된 이미지로부터 식별될 수 있다. 또한, 본 발명의 하나 이상의 실시형태에서, EMM의 디자인은 EMM 표시 문서 위치와 연관된 매체의 유형(예를 들면, 오디오, 비디오, 이미지)을 가리킨다.
본 발명의 특정 실시형태는 종이 문서 상에 시각적인 EMM을 반자동으로 배치하는 절차 및 알고리즘을 제공한다. 이 절차 및 알고리즘은 주로 문서 패치를 인식하기 위해 종이 상의 본래의 콘텐트 특징(바코드가 아님)을 이용하는 종이 강화 시스템에 대한 것이다. 더 구체적으로, 본 발명의 절차 및 알고리즘은 매체 편집자가 멀티매체 정보를 추가하기 위해 종의 페이지 상에 앵커 포이트를 선택할 수 있고 알고리즘은 편집자 선택 앵커 포인트에 의거하여 EMM을 자동적으로 배치할 수 있는 오서링 툴의 베이스로서 사용될 수 있다. EMM은 문서의 충분한 특징량을 포함하여 패치의 위치를 식별하도록 배치된다. 그리고, 강화된 종이의 출력을 위해, EMM은 다른 문서 콘텐츠 상에 중첩될 수 있다. 또한, 투명 시트 또는 스티커 등의 투명 EMM 인쇄 매체를 문서 콘텐츠의 해당 부분 위에 위치시킴으로써, EMM을 중첩시킬 수 있다. 그 후, 사용자는 종이 상의 EMM 표시 문서 패치를 포착함으로써, 스크린, 스피커 또는 다른 출력 디바이스 등의 능동 디바이스 상에 추가 멀티 매체 정보를 얻을 수 있다.
도 1a는 프린터 설명 브로셔(100)에 추가되는 예시적인 EMM의 실시형태를 나타낸다. 도시된 EMM의 실시형태는 사람 손의 매거진에 해당하는 비디오가 있는 것을 나타낸다. 큰 EMM 바운더리(101)(이 실시형태에서는 원) 내부의 문서 부분은 EMM 표시 문서 패치라 한다. EMM 표시 문서 패치 내에는, 여기에서 이 EMM과 연관된 매체의 유형(이 경우엔 비디오)을 표시하는 그래픽(103)을 포함하는 작은 바운더리(102)(이 실시형태에서는 원)로서 나타낸 매체 유형 마크가 있다. 작은 원(102)에 연결된 화살표는 매체와 연관된 문서(100) 내의 정확한 위치 또는 EMM 표시 문서 위치를 지시하며, 이를 앵커라 한다. 일부 콜아웃(callout)이 도 1a의 좌측 하부의 모서리부에 나타나서, EMM의 다른 구성요소를 설명한다. 이들 콜아웃은 EMM을 이루는 부분이 아니다.
도 1b는 종이 맵(111)에 추가된 예시적인 EMM(110)의 예시적인 실시형태를 나타낸다. 종이 맵(111)은 매우 고품질의 지리 정보의 표시를 제공한다. 그것은 실외에서 쉽게 판독되고, 접기 가능하고, 다른 사람들과 공유하기 쉽다. 그러나, 레스토랑, 공원에 대한 날씨 예보, 및 호텔의 현재 이용 가능한 디스카운트에 관한 비디오 클립 등의 동적 위치 특정 정보가 부족하다.
EMM으로, 이러한 동적 멀티매체를 종이 맵에 쉽게 가져올 수 있다. 도 1b에 나타낸 바와 같이, 일본 도쿄의 맵 상에서, 일식집은 모바일 장치(112)를 이용하여 볼 수 있는 그 위치의 역사 및 하이라이트에 관한 비디오 클립을 지시하는 EMM(110)에 의해 보강될 수 있다. 모바일 디바이스는 EMM에 속하는 문서로부터의 특징 또는 키포인트를 이용하여 어느 비디오 클립이 실행될 필요가 있는지를 확인할 수 있다. 마찬가지로, EMM은 고객 리뷰 사이트 또는 레스토랑의 세부 메뉴를 지시할 수 있고, 사용자가 즉시 예약하게 할 수 있다. EMM은 기존 바코드 기반 기술과 구별되게, 원래의 맵 레이아웃을 변경하지 않으며 최소한의 외관 방해를 가짐을 유념해야 한다. 또한, POI(point of interest:관심 지점)의 바로 위에 적합한 EMM을 중첩시키는 것은 맵의 POI의 콘텍스트(context)를 유지하는데 특히 유용하다.
도 2는 특징 바운더리(201), 매체 유형 아이콘 바운더리(202), 매체 아이콘(203), 앵커 포인트(204), 및 지시 화살표(205)를 강조하여, 예시적인 본 발명의 EMM(200)의 예시적인 실시형태를 나타낸다. EMM(200)에 대한 기능적 디자인과, 종이 상에 (EMM을) 반자동으로 배치하는 절차 및 알고리즘을 설명한다. 구체적으로, 여기에서 설명하는 것은 사용자가 문서의 위치에 앵커 포인트(204)를 선택하고 그 위치와 멀티매체 정보를 연관시키는 오서링 툴의 실시형태이다. 또한, 본 발명의 특정 실시형태의 다른 측면에 따르면, EMM 표시 문서 패치가 충분한 특징을 포함하여 정확한 인식을 허용하도록, 사용자 선택 앵커 포인트에 대한 최적의 위치 및 배치를 자동적으로 찾아내는 알고리즘을 설명한다. 그리고, 강화된 종이의 출력물을 위해, 문서에 본 발명의 임베디드 EMM을 중첩(예를 들면, 알파-블렌딩(alpha-blending))시킨다. 또한, 기존 종이 문서에 EMM을 추가하기 위해, EMM은 투명 시트 또는 스티커 등의 투명 매체 상에 생성되어서 기존 매체의 해당 부분에 중첩될 수 있다. 이어서, 사용자는 EMM 표시 문서 패치의 이미지를 포착함으로써, 종이 문서에 링크된 휴대전화 상의 매체를 볼 수 있다.
기술적 세부 내용
본 발명의 하나 이상의 실시형태에 따르면, EMM은 종이 상에 인쇄된 콘텐트의 특정 부분과 연관된 디지털 매체의 존재를 나타내는 종이 상의 마크이다. 유용성을 위해, 본 발명의 하나 이상의 실시형태에 따르면, EMM은 다음 특성의 일부 또는 그 전부를 가진다.
1. EMM은 인간이 볼 수 있다. EMM은 문서와 연관된 멀티매체 정보의 존재를 나타내는 보기 가능한 마크일 것이다.
2. EMM은 인간에게 의미 있다. EMM은 EMM과 연관되는 매체의 유형, 예를 들면 오디오, 비디오, 텍스트, 이미지, 및 주석을 나타낼 수 있다.
3. EMM은 종이 상이 여유 공간을 차지하는 것도 아니고, 문서의 레이아웃을 변경하여 EMM을 수용하는 것도 아니다.
4. EMM은 원래의 종이 콘테트에의 의미 변화를 최소화할 수 있다.
5. EMM은 문서 패치를 크게 저하시키지 않을 수 있다. 식별이 주로 문서 콘텐트의 특징에 의거하므로, 문서 콘텐츠는 잘 보존될 것이다.
6. EMM은 사용자가 멀티매체 검색을 위해 양질의 이미지를 포착하도록 안내할 수 있다.
7. EMM은 멀티매체 검색을 위한 충분한 특징을 지닌 영역을 나타낼 수 있다.
8. EMM은 데이터베이스 내에 인덱싱될 필요가 있는 문서 패치를 한정하고, 이로써 연산의 복잡성 및 데이터 저장 공간을 줄이고 검색 정확도를 향상시킬 수 있다.
예시적인 EMM 구조
a. 특징 바운더리 마크
바코드를 판독하고 디코딩할 수 없을 경우, 사용자는 다른 이미지 특징을 이용하여 관련 종이 패치를 식별해야만 한다. 이러한 특징은 아티클 상의 이미지로부터 추출된 임의의 특징이거나 다른 종류의 특징의 조합일 수 있다. 또한, 이들 특징은 아티클 상의 이미지의 로컬 공간 배치로부터 추출된 포괄적인 이미지 로컬 특징일 수 있다. 포괄적인 이미지 특징 중에서, SIFT, PCA-SIFT(Ke, Y. and Sukthankar, R., PCA-SIFT: A More Distinctive Representation for Local Image Descriptors, Computer Vision and Pattern Recognition, 2004), SURF(Bay, H., Ess, A., Tuytelaars, T., Van Gool, L., SURF: Speeded Up Robust Features, Computer Vision and Image Understanding(CVIU), Vol. 110, No. 3, pp 346--359, 2008), and 전술한 FIT는 잘 작용할 수 있다. 또한, 그들은, 텍스트 패치 내의 단어 중심 관계(Erol, B., Emilio Antunez, and J.J. Hull, HOTPAPER: multimedia interaction with paper using mobile phones, Proceedings of Multimedia'08, pp. 399-408), 또는 패치 내의 스트로크 중심 배치(Nakia, T., K. Kise, and M. Iwamura, Use of affine invariants in locally likely arrangement hashing for camera-based document image retrieval, Proceedings of 7th Int'l Workshop DAS'06, pp 541-552)에 의거하는 이미지 특징일 수 있다. 이들 특징은 문서 이미지의 부분이므로, 이들은 바코드와는 달리 명확한 바운더리를 가지지 않는다. 또한, 복수 위치의 특징이 식별 정확도를 향상시키는데 요구된다면, 이들 기술은 이들 그룹 특징에 대해 명확한 바운더리를 가지지 않는다. 명확한 특징 바운더리가 없다면, 종이 문서 강화 시스템의 사용자는, 시스템이 패치를 식별하기 위한 충분한 특징량 없이 문서를 포착할 수 있다. 이러한 문제를 해결하기 위해서, 인위적인 바운더리로 사용자의 포착을 안내하는 것이 바람직하다. 더 구체적으로, 본 발명의 특정 실시형태에서, 이 바운더리는 패치 식별을 위한 최소 포착 영역을 설정 및 포함하는데 사용된다. 이러한 포착 영역 안내의 도움으로, 이들 본 발명의 실시형태는 특징 데이터베이스 내의 인덱싱된 특징을 극적으로 줄인다. 이 본 발명의 특징 줄임은 식별 정확도와 식별 속도를 향상시키는데 매우 도움이 될 수 있다.
본 발명의 하나 이상의 실시형태에 따르면, 다른 포착 배향(카메라 광학 축선은 종이에 거의 수직이라 가정함)에서 충분한 특징을 보장하기 위해서, 도 2에 나타낸 특징 바운더리 원(201)은 인위적인 특징 바운더리로서 임시적으로 사용된다. 특징 바운더리 원은 패치를 식별하는데 사용될 수 있는 특징을 둘러싸는 페이지 상의 영역 또는 패치를 규정한다. 종이 패치 식별 측면에서, 원이 클 수록, 더 많은 특징이 사용되어 종이 패치 식별을 용이하게 할 수 있다. 한편, 원이 클 수록, 페이지마다 EMM이 더 작게 위치되게 될 수 있고, 원이 클 수록, 특징 저감으로부터 이점이 더 적어질 수 있다. 또한, 특정 사이즈를 넘는 큰 원은, 카메라 폰에 의해서는 시야 및 해상도의 한계로 인해 충분히 사용될 수 없다.
본 발명의 하나 이상의 실시형태에 따르면, 원 사이즈(즉, 도 2의 반경 R)를 고려하는 것 외에도, 원 위치(즉, 도 2의 중심점(107)(X,Y))도 패치 식별에 중요하다. 밀집된 특징 분포를 가지는 위치에 원이 위치되면, 원의 반경(R)은 크게 줄어들 수 있지만, 식별 정확도는 보장되지 않는다. 한편, 공백 위치에 위치된 큰 원은 인식 정확도의 저하를 초래할 수 있다. 이들 절차 및 알고리즘은 최적의 원 중심(X,Y) 및 반경(R)을 찾아내는 본 발명의 방법을 제공한다.
b. 매체 유형 마크
본 발명의 하나 이상의 실시형태에 따르면, 카메라 폰 포착 안내 외에도, 매체 유형(예를 들면, 오디오, 비디오, 웹링크(weblink)) 정보는 강화된 종이 문서의 판독자에게 또한 유용하다. 도 2에 도시된 예시적인 EMM은 이 EMM과 비디오 링크가 연관되어 있음을 나타내는 비디오 아이콘(203)을 포함한다. 매체 유형에 대한 아이콘 정보는 또 다른 원(202)(매체 유형 아이콘 바운더리라 함)에 의해 둘러싸인다. 이 원(202)은 아이콘 정보(203)를 강조하는데 유용하다. 한편, 이는 특징 바운더리 마크(201)와 시각적으로 일치한다.
본 발명의 하나 이상의 실시형태에 따르면, 매체 아이콘(203)은 사용자의 주의를 끌 도록 특정 사이즈가 되게 생성된다. 다른 관점에서, 이 마크(203)는 문서 패치 식별을 위해 적당한 특징 수를 줄여서는 안 된다. 본 발명의 방법론의 측면에 따른 알고리즘은 아이콘 마크에 대해 최적의 중심점(206)(X,Y)을 찾아내는 방법을 제공한다.
c. 앵커 포인트 및 지시 화살표
본 발명의 하나 이상의 실시형태에 따르면, 도 2에서의 상대적으로 작은 원(202)은 그 자신을 종이 상의 특정 위치에 링크시키기 위한 분명한 지점을 가지지 않기 때문에, 종이 상의 원으로 둘러싸인 아이콘 마크를 이용한 해상도는 낮다. 때때로, 이 낮은 해상도는 정확한 정보를 사용자에게 전달하기 곤란하게 할 수 있다. 예를 들면, 도면에서 서로 근접한 복수의 기계 부품이 있고 많은 부품에 대해 3D 모델이 있다면, 사람이 원으로 둘러싸인 아이콘 마크를 그들의 해당 부품과 연관시키는 것은 곤란할 것이다. 이 문제를 해결하기 위해서, 문서 생성자는 본 발명의 시스템의 실시형태에 의해 촉진되어, 앵커 포인트(m,n)로서 특정 위치를 선택하여 원으로 둘러싸인 아이콘으로부터의 앵커 포인트를 지시하는 화살표를 추가한다. 그리고, 이 화살표 및 원으로 둘러싸인 아이콘은 특정 위치(m,n)에 대한 콜아웃을 형성한다.
d. 그래픽 효과
본 발명의 하나 이상의 실시형태에 따르면, 원본 문서에 대한 영향을 줄이기 위해서, 채색된 영역을 대신하여 윤곽이 선택되어 매체 유형 아이콘을 나타낸다. 일반적으로 인간은 알파-블렌딩 이미지를 분리하는데 능숙하기 때문에, 원본 문서와의 알파-블렌딩 매체 유형 아이콘은 원본 문서에의 의미있는 영향을 더 저감한다. 다른 컬러 채널 및 영역에 대한 알파-블렌딩 계수를 변경함으로써, 본 발명의 개념의 실시형태는 EMM 표시 영역 내의 텍스트 컬러 또는 그림 컬러를 바꿀 수도 있다. 또한, 종이 문서 내의 그래픽 대상은 주로 2D 공간 내에 있기 때문에, 본 발명의 방법론의 실시형태는 EMM에 3D 그래픽 효과를 추가하여, 원본 문서에서 EMM과 다른 그래픽 대상의 분리를 더 용이하게 한다.
본 발명의 하나 이상의 실시형태에 따르면, 도 2에 나타낸 바와 같이, 하나 이상의 본 발명의 EMM은 유사한 외관을 가지고, 즉 큰 원(201)은 작은 원(202)을 둘러싼다. 작은 원(202)은 간단한 아이콘(203) 및 부착된 화살표(205)를 특징으로 한다(도 2 참조). 일부 실시형태의 이러한 외관상의 이러한 동질성은 사용자가 페이지 상의 EMM을 매우 빠르게 찾아내도록 설계된다. EMM의 기능은 전통적인 웹 페이지 상의 단일 색상의 언더라인된 하이퍼링크와 유사하다. 하이퍼링크와는 달리, EMM의 실시형태가 물리적 종이 상에 인쇄되고 의미 있는 아이콘(203)을 사용하여, EMM 표시 문서 위치와 연관된 이용 가능한 매체를 나타낸다.
본 발명의 하나 이상의 실시형태에 따르면, EMM을 포함하는 페이지를 인쇄하는데 사용된 파일의 휘도 채널만을 조정함으로써, 이미지 및 텍스트의 가려짐이 완화되었다. 일 실시형태에 따르면, EMM은 하부의 이미지의 휘도를 제한된 범위에서 다양하게 한다. 컬러 또는 흑백 복사기 및 프린터의 양쪽에 의해 EMM이 양호한 충실도(fidelity)로 재현되기 때문에, 휘도 정보가 선택되었다. 이 실시형태에서, 큰 경계 원과 작은 원의 양쪽이 하부 이미지의 휘도에 더해지면서 드롭 섀도우(drop shadow)는 휘도를 낮춘다.
또한, 본 발명의 하나 이상의 실시형태에 따르면, EMM에 대한 명색(light color), 라인의 두께, 도트의 사이즈의 간단한 선택, 및 콘텐츠의 공간 또는 간격 사이의 도트의 위치시킴으로, EMM이 문서 상의 콘텐츠를 방해하지 않고 사용자가 충분히 볼 수 있도록, 이미지 및 텍스트의 가려짐이 완화될 수 있다.
본 발명의 하나 이상의 실시형태에 따르면, 작고 내부인 원(202)은 매체 아이콘(203) 및 앵커 포인트 화살표(205)를 포함한다. 매체 아이콘(205)은 (예를 들면, 오디오 또는 비디오)에 링크되는 매체의 유형을 그래픽적으로 나타내는 간단한 아이콘이다. 이 아이콘(203)은 작은 원 내에서 휘도가 증가되지 않는 영역으로서 전술한 드롭 섀도우에 의해 나타난다. 앵커 포인트 화살표(205)는 인접한 원(202)의 중심으로터 멀어지게 지시하는 작은 화살표로서 나타난다. 화살표(105)는 페이지 상의 사용자 정의 영역을 지시한다. 화살표의 외관은 그와 관련된 원과 정확히 매치한다.
EMM 위치결정 절차 및 알고리즘의 실시형태
1. EMM 위치결정 규칙 및 절차
본 발명의 하나 이상의 실시형태에 따르면, EMM 오서링 프로세스는 원본 문서를 EMM 오서링 에디터(authoring editor)에 로드시키는 것과 관련될 수 있다. 이어서, 각 페이지의 전체 로컬 이미지 특징이 추출되고, 계속해서 일시 메모리(temporary memory)에 저장될 수 있다. 이어서, 사용자로부터 링크 지점 및 링크되는 매체를 수신한 후, 프로세스는 일시 메모리 내의 로컬 이미지 특징을 이용하여 EMM의 사이즈 및 위치를 결정하고, EMM 내의 로컬 이미지 특징을 결정하고, 사용자로부터의 편집 후에 저장 및/또는 인쇄 요청을 받도록 동작 가능하고, 계속해서 EMM 내의 로컬 이미지 특징 및 링크된 매체 URL을 저장하거나 데이터베이스 내에 보낸다. 프로세스에 대한 특징 데이터베이스 구조는 EMM의 ID 번호, 로컬 이미지 특징의 세트(각 특징은 키 포인트에 해당하는 벡터의 세트를 포함), 및 임베디드 디지털 매체의 로컬 또는 인터넷 주소를 포함할 수 있다.
택일적으로, 오서링 프로세스는 전체 페이지의 모든 이미지 특징을 특징 데이터베이스 내에 저장할 수 있다. 그러므로, 로컬 일시 메모리 내의 로컬 이미지 특징을 이용하여 EMM의 사이즈 및 위치를 결정하는 경우, 프로세스는 수신된 링크 입력의 위치에 의거하여 데이터베이스로부터 이미지 특징을 검색하는 것과 관련될 수 있다. 그러므로 이어서, 프로세스가 로컬 이미지 특징을 저장하는 경우, 프로세스는 EMM 내의 이미지 특징을 관련된 디지털 매체 주소와 함께 다른 참조 테이블 데이터베이스에 복사할 수 있다.
또한, 각 페이지로부터 추출된 특징은 간단히 일시 메모리에 저장될 수 있다. 오서링 툴이 EMM 위치를 결정한 후에, EMM을 페이지에 추가하고, EMM의 주변(EMM 중첩부를 포함)을 잘라내고, 잘라낸 EMM 이미지 내의 시각적 특징을 재연산하고 이들 특징을 DB에 저장한다. 그러므로, 각 EMM에 대해 더 적은 특징이 저장될 필요가 있고, 이로써 DB는 더 많은 EMM을 취급할 수 있다. 또한, 중첩하는 EMM으로 재연산된 특징은 사용자의 포착과 더 양호하게 매치될 수도 있다.
본 발명의 하나 이상의 실시형태에 따르면, EMM 구조는 멀티매체 강화 종이에 대한 판독자의 요구 사항에 주로 초점을 맞춘다. 본 발명의 시스템의 실시형태가 사용자에게 더 양호하게 도움이 되도록, 기계적인 관점에서의 요구 사항의 고려에 주의를 기울였다. 더 구체적으로, 본 발명의 EMM의 실시형태는, 종이 패치 식별 프로세스를 저하시키지 않고 향상시키도록 배치되었다. 이 목적을 달성하기 위해, EMM 배치용 파라미터를 조정하도록 알고리즘이 고안되었다.
본 발명의 하나 이상의 실시형태에 따르면, EMM 조정을 위한 세 가지 파라미터의 기본 세트, 즉 특징 바운더리 원 중심(X,Y), 특징 바운더리 원 반경(R), 및 매체 유형 원 중심(x,y)이 있다. 패치 포함 특징 포인트의 양이 식별 시스템 내의 각 EMM을 구별하는데 충분한 특정 임계치를 넘는다면, 패치 식별 정확도는 많이 변하지 않으므로, 바운더리 원 최적화의 목적이 종이 표면 영역의 최소 대가로 양호한 패치 식별 정확도를 달성할 것이다. EMM에 의한 작은 종이 표면 점유는 본 발명의 시스템의 실시형태에 대해 다음의 이점을 가진다.
1) EMM은 원래의 콘텐츠에 대해 더 적게 방해가 될 것이다.
2) 작은 표면 영역 점유는 페이지마다 EMM을 더 분리해 놓기 쉽게 한다.
3) 패치 식별을 위해 원 내에 키포인트(전한 SIFT/SURF/FIT 키포인트 등)만이 인덱싱될 필요가 있으므로, 작은 표면 영역 점유는 인덱스 서버에 저장되는 키포인트의 양을 저감한다. 저감된 키포인트 양은 식별 속도를 높이는데 도움이 된다.
4) 마크된 작은 영역은 너무 많은 연산을 하지 않도록 판독자가 패치를 제시하도록 안내하여(키포인트의 양이 원에 의해 제어됨), 멀티매체 데이터를 검색하는 판독자의 대기 시간을 절약할 수 있다.
5) 촬상 영역의 하한을 작게 유지함으로써, 휴대전화 포착을 더 편리하게 한다. 더 구체적으로, 큰 원의 포착은 휴대전화와 종이 사이에 큰 거리를 필요로 하는 반면, 작은 원의 포착은 큰 동적 범위로 더 유연하다.
본 발명의 하나 이상의 실시형태에 따르면, 특징 바운더리 원에 대해 작은 반경을 얻기 위해서, 본 발명의 알고리즘은 높은 키포인트 밀도를 가지는 위치에 바운더리 원을 위치시키고 반경을 축소시켜 최소 키포인트 양 요구 조건을 만족시킬 것이다.
본 발명의 하나 이상의 실시형태에 따르면, 이전 섹션에서 설명한 종이 패치 식별 알고리즘으로, 특징 바운더리 원은 최소 가시성 요구 조건보다 보통 훨씬 크다. 본 발명의 알고리즘의 일 실시형태에 따르면, 특징 바운더리 원 내부의 매체 유형 아이콘을 둘러싸는 원은 판독자가 그들을 하나의 EMM으로서 확실히 간주하도록 결정된다. 아이콘 원에 의해 야기된 방해를 줄이기 위해서, 본 발명의 알고리즘의 실시형태는 이 원을 최소 키포인트 밀도를 가지는 위치에 이동시키려 한다. 더 구체적으로, 아이콘 원 사이즈가 고정되면, 원은 원본 문서 내에 최소량의 키포인트를 포함할 것으로 기대된다. 이 절차는 패치 식별 프로세스에 대해 다음의 이점을 가진다.
1) 매체 유형 아이콘 및 그것을 둘러싸는 원은 중요한 특징에 대해 더 적게 방해한다. 이것은 판독자가 원래의 콘텐츠와 아이콘을 분리하는데 도움을 주어, 판독자는 원본 문서를 더 잘 이해할 수 있다.
2) 매체 유형 콜아웃은 주로 반투명 윤곽 및 섀도우로 형성되기 때문에, 콜아웃 및 원본 문서의 콘텐츠는 키포인트가 드문드문한 영역에서 더 두드러진 키포인트를 형성할 수 있다. 이 키포인트 밀도 균형 프로세스는 기계가 더 균일한 분포의 키포인트를 검출하는데 유용하고, 따라서 휴대폰 자세 판단을 위해 더 안정한 좌표 변형 매트릭스를 얻는다. 또한, 더 안정한 매트릭스는 매칭 아웃라이어(outlier)를 제거하여 패치 식별 정확도를 더 향상시키는데도 유용하다.
본 발명의 하나 이상의 실시형태에 따르면, 이들 기본 최적화 접근법 이외에, 일부 추가적인 규칙이 이용되어 EMM을 더 보기 좋게 하고 다양한 상황에서 더 맞도록 하는데 사용된다. 이들 규칙은 다음을 포함한다.
1) 앵커 포인트는 특징 바운더리 원의 내부에 있어야 한다. 그것은 EMM을 더 직관적으로 인식하게 한다. 그것은 원 검색 공간을 줄인다. 또한, 동일 페이지 상의 복수의 EMM을 동일 위치(전역적인 최적의 위치)로 병합하는 것을 피하게 한다.
2) 매체 유형 아이콘 및 그것을 둘러싸는 원은 문서 생성자 선택 앵커 포인트를 포함하지 않아야 한다. 이 방식으로, 원으로부터 외부를 지시하는 화살표가 항상 있을 수 있고 그것은 EMM에 다양한 위치에 더 일관된 외형을 부여한다.
3) 화살표를 더 짧게 하기 위해서, 알고리즘은 아이콘 콜아웃이 앵커 포인트에 더 가까워지게 강제한다.
4) 모든 EMM은 그들의 섀도우를 위해 무한 거리의 동일 광원을 사용할 것이다.
5) 일 구현 방법에서, EMM 모델은 3D 공간에 섀도우를 위한 3레벨 구조를 가진다고 가정한다.
6) 특정 실시형태에서, 새도우를 위한 광은 무한 거리의 좌측 상방으로부터 온다.
2. 원 내의 포인트의 양을 추정하는 고속 알고리즘.
본 발명의 하나 이상의 실시형태에 따르면, 특징 바운더리 원에 대한 최적의 위치 및 사이즈, 또는 아이콘 콜아웃 원에 대한 최적의 위치를 얻기 위해서, 시스템은 원 내부의 키포인트의 양을 카운팅해야 한다. EMM은 이미지 로컬 특징을 극적으로 변경시키면, 시스템은 새로운 파라미터(즉, 위치 및 사이즈)의 세트가 시험될 경우, EMM 표시 패치 내의 모든 특징이 재연산되어야 한다. 이러한 종류의 절차는 합리적인 시간 내에 최적의 파라미터 세트를 얻는 것을 곤란하게 할 것이다. 본 발명의 다양한 실시형태에 따른 우리의 EMM은 주로 에지 및 섀도우를 포함하므로, 문서 패치 내의 EMM의 추가는 키포인트의 양을 많이 줄이지 않을 것이다. EMM 에지는 원래의 콘텐츠가 에지에 가까워진 새로운 형태를 형성할 수 있고 EMM 투명 영역은 원래의 특징에 많은 영향을 끼치지 않을 것이므로, EMM은 그 로컬 영역 내의 키포인트의 양을 증가시킬 가능성이 더 있다. 이를 명심하여, 페이지 내의 키포인트 분포가 EMM 없이 안정하게 이용되어, EMM 특징 바운더리 원 또는 EMM 매체 유형 아이콘 바운더리 내의 실제 특징량을 추종할 수 있다.
본 발명의 하나 이상의 실시형태에 따르면, 본 발명의 시스템은 각각의 EMM 파라미터의 세트를 시험하기 위한 특징 재연산을 생략할 수 있지만, 시스템은 많은 다른 원 파라미터를 가지고 원 내부의 키포인트의 수를 여전히 카운팅해야만 한다. 더 구체적으로, 시스템은 모든 픽셀의 위치를 원의 중심을 시도해볼 필요가 있을 수 있다. 또한, 최적의 해답에 도달하기 전에 다수의 반경을 시도해볼 수 있다. 따라서, 원 내의 포인트의 수를 추정하는 알고리즘은 실제 응용에 대해 고속이어야만 한다.
본 발명의 하나 이상의 실시형태에 따르면, 보통 스캐닝되는 100DPI 페이지의 키포인트의 수(n)는 수 천에 이를 수 있다. 우리가 무차별(brute-force) 검색 접근법을 사용한다고 가정하면, 원 내의 키포인트의 수를 추정하기 위한 연산 복잡도는 O(n)일 것이다. 이것은 너무 시간소모적이어서 실용적이지 않다.
본 발명의 하나 이상의 실시형태에 따르면, 이러한 연산 복잡성의 문제를 극복하기 위해서, 우리는 원 내의 포인트의 양을 추정하는 고속 알고리즘을 설계했다. 이 알고리즘은 키포인트 분포 히스토그램의 집적 이미지(integral image)에 의거한다. 이 알고리즘을 이용하기 위해서, 우리는 반경 R의 원 내의 키포인트의 양을 원 내부에 각 변이 √2R인 정사각형 내의 키포인트의 양에 근사시킨다. 원(300)과 정사각형(301) 사이의 관계는 도 3에 나타낸다. 원 내의 키포인트의 양으로서 Nc를 표시하고, 정사각형(301) 내의 키포인트의 양으로서 Ns를 표시하면, 우리는 Ns≤Nc를 얻을 수 있다. 이 근사는, 정사각형 내의 키포인트의 양이 패치 식별 하한에 도달하는 경우, 패치 식별을 위한 원 내의 충분한 키포인트를 보장할 수 있다.
본 발명의 하나 이상의 실시형태에 따르면, 도 4는 브로셔 페이지(400) 상부에 중첩된 키포인트(401)를 나타낸다. 도 4의 이미지에 대응하여, 도 5의 (a)는 화이트 맵 내의 각각의 검정 컬러 지점이 키포인트인 키포인트 분포 맵(501)을 나타낸다. 도 5의 (b)는 원본과 포인트 사이의 사각형 박스 내에서 키포인트 수에 동등한 강도값(intensity value)을 각각의 포인트가 가지는 누적 키포인트 분포 맵(502)을 나타낸다. 누적 키포인트 분포 맵에서, 각 포인트에서의 값은 그 좌측 상부 영역에서의 키포인트의 양과 동등하다. 이미지 내의 픽셀의 양을 N이라 가정하면, 이 누적 키포인트 분포 맵을 얻기 위한 연산의 복잡도는 O(N)이다. 알고리즘은 이 맵을 단 한번 연산할 필요가 있고 시스템은 각 이미지에 대해 이 맵을 사전 연산할 수 있으므로, 문서 생성자가 최적의 EMM 배치를 얻을 위해 이 접근법을 이용하는 경우, 이 맵의 연산의 복잡도가 최적화에 크게 영향을 미치지 않을 것이다.
본 발명의 하나 이상의 실시형태에 따르면, 이 시스템은 누적 키포인트 분포 맵으로, 일정 시간 내에 정사각형 내의 키포인트의 양을 연산할 수 있다. 정사각형(도 6에서의 ABCD)은 그 각 변이 하나의 이미지 바운더리 또는 다른 이미지 바운더리에 평행하고, 누적 분포 맵 상의 포인트(A, B, C, D)에 대한 값은 각각 NA, NB, NC, ND라 가정한다(도 6 참조). 도 3의 원과 함께, 시스템은 정사각형 내의 키포인트의 수를 이용하여, 원 내의 키포인트의 수를 추정한다. 도 5의 누적 키포인트 분포를 이용하여 정사각형 내의 키포인트의 수를 계산할 수 있다. 시스템은 다음의 방정식으로, 정사각형(ABCD) 내의 키포인트의 양(NSQ)을 결정할 수 있다.
NSQ = NA + NC - NB -ND
본 발명의 하나 이상의 실시형태에 따르면, 이 방정식으로부터, 시스템은 하나의 덧셈 두 개의 뺄셈으로 정사각형 내의 키포인트의 양을 결정할 수 있다. 이것은 두 개의 곱셈, 두 개의 덧셈 및 하나의 뺄셈을 이용하여 각 키포인트를 확인하는 무차별 접근법보다 훨씬 더 효과적이다. 예를 들면, 사용자가 페이지 내의 최적의 원 중심을 찾기 원한다면, 고속 알고리즘에 의해 사용된 연산은 약 3800배 더 빠를 것이다.
3. 최적의 특징 바운더리 원의 결정
본 발명의 하나 이상의 실시형태에 따르면, 원 내의 키포인트의 양을 추정하는 고속 알고리즘으로, 시스템은 모든 픽셀의 위치에 원의 중심의 위치결정을 시도할 수 있다. 또한, 시스템은 최선의 특징 바운더리 원에 대한 최적의 반경을 알 필요도 있다. 최적의 반경을 얻기 위해, 본 발명의 실시형태는 다음의 최적화를 위한 다음의 이진 검색(binary search) 접근법을 사용한다.
while((radiushigh-radiuslow))>SMALLMARGIN)
이 반경의 키포인트의 최대 양>KEYNUMLOWLIMIT이면, 원이 앵커 포인트 및 이 반경의 키포인트의 최대량을 포함하게 하는 원의 중심 위치를 얻는다.
radiushigh = currentradius;
else
radiuslow = currentradius;
end
currentradius = (radiushigh + radiuslow)/2;
end
125와 250 사이의 복수의 원 반경을 이용하면, 이진 검색 접근법은 약 18배 더 빠르다.
4. 매체 유형 아이콘에 대한 최적의 둘레 원의 결정
본 발명의 하나 이상의 실시형태에 따르면, 매체 유형 아이콘은 고정된 사이즈를 가지기 때문에, 이 원의 최적의 위치를 얻는 것은 원이 최소의 키포인트의 양을 포함하게 하는 원 위치를 얻게 한다. 이 최적화 이외에, 전술한 규칙 2, 3을 이용하여 EMM을 더 보기 좋게 할 수 있다. 즉, 둘레 원 중심 및 앵커 포인트 사이의 거리는 둘레 원의 반경보다 커야 한다. 또한, 둘레 원은 짧은 지시 화살표에 대한 앵커 포인트에 대해 '닫혀' 있어야 한다. 화살표를 짧게 하는데 복수의 방법이 있다. 한가지 방법은 앵커 포인트와 둘레 원 중심 사이에 최대 거리를 설정하는 것이다. 다른 접근법은 (X,Y)로부터 (x,y)로의 벡터 및 (X,Y)로부터 (m,n)으로의 벡터를 연산하고 이들 두 개의 백터 사이의 각도를 90°보다 작게 강제하는 것이다. 우리의 현재의 실시예에서는 제 2 접근법을 취한다.
EMM 에 대한 그래픽 효과의 생성
본 발명의 하나 이상의 실시형태에 따르면, 종이 문서 내의 그래픽 대상은 주로 2D 공간 내에 있으므로, EMM에 3D 효과를 추가하는 것은 원본 문서 내의 다른 그래픽 대상으로부터 EMM의 분리를 더 용이하게 할 수 있다. 우리의 현재의 구현 방법에서, 우리는 섀도우에 대해 3D 공간 내에 3레벨 EMM 모델을 사용한다. 3레벨 EMM 모델(700)은 도 7에 나타나 있다. 섀도우에 대하여, 문서의 좌측 상부에서 광이 오는 것으로 가정한다. 이 효과를 모방하기 위해서, 2D 필터 전에 소벨 필터(sobel filter)가 이용될 수 있다. 소벨 필터는 계수 [1 0; 0 -1]를 가진다. 2D 필터는, 도 8에 나타낸 바와 같이 그 대각선 방향으로 형상(800)을 가지며, 모든 다른 필터 위치에 대해 제로 계수를 가진다.
본 발명의 하나 이상의 실시형태에 따르면, 필터링 결과를 EMM 에지와 조합함으로써, 시스템은 각각 검고 하얀 멀티매체 아이콘에 의거하여, 적합한 EMM 그래픽 효과를 생성할 수 있다. 도 9는 일반적인 검고 하얀 멀티매체 아이콘(900) 및 그래픽 효과로 꾸며진 EMM(901)을 나타낸다. 최적의 EMM 파라미터 세트를 찾은 후에 3레벨 EMM 모델에 화살표가 동적으로 추가되므로, 화살표의 그래픽 효과가 다른 EMM 부분에 대한 그래픽 효과와 적절하게 블렌딩된다.
본 발명의 하나 이상의 실시형태에 따르면, 도 10은 EMM을 문서 페이지(1000)와 알파-블렌딩하는 효과를 나타낸다.
본 발명의 하나 이상의 실시형태에 따르면, 실제로 사용자는 비정규 형상의 EMM을 사용하기 원할 수 있다. 비정규 형상의 EMM을 사용하는 이유는 다음을 포함할 수 있다.
ㆍ 사용자가 올바른 방향으로 사각형의 EMM을 항상 포착할 수 있다면, 사각형 EMM은 기계의 특징 연산(배향 연산을 생략)의 속도 향상에 도움을 줄 수 있다.
ㆍ 다른 목적(휴일 기념 또는 브랜드 강화 등)으로, EMM은 다른 비정규 형상을 가질 수 있다.
ㆍ EMM 형상을 적절하게 변경하는 것은 EMM 표시 패치 식별을 도울 수도 있다.
ㆍ EMM 형상은 다른 정보를 전달하는데도 이용될 수 있다.
ㆍ EMM 형상을 변경하는 것은 원본 문서에 대한 방해를 더 저감하기 위해 고려될 수 있다. 도 11은 일부 비정규 형상의 EMM(1101-1104)을 나타낸다.
본 발명의 하나 이상의 실시형태에 따르면, 비정규 형상의 EMM(1200)을 위치시키는 하나의 간단한 접근법은 EMM의 비정규 형상의 구성요소를 디스크 형상의 EMM에 대한 최적의 원(1201)에 맞추는 것이다. 도 12의 (a)는 이 접근법을 나타낸다. 이 접근법은 간단하다. 그러나, 전체의 비정규 형상의 EMM을 포착한다고 가정하면, 이 접근법은 포착된 이미지에 충분한 키포인트를 보장할 수 없다. 전체의 비정규 형상의 EMM을 포착한다고 가정하면, 다음의 접근법(도 12의 (b)에 나타냄)은 포착된 이미지에 충분한 키포인트를 보장할 수 있다.
1. 두 개의 수직 방향으로 비정규 형상(1200)을 투사하여, 두 개의 사영(1202 및 1203)의 세트를 만든다.
2. 각각의 돌기부(1202, 1203)의 세트에 대하여, 비정규 형상의 다른 회전 각도(1204-1, 1204-2)를 각각 가지는 복수의 고정 종횡비(예를 들면, 4:3) 경계 사각형을 생성한다. 사각형 및 회전 각도의 수는 가능한 많은 각도에서 EMM의 주변에 사각형이 들어맞도록 소정의 수로 설정되거나 설계될 수 있다.
3. 모든 사각형에 의해 포함될 수 있는 기준원(reference circle)(1205)을 찾아낸다.
4. 기준원의 원 중심(즉, 최적의 위치)과 비정규 형상의 앵커 포인트 사이의 2D 벡터를 얻는다.
5. 기준원의 최적의 사이즈를 나타내는 기준원(1205) 반경(즉, 최적의 반경)을 얻는다.
6. 최적의 위치 및 원 사이즈를 얻은 후에, 기준원 반경에 대한 실제 원 반경의 비를 이용하여, 비정규 형상(1200)을 위치결정하기 위해 2D 벡터 및 비정규 형상을 스케일링한다.
본 발명의 하나 이상의 실시형태에 따르면, 하부 문서 검색 시스템의 성능을 스캐닝된 문서 데이터베이스에 대해 평가하였으며 EMM 검색 정밀도는 99%를 넘는다.
예시적인 EMM 설계
다양한 디지털 매체 유형의 유효성을 나타내는 EMM의 특정 예시적인 장식 디자인을 도 13 - 도 17에 나타낸다. EMM의 다양한 실시형태의 장식 디자인은 다음의 특징으로 특징지어진다.
1. EMM은 일반적으로 표면(예를 들면, 종이, 플라스틱) 상에 인쇄된다. 인쇄는 오프셋 인쇄기(offset press), 플렉소 인쇄(flexography), 염료 전사법(dye transfer), 잉크젯, 레이저 인쇄, 패드 인쇄, 철판 인쇄, 윤전 그라비어(rotogravure), 스크린 인쇄, 전자 사진 또는 표면에 마크를 만드는 임의의 다른 방법을 통해 이룰 수 있다.
또한, EMM은 비디오 디스플레이(예를 들면, 이-리더(e-reader), LCD 모니터, 및 이-페이퍼(e-paper) 상에 나타날 수 있다.
2. EMM은 작은 원과 같은 매체 유형 아이콘 바운더리를 둘러싸는 큰 원과 같은 특징 바운더리를 가진다. 작은 원은 바람직하게는 단순 아이콘인 매체 유형 아이콘과, 부착된 지시 화살표(도 13 - 도 17)를 특징으로 한다. EMM의 외관에서의 이 동종성은 페이지 상의 EMM을 사용자가 매우 빠르게 찾아내게 디자인된다. 이는 전통적인 웹 페이지 상의 단일 색상의 언더라인된 하이퍼링크와 유사하다.
3. 특징 바운더리(큰 원) 내의 매체 유형 아이콘 바운더리(작은 원)의 배치는 변하기 쉽다(도 13 - 도 17 참조).
4. 부착된 화살표의 위치 및 배향은 변하기 쉽다(도 13 - 도 17 참조).
5. 매체 유형 아이콘 바운더리(작은 원)와 특징 바운더리(큰 원) 사이의 사이즈 관계는 변하기 쉽다.
6. EMM은 인쇄된 페이지 상에 다른 마크를 중첩한다. EMM 및 하부 이미지를 포함하는 페이지를 인쇄하는데 사용된 파일의 휘도 채널만을 조정함으로써, 하부 마크의 가려짐이 완화될 수 있다. EMM의 실시형태는 하부 이미지의 휘도를 다양하게 한다. 컬러와 단색 인쇄 기술에 의해 양호한 충실도로 재현되므로, 휘도 정보가 선택될 수 있다. 이것의 시각적 효과는 인쇄된 페이지 상의 콘텐트를 중첩시키는 연한, 반투명 마크이다.
7. EMM의 에지는 드롭 섀도우에 의해 규정된다(도 13 - 도 17 참조). 모든 바운더리가 그렇게 정의된다. 드롭 섀도우의 휘도 효과는 마크의 본체에 적용된 휘도 효과와 대략 반대이다. 이것의 시각적 효과는 EMM의 경계 및 내부 아이콘의 경계 둘레의 어둡고, 반투명 새도우이다.
디지털 매체를 제공하는 방법
도 18은 본 발명의 일 실시형태에 따른 데이터베이스 및 아티클을 이용함으로써, 디지털 매체를 제공하는 방법의 예시 플로차트를 나타낸다. 본 발명의 일 실시형태에 따르면, 패치의 이미지를 수신할 경우(1800), 이미지로부터 복수의 특징을 추출하고(1801), EMM에 해당하는 디지털 매체를 식별한다(1802). 필요하다면, 디지털 매체가 검색 및 제공된다(1803). 이미지로부터 추출된 특징은 시스템에 어떤 인덱스가 검색될 필요가 있는지를 나타내는 키포인트를 포함할 수 있다.
아티클을 만드는 방법
도 19는 콘텐츠 상에 시각화된 콘텐트 및 임베디드된 매체 마커를 포함하는 아티클을 만드는 예시 플로차트를 나타낸다. 우선, 시스템은 시각화된 콘텐츠의 위치 선택(sellection)을 수신한다(1900). 선택으로부터, EMM에 대한 위치 및 사이즈가 결정된다(1901). 계속해서, 결정된 위치 및 사이즈에 의거하여, EMM이 위치결정된다(1902).
도 20은 시스템의 예시 기능 다이어그램을 나타낸다. 카메라(2001)를 가지는 모바일 디바이스(2000)는 EMM을 포함하는 문서(2002)에 초점을 맞추고, 모바일 디바이스에 피드백을 제공한다. EMM의 검출시, 모바일 디바이스는 데이터베이스(2003)를 참조하여 EMM이 참조되는 콘텐트의 유형을 결정한다. 데이터베이스는 정보를 모바일 디바이스에 반환하고, 이어서 모바일 디바이스는 콘텐트를 실행할 수 있다.
예시적인 모바일 플랫폼
도 21은 본 발명의 방법론의 실시형태가 구현될 수 있는 모바일 플랫폼/원격 서버 시스템(2100)의 실시형태를 나타낸 블록도이다. 시스템(2100)은 모바일 플랫폼(2101) 및 네트워크 자원(2103)을 포함한다.
모바일 플랫폼(2101)은, 모바일 플랫폼(2101)의 다양한 부분을 가로질러 그 사이에서 정보를 통신하는 데이터 버스(2104) 또는 다른 통신 메커니즘, 및 정보를 처리하고 다른 연산 및 제어 태스크를 수행하기 위해 버스(2101)와 연결되는 프로세서(2105)를 포함할 수 있다. 또한, 모바일 플랫폼(2101)은 프로세서(2105)에 의해 실행되는 명령뿐만 아니라 다양한 정보를 저장하기 위해 버스(2104)에 연결되는, 랜덤 액세스 메모리(RAM) 또는 다른 동적 저장 디바이스 등의 휘발성 기억 장치(2106)를 포함한다. 또한, 휘발성 기억 장치(2106)는 프로세서(2105)에 의한 명령의 실행 동안에, 일시적인 변수 또는 다른 중간 정보를 저장하는데 사용될 수 있다. 모바일 플랫폼(2101)은 다양한 시스템 구성 파라미터뿐만 아니라, 기본 입출력 체계(BIOS) 등의 프로세서(2105)에 대한 정적 정보 및 명령을 저장하기 위해 버스(2104)에 연결된 판독 전용 메모리(ROM 또는 EPROM)(2107) 또는 다른 정적 저장 디바이스를 더 포함할 수 있다. 정보 및 명령을 저장하기 위해, 자기 디스크, 광학 디스크, 또는 고체 상태 플래시 메모리 디바이스 등의 영구 저장 디바이스(2108)가 설치되어 버스(2101)에 연결된다.
정보를 시스템 관리자 또는 모바일 플랫폼(2101)의 사용자에게 표시하기 위해, 모바일 플랫폼(2101)은 버스(2104)를 통해 음극선관(CRT), 플라스마 디스플레이, 또는 액정 디스플레이(LCD) 등의 디스플레이(2109)에 연결될 수 있다. 디스플레이(2109)는 본 발명의 EMM과 연관된 디지털 매체를 보는데 사용될 수 있다. 정보 및 명령 셀렉션을 프로세서(2105)에 통신하기 위해, 문자숫자 및 다른 키를 포함하는 입력 디바이스(2110)는 버스(2101)에 연결된다. 방향 정보 및 명령 선택을 프로세서(2105)에 통신하고 디스플레이(2109) 상의 커서 움직임을 제어하기 위해, 다른 유형의 사용자 입력 디바이스는 마우스, 트랙볼, 또는 커서 방향키 등의 커서 제어 디바이스(2111)이다. 일반적으로 이 입력 디바이스는 디바이스가 평면에서의 위치를 나타내게 하는 제 1 축(예를 들면, x) 및 제 2 축(예를 들면, y)의 두개의 축으로 두 가지 정도의 자유도를 가진다.
카메라(2112)는 버스(2104)를 통해 모바일 플랫폼(2101)에 연결되어 본 발명의 EMM을 가지는 대상을 촬상하는데 사용될 수 있다.
본 발명은 여기에서 설명하는 기술을 구현하는 컴퓨터 시스템(2100)의 사용과 관련된다. 일 실시형태에서, 본 발명의 시스템은 모바일 플랫폼(2101) 등의 기계에 상주할 수 있다. 본 발명의 일 실시형태에 따르면, 여기에서 설명된 기술은 휘발성 메모리(2106)에 포함된 하나 이상의 일련의 하나 이상의 명령을 실행하는 프로세서(2105)에 응하여 컴퓨터 시스템(2100)에 의해 수행된다. 이러한 명령은 영구 저장 디바이스(2108) 등의 다른 컴퓨터 판독가능한 매체로부터 휘발성 메모리(2106) 내로 판독될 수 있다. 휘발성 메모리(2106)에 포함된 일련의 명령의 실행은 여기에서 설명한 프로세스 단계를 프로세서(2105)가 수행하게 한다. 택일적인 실시형태에서, 하드웨어 내장 회로는 소프트웨어 명령을 대신하거나 그와 조합되어 사용되어 본 발명을 구현할 수 있다. 그러므로, 본 발명의 실시형태는 하드웨어 회로와 소프트웨어의 어느 특정 조합으로 제한되지 않는다.
여기에서 사용되는 "컴퓨터 판독가능한 매체"라는 용어는 실행을 위해 명령을 프로세서(2105)에 제공하는데 관련되는 임의의 매체라 한다. 컴퓨터 판독가능한 매체는 여기에서 설명되는 방법 및/또는 기술 중 어느 것을 구현하기 위한 명령을 전달할 수 있는 기계 판독가능한 매체의 일 예일 뿐이다. 이러한 매체는 비휘발성 매체 및 휘발성 매체를 포함하는 많은 형태를 취할 수 있지만 그에 제한되는 것은 아니다. 비휘발성 매체는, 예를 들면 저장 디바이스(2108) 등의 광학 또는 자기 디스크를 포함한다. 휘발성 매체는 휘발성 기억 장치(2106) 등의 동적 메모리를 포함한다.
컴퓨터 판독가능한 매체의 일반적인 형태는, 예를 들면 플로피 디스크, 플렉서블 디스크, 하드 디스크, 자기 테이프, 또는 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 천공 카드, 종이 테이프, 홀(hole)의 패턴을 가지는 임의의 다른 물리적인 매체, RAM, PROM, EPROM, FLASH-EPROM, 플래시 드라이브, 메모리 카드, 임의의 다른 메모리 칩 또는 카트리지, 또는 컴퓨터가 판독할 수 있는 임의의 다른 매체를 포함한다.
다양한 형태의 컴퓨터 판독가능한 매체는 실행을 위해 하나 이상의 일련의 하나 이상의 명령을 프로세서(2105)에 전달하는 것과 관련될 수 있다. 예를 들면, 최초에 명령은 원격 컴퓨터로부터 자기 디스크 상에 전달될 수 있다. 택일적으로, 원격 컴퓨터는 그 동적 메모리에 명령을 로드하고 모뎀을 이용하여 전화선을 거쳐 명령을 보낼 수 있다. 컴퓨터 시스템에의 로컬된 모뎀은 전화선 상에서 데이터를 수신하고 적외선 송신기를 이용하여 데이터를 적외선 신호로 변환할 수 있다. 적외선 검출기는 적외선 신호로 전달된 데이터를 수신하고 적합한 회로가 그 데이터를 데이터 버스(2104)에 위치시킬 수 있다. 버스(2104)는 프로세서(2105)가 명령을 검색하고 실행하는 휘발성 기억 장치(2106)에 데이터를 전달한다. 휘발성 메모리(2106)에 의해 수신된 명령은 프로세서(2105)에 의한 실행 전이나 후에 영구 저장 디바이스(2018)에 선택적으로 저장될 수 있다. 명령은 종래 기술에서 잘 알려진 다양한 네트워크 데이터 통신 프로토콜을 이용하여 인터넷을 통해 모바일 플랫폼(2101) 내에 다운로드될 수도 있다.
또한, 모바일 플랫폼(2101)은 데이터 버스(2104)에 연결된 네트워크 인터페이스 카드(2113) 등의 통신 인터페이스를 포함한다. 통신 인터페이스(2113)는 로컬 네트워크(2115)에 연결되는 네트워크 링크(2114)에 연결된 양방향 데이터 통신을 제공한다. 예를 들면, 통신 인터페이스(2113)는 해당 유형의 전화선에 데이터 통신 접속을 제공하는 종합 정보 통신망(ISDN) 카드 또는 모뎀일 수 있다. 다른 예로서, 통신 인터페이스(2113)는 호환 랜(compatible LAN)으로의 데이터 통신 접속을 제공하는 로컬 에어리어 네트워크 인터페이스 카드(LAN NIC)일 수 있다. 또한, 잘 알려진 802.11a, 802.11b, 802.11g 및 블루투스 등의 무선 링크가 네트워크 구현에 이용될 수 있다. 임의의 이러한 구현 방법에서, 통신 인터페이스(2113)는 다양한 유형의 정보를 나타내는 디지털 데이터 스트림을 전달하는 전기, 전자기 또는 광학 신호를 송수신한다.
일반적으로, 네트워크 링크(2113)는 하나 이상의 네트워크를 통한 데이터 통신을 다른 네트워크 자원에 제공한다. 예를 들면, 네트워크 링크(2114)는 로컬 네트워크(2115)를 통한 접속을 호스트 컴퓨터(2116), 또는 네트워크 기억 장치/서버(2122)에 제공할 수 있다. 기억 장치/서버(2122)는 본 발명의 EMM과 연관된 디지털 매체를 저장 및 검색하는데 사용될 수 있고, 상기 디지털 매체는 네트워크(2115)를 통해 모바일 플랫폼(2101)에 송신될 수 있다. 추가적으로 또는 택일적으로, 네트워크 링크(2114)는 게이트웨이/파이어월(2117)을 통해 인터넷 등의 광역 또는 전역적 네트워크(2118)에 접속될 수 있다. 그러므로, 모바일 플랫폼(2101)은 원격 네트워크 기억 장치/서버(2119) 등의 인터넷(2118) 상의 어느 곳이나 위치하는 네트워크 자원을 액세스할 수 있다. 한편, 모바일 플랫폼(2101)은 로컬 영역 네트워크(2115) 및/또는 인터넷(2118) 상의 어느 곳이나 위치하는 클라이언트에 의해 액세스될 수도 있다. 네트워크 클라이언트(2120, 2121)는 스스로 플랫폼(2101)과 유사한 모바일 플랫폼에 의거하여 구현될 수 있다.
로컬 네트워크(2115) 및 인터넷(2118) 양쪽 모두는 디지털 데이터 스트림을 전달하는 전기, 전자기 또는 광학 신호를 사용한다. 디지털 데이터를 모바일 플랫폼(2101)에, 그리고 그로부터 전달하는, 다양한 네트워크를 통한 신호, 네트워크 링크(2114) 상의 통신 인터페이스(2113)를 통한 신호는 정보를 전달하는 반송파의 예시적인 형태이다.
모바일 플랫폼(2101)은 인터넷(2118), 랜(2115), 네트워크 링크(2114) 및 통신 인터페이스(2113)를 포함하는 다양한 네트워크(들)를 통해, 프로그램 코드를 포함하여, 메시지를 송신하고 데이터를 수신할 수 있다. 인터넷 예에서, 시스템(2101)이 네트워크 서버로서 역할하는 경우, 인터넷(2118), 게이트웨이/파이어월(2117), 로컬 에어리어 네트워크(2115) 및 통신 인터페이스(2113)를 통해 클라이언트(들)(2120 및/또는 2121) 상에서 실행되는 응용 프로그램용 데이터 또는 요구된 코드를 전송할 수 있다.
수신된 코드는 그것이 수신되었을 때, 각각 프로세서(2105)에 의해 실행되고/실행되거나, 영구 또는 휘발성 저장 디바이스(2108, 2106) 또는 추후 실행을 위해 다른 비휘발성 기억 장치에 저장될 수 있다.
마지막으로, 여기에서 설명한 프로세스 및 기술은 고유하게 임의의 특정 장치에 관련되는 것은 아니고 구성요소의 임의의 적절한 조합에 의해 구현될 수 있다. 또한, 다양한 유형의 범용 디바이스가 여기에서 설명된 기술에 따라 이용될 수 있다. 여기에서 설명된 방법 단계들을 수행하는 전용 장치를 구성하는 것도 이롭다고 판명될 수 있다. 본 발명은 모든 점에서 제한이 아닌 도시를 위해 특정 예와 관련하여 설명했다. 하드웨어, 소프트웨어, 및 펌웨어의 많은 다른 조합이 본 발명을 실시하는데 적합할 것임을, 당업자는 인식할 것이다. 예를 들면, 상술한 소프트웨어는 어셈블러, C/C++, 펄(perl), 셸(shell), PHP, 자바 등과 같은 방대한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.
또한, 여기에서 설명된 본 발명의 명세서 및 실시를 고려하여, 당업자에게 본 발명의 다른 구현 방법이 명확해질 것이다. 임베디드 매체 마커 및 이러한 임베디드 매체 마커를 구현하는 아티클을 생성하고 이용하기 위해, 설명된 실시형태의 다양한 측면 및/또는 구성요소가 시스템에서 단일 또는 임의의 조합으로 사용될 수 있다. 본 발명의 본래의 범주 및 사상은 다음의 특허청구범위에 의해 나타나는 것으로, 본 명세서 및 예들은 단지 예시로서 고려되는 것이다.
101 : 큰 EMM 바운더리 102 : 작은 바운더리
103 : 그래픽 110 : EMM
111 : 종이 맵 112 : 모바일 장치
200 : EMM 201 : 특징 바운더리
202 : 매체 유형 아이콘 바운더리 203 : 매체 아이콘
204 : 앵커 포인트 205 : 지시 화살표
300 : 원 301 : 정사각형
401 : 키포인트 2101 : 모바일 플랫폼
2104 : 데이터 버스 2105 : 프로세서
2109 : 디스플레이 2110 : 키보드

Claims (34)

  1. 데이터베이스 및 아티클(article)을 이용하여 디지털 매체를 제공하는 컴퓨터 구현된 디지털 매체 제공 방법이며, 상기 데이터베이스는 소정의 공간에 시각화된 콘텐트(content)의 일부분에 해당하는 정보 세트를 저장하고, 상기 정보 세트는 상기 콘텐트의 로컬 공간 배치로부터 추출된 일부분 내의 복수의 로컬 이미지 특징 및 상기 일부분에 대응하는 임베디드 디지털 매체를 포함하며, 상기 콘텐트의 일부분은 그 콘텐트의 일부분을 식별하기에 충분한 상기 복수의 로컬 이미지 특징, 상기 콘텐트의 일부분을 유지하는 상기 아티클 및 상기 콘텐트의 일부분 상의 적어도 하나의 임베디드 매체 마커를 포함하는 영역을 갖고, 상기 임베디드 매체 마커는 상기 콘텐트의 일부분을 둘러싸는 시각화 특징 바운더리를 포함하는 컴퓨터 구현된 디지털 매체 제공 방법으로서,
    a. 요청자로부터, 상기 아티클 상의, 상기 시각화 특징 바운더리를 포함하는 상기 임베디드 매체 마커의 이미지를 포함하는 패치(patch)의 이미지를 수신하는 단계,
    b. 상기 패치의 이미지로부터 상기 시각화 특징 바운더리 내의 로컬 이미지 특징을 추출하고, 상기 추출된 로컬 이미지 특징을 상기 정보 세트의 복수의 로컬 이미지 특징과 비교함으로써 상기 추출된 로컬 이미지 특징으로부터 임베디드 매체 마커를 식별하는 단계,
    c. 상기 임베디드 매체 마커에 해당하는 임베디드 디지털 매체를 식별하는 단계,
    d. 상기 데이터베이스로부터 상기 식별된 임베디드 디지털 매체를 검색하는 단계, 및
    e. 상기 검색된 디지털 매체를 상기 요청자에게 제공하는 단계를 포함하는 컴퓨터 구현된 디지털 매체 제공 방법.
  2. 제 1 항에 있어서,
    상기 임베디드 매체 마커는 매체 유형 바운더리 내에 배치된 매체 유형 아이콘을 포함하는 매체 유형 표시자(indicator)를 더 포함하고, 상기 매체 유형 아이콘은 상기 임베디드 디지털 매체의 매체 유형을 나타내는 컴퓨터 구현된 디지털 매체 제공 방법.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 임베디드 매체 마커는 상기 아티클의 시각화된 콘텐트와 알파-블렌딩(alpha-blending)되는 컴퓨터 구현된 디지털 매체 제공 방법.
  6. 아티클로서,
    a. 상기 아티클의 표면 상에 시각화된 콘텐트, 및
    b. 상기 아티클의 표면 상의, 임베디드 디지털 대상에 대응하고 시각화된 콘텐트에 중첩되는 임베디드 매체 마커로서, 상기 시각화된 콘텐트의 로컬 공간 배치로부터 추출된 상기 시각화된 콘텐트의 복수의 로컬 이미지 특징을 둘러싸는 시각화 특징 바운더리를 포함하는 상기 임베디드 매체 마커를 포함하고,
    상기 임베디드 매체 마커는, 상기 특징 바운더리 내의 상기 복수의 로컬 이미지 특징의 일부를 둘러싸서, 상기 시각화 특징 바운더리 내의 로컬 이미지 특징을 추출하고 상기 임베디드 매체 마커의 식별에 대해 추출된 로컬 이미지 특징을 이용함으로써 상기 임베디드 매체 마커 및 상기 임베디드 매체 마커에 해당하는 상기 임베디드 디지털 대상의 컴퓨터 구현의 식별을 가능하게 하도록 생성되는 아티클.
  7. 제 6 항에 있어서,
    상기 아티클은 2차원 표면 매체인 아티클.
  8. 제 6 항에 있어서,
    상기 임베디드 매체 마커는 상기 아티클의 시각화된 콘텐트와 알파-블렌딩되는 아티클.
  9. 제 6 항에 있어서,
    상기 임베디드 매체 마커는 매체 유형 바운더리를 포함하는 매체 유형 표시자를 더 포함하고, 상기 매체 유형 표시자는 상기 특징 바운더리 내에 배치되는 아티클.
  10. 제 9 항에 있어서,
    상기 임베디드 매체 마커의 상기 매체 유형 표시자는 상기 매체 유형 바운더리 내에 배치된 매체 유형 아이콘을 더 포함하고, 상기 매체 유형 표시자는 상기 임베디드 매체 대상의 매체 유형의 그래픽 표시인 아티클.
  11. 제 9 항에 있어서,
    상기 매체 유형 표시자는 상기 시각화된 콘텐트 내의 위치를 지시하는 화살표를 더 포함하고, 상기 임베디드 매체 마커는 상기 시각화된 콘텐트 내의 상기 위치와 연관된 디지털 매체 대상의 유효성을 나타내는 아티클.
  12. 제 9 항에 있어서,
    상기 특징, 상기 매체 유형 표시자는 상기 특징 바운더리 내에 배치되는 아티클.
  13. 제 6 항에 있어서,
    상기 임베디드 매체 마커의 하나 이상의 에지는 드롭 섀도우(drop shadow) 그래픽 효과에 의해 규정되는 아티클.
  14. 삭제
  15. 제 6 항에 있어서,
    상기 임베디드 매체 마커는 3차원을 나타내는 그래픽 효과를 포함하는 아티클.
  16. 시각화된 콘텐트와 상기 콘텐트 상의 시각화 특징 바운더리를 포함하는 임베디드 매체 마커를 포함하는 아티클을 형성하는 컴퓨터 구현된 아티클 형성 방법으로서,
    a. 상기 아티클의 시각화된 콘텐트 상의 위치의 사용자 선택을 수신하는 단계,
    b. 상기 임베디드 매체 마커 내의 상기 선택된 위치 근처에 있는 상기 시각화된 콘텐트의 로컬 공간 배치로부터 추출된 복수의 로컬 이미지 특징의 양에 의거하여 상기 임베디드 매체 마커의 위치 및 사이즈를 결정하는 단계, 및
    c. 상기 결정된 위치 및 사이즈에 의거하여 상기 아티클 상에 상기 임베디드 매체 마커를 위치결정하는 단계를 포함하고,
    상기 임베디드 매체 마커는 상기 시각화된 콘텐트 내의 상기 위치와 연관된 디지털 매체 대상의 유효성을 나타내고,
    상기 임베디드 매체 마커는 상기 콘텐트의 선택된 부분을 식별하기에 충분한 상기 복수의 로컬 이미지 특징을 포함하는 영역을 둘러싸는 시각화 특징 바운더리를 포함하는 컴퓨터 구현된 아티클 형성 방법.
  17. 삭제
  18. 제 16 항에 있어서,
    상기 임베디드 매체 마커를 상기 아티클의 시각화된 콘텐트와 알파-블렌딩하는 단계를 더 포함하는 컴퓨터 구현된 아티클 형성 방법.
  19. 제 16 항에 있어서,
    상기 임베디드 매체 마커는 매체 유형 바운더리를 포함하는 매체 유형 표시자를 더 포함하고, 상기 매체 유형 표시자는 상기 특징 바운더리 내에 배치되는 컴퓨터 구현된 아티클 형성 방법.
  20. 제 19 항에 있어서,
    상기 임베디드 매체 마커의 매체 유형 표시자는 상기 매체 유형 바운더리 내에 배치된 매체 유형 아이콘을 더 포함하고, 상기 매체 유형 아이콘은 상기 디지털 매체 대상의 매체 유형의 그래픽 표시인 컴퓨터 구현된 아티클 형성 방법.
  21. 제 19 항에 있어서,
    상기 매체 유형 표시자는 상기 디지털 매체 대상이 관련되는 상기 시각화된 콘텐트 내의 위치를 지시하는 화살표를 더 포함하는 컴퓨터 구현된 아티클 형성 방법.
  22. 제 16 항에 있어서,
    상기 임베디드 매체 마커의 하나 이상의 에지는 드롭 섀도우 효과에 의해 규정되는 컴퓨터 구현된 아티클 형성 방법.
  23. 제 16 항에 있어서,
    상기 아티클 상의 상기 임베디드 매체 마커를 위치결정하는 단계는,
    a. 상기 임베디드 매체 마커의 형상을 수직한 두 방향으로 투사하여, 제 1 사영 및 제 2 사영을 얻는 단계,
    b. 상기 제 1 사영 및 제 2 사영 각각에 대하여, 상기 임베디드 매체 마커의 형상의 고정 종횡비 경계 사각형(fixed-aspect-ratio bounding rectangle)을 생성하여 복수의 경계 사각형을 형성하는 단계,
    c. 상기 복수의 경계 사각형 각각에 의해 포함될 수 있는 기준원(reference circle)을 결정하는 단계,
    d. 상기 위치와 상기 기준원의 중심 사이에 2차원 벡터를 생성하는 단계,
    e. 상기 기준원의 반경을 결정하는 단계, 및
    f. 상기 기준원의 반경에 대한 상기 임베디드 매체 마커의 반경의 비를 이용하여, 상기 임베디드 매체 마커를 위치결정하기 위해 상기 2차원 벡터 및 상기 임베디드 매체 마커를 스케일링(scaling)하는 단계를 포함하는 컴퓨터 구현된 아티클 형성 방법.
  24. 제 19 항에 있어서,
    상기 임베디드 매체 마커의 위치 및 사이즈를 결정하는 단계는 특징 바운더리 원 중심, 특징 바운더리 원 반경, 및 매체 유형 원 중심 중 적어도 하나를 결정하는 단계를 포함하는 컴퓨터 구현된 아티클 형성 방법.
  25. 삭제
  26. 제 24 항에 있어서,
    상기 임베디드 매체 마커의 위치 및 사이즈를 결정하는 단계는 상기 임베디드 매체 마커의 결정된 위치 및 사이즈 내의 로컬 이미지 특징의 수를 추정하여 상기 임베디드 매체 마커 내에 충분한 로컬 이미지 특징이 존재하는지를 결정하는 단계를 더 포함하는 컴퓨터 구현된 아티클 형성 방법.
  27. 제 26 항에 있어서,
    상기 로컬 이미지 특징의 수를 추정하는 것은 상기 특징 바운더리 원에 근사하는 정사각형을 유도하는 것과, 상기 유도된 정사각형 내의 로컬 이미지 특징의 수를 상기 콘텐트의 누적 키포인트 분포 맵(cumulative keypoint distribution map)에 의거하여 결정하는 것을 포함하는 컴퓨터 구현된 아티클 형성 방법.
  28. 데이터베이스 및 아티클을 이용하여 디지털 매체를 제공하는 명령을 저장하는 컴퓨터 판독가능한 기록 매체이며, 상기 데이터베이스는 소정의 공간에 시각화된 콘텐트의 일부분에 해당하는 정보 세트를 저장하고, 상기 정보 세트는 상기 콘텐트의 로컬 공간 배치로부터 추출된 일부분 내의 복수의 로컬 이미지 특징 및 상기 일부분에 해당하는 임베디드 디지털 매체를 포함하며, 상기 콘텐트의 일부분은 그 콘텐트의 일부분을 식별하기에 충분한 상기 복수의 로컬 이미지 특징, 상기 콘텐트의 일부분을 유지하는 상기 아티클 및 상기 콘텐트의 일부분 상의 적어도 하나의 임베디드 매체 마커를 포함하는 영역을 갖고, 상기 임베디드 매체 마커는 상기 콘텐트의 일부분을 둘러싸는 시각화 특징 바운더리를 포함하는 컴퓨터 판독가능한 기록 매체로서,
    상기 명령은, 프로세서에 의해 실행될 때,
    a. 요청자로부터, 상기 아티클 상의, 시각화 특징 바운더리를 포함하는 상기 임베디드 매체 마커의 이미지를 포함하는 패치의 이미지를 수신하는 것,
    b. 상기 패치의 이미지로부터 상기 시각화 특징 바운더리 내의 로컬 이미지 특징을 추출하고, 상기 추출된 로컬 이미지 특징을 상기 정보 세트의 복수의 로컬 이미지 특징과 비교함으로써 상기 추출된 로컬 이미지 특징으로부터 임베디드 매체 마커를 식별하는 것,
    c. 상기 임베디드 매체 마커에 해당하는 임베디드 디지털 매체를 식별하는 것,
    d. 상기 데이터베이스로부터 상기 임베디드 디지털 매체를 검색하는 것, 및
    e. 상기 검색된 디지털 매체를 상기 요청자에게 제공하는 것을 포함하는 방법을 행하게 하는 컴퓨터 판독가능한 기록 매체.
  29. 제 28 항에 있어서,
    상기 임베디드 매체 마커는 매체 유형 바운더리 내에 배치된 매체 유형 아이콘을 포함하는 매체 유형 표시자를 더 포함하고, 상기 매체 유형 아이콘은 상기 임베디드 디지털 매체의 매체 유형을 나타내는 컴퓨터 판독가능한 기록 매체.
  30. 삭제
  31. 삭제
  32. 제 28 항에 있어서,
    상기 임베디드 매체 마커는 상기 아티클의 상기 시각화된 콘텐트와 알파-블렌딩되는 컴퓨터 판독가능한 기록 매체.
  33. 콘텐트를 갖는 문서와, 상기 콘텐트의 로컬 공간 배치로부터 추출된 상기 문서의 패치 내의 복수의 로컬 이미지 특징에 의거하여 인덱스 정보와 연관하여 디지털 매체 대상을 나타내는 임베디드 매체 마커를 포함하는 디지털 매체를 제공하는 컴퓨터 구현된 디지털 매체 제공 방법으로서,
    요청자로부터, 상기 임베디드 매체 마커의 이미지를 포함하는 상기 문서의 적어도 일부분의 이미지를 수신하는 단계―상기 임베디드 매체 마커는 상기 문서의 일부분을 둘러싸서 상기 문서의 상기 패치를 규정하는 시각화 특징 바운더리 및 상기 특징 바운더리 내에서 매체 아이콘을 둘러싸는 매체 유형 바운더리를 가짐―와,
    상기 시각화 특징 바운더리 내에서 상기 콘텐트의 로컬 이미지 특징을 추출하는 단계,
    상기 시각화 특징 바운더리 내로부터 추출된 로컬 이미지 특징을 상기 디지털 매체 대상과 연관하여 저장된 상기 인덱스 정보의 복수의 로컬 이미지 특징과 비교하여 상기 임베디드 매체 마커에 해당하는 디지털 매체 대상을 식별하는 단계와,
    상기 식별된 디지털 매체 대상을 검색하는 단계와,
    상기 검색된 디지털 매체 대상을 상기 요청자에게 제공하는 단계를 포함하는 컴퓨터 구현된 디지털 매체 제공 방법.
  34. 제 33 항에 있어서,
    상기 임베디드 매체 마커 내의 상기 매체 아이콘을 식별하고, 상기 식별된 매체 아이콘을 사용하여 상기 디지털 매체 대상을 식별하는 단계를 더 포함하는 컴퓨터 구현된 디지털 매체 제공 방법.
KR1020100125434A 2009-12-23 2010-12-09 임베디드 매체 마커, 및 이를 생성하고 이용하는 시스템 및 방법 KR101500530B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/646,841 US9245043B2 (en) 2009-12-23 2009-12-23 Embedded media markers and systems and methods for generating and using them
US12/646,841 2009-12-23

Publications (2)

Publication Number Publication Date
KR20110073265A KR20110073265A (ko) 2011-06-29
KR101500530B1 true KR101500530B1 (ko) 2015-03-09

Family

ID=44152904

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100125434A KR101500530B1 (ko) 2009-12-23 2010-12-09 임베디드 매체 마커, 및 이를 생성하고 이용하는 시스템 및 방법

Country Status (5)

Country Link
US (1) US9245043B2 (ko)
JP (1) JP5477196B2 (ko)
KR (1) KR101500530B1 (ko)
CN (1) CN102110235B (ko)
AU (1) AU2010252999B2 (ko)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8463053B1 (en) 2008-08-08 2013-06-11 The Research Foundation Of State University Of New York Enhanced max margin learning on multimodal data mining in a multimedia database
JP5435142B2 (ja) * 2010-09-30 2014-03-05 富士通株式会社 画像暗号化システムおよび画像復号システム
EP2625655A4 (en) * 2010-10-06 2014-04-16 Planet Data Solutions SYSTEM AND METHOD FOR INDEXING ELECTRONIC DETECTION DATA
USD667843S1 (en) 2010-10-20 2012-09-25 Apple Inc. Display screen or portion thereof with icon
US8423881B2 (en) * 2011-08-05 2013-04-16 Fuji Xerox Co., Ltd. Systems and methods for placing visual links to digital media on physical media
USD667431S1 (en) * 2011-09-12 2012-09-18 Microsoft Corporation Display screen with icon
USD667451S1 (en) * 2011-09-12 2012-09-18 Microsoft Corporation Display screen with icon
US8358903B1 (en) 2011-10-31 2013-01-22 iQuest, Inc. Systems and methods for recording information on a mobile computing device
US8830533B2 (en) * 2012-02-16 2014-09-09 Xerox Corporation System and method for creating machine-readable codes in combination with other images such as logos
US8620021B2 (en) 2012-03-29 2013-12-31 Digimarc Corporation Image-related methods and arrangements
US20150286871A1 (en) * 2012-10-31 2015-10-08 Warld Limited Image display system, electronic device, program, and image display method
CN102929848A (zh) * 2012-10-31 2013-02-13 上海合合信息科技发展有限公司 Pdf文档的生成方法及其生成系统
US9245458B2 (en) 2012-11-30 2016-01-26 Kimberly-Clark Worldwide, Inc. Systems and methods for using images to generate digital interaction
US9530332B2 (en) 2012-11-30 2016-12-27 Kimberly-Clark Worldwide, Inc. Systems and methods for managing the toilet training process of a child
CN102982160B (zh) * 2012-12-05 2016-04-20 上海合合信息科技发展有限公司 方便电子化的专业笔记本及其电子化文档的自动分类方法
GB201300259D0 (en) * 2013-01-08 2013-02-20 Rolls Royce Plc Medical surface generation
JP5935702B2 (ja) * 2013-01-22 2016-06-15 富士ゼロックス株式会社 情報処理装置及びプログラム
JP6020196B2 (ja) * 2013-01-23 2016-11-02 富士ゼロックス株式会社 情報提供装置及びプログラム
JP5998952B2 (ja) * 2013-01-25 2016-09-28 富士ゼロックス株式会社 標識画像配置支援装置及びプログラム
US9275278B2 (en) * 2013-02-15 2016-03-01 Fuji Xerox Co., Ltd. Systems and methods for implementing and using off-center embedded media markers
US9633569B2 (en) 2013-05-03 2017-04-25 Kimberly-Clark Worldwide, Inc. Systems and methods for managing the toilet training process of a child
US9633574B2 (en) 2013-05-03 2017-04-25 Kimberly-Clark Worldwide, Inc. Systems and methods for managing the toilet training process of a child
USD743443S1 (en) * 2013-10-22 2015-11-17 Apple Inc. Display screen or portion thereof with graphical user interface
USD755830S1 (en) * 2013-12-18 2016-05-10 Apple Inc. Display screen or portion thereof with graphical user interface
WO2015128887A1 (en) * 2014-02-28 2015-09-03 DEMAX S.r.l. A system with increased content for images and a method for actuating such a system
USD765092S1 (en) 2014-03-03 2016-08-30 Apple Inc. Display screen or portion thereof with graphical user interface
USD766318S1 (en) 2014-03-07 2016-09-13 Apple Inc. Display screen or portion thereof with animated graphical user interface
US10425769B2 (en) * 2014-03-31 2019-09-24 Hewlett-Packard Development Company, L.P. Media navigation recommendations
USD769892S1 (en) 2014-05-30 2016-10-25 Apple Inc. Display screen or portion thereof with graphical user interface
USD755848S1 (en) 2014-06-01 2016-05-10 Apple Inc. Display screen or portion thereof with icon
USD759119S1 (en) * 2014-07-03 2016-06-14 Siemens Schweiz Ag Display screen or portion thereof with icon
USD823312S1 (en) * 2014-08-11 2018-07-17 Sony Corporation Display panel or screen with graphical user interface
KR101696515B1 (ko) * 2014-08-18 2017-01-13 금오공과대학교 산학협력단 에지에 바운더리 코드를 포함하는 표지물, 및 이를 이용하여 부가 사물 정보를 제공하는 시스템
CN104182764A (zh) * 2014-08-19 2014-12-03 田文胜 一种图形识别系统
USD772284S1 (en) 2014-09-01 2016-11-22 Apple Inc. Display screen or portion thereof with a set of graphical user interfaces
US9892560B2 (en) * 2014-09-11 2018-02-13 Nant Holdings Ip, Llc Marker-based augmented reality authoring tools
USD783642S1 (en) * 2014-10-16 2017-04-11 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD783681S1 (en) * 2015-08-11 2017-04-11 Samsung Electronics Co., Ltd Display screen or portion thereof with icon
US11062336B2 (en) 2016-03-07 2021-07-13 Qbeats Inc. Self-learning valuation
USD790575S1 (en) 2016-06-12 2017-06-27 Apple Inc. Display screen or portion thereof with graphical user interface
TW201810113A (zh) * 2016-07-13 2018-03-16 博特軟體科技公司 文件鑑別系統
US10235612B2 (en) * 2016-07-29 2019-03-19 Canon Kabushiki Kaisha Information processing apparatus, information processing method, storage medium, and image forming apparatus for converting drawing data of a transparent object that does not overlap another drawing object into drawing data of a drawing object that does not have an alpha channel as color information
USD828371S1 (en) * 2016-10-20 2018-09-11 Google Llc Display screen or portion thereof with graphical user interface
USD815140S1 (en) * 2016-10-27 2018-04-10 Apple Inc. Display screen or portion thereof with graphical user interface
USD815141S1 (en) 2016-10-27 2018-04-10 Apple Inc. Display screen or portion thereof with graphical user interface
USD815137S1 (en) 2016-10-27 2018-04-10 Apple Inc. Display screen or portion thereof with graphical user interface
USD924928S1 (en) * 2017-09-21 2021-07-13 Beijing Kingsoft Internet Security Software Co., Ltd. Mobile communication terminal display screen with a transitional graphical user interface
USD910046S1 (en) 2017-09-29 2021-02-09 Apple Inc. Electronic device with graphical user interface
USD857033S1 (en) 2017-11-07 2019-08-20 Apple Inc. Electronic device with graphical user interface
USD885426S1 (en) 2018-06-03 2020-05-26 Apple Inc. Electronic device with graphical user interface
USD877174S1 (en) 2018-06-03 2020-03-03 Apple Inc. Electronic device with graphical user interface
USD879132S1 (en) 2018-06-03 2020-03-24 Apple Inc. Electronic device with graphical user interface
JP7176272B2 (ja) * 2018-07-26 2022-11-22 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
USD888094S1 (en) * 2018-08-31 2020-06-23 Butterfly Network, Inc. Display panel or portion thereof with graphical user interface
USD885427S1 (en) * 2018-08-31 2020-05-26 Butterfly Network, Inc. Display panel or portion thereof with graphical user interface
USD885428S1 (en) * 2018-08-31 2020-05-26 Butterfly Network, Inc. Display panel or portion thereof with graphical user interface
USD883319S1 (en) 2018-10-29 2020-05-05 Apple Inc. Electronic device with graphical user interface
USD909412S1 (en) * 2018-11-01 2021-02-02 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
KR102641163B1 (ko) * 2018-11-29 2024-02-28 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US10936351B2 (en) * 2019-07-19 2021-03-02 UiPath, Inc. Multi-anchor based extraction, recognition, and machine learning of user interface (UI)
USD934288S1 (en) 2019-11-27 2021-10-26 Bfly Operations, Inc. Display panel or portion thereof with graphical user interface
USD934289S1 (en) 2019-11-27 2021-10-26 Bfly Operations, Inc. Display panel or portion thereof with graphical user interface
USD949184S1 (en) 2020-06-17 2022-04-19 Apple Inc. Display screen or portion thereof with graphical user interface
USD946018S1 (en) 2020-06-18 2022-03-15 Apple Inc. Display screen or portion thereof with graphical user interface

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH113353A (ja) * 1997-06-12 1999-01-06 Fuji Xerox Co Ltd 情報処理方法及び装置
US20070050411A1 (en) * 2005-08-23 2007-03-01 Hull Jonathan J Database for mixed media document system
JP2008527844A (ja) * 2005-01-04 2008-07-24 フォタグス・インコーポレーテッド ウォーターマーク付きデジタル画像の作成、ならびにデジタル画像からのウォーターマークの除去、およびｊｐｅｇ互換イメージの利用のための方法および装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5201011A (en) * 1991-11-19 1993-04-06 Xerox Corporation Method and apparatus for image hand markup detection using morphological techniques
WO1996031829A1 (en) * 1995-04-06 1996-10-10 Avid Technology, Inc. Graphical multimedia authoring system
US6577746B1 (en) * 1999-12-28 2003-06-10 Digimarc Corporation Watermark-based object linking and embedding
US7024016B2 (en) * 1996-05-16 2006-04-04 Digimarc Corporation Digital watermarking apparatus and methods
US6366294B1 (en) * 1999-06-10 2002-04-02 Sony Corporation Snapshot damage handling for rendering objects in a zooming graphical user interface
US6952485B1 (en) * 2000-09-11 2005-10-04 Digimarc Corporation Watermark encoding and decoding in imaging devices and imaging device interfaces
US20020135615A1 (en) * 2001-01-31 2002-09-26 Microsoft Corporation Overlaid display for electronic devices
US20040061326A1 (en) * 2001-02-09 2004-04-01 David Hilton Document printed with graphical symbols which encode information
US8539344B2 (en) * 2001-11-19 2013-09-17 Ricoh Company, Ltd. Paper-based interface for multimedia information stored by multiple multimedia documents
US7028902B2 (en) * 2002-10-03 2006-04-18 Hewlett-Packard Development Company, L.P. Barcode having enhanced visual quality and systems and methods thereof
US20040220935A1 (en) * 2003-04-29 2004-11-04 Appalachia Educational Laboratory, Inc. System, method and medium for utilizing digital watermarks in instructional material
KR100884144B1 (ko) * 2004-05-10 2009-02-17 소니 컴퓨터 엔터테인먼트 인코포레이티드 멀티미디어 재생장치 및 메뉴 화면 표시방법
CN1918533A (zh) * 2004-05-10 2007-02-21 索尼计算机娱乐公司 多媒体再现装置及菜单画面显示方法
JP2008507776A (ja) * 2004-07-23 2008-03-13 ラーニング・ツリー・インターナショナル 電子プレゼンテーションのシステムおよび方法
CN101142808A (zh) * 2005-01-04 2008-03-12 史密斯微软件公司 生成具有可去除水印的数字图片的方法和设备
KR100960640B1 (ko) * 2005-08-23 2010-06-07 가부시키가이샤 리코 전자 문서에 핫스폿을 임베딩하는 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
JP4897795B2 (ja) * 2005-08-23 2012-03-14 株式会社リコー 処理装置、インデックステーブル作成方法及びコンピュータプログラム
CN101297319B (zh) * 2005-08-23 2013-02-27 株式会社理光 在电子文档中嵌入热点
US7756526B2 (en) * 2005-09-19 2010-07-13 Silverbrook Research Pty Ltd Retrieving a web page via a coded surface
US7764286B1 (en) * 2006-11-01 2010-07-27 Adobe Systems Incorporated Creating shadow effects in a two-dimensional imaging space

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH113353A (ja) * 1997-06-12 1999-01-06 Fuji Xerox Co Ltd 情報処理方法及び装置
JP2008527844A (ja) * 2005-01-04 2008-07-24 フォタグス・インコーポレーテッド ウォーターマーク付きデジタル画像の作成、ならびにデジタル画像からのウォーターマークの除去、およびｊｐｅｇ互換イメージの利用のための方法および装置
US20070050411A1 (en) * 2005-08-23 2007-03-01 Hull Jonathan J Database for mixed media document system

Also Published As

Publication number Publication date
JP5477196B2 (ja) 2014-04-23
AU2010252999A1 (en) 2011-07-07
CN102110235A (zh) 2011-06-29
AU2010252999B2 (en) 2013-01-17
JP2011135556A (ja) 2011-07-07
KR20110073265A (ko) 2011-06-29
CN102110235B (zh) 2016-01-20
US20110154174A1 (en) 2011-06-23
US9245043B2 (en) 2016-01-26

Similar Documents

Publication Publication Date Title
KR101500530B1 (ko) 임베디드 매체 마커, 및 이를 생성하고 이용하는 시스템 및 방법
JP5736767B2 (ja) デジタルメディアの提供方法、印刷媒体及びコンピュータプログラム
Rohs Real-world interaction with camera phones
Rohs et al. Using camera-equipped mobile phones for interacting with real-world objects
Henrysson et al. UMAR: Ubiquitous mobile augmented reality
KR101469398B1 (ko) 텍스트 기반 3ｄ 증강 현실
US11393200B2 (en) Hybrid feature point/watermark-based augmented reality
US20150040074A1 (en) Methods and systems for enabling creation of augmented reality content
US20100331041A1 (en) System and method for language-independent manipulations of digital copies of documents through a camera phone
EP2560145A2 (en) Methods and systems for enabling the creation of augmented reality content
JP5983540B2 (ja) メディアもしくは機能識別方法及びプログラム、マーカを含む物品、及びマーカ配置方法
US9177199B2 (en) Semantic magazine pages
WO2005069170A1 (ja) 画像ファイル一覧表示装置
EP1847112A1 (en) Storing information for access using a captured image
WO2013138846A1 (en) Method and system of interacting with content disposed on substrates
JP5544250B2 (ja) 表示画像検索方法
Liu et al. Embedded media markers: marks on paper that signify associated media
CN110751146A (zh) 文本区域检测方法、装置、电子终端和计算机可读存储介质
JP6017343B2 (ja) データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム
AU2012205143B2 (en) Embedded media markers and systems and methods for generating and using them
Amato et al. Technologies for visual localization and augmented reality in smart cities
Nakagawa et al. Mosir: Mobile-based segment and image retrieval
Liu et al. Embedded media barcode links: optimally blended barcode overlay on paper for linking to associated media
Weng et al. A framework for outdoor mobile augmented reality
Kang et al. Development of tangible user interface for linking context modeling and 3D map in smartphone

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190219

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200219

Year of fee payment: 6