KR100985516B1 - 투영된 화상에 관한 화이트보드 마크업의 인식 및 캡처 - Google Patents

투영된 화상에 관한 화이트보드 마크업의 인식 및 캡처 Download PDF

Info

Publication number
KR100985516B1
KR100985516B1 KR1020070020653A KR20070020653A KR100985516B1 KR 100985516 B1 KR100985516 B1 KR 100985516B1 KR 1020070020653 A KR1020070020653 A KR 1020070020653A KR 20070020653 A KR20070020653 A KR 20070020653A KR 100985516 B1 KR100985516 B1 KR 100985516B1
Authority
KR
South Korea
Prior art keywords
markup
whiteboard
presentation page
presentation
user input
Prior art date
Application number
KR1020070020653A
Other languages
English (en)
Other versions
KR20070096803A (ko
Inventor
베리 앨런 크리트
더글라스 앨런 로우
토마스 에스 마제오
로드니 에드워드 2세 쉐퍼드
Original Assignee
인터내셔널 비지네스 머신즈 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터내셔널 비지네스 머신즈 코포레이션 filed Critical 인터내셔널 비지네스 머신즈 코포레이션
Publication of KR20070096803A publication Critical patent/KR20070096803A/ko
Application granted granted Critical
Publication of KR100985516B1 publication Critical patent/KR100985516B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/199—Arrangements for recognition using optical reference masks, e.g. holographic masks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/226—Character recognition characterised by the type of writing of cursive writing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Projection Apparatus (AREA)
  • Processing Or Creating Images (AREA)
  • Facsimiles In General (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 투영된 화상에 관한 화이트보드 상의 마크업 계층을 캡처하기 위한 컴퓨터 구현 방법, 장치, 및 컴퓨터 프로그램 제품에 관한 것이다. 프리젠테이션 페이지는 투영된 화상으로서 화이트보드 상에 표시된다. 프리젠테이션 페이지와 연관된 화이트보드 상의 마크업의 세트가 식별된다. 화이트보드 상의 마크업의 세트는 프리젠테이션 페이지의 투영된 화상으로부터 분리되어 이용자 입력 계층을 생성한다. 이용자 입력 계층은 프리젠테이션 페이지를 위한 오버레이로서 저장된다.
화이트보드, 마크업, 프리젠테이션 페이지, 투영, 이용자 입력 계층, 오버레이

Description

투영된 화상에 관한 화이트보드 마크업의 인식 및 캡처{RECOGNITION AND CAPTURE OF WHITEBOARD MARKUPS IN RELATION TO A PROJECTED IMAGE}
도 1은 본 발명의 형태가 구현될 수도 있는 데이터 처리 시스템의 네트워크를 나타내는 도면.
도 2는 본 발명의 형태가 구현될 수도 있는 데이터 처리 시스템의 블록도.
도 3a는 본 발명의 예시적인 실시예에 따른 화이트보드 상의 마크업의 다크 레벨 필터 캡처를 위한 처리를 예시하는 블록도.
도 3b는 본 발명의 예시적인 실시예에 따른 화이트보드 상의 마크업의 화이트/그레이 스트로브 캡처의 처리를 예시하는 블록도.
도 4a는 본 발명의 예시적인 실시예에 따른 보정 화상을 예시하는 블록도.
도 4b는 본 발명의 예시적인 실시예에 따른 다크 레벨 보정 대상 구역을 갖는 보정 화상을 예시하는 블록도.
도 5는 본 발명의 예시적인 실시예에 따른 마크업 관리기에 의해 수신된 마크업 화상을 예시하는 블록도.
도 6은 본 발명의 예시적인 실시예에 따른 마크업 화상으로부터 분리된 이용자 입력 계층을 예시하는 블록도.
도 7은 본 발명의 예시적인 실시예에 따른 컬러 마크업 계층을 분리시키는 화이트/그레이 스트로브 캡처 처리를 예시하는 그래프.
도 8은 본 발명의 예시적인 실시예에 따른 화이트보드 상의 마크업의 다크 레벨 필터 캡처 처리를 예시하는 순서도.
도 9는 본 발명의 예시적인 실시예에 따른 화이트보드 상의 마크업의 화이트/그레이 스트로브 캡처 처리를 예시하는 순서도.
* 도면의 주요 부분에 대한 부호의 설명 *
200 : 데이터 처리 시스템 202 : NB/MCH
204 : SB/ICH 206 : 처리유닛
208 : 메인 메모리 210 : 그래픽 처리기
212 : 네트워크 어댑터 216 : 오디오 어댑터
220 : 키보드 및 마우스 어댑터 222 : 모뎀
224 : ROM 226 : 하드 디스크 드라이브
230 : CD-ROM 232 : USB 및 다른 포트
234 : PCI/PCIe 장치 236 : SIO
238, 240 : 버스
본 발명은 일반적으로 이용자 입력을 캡처하기 위한 개선된 데이터 처리 시스템, 특히, 개선된 방법, 장치 및 컴퓨터 프로그램 제품에 관한 것이다. 구체적으 로, 본 발명은 투영된 화상에 관한 화이트보드 마크업 계층(markup layer)을 인식 및 캡처하기 위한 컴퓨터 구현 방법, 장치 및 컴퓨터 프로그램 제품에 관한 것이다.
프리젠테이션(presentation) 표시가 화이트보드(whiteboard)에 투영되는 회의 및 모임 도중에는, 투영된 프리젠테이션 바로 위에서 마커(marker)에 의해 화이트보드에 묘사함으로써, 발표자는 프리젠테이션의 주석(annotation) 또는 마크업을 빈번하게 행할 것이다. 발표자에 의해 화이트보드에 행해진 마크업 및 주석은 회의실에 실제로 참석한 모임 참석자가 시청할 수 있다. 그러나, 그 모임이 원격회의이기도 하면, 회의실에 실제로 참석하지 않은 모임 참석자는 발표자에 의해 행해지는 마크업을 볼 수 없을 수도 있으므로 상당히 불편한 상태가 된다.
이 문제를 해결하기 위한 시도는 자립형(stand-alone) 카메라를 이용하여 비디오 상의 프리젠테이션을 캡처하는 하는 것을 포함하고 있다. 그러나, 카메라의 제약과, 실내 조명 조건 및 카메라의 시야를 방해하는 및/또는 사람과 같은 환경 요인으로 인해, 프리젠테이션은 해상도 및 화상 품질을 악화시킬 수 있다.
마우스 또는 키보드와 같은 전통적인 컴퓨터 입력장치를 이용하여 화상의 변형을 허용하는 컴퓨터로부터 프리젠테이션 화상을 표시하기 위하여, 투영기(projector)가 이용될 수 있다. 그러나, 전통적인 입력장치는 인간이 화이트보드에 펜을 이용하는 것만큼 자연스럽거나 편리하지 않다.
마우스 또는 키보드를 이용하는 대신에, 디지타이징 타블렛(digitizing tablet) 입력장치가 활용될 수도 있다. 그러나, 투영 환경에서는, 디지타이징 타블 렛은 이용자가 타블렛에 기록하면서 투영된 표시를 감시하는 것을 필요로 한다. 또한, 타블렛 장치는 작은 입력 공간만을 제공한다. 더욱이, 디지타이징 타블렛, 키보드 또는 마우스는 모든 이용자에 의해 공유되어야 한다.
전자 화이트보드는 이용자로부터의 더욱 자연스러운 입력을 허용한다. 그러나, 전자 화이트보드는 매우 고가이기도 하며, 이것은 이 장치의 광범위한 설치를 제한한다. 또한, 전자 화이트보드는 대형이므로, 이용자 사이에서 쉽게 이동되거나 공유되지 않는다. 또한, 투영된 화상의 크기는 화이트보드 자체의 크기로 제한된다.
본 발명의 형태는 투영된 화상에 관한 화이트보드 상의 마크업 계층을 캡처하기 위한 컴퓨터 구현 방법, 장치 및 컴퓨터 프로그램 제품을 제공한다. 프리젠테이션 페이지는 투영된 화상으로서 화이트보드 상에 표시된다. 프리젠테이션 페이지와 연관된 화이트보드 상의 마크업의 세트(set)가 식별된다. 화이트보드 상의 마크업의 세트는 프리젠테이션 페이지의 투영된 화상으로부터 분리되어 이용자 입력 계층을 생성한다. 이용자 입력 계층은 프리젠테이션 페이지에 대한 오버레이(overlay)로서 저장된다.
발명의 특성으로 간주되는 신규한 특징은 첨부된 특허청구범위에 기재되어 있다. 그러나, 발명 자체뿐만 아니라, 그 바람직한 이용 모드, 추가적인 목적 및 장점은 첨부된 도면을 참조하여 판독할 때, 다음의 예시적인 실시예에 대한 상세한 설명을 참조함으로써 가장 잘 이해할 것이다.
이하, 도면들 중에서 특히, 도 1-2를 참조하면, 본 발명의 실시예가 구현될 수도 있는 데이터 처리 환경의 예시적인 도면이 제공된다. 도 1-2는 단지 예시적인 것이며, 본 발명의 형태 또는 실시예가 구현될 수도 있는 환경에 대한 임의의 한정을 나타내거나 의미하기 위한 것이 아니라는 점을 이해해야 한다. 도시된 환경에 대한 다수의 변형은 본 발명의 취지 및 범위로부터 벗어나지 않고 행해질 수도 있다.
이하, 도면을 참조하면, 도 1은 본 발명의 형태가 구현될 수도 있는 데이터 처리 시스템의 네트워크를 그림으로 나타낸 것을 도시하고 있다. 네트워크 데이터 처리 시스템(100)은 본 발명의 실시예가 구현될 수도 있는 컴퓨터의 네트워크이다. 네트워크 데이터 처리 시스템(100)은 네트워크 데이터 처리 시스템(100) 내에서 함께 접속된 각종 장치와 컴퓨터 사이의 통신 링크를 제공하기 위해 이용되는 매체인 네트워크(102)를 포함한다. 네트워크(102)는 무선, 유선 통신 링크, 또는 광섬유 케이블과 같은 접속부를 포함할 수도 있다.
도시된 예에서, 서버(104) 및 서버(106)는 기억유닛(108)과 함께 네트워크(102)에 접속된다. 또한, 클라이언트(110, 112, 114)가 네트워크(102)에 접속된다. 이 클라이언트(110, 112, 114)는 예를 들어, 개인 컴퓨터 또는 네트워크 컴퓨터일 수도 있다. 도시된 예에서, 서버(104)는 부트 파일(boot file)과 같은 데이터, 오퍼레이팅 시스템 화상 및 애플리케이션(application)을 클라이언트(110, 112, 114)에 제공한다. 클라이언트(110, 112, 114)는 이 예에서는 서버(104)에 대 한 클라이언트이다. 네트워크 데이터 처리 시스템(100)은 도시되지 않은 추가적인 서버, 클라이언트 및 다른 장치를 포함할 수도 있다.
도시된 예에서, 네트워크 데이터 처리 시스템(100)은 서로 통신하기 위한 TCP/IP(Transmission Control Protocol/Internet Protocol) 프로토콜 모음을 이용하는 네트워크 및 게이트웨이의 전세계적인 집합을 나타내는 네트워크(102)를 갖는 인터넷이다. 인터넷의 중심에는, 데이터 및 메시지를 라우팅하는 수천 개의 상업적 컴퓨터 시스템, 정부 컴퓨터 시스템, 교육 컴퓨터 시스템과 다른 컴퓨터 시스템으로 이루어진 주요 노드 또는 호스트 컴퓨터 사이의 고속 데이터 통신 라인의 백본(backbone)이 있다. 물론, 네트워크 데이터 처리 시스템(100)도 예를 들어, 인터넷, 근거리 통신망(LAN : Local Area Network), 또는 광역 통신망(WAN : Wide Area Network)과 같은 다수의 상이한 종류의 네트워크로서 구현될 수 있다. 도 1은 하나의 예를 의도한 것이며, 본 발명의 상이한 실시예에 대한 구조적인 한정을 의도한 것이 아니다.
이하, 도 2를 참조하면, 본 발명의 형태가 구현될 수도 있는 데이터 처리 시스템의 블록도가 도시되어 있다. 데이터 처리 시스템(200)은 도 1의 서버(104) 또는 클라이언트(110)와 같은 컴퓨터의 예이며, 본 발명의 실시예에 대한 처리를 구현하는 컴퓨터 이용가능 코드 또는 명령이 위치될 수도 있다.
도시된 예에서, 데이터 처리 시스템(200)은 노스 브릿지 및 메모리 제어기 허브(NB/MCH : North Bridge/Memory Controller Hub)(202)와, 사우스 브릿지 및 입출력(I/O) 제어기 허브(SB/ICH : South Bridge/Input and output Controller Hub)(204)를 포함하는 허브 아키텍처를 채용한다. 처리유닛(206), 메인 메모리(208), 및 그래픽 처리기(210)는 NB/MCH(202)에 접속되어 있다. 그래픽 처리기(210)는 가속 그래픽 포트(AGP : Accelerated Graphics Port)를 통해 NB/MCH(202)에 접속될 수도 있다.
도시된 예에서, 근거리 통신망(LAN) 어댑터(212)는 SB/ICH(204)에 접속된다. 오디오 어댑터(216), 키보드 및 마우스 어댑터(220), 모뎀(222), 판독전용 메모리(ROM : Read Only Memory)(224), 하드 디스크 드라이브(HDD : Hard Disk Drive)(226), CD-ROM 드라이브(230), 범용 직렬 버스(USB : Universal Serial Bus) 포트 및 다른 통신 포트(232)와, PCI/PCIe 장치(234)는 버스(238) 및 버스(240)를 통해 SB/ICH(204)에 접속된다. PCI/PCIe 장치는 예를 들어, 이더넷(Ethernet) 어댑터, 애드-인(add-in) 카드, 및 노트북 컴퓨터용 PC 카드를 포함할 수도 있다. PCI는 카드 버스 제어기를 이용하는 반면, PCIe는 이용하지 않는다. ROM(224)은 예를 들어, 플래시 바이오스(flash BIOS : flash binary input/output system)일 수도 있다.
HDD(226) 및 CD-ROM 드라이브(230)는 버스(240)를 통해 SB/ICH(204)에 접속된다. HDD(226) 및 CD-ROM 드라이브(230)는 예를 들어, IDE(Integrated Drive Electronics) 또는 SATA(Serial Advanced Technology Attachment) 인터페이스를 이용할 수도 있다. SIO(Super I/O) 장치(236)는 SB/ICH(204)에 접속될 수도 있다.
오퍼레이팅 시스템은 처리유닛(206) 상에서 실행되며, 도 2의 데이터 처리 시스템(200) 내의 각종 구성요소의 제어를 조정 및 제공한다. 클라이언트로서, 오 퍼레이팅 시스템은 Microsoft(마이크로소프트)® Windows(윈도우즈)® XP(Microsoft 및 Windows는 미국, 다른 국가 또는 양쪽의 Microsoft 주식회사의 등록상표이다)와 같은 상업적으로 입수가능한 오퍼레이팅 시스템일 수도 있다. Java(자바)™ 프로그래밍 시스템과 같은 객체 지향 프로그래밍 시스템은 오퍼레이팅 시스템과 함께 실행될 수도 있고, 데이터 처리 시스템(200) 상에서 실행되는 Java™ 프로그램 또는 애플리케이션으로부터 오퍼레이팅 시스템으로 호(call)을 제공할 수도 있다(Java는 미국, 다른 국가 또는 양쪽의 Sun Microsystem 주식회사의 등록상표이다).
서버로서, 데이터 처리 시스템(200)은 예를 들어, AIX®(Advanced Interactive Executive) 오퍼레이팅 시스템 또는 LINUX® 오퍼레이팅 시스템을 실행하는 IBM® eServer™ pSeries® 컴퓨터 시스템일 수도 있다(eServer, pSeries 및 AIX는 미국, 다른 국가 또는 양쪽의 IBM(International Business Machines) 주식회사의 등록상표이며, LINUX는 미국, 다른 국가 또는 양쪽의 Linus Torvalds의 등록상표이다). 데이터 처리 시스템(200)은 처리유닛(206)에 복수의 처리기를 포함하는 SMP(Symmetric Multiprocessor) 시스템일 수도 있다. 이와 달리, 단일 처리기 시스템이 채용될 수도 있다.
오퍼레이팅 시스템, 객체 지향 프로그래밍 시스템, 및 애플리케이션 또는 프로그램을 위한 명령은 HDD(226)와 같은 기억장치에 위치되며, 처리유닛(206)에 의해 실행을 위하여 메인 메모리(208)에 로드(load)될 수도 있다. 본 발명의 실시예 에 대한 처리는, 예를 들어, 메인 메모리(208), ROM(224)과 같은 메모리, 또는 하나 이상의 주변장치(226 및 230)에 위치될 수도 있는 컴퓨터 이용가능 프로그램 코드를 이용하여 처리유닛(206)에 의해 수행된다.
당업자는 도 1-2의 하드웨어가 구현예에 따라 변동될 수도 있음을 이해할 것이다. 플래시(flash) 메모리, 이와 동등한 비휘발성 메모리, 또는 광 디스크 드라이브 등과 같은 다른 내부 하드웨어 또는 주변장치는 도 1-2에 도시된 하드웨어에 부가되어, 또는 이를 대신하여 이용될 수도 있다. 또한, 본 발명의 처리는 다중처리기 데이터 처리 시스템에 적용될 수도 있다.
일부 예시적인 예에서, 데이터 처리 시스템(200)은, 오퍼레이팅 시스템 파일 및/또는 이용자 생성 데이터를 기억하기 위한 비휘발성 메모리를 제공하는 플래시 메모리로 구성되는 개인 정보 단말(PDA : Personal Digital Assistant)일 수도 있다.
버스 시스템은 도 2에 도시된 것과 같은 버스(238) 또는 버스(240)와 같은 하나 이상의 버스로 구성될 수도 있다. 물론, 버스 시스템은 통신 체계 또는 구조에 연결된 상이한 구성요소 또는 장치 사이의 데이터 전달을 제공하는 임의의 종류의 통신 체계 또는 구조를 이용하여 구현될 수도 있다. 통신유닛은 도 2의 모뎀(222) 또는 네트워크 어댑터(212)와 같이, 데이터를 송신 및 수신하기 위해 이용되는 하나 이상의 장치를 포함할 수도 있다. 메모리는 예를 들어, 도 2의 NB/MCH(202)에서 발견되는 것과 같은 메인 메모리(208), ROM(224), 또는 캐시(cache)일 수도 있다. 도 1-2에 도시된 예 및 상술한 예는 구조적인 한정을 의미 하기 위한 것이 아니다. 예를 들어, 데이터 처리 시스템(200)도 PDA의 형태를 취하는 것과 더불어, 타블렛 컴퓨터, 랩톱 컴퓨터 또는 전화장치일 수 있다.
프리젠테이션 화상이 화이트보드에 투영되는 회의 및 모임 도중에는, 투영된 프리젠테이션 바로 위에서 마커에 의해 화이트보드에 묘사함으로써, 발표자는 프리젠테이션의 주석 또는 마크업을 빈번하게 행할 것이다. 그러나, 그 모임이 원격회의이기도 하면, 회의실에 실제로 참석하지 않은 모임 참석자는 상당히 불편한 상태가 된다.
이 문제를 해결하기 위한 시도는 자립형 카메라를 이용하여 비디오 상의 프리젠테이션을 캡처하거나, 컴퓨터 마우스, 키보드 또는 디지타이징 타블렛을 이용하여 입력을 행하거나, 고가의 전자 화이트보드를 이용하는 것을 포함하고 있다. 그러나, 본 발명의 형태는 이러한 방식으로 입력을 캡처하는 것이 발표자에 대해 물리적 제약을 설정하고, 프리젠테이션 화상 품질 및 해상도를 제한하며, 및/또는 이용자의 비용 증가를 가져온다는 점을 인식하고 있다.
일반적으로, 프리젠테이션 발표자를 위한 가장 자연스러운 위치는 회의실 또는 모임의 실내 전면에 서 있는 것이며, 화이트보드에 투영된 투영 화상의 바로 위에서 지적 또는 묘사하는 것이다. 따라서, 본 발명의 형태는, 추가적인 비용과, 전자 화이트보드의 제한이 없으면서, 화이트보드에 투영된 화상과의 더욱 자연스러운 상호작용을 허용하는 한편, 마크업의 형태로 인간의 입력을 캡처하는 능력에 대한 필요성이 존재함을 인식하고 있다.
또한, 캡처된 인간의 입력이 투영된 화상에 관해 정규화되어 있지 않으면, 캡처된 입력은 투영된 화상에 대한 오버레이로서 저장될 수 없다. 또한, 투영된 화상 및 마크업을 함께 캡처하는 것은 이용자가 마크업 계층의 이용자 입력을 프리젠테이션 페이지 자체와는 별도로 저장 및 관리하는 것을 허용하지 않는다. 따라서, 본 발명의 형태도, 각 마크업 오버레이가 프리젠테이션의 특정 페이지에 연결될 수 있도록, 이용자 마크업의 다수의 오버레이를 저장하는 능력에 대한 필요성이 존재함을 인식하고 있다. 또한, 다수의 오버레이를 생성하는 다수의 이용자를 포함하는 네트워크 환경에서는, 각각의 특정 오버레이가 특정 오버레이에서 마크업을 행한 특정 이용자와 연결되거나 그 이용자와 연관될 수 있다.
여기서 이용된 것과 같이, 프리젠테이션 페이지는 모임 또는 회의에서 투영장치에 의해 표시하기 위해 준비된, 페이지 상의 미리 준비된 그림, 숫자, 텍스트, 단어, 그래프, 도면, 차트, 라인, 또는 점이나, 슬라이드, 또는 다른 포맷 중의 임의의 종류를 포함한다. 투영장치는 다음의 것으로 한정되지 않지만, 화상을 화면 또는 화이트보드에 투영할 수 있는 투영기 또는 다른 장치를 포함한다. 프리젠테이션 페이지의 예는 다음의 것으로 한정되지 않지만, 파워 포인트 프리젠테이션 페이지를 포함한다.
그러므로, 본 발명의 형태는 투영된 화상에 관한 화이트보드 마크업 계층을 인식 및 캡처하기 위한 개선된 컴퓨터 구현 방법, 장치 및 컴퓨터 프로그램 제품을 제공한다. 마크업 캡처는 이용자가 통상적인 비-전자적인 화이트보드에 직접 묘사하는 것을 가능하게 하는 본 발명의 기구이다. 마크업 관리기는 카메라 및 필터를 이용하여 마크업을 캡처하여, 원본 프리젠테이션 표시로부터 마크업을 분리한다.
따라서, 프리젠테이션 도중에 이용자가 묘사하고 지울 때, 마크업은 마크업 관리기에 의해 실시간으로 캡처된다. 여기서 이용되는 것과 같이, 용어 "마크업(markup)"은 마커 또는 임의의 종류 또는 컬러의 기록 도구에 의해 화이트보드에 행해진 마크(mark)를 포함한다. 예를 들어, 마커는 다음의 것으로 한정되지는 않지만, 임의의 컬러의 건식 소거(dry erase) 형식의 마커를 포함할 수도 있다.
도 3a는 본 발명의 예시적인 실시예에 따른, 프리젠테이션 문서를 보완하는 협동 계층으로 화이트보드 상의 마크업의 다크 레벨 필터 캡처를 위한 처리를 예시하는 블록도이다. 능동 이용자는 투영기(305)에 의해 화이트보드(310)에 표시된 하나 이상의 프리젠테이션 페이지에 대응하는 화이트보드 기반의 마크업 계층을 캡처 및 제어하는 컴퓨터(300)를 활용한다. 컴퓨터(300)는 도 1 및 도 2에 도시된 개인 컴퓨터, 랩톱, 또는 그 외의 컴퓨팅 장치와 같은 임의의 종류의 컴퓨팅 장치이다.
컴퓨터(300)는 투영기(305)와 같이, 화이트보드(310)에 투영된 프리젠테이션 표시를 표시할 수 있는 공지된 또는 입수가능한 임의의 종류의 투영기에 접속된다. 투영기(305)는 회의실에서 화이트보드(310)와 같은 화이트보드에 화상을 투영한다. 이 예시적인 예에서, 화이트보드(310)는 표준적인 비-전자적인 화이트보드이다.
최초 능동 이용자는 회의 장소(312)에 위치되어 있다. 본 발명의 하나의 실시예에 따르면, 단일 발표자는 프리젠테이션을 시작하고, 최초 능동 이용자로서 프리젠테이션의 제어를 담당한다. 프리젠테이션의 제어는 프리젠테이션 도중의 언제라도 또 다른 능동 이용자에게 전환될 수 있다. 여기서 이용된 것과 같이, 능동 이용자는 회의실과 같은 회의 장소에서 투영된 페이지에 대응하는 화이트보드 기반의 마크업 계층을 생성, 캡처, 제어, 및/또는 조작하는 발표자이다.
카메라(315)와 같은 카메라는 컴퓨터(300) 상의 범용 직렬 버스(USB), 파이어와이어(FireWire) 포트, 또는 컴퓨터(300) 상의 다른 통신 포트를 통해 컴퓨터(300)에 접속되어 있다. FireWire 포트는 I.E.E.E. 1394 표준을 따르는 포트이다. 이 예시적인 예에서, 컴퓨터(300)는 도 1의 네트워크(102)와 같은 네트워크 접속부에 접속되는 네트워크 장치(324)를 통해 원격 회의 장소(320)에도 접속되어 있다.
컴퓨터(300)는 네트워크를 통해 하나 이상의 다른 능동 이용자를 갖는 다른 원격 회의 장소, 하나 이상의 수동 이용자를 갖는 원격 회의 장소, 및/또는 회의 장소(312)에 위치되어 있지 않은 개별 이용자에게 접속될 수 있다. 바꾸어 말하면, 원격 회의 장소는 현재의 능동 이용자가 실제로 위치되어 있는 회의실 또는 회의 장소(312)로부터 분리된 또는 떨어져 있는 임의의 장소이다. 여기서 이용된 것과 같이, 원격 회의 장소는 능동 이용자의 회의 장소(312)와 동일한 빌딩뿐만 아니라, 현재의 능동 이용자의 회의 장소(312)와 상이한 빌딩, 도시, 주, 또는 국가의 상이한 회의실을 포함한다. 원격 회의 장소(320)의 이용자는 회의 장소(312)의 이용자와 동일한 능력을 가진다. 프리젠테이션 애플리케이션(322)이 최초 능동 이용자의 컴퓨터상에서 항상 실행되므로, 원격 회의 장소(312)는 프리젠테이션 애플리케이션(322)을 필요로 하지 않는다.
프리젠테이션의 제어가 하나 이상의 다른 능동 이용자에게 넘겨진다고 하더라도, 프리젠테이션 애플리케이션(322)은 최초 능동 이용자의 컴퓨터상에서 실행된 다. 회의 장소(312)의 첫 번째 능동 이용자와 동일한 물리 공간의 또 다른 능동 이용자, 또는 하나 이상의 원격 회의 장소(320)의 또 다른 능동 이용자에게 제어가 넘겨질 수 있다.
본 발명의 이러한 예시적인 실시예에 따르면, 최초 능동 이용자의 컴퓨터는 프리젠테이션 애플리케이션(322)을 실행하는 유일한 컴퓨터이다. 수동 이용자는 네트워크 장치(324)를 통해 네트워크로부터 능동 이용자의 컴퓨터로부터의 비디오 출력을 수신한다. 수동 이용자는 프리젠테이션 애플리케이션(322) 또는 프리젠테이션 페이지(330)와 같은 원본 프리젠테이션 문서의 카피(copy)를 필요로 하지 않는다. 여기에서 이용된 것과 같이, 용어 "수동 이용자"는 하나 이상의 능동 이용자와 동일한 장소, 및/또는 하나 이상의 능동 이용자에 대한 원격 장소 중의 어느 하나에서 프리젠테이션 표시를 시청하는 이용자를 말한다. 수동 이용자는 능동 이용자에 의해 발표되는 프리젠테이션 표시를 수동적으로 시청한다. 또한, 수동 이용자는 기존의 오버레이를 수동 이용자에 의해 시청하기 위한 프리젠테이션과 병합하거나, 수동 이용자 자신의 컴퓨터 표시 장면으로부터 오버레이를 숨길 수 있다. 그러나, 수동 이용자는 새로운 입력 계층을 생성 및 캡처하지 않거나, 임의의 다른 능동 또는 수동 이용자에 의해 시청되는 프리젠테이션을 제어하지 않는다.
마크업 관리기(325)는 보정기(328)를 이용하여 카메라(315)로부터 수신된 마크업 화상을 정규화하고 필터(340)를 보정한다. 보정기(328)는 프리젠테이션 표시를 시작하기 전에 보정 기능을 수행한다. 보정기(328)는 직교성 보정을 수행하여, 마크업 관리기(325)가 카메라(315)로부터 수신된 마크업 화상의 어느 부분이 화이 트보드 화상인지를 인식할 수 있도록 한다. 또한, 이 보정은 마크업 관리기(325)가 투영의 경사 각도에 대한 조정을 행할 수 있도록 한다.
보정기(328)는 다크 레벨(dark level) 보정을 수행하여 필터(340)를 보정한다. 이 보정은, 이용자가 블랙 마커 및 투영기(305)에 의해 투영된 가장 어두운 블랙(black)을 이용하는 것과 같이, 이용자에 의해 화이트보드(310)에 생성된 마크업과 화이트보드(310)에 투영된 화상을 정확하게 구별하기 위해 수행된다. 블랙 마커 마크업은 투영기(305)에 의해 투영된 블랙보다 더 어두울 것이다. 이 판정에 기초하여, 보정기(328)는 필터(340)가 화이트보드(310) 상의 이용자 생성 블랙 마크업과 투영기(305)에 의해 투영된 화상을 구별하도록 하는 클립 레벨(clip level)을 설정한다. 따라서, 예를 들어, 블랙 마크업 화소의 화이트 값이 255 중에서 5이면, 투영기에 의해 생성될 수 있는 가장 어두운 블랙은 21의 화이트 값을 가지는 한편, 클립 로직은 5와 21 사이의 클립 레벨로 설정될 것이다. 클립 레벨에 대해 중간 값[(5+21)/2=13]이 이용된다고 가정하면, 13 미만의 화이트 값을 갖는 카메라 화상의 화소는 마크업 계층의 일부로서 간주될 것이다.
또한, 보정기(328)는 결함 필터(348)를 보정하여, 필터(340)가 다음과 같이 하지 않을 경우에 이용자 마크업으로 보일 수도 있는 화이트보드(310) 상의 화이트보드 표면의 결함을 무시할 수 있도록 한다. 결함은 스크래치, 심(seam), 삽입된 흠(set-in stain) 및 소거될 수 없는 마크를 포함할 수 있다.
보정기(328)는 깨끗하게 닦여진 화이트보드(310)에 화이트 화상을 투영함으로써 결함 필터(348)를 보정한다. 보정기(328)는 다크 레벨 보정 중에 판정된 클립 레벨을 적용하여, 마크업으로서 잘못 해석될 수 있는 화이트보드(310)의 임의의 결함을 식별한다. 이 정보는 결함 필터(348)에 의한 이용을 위해 필터(340)에 저장된다. 결함 필터(348)는 화이트보드(310) 상의 결함 구역이 될 가능성이 있는, 카메라(315)로부터 수신된 마크업 화상으로부터 마크를 필터링한다. 결함으로서 식별된 마크는 이용자 입력 계층(350)에 포함되지 않는다. 실제로, 결함 마크는 간단하게 무시된다.
도 3a에 도시된 예시적인 예에서, 발표자는 투영기(305)에 의한 화이트보드(310) 상으로의 표시를 위하여 컴퓨터(300) 상에서 프리젠테이션 애플리케이션(322)을 시작한다. 프리젠테이션은 마크업 관리기(325) 내에서 열린다. 마크업 관리기(325)는 프리젠테이션 제어기(367)와 인터페이스하여 프리젠테이션을 프리젠테이션 모드로 둔다. 프리젠테이션 제어기(367)는 프리젠테이션 애플리케이션(322)으로부터의 비디오 컨텐츠와 이용자 입력 계층(355)을 결합한다. 최초 능동 이용자는 프리젠테이션 애플리케이션(322)으로부터 비디오 컨텐츠를 생성한다. 프리젠테이션 컨텐츠로부터의 비디오 컨텐츠는 회의 장소(320) 또는 임의의 원격 회의 장소(322)의 모든 능동 및 수동 이용자에 의해 공유된다. 프리젠테이션 애플리케이션(322)은 다음의 것으로 한정되지는 않지만, PowerPoint 및 Freelance Graphics를 포함하는, 컴퓨터(300) 상에서 이용하기 위한 임의의 공지된 또는 입수가능한 프리젠테이션 포맷일 수 있다.
발표자는 프리젠테이션 세션(session)의 프리젠테이션 페이지(330)의 표시를 초기화한다. 프리젠테이션 제어기(367)는 컴퓨터(300)의 전체 시청 화면 또는 능동 윈도우 상에 현재의 프리젠테이션 페이지 및 선택된 이용자 입력 계층을 표시한다. 프리젠테이션은 프리젠테이션 제어기(367) 내에서 제어되므로, 예를 들어, 이용자가 하나의 프리젠테이션 페이지로부터 상이한 프리젠테이션 페이지로 전이(transition)할 경우, 프리젠테이션 제어기(367)는 프리젠테이션에서의 상이한 프리젠테이션 페이지가 시청 중이고, 연관된 입력 계층으로 오버레이 될 수 있다는 점을 인식할 수 있다. 이용자는 예를 들어, 다음 페이지로 전이하기 위한 페이지 업 제어를 누르거나, 이전의 페이지로 전이하기 위한 페이지 다운 제어를 누름으로써, 하나의 프리젠테이션 페이지를 상이한 프리젠테이션 페이지로 전이할 수 있다.
프리젠테이션 페이지(330) 및 선택된 이용자 입력 계층은 프리젠테이션 제어기(367)에 의해 병합되어, 화이트보드(310) 상의 표시를 위해 투영기(305)에 송신된다. 카메라(315)는 화이트보드에 표시된 투영된 화상(368)의 화상을 기록하여 카메라 화상(334)을 형성한다. 카메라 화상(334)은 하나 이상의 이용자에 의해 화이트보드(310) 상에 행해진 마크업과 함께 투영된 화상(368)의 그림이다. 화이트보드(310) 상의 일련의 블랙 마크는 블랙 마크업 계층을 형성한다. 따라서, 카메라 화상(334)은 투영된 화상(368) 및 블랙 마크업 계층을 포함한다.
필터(340)는 결함 필터(348)를 이용하여 카메라 화상(334)을 필터링하여, 화이트보드(310)의 결함에 의해 발생된 화상의 마크를 제거한다. 필터(340)는 다크 레벨 필터(345)를 활용하여, 블랙 마크업 및 투영된 블랙의 명도(brightness) 레벨 차이를 기초로 프리젠테이션 페이지(330)로부터 블랙 마크업 계층을 분리한다.
바꾸어 말하면, 다크 레벨 필터(345)는 이용자 입력 계층을 형성하기 위하 여, 투영된 화상(368)의 블랙 레벨에 대한 블랙 마크업 계층의 블랙 레벨을 결정함으로써, 원본 프리젠테이션 페이지(330)로부터 블랙 마크업 계층을 분리한다. 블랙 마크업 계층은 더 어두운 블랙일 것이다. 따라서, 블랙 마크업 계층은 분리 및 저장되어 이용자 입력 계층(350)을 형성할 수 있다. 이용자 입력 계층은 이용자에 의해 화이트보드(310)에서 생성된 마크업 및 인간 입력만을 포함한다. 이용자 입력 계층(350)은 투영기(305)에 의해 투영된 원본 프리젠테이션 표시로부터의 임의의 컨텐츠를 포함하지 않는다.
이용자 입력 계층(350)은 이용자 입력 계층의 세트(355)로 데이터베이스(360)에 저장된다. 이용자 입력 계층의 세트(355)는 프리젠테이션을 위한 복수의 프리젠테이션 페이지에서 지정된 프리젠테이션 페이지와 연관된 하나 이상의 이용자 입력 계층을 포함한다.
이용자 입력 계층의 세트(355)는 프리젠테이션 페이지(330)에 링크된다. 본 발명의 실시예에 따르면, 각각의 프리젠테이션 페이지에는 페이지 식별자가 할당된다. 이용자 입력 계층(350)이 데이터베이스(360)의 이용자 입력 계층의 세트(355) 내에 기억될 때, 프리젠테이션 페이지(330)를 위한 페이지 식별자는 프리젠테이션 페이지(330)를 이용자 입력 계층의 세트(355)가 링크되어 있는 페이지로서 식별하는 이용자 입력 계층의 세트(355)를 갖는 데이터베이스(360)에 기억된다.
이와 같은 방식으로, 이용자 입력 계층의 세트(355)는 주어진 프리젠테이션 내의 복수의 프리젠테이션 페이지에서 지정된 프리젠테이션 페이지와 연관된다. 또한, 입력 계층의 상이한 세트가 주어진 프리젠테이션에서의 복수의 프리젠테이션 페이지의 각각의 상이한 프리젠테이션 페이지와 연관되어 데이터베이스(360)에 기억될 수 있다.
프리젠테이션 페이지(330) 및 이용자 입력 계층의 세트(355)는 원격 회의 장소의 세트에 송신된다. 원격 회의 장소의 세트는 Windows® Net Meeting 및 WebEx Web Conferencing과 같은 공지된 또는 입수가능한 회의 애플리케이션을 이용하는 네트워크를 통한 원격 회의 장소(320)와 같은 하나 이상의 원격 회의 장소를 포함한다. 능동 이용자는 프리젠테이션 페이지(330)에 대한 오버레이로서 이용자 입력 계층을 표시하기 위하여, 프리젠테이션 페이지(330)와 연관된 하나 이상의 이용자 입력 계층을 원격 회의 장소(320)에 송신할 수 있다.
이 예시적인 예에 따르면, 이용자 입력 계층의 세트(355) 및 프리젠테이션 페이지(330)는 네트워크상에서 원격 회의 장소(320)에 동적으로 송신된다. 그러나, 프리젠테이션 페이지(330)는 이용자 입력 계층의 세트(355)로부터 개별적으로 송신되어, 다른 능동 이용자가 이용자 입력 계층이 프리젠테이션 페이지(330)에 대한 오버레이로서 표시되도록 전환할 수 있도록 한다.
마크업 캡처의 제어는 원격 회의 장소(320)의 두 번째 능동 이용자에게 전달될 수 있다. 또한, 또 다른 예시적인 실시예에 따르면, 다수의 능동 이용자가 실시간 마크업을 동시에 캡처할 수 있다. 이러한 경우, 프리젠테이션 제어기(367)는 실시간으로 표시하기 위하여 각각의 상이한 능동 이용자의 마크업을 프리젠테이션 페이지(330)에 동적으로 통합한다. 따라서, 다수의 두 번째 능동 이용자가 이용자 입력 계층을 동시에 생성할 수 있다.
다수의 능동 이용자 입력 계층은 컴퓨터(300)를 활용하는 첫 번째 능동 이용자에 의해 발생된 이용자 입력 계층의 세트(355)와 함께, 실시간으로 또는 시차를 두어 프리젠테이션 페이지(330)와 연관되어 생성, 캡처 및 저장될 수 있다. 두 번째 능동 이용자 또는 다수의 다른 두 번째 능동 이용자들에 의해 생성된 프리젠테이션 페이지와 연관된 부가적인 이용자 입력 계층은 다시 컴퓨터(300)에 송신될 수 있다.
동일한 장소 또는 다른 원격 장소의 부가적인 다른 능동 이용자는 프리젠테이션 페이지(330)와 연관된 다른 이용자 입력 계층을 생성, 캡처, 저장 및 송신할 수 있다. 또한, 이용자 입력 계층은, 프리젠테이션 페이지(330)에 관해서는 위에서 설명된 것과 동일한 방식으로, 주어진 프리젠테이션에서의 복수의 프리젠테이션 페이지의 다른 프리젠테이션 페이지에 대해 생성 및 캡처될 수 있다.
프리젠테이션 제어기(367)는 하나 이상의 프리젠테이션 페이지와 함께 오버레이로서 표시하기 위하여, 이용자 입력 계층의 세트(355)의 하나 이상의 이용자 입력 계층을 처리한다. 여기에서 이용된 것과 같이, 오버레이는 도 6에 도시된 것과 같은 이용자 입력 계층(350)의 컨텐츠로서, 이 컨텐츠는 원본 프리젠테이션 페이지 또는 임의의 다른 프리젠테이션 페이지와 함께 상부에 오버레이 되거나, 통합되거나, 또는 이와 함께 표시될 수 있다. 또한, 각각의 투명 화면 상의 그래픽/텍스트가 중첩 방식에 의해 동시에 볼 수 있는 그러한 방식으로, 투명 화면이 서로의 상부에 적층될 수 있는 것과 같이, 오버레이는 하나 이상의 다른 오버레이와 함께 프리젠테이션 페이지에 병합될 수 있다.
예를 들어, 프리젠테이션 페이지가 2004년 내지 2005년에 대한 수입을 도시하는 막대 그래프이고, 능동 이용자가 2006년에 대해 투영된 수입을 추가하는 그래프에 대해 마크업을 행할 경우, 2006년 수입 마크업은 이용자 입력 계층(350)으로서 캡처되어 데이터베이스(360)에 기억될 수 있다. 능동 이용자가 임의의 프리젠테이션 페이지와 함께 2006년에 대한 투영된 수입을 도시하는 이용자 입력 계층(350)을 표시할 것을 선택하면, 표시된 프리젠테이션 페이지와 함께 표시하기 위하여, 프리젠테이션 제어기(367)는 이용자 입력 계층(350)을 검색하여, 이용자 입력 계층을 투영기에 오버레이로서 송신한다. 이 예시적인 실시예에 따르면, 프리젠테이션 애플리케이션(322)은 프리젠테이션 제어기(367)로부터 분리된 구성요소이다. 그러나, 본 발명의 또 다른 실시예에 따르면, 프리젠테이션 애플리케이션(322) 및 프리젠테이션 제어기(367)는 단일 구성요소로서 구현된다.
예시적인 예에 따르면, 데이터베이스(360)에 기억된 이용자 입력 계층 세트(355)의 각각의 이용자 입력 계층에는 유일한 컬러가 할당될 수 있어서, 각각의 이용자 입력 계층은 투영기에 의해, 또는 임의의 컴퓨터 상에서, 및/또는 디지털 표시에 의해 오버레이로서 표시될 때, 모든 다른 이용자 입력 계층과 상이한 컬러가 된다. 각각의 이용자 입력 계층에는, 입력 계층 및/또는 회의 장소를 생성한 이용자에 의해 유일한 컬러가 할당될 수 있다.
본 발명의 또 다른 실시예에서는, 이용자 입력 계층 세트(355)의 각각의 저장된 이용자 입력 계층이 상이한 기능 키(key)에 할당될 수 있다. 따라서, 이용자는 그 이용자 입력 계층과 연관된 기능 키를 누름으로써 특수한 이용자 입력 계층 을 표시할 것을 선택할 수 있다. 이 기능 키가 다시 눌러져서, 프리젠테이션 페이지(330)와 관련된 표시로부터 기능과 연관된 오버레이를 제거할 수 있다. 그러나, 본 발명의 실시예는 기능 키를 선택함으로써 이용자 입력 계층을 선택하는 것으로 한정되지 않는다. 예를 들어, 다음의 것으로 한정되지는 않지만, 그래픽 이용자 인터페이스 상의 아이콘을 선택 또는 클릭하거나, 메뉴 구동 인터페이스 상의 메뉴 항목을 선택하는 것을 포함하는, 데이터베이스에서 데이터를 선택하기 위한 임의의 공지된 또는 입수가능한 방법을 활용하는 본 발명의 실시예에 따라, 이용자 입력 계층은 이용자에 의해 선택될 수 있다.
본 발명의 또 다른 예시적인 실시예에서는, 각각의 이용자 입력 계층에 할당된 기능 키를 눌러서 표시되도록 함으로써, 하나 이상의 이용자 입력 계층은 프리젠테이션 페이지에 대한 오버레이로서 동시에 표시될 수 있다. 다수의 이용자 입력 계층이 동시에 표시되는 예에서는, 이용자 입력 계층은 적층 방식의 오버레이로서 표시되어, 다수의 오버레이를 동시에 볼 수 있다. 예시적인 예에서, 각각의 이용자 입력 계층은 상이한 컬러로 표시될 수 있어서, 각각의 오버레이는 이용자 입력 계층의 컬러를 기초로 적층 상태의 모든 다른 오버레이와 구별될 수 있다.
본 발명의 형태에 따르면, 이용자 입력 계층은 다수의 다른 오버레이와 함께 프리젠테이션 페이지(330)에 대한 오버레이로서 표시될 수 있다. 이러한 경우, 이용자는 이용자 입력 계층 세트(355)를 선택하여 프리젠테이션 페이지(330)에 대한 오버레이로서 표시한다. 각각의 선택된 이용자 입력 계층은 능동 이용자의 회의 장소뿐만 아니라, 원격 회의 장소(320)와 같은 모든 다른 원격 회의 장소의 프리젠테 이션 페이지의 투영된 화상에 오버레이 된다.
이와 유사하게, 이용자 입력 계층 세트(355)의 하나 이상의 이용자 입력 계층은 표시로부터 숨겨질 수 있어서, 일정한 이용자 입력 계층만 오버레이로서 표시되고, 하나 이상의 숨겨진 이용자 입력 계층은 프리젠테이션 페이지(330)와 함께 표시되지 않는다. 따라서, 이용자 입력 계층은 프리젠테이션 페이지(330)와의 표시로부터 숨겨지거나, 데이터베이스(360)의 이용자 입력 계층 세트(355)로부터 삭제될 수 있다.
예시적인 실시예에서, 데이터베이스는 하나 이상의 오버레이와 함께 프리젠테이션 페이지(330)를 변형된 프리젠테이션 페이지로서 기억할 수 있다. 따라서, 프리젠테이션 페이지(330)는 변형된 프리젠테이션 페이지의 각각의 상이한 버전(version)에 하나 이상의 상이한 오버레이가 통합되어 있는 프리젠테이션 페이지의 다수의 상이한 변형된 버전으로서 데이터베이스(360)에 저장될 수 있다.
대안적인 예시적인 실시예에서는, 카메라(315) 및 투영기(305)가 단일 유닛 내에서 구현되므로, 카메라(315)는 투영기(305) 내의 구성요소이다.
회의 장소의 모든 이용자가 수동 이용자인 예시적인 예에서는, 도 1의 네트워크(102)와 같이, 컴퓨터(300)가 네트워크를 통해 하나 이상의 마스터 회의 장소에 접속된다. 마스터 회의 장소는 하나 이상의 능동 이용자가 위치되어 있는 회의 장소(320)와 같은 회의 장소이다. 이러한 경우, 컴퓨터(300)는 투영기(305) 및 카메라(315)에 선택적으로 접속된다.
본 발명의 또 다른 예시적인 실시예에서는, 능동 이용자가 입력 계층을 원격 회의 장소(320)에 송신하지 않고, 데이터베이스(360)의 프리젠테이션 페이지와 연관된 하나 이상의 이용자 입력 계층을 생성 및 기억한다. 이용자 입력 계층은 회의 중에 실시간이 아니라, 회의 또는 모임이 종료된 후에, 하나 이상의 이용자에 의해 시청 및/또는 조작될 수 있다. 이러한 경우, 컴퓨터는 네트워크를 통해 원격 회의 장소(320)에 선택적으로 접속된다.
본 발명의 또 다른 실시예에서는, 능동 이용자가 프리젠테이션 페이지와 연관된 마크업 계층의 마크업 캡처를 초기화하기 위하여, 컴퓨터(300) 상의 마크업 관리기(325)에 대해 이용자 이름으로 사인-온(sign-on) 또는 로그-온(log-on)을 해야 한다. 이용자 이름은 능동 이용자 또는 능동 이용자의 회의 장소와 연관된 이름일 수 있다.
본 발명의 또 다른 예시적인 실시예에서는, 컴퓨터(300)에 의해 재생 및 인쇄 설비가 제공된다. 재생 및 인쇄 기능은 회의가 종료된 후와 같은 나중 시점에 특정 프리젠테이션 페이지와 연관된 오버레이를 능동 이용자가 시청할 수 있도록 한다. 재생 및 인쇄 특징은 능동 이용자가 프리젠테이션 페이지를 업데이트할 수 있게 하여, 하나 이상의 이용자 입력 계층을 프리젠테이션 페이지(330)에 대한 오버레이로서만 아니라 프리젠테이션 페이지(330)의 일부로서 포함한다. 따라서, 이용자는 프리젠테이션 페이지(330)를 업데이트하여 하나 이상의 이용자 입력 계층으로부터의 컨텐츠를 포함할 수 있으므로, 프리젠테이션 페이지는 프리젠테이션의 진행 도중에 행해진 변화를 프리젠테이션 페이지(330)에 대한 마크업으로서 반영한다.
도 3b는 본 발명의 예시적인 실시예에 따른 화이트보드 상의 마크업의 화이트/그레이 스트로브(strobe) 캡처의 대안적인 처리를 예시하는 블록도이다. 능동 이용자는 컴퓨터(300)를 활용하여 회의 장소(312)에서 투영기(305)에 의해 화이트보드(310)에 표시되는 페이지에 대응하는 화이트보드 기반의 마크업 계층을 캡처 및 제어한다. 이 예시적인 예에서, 컴퓨터(300)는 도 1의 네트워크(102)와 같은 네트워크 접속부에 접속되는 네트워크 장치(324)를 통해 원격 회의 장소(320)에도 접속되어 있다.
이용자는 임의의 컬러의 마커, 마크용 펜, 또는 기록 도구를 이용하여 화이트보드(310) 상에 마크업을 생성한다. 카메라(315)는 컬러 카메라이다. 카메라(315)는 화이트보드(310) 상의 마크업의 화상을 캡처하여 컬러 카메라 화상(318)을 형성한다. 컬러 카메라 화상(318)은 화이트보드에 프리젠테이션 페이지(330)가 투영되지 않은 상태에서 화이트보드(310)에 행해진 이용자 마크업의 화상이다. 따라서, 컬러 카메라 화상(318)은 화이트보드(310)에 투영된 화상(368)이 없는 화이트보드(310) 상의 마크업의 화상이다.
컬러 카메라 화상(318)을 캡처하기 위하여, 카메라는 투영된 화상이 프리젠테이션 페이지(330)가 아니라 화이트 배경을 표시하는 간격 도중에 화이트보드(310) 상의 마크업을 촬영한다. 프리젠테이션 제어기(367)는 투영된 화상이 공백으로 되어 투영된 배경에 의해 대체되는 주기적인 간격을 조정한다. 투영된 배경은 화이트보드(310) 상의 마크업을 조명하기 위한 임의의 광 컬러일 수 있다. 예를 들어, 투영된 배경은 순수한 화이트 배경, 오프-화이트(off-white) 배경, 광 그레이 배경, 또는 마크업 계층을 조명하기 위한 임의의 다른 광 컬러의 배경일 수 있다. 카메라(315)는 카메라(315)와 연관된 셔터를 개방하여 투영된 화이트/그레이 배경에 의해 조명된 화이트보드(310) 상의 마크업의 화상을 캡처하고, 프리젠테이션 페이지(330)가 공백으로 되고 화이트/그레이 배경이 프리젠테이션 제어기(367)에 의해 표시되는 간격 도중에 컬러 마크업 계층(318)을 생성한다.
프리젠테이션 제어기(367)는 화이트/그레이 배경 화상을 투영기(305)에 송신하는 것과, 스냅샷(snapshot) 신호를 카메라(315)에 송신하는 것으로 구성되는 타이밍 제어 시퀀스(sequence)를 조정하여, 카메라(315)의 카메라 셔터의 개방을 초기화하고, 컬러 카메라 화상(318)을 캡처한다. 셔터 제어(344)는 투영기에 송신된 블랭킹(blanking) 신호와, 마크업의 적절한 노출을 위해 요구되는 카메라 셔터의 개방과, 셔터 속도 사이의 타이밍 관계를 제어한다. 컬러 마크업 계층(318)이 캡처된 후, 투영기는 투영된 화이트/그레이 배경을 프리젠테이션 페이지(330)의 투영된 화상으로 대체한다.
마크업 관리기(325)는 보정기(328)를 활용하여, 카메라(315)로부터 수신된 컬러 카메라 화상(318)과 같은 이용자 마크업의 화상을 정규화할 뿐만 아니라, 필터(340)를 보정한다. 결함 필터(348)는 화이트보드(310) 표면의 결함으로 인한 컬러 카메라 화상(318)의 마크를 제거한다. 이와 같은 방식으로, 이용자 입력 계층(350)은 화이트보드(310) 상에 임의의 컬러로 행해진 이용자 마크업으로부터 형성된다.
이용자 입력 계층(350)은 이용자 입력 계층의 세트(355)로 데이터베이 스(360)에 저장된다. 이용자 입력 계층의 세트(355)는 복수의 프리젠테이션 페이지 중의 지정된 프리젠테이션 페이지와 연관된 하나 이상의 이용자 입력 계층을 포함한다. 프리젠테이션 제어기(367)는 이용자 입력 계층(350)을 검색하여, 프리젠테이션 페이지(330)와 함께 표시하기 위한 오버레이를 생성한다.
이 예시적인 실시예에 따르면, 이용자 입력 계층의 세트(355) 및 프리젠테이션 페이지(330)는 네트워크를 통해 하나 이상의 원격 회의 장소(320)에 동적으로 송신된다.
대안적인 실시예에서는, 셔터 제어(344)가 카메라(315)로부터 제거되어 마크업 관리기(325) 내에 내장될 수 있다. 이 실시예에서는, 카메라(315)가 카메라 화상을 마크업 관리기(325)에 연속적으로 송신한다. 마크업 관리기(325)는 투영기(305)로부터의 화이트/그레이 펄스의 스트로브 중의 간격에 대응하는 카메라 화상 프레임을 선택한다. 프리젠테이션 페이지(330)가 투영기(305)에 의해 화이트보드(310) 상에 표시될 때, 마크업 관리기(325)는 화이트/그레이 펄스 간격의 외부에서 캡처된 카메라 화상 프레임을 무시한다.
도 4a는 본 발명의 예시적인 실시예에 따른 보정 화상을 예시하는 블록도이다. 이 예시적인 실시예에서는, 마크업 화상의 보정이 도 3a의 보정기(328)에 의해 수행된다.
보정기는 다크 레벨 보정을 수행하므로, 필터는 카메라로부터 수신된 마크업 화상의 블랙 마크업 컨텐츠와 프리젠테이션 페이지를 구별할 수 있다. 보정기는 투영된 블랙 배경의 가장 어두운 블랙과, 화이트보드 상의 블랙 마크업의 가장 어두 운 블랙 사이에 명도 레벨의 명백한 차이가 존재한다는 사실을 이용한다. 화이트보드 상으로의 블랙 마커는 투영된 화상의 투영된 블랙 컬러보다 더 어두울 것이다.
또한, 보정기는 직교성/영역 보정을 수행하여, 도 3a의 마크업 관리기(325)와 같은 마크업 관리기가 카메라로부터 수신된 마크업 화상의 어느 부분이 화이트보드 화상 위의 능동 표시 화상인지를 인식할 수 있게 한다. 또한, 직교성 보정은 마크업 관리기가 투영의 경사 각도에 대한 조정을 할 수 있도록 한다. 직교성/영역 보정은 각각의 모서리에 화이트 대상(410)을 갖는 보정 화상(400)의 거의 전체 화면 블랙 배경(430)을 투영함으로써 달성된다. 보정기는 화이트보드 크기와, 투영된 화상에 대한 화이트보드의 올바른 각도를 결정할 수 있으므로, 카메라로부터 수신된 마크업 화상 내의 모든 마크는 프리젠테이션 페이지의 투영된 화상에 대응하는 올바른 화소 위치에서 병합될 수 있다.
보정 화상(400)은 화이트보드에 표시된다. 보정 화상(400)은 보정 화상의 투영된 블랙 배경에 위치된 다른 레벨 보정 대상(420)이라고 불리는 화이트 대상을 포함한다. 이용자는 도 4b에 도시된 것과 같이 보정 대상(420)의 대상 구역에 색칠을 한다.
도 4b는 본 발명의 예시적인 실시예에 따른 다크 레벨 보정 대상 구역을 갖는 보정 화상을 예시하는 또 다른 예시 블록도이다. 보정 화상(440)의 대상(420)은 블랙 마커에 의해 색칠이 되어 있다. 대상 구역은 표준 블랙 건식 소거 마커와 같은 임의의 종류의 블랙 마킹용 펜 또는 블랙 마커에 의해 색칠이 될 수 있다. 카메라는 투영된 블랙 배경을 갖는 화이트보드의 마크업 화상을 캡처하고, 그 화상을 보정기에 송신한다.
보정기는 카메라로부터 수신된 마크업 화상을 분석하고, 대상 장소(420)의 블랙 마커에 대한 투영된 블랙 배경의 명도 레벨을 비교하여, 클립 레벨을 설정한다. 일단 설정되면, 클립 레벨은 시스템이 블랙 마커 또는 블랙 마킹용 펜에 의해 행해진 블랙 마크업 컨텐츠를, 투영기에 의해 투영된 화상 또는 임의의 다른 표시된 비디오 컨텐츠와 구별할 수 있도록 한다.
도 5는 본 발명의 예시적인 실시예에 따른 마크업 관리기에 의해 수신된 마크업 화상을 예시하는 블록도를 도시한 것이다. 마크업 프리젠테이션 화상(500)은 투영된 화상과 관련하여 화이트보드에 묘사하는 하나 이상의 이용자에 의해 생성된 투영된 화상(510) 및 마크업(520 및 522)을 갖는, 카메라에 의해 촬영된 화이트보드의 그림이다.
도 6은 본 발명의 예시적인 실시예에 따른 도 5의 마크업 화상(500)으로부터 분리된 이용자 입력 계층(600)을 예시하는 블록도를 도시한 것이다. 이용자 입력 계층(600)은 투영된 화상(610)에 대한 오버레이로서 저장된다. 마크업(620 및 622) 형태의 자연스러운 인간 입력은 별도의 이용자 입력 계층(600)으로서 캡처된다.
도 7은 본 발명의 예시적인 실시예에 따른 컬러 마크업 계층을 분리하는 화이트/그레이 스트로브 캡처 처리를 예시하는 그래프이다. 대부분의 시간 동안, 시간 구간(710 및 712)에서와 같이, 카메라는 비활성 상태이고, 프리젠테이션에서의 프리젠테이션 페이지는 화이트보드에 표시된다. 이 구간 동안, 정규의 프리젠테이션 컨텐츠는 투영기에 의해 투영된다.
시간 구간(720)에서, 투영은 정규의 프리젠테이션 사항을 표시하는 것으로부터 순수한 화이트 배경을 표시하는 것으로 전이된다. 이 전이는 특정 스케줄에서 발생할 수 있다. 예를 들어, 정규의 프리젠테이션 사항은 5초마다 화이트/그레이 광으로 전이될 수 있다.
시간 구간(730)에서는, 순수한 화이트 또는 그레이 화면이나 배경이 투영기에 의해 투영되고, 카메라 셔터가 개방 상태로 되어, 컬러 마크업 계층의 마크업 데이터를 캡처한다. 프리젠테이션 페이지가 투영기에 의해 투영되지 않으므로, 카메라에 의해 캡처된 마크업 데이터는 컬러 마크업 계층과 연관된 정규의 프리젠테이션 사항 중의 어느 것도 포함하지 않는다.
시간 구간(740)은, 카메라 셔터가 닫힌 후이지만, 화이트 배경이 투영 표시의 통상의 프리젠테이션 데이터에 의해 대체되기 전에 발생한다. 이 시간 간격은, 시간 구간(712) 중에 다시 화이트보드에 프리젠테이션 화상이 표시될 때, 카메라 셔터가 여전히 개방되지 않고 있음을 보장하기 위해 발생한다.
이 예시적인 예에서, 투영기 화상을 블랭크 처리하고 카메라 셔터를 개방하여 컬러 마크업 계층을 캡처하는 처리는 실시간 마크업 업데이트의 일정한 스트림을 캡처하기 위하여 규칙적인 간격으로 행해진다.
또 다른 대안에서는, 이용자가 스탭샷 모드에서와 같이 컬러 마크업 계층을 취득할 것을 선택할 때에만 셔터 제어 전이가 발생한다. 스냅샷 모드에서는, 카메라는 화이트보드의 화상을 캡처하기만 하고, 이용자는 블래킹 간격이 발생하게 하는 제어를 선택한다. 이용자는 화이트보드 상의 마크업의 화상을 캡처하고자 할 때 마다 블랭킹 간격 제어를 선택한다.
스냅샷 모드는 규칙적인 간격으로 마크업의 실시간 마크업 캡처시에 화면 블랭킹의 일정한 듀티 사이클 중에 발생할 수도 있는 플리커(flicker) 문제를 감소시킬 수 있다. 또한, 이용자는, 모든 마크업이 일단 완료되어, 프리젠테이션 페이지의 최종 마크업만 필요한 상태에서 스냅샷 모드를 활용할 수 있다. 예를 들어, 프리젠테이션의 종료 시점에, 최종 마크업 버전이 프리젠테이션 페이지의 업데이트된 버전에 병합될 경우, 모든 마크업이 완료된 후에는, 마크업 캡처가 한 번만 발생할 필요가 있다.
또 다른 예시적인 실시예에서, 셔터 제어는 투영기에 송신된 블랭킹 신호와, 마크업의 적절한 노출을 위해 요구되는 카메라 셔터의 개방과, 셔터 속도 사이의 타이밍 관계를 제어한다. 셔터 제어는 투영기 및 카메라의 동작 파라미터를 조정하도록 보정되므로, 데이터 캡처가 최적화된다. 또한, 보정은 블랭킹 간격 도중에 발생하는 플리커링을 최소화한다.
720, 730 및 740에서의 마크업 캡처 간격은 다음과 같이 보정된다.
시스템은 수평 및 수직 라인의 미세한 격자를 이용하여 전체 화면 구역을 커버하는 테스트 패턴을 투영한다. 다음으로, 시스템은 이것을 기준 화상으로서 캡처한다.
잔여 테스트 패턴 휘도가 캡처된 화상에서 나타나지 않는 최소의 시간이 구해질 때까지, 시스템은 표시된 화상을 오프시키는 것과 화상 캡처를 시작하는 것 사이의 시간 구간인 간격(720)을 조정한다.
이용자는 화이트보드 상의 모서리마다 큰 "X"를 그리도록 촉구된다.
시스템은 순수한 화이트를 투영하여 "X"를 조명한 다음, "X"를 정확하게 캡처하기 위한 최소값이 구해질 때까지 구간(730)에서의 카메라 셔터 시간을 조정한다.
시스템은 구간(720) 및 구간(730)의 작용을 수행하고, 구간(740)에 대한 최소값이 구해질 때가지 구간(740)(셔터 폐쇄를 지시하는 것과 격자를 나타내는 것 사이의 시간)을 조정한다.
이제, 최소의 타이밍으로 마크업 캡처를 가능하게 한다. 다음으로, 시스템은 구간(730)에서 "X"를 캡처하기 위하여 셔터가 개방 상태를 유지해야 하는 최소 시간을 구한다.
이제 마크업 데이터를 캡처하기 위한 최소의 타이밍이 알려진다. 최종 보정 단계는 플리커링을 최소화하기 위해 요구되지만, 의도된 마크업 캡처 레이트를 허용하는 정규인 투영(710)의 최대값을 결정한다. 하나의 예시적인 실시예에서, 최종 보정은, 설정 인터페이스를 통해, 조작자가 플리커링이 더욱 오래 눈에 띄는 시점으로 타이밍(710)을 조정하도록 허용되는 수동 설정이다. 따라서, 마크업 화상 캡처에 의해 야기되는 시각적인 교란을 방지하거나 적어도 최소화하면서, 가장 빠른 마크업 캡처 레이트가 얻어진다.
도 8은 본 발명의 예시적인 실시예에 따른 화이트보드 상의 마크업의 다크 레벨 필터 캡처 처리를 예시하는 순서도이다. 이 처리는 도 3a의 마크업 관리기(325)와 같은 프리젠테이션 소프트웨어 구성요소에 의해 수행된다.
상기 처리는 카메라로부터 카메라 화상을 수신한다(단계 810). 카메라 화상은 마크업을 갖는 화이트보드에 표시되는 프리젠테이션 페이지의 화상이다. 상기 처리는 다크 레벨 필터를 이용하여 블랙 마크업 컨텐츠를 분리하여 이용자 입력 계층을 형성한다(단계 820). 이용자 입력이 클립 레벨보다 크지 않으면, 입력은 무시된다. 이용자 입력 계층은 데이터베이스에 기억된다(단계 825).
상기 처리는 프리젠테이션 페이지와 함께 표시하기 위한 이용자 입력 계층의 이용자 선택을 수신한다(단계 830). 상기 처리는 데이터베이스로부터 선택된 이용자 입력 계층을 검색하고, 프리젠테이션 페이지에 대한 오버레이로서 표시하기 위하여, 이용자 입력 계층을 투영기에 송신하며(단계 840), 그 다음에 처리를 종료한다.
본 발명의 예시적인 실시예에 따르면, 하나 이상의 다른 오버레이가 프리젠테이션 페이지에 대한 오버레이로서 이미 표시되고 있으면, 이용자 입력 계층은 다른 오버레이와 함께 추가적인 협력 계층으로서 표시될 수 있다. 이 예시적인 예에서는, 각종 상이한 오버레이를 구별하기 위하여, 각각의 오버레이가 상이한 컬러로 표시된다.
도 9는 본 발명의 예시적인 실시예에 따른 화이트보드 상의 마크업의 화이트/그레이 스트로브 캡처 처리를 예시하는 순서도이다. 상기 처리는 도 3b의 마크업 관리기(325)와 같은 프리젠테이션 소프트웨어 구성요소에 의해 이행된다.
상기 처리는 화이트/그레이 스트로브 캡처가 선택되었는지 판정함으로써 시작된다(단계 910). 화이트/그레이 스트로브 캡처가 선택되지 않았으면, 상기 처리 는 종료된다.
화이트/그레이 스트로브 캡처가 선택되었으면, 상기 처리는 스냅샷 모드가 선택되어 있는지 판정한다(단계 920). 스냅샷 모드가 선택되어 있지 않으면, 상기 처리는 프리젠테이션 페이지를 화이트보드에 표시한다(단계 930). 다음으로, 상기 처리는 주어진 시간 간격이 경과하였는지 판정한다(단계 935). 주어진 시간 간격이 경과하지 않았으면, 상기 처리는 단계 930으로 복귀한다. 주어진 간격이 경과하였으면, 상기 처리는 프리젠테이션 페이지의 투영된 표시를 화이트 배경의 투영된 표시로 전이하는 것을 초기화한다(단계 940).
다음으로, 화이트 배경이 화이트보드에 투영되고 있는 동안, 상기 처리는 카메라 셔터를 개방하여 화이트보드 상의 마크업 계층의 화상을 캡처한다(단계 945). 상기 처리는 카메라 셔터를 폐쇄하고(단계 950), 프리젠테이션 페이지의 표시를 다시 초기화한다(단계 955).
이용자가 처리의 종료를 선택하지 않은 것으로 상기 처리가 판정하면, 상기 처리는 단계 935로 복귀하여, 처리가 다음의 마크업 계층을 계속 캡처하는 주어진 시간 간격의 만료를 대기한다.
이제, 단계 920으로 돌아가서, 이용자가 스냅샷 모드를 선택하였으면, 상기 처리는 이용자가 마크업 계층의 캡처를 선택한 것인지 판정한다(단계 965). 이용자가 마크업 계층의 캡처를 선택하지 않았으면, 상기 처리는 이용자가 마크업 계층의 캡처를 선택할 때까지 단계 920으로 복귀한다.
이용자가 마크업 계층의 캡처를 선택하였으면, 상기 처리는 프리젠테이션 페 이지의 투영된 표시를 화이트 배경의 투영된 표시로 전이하는 것을 초기화한다(단계 970). 상기 처리는 카메라 셔터를 개방하여 마크업 계층의 화상을 캡처한다(단계 975). 다음으로, 상기 처리는 카메라 셔터를 폐쇄하고(단계 980), 투영기에 의한 프리젠테이션 페이지의 표시(단계 990)를 초기화한다.
마지막으로, 상기 처리는 이용자가 처리의 종료를 선택한 것인지 판정한다(단계 990). 이용자가 처리의 종료를 선택하지 않았으면, 상기 처리는 이용자가 다음의 마크업 계층의 캡처를 선택할 때까지 단계 965로 복귀한다. 이용자가 처리의 종료를 선택한 것으로 판정되면, 그 다음, 상기 처리는 종료된다.
따라서, 본 발명의 형태는 고가의 펜, 디지타이징 타블렛, 전자 화이트보드 및/또는 센서의 구입 비용 없이도, 표준적인 비-전자적인 화이트보드에 마크를 행하여 얻어진 필기내용 및 그 외의 자유롭고 자연스러운 인간 입력을 캡처하기 위한 방법을 제공한다. 또한, 이 방법, 장치 및 컴퓨터 프로그램 제품은 화이트보드 상의 투영된 화상과의 더욱 자연스러운 인간 상호작용을 허용한다. 또한, 현재 청구된 발명은 기존의 일반적으로 이용되는 표시 투영 장비, 카메라 및 컴퓨터를 이용하여 동작한다.
본 발명의 예시적인 실시예에 따르면, 화이트보드 상에 행해진 이용자 마크업은 컨텐츠에 대한 왜곡 또는 손실 없이 프리젠테이션 컨텐츠와 병합될 수 있다. 또한, 동일한 물리적 장소 또는 지리적으로 떨어진 장소에 위치한 다수의 이용자가 지정된 프리젠테이션 페이지와 연관된 다수의 이용자 입력 계층을 생성, 시청 및 조작함으로써 대화식으로 협력할 수 있다.
발명은 완전히 하드웨어인 실시예, 완전히 소프트웨어인 실시예, 또는 하드웨어 및 소프트웨어 요소를 모두 포함하는 실시예의 형태를 취할 수 있다. 바람직한 실시예에서는, 발명이 소프트웨어로 구현되고, 이 소프트웨어는 다음의 것으로 한정되지는 않지만, 펌웨어, 상주 소프트웨어, 마이크로코드 등을 포함한다.
또한, 발명은 컴퓨터에 의해 또는 컴퓨터와 관련되어 사용하기 위한 프로그램 코드, 또는 임의의 명령 실행 시스템을 제공하는 컴퓨터 이용가능 또는 컴퓨터 판독가능 매체로부터 액세스 가능한 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 이 설명을 위하여, 컴퓨터 이용가능 또는 컴퓨터 판독가능 매체는 명령 실행 시스템, 장치, 또는 기기에 의해 또는 이와 관련되어 사용하기 위한 프로그램을 포함, 기억, 통신, 전파, 또는 수송할 수 있는 임의의 실체적인 장치일 수 있다.
매체는 전자, 자기, 광, 전자기, 적외선, 또는 반도체 시스템(또는 장치 또는 소자), 또는 전파 매체일 수 있다. 컴퓨터 판독가능 매체의 예는 반도체 또는 고체 상태 메모리, 자기 테이프, 분리형 컴퓨터 디스켓, 랜덤 액세스 메모리(RAM), 판독전용 메모리(ROM), 강성 자기 디스크 및 광 디스크를 포함한다. 광 디스크의 현재의 예는 컴팩트 디스크-판독전용 메모리(CD-ROM), 컴팩트 디스크-판독/기록(CD-R/W) 및 DVD를 포함한다.
프로그램 코드를 기억 및/또는 실행하기에 적당한 데이터 처리 시스템은 시스템 버스를 통해 메모리 소자에 직접 또는 간접적으로 결합된 적어도 하나의 처리를 포함할 것이다. 메모리 소자는 프로그램 코드의 실제적인 실행 중에 채용되는 로컬 메모리, 대용량 기억장치, 및 실행 중에 대용량 기억장치로부터 코드가 검색 되어야 하는 횟수를 감소시키기 위하여 적어도 일부의 프로그램 코드의 일시적인 기억공간을 제공하는 캐시 메모리를 포함할 수 있다.
입력/출력 또는 I/O 장치(다음의 것으로 한정되지는 않지만, 키보드, 표시장치, 포인팅 장치 등을 포함)는 직접 또는 중간의 I/O 제어기를 거쳐 시스템에 결합될 수 있다.
네트워크 어댑터가 시스템에 결합되어, 데이터 처리 시스템이 중간의 사설 또는 공중 네트워크를 통해 다른 데이터 처리 시스템, 또는 원격 프린터, 또는 기억장치에 결합되도록 할 수 있다. 모뎀, 케이블 모뎀 및 이더넷 카드가 바로 네트워크 어댑터의 현재 입수가능한 약간의 종류이다.
본 발명의 설명은 예시 및 설명을 위하여 제시되었으며, 완전히 규명하거나, 개시된 형태의 발명으로 한정하기 위한 것이 아니다. 다수의 변형 및 변경이 당업자에게는 자명할 것이다. 실시예는 발명의 원리, 실제적인 적용을 가장 잘 설명하고, 계획된 특정 용도에 적합한 각종 변형을 갖는 여러 실시예에 대한 발명을 당업자가 이해할 수 있도록 하기 위하여 선택 및 기술되었다.
이상 설명된 바에 따르면, 고가의 펜, 디지타이징 타블렛, 전자 화이트보드 및/또는 센서의 구입 비용 없이도, 표준적인 비-전자적인 화이트보드에 마크를 행하여 얻어진 필기내용 및 그 외의 자유롭고 자연스러운 인간 입력을 캡처하기 위한 방법을 제공할 수 있다. 또한, 본 발명의 방법, 장치 및 컴퓨터 프로그램 제품은 화이트보드 상의 투영된 화상과의 더욱 자연스러운 인간 상호작용을 허용할 수 있 다.

Claims (10)

  1. 투영된 화상(projected image)에 관한 화이트보드 상의 마크업 계층을 캡처하기 위한 컴퓨터 구현방법으로서,
    프리젠테이션 페이지를 화이트보드 상의 투영된 화상으로서 표시하는 단계;
    상기 프리젠테이션 페이지와 연관된 상기 화이트보드 상의 마크업의 세트-이 마크업의 세트는 제1 능동 이용자에 의해 생성됨-를 식별하는 단계;
    상기 프리젠테이션 페이지에 대한 오버레이로서 저장되는 이용자 입력 계층을 생성하기 위해, 상기 마크업의 세트를 분리하는 단계; 및
    마크업 캡처의 제어를 원격 회의 장소의 제2 능동 이용자에게 전달하는 단계
    를 포함하고,
    하나 이상의 추가적인 이용자 입력 계층이 상기 프리젠테이션 페이지와 연관되어 캡처되는 것인, 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 마크업의 세트는 블랙 마크업 계층을 형성하는 일련의 블랙 마크이고,
    상기 마크업의 세트를 분리하는 단계는,
    상기 화이트보드 상의 상기 프리젠테이션 페이지의 화상 및 상기 블랙 마크업 계층을 캡처하는 단계; 및
    이용자 입력 계층을 형성하기 위해, 상기 프리젠테이션 페이지의 제2 블랙 레벨에 대한 상기 블랙 마크업 계층의 제1 블랙 레벨의 차이를 기초로 상기 프리젠테이션 페이지로부터 상기 블랙 마크업 계층을 분리하는 단계
    를 더 포함하는, 컴퓨터 구현 방법.
  3. 제1항에 있어서,
    상기 마크업의 세트는 화이트보드 상에 컬러 마크업 계층을 형성하는 임의 컬러의 일련의 마크이고,
    상기 마크업의 세트를 분리하는 단계는,
    상기 프리젠테이션 페이지의 투영된 화상을 화이트 또는 그레이 배경의 투영된 배경으로 대체하여, 상기 컬러 마크업 계층을 조명하는 단계;
    상기 화이트보드 상의 상기 컬러 마크업 계층의 화상을 캡처하여 이용자 입력 계층을 형성하는 단계; 및
    상기 컬러 마크업 계층이 캡처된 후, 상기 투영된 배경을 상기 프리젠테이션 페이지의 투영된 화상으로 대체하는 단계
    를 포함하는, 컴퓨터 구현 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 프리젠테이션 페이지를 업데이트하는 단계로서, 상기 업데이트된 프리젠테이션 페이지는 하나 이상의 이용자 입력 계층으로부터의 컨텐츠를 포함하는 것인, 상기 업데이트 단계를 더 포함하는, 컴퓨터 구현 방법.
  7. 제2항에 있어서,
    블랙 배경 상에 화이트 대상 구역(white target area)을 포함하는 캘리브레이션 화상(calibration image)을, 상기 화이트보드에 투영하는 단계;
    화이트 대상을 블랙 마커로 채우는 단계; 및
    상기 대상 구역 내의 블랙 마커의 블랙 레벨을 상기 화이트보드 상의 투영된 블랙 배경의 블랙 레벨과 비교하여 클립 레벨을 설정하는 단계
    를 더 포함하는, 컴퓨터 구현 방법.
  8. 제1항에 있어서,
    카메라로부터 수신된 마크업 화상 중 어느 부분이 상기 화이트보드 상의 능동 표시 화상 내에 있는지를 판정하기 위해, 직교성/영역 캘리브레이션(orthogonality/region calibration)을 수행하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  9. 투영된 화상에 관한 화이트보드 상의 마크업 계층을 캡처하기 위한 컴퓨터 이용가능 프로그램 코드를 갖는 프로그램을 기록한 컴퓨터 판독가능 매체로서,
    상기 프로그램은,
    프리젠테이션 페이지를 화이트보드 상의 투영된 화상으로서 표시하는 컴퓨터 이용가능 프로그램 코드;
    상기 프리젠테이션 페이지와 연관된 상기 화이트보드 상의 마크업의 세트-이 마크업의 세트는 제1 능동 이용자에 의해 생성됨-를 식별하는 컴퓨터 이용가능 프로그램 코드;
    상기 프리젠테이션 페이지에 대한 오버레이로서 저장되는 이용자 입력 계층을 생성하기 위해, 상기 마크업의 세트를 분리하는 컴퓨터 이용가능 프로그램 코드; 및
    마크업 캡처의 제어를 원격 회의 장소의 제2 능동 이용자에게 전달하는 컴퓨터 이용가능 프로그램 코드
    를 포함하고,
    하나 이상의 추가적인 이용자 입력 계층이 상기 프리젠테이션 페이지와 연관되어 캡처되는 것인, 컴퓨터 판독가능 매체.
  10. 투영된 화상에 관한 화이트보드 상의 마크업 계층을 캡처하기 위한 장치로서,
    버스에 접속되고, 컴퓨터 이용가능 프로그램 코드를 갖는 프로그램을 기록한 컴퓨터 판독 가능 매체를 포함하는 기억 장치; 및
    상기 프로그램을 실행시키는 프로세서
    를 포함하고,
    상기 프로그램은,
    프리젠테이션 페이지를 화이트보드 상의 투영된 화상으로서 표시하는 컴퓨터 이용가능 프로그램 코드;
    상기 프리젠테이션 페이지와 연관된 상기 화이트보드 상의 마크업의 세트-이 마크업의 세트는 제1 능동 이용자에 의해 생성됨-를 식별하는 컴퓨터 이용가능 프로그램 코드;
    상기 프리젠테이션 페이지에 대한 오버레이로서 저장되는 이용자 입력 계층을 생성하기 위해, 상기 마크업의 세트를 분리하는 컴퓨터 이용가능 프로그램 코드; 및
    마크업 캡처의 제어를 원격 회의 장소의 제2 능동 이용자에게 전달하는 컴퓨터 이용가능 프로그램 코드
    를 포함하며,
    하나 이상의 추가적인 이용자 입력 계층이 상기 프리젠테이션 페이지와 연관되어 캡처되는 구성요소를 더 포함하는 것인, 캡처 장치.
KR1020070020653A 2006-03-23 2007-02-28 투영된 화상에 관한 화이트보드 마크업의 인식 및 캡처 KR100985516B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/387,509 2006-03-23
US11/387,509 US7880719B2 (en) 2006-03-23 2006-03-23 Recognition and capture of whiteboard markups in relation to a projected image

Publications (2)

Publication Number Publication Date
KR20070096803A KR20070096803A (ko) 2007-10-02
KR100985516B1 true KR100985516B1 (ko) 2010-10-06

Family

ID=38532881

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070020653A KR100985516B1 (ko) 2006-03-23 2007-02-28 투영된 화상에 관한 화이트보드 마크업의 인식 및 캡처

Country Status (3)

Country Link
US (1) US7880719B2 (ko)
JP (1) JP4866767B2 (ko)
KR (1) KR100985516B1 (ko)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080184115A1 (en) * 2007-01-29 2008-07-31 Fuji Xerox Co., Ltd. Design and design methodology for creating an easy-to-use conference room system controller
US20080316348A1 (en) * 2007-06-21 2008-12-25 Cisco Technology, Inc. Virtual whiteboard
US20090119593A1 (en) * 2007-11-01 2009-05-07 Cisco Technology, Inc. Virtual table
US20090185147A1 (en) * 2008-01-22 2009-07-23 Dell Products L.P. Projector image printing system
US20090309853A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Electronic whiteboard system and assembly with optical detection elements
US8275197B2 (en) * 2008-06-14 2012-09-25 Microsoft Corporation Techniques to manage a whiteboard for multimedia conference events
US8306969B2 (en) * 2008-09-23 2012-11-06 Microsoft Corporation Linking search queries to rich media themes
US8214742B2 (en) * 2008-12-23 2012-07-03 International Business Machines Corporation Method of rapidly creating visual aids for presentation without technical knowledge
US20100302150A1 (en) * 2009-05-29 2010-12-02 Gerold Keith Shelton Peer layers overlapping a whiteboard
JP5170043B2 (ja) * 2009-09-15 2013-03-27 コニカミノルタビジネステクノロジーズ株式会社 画像投影システム、画像投影方法および画像投影プログラム
US20120249585A1 (en) * 2009-11-09 2012-10-04 Pioneer Solutions Corporation Information processing device, method thereof, and display device
KR20110069958A (ko) * 2009-12-18 2011-06-24 삼성전자주식회사 프로젝터 기능의 휴대 단말기의 데이터 생성 방법 및 장치
JP2011205615A (ja) * 2010-03-01 2011-10-13 Ricoh Co Ltd 描画画像共有装置、描画画像共有方法、プログラムおよび記録媒体
JP5693022B2 (ja) * 2010-03-04 2015-04-01 キヤノン株式会社 表示制御装置および表示制御システム、並びにそれらの制御方法、プログラム、記憶媒体
JP5771981B2 (ja) * 2010-03-15 2015-09-02 株式会社リコー 描画画像共有装置、データ処理方法、プログラムおよび記録媒体
US8773464B2 (en) 2010-09-15 2014-07-08 Sharp Laboratories Of America, Inc. Methods and systems for collaborative-writing-surface image formation
US8896692B2 (en) * 2010-11-10 2014-11-25 Ricoh Company, Ltd. Apparatus, system, and method of image processing, and recording medium storing image processing control program
JP6014995B2 (ja) * 2010-11-25 2016-10-26 株式会社リコー 画像処理装置、及び画像処理プログラム
US20120280948A1 (en) * 2011-05-06 2012-11-08 Ricoh Company, Ltd. Interactive whiteboard using disappearing writing medium
JP2013033105A (ja) * 2011-08-01 2013-02-14 Ricoh Co Ltd プロジェクションシステム、ｐｃ端末プログラム及びプロジェクタプログラム
US8896896B2 (en) * 2011-09-13 2014-11-25 Ricoh Production Print Solutions LLC Preprinted form overlay
US9948988B2 (en) 2011-10-04 2018-04-17 Ricoh Company, Ltd. Meeting system that interconnects group and personal devices across a network
US9832352B2 (en) * 2011-11-16 2017-11-28 Autofuss System and method for 3D projection mapping with robotically controlled objects
CN104054023B (zh) 2011-11-16 2017-11-17 欧特法斯公司 用于与机器人控制的物体映射的3d投影的系统和方法
US9122444B2 (en) 2012-02-08 2015-09-01 Ricoh Company, Ltd. Network accessible projectors that display multiple client screens at once
US9013454B2 (en) 2012-03-02 2015-04-21 Ricoh Co., Ltd. Associating strokes with documents based on the document image
US8860994B2 (en) 2012-08-10 2014-10-14 Ricoh Production Print Solutions Electronic replacement of pre-printed forms
US20150288913A1 (en) * 2012-11-09 2015-10-08 Hitachi Maxell, Ltd. Video information terminal device and video display system
US9413796B2 (en) * 2013-06-07 2016-08-09 Amx, Llc Customized information setup, access and sharing during a live conference
JP2015043066A (ja) * 2013-07-25 2015-03-05 株式会社リコー 画像投影装置
JP5664731B2 (ja) * 2013-09-18 2015-02-04 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
JP2015069284A (ja) * 2013-09-27 2015-04-13 株式会社リコー 画像処理装置
US9883138B2 (en) 2014-02-26 2018-01-30 Microsoft Technology Licensing, Llc Telepresence experience
US9762855B2 (en) * 2014-03-18 2017-09-12 Getgo, Inc. Sharing physical whiteboard content in electronic conference
JP2016143236A (ja) * 2015-02-02 2016-08-08 株式会社リコー 配信制御装置、配信制御方法、及びプログラム
CN108351774A (zh) * 2015-11-02 2018-07-31 株式会社理光 信息处理装置、通信系统和信息处理方法
CN108090062B (zh) * 2016-11-21 2022-04-19 阿里巴巴集团控股有限公司 一种页面刷新方法及装置
US10417515B2 (en) * 2017-01-09 2019-09-17 Microsoft Technology Licensing, Llc Capturing annotations on an electronic display
US11102425B2 (en) * 2017-03-08 2021-08-24 Sony Corporation Image processing apparatus and image processing method
US20190205018A1 (en) * 2017-12-29 2019-07-04 Johnson Controls Technology Company Building management system with graffiti annotations
EP3675483A1 (en) * 2018-12-28 2020-07-01 Ricoh Company, Ltd. Content server, information sharing system, communication control method, and carrier means
JP7298302B2 (ja) * 2019-05-28 2023-06-27 株式会社リコー 情報処理装置、情報処理システム、情報処理方法及びプログラム
US11320979B1 (en) * 2020-10-15 2022-05-03 Salesforce.Com, Inc. Access control for online presentations

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050180631A1 (en) * 2004-02-17 2005-08-18 Zhengyou Zhang System and method for visual echo cancellation in a projector-camera-whiteboard system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5821925A (en) * 1996-01-26 1998-10-13 Silicon Graphics, Inc. Collaborative work environment supporting three-dimensional objects and multiple remote participants
BE1010346A5 (nl) * 1996-06-12 1998-06-02 Barco Nv Niet expliciet toepassingsgericht apparaat en gebruik ervan voor de automatische afregeling van een projector.
US6388654B1 (en) * 1997-10-03 2002-05-14 Tegrity, Inc. Method and apparatus for processing, displaying and communicating images
JP3867512B2 (ja) * 2000-06-29 2007-01-10 富士ゼロックス株式会社 画像処理装置および画像処理方法、並びにプログラム
US6930673B2 (en) * 2000-11-13 2005-08-16 Gtco Calcomp Collaborative input system
US7129934B2 (en) * 2003-01-31 2006-10-31 Hewlett-Packard Development Company, L.P. Collaborative markup projection system
JP2005051446A (ja) * 2003-07-31 2005-02-24 Ricoh Co Ltd 投影型表示装置および投影型表示装置を用いた表示画像の遠隔共有方法
JP2005071192A (ja) * 2003-08-27 2005-03-17 Ricoh Co Ltd 投影型表示装置、プログラムおよび記録媒体
US20050078092A1 (en) * 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US20060092178A1 (en) * 2004-10-29 2006-05-04 Tanguay Donald O Jr Method and system for communicating through shared media
JP4747616B2 (ja) * 2005-03-10 2011-08-17 富士ゼロックス株式会社 画像提示システムおよび画像提示プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050180631A1 (en) * 2004-02-17 2005-08-18 Zhengyou Zhang System and method for visual echo cancellation in a projector-camera-whiteboard system
KR20060041840A (ko) * 2004-02-17 2006-05-12 마이크로소프트 코포레이션 프로젝터-카메라-화이트보드 시스템에서의 비주얼 에코소거를 위한 시스템 및 방법

Also Published As

Publication number Publication date
US20070222747A1 (en) 2007-09-27
US7880719B2 (en) 2011-02-01
JP2007257638A (ja) 2007-10-04
JP4866767B2 (ja) 2012-02-01
KR20070096803A (ko) 2007-10-02

Similar Documents

Publication Publication Date Title
KR100985516B1 (ko) 투영된 화상에 관한 화이트보드 마크업의 인식 및 캡처
US7260278B2 (en) System and method for real-time whiteboard capture and processing
US6388654B1 (en) Method and apparatus for processing, displaying and communicating images
US7496229B2 (en) System and method for visual echo cancellation in a projector-camera-whiteboard system
KR100996787B1 (ko) 오디오 비주얼 컨텐트 요약 및 인덱싱 방법, 이 방법을 수행하도록 실행가능한 컴퓨터 판독가능 기록 매체, 및 미팅의 오디오 및 비디오 컨텐트를 캡쳐하기 위한 시스템
US7129934B2 (en) Collaborative markup projection system
KR100995218B1 (ko) 화이트보드 콘텐츠의 개선된 데이터 스트림 생성용 컴퓨터구현 처리방법, 시스템 및 컴퓨터 판독가능 기록 매체
US8049721B2 (en) Pointer light tracking method, program, and recording medium thereof
US7324069B2 (en) Animation review methods and apparatus
US9591149B2 (en) Generation of a combined image of a presentation surface
He et al. Real-time whiteboard capture and processing using a video camera for remote collaboration
JP4588366B2 (ja) 画像表示装置
JP2005234368A (ja) 遠隔講義システム
US20240078007A1 (en) Information processing apparatus, information processing method, and program
US20030112415A1 (en) Apparatus for projection and capture of a display interface
JP2008090574A (ja) 画像処理システムおよび画像処理プログラム
Foote et al. Annotating Remote Reality with iLight
JP2011035831A (ja) 画像処理システム、画像処理方法及び画像処理プログラム
CN116800918A (zh) 用于视频会议或视频教学的电子装置以及显示方法
Virolainen et al. Burn-to-share: content sharing with mobile projectors
CN117135302A (zh) 一种基于远程同屏交流的学习辅导系统
CN102455891A (zh) 多媒体数据的实时图像撷取方法及应用程序

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee