KR20060041840A - 프로젝터-카메라-화이트보드 시스템에서의 비주얼 에코소거를 위한 시스템 및 방법 - Google Patents

프로젝터-카메라-화이트보드 시스템에서의 비주얼 에코소거를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20060041840A
KR20060041840A KR1020050011387A KR20050011387A KR20060041840A KR 20060041840 A KR20060041840 A KR 20060041840A KR 1020050011387 A KR1020050011387 A KR 1020050011387A KR 20050011387 A KR20050011387 A KR 20050011387A KR 20060041840 A KR20060041840 A KR 20060041840A
Authority
KR
South Korea
Prior art keywords
whiteboard
color
albedo
image
written
Prior art date
Application number
KR1020050011387A
Other languages
English (en)
Other versions
KR101040865B1 (ko
Inventor
한닝 즈호우
젠요 즈항
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20060041840A publication Critical patent/KR20060041840A/ko
Application granted granted Critical
Publication of KR101040865B1 publication Critical patent/KR101040865B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

원격으로 함께 작업하기 위해 화이트보드 작업면의 명료한 이미지를 전송하는 시스템 및 방법이 제공된다. 이미지는 작업면의 투사된 이미지와, 참석자들에 의해 화이트보드에 물리적으로 더해진 기록인 두 부분으로 분리된다. 이 분리에 의해 몇가지 이점이 가능하다. 대역폭 요건이 비디오 원격 회의보다 훨씬 낮고, 화이트보드를 공유하는 이점이 향상된다. 물리적 화이트보드 상에 생성되는 비주얼 에코가 소거될 수 있다.
화이트보드, 비주얼 에코, 원격지, 프리젠테이션, 콘텐트, 이미지

Description

프로젝터-카메라-화이트보드 시스템에서의 비주얼 에코 소거를 위한 시스템 및 방법 {A SYSTEM AND METHOD FOR VISUAL ECHO CANCELLATION IN A PROJECTOR-CAMERA-WHITEBOARD SYSTEM}
도 1은 본 발명을 구현하는 시스템을 구성하는 범용 컴퓨팅 장치를 도시한 시스템 도면.
도 2는 본 발명에 따른 프로젝터-카메라-화이트보드 시스템을 도시한 도면.
도 3은 본 발명에 따라 투사된 콘텐트와 화이트보드 상의 기록을 분리하는 프로세스에 대한 흐름도.
도 4는 본 발명에 따른 기하학적 캘리브레이션에 대한 흐름도.
도 5는 본 발명에 따른 시스템 및 방법에 의해 채용되는 모서리 검출 프로세스에 대한 흐름도.
도 6은 본 발명에 따른 시스템 및 방법에 의해 채용되는 색 캘리브레이션 프로세스에 대한 흐름도.
도 7은 본 발명에 따른 시스템 및 방법에 의해 채용되는 비주얼 에코들을 추정하는 흐름도.
도 8은 본 발명에 따른 시스템 및 방법에 의해 채용되는 비주얼 에코들을 소거하는 흐름도.
도 9는 본 발명에 따른 비주얼 에코 소거 시스템 및 방법을 사용함으로써 얻어지는 실험 결과를 도시한 도면.
<도면의 주요 부분에 대한 부호 설명>
120; 처리 유닛
121; 시스템 버스
130; 시스템 메모리
134; 운영 시스템
135; 애플리케이션 프로그램
136; 기타 프로그램 모듈
137; 프로그램 데이터
140; 고정형 비휘발성 메모리 인터페이스
144; 운영 시스템
145; 애플리케이션 프로그램
146; 기타 프로그램 모듈
147; 프로그램 데이터
150; 착탈 비휘발성 메모리 인터페이스
160; 사용자 입력 인터페이스
170; 네트워크 인터페이스
171; 근거리 네트워크
173; 광역 네트워크
172; 모뎀
180; 원격지 컴퓨터
185; 원격 애플리케이션 프로그램
190; 비디오 인터페이스
191; 모니터
192; 카메라
194; 카메라 인터페이스
195; 출력 주변 인터페이스
204; 프로젝터
206; 카메라
208; 화이트보드
212; 통신 네트워크
216; 프리젠테이션
218; 비디오 믹서
222; 주석
224; 비주얼 에코 소거
230; 디스플레이
본 발명은 화이트보드를 프로젝터-카메라 시스템에 일체화한 시스템에 관계된 것이다. 특히, 본 발명은 비주얼 소거 기술을 채용함으로써 원격으로 함께 작업하기 위해 화이트보드의 작업면의 명료한 이미지를 전송하는 시스템 및 방법에 관계된 것이다.
지난 수 년 동안 고가의 실험실 장비들에서 적정가격의 소비자 제품들로의 비디오 카메라 및 프로젝터들의 이행이 있어 왔다. 이것은 프로젝터에 의해 제공되는 대형 디스플레이와 하나 혹은 그 이상의 카메라들로부터의 명료한 피드백을 모두 겸비한 많은 인간-컴퓨터 상호작용 시스템들을 만들어 내게 하였다. 한편, 화이트보드는 회합을 갖는 참석자들의 주의를 집중시키고 이들의 생각들을 자발적으로 표현 및 교환하도록 이들에 큰 공유 공간을 제공하기 때문에, 여전히 많은 회합들(강의, 발표 및 브레인스토밍을 포함한)에선 필수 불가결한 요소이다.
이전의 장치들에서는 프로젝터-카메라 시스템 내에 화이트보드들을 일체화하였다. 그러나, 이들 이전의 장치들은 대부분 동일 물리적 위치에서 그룹으로 함께 작업하는 것에 초점을 맞추었다. 한편, 원격지 참가자들이 있는 경우에 화이트보드의 사용엔 다양한 문제점들을 있다. 예를 들면, 원격으로 회합하는 참가자들은 이들이 물리적으로 화이트보드와 동일한 장소에 있지 않기 때문에 화이트보드에 기록되는 콘텐트에 기여할 수 없다. 또한, 화이트보드의 이미지들을 원격지의 참가자들에 네트워크를 통해 보내는 것은 대량의 네트워크 대역폭을 사용하며 대부분 매우 느리다.
그러므로, 필요한 것은 원격지의 회합 중의 참가자들에 전송될 수 있는 화이 트보드 상의 기록된 콘텐트를 캡쳐하여 큰 대역폭을 필요로 하지 않고 읽기 쉽게 네트워크를 통해 전송하는 시스템 및 방법이다. 시스템은 원격지의 참가자들이 화이트보드 콘텐트에 기여할 수 있게 하며 화이트보드 콘텐트를 이후에 볼 수 있게 보관해 둘 수 있게 한다.
본 발명의 시스템 및 방법은 화이트보드를 기록면 및 투사면으로서 사용함으로써 프로젝터-카메라 시스템에 화이트보드를 일체화한다. 본 발명은 화이트보드의 이미지열(image sequence) 혹은 비디오를 카메라로 캡쳐하고 화이트보드 상의 기록을 그에 투사된 콘텐트와 분리시킨다.
원격지들에서 디스플레이하기 위해 원래의 컴퓨터 프리젠테이션 상에 추출된 기록을 디지털로 부가함으로써, 원격지의 참석자들은 화이트보드 상의 기록을 이용할 수 없는 장소에서 전송된 디스플레이 콘텐트만을 보는 것보다 양호하게 볼 수 있다. 이들은 또한 원래의 디스플레이 콘텐트의 질이 안 좋은 원(raw) 화이트보드 비디오를 보는 것보다 양호하게 볼 수 있다. 또한, 원격지의 참석자들이 회합실에 주석을 보낸다면, 주석은 투사될 것이지만, 원격지로 다시 보내지진 않을 것이다. 오디오 회의에서의 에코 소거와 유사하게, 이것을 비주얼 에코 소거라 한다. 비주얼 에코는, 엄밀한 정의에 의하면, (원격지의 참석자들로부터의)투사된 주석이 나타나 카메라에 보여지는 것이다. 그러나, 보는 질을 보다 낫게 하기 위해서 컴퓨터 프리젠테이션이 원격지의 참석자들에 보내지기 때문에, 투사된 프리젠테이션이 나타난 것을 비주얼 에코로서 간주할 것임에 틀림없다. 여기서, 비주얼 에코 소거 는 화이트보드 상의 물리적 기록만을 화이트보드에 투사된 아이템들의 일련의 이미지들 혹은 비디오로부터 추출할 수 있다면 해결된다. 이를 위해서, 카메라에 보여지게 되는, 컴퓨터에 의해 투사된 콘텐트가 나타나는 것을 정확히 예측할 필요가 있다. 이에 따라, 이것은 두 가지 기본적인 구성요소들, 즉 기하학적 캘리브레이션과 색 캘리브레이션을 요한다. 기하학적 캘리브레이션은 카메라 뷰 내의 위치와 프로젝터 스크린, 즉 이 경우 화이트보드 내 위치 간에 매핑에 관계된 것이다. 색 캘리브레이션은 투사된 콘텐트의 실제 색과 카메라에 보여지는 색 간의 매핑에 관계된 것이다.
본 발명에 따른 시스템 및 방법에 채용될 수 있는 전형적인 프로세스는 다음과 같다. 먼저, 기하학적 캘리브레이션 데이터 및 색 캘리블이션 데이터를 얻는다. 예를 들면, 투사된 프리젠테이션 혹은 원격지의 참가자들에 의해 행해진 주석과 같은 투사된 아이템들, 및 물리적 화이트보드 상의 기록을 갖는 화이트보드의 이미지들 혹은 비디오가 캡쳐된다. 이어서, 주어진 캡쳐된 이미지에 대한 비주얼 에코가 계산된다. 이어서, 비주얼 에코 소거를 사용하여 화이트보드 상의 기록을 투사된 콘텐트(예를 들면, 원격지의 참가자의 주석 및 전자 프리젠테이션)와 분리한다. 화이트보드의 기록은 전송된 프리젠테이션 및 원격지의 참가자들에 의해 행해진 주석과 함께 원격지의 디스플레이에 디스프레이되도록 원격지의 참가자들에 보내질 수 있다. 이와 유사하게, 화이트보드의 기록은 나중에 볼 수 있게 보관해 둘 수도 있다.
본 발명에 따른 시스템 및 방법의 몇가지 직접적인 잇점들은 컴퓨터 프리젠 테이션과 화이트보드에 토의된 것들이 끊김이 없이 한 세션에 일체로 된다는 것이다. 회합중의 참석자들은 이들의 주의를 프로젝터 스크린에서 화이트보드로, 화이트보드에서 프로젝트 스크린으로 바꿈에 의해 산만해지지 않는다. 또한, 이러한 시스템은 회합실 내 참석자들 및 원격지의 참석자들이 단일의 상호 공유되는 작업공간에서 서로 공동으로 작업할 수 있게 하여준다. 회합실 내의 참석자들은 전자식 화이트보드와 같은 대형의 상용 디스플레이 제품이 사용된다고 해도 이보다 훨씬 더 자연스런 기록면을 갖는다. 가장 중요한 것으로는, 시스템이 현 회합 환경에 더하여 쉽게 배치될 수 있다. 그러므로, 본 발명의 시스템 및 방법은, 전문화되어 있고 늘상 고가의 장비들 및 부속품들의 설치를 요하는 대부분의 대형 디스플레이 제품들보다 훨씬 더 경제적이다.
전술한 이점들 외에, 본 발명의 다른 이점들은 첨부한 도면과 함께 취해졌을 때 다음의 상세한 설명으로부터 명백하게 될 것이다.
본 발명의 특정한 특징, 태양, 이점은 후속 설명, 첨부한 특허청구범위, 및 첨부 도면과 관련하여 더욱 양호하게 이해될 것이다.
본 발명의 바람직한 실시예들에 대한 다음의 설명에서는 본 명세서의 일부를 이루며 본 발명이 실시될 수 있는 구체적인 실시예의 예시로서 도시된 첨부 도면들을 참조한다. 다른 실시예들이 이용될 수 있으며 구조적인 변경이 본 발명의 범위 내에서 행해질 수 있음을 알 것이다.
1.0 예시적 동작 환경:
도 1은 본 발명의 구현될 수 있는 적합한 컴퓨팅 시스템 환경의 예를 도시한 것이다. 컴퓨팅 시스템 환경(100)은 적합한 컴퓨팅 환경의 단지 일 예일 뿐이고, 본 발명의 사용 혹은 기능성의 범위에 대해 어떠한 한정을 하고자 하는 것은 아니다. 컴퓨팅 환경(100)은 본 동작 환경(100)에 예시된 구성요소들의 어느 하나 혹은 조합에 관련하여 어떤 의존성이 있거나 이를 필요로 하는 것으로서 해석되지 말아야 할 것이다.
본 발명은 수많은 다른 범용 혹은 전용의 컴퓨팅 시스템 환경들 혹은 구성에 사용할 수 있다. 공지된 컴퓨팅 시스템들, 환경들, 및/또는 본 발명에 사용에 적합할 수 있는 구성들의 예들은 개인용 컴퓨터, 서버 컴퓨터, 휴대용, 랩탑 혹은 이동 컴퓨터, 혹은 휴대 전화 및 PDA과 같은 통신 장치, 멀티프로세서 시스템, 마이크로프로세서 기반의 시스템, 셋탑 박스, 프로그래머블 소비자 전자장치, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 위의 시스템 혹은 장치 등의 어느 하나를 포함하는 분산 컴퓨팅 환경들을 포함하지만, 이들로 한정되는 것은 아니다.
본 발명은 컴퓨터에 의해 실행되는, 프로그램 모듈들과 같은, 컴퓨터 실행가능 명령들의 일반적인 맥락에서 기술될 수 있다. 일반적으로, 프로그램 모듈들은 특정의 작업을 수행하거나 특정의 앱스트랙트 데이터 유형들을 구현하는, 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 본 발명은 또한 통신 네트워크를 통해 링크되는 원격지의 처리 장치에 의해 작업들이 수행되는 분산 컴퓨팅 환경에서 실시될 수도 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치를 포함하는 회합실 내 및 원격지의 컴퓨터 저장매체에 있을 수 있다. 도 1에 서, 본 발명을 구현하는 시스템은 컴퓨터(110) 형태의 범용 컴퓨팅 장치를 포함한다.
컴퓨터(110)의 구성요소들은 처리 유닛(120), 시스템 메모리(130), 및 시스템 메모리를 포함한 여러 가지 시스템 구성요소들을 처리 유닛(120)에 결합하는 시스템 버스(121)를 포함할 수 있는데, 그러나 이들로 한정되는 것은 아니다. 시스템 버스(121)는 메모리 버스 혹은 메모리 제어기, 주변 버스, 및 다양한 버스 구조들 중 어느 하나를 사용한 로컬 버스를 포함한 몇가지 유형들의 버스 구조들 중 어느 하나일 수 있다. 예로서, 그러나 한정하는 것은 아니고, 이러한 구조들은 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA) 버스, VESA(Video Electronics Standards Association) 로컬 버스, 및 메자닌(Mezzanine) 버스라고도 알려진 PCI(Peripheral Component Interconnect) 버스를 포함한다.
컴퓨터(110)는 통상적으로 다양한 컴퓨터 판독 가능의 매체들을 포함한다. 컴퓨터 판독 가능 매체들은, 컴퓨터(110)에 의해 액세스될 수 있으며 휘발성 및 비휘발성, 착탈가능 및 고정형의 매체들을 포함하는 임의의 사용가능한 매체들일 수 있다. 예로서, 그러나 한정하는 것은 아니고, 컴퓨터 판독 가능 매체들은 컴퓨터 저장 매체들 및 통신 매체들을 포함할 수 있다. 컴퓨터 저장 매체들은 이를테면 컴퓨터 판독 가능 명령, 데이터 구조, 프로그램 모듈 혹은 이외의 데이터와 같은 정보의 저장을 위한 어떤 방법 혹은 기술로 구현되는 휘발성 및 비휘발성 착탈가능 및 고정형의 매체를 포함한다. 컴퓨터 저장매체는 RAM, ROM, EEPROM, 플래시 메모 리 혹은 이외의 메모리 기술, CD-ROM, 디지털 다기능 디스크들(DVD) 혹은 이외의 광학 디스크 저장, 자기 카세트, 자기 테이프, 자기 디스크 저장 혹은 이외의 자기 저장 장치, 혹은 원하는 정보를 저장하는 데에 사용될 수 있고 컴퓨터(110)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이들로 한정되는 것은 아니다. 통신 매체들은 통상적으로, 컴퓨터 판독 가능 명령, 데이터 구조, 프로그램 모듈 혹은 이외의 데이터를 이를테면 반송파와 같은 변조된 데이터 신호 혹은 이외의 다른 전송 기구(transport mechanism)로 실현하며 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"라는 용어는 신호의 정보를 엔코딩하도록 이 신호의 하나 이상의 특성들을 설정 혹은 변경한 신호를 의미한다. 비제한적인 예로서, 통신 매체들은 유선 네트워크 혹은 직결 접속과 같은 유선 매체, 음파, RF, 적외선과 같은 무선 매체 및 기타 무선 매체를 포함한다. 이들 중 일부의 조합은 컴퓨터 판독 가능 매체들의 범위에 포함될 것이다.
시스템 메모리(130)는 읽기 전용 메모리(ROM)(131) 및 랜덤 액세스 메모리(RAM)(132)와 같은 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체를 포함한다. 이를테면 기동시, 컴퓨터(110) 내의 구성요소들간에 정보를 전송할 수 있게 하는 기본 루틴들을 포함한 기본 입력/출력 시스템(133)(BIOS)은 통상 ROM(131)에 저장되어 있다. 통상적으로, RAM(132)은 처리 유닛(120)에 즉시 액세스될 수 있고 및/또는 처리 유닛(120)에 의해 현재 조작되는 데이터 및/또는 프로그램 모듈을 포함한다. 비제한적인 예로서, 도 1은 운영 시스템(134), 애플리케이션 프로그램(135), 기타 프로그램 모듈(136), 및 프로그램 데이터(137)를 도시한 것이다.
컴퓨터(110)는 다른 착탈가능/고정형, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수도 있다. 단지 예로서, 도 1은 고정형의 비휘발성 자기 매체로부터 판독되거나 이에 기록되는 하드 디스크 드라이브(141), 착탈가능 비휘발성 디스크(152)로부터 판독되거나 이에 기록되는 자기 디스크 드라이브(152), 및 이를테면 CD ROM 혹은 다른 광학 매체와 같은 착탈가능의 비휘발성 광학 디스크(156)로부터 판독되거나 이에 기록되는 광학 디스크 드라이브(156)를 도시하고 있다. 본 동작 환경에서 사용될 수 있는 다른 착탈가능/고정형의 휘발성/비휘발성 컴퓨터 저장 매체는 자기 테이프 카세트, 플래시 메모리 카드, 디지털 다기능 디스크, 디지털 비디오 테이프, 고체 상태 RAM, 고체 상태 ROM 등을 포함하지만, 이들로 한정되는 것은 아니다. 하드 디스크 드라이브(141)는 통상, 이를테면 인터페이스(140)와 같은 고정형 메모리 인터페이스를 통해 시스템 버스(121)에 접속되며, 자기 디스크 드라이브(151) 및 광학 디스크 드라이브(155)는 통상, 인터페이스(150)와 같은 착탈가능 메모리 인터페이스에 의해 시스템 버스(121)에 접속된다.
전술한 드라이브들 및 이들의 연관된 컴퓨터 저장매체가 도 1에 도시되었고 이들은 컴퓨터 판독 가능 명령, 데이터 구조, 프로그램 모듈 및 이외 컴퓨터(110)용의 데이터의 저장을 제공한다. 예를 들면, 도 1에서, 하드 디스크 드라이브(141)는 운영 시스템(144), 애플리케이션 프로그램(145), 다른 프로그램 모듈(146), 및 프로그램 데이터(147)를 저장하는 것으로 도시되었다. 이들 구성요소들은 운영 시스템(134), 애플리케이션 프로그램(135), 다른 프로그램 모듈(136), 및 프로그램 데이터(137)와 같거나 다를 수도 있는 것에 유의한다. 운영 시스템 (144), 애플리케이션 프로그램(145), 다른 프로그램 모듈(146), 및 프로그램 데이터(147)는 최소한 이들이 서로 다른 것들임을 보이기 위해서 본 명세서에서 다른 도면 부호가 할당되었다. 사용자는 이를테면 키보드(162) 및 일반적으로 마우스, 트랙볼 혹은 터치 패드라 하는 포인팅 장치(161)와 같은 입력 장치를 통해 컴퓨터(110)에 명령 및 정보를 입력할 수 있다. 이외의 입력 장치(도시 안됨)는 마이크, 조이스틱, 게임 패드, 위성 안테나(satellite dish), 스캐너 등을 포함할 수도 있다. 이들 및 다른 입력 장치는 시스템 버스(121)에 결합되는 사용자 입력 인터페이스(160)를 통해 처리 유닛(120)에 흔히 접속되나, 이를테면 병렬 포트, 게임 포트 혹은 USB(Universal serial bus)와 같은 다른 인터페이스 및 버스 구조들에 의해 접속될 수도 있다. 모니터(191) 혹은 이외의 다른 유형의 디스플레이 장치가 비디오 인터페이스(190)와 같은 인터페이스를 통해 시스템 버스(121)에 접속될 수도 있다. 모니터 외에, 컴퓨터는 또한 출력 주변 인터페이스(195)를 통해 접속될 수도 있는 스피커(197) 및 프린터(196)와 같은 다른 주변 출력 장치를 포함할 수도 있다.
또한, 컴퓨터(110)는 입력 장치로서, 일련의 이미지(193)를 캡쳐할 수 있는 카메라(192)(이를테면 디지털/전자스틸 혹은 비디오 카메라, 혹은 필름/사진 스캐너)를 포함할 수도 있다. 또한, 단지 하나의 카메라(192)만이 도시되었으나, 복수의 카메라가 입력 장치로서 컴퓨터(110)에 포함될 수도 있을 것이다. 복수의 카메라의 사용은 한 이미지의 복수의 뷰를 동시에 혹은 순차로 캡쳐하거나, 이미지들의 3차원 혹은 깊이를 캡쳐하거나, 장면의 파노라마 이미지들을 캡쳐하는 능력을 제공 한다. 하나 이상의 카메라들(192)로부터의 이미지(193)는 적합한 카메라 인터페이스(194)를 통해 컴퓨터에 입력된다. 이 인터페이스는 시스템 버스(121)에 접속됨으로써, 이미지(193)가 RAM(132), 혹은 컴퓨터(110)에 연관된 다른 전술한 데이터 저장 장치에 보내져 이에 저장될 수 있게 한다. 그러나, 이미지 데이터는 카메라(192)를 사용할 필요 없이, 전술한 컴퓨터 판독 가능 매체 중 어느 하나로부터도 컴퓨터(110)에 입력될 수 있다.
컴퓨터(110)는 원격지의 컴퓨터(180)와 같은 하나 혹은 그 이상의 원격지 컴퓨터에 논리적 접속을 사용하여 네트워크 환경에서 동작할 수 있다. 원격 컴퓨터(180)는 개인용 컴퓨터, 서버, 라우터, 네트워크 PC, 피어(peer) 장치 혹은 다른 일반적인 네트워크 노드일 수 있으며, 통상 컴퓨터(110)에 관련하여 전술한 구성요소들의 다수 혹은 전부를 포함하는데, 도 1에서는 단지 하나의 메모리 저장 장치(181)만이 도시되었다. 도 1에 도시된 논리 접속은 근거리 네트워크(LAN)(171) 및 광역 네트워크(WAN)(173)를 포함하지만, 다른 네트워크를 포함할 수도 있다. 이러한 네트워크 환경은 사무실, 기업 전체의 컴퓨터 네트워크, 인트라넷 및 인터넷에서 일반적이다.
컴퓨터(110)는 LAN 네트워크 환경에서 사용될 때에는 네트워크 인터페이스 혹은 어댑터(170)를 통해 LAN(171)에 접속된다. WAN 네트워크 환경에서 사용될 때, 컴퓨터(110)는 통상 모뎀(172), 혹은 인터넷과 같은, WAN(173)을 통해 통신을 수립하기 위한 다른 수단을 포함한다. 내장형 혹은 외장형일 수 있는 모뎀(172)은 사용자 입력 인터페이스(160), 혹은 다른 적합한 기구를 통해 시스템 버스(121)에 접속될 수 있다. 네트워크 환경에서, 컴퓨터(110)에 관련하여 도시된 프로그램 모듈, 혹은 이들의 일부는 원격지 메모리 저장 장치에 저장되어 있을 수도 있다. 비제한적인 예로서, 도 1은 원격의 애플리케이션 프로그램(185)을 메모리 장치(171)에 상주하는 것으로서 도시하고 있다. 도시된 네트워크 접속은 예시적인 것이고 컴퓨터들 간에 통신 링크를 수립하는 다른 수단이 사용될 수도 있음을 알 것이다.
본 동작 환경을 설명하였으므로, 본 명세서의 나머지 부분에서는 본 발명을 실현하는 프로그램 모듈 및 프로세스에 대해 설명하도록 하겠다.
2.0 프로젝터-카메라-화이트보드에서 비주얼 에코 소거를 위한 시스템 및 방법
본 발명의 시스템 및 방법은 화이트보드를 기록면 및 투사면으로서 사용함으로써 화이트보드를 프로젝터-카메라 시스템에 일체화한다. 본 발명은 화이트보드의 비디오 혹은 일련의 이미지를 캡쳐하여 화이트보드 상의 기록을 투사된 이미지와 분리한다. 화이트보드 상의 기록을 투사된 콘텐츠에서 분리할 수 있는 것은 여러 가지 이유로 매우 유익하다. 예를 들면, 추출한 기록과 컴퓨터로 투사한 콘텐츠는, 그림자 및 조명 변동에 의해 영향을 받는 원래의 혼재된 비디오에 비해서 매우 낮은 대역폭으로 전송될 수 있기 때문에, 원격지간 회의(teleconferencing)의 대역폭 요건을 극적으로 감소시킨다. 또한, 추출해 낸 기록은 보관 및 오프라인으로 회합을 열람하는데 있어 필요한 것이다. 대개 화이트보이드 상의 기록은 회합에서 중요 이벤트를 나타낸다. 결과를 광학 문자 인식(OCR) 시스템에 공급함으로써, 회의 보관 문서가 더욱 쉽게 액세스될 수 있고 다른 형태로 옮겨질 수 있다.
2.1 시스템 개요.
도 2는 본 발명의 프로젝터-카메라 화이트보드 시스템(200)의 일 실시예를 도시한 것이다. 회합실(202)에는 프로젝터(204), 카메라(206), 및 화이트보드(208)가 설치되어 있다. 프로젝터(204) 및 카메라(206)는 서로 견고하게 부착되어 있는 것이 바람직하지만, 이론상 이들은 프로젝터가 화이트보드(208)에 투사하고 카메라가 투사영역(프로젝터 공간이라 함) 전체를 볼 수 있는 한 어느 곳에도 놓여질 수 있다. 프로젝터(204) 및 카메라(206)는 컴퓨터(210)에 링크되며(무선으로 혹은 유선으로), 컴퓨터는 통신 네트워크(예를 들면, 인트라넷 혹은 인터넷)(212)에 접속된다. 원격지의 참석자들(214)은 이들의 컴퓨터를 통신 네트워크(212)에 접속한다. 회합실 내 컴퓨터와 원격지의 컴퓨터들간에 데이터 전송은 실시간 트랜스포트 프로토콜(RTP)을 통해 행해지는 것이 바람직하다.
전자 프리젠테이션(216)은 비디오 믹서(218) 및 프로젝터(204)를 통해 화이트보드(208)에 투사되고 또한 원격지의 참가자에게 디스플레이 되도록 네트워크(212)를 통해 원격지의 참가자들(214)에게 보내진다. 프리젠테이션(216)은, 예를 들면 프리젠테이션 슬라이드, 스프레드시트, PDF 파일 등과, 회의, 강의, 혹은 브레인스토밍 세션에서 통상 발표하게 되는 임의의 것일 수 있다. 프리젠테이션(220)의 데이터 스트림은 도 2에 "P"로 표시되었다. 원격지의 참석자들(214)은 프리젠테이션에 주석을 할 수 있고, 주석 스트림(222)은 "A"로 표시하였다. 프리젠테이션 데이터 스트림(P)(220) 및 주석 데이터 스트림(A)(222)은 이들을 화이트보드(208)에 투사하기 위해 프로젝터(204)에 보내지기에 앞서 비디오 믹서(218)를 통 해 함께 믹싱된다. 발표시, 발표자 혹은 다른 회합실 내 참석자들은 화이트보드에 기록 혹은 도시할 수도 있다. 카메라(206)는 투사된 콘텐트 및 기록을 캡쳐한다. 기하학적 캘리브레이션 및 색 캘리브레이션을 통해, 시스템은 카메라에 보여지는 투사된 "P" 및 "A" 데이터 스트림들의 나타남, 즉 비주얼 에코를 예측한다. 컴퓨터(210) 내 비주얼 에코 소거 모듈(224)은 예측된 비주얼 에코를, 카메라가 캡쳐한 현(live) 비디오/이미지들로부터 삭제함으로써, "W"로 표시한, 화이트보드(226) 상의 기록을 추출한다. 원격지측에서, 프리젠테이션 데이터 스트림(P)(220) 및 화이트보드 기록 스트림(W)(226)은 원격지의 참가자의 컴퓨터 디스플레이(230) 상에 디스플레이되기 전에 믹서(228)를 통해 믹싱된다.
본 발명에 따른 시스템 및 방법에 채용될 수 있는 전형적인 프로세스를 도 3에 도시하였다. 도 3의 프로세스 단계 302에 도시된 바와 같이, 기하학적 캘리브레이션 데이터가 얻어진다. 유사하게, 프로세스 단계 304에 도시된 바와 같이, 색 캘리브레이션 데이터가 얻어진다. 프로세스 단계 306에 도시된 바와 같이, 예를 들면 투사된 프리젠테이션 및/또는 원격지의 참가자들에 의해 행해진 주석과 같은 투사된 아이템들 및 물리적 화이트보드 상의 기록을 갖는 화이트보드의 이미지 혹은 비디오가 캡쳐된다. 이어서, 프로세스 단계 308에 도시된 바와 같이, 캡쳐된 이미지의 비주얼 에코가 계산된다. 이어서, 프로세스 단계 310에 도시된 바와 같이, 비주얼 에코 소거는 화이트보드 상의 기록을 투사된 콘텐트(예를 들면, 원격지의 참가자의 주석 및 전자 프리젠테이션)로부터 분리하는 데 사용된다. 기록은 전송된 프리젠테이션 및 원격지 참가자들에 의해 행해진 주석과 함께 원격지 디스플 레이에 디스플레이되도록 원격지 참가자들에 보내질 수 있다. 유사하게, 기록은 미래에 볼 수 있도록 압축될 수 있다.(프로세스 단계 312)
전술한 시스템 및 프로세스의 다양한 상세 사항이 이하에 제공된다.
2.2 기하학적 캘리브레이션
비주얼 에코 소거에 있어서 카메라 뷰 내의 위치와 프로젝터 스크린 내 위치간의 관계를 알 필요가 있다. 이는 기하학적 캘리브레이션 작업이다. 카메라 및 프로젝터는 선형으로 투사하고 화이트보드의 표면이 평탄하다고 가정하면, 카메라 뷰 내의 일 지점과 프로젝터 화면/화이트보트 내 일 지점 사이의 매핑은 호모그래피이고 스케일 팩터를 이용해 정의되는 3 x 3 행렬(H)에 의해 기술될 수 있음을 쉽게 알 수 있다.
기하학적 캘리브레이션을 위해, 카메라 및 프로젝터가 모두 선형으로 투사하고 원하는 패턴을 프로젝터가 명료하게 투사할 수 있다는 사실을 기반으로 하여 확실하고, 정확하며 간단한 기술이 구현되는 것으로 가정한다.
도 4는 본 발명에 따른 시스템 및 방법에 의해 채용되는 기하학적 캘리브레이션 프로세스에 대한 단순화된 흐름도이다. 일 실시예에서, 기하학적 캘리브레이션 전체는 2분 미만이 소요되고 프로젝터에 관하여 카메라가 이동되었을 때만 필요하다. 도 4에 도시된 바와 같이, 프로세스 단계 402에서, 먼저, N개의 직사각형들이 화이트보드 상에 순차로 투사되고, 이들의 이미지들이 고정된 카메라를 사용하여 동시에 캡쳐된다. 본 발명의 일 실시예에서는 N = 40이 사용되었다. 다음에, 프로세스 단계 404에 도시된 바와 같이, 각각의 직사각형의 4개의 모서리들이 후술 하는 바와 같이 이미지에서 검출된다. 이어서, 4×N 개의 검출된 모서리들 및 이들의 대응하는 프로젝터 공간 내의 알고 있는 위치들을 사용하여 프로젝터 스크린/화이트보드와 카메라의 이미지 평면간 호모그래피를 추정한다(프로세스 단계 406). 프로젝터 공간은 컴퓨터 디스플레이 스크린의 가상 평면으로서 볼 수 있다. 컴퓨터 스크린 상의 직사각형을 디스플레이할 위치를 제어할 수 있기 때문에, 프로젝터 공간 내 모서리들의 위치들은 알려져 있다. 이론적으로, 호모그래피를 추정하는 데에는 4개의 점(즉, 하나의 직사각형)만이 필요한 것에 유의한다. 더욱 높은 정확도를 달성하기 위해서, 본 발명의 시스템 및 방법은 화이트보드의 서로 다른 위치들에 투사되는 더욱 많은 수의 직사각형들을 사용한다. 다른 기하학적 캘리브레이션 방법들에 비해, 본 발명에 따른 시스템 및 방법은 카메라와 투사면 사이의 상대적 위치가 캘리브레이션 중에는 고정되어 있다는 사실을 이용한다. 그러므로, 서로 상이한 이미지들에서 검출되는 대응성이 단일 호모그래피를 추정하는데 사용될 수 있어, 모서리 검출 알고리즘을 복잡하게 하지 않으면서 시스템 및 방법의 정확도와 확실성을 증가시킨다.
2.2.1. 기하학적 캘리브레이션을 위한 모서리 검출
모서리 검출에 사용될 수 있는 하나의 프로세스를 도 5에 도시하였다. 모서리 검출 프로세스는, 프로세스 502에 도시된 바와 같이, 컬러 이미지를 그레이 스케일 이미지로 변환함으로써 시작한다. 에지 맵(edge map)에 노이즈를 감소시키고 콘트라스트를 증가시키기 위해서, 투사된 직사각형 내측 및 외측의 영역을 확인하여 그레이 스케일 값을 분할(quantize)할 필요가 있다. 내측 영역은 밝고 균일하 기 때문에, 내측 영역은 히스토그램의 큰 범위에서 피크(p1)을 형성하는 반면, 배경은 낮은 범위에서 피크(p2)를 형성한다. 두 개의 피크들을 발견하고 상측 임계값
Figure 112005007265425-PAT00001
와 하측 임계값
Figure 112005007265425-PAT00002
를 설정하기 위해서 커스-투-파인(coarse-to-fine) 히스토그램 기반 방법을 사용한다. h1 이상의 모든 화소들의 그레이 스케일 레벨은 h1로 설정되고, h2 미만의 모든 화소들의 그레이 스케일 레벨은 h2로 설정되며 이들 사이의 화소의 그레이 스케일 레벨은 변경되지 않는다. 이어서, 직사각형들의 에지들은 에지 맵을 생성하는 종래의 에지 검출 방법들 중 하나를 사용하여 그레이 스케일 이미지에서 검출된다(프로세스 단계 504). 이어서, 에지 맵 상의 직선들을 검출하기 위해서 허프 변환(hough transform)이 사용된다(프로세스 단계 506). 이어서, 프로세스 단계 508)에 도시된 바와 같이, 선들을 사용하여 사각형을 맞춘다. 그러면, 사각형의 모서리들이 찾아진다(프로세스 단계 510).
2.4 색 캘리브레이션
비주얼 에코 소거에 있어서, 화이트보드 상의 프로젝터 공간 내의 소정의 화소에 대해, 카메라 공간 내 그의 대응하는 위치는 전술한 기하학적 캘리브레이션을 통해 알 수 있다. 그러나, 프로젝터 공간에서 대응하는 색이, 캡쳐된 이미지/비디오에서 어떻게 보이게 될 것인지를 알 필요가 있는데, 이는 색 캘리브레이션에 의해 판정된다. 프로젝터 공간에서 동일한 색은, 색이 화이트보드 상에 투사되는 곳에 따라, 카메라에서 다르게 보인다. 이것은 프로젝터 전구가 균일한 조명을 내지 않고, 실내 조명이 깜박이며 균일하지 않고, 화이트보드 표면이 균등확삭면(Lambertian)이 아니기 때문이다. 그러므로, 색 캘리브레이션은 색 및 위치 모두에 종속적이다.
색 캘리브레이션에 있어서, 비주얼 에코의 화소들은 독립 가우스 랜덤 변수(independent Gaussian random variable)로서 모델화되고 룩업-테이블 기반(lookup-table-based)의 방법이 사용된다. 기하학적 캘리브레이션 및 색 캘리브레이션 모두는 이를테면 프로젝터에 대한 자동 키스톤 보정과 같은, 비주얼 에코 소거 이외의 다른 작업들에도 유용할 것이라는 것에 유의한다.
도 6은 색 캘리브레이션을 위한 흐름도이다. 도 6의 프로세스 단계 602에 도시된 바와 같이, 이 프로세스는 RGB 컬러 공간을 빈(bin)으로 분할함으로써 시작된다. 본 발명의 일 실시예에서는 9×9×9 혹은 729 빈이 사용되었다. 프로세스 단계 604에서, 각각의 분할된 색은 전체 디스플레이 영역 상에 투사되고 이의 이미지는 동기하여 캡쳐되고 각 색에 대해 n개의 프레임들을 저장한다(프로세스 단계 606). 일 실시예에서는 각 색에 대해 5개의 프레임들이 저장되었다. 프로세스 단계 608에서, 기하학적 캘리브레이션에서 발견된 호모그래피(H)를 사용하여, 각각의 이미지는 투사된 스크린 좌표들로 워핑(warp)된다. 프로세스 610에 도시된 바와 같이, 디스플레이 영역은 직사각형 블록(예를 들면, 32x32 혹은 1024)으로 균등 분할되고 n개의 프레임들에 걸쳐 각 블록 내 각각의 색의 평균 및 편차가 계산된다. 색(C)에 대해 평균값과 편차값이 룩업 테이블에 입력되고(프로세스 단계 612), 모든 분할된 색들이 투사될 때까지 다음 색이 투사된다(프로세스 단계 614 및 616).
도 6의 프로세스를 사용하여, 블록들(예를 들면 1024개의 블록들)의 각각의 분할된 색들(예를 들면 729)에 대한 룩업 테이블이 구축된다. 동일 투사된 색은 스크린/화이트보드 상의 서로 다른 위치들에서 다르게 나타날 것이기 때문에 공간 크기 측정이 필요한 것에 유의한다. 모든 화소 위치에 대해 룩업 테이블이 구축되었다면 최상의 결과가 얻어질 것이지만, 이것은 색이 디스플레이 면에 걸쳐 유연하게 변하여 나타나기 때문에 실험 데이터에 근거하여 불필요한 것으로 여겨진다.
통상 색 캘리브레이션 과정은 1회 수행하는 것으로 족하다. 그러나, 프로젝터의 소정의 설정(색 온도, 콘트라스트 또는 밝기) 또는 카메라의 소정의 설정(노출 또는 화이트 밸런스)이 변경되었다면 색 캘리브레이션 과정을 다시 수행하는 것이 필요할 수도 있다. 10 fps으로(투사 및 캡쳐가 확실하게 동기화되게 하기 위해서) 729×n(n일 5일 때에는 3645) 프레임들을 투사하고 캡쳐하는 데에는 본 발명의 일 실시예에서 약 6분이 걸린다.
2.5 비주얼 에코 소거
이하에서 비주얼 에코 추정 및 소거 과정이 설명된다.
2.5.1 비주얼 에코 추정
캡쳐된 이미지의 임의의 디스플레이 콘텐츠가 주어졌을 때(프로세스 단계 702), 도 7에 도시된 바와 같이, 본 발명의 시스템 및 방법은 먼저 각각의 색을, 색 캘리브레이션 과정(프로세스 단계 704)에서 정의된 룩업 테이블의 그의 대응하는 평균 색으로 대치함으로써 비주얼 에코(E)를 추정한다. 테이블에 없는 색들에 대해서는, 두 개의 가장 가까운 빈들의 선형 보간법(intepolation)을 사용한다. 이어서, 프로세스 단계 706에 나타낸 바와 같이, 이미지 내의 각각의 화소는 카메라 뷰로 워핑된다. 각각의 화소에 대한 에러 경계의 추정치를 얻기 위해서, 편차들을 참조하여 워핑함으로써 화소 위치 편차 맵(V)을 얻는다(프로세스 단계 708).
2.5. 비주얼 에코 소거
도 8은 본 발명에 따른 일반적인 비주얼 에코 소거 프로세스의 흐름도이다. 상세한 것을 다음의 소단락에서 설명한다. 도 8의 프로세스 단계 802에 나타낸 바와 같이, 프리젠테이션 및 임의의 주석들과 같은 투사된 콘텐트와, 비주얼 에코를 계산하기 위한 가능한 화이트보드 상의 기록을 담고 있는 화이트보드의 이미지가 시스템에 입력된다. 프로세스 단계 804에 나타낸 바와 같이, 캡쳐된 이미지의 알베도(albedo)의 비주얼 에코의 알베도에 대한 비를 사용해서, 이미지의 투사된 콘텐트(예를 들면, 투사된 프리젠테이션 및 주석)을, 보정된(corrected) 이미지(비주얼 에코)와 비교한다. 프로세스 단계 806에 도시된 바와 같이, 알베도 비를 사용하면, 화이트보드 상의 기록이 식별되고 이들의 색이 복구된다.
2.5.1. 캡쳐된 이미지의 생성 프로세스
마커로 화이트보드 상에 기록/작도함으로써, 실질적으로 화이트보드의 표면 알베도가 변하고 따라서 반사가 변한다. 그러므로, 일반적으로, 화이트보드 상의 기록을 추출한다는 것은 결국 표면 알베도의 변화를 검출하는 것이다.
모든 이미지들이 기하학적으로 일치하여 있는 것으로 하고, 입사광 맵을 P로 표시하고, 화이트보드의 표면 알베도를 A로 표시하며, 카메라 센서에 의한 화소의 색 변환을 C로 표시하고, 비주얼 에코를 E로 표시하면, E = C×A×P를 얻는다. 화 이트보드에 기록되지 않는다면, 캡쳐된 이미지(I)는 E와 같게 될 것이다. 화이트보드의 기록이 존재한다면, 표면 알베도가 변하고, 이를
Figure 112005007265425-PAT00003
로 표기한다. 그러면, 캡쳐된 이미지는 I = C×
Figure 112005007265425-PAT00004
×P로 기술될 수 있다. 색 채널 c∈{R, G, B}에서 화소 [x, y]의 알베도 비 a =
Figure 112005007265425-PAT00005
/A를 추정함으로써 알베도 변화를 계산할 수 있고, 이는 이하의 식으로 주어진다.
Figure 112005007265425-PAT00006
(1)
화이트보드 상의 기록은 광을 흡수하므로,
Figure 112005007265425-PAT00007
≤A이고, 결국 α[x,y]≤1로 되는 것에 유의한다.
알베도 비 a에 근거해서, 화이트보드 상의 기록을 검출하여 이들의 색을 복구할 수 있다. 기록이 없는 화이트보드 영역에 대한 알베도는 1일 것이다. 알베도에의 센서 노이즈는 부가적이며 편차가
Figure 112005007265425-PAT00008
인 제로 평균의 가우스 분포를 갖는다고 한다면, 결정규칙은 다음과 같게 된다.
화소[x, y]는 다음과 같은 필요충분조건이면 기록 영역에 속한다.
Figure 112005007265425-PAT00009
(2)
앞서 언급한 바와 같이, 화이트보드 상의 기록 영역에 대한 알베도 비가 엄밀하게 1 미만이기 때문에 결정규칙은 일방적인 것임에 유의한다.
화이트보드 상의 기록 영역에 속하는 각 화소[x,y]에 대해, 색 명암도 범위를 0 내지 255라 하면, 다음과 같이 이들 기록을 이의 색들과 함께 복구할 수 있 다.
W[x,y]c=α[x,y]c*255 (3)
2.5.2 실제상의 고찰
기하학적 캘리브레이션에서 노이즈에 기인하여, I와 E는 정확하게 일치하지 않는다. E에서 강한 에지들 근처에서 하나 내지 두 개의 화소 에러들이 가장 분명하게 나타난다. 그러므로, 기록 영역의 세그먼트화에서, 먼저, E에 이로젼(erosion)을 적용하여 어두운 영역을 증가시킨다. 이로젼은 표준 이미지 형태학적 조작이다. 바이너리 이미지에서는 소정의 근접 패턴을 가진 화소들엔 0(블랙) 값이 할당될 것이다. 이것은 그레이 스케일 및 컬러 이미지들로 확장된다. 본 발명의 시스템 및 방법은 이의 확장을 컬러 이미지에서 사용한다. 이에 따라, E에서 어두운 영역에 가까운 화소들은 보다 큰 A를 갖게 되고 기록 영역으로서 분류되지는 않게 될 것이다. 화이트보드 상의 기록을 더욱 잘 보이게 하기 위해서 대부분의 사용자들이 어두운 배경 대신 밝은 배경 위에 기록하기를 선호하기 때문에 이러한 전처리에 의해 오류가 감소된다.
실제로, W 내 색들이 잘 보이게 하기 위해서, 카메라 노출을 정상보다 훨씬 크게 설정할 필요가 있다. 이것은 색 캘리브레이션 동안 과잉 노출을 야기할 것이다. 본 발명의 시스템 및 방법은 색 캘리브레이션에 최적인 노출을 설정하고 화이트보드 상의 기록의 색들을 복구하는 분류(classification) 방법을 사용함으로써 이러한 문제를 해결한다. 4개의 가장 일반적으로 사용되는 마커들(적색, 흑색, 청색 및 녹색)이 분류 M0 ~ M3으로서 선택된다. 감시된 훈련에 있어서, 식(2) 및 식(3)을 사용하여 한 세트의 기록(W)을 복구하고, 이어서 이를 RGB 색 공간에서 HSI(색조, 채도 및 명암도) 색 공간으로 변환하고, 새로운 이미지를 W'로서 표기한다. 분류 Mi에 대한 훈련 데이터는, 마커 i에 의해 기록 영역을 선택하고 이의 히스토그램 ni(h, s, i)를 수집함으로써 수동으로 표시한다.
식(3)으로부터 얻어진 화소 W[x,y]를 분류하기 위해서, 이의 RGB 값은 HSI 공간에서 W'[x,y]로 변환되고, 다음과 같이 클러스터 i에 속할 가능성을 평가한다.
Figure 112005007265425-PAT00010
(4)
여기서 Ni는 히스토그램 i에서 총 데이터 포인트 수이다.
카메라 센서에 노이즈에 기인하여, MAP 결정규칙은 공간상 일관된 결과들을 제공하지 않을 수 있으므로, 61×61 윈도우를 사용하여, 이웃한 모든 화소들로부터 보트(vote)들을 수집하여 최대 보트들에 기초하여 중앙 화소를 분류한다.
3.0 실험 결과
인공조명 상태 및 자연조명 상태 하에서, 여러 가지 프로젝터들(InFocus LP530 및 Proxima DP6155를 포함한) 및 여러 가지 비디오 카메라들(Aplex USB2, Logitech Pro4000 및 SONY EV130을 포함한)을 사용하여 기하학적 캘리브레이션 방 법을 사용하였다. 대응성에 기초하여 호모그래피를 해결하기 위한 맞춤 에러는 0.3 내지 0.7 화소들의 범위이다.
색 캘리블이션에 있어서는 SONY 프로젝터 및 EV130 카메라를 사용하였다. 추정된 비주얼 에코(E)를 실제 캡쳐한 이미지(I)와 비교하였을 때, 평균 에러는 약 3이다(색 명암도 범위는 0 ~ 255). 대다수의 불일치는 기하학적 캘리브레이션에서의 노이즈에 기인하며, 강한 에지들을 갖는 영역들 주변이다.
도 9는 여러 가지 배경들에서의 비주얼 에코 소거 결과들을 도시한 것이다. 화이트보드 상의 기록의 대다수는 극히 복잡한 배경들 상의 부분들을 제외하곤 복구된 것을 알 수 있다. 그러나, 이 경우, 기록을 사람의 눈으로 분간하기는 더욱 어렵다.
본 발명의 전술한 설명은 예시 및 설명을 목적으로 제공되었다. 이는 본 발명을 개시된 정밀한 형태로 구체화하거나 제한하고자 하는 것은 아니다. 전술된 교시 사항에 비추어 많은 수정 및 변형이 가능하다. 본 발명의 범위는 이러한 상세한 설명에 의해서가 아니라 첨부한 특허청구범위에 의해 한정하고자 한다.
본 발명에 따라, 회합중의 참석자들은 이들의 주의를 프로젝터 스크린에서 화이트보드로, 화이트보드에서 프로젝트 스크린으로 바꿈에 의해 산만해지지 않고, 또한, 이러한 시스템은 회합실 내 참석자들 및 원격지의 참석자들이 단일의 상호 공유되는 작업 공간에서 서로 공동으로 작업할 수 있게 한다. 시스템이 현 회합 환경에 더하여 쉽게 배치될 수 있다. 그러므로, 본 발명의 시스템 및 방법은, 전 문화되어 있고 통상 고가의 장비들 및 부속품들의 설치를 요하는 대부분의 대형 디스플레이 제품들보다 훨씬 더 경제적이다.

Claims (28)

  1. 화이트보드의 작업 표면 상의 기록을 세그먼트화하기 위한 컴퓨터 구현 프로세스이며,
    화이트보드 상에 투사된 하나 이상의 아이템들 및 화이트보드 상에 기입된 기록을 포함하는 화이트보드의 이미지들을 카메라로 캡쳐하는 단계와,
    화이트보드 상에 투사된 하나 이상의 아이템과 화이트보드 상에 기입된 기록을 두 개의 파일로 분리하는 단계
    를 포함하는 컴퓨터 구현 프로세스.
  2. 제1항에 있어서,
    화이트보드 상에 기입된 기록을 포함하는 파일을 원격지의 참가자들에 전송하는 프로세스 단계를 더 포함하는 컴퓨터 구현 프로세스.
  3. 제1항에 있어서,
    화이트보드 상에 기입된 기록을 포함하는 파일을 보관하는 프로세스 단계를 더 포함하는 컴퓨터 구현 프로세스.
  4. 제1항에 있어서,
    화이트보드 상에 투사된 하나 이상의 아이템은 전자 프리젠테이션을 포함하 는 컴퓨터 구현 프로세스.
  5. 제1항에 있어서,
    화이트보드 상에 투사된 하나 이상의 아이템은 원격지 참가자로부터 수신된 주석을 포함하는 컴퓨터 구현 프로세스.
  6. 제1항에 있어서,
    화이트보드 상에 투사된 하나 이상의 아이템과 화이트보드 상에 기입된 기록을 두 개의 파일들로 분리하는 단계는,
    카메라 뷰의 위치와 화이트보드 상에 투사된 하나 이상의 아이템 사이의 관계를 기하학적 캘리브레이션을 통해 결정하는 단계와,
    화이트보드 상에 기입된 기록의 색과 이미지 내에 캡쳐된 화이트보드 상에 기입된 기록의 색 사이의 관계를 색 캘리브레이션을 통해 결정하는 단계와,
    기하학적 캘리브레이션 및 색 캘리브레이션의 결과들을 사용하여 화이트보드를 기하학적으로 그리고 색이 일치하게 캡쳐된 이미지를 보정하는 비주얼 에코 이미지를 추정하는 단계와,
    캡쳐된 이미지의 알베도의 비주얼 에코 이미지의 알베도에 대한 비를 비교함으로써 화이트보드 상에 기입된 기록을 격리시키도록 비주얼 에코 소거를 사용하는 단계를 포함하는 컴퓨터 구현 프로세스.
  7. 제6항에 있어서,
    비주얼 에코는 원격지의 참가자로부터의 주석 및 투사된 콘텐트를 포함하는 컴퓨터 구현 프로세스.
  8. 제6항에 있어서,
    캡쳐된 이미지의 알베도의 비주얼 에코의 알베도에 대한 비가 1 미만이면, 주어진 화소[x,y]는,
    1-(적색, 녹색 및 청색 채널들의 합에 대한 알베도 비)/3가, (적색, 녹색 및 청색 채널에 대한 화소의 편차들의 합)/(적색, 녹색 및 청색 채널들에 있어 화소에 대한 비주얼 에코들의 합)보다 크다면, 기록에 속하는 컴퓨터 구현 프로세스.
  9. 제8항에 있어서,
    주어진 색 채널에 대하여 기록에 속하는 화소[x,y]의 경우, 캡쳐된 이미지 내의 색은 주어진 채널에 대한 알베도 비에 255를 곱함으로써 보정될 수 있는 컴퓨터 구현 프로세스.
  10. 화이트보드 상에 기록된 콘텐트를 식별하기 위한 컴퓨터 구현 프로세스이며,
    화이트보드와 카메라로 캡쳐된 상기 화이트보드의 뷰 사이의 기하학적 관계를 결정하는 기하학적 캘리브레이션 데이터를 얻는 단계와,
    화이트보드 상에 기입된 기록의 색과 상기 카메라에 의해 캡쳐된 이미지에서 화이트보드 상에 기입된 기록의 색 사이의 색 관계를 결정하는 색 캘리브레이션 데이터를 얻는 단계와,
    투사된 콘텐트와 화이트보드 상에 기입된 기록을 갖는 상기 화이트보드의 이미지를 캡쳐하는 단계와,
    캡쳐된 이미지의 색과 기하학을 기하학적 캘리브레이션 데이터와 색 캘리브레이션 데이터를 사용하여 보정함으로써 캡쳐된 이미지의 비주얼 에코를 계산하는 단계와,
    화이트보드 상의 기록을 식별하도록 캡쳐된 이미지의 알베도의 비주얼 에코의 알베도에 대한 비를 사용하여는 단계
    를 포함하는 컴퓨터 구현 프로세스.
  11. 제10항에 있어서,
    식별된 기록을 세그먼트화하는 단계와,
    세그먼트화된 기록을 원격지 사이트에 디스플레이를 위해 전송하는 단계를 더 포함하는 컴퓨터 구현 프로세스.
  12. 제10항에 있어서,
    식별된 기록을 세그먼트화하는 단계와,
    세그먼트화한 기록을 추후에 보기 위해서 저장하는 단계를 더 포함하는 컴퓨터 구현 프로세스.
  13. 제10항에 있어서,
    기하학적 캘리브레이션 데이터를 얻는 단계는,
    화이트보드에 일련의 직사각형 패턴을 투사하고 동시에 일련의 직사각형 패턴을 일련의 이미지로 캡쳐하는 단계와,
    카메라로 캡쳐한 일련의 이미지에서 상기 직사각형 패턴의 모서리를 검출하는 단계와,
    카메라 뷰와 화이트보드 사이의 기하학적 관계를 한정하는 호모그래피를 추정하기 위하여 일련의 이미지에서 모서리의 위치와 화이트보드 상의 직사각형 패턴의 모서리의 위치 사이의 대응을 사용하는 단계를 포함하는 컴퓨터 구현 프로세스.
  14. 제13항에 있어서,
    모서리를 검출하는 단계는,
    이미지를 그레이 스케일 이미지로 변환하는 단계와,
    그레이 스케일 이미지에서 직사각형의 에지를 검출하여 에지 맵을 생성하기 위하여 에지 검출을 사용하는 단계와,
    에지 맵 상의 직선을 검출하기 위하여 허프 변환을 사용하는 단계와,
    검출된 직선을 사용하여 각각의 직사각형에 대해 사각형을 맞추는 단계와,
    사각형의 모서리들을 찾는 단계를 포함하는 컴퓨터 구현 프로세스.
  15. 제10항에 있어서,
    색 캘리브레이션 데이터를 얻는 단계는,
    적색, 녹색, 청색 공간을 빈으로 분할하는 단계를 포함하며,
    각각의 분할된 색의 세트에 대하여,
    서브-영역들로 나눠진 화이트보드 전체에 알고 있는 색을 투사하는 단계와,
    화이트보드 상에 투사된 상기 알고 있는 색의 n개의 이미지들을 카메라로 취하여 상기 n개의 이미지를 저장하는 단계와,
    각각의 상기 n개의 이미지를 기하학적 캘리브레이션에 의해 발견된 호모그래피를 사용하여 화이트보드 좌표로 워핑하는 단계와,
    각각의 서브-영역에 대한 n개의 프레임에 걸쳐 각각의 색의 평균 및 편차를 계산하는 단계와,
    상기 알고 있는 색에 대해 각각의 서브-영역의 평균 및 편차의 룩업 테이블을 생성하는 단계를 포함하는 컴퓨터 구현 프로세스.
  16. 제10항에 있어서,
    캡쳐된 이미지의 알베도의 비주얼 에코의 알베도에 대한 비가 1 이면, 화이트보드엔 아무 것도 기록되지 않는 컴퓨터 구현 프로세스.
  17. 제10항에 있어서,
    캡쳐된 이미지의 알베도의 비주얼 에코의 알베도에 대한 비가 1 미만이면, 화이트보드 상에 기입된 기록이 존재하는 컴퓨터 구현 프로세스.
  18. 제10항에 있어서,
    캡쳐된 이미지의 알베도의 비주얼 에코의 알베도에 대한 비가 1 미만이면, 주어진 화소[x,y]는,
    1-(적색, 녹색 및 청색 채널들의 합에 대한 알베도 비)/3가, (적색, 녹색 및 청색 채널에 대한 화소의 편차들의 합)/(적색, 녹색 및 청색 채널들에 있어 화소에 대한 비주얼 에코들의 합)보다 크다면, 기록에 속하는 컴퓨터 구현 프로세스.
  19. 제18항에 있어서,
    주어진 색 채널에 대하여 기록에 속하는 화소[x,y]의 경우, 캡쳐된 이미지 내의 색은 주어진 채널에 대한 알베도 비에 255를 곱함으로써 보정될 수 있는 컴퓨터 구현 프로세스.
  20. 화이트보드 상에 기록된 콘텐츠를 원격 회의 참가자에게 제공하기 위하여 컴퓨터로 실행될 수 있는 명령을 갖는 컴퓨터 판독 가능 매체이며, 상기 컴퓨터 실행가능 명령은,
    화이트보드와 카메라로 캡쳐된 상기 화이트보드의 뷰 사이의 기하학적 관계를 결정하는 기하학적 캘리브레이션 데이터를 얻는 단계와,
    화이트보드 상에 기입된 기록의 색과 상기 카메라에 의해 캡쳐된 이미지에서 화이트보드 상에 기입된 기록의 색 사이의 색 관계를 결정하는 색 캘리브레이션 데이터를 얻는 단계와,
    투사된 콘텐트와 화이트보드 상에 기입된 기록을 상기 화이트보드의 이미지를 캡쳐하는 단계와,
    캡쳐된 이미지의 색과 기하학을 기하학적 캘리브레이션 데이터와 색 캘리브레이션 데이터를 사용하여 보정함으로써 캡쳐된 이미지의 비주얼 에코를 계산하는 단계와,
    화이트보드 상의 기록을 식별하기 위하여 캡쳐된 이미지의 알베도의 비주얼 에코의 알베도에 대한 비를 사용하는 단계
    를 포함하는 컴퓨터 판독 가능 매체.
  21. 원격 공동 작업을 위하여 화이트보드 작업 표면의 명료한 이미지를 세그먼트화하는 시스템이며,
    화이트보드 상에 투사된 하나 이상의 아이템 및 화이트보드 상에 기입된 기록을 포함하는 화이트보드의 하나 이상의 이미지를 캡쳐하는 카메라와,
    화이트보드 상에 투사된 하나 이상의 아이템과 화이트보드 상에 기입된 기록을 두 개의 파일로 분리하는 비주얼 에코 소거 모듈
    을 포함하는 시스템.
  22. 제21항에 있어서,
    화이트보드 상에 투사된 하나 이상의 아이템 및 화이트보드 상에 기입된 기록을 디스플레이하는 디스플레이를 구비한 원격지와,
    화이트보드 상에 투사된 하나 이상의 아이템 및 화이트보드 상에 기입된 기록을 상기 원격지로 송신하는 네트워크를 더 포함하는 시스템.
  23. 제21항에 있어서,
    화이트보드 상에 투사된 하나 이상의 아이템 및 화이트보드 상에 기입된 기록은 두 개의 분리된 파일로 원격지에 송신되는 시스템.
  24. 제22항에 있어서,
    원격지는 화이트보드 상에 투사된 하나 이상의 아이템들과 함께 디스플레이되도록 화이트보드에 주석을 다시 송신할 수 있는 시스템.
  25. 제20항에 있어서,
    화이트보드 상에 투사된 하나 이상의 아이템과 화이트보드 상에 기입된 기록을 두 개의 파일들로 분리하는 비주얼 에코 소거 모듈은 서브-모듈을 포함하되,
    상기 서브-모듈은,
    화이트보드와 카메라로 캡쳐된 상기 화이트보드의 뷰 사이의 기하학적 관계를 결정하는 기하학적 캘리브레이션 데이터를 얻고,
    화이트보드 상에 기입된 기록의 색과 상기 카메라에 의해 캡쳐된 이미지에서 화이트보드 상에 기입된 기록의 색 사이의 색 관계를 결정하는 색 캘리브레이션 데이터를 얻고,
    투사된 콘텐트와 화이트보드 상에 기입된 기록을 갖는 상기 화이트보드의 이미지를 캡쳐하고,
    캡쳐된 이미지의 색과 기하학을 기하학적 캘리브레이션 데이터와 색 캘리브레이션 데이터를 사용하여 보정함으로써 캡쳐된 이미지의 비주얼 에코를 계산하고,
    화이트보드 상의 기록을 식별하기 위하여 캡쳐된 이미지의 알베도의 비주얼 에코의 알베도에 대한 비를 사용하는 시스템.
  26. 제25항에 있어서,
    캡쳐된 이미지의 알베도의 비주얼 에코의 알베도에 대한 비가 1 미만이면, 주어진 화소[x,y]는,
    1-(적색, 녹색 및 청색 채널들의 합에 대한 알베도 비)/3가, (적색, 녹색 및 청색 채널에 대한 화소의 편차들의 합)/(적색, 녹색 및 청색 채널들에 있어 화소에 대한 비주얼 에코들의 합)보다 크다면, 기록에 속하는 시스템.
  27. 제26항에 있어서,
    주어진 색 채널에 대하여 기록에 속하는 화소[x,y]의 경우, 캡쳐된 이미지 내의 색은 주어진 채널에 대한 알베도 비에 255를 곱함으로써 보정될 수 있는 시스템.
  28. 제27항에 있어서,
    주어진 색 채널에 대하여 기록에 속하는 화소[x,y]의 경우, 캡쳐된 이미지 내 색은,
    화이트보드 상에 표시하는 데에 가장 통상적으로 사용되는 마커들에 대응하는 색의 4가지 분류를 선택하고,
    기록의 세트를 복구하고,
    적색, 녹색 및 청색 채널에 대해 캡쳐된 이미지 내의 기록의 색을 보정하고,
    새로운 이미지를 생성하도록 기록의 색을 적색, 녹색 및 청색 공간으로부터 색조, 채도 및 명암도 색 공간으로 변환하고,
    기록을 색의 4가지 분류에 대응하여 수동으로 한정하고 색조, 채도 및 명암도에 의해 이들 기록의 히스토그램을 얻고,
    새로운 이미지 내 각각의 화소가 히스토그램에 기초하여 4개의 분류 중 하나에 속할 확률을 평가함으로써 보정될 수 있는 시스템.
KR1020050011387A 2004-02-17 2005-02-07 프로젝터-카메라-화이트보드 시스템에서의 비주얼 에코소거를 위한 시스템 및 방법 KR101040865B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/780,209 US7496229B2 (en) 2004-02-17 2004-02-17 System and method for visual echo cancellation in a projector-camera-whiteboard system
US10/780,209 2004-02-17

Publications (2)

Publication Number Publication Date
KR20060041840A true KR20060041840A (ko) 2006-05-12
KR101040865B1 KR101040865B1 (ko) 2011-06-14

Family

ID=34701443

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050011387A KR101040865B1 (ko) 2004-02-17 2005-02-07 프로젝터-카메라-화이트보드 시스템에서의 비주얼 에코소거를 위한 시스템 및 방법

Country Status (5)

Country Link
US (1) US7496229B2 (ko)
EP (1) EP1564682A3 (ko)
JP (1) JP2005253067A (ko)
KR (1) KR101040865B1 (ko)
CN (1) CN100527825C (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100985516B1 (ko) * 2006-03-23 2010-10-06 인터내셔널 비지네스 머신즈 코포레이션 투영된 화상에 관한 화이트보드 마크업의 인식 및 캡처
WO2012030975A2 (en) * 2010-08-31 2012-03-08 Texas Instruments Incorporated Method and apparatus for enhancing a white board experience

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8610664B2 (en) * 2005-07-11 2013-12-17 Koninklijke Philips N.V. Method of controlling a control point position on a command area and method for control of a device
US7794090B2 (en) * 2006-01-24 2010-09-14 Seiko Epson Corporation Efficient dual photography
US20080002160A1 (en) * 2006-06-30 2008-01-03 Nelson Liang An Chang System and method for generating and displaying sub-frames with a multi-projector system
JP5162855B2 (ja) * 2006-07-18 2013-03-13 富士ゼロックス株式会社 画像処理装置、遠隔画像処理システム及び画像処理方法
KR100844129B1 (ko) * 2006-09-13 2008-07-04 한국전자통신연구원 카메라를 이용한 마우스 인터페이스 장치, 이 장치에 의한시스템 및 방법, 그리고 이를 실현하기 위한 컴퓨터로 읽을수 있는 기록매체
US7924305B2 (en) * 2006-09-15 2011-04-12 Hewlett-Packard Development Company, L.P. Consistent quality for multipoint videoconferencing systems
US8125510B2 (en) 2007-01-30 2012-02-28 Ankur Agarwal Remote workspace sharing
US20090119593A1 (en) * 2007-11-01 2009-05-07 Cisco Technology, Inc. Virtual table
US8838489B2 (en) 2007-12-27 2014-09-16 Amazon Technologies, Inc. On-demand generating E-book content with advertising
US8929586B2 (en) * 2008-05-09 2015-01-06 Hartford Fire Insurance Company System and method for detecting potential property insurance fraud
US20090309853A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Electronic whiteboard system and assembly with optical detection elements
US8275197B2 (en) * 2008-06-14 2012-09-25 Microsoft Corporation Techniques to manage a whiteboard for multimedia conference events
US8149279B2 (en) * 2008-08-18 2012-04-03 Apple Inc. Apparatus and method for compensating for variations in digital cameras
CN101770353A (zh) * 2008-12-30 2010-07-07 上海京城高新技术开发有限公司 一种电子白板显示处理方法
US8619178B2 (en) * 2009-01-28 2013-12-31 Hewlett-Packard Development Company, L.P. Image rendition and capture
US8488042B2 (en) * 2009-01-28 2013-07-16 Hewlett-Packard Development Company, L.P. Systems for capturing images through a display
NO332210B1 (no) * 2009-03-23 2012-07-30 Cisco Systems Int Sarl Grensesnittenhet mellom videokonferansekodek og interaktiv whiteboard-tavle
US8542267B1 (en) * 2009-10-01 2013-09-24 Hewlett-Packard Development Company, L.P. Calibrating a visual-collaborative system
KR20110069958A (ko) * 2009-12-18 2011-06-24 삼성전자주식회사 프로젝터 기능의 휴대 단말기의 데이터 생성 방법 및 장치
CN101753994B (zh) * 2009-12-31 2015-06-03 马宇尘 场景录制传播方法及其系统
JP5541679B2 (ja) * 2010-01-05 2014-07-09 キヤノン株式会社 画像処理装置及び方法、並びに、プログラム
JP2011205615A (ja) * 2010-03-01 2011-10-13 Ricoh Co Ltd 描画画像共有装置、描画画像共有方法、プログラムおよび記録媒体
JP5771981B2 (ja) * 2010-03-15 2015-09-02 株式会社リコー 描画画像共有装置、データ処理方法、プログラムおよび記録媒体
JP5563390B2 (ja) * 2010-06-30 2014-07-30 キヤノン株式会社 画像処理装置およびその制御方法、及びプログラム
CN101907953A (zh) * 2010-07-02 2010-12-08 东莞市日新传导科技股份有限公司 交互式投影设备及其投影方法
US8988489B2 (en) 2010-09-15 2015-03-24 Hewlett-Packard Development Company, L. P. Determining a synchronization relationship
US8878894B2 (en) 2010-09-15 2014-11-04 Hewlett-Packard Development Company, L.P. Estimating video cross-talk
CN102446345B (zh) * 2010-09-30 2015-09-30 株式会社理光 一种对于白板彩色图像进行颜色增强的方法、装置及系统
JP5633320B2 (ja) * 2010-11-05 2014-12-03 株式会社リコー 描画画像共有装置
US8896692B2 (en) * 2010-11-10 2014-11-25 Ricoh Company, Ltd. Apparatus, system, and method of image processing, and recording medium storing image processing control program
JP6014995B2 (ja) * 2010-11-25 2016-10-26 株式会社リコー 画像処理装置、及び画像処理プログラム
JP2012134959A (ja) * 2010-11-29 2012-07-12 Ricoh Co Ltd 画像処理装置、及び画像処理プログラム
US8655071B2 (en) * 2011-02-24 2014-02-18 Sharp Laboratories Of America, Inc. Methods and systems for determining a document region-of-interest in an image
CN102651810A (zh) * 2011-02-25 2012-08-29 株式会社理光 白板共享系统和白板共享方法
WO2013019217A1 (en) * 2011-08-02 2013-02-07 Hewlett-Packard Development Company, L.P. Projection capture system and method
JP6281857B2 (ja) * 2012-01-13 2018-02-21 株式会社ドワンゴ 映像システム、および撮影方法
EP2637353B1 (en) * 2012-03-06 2016-05-18 Alcatel Lucent A system for remote collaboration
US9001183B2 (en) * 2012-06-15 2015-04-07 Cisco Technology, Inc. Adaptive switching of views for a video conference that involves a presentation apparatus
US9088688B2 (en) 2012-09-05 2015-07-21 Cisco Technology, Inc. System and method for collaboration revelation and participant stacking in a network environment
WO2014073092A1 (ja) * 2012-11-09 2014-05-15 日立コンシューマエレクトロニクス株式会社 映像情報端末装置及び映像表示システム
US8805068B2 (en) * 2012-12-13 2014-08-12 Microsoft Corporation Automatic classification and color enhancement of a markable surface
US9148573B2 (en) * 2013-03-15 2015-09-29 Hewlett-Packard Development Company, L.P. Non-uniform correction illumination pattern
CN104079862A (zh) * 2013-03-30 2014-10-01 深圳市潮流网络技术有限公司 一种视频电子白板业务实现方法及装置
JP5796596B2 (ja) * 2013-04-26 2015-10-21 コニカミノルタ株式会社 支援方法、支援システム、制御装置、画像形成装置、および支援プログラム
JP2014220720A (ja) * 2013-05-09 2014-11-20 株式会社東芝 電子機器、情報処理方法及びプログラム
US9489114B2 (en) * 2013-06-24 2016-11-08 Microsoft Technology Licensing, Llc Showing interactions as they occur on a whiteboard
US9883138B2 (en) 2014-02-26 2018-01-30 Microsoft Technology Licensing, Llc Telepresence experience
WO2015142580A1 (en) * 2014-03-18 2015-09-24 Citrix Systems, Inc. Sharing physical whiteboard content in electronic conference
CN105302283B (zh) * 2014-06-06 2019-05-07 洪水和 映射投影的控制系统及其控制方法
TWI589160B (zh) * 2015-01-09 2017-06-21 廣達電腦股份有限公司 視訊會議系統及其互動顯示方法
US10268886B2 (en) 2015-03-11 2019-04-23 Microsoft Technology Licensing, Llc Context-awareness through biased on-device image classifiers
US10055672B2 (en) 2015-03-11 2018-08-21 Microsoft Technology Licensing, Llc Methods and systems for low-energy image classification
US20160267349A1 (en) * 2015-03-11 2016-09-15 Microsoft Technology Licensing, Llc Methods and systems for generating enhanced images using multi-frame processing
CN106570834B (zh) * 2016-10-26 2019-11-12 东南大学 一种用于像素调制可见光通信系统的图像矫正方法
US20180232192A1 (en) * 2017-02-14 2018-08-16 Samson Timoner System and Method for Visual Enhancement, Annotation and Broadcast of Physical Writing Surfaces
JP6842329B2 (ja) * 2017-03-24 2021-03-17 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法および画像処理装置
US10284815B2 (en) * 2017-07-26 2019-05-07 Blue Jeans Network, Inc. System and methods for physical whiteboard collaboration in a video conference
EP3688982A4 (en) 2017-09-27 2021-12-29 Dolby Laboratories Licensing Corporation Processing video including a physical writing surface
US20190220699A1 (en) * 2018-01-15 2019-07-18 Gyrfalcon Technology Inc. System and method for encoding data in an image/video recognition integrated circuit solution
JP2020098420A (ja) * 2018-12-17 2020-06-25 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US10976983B2 (en) 2019-03-26 2021-04-13 International Business Machines Corporation Smart collaboration across multiple locations
US11206294B2 (en) 2020-03-31 2021-12-21 Konica Minolta Business Solutions U.S.A., Inc. Method for separating local and remote content in a camera-projector based collaborative system
WO2021257918A1 (en) * 2020-06-18 2021-12-23 Radyx Ventures, Llc Improved technique for natural whiteboard collaboration
CN112050752B (zh) * 2020-09-02 2022-03-18 苏州东方克洛托光电技术有限公司 一种基于二次投影的投影仪标定方法
US11982926B2 (en) 2021-06-25 2024-05-14 Konica Minolta Business Solutions U.S.A., Inc. Method for eliminating video echo in a projector-camera based remote collaborative system
WO2023122537A1 (en) * 2021-12-20 2023-06-29 Canon U.S.A., Inc. Apparatus and method for enhancing a whiteboard image

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5239373A (en) * 1990-12-26 1993-08-24 Xerox Corporation Video computational shared drawing space
JPH06261317A (ja) * 1993-03-08 1994-09-16 Nippon Telegr & Teleph Corp <Ntt> 遠隔共有空間を構成する映像システム
JPH07129322A (ja) * 1993-09-07 1995-05-19 Sony Corp コンピュータディスプレイシステム
US6388654B1 (en) * 1997-10-03 2002-05-14 Tegrity, Inc. Method and apparatus for processing, displaying and communicating images
JP2000122767A (ja) * 1998-10-14 2000-04-28 Nippon Telegr & Teleph Corp <Ntt> 同室感を持つ共有空間作成方法及び装置ならびに通信システム
AU2002239341A1 (en) * 2000-11-06 2002-06-03 Simon Baker Paper-based remote sketching system
WO2002067050A1 (en) 2001-02-16 2002-08-29 Imatte, Inc. Interactive teleconferencing display system
JP4037128B2 (ja) * 2001-03-02 2008-01-23 株式会社リコー 投影型表示装置、及びプログラム
JP4620909B2 (ja) 2001-07-26 2011-01-26 日東光学株式会社 画像入出力装置
US6802611B2 (en) * 2002-10-22 2004-10-12 International Business Machines Corporation System and method for presenting, capturing, and modifying images on a presentation board

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100985516B1 (ko) * 2006-03-23 2010-10-06 인터내셔널 비지네스 머신즈 코포레이션 투영된 화상에 관한 화이트보드 마크업의 인식 및 캡처
WO2012030975A2 (en) * 2010-08-31 2012-03-08 Texas Instruments Incorporated Method and apparatus for enhancing a white board experience
WO2012030975A3 (en) * 2010-08-31 2012-04-26 Texas Instruments Incorporated Method and apparatus for enhancing a white board experience

Also Published As

Publication number Publication date
EP1564682A2 (en) 2005-08-17
US20050180631A1 (en) 2005-08-18
CN1680867A (zh) 2005-10-12
CN100527825C (zh) 2009-08-12
US7496229B2 (en) 2009-02-24
JP2005253067A (ja) 2005-09-15
KR101040865B1 (ko) 2011-06-14
EP1564682A3 (en) 2014-12-03

Similar Documents

Publication Publication Date Title
KR101040865B1 (ko) 프로젝터-카메라-화이트보드 시스템에서의 비주얼 에코소거를 위한 시스템 및 방법
US7260278B2 (en) System and method for real-time whiteboard capture and processing
KR100995218B1 (ko) 화이트보드 콘텐츠의 개선된 데이터 스트림 생성용 컴퓨터구현 처리방법, 시스템 및 컴퓨터 판독가능 기록 매체
KR100996787B1 (ko) 오디오 비주얼 컨텐트 요약 및 인덱싱 방법, 이 방법을 수행하도록 실행가능한 컴퓨터 판독가능 기록 매체, 및 미팅의 오디오 및 비디오 컨텐트를 캡쳐하기 위한 시스템
KR100985516B1 (ko) 투영된 화상에 관한 화이트보드 마크업의 인식 및 캡처
US7254268B2 (en) Object extraction
US20020186881A1 (en) Image background replacement method
Karaman et al. Comparison of static background segmentation methods
US20180232192A1 (en) System and Method for Visual Enhancement, Annotation and Broadcast of Physical Writing Surfaces
CN102147684B (zh) 一种触摸屏屏幕扫描方法及其系统
He et al. Real-time whiteboard capture and processing using a video camera for remote collaboration
He et al. Real-time whiteboard capture and processing using a video camera for teleconferencing
Liao et al. Robust and accurate visual echo cancelation in a full-duplex projector-camera system
Zhang Computer vision technologies for remote collaboration using physical whiteboards, projectors and cameras
US10474743B2 (en) Method for presenting notifications when annotations are received from a remote device
US20240078007A1 (en) Information processing apparatus, information processing method, and program
Da Xu A computer vision based whiteboard capture system
JP5740942B2 (ja) 画像処理装置、及び画像処理プログラム
KR20160024767A (ko) 샷 경계 검출 방법, 그리고 이를 구현한 영상 처리 장치 및 방법
Zhang et al. Remote collaboration on physical whiteboards
Zhou et al. SRec: An Automatic Slide Capturing and Sharing System
Prihatmanto et al. Flexible camera setup for visual based registration on 2d interaction surface with undefined geometry using neural network
JP2012134959A (ja) 画像処理装置、及び画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140516

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150515

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160517

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180516

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190515

Year of fee payment: 9