KR100995218B1 - 화이트보드 콘텐츠의 개선된 데이터 스트림 생성용 컴퓨터구현 처리방법, 시스템 및 컴퓨터 판독가능 기록 매체 - Google Patents

화이트보드 콘텐츠의 개선된 데이터 스트림 생성용 컴퓨터구현 처리방법, 시스템 및 컴퓨터 판독가능 기록 매체 Download PDF

Info

Publication number
KR100995218B1
KR100995218B1 KR1020040012027A KR20040012027A KR100995218B1 KR 100995218 B1 KR100995218 B1 KR 100995218B1 KR 1020040012027 A KR1020040012027 A KR 1020040012027A KR 20040012027 A KR20040012027 A KR 20040012027A KR 100995218 B1 KR100995218 B1 KR 100995218B1
Authority
KR
South Korea
Prior art keywords
whiteboard
color
cell
cells
background
Prior art date
Application number
KR1020040012027A
Other languages
English (en)
Other versions
KR20040076216A (ko
Inventor
젱유 장
리-웨이 헤
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20040076216A publication Critical patent/KR20040076216A/ko
Application granted granted Critical
Publication of KR100995218B1 publication Critical patent/KR100995218B1/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02B—HYDRAULIC ENGINEERING
    • E02B3/00—Engineering works in connection with control or use of streams, rivers, coasts, or other marine sites; Sealings or joints for engineering works in general
    • E02B3/04—Structures or apparatus for, or methods of, protecting banks, coasts, or harbours
    • E02B3/12—Revetment of banks, dams, watercourses, or the like, e.g. the sea-floor
    • E02B3/14—Preformed blocks or slabs for forming essentially continuous surfaces; Arrangements thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4046—Arrangements for multi-party communication, e.g. for conferences with distributed floor control
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; CARE OF BIRDS, FISHES, INSECTS; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00—Culture of aquatic animals
    • A01K61/10—Culture of aquatic animals of fish
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental Sciences (AREA)
  • Ocean & Marine Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Civil Engineering (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Zoology (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Structural Engineering (AREA)
  • Environmental & Geological Engineering (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

네트워크 환경에서의 컴퓨팅 장치들로 화이트보드 콘텐츠를 스트리밍하는 시스템 및 방법으로서, 본 발명은 화이트보드 영상 생성기술을 확장시켜, 네트워크 기반의 목표된 회의를 위한 협동체제를 제공한다. 본 발명의 일 태양에서는, 네트워크 상의 각 클라이언트는 오디오 콘텐츠와 화이트보드 콘텐츠(비디오 영상)를 수신할 수 있다. 본 발명의 다른 태양에서는, 네트워크상의 각 클라이언트는 화이트보드 상에 발생되거나 별도로 표시되는 오디오 콘텐츠 및 주석 콘텐츠를 전송할 수 있다. 스트리밍 콘텐츠는 외부의 협동체제 상에 구축된다.
Figure R1020040012027
컬러모델, 소벨필터, 윤곽선검출, 영상 개선, 상태천이

Description

화이트보드 콘텐츠의 개선된 데이터 스트림 생성용 컴퓨터구현 처리방법, 시스템 및 컴퓨터 판독가능 기록 매체{A COMPUTER-IMPLEMENTED PROCESS FOR CREATING AN ENHANCED DATA STREAM OF WHITEBOARD CONTENT, SYSTEM AND COMPUTER-READABLE RECORDING MEDIUM}
도 1은 본 발명을 구현하기 위한 예시적인 시스템을 구성하는 범용 컴퓨팅장치를 나타낸 도.
도 2는 실시간 화이트보드 스트리밍 시스템 및 방법의 주요 시스템 구성요소들을 나타낸 도.
도 3은 실시간 화이트보드 스트리밍 시스템 및 방법의 주요 기능적 구성요소들을 나타낸 도.
도 4는 본 발명에 따른 시스템 및 방법의 전반적인 흐름도.
도 5는 일련의 입력 영상들을 나타낸 도.
도 6은 본 발명에 따른 시스템 및 방법에 사용되는 화이트보드 영상 셀들에 대한 셀 분류(classification)를 나타낸 전반적인 흐름도.
도 7은 본 발명에 따른 시스템 및 방법에 의해 사용되는 화이트보드 컬러 추정절차의 전반적인 흐름도.
도 8은 본 발명에 따른 시스템 및 방법의 화이트보드 영상 개선(image enhancement)을 나타낸 일반적인 흐름도.
도 9는 본 발명에 따른 시스템 및 방법의 자획 식별 및 추출을 나타낸 전반 적인 흐름도.
도 10은 본 발명에 따른 시스템 및 방법의 화이트보드 컬러 추정 및 필터링을 설명하기 위한 도면.
<도면의 주요 부분에 대한 부호의 설명>
100 : 컴퓨팅 시스템 환경
110 : 컴퓨터
120 : 처리장치
121 : 시스템 버스
130 : 시스템 메모리
본 출원은 2003년 2월 24일 출원된 가출원 번호 60/449,683을 35 U.S.C Section 119(e)에 근거하여 우선권을 주장한다.
본 발명은 네트워크 환경에서 컴퓨팅 장치들로 화이트보드 콘텐츠를 스트리밍하기 위한 시스템 및 방법에 관한 것이다. 더욱 자세하게는, 본 발명은 일련의 개선된 화이트보드 영상들을 한 명 이상의 원격 회의참가자들에게 실시간으로 전송하여, 회의 중인 모든 회의 참가자들에 대하여 네트워크 기반의 협동체제를 제공하는 시스템 및 방법에 관한 것이다.
종래 기술
회의는 많은 근로자의 근로시간중 큰 부분을 차지한다. 회의에 이용되는 이러한 시간과 이동하는데 소비되는 비용 및 시간을 보다 효과적으로 사용하는 것은 생산성 향상과 대량의 비용절감에 직결된다.
많은 회의 시나리오들은 브레인스토밍(brainstorming) 회의, 강의, 프로젝트 설계회의, 특허 발표 등을 위해 광범위하게 화이트보드를 사용한다. 화이트보드에 쓰여진 것을 노트필기하고, 복사하는 것은 종종 회의 동안 많은 참가자들의 능동적인 참여와 협동을 방해한다. 그 결과, 몇몇 자동화된 방법으로 화이트보드 콘텐츠를 캡쳐하는데 상당한 노력들이 시도되어왔다.
모든 사업에서 생산품과 서비스를 개선하는 것은 정보와 아이디어의 자유로운 흐름에 달려 있다. 조직의 내외 부에서 사람들 사이의 효과적인 협동은 제품 품질을 향상시키고, 제품 또는 프로젝트 개발시간을 개선시키며, 비용을 절감시킨다. 그러나, 효과적인 협동이 종종 어려울 때가 있다. 효과적인 회의를 방해하는 문제 중의 하나는 종종 사람들이 물리적으로 함께 있는 것이 아니라는 점이다. 회의를 위해 이동한다는 것은, 긴 여행시간을 고려할 때 매우 시간 소모적인 것일 수 있으며, 많은 비용이 소모되는 것일 수 있다. 특히, 회의장소가 한 나라의 반대편 끝에 있거나, 다른 나라 또는 다른 대륙에 위치하는 경우, 두 세 시간의 회의 때문에, 회의장소를 가는데 하루, 돌아오는데 하루를 이동하는데 쓰게 된다.
그러므로, 물리적으로 함께 있지 않은 많은 참가자들이 참여하는 회의의 용이성을 개선함으로써, 이러한 원격 참가자들이 실시간으로 회의에 참여하고, 아이디어를 공유하고자 하는 필요성이 크게 있었다.
본 발명은 네트워크 환경에서 화이트보드 콘텐츠를 컴퓨팅 장치로 스트리밍하는 시스템 및 방법에 관한 것이다. 실시간 화이트보드 스트리밍 시스템 및 방법으로 명명되는 본 발명은 화이트보드 영상 생성기술의 연장선상에 있는 것으로, 회의 중 네트워크 기반의 협동체제를 제공하고자 하는 것이다. 본 발명의 일 실시예에서, 각 네트워크 클라이언트는 회의의 오디오 콘텐츠와 개선된 화이트보드 콘텐츠(비디오 영상 또는 일련의 스냅샷 영상들)를 수신할 수 있다. 다른 실시예에서, 각 네트워크 클라이언트는 실제 화이트보드와는 별개의 디스플레이장치에 표시되거나, 또는 실제 물리적인 화이트보드 자체 상에 생성되는 주석 콘텐츠와 오디오 콘텐츠를 전송할 수 있다. 스트리밍 콘텐츠는 예컨대, Microsoft?사의 윈도우즈 메신저 및 넷 미팅과 같은 외부의 협동 프레임워크 상에서 구축된다. 화이트보드의 개선된 라이브 비디오는 원격 회의 참가자들의 개인컴퓨터(PC)로 스트리밍되며, 반대로, 회의 참가자들은 코멘트와 주석을 되 보낼 수도 있다. 그 결과 시스템은 분산 회의를 위한 자연스러운 협동 수단을 제공하게 된다.
이러한 시스템의 전형적인 시나리오는 하나의 지점, 보통 전형적인 회의실에 모인 N 명의 사람들과, 각자 자신의 사무실 또는 다른 떨어진 지점에 있을 수 있는 M 명(일반적으로 1 내지 3)의 개인들(원격 사용자)이 참여하는 브레인스토밍 회의이다.
N명의 사람들은, 화이트보드; 화이트보드 콘텐츠를 캡쳐하는 카메라; 회의 오디오를 캡쳐하는 마이크로폰 장치; 회의 서버(meeting server); 회의 서버에 연 결된 프로젝터, 텔레비전 또는 기타 디스플레이장치; 상기 마이크로폰 장치에 장착되는 것이 바람직한 확성기를 구비하는 회의실에 N 명의 사람들이 모인다. M 명의 개인들 각각은 데스크톱 컴퓨터 또는 노트북 컴퓨터; 스피커; 마이크로폰; 및 원격자의 컴퓨터를 회의서버에 연결하는 네트워크 연결장치가 갖추어진 자신의 사무실 또는 다른 떨어진 지점에 착석한다.
회의실의 N 명의 사람들은 화이트보드 상에 판서함으로써 생각들을 서로 공유하는 협동공간으로서 화이트보드를 사용한다. 화이트보드 콘텐츠는 신속하게 거의 실시간으로 캡쳐되고, 화이트보드의 개선된 영상들을 네트워크를 통하여 원격자들에게 전송함으로써 원격자들에 의해 공유된다. 육성 토론은 마이크로폰에 의해 캡쳐되고, 캡쳐된 오디오는, 또한, 바람직하게는 방향성(directional) 정보(예컨대, 오디오 핑거프린트(fingerprint)를 사용한 오디오 트랙킹)와 함께 이러한 수단을 통해 원격자에게 전송된다.
원격자들은 회의실의 확성기로 재생되는 오디오를 통해 회의에 참여한다. 원격자들은 또한 캡쳐된 화이트보드 프레임에 주석을 기재하여 회의에 참여할 수 있으며, 주석이 기재된 화이트보드 프레임은 회의실의 디스플레이장치 및 기타 원격자의 컴퓨터 상에도 나타난다. 또한, 한 원격 참여자가 화이트보드 콘텐츠로의 입력을 제공하고 있음을 회의 참여자들에게 알리기 위해, 버저(buzzer) 또는 기타 시각적인 지시(visual cue) 등의 신호가 사용될 수 있다.
주석을 포함하는 전체 회의는 추후 다시보기를 위해 아카이브(archive)화 된다. 화이트보드 및 주석들은 시간-각인(time-stamp)되고, 따라서 오디오에 동기된 다.
전술한 바와 같이, 원격 참여자들은 화이트보드 콘텐츠 상에 관한 주석과 육성 코멘트를 제공할 수 있다. 화이트보드 자체와는 별개인, 회의실의 디스플레이장치는 화이트보드 콘텐츠와 주석을 모두 보여준다. 또 다른 시나리오는, 원격 참여자의 주석들이 회의실의 실제 화이트보드 상으로 바로 프로젝트되는 것이다. 이러한 시나리오의 장점은 원격 참여자들이 화이트보드 콘텐츠의 개발에 "능동적으로" 참여한다는 것이다.
상기 시나리오들에서, 종래의 PC들이 원격 참여자들에 의해 사용된다. 그러나, 원격 참여자들은 대안적으로 타블렛 PC를 사용할 수 있다. Microsoft?사의 타블렛 PC는 사용자들이 키보드 사용 대신에 스타일러스(stylus) 또는 디지털 펜을 감지하는 터치스크린 상에 자연스럽게 필기함으로써 메모할 수 있는, 완전히 완비된 개인컴퓨터용으로 설계되었다. 잉크 기술은 원격 참여자들이 공개적인 및/또는 사적인 주석을 훨씬 쉽게 기재하도록 한다.
전술한 바와 같이, 실시간 화이트보드 스트리밍 시스템 및 방법은 서버 기반의 측면과 클라이언트 기반의 측면을 갖는다. 이하에서는 이러한 사항들을 더욱 자세하게 논의한다.
실시간 화이트보드 스트리밍 시스템 및 방법의 서버 기반의 측면은 다음과 같은 4가지 주요 부분으로 이루어진다: 1) 영상 시퀀스(sequence)의 셀들을 배경셀, 전경셀, 또는 자획 셀로 분류하는 분류절차; 2) 전경 물체들(사람들과 같은) 및 펜 자획들을 제외한 화이트보드 컬러를 연산하는 동적인 화이트보드의 배경 초 기화 및 갱신 절차; 3) 입력 비디오 시퀀스에서 화이트보드 영역을 개선하는 효율적인 실시간 절차; 및 4) 화이트보드상에 새롭게 나타나는 자획들을 추출하는 분석절차.
본 발명에 따른 시스템 및 방법은, 맨 처음 화이트보드의 영상 프레임들의 실시간 시퀀스를 구성하는 일련의 스냅샷 또는 라이브 화이트보드 비디오 입력을 획득한다. 이러한 스냅샷 시퀀스 또는 비디오는 프레임 단위로 실시간으로 처리된다.
스냅샷 또는 비디오인, 화이트보드 영상 프레임의 시퀀스는 셀 기반의 움직임 검출과정으로 입력된다. 이러한 과정에서, 주어진 일련의 프레임들 내의 각 영상 프레임들은 셀들로 분할된다. 각각의 해당 셀 위치는 조명 또는 컬러의 어떠한 변화라도 감지하기 위해 계속해서 시간 전후에 걸쳐 비교된다. 현저한 조명변화가 있다면, 추후에 설명되는 화이트보드 컬러 매칭처리 동작이 수행된다. 커다란 조명변화가 없다면, 비디오 프레임의 각각의 셀들은 전경 셀, 화이트보드 배경 셀, 또는 자획 셀로 분류된다. 셀 분류에 있어, 그 위도는 화이트보드의 일부분들을 가로막는 사람 또는 기타 물체들의 영상 부분들을 필터링하여, 화이트보드 콘텐츠의 자획들만이 화이트보드 배경상에서 보이도록 하는 것이다.
셀 분류는 또한 화이트보드와 디스플레이 되는 화이트보드의 앞에 서 있는 사람과 같은 전경 물체를 포함하는 개선된 라이브 비디오 스트림인 화이트보드 비디오 스트림을 생성하는데 사용된다. 전경 물체가 없는 개선된 방법으로 화이트보드상의 자획들만이 화이트보드상에 표시되는, 다른 데이터 스트림, 즉 화이트보드 및 자획만의 데이터 스트림 또한 생성된다.
화이트보드 및 전경 물체들을 포함하는 개선된 영상을 표시하기 위해서, 영상 개선이 수행된다. 영상 개선 과정에 있어서, 화이트보드 컬러는 더욱 균일하게 만들어지며, 화이트보드 콘텐츠(화이트보드에 쓰여진 것)의 자획 채도는 자획을 더욱 선명하고 읽기 쉽도록 하기 위해서 증가된다.
셀 분류의 또 다른 결과는 화이트보드에서 자획이 추가 또는 삭제되었는지를 판정하는 것이다. 이러한 처리동작에 있어서, 실시간 화이트보드 스트리밍 시스템 및 방법은 셀의 자획 콘텐츠가 증가 또는 감소되었는지(즉, 화이트보드 콘텐츠를 추가로 기입하거나 지우는 것에 해당함) 판정한다. 셀의 자획 콘텐츠에 변화가 있다면, 이러한 콘텐츠의 변경은 화이트보드 스트림으로 출력된다.
또한, 셀 분류 후에, 시스템은 화이트보드 컬러모델이 갱신되어야 하는지 판정한다. 화이트보드 컬러모델 갱신처리는 화이트보드 컬러의 점진적 변화를 식별한다. 예컨대, 조명 상태의 이러한 약간의 변화들은 태양을 지나는 구름 또는 화이트보드에 그림자를 드리우는 물체에 기인할 수 있다. 점진적 조명변화가 식별되면, 화이트보드 컬러모델 데이터베이스내의 현재 화이트보드 컬러모델이 갱신된다.
전술한 바와 같이, 셀 기반의 움직임 추출과정에서 현저한 조명변화가 발견되면, 본 발명에 따른 시스템 및 방법은 발견된 조명변화가 현재의 화이트보드 컬러모델에 나타나는지 판정한다. 새로운 조명 상태가 화이트보드 컬러모델 데이터베이스의 화이트보드 컬러모델에 해당한다면, 이러한 모델은 후속하는 셀 분류에 사용된다. 그러나, 이러한 컬러모델이 발견되지 않으면, 새로운 컬러모델이 초기 화되거나, 추정되어, 화이트보드 컬러모델 데이터베이스에 추가된다.
본 발명에 따른 시스템 및 방법은 많은 장점들을 갖는다. 이는 원격지로 이동하는 시간과 비용을 절감하면서 원격 회의 참가자들이 능동적으로 회의에 참여할 수 있도록 한다. 전경 물체들이 없는 경우뿐 만 아니라, 있는 경우에도 더욱 더 읽기 용이한 화이트보드 콘텐츠의 데이터 스트림을 제공한다.
상기 설명한 장점 이외에도, 본 발명의 다른 장점들은 첨부된 도면을 참조하여 이하 상술되는 상세한 설명으로부터 자명할 것이다.
본 특허출원서는 컬러로 표현되는 적어도 하나의 도면을 포함한다. 컬러 도면을 갖는 본 특허의 복사본은 요청서 제출과 필요 비용 납부를 통하여 미국 특허상표청에서 제공받을 수 있다.
본 발명의 고유한 특징, 태양 및 장점들은 이하의 설명, 첨부된 특허청구범위, 및 첨부 도면들을 참조할 때 더욱 용이하게 이해하게 될 것이다.
본 발명의 바람직한 실시예에 대한 이하의 설명에서, 본 출원명세서의 일부를 구성하는 첨부 도면들이 참조되며, 본 발명이 구체화되는 특정 실시예가 설명된다. 다른 실시예들이 채택될 수 있으며, 본 발명의 범위를 일탈하지 않고도 구성상의 변화가 이루어질 수 있음은 자명하다.
1.0 예시적인 동작 환경
도 1은 본 발명이 구현될 수 있는 적절한 컴퓨팅 시스템 환경(100)의 일례이다. 컴퓨팅 시스템 환경(100)은 적절한 컴퓨팅 환경의 한 가지 예시일 뿐이며, 본 발명의 사용범위 또는 기능성에 대하여 어떠한 제한도 가하고자 하는 것은 아니다. 또한, 컴퓨팅 환경(100)은 예시적인 동작환경(100)에 도시된 임의의 구성요소, 또는 그들의 조합과 관련해서 어떠한 의존성이나 요구사항을 갖는다고 절대로 해석되어서는 안 된다.
본 발명은 많은 다른 범용 또는 전용 컴퓨팅 시스템 환경 또는 구성에서 동작한다. 본 발명에 사용하기에 적합할 수 있는 공지된 컴퓨팅 시스템들, 환경, 및/또는 구성들의 예로는, 이에 제한되지 않지만, 개인컴퓨터, 서버컴퓨터, 휴대용(hand-held) 또는 랩톱 기기들, 멀티프로세서 시스템, 마이크로프로세서 기반의 시스템들, 셋톱 박스, 프로그램 가능한 가전제품들, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 상기 시스템들 또는 장비들 중 임의의 것을 포함하는 분산형 컴퓨팅 환경, 등이다.
본 발명은 컴퓨터에 의해 실행되는 프로그램 모듈 등의 컴퓨터 실행가능 명령의 일반적인 문맥(context)에서 설명될 수 있다. 일반적으로, 특정 임무를 수행하거나 특정의 추상적인 데이터 형태를 구현하는 프로그램 모듈은 루틴, 프로그램, 객체, 콤포넌트, 데이터구조, 등을 포함한다. 본 발명은 또한 통신 네트워크를 통해 링크되는 원격 처리장치들에 의해 작업들이 수행되는 분산형 컴퓨팅 환경에서 실시될 수 있다. 분산형 컴퓨팅 환경에서, 프로그램 모듈들은 메모리 저장장치를 포함하는, 일정 장소의 컴퓨터 저장매체 및 원격 컴퓨터 저장매체에 위치될 수 있다.
도 1을 참조하면, 본 발명을 구현하기 위한 예시적인 시스템은 컴퓨터(110) 형태의 범용 컴퓨팅 장치를 포함한다. 컴퓨터(110)의 구성요소들은, 이에 제한되지 않지만, 처리장치(120), 시스템 메모리(130), 및 시스템 메모리를 포함한, 다양한 시스템 구성요소들을 처리장치(120)로 결합하는 시스템 버스(121)를 포함한다. 시스템 버스(121)는 임의의 다양한 버스 구조를 사용하는 메모리 버스 또는 메모리 콘트롤러, 주변장치 버스, 및 로컬 버스를 포함한, 몇몇 형태의 버스 구조 중 임의의 것일 수 있다. 이에 제한되지는 않지만, 예컨대 그러한 구조들로는 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA) 버스, VESA(Video Electronics Standard Association) 버스, 및 Mezzanine 버스로 알려진 PCI(Peripheral Component Interconnect) 버스를 포함한다.
컴퓨터(110)는 통상 다양한 컴퓨터 판독가능한 매체를 포함한다. 컴퓨터 판독가능한 매체는 컴퓨터(110)에 의해 액세스 될 수 있는 임의의 이용가능한 매체일 수 있으며, 휘발성 및 비휘발성 매체, 소거가능 및 소거불가 매체 모두를 포함한다. 일예로서, 이에 제한되지는 않지만, 컴퓨터 판독가능한 매체는 컴퓨터 저장매체 및 통신매체를 포함할 수 있다. 컴퓨터 저장매체는 컴퓨터 판독가능한 명령어들, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등의 정보를 저장하기 위한 임의의 방법 또는 기술로 구현되는, 휘발성 및 비휘발성, 소거가능 및 소거불가 매체 모두를 포함한다. 컴퓨터 저장매체는 이에 제한되지는 않으나, RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD 또는 기타 광 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 원하 는 정보를 저장하는데 사용될 수 있으며 컴퓨터(110)에 의해 액세스 될 수 있는 임의의 다른 매체를 포함한다. 통신매체는 일반적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터 등을, 캐리어 웨이브 또는 기타 전송방식 등과 같은 변조된 데이터 신호 내에 포함하며, 임의의 정보운반매체를 포함한다. "변조된 데이터신호"라는 용어는, 그 신호의 하나 이상의 특성이 그 신호에 정보가 인코드 되도록 설정되고 변경되는 신호를 의미한다. 예로서, 이에 제한되지는 않지만, 통신매체는 유선 네트워크 또는 직접 유선형 연결선 등과 같은 유선 매체와 음향, RF, 적외선 및 기타 무선매체와 같은 무선매체를 포함한다. 상술한 임의의 것들의 조합들도 컴퓨터 판독가능한 매체의 범주 내에 포함되어야 한다.
시스템 메모리(130)는 ROM(131) 및 RAM(132)과 같은 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장매체를 포함한다. 시작(start-up) 할 때와 같이, 컴퓨터(110)내의 소자들간의 정보전송을 지원하는 기본적인 루틴을 포함하는 BIOS(133)는 통상적으로 ROM(131)에 저장된다. RAM(132)은 통상 처리장치(12)에 의해 현재 동작되거나, 및/또는 즉시 액세스 가능한 데이터 및/또는 프로그램 모듈들을 포함한다. 예로서, 이에 제한되지는 않지만, 도 1은 운영시스템(134), 어플리케이션 프로그램(135), 기타 프로그램 모듈(136), 및 프로그램 데이터(137)를 도시한다.
또한, 컴퓨터(110)는 기타의 소거가능/소거불가, 휘발성/비휘발성의 컴퓨터 저장매체를 포함한다. 예로서, 도 1은 소거불가, 비휘발성 자기 매체로 기입하거나 독출하는 하드디스크 드라이브(141), 소거가능, 비휘발성 자기 디스크(152)로 기입하거나 독출하는 자기 디스크 드라이브(151), 및 CD ROM 또는 기타 광매체와 같은, 소거가능, 비휘발성 광디스크(156)로 기입하거나 독출하는 광디스크 드라이브(155)를 나타낸다. 예시적인 동작환경에서 사용될 수 있는 기타의 소거가능/소거불가, 휘발성/비휘발성 컴퓨터 저장매체로는, 이에 제한되지 않으나, 자기테이프 카세트, 플래시 메모리카드, 디지털 만능(versatile) 디스크, 디지털 비디오 테이프, 고체(solid state) RAM, 고체 ROM 등을 포함한다. 하드디스크 드라이브(141)는 통상 인터페이스(140)와 같은 소거불가 메모리 인터페이스를 통해 시스템 버스(121)로 연결되며, 자기디스크 드라이브(151) 및 광디스크 드라이브(155)는 통상적으로 인터페이스(150)와 같은 소거가능 메모리 인터페이스에 의해 시스템 버스로 연결된다.
전술하고 도 1에 도시된 드라이브와 이와 관련된 컴퓨터 저장매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 및 기타 컴퓨터(110)의 데이터에 대한 저장공간을 제공한다. 도 1에서, 예컨대, 하드디스크 드라이브(141)는 운영시스템(144), 애플리케이션 프로그램(145), 기타 프로그램 모듈(146), 및 프로그램 데이터(147)를 저장하는 것으로 도시되었다. 유의할 것으로서, 이러한 구성요소들은 운영시스템(134), 애플리케이션 프로그램(135), 기타 프로그램 모듈(136), 및 프로그램 데이터(134)와 동일할 수도 있고, 상이할 수도 있다. 본 명세서에는, 운영시스템(144), 애플리케이션 프로그램(145), 기타 프로그램 모듈(146), 및 프로그램 데이터(147)가 적어도 그들과 서로 다른 복사본이라는 것을 나타내기 위해 서로 다른 참조번호를 주어졌다. 사용자는 키보드(162) 및 마우스, 트랙볼 또는 터치패 드 등의 포인팅 장치(161)와 같은 입력장치를 통해 컴퓨터(110)로 명령 및 정보를 입력할 수 있다. 다른 입력장치(도시 생략)로는 마이크로폰, 조이스틱, 게임패드, 위성 안테나(satellite dish), 스캐너 등을 포함할 수 있다. 이러한 입력 장치들과 다른 입력장치들은 통상적으로 시스템 버스(121)와 결합되는 사용자 입력 인터페이스(160)를 통해 처리장치(120)로 연결되며, 패러렐 포트, 게임포트, 또는 유니버셜 시리얼 버스(USB) 등의 기타 인터페이스 및 버스 구조에 의해 연결될 수도 있다. 모니터(191) 또는 기타 형태의 표시장치 또한 비디오 인터페이스(190)와 같은 인터페이스를 통해 시스템 버스(121)로 연결된다. 모니터뿐만 아니라, 컴퓨터는 스피커(197) 및 프린터(196)와 같은 다른 주변 출력장치도 포함할 수 있으며, 이는 출력 주변장치 인터페이스(195)를 통해 연결될 수 있다. 본 발명의 중요한 사항으로서, 일련의 영상(164)을 캡쳐할 수 있는 카메라(163)(디지털/전자 정지 또는 비디오 카메라, 또는 필름/사진 스캐너 등)가 개인 컴퓨터(110)의 입력장치로 포함될 수 있다. 또한, 하나의 카메라만 도시되었지만, 다수의 카메라들이 입력장치로 개인 컴퓨터(10)에 포함될 수 있다. 하나 이상의 카메라로부터의 영상(164)들은 적절한 카메라 인터페이스(165)를 통해 컴퓨터(110)로 입력된다. 이러한 인터페이스(165)는 시스템 버스(121)로 연결되어, 영상들이 RAM(132) 또는 컴퓨터(110)와 관련된 기타 데이터 저장장치 중 하나로 라우팅(routing)되고 저장될 수 있도록 된다. 그러나, 유의할 것으로서, 영상 데이터는 카메라(163)를 사용하지 않고도 위에서 언급한 컴퓨터 판독가능 매체중 임의의 것으로부터 컴퓨터(110)로 입력될 수도 있다.
컴퓨터(110)는 원격지 컴퓨터(180) 등과 같은 하나 이상의 원격 컴퓨터로의 논리적 연결을 사용하는 네트워크 환경에서 동작한다. 도 1에는 메모리 저장장치(181)만이 도시되었지만, 원격지 컴퓨터(180)는 개인 컴퓨터, 서버, 라우터, 네트워크 PC, 피어(peer)장치, 또는 기타의 공통 네트워크 노드일 수 있으며, 통상적으로 컴퓨터(110)와 관련하여 상술한 구성요소들 중 대다수 또는 전부를 포함한다. 도 1에 도시된 논리적 연결은 LAN(171) 및 WAN(173)을 포함하지만, 다른 네트워크를 포함할 수도 있다. 이러한 네트워크 환경은 사무실, 기업용 컴퓨터 네트워크, 인트라넷, 및 인터넷에서 흔한 것이다.
LAN 네트워크 환경에 사용되는 경우, 컴퓨터는 네트워크 인터페이스 또는 어댑터(170)를 통해 LAN(171)으로 연결된다. WAN 네트워크 환경에 사용되는 경우, 컴퓨터는 통상적으로 인터넷 등의 WAN(173)을 통한 통신을 설정하기 위한 모뎀 또는 기타 수단을 포함한다. 내장형 또는 외장형일 수 있는 모뎀(172)은 사용자 입력 인터페이스(160) 또는 다른 적절한 메카니즘을 통해 시스템 버스(121)로 연결될 수 있다. 네트워크 환경에서, 컴퓨터(110)와 관련하여 도시된 프로그램 모듈 또는 그들의 일부분들은 원격 메모리 저장장치에 저장될 수 있다. 예로서, 제한되지는 않지만, 도 1은 메모리 장치(181)에 상주하는 것으로 원격 애플리케이션 프로그램(185)을 도시하였다. 도시된 네트워크 연결은 예시적인 것이며, 컴퓨터간의 네트워크 연결을 설정하는 기타의 수단이 사용될 수 있음은 충분히 인식될 수 있을 것이다.
예시적인 동작환경이 설명되었지만, 본 설명의 나머지 부분들은 본 발명을 실시하는 프로그램 모듈에 대한 설명에 할애될 것이다.
2.0 실시간 화이트보드 스트리밍을 위한 시스템 및 장치
2.1 개 요
실시간 화이트보드 스트리밍 시스템 및 장치는, 일반적으로 서버 기반의 구성요소를 가지며, 네트워크 기반의 환경에 배치된 하나 이상의 원격 클라이언트를 가질 수 있다. 화이트보드의 개선된 라이브 비디오 또는 개선된 실시간 스냅샷 시퀀스는 원격 회의 참여자의 PC로 스트리밍되며, 반대로 화이트보드 콘텐츠 상에 주석을 기재하여 반송할 수 있을 뿐만 아니라, 회의 진행에 관하여 음성으로 코멘트할 수도 있다.
도 2에 도시된 바와 같이, 이러한 시스템의 전형적인 시나리오는 통상적인 회의실(202)과 같은 한 장소에서의 N 명의 사람들과, 각자 자신의 사무실 또는 기타 원격위치에 있는 M 명의 원격자(204a 내지 204m)들을 포함하는 브레인스토밍 회의와 관련되어 있는 것이다.
N 명의 사람들은, 화이트보드(206); 화이트보드 콘텐츠를 캡쳐하는 카메라(208); 회의 오디오를 캡쳐하는 마이크로폰(210); 회의 서버; 회의 서버(214)에 연결된 프로젝터, 텔레비전 또는 기타 디스플레이(212); 상기 마이크로폰 장치에 장착되는 것이 바람직한 확성기를 구비하는 회의실에 모인다. M 명의 개인들 각각은 자신의 사무실, 또는 데스크톱 컴퓨터 또는 노트북 컴퓨터(218); 스피커(도시 생략); 마이크로폰/헤드셋(220); 및 원격자의 컴퓨터를 회의서버로 연결하는 네트워크 연결장치를 구비하는 또는 다른 떨어진 지점(204a 내지 204m)에 착 석한다.
회의실(202)의 N 명의 사람들은 화이트보드에 판서함으로써 자신들의 생각들을 공유하는 협동 공간으로서 화이트보드(206)를 사용한다. 화이트보드 콘텐츠는 신속히 캡쳐되어, 개선된 화이트보드 콘텐츠를 원격자들의 컴퓨터(218a 내지 218m)로 전달함으로써 원격자들과 공유된다. 육성 토론 콘텐츠는 마이크로폰(210)으로 캡쳐되어, 바람직하게는 방향성 정보를 갖는 오디오가 원격자들로 보내진다.
원격자들은 회의실의 확성기(216)에서 재생되는 오디오를 통해 회의에 참여한다. 원격자들은 또한 캡쳐된 화이트보드 프레임에 주석을 기재하여 회의에 참여할 수 있으며, 주석이 기재된 화이트보드 프레임은 회의실과 다른 원격자의 컴퓨터(218a 내지 218m)의 디스플레이(212)에 나타난다. 비퍼(beeper), 부저, 또는 섬광(flashing) 디스플레이와 같은 시각적인 알림도구 등의 신호는, 회의참여자들에게 원격 참여자가 주석을 기재하고 있음을 알리는데 사용될 수 있다.
2.2 서버 기반의 실시간 화이트보드 스트리밍 시스템 및 방법
일반적으로, 도 3에 도시된 바와 같이, 실시간 화이트보드 스트리밍 시스템 및 방법은 기능적으로 4개의 주요 부분으로 구성된다. 1) 영상 시퀀스의 영상 셀들을 배경 셀, 전경 셀, 또는 자획 셀로 분류하는 분류절차(처리동작 302); 2) 전경 물체(사람과 같은) 및 펜의 자획이 아닌 화이트보드의 컬러를 연산하는, 동적인 화이트보드의 배경 초기화 및 갱신절차(처리동작 304); 3) 입력 비디오 시퀀스의 화이트보드 영역을 개선하는 효율적인 실시간 절차(처리동작 306); 및 4) 화이트보드 상에서 새롭게 나타나는 자획들을 추출하는 분석절차(처리동작 308). 영상 개 선절차의 출력은 개선된 화이트보드 영상 시퀀스(처리동작 310)인 반면, 자획 분석절차의 출력은 화이트보드 데이터의 스트리밍뿐이다 (처리동작 312).
더 자세하게는, 도 4에 도시된 바와 같이, 본 발명에 따른 시스템 및 방법은 처리동작 402에서와 같이, 처음에는 화이트보드의 영상 프레임에 관한 실시간 시퀀스로 구성된 라이브 화이트보드 입력을 획득한다. 이러한 비디오 또는 스냅샷 또는 사진의 시퀀스는 프레임 단위로 실시간으로 처리된다.
일련의 화이트보드 영상프레임들은 셀 기반의 움직임 검출 처리과정(404)으로 입력된다. 이러한 처리과정에서, 주어진 일련의 프레임 내의 각 영상 프레임은 셀들로 분할된다. 각각의 해당 셀 위치는 조명의 어떠한 변화라도 감지하도록 시간 전후로 비교된다(처리동작 406). 현저한 조명의 변화가 있다면, 이하에서 자세히 설명하는 바와 같은 화이트보드 컬러 매칭 처리동작이 수행된다(처리동작 408). 커다란 조명의 변화가 없다면, 비디오 프레임의 각 셀들은 배경, 화이트보드 전경, 또는 자획 셀들로 분류된다(처리동작 410). 셀 분류에 있어, 그 의도한 바는 화이트보드 콘텐츠의 자획들만이 화이트보드 상에서 보일 수 있도록 화이트보드의 일부분들을 가로막는 사람, 기타의 물체들의 영상 부분들을 필터링하여 없애는 것이다. 또한, 셀 분류는, 처리동작 414에 도시된 바와 같이, 표시되는 화이트보드의 앞에 서 있는 사람과 같은 전경 물체 및 화이트보드를 포함하는 개선된 라이브 비디오 또는 스냅샷 스트림인, 화이트보드 영상스트림을 생성하는데 사용된다. 스트림은 처리동작 412에 도시된 바와 같이 개선 절차를 통해 개선된다. 또 다른 데이터 스트림으로서, 화이트보드 데이터스트림 또한 생성되는데, 여기서는 자획처리(처리동 작 416)가 수행된 후에, 화이트보드 상의 자획들만이 전경 물체 없이 개선된 방법으로 표시된다(처리동작 418).
화이트보드 및 전경 물체들을 포함하는 개선된 영상을 표시하기 위해, 영상 개선이 처리동작 412에 도시된 바와 같이 수행된다. 영상 개선(처리동작 412)에 있어서, 화이트보드 컬러는 보다 균일하게 되며, 화이트보드 컨텐츠(화이트보드 상에 쓰여진 것)의 자획 채도가 증가되어 자획들을 더욱 선명하고 읽기 쉽도록 한다.
셀 분류의 또 다른 결과는, 처리동작 416에 도시된 바와 같이, 화이트보드로부터 자획들이 추가 또는 삭제되었는지를 판정하는 것이다. 이러한 처리동작에 있어서, 실시간 스트리밍 화이트보드 스트리밍 시스템 및 방법은 셀의 자획 콘텐츠가 증가 또는 감소되었는지 판정한다. 셀의 자획 콘텐츠의 변화가 있다면, 이러한 콘텐츠는 화이트보드 데이터스트림으로 출력된다(처리동작 418).
또한, 처리동작 420에 도시된 바와 같이, 셀 분류 후에는 본 발명의 시스템은 화이트보드 컬러모델이 갱신되어야 하는지 판정한다. 화이트보드 컬러모델 갱신처리에서는, 예컨대 태양을 지나는 구름 또는 화이트보드 상에 그림자를 드리우는 물체로 인한 조명 상태의 미소한 변화들로 인한 화이트보드 내의 점진적 변화들을 식별한다. 변화들이 식별되면, 화이트보드 컬러모델 데이터베이스(422), 즉 활용가능한 모든 화이트보드 컬러모델들에 대한 데이터베이스 내에서, 현재의 화이트보드 컬러모델이 갱신된다(처리동작 420).
전술한 바와 같이, 현저한 조명변화가 발견되면(처리동작 406), 본 발명에 따른 시스템 및 방법은 발견된 조명변화가 현재의 화이트보드 컬러모델에 나타나는 지를 판정한다(처리동작 408). 새로운 조명 상태가 화이트보드 컬러모델 데이터베이스 중의 어느 하나의 화이트보드 컬러모델에 해당한다면(처리동작 424), 이 모델이 추후 셀 분류에서 사용된다. 그러나, 컬러모델이 발견되지 않으면, 새로운 컬러모델이 초기화되고(처리동작 426), 그것이 화이트보드 컬러모델 데이터베이스에 추가된다.
본 발명에 따른 일반적인 시스템 및 방법이 설명되었으며, 다음 문단에서는 전술한 처리동작들의 자세한 사항들을 제공한다.
2.2.1 라이브 화이트보드 비디오 또는 스냅샷 시퀀스 입력
본 발명에 따른 시스템 및 방법은 실시간의 화이트보드 영상 프레임들의 시퀀스를 구성하는 일련의 스냅샷들 또는 라이브 화이트보드 비디오 입력을 초기에 획득한다. 이러한 비디오 또는 스냅샷의 연속은 실질적으로 실시간으로 프레임 단위로 처리된다. 샘플 비디오 시퀀스로부터 선택된 몇몇 프레임들이 도 5에 도시되었다. 시퀀스의 얼마나 많은 프레임들이 처리되는지는 회의서버(214) CPU의 이용가능성의 정도에 따라 다르다. CPU 활용가능성에 기초하여 전부는 아니지만, 몇몇 입력 프레임들이 후속하는 화이트보드 배경 컬러 처리를 위해 사용된다. 회의서버의 처리대역폭이 제한되는 경우, 전경 및 자획 계산의 실시간 처리 및 개선된 화이트보드 비디오스트림과 화이트보드 데이터스트림을 생성하는데 사용되는 개선 처리가 화이트보드 배경 계산보다 우선권을 갖는다.
2.2.2 셀기반의 움직임 검출 및 셀 분류
셀 분류에서는, 셀들을 1) 전경 셀; 2) 화이트보드 배경 셀; 또는 3) 화이트 보드에 판서된 자획 셀 중 어느 하나로 식별한다. 실시간 화이트보드 스트리밍 시스템 및 방법은 입력 영상 시퀀스로부터 쓰여지지 아니한 화이트보드 컬러를 연산한다. 이 절차에서는 대부분 화이트보드 앞의 장애물로 인하여, 화이트보드 전체가 어느 단일의 프레임 내에 보이지 않을 수 있다는 점에서 어려움이 있다. 따라서, 먼저 영상 프레임들의 부분들을 전경 또는 배경으로 분류함으로써 화이트보드 배경이 구성되어야 한다. 배경 부분들만이 화이트보드 배경컬러를 연산하는데 사용된다.
본 발명에 따른 시스템 및 방법의 실제 일 실시예에서는, 셀로 불리는, 16x16 픽셀의 영상 블록들에 대하여 배경/전경 결정이 수행된다. 일반적으로, 2개의 주된 발견(heuristics)에 기대여 셀 분류를 수행한다: 1) 카메라 및 화이트보드는 움직이지 않으므로(stationary), 화이트보드 배경 셀들은 시퀀스에 걸쳐 움직이지 않는다; 2) 때로는 화이트보드를 가로막은 전경 물체들이 있지만(예컨대, 화이트보드 앞에 선 사람), 통상적으로, 대다수의 셀들이 화이트보드 배경에 속한다.
따라서, 도 6에 도시된 본 발명의 일 실시예에서는, 영상 프레임 셀이 입력된다(처리동작 602). 이전 프레임들의 동일 셀들(예컨대, 동일 위치의 셀들)의 영상들에 대하여 입력된 셀의 상기 영상이 비교된다(처리동작 604). 매 프레임마다, N 개 (본 실시간 화이트보드 스트리밍 시스템 및 방법의 일 실시예에서는 4) 프레임 이상동안 움직이지 않았던 모든 셀들은 배경 후보들로 간주되어, 화이트보드 컬러모델 갱신모듈로 입력된다(처리동작 610). 셀 연령(cell age)이 연령 문턱치(age threshold)(일 실시예로 4)보다 크지 않다면, 처리동작 608에 도시된 바와 같이 그 셀은 전경 셀로 분류되며, 그 셀의 연령은 1로 리셋된다. 셀 컬러에서 현저한 차이가 있다면, 셀은 전경 셀로 분류된다(처리동작 610). 차이값 시험에서는, 셀 컬러의 Y, U, V 채널들이 화이트보드 컬러에서 그들의 대응부분들과의 차이가 각각 15, 5, 5 의 강도 레벨(intensity levels) 이내이어야 한다. 전경 셀들에 대하여, 이러한 셀들이 잘못 분류되었는지 확인하기 위해서, 셀들이 다른 전경 셀들과 연결되었는지 판정하는 부가적인 시험이 수행된다(처리동작 612). 일군의 전경 셀들이 분별되면(isolated), 그들에 대한 분류가 다시 시작되고 분류절차는 계속된다. 본 발명의 일 실시예에서, 분별이라는 정의는, 이웃하는 5x5 셀 이내에서, 6개 이하의 전경 셀들이 존재하는 것을 뜻한다. 위에서 언급한 시험에 의해, 문제의 셀이 이전에 전경 셀로 판정되지 않은 것이면, 처리동작 614에 나타낸 바와 같이, 셀이 윤곽선(edge)을 포함하는지 판정한다. 셀이 윤곽선을 포함하면, 자획 셀로 지정된다(처리동작 616). 셀이 윤곽선을 포함하지 않으면, 화이트보드 배경 셀로 분류된다(처리동작 618).
2.2.3 화이트보드 컬러 추정 및 화이트보드 컬러모델 갱신
화이트보드 컬러모델 갱신(처리동작 420)에서는 화이트보드 배경 컬러의 점진적 변화를 찾는다. 대부분의 일반적인 의미에서, 실시간 화이트보드 스트리밍 시스템 및 방법은 각 셀들의 평균 컬러를 판정함으로써 점진적 변화가 있는지 시험해 본다. 셀들의 평균컬러가 이전과 거의 동일하다면, 점진적 변화가 발생한 것으로 판정한다. 일 실시예의 시스템에서는 셀이 배경 셀인지 여부를 판정할 때와 동일한 시험을 그대로 적용한다. 그러한 점진적 변화가 발견되는 경우, 새로운 화이 트보드 컬러모델이 생성되는 대신, 기존 화이트보드 컬러모델이 갱신된다. 배경 셀 또는 자획 셀들에 대한 컬러모델만이 기존 화이트보드 컬러모델에 갱신된다. 전경 셀들은 갱신되지 않는다.
더욱 자세하게 설명드리자면, 도 7에 도시된 바와 같이, 본 발명의 일 실시예에서는 처리동작 702에서와 같이 화이트보드의 영상이 셀들로 분할된다. 셀 크기는 기대되는 화이트보드 상의 단일 문자의 크기의 예상치와 거의 동일해야 하는 것이 바람직하다(본 발명의 일 실시예에서는 16x16 픽셀). 잉크는 입사되는 빛을 흡수하므로, 화이트보드 픽셀들의 휘도는 자획 픽셀들보다 크다. 따라서, 셀 내의 화이트보드는 가장 높은 휘도를 갖는 컬러이다. 실제로는, 센서잡음에 의해 일어나는 오류를 줄이기 위해 상위 10%의 픽셀들의 컬러들이 평균화된다. 그러므로, 처리동작 706에 나타낸 바와 같이, 먼저 픽셀들(예컨대, 16x16=256)의 밝기를 순서정렬시키고, 상위 10% 값들의 평균값을 취함으로써 각 셀의 컬러가 연산된다. 그 결과로 생기는 셀 컬러들은 최소평균자승(least-media-square) 오류 알고리즘의 입력으로 사용되는데, 이 알고리즘들은 처리동작 708에 도시된 바와 같이, 상기 컬러들에 대하여 전체 평면을 조정하고(fits a global plane over the colors), 범위 바깥의(outlier) 컬러(전경 컬러)들을 포함하는 셀들을 제외시킨다. 잔여 셀들은 배경 셀들로 간주되며, 그러한 셀들의 컬러들은 화이트보드 배경을 갱신하는데 사용된다. 전경 물체들에 의해 가려지는 셀들에 의해 발생되는 빈자리(hole)들을 채우기 위해, 컬러들이 알려진 셀들이, 컬러를 모르는 이웃 셀들로 또한 전파되어 진다. 이러한 나머지 셀 컬러들은 첨부 A에 나타낸 컬러 추정 및 필터링 기술을 사 용하여 앞서 연산된 셀 컬러들과 통합된다.
화이트보드 컬러모델의 갱신을 수행하기 위해, 실시간 화이트보드 스트리밍 시스템 및 방법에서는, 더 큰 비율(예컨대, 90%) 원본 컬러모델을 사용하고, 더 작은 비율의 배경 또는 자획(예컨대 10%)의 새로운 컬러가 사용된다.
2.2.4 현저한 조명 변화
전술한 바와 같이, 현저한 조명변화들이 고려된다(처리동작 406). 예컨대, 회의실의 조명이 꺼지면, 화이트보드의 주어진 영상의 거의 모든 셀들이 변화될 것이다. 현저한 조명변화가 있다면, 셀 기반의 움직임 추출(처리동작 404)동작에서 대부분의 셀들이 변화되었음을 보고할 것이다(본 발명의 일 실시예에서는 현저한 조명변화를 나타내기 위해 셀의 95%가 문턱치로 사용된다). 다음으로, 화이트보드 배경이 리셋되고(reset), 새로운 컬러모델이 초기화되거나, 화이트보드 컬러모델 데이터베이스로부터 추출된다. 셀 분류 등의 절차가 그 다음으로 다시 시작된다.
2.2.5 영상 개선
백색 균형화(white balancing) 또는 컬러 개선의 목적은 입력 화이트보드 영상을 균일한 배경(주로 백색)상의 동일한 펜 자획을 갖는 영상으로 변화시키기 위함이다. 각 셀에 대하여, 컬러값은 Clight, 자획 펜 컬러는 Cpen, 화이트보드 배경컬러는 Cwb이다. 화이트보드는 물리적으로 균일하게 채색되도록 구성되므로, Cwb는 모든 픽셀애 대하여 일정하다고 가정할 수 있다. 그러므로, 입력 영상의 균일성이 부족하다는 것은 각 픽셀로의 입력광량이 다르기 때문이다. 따라서, 백색 균형화 또는 컬러 개선의 제 1 절차는 각 픽셀에 대하여 Clight를 추정하는 것이며, 그 결과는 도 7의 처리동작(702) 및 화이트보드 컬러 추정의 부분에서 앞서 설명한 바와 같이, 실제로 공백(black) 화이트보드의 영상이 된다.
일단 공백 화이트보드 컬러가 계산되면, 입력 비디오 시퀀스의 화이트보드 영역을 균일하게 백색으로 만드는데 사용될 수 있으며, 펜 자획의 컬러 또한 포화될(saturated) 수 있다. 도 8에 나타낸 바와 같이, 일단 공백 화이트보드의 영상이 연산되면(처리동작 802), 이하의 두번째 절차로서 입력영상의 컬러가 개선된다.
1. 배경을 균일하게 백색으로 만든다(처리동작 804). 각 셀에 대하여, 셀에서의 각 픽셀의 컬러를 조정하는데 연산된 화이트보드 컬러(입력광 Clight와 등가)가 사용된다:
Figure 112004007397127-pat00001
2. 영상 잡음을 감소시키고, 펜 자획의 채도를 증가시킨다. 각 픽셀의 각 컬러 채널의 값이 S-형 곡선에 따라 재편성(remapped)된다:
Figure 112004007397127-pat00002
. S-곡선의 기울기는 p에 의해 제어된다. 본 발명의 일 실시예에서, p는 0.75로 설정된다(처리동작 806)
2.2.6 자획 식별 및 추출
셀 블록레벨에서의 자획들이 또한 추출되어 화이트보드 데이터 스트림으로서 출력된다. 자획들은 다음의 특성을 갖는다: 1) 움직이지 않는다(stationary); 2) 몇 개의 윤곽선을 갖는다. 도 9에 나타낸 바와 같이, 윤곽선들을 식별하고 직선들 을 식별하기 위해서, 2개의 소벨(Sobel) 필터([-1 -2 -1; 0 0 0; 1 2 1] 및 [-1 0 1; -2 0 2; -1 0 1])가 입력되는 프레임 각각에 대하여 실행된다(처리동작 902 및 906). 제 1 소벨 필터는 수평 윤곽선들을 식별하도록 실행되며, 제 2 소벨 필터는 수직 윤곽선들을 식별하도록 실행된다. 이러한 처리로 입력 영상들에 존재하는 에지엘(edgel)들을 식별한다. 에지엘은 2개의 필터링된 영상들에서 해당 픽셀들의 절대값들의 합으로 정의된다. 각 셀에 있어서, N 개(본 발명의 일 실시예에서 4)의 프레임들 동안 움직이지 않고, 문턱치(본 발명의 일 실시예에서는 60)보다 큰 값의 에지엘을 가져야만 자획 셀로 간주된다. 처리동작 908에 나타낸 바와 같이, 이러한 자획 셀들의 에지엘들은 자획의 윤곽선들을 정의한다.
2.2.7 화이트보드 컬러모델 매칭
시스템이 시작되거나, 조명변화 이벤트가 검출되면, N개(예컨대 4개)의 프레임들이 획득되며, 위 기간동안 움직이지 않는 셀들의 컬러가, 데이터베이스내의 화이트보드 배경 영상들의 각 컬러와 비교된다. 움직이지 않는 셀들이 데이터베이스의 영상들 중 하나내의 대응하는 셀 컬러들과 모두 매칭되면(차이값 시험을 위해 YUV 컬러모델 및 15, 5, 5를 사용), 매치가 되는 것이고, 시스템은 매칭된 영상으로부터의 컬러들을 이용해 잔여 움직이는(non-stationary) 셀들을 초기화하도록 진행한다. 일단 배경 컬러 갱신절차가 안정화되면, 데이터베이스에 대해 매칭이 다시 수행된다. 매치가 없으면, 현재 컬러 영상이 데이터베이스에 추가된다.
2.3 클라이언트 기반의 실시간 화이트보드 스트리밍 시스템 및 방법
전술한 바와 같이, 회의실에서의 육성 토론은 마이크로폰에 의해 캡쳐되고, 방향성 정보를 갖는 것이 바람직한 오디오가 원격자에게로 보내진다. 개선된 화이트보드 영상스트림 및 화이트보드 데이터스트림은 전술한 바와 같이 원격 참여자에게로 보내진다. 원격 참여자는 실시간 데이터스트림 중, 둘 중 하나 또는 모두를 선택하여 수신할 수 있다.
원격 참여자는 회의실의 확성기 상에서 재생되는 오디오에 통해, 그리고 캡쳐된 화이트보드 프레임에 주석을 기재함으로써 회의에 참여한다. 원격 참여자의 주석은 예컨대 마우스 또는 기타 입력장치를 사용하여 텍스트를 추가하거나, 화이트보드 상에 판서된 항목에 동그라미를 치거나, 그림을 그리거나, 기타 표시를 하는 것으로 구성될 수 있다. 원격 참여자가 기재한 주석은 네트워크를 통해 어떠한 적절한 실시간 통신 프로토콜을 사용하여 회의 서버로 보내져 표시된다. 화이트보드 정보는 이미 상주하고 있으므로, 화이트보드의 전체 영상이 아닌 주석들만이 회의 서버로 보내질 필요가 있다. 이는 주석 데이터를 보내는데 필요한 네트워크 대역이 매우 적다는 점에서 장점을 갖는다.
2.3.1 별도의 디스플레이장치에의 주석
주석이 기재된 화이트보드 프레임은 회의실의 디스플레이에 표시된다. 이러한 디스플레이는 회의실에 실제 화이트보드와는 별개의 것이지만, 화이트보드의 콘텐츠와 원격 참여자의 주석을 포함하게 된다. 원격 참여자의 주석은 또한 다른 원격 참여자의 데스크톱 상에 표시된다. 부저 또는 스크린을 깜박거리는 등의 신호는, 회의 참여자와 원격 참여자로 하여금 어느 한 원격 참여자가 화이트보드 상에 기재한 주석에 주의를 기울이게 한다.
2.3.2 실제 화이트보드 상에 투영되는 주석
대안적인 실시예로서, 원격참여자의 주석은 회의실의 실제 물리적인 화이트보드 상에서 표시될 수 있다. 이는 원격 클라이언트의 주석을 프로젝터를 사용하여 실제 화이트보드 상으로 투영함으로써 이루어질 수 있다.
2.4 타블렛 PC를 사용한 주석
전술한 시나리오에서, 종래의 PC가 원격 참여자에 의해 사용된다. 그러나, 원격 참여자들은 대안적으로 타블렛 PC를 사용할 수 있다. Microsoft? 타블렛 PC는 사용자들이 키보드를 사용하지 않고 스타일러스 또는 디지털 펜을 감지하는 터치스크린 상에 자연스럽게 필기함으로써 메모할 수 있는, 완전히 완비된 개인용 컴퓨터용으로 설계되었다. 잉크 기술은 원격 참여자들이 공개적인 및/또는 사적인 주석을 기재하기 훨씬 쉽도록 만든다.
2.5 아카이브화(Archiving)
주석을 포함하는 전체 회의는 추후 다시 보기를 위해 아카이브화 될 수 있다. 화이트보드 및 주석은 시간-각인되며, 따라서 오디오와 동기된다. 따라서, 회의 참여자들은 쉬는 시간에 회의를 검토할 수 있다. 또한, 회의에 참여할 수 없는 사람들은 나중에 회의를 살펴 볼 수 있다.
본 발명은 네트워크 환경에서의 컴퓨팅 장치들로 화이트보드 콘텐츠를 스트리밍하는 시스템 및 방법으로서, 화이트보드의 개선된 영상을 네트워크를 통해 다수의 회의 참석자에게 제공함으로써, 물리적으로 떨어진 참석자들 사이에 효율적인 협동 공간을 구현할 수 있다.
이상과 같은 본 발명의 상세한 설명은, 예시와 설명을 목적으로 제공되었다. 본 발명의 상세한 설명에 모든 것이 완전히 포함된 것은 아니며, 개시된 구체적인 형태로 본 발명을 제한하고자 한 것은 아니다. 많은 수정 및 변경이 전술한 원리의 범위내에서 가능할 것이다.
첨부 A
화이트보드 컬러 추정
셀들이 전경 셀들로 분류되는 때에 발생하는 화이트보드 컬러의 빈자리를 채우기 위해, 이하의 절차가 이러한 빈자리를 채우기 위해 화이트보드 컬러를 추정하는데 사용된다. 절차는 두 가지의 관찰 지식들(observations)에 기초한다.
1) 화이트보드 컬러는 대부분 셀 사이에서 변화하지만, 급격하게 변화하지는 않는다. 화이트보드 컬러에는 평탄도(smoothness)와 연속성(continuity)이 있다.
2) 통상적으로 조명 상태는 짧은 시간에 걸쳐서 변화하지 않기 때문에, 전경 물체가 없다면, 화이트보드 컬러는 동일하게 유지되어야 한다.
전경은 변화하지만, 조명 상태가 일정하거나 또는 점진적으로 변화하는 연속적인 영상들로부터 화이트보드 컬러를 추정하는 것이 목적이다(하나의 조명이 켜지거나 꺼지는 경우와 같은 조명 상태가 갑자기 변화하는 경우는, 이미 2.2.4 절에서 변화를 검출하고 다수의 컬러모델을 사용하여 해결하였다). 일정하거나 점진적으로 변화하는 조명 상태이라는 가정이 의미하는 것은, 각 화이트보드 픽셀의 컬러는 시간상에서 한정된 범위 내에서만 변화할 수 있다는 것이며, 본 발명의 일 실시예에서, 이러한 변화는 제로평균 및 작은 표준편차를 갖는 랜덤 프로세스(random process)로 모델링 된다. 또한, 화이트보드의 반사율 특성은 이웃하는 픽셀들에서 동일한 것으로 가정되며, 이는 이웃하는 픽셀들 간의 화이트보드 컬러는 한정된 범위 내에서만 변화한다는 것을 의미하며, 본 발명의 일 실시예에서, 이러한 가정은 한 픽셀의 화이트보드 컬러가 이웃하는 픽셀들상에서 조정되도록 마르코프(Markov) 랜덤필드로 모델링 된다. 추정절차는 이하의 단계들로 구성된다:
1. 초기화
화이트보드 컬러는 초기화될 필요가 있다. 이는 몇 가지 방법으로 가능하다. 한가지 방법은 이웃 평탄도(neighboring smoothness) 제약조건을 부과하여 단지 하나의 영상으로부터 화이트보드 컬러를 추정하는 것이다. 각 픽셀에서의 컬러 추정치는 이러한 추정치의 정확도를 특성화하는 공분산 행렬(covariance matrix)과 상관된다.
2. 컬러 매칭
입력 영상이 주어지면, 각 픽셀에서 화이트보드의 컬러 기대치와 실제 관측되는 컬러가 비교된다. 이들이 매우 차이가 난다면, 관측되는 픽셀은 자획 또는 전경 물체의 일부이며, 그 픽셀의 컬러는 다음 단계에서 폐기된다; 그렇지 않다면, 그 픽셀의 컬러는 화이트보드 칼라의 관측치이며, 화이트보드 컬러를 갱신하는데 사용된다.
3. 컬러 갱신
입력 영상으로부터의 유효한 화이트보드 컬러 픽셀들은 확률적인 (probabilistic) 관점에서 화이트보드 컬러를 갱신하는데 사용된다. 각 픽셀에서 화이트보드 컬러가 얼마나 많이 수정되는가는 추정된 컬러에 대하여 현재 관측된 픽셀이 얼마나 신뢰할 수 있는가, 추정된 컬러에 대하여 현재 관측된 픽셀은 얼마나 다른가 및 이웃하는 픽셀들의 컬러와 관측된 컬러가 얼마나 다른가에 따라 변경된다. 각 픽셀에서의 컬러 추정치의 공분산 행렬도 이에 따라 갱신된다.
단계 2 및 단계 3은 각 입력 영상에 대하여 반복된다.
계산의 복잡성을 줄이기 위해, 그리고 화이트보드 컬러가 실제로 공간상에서 매우 천천히 변화하는 것을 고려하면, 화이트보드 영역을 작은 셀들의 집합으로 분할할 수 있으며, 각각의 픽셀이 아니라 각각의 셀이 화이트보드 컬러를 추정하는데 있어서 고려될 수 있다. 화이트보드 컬러를 추정하는 수학적 세부사항은 아래의 절에서 더욱 자세하게 설명된다.
A.1 목적
본 절차의 목적은 연속적인 영상들로부터 실시간으로 화이트보드 컬러를 동적으로 추정하는 것이다. 여기서, 조명은 시간에 걸쳐 거의 일정한 것으로 간주된다(조명이 급격히 변화하는 때는, 예컨대 하나의 조명이 꺼지는 경우는, 다수의 화이트보드 컬러모델들이 사용되어야 한다).
A.2 개념
도 10을 참조하면, 상태변수 xi,j는 각 셀(i,j)에서 추정될 화이트보드 컬러이다. 관측변수 zi.j는 영상으로부터 관측되는 각 셀(i,j)의 화이트보드의 컬러로서, 예컨대 히스토그램을 사용하여 연산될 수 있다.
A.3 문제 설명
가정:
ㆍ시간 t-1에서, 상태:
Figure 112004007397127-pat00003
, 공분산 행렬:
Figure 112004007397127-pat00004
ㆍ상태천이:
Figure 112004007397127-pat00005
, 즉, 랜덤변수
Figure 112004007397127-pat00006
을 갖는 상수(즉, 공분산 행렬
Figure 112004007397127-pat00007
을 갖고 0 에 중심조절된 정규/가우시안 분포);
ㆍ시간 t에서, 관측치:
Figure 112004007397127-pat00008
, 여기서 관측잡음은
Figure 112004007397127-pat00009
;
Figure 112004007397127-pat00010
은 공간적으로 매우 천천히 변화한다는 제약조건 하에서, t에서의 추정상태는
Figure 112004007397127-pat00011
이고 공분산 행렬은
Figure 112004007397127-pat00012
.
A.4 평탄도
4- 또는 8- 개의 이웃들(neighbors)을 사용하여 이하와 같이 평탄도를 모델링할 수 있다.
k∈[i-1, i+1] 및 l∈[j-1, j+1] 및 (k, l)≠(i,j) 에 대하여
Figure 112004007397127-pat00013
t에서의 상태 예측은 다음과 같이 주어진다.
Figure 112004007397127-pat00014
A.5 목적 함수
최소화하고자 하는 전체 에너지는 다음과 같이 주어진다.
Figure 112004007397127-pat00015
여기서, Ω는 이웃들의 수이다. 3개의 항은 각각 예측치, 관측치, 및 이웃들과의 차이값이다. 이러한 차이값 모두는 공분산 행렬로 정규화된 통계적 거리이다.
A.6 해
Figure 112004007397127-pat00016
에 관한 F 의 편미분(partial derivative) 함수를 0으로 설정하면 다음과 같다.
Figure 112004007397127-pat00017
여기서,
Figure 112004007397127-pat00018
은 이웃의 상태의 평균이다. 즉,
Figure 112004007397127-pat00019
이는 다음의 해로 주어진다.
Figure 112004007397127-pat00020
그러나, 오른쪽의
Figure 112004007397127-pat00021
는 미지수
Figure 112004007397127-pat00022
를 포함한다. 따라서, 이러한 상호의존 문제를 풀기 위해서는, 다음의 반복절차(iterative procedure)가 채용된다: 제 1 반복에 있어서, 예측치들의 평균은
Figure 112004007397127-pat00023
로서
Figure 112004007397127-pat00024
이 사용된다; 후속의 반복에서는, 전 단계의 반복에서의 추정치의 평균을 사용한다. 주목할 것으로서, 반복되는 과정에서 수정되는 것은, 오직
Figure 112004007397127-pat00025
이고 다른 모든 것은 캐시(cached)될 수 있으므로, 이러한 반복절차는 매우 효과적이다. 마찬가지로,
Figure 112004007397127-pat00026
의 공분산은 다음과 같이 주어진다
Figure 112004007397127-pat00027
여기서, I 는 단위행렬이고,
Figure 112004007397127-pat00028
이다.
상기 첫번째 반복에서의
Figure 112004007397127-pat00029
와 같이, 예측치의 평균,
Figure 112004007397127-pat00030
을 이용해 반복절차가 다시 사용된다.
A.7 실제적 고찰
구현에 있어서, 다음 사항들을 고려하여야 한다:
ㆍ관측 공분산
Figure 112004007397127-pat00031
: 센서 잡음과 결정의 불확실성(uncertainty)을 모두 관련이 있다. 결정의 불확실성은,
Figure 112004007397127-pat00032
가 화이트보드 컬러라고 우리가 얼마나 믿는가와 반비례이다. 이것이 만약 범위를 벗어나는 것(outlier)이라면,
Figure 112004007397127-pat00033
=∞ (매우 큰 값)으로 설정한다.
ㆍ상태천이 잡음
Figure 112004007397127-pat00034
및 그것의 공분산 행렬
Figure 112004007397127-pat00035
: 이는 램프 또는 태양광에 기인한 조명의 작은 변화를 기술하는데 사용된다(조명이 꺼지는 등의 큰 변화는 다수의 모델들을 사용하여 다루어져야 한다).
ㆍ평탄도 공분산 행렬
Figure 112009012496667-pat00036
; 이 값은 공분산
Figure 112009012496667-pat00037
의 현재 예측치와 이상적인 상황에서의 기대 편차와의 합보다 작아서는 안 된다. 각 컬러채널에서 기대편차가 5의 강도레벨이라면,
Figure 112009012496667-pat00038
을 사용할 수 있다.

Claims (53)

  1. 화이트보드 콘텐츠의 개선된 데이터 스트림을 생성하기 위한 컴퓨터구현(computer-implemented) 처리방법(process)에 있어서,
    화이트보드의 영상 프레임들의 시퀀스를 입력하는 단계;
    상기 화이트보드의 상기 영상 프레임들 각각을 셀들로 분할하는 단계;
    상기 영상들의 시퀀스내의 상기 셀들에서 현저한 조명변화가 있는지를 판정하는 단계;
    현저한 조명변화가 있다면, 화이트보드 컬러가 화이트보드 컬러모델 데이터베이스의 화이트보드 컬러를 반영하는지 판정하기 위해 화이트보드 컬러 매칭처리를 수행하는 단계 - 상기 화이트보드 컬러는 상기 화이트보드 배경 컬러를 정의하는데 사용됨-;
    현저한 조명변화가 없다면, 영상 프레임들의 각각의 셀들을 전경, 화이트보드 배경, 또는 화이트보드 상에 판서된 콘텐츠의 자획 셀들(stroke cells)로 분류하는 단계;
    상기 셀 분류를 사용하여 화이트보드 상의 자획들이 개선된 방법으로 표시되도록 영상 프레임들의 시퀀스를 개선하는 단계; 및
    상기 화이트보드의 개선된 영상 프레임들의 시퀀스를 데이터스트림으로 출력하는 단계
    를 포함하는 컴퓨터구현 처리방법.
  2. 제 1항에 있어서,
    상기 화이트보드 상의 자획들이 개선된 방법으로 표시되도록 상기 영상 프레임들의 시퀀스를 개선하는 상기 단계는,
    상기 영상 프레임들의 시퀀스에서 화이트보드 배경을 표시하는 셀들에서의 상기 화이트보드 배경 컬러를 더욱 균일하게 하는 단계;
    상기 영상 프레임들의 시퀀스내의 영상 잡음을 감소시키는 단계; 및
    화이트보드 콘텐츠의 자획 채도를 증가시켜 자획 셀들을 더욱 선명하고 읽기 쉽도록 만드는 단계
    를 포함하는 컴퓨터구현 처리방법.
  3. 제 1항에 있어서,
    상기 화이트보드의 개선된 영상 프레임들의 시퀀스를 데이터스트림으로 출력하는 상기 단계는,
    전경 셀들을 제외한 개선된 화이트보드 셀들 및 개선된 자획 셀들만을 사용하는 컴퓨터구현 처리방법.
  4. 제 1항에 있어서,
    상기 화이트보드의 개선된 영상 프레임들의 시퀀스를 데이터스트림으로 출력하는 상기 단계는,
    개선된 화이트보드 셀들, 개선된 자획 셀들 및 전경 셀들을 사용하는 것을 포함하는 컴퓨터구현 처리방법.
  5. 제 1항에 있어서,
    화이트보드 컬러 매칭처리하는 상기 단계는:
    새로운 조명 상태에서의 화이트보드 배경 셀들의 컬러가, 화이트보드 컬러모델 데이터베이스내의 화이트보드 컬러모델과 매칭하는지 판정하는 단계;
    상기 새로운 조명 상태에서의 화이트보드 배경 셀들의 컬러가, 상기 화이트보드 컬러모델 데이터베이스내의 화이트보드 배경 셀들의 컬러를 반영하는 화이트보드 컬러모델과 상응한다면, 후속하는 셀 분류에서 상기 화이트보드 컬러모델을 사용하는 단계; 및
    상기 새로운 조명 상태에서의 화이트보드 배경 셀의 컬러가 상기 화이트보드 컬러모델 데이터베이스에서 발견되지 않는다면, 상기 새로운 조명 상태에서 화이트보드의 화이트보드 배경 셀들의 컬러를 반영하는 새로운 화이트보드 컬러모델을 생성하는 단계를 포함하는 컴퓨터구현 처리방법.
  6. 제 5항에 있어서,
    상기 새로운 화이트보드 컬러모델을 상기 화이트보드 컬러모델 데이터베이스에 추가하는 단계
    를 더 구비하는 컴퓨터구현 처리방법.
  7. 제 1항에 있어서,
    자획들이 상기 화이트보드에 추가 또는 삭제되었는지 판정하는 단계
    를 더 구비하는 컴퓨터구현 처리방법.
  8. 제 7항에 있어서,
    자획들이 상기 화이트보드에 추가 또는 삭제되었는지 판정하는 상기 단계는
    상기 영상 프레임들의 시퀀스내의 해당 위치에 있는 셀들과 비교하여, 각 셀의 자획 컨텐츠가 증가하는지 감소하는지 판정하는 단계를 포함하는 컴퓨터구현 처리방법.
  9. 제 7항에 있어서,
    셀에 변화가 있다면, 전경 셀들을 제외하고 개선된 자획 셀들 및 개선된 화이트보드 배경 셀들만을 표시함으로써 상기 셀을 상기 개선된 영상들의 시퀀스로 출력하는 단계
    를 더 구비하는 컴퓨터구현 처리방법.
  10. 제 9항에 있어서,
    자획들이 추가되거나 삭제되었는지 판정될 때까지 상기 개선된 영상들의 시퀀스에서 개선된 화이트보드 및 개선된 자획 셀들이 출력되며,
    자획 콘텐츠에 변화가 발생하면, 추가되거나 삭제된 상기 자획들에 해당하는 개선된 자획 셀들이 출력되는 컴퓨터구현 처리방법.
  11. 제 1항에 있어서,
    상기 영상 프레임들의 셀들 각각을 전경, 화이트보드 배경, 또는 상기 화이트보드에 판서된 콘텐츠의 자획 셀들로 분류하는 상기 단계는,
    상기 영상들의 시퀀스의 영상 프레임내의 모든 영상프레임 셀들에 대하여,
    영상 프레임의 셀을 입력하는 단계;
    이전의 프레임들에서 해당 위치의 셀들에 대하여 상기 영상프레임의 셀을 비교하는 단계;
    상기 셀이 변화하지 않은 프레임들의 수에 기초한 셀 연령이 연령 문턱치(age threshold)보다 크지 않다면, 상기 셀을 전경 셀로 분류하는 단계;
    상기 셀 연령이 연령 문턱치보다 크다면, 셀 컬러에 현저한 차이가 있는지 판정하는 단계;
    셀 컬러에 현저한 차이가 없다면, 상기 셀을 전경 셀로 분류하는 단계;
    셀 컬러에 현저한 차이가 있다면, 상기 셀이 윤곽선을 포함하는지 판정하는 단계;
    상기 셀이 윤곽선을 포함하고 있다면, 상기 셀을 자획 셀로 분류하는 단계; 및
    상기 셀이 윤곽선을 포함하고 있지 않다면, 상기 셀을 화이트보드 배경 셀로 분류하는 단계
    를 포함하는 컴퓨터구현 처리방법.
  12. 제 11항에 있어서,
    전경 셀로 분류된 상기 셀이 전경 셀인지 입증하는(verifying) 단계를 더 구비하며,
    상기 입증하는 단계는:
    상기 전경 셀이 다른 전경 셀들과 연결되는지를 판정하는 단계; 및
    셀이 전경 셀로 판정되고, 다른 셀들과 연결되어 있지 않다면, 그 분류를 미정(unknown)으로 복귀시키는 단계를 포함하는 컴퓨터구현 처리방법.
  13. 제 11항에 있어서,
    셀 컬러에 현저한 차이가 있는지 판정하는 상기 단계는,
    상기 셀의 Y,U,V 채널들을 검사하는 단계;
    상기 셀 컬러의 Y,U,V 채널들이, 상기 화이트보드 컬러모델에서 해당하는 위치의 셀들과 각각 15, 5, 및 5의 강도 레벨 범위 이내에 있지 않으면, 셀 컬러에 현저한 차이가 있다고 특정하는 단계를 포함하는 컴퓨터구현 처리방법.
  14. 제 12항에 있어서,
    5x5 셀 크기의 이웃영역에서 6개 이하의 전경 셀들이 있다면, 전경 셀이 다 른 전경 셀들과 연결되지 않은 것인 컴퓨터구현 처리방법.
  15. 제 12항에 있어서,
    셀이 윤곽선을 포함하는지 판정하는 상기 단계는,
    각 프레임의 셀들에 대하여,
    상기 셀에서 수평 윤곽선들을 식별하기 위해 소벨(Sobel) 필터를 적용하여, 필터링된 제 1 소벨 영상을 획득하는 단계;
    상기 셀에서 수직 윤곽선들을 식별하기 위해 소벨 필터를 적용하여, 필터링된 제 2 소벨 영상을 획득하는 단계;
    각 프레임에 존재하는 에지엘들(edgels)의 수를 판정하는 단계 - 상기 에지엘은 상기 2개의 소벨 필터링된 영상들에서 해당 픽셀들의 절대값들의 합으로 정의됨 -;
    프레임(N 및 N+1)의 상기 셀의 전부의 픽셀이 동일한 경우, 연속하는 프레임(N)으로부터 프레임(N+1) 까지 정지이고,
    그 값이 소정의 문턱치보다 큰 에지엘 값을 갖는 N 개 프레임들에 걸쳐 정지인(stationary) 각 셀에 대하여,
    상기 셀을 자획 셀로 간주하는 단계를 포함하는 컴퓨터구현 처리방법.
  16. 제 15항에 있어서,
    모든 픽셀들의 평균 절대편차가 소정의 문턱치 미만이라면, 프레임(N 및 N+1)의 셀의 상기 모든 픽셀들이 동일한 컴퓨터구현 처리방법.
  17. 제 16항에 있어서,
    상기 소정의 문턱치는 강도 레벨의 관점으로부터 정의되는 컴퓨터구현 처리방법.
  18. 제 15항에 있어서,
    상기 자획 셀들의 상기 에지엘들은 자획의 윤곽선들을 정의하는 컴퓨터구현 처리방법.
  19. 제 1항에 있어서,
    상기 영상 프레임들의 셀들의 각각을 전경, 화이트보드 배경, 또는 화이트보드에 판서된 콘텐츠의 자획 셀들로 분류하는 상기 단계 후에, 화이트보드 배경 컬러모델이 갱신되어야 하는지 판정하는 단계
    를 더 구비하는 컴퓨터구현 처리방법.
  20. 제 19항에 있어서,
    화이트보드 배경 컬러모델이 갱신되어야 하는지 판정하는 상기 단계는,
    영상 프레임들의 이전의 시퀸스 중의 해당하는 셀들의 평균 컬러를 화이트보드의 현재 프레임까지 조사함으로써, 상기 화이트보드 컬러에 점진적 변화를 식별하는 단계; 및
    상기 화이트보드 컬러에 점진적 변화가 식별되면, 모든 활용가능한 화이트보드 컬러모델들로 구성된 화이트보드 컬러모델 데이터베이스내의 현재 화이트보드 컬러모델이 갱신되어야 하는지 판정하는 단계
    를 구비하는 컴퓨터구현 처리방법.
  21. 제 20항에 있어서,
    점진적 조명 변화가 발생했는지 판정하는 단계; 및
    화이트보드 배경 컬러를 갖는 자획 셀들 및 화이트보드 배경 셀들에 대하여 현재 화이트보드 배경 컬러모델을 갱신하는 단계를 더 구비하는 컴퓨터구현 처리방법.
  22. 제 21항에 있어서,
    상기 화이트보드 및 자획 셀들에 대하여 상기 화이트보드 컬러모델을 갱신하는 상기 단계는:
    상기 화이트보드의 영상을 셀들로 분할하는 단계;
    각 셀 내의 픽셀들을 각 휘도값에 따라 순서정렬(sorting)하는 단계; 및
    각 셀에서 가장 높은 휘도값을 그 셀의 최종 화이트보드 컬러로 할당하는 단계를 구비하는 컴퓨터구현 처리방법.
  23. 제 22항에 있어서,
    셀들의 컬러들을 필터링하기 위한 단계를 더 포함하고, 상기 필터링 단계는,
    최종 셀 컬러들을, 상기 컬러들 상에 전체 평면을 적합화(fitting)시켜, 전경 셀들인 셀들을 폐기하는 최소평균자승 오류절차를 실행하는 단계;
    남은 셀들을 화이트보드 배경 셀들로 지정하는 단계;
    상기 남은 화이트보드 배경 셀들을 사용하여 화이트보드 배경을 갱신하는 단계; 및
    전경 셀들인 셀들을 폐기함으로써 생성되는 화이트보드 컬러모델의 빈자리들(holes)을 화이트보드 배경 컬러들을 갖는 이웃하는 셀들로부터 알려진 컬러로 채우는 단계
    를 포함하는 컴퓨터구현 처리방법.
  24. 제 22항에 있어서,
    상기 셀 크기는 화이트보드상의 단일 문자의 예상 크기와 동일한 컴퓨터구현 처리방법.
  25. 제 21항에 있어서,
    화이트보드 및 자획 셀들에 대한 화이트보드 컬러모델을 갱신하는 상기 단계는,
    화이트보드 영상을 셀들로 분할하는 단계;
    각 셀의 픽셀들을 그 휘도값에 따라 순서정렬(sorting)하는 단계; 및
    각 셀의 휘도값들 중 상위 10% 값들의 평균치를 구하고, 이 값을 해당 셀의 최종 화이트보드 컬러로 할당하는 단계
    를 포함하는 컴퓨터구현 처리방법.
  26. 제 25항에 있어서,
    상기 셀 크기는 화이트보드 상의 단일 문자의 예상 크기와 동일한 것을 특징으로 하는 컴퓨터구현 처리방법.
  27. 제 21항에 있어서,
    화이트보드 배경 컬러를 갱신하는 상기 단계는,
    더 많은 비율의 최종 화이트보드 배경 컬러모델과, 더 적은 비율의 새로운 화이트보트 배경 컬러를 취하고, 이들을 합산하여 새로운 화이트보드 배경 컬러를 획득하는 단계를 포함하고,
    상기 더 많은 비율의 최종 화이트보드 배경 컬러모델은 90% 이고, 상기 더 적은 비율의 새로운 화이트보드 배경컬러는 10%인
    컴퓨터구현 처리방법.
  28. 삭제
  29. 제 1항에 있어서,
    상기 셀들에서 현저한 조명 변화가 있는지 판정하는 단계는:
    대다수의 셀들이 컬러변화를 보이는지 판정하고, 그렇다면 조명변화가 발생했음을 명시하는 단계를 포함하고,
    상기 대다수라 함은 상기 셀의 95%가 컬러변화를 보인다고 정의되는
    컴퓨터구현 처리방법.
  30. 삭제
  31. 화이트보드 데이터 콘텐츠를 스트리밍하는 시스템에 있어서,
    셀들로 분할된 화이트보드 영상들의 시퀀스 내의 각각의 셀을 자획 셀, 화이트보드 배경 셀, 또는 전경 셀로 분류하는 분류모듈;
    상기 셀들에서 화이트보드 배경 컬러의 컬러를 판정하기 위해 사용되는 동적 화이트보드 배경 및 초기화 모듈;
    화이트보드 배경, 전경, 및 자획 셀들을 포함하는 영상들을 개선하는 영상 개선 모듈; 및
    화이트보드 배경 및 자획 셀들을 사용하여 상기 화이트보드의 영상들을 생성하기 위하여 화이트보드 자획 데이터를 추가 및 삭제하는 모듈
    을 포함하는, 화이트보드 데이터 콘텐츠를 스트리밍하는 시스템.
  32. 제 31항에 있어서,
    화이트보드 영상 데이터를 스트리밍하는 모듈- 상기 화이트보드 영상데이터는 화이트보드 배경 셀들, 전경 셀들, 및 자획 셀들을 포함함 -
    을 더 구비하는, 화이트보드 데이터 콘텐츠를 스트리밍하는 시스템.
  33. 제 31항에 있어서,
    화이트보드 콘텐츠 데이터를 스트리밍하는 모듈- 상기 화이트보드 콘텐츠 데이터는 화이트보드 배경 셀들 및 자획 셀들을 포함함 -
    을 더 구비하는, 화이트보드 데이터 콘텐츠를 스트리밍하는 시스템.
  34. 제 31항에 있어서,
    화이트보드 콘텐츠 데이터를 분류하는 상기 모듈은,
    화이트보드의 영상들의 상기 시퀀스들 내의 모든 셀들에 대하여,
    영상 프레임 셀을 입력하는 서브 모듈;
    이전 프레임들과 동일 위치에 있는 상기 셀들의 영상과 상기 영상 프레임 셀을 비교하는 서브 모듈;
    셀 연령이 연령 문턱치보다 크지 않다면, 상기 셀을 전경 셀로 분류하는 서브 모듈;
    N 프레임들 이상 동안 정지하고 있던 모든 셀들을 배경 후보들로 지정하는 서브 모듈;
    셀 컬러에 현저한 차이가 있는지 판정하고, 상기 셀 컬러에 현저한 편차가 있다면, 상기 셀을 전경 셀로 분류하는 서브 모듈;
    전경 셀로 분류된 셀이 다른 전경 셀들과 연결되는지 판정하는 서브 모듈;
    셀이 전경 셀로 분류되고 다른 셀들과 연결되지 않았다면, 해당 분류를 미정으로 복귀시키는 서브 모듈;
    상기 셀이 윤곽선을 포함하는지 판정하는 서브 모듈;
    상기 셀이 윤곽선을 포함하면 상기 셀을 자획 셀로 분류하는 서브 모듈; 및
    상기 셀이 윤곽선을 포함하지 않으면, 상기 셀을 화이트보드 배경 셀로 분류하는 서브 모듈을
    을 포함하는, 화이트보드 데이터 콘텐츠를 스트리밍하는 시스템.
  35. 제 31항에 있어서,
    화이트보드의 비디오 스트림에 녹화된 영상들 전부가 아니라, 일부가 상기 영상들의 시퀀스를 생성하는데 사용되는, 화이트보드 데이터 콘텐츠를 스트리밍하는 시스템.
  36. 제 31항에 있어서,
    화이트보드의 비디오 스트림에 녹화된 모든 영상들 모두가 상기 영상들의 시퀀스를 생성하는데 사용되는, 화이트보드 데이터 콘텐츠를 스트리밍하는 시스템.
  37. 화이트보드의 비디오 스트림을 전송하는 방법을 컴퓨터로 하여금 컴퓨터에서 수행하도록 하는 프로그램을 저장하는 컴퓨터 판독가능 기록 매체에 있어서,
    상기 방법은,
    화이트보드의 영상 프레임들의 시퀀스를 입력하는 단계;
    상기 화이트보드의 상기 영상 프레임들 각각을 셀들로 분할하는 단계;
    상기 영상들의 시퀀스내의 상기 셀들에서 현저한 조명 변화가 있는지 판정하는 단계;
    현저한 조명 변화가 있다면, 상기 화이트보드의 컬러를 판정하기 위한 화이트보드 컬러매칭 처리를 수행하는 단계;
    현저한 조명변화가 없다면, 상기 영상 프레임들의 셀들 각각을 전경, 화이트보드 배경, 또는 상기 화이트보드 상에 판서된 콘텐츠의 자획 셀들로 분류하는 단계; 및
    상기 화이트보드 상의 자획들만이 상기 셀 분류를 사용하여 개선된 방식으로 표시되도록 상기 영상 프레임들의 시퀀스를 개선하는 단계
    를 포함하는 컴퓨터 판독가능 기록 매체.
  38. 제 37항에 있어서,
    상기 방법은 상기 화이트보드 배경 및 자획 셀들만을 사용하여 상기 개선된 영상들의 시퀀스를 출력하는 단계를 더 포함하는, 컴퓨터 판독가능 기록 매체.
  39. 제 37항에 있어서,
    상기 방법은 상기 화이트보드 배경, 전경 셀들 및 자획 셀들만을 사용하여 상기 개선된 영상들의 시퀀스를 출력하는 단계를 더 포함하는, 컴퓨터 판독가능 기록 매체.
  40. 개선된 화이트보드 영상들의 비디오 스트림을 전송하는 시스템에 있어서,
    송신기(sender)를 포함하고, 상기 송신기는
    캡쳐된 화이트보드 영상들의 시퀀스 및 상기 캡쳐된 화이트보드 영상들의 시퀀스와 동기된 오디오를 입력하고, 상기 영상들 각각을 셀들로 분할하는 입력모듈;
    화이트보드 영상 데이터를 자획 셀들, 화이트보드 배경 셀들, 또는 전경 셀들로 분류하는 분류모듈;
    동적인 화이트보드 배경 및 초기화 모듈;
    상기 자획 셀들 내의 자획들을 개선하고, 화이트보드 배경 셀 컬러를 더욱 균일하게 하는 영상 개선 모듈;
    화이트보드 자획 데이터를 추가 및 삭제하는 모듈; 및
    상기 전경 셀들, 상기 화이트보드 배경 셀들, 및 상기 자획 셀들을 사용하고 전경 물체들을 포함한 개선된 화이트보드 영상들의 제 1 데이터 스트림과, 전경 셀들을 제외한 상기 자획 셀들 및 상기 화이트보드 배경 셀들을 사용하고 전경 물체들을 포함하지 않는 개선된 화이트보드 영상들의 제 2 데이터 스트림을 네트워크를 통해 수신기들에게 전송하는 전송 모듈
    을 포함하는, 개선된 화이트보드 영상들의 비디오 스트림을 전송하는 시스템.
  41. 제 40항에 있어서,
    상기 시스템은 수신기를 더 포함하고, 상기 수신기는,
    상기 네트워크를 통해 상기 송신기로부터 보내진 상기 개선된 화이트보드 영상들 및 동기화된 오디오를 수신하는 수신 모듈;
    상기 동기화된 오디오를 재생하는 스피커 모듈; 및
    상기 개선된 화이트보드 영상들을 상기 수신기에서 표시하는 디스플레이 모듈
    을 포함하는, 개선된 화이트보드 영상들의 비디오 스트림을 전송하는 시스템.
  42. 제 41항에 있어서,
    상기 수신기는, 상기 제 1 데이터 스트림 또는 상기 제 2 데이터 스트림 중 어느 것을 상기 수신기가 상기 디스플레이 모듈 상에서 디스플레이 하고자 하는지를 선택하는 모듈을 더 포함하는, 개선된 화이트보드 영상들의 비디오 스트림을 전송하는 시스템.
  43. 제 41항에 있어서,
    상기 수신기는, 상기 화이트보드 데이터 스트림에 관한 주석들을 상기 송신기(sender)로 되돌려 보내는 모듈을 더 포함하는 것을 특징으로 하는, 개선된 화이트보드 영상들의 비디오 스트림을 전송하는 시스템.
  44. 제 43항에 있어서,
    상기 송신기(sender)는, 상기 주석들을 상기 화이트보드 상에 프로젝터(projector)를 사용해 투영시킴으로써 상기 화이트보드 상에 상기 주석들을 중첩시켜, 상기 수신기로부터 보내진 상기 주석들을 상기 화이트보드 상에 표시하는, 개선된 화이트보드 영상들의 비디오 스트림을 전송하는 시스템.
  45. 제 43항에 있어서,
    상기 송신기는, 상기 화이트보드 영상 및 상기 주석들 모두가 표시되는 별도의 디스플레이 상에서, 상기 주석들을 상기 화이트보드 위에 중첩시킴으로써 상기 주석들을 상기 화이트보드 위에 표시하는, 개선된 화이트보드 영상들의 비디오 스트림을 전송하는 시스템.
  46. 제 40항에 있어서,
    상기 송신기는, 추후의 다시보기 또는 전송을 위해서 상기 제 1 및 제 2 데이터 스트림들을 아카이브화하는(archiving) 모듈을 더 포함하는, 개선된 화이트보드 영상들의 비디오 스트림을 전송하는 시스템.
  47. 제 40항에 있어서,
    상기 동적인 화이트보드 배경 추정 및 초기화 모듈은 화이트보드 컬러를 추정함에 있어서,
    제 1 입력 영상에 대하여,
    각 픽셀에 대한 화이트보드 배경 컬러를 초기화하고, 각 픽셀을 상기 각 픽셀 컬러의 정확도를 특징짓는 공분산 추정값과 관련시키고(associating), 상기 초기화된 화이트보드 컬러를 추정된 화이트보드 컬러로 지정하고;
    입력 영상이 주어지면, 상기 화이트보드의 추정된 컬러와 상기 입력 영상에서 관측된 실제 컬러를 각 픽셀마다 비교하여,
    상기 추정된 컬러와 상기 관측된 컬러가 상이하다면, 관측된 픽셀은 자획 또는 전경 물체 중의 일부분이며, 해당 픽셀의 컬러는 폐기되며;
    그렇지 않다면, 그 픽셀의 해당 컬러는 화이트보드 컬러를 갱신하는데 사용될 화이트보드 컬러의 관측치이며;
    상기 추정된 컬러에 대하여 현재 관측된 픽셀이 얼마나 신뢰할 수 있는지, 상기 추정된 컬러와 현재 관측된 픽셀이 얼마나 다른지 및 상기 픽셀의 관측된 컬러가 이웃하는 픽셀들의 컬러들과 얼마나 다른지에 기초하여 각 픽셀이 수정되는, 폐기되지 않은 픽셀들의 컬러를 확률적인 방식(probabilistic framework)으로 갱신
    함으로써 화이트보드 컬러를 추정하는, 개선된 화이트보드 영상들의 비디오 스트림을 전송하는 시스템.
  48. 제 47항에 있어서,
    각 픽셀에서의 상기 컬러 추정치의 공분산 행렬은, 상기 픽셀 컬러들이 갱신될 때 또한 갱신되는, 개선된 화이트보드 영상들의 비디오 스트림을 전송하는 시스템.
  49. 제 47항에 있어서,
    상기 동적인 화이트보드 배경 추정 및 초기화 모듈은 화이트보드 컬러를 추정함에 있어서,
    상기 제 1 입력 영상이후에 후속하여 입력되는 영상들에 대하여,
    상기 갱신된 화이트보드의 추정된 컬러와 상기 입력 영상에서 실제 관측된 컬러를 각 픽셀마다 비교하고,
    상기 갱신된 추정된 컬러와 상기 관측된 컬러가 상이하다면, 관측된 픽셀은 자획 또는 전경 물체의 일부이고, 해당 픽셀의 컬러는 폐기되며;
    그렇지 않다면, 그 픽셀의 해당 컬러는 상기 화이트보드 컬러를 갱신하는데 사용될 상기 화이트보드 컬러의 관측치이며;
    상기 추정된 컬러에 대하여 현재 관측된 픽셀이 얼마나 신뢰할 수 있는지, 상기 추정된 컬러와 현재 관측된 픽셀이 얼마나 다른지 및 상기 픽셀의 관측된 컬러가 이웃하는 픽셀들의 컬러들과 얼마나 다른지에 기초하여 각 픽셀이 수정되는, 폐기되지 않은 픽셀들의 컬러를 확률적인 방식으로 갱신
    함으로써 화이트보드 컬러를 추정하는, 개선된 화이트보드 영상들의 비디오 스트림을 전송하는 시스템.
  50. 제 40항에 있어서,
    상기 동적인 화이트보드 배경 추정 및 초기화 모듈은 화이트보드 컬러를 추정함에 있어서,
    제 1 입력 영상에 대하여
    화이트보드를 셀들로 분할하고;
    각 셀에 대하여 화이트보드 배경 컬러를 초기화하고, 상기 셀 컬러의 정확도를 특징짓는 공분산 추정값과 각 셀을 관련시키고, 상기 초기화된 화이트보드 컬러를 추정된 화이트보드 컬러로 지정하고;
    입력 영상이 주어지면, 상기 화이트보드의 추정된 컬러와 상기 입력 영상에서 실제 관측된 컬러를 각 셀마다 비교하여,
    추정된 컬러와 관측된 컬러가 상이하면, 관측된 셀이 자획 또는 배경 물체 중의 일부분이고, 해당 셀의 컬러는 폐기되며;
    그렇지 않으면, 그 셀의 해당 컬러는 상기 화이트보드 컬러를 갱신하는데 사용될 화이트보드 컬러의 관측치이며;
    상기 추정된 컬러에 대하여 현재 관측된 셀이 얼마나 신뢰할 수 있는지, 상기 추정된 컬러와 현재 관측된 셀이 얼마나 다른지 및 상기 셀의 관측된 컬러가 이웃하는 셀들의 컬러들과 얼마나 다른지에 기초하여 각 셀이 수정되는, 폐기되지 않은 셀들의 컬러를 확률적인 방식으로 갱신
    함으로써 화이트보드 컬러를 추정하는, 개선된 화이트보드 영상들의 비디오 스트림을 전송하는 시스템.
  51. 제 50항에 있어서,
    각 셀에서의 상기 컬러 추정치의 공분산 행렬은, 상기 셀 컬러들이 갱신될 때 또한 갱신되는, 개선된 화이트보드 영상들의 비디오 스트림을 전송하는 시스템.
  52. 제 50항에 있어서,
    상기 동적인 화이트보드 배경 추정 및 초기화 모듈은 화이트보드 컬러를 추정함에 있어서,
    상기 제 1 입력 영상이후에 후속하여 입력되는 영상들에 대하여,
    상기 갱신된 화이트보드의 추정된 컬러와 상기 입력 영상에서 실제 관측된 컬러를 각 셀마다 비교하고,
    상기 갱신된 추정된 컬러와 상기 관측된 컬러가 상이하다면, 상기 관측된 셀은 자획 또는 전경 물체의 일부이고, 해당 셀의 컬러는 폐기되며;
    그렇지 않다면, 그 셀의 해당 컬러는 상기 화이트보드 컬러를 갱신하는데 사용될 상기 화이트보드 컬러의 관측치이며;
    상기 추정된 컬러에 대하여 현재 관측된 셀이 얼마나 신뢰할 수 있는지, 상기 추정된 컬러와 현재 관측된 셀이 얼마나 다른지 및 상기 셀의 관측된 컬러가 이웃하는 셀들의 컬러들과 얼마나 다른지에 기초하여 각 셀이 수정되는, 폐기되지 않은 셀들의 컬러를 확률적인 방식으로 갱신
    함으로써 화이트보드 컬러를 추정하는, 개선된 화이트보드 영상들의 비디오 스트림을 전송하는 시스템.
  53. 영상들의 시퀀스로부터 실시간으로 화이트보드 컬러를 동적으로 추정하는, 컴퓨터구현 처리방법에 있어서,
    상태변수(xi,j)를 추정되어야 할 각 셀(i,j)에서의 화이트보드의 컬러로서 정의하고, 관측변수(zi,j)를 영상으로부터 관측되는 각 셀(i,j)에서의 화이트보드의 컬러로서 정의하는 단계; 및
    각 셀의 컬러를
    Figure 112009012496667-pat00039
    로서, 계산하는 단계 -
    여기서, 제 1 반복(iteration)에서는
    Figure 112009012496667-pat00061
    로서 예측치의 평균,
    Figure 112009012496667-pat00041
    이 사용되며, Ω은 이웃하는 셀들의 수이고, k∈[i-1, i+1], l∈[j-1, j+1] 및 (k, l)≠(i,j)이며, 후속하는 반복에서는, 이전의 반복으로부터의 추정치의 평균이 사용되며;
    Figure 112009012496667-pat00042
    의 공분산은
    Figure 112009012496667-pat00043
    로 주어지며, 여기서, I 는 단위행렬,
    Figure 112009012496667-pat00044
    , 상기 제 1 반복에서
    Figure 112009012496667-pat00062
    로서 예측치의 평균
    Figure 112009012496667-pat00046
    이 사용되며, 관측치 공분산은
    Figure 112009012496667-pat00047
    이며, 평탄도 공분산 행렬은
    Figure 112009012496667-pat00048
    이며, 상태천이 잡음은
    Figure 112009012496667-pat00049
    이며, 상태천이 잡음의 공분산 행렬은
    Figure 112009012496667-pat00050
    임-
    를 포함하는, 컴퓨터구현 처리방법.
KR1020040012027A 2003-02-24 2004-02-23 화이트보드 콘텐츠의 개선된 데이터 스트림 생성용 컴퓨터구현 처리방법, 시스템 및 컴퓨터 판독가능 기록 매체 KR100995218B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US44968303P 2003-02-24 2003-02-24
US60/449,683 2003-02-24
US10/463,068 2003-06-17
US10/463,068 US7224847B2 (en) 2003-02-24 2003-06-17 System and method for real-time whiteboard streaming

Publications (2)

Publication Number Publication Date
KR20040076216A KR20040076216A (ko) 2004-08-31
KR100995218B1 true KR100995218B1 (ko) 2010-11-17

Family

ID=32830034

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040012027A KR100995218B1 (ko) 2003-02-24 2004-02-23 화이트보드 콘텐츠의 개선된 데이터 스트림 생성용 컴퓨터구현 처리방법, 시스템 및 컴퓨터 판독가능 기록 매체

Country Status (5)

Country Link
US (1) US7224847B2 (ko)
EP (1) EP1460851A3 (ko)
JP (1) JP4482348B2 (ko)
KR (1) KR100995218B1 (ko)
CN (1) CN1324444C (ko)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7684624B2 (en) * 2003-03-03 2010-03-23 Smart Technologies Ulc System and method for capturing images of a target area on which information is recorded
JP4214942B2 (ja) * 2004-04-13 2009-01-28 セイコーエプソン株式会社 プロジェクタ
US7827139B2 (en) * 2004-04-15 2010-11-02 Citrix Systems, Inc. Methods and apparatus for sharing graphical screen data in a bandwidth-adaptive manner
US7680885B2 (en) * 2004-04-15 2010-03-16 Citrix Systems, Inc. Methods and apparatus for synchronization of data set representations in a bandwidth-adaptive manner
US8738614B2 (en) * 2004-04-23 2014-05-27 Qualcomm Incorporated Methods and apparatus for providing hierarchical content flow in a data network
JP2006162692A (ja) * 2004-12-02 2006-06-22 Hosei Univ 講義コンテンツ自動作成システム
US20060161471A1 (en) * 2005-01-19 2006-07-20 Microsoft Corporation System and method for multi-dimensional average-weighted banding status and scoring
US8443040B2 (en) * 2005-05-26 2013-05-14 Citrix Systems Inc. Method and system for synchronizing presentation of a dynamic data set to a plurality of nodes
JP4756914B2 (ja) * 2005-05-30 2011-08-24 キヤノン株式会社 遠隔協調作業支援システム及びその制御方法
US20070005699A1 (en) * 2005-06-29 2007-01-04 Eric Yuan Methods and apparatuses for recording a collaboration session
US7945621B2 (en) * 2005-06-29 2011-05-17 Webex Communications, Inc. Methods and apparatuses for recording and viewing a collaboration session
US20070156680A1 (en) * 2005-12-21 2007-07-05 Microsoft Corporation Disconnected authoring of business definitions
US8261181B2 (en) * 2006-03-30 2012-09-04 Microsoft Corporation Multidimensional metrics-based annotation
US8190992B2 (en) * 2006-04-21 2012-05-29 Microsoft Corporation Grouping and display of logically defined reports
US8761734B2 (en) * 2006-05-25 2014-06-24 Sony Corporation Buffering streaming content
JP5200341B2 (ja) * 2006-06-28 2013-06-05 富士ゼロックス株式会社 遠隔指示システム及び遠隔指示方法
JP5092459B2 (ja) * 2006-07-18 2012-12-05 富士ゼロックス株式会社 遠隔指示システム及び遠隔指示システム用のプログラム
US20080120672A1 (en) * 2006-11-21 2008-05-22 Francesco Caggioni Methods and Apparatus for Weighted Multicasting of Data Streams
US8243022B2 (en) * 2006-11-27 2012-08-14 Microsoft Corporation Federated virtual graffiti
US20080183467A1 (en) * 2007-01-25 2008-07-31 Yuan Eric Zheng Methods and apparatuses for recording an audio conference
US9058307B2 (en) 2007-01-26 2015-06-16 Microsoft Technology Licensing, Llc Presentation generation using scorecard elements
US8321805B2 (en) 2007-01-30 2012-11-27 Microsoft Corporation Service architecture based metric views
US8125510B2 (en) * 2007-01-30 2012-02-28 Ankur Agarwal Remote workspace sharing
US8495663B2 (en) 2007-02-02 2013-07-23 Microsoft Corporation Real time collaboration using embedded data visualizations
US20090013044A1 (en) * 2007-07-05 2009-01-08 Microsoft Corporation Techniques for managing annotation transformations for context changes
KR101432812B1 (ko) * 2007-07-31 2014-08-26 삼성전자주식회사 이동통신 단말기의 디스플레이 화면에서 아이콘의 좌표를결정하는 좌표결정장치 및 좌표결정방법
US8099662B2 (en) * 2008-01-17 2012-01-17 Seiko Epson Corporation Efficient image annotation display and transmission
US9300912B2 (en) * 2008-03-28 2016-03-29 Microsoft Technology Licensing, Llc Software based whiteboard capture solution for conference room meetings
US20090309853A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Electronic whiteboard system and assembly with optical detection elements
US8275197B2 (en) 2008-06-14 2012-09-25 Microsoft Corporation Techniques to manage a whiteboard for multimedia conference events
US9400597B2 (en) * 2008-07-23 2016-07-26 Microsoft Technology Licensing, Llc Presenting dynamic grids
US8751921B2 (en) * 2008-07-24 2014-06-10 Microsoft Corporation Presenting annotations in hierarchical manner
US8639032B1 (en) * 2008-08-29 2014-01-28 Freedom Scientific, Inc. Whiteboard archiving and presentation method
US8924862B1 (en) 2008-09-05 2014-12-30 Cisco Technology, Inc. Optimizing desktop sharing for wireless clients during networked collaboration
US8131828B2 (en) * 2008-10-03 2012-03-06 Cisco Technology, Inc. Selectively joining clients to meeting servers
JP5213627B2 (ja) 2008-10-07 2013-06-19 キヤノン株式会社 画像処理装置及び画像処理方法
US8798252B2 (en) 2009-03-24 2014-08-05 Microsoft Corporation Automatic utilization of resources in a realtime conference
US7966370B1 (en) * 2009-08-26 2011-06-21 Adobe Systems Incorporated Templating and provisioning of collaborative facilities for a data-agnostic collaboration service
WO2011044677A1 (en) * 2009-10-15 2011-04-21 Smart Technologies Ulc Method and apparatus for drawing and erasing calligraphic ink objects on a display surface
WO2012012555A1 (en) * 2010-07-20 2012-01-26 SET Corporation Methods and systems for audience digital monitoring
US8773464B2 (en) * 2010-09-15 2014-07-08 Sharp Laboratories Of America, Inc. Methods and systems for collaborative-writing-surface image formation
JP2013026878A (ja) 2011-07-22 2013-02-04 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US10965480B2 (en) 2011-09-14 2021-03-30 Barco N.V. Electronic tool and methods for recording a meeting
CN109348160B (zh) * 2011-09-14 2021-04-30 巴科股份有限公司 用于会议的电子工具和方法
US9083769B2 (en) 2011-09-14 2015-07-14 Barco N.V. Electronic tool and methods for meetings
US8756348B2 (en) 2011-09-14 2014-06-17 Barco N.V. Electronic tool and methods for meetings
US10762002B2 (en) 2011-09-14 2020-09-01 Barco N.V. Electronic tool and methods with audio for meetings
US11258676B2 (en) 2011-09-14 2022-02-22 Barco N.V. Electronic tool and methods for meetings
US9948988B2 (en) 2011-10-04 2018-04-17 Ricoh Company, Ltd. Meeting system that interconnects group and personal devices across a network
EP2579588B1 (en) * 2011-10-04 2019-12-04 Ricoh Company, Ltd. Collaborative meeting systems that enable parallel multi-user input to mark up screens
US9171384B2 (en) * 2011-11-08 2015-10-27 Qualcomm Incorporated Hands-free augmented reality for wireless communication devices
WO2013121455A1 (ja) * 2012-02-13 2013-08-22 日立コンシューマエレクトロニクス株式会社 プロジェクタ、図形入力・表示装置、携帯端末およびプログラム。
US9591149B2 (en) 2012-04-30 2017-03-07 Qualcomm Incorporated Generation of a combined image of a presentation surface
CN103475846B (zh) * 2012-06-06 2018-09-04 腾讯科技（深圳）有限公司 一种视频通讯的方法及用于视频通讯的终端、服务器
JP5306528B1 (ja) * 2012-09-19 2013-10-02 株式会社東芝 電子機器および手書き文書処理方法
US8805068B2 (en) 2012-12-13 2014-08-12 Microsoft Corporation Automatic classification and color enhancement of a markable surface
CN103309520A (zh) * 2013-05-20 2013-09-18 南京恒知讯科技有限公司 一种屏幕操作轨迹和声音输入同步存储处理方法、系统及终端
US9489114B2 (en) * 2013-06-24 2016-11-08 Microsoft Technology Licensing, Llc Showing interactions as they occur on a whiteboard
US9830060B2 (en) * 2013-08-28 2017-11-28 Microsoft Technology Licensing, Llc Manipulation of content on a surface
CN104464765A (zh) * 2014-11-28 2015-03-25 商巢互联网技术有限公司 一种基于对象录制屏幕轨迹的技术
CN105306861B (zh) * 2015-10-15 2017-03-01 深圳市鹰硕技术有限公司 一种网络教学录播方法及系统
US10198819B2 (en) * 2015-11-30 2019-02-05 Snap Inc. Image segmentation and modification of a video stream
WO2018163977A1 (ja) * 2017-03-08 2018-09-13 ソニー株式会社 画像処理装置および画像処理方法
CN107332845A (zh) * 2017-07-03 2017-11-07 努比亚技术有限公司 会议投影批注方法、移动终端及计算机可读存储介质
WO2019067704A1 (en) 2017-09-27 2019-04-04 Dolby Laboratories Licensing Corporation VIDEO PROCESSING COMPRISING A PHYSICAL WRITE SURFACE
JP6996367B2 (ja) * 2018-03-14 2022-01-17 株式会社リコー 電子黒板システム、電子黒板、方法、プログラム及び会議システム
US20200304713A1 (en) * 2019-03-18 2020-09-24 Microsoft Technology Licensing, Llc Intelligent Video Presentation System
CN110446002A (zh) * 2019-07-30 2019-11-12 视联动力信息技术股份有限公司 一种视频会议的处理方法、系统及装置和存储介质
US11489892B2 (en) * 2020-11-03 2022-11-01 Dell Products, L.P. Systems and methods for distribution of shared content based on session context
US11880983B2 (en) * 2021-04-14 2024-01-23 Logitech Europe S.A. Image enhancement system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08130724A (ja) * 1994-10-31 1996-05-21 Nec Corp 遠隔会議システム
JP2000092465A (ja) * 1998-09-11 2000-03-31 Nec Corp テレビ会議装置
JP2000168294A (ja) * 1998-12-11 2000-06-20 Ricoh Elemex Corp 電子黒板システム
KR20020006224A (ko) * 2000-07-11 2002-01-19 이선곤 궤도 추적에 의한 사이버 강좌 제작 방법
KR20020018907A (ko) * 2000-09-04 2002-03-09 박광준 실시간 강의 기록 장치 및 그에 따른 파일 기록방법
JP2003030652A (ja) * 2001-07-11 2003-01-31 Fuji Photo Film Co Ltd 画像処理装置、画像処理方法、プログラム、及び記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2585922B2 (ja) * 1992-05-29 1997-02-26 日立ソフトウエアエンジニアリング株式会社 電子黒板装置
US5544267A (en) * 1993-11-24 1996-08-06 Xerox Corporation Using a category to analyze an image showing a graphical representation
US5790114A (en) * 1996-10-04 1998-08-04 Microtouch Systems, Inc. Electronic whiteboard with multi-functional user interface
US7596755B2 (en) * 1997-12-22 2009-09-29 Ricoh Company, Ltd. Multimedia visualization and integration environment
US6584493B1 (en) * 1999-03-02 2003-06-24 Microsoft Corporation Multiparty conferencing and collaboration system utilizing a per-host model command, control and communication structure
US7136062B1 (en) * 1999-09-14 2006-11-14 Microsoft Corporation Scalable multiparty conferencing and collaboration system and method of dynamically allocating system resources and providing true color support in same
AU2002255556B2 (en) * 2001-02-16 2006-06-01 Imatte, Inc. Interactive teleconferencing display system
US6937266B2 (en) 2001-06-14 2005-08-30 Microsoft Corporation Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network
US6996581B2 (en) * 2001-09-28 2006-02-07 International Business Machines Corporation Template management of database instances
US6980695B2 (en) * 2002-06-28 2005-12-27 Microsoft Corporation Rate allocation for mixed content video
US7177483B2 (en) * 2002-08-29 2007-02-13 Palo Alto Research Center Incorporated. System and method for enhancement of document images
JP4307910B2 (ja) * 2003-03-07 2009-08-05 富士フイルム株式会社 動画像切り出し装置および方法並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08130724A (ja) * 1994-10-31 1996-05-21 Nec Corp 遠隔会議システム
JP2000092465A (ja) * 1998-09-11 2000-03-31 Nec Corp テレビ会議装置
JP2000168294A (ja) * 1998-12-11 2000-06-20 Ricoh Elemex Corp 電子黒板システム
KR20020006224A (ko) * 2000-07-11 2002-01-19 이선곤 궤도 추적에 의한 사이버 강좌 제작 방법
KR20020018907A (ko) * 2000-09-04 2002-03-09 박광준 실시간 강의 기록 장치 및 그에 따른 파일 기록방법
JP2003030652A (ja) * 2001-07-11 2003-01-31 Fuji Photo Film Co Ltd 画像処理装置、画像処理方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
EP1460851A2 (en) 2004-09-22
CN1525300A (zh) 2004-09-01
JP4482348B2 (ja) 2010-06-16
CN1324444C (zh) 2007-07-04
JP2004260823A (ja) 2004-09-16
EP1460851A3 (en) 2012-02-08
US20040165768A1 (en) 2004-08-26
KR20040076216A (ko) 2004-08-31
US7224847B2 (en) 2007-05-29

Similar Documents

Publication Publication Date Title
KR100995218B1 (ko) 화이트보드 콘텐츠의 개선된 데이터 스트림 생성용 컴퓨터구현 처리방법, 시스템 및 컴퓨터 판독가능 기록 매체
US7260278B2 (en) System and method for real-time whiteboard capture and processing
KR102469295B1 (ko) 깊이를 사용한 비디오 배경 제거
KR101040865B1 (ko) 프로젝터-카메라-화이트보드 시스템에서의 비주얼 에코소거를 위한 시스템 및 방법
US9282284B2 (en) Method and system for facial recognition for a videoconference
KR100996787B1 (ko) 오디오 비주얼 컨텐트 요약 및 인덱싱 방법, 이 방법을 수행하도록 실행가능한 컴퓨터 판독가능 기록 매체, 및 미팅의 오디오 및 비디오 컨텐트를 캡쳐하기 위한 시스템
CA2521670C (en) Automatic face extraction for use in recorded meetings timelines
US8385425B2 (en) Temporal video filtering for real time communication systems
US10192582B2 (en) Automatic generation of time-lapse videos
CN112954450B (zh) 视频处理方法、装置、电子设备和存储介质
US11695812B2 (en) Sharing physical writing surfaces in videoconferencing
US10015445B1 (en) Room conferencing system with heat map annotation of documents
US11496710B2 (en) Image display method for video conferencing system with wide-angle webcam
KR102440198B1 (ko) 시각 검색 방법, 장치, 컴퓨터 기기 및 저장 매체 (video search method and apparatus, computer device, and storage medium)
He et al. Real-time whiteboard capture and processing using a video camera for remote collaboration
US11120537B2 (en) Cognitive object emotional analysis based on image quality determination
He et al. Real-time whiteboard capture and processing using a video camera for teleconferencing
Zhang Computer vision technologies for remote collaboration using physical whiteboards, projectors and cameras
Zeng et al. Instant video summarization during shooting with mobile phone
US20230141019A1 (en) Attention Tracking of a Crowd

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131016

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141017

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151016

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161019

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181018

Year of fee payment: 9