KR100996787B1 - 오디오 비주얼 컨텐트 요약 및 인덱싱 방법, 이 방법을 수행하도록 실행가능한 컴퓨터 판독가능 기록 매체, 및 미팅의 오디오 및 비디오 컨텐트를 캡쳐하기 위한 시스템 - Google Patents
오디오 비주얼 컨텐트 요약 및 인덱싱 방법, 이 방법을 수행하도록 실행가능한 컴퓨터 판독가능 기록 매체, 및 미팅의 오디오 및 비디오 컨텐트를 캡쳐하기 위한 시스템 Download PDFInfo
- Publication number
- KR100996787B1 KR100996787B1 KR1020030039402A KR20030039402A KR100996787B1 KR 100996787 B1 KR100996787 B1 KR 100996787B1 KR 1020030039402 A KR1020030039402 A KR 1020030039402A KR 20030039402 A KR20030039402 A KR 20030039402A KR 100996787 B1 KR100996787 B1 KR 100996787B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- whiteboard
- cell
- images
- color
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 137
- 230000000007 visual effect Effects 0.000 claims abstract description 29
- 230000005236 sound signal Effects 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 19
- 230000000875 corresponding effect Effects 0.000 claims description 19
- 230000002596 correlated effect Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000012015 optical character recognition Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims description 2
- 238000012552 review Methods 0.000 claims description 2
- 238000009877 rendering Methods 0.000 claims 2
- 230000008014 freezing Effects 0.000 claims 1
- 238000007710 freezing Methods 0.000 claims 1
- 238000012217 deletion Methods 0.000 abstract description 5
- 230000037430 deletion Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 54
- 230000008569 process Effects 0.000 description 23
- 238000003860 storage Methods 0.000 description 16
- 238000011160 research Methods 0.000 description 12
- 230000002123 temporal effect Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000012300 Sequence Analysis Methods 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 208000016354 hearing loss disease Diseases 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000013450 outlier detection Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000007794 visualization technique Methods 0.000 description 2
- CDFKCKUONRRKJD-UHFFFAOYSA-N 1-(3-chlorophenoxy)-3-[2-[[3-(3-chlorophenoxy)-2-hydroxypropyl]amino]ethylamino]propan-2-ol;methanesulfonic acid Chemical compound CS(O)(=O)=O.CS(O)(=O)=O.C=1C=CC(Cl)=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC(Cl)=C1 CDFKCKUONRRKJD-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
- G06Q10/1093—Calendar-based scheduling for persons or groups
- G06Q10/1095—Meeting or appointment
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Drawing Aids And Blackboards (AREA)
Abstract
본 발명은 미팅의 화이트보드 컨텐트 및 오디오 신호 모두를 디지털 카메라 및 마이크로폰을 이용하여 캡쳐하는 시스템에 관한 것이다. 이 시스템은 현재의 임의의 화이트보드에 개장될 수 있다. 캡쳐된 스냅샷의 시퀀스를 분석하여 화이트보드 상의 펜 스트로크의 시간 스탬프를 계산한다. 각 삭제 이전에 화이트보드 상의 모든 기록된 컨텐트를 나타내는 키 프레임 세트를 자동으로 생성한다. 화이트보드 컨텐트는 오디오 미팅을 효율적으로 브라우징하는 비주얼 인덱스로서 기능한다. 이 시스템은 화이트보드 컨텐트를 캡쳐할 뿐만 아니라, 사용자들이 캡쳐된 미팅 컨텐트를 효율적이고 안전하게 보고 관리할 수 있도록 도와준다.
화이트보드 캡쳐 시스템, 디지털 카메라, 캡쳐, 펜 스트로크, 오디오 인덱싱
Description
도 1은 본 발명을 구현하기 위한 예시적 시스템을 구성하는 일반 목적 컴퓨팅 디바이스를 도시한 도.
도 2는 화이트보드 캡쳐 시스템의 3가지 주요 컴포넌트-캡쳐 유닛, 분석 서버 및 브라우징 소프트웨어를 도시한 도로서, 프로토타입 화이트보드 캡쳐 시스템을 이용하여 캡쳐된 것을 도시한 도.
도 3은 본 발명에 따른 화이트보드 캡쳐 시스템의 개략도.
도 4는 입력 이미지 시퀀스로부터의 선택된 프레임을 도시한 일련의 이미지.
도 5는 본 발명에 따른 시스템 및 방법의 이미지 분석 프로세스를 도시한 플로우 차트.
도 6a는 화이트보드 컬러를 계산하는 제1 기술.
도 6b는 화이트보드 컬러를 계산하는 제2 기술.
도 7은 화이트보드 컬러 추출 결과를 도시한 일련의 이미지로서, 좌측 이미지는 화이트보드 컬러를 계산하는 제1 방법의 결과이고, 중간 이미지는 화이트보드 컬러를 계산하는 제2 방법의 결과이며, 우측 이미지는 실제 빈 화이트보드 이미지.
도 8은 본 발명에 따른 시스템 및 방법의 셀 분류 프로세스를 도시한 플로우 차트.
도 9는 분류 결과의 일련의 일련의 샘플로서, 이미지들은 잘라내기(cropping) 및 교정(rectification) 이후의 도 5의 이미지에 해당함.
도 10은 도 4의 시퀀스에 대한 스트로크 개수 대 시간의 플롯.
도 11은 입력 이미지의 시퀀스로부터 키 프레임을 선택하는데 이용되는 일반 프로세스를 도시한 플로우 차트.
도 12는 본 발명에 따른 시스템 및 방법에서 챕터(chapter) 및 키 프레임을 식별하는 프로세스를 도시한 플로우 차트.
도 13은 본 발명에 따른 시스템 및 방법에서 키 프레임 이미지를 재구축하는 프로세스를 도시한 플로우 차트.
도 14는 본 발명에 따른 시스템 및 방법에서 키 프레임 이미지를 컬러 밸런싱하는 프로세스를 도시한 플로우차트.
도 15는 화이트보드 캡쳐 시스템의 브라우저 인터페이스를 도시한 이미지로서, 각 키 프레임 이미지는 레코딩 시 중요(key) 순간의 화이트보드 컨텐트를 표현함.
도 16은 본 발명에 따른 시스템 및 방법에서 현재 및 미래의 펜 스트로크를 표시하는 프로세스를 도시한 플로우 차트.
도 17은 본 발명에 따른 시스템 및 방법에 이용되는 보안 처리를 도시한 플로우 차트.
도 18a는 본 발명의 연구 실시예의 3개의 설치 지역에서 취해진 화이트보드 컨텐트의 이미지 샘플을 제공하는 도.
도 18b, 18c 및 18d는 본 발명의 연구 실시예의 입력(도 18b), 출력, 키 프레임 이미지(도 18c, 18d)를 도시한 일련의 도.
<도면의 주요 부분에 대한 간단한 설명>
202 : 캡쳐 유닛
204 : 분석 서버
206 : 브라우징 소프트웨어
본 발명은 미팅을 레코딩하기 위한 시스템 및 방법에 관한 것이다. 특히, 본 발명은 미팅의 화이트보드 컨텐트 및 오디오 모두를 캡쳐하기 위한 시스템 및 방법에 관한 것이다.
미팅은 다수의 연구자의 많은 연구 시간을 차지한다. 미팅에서 경과되는 이러한 시간을 보다 효율적으로 이용하면 생산성이 크게 향상된다.
많은 미팅 시나리오는 브레인스토밍 세션, 강의, 프로젝트 계획 미팅, 특허 공개 등을 위해 광범위하게 화이트보드를 이용한다. 화이트보드에 기록된 것을 노트-필기 및 복사하는 것은 이들 미팅 동안의 다수 참가자들의 능동적인 기여 및 참여를 방해한다. 그래서, 화이트보드 컨텐트를 일부 자동화된 방식으로 캡쳐하는 노력들이 있어 왔다.
화이트보드 컨텐트를 자동으로 캡쳐하려는 다수의 기술들이 개발되었다. 가장 이전 것 중 하나인 화이트보드 복사기(copier)는 내장 복사기를 구비한 특별한 화이트보드이다. 버튼을 클릭하면, 화이트보드 컨텐트가 스캐닝되어 프린트된다. 화이트보드 컨텐트가 일단 지면에 기록된 상태이면, 사진 복사되거나 팩스로 보내지거나, 파일 캐비넷에 보관되거나 디지털 형태로 스캐닝될 수 있다.
보다 최근의 기술은 처음부터 화이트보드 컨텐트를 디지털 형태로 캡쳐하려고 시도한다. 이들은 일반적으로 2가지 카테고리, 즉, 화이트보드의 이미지를 캡쳐하는 것과 펜 위치를 추적하고 그것으로부터 화이트보드 컨텐트를 유추하는 것을 포함한다.
제1 카테고리의 디바이스들은 화이트보드의 이미지를 직접 캡쳐한다. 미국 텔레비전 시스템 위원회(NTSC)-해상도 비디오 카메라는 저가로 인해 종종 이용된다. 이들 카메라는 통상 전형적인 회의실 크기 화이트보드 상에 기록된 것을 분명하게 캡쳐할 만큼 충분한 해상도를 가지고 있지 않으므로, 다수의 비디오 프레임들이 함께 스티치(stitch)되어 하나의 화이트보드 이미지를 생성할 수 있다. 이러한 제1 카테고리의 다른 디바이스는 디지털 스틸(still) 카메라이다. 고해상도 디지털 카메라가 점점 저렴해지고 있으므로, 디지털 카메라로 보드를 촬영(snapshot)하는 것은 일반적인 선택이 되고 있다.
제2 카테고리의 디바이스는 화이트보드에 기록하는데 이용되는 펜의 위치를 높은 주파수로 추적하여, 펜 좌표의 이력으로부터 화이트보드의 컨텐트를 유추한다. 종종, 이들은 종래 화이트보드의 측면에 부착된 부가(add-on) 디바이스를 포 함하고, 건식(dry)-잉크 펜 및 지우개에 대한 특별한 경우를 이용한다. 각 펜이 보드에 눌러질 때 초음파 펄스가 방출된다. 부가 디바이스에서의 2개의 수신기들은 오디오 펄스의 도착 시간차를 이용하여 펜 좌표를 3각 측량한다. 펜 좌표의 이력이 캡쳐되므로, 임의의 주어진 순간의 화이트보드의 컨텐트가 나중에 재구축될 수 있다. 이러한 타입의 화이트보드 레코딩의 사용자는 화이트보드 컨텐트를 영화와 같이 재생할 수 있다. 컨텐트가 벡터 형태로 캡쳐되므로, 낮은 대역폭 및 작은 저장장치로 송신되고 보관될 수 있다.
전자 화이트보드는 펜 추적 기술을 이용한다. 이들은 화이트보드를 인터액티브 디바이스로 만듦으로써, 이전에 설명된 부가 디바이스를 이용하는 시스템보다 더 한 단계 발전한 형태이다. 사용자는 컴퓨터에 의해 추적되는 특별한 스타일러스로 모니터 상에 기록한다. 컴퓨터는 스타일러스가 스크린을 접촉할 때마다 마치 잉크가 스타일러스에 의해 피착되는 것과 같이 스크린 상에 스트로크를 렌더링한다. 스트로크는 컴퓨터에 의해 생성되므로, 이들은 편집되고, 재-플로잉되며 애니메이트될 수 있다. 사용자는 제스쳐(gesture) 명령을 컴퓨터에 발행하여 다른 컴퓨터 어플리케이션을 동일한 스크린 상에 표시할 수 있다.
그러나, 전자 화이트보드는 현재 고가 및 작은 크기(전자 화이트보드의 크기는 대각 방향으로 6피트를 넘는 것이 드물다)로 인해 제한된 설치 기반을 가지고 있다. 또한, 펜-추적 디바이스를 가지는 시스템은 이하의 단점들을 가지고 있다. 1) 시스템이 온 상태가 아니거나 사용자가 전용 펜을 이용하지 않고 기록한다면, 컨텐트가 디바이스에 의해 재생될 수 없다. 2) 많은 사람들은 화이트보드상의 사 소한 실수를 전용 지우개 대신에 손가락을 이용하여 정정하기를 원한다. 이러한 공통된 행동은 캡쳐된 컨텐트에 추가된 스트로크로 나타나게 된다. 3) 사람들은 일부 디바이스에 대해, 훨씬 두껍고 누르기 힘든 특수 건식-잉크 펜 어댑터를 이용해야 한다. 4) 펜 추적의 부정확함은 종종 인접 펜 스트로크의 잘못된 등록을 유발한다.
화이트보드 캡쳐 방법에 대하여 상기 설명한 연구 이외에도, 특히 강의 및 미팅과 관련하여 멀티미디어 경험의 캡쳐, 통합 및 액세스에 대한 상당히 많은 연구가 수행되어 왔다. 수기 노트, 화이트보드 컨텐트, 슬라이드, 또는 수동 주석달기를 이용하여 용이한 액세스를 위해 기록된 비디오 및 오디오를 인덱스하는 기술 및 시스템이 개발되었다.
예를 들면, Classroom2000 프로젝트라 불리는 프로젝트에서, Abowd 등은 전자 화이트보드를 이용하여 잉크 스트로크를 시간-스탬핑(time-stamp)함으로써, 뷰어(학생)가 잉크 스트로크를 레코딩된 비디오 및 오디오에 대한 인덱스로서 이용할 수 있다. 키 프레임(페이지라 불림)은 전자 화이트보드에 의해 제공되는 삭제 이벤트에 기초하여 계산되었다. 그러나, Classroom2000 프로젝트는 전자 화이트보드를 필요로 했다. 전자 화이트보드에 있어서, 엔드(end) 사용자의 관점에서 볼 때 많은 단점들이 있다. 우선, 대부분의 사무실 및 회의실에 전자 화이트보드가 설치되어 있지 않다. 두 번째로, 사람들이 전자 화이트보다는 일반 화이트보드를 이용하는 것이 훨씬 더 자연스럽다고 느끼는 것으로 알려져 있다. 세 번째로, 카메라로 캡쳐된 이미지들은 기록한 사람이 누구인지 및 (통상 핸드 포인팅에 의해) 토론 한 것이 어떤 토픽인지 등의 훨씬 더 많은 정황(context) 정보를 제공한다. 이러한 단점들뿐만 아니라, 전자 화이트보드는 고가일 수 있으며 따라서 쉽게 이용되지 못한다.
본 발명은 화이트보드 컨텐트 및 연관 오디오를 캡쳐하기 위한 시스템에서 종래의 제한을 극복한 시스템 및 프로세스에 관한 것이다.
화이트보드 캡쳐 시스템(Whiteboard Capture System)이 화이트보드 이미지를 직접 캡쳐하는 상기 시스템들과 다른 점은, 캡쳐된 이미지에 대해 분석을 수행함으로써 펜 스트로크의 시간 스탬프 및 키 프레임을 계산한다는 점이다. 키 프레임 이미지는 화이트보드 상의 중요한 컨텐트를 모두 포함하고, 레코딩에 대한 요약 기능을 한다. 이들은 잘라내어 다른 문서에 붙여지거나 노트로서 인쇄될 수 있다. 시간 스탬프 및 키 프레임은 레코딩된 오디오에 대한 효과적인 인덱스이다. 추가로, 화이트보드 캡쳐 시스템 발명은 일부 다른 화이트보드 캡쳐 시스템과 같이 전자 화이트보드가 아닌 보통의 화이트보드를 채용한다. 그러므로, 이 시스템은 변형없이 현재의 임의의 화이트보드와 함께 이용될 수 있다.
화이트보드 캡쳐 시스템은 비(non)-전자적 화이트보드 상에 기록된 컨텐트의 이미지 시퀀스를 카메라로 캡쳐한다. 동시에, 미팅의 오디오 신호를 레코딩한다. 일단 레코딩이 완료되면, 이미지 시퀀스가 분석되어 화이트보드 상에 기록된 컨텐트의 키 포인트를 요약하는 키 프레임을 분리시킨다. 오디오 레코딩은 레코딩된 오디오 및 이미지 시퀀스 양쪽에 연관된 시간 스탬프에 의해 상기 키 프레임에 대 한 펜 스트로크에 상관된다. 이들 시간 스탬프는 이미지 분석을 통해 계산된다.
키 프레임을 얻기 위한 일반적인 분석 절차는 이미지 시퀀스에서 매 이미지마다 화이트보드 뷰를 교정하는 것을 포함한다. 또한, 화이트보드 배경 컬러가 추출되고, 이미지 시퀀스의 각 이미지가 셀들로 분할된다. 시간에 따라 동일한 셀 이미지들은 이하에 더 상세하게 설명되는 바와 같이 함께 클러스터링된다. 그리고나서, 각 셀 이미지는 스트로크(stroke), 포그라운드 오브젝트(foreground object) 또는 화이트보드 셀로 분류된다. 그리고나서 키 프레임 이미지는 분류 결과를 이용하여 추출된다. 셀 이미지는 공간적 및 시간적으로 필터링되어, 키 프레임 추출 이전에 분류 결과를 정교(refine)하게 할 수 있다. 추가로, 일단 키 프레임 이미지들이 추출되면, 컬러 밸런싱되어 이미지 품질을 개선할 수 있다.
더 구체적으로는, 화이트보드 뷰를 교정하는 것은 각 이미지의 임의의 비-화이트보드 영역을 잘라내는 것을 포함한다. 화이트보드의 4개 코너가 각 이미지에 특정된다. 그리고나서, 각 이미지에 대해 이중-큐빅 보간(bi-cubic interpolation)을 이용하여 이중-선형 워프(warp)가 수행되어 각 캡쳐된 이미지에서 잘라내어지고 교정된 화이트보드 이미지를 획득한다.
화이트보드 배경 컬러를 추출하는데 2가지 방법이 이용될 수 있다. 제1 방법은 가장 밝은 휘도와 가장 작은 편차(variance)를 가지는 화이트보드 셀을 결정하는 것을 포함한다. 가장 밝은 휘도 및 가장 작은 편차를 가지는 컬러는 화이트보드 배경 컬러로서 지정된다. 일단 화이트보드 배경 컬러가 결정되면, 각 구멍 주위의 화이트보드 셀을 검색함으로써 화이트보드 컬러의 임의의 구멍이 발견되고 채워진다. 그리고 나서, 각 구멍의 컬러가 구멍이 아닌 가장 가까운 셀의 컬러로 설정된다.
화이트보드 배경 컬러를 추출하기 위한 2번째 방법은 화이트보드 이미지 휘도를 히스토그래밍하고 피크 화이트보드 휘도를 결정하는 것을 포함한다. 피크 휘도에 대응하는 컬러는 초기 화이트보드 컬러로서 지정된다. 그리고 나서, 임의의 화이트보드 컬러 아웃라이어(outlier)(에러 데이터)가 최소-평균 제곱 기술을 이용하여 결정된다. 이들 아웃라이어는 구멍으로서 마크되고, 상기 설명한 화이트보드 컬러를 결정하는 제1 방법과 동일한 방식으로 채워진다. 화이트보드 컬러 이미지는 각 구멍을 채운 후에 필터링될 수 있다.
입력 시퀀스의 각 이미지를 셀로 분할하는 프로세스는 분석 처리 속도를 개선한다. 통상, 각 이미지는 셀 크기가 보드 상에서 단일 문자와 거의 동일한 크기가 되는 셀들로 분할된다. 이것은 전형적인 회의실 크기의 화이트보드에 대해 1.5인치 x 1.5인치 또는 25 픽셀 x 25 픽셀과 등가이다. 그러나, 이와 다르게 모든 분석은 화소별 기반으로 수행될 수 있다.
일단 입력 이미지의 시퀀스가 교정되고 화이트보드 컬러가 결정되면, 셀 이미지가 클러스터링된다. 시간에 따라 동일한 것으로 간주되는 셀 이미지는 그룹으로 함께 클러스터링된다. 정규화 교차-상관 기술 및 마할라노비스(Mahalanobis) 거리 테스트가 이용되어 2개의 셀들이 동일한 지를 결정한다.
셀-분류 프로세스는 셀 이미지가 화이트보드 셀, 스트로크 또는 포그라운드 오브젝트인지 여부를 결정한다. 셀 이미지는 적, 녹, 청(RGB) 값들이 대략 동일하 다면, 화이트보드 셀로서 지정된다. 다르게는, 셀이 거의 백색 또는 하나 또는 2개의 원색이 혼합된 회색인 경우에 셀 이미지는 스트로크 셀로서 지정된다. 그렇지 않은 경우에, 셀 이미지는 포그라운드 셀로서 지정된다. 셀 분류 프로세스는 현재 셀 이미지의 컬러 분포 및 대응하는 화이트보드 셀의 컬러 분포를 결정한다. 그리고 나서, 셀들은 현재 셀 이미지 및 대응하는 화이트보드 셀의 컬러 분포가 동일하거나, 동일하지 않고 매우 유사하거나, 또는 완전히 다른 지에 기초하여 분류된다.
상기 분류 절차는 단일 셀의 컬러 정보만을 이용한다. 더 정확한 결과는 셀 그룹들간의 공간적 및 시간적 관계를 활용함으로써 달성될 수 있다. 공간적 필터링에서, 매 화이트보드 이미지에 대해 2가지 연산이 수행된다. 첫째로, 분리된 포그라운드 셀들이 식별되어 스트로크로서 재분류된다. 두 번째로, 일부 포그라운드 셀들에 즉시 접속되는 스트로크 셀은 포그라운드 셀로서 재분류된다. 시간적 필터링에 대하여, 기본 관찰은 삭제된 후 정확하게 동일한 위치에 동일한 스트로크를 기록하는 것이 거의 불가능하다는 점이다. 환언하면, 임의의 주어진 셀에 대해, 2개의 다른 프레임의 셀 이미지들이 동일한 스트로크를 포함하는 경우, 2개의 프레임 간의 모든 셀 이미지들이 셀을 차단하는 포그라운드 오브젝트가 없는 경우에 동일한 스트로크를 가져야 한다. 시간적 필터링 단계에서, 이 셀은 포그라운드 오브젝트가 이것을 차단하기 전후에 카메라에 노출되는 한, 스트로크로서 분류된다.
그리고 나서, 키 프레임이 추출될 수 있다. 이를 위해, 분류 결과가 이용되어 이미지 시퀀스에서 각 이미지 또는 프레임에 대해 스트로크 셀이 카운트된다. 스트로크 카운트의 피크 및 밸리가 결정된다. 스트로크 카운트의 각 인접하는 피크 및 밸리간의 차이가 규정된 임계값을 초과하면, 밸리들간의 데이터가 챕터(chapter, 각 챕터는 다른 토픽을 나타냄)로서 지정되고, 각 챕터의 피크가 챕터를 나타내는 키 프레임으로서 지정된다.
그리고 나서, 키 프레임 이미지가 재구축된다. 이것은 분류된 셀 이미지 및 셀 이미지로 분할된 키 프레임을 입력하는 것을 포함한다. 키 프레임 셀 이미지가 화이트보드 이미지 또는 스트로크 이미지로 분류되면, 그 이미지는 화이트보드 이미지 또는 스트로크 이미지 각각으로 렌더링(render)된다. 다르게는, 키 프레임 포그라운드 셀 이미지가 스트로크의 범위 내에 있다면, 이러한 셀 이미지는 시퀀스에서 인접하는 이미지로부터의 스트로크 셀 이미지로 렌더링된다. 키 프레임 셀 이미지는 화이트보드 이미지, 스트로크 이미지 또는 스트로크 범위내의 포그라운드 셀로서 분류되지 않는 경우, 화이트보드 이미지로서 렌더링된다.
그리고 나서, 컬러 밸런싱은 배경을 균일하게 백색으로 하고 평균 화이트보드 컬러를 이용하여 펜 스트로크의 채도를 증가시킴으로써 키 프레임 이미지의 이미지 품질을 개선하고, 셀 내의 각 픽셀의 컬러를 스케일링하는데 이용된다. 이미지 노이즈가 또한 감소된다.
분석 서버가 이미지 시퀀스를 처리하여 인덱스 및 키 프레임 이미지를 생성한 후, 처리된 레코딩의 URL(웹 사이트 또는 다른 인터넷 서비스의 "어드레스" 또는 위치)로 이메일을 등록된 세션 참가자에게 전송한다. 사용자는 URL을 클릭하여 브라우징 소프트웨어를 런칭(launch)할 수 있다. 브라우저는 사용자들이 키 프레 임 이미지를 뷰잉하여 특정 토픽에 연관된 오디오를 신속하게 액세스할 수 있도록 한다.
브라우징 소프트웨어의 사용자 인터페이스(UI)는 다양한 컴포넌트를 구비하고 있다. 브라우저 UI의 주요 엘리먼트는 키 프레임 썸네일(thumbnail)이 표시되는 키 프레임 패인(pane), 및 카메라로부터의 미처리된 이미지(raw image) 및 현재 키 프레임 이미지의 조합을 보여주는 브라우저의 주 표시 패인을 포함한다.
키 프레임 패인은 또한 사용자가 주 표시 패인에 표시된 이미지를 미처리된 입력 이미지로부터 키 프레임 이미지로 조정할 수 있도록 하는 배경 투명도 슬라이더를 포함한다. 미팅 재생 시간선(time line)에서 이미 기록된 스트로크인 현재 펜 스트로크는 미래 스트로크보다 더 어둡고 더 명백하게 렌더링된다. 참가자들이 미래에 기록할 예정인 펜 스트로크는 희미한(ghost-like) 스타일로 보여진다. 이러한 시각화 기술은 이하의 프로세스를 이용하여 실현된다. 현재의 화이트보드 컨텐트는 현재 챕터의 키 프레임 이미지 및 시간 스탬프 정보를 이용하여 렌더링된다. 그리고 나서, 미래 스트로크가 렌더링되어, 그레이 스케일로 변환되고, 가우스 필터를 이용하여 흐리게 된다. 그리고 나서, 이들 2개의 이미지들이 가산되어, 결과적인 이미지는 입력 시퀀스로부터의 교정된 이미지와 알파-혼합된다. 사용자는 GUI 슬라이더로 렌더링된 키 프레임 화이트보드 이미지만을 나타내는 0에서 원래 이미지를 정확하게 나타내는 1까지 알파값을 제어할 수 있다.
VCR 및 표준 시간선 제어는 브라우저 UI의 하단 좌측 코너, 즉 주 표시 패인의 아래에 제공된다. VCR 및 표준 시간선 제어는 전형적인 VCR에서 발견되는 제어 와 매우 유사하게, 사용자가 이미지/오디오 시퀀스에서 시퀀스 백워드 또는 포워드할 수 있도록 하거나, 중지할 수 있도록 한다. 시간선 바(bar)는 오디오/이미지 시퀀스의 길이를 바로서 그래픽적으로 표시하고, 미팅 재생의 시작 시간, 종료 시간 및 현재 시간의 숫자값을 제공한다. 이러한 바 상의 포인터가 선택되어 시간선 바를 따라 포워드 및 백워드로 드래깅됨으로써, 이미지/오디오 시퀀스에서 선형으로 시퀀스 포워드 및 백워드를 수행한다.
레코딩된 오디오로의 비선형 액세스의 2가지 레벨들이 비주얼 인덱싱의 컨텍스트에 제공된다. 비선형 액세스의 제1 레벨은 키 프레임 썸네일의 이용을 통해서이다. 사용자는 키 프레임 썸네일을 클릭하여, 대응하는 키 프레임에 대한 오디오의 시작점(예를 들면, 챕터의 시작)으로 점프할 수 있다. 각 키 프레임은 특정키 프레임과 연관된 시간 범위를 결정할 때 사용자를 지원하는 그것과 연관된 시간 범위를 갖는다. 레코딩된 오디오로의 액세스의 제2 레벨은 각 키 프레임의 펜 스트로크의 이용을 통해서이다. 커서가 주 윈도우에서 펜 스트로크 셀(현재 스트로크 셀 또는 미래 스트로크 셀) 상을 호버링(hovering)하고 있는 경우에, 커서는 선택가능하다(예를 들면, 마우스로 "클릭 가능함")는 것을 나타내는 "손"심볼로 변경된다. 마우스 또는 다른 입력 디바이스로 셀 위를 더블 클릭하면, 어플리케이션이 오디오 재생 모드로 변경된다. 재생은 클릭된 스트로크 셀이 기록되었던 세션 시간으로부터 시작한다. 사용자는 계속해서 다른 스트로크 셀들을 클릭하여 세션의 다른 부분으로 점프할 수 있다. VCR 및 표준 시간선 제어(1514)와 함께, 이들 2가지 비주얼 인덱싱 레벨은 사용자가 미팅을 매우 효율적인 방식으로 브라우징할 수 있도록 한다.
상기 언급한 바와 같이, 키 프레임 이미지들의 썸네일은 키 프레임 패인(pane)에 리스트된다. 썸네일 중 하나를 선택하면, 대응하는 키 프레임 이미지를 좌측에서 주 윈도우로 가져오고, 어플리케이션을 이미지 뷰잉 모드로 전환하여 사용자는 줌 제어 버튼을 이용하여 줌인 및 줌 아웃할 수 있으며, 이미지의 텍스트와 그림을 판독할 수 있거나, 이미지의 일부를 잘라서 다른 문서에 붙일 수 있다. 추가로, 전체 키 프레임은 잘라져 다른 문서에 붙여지거나 노트로서 인쇄될 수 있다.
화이트보드 캡쳐 시스템에서, 미팅 참가자들은 미팅 레코딩의 초기에 캡쳐 소프트웨어로 등록되도록 요청받는다. 모든 레코딩된 세션은 웹 서버 상에 상주한다. 아무도 등록하지 않으면, 미팅이 공개적으로 액세스가능한 웹 페이지 상에 포스팅된다. 적어도 하나의 참가자가 등록하면, 미팅 레코딩 및 분석 후에 액세스 토큰이 생성된다. 토큰은 고유 미팅 식별자를 포함하는 랜덤하게 생성된 긴 스트링이다. 토큰을 포함하는 URL은 등록된 참가자에게 이메일로 보내진다. 수신자들은 URL로 가서 웹 브라우징 소프트웨어를 런칭하여 미팅을 다시 볼 수 있다. 이들은 미팅에 참석하지 않은 사람들에게도 URL을 포워딩할 수 있다.
상기 언급한 기본 화이트보드 캡쳐 시스템은 다수의 다른 기술 및 디바이스와 조합되어 추가 실시예들을 렌더링할 수 있다. 하나의 그러한 실시예에서, 종래 광학 문자 인식(OCR)이 키 프레임에 대해 수행되어 문서 또는 프리젠테이션 뷰 그래프를 생성하는데 용이하게 이용되는 편집가능한 텍스트를 제공한다.
다른 실시예에서, 종래 음성 인식 소프트웨어는 캡쳐된 데이터의 오디오 부 분을 텍스트로 변환하는데 이용된다. 이것은 미팅 회의록 및 다른 문서의 생성을 용이하게 할 수 있도록 한다. 이것은 또한 청각이 손상된 이들에게 미팅 정보를 제공하는 비교적 저가의 방법을 제공한다.
화이트보드 캡쳐 시스템은 예를 들면 삼각대 상에 마이크로폰과 카메라를 구비하는 노트북 컴퓨터를 이용함으로써 휴대가능하게 될 수도 있다. 이러한 구성은 화이트보드에 대한 카메라의 위치를 결정하는데 추가적인 초기 컬리브레이션만을 필요로 한다. 이러한 컬리브레이션은 이미지 패널의 4개 코너를 수동으로 결정함으로써 수동으로, 또는 에지 검출과 같은 종래 방법을 이용함으로써 자동으로 수행될 수 있다.
화이트보드 캡쳐 시스템의 분석 소프트웨어는 화이트보드 컨텐트를 유추하기 위해 펜 추적을 이용하는 화이트보드 캡쳐 시스템으로 키 프레임을 결정하는데 이용될 수도 있다. 그러한 시스템과 함께 화이트보드 캡쳐 시스템 분석 소프트웨어를 이용하는 것은 분석 프로세스를 단순화시킨다. 화이트보드 배경 컬러 또는 필요한 화이트보드 영역 교정에 대한 어떠한 결정도 없고, 공간적 및 시간적 필터링이 전혀 요구되지 않으며, 화이트보드 셀의 분류는 셀 이미지들이 스트로크 또는 화이트보드이므로 더 간단하게 된다. 왜냐하면, 어떠한 포그라운드 오브젝트도 화이트보드 상에 기록된 텍스트와 간섭되지 않기 때문이다.
추가적으로, 더 높은 프레임 레이트를 달성하기 위해서는, 스틸 카메라 대신에 HDTV 카메라와 같은 고해상도 비디오 카메라가 이용될 수 있다.
또 다른 실시예에서, 화이트보드 캡쳐 시스템은 제스쳐 명령을 이용하는 제 스쳐 인식을 포함한다. 예를 들면, 명령 박스는 화이트보드 상의 일부 장소에 기록될 수 있다. 사용자가 모션을 하거나 박스를 포인팅하는 경우, 시스템은 제스쳐 인식을 이용하여 제스쳐가 취해졌던 특정 시각의 이미지를 시간 스탬프한다.
화이트보드 캡쳐 시스템은 미팅 참가자들에게 흔한 노트-필기 태스크를 경감해 줌으로써, 미팅 동안에 아이디어를 생각해 내고 받아들이는데 집중할 수 있게 한다. 화이트보드 컨텐트 및 오디오로의 구조화된 비주얼 인덱싱을 요약하는 키 프레임 이미지를 제공함으로써, 시스템은 참가자들이 나중에 미팅을 리뷰할 수 있도록 도와준다. 또한, 미팅에 참여하지 않은 사람도 짧은 시간에 미팅의 요점을 이해할 수 있다.
본 발명의 특정 특징, 양태 및 장점들은 이하의 설명, 첨부된 특허청구범위, 및 첨부 도면을 참조하면 더 잘 이해될 것이다.
본 발명의 양호한 실시예의 이하의 설명에서, 본 발명의 일부를 형성하고 본 발명이 실시될 수 있는 특정 실시예를 예시하고 있는 첨부된 도면을 참조하고 있다. 다른 실시예들이 활용될 수 있고 본 발명의 범주에서 벗어나지 않고서도 구조적인 변경이 가능하다는 것은 자명하다.
1.0
오퍼레이팅 환경 예
도 1은 본 발명이 구현될 수 있는 적절한 컴퓨팅 시스템 환경(100)의 예를 예시하고 있다. 컴퓨팅 시스템 환경(100)은 적절한 컴퓨팅 환경의 한 예에 불과하고, 본 발명의 이용이나 기능의 범주에 관한 임의의 한계를 제시하려는 것은 아니 다. 컴퓨팅 환경(100)은 예로 든 오퍼레이팅 환경(100)에 예시된 컴포넌트의 임의의 하나 또는 조합에 관련하여 어떠한 의존성 또는 요건을 가지고 있는 것으로서 해석되어서는 안 된다.
본 발명은 다수의 다른 일반 목적 또는 특별 목적의 컴퓨팅 시스템 환경이나 구성으로 동작가능하다. 본 발명과 함께 이용하기 적합한 주지의 컴퓨팅 시스템, 환경 및/또는 구성의 예는 퍼스널 컴퓨터, 서버 컴퓨터, 핸드 헬드 또는 랩탑 디바이스, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋탑 박스, 프로그램가능한 소비자 전자장치, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 상기 시스템 또는 디바이스 중 임의의 것을 포함하는 분산형 컴퓨팅 환경 등을 포함하지만, 이들로 제한되지는 않는다.
본 발명은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터-실행가능 명령의 일반적인 정황으로 기술된다. 일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정의 추상 데이터 타입을 구현하는 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포함한다. 본 발명은 또한 통신 네트워크를 통해 링크된 원격 처리 디바이스들에 의해 태스크가 수행되는 분산형 컴퓨팅 환경에서도 실시될 수 있다. 분산형 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치를 포함하는 로컬 및 원격 컴퓨터 저장매체 모두에 배치될 수 있다.
도 1을 참조하면, 본 발명을 구현하기 위한 예시적 시스템은 컴퓨터(110) 형태의 범용 컴퓨팅 디바이스를 포함한다. 컴퓨터(110)의 컴포넌트는 처리 유닛(120), 시스템 메모리(130), 및 시스템 메모리를 포함하는 다양한 시스템 컴포 넌트를 처리 유닛(120)에 결합시키는 시스템 버스(121)를 포함하지만, 이들로 제한되지는 않는다. 시스템 버스(121)는 임의의 다양한 버스 아키텍쳐를 이용한 메모리 버스 또는 메모리 컨트롤러, 주변장치 버스, 및 로컬 버스를 포함하는 수개의 타입의 버스 구조 중 하나일 수 있다. 예를 들어, 이러한 구조는 ISA 버스, MCA 버스, EISA 버스, VESA 로컬 버스, 메자닌(Mezzanine) 버스로도 알려진 PCI 버스를 포함하지만, 이들로 제한되지는 않는다.
컴퓨터(110)는 통상 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터(110)에 의해 액세스될 수 있는 임의의 가용 매체가 될 수 있고, 휘발성 및 비휘발성 매체, 착탈 가능 및 착탈 불가능 매체를 모두 포함하지만, 이에 제한되지는 않는다. 예를 들어, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함한다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보 저장을 위한 임의의 방법이나 기술로 구현되는 휘발성 및 비휘발성, 착탈 가능 및 착탈 불가능 매체를 모두 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD 또는 다른 광학 디스크 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 다른 자기 저장장치 또는 원하는 정보를 저장하는데 이용될 수 있고 컴퓨터(110)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이들로 제한되지는 않는다. 통신 매체는 통상 컴퓨터 판독가능한 명령, 데이터 구조, 프로그램 모듈 또는 다른 데이터를 반송파와 같은 변조된 데이터 신호 또는 다른 전송 메카니즘으로 실시하고, 임의의 정보 전달 매체를 포함한다. "변조된 데 이터 신호"라는 용어는 신호에서의 정보를 인코딩하는 것과 같은 방식으로 설정되거나 변경되는 하나 이상의 특징을 구비하는 신호를 의미한다. 예를 들면, 통신 매체는 유선 네트워크 또는 직접-유선 접속과 같은 유선 매체 및 음향, RF, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함하지만, 이들로 제한되지는 않는다. 상기의 임의의 조합도 컴퓨터 판독가능한 매체의 범주내에 포함되어야 한다.
시스템 메모리(130)는 판독전용 메모리(ROM, 131) 및 랜덤 액세스 메모리(RAM, 132)와 같은 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체를 포함한다. 기동 동안과 같이 컴퓨터(110) 내의 소자들간의 정보 전달을 도와주는 기본 루틴을 포함하는 기본 입출력 시스템(133, BIOS)은 통상 ROM(131)에 저장된다. RAM(132)은 통상 처리 유닛(120)에 즉시 액세스 가능하거나 이것에 의해 현재 동작되고 있는 데이터 및/또는 프로그램 모듈을 포함한다. 예를 들면, 도 1은 오퍼레이팅 시스템(134), 어플리케이션 프로그램(135), 다른 프로그램 모듈(136) 및 프로그램 데이터(137)를 포함하지만, 이들로 제한되지는 않는다.
컴퓨터(110)는 다른 착탈 가능/착탈 불가능, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 예로서, 도 1은 착탈 불가능, 비휘발성 자기 매체에서 기록하거나 판독하는 하드 디스크 드라이브(141), 착탈 가능, 비휘발성 자기 디스크(152)에서 기록하거나 판독하는 자기 디스크 드라이브(151), 및 CD-ROM 또는 다른 광학 매체와 같은 착탈 가능, 비휘발성 광 디스크(156)에서 기록하거나 판독하는 광 디스크 드라이브(155)를 예시한다. 예로 든 오퍼레이팅 환경에서 이용될 수 있는 다른 착탈 가능/착탈 불가능, 휘발성/비휘발성 컴퓨터 저장 매체는 자기 테이프 카세트, 플래시 메모리 카드, DVD, 디지털 비디오 테이프, 고체 소자를 이용한(solid-state) RAM, 고체 소자를 이용한 ROM, 등을 포함하지만, 이들로 제한되지는 않는다. 하드 디스크 드라이브(141)는 통상 인터페이스(140)와 같은 착탈 불가능 메모리 인터페이스를 통해 시스템 버스(121)에 접속되고, 자기 디스크 드라이브(151) 및 광 디스크 드라이브(155)는 통상 인터페이스(150)와 같이 착탈 가능 메모리 인터페이스에 의해 시스템 버스(121)에 접속된다.
상기 설명되고 도 1에 예시된 드라이브 및 그와 연관 컴퓨터 저장 매체는 컴퓨터(110)에 대해 컴퓨터 판독가능한 명령, 데이터 구조, 프로그램 모듈 및 다른 데이터의 저장을 제공한다. 도 1에서, 예를 들면, 하드 디스크 드라이브(141)는 오퍼레이팅 시스템(144), 어플리케이션 프로그램(145), 다른 프로그램 모듈(146) 및 프로그램 데이터(147)를 저장하는 것으로서 예시된다. 유의할 점은 이들 컴포넌트들은 오퍼레이팅 시스템(134), 어플리케이션 프로그램(135), 다른 프로그램 모듈(136) 및 프로그램 데이터(137)와 동일하거나 또는 상이할 수도 있다는 점이다. 오퍼레이팅 시스템(144), 어플리케이션 프로그램(145), 다른 프로그램 모듈(146), 및 프로그램 데이터(147)는 최소한 다른 복제물이라는 것을 예시하도록 다른 숫자가 주어진다. 사용자는 키보드(162) 및 통상 마우스, 트랙볼 또는 터치 패드로 지칭되는 포인팅 디바이스(161) 등의 입력 디바이스를 통해 컴퓨터(110)에 커맨드와 정보를 입력한다. 다른 입력 디바이스(도시되지 않음)는 마이크로폰, 조이스틱, 게임 패드, 위성 디시(dish), 스캐너 등을 포함할 수 있다. 이들 및 다른 입력 디바이스들은 종종 시스템 버스에 결합되는 사용자 입력 인터페이스(160)를 통해 처 리 유닛(120)에 접속되지만, 병렬 포트, 게임 포트 또는 범용 직렬 버스(USB)와 같은 다른 인터페이스 및 버스 구조에 의해 접속될 수도 있다. 모니터(191) 또는 다른 타입의 디스플레이 디바이스는 또한 비디오 인터페이스(190)와 같은 인터페이스를 통해 시스템 버스(121)에 접속된다. 모니터뿐만 아니라, 컴퓨터는 출력 주변장치 인터페이스(195)를 통해 접속될 수 있는 스피커(197) 및 프린터(196)와 같은 다른 주변장치 출력 디바이스를 포함할 수 있다. 본 발명에 특히 중요한 것으로서, 이미지(164)의 시퀀스를 캡쳐할 수 있는 카메라(163, 디지털/전자 스틸 또는 비디오 카메라 또는 필름/사진 스캐너 등)는 퍼스널 컴퓨터(110)에 대한 입력 장치로서 포함될 수 있다. 또한, 단지 하나의 카메라가 도시되어 있지만, 다수의 카메라가 퍼스널 컴퓨터(110)의 입력 장치로서 포함될 수 있다. 하나 이상의 카메라로부터의 이미지(164)는 적절한 카메라 인터페이스(165)를 통해 컴퓨터(110)에 입력된다. 이러한 인터페이스(165)는 시스템 버스(121)에 접속됨으로써, 이미지들이 라우팅되어 RAM(132) 또는 컴퓨터(110)와 연관된 다른 데이터 저장장치 중 하나에 저장될 수 있도록 한다. 그러나, 유의할 점은, 이미지 데이터는 카메라(163)의 이용을 필요로 하지 않고 상기 언급한 컴퓨터-판독가능 매체 중 임의의 것으로부터도 컴퓨터(110)에 입력될 수 있다.
컴퓨터(110)는 원격 컴퓨터(180)와 같은 하나 이상의 원격 컴퓨터에 대한 논리적 접속을 이용하여 네트워킹된 환경에서 동작할 수 있다. 원격 컴퓨터(180)는 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 디바이스 또는 다른 공통 네트워크 노드일 수 있고, 도 1에서는 메모리 저장 디바이스(181)만이 예시되어 있지만, 통상 퍼스널 컴퓨터(110)와 관련하여 상기 설명한 구성요소들 중 다수 또는 모두를 포함한다. 도 1에 도시된 논리적 접속은 로컬 영역 네트워크(LAN, 171) 및 와이드 영역 네트워크(WAN, 173)를 포함하지만, 다른 네트워크를 포함할 수도 있다. 이러한 네트워킹 환경은 사무실, 기업-전체(enterprise-wide) 컴퓨터 네트워크, 인트라넷 및 인터넷에서 공통적인 것이다.
LAN 네트워킹 환경에서 이용되는 경우, 퍼스널 컴퓨터(110)는 네트워크 인터페이스 또는 어댑터(170)를 통해 LAN(171)에 접속된다. WAN 네트워킹 환경에서 이용되는 경우, 컴퓨터(110)는 통상 모뎀(172) 또는 인터넷과 같이 WAN(173)을 통한 통신을 확립하기 위한 다른 수단을 포함한다. 모뎀(172)은 내장형 또는 외장형일 수 있으며, 사용자 입력 인터페이스(160) 또는 다른 적절한 메커니즘을 통해 시스템 버스(121)에 접속될 수 있다. 네트워킹된 환경에서, 컴퓨터(110)에 관련하여 도시된 프로그램 모듈, 또는 그 일부는 원격 메모리 저장 디바이스에 저장될 수 있다. 예로서, 도 1은 메모리 디바이스(181) 상에 상주하는 것으로서 원격 어플리케이션 프로그램(185)을 예시하고 있지만, 이에 제한되지는 않는다. 도시된 네트워크 접속은 예로 든 것이며 컴퓨터들 간의 통신 링크를 확립하는 다른 수단이 이용될 수 있다는 것은 자명하다.
지금까지 오퍼레이팅 환경의 예가 설명되었고, 이하의 부분에서는 본 발명을 실시하는 프로그램 모듈에 대해 설명한다.
2.0
화이트보드 캡쳐 시스템 및 방법.
2.1
시스템 아키텍쳐
개념적으로, 화이트보드 캡쳐 시스템은 도 2에 도시된 바와 같이, 3가지 주요 컴포넌트, 즉 캡쳐 유닛(202), 분석/처리 서버(204) 및 브라우징 소프트웨어(206)로 구성된다.
1. 캡쳐 유닛: 캡쳐 유닛은 화이트보드의 컨텐트의 이미지를 캡쳐하고 화이트보드 컨텐트의 생성과 연관된 오디오를 기록하는데 이용된다. 캡쳐 유닛은 미팅이 열리는 방에 설치된다. 도 3에 도시된 바와 같이, 상기 유닛은 디지털 카메라(302), 마이크로폰(304), 및 퍼스널 컴퓨터(PC, 306)를 포함한다. 캡쳐 유닛은 화이트보드(308)의 이미지를 얻고, PC(306)에 저장되는 마이크로폰(304)을 통해 오디오를 기록한다. 획득된 이미지 및 오디오는 모두 시간 스탬프된다. 이미지 및 오디오 샘플은 공통 클럭, 통상 시스템 클럭에서 얻어진다. 공통 클럭의 타이밍은 이미지 및 오디오 샘플과 연관되어, 그 시간 스탬프로서 저장된다.
2. 분석 서버: 분석 서버(204)는 중앙 위치에 배치되고, 레코딩된 이미지 데이터를 분석하여 저장한다. 하나의 실시예에서, 분석 프로그램은 사용자가 캡쳐 유닛에서 레코딩을 중지한 후에 자동으로 런칭된다. 레코딩된 데이터를 처리한 후, 미팅 레코딩이 가용한 URL을 포함하는 이메일은 등록된 참가자에게 전송된다. 등록된 사용자들이 없다면, 미팅 레코딩은 공적으로-액세스가능한 웹 사이트에 포스팅될 수 있다.
3. 브라우징 소프트웨어: 브라우징 소프트웨어(206)는 사용자가, 레코딩되어 분석된 미팅 데이터를 뷰잉하고 재생할 수 있게 한다. 브라우징 소프트웨어(206)는 미팅 레코딩을 보기 원하는 사용자들에 의해 설치되는 웹 플러 그-인으로서 제공되는 것이 바람직하다. 일단 설치되면, 사용자는 상기 언급한 URL을 클릭하고 소프트웨어를 런칭하여 분석 서버 상의 데이터에 액세스할 수 있다.
2.2
이미지 획득
화이트보드 캡쳐 시스템으로의 입력은 스틸(still) 디지털 이미지의 세트이다. 도 4는 그러한 이미지들의 세트 예를 도시하고 있다. 이미지 시퀀스가 분석되어 사용자들이 보드 상에 기록한 시기 및 장소를 결정하고 세션 전체를 통해 화이트보드 컨텐트를 요약하는 키 프레임 이미지 세트를 추출(distill)한다.
컴퓨터에 의해 카메라 제어를 허용하는 임의의 비교적 높은 해상도 카메라가 이미지 획득에 이용될 수 있다. 카메라는 회의실의 측면 또는 후방 중 하나에 장착되는 것이 바람직하다. 카메라는 유효 해상도를 최대화하기 위해 화이트보드에 가능한 한 근접하여 줌인된다. 카메라는 설치 후에 정지되어 있고, 화이트 보드가 이동하지 않으므로 화이트보드 이미지가 캡쳐된 시퀀스 전체를 통해 정지되어 있다고 가정한다.
이용되는 카메라가 자동 포커스 모드만을 가지고 있다면, 화이트보드의 전방의 오브젝트가 카메라의 자동 포커스 메커니즘의 주의를 트리거링하는 경우, 화이트보드는 포커스를 벗어나게 된다. 이러한 문제는 카메라의 이미지 면을 화이트보드에 가능한 한 평행하게 정렬하여 장면 깊이 및/또는 개구를 최소화하여 필드의 깊이를 증가시킴으로써, 완화될 수 있다. 실제로, 프레임의 1-2%만이 화이트보드 캡쳐 시스템의 연구 실시예에서 포커스를 벗어나는 것으로 관찰되었다.
카메라는 가능한 한 빨리 사진을 찍고, 이미지를 바람직하게는 USB 접속을 통해 PC에 전달한다. 하나의 JPEG 이미지는 화이트보드 캡쳐 시스템의 연구 실시예에서 약 매5초마다 얻어졌다. 노출 및 화이트-밸런스 파라미터는 통상 일정하게 유지된다. 광 설정이 하나의 세션내에서 변경되지 않는다고 가정하면, 화이트보드의 배경 컬러는 시퀀스에서 일정하게 유지되어야 한다.
약간 낮은 노출된 이미지들이 더 나은 채도를 제공하고, 따라서 이하에 설명되는 스트로크 추출 프로세스를 더 정확하게 한다는 것이 발견되었다. 컬러 밸런싱 단계는 레코딩 후에 수행되어 회색을 띤 화이트보드 이미지를 더 매력적으로 만들 수 있다.
2.3
이미지 시퀀스 분석
보드 상에 기록하고 있는 사람이 디지털 카메라와 화이트보드 간의 조준선(line of sight) 내에 있으므로, 화이트보드의 일부를 종종 가리고 다른 일부에 그림자를 만든다. 따라서, 스트로크 중에서 포그라운드 오브젝트(예를 들면, 보드에 기록하고 있는 사람)와 화이트보드를 구별할 필요가 있다. 일단 분류 결과가 알려지면, 키 프레임 이미지와 인덱스가 브라우징 소프트웨어에 의해 이용될 수 있다.
화이트보드 영역은 화소당 레벨로 이미지를 분석하기 보다는(이것이 수행될 수 있더라도) 사각형 셀들로 분할되어 계산 비용을 낮춘다. 셀 크기는 보드(연구 실시예에서 약 1.5 x 1.5인치, 또는 25 x 25 픽셀) 상의 단일 문자의 예상 크기와 대략 동일하도록 선택된다. 셀 그리드(grid)는 입력 시퀀스의 각 프레임을 셀 이 미지로 분할하므로, 입력은 셀 이미지의 3차원 매트릭스(예를 들면, x, y, 시간)로서 간주될 수 있다. 각 이미지의 셀들로의 분할은 통상 입력 이미지가 교정(rectify)된 후 수행된다.
도 5 및 이하에 도시된 바와 같이, 입력 이미지 시퀀스를 분석하는 절차의 일반적인 처리 단계는 이하와 같다.
1. 시퀀스에서 모든 이미지의 화이트보드 영역을 교정한다(처리 단계 502).
2. 화이트보드 배경 컬러를 추출한다(처리 단계 504).
3. 시퀀스의 모든 이미지를 대응하는 셀 이미지로 분할한 후, 동일한 셀에 대해 시퀀스 전체에 걸쳐 셀 이미지를 클러스터링한다(처리 단계 506). 2개의 셀 이미지들이 시간에 따라 동일하게 간주된다면, 이 이미지들은 동일한 그룹내에서 클러스터링된다.
4. 각 셀 이미지를 스트로크, 포그라운드 오브젝트, 또는 화이트보드로서 분류한다(처리 단계 508).
5. 분류 결과를 개선(refine)하도록 셀 이미지를 공간적 및 일시적으로 필터링한다(처리 단계 510).
6. 분류 결과를 이용하여 키 프레임 이미지를 추출한다(처리 단계 512).
7. 키 프레임 이미지를 컬러-밸런싱한다(처리 단계 514).
이하의 문단에서, 도 4에 도시된 운용 예는 입력 이미지 시퀀스 분석 절차를 예시하는데 이용된다.
2.3.1 화이트보드 이미지 교정
이미지 시퀀스를 스트로크 추출 프로세스에 공급하기 전에, 비-화이트보드 영역이 잘라지고 이미지들이 교정된다. 연구 실시예에 이용된 카메라 렌즈가 명백하게 낮은 방사상 왜곡을 가지고 있으므로, 화이트보드의 4개 코너를 식별하는 것만이 필요하다(그렇지 않으면, 이미지를 교정하기 전에 종래 방법을 통해 방사상 왜곡을 정정하는 것이 필요할 수도 있음). 이것이 자동으로 수행될 수 있을 지라도(예를 들면, 에지 검출을 이용함), 이것은 일회의 컬리브레이션 단계 동안 캡쳐된 이미지에서 화이트보드의 4개 코너의 위치를 클릭함으로써 수동으로 수행된다. 4개의 코너에 있어서, 간단한 종래 이중-선형 워프(warp)는 이중-큐빅 보간을 이용하여 시퀀스 내의 각 이미지에 대해 수행되어, 각 캡쳐된 이미지에서 잘라내지고 교정된 화이트보드 뷰를 얻을 수 있다.
2.3.2 화이트보드 컬러 계산
셀 분류를 위해, 각 셀에 대해 화이트보드 컬러가 무엇인지(즉, 그 위에 기록된 것이 전혀없는 화이트보드 자체의 컬러)를 알 필요가 있다. 화이트보드 컬러는 또한 키 프레임을 생성하는 경우에 화이트-밸런싱하는데 이용되어, 높은 품질의 키 프레임 이미지를 보장하도록 정확하게 추정되어야 한다.
화이트보드 컬러를 계산하는데 2가지 방법(strategy)이 이용되었다. 도 6a에 개략적으로 도시된 제1 방법은 화이트보드 셀이 시간에 따라 가장 밝은 휘도를 가지고 있고 작은 편차를 가진다(즉, 각 셀 내에서 거의 일정함)는 가정 하에 기초하고 있다. 이는 스트로크의 컬러(적, 녹, 청 또는 흑색)가 휘도를 낮추므로, 합리적이다. 처리 단계 602에 도시된 바와 같이, 가장 밝은 휘도 및 가장 작은 편차를 가지는 화이트보드 셀이 계산된다. 그러나, 이것은 최종 화이트보드 컬러 이미지에 구멍을 생성할 수 있다. 예를 들면, 셀이 스트로크를 포함하거나 시퀀스 전체에 걸쳐 포그라운드 오브젝트에 의해 차단된다면, 이 셀에 대해 계산된 화이트보드 컬러가 정정되지 않을 것이다(이 셀은 나머지 화이트보드와 다르게 나타나고, 따라서 구멍처럼 보인다). 이를 위해, 처리 단계 604에 도시된 바와 같이, 화이트보드 컬러 이미지의 임의의 구멍은 최소-평균-제곱이라 불리는 기술(다음 문단에서 설명되는 아웃라이어(outlier) 검출 방법과 유사함)을 이용함으로써 검출된다. 그리고 나서, 구멍이 채워진다(처리 단계 606). 구멍을 채우기 위해서는, 그 부근이 검색되고, 화이트보드 컬러가 구멍이 아닌 가장 가까운 셀의 컬러로 설정된다. 이러한 방법은 통상 매우 잘 작용하지만, 사람이 흰색 T-셔츠를 입고 있거나 백색 종이를 잡고 있는 경우에는 그렇지 못한다. 도 7의 좌측 이미지는 도 4의 입력 시퀀스로부터 계산되는 화이트보드 컬러 이미지의 결과를 도시하고 있고, 여기에서 사람이 일부 프레임에서 백색 종이를 잡고 있었다. 계산된 화이트보드 컬러가 백색 종이에 의해 오류가 발생(corrupt)되는 것을 알 수 있다.
화이트보드 컬러를 결정하는 제2 방법은 도 6b에 도시되어 있고, 더 정교하다. 가정은 시간에 따른 각 셀의 픽셀의 주요부가 화이트보드에 속한다는 것이다. 각 셀에 대한 휘도의 히스토그램을 구축함으로써, 높은 휘도값을 가지는 피크에 대응하는 컬러는 이 셀에 대한 화이트보드의 컬러와 매우 유사하다. 그러므로, 제1 단계는 각 셀에 대한 히스토그램을 구축하고, 피크 휘도를 계산함으로써(처리 단계 610 내지 614), 초기 화이트보드 컬러를 이와 같이 계산하는 것이다. 이러한 기술 은 셀이 전체 시퀀스를 통해 스트로크를 포함하는 경우에만 작용하지만, 사람이 백색 T-셔츠를 입고 있거나 백색 종이를 들고 있는 경우, 또는 셀이 항상 사람들이나 다른 오브젝트에 의해 숨겨지는 경우에 오류가 발생한다. 그러한 경우에, 계산된 화이트보드 컬러 이미지는 아웃라이어(outlier)를 포함한다. 다음 단계는 임의의 아웃라이어를 검출하는 것이다(처리 단계 616). 아웃라이어 검출은 최소-평균-제곱이라 불리는 강력한(robust) 기술에 기초하고 있다. 컬러가 화이트보드에서 원활하게 가변된다고 가정하면, 제곱된 에러의 평균을 최소화함으로써 면이 휘도 Y 또는 RGB 공간에서 고정된다. 그 컬러가 이러한 모델을 따르지 않는 셀은 아웃라이어로 간주되어 결과적으로 거절된다, 즉 이들은 구멍으로서 마크된다(처리 단계 618). 관심있는 독자라면, 이러한 기술의 세부사항에 대해 부록을 참조하라. 다음으로, 처리 단계 620에 도시된 바와 같이, 구멍은 제1 화이트보드 컬러 계산 방법에서와 동일한 절차를 이용하여 채워진다. 마지막으로, 결과를 더 개선하기 위해, 화이트보드 컬러 이미지는 RGB 공간에서 면을 로컬로 고정시킴으로써 필터링될 수 있다. 관심있는 독자라면, 세부사항에 대해 부록을 다시 참조하라. 동일한 예에 대해 이러한 새로운 기술로 얻어지는 결과는 도 7의 중간 이미지에 도시되어 있다. 명백한 개선은 좌측에 도시된 바와 같이 제1 방법으로 얻어진 결과와 비교하여 도시되어 있다. 실제 빈 화이트보드가 비교를 위해 우측 이미지에 도시되어 있다.
2.3.3 시간에 따른 셀 이미지 클러스터링
미팅 동안에, 각 셀의 컨텐트는 통상 시간에 따라 변경된다. 각 셀에 대해, 시간 시퀀스의 모든 셀 이미지들을 그룹으로 클러스터링하기를 원하고, 여기에서 각 그룹은 시간에 따라 동일한 것으로 간주되는 셀 이미지를 포함한다. 변형된 정규화 교차-상관 알고리즘은 2개의 셀 이미지들이 동일한 지 여부를 결정하는데 이용된다. 이하에서, 정규화 교차-상관 기술은 이미지의 하나의 컬러 컴포넌트를 이용하여 설명되지만, 이것은 모든 RGB 컴포넌트에 대해 적용된다.
2개의 셀 이미지를 I 및 I'로 간주하자. 
및 
는 그 평균 컬러라고 하고, σ 및 σ'는 그 표준 편차라고 하자. 정규화 교차-상관 스코어는 
에 의해 주어지고, 합은 매 화소 i 에 걸친 것이며, N은 화소의 전체 개수이다. 스코어는 전혀 동일하지 않는 2개의 이미지 및 동일한 2개의 이미지에 대해, -1 내지 1의 범위이다. 이러한 스코어는 평균 컬러의 감산 후에 계산되므로, 2개의 이미지들이 매우 다른 평균 컬러를 가지고 있더라도 계속해서 높은 값을 제공할 수도 있다. 그러므로, 추가 테스트는 마할라노비스(Mahalanobis) 거리에 기초하여 평균 컬러 차이에 대해 이용되므로, 
에 의해 주어진다. 요약하면, 2개의 셀 이미지들 I 및 I'는 동일한 것으로 간주되고, 따라서 d<Td 및 c>Tc인 경우 및 그 경우에만 동일한 그룹에 속해야 한다. 화이트보드 캡쳐 시스템의 연구 구현에서, Td=2 및 Tc=0.707이 성공적으로 이용되었다.
2.3.4 셀의 분류
셀-분류 처리 단계는 셀 이미지가 화이트보드, 스트로크 또는 포그라운드 오브젝트인지 여부를 결정한다. 이하의 발견적 교수법(heuristics)이 이용된다. 1) 화이트보드 셀은 컬러가 일정하고 회색 또는 백색이다(즉, RGB 값이 거의 동일하다). 2) 스트로크 셀은 대부분이 백색이거나 하나 또는 2개의 원색이 혼합된 회색이다. 3) 포그라운드 오브젝트는 상기 특성을 가지지 못한다. 그러므로, 상기 분류는 현재 셀 이미지의 컬러 분포 및 화이트보드 컬러 분포가 동일한지, 동일하지 않고 상당한 중첩을 가지고 있는지, 아니면 완전히 다른지 여부를 결정한다. 다시, 마할라노비스 거리가 이하에 설명되는 바와 같이 이용된다.
화이트보드 컬러가 이전에 설명되는 바와 같이 이미 계산되었다는 것을 유의하라. 다시, RGB의 하나의 컬러 컴포넌트가 예로서 이용된다. 
을 화이트보드 컬러라고 하고, σw를 표준 편차(화이트보드 셀이 대략 일정하므로 표준 편차는 작은 값이다)라고 하자. 
및 σ를 현재 셀 이미지의 평균 및 표준 편차라고 하자. 셀 이미지는 
인 경우에만 화이트보드 셀로서 분류되고, 
인 경우에만 스트로크 셀로서 분류된다. 그렇지 않으면, 포그라운드 오브젝트 셀로서 분류된다. 화이트보드 캡쳐 시스템의 연구 실시예에서, Tw=2 및 Tσ=2가 성공적으로 이용되었다.
2.3.5 셀 분류의 필터링
상기 분류 절차는 단일 셀의 컬러 정보만을 이용한다. 더 정확한 결과는 셀 그룹들 간의 공간적 및 시간적 관계를 활용함으로써 얻어질 수 있다.
2.3.5.1 공간적 필터링:
공간적 필터링에 대하여, 사람이 보통 화이트보드의 연속적인 영역을 차단하므로 포그라운드 셀이 공간적으로 분리되어 나타나지 않아야 한는다는 것이 기본적인 관찰이다. 공간적 필터링에서, 도 8에 도시된 바와 같이, 모든 단일 화이트보드 이미지마다 2개의 연산(operation)이 수행된다. 첫째로, 분리된 포그라운드 셀들이 식별되어 스트로크로서 재분류된다(처리 단계 802). 둘째로, 일부 포그라운드 셀로 즉시 접속되는 스트로크 셀은 포그라운드 셀로서 재분류된다(처리 단계 804). 제2 연산의 하나의 주된 목적은 포그라운드 오브젝트의 경계에서 셀을 핸들링하는 것이다. 그러한 셀이 스트로크를 포함하는 경우, 제2 연산은 이 셀을 포그라운드 오브젝트로서 잘못 분류할 것이다. 그러나, 다행히도 이하의 시간적 필터링이 그러한 잠재적인 에러를 정정한다.
2.3.5.2 시간적 필터링:
시간적 필터링에 있어서, 삭제된 후 동일한 위치에 정확하게 동일한 스트로크를 기록하는 것이 실제로는 불가능하다는 것이 기본 관찰이다. 환언하면, 임의의 주어진 셀에 대해, 2개의 다른 프레임의 셀 이미지가 동일한 스트로크를 포함하고 있다면, 2개의 프레임들간의 모든 셀 이미지들은 셀을 차단하는 포그라운드 오브젝트가 존재하지 않는 한 동일한 스트로크를 가져야만 한다. 이러한 관찰은 포그라운드 오브젝트를 세그먼트하는데 매우 유용하다. 포그라운드 오브젝트의 경계에 있는 스트로크 셀이 포그라운드 셀로서 잘못 분류되는 이전 섹션의 예를 살펴보 자. 시간적 필터링 단계에서, 포그라운드 오브젝트가 이것을 차단하기 전후에 카메라에 노출되는 한, 이것은 스트로크로서 분류될 것이다.
도 9는 스트로크가 녹색이고, 포그라운드가 흑색이며 화이트보드가 백색인 도 4의 샘플 이미지에 대한 분류 결과를 도시하고 있다.
2.3.6 키 프레임 이미지 추출
키 프레임 이미지는 화이트보드 상의 모든 중요한 컨텐트를 포함하고, 레코딩으로의 요약으로서 기능한다. 사용자는 키 프레임이 이하의 속성을 가지고 있기를 기대해야 한다. 1) 보드상의 모든 중요한 컨텐트를 캡쳐해야 한다. 2) 키 프레임의 개수는 최소로 유지되어야 한다. 3) 펜 스트로크와 화이트보드만을 포함해야 하고, 전면에 사람을 포함해서는 안된다. 4) 용이한 잘라냄-및-붙임(cut and paste) 및 인쇄를 위해 일정한 백색 배경 및 짙은 펜 컬러를 가지고 있어야 한다.
키 프레임 추출 절차는 앞서 설명한 처리 단계으로부터의 셀 이미지 분류 결과를 이용한다. 절차는 우선 시퀀스에서 어느 프레임이 키 프레임으로서 선택되는지를 결정한다. 그리고 나서, 키 프레임 이미지를 재구축한다. 이것은 이하에 상세하게 설명된다.
2.3.6.1 키 프레임 선택:
미팅을 요약하는데 단지 하나의 방법만이 존재하지 않는 것처럼, 키 프레임을 선택하는데 유일한 해결책만이 있는 것은 아니다. 대부분의 일반적인 측면에서, 도 11을 참조하면, 스트로크, 포그라운드 또는 화이트보드로서 분류된 입력 이미지 셀이 이용된다(처리 단계 1102). 미팅은 우선 수 개의 챕터(토픽)로 분할된 다(처리 단계 1104). 보드의 상당 부분의 삭제는 통상 토픽의 변경을 나타내므로, 이것이 챕터의 분할자로서 이용된다. 그리고 나서, 화이트보드 컨텐트를 나타내는 키 프레임 이미지가 그 챕터에 대해 생성된다(처리 단계 1106). 중요한 삭제가 시작되기 바로 이전의 프레임이 키 프레임으로서 선택되고, 이는 컨텐트가 이들 프레임들에 보관된다는 것을 보장한다. 도 12에 도시된 바와 같이, 상세한 절차는 이하와 같이 작동한다.
1. 시퀀스의 각 프레임에 대한 스트로크 셀의 개수가 카운팅된다(처리 단계 1202). 하나의 스트로크 셀 이미지는 다수의 프레임에 걸치고, 이들 각 프레임에 대한 카운트에 포함된다. 도 10은 세션 예(도 4)에서 프레임 개수에 대해 플롯팅된 스트로크 셀 카운트를 도시하고 있다. 플롯에서의 상승은 더 많은 스트로크가 보드 상에 기록되어 있다는 것을 나타내고, 여기에서 플롯의 하강은 일부 스트로크가 삭제되었다는 것을 나타낸다. 그래프는 꽤 요란하다. 이것은 2가지 이유, 즉 1) 사용자가 보드 상에 항상 작은 조정을 하고 있고, 2) 분류 결과는 작은 에러를 포함하고 있기 때문이다.
2. 스트로크 카운트를 이용하여, 다양한 프레임에 대해 피크 및 밸리(valley)가 결정된다(처리 단계 1204). 키 프레임이 각 하강에서 생성된다면, 수 십개의 키 프레임들이 결과적으로 나타난다. 키 프레임의 개수를 최소로 유지하기 위해서는, 데이터가 필터링되어 중요한 삭제 이벤트만을 유지한다. 인접하는 피크와 밸리간의 차이가 특정 임계값을 초과하지 않는다면, 절차는 데이터의 변동(fluctuation)을 무시한다(처리 단계 1206). 최대 스트로크 카운트의 20 퍼센 트가 시스템의 연구 실시예에서 성공적으로 이용되었다.
3. 데이터의 밸리가 세션을 챕터로 분할하는데 이용된다(처리 단계 1208). 챕터 내에 피크를 포함하는 프레임이 챕터를 나타내는 키 프레임으로서 선택된다.
2.3.6.2 이미지 재구축:
일단 프레임들이 선택되면, 이들 시점에서 화이트보드가 보이는 것에 대응하는 이미지를 재구축하는 것이 필요하다. 그러나, 미처리된 이미지들은 포그라운드 오브젝트를 포함할 수도 있으므로, 입력 시퀀스로부터 미처리된 이미지들을 단순하게 이용할 수는 없다. 도 13을 참조하면, 셀 이미지로 분할되는 프레임 및 셀 이미지들로 분할되는 키 프레임이 입력된다(처리 단계 1302). 셀 분류에 따라 3가지 경우들이 있다.
1. 키 프레임 셀 이미지가 화이트보드 또는 스트로크인 경우, 그 자신의 이미지가 이용된다(처리 단계 1304, 1306).
2. 키 프레임 포그라운드 셀 이미지가 스트로크의 범위 내에 있다면(즉, 사람이 보드 상의 스트로크를 가리고 있다. 이것은 분석 단계 동안의 시간적 필터링을 통해 결정된다), 이러한 셀 이미지는 인접하는 프레임들로부터의 스트로크 셀 이미지로 대체된다(처리 단계 1308, 1310).
3. 그렇지 않으면, 처리 단계 1312 및 1314에 도시된 바와 같이, 포그라운드 오브젝트는 이러한 셀 내의 화이트보드 배경을 덮고 있어야 하고, 이전에 설명한 바와 같이 계산된 화이트보드 컬러로 채워진다.
2.3.7 키 프레임 컬러 밸런스
재구축 프로세스는 화이트보드 이미지로부터 사람을 제거하지만, 이미지는 여전히 입력 시퀀스로부터의 미처리된 이미지, 즉 회색(grayish) 및 울긋불긋한 색(noisy)처럼 보인다. 이들은 더 나은 이미지를 생성하도록 컬러 밸런싱될 수 있다. 프로세스는 2가지 단계들로 구성된다.
1. 배경을 일정하게 백색으로 만들고, 펜 스트로크의 컬러 채도를 증가시킨다. 각 셀에 대해, 상기 설명된 바와 같이 계산된 화이트보드 컬러, 
은 셀의 각 픽셀의 컬러를 스케일링하는데 이용된다. 
(처리 단계 1402).
2. 이미지 노이즈를 감소시키라. 키 프레임들의 각 픽셀의 각 컬러 채널의 값은 S-형태 커브에 따라 재차 매핑된다(처리 단계 1404). 255/2보다 작은 세기가 0으로 스케일링 다운되고, 255/2보다 큰 세기가 255로 스케일링 업된다.
챕터의 개시 및 종료 시간 및 그 키 프레임 이미지의 파일 이름은 스트로크의 시간 스탬프에 따라 인덱스에 저장된다. 스트로크의 시간 스탬프는 이러한 스트로크가 나타나는 제1 프레임이다. 이러한 정보는 섹션 2.3.3에 계산되었다.
2.4 브라우저 동작 및 사용자 인터페이스
2.4.1 개관
분석 서버가 이미지 시퀀스를 처리하여 인덱스 및 키 프레임 이미지를 생성한 후, 등록된 세션 참가자들에게 처리된 레코딩에 대한 URL과 함께 이메일을 전송한다. 사용자는 URL을 클릭하여 브라우징 소프트웨어를 런칭할 수 있다. 브라우 징 소프트웨어의 목적은 사용자들이 키 프레임 이미지를 보고 특정 토픽과 연관된 오디오에 신속하게 액세스할 수 있도록 하는 것이다.
브라우징 소프트웨어의 사용자 인터페이스(UI)는 도 15에 도시되어 있다. UI의 주 영역은 키 프레임 썸네일(thumbnail, 1502, 키 프레임 이미지의 그래픽 표현)이 표시되는 키 프레임 페인(1504), 및 카메라로부터의 미처리된 이미지(1512) 및 현재의 키 프레임 이미지(1502)의 조합을 나타내는 브라우저의 메인 표시 페인을 포함한다. 키 프레임 페인(1504)은 또한 미처리된 입력 이미지로부터 키 프레임 이미지로 주 표시 페인(1506)에 표시되는 이미지를 사용자가 조정할 수 있도록 하는 배경 투명도(transparency) 슬라이더(1516)를 포함한다. 미팅 재생 시간선에 이미 기록되었던 스트로크인 현재 펜 스트로크(1510)는 주 표시 메인에서 미팅 재생 시간선에서 아직 기록되지 않았던 미래 스트로크(1508)보다 더 어둡고 더 명확하게 렌더링된다. 참가자들이 미래 스트로크(1508)에서 기록할 예정인 펜-스트로크가 희미한(ghost-like) 스타일로 도시된다. 이러한 시각화 기술은 이하에 더 상세하게 설명된다.
VCR 및 표준 시간선 제어(1514)는 주 표시 페인(1506) 이하, 브라우저 UI의 하단 좌측 코너에 제공된다. VCR 및 표준 시간선 제어(1514)는 전형적인 VCR에서 발견되는 제어와 매우 유사하게, 사용자가 이미지/오디오 시퀀스에서 시퀀스 백워드 또는 포워드할 수 있도록 하거나, 중지할 수 있도록 한다. 시간선 바(1518)는 오디오/이미지 시퀀스의 길이를 바로서 그래픽적으로 표시하고, 미팅 재생의 시작 시간, 종료 시간 및 현재 시간의 숫자값을 제공한다. 이러한 바(1518) 상의 포인 터(1520)는 선택되어 포워드 및 백워드로 드래깅됨으로써, 이미지/오디오 시퀀스에서 선형으로 시퀀스 포워드 및 백워드를 수행한다.
유의할 점은, 일부 상기 언급한 UI 요소들의 위치가 주어지더라도, 이것은 제한하는 것을 의미하는 것은 아니라는 점이다. 이들 UI 요소들은 단독 또는 다른 요소들과 조합하여 디스플레이 상의 임의의 위치에서 렌더링될 수 있다.
2.4.2 미팅 데이터에 대한 비선형 액세스
레코딩된 오디오에 대한 비선형 액세스의 2가지 레벨들이 비주얼 인덱싱의 정황에서 제공되었다.
비선형 액세스의 제1 레벨은 키 프레임 썸네일(1502)의 이용을 통해서이다. 각 키 프레임 썸네일은 디스플레이 상에서 그것과 연관된 시간 범위를 가지고 있다. 사용자는 키 프레임 썸네일을 클릭하여, 대응하는 키 프레임에 대한 오디오의 시작점(예를 들면, 챕터의 시작)으로 점프할 수 있다.
레코딩된 오디오에 대한 액세스의 제2 레벨은 각 키 프레임의 펜 스트로크의 이용을 통해서이다. 커서가 주 윈도우(1506)에서 펜 스트로크 셀(현재 스트로크(1510) 또는 미래 스트로크(1508)) 상을 호버링하고 있는 경우에, 커서는 선택가능하다(예를 들면, 마우스로 "클릭 가능함")는 것을 나타내는 "손"심볼로 변경된다. 마우스 또는 다른 입력 디바이스로 셀 상을 더블 클릭하면, 어플리케이션이 오디오 재생 모드로 변경된다. 재생은 클릭된 스트로크 셀이 기록되었던 세션의 시간으로부터 시작한다. 클릭된 스트로크가 기록되었던 때는 동일한 패턴의 셀 이미지가 시퀀스에 나타나는 가장 이른 시간이다. 주 윈도우가 개시되어 그 시각의 이미지를 보여준다. 사용자는 계속해서 다른 스트로크 셀들을 클릭하여 세션의 다른 부분으로 점프할 수 있다.
VCR 및 표준 시간선 제어(1514)와 함께, 이들 2가지 비주얼 인덱싱 레벨은 사용자가 미팅을 매우 효율적인 방식으로 브라우징할 수 있도록 한다.
2.4.3 이미지 뷰잉
도 15에 도시된 바와 같이, 키 프레임 이미지들의 썸네일(예를 들면, 1502)은 키 프레임 페인(1504)에 리스트된다. 마우스 커서 또는 다른 입력 디바이스로 썸네일(1502) 중 하나를 선택하면, 대응하는 키 프레임 이미지를 좌측의 주 윈도우(1506)로 가져오고, 어플리케이션을 이미지 뷰잉 모드로 전환하여 사용자는 줌 제어 버튼(1522)을 이용하여 줌인 및 줌 아웃할 수 있으며, 이미지의 텍스트와 그림을 판독할 수 있거나, 이미지의 일부를 잘라서 다른 문서에 붙일 수 있다. 추가로, 전체 키 프레임은 잘라져 다른 문서에 붙여지거나 노트로서 인쇄될 수 있다.
2.4.4 화이트보드 컨텐트 시각화
키 프레임 이미지 및 시간 스탬프 정보가 주어지면, 임의의 주어진 시각에 화이트보드 컨텐트에 대응하는 이미지가 재구축될 수 있다. 매 프레임의 이미지가 시간선 제어(1514)를 이용하여 오디오 재생 시간에 따라 렌더링된다면, 주 윈도우는 화이트보드 컨텐트를 영화처럼 재생한다. 이러한 접근법을 이용하면, 사용자들은 세션에 대한 청각 및 시각적 정황(context) 모두를 가진다. 그러나, 이들은 이들 스트로크가 주 윈도우에서 아직 렌더링되지 않았으므로 이들을 시간상 포워드하는 임의의 펜 스트로크(미래 스트로크(1508))를 클릭할 수 없다.
화이트보드 캡쳐 시스템의 초기 구현에서, 미래 스트로크는 와시-아웃(wash-out) 모드로 도시되어 있다. 그러나, 짧은 시험 기간 후에, 브라우저의 사용자는 깨끗하게 삭제되지 않은 스트로크와 미래 스트로크를 혼동했다. 인터페이스에 관한 다른 불만은 사용자가 앞에 사람이 없는 화이트보드 이미지를 좋아하지만 종종 누가 스트로크를 기록했는지를 알고 싶어한다는 점이었다.
여러 번의 설계 반복 후에, 상기 언급한 모든 문제를 충족하는 도 16에 도시된 이하의 시각화 프로세스가 결정되었다. 이러한 프로세스의 처리 단계는 이하와 같다.
1. 현재 챕터의 키 프레임 이미지 및 시간 스탬프 정보를 이용하여 현재 화이트보드 컨텐트를 렌더링한다(처리 단계 1602).
2. 미래 스트로크를 렌더링하고, 결과를 그레이 스케일로 변환하여, 가우스 필터를 이용하여 이들을 흐리게 한다(처리 단계 1604).
3. 단계 1 및 단계 2로부터의 이미지를 가산한다(처리 단계 1606).
4. 입력 시퀀스로부터의 교정된 이미지와, 단계 3으로부터의 이미지를 알파-혼합한다(처리 단계 1608). 교정된 이미지는 입력 시퀀스로부터의 대응하는 이미지이지만(도 4에 도시된 바와 같음) 비-화이트보드 영역이 잘라지며, 이어서 사각형 형태로 재사상된다. 사용자는 GUI 슬라이더(도 15의 1516)로 렌더링된 키 프레임 화이트보드 이미지만을 보여주는 0에서 정확하게 원래 교정된 이미지를 보여주는 1까지 알파값을 제어할 수 있다. 렌더링된 키 프레임 화이트보드 이미지는 포그라운드 오브젝트가 제거된 키 프레임 이미지이고, 그것이 차단하는 스트로크에 의해 대체된다.
이것은 1) 현재 및 미래 스트로크 모두가 렌더링된 화이트보드 이미지 상에 도시되어 사용자가 과거로의 백워드 및 미래로의 포워드로 점프할 수 있도록 하고, 2) 키 프레임과 교정된 입력 이미지를 혼합하는 것은 포그라운드 오브젝트를 추가하며 따라서 더 많은 정황을 제공하므로, 시각화의 매우 유익한 방법이라고 생각된다. 알파=0.8인 시각화의 예에 대해 도 15를 참조하라.
2.5
보안
미팅 참가자들은 의도하지 않는 사람들이 민감한 정보를 볼 수도 있으므로 미팅을 레코딩하는데 대해 통상 걱정한다. 그들을 위해, 레코딩된 데이터를 안전하게 지키는 것이 중요하다. 이러한 관심사에 대응하기 위해, 단순한 토큰-기반 액세스 보안 모델이 개발되었다. 이러한 프로세스의 처리 단계가 도 17에 도시되어 있다.
화이트보드 캡쳐 시스템에서, 미팅 참가자들은 미팅 레코딩의 초기에 캡쳐 소프트웨어로 등록되도록 요청받는다(처리 단계 1702). 이들은 컴퓨터 스크린 상의 다이얼로그 박스 내의 이메일 별칭(aliase)을 입력하거나, 프로세스를 가속화시켜 그 통합 식별 카드를 스마트카드 판독기에 삽입하여 등록한다.
모든 레코딩된 세션은 웹 서버 상에 상주한다. 아무도 등록하지 않으면, 미팅이 공개적으로 액세스가능한 웹 페이지 상에 포스팅된다(처리 단계 1704, 1706). 적어도 하나의 참가자가 등록하면, 미팅 레코딩 및 분석 후에 액세스 토큰이 생성된다(처리 단계 1708). 토큰은 고유 미팅 식별자를 포함하는 랜덤하게 생성된 긴 스트링이다. 토큰을 포함하는 URL은 등록된 참가자에게 이메일로 보내진다(처리 단계 1710). 수신자들은 URL로 가서 웹 브라우징 소프트웨어를 런칭하여 미팅을 다시 볼 수 있다(처리 단계 1712). 이들은 미팅에 참석하지 않은 사람들에게도 URL을 포워딩할 수 있다.
이러한 간단한 보안-불명료 모델(Object-by-Obscurity model)이 잘 작동하는 것 같다. 그러나, 다른 보안 측정도 채용될 수 있다.
화이트보드 캡쳐 시스템의 상기 언급한 보안 특징뿐만 아니라, 미팅을 레코딩하면서 프라이버시 모드도 가용하다. 미팅 참가자들이 레코딩하기를 원하지 않는 것을 말하거나 기록하려면, 이미지 및 오디오 데이터 모두의 이전 15초(다른 규정된 기간이 이용될 수도 있음)를 삭제하는 특징이 존재한다. 이러한 삭제는 물리적 또는 GUI 버튼을 누름으로써 개시된다.
2.6
다른 실시예
상기 언급한 기본 화이트보드 캡쳐 시스템은 다수의 다른 기술 및 디바이스와 조합되어 추가 실시예들을 렌더링할 수 있다. 이하에 설명되는 다수의 실시예들은 단독으로 또는 조합되어 이용될 수 있다.
하나의 그러한 실시예에서, 종래 광학 문자 인식(OCR)이 키 프레임에 대해 수행되어 문서 또는 프리젠테이션 뷰 그래프를 생성하는데 용이하게 이용되는 편집가능한 텍스트를 제공한다.
다른 실시예에서, 종래 음성 인식 소프트웨어는 캡쳐된 데이터의 오디오 부분을 텍스트로 변환하는데 이용된다. 이것은 미팅 회의록 및 다른 문서의 생성을 용이하게 할 수 있도록 한다. 이것은 또한 청각이 손상된 이들에게 미팅 정보를 제공하는 비교적 저가의 방법을 제공한다.
화이트보드 캡쳐 시스템은 예를 들면 삼각대 상에 마이크로폰과 카메라를 구비하는 노트북 컴퓨터를 이용함으로써 휴대가능하게 될 수도 있다. 이러한 구성은 화이트보드에 대한 카메라의 위치를 결정하는데 추가적인 초기 컬리브레이션만을 필요로 한다. 이러한 컬리브레이션은 이미지의 패널의 4개 코너를 수동으로 결정함으로써 수동으로, 또는 에지 검출과 같은 종래 방법을 이용함으로써 자동으로 수행될 수 있다.
화이트보드 캡쳐 시스템의 분석 소프트웨어는 화이트보드 컨텐트를 유추하기 위해 펜 추적을 이용하는 화이트보드 캡쳐 시스템으로 키 프레임을 결정하는데 이용될 수도 있다. 펜 좌표의 이력은 통상 이들 시스템에서 벡터 형태로 캡쳐되므로, 임의의 주어진 순간의 화이트보드 상의 컨텐트가 나중에 재구축될 수 있다. 그러한 시스템과 함께 화이트보드 캡쳐 시스템 분석 소프트웨어를 이용하는 것은 분석 프로세스를 단순화시킨다. 화이트보드 배경 컬러 또는 필요한 화이트보드 영역 교정의 어떠한 결정도 없고, 공간적 및 시간적 필터링이 전혀 요구되지 않으며, 화이트보드 셀의 분류는 셀 이미지들이 스트로크 또는 화이트보드이므로 더 간단하게 된다. 왜냐하면, 어떠한 포그라운드 오브젝트도 화이트보드 상에 기록된 텍스트와 간섭되지 않기 때문이다. 이제, 셀 "이미지"들이 화이트보드 영역 상의 펜 위치에 의해 유추되는 컨텐트로부터 도출된다. 본 발명의 본 실시예는 기본적으로 셀 "이미지들"을 도 5, 처리 단계 506에 도시된 바와 같이 클러스터링하고, 포그라 운드 셀이 전혀없는 경우를 제외하고는 처리 단계 508과 유사하게 각 셀을 스트로크 또는 화이트보드 셀로서 분류하며, 분류 결과를 이용하여 키 프레임 이미지를 추출한다(처리 단계 512). 결과들은 낮은 대역폭 및 작은 저장장치로 송신되어 저장될 수 있다. 추가적으로, OCR은 본 실시예에서도 캡쳐된 키 프레임을 복사하는데 이용될 수 있다.
추가적으로, 화이트보드 캡쳐 시스템의 연구 실시예에서, 시스템의 프레임 레이트는 상용 스틸 카메라의 프레임 레이트에 의해 제한된다. 더 높은 프레임 레이트를 달성하기 위해서는, HDTV 카메라와 같은 고해상도 비디오 카메라가 이용될 수 있다.
또 다른 실시예에서, 화이트보드 캡쳐 시스템은 제스쳐 커맨드를 이용하는 제스쳐 인식을 포함한다. 예를 들면, 커맨드 박스는 화이트보드 상의 어딘가에 기록될 수 있다. 사용자가 모션을 하거나 박스를 포인팅하는 경우, 시스템은 제스쳐 인식을 이용하여 제스쳐가 취해졌던 특정 시각의 이미지를 시간 스탬프한다.
기본적인 어플리케이션에서, 분석 프로세스는 화이트보드 배경의 컬러가 입력 시퀀스에서 일정하게 유지된다고 가정한다. 그러나, 주지의 컬러 패치가 아무도 카메라로부터 그것을 차단할 수 없는 화이트보드의 상부 상에 설치될 수 있다. 그리고나서, 소프트웨어는 용이하게 검출가능한 이러한 패치의 주지의 컬러 특성에 기초하여, 프레임-당 기반으로 다른 조명 조건에 대한 카메라 노출 파라미터를 조정할 수 있다. 이것은 이하와 같이 수행된다. 노출 파라미터가 일정하게 유지되면, 패치의 컬러는 캡쳐된 이미지에서 방에서의 다른 조명 조건과 다를 수 있다. 카메라는 패치의 컬러가 이전 프레임에서 무엇인지가 주어지는 노출 파라미터를 조정할 수 있다. 패치의 컬러는 지정된 범위내에서 유지될 수 있으므로, 화이트보드 영역이 될 것이다.
3.0
시스템 성능 및 용도
3.1
배경
화이트보드 캡쳐 시스템의 설계 목적은 1) 현재의 임의의 화이트보드와 작동하고, 2) 화이트보드 컨텐트를 자동으로 그리고 신뢰성있게 캡쳐하며, 3) 상기 시스템을 이용하여 레코딩된 미팅을 효율적으로 브라우징하기 위하여 화이트보드 컨텐트를 비주얼 인덱스로서 이용하는 것이었다.
센스 메커니즘이나 전자 화이트보드를 이용하는 화이트보드 캡쳐 시스템과 비교할 때, 화이트보드 캡쳐 시스템은 또한 고유 기술 챌린지 세트를 구비하고 있다. 첫째로, 화이트보드 배경 컬러는 각 방이 세션별로 가변될 수 있는 수 개의 조명 설정을 가지고 있으므로 통상 미리-컬리브레이션되지 않는다(예를 들면, 빈 화이트보드의 사진을 찍음). 두 번째로, 빈번하게도, 사람들은 디지털 카메라와 화이트보드 사이를 움직이고, 이들 포그라운드 오브젝트들은 화이트보드의 일부를 가리고 그 위에 그림자를 드리운다. 시퀀스 내에서, 완전히 차단되지 않는 프레임은 전혀 없다. 이들 문제들은 시간 스탬프를 계산하고 키 프레임을 추출하기 위해 다루어져야만 한다.
3.2
시스템 컴포넌트
화이트보드 캡쳐 시스템의 설계 동안에, 프로토타입 시스템이 구축되어 반복 적으로 개선되었다. 3개의 회의실에는 화이트보드 캡쳐 시스템을 구비되어 있다. 이들 3개의 회의실에 관한 정보는 이하의 표에 리스트되어 있다. 샘플 이미지(80 x 80 픽셀, 보드 상의 약 96 포인트 폰트)는 도 18a(이미지는 좌측에서 우측으로 회의실 1, 회의실 2 및 회의실 3에 각각 대응한다)에 도시되어 있다.
| 3개의 설치 위치에 대한 정보 | |||
| 회의실 1 | 회의실 2 | 회의실 3 | |
| 보드 치수(피트) | 4 x 3 | 8 x 5 | 12 x 5 |
| 키 프레임 이미지 치수(픽셀) | 1200 x 900 | 2400 x 1500 | 2400 x 1000 |
| 해상도(dpi) | 25 | 25 | 16.7 |
이들 회의실의 화이트보드의 크기가 가변되어서, 생성되는 키 프레임 이미지의 품질도 또한 가변된다. 샘플 이미지(도 18a)로부터 알 수 있는 바와 같이, 12'x5'보드 상의 기록은 4 메가-픽셀 입력 이미지에 대해 해상도가 최대이므로, 나머지 2개의 보드 상에서의 것들보다 더 흐릿하다(최우측). 그럼에도 불구하고, 이들은 상당히 읽기 쉽다. 12′x 5′화이트보드(도 18b) 및 대응하는 키 프레임(도 18c 및 18d)을 이용하는 세션으로부터의 수 개의 선택된 프레임들이 또한 도시되어 있다.
시스템은 특정 펜 및 지우개가 필요하지 않고 현재의 임의의 화이트보드를 이용하여 작동하는 것이므로, 직접 캡쳐(direct capture) 디바이스, 스틸 카메라가 화이트보드 컨텐트를 캡쳐하도록 선택되었다. 화이트보드 캡쳐 시스템의 예로 든 연구 실시예에서, 4메가 픽셀을 가지는 캐논? PowerShot G2 디지털 스틸 카메라가 이용되었다. 이러한 카메라는 6′x 4′보드에 대해 31.6dpi에 등가인 2272 x 1704 픽셀의 이미지를 제공한다. 이 카메라가 선택된 하나의 중요한 이유는 기록될 주문형 소프트웨어 솔루션이 PC로부터 카메라를 제어할 수 있도록 하는 소프트웨어 개발 키트의 가용성 때문이었다. 이러한 소프트웨어는 모든 카메라 파라미터를 촬영별 기반으로 가상으로 지정할 수 있다. 시스템이 화이트보드를 직접 촬영하므로, 펜 스트로크의 오류 등록이 존재하지 않는다. 사용자가 삭제하기 전에 시스템을 턴 온 한다면, 컨텐트는 보존된다.
분석 서버는 펜티엄 Ⅲ 800MHz 듀얼 CPU PC에서 운용된다. 분석 프로세스는 세션 시간의 매 시간에 약 20분을 차지한다. 16비트 11KHz 모노 오디오에 대한 저장장치 요건은 MP3 인코딩을 이용하여 시간당 약 15MB를 차지한다. 입력 이미지 시퀀스는 모션 JPEG 압축을 이용하여 시간당 약 34MB가 필요하다.
3개의 회의실에 설치된 시스템들은 여러 팀에 의해 자주 이용되었다. 6주의 기간 동안, 전체 48 시간의 108 세션이 레코딩되었고, 평균 세션당 27분이었고, 주당 4.5세션이었다. 세션 당 키 프레임의 평균 개수는 2.7이었다. 키 프레임 이미지는 JPEG 포맷으로 저장되었다. 평균 이미지 크기는 51.8Kb였다. 크기는 17Kb에서 150Kb 사이였다. JPEG 압축이 균일한 백색 배경에서 극히 잘 작동하므로, 이미지 크기는 이미지 치수보다 사용자가 보드 상에 얼마나 많이 기록하고 있는지에 더 관련된다.
시스템의 모든 사용자들은 시스템이 화이트보드를 광범위하게 이용하는 미팅에 매우 유용하다고 생각했다. 키 프레임 이미지 및 비주얼 인덱싱 성능은 참가자들이 미팅을 나중에 다시 볼 수 있게 하고, 미팅에 참석하지 못한 이용자들이 실제 미팅 시간의 일부 시간으로 미팅의 요점을 이해할 수 있도록 한다.
일부 사용자들은 초기에 의도하지 않았던 시스템을 이용하는 새로운 방법을 발견했다. 화이트보드에 기록하는 것이 필요하지 않는 상태(status) 미팅을 예로 들어보자. 사람들은 여전히 화이트보드 캡쳐 시스템을 턴 온했다. 어떤 사람이 말할 순서가 됐을 때, 매니저는 그 이름을 보드 상에 기록하고, 키 프레임 이미지에서 이름을 클릭함으로써, 스피치 세그먼트가 레코딩된 오디오에서 나중에 용이하게 발견되도록 했다. 다른 예는 브레인스토밍 세션동안으로서, 일부가 좋은 아이디어를 생각했을 때, 보드의 측면 상에 별표를 기록하였고, 그것을 크게 읽었다. 그러면, 오디오는 별표를 클릭함으로써, 나중에 검색될 수 있다.
본 발명의 상기 설명은 예시 및 설명의 목적상 제공되었다. 이는 완전한 것이 아니며, 본 발명을 개시된 간단한 형태로 제한하려고 하는 것도 아니다. 상기 내용에 측면에서 다양한 변형 및 변동이 가능하다. 본 발명의 범주는 상기 상세한 설명에 의해 제한되지 않고 이하에 첨부되는 특허청구범위에 의해서만 제한된다.
부록 : 면-기반 화이트보드 컬러 추정
컬러 이미지의 단지 하나의 컴포넌트만이 고려되지만, 이하의 설명된 기술은 모든 컴포넌트(R, G, B 또는 Y)에 적용한다. 각 셀 I는 그 이미지 좌표(xi, yi)에 의해 정의된다. 그 컬러는 zi(z=R, G, B, 또는 Y)로 지정된다. 컬러는 섹션 2.3.2에 설명된 바와 같이 계산되고, 그 결과 노이즈 및 심지어 에러도 있다. 회의실에서의 경험으로부터, 화이트보드의 컬러가 규칙적으로 가변된다. 통상 상부가 훨씬 더 밝고 하부쪽으로 더 어둡게 되며, 또는 상부 코너 중 하나에서 훨씬 더 밝게 되고 반대 하부 코너를 향해 더 어둡게 된다. 이것은 조명이 천정에 설치되어 있기 때문이다. 그러므로, 로컬 영역(예를 들면, 7x7 셀)에 대해, 컬러는 면에 의해 정확하게 고정될 수 있다. 전체 이미지에 대해, 면 고정은 여전히 매우 합리적이며, 셀 컬러가 아웃라이어인지 여부에 대한 강력한 표시를 제공한다.
면은 ax+by+c-z=0에 의해 표현될 수 있다. zi에서만 노이즈를 가지는 3D 포인트 집합{(x, y, z)│i=1,...,n}이 주어진다. 면 파라미터 p=[a,b,c]T는 이하의 목적 함수, 
(여기에서, fi=axi+byi+c-zi)를 최소화함으로써 추정될 수 있다. 최소 제곱 솔루션은 p=(ATA)-1ATz, 여기에서 
및 z=[z1, ..., zn]T에 의해 주어진다. 일단 면 파라미터가 결정되면, 셀 I의 컬러가 
에 의해 대체된다.
최소 제곱 기술은 에러 데이터(아웃라이어)에 강력하지 못하다. 상기 언급한 바와 같이, 처음에 계산된 화이트보드 컬러는 아웃라이어를 포함한다. 아웃라이어를 검출하여 거절하기 위해, 전체 화이트보드 이미지에 면을 고정하는 강력한 기술이 이용된다. 아웃라이어가 될 데이터의 거의 절반을 허용할 수 있는 매우 강력한 기술인 최소-평균-제곱[11]이 이용된다. 아이디어는 제곱된 에러, 즉 
의 합보다는 평균을 최소화함으로써 파라미터를 추정하는 것이다. 우선, 3개의 포인트의 m 랜덤 서브샘플들이 그려진다(3은 면을 정의하는 최소 개수이다). 각 서브-샘플은 면의 추정을 제공한다. 숫자 m은 m개의 서브 샘플들 중 적어도 하나가 양호할 확률이 1에 근접하도록, 말하자면 99%가 될 만큼 충분히 커야 한다. 데이터의 절반이 아웃라이어라고 가정하면, m=35이고, 따라서 랜덤 샘플링이 매우 효율적으로 수행될 수 있다. 각 서브-샘플에 대해, 면 파라미터 및 제곱된 에러 fi
2의 평균이 계산된다. 제곱된 에러의 최소 평균을 제공하는 면 파라미터가 유지되었고, M으로 지칭된다. 그리고나서, 소위 강력한 표준 편차 σ=1.4826√M(계수는 아웃라이어가 존재하지 않는 경우에 동일한 효율을 달성하는데 이용된다)가 계산된다. 포인트 I는 아웃라이어로 간주되고, 
인 경우에 폐기된다. 마지막으로, 면은 상기 언급한 최소-제곱 기술을 이용하여 양호한 포인트로 고정된다. 아웃라이어 셀 I의 컬러는 
으로 대체된다.
본 발명은 캡쳐된 이미지에 대해 분석을 수행함으로써 펜 스트로크의 시간 스탬프 및 키 프레임을 계산함으로써 레코딩된 오디오에 대한 효과적이며, 일반 화이트보드를 채용함으로써, 변형없이 현재의 임의의 화이트보드와 함께 이용될 수 있는 효과를 나타낸다.
Claims (82)
- 오디오 비주얼 컨텐트를 요약하고 인덱싱하기 위한 방법으로서,비-전자적 화이트보드 상에 기록된 컨텐트의 이미지들의 시퀀스를 카메라로 캡쳐하는 단계;상기 이미지들의 시퀀스와 상관된 오디오 신호들을 레코딩하는 단계; 및보드 컨텐트의 키 포인트들을 요약하는 키 프레임들을 분리하도록, 상기 이미지들의 시퀀스를 분석하는 단계를 포함하고,상기 분석하는 단계는,상기 이미지들의 시퀀스에서의 매 이미지의 화이트보드의 뷰를 교정하는 단계;화이트보드 배경 컬러를 추출하는 단계;상기 이미지들의 시퀀스의 각 이미지를 셀들로 분할 - 각각의 상기 셀은 하나의 셀 이미지를 나타냄 - 하는 단계;시간에 따라 각 셀에 대한 이미지들의 시퀀스 전체에 걸쳐 셀 이미지들을 클러스터링하는 단계;각 셀 이미지를 스트로크, 포그라운드 오브젝트 또는 화이트보드 셀로서 분류하는 단계; 및상기 분류 결과를 이용하여 키 프레임 이미지들을 추출하는 단계를 포함하는,오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제1항에 있어서, 오디오 레코딩들을 상기 키 프레임들과 상관시키는 단계를 더 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제2항에 있어서, 상기 오디오 신호들은 상기 레코딩된 오디오 및 상기 이미지들의 시퀀스 모두와 연관된 시간 스탬프들에 의해 상기 이미지들의 시퀀스와 상관되는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제3항에 있어서, 상기 이미지들의 시퀀스에서의 원하는 포인트에서 상기 이미지들의 시퀀스와 상기 상관된 오디오 신호들을 액세스하는 단계를 더 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제4항에 있어서, 상기 키 프레임들은 상기 시퀀스에서의 상기 원하는 포인트를 선택하는데 이용되는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 삭제
- 제1항에 있어서, 상기 분류 결과를 정교하게 하기 위해, 상기 셀 이미지들을 공간적으로 필터링하는 단계를 더 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제1항에 있어서, 상기 분류 결과를 정교하게 하기 위해, 상기 셀 이미지들을 시간적으로 필터링하는 단계를 더 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제1항에 있어서, 상기 화이트보드를 교정하는 단계는,이미지에서 상기 화이트보드의 4개 코너를 지정하는 단계;각 이미지의 임의의 비-화이트보드 영역을 잘라내는(cropping) 단계; 및상기 이미지들의 시퀀스 중 캡쳐된 각 이미지에서 잘라내어지고 교정된 화이트보드 이미지를 얻도록, 이중-큐빅(bi-cubic) 보간법을 이용하여 각 화이트보드 영역에 대해 이중-선형(bi-linear) 와핑(warp)을 사각형태로 수행하는 단계를 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제1항에 있어서, 화이트보드 배경 컬러를 추출하기 위한 단계는,최대 휘도 및 최소 편차를 가지는 화이트보드 셀들을 결정하는 단계;화이트보드 컬러의 임의의 구멍(hole)들을 결정하는 단계; 및상기 구멍 주위의 화이트보드 셀들을 탐색하고 구멍이 아닌 가장 가까운 셀의 컬러로 설정함으로써 각 구멍을 채우는 단계를 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제1항에 있어서, 화이트보드 배경 컬러를 추출하기 위한 단계는,화이트보드 이미지 휘도를 히스토그래밍하는 단계;피크 화이트보드 휘도를 결정하는 단계;피크 휘도에 대응하는 컬러를 초기 화이트보드 컬러로서 지정하는 단계;임의의 화이트보드 컬러 아웃라이어(outlier) - 상기 아웃라이어는 에러 데이터를 나타냄 - 를 결정하는 단계;임의의 아웃라이어를 구멍들로서 마크하는 단계; 및구멍 주위의 셀을 검색하고 구멍이 아닌 가장 가까운 셀의 컬러로 컬러를 설정함으로써, 각 구멍을 채우는 단계를 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제11항에 있어서, 각 구멍을 채운 후에 화이트보드 컬러 이미지를 필터링하는 단계를 더 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제12항에 있어서, 상기 아웃라이어는 최소-평균 제곱 기술(least-median squares technique)을 이용하여 검출되는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제13항에 있어서, 상기 최소-평균 제곱 기술은,제곱된 에러의 평균을 최소화함으로써 휘도 Y 또는 RGB 공간에서 면을 고정(fitting)하는 단계; 및이러한 모델을 따르지 않는 셀들을 아웃라이어로 지정하는 단계를 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제12항에 있어서, 상기 화이트보드 이미지를 필터링하는 단계는 적, 녹, 청(RGB) 컬러 공간에서 면을 고정하는 단계를 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제1항에 있어서, 상기 각 이미지를 셀들로 분할하기 위한 단계는 각 이미지를 셀들로 분할하는 단계를 포함하고, 셀 크기는 상기 보드 상에 기록된 단일 문자와 동일한 크기인, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제12항에 있어서, 상기 셀 크기는 1픽셀 x 1픽셀인, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제1항에 있어서, 상기 셀 이미지들을 클러스터링하기 위한 단계는 시간에 따라 동일한 것으로 간주되는 셀 이미지들을 클러스터링하는 단계를 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제18항에 있어서, 상기 시간에 따라 동일한 것으로 간주되는 셀 이미지들을 클러스터링하는 단계는, 한 번에 2개의 셀을 비교하기 위해 정규화된 교차-상관 기술(normalized cross-correlation technique)을 이용하여 셀 이미지들이 동일한지를 결정하는 단계를 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제1항에 있어서, 상기 셀 분류 단계는,RGB 값들이 동일하다면, 셀 이미지를 화이트보드 셀로서 지정하는 단계;상기 셀이 하나 또는 2개의 원색이 혼합된 회색 또는 백색이라면, 셀 이미지를 스트로크 셀로서 지정하는 단계; 및화이트보드 셀 또는 스트로크 셀의 특성을 가지지 않는다면 셀 이미지를 포그라운드 셀로서 지정하는 단계를 더 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 삭제
- 제20항에 있어서,상기 셀 이미지가(여기에서,
은 화이트보드 컬러이며, σw는
로부터의 표준 편차이고,
는 현재 셀의 평균 컬러이며, σ는
의 표준 편차이고, Tw=2 및 Tσ=2임)인 경우에만 화이트보드 셀로서 분류되고,
그렇지 않으면 포그라운드 오브젝트 셀로서 분류되는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법. - 제7항에 있어서, 상기 셀 이미지들을 공간적으로 필터링하는 단계는,분리된 포그라운드 셀들을 식별하는 단계;분리된 포그라운드 셀들을 스트로크 셀들로서 재분류하는 단계;포그라운드 셀들에 접속된 스트로크 셀들을 식별하는 단계; 및포그라운드 셀들에 접속된 스트로크 셀들을 포그라운드 셀들로서 재분류하는 단계를 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제8항에 있어서, 상기 셀 이미지들을 시간적으로 필터링하는 단계는,각 셀이 포그라운드 셀로서 분류되기 전후에 동일한 스트로크 셀을 포함하였었는지를 결정하도록 시간에 따라 각 셀을 평가하는 단계; 및셀이 스트로크 셀로서 분류되기 전후에 동일한 스트로크 셀로서 분류되었었다면, 해당 셀을 스트로크 셀로서 분류하는 단계를 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제1항에 있어서, 상기 키 프레임 추출 단계는,상기 분류 결과를 입력하는 단계;상기 이미지들의 시퀀스 내의 각 프레임에 대한 상기 스트로크 셀들을 카운팅하는 단계;상기 스트로크 카운트의 피크 및 밸리를 결정하도록, 상기 프레임들에 대한 스트로크 카운트를 이용하는 단계; 및각각의 인접하는 피크 및 밸리 간의 차가 규정된 임계값을 초과하는 경우, 밸리간의 데이터를 챕터(chapter)로서, 그리고 각 챕터 내의 피크를 상기 챕터를 나타내는 키 프레임으로서 지정하는 단계를 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제25항에 있어서, 상기 추출된 키 프레임들의 상기 셀 이미지들을 재구성(reconstructing)하는 단계를 더 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제26항에 있어서, 상기 추출된 키 프레임들의 상기 셀 이미지들을 재구성하는 단계는,상기 이미지들의 시퀀스의 분류된 셀 이미지들 및 셀 이미지들로 분할된 키 프레임들을 입력하는 단계;키 프레임 셀 이미지가 화이트보드 이미지 또는 스트로크 이미지로서 분류되는 경우에, 그 이미지가 렌더링되는 단계;키 프레임 포그라운드 셀 이미지가 스트로크의 범위 내에 있다면, 해당 셀 이미지는 상기 시퀀스의 인접하는 이미지들로부터의 스트로크 셀 이미지로 렌더링되는 단계; 및상기 키 프레임 셀 이미지가 화이트보드 이미지, 스트로크 이미지 또는 스트로크 범위내의 포그라운드 셀로서 분류되지 않는 경우에, 상기 셀 이미지는 화이트보드 이미지로서 렌더링되어 채워지는 단계를 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제1항에 있어서, 상기 키 프레임 이미지들을 컬러 밸런싱하는 단계를 더 포함하고,상기 이미지 품질을 개선하기 위한 상기 키 프레임 이미지들의 컬러 밸런싱은,상기 배경을 일정하게 백색으로 하고, 셀 내의 각 픽셀의 컬러를 스케일링하도록 평균 화이트보드 컬러를 이용함으로써 펜 스트로크들(pen strokes)의 채도를 증가시키는 단계; 및이미지 노이즈를 감소시키는 단계를 더 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제1항에 있어서, 이벤트 데이터를 뷰잉하고 재생하기 위한 그래픽 사용자 인터페이스를 제공하는 단계를 더 포함하고,상기 그래픽 사용자 인터페이스는,화이트보드에 기록된 컨텐트의 미처리된 이미지(raw image) 및 화이트보드 상에 기록된 컨텐트를 요약한 키 프레임 이미지의 조합을 표시하는 메인 표시 페인(pane)을 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제29항에 있어서, 상기 그래픽 사용자 인터페이스는, 화이트보드 상에 기록된 컨텐트를 요약하는 적어도 하나의 키 프레임 이미지의 그래프 표현을 더 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제29항에 있어서, 상기 그래픽 사용자 인터페이스의 상기 메인 표시 페인에 표시된 미처리된 이미지는 이벤트 재생 시간선(playback timeline)의 일부 시점에서 화이트보드에 기록된 컨텐트를 도시하고, 상기 이벤트 재생 시간선은 레코딩된 이벤트 시간선의 재생을 표현하며, 상기 키 프레임 이미지는 상기 미처리된 이미지보다 상기 이벤트 재생 시간선에서 일부 더 늦은 시점에서 화이트보드 상에 기록된 컨텐트를 표시하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제31항에 있어서, 오디오는 상기 미처리된 이미지와 연관되고, 상기 그래픽 사용자 인터페이스의 상기 키 프레임 이미지는 상기 컨텐트가 기록되었던 시각에 레코딩된 연관 오디오 신호들과 상관되는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제31항에 있어서, 상기 그래픽 사용자 인터페이스는, 사용자가 메인 표시 페인에 표시되는 이미지 조합을 상기 미처리된 입력 이미지에서 상기 키 프레임 이미지까지 조정할 수 있도록 하는 배경 투명도 슬라이더(background transparency slider) 컨트롤을 더 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제31항에 있어서, 상기 그래픽 사용자 인터페이스는 상기 이벤트 재생 시간선에 이미 기록된 스트로크들을 나타내는 현재 펜 스트로크들, 및 상기 이벤트 재생 시간선에 아직 기록되지 않은 스트로크들을 나타내는 미래 펜 스트로크들을 표시하는 단계를 더 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제34항에 있어서, 상기 그래픽 사용자 인터페이스의 상기 이벤트 재생 시간선에서 아직 기록되지 않은 스트로크들인 미래 스트로크들은 희미한(ghost-like) 스타일로 도시되어 있는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제29항에 있어서, 상기 그래픽 사용자 인터페이스의 상기 이미지 조합은,시간 스탬프 정보 및 주어진 시간에서의 이미지를 이용하여 현재 화이트보드 컨텐트의 제1 원래 교정된 이미지를 렌더링하는 단계;상기 제1 이미지에 대해 미래 펜 스트로크들의 제2 키 프레임 이미지를 렌더링하고, 상기 미래 스트로크들을 그레이 스케일로 변환하여, 가우스 필터를 이용하여 상기 미래 펜 스트로크들을 흐리게(blur) 하는 단계;상기 제1 및 제2 이미지를 부가하여 결과 이미지를 획득하는 단계; 및입력 시퀀스로부터 상기 교정된 이미지와 상기 결과 이미지를 알파-혼합하여 알파-혼합된 조합 이미지를 얻는 단계에 의해 결정되는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제32항에 있어서, 상기 그래픽 사용자 인터페이스는 이벤트 재생 시간선을 바로서 그래픽 표시하는 시간선 바를 더 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제37항에 있어서, 상기 그래픽 사용자 인터페이스는 이미지 및 오디오 시퀀스에서 선형으로 시퀀스 포워딩 및 백워딩하기 위해, 상기 시간선 바를 따라 포워드 및 백워드로 선택되고 드래깅될 수 있는 상기 바 상의 포인터를 더 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제32항에 있어서, 사용자는 상기 키 프레임 썸네일을 선택함으로써 미팅 재생 시간선에서 상기 키 프레임 이미지에 대응하는 오디오의 시작점으로 점프할 수 있는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제32항에 있어서, 사용자는 상기 그래픽 사용자 인터페이스의 현재 또는 미래 펜 스트로크들 중 하나를 선택함으로써 이벤트 재생 시간선의 현재 펜 스트로크 또는 미래 펜 스트로크가 기록되었던 때에 대응하여 레코딩된 오디오를 액세스할 수 있는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제40항에 있어서, 입력 디바이스의 커서는, 그 커서가 상기 그래픽 사용자 인터페이스의 메인 윈도우에서 현재 스트로크 또는 미래 스트로크 상을 호버링(hovering)하고 있을 때 선택가능하다는 것을 나타내는 심볼로 변경되는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제30항에 있어서, 키 프레임 썸네일을 선택하면, 대응하는 키 프레임 이미지를 상기 그래픽 사용자 인터페이스의 상기 메인 표시 페인에 표시하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제1항에 있어서, 상기 분석 단계는 광학 문자 인식 기술을 이용하여 키 프레임 이미지들로부터 편집가능한 텍스트를 제공하는 단계를 더 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제1항에 있어서, 상기 분석 단계는 음성 인식 기술을 이용하여 상기 이미지들의 시퀀스와 상관되는 상기 오디오 신호들을 텍스트로 변환하는 단계를 더 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 제1항에 있어서, 상기 캡쳐 단계는,상기 화이트보드 상에 주지의 컬러 특성의 컬러 패치(patch)를 설치하는 단계;상기 이미지들의 시퀀스의 한 이미지에서 상기 컬러 패치를 캡쳐하는 단계;상기 이미지에서 상기 컬러 패치에 의해 표시되는 컬러를 결정하는 단계;상기 이미지들의 시퀀스의 다음 이미지에서 상기 컬러 패치를 캡쳐하는 단계;상기 다음 이미지에서 상기 컬러 패치에 의해 표시되는 컬러를 결정하는 단계;상기 이미지에서 상기 패치에 의해 표시되는 컬러가 상기 다음 이미지에서 상기 패치에 의해 표시되는 컬러와의 사이에서 규정된 임계값 이상만큼 달라지는지 결정하는 단계; 및상기 이미지에서 상기 패치에 의해 표시되는 컬러가 상기 다음 이미지에서 상기 패치에 의해 표시되는 컬러와의 사이에서 상기 임계값을 초과하여 달라지는 경우, 상기 카메라의 노출 파라미터를 어느 설정으로 조정하는 단계 - 상기 어느 설정은, 상기 카메라가 상기 어느 설정으로 설정되었다면 상기 다음 이미지에서의 상기 컬러 패치의 상기 컬러를 상기 이미지에서 표시되는 상기 컬러 패치의 상기 컬러에 매칭하도록 하였을 설정임 - 를 더 포함하는, 오디오 비주얼 컨텐트 요약 및 인덱싱 방법.
- 컴퓨터에 의해 실행될 경우 상기 컴퓨터로 하여금 제1항의 방법을 수행하도록 하는 실행가능한 명령어들을 포함하는 컴퓨터 판독가능 기록 매체.
- 미팅의 오디오 및 비디오 컨텐트를 캡쳐하기 위한 시스템으로서,화이트보드 상에 기록되는 데이터의 이미지들의 시퀀스 및 미팅 동안에 발생하는 소리에 대응하는 오디오 신호들을 캡쳐하는 캡쳐 시스템;상기 화이트보드 상에 기록된 키 데이터 프레임들을 추출하고 상기 오디오 신호들을 상기 키 데이터 프레임들에 상관시키는, 이미지들의 시퀀스를 분석하기 위한 분석 서버; 및상기 분석된 미팅 키 데이터 프레임들 및 상관된 오디오를 뷰잉하기 위한 브라우징 모듈을 포함하는, 미팅의 오디오 및 비디오 컨텐트를 캡쳐하기 위한 시스템.
- 제47항에 있어서, 상기 캡쳐 시스템은,상기 이미지들의 시퀀스를 캡쳐하도록 배치된 카메라;상기 오디오 신호들을 레코딩하는 마이크로폰; 및상기 이미지들의 시퀀스 및 오디오 신호들을 레코딩하기 위한 컴퓨터를 포함하는, 미팅의 오디오 및 비디오 컨텐트를 캡쳐하기 위한 시스템.
- 제47항에 있어서,상기 분석 서버는,상기 이미지들의 시퀀스의 매 이미지마다 상기 화이트보드의 뷰를 교정하고,화이트보드 배경 컬러를 추출하고,상기 이미지들의 시퀀스의 각 이미지를 셀 이미지들의 셀들로 분할하고,시간에 따라 각 셀에 대한 이미지들의 시퀀스 전체에 걸쳐 유사한 셀 이미지들을 클러스터링하고,각 셀 이미지를 스트로크, 포그라운드 오브젝트 또는 화이트보드 셀로서 분류하고,상기 분류 결과를 이용하여 키 프레임 이미지들을 추출함으로써,상기 키 데이터 프레임을 식별하는,미팅의 오디오 및 비디오 컨텐트를 캡쳐하기 위한 시스템.
- 제47항에 있어서,상기 캡쳐 시스템은 하나 이상의 사용자가 레코딩이 시작되기 전에 상기 캡쳐 시스템에 사용자 식별자를 등록할 수 있게 하고,적어도 하나의 사용자가 상기 캡쳐 시스템에 등록하면, 상기 분석 서버는 이벤트 레코딩 및 분석 후에 액세스 토큰을 생성하며,상기 액세스 토큰 및 분석된 미팅 데이터의 컴퓨터 메모리 위치가 상기 등록된 사용자 식별자에게 제공되고,상기 하나 이상의 사용자는 상기 분석된 미팅 데이터의 상기 컴퓨터 메모리 위치에 액세스하여 상기 분석된 미팅 데이터를 리뷰하는, 미팅의 오디오 및 비디오 컨텐트를 캡쳐하기 위한 시스템.
- 제50항에 있어서, 상기 분석된 미팅 데이터의 상기 컴퓨터 메모리 위치는 인터넷 웹 사이트의 어드레스인, 미팅의 오디오 및 비디오 컨텐트를 캡쳐하기 위한 시스템.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/178,443 | 2002-06-19 | ||
| US10/178,443 US7260257B2 (en) | 2002-06-19 | 2002-06-19 | System and method for whiteboard and audio capture |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20030097669A KR20030097669A (ko) | 2003-12-31 |
| KR100996787B1 true KR100996787B1 (ko) | 2010-11-25 |
Family
ID=29734689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020030039402A KR100996787B1 (ko) | 2002-06-19 | 2003-06-18 | 오디오 비주얼 컨텐트 요약 및 인덱싱 방법, 이 방법을 수행하도록 실행가능한 컴퓨터 판독가능 기록 매체, 및 미팅의 오디오 및 비디오 컨텐트를 캡쳐하기 위한 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (3) | US7260257B2 (ko) |
| EP (1) | EP1388794A3 (ko) |
| JP (1) | JP4499380B2 (ko) |
| KR (1) | KR100996787B1 (ko) |
| CN (1) | CN1477590B (ko) |
| TW (1) | TW200405260A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11928226B2 (en) | 2021-02-04 | 2024-03-12 | International Business Machines Corporation | Content protecting collaboration board |
Families Citing this family (181)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4052498B2 (ja) | 1999-10-29 | 2008-02-27 | 株式会社リコー | 座標入力装置および方法 |
| US7653925B2 (en) | 1999-11-17 | 2010-01-26 | Ricoh Company, Ltd. | Techniques for receiving information during multimedia presentations and communicating the information |
| US7299405B1 (en) * | 2000-03-08 | 2007-11-20 | Ricoh Company, Ltd. | Method and system for information management to facilitate the exchange of ideas during a collaborative effort |
| JP2001184161A (ja) | 1999-12-27 | 2001-07-06 | Ricoh Co Ltd | 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体 |
| ES2435248T3 (es) * | 2000-07-05 | 2013-12-17 | Smart Technologies Ulc | Sistema y método táctil basado en cámaras |
| US6803906B1 (en) | 2000-07-05 | 2004-10-12 | Smart Technologies, Inc. | Passive touch system and method of detecting user input |
| US6954197B2 (en) | 2002-11-15 | 2005-10-11 | Smart Technologies Inc. | Size/scale and orientation determination of a pointer in a camera-based touch system |
| JP4112968B2 (ja) | 2002-12-26 | 2008-07-02 | 富士通株式会社 | ビデオテキスト処理装置 |
| US20040153461A1 (en) * | 2003-02-03 | 2004-08-05 | Brown Mark L. | System and method for collecting and disseminating information |
| US8456447B2 (en) | 2003-02-14 | 2013-06-04 | Next Holdings Limited | Touch screen signal processing |
| US7629967B2 (en) | 2003-02-14 | 2009-12-08 | Next Holdings Limited | Touch screen signal processing |
| US8508508B2 (en) | 2003-02-14 | 2013-08-13 | Next Holdings Limited | Touch screen signal processing with single-point calibration |
| US7684624B2 (en) * | 2003-03-03 | 2010-03-23 | Smart Technologies Ulc | System and method for capturing images of a target area on which information is recorded |
| US7593546B2 (en) * | 2003-03-11 | 2009-09-22 | Hewlett-Packard Development Company, L.P. | Telepresence system with simultaneous automatic preservation of user height, perspective, and vertical gaze |
| US7532206B2 (en) * | 2003-03-11 | 2009-05-12 | Smart Technologies Ulc | System and method for differentiating between pointers used to contact touch surface |
| US7119816B2 (en) * | 2003-03-31 | 2006-10-10 | Microsoft Corp. | System and method for whiteboard scanning to obtain a high resolution image |
| US7411575B2 (en) | 2003-09-16 | 2008-08-12 | Smart Technologies Ulc | Gesture recognition method and touch system incorporating the same |
| US7274356B2 (en) | 2003-10-09 | 2007-09-25 | Smart Technologies Inc. | Apparatus for determining the location of a pointer within a region of interest |
| US7689712B2 (en) * | 2003-11-26 | 2010-03-30 | Ricoh Company, Ltd. | Techniques for integrating note-taking and multimedia information |
| US7355593B2 (en) | 2004-01-02 | 2008-04-08 | Smart Technologies, Inc. | Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region |
| WO2005072239A2 (en) * | 2004-01-21 | 2005-08-11 | The Trustees Of Columbia University In The City Of New York | Methods and systems for analyzing and summarizing video |
| US7657060B2 (en) * | 2004-03-31 | 2010-02-02 | Microsoft Corporation | Stylization of video |
| EP1756802A2 (en) * | 2004-04-02 | 2007-02-28 | Kurzweil Technologies Inc. | Portable reading device with mode processing |
| US7659915B2 (en) * | 2004-04-02 | 2010-02-09 | K-Nfb Reading Technology, Inc. | Portable reading device with mode processing |
| US7460110B2 (en) | 2004-04-29 | 2008-12-02 | Smart Technologies Ulc | Dual mode touch system |
| US7538759B2 (en) | 2004-05-07 | 2009-05-26 | Next Holdings Limited | Touch panel display system with illumination and detection provided from a single edge |
| US8120596B2 (en) | 2004-05-21 | 2012-02-21 | Smart Technologies Ulc | Tiled touch system |
| CN101399941A (zh) * | 2004-06-03 | 2009-04-01 | 希尔克瑞斯特实验室公司 | 用于可缩放的用户界面的客户-服务器架构及方法 |
| WO2006001985A2 (en) * | 2004-06-04 | 2006-01-05 | Polyvision Corporation | Interactive communication systems |
| JP5074660B2 (ja) * | 2004-08-30 | 2012-11-14 | キヤノン株式会社 | 情報共有システム、情報共有方法及び制御プログラム |
| US8341143B1 (en) | 2004-09-02 | 2012-12-25 | A9.Com, Inc. | Multi-category searching |
| US7873622B1 (en) | 2004-09-02 | 2011-01-18 | A9.Com, Inc. | Multi-column search results interface |
| US20060059225A1 (en) * | 2004-09-14 | 2006-03-16 | A9.Com, Inc. | Methods and apparatus for automatic generation of recommended links |
| JP2006127367A (ja) * | 2004-11-01 | 2006-05-18 | Sony Corp | 情報管理方法、情報管理プログラムおよび情報管理装置 |
| US7639260B2 (en) * | 2004-12-15 | 2009-12-29 | Xerox Corporation | Camera-based system for calibrating color displays |
| US7639401B2 (en) * | 2004-12-15 | 2009-12-29 | Xerox Corporation | Camera-based method for calibrating color displays |
| JP2006178749A (ja) * | 2004-12-22 | 2006-07-06 | Fuji Xerox Co Ltd | 情報処理装置、ネットワークシステム、方法、プログラム |
| US8805929B2 (en) | 2005-06-20 | 2014-08-12 | Ricoh Company, Ltd. | Event-driven annotation techniques |
| US7554576B2 (en) * | 2005-06-20 | 2009-06-30 | Ricoh Company, Ltd. | Information capture and recording system for controlling capture devices |
| US7694214B2 (en) * | 2005-06-29 | 2010-04-06 | Microsoft Corporation | Multimodal note taking, annotation, and gaming |
| CN100565438C (zh) * | 2005-07-11 | 2009-12-02 | 皇家飞利浦电子股份有限公司 | 控制在命令区域上控制点位置的方法和系统 |
| JP2007060026A (ja) * | 2005-08-22 | 2007-03-08 | Canon Inc | 映像処理装置及びオブジェクト特定方法 |
| JP2007060028A (ja) * | 2005-08-22 | 2007-03-08 | Canon Inc | 映像処理装置及びオブジェクト処理方法 |
| US20070078708A1 (en) * | 2005-09-30 | 2007-04-05 | Hua Yu | Using speech recognition to determine advertisements relevant to audio content and/or audio content relevant to advertisements |
| US8509563B2 (en) | 2006-02-02 | 2013-08-13 | Microsoft Corporation | Generation of documents from images |
| US7536201B2 (en) * | 2006-03-29 | 2009-05-19 | Sony Ericsson Mobile Communications Ab | Motion sensor character generation for mobile device |
| KR101327581B1 (ko) | 2006-05-24 | 2013-11-12 | 엘지전자 주식회사 | 터치스크린 장치 및 이의 작동방법 |
| KR20070113022A (ko) * | 2006-05-24 | 2007-11-28 | 엘지전자 주식회사 | 사용자 입력에 반응하는 터치스크린 장치 및 이의 작동방법 |
| KR20070113025A (ko) * | 2006-05-24 | 2007-11-28 | 엘지전자 주식회사 | 터치스크린 장치 및 이의 작동방법 |
| KR20070113018A (ko) * | 2006-05-24 | 2007-11-28 | 엘지전자 주식회사 | 터치스크린 장치 및 그 실행방법 |
| KR101269375B1 (ko) | 2006-05-24 | 2013-05-29 | 엘지전자 주식회사 | 터치스크린 장치 및 이의 이미지 표시방법 |
| US20090213086A1 (en) * | 2006-04-19 | 2009-08-27 | Ji Suk Chae | Touch screen device and operating method thereof |
| TW200805131A (en) * | 2006-05-24 | 2008-01-16 | Lg Electronics Inc | Touch screen device and method of selecting files thereon |
| JP2007323285A (ja) | 2006-05-31 | 2007-12-13 | Fuji Xerox Co Ltd | 電子装置、ネットワーク接続システム、接続方法及びプログラム |
| WO2007141204A1 (en) * | 2006-06-02 | 2007-12-13 | Anoto Ab | System and method for recalling media |
| JP2008003968A (ja) * | 2006-06-23 | 2008-01-10 | Fuji Xerox Co Ltd | 情報処理システム、情報処理方法及びプログラム |
| KR100856407B1 (ko) | 2006-07-06 | 2008-09-04 | 삼성전자주식회사 | 메타 데이터를 생성하는 데이터 기록 및 재생 장치 및 방법 |
| US7925978B1 (en) | 2006-07-20 | 2011-04-12 | Adobe Systems Incorporated | Capturing frames from an external source |
| US8245157B2 (en) * | 2006-08-23 | 2012-08-14 | Kelly Alan D | Decision making and planning system, method, and software utilizing a taxonomic table of irreducible strategies or plays |
| US9442607B2 (en) | 2006-12-04 | 2016-09-13 | Smart Technologies Inc. | Interactive input system and method |
| US9530142B2 (en) * | 2007-02-13 | 2016-12-27 | Claudia Juliana Minsky | Method and system for creating a multifunctional collage useable for client/server communication |
| JP4469867B2 (ja) * | 2007-03-27 | 2010-06-02 | 株式会社東芝 | コミュニケーションの状況を管理する装置、方法およびプログラム |
| EP2135155B1 (en) | 2007-04-11 | 2013-09-18 | Next Holdings, Inc. | Touch screen system with hover and click input methods |
| US20080255840A1 (en) * | 2007-04-16 | 2008-10-16 | Microsoft Corporation | Video Nametags |
| US8194081B2 (en) * | 2007-05-29 | 2012-06-05 | Livescribe, Inc. | Animation of audio ink |
| JP5149552B2 (ja) * | 2007-06-22 | 2013-02-20 | キヤノン株式会社 | 表示制御装置および表示制御方法 |
| US8526632B2 (en) * | 2007-06-28 | 2013-09-03 | Microsoft Corporation | Microphone array for a camera speakerphone |
| US8165416B2 (en) * | 2007-06-29 | 2012-04-24 | Microsoft Corporation | Automatic gain and exposure control using region of interest detection |
| US8330787B2 (en) | 2007-06-29 | 2012-12-11 | Microsoft Corporation | Capture device movement compensation for speaker indexing |
| US8094137B2 (en) | 2007-07-23 | 2012-01-10 | Smart Technologies Ulc | System and method of detecting contact on a display |
| US8237850B2 (en) * | 2007-08-27 | 2012-08-07 | Sanyo Electric Co., Ltd. | Electronic camera that adjusts the distance from an optical lens to an imaging surface |
| KR20100075460A (ko) | 2007-08-30 | 2010-07-02 | 넥스트 홀딩스 인코포레이티드 | 저 프로파일 터치 패널 시스템 |
| KR20100055516A (ko) | 2007-08-30 | 2010-05-26 | 넥스트 홀딩스 인코포레이티드 | 개선된 조광을 가진 광학 터치 스크린 |
| US8405636B2 (en) | 2008-01-07 | 2013-03-26 | Next Holdings Limited | Optical position sensing system and optical position sensor assembly |
| US8326029B1 (en) * | 2008-03-21 | 2012-12-04 | Hewlett-Packard Development Company, L.P. | Background color driven content retrieval |
| US9300912B2 (en) * | 2008-03-28 | 2016-03-29 | Microsoft Technology Licensing, Llc | Software based whiteboard capture solution for conference room meetings |
| US8446298B2 (en) * | 2008-04-03 | 2013-05-21 | Livescribe, Inc. | Quick record function in a smart pen computing system |
| US8446297B2 (en) * | 2008-04-03 | 2013-05-21 | Livescribe, Inc. | Grouping variable media inputs to reflect a user session |
| US8902193B2 (en) | 2008-05-09 | 2014-12-02 | Smart Technologies Ulc | Interactive input system and bezel therefor |
| US20090309853A1 (en) * | 2008-06-13 | 2009-12-17 | Polyvision Corporation | Electronic whiteboard system and assembly with optical detection elements |
| US8275197B2 (en) | 2008-06-14 | 2012-09-25 | Microsoft Corporation | Techniques to manage a whiteboard for multimedia conference events |
| US20110110649A1 (en) * | 2008-06-19 | 2011-05-12 | Thomson Licensing | Adaptive video key frame selection |
| US8108777B2 (en) | 2008-08-11 | 2012-01-31 | Microsoft Corporation | Sections of a presentation having user-definable properties |
| US8639032B1 (en) * | 2008-08-29 | 2014-01-28 | Freedom Scientific, Inc. | Whiteboard archiving and presentation method |
| US8339378B2 (en) | 2008-11-05 | 2012-12-25 | Smart Technologies Ulc | Interactive input system with multi-angle reflector |
| JP5493709B2 (ja) * | 2009-03-13 | 2014-05-14 | 株式会社リコー | 映像編集装置 |
| US8380866B2 (en) | 2009-03-20 | 2013-02-19 | Ricoh Company, Ltd. | Techniques for facilitating annotations |
| TWI384427B (zh) * | 2009-04-29 | 2013-02-01 | Utechzone Co Ltd | Background establishment method and device |
| CA2761711A1 (en) * | 2009-05-13 | 2010-11-18 | Einstruction Corporation | Interactive student response and content sharing system |
| US10127524B2 (en) | 2009-05-26 | 2018-11-13 | Microsoft Technology Licensing, Llc | Shared collaboration canvas |
| US8692768B2 (en) | 2009-07-10 | 2014-04-08 | Smart Technologies Ulc | Interactive input system |
| US8358834B2 (en) | 2009-08-18 | 2013-01-22 | Behavioral Recognition Systems | Background model for complex and dynamic scenes |
| US20110113486A1 (en) | 2009-11-10 | 2011-05-12 | James Anthony Hunt | Credentialing User Interface for Gadget Application Access |
| US20110145725A1 (en) * | 2009-12-11 | 2011-06-16 | Richard John Campbell | Methods and Systems for Attaching Semantics to a Collaborative Writing Surface |
| TWI408610B (zh) * | 2009-12-30 | 2013-09-11 | Ind Tech Res Inst | 姿勢辨識方法與系統，及其電腦程式產品 |
| US9749709B2 (en) * | 2010-03-23 | 2017-08-29 | Apple Inc. | Audio preview of music |
| JP2011254442A (ja) * | 2010-05-06 | 2011-12-15 | Ricoh Co Ltd | 遠隔通信端末、遠隔通信方法、及び遠隔通信用プログラム |
| US9171578B2 (en) | 2010-08-06 | 2015-10-27 | Futurewei Technologies, Inc. | Video skimming methods and systems |
| US8773464B2 (en) | 2010-09-15 | 2014-07-08 | Sharp Laboratories Of America, Inc. | Methods and systems for collaborative-writing-surface image formation |
| CN102446345B (zh) * | 2010-09-30 | 2015-09-30 | 株式会社理光 | 一种对于白板彩色图像进行颜色增强的方法、装置及系统 |
| JP6014995B2 (ja) * | 2010-11-25 | 2016-10-26 | 株式会社リコー | 画像処理装置、及び画像処理プログラム |
| JP2012134959A (ja) * | 2010-11-29 | 2012-07-12 | Ricoh Co Ltd | 画像処理装置、及び画像処理プログラム |
| JP5740942B2 (ja) * | 2010-12-01 | 2015-07-01 | 株式会社リコー | 画像処理装置、及び画像処理プログラム |
| US9383888B2 (en) | 2010-12-15 | 2016-07-05 | Microsoft Technology Licensing, Llc | Optimized joint document review |
| US9118612B2 (en) | 2010-12-15 | 2015-08-25 | Microsoft Technology Licensing, Llc | Meeting-specific state indicators |
| US9864612B2 (en) | 2010-12-23 | 2018-01-09 | Microsoft Technology Licensing, Llc | Techniques to customize a user interface for different displays |
| EP2490424B1 (en) * | 2011-02-18 | 2020-04-08 | BlackBerry Limited | Method and system for recording a conference call |
| JP2012199911A (ja) * | 2011-03-10 | 2012-10-18 | Ricoh Co Ltd | 情報処理装置 |
| DE112011104981T5 (de) | 2011-03-31 | 2014-02-06 | Hewlett-Packard Development Co., L.P. | Ergänzung von Elementen der Benutzeroberfläche |
| US8732739B2 (en) * | 2011-07-18 | 2014-05-20 | Viggle Inc. | System and method for tracking and rewarding media and entertainment usage including substantially real time rewards |
| CN103891303B (zh) * | 2011-08-16 | 2018-03-09 | 黛斯悌尼软件产品有限公司 | 基于脚本的视频呈现 |
| US9544158B2 (en) | 2011-10-05 | 2017-01-10 | Microsoft Technology Licensing, Llc | Workspace collaboration via a wall-type computing device |
| US8682973B2 (en) | 2011-10-05 | 2014-03-25 | Microsoft Corporation | Multi-user and multi-device collaboration |
| US9996241B2 (en) | 2011-10-11 | 2018-06-12 | Microsoft Technology Licensing, Llc | Interactive visualization of multiple software functionality content items |
| US10198485B2 (en) | 2011-10-13 | 2019-02-05 | Microsoft Technology Licensing, Llc | Authoring of data visualizations and maps |
| CN102521829A (zh) * | 2011-11-22 | 2012-06-27 | 无锡海森诺科技有限公司 | 一种光学触控图像校定方法 |
| WO2013104053A1 (en) * | 2012-01-11 | 2013-07-18 | Smart Technologies Ulc | Method of displaying input during a collaboration session and interactive board employing same |
| JP5633823B2 (ja) * | 2012-02-06 | 2014-12-03 | 日本電信電話株式会社 | チャプタ代表画像生成装置およびその動作方法 |
| NO341403B1 (no) * | 2012-02-27 | 2017-10-30 | Ablecon As | Hjelpemiddelsystem for synshemmede |
| US8917934B2 (en) | 2012-06-14 | 2014-12-23 | International Business Machines Corporation | Multi-cue object detection and analysis |
| US8904304B2 (en) * | 2012-06-25 | 2014-12-02 | Barnesandnoble.Com Llc | Creation and exposure of embedded secondary content data relevant to a primary content page of an electronic book |
| CN103517020A (zh) * | 2012-06-29 | 2014-01-15 | 联想(北京)有限公司 | 一种数据处理方法及装置、电子设备 |
| JP6160305B2 (ja) * | 2012-08-01 | 2017-07-12 | 株式会社リコー | 画像処理装置、プログラム、画像処理システムおよび画像処理方法 |
| WO2014066657A2 (en) * | 2012-10-26 | 2014-05-01 | Livescribe Inc. | Correlation of written notes to digital content |
| IL223225A (en) * | 2012-11-25 | 2013-11-28 | Eliahu Antopolsky | Meetings documentation system that allows access to documentation with the consent of participants only |
| US8805068B2 (en) * | 2012-12-13 | 2014-08-12 | Microsoft Corporation | Automatic classification and color enhancement of a markable surface |
| US10482777B2 (en) * | 2013-02-22 | 2019-11-19 | Fuji Xerox Co., Ltd. | Systems and methods for content analysis to support navigation and annotation in expository videos |
| US9892761B2 (en) * | 2013-02-22 | 2018-02-13 | Fuji Xerox Co., Ltd. | Systems and methods for creating and using navigable spatial overviews for video |
| US10629188B2 (en) | 2013-03-15 | 2020-04-21 | International Business Machines Corporation | Automatic note taking within a virtual meeting |
| US20140280186A1 (en) * | 2013-03-15 | 2014-09-18 | International Business Machines Corporation | Crowdsourcing and consolidating user notes taken in a virtual meeting |
| CN104079862A (zh) * | 2013-03-30 | 2014-10-01 | 深圳市潮流网络技术有限公司 | 一种视频电子白板业务实现方法及装置 |
| US9563696B2 (en) * | 2013-04-02 | 2017-02-07 | 3M Innovative Properties Company | Systems and methods for managing notes |
| US9846526B2 (en) * | 2013-06-28 | 2017-12-19 | Verizon and Redbox Digital Entertainment Services, LLC | Multi-user collaboration tracking methods and systems |
| JP2015022393A (ja) * | 2013-07-17 | 2015-02-02 | 株式会社リコー | 電子機器、画像データ表示処理方法、及びプログラム |
| WO2015022208A1 (en) * | 2013-08-16 | 2015-02-19 | Thomson Licensing | Method and apparatus for generating temporally consistent superpixels |
| JP2015069284A (ja) * | 2013-09-27 | 2015-04-13 | 株式会社リコー | 画像処理装置 |
| CN106063240B (zh) * | 2013-11-14 | 2019-06-04 | 微软技术许可有限责任公司 | 用于生产力应用的图像处理 |
| JP6244846B2 (ja) * | 2013-11-18 | 2017-12-13 | 株式会社リコー | 情報処理端末、情報処理方法、プログラム、及び情報処理システム |
| JP6276570B2 (ja) * | 2013-12-05 | 2018-02-07 | キヤノン株式会社 | 画像音声再生システム及び画像音声再生方法とプログラム |
| JP2015171039A (ja) * | 2014-03-07 | 2015-09-28 | キヤノン株式会社 | 色処理装置およびその方法 |
| US20150268825A1 (en) * | 2014-03-18 | 2015-09-24 | Here Global B.V. | Rendering of a media item |
| US9471957B2 (en) | 2014-03-28 | 2016-10-18 | Smart Technologies Ulc | Method for partitioning, managing and displaying a collaboration space and interactive input system employing same |
| GB201406070D0 (en) * | 2014-04-04 | 2014-05-21 | Eads Uk Ltd | Method of capturing and structuring information from a meeting |
| US9706168B1 (en) * | 2014-10-13 | 2017-07-11 | Surround.IO | Room conferencing system with heat map annotation of documents |
| KR102337157B1 (ko) * | 2014-11-05 | 2021-12-08 | 삼성전자주식회사 | 전자 칠판 장치 및 그 제어 방법 |
| US10839494B2 (en) * | 2015-02-13 | 2020-11-17 | Light Blue Optics Ltd | Timeline image capture systems and methods |
| EP3257021B1 (en) | 2015-02-13 | 2019-11-27 | Light Blue Optics Ltd. | Image processing systems and methods |
| US9530102B2 (en) * | 2015-02-17 | 2016-12-27 | The Mathworks, Inc. | Multimodal input processing |
| US9910840B2 (en) | 2015-04-03 | 2018-03-06 | Microsoft Technology Licensing, Llc | Annotating notes from passive recording with categories |
| JP6428509B2 (ja) * | 2015-06-30 | 2018-11-28 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置、及び画像形成装置 |
| US9736139B2 (en) | 2015-08-13 | 2017-08-15 | Microsoft Technology Licensing, Llc | Storage of captured sensitive data with bypass of local storage |
| CN105306861B (zh) * | 2015-10-15 | 2017-03-01 | 深圳市鹰硕技术有限公司 | 一种网络教学录播方法及系统 |
| US10417021B2 (en) | 2016-03-04 | 2019-09-17 | Ricoh Company, Ltd. | Interactive command assistant for an interactive whiteboard appliance |
| US10409550B2 (en) * | 2016-03-04 | 2019-09-10 | Ricoh Company, Ltd. | Voice control of interactive whiteboard appliances |
| US20170300752A1 (en) * | 2016-04-18 | 2017-10-19 | Yen4Ken, Inc. | Method and system for summarizing multimedia content |
| JP2017215833A (ja) * | 2016-06-01 | 2017-12-07 | 株式会社リコー | 情報処理システム、情報処理方法、情報処理装置およびプログラム |
| US10296533B2 (en) * | 2016-07-07 | 2019-05-21 | Yen4Ken, Inc. | Method and system for generation of a table of content by processing multimedia content |
| US9940698B1 (en) * | 2016-09-30 | 2018-04-10 | Konica Minolta Laboratory U.S.A., Inc. | Cleaning writing boards based on strokes |
| CN106570919A (zh) * | 2016-10-13 | 2017-04-19 | 深圳市创易联合科技有限公司 | 电子笔迹的保存方法和还原方法 |
| US20180160200A1 (en) * | 2016-12-03 | 2018-06-07 | Streamingo Solutions Private Limited | Methods and systems for identifying, incorporating, streamlining viewer intent when consuming media |
| US20180232192A1 (en) * | 2017-02-14 | 2018-08-16 | Samson Timoner | System and Method for Visual Enhancement, Annotation and Broadcast of Physical Writing Surfaces |
| US10642478B2 (en) | 2017-04-10 | 2020-05-05 | Microsoft Technology Licensing Llc | Editable whiteboard timeline |
| US10650813B2 (en) * | 2017-05-25 | 2020-05-12 | International Business Machines Corporation | Analysis of content written on a board |
| CN108986036B (zh) * | 2017-06-01 | 2022-01-28 | 中兴通讯股份有限公司 | 处理文件的方法、终端 |
| US10387747B2 (en) * | 2017-06-26 | 2019-08-20 | Huddly As | Intelligent whiteboard collaboratio systems and methods |
| US10284815B2 (en) * | 2017-07-26 | 2019-05-07 | Blue Jeans Network, Inc. | System and methods for physical whiteboard collaboration in a video conference |
| CN107481227B (zh) * | 2017-07-27 | 2020-07-10 | 广州视源电子科技股份有限公司 | 教学板书图像处理方法、装置、智能教学设备及存储介质 |
| JP7095703B2 (ja) * | 2017-09-28 | 2022-07-05 | 日本電気株式会社 | 録音装置、録音制御プログラムおよび録画装置 |
| US10810265B2 (en) * | 2017-10-31 | 2020-10-20 | Jpmorgan Chase Bank, N.A. | Automatic note board data capture and export |
| US20190149348A1 (en) * | 2017-11-15 | 2019-05-16 | Eliahu Antopolsky | Recording System with Personal Keys for Personal Meetings with Service Providers |
| GB201719080D0 (en) | 2017-11-17 | 2018-01-03 | Light Blue Optics Ltd | Device authorization systems |
| WO2019110986A1 (en) * | 2017-12-04 | 2019-06-13 | Light Blue Optics Ltd | Timeline image capture systems and methods |
| US11321880B2 (en) * | 2017-12-22 | 2022-05-03 | Sony Corporation | Information processor, information processing method, and program for specifying an important region of an operation target in a moving image |
| US10951859B2 (en) | 2018-05-30 | 2021-03-16 | Microsoft Technology Licensing, Llc | Videoconferencing device and method |
| JP2020098420A (ja) * | 2018-12-17 | 2020-06-25 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US11695812B2 (en) | 2019-01-14 | 2023-07-04 | Dolby Laboratories Licensing Corporation | Sharing physical writing surfaces in videoconferencing |
| CN109885224A (zh) * | 2019-02-26 | 2019-06-14 | 努比亚技术有限公司 | 输入法界面显示方法、存储介质和移动终端 |
| CN110446002A (zh) * | 2019-07-30 | 2019-11-12 | 视联动力信息技术股份有限公司 | 一种视频会议的处理方法、系统及装置和存储介质 |
| CN111262874A (zh) * | 2020-01-21 | 2020-06-09 | 北京梦想加信息技术有限公司 | 书写板信息分享方法、系统和书写板 |
| US11704009B2 (en) * | 2021-10-15 | 2023-07-18 | Google Llc | Video conference virtual whiteboard |
| US20240039971A1 (en) * | 2022-07-29 | 2024-02-01 | Zoom Video Communications, Inc. | Sharing virtual whiteboard content |
Family Cites Families (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2892901B2 (ja) * | 1992-04-27 | 1999-05-17 | インターナショナル・ビジネス・マシーンズ・コーポレイション | プレゼンテーションの獲得、管理およびプレイバック用自動化システム及び方法 |
| EP0695446B1 (en) * | 1993-05-10 | 1997-09-03 | Taligent, Inc. | Multimedia synchronization system |
| US5796426A (en) | 1994-05-27 | 1998-08-18 | Warp, Ltd. | Wide-angle image dewarping method and apparatus |
| US5613032A (en) * | 1994-09-02 | 1997-03-18 | Bell Communications Research, Inc. | System and method for recording, playing back and searching multimedia events wherein video, audio and text can be searched and retrieved |
| US5990934A (en) | 1995-04-28 | 1999-11-23 | Lucent Technologies, Inc. | Method and system for panoramic viewing |
| US5745305A (en) | 1995-04-28 | 1998-04-28 | Lucent Technologies Inc. | Panoramic viewing apparatus |
| US5539483A (en) | 1995-06-30 | 1996-07-23 | At&T Corp. | Panoramic projection apparatus |
| US5793527A (en) | 1995-06-30 | 1998-08-11 | Lucent Technologies Inc. | High resolution viewing system |
| US20020002562A1 (en) * | 1995-11-03 | 2002-01-03 | Thomas P. Moran | Computer controlled display system using a graphical replay device to control playback of temporal data representing collaborative activities |
| US6115176A (en) | 1995-11-30 | 2000-09-05 | Lucent Technologies Inc. | Spherical viewing/projection apparatus |
| US6111702A (en) | 1995-11-30 | 2000-08-29 | Lucent Technologies Inc. | Panoramic viewing system with offset virtual optical centers |
| US6373642B1 (en) | 1996-06-24 | 2002-04-16 | Be Here Corporation | Panoramic imaging arrangement |
| US6341044B1 (en) | 1996-06-24 | 2002-01-22 | Be Here Corporation | Panoramic imaging arrangement |
| US6493032B1 (en) | 1996-06-24 | 2002-12-10 | Be Here Corporation | Imaging arrangement which allows for capturing an image of a view at different resolutions |
| US6459451B2 (en) | 1996-06-24 | 2002-10-01 | Be Here Corporation | Method and apparatus for a panoramic camera to capture a 360 degree image |
| US6331869B1 (en) | 1998-08-07 | 2001-12-18 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
| KR100191329B1 (ko) * | 1996-10-23 | 1999-06-15 | 윤종용 | 인터넷상에서의 원격교육방법 및 그 장치. |
| US6806903B1 (en) * | 1997-01-27 | 2004-10-19 | Minolta Co., Ltd. | Image capturing apparatus having a γ-characteristic corrector and/or image geometric distortion correction |
| JP3733984B2 (ja) * | 1997-01-29 | 2006-01-11 | 富士ゼロックス株式会社 | 情報蓄積装置および情報蓄積方法 |
| US6148304A (en) * | 1997-03-19 | 2000-11-14 | Microsoft Corporation | Navigating multimedia content using a graphical user interface with multiple display regions |
| US6043837A (en) | 1997-05-08 | 2000-03-28 | Be Here Corporation | Method and apparatus for electronically distributing images from a panoptic camera system |
| US6466254B1 (en) | 1997-05-08 | 2002-10-15 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
| US6356296B1 (en) | 1997-05-08 | 2002-03-12 | Behere Corporation | Method and apparatus for implementing a panoptic camera system |
| US6388654B1 (en) * | 1997-10-03 | 2002-05-14 | Tegrity, Inc. | Method and apparatus for processing, displaying and communicating images |
| US5986655A (en) * | 1997-10-28 | 1999-11-16 | Xerox Corporation | Method and system for indexing and controlling the playback of multimedia documents |
| US7263659B2 (en) * | 1998-09-09 | 2007-08-28 | Ricoh Company, Ltd. | Paper-based interface for multimedia information |
| US6924832B1 (en) | 1998-08-07 | 2005-08-02 | Be Here Corporation | Method, apparatus & computer program product for tracking objects in a warped video image |
| US6144501A (en) | 1998-08-28 | 2000-11-07 | Lucent Technologies Inc. | Split mirrored panoramic image display |
| US6285365B1 (en) | 1998-08-28 | 2001-09-04 | Fullview, Inc. | Icon referenced panoramic image display |
| US6195204B1 (en) | 1998-08-28 | 2001-02-27 | Lucent Technologies Inc. | Compact high resolution panoramic viewing system |
| US6141145A (en) | 1998-08-28 | 2000-10-31 | Lucent Technologies | Stereo panoramic viewing system |
| US6128143A (en) | 1998-08-28 | 2000-10-03 | Lucent Technologies Inc. | Panoramic viewing system with support stand |
| US6392694B1 (en) * | 1998-11-03 | 2002-05-21 | Telcordia Technologies, Inc. | Method and apparatus for an automatic camera selection system |
| US6369818B1 (en) | 1998-11-25 | 2002-04-09 | Be Here Corporation | Method, apparatus and computer program product for generating perspective corrected data from warped information |
| US6175454B1 (en) | 1999-01-13 | 2001-01-16 | Behere Corporation | Panoramic imaging arrangement |
| US6597520B2 (en) | 1999-01-13 | 2003-07-22 | Be Here Corporation | Panoramic imaging arrangement |
| US6529920B1 (en) * | 1999-03-05 | 2003-03-04 | Audiovelocity, Inc. | Multimedia linking device and method |
| US6871782B2 (en) * | 1999-10-08 | 2005-03-29 | Canon Kabushiki Kaisha | User programmable smart card interface system having an arbitrary mapping |
| JP2003521061A (ja) * | 2000-01-25 | 2003-07-08 | オートデスク，インコーポレイテッド | インターネット上で建築図面へのアクセスを提供し、処理する方法および装置 |
| AU2001239766A1 (en) * | 2000-02-15 | 2001-08-27 | Siemens Aktiengesellschaft | Electronic whiteboard system using a tactile foam sensor |
| US20010035976A1 (en) * | 2000-02-15 | 2001-11-01 | Andrew Poon | Method and system for online presentations of writings and line drawings |
| US6671732B1 (en) * | 2000-07-24 | 2003-12-30 | Comverse Ltd. | Method and apparatus for control of content based rich media streaming |
| KR20020012699A (ko) * | 2000-08-08 | 2002-02-20 | 구자홍 | 놀이시설/교육시설의 모니터링 시스템과 이를 이용한모니터링 서비스 제공방법 |
| US6741250B1 (en) | 2001-02-09 | 2004-05-25 | Be Here Corporation | Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path |
| US6756990B2 (en) | 2001-04-03 | 2004-06-29 | Be Here Corporation | Image filtering on 3D objects using 2D manifolds |
| US6937266B2 (en) * | 2001-06-14 | 2005-08-30 | Microsoft Corporation | Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network |
| US20040008423A1 (en) | 2002-01-28 | 2004-01-15 | Driscoll Edward C. | Visual teleconferencing apparatus |
| US20040021764A1 (en) | 2002-01-28 | 2004-02-05 | Be Here Corporation | Visual teleconferencing apparatus |
| US20030142402A1 (en) | 2002-01-30 | 2003-07-31 | Be Here Corporation | Method and apparatus for triggering a remote flash on a camera with a panoramic lens |
| US7012757B2 (en) | 2002-05-08 | 2006-03-14 | Be Here Corporation | Method for designing a lens system and resulting apparatus |
| US20040254982A1 (en) | 2003-06-12 | 2004-12-16 | Hoffman Robert G. | Receiving system for video conferencing system |
| US7019918B2 (en) | 2003-06-12 | 2006-03-28 | Be Here Corporation | Panoramic imaging system |
| US7428000B2 (en) * | 2003-06-26 | 2008-09-23 | Microsoft Corp. | System and method for distributed meetings |
| US7260278B2 (en) * | 2003-11-18 | 2007-08-21 | Microsoft Corp. | System and method for real-time whiteboard capture and processing |
-
2002
- 2002-06-19 US US10/178,443 patent/US7260257B2/en not_active Expired - Fee Related
-
2003
- 2003-05-27 TW TW092114315A patent/TW200405260A/zh unknown
- 2003-06-06 EP EP03012896A patent/EP1388794A3/en not_active Withdrawn
- 2003-06-18 KR KR1020030039402A patent/KR100996787B1/ko active IP Right Grant
- 2003-06-19 CN CN031493009A patent/CN1477590B/zh not_active Expired - Fee Related
- 2003-06-19 JP JP2003175464A patent/JP4499380B2/ja not_active Expired - Fee Related
-
2006
- 2006-08-31 US US11/469,450 patent/US20070269105A1/en not_active Abandoned
- 2006-11-30 US US11/565,596 patent/US7770116B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11928226B2 (en) | 2021-02-04 | 2024-03-12 | International Business Machines Corporation | Content protecting collaboration board |
Also Published As
| Publication number | Publication date |
|---|---|
| US20070269105A1 (en) | 2007-11-22 |
| CN1477590B (zh) | 2010-05-26 |
| US7260257B2 (en) | 2007-08-21 |
| JP2004080750A (ja) | 2004-03-11 |
| US7770116B2 (en) | 2010-08-03 |
| KR20030097669A (ko) | 2003-12-31 |
| EP1388794A2 (en) | 2004-02-11 |
| TW200405260A (en) | 2004-04-01 |
| JP4499380B2 (ja) | 2010-07-07 |
| US20070126755A1 (en) | 2007-06-07 |
| EP1388794A3 (en) | 2012-02-22 |
| US20030234772A1 (en) | 2003-12-25 |
| CN1477590A (zh) | 2004-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100996787B1 (ko) | 오디오 비주얼 컨텐트 요약 및 인덱싱 방법, 이 방법을 수행하도록 실행가능한 컴퓨터 판독가능 기록 매체, 및 미팅의 오디오 및 비디오 컨텐트를 캡쳐하기 위한 시스템 | |
| US7260278B2 (en) | System and method for real-time whiteboard capture and processing | |
| US11849196B2 (en) | Automatic data extraction and conversion of video/images/sound information from a slide presentation into an editable notetaking resource with optional overlay of the presenter | |
| US20210056251A1 (en) | Automatic Data Extraction and Conversion of Video/Images/Sound Information from a Board-Presented Lecture into an Editable Notetaking Resource | |
| US10706892B2 (en) | Method and apparatus for finding and using video portions that are relevant to adjacent still images | |
| KR101040865B1 (ko) | 프로젝터-카메라-화이트보드 시스템에서의 비주얼 에코소거를 위한 시스템 및 방법 | |
| KR100995218B1 (ko) | 화이트보드 콘텐츠의 개선된 데이터 스트림 생성용 컴퓨터구현 처리방법, 시스템 및 컴퓨터 판독가능 기록 매체 | |
| RU2398277C2 (ru) | Автоматическое извлечение лиц для использования во временной шкале записанных конференций | |
| CN1680939B (zh) | 数字文件和数据的快速可视分类方法 | |
| US20140348394A1 (en) | Photograph digitization through the use of video photography and computer vision technology | |
| US20080205772A1 (en) | Representative image selection based on hierarchical clustering | |
| US20060143567A1 (en) | Method, system and article of manufacture for linking a video to a scanned document | |
| CN108848334A (zh) | 一种视频处理的方法、装置、终端和存储介质 | |
| He et al. | Why take notes? Use the whiteboard capture system | |
| JP2010506297A (ja) | 画像レコードアクセス用異分類クラスタランキング | |
| US10015445B1 (en) | Room conferencing system with heat map annotation of documents | |
| JP2012105205A (ja) | キーフレーム抽出装置、キーフレーム抽出プログラム、キーフレーム抽出方法、撮像装置、およびサーバ装置 | |
| He et al. | Real-time whiteboard capture and processing using a video camera for remote collaboration | |
| US20110304644A1 (en) | Electronic apparatus and image display method | |
| Zhang | Computer vision technologies for remote collaboration using physical whiteboards, projectors and cameras | |
| US10282633B2 (en) | Cross-asset media analysis and processing | |
| Behera et al. | Looking at projected documents: Event detection & document identification | |
| Friedland et al. | Anthropocentric video segmentation for lecture webcasts | |
| Friedland et al. | Human-centered webcasting of interactive-whiteboard lectures | |
| Verdon | Indexicality or Technological Intermediate? Moving Image Representation, Materiality, and the Re |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| J201 | Request for trial against refusal decision | ||
| B701 | Decision to grant | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20131016 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20141017 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20151016 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20161019 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20171018 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20181018 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20191016 Year of fee payment: 10 |