KR102670702B1 - 지능형 화이트보드 협업 시스템들 및 방법들 - Google Patents

지능형 화이트보드 협업 시스템들 및 방법들 Download PDF

Info

Publication number
KR102670702B1
KR102670702B1 KR1020207002116A KR20207002116A KR102670702B1 KR 102670702 B1 KR102670702 B1 KR 102670702B1 KR 1020207002116 A KR1020207002116 A KR 1020207002116A KR 20207002116 A KR20207002116 A KR 20207002116A KR 102670702 B1 KR102670702 B1 KR 102670702B1
Authority
KR
South Korea
Prior art keywords
whiteboard
color
foreground
data
stamped
Prior art date
Application number
KR1020207002116A
Other languages
English (en)
Other versions
KR20200022453A (ko
Inventor
안데르스 에이케네스
스테인 오베 에릭센
얀 토레 코르넬리우센
이몬 쇼
Original Assignee
허들리 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 허들리 인코포레이티드 filed Critical 허들리 인코포레이티드
Publication of KR20200022453A publication Critical patent/KR20200022453A/ko
Application granted granted Critical
Publication of KR102670702B1 publication Critical patent/KR102670702B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/16—Image preprocessing
    • G06V30/162—Quantising the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18105—Extraction of features or characteristics of the image related to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/214—Monitoring or handling of messages using selective forwarding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6072—Colour correction or control adapting to different types of images, e.g. characters, graphs, black and white image portions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Character Discrimination (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Drawing Aids And Blackboards (AREA)

Abstract

화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하고 고해상도 화이트보드 이미지들을 생성하기 위한 시스템들 및 방법들이 제공된다. 화이트보드에서 다수의 픽셀들 주위의 로컬 패치들은 각각의 전경 마커 컬러에 대한 배경 백색 픽셀들 및 전경 컬러 픽셀들을 분류하는데 사용된다. 클러스트링은 배경 백색과 각각의 전경 마커 컬러를 정의하는데 있어서 전역으로 및 로컬로 대안의 컬러 공간들에서 수행된다. 컬러 정규화는 로컬 패치들에서 최대 로컬 배경 백색 및 가장 어두운 픽셀 강도들을 활용하여 별도로 각각의 센서 컬러 평면에 대해 그리고 전경 마커 컬러로서 분류된 각각의 전경 픽셀에 대해 수행된다. 스트로크들은 미리결정된 폭으로 전경 마커 컬러에 대한 각각의 스트로크의 길이를 따라 단면들의 변곡점들의 스플라인 보간에 기초하여 재구성된다. 또한, 메시징 유틸리티를 포함하는 지능형 화이트보드 비디오 공동작업 시스템이 제공되어, 관련 생체인식 정보 (biometrics information) 에 기초한 참가자들이 시간-경과 화이트보드 데이터에 액세스하고 시스템 및 다른 참가자들과 통신하는 것이 가능해진다.

Description

지능형 화이트보드 협업 시스템들 및 방법들
본 개시는 일반적으로 화이트보드로 화상회의하는 것에 관한 것이다. 특히, 본 개시는 타임-스탬프된 화이트보드 데이터를 캡처하고 고해상도 화이트보드 이미지를 생성하기 위한 시스템들 및 방법들에 관한 것이다. 보다 구체적으로, 메시징 유틸리티를 포함하는 지능형 화이트보드 비디오 협업 시스템이 제공되어, 관련 생체 인식 정보 (biometrics information) 에 기초한 참가자들이 시간-경과 화이트보드 데이터에 액세스하고 시스템 및 다른 참가자들과 통신하는 것이 가능해진다.
화이트보드는 산업 및 학업 환경에 걸친 화상회의 뿐만 아니라 대면 회의를 수행하는 중추이다. 그러나, 화이트보드로부터의 콘텐츠 또는 데이터를 캡처하는 것은, 특히 조명, 화이트보드 상의 반사, 부적절한 컬러 해상도 및 스트로크들, 및 움직이는 오브젝트들 또는 사람들에 의한 방해를 포함한 다양한 아티팩트들로 주어진 일부 고유한 과제들을 제시한다. 기존 비디오 카메라 및 화상회의 하드웨어는 화이트보드 콘텐츠 및 데이터를 원하는 정확도 및 해상도로 캡처하는데 최적화되어 있지 않다. 광학 문자 인식 기술들은 일반적으로 화이트보드로부터 데이터를 추출하는데 적용될 수 있지만, 이러한 데이터의 유용성 및 정확도는 제한된다.
따라서, 화이트보드 데이터를 캡처하고 고해상도 화이트보드 이미지들을 생성하기 위한 개선된 방법들 및 시스템들이 필요하다. 추가로 참가자들에 의한 지능형 데이터 액세스 및 통신들을 가능하게 하기 위한 최적화된 화이트보드 협업 시스템이 필요하다.
본 개시의 목적은 화이트보드로부터의 콘텐츠 및 데이터를 추출하고 고해상도 이미지를 생성하기 위한 방법들 및 시스템들을 제공하는 것이다. 본 개시의 추가 목적은 참가자들의 관련 생체인식 및 시간에 기초하여 화이트보드 화상회의 시스템에서 참가자들 사이의 화이트보드 콘텐츠 및 통신에 대한 지능형 데이터 액세스를 가능하게 하는 유틸리티들을 제공하는 것이다.
특히, 본 개시에 따라, 일 실시형태에서, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법이 제공된다. 방법은 화이트보드의 4 개의 코너들을 계산함으로써 화이트보드를 정의하는 단계; 배경 백색을 결정하고 배경 백색 픽셀들을 식별하는 단계; 각각의 전경 마커 컬러 및 각각의 전경 픽셀에 대해 컬러 정규화를 수행하는 단계; 및 미리 결정된 폭으로 각각의 전경 컬러 마커의 스트로크들을 재구성하는 단계를 포함한다. 각각의 스트로크는 화이트보드 비디오 신호들에 기초한 타임스탬프와 연관된다.
다른 실시형태에서, 스트로크를 재구성하는 단계는, 길이를 따라 전경 마커 컬러의 스트로크의 단면들로부터 변곡점들을 연결함으로써 펜 곡선을 생성하는 단계, 및 미리 결정된 폭으로 펜 곡선에 기초하여 재구성된 스트로크를 렌더링하는 단계를 포함한다.
다른 실시형태에서, 미리 결정된 폭은 스트로크들의 평균 폭이다. 추가의 실시형태에서, 미리 결정된 폭은 각각의 전경 마커 컬러에 대해 변경된다.
다른 실시형태에서, 변곡점들을 연결하는 단계는 변곡점들에 스플라인 보간을 적용하는 단계를 포함한다. 또 다른 실시형태에서, 스플라인 보간은 스무딩 스플라인 보간이다. 또 다른 실시형태에서, 스플라인 보간은 큐빅 스무딩 스플라인 보간이다.
또 다른 실시형태에서, 화이트보드를 정의하는 단계는, 백색 인테리어를 갖는 직사각형을 검출하는 단계; 및 화이트보드의 종횡비를 결정하는 단계를 더 포함한다. 추가 실시형태에서, 화이트보드를 정의하는 단계는 키스톤 보정들을 적용하는 단계를 더 포함한다.
다른 실시형태에서, 배경 백색을 결정하고 배경 백색 픽셀들을 식별하는 단계는, 화이트보드에서의 각각의 픽셀을 대안의 컬러 공간으로 변환하는 단계; 그 컬러 공간에서 픽셀들의 클러스터들의 히스토그램을 생성하는 단계; 및 최빈 컬러를 결정하는 단계를 포함한다. 최빈 컬러는 배경 백색으로서 정의된다.
추가 실시형태에서, 대안의 컬러 공간은 HSV, YCbCr, YPbPr, TSL, CIELAB 및 CIELUV 공간 중 하나이다.
다른 실시형태에서, 배경 백색을 결정하고 배경 백색 픽셀을 식별하는 단계는, 로컬 패치들에 대한 다수의 로컬 배경 백색을 추정하는 단계를 더 포함한다. 또 다른 실시형태에서, 로컬 패치들은 다수의 픽셀들 각각을 둘러싸는 20x20, 50x50 및 75x75 치수 중 하나이다. 추가 실시형태에서, 다수의 픽셀들은 화이트보드에서의 각각의 픽셀을 포함한다. 다른 실시형태에서, 다수의 로컬 배경 백색을 추정하는 단계는 각각의 로컬 패치에 대한 대안의 컬러 공간에서 픽셀들의 클러스터링을 수행하는 단계를 더 포함한다.
다른 실시형태에서, 방법은 각각의 로컬 패치에 대한 배경 백색 픽셀들의 이진 마스크를 생성하는 단계; 및 픽셀이 모든 로컬 패치들의 미리결정된 퍼센티지를 넘어서는 배경인 경우 픽셀을 배경 백색으로서 분류하는 단계를 더 포함한다. 추가 실시형태에서, 미리 결정된 퍼센티지는 90 % 이다. 다른 실시형태에서, 배경 백색으로서 분류되지 않은 픽셀은 전경 픽셀로서 분류된다.
다른 실시형태에 따라, 각각의 전경 마커 컬러 및 각각의 전경 픽셀에 대해 컬러 정규화를 수행하는 단계는, 대안의 컬러 공간에서 전경 픽셀들의 클러스터링을 수행하는 단계로서, 대안의 컬러 공간은 HSV, YCbCr, YPbPr, TSL, CIELAB 및 CIELUV 공간 중 하나인 클러스터링을 수행하는 단계; 클러스터링에 기초하여 전경 픽셀을 전경 마커 컬러로서 분류하는 단계로서, 각각의 전경 마커 컬러는 그 전경 마커 컬러로서 분류된 모든 픽셀들의 가장 전형적인 (평균 또는 중간값) 컬러로서 정의되는, 상기 전경 픽셀을 분류하는 단계; 및 각각의 전경 마커 컬러에 대한 이진 마스크를 생성하는 단계를 더 포함한다.
다른 실시형태에서, 방법은 각각의 이미지 센서 컬러 평면에 대해, 전경 마커 컬러로서 분류된 각각의 픽셀을 둘러싸는 로컬 패치에서 로컬 최대 강도를 갖는 배경 백색 픽셀을 식별하는 단계; 및 전경 마커 픽셀의 값을 배경 백색 픽셀의 로컬 최대 강도로 나눔으로써 정규화하는 단계를 더 포함한다. 로컬 패치는 전경 마커 컬러으로서 분류된 픽셀을 둘러싸는 20x20, 50x50 및 75x75 치수 중 하나이다.
또 다른 실시형태에서, 방법은 각각의 이미지 센서 컬러 평면에 대해, 전경 마커 컬러로서 분류된 픽셀을 둘러싸는 로컬 패치에서, 가장 어두운 강도를 갖는 전경 마커 컬러 픽셀을 식별하는 단계; 및 전경 마커 픽셀로서 분류된 픽셀의 값을 가장 어두운 강도로 감산하는 것에 의해 정규화함으로써, 이미지 센서 컬러 평면에 대해 정규화된 그레이-스케일 이미지를 도출하는 단계를 더 포함한다.
추가 실시형태에서, 각각의 이미지 센서 컬러 평면에 대해 정규화된 그레이- 스케일 이미지를 병합함으로써 고해상도 그레이-스케일 이미지를 생성하는 단계를 더 포함한다.
다른 실시형태에서, 방법은 고해상도 그레이-스케일 이미지에서 대응하는 전경 마커 컬러로서 분류된 각각의 픽셀에 가장 전형적인 (평균 또는 중간값) 전경 마커 컬러를 적용함으로써 고해상도 컬러 이미지를 재구성하는 단계를 더 포함한다.
또 다른 실시형태에서, 화이트보드 비디오 신호들의 시간 시퀀스를 비교하는 것에 의해 움직이는 사람으로부터의 뷰의 간헐적 방해가 제거되고, 스틸로서 결정되는 이미지들로부터의 화이트보드 데이터만을 캡처한다.
본 개시에 따라, 다른 실시형태에서, 화이트보드 회의를 위한 원시 화이트보드 비디오 신호들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템이 제공된다. 시스템은 원시 화이트보드 비디오 이미지 신호들로부터 화이트보드를 검출하도록 적응된 검출 유닛; 전역 배경 백색을 정의하고 픽셀들을 배경 백색으로서 분류하도록 적응된 배경 유닛; 각각의 전경 마커 컬러를 정의하고 픽셀들을 전경 마커 컬러로서 분류하도록 적응된 전경 마커 유닛; 각각의 스트로크가 원시 화이트보드 비디오 신호들에 기초한 타임스탬프와 연관되는, 각각의 전경 마커 컬러의 스트로크들을 재구성하도록 적응된 스트로크 디지타이저, 및 타임스탬프와 연관된 재구성된 화이트보드 이미지를 렌더링하도록 적응된 디스플레이를 포함한다.
또 다른 실시형태에서, 스트로크 디지타이저는 또한, 길이를 따라 전경 마커 컬러의 스트로크의 단면들로부터 변곡점들을 연결함으로써 펜 곡선을 생성하고, 그리고 미리 결정된 폭으로 펜 곡선에 기초하여 재구성된 스트로크를 렌더링하도록 적응된다.
추가 실시형태에서, 미리 결정된 폭은 스트로크들의 평균 폭이다. 다른 실시형태에서, 미리 결정된 폭은 각각의 전경 마커 컬러에 대해 변경된다.
또 다른 실시형태에서, 스트로크 디지타이저는 또한 변곡점들에 스플라인 보간을 적용함으로써 펜 곡선을 도출하도록 적응된다. 추가 실시형태에서, 스플라인 보간은 스무딩 스플라인 보간이다. 다른 실시형태에서, 스플라인 보간은 큐빅 스무딩 스플라인 보간이다.
추가 실시형태에서, 배경 유닛은 또한, 로컬 패치들에 대한 다수의 로컬 배경 백색을 추정하고, 그리고 로컬 배경 백색에 대한 이진 마스크를 생성하도록 적응된다. 로컬 패치들은 다수의 픽셀들 각각을 둘러싸는 20x20, 50x50 및 75x75 치수 중 하나이다. 또 다른 실시형태에서, 다수의 픽셀들은 화이트보드에서의 각각의 픽셀을 포함한다.
다른 실시형태에서, 전경 마커 유닛은 또한, 전경 컬러로서 분류된 각각의 전경 픽셀을 둘러싸는 로컬 패치에 기초하여 각각의 전경 마커 컬러에 대해 별도로 그리고 각각의 이미지 센서 컬러 평면에 대해 별도로 컬러를 정규화하도록 적응된다. 또 다른 실시형태에서, 전경 마커 유닛은 또한, 로컬 패치에서 식별된 전경 컬러 픽셀의 가장 어두운 강도 및 최대 로컬 배경 백색에 기초하여 컬러를 정규화하도록 적응된다.
추가 실시형태에서, 전경 마커 유닛은 또한, 각각의 이미지 센서 컬러 평면에 대해 별도로 정규화된 그레이-스케일 이미지를 생성함으로써, 각각의 이미지 센서 컬러 평면에 대해 별도로 정규화된 그레이-스케일 이미지를 조합하는 것에 의해 고해상도 그레이-스케일 이미지를 생성하도록 적응된다. 다른 실시형태에서, 전경 마커 유닛은 또한, 고해상도 그레이 이미지에서 대응하는 전경 마커 컬러로서 분류된 각각의 픽셀에 정의된 전경 마커 컬러를 적용하는 것에 의해 고해상도 컬러 이미지를 재구성하도록 적응된다.
다른 실시형태에 따라, 시스템은 타임스탬프들에 기초하여 재구성된 스트로크를 인덱싱하고, 사용자에 의해 특정된 스트로크에 대응하는 화이트보드 비디오 이미지의 일부를 디스플레이에서 재생하도록 적응된 비디오 스트로크 검토기를 더 포함한다.
또 다른 실시형태에서, 디스플레이는 또한 터치 스크린 입력을 수신하도록 적응된다.
다른 실시형태에서, 시스템은 사용자로부터의 단어 입력에 기초하여 재구성된 스트로크들을 탐색하고, 임의의 것이 발견되는 경우, 단어 입력에 대응하는 재구성된 스트로크들을 식별하며, 그리고 디스플레이에서 미리결정된 컬러에서 찾아낸 재구성된 스트로크들을 강조표시하도록 적응된 단어 검출기를 더 포함한다.
또 다른 실시형태에서, 시스템은 사용자로부터의 스피치 입력에 기초하여 화이트보드 비디오 이미지를 탐색하고, 임의의 것이 발견되는 경우, 스피치 입력에 대응하는 재구성된 스트로크들을 식별하며, 그리고 디스플레이에서 미리결정된 컬러에서 찾아낸 재구성된 스트로크들을 강조표시하도록 적응된 스피치 검출기를 더 포함한다.
추가 실시형태에서, 디스플레이는 사용자의 입력에 대응하는 재구성된 스트로크 다음으로 클라우드 그래픽을 디스플레이하도록 적응된 단어 클라우드 퍼블리셔를 더 포함한다.
다른 실시형태에서, 시스템은 화이트보드 회의의 참가자의 생체인식 서명들을 저장하도록 적응된 생체인식 데이터베이스를 더 포함하여, 참가자가 참가자의 생체인식 서명들 중 하나에 기초하여 식별되도록 한다. 또 다른 실시형태에서, 생체인식 데이터베이스는 참가자들의 스트로크, 안면, 및 음성 서명들 중 하나를 저장하도록 적응된다.
본 개시에 따라, 추가 실시형태에서, 복수의 참가자들을 위한 화이트보드 비디오 협업 시스템이 제공된다. 시스템은 생체인식 데이터베이스에서의 참가자들의 대응하는 서명들 중 하나에 기초하여 참가자에게 시간-경과 데이터를 포함하는 화이트보드 데이터를 분배하도록 적응된 메시징 유닛을 더 포함한다.
다른 실시형태에서, 메시징 유닛은 슬랙 (Slack), 페이스북 워크플레이스 (Facebook Workplace), 시스코 스파크 (Cisco Spark), 마이크로소프트 팀즈 (Microsoft Teams), 힙챗 (HipChat) 및 이메일 중 하나이다. 또 다른 실시형태에서, 메시징 유닛은 또한 화이트보드 제스처들을 인식하도록 적응된다. 화이트보드 제스처들은 화이트보드 상에 정사각형, 탭, 도트 및 해시태그를 포함한다.
추가 실시형태에서, 메시징 유닛은 재구성된 화이트보드 이미지에서 해시태그를 검출하고; 검출된 해시태그 영역과 미리정의된 사용자 채널들 사이의 매치를 결정하고; 그리고 검출된 해시 태그 영역에서의 재구성된 화이트보드 이미지들을 매칭된 사용자 채널에 포스팅하도록 적응되다.
다른 실시형태에 따라, 디스플레이는 또한, 미리결정된 시간보다 늦은 타임스탬프를 갖는 재구성된 스트로크들만을 나타내도록 적응됨으로써, 복수의 참가자들이 미리결정된 시간으로부터 가상 협업 세션을 시작하도록 한다.
본 개시에 따라, 또 다른 실시형태에서, 아날로그 화이트보드 이미지를 재구성하기 위한 시스템이 제공된다. 시스템은 디스플레이에서 재구성된 화이트보드 이미지에 기초하여 화이트보드 인쇄물을 출력하도록 적응된 잉크-프린터를 더 포함한다. 추가 실시형태에서, 잉크-프린터는 또한, 화이트보드 인쇄물의 사이즈를 조정하도록 적응된다.
도 1 은 본 개시의 일 실시형태에 따른 배경 백색을 정의하고 배경 백색픽셀들을 분류하기 위한 방법의 개요를 설명한다.
도 2 는 다른 실시형태에 따른 전경 마커 컬러들의 컬러 정규화 및 전경 마커 컬러 픽셀들의 분류를 위한 방법의 개요를 설명한다.
도 3 은 다른 실시형태에 따른 전경 마커 컬러 정규화를 위한 픽셀들의 클러스터들의 히스토그램을 도시한다.
도 4 는 다른 실시형태에 따른 고해상도 그레이-스케일 이미지를 생성하기 위해 병합되는 개별 컬러 평면들을 도시한다.
도 5 는 다른 실시형태에 따른 스트로크 재구성을 위한 변곡점들을 도시한다.
다양한 실시형태에들에서, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하고 고해상도 화이트보드 이미지들을 생성하기 위한 시스템들 및 방법들이 제공된다. 일 실시형태에 따른 지능형 화이트보드 비디오 공동작업 시스템은 메시징 유틸리티를 포함하여, 관련 생체인식 정보에 기초한 참가자들이 시간-경과 화이트보드 데이터에 액세스하고 시스템 및 다른 참가자들과 통신하는 것이 가능해진다.
클러스트링은, 다른 실시형태에 따라, 배경 백색과 전경 마커 컬러들을 정의하는데 있어서 전역으로 뿐만 아니라 로컬로 대안의 컬러 공간들에서 수행된다. 소정의 실시형태들에서, 화이트보드에서 다수의 픽셀들 주위의 로컬 패치들은 각각의 전경 마커 컬러에 대한 배경 백색 픽셀들 및 전경 컬러 픽셀들을 분류하는데 사용된다. 컬러 정규화는 일 실시형태에 따라 로컬 패치들에서 최대 로컬 배경 백색 및 가장 어두운 픽셀 강도들을 활용하여 별도로 각각의 센서 컬러 평면에 대해 그리고 전경 마커 컬러로서 분류된 각각의 전경 픽셀에 대해 수행된다. 다른 실시형태에서, 스트로크들은 미리결정된 폭으로 전경 마커 컬러에 대한 각각의 스트로크의 길이를 따라 단면들의 변곡점들의 스플라인 보간에 기초하여 재구성된다.
1.화이트보드 검출및 배경 최적화
화이트보드 콘텐츠를 캡처하기 위해, 소정의 실시형태에서 카메라는 넓은 시야 (예를 들어, 100-180 도 HFOV), 고해상도 센서 (예를 들어, 12 MP 초과), 및 이미지 센서보다 큰 분해능을 갖는 광학 렌즈를 갖는다. 특정 실시형태에서, 이러한 카메라는 듀얼 이미지 파이프라인을 가지는데, 하나는 디지털 팬-틸트-줌 (pan-tilt-zoom; PTZ) 동작을 허용하는 비디오 스트림에 대한 것이고 다른 하나는 화이트보드 콘텐츠에 대한 것이다.
일 실시형태에서, 이미지의 화이트보드 영역은 백색 인테리어를 포함하는 직사각형들 및 이러한 직사각형의 4 개의 코너들을 포함하는 화이트보드와 관련된 피처들의 검사에 의해 검출된다. 다른 실시형태에서, 화이트보드 평면은 카메라 광축에 수직이 아니며 종횡비가 결정된다. 키스톤 보정은 화이트보드의 정확한 캡처를 허용하기 위해 다른 실시형태에서 후속으로 수행된다.
대안의 실시형태에서, 지능형 화이트보드 협업 시스템의 사용자 또는 참가자에게는 시스템 검출 영역이 실제로 화이트보드 입력 영역인지를 확인하는 옵션이 주어진다. 다른 실시형태에서, 사용자 또는 참가자에게는 화이트보드의 4 개의 코너들을 식별하거나 확인하는 옵션이 주어진다.
화이트보드 뷰 내에서 사람들 또는 오브젝트들의 간헐적인 움직임은 이미지들의 시퀀스에서의 변화들을 비교함으로써 기록되고 확인된다. 다른 실시형태에 따라, "스틸" 로서 분류된 이미지의 부분들만이 유지되고 화이트보드 검출 및 데이터 캡처에서 사용된다. 이는 화이트보드의 어떤 부분도 화이드보드 비디오 캡처의 전체 시퀀스 동안 카메라 뷰로부터 영구적으로 방해되지 않는다는 가정하에서, 뷰의 간헐적 방해가 없는 화이트보드의 전체 캡처 및 그 콘텐츠를 허용한다.
화이트보드가 검출되거나 정의되면, 화이트보드의 배경 백색이 결정되고 배경 백색 픽셀들이 분류된다.
캐스트 섀도우 (cast shadow) 및 화이트보드의 깨끗하지 않은 표면으로부터의 것들과 같은 일반적인 아티팩트들로 인해, 화이트보드의 배경 백색은 종종 일관적으로 백색의 완벽한 음영은 아니다. 이는 바람직한 해상도로 화이트보드 이미지를 생성하고 바람직한 정확도로 화이트보드 콘텐츠를 추출하는데 문제가 있다. 본 개시의 시스템들 및 방법들은 이러한 문제를 완화시키고 각각의 픽셀을 둘러싸는 로컬 패치들로부터의 데이터를 활용하여 화이트보드 배경 결정을 최적화한다.
일 실시형태에서, 대안의 컬러 공간에서 픽셀들의 클러스터링이 수행된다. 대안의 컬러 공간은 HSV, YCbCr, YPbPr, TSL, CIELAB 및 CIELUV 공간 중 하나이다. 예를 들어, 초기 디모자이킹 후, 픽셀들은 RGB 공간에서 HSV 공간으로 변환된다. 도 1 (2) 를 참조한다. HSV 공간에서 2 차원 히스토그램 픽셀들 (색조 및 채도) 이 생성되고 클러스터링 분석이 수행된다. 일 실시형태에 따라, 화이트보드에서의 픽셀들의 대부분이 배경 백색이라고 가정하면, 최고 주파수를 갖는 컬러 (색조 및 채도) 는 (전역) 배경 백색으로서 결정된다. 도 1 (3) 을 참조한다.
추가 실시형태에서, 중간값 필터링은 각각의 배경 백색 픽셀에 대해 그리고 각각의 컬러 채널에 대해 별도로 작은 마진의 픽셀들 (5x5) 로 선택적으로 수행된다.
도 1 (4-6) 을 참조하면, 상대적으로 작은 치수, 예를 들어 20x20, 50x50, 또는 75x75 를 갖는 픽셀들의 로컬 패치가 각각의 픽셀 주위에서 선택된다. 2 차원 색조-채도 산점도 (hue-saturation scatterplot) 가 이러한 로컬 패치들에 대해 HSV 공간에서 생성된다. (전역) 배경 백색으로부터 델타보다 더 큰 픽셀은 일 실시형태에서 제거된다; 나머지 픽셀은 사전에 배경 흰색 픽셀로서 분류됩니다. 도 1 (7-8) 을 참조한다. 배경 백색 픽셀들에 대한 이진 마스크들은 모든 로컬 50x50 패치들에 대해 생성된다. 도 1 (9) 를 참조한다. 일 실시형태에서, AND-연산자가 모든 로컬 패치들에 적용됨으로써, 모든 로컬 패치들에서 백색 배경인 경우에만 (전역) 배경 백색 픽셀의 분류를 확인한다. 대안의 실시형태에서, OR-연산자가 로컬 패치들에 적용됨으로써, 로컬 패치들 중 적어도 하나에서 배경 백색으로 표시되는 경우 (전역) 배경 백색 픽셀의 분류를 확인한다.
다른 실시형태에서, 픽셀은 미리결정된 퍼센티지의 로컬 패치들을 넘어서는 백색 배경인 경우 (전역) 백색 배경 픽셀로서 최종적으로서 분류된다. 일부 실시형태들에서, 미리 결정된 퍼센티지는 90 %이다. 도 1 (10) 를 참조한다.
2. 컬러 정규화
배경 백색 픽셀들로서 분류되지 않은 모든 픽셀들은 전경 픽셀들로 간주된다. 픽셀들은 초기 디모자이킹 프로세스 후 전경 마커 컬러에 속하는 전격 픽셀들로서 미리 분류될 수도 있다. 일 실시형태에서, 배경 백색의 결정 및 배경 백색 픽셀들의 분류에 후속하여, 나머지 픽셀들은 전경 픽셀들로서 확인된다. 그 후, 전경 픽셀들에 대해 추가 프로세싱 및 어드밴스드 컬러 정규화가 수행된다.
도 2 (1) 을 참조하면, 예를 들어 전경 픽셀들의 클러스터들의 2 차원 히스토그램이 HSV 공간과 같은 대안의 컬러 공간에서 생성된다. 클러스터링 분석은 고유 전경 마커 컬러들에 수행된다. 일 실시형태에서, 본 개시의 지능형 화이트보드 협업 시스템에서 최대 12 개의 전경 마커 컬러들이 허용된다. 도 3 을 참조하면, 예를 들어 여기서 4 개의 별개의 클러스터들 (흑색, 녹색, 청색, 적색) 은 각각의 전경 마커 컬러를 서로 구별한다. x 축 상의 색조는 이 클러스터링 축에서 주요 차별화요소이다.
클러스터링 분석에 기초하여, 각각의 전경 마커 컬러에 대한 이진 마스크가 생성된다. 각각의 전경 마커 컬러에 대한 가장 전형적인 컬러 (평균 또는 중간값) 이 추정되며, 이는 일 실시형태에 따른 전경 마커 컬러로서 결정된다. 도 2 (2) 를 참조한다.
소정의 실시형태에서, 각각의 전경 마커 픽셀 주위에 미리 결정된 수의 픽셀들의 작은 마진이 추가 프로세싱을 위해 전경 마커 픽셀들의 확장을 허용하도록 부가된다. 일 실시형태에서 작은 마진은 5x5 이다.
도 2 (3) 를 참조하면, 각각의 이미지 센서 컬러 평면에 대해 별도로, 각각의 전경 컬러 픽셀의 값은 그 전경 컬러 픽셀을 둘러싸는 로컬 패치에서 배경 백색 픽셀들의 로컬 최대 강도로 나눔으로써 정규화된다. 로컬 패치는 다양한 실시형태들에서 각각의 전경색 픽셀을 둘러싸는 20x20, 50x50 또는 75x75 픽셀의 치수이다. 도 2 (4) 를 참조하면, 각각의 이미지 센서 컬러 평면에 대해 별도로, 각각의 전경 컬러 픽셀의 값은 그 전경 컬러 픽셀을 둘러싸는 로컬 패치에서 전경 픽셀들의 가장 어두운 강도로 감산함으로써 추가로 정규화된다.
베이어 (bayer) 도메인에서 최대 배경 백색 픽셀 및 가장 어두운 전경 컬러 픽셀을 사용하는 로컬 패치 기반 정규화에 후속하여, 각각의 이미지 센서 컬러 평면에 대한 정규화된 그레이-스케일 (흑백) 이미지가 생성된다. 도 4 를 참조하면, 일 실시형태에서, 그 후 고해상도 그레이-스케일 이미지가 개별 컬러 평면들을 병합함으로써 생성된다. 구체적으로, 여기에 나타낸 바와 같이, 4 개의 정규화된 이미지 센서 컬러 평면들 (R, B, Gr, Gb) 은 하나의 흑백 이미지로 병합된다. 픽셀 포지션들은 이미지 센서의 베이어 패턴 픽셀 사이트들에 대응하여 시프트된다.
마지막으로 그리고 일 실시형태에 따른 컬러 정규화를 완료하기 위해, 고해상도 그레이-스케일 이미지의 모든 전경 픽셀들은 대응하는 전경 마커 컬러의 가장 전형적인 컬러 (평균 또는 중간값) 을 적용함으로써 "컬러링되고", 이에 의해 화이트보드의 고해상도 컬러 이미지를 재구성한다. 도 3 (6) 을 참조한다.
3. 스트로크 재구성
본 개시의 일 실시형태에 따라 지능형 화이트보드 협업 시스템에서의 액세스를 위한 결과의 화이트보드 이미지의 해상도 및 일관성 그리고 화이트보드 데이터 및 콘텐츠의 정확도를 개선하기 위해 모든 전경 마커 컬러들의 스트로크가 재구성되거나 "디지털화" 된다.
도 5 를 참조하면, 그레이-스케일 이미지들에 대한 동작은, 각각의 스트로크의 가장 가파른 상승 및 하강이 검사되고 스트로크의 단면으로부터의 변곡점이 식별된다. 변곡점을 연결하는 것에 의해 펜 곡선이 생성되고, 재구성된 스트로크는 미리 결정된 폭을 채택하여, 펜 곡선에 기초하여 렌더링된다. 일 실시형태에서 미리 결정된 폭은 대응하는 전경 마커 컬러의 모든 스트로크들의 평균 폭이다. 상이한 전경 마커 컬러들에 대한 재구성된 스트로크들은 다른 실시형태에 따라 다양한 폭들을 채택한다. 각각의 전경 컬러의 스트로크 폭은 소정의 실시형태에서 화이트보드 협업 시스템의 사용자에 의해 선택될 수도 있다.
일 실시형태에 따라, 변곡점들을 연결하는데 있어서 스플라인 보간이 수행되고, 대안의 실시형태들에서, 스무딩 스플라인들 또는 큐빅 스무딩 스플라인들이 생성됨으로써 대응하는 펜 곡선들을 도출한다.
개요에 있어서 그리고 다양한 실시형태들에 따라, 배경 최적화, 컬러 정규화 및 스트로크 재구성 시에, 결과의 재구성된 화이트보드 이미지는 일관된 백색 배경, 균일하게 컬러링된 스트로크들, 및 이미지 센서의 원래 해상도에 비해 수 배 더 큰 해상도를 제시한다.
4. 지능형 화이트보드 협업 시스템
일 실시형태에 따라, 본 개시의 시스템은 화이트보드 회의를 위한 원시 화이트보드 비디오 신호들로부터 타임-스탬프된 화이트보드 데이터를 생성하도록 적응된다. 시스템은 화이트보드 검출 유닛, 배경 유닛, 전경 마커 유닛, 스트로크 디지타이저 및 디스플레이를 포함한다. 하기에서 논의된 각각의 부가 컴포넌트들을 포함하는 시스템에서의 각각의 컴포넌트 또는 유닛은, 다양한 실시형태들에서, 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합일 수도 있다. 각각의 컴포넌트는 서로 전자적으로 또는 디지털로 연결되어, 시스템 내에서 그리고 이들 컴포넌트들 사이에서 데이터 및 신호들이 송신된다. 대안의 실시형태에서 디스플레이는 시스템의 다른 컴포넌트들에 무선으로 연결된다. 시스템은 다른 실시형태에서 다수의 디스플레이들을 포함하며, 각각은 화이트보드 회의의 개별 사용자 또는 참가자에 의해 동작되거나 활용된다.
화이트보드 검출 유닛은 원시 화이트보드 비디오 이미지 신호들로부터 화이트보드를 검출 및 정의하도록 적응된다. 그것은 이미지 신호들의 임의의 비화이트보드 영역들을 제거한다. 다양한 방법들이 다양한 실시형태들의 상세한 설명의 섹션 1 에서 위에 논의된 바와 같이 화이트보드의 검출에서 활용된다.
배경 유닛은 전역 배경 백색을 배경 백색으로서 정의하고 배경 백색으로서 픽셀들을 분류하도록 적응된다. 배경 유닛은 본 상세한 설명의 섹션 1 에서 위에 논의된 바와 같이 최적화 기법들을 활용하여 배경 백색 정의의 일관성 및 배경 백색 픽셀 분류의 정확도를 개선한다. 예를 들어, 도 1 을 참조한다. 예를 들어, 배경 유닛은 배경 백색 픽셀들을 분류하는데 있어서 화이트보드의 다수의 픽셀들을 둘러싸는 로컬 패치들로부터의 데이터에 의존한다. 배경 유닛은 배경 백색을 정의하는데 있어서 전역으로 그리고 로컬로 대안의 컬러 공간들에서 픽셀들의 클러스터링을 수행하고, 위에 논의된 바와 같이, 배경 백색에 대한 이진 마스크를 생성한다. 예를 들어, 도 1 을 참조한다.
전경 마커 유닛은 각각의 전경 마커 컬러를 정의하고 픽셀들을 전경 마커 컬러로서 분류하도록 적응된다. 전경 마커 유닛은 전경 픽셀들에 대한 컬러 정규화를 수행하기 위해 다양한 실시형태들의 본 상세한 설명의 섹션 2 에서 위에 논의된 바와 같은 다양한 방법들을 채용한다. 예를 들어, 도 2 을 참조한다. 예를 들어, 전경 마커 유닛은 각각의 이미지 센서 컬러 평면에 대한 컬러를 별도로 정규화하기 위해 각각의 전경 픽셀을 둘러싸는 로컬 패치에서 로컬 최대 배경 백색 및 가장 어두운 픽셀 강도를 활용한다.
추가 실시형태에서 전경 마커 유닛은 각각의 이미지 센서 컬러 평면에 대해 개별적으로 정규화된 그레이-스케일 이미지를 생성하고, 개별 컬러 평면에 대한 이러한 그레이-스케일 이미지를 병합하여 고해상도 그레이-스케일 이미지를 형성한다. 예를 들어, 도 4 를 참조한다. 전경 마커 유닛은 또한, 고해상도 그레이 이미지에서 대응하는 전경 마커 컬러로서 분류된 각각의 픽셀에 상기 정의된 전경 마커 컬러를 적용하는 것에 의해 고해상도 컬러 이미지를 재구성하도록 적응된다. 정의된 전경 마커 컬러는 일 실시형태에서 특정 전경 마커 컬러의 평균 또는 중간값이다.
스트로크 디지타이저는 각각의 전경 마커 컬러의 스트로크를 재구성하거나 디지털화하도록 적응된다. 각각의 스트로크는 원시 화이트보드 비디오 신호들에 기초한 타임스탬프와 연관된다. 스트로크 디지타이저는 각각의 전경 마커 컬러의 스트로크들을 재구성하기 위해 다양한 실시형태들의 본 상세한 설명의 섹션 3 에서 위에 논의된 바와 같은 다양한 방법들을 채용한다. 도 5 를 참조한다.
본 개시의 디스플레이는 타임스탬프 정보를 포함하는 재구성된 화이트보드 이미지를 렌더링하도록 적응된다. 다양한 실시형태에 따른 디스플레이는 컴퓨터 단말기, 태블릿, 스마트 폰, 사물 인터넷 (internet-of-things; "IoT") 단말기, 및 가상 현실 또는 증강 현실 (VR/AR) 디스플레이 디바이스들 중 하나이다. 디스플레이는 일 실시형태에서 터치 스크린 가능형이다. 디스플레이는 다른 실시형태에서 음성-입력 가능형이다. 화이트보드 협업 시스템의 사용자 또는 참가자는 상이한 타입의 디스플레이로의 액세스를 가지며, 이들 디스플레이 모두는 시스템 및 다른 디스플레이와 통신하는 것이 가능해진다. 이러한 통신은 대안의 실시형태에서, 유선, 무선, 블루투스 또는 다른 네트워크 연결들이다.
다른 실시형태에서, 시스템은 디스플레이에 연결된 비디오 스트로크 검토기를 더 포함한다. 스트로크 검토기는 타임스탬프들에 기초하여 재구성된 스트로크들을 인덱싱하고 사용자에 의해 특정된 관심의 하나 이상의 스트로크들에 대응하는 화이트보드 비디오 이미지의 디스플레이 세그먼트들에서 재생하도록 적응된다. 사용자는 검토될 비디오의 세그먼트들에 대해 시간 길이를 특정할 수도 있다. 일 실시형태에서, 사용자는 관심의 스트로크 또는 스크로크들을 터치-스크린 가능형 디스플레이에서 강조표시함으로써 표시한다. 다른 실시형태에서, 사용자는 마우스 커서로 스트로크들을 사이클링함으로써 이러한 관심을 표시한다. 비디오 스트로크 검토기는 대안의 실시형태에서 디스플레이의 일부이다. 다른 실시형태에서, 디스플레이에 커플링된 비디오 스트로크 검토기는 사용자의 관심에 기초하여 재구성된 스트로크들의 시간 경과 시퀀스를 디스플레이하도록 적응된다.
추가 실시형태에서 시스템은 디스플레이에 연결된 단어 검출기를 포함한다. 단어 검출기는 사용자로부터의 단어 입력에 기초하여 재구성된 스트로크를 탐색하고, 임의의 것이 발견되는 경우, 단어 입력에 대응하는 재구성된 스트로크들을 식별하도록 적응된다. 단어 검출기는 키보드 입력 또는 터치 스크린 입력을 수신하도록 적응된다. 단어 검출기는 또한 디스플레이에서 재구성된 스트로크들을 미리 결정된 컬러로 강조표시하도록 적응된다. 미리결정된 컬러는 일 실시형태에 따라 사용자에 의해 선택되며, 미리결정된 컬러는 혼동을 회피하기 위해 시스템에서 인식되는 임의의 전경 마커 컬러가 아니다.
다른 실시형태에서, 시스템은 디스플레이에 연결된 스피치 검출기를 포함한다. 스피치 검출기는 음성 인식이 가능하다. 이것은 사용자로부터의 스피치 입력에 기초하여 화이트보드 비디오 이미지 신호들을 탐색하고 임의의 것이 발견되는 경우 스피치 입력에 대응하는 재구성된 스트로크들을 식별하도록 적응된다. 스피치 검출기는 또한 디스플레이에서 재구성된 스트로크들을 미리 결정된 컬러로 강조표시하도록 적응된다. 일 실시형태에 따라, 미리결정된 컬러는 사용자에 의해 선택된다. 혼동을 회피하기 위해, 미리결정된 컬러는 시스템에서 인식된 임의의 전경 마커 컬러와 동일한 임의의 컬러를 배제한다.
부가 실시형태에서, 디스플레이는 그 내에 단어 클라우드 퍼블리셔를 더 포함한다. 단어 클라우드 퍼블리셔는 사용자의 입력에 대응하는 재구성된 스트로크 다음으로 클라우드 그래픽을 디스플레이하도록 적응된다. 단어 클라우드 퍼블리셔는 일 실시형태에서, 소프트웨어 유틸리티이며, 사용자가 재구성된 화이트보드 이미지에 주석을 달거나 직접 코멘트하는 것을 가능하게 한다. 대안의 실시형태에서, 단어 클라우드 퍼블리셔는 관심의 스트로크 또는 스트로크들에 기초하여 사용자 또는 참가자들에게 주요 관심의 단어들을 디스플레이한다.
추가 실시형태에서 본 개시의 지능형 화이트보드 협업 시스템은 생체인식 데이터베이스를 포함한다. 생체인식 데이터베이스는 화이트보드 회의의 모든 참가자들 또는 지능형 화이트보드 협업 시스템 사용자들의 생체인식 서명들을 저장한다. 이는 스트로크, 안면 및 음성 서명들을 포함하여 참가자들의 생체인식 서명 중 하나에 기초하여 참가자 또는 사용자가 식별되도록 한다. 데이터베이스는 또한 이름, 직책, 조직 및 관심사를 포함하여 참가자 또는 사용자의 다른 식별 정보도 포함한다. 이러한 시스템은 특히 아이덴티티, 생체인식 서명 및 관심사를 포함하여 사용자 또는 참가자에 관하여 잘 알고 있다는 점에서 지능적이다. 따라서, 본 개시의 지능형 화이트보드 협업 시스템은 하기에서 논의되는 메시징 유닛과 같은 유틸리티들 또는 컴포넌트들을 사용하여, 사용자들 또는 참가자들에 의한 그리고 이들 사이의 스마트 정보 공유 및 통신을 가능하게 한다.
지능형 화이트보드 협업 시스템은 소정의 실시형태들에 따른 메시징 유닛을 포함한다. 메시징 유닛은 관련 생체인식 서명들 또는 참가자의 다른 식별 정보에 기초하여 시간 경과 데이터를 포함하는 화이트보드 데이터를 참가자에게 분배하고, 참가자가 서로 통신하도록 한다. 예를 들어, 메시징 유닛은 화이트보드 회의에서 적색 마커를 사용하여 적색 마커 아래의 모든 스트로크 데이터를 참가자에게 포스트하거나 릴레이할 수도 있다. 또한, 참가자는 메시징 유닛을 통해 다른 참가자에게 포워딩될 화이트보드에서의 관심 그래프를 요청할 수도 있다. 다양한 실시형태들에서, 메시징 유닛은 슬랙 (Slack), 페이스북 워크플레이스 (Facebook Workplace), 시스코 스파크 (Cisco Spark), 마이크로소프트 팀즈 (Microsoft Teams), 힙챗 (HipChat) 또는 이메일이다.
다른 실시형태에서, 메시징 유닛은 또한 화이트보드 제스처들을 인식하도록 적응된다. 대안의 실시형태에 따라 이러한 제스처는 화이트보드의 정사각형, 탭, 도트 및 해시 태그를 포함하며 원시 화이트보드 비디오 신호에 존재하거나 또는 사용자에 의해 재구성된 화이트보드 이미지에 삽입된다.
메시징 유닛은 소정의 실시형태에서 화이트보드 이미지에서 해시태그를 검출하고, 검출된 해시태그 영역과 미리정의된 사용자 채널 사이의 매치를 결정하도록 적응된다. 매치가 있는 경우, 메시징 유닛은 해시태그 영역에서의 화이트보드 이미지를 매칭된 사용자 채널에 포스팅한다. 매치는 사용자 또는 참가자로부터의 단어 또는 음성 입력, 또는 사용자에 의해 표시되고 시스템에 의해 지원되는 다른 기준에 기초할 수도 있다.
추가 실시형태에 따라, 디스플레이는 미리결정된 시간보다 늦은 타임스탬프를 갖는 재구성된 스트로크들만을 나타내도록 적응된다. 이는 참가자가 지능형 화이트보드 협업 시스템을 사용하여 미리결정된 시간으로부터 가상 협업 세션을 시작하게 한다. 실제로, 이러한 피처는 또한 사용자가 미리결정된 시간보다 오래된 화이트보드의 콘텐츠를 사실상 "소거" 하여 관련없는 데이터를 필터링하는 것을 가능하게 한다.
메시징 유닛을 통한 시스템은 화이트보드 회의 후 미팅 개요로서 미리결정된 시간에 의해 경계가 정해진 화이트보드 시간 경과 콘텐츠를 참가자들 그리고 심지어 회의에 참석할 수 없었던 조직의 사람들에게 분배할 수도 있다.
본 개시의 부가 실시형태에서, 시스템은 무선으로 또는 유선 연결을 통해, 디스플레이에 연결된 잉크 프린터를 더 포함한다. 잉크 프린터는 디스플레이에서 재구성된 화이트보드 이미지에 기초하여 화이트보드 인쇄물을 출력하도록 적응된다. 추가 실시형태에서, 잉크-프린터는 또한, 화이트보드 인쇄물의 사이즈를 조정하도록 적응된다.
도면 및 예를 포함하는 본 명세서의 다양한 실시형태의 설명은 발명 및 그 다양한 실시형태들을 예시하는 것이고 제한하는 것이 아니다.

Claims (53)

  1. 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법으로써,
    화이트보드의 4 개의 코너들을 계산함으로써 상기 화이트보드를 정의하는 단계;
    배경 백색을 결정하고 배경 백색 픽셀들을 식별하는 단계;
    i) 대안의 컬러 공간에서 전경 픽셀의 클러스터링을 수행, ii) 상기 클러스터링에 기초하여 전경 픽셀을 전경 마커 컬러로서 분류, 및 iii) 각각의 전경 마커 컬러에 대해 이진 마스크를 생성하여 각각의 전경 마커 컬러 및 각각의 전경 픽셀에 대해 컬러 정규화를 수행하는 단계 - 여기서, 각각의 전경 마커 컬러는 상기 전경 마커 컬러로서 분류된 모든 픽셀들의 가장 전형적인 컬러로서 정의되고, 상기 가장 전형적인 컬러는 상기 전경 마커 컬러의 중간값 및 평균 중 하나임; 및
    미리 결정된 폭으로 각각의 전경 마커 컬러에 대한 스트로크들을 재구성하는 단계를 포함하고,
    각각의 스트로크는 상기 화이트보드 비디오 신호들에 기초한 타임스탬프와 연관되는, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  2. 제 1 항에 있어서,
    스트로크들을 재구성하는 단계는, 길이를 따라 전경 마커 컬러의 스트로크의 단면들로부터 변곡점들을 연결함으로써 펜 곡선을 생성하는 단계; 및 미리 결정된 폭으로 상기 펜 곡선에 기초하여 재구성된 스트로크를 렌더링하는 단계를 포함하는, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  3. 제 2 항에 있어서,
    상기 미리 결정된 폭은 스트로크들의 평균 폭인, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  4. 제 2 항에 있어서,
    상기 미리 결정된 폭은 다른 전경 마커 컬러들과 비교하여 각각의 전경 마커 컬러에 대해 변경되는, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  5. 제 2 항에 있어서,
    상기 변곡점들을 연결하는 것은, 상기 변곡점들에 스플라인 보간을 적용하는 것을 포함하는, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  6. 제 5 항에 있어서,
    상기 스플라인 보간은 스무딩 스플라인 보간인, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  7. 제 6 항에 있어서,
    상기 스무딩 스플라인 보간은 큐빅 스무딩 스플라인 보간인, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  8. 제 1 항에 있어서,
    화이트보드를 정의하는 단계는, 백색 인테리어를 갖는 직사각형을 검출하는 단계; 및 상기 화이트보드의 종횡비를 결정하는 단계를 더 포함하는, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  9. 제 8 항에 있어서,
    화이트보드를 정의하는 단계는, 키스톤 보정들을 더 포함하는, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  10. 제 1 항에 있어서,
    배경 백색을 결정하고 배경 백색 픽셀들을 식별하는 단계는, 상기 화이트보드에서의 각각의 픽셀을 대안의 컬러 공간으로 변환하는 단계; 상기 컬러 공간에서 픽셀들의 클러스터들의 히스토그램을 생성하는 단계; 및 최빈 컬러를 결정하는 단계를 더 포함하고, 상기 최빈 컬러는 상기 배경 백색으로서 정의되는, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  11. 제 10 항에 있어서,
    상기 대안의 컬러 공간은 HSV, YCbCr, YPbPr, TSL, CIELAB, 및 CIELUV 공간 중 하나인, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  12. 제 10 항에 있어서,
    배경 백색을 결정하고 배경 백색 픽셀들을 식별하는 단계는, 로컬 패치들에 대한 다수의 로컬 배경 백색을 추정하는 단계를 더 포함하는, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  13. 제 12 항에 있어서,
    상기 로컬 패치들은 다수의 픽셀들 각각을 둘러싸는 20x20, 50x50 및 75x75 치수 중 하나인, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  14. 제 13 항에 있어서,
    상기 다수의 픽셀들은 상기 화이트보드에서의 각각의 픽셀을 포함하는, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  15. 제 12 항에 있어서,
    다수의 로컬 배경 백색을 추정하는 단계는 각각의 로컬 패치에 대한 대안의 컬러 공간에서 픽셀들의 클러스터링을 수행하는 단계를 더 포함하고, 상기 대안의 컬러 공간은 HSV, YCbCr, YPbPr, TSL, CIELAB 및 CIELUV 공간 중 하나인, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  16. 제 15 항에 있어서,
    각각의 로컬 패치에 대한 배경 백색 픽셀들의 이진 마스크를 생성하는 단계; 및
    픽셀이 모든 로컬 패치들의 미리결정된 퍼센티지를 넘어서는 배경 백색인 경우 상기 픽셀을 배경 백색으로서 분류하는 단계를 더 포함하는, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  17. 제 16 항에 있어서,
    상기 미리결정된 퍼센티지는 90% 인, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  18. 제 16 항에 있어서,
    픽셀이 배경 백색으로서 분류되지 않은 경우, 상기 픽셀을 전경 픽셀로서 분류하는 단계를 더 포함하는, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  19. 제 1 항에 있어서,
    상기 대안의 컬러 공간은 HSV, YCbCr, YPbPr, TSL, CIELAB 및 CIELUV 공간 중 하나인, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  20. 제 19 항에 있어서,
    각각의 이미지 센서 컬러 평면에 대해, 전경 마커 컬러로서 분류된 각각의 픽셀을 둘러싸는 로컬 패치에서 로컬 최대 강도를 갖는 배경 백색 픽셀을 식별하는 단계; 및
    상기 전경 마커 픽셀의 값을 상기 배경 백색 픽셀의 로컬 최대 강도로 나누는 것에 의해 정규화하는 단계를 더 포함하는, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  21. 제 20 항에 있어서,
    상기 로컬 패치는 전경 마커 컬러로서 분류된 픽셀을 둘러싸는 20x20, 50x50, 및 75x75 치수 중 하나인, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  22. 제 21 항에 있어서,
    각각의 이미지 센서 컬러 평면에 대해, 전경 마커 컬러로서 분류된 픽셀을 둘러싸는 상기 로컬 패치에서, 가장 어두운 강도를 갖는 전경 마커 컬러 픽셀을 식별하는 단계; 및
    전경 마커 픽셀로서 분류된 상기 픽셀의 값을 상기 가장 어두운 강도로 감산하는 것에 의해 정규화함으로써, 상기 이미지 센서 컬러 평면에 대해 정규화된 그레이-스케일 이미지를 도출하는 단계를 더 포함하는, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  23. 제 22 항에 있어서,
    각각의 이미지 센서 컬러 평면에 대해 상기 정규화된 그레이-스케일 이미지를 병합하는 것에 의해 고해상도 그레이-스케일 이미지를 생성하는 단계를 더 포함하는, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  24. 제 23 항에 있어서,
    상기 고해상도 그레이-스케일 이미지에서 대응하는 전경 마커 컬러로서 분류된 각각의 픽셀에 가장 전형적인 전경 마커 컬러를 적용함으로써 고해상도 컬러 이미지를 재구성하는 단계를 더 포함하고, 상기 가장 전형적인 전경 마커 컬러는 상기 대응하는 전경 마커 컬러의 중간값 및 평균 중 하나인, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  25. 제 1 항에 있어서,
    상기 화이트보드 비디오 신호들의 시간 시퀀스를 비교하는 것에 의해 간헐적으로 상기 화이트보드의 뷰를 방해하는 사람을 제거하는 단계; 및
    스틸로서 결정되는 이미지들로부터만 화이트보드 데이터를 캡처하는 단계를 더 포함하는, 화이트보드 비디오 신호들로부터 타임-스탬프된 데이터를 캡처하기 위한 방법.
  26. 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템으로써,
    상기 원시 화이트보드 비디오 이미지들로부터 화이트보드를 검출하도록 적응된 검출 유닛;
    전역 배경 백색을 정의하고 픽셀들을 배경 백색으로서 분류하도록 적응된 배경 유닛;
    각각의 전경 마커 컬러를 정의하고 픽셀들을 전경 마커 컬러로서 분류하고, i) 대안의 컬러 공간에서 전경 픽셀의 클러스터링을 수행, ii) 상기 클러스터링에 기초하여 전경 픽셀을 전경 마커 컬러로서 분류, 및 iii) 각각의 전경 마커 컬러에 대해 이진 마스크를 생성하여 컬러 정규화를 수행하도록 적응된 전경 마커 유닛 - 여기서, 각각의 전경 마커 컬러는 상기 전경 마커 컬러로서 분류된 모든 픽셀들의 가장 전형적인 컬러로서 정의되고, 상기 가장 전형적인 컬러는 상기 전경 마커 컬러의 중간값 및 평균 중 하나임;
    각각의 전경 마커 컬러의 스트로크들을 재구성하도록 적응된 스트로크 디지타이저; 및
    타임스탬프와 연관된 재구성된 화이트보드 이미지를 렌더링하도록 적응된 디스플레이를 포함하고,
    각각의 스트로크는 상기 원시 화이트보드 비디오 이미지들에 기초한 타임스탬프와 연관되는, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  27. 제 26 항에 있어서,
    상기 스트로크 디지타이저는 또한,
    (i) 길이를 따라 전경 마커 컬러의 스트로크의 단면들로부터 변곡점들을 연결함으로써 펜 곡선을 생성하고, 그리고
    (ii) 미리 결정된 폭으로 상기 펜 곡선에 기초하여 재구성된 스트로크를 렌더링하는 것에 의해 재구성된 스트로크를 생성하도록 적응되는, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  28. 제 27 항에 있어서,
    상기 미리 결정된 폭은 상기 스트로크들의 평균 폭인, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  29. 제 27 항에 있어서,
    상기 미리 결정된 폭은 다른 전경 마커 컬러들과 비교하여 각각의 전경 마커 컬러에 대해 변경되는, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  30. 제 27 항에 있어서,
    상기 스트로크 디지타이저는 또한, 상기 변곡점들에 스플라인 보간을 적용하는 것에 의해 상기 펜 곡선을 도출하도록 적응되는, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  31. 제 30 항에 있어서,
    상기 스플라인 보간은 스무딩 스플라인 보간인, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  32. 제 31 항에 있어서,
    상기 스무딩 스플라인 보간은 큐빅 스무딩 스플라인 보간인, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  33. 제 26 항에 있어서,
    상기 배경 유닛은 또한, 로컬 패치들에 대한 다수의 로컬 배경 백색을 추정하고, 그리고 배경 백색에 대한 이진 마스크를 생성하도록 적응되는, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  34. 제 26 항에 있어서,
    로컬 패치들은 다수의 픽셀들의 각각을 둘러싸는 20x20, 50x50, 및 75x75 치수 중 하나인, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  35. 제 34 항에 있어서,
    상기 다수의 픽셀들은 상기 화이트보드에서의 각각의 픽셀을 포함하는, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  36. 제 26 항에 있어서,
    상기 전경 마커 유닛은 또한, 전경 컬러로서 분류된 각각의 전경 픽셀을 둘러싸는 로컬 패치에 기초하여 각각의 전경 마커 컬러에 대해 별도로 그리고 각각의 이미지 센서 컬러 평면에 대해 별도로 컬러를 정규화하도록 적응되는, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  37. 제 36 항에 있어서,
    상기 전경 마커 유닛은 또한, 상기 로컬 패치에서 식별된 전경 컬러 픽셀의 최대 로컬 배경 백색 및 가장 어두운 강도에 기초하여 컬러를 정규화하도록 적응되는, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  38. 제 37 항에 있어서,
    상기 전경 마커 유닛은 또한, 각각의 이미지 센서 컬러 평면에 대해 별도로 정규화된 그레이-스케일 이미지를 생성함으로써, 각각의 이미지 센서 컬러 평면에 대해 상기 별도로 정규화된 그레이-스케일 이미지를 조합하는 것에 의해 고해상도 그레이-스케일 이미지를 생성하도록 적응되는, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  39. 제 38 항에 있어서,
    상기 전경 마커 유닛은 또한, 고해상도 그레이 이미지에서 대응하는 전경 마커 컬러로서 분류된 각각의 픽셀에 정의된 전경 마커 컬러를 적용하는 것에 의해 고해상도 컬러 이미지를 재구성하도록 적응되는, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  40. 제 26 항에 있어서,
    타임스탬프들에 기초하여 재구성된 스트로크를 인덱싱하고, 사용자에 의해 특정된 스트로크에 대응하는 상기 화이트보드 비디오 이미지의 일부를 디스플레이에서 재생하도록 적응된 비디오 스트로크 검토기를 더 포함하는, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  41. 제 40 항에 있어서,
    상기 디스플레이는 또한, 터치 스크린 입력을 수신하도록 적응되는, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  42. 제 26 항에 있어서,
    사용자로부터의 단어 입력에 기초하여 재구성된 스트로크들을 탐색하고, 임의의 것이 발견되는 경우, 상기 단어 입력에 대응하는 재구성된 스트로크들을 식별하며, 그리고 상기 재구성된 스트로크들을 상기 디스플레이에서 미리결정된 컬러로 강조표시하도록 적응된 단어 검출기를 더 포함하는, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  43. 제 26 항에 있어서,
    사용자로부터의 스피치 입력에 기초하여 상기 화이트보드 비디오 이미지를 탐색하고, 임의의 것이 발견되는 경우, 상기 스피치 입력에 대응하는 재구성된 스트로크들을 식별하며, 그리고 상기 재구성된 스트로크들을 상기 디스플레이에서 미리결정된 컬러로 강조표시하도록 적응된 스피치 검출기를 더 포함하는, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  44. 제 26 항에 있어서,
    상기 디스플레이는 사용자의 입력에 대응하는 재구성된 스트로크 다음으로 클라우드 그래픽을 디스플레이하도록 적응된 단어 클라우드 퍼블리셔를 더 포함하는, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  45. 제 26 항에 있어서,
    상기 화이트보드 회의의 참가자의 생체인식 서명들을 저장하도록 적응된 생체인식 데이터베이스를 더 포함하여, 상기 참가자가 상기 참가자의 생체인식 서명들 중 하나에 기초하여 식별되도록 하는, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  46. 제 45 항에 있어서,
    상기 생체인식 서명들은 스트로크, 안면 및 음성 서명들 중 하나인, 화이트보드 회의를 위한 원시 화이트보드 비디오 이미지들로부터 타임-스탬프된 화이트보드 데이터를 생성하기 위한 시스템.
  47. 복수의 참가자들을 위한 화이트보드 비디오 협업 시스템으로서,
    제 45 항의 시스템, 및
    타임- 스탬프된 화이트보드 데이터를 상기 생체인식 데이터베이스에서의 참가자들의 대응하는 서명들 중 하나에 기초하여 상기 참가자에게 분배하도록 적응된 메시징 유닛을 포함하는, 복수의 참가자들을 위한 화이트보드 비디오 협업 시스템.
  48. 제 47 항에 있어서,
    상기 메시징 유닛은 슬랙 (Slack), 페이스북 워크플레이스 (Facebook Workplace), 시스코 스파크 (Cisco Spark), 마이크로소프트 팀즈 (Microsoft Teams), 힙챗 (HipChat) 및 이메일 중 하나인, 복수의 참가자들을 위한 화이트보드 비디오 협업 시스템.
  49. 제 48 항에 있어서,
    상기 메시징 유닛은 또한, 화이트보드 제스처들을 인식하도록 적응되고, 상기 화이트보드 제스처들은 상기 화이트보드 상의 정사각형, 탭, 도트 및 해시태그를 포함하는, 복수의 참가자들을 위한 화이트보드 비디오 협업 시스템.
  50. 제 49 항에 있어서,
    상기 메시징 유닛은 (i) 재구성된 화이트보드 이미지에서 해시태그를 검출하고, (ii) 검출된 해시태그 영역과 미리정의된 사용자 채널들 사이의 매치를 결정하고; 그리고 (iii) 상기 검출된 해시 태그 영역에서의 상기 재구성된 화이트보드 이미지를 매칭된 사용자 채널에 포스팅하도록 적응되는, 복수의 참가자들을 위한 화이트보드 비디오 협업 시스템.
  51. 제 47 항에 있어서,
    상기 디스플레이는 또한, 미리결정된 시간보다 늦은 타임스탬프를 갖는 재구성된 스트로크들만을 나타내도록 적응됨으로써, 상기 복수의 참가자들이 상기 미리결정된 시간으로부터 가상 협업 세션을 시작하도록 하는, 복수의 참가자들을 위한 화이트보드 비디오 협업 시스템.
  52. 아날로그 화이트보드 이미지를 재구성하는 시스템으로서,
    제 26 항의 시스템 및 상기 디스플레이에 연결된 잉크-프린터를 포함하고,
    상기 잉크-프린터는 상기 디스플레이에서 상기 재구성된 화이트보드 이미지에 기초하여 화이트보드 인쇄물을 출력하도록 적응되는, 아날로그 화이트보드 이미지를 재구성하는 시스템.
  53. 제 52 항에 있어서,
    상기 잉크-프린터는 또한, 상기 화이트보드 인쇄물의 사이즈를 조정하도록 적응되는, 아날로그 화이트보드 이미지를 재구성하는 시스템.
KR1020207002116A 2017-06-26 2018-06-25 지능형 화이트보드 협업 시스템들 및 방법들 KR102670702B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/632,953 2017-06-26
US15/632,953 US10387747B2 (en) 2017-06-26 2017-06-26 Intelligent whiteboard collaboratio systems and methods
PCT/US2018/039373 WO2019005706A1 (en) 2017-06-26 2018-06-25 SYSTEMS AND INTELLIGENT METHODS OF COLLABORATING WHITEBOARD

Publications (2)

Publication Number Publication Date
KR20200022453A KR20200022453A (ko) 2020-03-03
KR102670702B1 true KR102670702B1 (ko) 2024-05-31

Family

ID=64693322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207002116A KR102670702B1 (ko) 2017-06-26 2018-06-25 지능형 화이트보드 협업 시스템들 및 방법들

Country Status (9)

Country Link
US (2) US10387747B2 (ko)
EP (1) EP3646241A4 (ko)
JP (1) JP7230016B2 (ko)
KR (1) KR102670702B1 (ko)
CN (1) CN110809769B (ko)
AU (1) AU2018295212B2 (ko)
CA (1) CA3067222A1 (ko)
NO (1) NO20191491A1 (ko)
WO (1) WO2019005706A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6996367B2 (ja) * 2018-03-14 2022-01-17 株式会社リコー 電子黒板システム、電子黒板、方法、プログラム及び会議システム
US11638147B2 (en) 2019-11-22 2023-04-25 International Business Machines Corporation Privacy-preserving collaborative whiteboard using augmented reality
US11245871B1 (en) * 2021-01-04 2022-02-08 Servicenow, Inc. Gesture-based whiteboard
WO2023122537A1 (en) * 2021-12-20 2023-06-29 Canon U.S.A., Inc. Apparatus and method for enhancing a whiteboard image
WO2023235581A1 (en) * 2022-06-03 2023-12-07 Canon U.S.A., Inc. Apparatus and method for enhancing a whiteboard image

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028901A1 (en) * 2001-06-14 2003-02-06 International Business Machines Corporation Periodic broadcast and location of evolving media content with application to seminar and stroke media
US20030234772A1 (en) * 2002-06-19 2003-12-25 Zhengyou Zhang System and method for whiteboard and audio capture
US20040165786A1 (en) * 2003-02-22 2004-08-26 Zhengyou Zhang System and method for converting whiteboard content into an electronic document
US20090309956A1 (en) * 2008-06-14 2009-12-17 Microsoft Corporation Techniques to manage a whiteboard for multimedia conference events
US20150135067A1 (en) * 2013-11-14 2015-05-14 Wells Fargo Bank, N.A. Intelligent data presentation
US20150213411A1 (en) * 2014-01-24 2015-07-30 T Minus 5 Llc Collaborative Meeting Planning

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404439A (en) * 1992-04-15 1995-04-04 Xerox Corporation Time-space object containment for graphical user interface
DE69333096T2 (de) * 1992-04-15 2004-02-12 Xerox Corp. Vorrichtungen und Verfahren zum graphischen Zeichnen und Ausgabe
US5592608A (en) * 1993-10-15 1997-01-07 Xerox Corporation Interactively producing indices into image and gesture-based data using unrecognized graphical objects
US6144991A (en) * 1998-02-19 2000-11-07 Telcordia Technologies, Inc. System and method for managing interactions between users in a browser-based telecommunications network
US6473794B1 (en) * 1999-05-27 2002-10-29 Accenture Llp System for establishing plan to test components of web based framework by displaying pictorial representation and conveying indicia coded components of existing network framework
US7286113B1 (en) * 1999-06-30 2007-10-23 Silverbrook Research Pty Ltd Method and system for user registration
US7653925B2 (en) * 1999-11-17 2010-01-26 Ricoh Company, Ltd. Techniques for receiving information during multimedia presentations and communicating the information
US20010035976A1 (en) * 2000-02-15 2001-11-01 Andrew Poon Method and system for online presentations of writings and line drawings
US6859909B1 (en) * 2000-03-07 2005-02-22 Microsoft Corporation System and method for annotating web-based documents
US6904182B1 (en) * 2000-04-19 2005-06-07 Microsoft Corporation Whiteboard imaging system
US20030095113A1 (en) * 2001-11-21 2003-05-22 Yue Ma Index and retrieval system and method for scanned notes from whiteboard
US7177483B2 (en) * 2002-08-29 2007-02-13 Palo Alto Research Center Incorporated. System and method for enhancement of document images
US7298930B1 (en) * 2002-11-29 2007-11-20 Ricoh Company, Ltd. Multimodal access of meeting recordings
JP2005108230A (ja) * 2003-09-25 2005-04-21 Ricoh Co Ltd オーディオ／ビデオコンテンツ認識・処理機能内蔵印刷システム
US7260278B2 (en) * 2003-11-18 2007-08-21 Microsoft Corp. System and method for real-time whiteboard capture and processing
US20050227218A1 (en) * 2004-03-06 2005-10-13 Dinesh Mehta Learning system based on metadata framework and indexed, distributed and fragmented content
US7284192B2 (en) * 2004-06-24 2007-10-16 Avaya Technology Corp. Architecture for ink annotations on web documents
US7724953B2 (en) * 2006-05-17 2010-05-25 Qualcomm Incorporated Whiteboard, blackboard, and document image processing
TW200731162A (en) * 2006-06-19 2007-08-16 Bextech Inc Manuscript image processing system and method
US9740293B2 (en) * 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
JP5219706B2 (ja) * 2008-09-12 2013-06-26 キヤノン株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
US20120072843A1 (en) * 2010-09-20 2012-03-22 Disney Enterprises, Inc. Figment collaboration system
US8723789B1 (en) * 2011-02-11 2014-05-13 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
US20130031457A1 (en) * 2011-07-28 2013-01-31 Peter Griffiths System for Creating and Editing Temporal Annotations of Documents
CN104106037B (zh) * 2012-02-13 2017-10-03 日立麦克赛尔株式会社 投影仪，图形输入·显示装置，便携终端和程序
US9013454B2 (en) * 2012-03-02 2015-04-21 Ricoh Co., Ltd. Associating strokes with documents based on the document image
US8805068B2 (en) * 2012-12-13 2014-08-12 Microsoft Corporation Automatic classification and color enhancement of a markable surface
US20140313216A1 (en) * 2013-04-18 2014-10-23 Baldur Andrew Steingrimsson Recognition and Representation of Image Sketches
US9665259B2 (en) * 2013-07-12 2017-05-30 Microsoft Technology Licensing, Llc Interactive digital displays
JP6255826B2 (ja) * 2013-09-13 2018-01-10 株式会社リコー システム、情報処理装置、画像表示方法、プログラム、記憶媒体
US9864972B2 (en) * 2013-11-14 2018-01-09 Wells Fargo Bank, N.A. Vehicle interface
US10437461B2 (en) * 2015-01-21 2019-10-08 Lenovo (Singapore) Pte. Ltd. Presentation of representation of handwriting input on display
CN107534704B (zh) * 2015-05-07 2020-11-06 株式会社理光 一种经由通信网络连接的信息处理方法、设备和介质
US9658702B2 (en) * 2015-08-12 2017-05-23 Smart Technologies Ulc System and method of object recognition for an interactive input system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028901A1 (en) * 2001-06-14 2003-02-06 International Business Machines Corporation Periodic broadcast and location of evolving media content with application to seminar and stroke media
US20030234772A1 (en) * 2002-06-19 2003-12-25 Zhengyou Zhang System and method for whiteboard and audio capture
US20040165786A1 (en) * 2003-02-22 2004-08-26 Zhengyou Zhang System and method for converting whiteboard content into an electronic document
US20090309956A1 (en) * 2008-06-14 2009-12-17 Microsoft Corporation Techniques to manage a whiteboard for multimedia conference events
US20150135067A1 (en) * 2013-11-14 2015-05-14 Wells Fargo Bank, N.A. Intelligent data presentation
US20150213411A1 (en) * 2014-01-24 2015-07-30 T Minus 5 Llc Collaborative Meeting Planning

Also Published As

Publication number Publication date
NO20191491A1 (en) 2019-12-18
KR20200022453A (ko) 2020-03-03
US20180373954A1 (en) 2018-12-27
US10387747B2 (en) 2019-08-20
AU2018295212B2 (en) 2023-04-20
US20190325253A1 (en) 2019-10-24
US11205087B2 (en) 2021-12-21
CN110809769B (zh) 2024-02-13
JP2020525962A (ja) 2020-08-27
CA3067222A1 (en) 2019-01-03
EP3646241A4 (en) 2021-03-24
EP3646241A1 (en) 2020-05-06
AU2018295212A1 (en) 2020-01-16
WO2019005706A1 (en) 2019-01-03
JP7230016B2 (ja) 2023-02-28
CN110809769A (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
KR102670702B1 (ko) 지능형 화이트보드 협업 시스템들 및 방법들
Wen et al. COVERAGE—A novel database for copy-move forgery detection
US20140253429A1 (en) Visual language for human computer interfaces
US11138695B2 (en) Method and device for video processing, electronic device, and storage medium
US20180336397A1 (en) Method for detecting a live face for access to an electronic device
EP3912338B1 (en) Sharing physical writing surfaces in videoconferencing
US20180232192A1 (en) System and Method for Visual Enhancement, Annotation and Broadcast of Physical Writing Surfaces
JP6779688B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
US20190246048A1 (en) Image processing apparatus, image processing method, and storage medium
WO2022142219A1 (zh) 图像背景处理方法、装置、电子设备及存储介质
CN109583330B (zh) 一种用于人脸照片的毛孔检测方法
JP5818050B1 (ja) ステータス判定システム
EP3435281B1 (en) Skin undertone determining method and an electronic device
CN108491820B (zh) 图像中肢体表示信息的识别方法、装置及设备、存储介质
US20180116582A1 (en) Elasticity evaluation apparatus, elasticity evaluation method, and elasticity evaluation program
US20220237742A1 (en) White Background Protection in SRGAN Based Super Resolution
JP6467994B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
Hou et al. Hue modification estimation using sensor pattern noise
CN110991304A (zh) 基于摄像头与热感探头的交互手势采集和识别方法及装置
Sandnes et al. An Image Based Automatic 2D: 4D Digit Ratio Measurement Procedure for Smart City Health and Business Applications
Sandnes A two-stage binarizing algorithm for automatic 2D: 4D finger ratio measurement of hands with non-separated fingers
JP6277768B2 (ja) 画像処理装置及びプログラム
CN114445897A (zh) 脸部对象的彩妆色号识别方法、装置及服务器
Kumari et al. Feature Based Object Detection Using DWT Technique: A Review
Kathavarayan et al. Facial Image Extraction Through Color Mapping Techniques

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant