KR20220002372A

KR20220002372A - 컴퓨터 비전을 위한 기록 표면 경계 마커

Info

Publication number: KR20220002372A
Application number: KR1020217036999A
Authority: KR
Inventors: 조셉 르메이; 제이콥 엡스타인
Original assignee: 로켓 이노베이션스, 아이엔씨.
Priority date: 2019-04-12
Filing date: 2020-04-10
Publication date: 2022-01-06
Also published as: AU2020271104A1; CA3136438A1; CN114026598A; WO2020210637A1; EP3953789A4; EP3953789A1; JP2022527413A

Abstract

수기 노트들을 캡처, 조직화 및 저장하기 위한 시스템은 복수의 경계 마커들을 포함한다. 경계 마커들은 기록 표면 상에 위치되도록 구성된다. 또한, 복수의 경계 마커들은 형광 색상을 갖는다. 본 시스템은 또한, 카메라가 장착된 컴퓨팅 장치 상에서 실행될 때, 해당 카메라 장착 컴퓨팅 장치가 프로세스들을 실행하게 하는 명령들로 인코딩되는 유형의(tangible) 비일시적인 컴퓨터 판독가능 매체를 포함한다. 프로세스들은 그 위에 형광 마커들을 갖는 기록 표면의 이미지를 캡처하는 단계를 포함한다. 프로세스들은 캡처된 이미지 내의 형광 색상의 경계 마커들을 검출하는 단계를 더 포함한다. 추가적으로, 프로세스들은 형광 색상의 경계 마커들의 위치들에 기초하여, 캡처된 이미지 내의 가상 경계를 식별하는 단계를 포함한다. 그 후, 프로세스들은 가상 경계 내의 캡처된 이미지의 일부를 왜곡 보정하여 왜곡 보정된 이미지를 생성한다.

Description

컴퓨터 비전을 위한 기록 표면 경계 마커

관련 출원에 대한 우선권 및 교차 참조

본 특허 출원은 미국 특허 가출원 제62/833,321호(2019년 4월 12일 출원)의 우선권을 주장하며, 그 전체가 본 명세서에 참조에 의해 원용된다.

기술분야

본 발명의 예시적인 실시예들은 일반적으로, 경계를 정의하기 위해 기록 표면 상에 위치되는 마커들에 관한 것이며, 보다 구체적으로, 본 발명의 예시적인 실시예들은 마커들의 위치의 머신 비전 식별에 관한 것이다.

학생들과 전문가들은 화이트보드에 자주 기록을 한다. 연구 세션 또는 팀 회의 중과 같은 일부 협동적인 노력에서, 사용자가 회의로부터 노트들을 기념하거나 또는 공유하기 위해 화이트보드 상의 기록이 사진 찍힐 수 있다. 사용자들은 화이트보드의 사진을 찍어 노트들의 기록을 그들의 전화기에 가질 수 있고, 동료들과 공유할 수 있다.

본 발명의 일 실시예에 따르면, 수기 노트(handwritten note)들을 캡처, 조직화 및 저장하기 위한 시스템은 복수의 경계 마커들을 포함한다. 경계 마커들은 기록 표면 상에 위치되도록 구성된다. 또한, 복수의 경계 마커들은 형광 색상을 갖는다. 본 시스템은 또한, 카메라가 장착된 컴퓨팅 장치 상에서 실행될 때, 해당 카메라 장착 컴퓨팅 장치가 프로세스들을 실행하게 하는 명령들로 인코딩되는 유형의(tangible) 비일시적인 컴퓨터 판독가능 매체를 포함한다. 프로세스들은 그 위에 형광 마커들을 갖는 기록 표면의 이미지를 캡처하는 단계를 포함한다. 프로세스들은 캡처된 이미지 내의 형광 색상의 경계 마커들을 검출하는 단계를 더 포함한다. 추가적으로, 프로세스들은 형광 색상의 경계 마커들의 위치들에 기초하여, 캡처된 이미지 내의 가상 경계를 식별하는 단계를 포함한다. 그 후, 프로세스들은 가상 경계 내의 캡처된 이미지의 일부를 왜곡 보정하여 왜곡 보정된 이미지를 생성한다.

일부 실시예들에서, 경계 마커들은 형광 주황색이다. 마커들은 일반적으로 삼각형 형상을 가질 수 있다. 또한, 마커들은 실리콘으로 형성된다. 다양한 실시예들에서, 마커들은 접착제 및/또는 미세흡입을 사용하여 기록 표면에 결합한다. 또한, 마커들은 휴대가능하고 쉽게 파지될 수 있다. 이를 위해, 마커들은 약 0.5 밀리미터 및 약 3 밀리미터 사이의 두께를 가질 수 있다.

일부 실시예들에서, 카메라가 장착된 컴퓨팅 장치에 의해 실행되는 프로세스들은 왜곡 보정된 이미지를 브로드캐스트하는 단계를 더 포함한다. 추가적으로, 브로드캐스트는 새로운 이미지들이 캡처될 때 업데이트될 수 있다. 다른 프로세스들은 왜곡 보정된 이미지를 이미지 저장소에 저장하는 단계를 포함할 수 있다. 추가적으로 또는 대안적으로, 프로세스들은 경계 마커들을 이미지로부터 잘라내는 단계를 더 포함할 수 있다. 일부 다른 프로세스들은 캡처된 이미지로부터 배경을 제거하는 단계, 이미지 내의 가상 경계를 이용하여 캡처된 이미지를 잘라내는 단계, 및/또는 이미지를 개선시키는 단계를 포함할 수 있다. 다양한 실시예들에서, 컴퓨팅 장치에 의해 수행되는 프로세스들은 기록 표면의 사진을 찍는 것에 응답하여 수행된다. 기록 표면은 화이트보드 또는 벽을 포함할 수 있다.

다른 실시예들에 따르면, 수기 노트들을 캡처하고 저장하기 위한 방법은 기록 표면 상에 복수의 경계 마커들을 배치하는 단계를 포함한다. 경계 마커들은 수기 노트들을 둘러싸는 가상 경계를 정의한다. 방법은 전자 장치로 기록 표면을 스캐닝함으로써 기록 표면 이미지를 캡처하는 단계를 포함한다. 또한, 방법은 기록 표면 이미지 내의 마커들의 위치를 식별한다. 또한, 방법은 기록 표면 이미지 내의 마커들의 위치에 기초하여 경계를 결정한다. 또한, 방법은 왜곡 보정된 이미지를 생성하기 위해 가상 경계 내에 캡처된 이미지의 일부를 왜곡 보정할 수 있다. 그 후, 왜곡 보정된 이미지는 검출된 경계의 위치에 기초하여 잘라내질 수 있다.

다른 옵션들 중에서, 복수의 경계 마커들을 배치하는 단계는 직사각형 경계의 코너들을 근사적으로 정의하는 위치들에 경계 마커들을 위치시키는 단계를 포함한다. 마커들의 위치를 식별하는 단계는 이미지 내의 형광 색상을 식별하는 단계를 포함할 수 있다. 왜곡 보정된 이미지는 저장 및/또는 브로드캐스트될 수 있다.

전자 장치를 이용하여 기록 표면을 스캐닝함으로써 제2 기록 표면 이미지가 캡처될 수 있다. 그 후, 방법은 제2 기록 표면 이미지 내의 마커들의 위치를 식별하고, 제2 기록 표면 이미지 내의 마커들의 위치에 기초하여 경계를 결정할 수 있다. 그 후, 방법은 제2 기록 표면 이미지 내의 경계를 검출하는 함수로서 제2 기록 표면 이미지를 왜곡 보정하여 제2의 왜곡 보정된 이미지를 생성할 수 있다. 방법은 또한 검출된 경계의 위치에 기초하여 제2 왜곡 보정된 이미지를 잘라낼 수 있다. 일부 실시예들에서, 왜곡 보정된 이미지의 브로드캐스팅은 제2 왜곡 보정된 이미지를 브로드캐스트하기 위해 업데이트될 수 있다.

또 다른 실시예에 따르면, 머신 비전에 의해 검출하기 위한 마커는 형광 색상을 갖는 제1 표면을 포함한다. 제1 표면은 머신 비전에 의해 관찰되도록 구성된다. 마커는 표면 결합 부분을 갖는 제2 표면을 갖는다. 표면 결합 부분은 기록 표면이 수직 배향으로 있을 때 마커가 기록 표면에 결합된 채 유지되도록 기록 표면에 결합하도록 구성된다.

다른 형상들 중에서, 마커의 형상은 기록 표면의 가장자리의 형상의 적어도 일부에 대응할 수 있다. 기록 표면은 화이트보드일 수 있다. 마커는 미세흡입 층을 사용하여 기록 표면에 결합할 수 있다. 일부 실시예들에서, 마커는 가시적 접힘 패턴들을 갖지 않는 재료로 형성된다. 마커 또는 이의 대부분은 실리콘으로 형성될 수 있다. 따라서, 마커는 세척 가능하고 재사용 가능할 수 있다.

다른 실시예에 따르면, 수기 노트들을 공유하는 시스템은 카메라와 결합된 컴퓨터 장치를 포함한다. 카메라는 콘텐츠를 갖는 배경을 보도록 구성된다. 시스템은 또한 형광 색상을 갖는 복수의 경계 마커들을 포함한다. 경계 마커들은 배경과 카메라 사이에 위치되도록 구성되어, 콘텐츠를 포함하는 배경의 일 부분의 주위에 가상 경계를 정의한다. 컴퓨터 장치는 (1) 형광 색상 경계 마커들을 검출하고, (2) 가상 경계를 결정하며, (3) 배경의 부분의 기울기 보정된 이미지를 생성하기 위해 가상 경계의 형상의 함수로서 배경의 부분을 기울기 보정하도록 구성된다. 컴퓨터 장치는 배경의 부분의 기울기 보정된 이미지를 공유하도록 더 구성된다.

다른 방법들 중에서, 경계 마커들은 프레임에 의해 함께 유지될 수 있다. 프레임은 바깥쪽의 마커 홀딩 부분 및 이미지화될 안쪽 부분(이미지 부분으로도 지칭됨)을 가질 수 있다. 마커 홀딩 부분은 플라스틱 또는 금속으로 형성될 수 있다. 마커 홀딩 부분은 마커들을 가상 경계에 대응하는 미리 정의된 방향으로 유지하도록 형상화될 수 있다. 이미지 부분은 미리 설정된 배경, 또는 배경이 관찰될 수 있는 구경/개구를 포함할 수 있다.

프레임은 마커 홀딩 부분의 하나 이상의 꼭지점에 위치된 경계 마커를 가질 수 있고, 위치된 마커들은 직사각형과 같은 가상 경계를 정의할 수 있다. 사용 중에, 프레임은 카메라와 배경 사이에 위치될 수 있다. 일부 다른 실시예들에서, 프레임은 이미지 부분 상에 투명한 주석 표면을 가질 수 있다. 주석 표면은 주석이 달리고/달리거나 필기구를 사용하여 마킹될 수 있다. 일부 다른 실시예들에서, 이미지 부분은 미리 설정된 배경을 포함할 수 있다. 이미지 부분은 기울기 보정되고/되거나 참여자들과 공유될 수 있다. 이미지 부분은 이미지 또는 비디오로서 공유될 수 있다.

일부 실시예들은 복수의 경계 마커들을 갖는 키트를 포함할 수 있다. 경계 마커들은 바닥 표면에 반대되는 상부 표면을 가질 수 있다. 상부 표면은 형광 색상을 가질 수 있고, 바닥 표면은 기록 표면에 부착되도록 구성될 수 있다. 기록 표면은 화이트 보드일 수 있다. 경계 마커들은 삼각형 형상을 가질 수 있다. 일부 실시예들에서, 키트는 4개의 경계 마커들을 포함할 수 있다.

본 발명의 예시적인 실시예들은 컴퓨터 판독가능 프로그램 코드를 갖는 컴퓨터 사용가능한 매체를 갖는, 컴퓨터 프로그램 제품으로서 구현된다. 컴퓨터 판독가능 코드는 통상적인 프로세스에 따라 컴퓨터 시스템에 의해 판독 및 이용될 수 있다.

통상의 기술자는 이하에서 바로 요약되는 도면들을 참조하여 설명된, 이하의 "예시적인 실시예의들 설명"으로부터 본 발명의 다양한 실시예들의 이점들을 더욱 충분히 이해할 수 있을 것이다.
도 1은 본 발명의 예시적인 실시예들에 따른 기록 표면으로부터 이미지들을 캡처, 저장 및/또는 공유하기 위한 시스템의 일 예를 개략적으로 도시한다.
도 2는 본 발명의 예시적인 실시예들에 따른 경계 마커를 개략적으로 도시한다.
도 3은 본 발명의 예시적인 실시예들에 따른 가상 경계를 형성하는 복수의 경계 마커들을 개략적으로 도시한다.
도 4는 본 발명의 예시적인 실시예들에 따른 컴퓨팅 장치의 카메라를 통해 도 3의 노트를 관찰하는 사용자를 개략적으로 도시한다.
도 5는 도 4의 마커들에 의해 정의된 가상 경계를 식별하는 시스템을 개략적으로 도시한다.
도 6은 본 발명의 예시적인 실시예들에 따른 처리 후 도 5의 노트들의 이미지를 개략적으로 도시한다.
도 7은 본 발명의 예시적인 실시예들에 따른 도 6으로부터의 노트들의 업데이트된 이미지를 개략적으로 도시한다.
도 8은 본 발명의 예시적인 실시예들에 따른 마커들을 사용하는 방법을 도시한다.
도 9는 본 발명의 예시적인 실시예들에 따른 마커들을 홀딩하도록 구성된 프레임을 개략적으로 도시한다.

예시적인 실시예들에서, 가상 경계를 정의하는 경계 마커들의 세트는 화이트보드와 같은 기록 표면 상에 배치된다. 가상 경계의 내부에는, 사용자가 이미지에서 캡처하기를 원할 수 있는 노트, 기록, 인쇄, 그림, 또는 다른 객체들(예를 들어, 모델)이 있을 수 있다. 카메라가 장착된 컴퓨팅 장치(예를 들어, 스마트폰)이 기록 표면을 바라보고, 머신 비전이 마커들을 식별하며 마커들의 위치에 기초하여 가상 경계를 결정한다. 일부 실시예들에서, 기록 표면의 이미지가 캡처되고 처리(예를 들어, 마커들에 의해 정의된 가상 경계 외부의 이미지의 일부들 및 마커들을 잘라내는 것, 이미지를 기울기 보정하는 것, 및/또는 이미지를 개선시키는 것)된다. 처리된 이미지는 데이터베이스에 저장될 수 있고, 다른 것들과 함께 공유될 수도 있다. 예시적인 실시예들의 상세한 설명은 이하에서 설명된다.

도 1은 본 발명의 예시적인 실시예들에 따른 기록 표면(12)으로부터 이미지를 캡처, 저장 및/또는 공유하기 위한 시스템(100)의 일 예를 개략적으로 도시한다. 상기 설명은 시스템(100)이 이미지를 캡처하고, 저장하고, 공유한다는 것으로 언급하지만, 시스템(100)을 이용하여 3개의 동작들 모두를 수행하지 않고도 이미지를 캡처, 저장 또는 공유할 수 있다. 예를 들어, 시스템(100)은 이미지들을 저장하지 않고 기록 표면(12)으로부터 공유 이미지들을 스트리밍하는 데 사용될 수 있다. 대안적으로, 일부 실시예들에서, 시스템(100)은 동시에 공유하지 않고, 이미지를 캡처 및 저장하는 데 사용될 수 있다.

시스템(100)은 그 위에 콘텐츠(10)를 갖는 기록 표면(12)을 포함한다. 콘텐츠(10)는 임의의 종류의 기록, 그림, 낙서 등일 수 있다. 예시적인 실시예들은 기록 표면(12) 상에 배치되는 마커들(18)을 포함한다. 편의상, 기록(10)은 애플리케이션을 통한 노트(10)로서 지칭된다. 용어 "기록" 및 "노트"(10)는 기록 표면(12) 상에 존재할 수 있는 기록, 그림, 마킹, 또는 다른 콘텐츠의 유형을 제한하도록 의도되지 않음을 이해해야 한다. 대신에, 용어 "기록" 및 "노트"는 단지 본 발명의 예시적인 실시예들을 구현하고 사용하는 방법을 보다 쉽게 이해할 수 있도록 사용된다. 또한, 예시적인 실시예들은 알파벳숫자 기록을 포함하는 콘텐츠(10)의 캡처에 제한되지 않는다는 것을 이해해야 한다. 실제로, 아래에서 더 설명되는 바와 같이, 콘텐츠(10)는 기록 표면(12) 상에 있지 않은 객체들을 포함하는 다양한 노트들, 기록, 인쇄, 그림, 및/또는 다른 객체들(예를 들어, 모델)을 포함할 수 있다.

일 예로서, 노트(10)는 협력 작업 세션 동안에 생성될 수 있다. 도 1은 노트들(10)이 공유되는 복수의 참여자들(15)을 개략적으로 도시한다. 참여자(15)들 중 일부는 (예를 들어, 다이얼 인, 인터넷 또는 다양한 메시징 시스템들을 통해) 협력 작업 세션에 원격으로 액세스할 수 있고, 전자 장치 상의 노트들(10)을 보는 것이 유리할 수 있다. 예를 들어, 도시된 바와 같이, 참여자들(15) 중 일부는 텔레비전, 컴퓨터, 및/또는 스마트폰 장치 상에서 노트들(10)을 보기를 원할 수 있다. 예시적인 실시예들은 노트들(10)의 이미지들을 캡처, 기울기 보정 및 개선시킨다. 노트들(10)은 장치(14) 상에 또는 클라우드 스토리지 상에 로컬로 저장되고, 애플리케이션(16)으로 포워딩되며, 및/또는 다른 것들로 브로드캐스트될 수도 있다. 또한, 브로드캐스트는 노트들(10)이 업데이트 및/또는 변경됨에 따라 실시간으로 업데이트될 수 있다. 따라서, 예시적인 실시예들은 다양한 참여자들 사이에서 노트들(10)의 용이한 공유를 제공한다.

이를 위해, 시스템(100)은 기록 표면(12) 상의 마커들(18)을 포함하는 하나 이상의 이미지들을 캡처하는 카메라 장착된 컴퓨팅 장치(14)를 포함한다. 마커들(18)은 사용자가 저장 및/또는 공유하기를 원하는 노트(10) 또는 그 일부를 포함하는 가상 경계(아래 도 3의 가상 경계(22)로서 점선으로 도시됨)를 정의할 수 있다. 장치(14)는 인터넷을 통해 시스템 클라우드 서비스 및 제3자 클라우드 서비스(16)에 선택적으로 연결된다. 다른 실시예들에서, 인터넷을 통한 클라우드 서비스(16)로의 네트워크 연결이 아니라, 클라우드 서비스(16)는 LAN(local area network), WAN(wide area network), 또는 VPN(가상 사설망)과 같은 가상 네트워크 내에 있다. 추가적으로 또는 대안적으로, 서비스들 중 일부는 장치(14) 상에서 로컬로 사용될 수 있다.

다른 것들 중에서도, 카메라 장착된 컴퓨팅 장치(14)는 카메라 장착된 스마트폰, 카메라 장착된 태블릿 컴퓨터, USB 연결 카메라를 구비한 데스크톱 컴퓨터, 및 카메라에 연결된 노트북 컴퓨터를 포함하지만 이에 제한되지 않는, 카메라에 연결된 임의의 컴퓨팅 장치를 포함할 수 있다. 이러한 통상적인 카메라 장착된 컴퓨팅 장치(14)에 추가하여, 예시적인 실시예들은 머신 비전 머신들, 및/또는 카메라 장착된 헤드셋들(예를 들어, 헬멧들)을 더 포함할 수 있다.

도 2는 본 발명의 예시적인 실시예들에 따른 경계 마커(18)를 개략적으로 도시한다. 전술한 바와 같이, 하나 이상의 경계 마커들(18)이 기록 표면(12) 상에 배치되어 기록 표면(12) 상에 원하는 경계(22)를 정의할 수 있다. 이를 위해, 예시적인 실시예들은 기록 표면(12)에 대응하도록 구성된 형상을 가질 수 있다. 예를 들어, 도면에 도시된 마커(18)는 통상적으로 직사각형인 화이트보드의 코너에 대응하는 직각을 갖는 삼각형 형상을 갖는다. 마커(들)(18)와 기록 표면(12) 사이의 형상 대응은 기록 표면(12)의 가장자리를 따라 마커(들)(18)의 용이한 위치설정을 제공하지만, 마커(들)(18)이 기록 표면(12)의 가장자리를 따라 위치될 필요는 없음에 유의해야 한다. 그러나, 예시적인 실시예들은 임의의 형상의 마커(18)를 포함할 수 있고, 삼각형 형상들 또는 기록 표면(12)에 대응하는 형상들로 제한되지 않음을 이해해야 한다. 따라서, 예를 들어, 마커들(18)은 원형, 정사각형 또는 다른 형상일 수 있다.

노트들(10)은 예를 들어, 벽, 화이트보드, 프로젝터, 칠판, 유리 패널, 또는 종이를 포함하는 다양한 타입들의 기록 표면들(12) 상에 존재할 수 있다. 또한, 노트들(10)은 단어들, 그림들, 및/또는 도면들과 같은 다양한 콘텐츠를 포함할 수 있다. 예시적인 실시예들에서, 경계 마커들(18)은 사용자가 이미지에서 캡처하기를 원하는 노트들(10) 주위에 연속되지 않은 둘레부/경계(예를 들어, 가상 경계의 4개의 코너들)를 형성하는 방식으로 기록 표면 상에 위치된다. 마커들(18)은 기록 표면(12)의 전체, 기록 표면(12)의 일부(예를 들어, 기록 표면(12) 상의 노트들(10)만), 또는 노트들(10)의 일부의 주위에 가상 경계를 형성하도록 위치될 수 있음을 이해해야 한다. 따라서, 사용자들은 마커들(18)을 사용하여 가상 경계(22)를 형성함으로써 캡처할 기록 표면(12)의 부분을 선택할 수 있다. 예를 들어, 카메라가 전체 기록 표면(12)을 다수의 연속적인 이미지들로 캡처하는 경우에도, 사용자는 노트들(10)의 상이한 부분들에 초점을 맞추기 위해 마커들(18)을 재배치할 수 있다.

마커(18)는 고무, 실리콘 및/또는 폴리프로필렌 중 하나 이상을 포함하는 다양한 재료로 형성될 수 있다. 추가적으로, 마커(18)의 적어도 하나의 측면은 기록 표면(12)에 신뢰할 수 있는 부착을 제공하기 위해 접착제(예를 들어, 영구 접착제, 정전 부착 접착제 및 다른 반영구적 접착제를 포함함), 정전 접착 층, 및/또는 미세흡입(microsuction) 부착 층과 같은 기록 표면 결합 부분을 가질 수 있다. 바람직하게는, 결합 부분은 마커(18)가 (예를 들어, 기록 표면(12)이 수직 배향에 있는 경우와 같이) 자신의 무게로 인해 기록 표면(12)으로부터 떨어지지 않도록 충분한 결합을 제공한다. 추가적으로, 예시적인 실시예들은 마커(18)가 재사용 가능하고 세척 가능하도록, 마커(18)를 이상 언급된 물질 또는 다른 물질로 형성할 수 있다. 일부 실시예들에서, 마커(18)는 약 0.5 mm 내지 약 3 mm(예를 들어, 1/32인치) 두께일 수 있고, 휴대용으로 유지되면서, 기록 표면(12)으로부터 용이한 파지 및 제거를 제공할 수 있다. 또한, 마커들(18)은 도 3에 도시된 바와 같이, 경계(22) 검출(예를 들어, 직사각형 경계)을 용이하게 하기 위해 키트(예를 들어, 4개의 팩)로 제공될 수 있다.

본 발명자들은, 카메라 장착된 컴퓨터 장치(14)를 포함하는 머신 비전에 의해 형광 색상의 마커들(18)이 더욱 쉽게 그리고 신뢰성 있게 식별된다는 것을 발견하였다. 본 발명자들은 형광 마커들(18) 및/또는 형광 색상들이 머신 비전에 의해 보다 쉽게 식별되는 이유에 대한 정확한 이유를 갖지는 않다는 점에 유의해야 한다. 그러나, 본 발명자들은, 확인되지는 않았지만, 이러한 효과에 대한 작용 기전은 비-가시 복사 스펙트럼(예를 들어, 자외선)에서의 광의 흡수에 응답하는 형광 색상(예를 들어, "글로우(glow)")에 의해 방출되는 별개의 가시 광선 때문일 것이라고 생각한다. 추가적인 이점으로서, 예시적인 실시예들에서, 형광 색상은 비-가시 스펙트럼에서 흡수된 광을 반사하는 그들의 능력 때문에 불량한 광 조건에서 더 쉽게 검출될 수 있다. 일부 예시적인 실시예들은 사무실 환경에서 일반적으로 발견되지 않는 색상들을 갖는 마커들(18)(예를 들어, 공통 화이트보드 환경 상의 다른 색들과 "경쟁하지" 않는 주황색 형광 마커들(18))을 사용한다.

도 3은 본 발명의 예시적인 실시예들에 따른 가상 경계(22)를 형성하는 복수의 경계 마커들(18)을 개략적으로 도시한다. 여기에 도시된 바와 같이, 마커들(18)은 화이트보드(12)의 코너로부터 오프셋되지만, 다른 실시예들에서는, 마커들(18)의 일부 또는 전부가 화이트보드(12)의 코너에 맞서 배치될 수 있다. 앞서 설명된 바와 같이, 마커들(18)의 배치는 가상 경계(22)를 정의한다. 도면에 도시된 가상 경계(22)가 기록 표면 상에 물리적으로 존재하지는 않음을 이해해야 한다. 대신에, 가상 경계(22)는 마커들(18)의 위치를 식별한 결과로서 시스템(100)에 의해 생성된다. 따라서, 머신 비전은 마커들(18)을 검출하고, 마커들(18)에 의해 형성된 가상 경계(22)를 결정한다. 일부 실시예들에서, 가상 경계(22)를 결정하는 단계는 마커들(18)의 위치를 예상 이미지 형상과 상관시키는 단계를 포함할 수 있다. 여기서 명시적으로 설명되지는 않았지만, 통상의 기술자는 머신 비전이 마커들(18)을 검출할 수 있고, 일부 개별 로직은 (예를 들어, 클라우드 기반 서버를 사용하여) 가상 경계(22)를 결정할 수 있음을 이해할 것이다.

예시적인 실시예들은 가상 경계(22)를 결정하기 위해 마커들(18)의 다양한 상이한 부분들을 사용할 수 있다. 예를 들어, 도시된 바와 같이, 가상 경계(22)는 마커들(18)의 바깥 가장자리에 의해 정의될 수 있다. 그러나, 일부 실시예들에서, 가상 경계(22)를 식별하기 위해 마커들(18)의 안쪽 가장자리들이 사용될 수 있다. 예를 들어, 가상 경계(22)를 정의하기 위해 각각의 삼각형 마커들(18)의 빗변의 중점이 사용될 수 있다. 대안적으로, 가상 경계(22)를 정의하기 위해 각각의 마커들(18)의 중점이 사용될 수 있다. 알 수 있는 바와 같이, 이들은 단지 예시적인 것이며, 마커들(18)을 사용하여 가상 경계(22)를 정의하는 다수의 방법이 존재한다. 또한, 일부 실시예들에서, 마커들(18)은 원하는 형상, 예를 들어, 직사각형 형상으로 완벽하게 정렬되지 않을 수 있다. 따라서, 예시적인 실시예들은, 예를 들어, 마커들의 배치에 대하여 "최적의 맞춤(best fit)" 가상 경계(22)를 정의함으로써, 예상된 이미지 형상에 대응하도록 마커들(18)의 다양한 부분들을 사용하여 오프셋을 보상할 수 있다. 일부 실시예들은 마커들(18) 중 일부 또는 전부를 통과하지 않는 "최적의 맞춤"을 생성할 수 있다. 예를 들어, "최적의 맞춤" 가상 경계(22)는 4개의 마커들(18) 중 3개를 통과할 수 있다. 대안적으로, 경계(22)는 마커들(18)의 안쪽으로의 특정 거리로서 정의될 수 있다. 통상의 기술자는 본 발명의 예시적인 실시예들의 범위 내에 있는 동안 마커들(18)을 사용하여 경계(22)를 정의하기 위한 다양한 방법을 사용할 수 있다.

도 4는 본 발명의 예시적인 실시예들에 따른 컴퓨팅 장치(14)의 카메라를 통해 도 3의 노트들(10)을 관찰하는 사용자를 개략적으로 도시한다. 이 예에서, 마커들(18)은 일반적으로 직사각형의 코너에 대응하도록 기록 표면(12) 상에 위치된다. 그러나, 도 4에서 카메라에 의해 캡처된 이미지의 현재의 시야각에서, 마커들(18)은 사각형의 코너에 위치하는 것으로 보인다. 이는 기록 표면(12)에 대한 카메라(14)의 상대 각도에 의존한다. 그러나, 시스템(100)은 마커들(18)을 식별하고, 마커들(18)의 위치에 기초하여 가상 경계(22)를 생성하며, (예를 들어, 공지되어 있는, 마커들(18)의 크기 및 비율에 기초하여) 이미지를 적절한 형상으로 기울기 보정한다.

도 5는 도 4의 마커들(18)에 의해 정의된 가상 경계(22)를 식별하는 시스템(100)을 개략적으로 도시한다. 도시된 바와 같이, 시스템(100)은 마커들(18)의 외부 가장자리(28)를 사용하여 가상 경계(22)를 정의한다. 처리 동안, 시스템(100)은 경계(예를 들어, 사각형) 내의 이미지의 각각의 부분을 그의 적절한 형상(예를 들어, 직사각형)으로 왜곡 보정하고, 가상 경계(22)에 맞추어 또는 근사적으로 맞추어 잘려지도록 이미지의 배경을 제거하기 위해, 컴퓨터 비전 변환을 적용한다. 이러한 식별 및 기울기 보정 프로세스는 미국 특허 제10,127,468호에 설명되어 있는 페이지 경계에 대한 식별 및 기울기 보정 프로세스와 유사하며, 그 전체가 본 명세서에 참조에 의해 원용된다.

도 6은 본 발명의 예시적인 실시예들에 따른 처리 후 도 5의 노트들(10)의 이미지를 개략적으로 도시한다. 구체적으로, 도 6의 이미지는 기울기 보정되고 개선되었다. 알 수 있는 바와 같이, 이미지는 특정 각도로 찍히지만, 기울기 보정된 이미지는 노트들(10)의 정면에서 직접 찍은 것처럼 보인다. 시스템(100)은 컴퓨터 비전 변환을 적용하여 각각의 경계를 미리 정의된 형상으로 왜곡 보정(unwarp)한다. 예를 들어, 4개의 마커들(18)에 의해 형성된 사각형은 직사각형으로 왜곡 보정될 수 있다.

추가적으로, 일부 실시예들에서, 시스템(100)은 이미지의 배경을 제거하고 이미지를 개선시킬 수 있다. 일부 실시예들에서, 시스템(100)은 이미지로부터 마커들(18)을 직접 잘라내고, 이미지가 가상 경계(22)에 맞춰 잘려지도록 경계(22) 외부의 모든 것을 잘라낸다. 이미지는 또한 예를 들어, 노이즈 필터링, 선명도 개선, 콘트라스트 개선, 색 포화도 증가 등과 같은 통상적인 이미지 개선 및 필터링 기술을 사용하여 개선될 수 있다. 일부 실시예들에서, 스캔된 노트들 상에 광학적 문자 인식(optical character recognition)이 수행된다. 또한, 노트들은 OCR 동안에 노트들에서 식별된 단어들에 기초하여 제목이 자동으로 할당될 수 있다. 이미지가 캡처된 후에, 노트들(10)은 장치(14)에 로컬로 저장될 수 있고/있거나, 다른 사람들(예를 들어, 참여자들) 및 다양한 애플리케이션들 및 프로그램들(16)에 브로드캐스트될 수 있다.

일부 실시예들에서, 시스템(100)은 사용자가 기록 표면(12)을, 또는 정의된 가상 경계(22) 내의 기록 표면의 부분을 실시간으로 이미지 및/또는 비디오 스트림으로 전송할 수 있게 한다. 시스템은 고유한 URL을 생성하고 이를 다른 사용자들과 (예를 들어, 텍스트 메시지 링크, 이메일 등을 통해) 공유한다. 기록 표면(12) 및/또는 가상 경계(22)가 스캔될 때마다 개인적인, 실시간 페이지가 업데이트될 수 있다. 추가적으로 또는 대안적으로, 예시적인 실시예들은 자동 스캔 모드를 가질 수 있고, 여기서 카메라는 기록 표면 및/또는 가상 경계(22)를 향하고, 미리 결정된 시간(예를 들어, 매 5초, 매 분 마다, 매 5분마다 등)에 자동으로 스캔한다. 자동 스캔 시간은 사용자에 의해 조절될 수 있다.

도 7은 본 발명의 예시적인 실시예들에 따른 도 6의 노트들(10)의 업데이트된 이미지(10A)를 개략적으로 도시한다. 알 수 있는 바와 같이, 새로운 노트들(30)이 도 6으로부터의 노트들(10)에 추가되었다. 예를 들어, 사용자는 기록 표면(12) 상에 이러한 새로운 노트들(30)을 그릴 수 있다. 새로운 노트들(30)이 기록 표면(12)에 추가된 후에, 장치(14)의 카메라는 기록 표면(12) 및/또는 마커들(18)을 다시 바라보고, 이전에 설명된 프로세스들을 이용하여 제2 이미지가 생성된다. 이 제2 이미지는 참여자(15)에게 실시간으로 브로드캐스트될 수 있다. 따라서, 예시적인 실시예들은 기록 표면(12)의 브로드캐스트 업데이트들을 제공할 수 있다. 이러한 과정은 여러 번 반복될 수 있다. 추가적으로, 이러한 노트들(10A)은 삭제될 수 있고, 본 명세서에 설명된 방법들을 이용하여 완전히 새로운 노트들의 세트가 생성되고 브로드캐스트될 수 있다. 예시적인 실시예들은 다양한 이미지들을 저장할 수 있고, 사용자들로 하여금 리뷰를 위해 시스템(100)에 의해 스캐닝되는 다양한 이미지들의 기록을 유지하게 할 수 있다.

도 8은 본 발명의 예시적인 실시예들에 따른 마커들(18)을 사용하는 방법을 나타낸다. 이 방법은 경계 마커들(18)을 위치시키는 단계(802)에서 시작한다. 앞서 설명된 바와 같이, 경계 마커들(18)은 다양한 종류의 경계(22)를 정의하기 위해 다수의 방식으로 위치될 수 있다. 예를 들어, 마커들(18)은 직사각형의 4개의 코너에, 삼각형을 형성하는 3개의 지점 등에 위치될 수 있다. 예시적인 실시예들에서, 시스템(100)은 마커들(18)에 의해 형성된 형상, 또는 가장 근접하게 근사화된 형상을 결정하고, 결정된 형상에 기초하여 기울기 보정(deskew)하는 로직을 가진다. 그러나, 통상적인 기록 표면들(12)은 직사각형이기 때문에, 많은 사용 시나리오들은 직사각형 형상에 기초할 것으로 예상된다. 따라서, 일부 실시예들은 정의된 형상의 가장자리들 내에 또는 그 근처에 위치되지 않는 마커들(18)의 구성들(예를 들어, 랜덤하게 산란됨)을 무시할 수 있다(즉, 가상 경계(22)를 검출하지 않음). 따라서, 예시적인 실시예들은 직사각형 가상 경계(22)를 용이하게 정의하기 위해 키트 내에 4개의 마커들(18)을 제공할 수 있다.

프로세스는 컴퓨터 비전을 이용하여 경계 마커들(18)을 식별하는 단계(804)로 진행한다. 컴퓨터 비전은 전술한 임의의 장치들(14) 상에 있을 수 있다. 예를 들어, 형광 삼각형 형상의 마커들(18)을 사용하는 경우, 컴퓨터 비전은 스크린 상의 이미지에서 4개의 밝은 주황색 삼각형을 검색한다. 시스템(100)은 스크린 상에서 마커들(18)을 찾기 위해 목표 색상 주위의 일부 컬러 임계치들을 이용할 수 있다. 예를 들어, 시스템은 매우 다양한 환경(예를 들어, 밝음 대 어두움)에서 마커들을 검출하도록 하기 위해 색조/채도의 일부 값 내에 있는 RGB 색상을 찾을 수 있다. 일부 실시예들에서, 동적 값이 또한 이용될 수 있는데, 즉, 시스템은 마커들(18)의 형상들을 찾을 수 있다(예를 들어, 동일한 색상의 4개의 삼각형 형상의 마커들(18)을 찾음).

그 후, 프로세스는 마커들(18)의 위치에 기초하여 경계(22)를 결정하는, 중지 단계(806)로 진행한다. 예시적인 실시예들에서, 마커들은 기록 표면(12)으로부터의 마커들과 이미지의 배경으로부터의 마커들의 용이한 구별을 제공하기 위해 형광을 나타낸다. 앞서 설명한 바와 같이, 형광 색상의 빛은 마커들이 컴퓨터의 시야에 대해 더 많이 두드러지는 것을 돕고, 그림자, 사람 또는 그려진 형상(예를 들어, 그려진 삼각형)으로서 혼동될 가능성이 적다. 그러나, 다른 실시예들은 비-형광 색상을 사용할 수 있다.

그 후, 프로세스는 이미지를 처리하는 단계(808)로 진행한다. 모든 마커들(18)(예를 들어, 4개의 삼각형)를 찾은 후에, 시스템(100)은 (예를 들어, 마커들(18)의 알려진 형상 및 비율을 사용함으로써) 스냅샷을 찍고 이미지를 기울기 보정할 수 있다. 시스템(100)은 또한 마커들(18)의 위치에 의해 정의된 경계(22)에 맞추어 이미지를 잘라낼 수 있다. 시스템(100)은 또한 각도를 결정할 수 있기 때문에(예를 들어, 더 멀리 있는 마커들(18)이 더 가까이 있는 마커들(18)에 비해 더 작고 왜곡됨을 검출함으로써) 가파른 각도로부터 이미지를 기울기 보정할 수 있음을 이해해야 한다. 예를 들어, 마커들(18)이 실제 세계에서 직사각형의 코너에 위치될 때, 가상 경계(22)는 스크린 상에서 사다리꼴처럼 보일 수 있다. 시스템은 알려진 마커(18) 형상 및 알려진 기록 표면(12) 형상을 사용하여 이미지를 직사각형으로 연신할 수 있다.

일부 실시예들에서, 기울기 보정 알고리즘을 개선시키기 위해 3D 데이터가 사용될 수 있다. 예를 들어, 스마트폰은 (예를 들어, Apple® iPhone 10을 잠금 해제하기 위해 사용되는 얼굴 인식과 유사한) 3D 형상을 검출할 수 있다. 마커들(18)의 위치를 보다 정확하게 결정하고, 보다 정확하게 기울기 보정된 이미지를 생성하기 위해 진정한 3D 데이터가 사용될 수 있다. 실제로, 일부 실시예들은 마커들이 미리 결정된 형상으로 배열되지 않더라도(예를 들어, 랜덤하게 분산됨) 마커들(18)의 임의의 위치를 고려할 수 있다. 기울기 보정된 이미지는 마커들(18)의 위치에 의해 정의되는 형상을 가질 수 있다. 추가적인 단계들에서, 기울기 보정된 이미지는 선택적으로, 선호되는 형상(예를 들어, 직사각형)에 맞추어 잘릴 수 있다.

일부 실시예들에서, 이미지를 자르고 기울기 보정한 후에, 이미지 프로세싱의 최종 레이어가 적용될 수 있다. 색상 왜곡을 정정하기 위해 마커들(18)의 알려진 색을 사용함으로써 이미지를 개선시키기 위해 배경 및 전경 검출 기술들이 사용될 수 있다. 예를 들어, 이미지 내의 마커들(18)의 색상이 예상된 색 값보다 더 어두운 경우, 이미지가 밝게 될 수 있다. 추가적으로, 또는 대안적으로, 마커들의 색상이 오프(off)되는 경우(예를 들어, 주황색 보다 더 노란색임), 이미지는 노란색으로부터 멀리 시프트될 수 있다.

예시적인 실시예들은 이미지를 캡처하는 것을 설명하지만, 이러한 프로세스는 이미지를 저장하지 않고 마커들을 스캐닝하거나 보는 것을 포함하는 것으로 이해해야 한다. 따라서, 예시적인 실시예들은 이미지를 캡처하기 위해 능동적으로 캡처(예를 들어, 버튼을 누르고/누르거나 이미지를 저장)하지 않고도 단지 마커들(18)을 보고 식별하는 것에 의해 본 명세서에 설명된 프로세스를 개시할 수 있다. 그러나, 일부 다른 실시예들은 사용자가 이미지를 능동적으로 캡처하고/하거나 이미지를 저장하는 것을 필요로 할 수 있다.

그 후, 프로세스는 이미지들을 저장 및/또는 공유하는 단계(810)로 진행한다. 이미지들은 로컬로, 또는 클라우드 기반 드라이브에 저장될 수 있다. 추가적으로, 이미지들은 실시간으로, 그리고 앞서 설명된 바와 같이 연속적으로 브로드캐스트될 수 있다. 그 후, 프로세스는 단계(812)로 이동하여, 획득할 이미지가 더 많이 있는지를 묻는다. 획득할 이미지가 더 많이 있는 경우, 프로세스는 단계(802)로 되돌아간다. 이는 예를 들어, 노트들(10)에 대한 수정들 또는 변경들이 행해진 경우, 또는 사용자가 브로드캐스트를 업데이트하기를 원하는 경우일 수 있다. 더 이상 획득할 이미지가 없는 경우 프로세스가 종료된다.

일부 실시예들은 어떠한 마커(18)도 없이 동작할 수 있다. 예를 들어, 시스템(100)은 칠판, 화이트보드, 및/또는 프로젝터 스크린의 가장자리와 같은 경계를 식별할 수 있고, 앞서 설명된 바와 같이 마커들(18)에 의해 정의된 가상 경계(22) 대신에 이를 사용할 수 있다. 따라서, 사용자들은 칠판, 화이트보드, 및/또는 프로젝터 스크린 상에 노트들(10)의 이미지들을 실시간으로 저장할 수 있다. 또한, 마커 없이 캡처된 노트는 본 명세서에 설명된 방법에 따라 브로드캐스트되고, 기울기 보정되고, 저장될 수 있다.

비록 예시적인 실시예들은 기록 표면들(12)을 기준으로 하여 마커들(18)을 사용하는 것을 언급하지만, 예시적인 실시예들은 일반적으로 머신 비전을 이용하여 사용될 수 있음을 이해해야 한다. 본 발명자들은 형광 색상이 머신 비전에 의해 더 쉽게 식별가능하다는 것을 발견했으며, 이는 더 일반적으로 머신 비전 식별을 필요로 하는 임의의 분야에서 사용될 수 있다. 따라서, 모든 예시적인 실시예들이 기록 표면들(12)에 대한 응용예에 제한되는 것으로 의도되지는 않는다.

실제로, 예시적인 실시예들은 앞서 설명된 기록 표면(들)(12) 대신에 다양한 표면들(12)을 포함할 수 있다. 예를 들어, 일부 실시예들에서, 기록 표면(12)은 도로(예를 들어, 아이들이 색 분필로 그리는 경우)와 같은 통상적이지 않은 기록 표면(12)일 수 있고, 마커들(18)은 도로 위에 배치될 수 있다.

추가적으로 또는 대안적으로, 일부 실시예들은 배경을(즉, 기록 표면(12) 대신에) 캡처, 저장 및/또는 공유할 수 있다. 예를 들어, 마커들(18)은 (카메라(14)의 관점으로부터) 하늘의 배경에 대해서 유지될 수 있다. 이를 위해, 도 9는 본 발명의 예시적인 실시예에 따른 마커들(18)을 유지하도록 구성된 프레임(32)(예를 들어, 금속 또는 플라스틱으로 형성됨)을 개략적으로 도시한다. 프레임(32)은 미리 결정된 배향 및 위치에 결합된 마커들(18)을 갖는 미리 결정된 형상(예를 들어, 직사각형)을 가질 수 있다. 마커들(18)은 프레임(32)의 꼭지점(예를 들어, 직사각형 프레임의 4개의 코너)에 배치될 수 있다. 따라서, 프레임(32)은 프레임(32) 내에서 공유될 배경 이미지의 형상을 미리 정의하기 위한 쉽고 편리한 방법을 제공한다. 예시적인 실시예들은 (예를 들어, 마커들(18)을 식별하고, 경계(22)를 검출하고, 기울기 보정하고, 개선시키고, 저장하고, 및/또는 배경 이미지를 공유함으로써) 기록 표면(12)과 유사한 방식으로 배경에 대해 처리 또는 동작할 수 있다.

일부 실시예들에서, 프레임(32)은 (예를 들어, 사용자가 화이트보드(12) 상의 노트들(10)을 보게 하는 전술한 오픈 프레임과는 반대로) 예를 들어, 특정 위치의 배경(예를 들어, 파리의 에펠탑, 또는 로마의 콜로세움과 같은 유명한 랜드마크)과 같은 미리 정의된 배경을 포함할 수 있다. 일부 다른 실시예들에서, 미리 정의된 배경은 다양한 배경, 예를 들어 다양한 스포츠 포메이션(예를 들어, 놀이책으로부터의 축구 또는 농구 포메이션)을 포함할 수 있다. 따라서, 코치는 그 배경에 그림을 그리고 경기를 브로드캐스트할 수 있다.

일부 실시예들은 배경 및/또는 기록 표면(12)을 오버레이하도록 구성된 투명한 주석(annotation) 표면(34)을 갖는 프레임(32)을 가질 수 있다. 투명 표면(34)에는 사용자에 의해 (예를 들어, 펜 또는 다른 필기구를 사용하여) 주석(36)이 달릴 수 있다. 따라서, 예시적인 실시예들은 시스템(100)이 특정 배경 또는 기록 표면(12) 위에서 텔레스트레이터(telestrator)로서 동작할 수 있게 한다. 따라서, 사용자는 이동하는 비디오 또는 정적인 이미지 위에 그림을 그리거나 주석(36)을 달 수 있다. 또한, 일부 실시예들에서, 시스템(100)은 수신 헤드셋(예를 들어, 비디오 또는 이미지 디스플레이 스크린을 포함하도록 변형된 헬멧)을 포함할 수 있다. 시스템(100)은 또한 주석이 달린 이미지를 수신 헤드셋에 브로드캐스트할 수 있다.

이러한 프로세스는 마커들(18)을 사용하는 더 복잡한 프로세스의 단순화된 버전일 수 있음에 유의해야 한다. 이와 같이, 프로세스는 설명되지 않은 추가적인 단계들을 가질 수 있다. 또한, 일부 단계들은 선택적이거나, 상이한 순서로 수행되거나, 또는 서로 병렬로 수행될 수 있다. 예를 들어, 단계(812)는 단계들(808또는 810) 중 임의의 단계 이전에 수행될 수 있다. 따라서, 이러한 프로세스의 설명이 예시적이고, 본 발명의 다양한 실시예들을 제한하기 위한 것이 아니다. 이러한 기호 표현은 시스템(100)의 논리적 흐름의 하나의 뷰이다. 논리적 흐름의 변형들은 앞서 설명한 알고리즘 방법들을 사용하여 시스템의 기본적인 실시를 변경하지 않는다. 또한, 전술한 프로세스는 이미지들을 참조하지만, 비디오에도 적용될 수 있음을 이해해야 한다.

논리적 흐름들이 본 발명의 다양한 양태들을 설명하기 위해 본 명세서에 설명될 수 있으며, 본 발명을 임의의 특정 논리 흐름 또는 논리 구현으로 제한하는 것으로 해석되어서는 안 된다는 점에 유의해야 한다. 설명된 로직은 전체 결과들을 변경하거나 본 발명의 진정한 범위로부터 벗어나지 않고 상이한 로직 블록들(예를 들어, 프로그램들, 모듈들, 기능들, 또는 서브루틴들)로 분할될 수 있다. 종종, 로직 요소들은 전체 결과들을 변경하거나 본 발명의 진정한 범위로부터 벗어나지 않고, 상이한 로직 구조들(예를 들어, 논리 게이트들, 루핑 프리미티브들, 조건 논리, 및 다른 로직 구조들)을 이용하여 추가되거나, 수정되거나, 생략되거나, 다른 순서로 수행되거나, 구현될 수 있다.

본 발명은 프로세서(예를 들어, 마이크로프로세서, 마이크로컨트롤러, 디지털 신호 프로세서 또는 범용 컴퓨터)를 이용하여 사용하기 위한 컴퓨터 프로그램 로직, 프로그래머블 로직 장치(Programmable Logic Device)(예를 들어, FPGA(Field Programmable Gate Array) 또는 다른 PLD)를 이용하여 사용하기 위한 프로그램 가능 로직, 이산 컴포넌트, 집적 회로(예를 들어, ASIC(Application Specific Integrated Circuit)), 또는 이들의 임의의 조합을 포함하는 임의의 다른 수단을 포함하지만 이에 제한되지 않는 많은 상이한 형태로 구현될 수 있다. 설명된 기능의 일부 또는 전부를 구현하는 컴퓨터 프로그램 로직은 대개, 컴퓨터 판독가능 매체에 저장되고 운영체제의 제어 하에 마이크로프로세서에 의해 실행되는, 컴퓨터 실행가능 형태로 변환된 컴퓨터 프로그램 명령들의 세트로서 구현된다. 설명된 기능의 일부 또는 전부를 구현하는 하드웨어 기반 로직은 하나 이상의 적절하게 구성된 FPGA들을 사용하여 구현될 수 있다.

본 명세서에서 앞서 설명된 기능의 전부 또는 일부를 구현하는 컴퓨터 프로그램 로직은 소스 코드 형태, 컴퓨터 실행가능 형태, 및 다양한 중간 형태(예를 들어, 어셈블러, 컴파일러, 링커, 또는 로케이터에 의해 생성된 형태)를 포함하지만 이에 제한되지 않는 다양한 형태로 구현될 수 있다. 소스 코드는 다양한 운영체제들 또는 운영 환경들을 이용하여 사용하기 위한 다양한 프로그래밍 언어들(예를 들어, 객체 코드, 어셈블리 언어, 또는 Fortran, C, C++, JAVA, 또는 HTML과 같은 고급 언어) 중 임의의 언어로 구현되는 일련의 컴퓨터 프로그램 명령들을 포함할 수 있다. 소스 코드는 다양한 데이터 구조들 및 통신 메시지들을 정의하고 사용할 수 있다. 소스 코드는 (예를 들어, 인터프리터를 통해) 컴퓨터 실행가능한 형태로 존재할 수 있거나, 소스 코드는 (예를 들어, 번역기, 어셈블러 또는 컴파일러를 통해) 컴퓨터 실행가능한 형태로 변환될 수 있다.

본 명세서에서 앞서 설명된 기능의 전부 또는 일부를 구현하는 컴퓨터 프로그램 로직은 단일 프로세서 상에서 상이한 시간에(예를 들어, 동시에) 실행될 수 있고, 또는 다수의 프로세서들 상에서 동일하거나 상이한 시간들에 실행될 수 있고, 단일 운영체제 프로세스/스레드 하에서, 또는 상이한 운영체제 프로세스들/스레드들 하에서 실행될 수 있다. 따라서, 용어 "컴퓨터 프로세스"는, 상이한 컴퓨터 프로세스들이 동일한 또는 상이한 프로세서들 상에서 실행되는지의 여부에 관계없이, 그리고 상이한 컴퓨터 프로세스들이 동일한 운영체제 프로세스/스레드 또는 상이한 운영체제 프로세스들/스레드들 하에서 실행되는지에 관계없이, 컴퓨터 프로그램 명령들의 세트의 실행을 일반적으로 지칭한다.

컴퓨터 프로그램은, 반도체 메모리 장치(예를 들어, RAM, ROM, PROM, EEPROM, 또는 플래시-프로그램 가능 RAM), 자기 메모리 장치(예를 들어, 디스켓 또는 고정 디스크), 광학 메모리 장치(예를 들어, CD-ROM), PC 카드(예를 들어, PCMCIA 카드), 또는 다른 메모리 장치와 같은 유형의(tangible) 저장 매체에 영구적으로 또는 일시적으로, 임의의 형태(예를 들어, 소스 코드 형태, 컴퓨터 실행가능 형태, 또는 중간 형태)로 고정될 수 있다. 컴퓨터 프로그램은 임의의 형태로, 아날로그 기술, 디지털 기술, 광학 기술, 무선 기술(예를 들어, 블루투스), 네트워크 기술, 및 인터네트워킹 기술을 포함하지만 이에 제한되지 않는 다양한 통신 기술 중 임의의 기술을 사용하여 컴퓨터에 전송될 수 있는 임의의 형태로 고정될 수 있다. 컴퓨터 프로그램은, 컴퓨터 시스템을 이용하여(예를 들어, 시스템 ROM 또는 고정 디스크 상에) 미리 로딩되거나, 또는 통신 시스템(예를 들어, 인터넷 또는 월드 와이드 웹)을 통해 서버 또는 전자 게시판으로부터 배포되는, 첨부된 인쇄 또는 전자 문서(예를 들어, 축소 왜곡된 소프트웨어)를 이용하는 제거 가능한 저장 매체로서 임의의 형태로 배포될 수 있다.

본 명세서에서 앞서 설명된 기능의 전부 또는 일부를 구현하는 하드웨어 로직(프로그램 가능 로직 장치를 이용하여 사용하기 위한 프로그램 가능 로직을 포함)은 통상적인 수동 방법을 사용하여 설계될 수 있고, 또는 CAD(Computer Aided Design), 하드웨어 기술 언어(예를 들어, VHDL 또는 AHDL), 또는 PLD 프로그래밍 언어(예를 들어, PALASM, ABEL, 또는 CUPL)와 같은 다양한 도구를 사용하여 전자적으로 설계, 캡처, 시뮬레이션, 또는 문서화될 수 있다.

프로그램가능 로직은 반도체 메모리 장치(예를 들어, RAM, ROM, PROM, EEPROM, 또는 플래시-프로그래머블 RAM), 자기 메모리 장치(예를 들어, 디스켓 또는 하드 디스크), 광학 메모리 장치(예를 들어, CD-ROM), 또는 다른 메모리 장치와 같은 유형의(tangible) 저장 매체에 영구적으로 또는 일시적으로 고정될 수 있다. 프로그램가능 로직은 아날로그 기술, 디지털 기술, 광학 기술, 무선 기술(예를 들어, 블루투스), 네트워킹 기술, 및 인터네트워킹 기술을 포함하지만 이에 제한되지 않는 임의의 다양한 통신 기술을 사용하여 컴퓨터에 전송될 수 있는 신호로 고정될 수 있다. 프로그램가능 로직은 컴퓨터 시스템을 이용하여(예를 들어, 시스템 ROM 또는 고정 디스크 상에) 미리 로딩되거나, 또는 통신 시스템(예를 들어, 인터넷 또는 월드 와이드 웹)을 통해 서버 또는 전자 게시판으로부터 배포되는, 첨부된 인쇄 또는 전자 문서(예를 들어, 축소 왜곡된 소프트웨어)를 이용하는 제거 가능한 저장 매체로서 배포될 수 있다. 물론, 본 발명의 일부 실시예들은 소프트웨어(예를 들어, 컴퓨터 프로그램 제품) 및 하드웨어의 조합으로서 구현될 수 있다. 본 발명의 또 다른 실시예들은 전체적으로 하드웨어로서 또는 전체적으로 소프트웨어로서 구현된다.

본 발명의 실시예들은 통상적인 컴퓨터들(예를 들어, 규격화된 PC들, 메인프레임들, 마이크로프로세서들), 통상적인 프로그래머블 로직 장치들(예를 들면, 규격화된 FPGA들 또는 PLD들), 또는 통상적인 하드웨어 컴포넌트들(예를 들어, 규격화된 ASIC들 또는 이산 하드웨어 컴포넌트들)을 이용할 수 있으며, 이들이 본 명세서에 설명된 통상적이지 않은 방법들을 수행하도록 프로그램되거나 구성될 때, 통상적이지 않은 장치들 또는 시스템들을 생성할 수 있음에 유의해야 한다. 따라서, 비록 실시예들이 통상적인 컴포넌트들을 사용하여 구현될 때에도, 특별한 프로그래밍 또는 구성이 없으면, 통상적인 컴포넌트들은 본 명세서에 설명된 통상적이지 않은 방법들을 본질적으로 수행하지 못하기 때문에, 결과적인 장치들 및 시스템들은 반드시 통상적이지는 않고, 본 명세서에 설명된 발명들에 대해서는 통상적인 것들이 존재하지 않는다.

본 명세서에 설명되고 청구된 동작들은 본 기술 분야에서 발생하는 문제들에 대한 기술적 해결책들을 제공한다. 이들 해결책은 전체적으로 잘 이해되거나, 일상적이거나, 통상적이지 않으며, 임의의 경우에 컴퓨터 및 컴퓨터 시스템을 변환하고 개선하는 실용적인 응용예들을 제공한다.

전술한 설명은 본 발명의 다양한 예시적인 실시예들을 개시하고 있지만, 통상의 기술자는 본 발명의 진정한 범위를 벗어나지 않고 본 발명의 이점들 중 일부를 달성할 수 있는 다양한 변형을 수행할 수 있음이 명백하다. "본 발명"에 대한 임의의 언급은 본 발명의 예시적인 실시예들을 지칭하고자 하는 것이며, 맥락에서 달리 필요하지 않는 한, 본 발명의 모든 실시예들을 지칭하는 것으로 해석되어서는 안 된다. 설명된 실시예들은 모든 면에서 단지 예시적이고 제한적이지 않은 것으로 간주되어야 한다.

전술한 본 발명의 실시예들은 단지 예시적인 것이며, 통상의 기술자에게는 수많은 수정 및 변형이 명백할 것이다. 이러한 수정 및 변형은 첨부된 청구항들 중 임의의 청구항에 의해 정의된 바와 같은 본 발명의 범위 내에 포함되는 것으로 의도된다.

Claims

수기 노트(handwritten note)들을 캡처, 조직화 및 저장하기 위한 시스템으로서,
기록 표면 상에 위치되도록 구성되고 형광 색상을 갖는 복수의 경계 마커들;
명령들로 인코딩된 유형의 비일시적 컴퓨터 판독가능 매체
를 포함하되, 상기 명령들은, 카메라 장착된 컴퓨팅 장치 상에서 실행될 때, 상기 카메라 장착된 컴퓨팅 장치로 하여금,
그 위에 형광 마커들을 갖는 기록 표면의 이미지를 캡처하는 단계,
상기 캡처된 이미지에서 상기 형광 색상의 경계 마커들을 검출하는 단계;
상기 형광 색상의 경계 마커들의 위치들에 기초하여 상기 캡처된 이미지 내의 가상 경계를 식별하는 단계; 및
상기 가상 경계 내의 상기 캡처된 이미지의 일부를 왜곡 보정하여 왜곡 보정된 이미지를 생성하는 단계
를 포함하는 프로세스들을 실행하게 하는, 시스템.
제1항에 있어서, 상기 경계 마커들은 형광 주황색인, 시스템.
제1항에 있어서, 상기 실행된 프로세스들은 상기 왜곡 보정된 이미지를 브로드캐스트하는 단계 및 새로운 이미지들이 캡처될 때 상기 브로드캐스트를 업데이트하는 단계를 더 포함하는, 시스템.
제1항에 있어서, 상기 왜곡 보정된 이미지를 이미지 저장소에 저장하는 단계를 더 포함하는, 시스템.
제1항에 있어서, 상기 프로세스들은 상기 이미지로부터 상기 경계 마커들을 잘라내는 단계를 더 포함하는, 시스템.
제1항에 있어서, 상기 프로세스들은,
상기 캡처된 이미지로부터 배경을 제거하는 단계,
상기 이미지 내의 상기 가상 경계를 사용하여 상기 캡처된 이미지를 잘라내는 단계, 및
상기 이미지를 개선시키는 단계를 더 포함하는, 시스템.
제1항에 있어서, 상기 컴퓨팅 장치에 의해 수행되는 상기 프로세스들은 상기 기록 표면의 사진을 찍는 것에 응답하여 수행되는, 시스템.
제1항에 있어서, 상기 기록 표면은 화이트보드 또는 벽인, 시스템.
제1항에 있어서, 상기 마커들은 삼각형과 같이 일반적인 형상인, 시스템.
제1항에 있어서, 상기 마커들은 실리콘으로 형성되는, 시스템.
제1항에 있어서, 상기 마커들은 접착제 및/또는 미세흡입을 사용하여 상기 기록 표면에 결합하는, 시스템.
제1항에 있어서, 상기 마커들은 약 0.5 mm 및 약 3 mm 사이의 두께를 갖는, 시스템.
수기 노트들을 캡처하고 저장하기 위한 방법으로서,
경계 마커들이 상기 수기 노트들을 둘러싸는 가상 경계를 정의하도록, 기록 표면 상에 복수의 경계 마커들을 배치하는 단계;
전자 장치로 상기 기록 표면을 스캐닝함으로써 기록 표면 이미지를 캡처하는 단계;
상기 기록 표면 이미지 내의 상기 마커들의 위치를 식별하는 단계;
상기 기록 표면 이미지 내의 상기 마커들의 위치들에 기초하여 경계를 결정하는 단계;
상기 가상 경계 내의 상기 캡처된 이미지의 일부를 왜곡 보정하여 왜곡 보정된 이미지를 생성하는 단계; 및
상기 검출된 경계의 위치에 기초하여 상기 왜곡 보정된 이미지를 잘라내는 단계
를 포함하는, 방법.
제13항에 있어서, 상기 복수의 경계 마커들을 배치하는 단계는, 직사각형 경계의 코너들을 근사적으로 정의하는 위치들에 상기 경계 마커들을 위치시키는 단계를 포함하는, 방법.
제13항에 있어서, 상기 경계 마커들은 형광 색상을 포함하는, 방법.
제15항에 있어서, 상기 마커들의 위치를 식별하는 단계는 상기 이미지 내의 상기 형광 색상을 식별하는 단계를 포함하는, 방법.
제13항에 있어서, 상기 왜곡 보정된 이미지를 저장하는 단계를 더 포함하는, 방법.
제13항에 있어서, 상기 왜곡 보정된 이미지를 브로드캐스트하는 단계를 더 포함하는, 방법.
제18항에 있어서,
상기 전자 장치로 상기 기록 표면을 스캐닝함으로써 제2 기록 표면 이미지를 캡처하는 단계;
상기 제2 기록 표면 이미지 내의 상기 마커들의 위치를 식별하는 단계;
상기 제2 기록 표면 이미지 내의 상기 마커들의 위치에 기초하여 경계를 결정하는 단계;
상기 캡처된 제2 기록 표면 이미지 내의 상기 경계를 검출하는 함수로서, 상기 제2 기록 표면 이미지를 왜곡 보정하여 제2 왜곡 보정된 이미지를 생성하는 단계;
상기 검출된 경계의 위치에 기초하여 상기 제2 왜곡 보정된 이미지를 잘라내는 단계
를 더 포함하는, 방법.
제19항에 있어서, 상기 제2 왜곡 보정된 이미지를 브로드캐스트하기 위해 상기 왜곡 보정된 이미지의 브로드캐스팅을 업데이트하는 단계를 더 포함하는, 방법.
제13항에 있어서,
상기 기록 표면 이미지로부터 배경을 제거하는 단계; 및
상기 기록 표면 이미지를 개선시키는 단계
를 더 포함하는, 방법.
머신 비전에 의한 검출을 위한 마커로서, 상기 마커는,
머신 비전에 의해 관찰되도록 구성되고, 형광 색상을 갖는 제1 표면;
표면 결합 부분을 갖는 제2 표면
을 포함하고, 상기 표면 결합 부분은, 기록 표면이 수직 배향으로 있을 때, 상기 마커가 상기 기록 표면에 결합된 채 유지되도록 상기 기록 표면에 결합하도록 구성되는, 마커.
제22항에 있어서, 상기 형광 색상은 형광 주황색을 포함하는, 마커.
제22항에 있어서, 상기 마커는 약 0.5 mm 및 약 3 mm 사이의 두께를 갖는, 마커.
제22항에 있어서, 상기 마커는 일반적으로 삼각형 형상인, 마커.
제22항에 있어서, 상기 마커의 형상은 상기 기록 표면의 가장자리의 형상의 적어도 일부에 대응하는, 마커.
제22항에 있어서, 상기 마커는 가시적인 접힘 패턴을 유지하지 않는 물질로 형성되는, 마커.
제22항에 있어서, 상기 마커의 두께의 대부분은 실리콘으로 형성되는, 마커.
제22항에 있어서, 상기 마커는 세척 가능하고 재사용 가능한, 마커.
제22항에 있어서, 상기 표면 결합 부분은 미세흡입 층인, 마커.
제22항에 있어서, 상기 기록 표면은 화이트보드인, 마커.
수기 노트들을 캡처, 조직화 및 저장하기 위한 시스템으로서,
기록 표면 상에 위치되도록 구성된 복수의 경계 마커들;
명령들로 인코딩된 유형의 비일시적 컴퓨터 판독가능 매체
를 포함하되, 상기 명령들은, 카메라 장착된 컴퓨팅 장치 상에서 실행될 때, 상기 카메라 장착된 컴퓨팅 장치로 하여금,
그 위에 마커들을 갖는 상기 기록 표면의 이미지를 캡처하는 단계,
상기 캡처된 이미지 내의 상기 경계 마커들을 검출하는 단계;
상기 경계 마커들의 위치에 기초하여 상기 캡처된 이미지 내의 가상 경계를 식별하는 단계; 및
상기 가상 경계 내의 상기 캡처된 이미지의 일부를 왜곡 보정하여 왜곡 보정된 이미지를 생성하는 단계
를 포함하는 프로세스들을 실행하게 하는, 시스템.
수기 노트들을 공유하기 위한 시스템으로서,
콘텐츠를 갖는 배경을 관찰하도록 구성된 카메라와 연결되는 컴퓨터 장치;
상기 컨텐츠를 포함하는 상기 배경의 일 부분 주위에 가상 경계를 정의하기 위해, 상기 배경과 상기 카메라 사이에 위치되도록 구성되고 형광 색상을 갖는 복수의 경계 마커들
을 포함하되, 상기 컴퓨터 장치는, (1) 상기 형광 색상의 경계 마커들을 검출하고, (2) 상기 가상 경계를 결정하며, (3) 상기 가상 경계의 형상의 함수로서 상기 배경의 상기 부분을 기울기 보정하여 상기 배경의 상기 부분의 기울기 보정된 이미지를 생성하도록 구성되며, 상기 컴퓨터 장치는 상기 배경의 상기 부분의 상기 기울기 보정된 이미지를 공유하도록 더 구성되는, 시스템.
제33항에 있어서, 상기 복수의 경계 마커들이 위치되는 둘레 부분을 정의하는 프레임, 및 상기 둘레 부분 내의 이미지 부분을 더 포함하는, 시스템.
제34항에 있어서, 상기 프레임은 직사각형 형상을 가지며, 상기 경계 마커들은 상기 프레임의 코너들에 위치되는, 시스템.
제34항에 있어서, 상기 이미지 부분은 미리 정의된 배경을 갖는, 시스템.
제34항에 있어서, 상기 이미지 부분은 개방되어 있고, 미리 정의된 배경을 갖지 않는, 시스템.
제34항에 있어서, 상기 프레임은 상기 이미지 부분 위의 투명한 주석 표면을 포함하는, 시스템.
제38항에 있어서, 상기 주석 표면은 열변색 잉크로 기록되도록 구성되는, 시스템.
키트로서,
바닥 표면에 반대되는 상부 표면을 갖는 복수의 경계 마커들을 포함하되, 상기 상부 표면은 형광 색상을 가지고, 상기 바닥 표면은 기록 표면에 접착되도록 구성되는, 키트.
제40항에 있어서, 상기 경계 마커들은 삼각형 형상인, 키트.
제40항에 있어서, 상기 키트 내에 4개의 경계 마커들이 제공되는, 키트.
제40항에 있어서, 상기 기록 표면은 화이트보드인, 키트.