KR20160086839A

KR20160086839A - 생산성 애플리케이션의 이미지 처리 기법

Info

Publication number: KR20160086839A
Application number: KR1020167012844A
Authority: KR
Inventors: 세이이치 가토; 야스후미 시라이시; 다니엘 제이 모피트; 겐지 니카이도; 다니엘 에두아르도 마르티네즈; 루 유안; 지앙규 리우; 알렉산다르 비 토믹; 아이반 스토질즈코빅; 젱규 장
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2013-11-14
Filing date: 2013-11-14
Publication date: 2016-07-20
Also published as: TW201530439A; EP3069502B1; US20150131903A1; CN106063240A; KR102058267B1; WO2015070417A1; US9569689B2; EP3069502A4; EP3069502A1; US20170124698A1; CN106063240B; US9875533B2

Abstract

생산성 애플리케이션의 이미지 처리 기법이 제공된다. 이미지는 컴퓨팅 장치에 의해 수신될 수 있다. 컴퓨팅 장치는 수신된 이미지를 포함하는 에지들을 검출하고, 검출된 에지들의 왜곡 상태에 기초하여 이미지를 조정할 수 있다. 이후, 컴퓨팅 장치는 조정된 이미지를 처리해서 불균형들을 교정할 수 있다. 이후, 컴퓨팅 장치는 처리된 이미지에 이미지 분류를 할당할 수 있다. 이후, 컴퓨팅 장치는 할당된 이미지 분류에 기초하여 처리된 이미지를 조정할 수 있다.

Description

생산성 애플리케이션의 이미지 처리 기법{IMAGE PROCESSING FOR PRODUCTIVITY APPLICATIONS}

저작권 공고

작업 현장에서의 다양한 생산성 상황들(예컨대, 슬라이드 프리젠테이션(slide presentations), 브레인스토밍 회합(brainstorming sessions) 등을 포함하는 회의)과 연관된 화이트보드, 블랙보드(즉, 유색 배경의 기록면) 및 문서의 사진을 캡처함에 있어 독립형 카메라 대신 스마트폰 및 태블릿과 같은 모바일 컴퓨팅 장치가 점점 더 이용되고 있다. 캡처된 사진 이미지들은, 이후 전자 문서를 만들기 위해 하나 이상의 생산성 애플리케이션에서 이용될 수 있다. 그러나, 전술한 사진 이미지들의 캡처 작업은 다수의 결점을 갖고 있다. 예컨대, 많은 사진들이 비스듬히 촬영되어야 할 뿐만 아니라(사용자가 위치해 있는 방의 물리적 규모의 한계에 기인할 수 있음), 이상적이지 못한 조명 조건에서 촬영되어야 한다(예컨대, 회의실에서의 입사광에 의한 비침에 기인함). 결과적으로, 캡처된 사진 이미지들은 종종, 이미지들을 외부의 생산성 애플리케이션에서 이용하기 전에 수정되어야만 하는 원치않는 구역들(예컨대, 화이트보드 프레임 외측의 벽들 또는 문서 페이지 경계 외측의 테이블 표면) 뿐만 아니라 원치않는 시점 왜곡(perspective skews)을 내포하곤 한다. 또한, 캡처된 사진 이미지들은 입사광 잔류물의 반사광을 내포할 수 있고, 그에 따라 이들 이미지는 생산성 애플리케이션 소프트웨어에 의해 소비되기 전에 "정리(cleaned up)"될 필요가 있다. 본 발명의 다양한 실시예들은 이러한 고려사항들 및 기타의 것들에 대하여 이루어진다.

본 개요는 후속하여 발명의 상세한 설명 부분에서 설명되는 개념들 중 선택된 것들을 단순화된 형태로 소개하고자 제공되는 것이다. 본 개요는 청구항의 청구대상의 핵심적인 특징이나 필수적인 특징들을 밝히고자 함이 아니며, 청구항의 청구대상의 범위를 결정하는 데 도움이 되고자 함도 아니다.

생산성 애플리케이션의 이미지 처리 기법에 대한 실시예들이 제공된다. 이미지는 컴퓨팅 장치에 의해 수신될 수 있다. 컴퓨팅 장치는 수신된 이미지를 포함하는 에지들을 검출하고, 검출된 에지들의 왜곡 상태에 기초하여 이미지를 조정할 수 있다. 이후, 컴퓨팅 장치는 조정된 이미지를 처리해서 불균형들을 교정할 수 있다. 이후, 컴퓨팅 장치는 하나 이상의 이미지 카테고리에서 선택된 이미지 분류를 처리된 이미지에 할당할 수 있다. 이후, 컴퓨팅 장치는 처리된 이미지를 할당된 이미지 분류에 기초하여 조정할 수 있다.

이들 및 다른 특징들 및 장점들은 하기의 상세한 설명의 이해 및 관련 도면들의 검토에 의해 분명해질 것이다. 전술한 일반적인 설명 및 하기의 상세한 설명은 모두 예시적인 것일 뿐이며 발명을 청구항에 청구된 것으로 제한하려는 것이 아님을 이해해야 한다.

도 1a는 일 실시예에 따른, 처리용 이미지를 캡처하기 위한 사용자 인터페이스를 포함하는 컴퓨팅 장치의 스크린 디스플레이를 도시하고;
도 1b는 일 실시예에 따른, 생산성 애플리케이션의 이미지 처리를 위한 컴퓨팅 시스템 아키텍처를 나타내는 블록도이고;
도 2는 일 실시예에 따른, 도 1의 애플리케이션에 의해 이용되는 다양한 프로그램 모듈을 나타내는 블록도이고;
도 3은 일 실시예에 따른, 생산성 애플리케이션의 이미지 처리를 수행하기 위한 루틴을 나타내는 흐름도이고;
도 4는 일 실시예에 따른, 이미지 에지 검출 및 수정을 수행하기 위한 루틴을 나타내는 흐름도이고;
도 5는 일 실시예에 따른, 이미지 처리 정리를 수행하기 위한 루틴을 나타내는 흐름도이고;
도 6은 일 실시예에 따른, 이미지 분류를 수행하기 위한 루틴을 나타내는 흐름도이고;
도 7은 다양한 실시예들을 실시할 수 있는 컴퓨팅 장치의 간략화된 블록도이고;
도 8a는 다양한 실시예들을 실시할 수 있는 모바일 컴퓨팅 장치의 간략화된 블록도이고;
도 8b는 다양한 실시예들을 실시할 수 있는 모바일 컴퓨팅 장치의 간략화된 블록도이고;
도 9는 다양한 실시예들이 실시될 수 있는 분산형 컴퓨팅 시스템의 간략화된 블록도이다.

하기의 상세한 설명에 있어서는, 그 일부를 형성하고 있고 특정 실시예들 또는 예시들의 설명으로서 도시되는 첨부 도면들을 참조한다. 본 발명의 정신 또는 범위로부터 일탈함이 없이, 이들 실시예는 조합될 수 있고, 다른 실시예들이 이용될 수 있으며, 또한 구조상의 변경이 이루어질 수 있다. 따라서, 하기의 상세한 설명은 제한의 의미로 취해지는 것이 아니고, 본 발명의 범위는 첨부된 청구항들 및 그 등가물들에 의해 규정된다.

도 1a는 일 실시예에 따른, 처리용 이미지를 캡처하기 위한 사용자 인터페이스를 포함하는 컴퓨팅 장치(10)의 스크린 디스플레이(14)를 도시한다. 사용자 인터페이스는 사용자 제어부들(15, 17 및 19)을 포함할 수 있다. 사용자 제어부(15)는 표준 사진 이미지들에 대하여 구성된 이미지 처리 모드를 선택하는데 이용될 수 있고, 사용자 제어부(17)는 화이트보드 이미지들에 대하여 구성된 이미저 처리 모드를 선택하는데 이용될 수 있고, 사용자 제어부(19)는 문서 이미지들에 대하여 구성된 이미지 처리 모드를 선택하는데 이용될 수 있다. 다양한 실시예들에 다르면, 사용자 제어부(15, 17 및 19)의 선택은 태핑(tapping) 및 스와이핑(swiping) 제스처를 포함하는 다양한 제스처에 의해 이루어질 수 있다. 도 1에 도시된 바와 같이, 사용자 제어부(17)는 화이트보드 이미지 처리를 위해 선택되어 있고, 사용자(손(4)들로 표현됨)는, 예컨대 천장(2)이 있는 회의실의 벽에 장착될 수 있는 화이트보드(22)의 이미지를 캡처할 준비를 하고 있다. 이후, 사용자는 이미지 캡처 버튼(6)을 이용해서 화이트보드(22)의 이미지를 캡처할 수 있다.

도 1b는 일 실시예에 따른, 생산성 애플리케이션의 이미지 처리를 수행하기 위한 컴퓨팅 시스템 아키텍처를 나타내는 블록도이다. 컴퓨팅 시스템 아키텍처는 컴퓨팅 장치(10)를 포함한다. 컴퓨팅 장치(10)는 이미지 캡처 장치(28)(예컨대, 카메라 또는 웹 캠), 생산성 애플리케이션(30), 기타 애플리케이션들(40) 및 캡처된 이미지들(50)을 저장하는 컴퓨팅 장치(10) 상의 폴더를 포함할 수 있는 카메라 롤(60)을 포함할 수 있다. 생산성 애플리케이션(30)은 이미지 캡처 장치(28)를 이용하여 문서(20), 화이트보드(22) 및/또는 블랙보드(24)의 사진 또는 비디오를 캡처하고, 또한 이 사진 또는 비디오를, 즉각적인 이미지 처리를 위한 이미지(예컨대, 카메라 롤(60)에서 이미지(50))로서 또는 추후 검색 및 이미지 처리를 위한 이미지로서 저장하도록 구성될 수 있다. 대안적인 실시예에 있어서, 컴퓨팅 장치(10) 상의 이미지(50)는 추후 검색 및 이미지 처리를 위해 미리 저장된 이미지들을 포함할 수도 있다.

일 실시예에 따르면, 문서(20)는 사무실, 회의실, 교실 또는 그 밖의 작업 환경에서 회의 또는 프리젠테이션 도중에 논의된 정보를 포함하는 물리적인 문서(예컨대, 종이)를 포함할 수 있다. 화이트보드(22)는 사무실, 회의실, 교실 또는 그 밖의 작업 환경에서 회의 또는 프리젠테이션 도중에 메모, 스케치 등을 기록하기 위해 이용된 물리적 마커보드(markerboard), 드라이-이레이즈 보드(dry-erase board), 드라이-와이프 보드(dry-wipe board) 또는 펜-보드(pen-board)를 포함할 수 있다. 블랙보드(24)는 비-백색(예컨대, 유색) 표면을 포함한다는 것을 제외하면 화이트보드(22)와 유사하게 이루어질 수 있다.

아래에서 더 상세히 기술되는 바와 같이, 일 실시예에 따른 생산성 애플리케이션(30)은, 문서(20), 화이트보드(22) 및/또는 블랙보드(24)로부터 메모들(수기 또는 타이핑) 및 그림들을 이미지들로서 캡처하도록 구성되는 한편, 이미지들이 생산성 애플리케이션(30) 및/또는 기타 애플리케이션들(40)에 의해 이용될 수 있게 이미지들을 추가로 처리하도록 구성되는 자유-형식 정보 수집 및 다중 사용자 협업 애플리케이션을 포함할 수 있다. 일 실시예에 따르면, 생산성 애플리케이션(30)은 워싱턴주(Washington) 레드몬드(Redmond) 소재의 MICROSOFT CORPORATION으로부터 입수 가능한 ONENOTE 필기 소프트웨어를 포함할 수 있다. 그러나, 그 밖의 생산성 애플리케이션들(기타 제조사들로부터의 것들을 포함)이 본원에서 기술되는 다양한 실시예들에 따라 선택적으로 이용될 수 있다는 점을 이해해야 한다. 기타 애플리케이션들(40)은 생산성 애플리케이션(30)으로부터 처리된 이미지들을 수신할 수 있는 추가적인 생산성 애플리케이션 소프트웨어를 포함할 수 있다는 점을 이해해야 한다. 예컨대, 기타 애플리케이션들(40)은 문서 작성 소프트웨어(word processing software), 프리젠테이션 그래픽스 소프트웨어(presentation graphics software), 스프레드시트 소프트웨어(spreadsheet software), 도식화 소프트웨어(diagramming software), 프로젝트 관리 소프트웨어(project management software), 출판 소프트웨어(publishing software) 및 개인 정보 관리 소프트웨어(personal information management software)를 포함할 수 있지만, 이들에 한정되는 것은 아니다. 전술한 소프트웨어 애플리케이션들은 개별 애플리케이션 프로그램들을 포함할 수 있거나, 또는 대안으로서 워싱턴주 레드몬드 소재의 MICROSOFT CORPORATION으로부터 입수 가능한 OFFICE 애플리케이션 프로그램 세트와 같은 애플리케이션 세트에 포함될 수 있다는 점을 인식해야 한다.

도 2는 일 실시예에 따른, 도 1의 생산성 애플리케이션(30)에 의해 이용되는 다양한 프로그램 모듈을 나타내는 블록도이다. 아래에서 더 상세히 기술되는 바와 같이, 생산성 애플리케이션(30)은 에지 검출 모듈(32), 정리 모듈(34) 및 분류기 모듈(36)을 포함할 수 있다. 전술한 프로그램 모듈들 각각은 이미지 캡처 장치(28)에 의해 캡처된 및/또는 카메라 롤(60)로부터 검색된 이미지들에 대하여 이미지 품질을 향상시키기 위해 하나 이상의 알고리즘을 실행하도록 구성될 수 있다. 예컨대, 에지 검출 모듈은 사변형 에지 검출 알고리즘을 실행해서 화이트보드/문서 경계를 검출하고 왜곡된 이미지를 직사각형으로 잘라내서/수정하도록 구성될 수 있다. 정리 모듈(34)은 사진의 히스토그램 분석을 통해 튜닝된 색체 효과를 적용하는 것에 의해(즉, 백색 점(white point) 또는 백색 레벨(white level), 흑색 점(black point) 또는 흑색 레벨(black level) 및 콘트라스트를 계산하는 것에 의해) 화이트보드/문서의 색체 균형을 조정하기 위해, 또한 색체 조정을 수행하고 음영/하이라이트를 추정하기 위해 이미지 정리 알고리즘을 실행하도록 구성될 수 있다. 전술한 애플리케이션이 이미지의 가독성을 향상시킨다는 점을 인식해야 한다. 분류기 모듈(36)은 화이트보드, 블랙보드, 문서 및 이미지 정리를 위한 네거티브 이미지들(negative images)을 구별하기 위해 객체 분류기 알고리즘을 실행하도록 구성될 수 있다.

도 3은 일 실시예에 따른, 생산성 애플리케이션의 이미지 처리를 수행하기 위한 루틴(300)을 나타내는 흐름도이다. 본원에 나타내진 루틴들을 검토하면, 본 발명의 다양한 실시예들의 논리 연산들이 (1) 컴퓨팅 시스템에서 실행되는 일련의 컴퓨터 구현 동작들 또는 프로그램 모듈들로서 및/또는 (2) 컴퓨팅 시스템 내의 상호 연결된 기계 논리 회로들 또는 회로 모듈들로서 구현된다는 점을 인식해야 한다. 이 구현은 본 발명을 구현하는 컴퓨팅 시스템의 성능 요건에 의존하고 있는 선택의 문제이다. 결국, 도 3 내지 도 6에 나타내지고 본원에 기술되는 다양한 실시예들을 구성하는 논리 연산들은 연산들, 구조적 장치들, 동작들 또는 모듈들로서 다양하게 인용된다. 당업자라면, 이들 연산, 구조적 장치, 동작 및 모듈이 본원에서 기술하는 청구항들에 열거된 바와 같은 본 발명의 정신 및 범위로부터 일탈함이 없이, 소프트웨어, 하드웨어, 펌웨어, 특수 목적 디지털 논리, 및 그 임의의 조합으로 구현될 수 있음을 이해할 것이다.

루틴(300)은 연산(305)에서 시작하고, 여기서는 컴퓨팅 장치(10)에서 실행되는 생산성 애플리케이션(30)이 이미지 캡처 장치(28)로부터(즉, 카메라 롤(60)로부터) 이미지(50)를 수신할 수 있다. 수신된 이미지는 문서(20)의 문서 이미지 또는 사진, 화이트보드(22)의 화이트보드 이미지 또는 사진, 또는 블랙보드(24)의 블랙보드 이미지 또는 사진을 포함할 수 있다.

연산(305)으로부터, 루틴(300)은 연산(310)으로 이어지고, 여기서는 컴퓨팅 장치(10)에서 실행되는 생산성 애플리케이션(30)이 수신된 이미지를 포함하는 에지들을 검출할 수 있다. 특히, 도 4에 대하여 아래에서 더 상세히 기술되는 바와 같이, 생산성 애플리케이션(30)은 에지 검출 알고리즘을 실행해서 임의의 왜곡된 이미지 경계들(예컨대, 비스듬히 찍힌 사진들)을 검출할 수 있다.

연산(310)으로부터, 루틴(300)은 연산(315)으로 이어지고, 여기서는 컴퓨팅 장치(10)에서 실행되는 생산성 애플리케이션(30)이 수신된 이미지를 연산(310)에서 검출한 에지들의 왜곡 상태에 기초하여 조정할 수 있다. 특히, 도 4에 대하여 아래에서 더 상세히 기술되는 바와 같이, 생산성 애플리케이션(30)은 시점 뒤틀림을 교정하기 위해 에지 검출 알고리즘을 실행해서 왜곡된 이미지 경계들을 잘라내서/수정할 수 있다.

연산(315)으로부터, 루틴(300)은 연산(320)으로 이어지고, 여기서는 컴퓨팅 장치(10)에서 실행되는 생산성 애플리케이션(30)이 수신된 이미지를 처리해서 불균형들을 교정(즉, 이미지 정리)할 수 있다. 특히, 도 5에 대하여 아래에서 더 상세히 기술되는 바와 같이, 생산성 애플리케이션(30)은 이미지 가독성을 향상시키기 위해 이미지 정리 알고리즘을 실행해서 색상을 입히는 것 및 그 밖의 조정을 할 수 있다.

연산(320)으로부터, 루틴(300)은 연산(325)으로 이어지고, 여기서는 컴퓨팅 장치(10)에서 실행되는 생산성 애플리케이션(30)이 하나 이상의 이미지 카테고리에서 선택된 이미지 분류를 수신된 이미지에 할당할 수 있다. 특히, 도 6에 대하여 아래에서 더 상세히 기술되는 바와 같이, 생산성 애플리케이션(30)은 객체 분류기 알고리즘을 실행해서 화이트보드, 블랙보드, 문서 및 네거티브 이미지들을 구별할 수 있다.

연산(325)으로부터, 루틴(300)은 연산(330)으로 이어지고, 여기서는 컴퓨팅 장치(10)에서 실행되는 생산성 애플리케이션(30)이 수신된 이미지를 연산(325)에서 할당된 이미지 분류에 기초하여 조정할 수 있다. 일 실시예에 따르면, 생산성 애플리케이션(30)이 이미지 정리를 위해 문서 및 화이트보드 이미지들(예컨대, 백색 또는 밝은 배경을 갖는 이미지들)을 처리하도록 사전-구성될 수 있다는 점을 이해해야 한다. 따라서, 예컨대 정리된 이미지가 나중에 블랙보드 이미지로서 분류되는 경우에는, 생산성 애플리케이션(30)은 사전에 적용된 정리 알고리즘을 그에 맞게 조정하도록 구성될 수 있다. 연산(330)으로부터, 루틴(300)은 종료한다.

도 4는 일 실시예에 따른, 이미지 에지 검출 및 수정을 수행하기 위한 루틴(400)을 나타내는 흐름도이다. 루틴(400)은 연산(405)에서 시작하고, 여기서는 컴퓨팅 장치(10)에서 실행되는 생산성 애플리케이션(30)이 수신된 이미지에 대하여 오정렬된 에지들을 판정할 수 있다. 특히, 생산성 애플리케이션(30)은 에지 검출 알고리즘을 이용해서, 이미지를 포함하는 임의의 가장자리들이 왜곡되어 있는지를 판정할 수 있다.

연산(405)으로부터, 루틴(400)은 연산(410)으로 이어지고, 여기서는 컴퓨팅 장치(10)에서 실행되는 생산성 애플리케이션(30)이 연산(405)에서 검출된 왜곡된 이미지 가장자리들을 조정하기 위해 사각형 후보들을 열거할 수 있다. 특히, 생산성 애플리케이션(30)은 전술한 에지 검출 알고리즘을 이용해서 이미지의 좌측, 상측, 우측 및 하측 에지에 대하여 가능한 사각형 후보들을 열거하거나 또는 "순위매김(rank)"할 수 있다. 일 실시예에 있어서, 대향 에지들이 서로 지나치게 가까워져 있는 사각형 후보들(예컨대, 대각선들의 비율이 소정의 범위를 벗어나 있는 것)은 폐기될 수 있다.

연산(410)으로부터, 루틴(400)은 연산(415)으로 이어지고, 여기서는 컴퓨팅 장치(10)에서 실행되는 생산성 애플리케이션(30)이 연산(410)에서 열거된 사각형 후보들에 스코어를 할당할 수 있다. 특히, 생산성 애플리케이션(30)은 전술한 에지 검출 알고리즘을 이용해서 후보들에 스코어를 할당할 수 있다.

연산(415)으로부터, 루틴(400)은 연산(420)으로 이어지고, 여기서는 컴퓨팅 장치(10)에서 실행되는 생산성 애플리케이션(30)이 최고 스코어를 가진 사각형을 선택할 수 있다. 일 실시예에 있어서, 생산성 애플리케이션(30)은 최선의 사각형 후보 선택시에 이용될 수 있는 하기의 어림법(heuristics)을 이용할 수 있다: (1) 다른 라인 세그먼트들과 상호작용하지 않는 라인 세그먼트들을 가진 사각형들에 더 높은 스코어가 주어진다; (2) 사각형 모서리들에 가깝게 종단하는 라인 세그먼트들을 가진 사각형들에 더 높은 스코어가 주어진다; (3) 스코어 할당시에 사각형의 면적이 고려된다.

연산(420)으로부터, 루틴(400)은 연산(425)으로 이어지고, 여기서는 컴퓨팅 장치(10)에서 실행되는 생산성 애플리케이션(30)이 연산(405)에서 검출된 오정렬된 에지들을 조정해서 최고 스코어를 가진 후보에 대응하는 사변형을 형성할 수 있다. 일 실시예에 있어서, 생산성 애플리케이션(30)은 하기의 인자들을 이용해서 전술한 조정을 수행할 수 있다: (1) 곡선들을 구성하는 것 및 이들 곡선을 라인들로 간략화하는 것에 기초하여 라인 검출 알고리즘을 이용한다; (2) 필요에 따라 라인 병합을 이용한다(예컨대, 사변형의 일 에지들이 그들 사이에 공간을 갖는 다중 라인으로 구성될 때 - 라인 병합은 하기의 하위-인자에 더 기초할 수 있음을 이해해야 함): (a) 다중 라인들의 이웃하는 종점들 사이의 허가된 공간의 임계값; (b) 다중 라인들 사이의 허가된 각도 차이의 임계값; (c) 다중 라인들에 수직한 라인에 의해 교차되는 다중 지점들 사이의 허가된 공간의 임계값(예컨대, 모두 연장되었을 경우에는 2개의 라인 사이의 거리); (3) 라인들 사이에서 작은 파단부들을 제거함으로써(예컨대, 고해상도 사진들을 축소함으로써) 곡선들 및 에지들을 매끄럽게 한다; (4) 사진의 에지들이 사변형의 일부가 되는 것을 허용하고 사진 내의 에지들에 대한 선호도 값을 조정한다(예컨대, 문서들과 같은 이미지들에 대하여, 여기서는 하나 이상의 정확한 에지들이 사진 자체의 에지임); (5) 검출된 에지들의 방향으로부터의 밝기를 이용한다(즉, 이미지가 주변 영역보다 더 밝거나 또는 더 어둡다고 가정함으로써, 라인들의 세트가 검사되고 어느 라인들이 좌측 에지들 대 우측 에지들에 대한 후보들인지 및 어느 라인들이 상측 에지들 대 하측 에지들에 대한 후보들인지에 대하여 판정이 이루어짐); 및 (6) 일관된 방향을 강제하기 위해 각도 정보를 이용함으로써, 또한 전술한 규칙을 따르지 않는 사각형 후보들을 거부함으로써 일관된 밝기를 강제한다(예컨대, 화이트보드 또는 백색 문서는 일반적으로 안쪽을 향하는 에지들을 가질 수 있는 반면, 블랙보드 또는 어두운 문서는 일반적으로 바깥쪽을 향하는 에지들을 가져야 하고 - 이는 화이트보드/문서 내측 또는 외측의 직선들이 실수로 에지로서 이용되는 경우를 줄일 수 있음을 인식해야 한다). 사변형을 형성하는 것을 조정할 때 생산성 애플리케이션(30)이 다양한 라인 가정들(line assumptions)을 만들 수 있다는 점을 또한 이해해야 한다. 이들 가정은 다음을 포함한다: (1) 사변형의 좌측 에지가 위치될 수 있는 좌변으로부터의 거리(예컨대, 사진의 좌측 50%); (2) 사변형의 에지에 대한 최대 각도(예컨대, 화이트보드들에 대한 수직 에지들은 기립(standing up)이 취해질 수 있고, 문서들에 대한 수평 에지들은 위에서부터 취해질 수 있음); (3) 에지들이 곡선으로 되는 것을 허용(즉, 라인이 직선으로부터 너무 많이 벗어나면, 라인은 더 짧은 라인 세그먼트들로 나눠질 수 있고 - 이는 종종 완벽하게 평평하지 않은 종이로 인해 문서들이 만곡된 경계들을 가지기 쉬울 경우에, 문서들에 대하여 이용될 수 있음을 인식해야 한다). 생산성 애플리케이션(30)은 최고 스코어에 대응하는 사변형을 승인할 수 있음을 또한 이해해야 한다. 특히, 각각의 사진 또는 이미지는 4개의 후보로 이루어진 문서 세트를 가질 수 있으며, 승인은 각각의 검출된 이미지가 소정의 기대값들로부터 얼마나 떨어지는지를 판정해서 전체 스코어를 부여하게 된다.

도 5는 일 실시예에 따른, 이미지 처리 정리를 수행하기 위한 루틴(500)을 나타내는 흐름도이다. 루틴(500)은 연산(505)에서 시작하고, 여기서는 컴퓨팅 장치(10)에서 실행되는 생산성 애플리케이션(30)이 이미지에 튜닝된 색체 효과를 적용할 수 있다. 특히, 생산성 애플리케이션(30)은 백색 점 또는 백색 레벨, 흑색 점 또는 흑색 레벨 및 콘트라스트를 계산하는 것에 의해 이미지(예컨대, 사진)의 히스토그램 분석을 수행할 수 있다.

연산(505)으로부터, 루틴(500)은 연산(510)으로 이어지고, 여기서는 컴퓨팅 장치(10)에서 실행되는 생산성 애플리케이션(30)이 튜닝된 색체 효과에 기초하여 이미지의 색체 균형을 조정할 수 있다. 특히, 생산성 애플리케이션(30)은 연산(505)에서 수행된 히스토그램 분석을 이용해서 이미지에 대하여 색체 조정을 수행하고 음영/하이라이트를 추정할 수 있다. 전술한 조정에 의하면, 종합적으로 이미지 가독성을 향상시키는 밝기, 콘트라스트 및 색조가 향상된 처리 이미지로 될 수 있음을 이해해야 한다. 일 실시예에 따르면, 문서 이미지들 및 화이트보드 이미지들에 대하여 제각기 상이한 이미지 정리 알고리즘이 이용될 수 있다. 예컨대, 문서 이미지 정리 알고리즘은 하기의 것들을 포함할 수 있다: (1) 이미지를 분절된 구역들로 분할하고 이 구역들을 노출 존(exposure zone)들로 그룹화하는 것; (2) 이미지의 콘트라스트 뿐만 아니라 가장 밝은 구역 및 가장 어두운 구역을 계산하는 것; 및 (3) 문서들에 대하여 커스터마이징되는 색체 효과들의 임계값들을 클램핑(clamping)하는 것(색체 효과들이 과도하게 적용되지 않도록 하기 위해). 특히, 문서 이미지 정리 알고리즘은 노출 평가 해법의 존 구역-기반 최적 추정을 특정할 수 있음을 이해해야 한다. 이 해법은 사진(예컨대, 문서 이미지)을 몇 개의 구역들로 분절하고 이들 구역을 노출 존들로 그룹화한다. 이후, 상기 알고리즘은 사진의 가장 밝은 영역, 가장 어두운 영역 및 콘트라스트 영역을 계산할 수 있다. 전술한 해법은 최적 노출 색체 캐스트 조정을 위해 개개의 구역들의 가시성 및 구역들 사이의 상대적인 콘트라스트를 모두 고려하고, 이로써 세부사항들이 보존되고 최적의 결과물이 달성된다는 점을 인식해야 한다. 또한, 알고리즘은 문서들에 대하여 커스터마이징된 색체의 임계값들을 클램핑해서 색체 효과가 사진에 지나치게 적용되지 않도록 할 수 있다.

예시적인 화이트보드 이미지 정리 알고리즘은 다음을 포함할 수 있다: (1) 커스터마이징된 파라미터값들(예컨대, 셀 사이즈(cell size) 및 테이블 사이즈(table size))로 화이트 밸런스(white balance)를 적용해서 배경 노이즈(background noises), 스테인(stains) 및 비침(glare)을 제거하는 것; (2) 커스터마이징된 파라미터값들(예컨대, 포화도(saturation), 음영)로 색체 효과를 적용해서 백색도(whiteness) 레벨을 완화시키고 펜 스트로크(pen strokes)를 더욱 색감있게 만드는 것; 및 (3) 화이트보드들에 대하여 커스터마이징되는 색체 효과의 임계값들을 클램핑하는 것(색체 효과가 과도하게 적용되지 않도록 함). 연산(510)으로부터, 루틴(500)은 종료한다.

도 6은 일 실시예에 따른, 이미지 분류를 수행하기 위한 루틴(600)을 나타내는 흐름도이다. 루틴(600)은 연산(605)에서 시작하고, 여기서는 컴퓨팅 장치(10)에서 실행되는 생산성 애플리케이션(30)이 이미지로부터 색체값들의 히스토그램을 구축해서 밝기 레벨을 결정할 수 있다. 일 실시예에 있어서, 히스토그램은 RGB 색체 코드를 [0, 255]의 색조 범위(tonal range)로 구성할 수 있다.

연산(605)으로부터, 루틴(600)은 연산(610)으로 이어지고, 여기서는 컴퓨팅 장치(10)에서 실행되는 생산성 애플리케이션(30)이 상기 히스토그램에 기초하여 평균값(mean value)을 계산할 수 있다.

연산(610)으로부터, 루틴(600)은 연산(615)으로 이어지고, 여기서는 컴퓨팅 장치(10)에서 실행되는 생산성 애플리케이션(30)이 다음과 같이 계산된 평균의 표준 편차를 계산할 수 있다: stdev SQRT(SUM((mean - value)^2).

연산(615)으로부터, 루틴(600)은 연산(620)으로 이어지고, 여기서는 컴퓨팅 장치(10)에서 실행되는 생산성 애플리케이션(30)이 연산(610)에서 계산된 평균과 연산(615)에서 계산된 표준 편차 사이의 차이(예컨대, mean - stdev)가 임계값보다 큰지 또는 크지 않은 지에 기초하여 이미지를 분류할 수 있다. 전술한 차이가 임계값보다 크면, 이미지는 화이트보드 이미지로서 분류된다. 한편, 전술한 차이가 임계값보다 크지 않으면, 이미지는 블랙보드 이미지로서 분류된다. 일 실시예에 있어서, 분류의 기반이 되는 임계값은 수백여 개의 테스트 이미지 세트의 평가 후에 규정될 수 있다. 연산(620)으로부터, 루틴(600)은 종료한다.

도 7 내지 도 9 및 관련된 상세한 설명은 본 발명의 실시예들을 실시할 수 있는 다양한 연산 환경의 설명을 제공한다. 그러나, 도 7 내지 도 9에 대하여 나타내지고 논의된 장치들 및 시스템들은 예시 및 설명을 위한 것이고, 본원에 기술된 본 발명의 실시예들을 실시하기 위해 이용될 수 있는 다수의 컴퓨팅 장치 구성들을 제한하는 것이 아니다.

도 7은 다양한 실시예들을 실시할 수 있는 컴퓨팅 장치(700)의 예시적인 물리적 구성요소들을 나타내는 블록도이다. 기본적인 구성에 있어서, 컴퓨팅 장치(700)는 적어도 하나의 처리 유닛(702) 및 시스템 메모리(704)를 포함할 수 있다. 컴퓨팅 장치의 구성 및 타입에 따라, 시스템 메모리(704)는 휘발성(예컨대, 랜덤 액세스 메모리(RAM)), 비-휘발성(예컨대, 리드-온리 메모리(ROM)), 플래시 메모리, 또는 임의의 조합을 포함할 수 있지만, 이들에 한정되는 것은 아니다. 시스템 메모리(704)는 운영 체제(705) 및 애플리케이션(707)을 포함할 수 있다. 예컨대, 운영 체제(705)는 컴퓨팅 장치(700)의 연산을 제어하기에 적합할 수 있으며, 일 실시예에 따르면, 워싱턴주 레드몬드 소재의 MICROSOFT CORPORATION으로부터 입수 가능한 WINDOWS 운영 체제를 포함할 수 있다. 예컨대, 애플리케이션(707)은, 도 3 내지 도 6의 루틴들(300-600)에서의 연산들에 대하여 상술한 바와 같이, 예컨대 이미지 처리를 수행하는 것을 포함하는 루틴들을 수행하기 위한 기능을 포함할 수 있다.

컴퓨팅 장치(700)는 추가적인 특징부들 또는 기능을 구비할 수 있다. 예컨대, 컴퓨팅 장치(700)는, 예컨대 자기 디스크, 광디스크, 솔리드 스테이트 스토리지 장치("SSD"), 플래시 메모리 또는 테이프와 같은 추가적인 데이터 스토리지 장치(착탈식 및/또는 비-착탈식)를 또한 포함할 수 있다. 상기와 같은 추가적인 스토리지는 도 7에서는 착탈식 스토리지(709) 및 비-착탈식 스토리지(710)로 나타내진다. 컴퓨팅 장치(700)는 키보드, 마우스, 펜, 음성 입력 장치(예컨대, 마이크로폰), 제스처를 수신하는 터치 입력 장치, 가속도계 또는 회전 센서 등과 같은 입력 장치(들)(712)를 또한 구비할 수 있다. 디스플레이, 스피커, 프린터 등과 같은 출력 장치(들)(714)가 또한 포함될 수 있다. 전술한 장치들은 예시이며, 다른 장치들이 사용될 수 있다. 컴퓨팅 장치(700)는 다른 컴퓨팅 장치들(718)과의 통신을 허용하는 하나 이상의 통신 접속부들(716)을 포함할 수 있다. 적절한 통신 접속부들(716)로서는, RF 송신기, 수신기, 및/또는 송수신기 회로; 유니버설 시리얼 버스(USB), 병렬 포트 및/또는 직렬 포트를 예시할 수 있지만, 이들에 한정되는 것은 아니다.

또한, 이산형 전자 소자를 포함하는 전기 회로, 논리 게이트를 포함하는 패키징된 또는 집적된 전자 칩, 마이크로프로세서를 이용하는 회로에서, 또는 전자 소자 또는 마이크로프로세서를 포함하는 단일 칩 상에서 다양한 실시예들이 실시될 수 있다. 예컨대, 도 7에 나타내진 각각의 또는 다수의 구성요소들이 단일의 집적 회로에 집적될 수 있는 시스템-온-칩("SOC")을 통해 다양한 실시예들이 실시될 수 있다. 상기와 같은 SOC 장치는, 모두 단일의 집적 회로로서의 칩 기판에 집적(또는 "버닝")되는 하나 이상의 처리 유닛, 그래픽 유닛, 통신 유닛, 시스템 가상화 유닛 및 다양한 애플리케이션 기능을 포함할 수 있다. SOC를 통한 연산시에, 본원에 기술된 기능은 컴퓨팅 장치/시스템(700)의 다른 구성요소들과 함께 단일의 집적 회로(칩)에 집적된 응용-주문형 논리(application-specific logic)를 통해 연산할 수 있다. 실시예들은, 예컨대, 기계적, 광학적, 유동학적 및 양자(quantum) 기술을 포함하되, 이들에 한정되는 것은 아닌 AND, OR, 및 NOT과 같은 논리 연산을 수행할 수 있는 다른 기술을 이용해서 실시될 수도 있다. 또한, 실시예들은 범용 컴퓨터 또는 임의의 다른 회로들 또는 시스템들에서 실시될 수 있다.

본원에서 사용되는 바와 같은 컴퓨터 판독가능 매체라는 용어는 컴퓨터 스토리지 매체를 포함할 수 있다. 컴퓨터 스토리지 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 또는 프로그램 모듈과 같은 정보의 저장을 위해 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 착탈식 및 비-착탈식 매체를 포함할 수 있다. 시스템 메모리(704), 착탈식 스토리지 장치(709), 및 비-착탈식 스토리지 장치(710)는 모두 컴퓨터 스토리지 매체의 예시(즉, 메모리 스토리지)이다. 컴퓨터 스토리지 매체는, RAM, ROM, 전기적 소가 가능 리드-온리 메모리(EEPROM), 플래시 메모리 또는 그 밖의 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 그 밖의 광학 스토리지, 자기 카세트, 자기 테이프, 자기 디스크 스토리지 또는 그 밖의 자기 스토리지 장치, 또는 정보를 저장하는데 사용될 수 있으며 컴퓨팅 장치(700)에 의해 액세스될 수 있는 임의의 다른 제조품을 포함할 수 있다. 임의의 상기와 같은 컴퓨터 스토리지 장치는 컴퓨팅 장치(700)의 일부로 될 수 있다. 컴퓨터 스토리지 매체는 반송파 또는 그 밖의 전파(propagated) 또는 변조(modulated) 데이터 신호를 포함하지 않는다.

통신 매체는 반송파 또는 그 밖의 수송 메커니즘과 같은 변조 데이터 신호로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 그 밖의 데이터에 의해 구현될 수 있으며, 임의의 정보 전달 매체를 포함할 수 있다. "변조 데이터 신호(modulated data signal)"라는 용어는 하나 이상의 지수 세트를 갖거나 또는 정보를 부호화하는 바와 같은 방식으로 신호로 변화된 신호를 기술할 수 있다. 제한하는 것이 아닌 예시로서, 통신 매체는 유선 네트워크 또는 직접-유선 접속과 같은 유선 매체, 및 음향, 무선 주파수(RF), 적외선, 및 그 밖의 무선 매체와 같은 무선 매체를 포함할 수 있다.

도 8a 및 도 8b는 적절한 모바일 컴퓨팅 환경, 예컨대 다양한 실시예들을 실행할 수 있는 스마트폰, 태블릿 PC, 랩톱 컴퓨터 등을 제한 없이 포함할 수 있는 모바일 컴퓨팅 장치(850)를 나타낸다. 도 8a를 참조하면, 실시예들을 구현하는 예시적인 모바일 컴퓨팅 장치(850)가 나타내진다. 기본 구성에 있어서, 모바일 컴퓨팅 장치(850)는 입력 요소들 및 출력 요소들을 갖는 핸드헬드 컴퓨터이다. 입력 요소들은 사용자가 모바일 컴퓨팅 장치(850)에 정보를 입력할 수 있게 하는 터치 스크린 디스플레이(825) 및 입력 버튼(810)들을 포함할 수 있다. 모바일 컴퓨팅 장치(850)는 사용자의 추가적인 입력을 허용하는 선택적인 측면 입력 요소(820)를 또한 포함할 수 있다. 선택적인 측면 입력 요소(820)는 회전식 스위치, 버튼, 또는 임의의 다른 타입의 수동 입력 요소일 수 있다. 대안적인 실시예들에 있어서, 모바일 컴퓨팅 장치(850)는 더 많거나 또는 더 적은 입력 요소를 포함할 수 있다. 또 다른 대안적인 실시예에 있어서, 모바일 컴퓨팅 장치는 디스플레이(825) 및 입력 버튼(810)들을 갖는 셀룰러 폰 과 같은 휴대용 전화 시스템이다. 모바일 컴퓨팅 장치(850)는 선택적인 키패드(805)를 또한 포함할 수 있다. 선택적인 키패드(805)는 물리적 키패드 또는 터치 스크린 디스플레이 상에 형성되는 "소프트(soft)" 키패드일 수 있다.

모바일 컴퓨팅 장치(850)는 그래픽 사용자 인터페이스(GUI)를 디스플레이할 수 있는 디스플레이(825)와 같은 출력 요소들을 포함한다. 그 밖의 출력 요소로서는, 스피커(830) 및 LED(880)가 있다. 추가적으로, 모바일 컴퓨팅 장치(850)는 사용자에게 이벤트를 통지하기 위해 모바일 컴퓨팅 장치(850)를 진동시키는 진동 모듈(도시되지 않음)을 포함할 수 있다. 또 다른 실시예에 있어서, 모바일 컴퓨팅 장치(850)는 출력 신호를 제공하는 다른 수단을 제공하기 위해 헤드폰 단자(도시되지 않음)를 포함할 수 있다.

본원에서는 모바일 컴퓨팅 장치(850)와 결합하여 기술되고 있지만, 대안적인 실시예들에 있어서는, 데스크톱 환경, 랩톱 또는 노트북 컴퓨터 시스템, 멀티프로세서 시스템, 마이크로프로세서 기반의 또는 프로그램 가능한 가전 제품, 네트워크 PC, 미니 컴퓨터, 메인 프레임 컴퓨터 등과 같은 임의의 수의 컴퓨터 시스템과 결합하여 사용될 수 있다. 다양한 실시예들은 분산형 컴퓨팅 환경에서도 실시될 수 있으며, 여기서는 분산형 컴퓨팅 환경에서 통신 네트워크를 통해 연결되는 원격 처리 장치들에 의해 태스크들이 수행되고; 프로그램들은 로컬 및 원격 메모리 스토리지 장치들 모두에 위치될 수 있다. 요약하면, 복수의 환경 센서, 사용자에게 알림을 제공하기 위한 복수의 출력 요소 및 복수의 알림 이벤트 타입을 갖는 임의의 컴퓨터 시스템이 본원에서 기술된 다양한 실시예들을 포함할 수 있다.

도 8b는 도 8a에 도시된 모바일 컴퓨팅 장치(850)와 같은, 일 실시예에서 사용된 모바일 컴퓨팅 장치의 구성요소들을 나타내는 블록도이다. 즉, 모바일 컴퓨팅 장치(850)는 시스템(802)을 포함해서 일부 실시예를 구현할 수 있다. 예컨대, 시스템(802)은 데스크톱 또는 노트북 컴퓨터의 애플리케이션들과 유사한 하나 이상의 애플리케이션을 실행할 수 있는 "스마트폰"을 구현하는데 사용될 수 있다. 일부 실시예에 있어서, 시스템(802)은 통합형 PDA 및 무선 폰과 같은 컴퓨팅 장치로서 통합된다.

애플리케이션(867)은 메모리(862)에 로딩될 수 있으며, 운영 체제(864)에서 또는 그와 관련하여 실행될 수 있다. 시스템(802)은 메모리(862) 내에 비-휘발성 스토리지(868)를 또한 포함한다. 비-휘발성 스토리지(868)는, 시스템(802) 전원이 차단되는 경우에 잃어서는 안되는 지속적인 정보를 저장하는데 사용될 수 있다. 애플리케이션(867)은 비-휘발성 스토리지(868)에서 정보를 사용 및 저장할 수 있다. 예를 들어, 애플리케이션(867)은, 예컨대 도 3 내지 도 6의 루틴들(300-600)에서의 연산들에 대하여 상술한 바와 같은 이미지 처리를 수행하는 것을 포함하는, 루틴들을 수행하는 기능을 포함할 수 있다. 동기화 애플리케이션(도시되지 않음)은 마찬가지로 시스템(802)에 상주하며, 비-휘발성 스토리지(868)에 저장된 정보를 호스트 컴퓨터에 저장된 상응하는 정보와 동기화된 상태로 유지하기 위해 호스트 컴퓨터에 상주하는 상응하는 동기화 애플리케이션과 상호작용하도록 프로그래밍된다. 다른 애플리케이션들이 메모리(862)에 로딩될 수 있으며, 모바일 컴퓨팅 장치(850)에서 실행될 수 있음을 또한 인식해야 한다.

시스템(802)은 하나 이상의 배터리로서 구현될 수 있는 전원 장치(870)를 구비한다. 전원 장치(870)는 배터리를 보충하거나 충전하는 AC 어댑터 또는 전원 도킹 크래들과 같은 외부 전원을 더 포함할 수 있다.

시스템(802)은 무선 주파수 통신을 송신 및 수신하는 기능을 수행하는 라디오(872)(즉, 무선 인터페이스층)를 또한 포함할 수 있다. 라디오(872)는 통신 사업자 또는 서비스 제공자를 통한 시스템(802)과 "외부 세계(outside world)" 사이의 무선 접속을 가능하게 한다. 라디오(872)에 대한 전송은 OS(864)의 제어하에 수행된다. 다시 말해, 라디오(872)가 수신한 통신은 OS(864)를 통해 애플리케이션(867)에 전해지고, 그 반대 또한 가능하다.

라디오(872)는 시스템(802)이 네트워크 등을 통해 다른 컴퓨팅 장치들과 통신하는 것을 허용한다. 라디오(872)는 통신 매체의 일례이다. 시스템(802)의 실시예에서는 2가지 타입의 알림 출력 장치: 즉 시각적 알림을 제공하는데 사용될 수 있는 LED(880) 및 청각적 알림을 제공하기 위해 스피커(830)와 함께 사용될 수 있는 오디오 인터페이스(874)가 도시된다. 이들 장치는, 기동시에, 배터리 전력을 절약하기 위해 프로세서(860) 및 기타 구성요소들이 정지되더라도 알림 메커니즘에 의해 지시된 지속기간 동안 온 상태를 유지하도록 전원 장치(870)에 직접 연결될 수 있다. LED(880)는 사용자가 장치의 전원-온 상태를 나타내도록 동작을 취할 때까지 무기한으로 온 상태를 유지하도록 프로그래밍될 수 있다. 오디오 인터페이스(874)는 사용자에게 가청 신호를 제공하는 한편, 사용자로부터의 가청 신호를 수신하는데 사용된다. 예컨대, 오디오 인터페이스(874)는, 스피커(830)에 연결되는 것 외에, 전화 대화를 가능하게 하는 바와 같은 가청(즉, 음성) 입력을 수신하도록 마이크로폰(도시되지 않음)에 연결될 수도 있다. 실시예들에 따르면, 마이크로폰은 알림의 제어를 가능하게 하도록 오디오 센서로서 기능할 수도 있다. 시스템(802)은 온-보드 카메라(840)의 작업이 정지 이미지들, 비디오 스트림들 등을 기록하는 것을 가능하게 하는 비디오 인터페이스(876)를 더 포함할 수 있다.

시스템(802)을 구현하는 모바일 컴퓨팅 장치는 추가적인 특징 또는 기능을 가질 수 있다. 예컨대, 장치는 자기 디스크, 광디스크, 또는 테이프와 같은 추가적인 데이터 스토리지 장치들(착탈식 및/또는 비-착탈식)을 또한 포함할 수 있다. 상기와 같은 추가적인 스토리지는 도 8에서 스토리지(868)로 나타내진다.

모바일 컴퓨팅 장치(850)에 의해 형성 또는 캡처되고 시스템(802)을 통해 저장되는 데이터/정보는 상술한 바와 같이 모바일 컴퓨팅 장치(850)에 국지적으로 저장될 수 있거나, 또는 데이터는 모바일 컴퓨팅 장치(850)와, 모바일 컴퓨팅 장치(850)에 연관된 별도의 컴퓨팅 장치, 예컨대 인터넷과 같은 분산형 컴퓨팅 네트워크에서의 서버 컴퓨터와의 사이에서 라디오(872)를 통해 또는 유선 접속을 통해 장치에 의해 액세스될 수 있는 임의의 수의 스토리지 매체에 저장될 수 있다. 상기와 같은 데이터/정보는 모바일 컴퓨팅 장치(850)를 통해, 라디오(872)를 통해, 또는 분산형 컴퓨팅 네트워크를 통해 액세스될 수 있음을 인식해야 한다. 유사하게, 상기와 같은 데이터/정보는 전자 메일 및 공동 데이터/정보 공유 시스템을 포함하는 잘 알려져 있는 데이터/정보 이동 및 저장 수단에 따라 저장 및 사용을 위해 컴퓨팅 장치들 사이에서 손쉽게 이동될 수 있다.

도 9는 다양한 실시예들이 실시될 수 있는 분산형 컴퓨팅 시스템의 간략화된 블록도이다. 분산형 컴퓨팅 시스템은 컴퓨팅 장치(903), 태블릿 컴퓨팅 장치(905) 및 모바일 컴퓨팅 장치(910)와 같은 다수의 클라이언트 장치를 포함할 수 있다. 클라이언트 장치들(903, 905 및 910)은 분산형 컴퓨팅 네트워크(915)(예컨대, 인터넷)와 통신할 수 있다. 서버(920)는 네트워크(915)를 통해 클라이언트 장치들(903, 905 및 910)과 통신한다. 서버(920)는 도 3 내지 도 6의 루틴들(300-600)에서의 연산들에 대하여 상술한 바와 같이, 예컨대 이미지 처리를 수행하는 것을 포함하는 루틴들을 수행할 수 있는 애플리케이션(900)을 저장할 수 있다. 애플리케이션(900)과 상호작용하거나, 또는 그와 관련하여 편집되는, 전개된 콘텐츠는 상이한 통신 채널들 또는 그 밖의 스토리지 타입들에 저장될 수 있다. 예컨대, 디렉토리 서비스(922), 웹 포털(924), 메일박스 서비스(926), 인스턴트 메시징 저장소(928), 또는 소셜 네트워킹 사이트(930)를 이용해서 다양한 문서들이 저장될 수 있다.

애플리케이션(900)은 본원에 기술된 바와 같이, 데이터 이용을 가능하게 하는 이러한 타입의 임의의 시스템 등을 이용할 수 있다. 서버(920)는 근접 애플리케이션(900)을 클라이언트에게 제공할 수 있다. 일례로서, 서버(920)는 웹을 통해 애플리케이션(900)을 제공하는 웹 서버일 수 있다. 서버(920)는 네트워크(915)에 접속한 클라이언트에게 웹을 통해 애플리케이션(900)을 제공할 수 있다. 일례로서, 컴퓨팅 장치(10)는 개인용 컴퓨터에서 구현되는 컴퓨팅 장치(903), 태블릿 컴퓨팅 장치(905) 및/또는 모바일 컴퓨팅 장치(910)(예컨대, 스마트폰)로서 구현될 수 있다. 이들 컴퓨팅 장치들(903, 905 및 910)의 임의의 실시예들은 저장소(916)로부터 콘텐츠를 취득할 수 있다.

상기에서는, 다양한 실시예들이 방법들, 시스템들, 및 컴퓨터 프로그램 제품들의 블록도들 및/또는 연산 설명들을 참조하여 기술되어 있다. 블록들에서 주지된 기능들/동작들은 임의의 흐름도에 도시된 순서와 달리 발생할 수 있다. 예컨대, 연속으로 도시된 2개의 블록은 사실은 실질적으로 동시에 실행될 수 있거나, 또는 블록들은 때때로 관련되는 기능/동작들에 따라 역순으로 실행될 수 있다.

본원에 제공된 하나 이상의 실시예의 기재 및 설명은 청구된 발명의 범위를 어떻게든 한정하거나 제한하려는 것이 아니다. 본원에 제공된 실시예들, 예시들, 및 상세들은 소유권을 양도하고 타인들이 청구된 발명의 최선의 방식을 구성하고 이용할 수 있게 하기에 충분한 것으로 간주된다. 청구된 발명은 본원에 제공된 임의의 실시예, 예시, 또는 상세에 한정되는 것으로 해석되어서는 안된다. 조합하여 또는 별개로 도시 및 기술되었는지의 여부에 관계없이, 다양한 특징들(구조적 및 방법론적 모두)은 특정 세트의 특징들을 가진 실시예를 구축하기 위해 선택적으로 포함되거나 생략되는 것으로 의도된 것이다. 본원의 기재 및 설명이 제공되어 있지만, 당업자라면, 청구된 발명의 보다 넓은 범위로부터 일탈하지 않는 본원에서 구현된 일반적 발명 개념의 보다 넓은 양태들의 정신 내에서 변경들, 수정들, 및 대안적인 실시예들을 구상할 수 있을 것이다.

Claims

생산성 애플리케이션의 이미지 처리 방법으로서,
컴퓨팅 장치에 의해, 이미지를 수신하는 단계;
상기 컴퓨팅 장치에 의해, 상기 수신된 이미지를 포함하는 복수의 에지를 검출하는 단계;
상기 컴퓨팅 장치에 의해, 상기 검출된 복수의 에지의 왜곡 상태에 기초하여 상기 수신된 이미지를 조정하는 단계;
상기 컴퓨팅 장치에 의해, 상기 조정된 이미지를 처리해서 불균형들을 교정하는 단계;
상기 컴퓨팅 장치에 의해, 복수의 이미지 카테고리 중 하나의 카테고리에서 선택된 이미지 분류를 상기 처리된 이미지에 할당하는 단계; 및
상기 컴퓨팅 장치에 의해, 상기 할당된 이미지 분류에 기초하여 상기 처리된 이미지를 조정하는 단계를 포함하는
방법.
제 1 항에 있어서,
컴퓨팅 장치에 의해, 이미지를 수신하는 단계는 이미지 캡처 장치로부터 하나 이상의 화이트보드 이미지 및 문서 이미지를 수신하는 단계를 포함하는
방법.
제 1 항에 있어서,
컴퓨팅 장치에 의해, 이미지를 수신하는 단계는 카메라 롤로부터 화이트보드 이미지를 수신하는 단계를 포함하는
방법.
제 1 항에 있어서,
컴퓨팅 장치에 의해, 이미지를 수신하는 단계는 카메라 롤로부터 문서 이미지를 수신하는 단계를 포함하는
방법.
제 1 항에 있어서,
상기 컴퓨팅 장치에 의해, 상기 검출된 복수의 에지의 왜곡 상태에 기초하여 상기 수신된 이미지를 조정하는 단계는:
상기 복수의 에지들 중 하나 이상의 에지가 오정렬되는지를 판정하는 단계;
하나 이상의 사각형 후보를 열거하는 단계;
상기 하나 이상의 사각형 후보 각각에 스코어를 할당하는 단계;
상기 하나 이상의 사각형 후보로부터 최고 스코어를 가진 사각형을 선택하는 단계; 및
상기 복수의 에지들 중 오정렬된다고 판정된 하나 이상의 에지를 조정해서 상기 최고 스코어를 가진 사각형을 형성하는 단계를 포함하는
방법.
제 1 항에 있어서,
상기 컴퓨팅 장치에 의해, 상기 조정된 이미지를 처리해서 불균형들을 교정하는 단계는:
상기 이미지에 튜닝된 색체 효과를 적용하는 단계; 및
상기 튜닝된 색체 효과에 기초하여 상기 이미지의 색체 균형을 조정하는 단계를 포함하는
방법.
제 1 항에 있어서,
상기 컴퓨팅 장치에 의해, 복수의 이미지 카테고리 중 하나의 카테고리에서 선택된 이미지 분류를 상기 처리된 이미지에 할당하는 단계는:
상기 수신된 이미지로부터 색체값들의 히스토그램을 구축해서 밝기 레벨을 결정하는 단계;
상기 히스토그램으로부터 평균값을 계산하는 단계; 및
상기 평균값에 기초하여 표준 편차를 계산하는 단계를 포함하는
방법.
제 7 항에 있어서,
상기 표준 편차와 상기 평균값 사이의 차이가 임계값보다 클 때 상기 처리된 이미지가 화이트보드 이미지라고 판정하는 단계; 및
상기 표준 편차와 상기 평균값 사이의 차이가 상기 임계값보다 크지 않을 때 상기 처리된 이미지가 블랙보드 이미지라고 판정하는 단계를 더 포함하는
방법.
실행 가능한 프로그램 코드를 저장하기 위한 메모리; 및
상기 메모리에 기능적으로 연결되는 프로세서를 포함하는 컴퓨팅 장치로서,
상기 프로세서는 상기 프로그램 코드에 포함된 컴퓨터-실행 가능한 명령어들에 응답하여:
이미지 캡처 장치로부터 이미지를 수신하고;
상기 수신된 이미지를 포함하는 복수의 에지들을 검출하고;
상기 검출된 복수의 에지의 왜곡 상태에 기초하여 상기 수신된 이미지를 조정하고;
상기 조정된 이미지를 처리해서 불균형들을 교정하고;
복수의 이미지 카테고리 중 하나의 카테고리에서 선택된 이미지 분류를 상기 처리된 이미지에 할당하고;
상기 할당된 이미지 분류에 기초하여 상기 처리된 이미지를 조정하도록 작동 가능한
컴퓨팅 장치.
제 9 항에 있어서,
상기 검출된 복수의 에지의 왜곡 상태에 기초하여 상기 수신된 이미지를 조정함에 있어서, 상기 프로세서는:
상기 복수의 에지들 중 하나 이상의 에지가 오정렬되는지를 판정하고;
하나 이상의 사각형 후보를 열거하고;
상기 하나 이상의 사각형 후보 각각에 스코어를 할당하고;
상기 하나 이상의 사각형 후보로부터 최고 스코어를 가진 사각형을 선택하고;
상기 복수의 에지들 중 오정렬된다고 판정된 하나 이상의 에지를 조정해서 상기 최고 스코어를 가진 사각형을 형성하도록 작동 가능한
컴퓨팅 장치.
제 9 항에 있어서,
상기 조정된 이미지를 처리해서 불균형들을 교정함에 있어서, 상기 프로세서는:
상기 이미지에 튜닝된 색체 효과를 적용하고;
상기 튜닝된 색체 효과에 기초하여 상기 이미지의 색체 균형을 조정하도록 작동 가능한
컴퓨팅 장치.
제 9 항에 있어서,
복수의 이미지 카테고리 중 하나의 카테고리에서 선택된 이미지 분류를 상기 처리된 이미지에 할당함에 있어서, 상기 프로세서는:
상기 수신된 이미지로부터 색체값들의 히스토그램을 구축해서 밝기 레벨을 결정하고;
상기 히스토그램으로부터 평균값을 계산하고;
상기 평균값에 기초하여 표준 편차를 계산하도록 작동 가능한
컴퓨팅 장치.
제 12 항에 있어서,
상기 프로세서는:
상기 표준 편차와 상기 평균값 사이의 차이가 임계값보다 클 때 상기 처리된 이미지가 화이트보드 이미지라고 판정하고;
상기 표준 편차와 상기 평균값 사이의 차이가 상기 임계값보다 크지 않을 때 상기 처리된 이미지가 블랙보드 이미지라고 판정하도록 더 작동 가능한
컴퓨팅 장치.
컴퓨터에 의한 실행시에, 컴퓨터로 하여금 생산성 애플리케이션의 이미지 처리 방법을 수행하게 하는 컴퓨터 실행 가능 명령어들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 방법은:
이미지의 사진을 수신하는 단계;
컴퓨팅 장치에 의해, 상기 이미지를 포함하는 복수의 에지를 검출하는 단계;
상기 검출된 복수의 에지의 왜곡 상태에 기초하여 상기 이미지를 조정하는 단계;
상기 조정된 이미지를 처리해서 불균형들을 교정하는 단계;
상기 수신된 이미지로부터 색체값들의 히스토그램을 구축해서 밝기 레벨을 결정하는 것;
상기 히스토그램으로부터 평균값을 계산하는 것;
상기 평균값에 기초하여 표준 편차를 계산하는 것;
상기 표준 편차와 상기 평균값 사이의 차이가 임계값보다 클 때 상기 처리된 이미지가 화이트보드 이미지라고 판정하는 것; 및
상기 표준 편차와 상기 평균값 사이의 차이가 임계값보다 크지 않을 때 상기 처리된 이미지가 블랙보드 이미지라고 판정하는 것
에 의해, 복수의 이미지 카테고리들 중 하나의 카테고리에서 선택된 분류를 상기 처리된 이미지에 할당하는 단계; 및
상기 할당된 이미지 분류에 기초하여 상기 처리된 이미지를 조정하는 단계를 포함하는
컴퓨터 판독가능 저장 매체.
제 14 항에 있어서,
상기 사진 이미지는 이미지 캡처 디바이스로부터의 하나 이상의 화이트보드 이미지 및 문서 이미지를 포함하는
컴퓨터 판독가능 저장 매체.
제 14 항에 있어서,
상기 사진 이미지는 카메라 롤로부터 검색된 하나 이상의 화이트보드 이미지 및 문서 이미지를 포함하는
컴퓨터 판독가능 저장 매체.
제 14 항에 있어서,
상기 검출된 복수의 에지의 왜곡 상태에 기초하여 상기 이미지를 조정하는 단계는:
상기 복수의 에지들 중 하나 이상의 에지가 오정렬되는지를 판정하는 것;
하나 이상의 사각형 후보를 열거하는 것;
상기 하나 이상의 사각형 후보 각각에 스코어를 할당하는 것;
상기 하나 이상의 사각형 후보로부터 최고 스코어를 가진 사각형을 선택하는 것; 및
상기 복수의 에지들 중 오정렬된다고 판정된 하나 이상의 에지를 조정해서 상기 최고 스코어를 가진 사각형을 형성하는 것을 포함하는
컴퓨터 판독가능 저장 매체.
제 14 항에 있어서,
상기 조정된 이미지를 처리해서 불균형들을 교정하는 단계는:
상기 이미지에 튜닝된 색체 효과를 적용하는 것; 및
상기 튜닝된 색체 효과에 기초하여 상기 이미지의 색체 균형을 조정하는 것을 포함하는
컴퓨터 판독가능 저장 매체.
제 14 항에 있어서,
상기 이미지에 튜닝된 색체 효과를 적용하는 것은 백색 점, 흑색 점 및 콘트라스트를 계산함으로써 상기 이미지의 히스토그램 분석을 수행하는 것을 포함하는
컴퓨터 판독가능 저장 매체.