KR101711233B1 - 카메라 기반의 스캐닝 - Google Patents

카메라 기반의 스캐닝 Download PDF

Info

Publication number
KR101711233B1
KR101711233B1 KR1020127007396A KR20127007396A KR101711233B1 KR 101711233 B1 KR101711233 B1 KR 101711233B1 KR 1020127007396 A KR1020127007396 A KR 1020127007396A KR 20127007396 A KR20127007396 A KR 20127007396A KR 101711233 B1 KR101711233 B1 KR 101711233B1
Authority
KR
South Korea
Prior art keywords
rectangle
captured image
image
computing device
camera
Prior art date
Application number
KR1020127007396A
Other languages
English (en)
Other versions
KR20120083352A (ko
Inventor
드조르드제 니젬체빅
마그달레나 부코사블제빅
밀란 부그델리자
안나 미트로빅
게오르그 에프 페트슈니그
보딘 드레세빅
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20120083352A publication Critical patent/KR20120083352A/ko
Application granted granted Critical
Publication of KR101711233B1 publication Critical patent/KR101711233B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00251—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

카메라 기반의 스캐닝에 관한 실시예가 개시되어 있다. 여러 실시예에서, 스캐닝된 문서는 장치와 연결된 카메라에 의해 캡처링(captured)된 화상을 이용하여 생성될 수 있다. 카메라에 의해 캡처링된 화상은 종이, 명함, 화이트보드, 스크린 등과 같은 직사각형 객체에 대응하는 화상 내의 부분들을 식별하도록 처리된다. 하나 이상의 이러한 부분은 점수화 기법(scoring scheme)에 기초하여 자동적 및/또는 사용자의 입력에 의하여 반자동적으로 스캐닝하도록 선택될 수 있다. 원근감 효과를 제거(예를 들면, 그 부분을 직사각형으로 수정)하기 위해 선택된 부분을 왜곡 해제(un-warping)하고, 형상화를 향상하기 위해 여러 화상 강화를 적용하는 것에 의해 선택된 부분으로부터 하나 이상의 스캐닝된 문서가 생성된다.

Description

카메라 기반의 스캐닝{CAMERA-BASED SCANNING}
본 발명은 카메라 기반의 스캐닝에 관한 것이다.
카메라를 포함하는 컴퓨팅 장치는 다른 이동 데이터, 메시징 및/또는 통신 장치뿐만 아니라 랩탑 컴퓨터, 태블릿 PC, 디지털 카메라 장치, 이동 전화기, 울트라 모바일(ultra-mobile) PC 등과 같이 점차적으로 보다 더 일반화되고 더 이동형으로 진화되고 있다. 사용자는 컴퓨팅 장치와 연결된 카메라를 이용하여 상영물, 화이트보드, 명함, 문서, 스케치, 그림 등의 화상을 캡처링(capturing)하는 것을 포함하여 여러 사진을 찍을 수 있다. 그러면 사용자는 캡처링된 화상을 참조하여 도표, 사진, 목록 및 다른 텍스트 등과 같이 그곳에 포함된 정보를 재현할 수 있다. 때론, 사용자는 그 자신의 문서, 기록 및/또는 발표문 내에 캡처링된 화상으로부터의 정보를 이용할 수 있기를 원할 것이다. 그러나 통상적으로 카메라에 의해 캡처링된 화상은 정적이고, 정적 화상으로부터 전자적으로 사용 가능 및/또는 편집 가능 정보를 추출하는 것은 간단하지 않을 것이다.
캡처링된 화상의 스캐닝된 버전을 생성하는 데 이용되는 통상적인 기술은 화상의 인쇄물을 획득하는 것과, 그 후에 화상의 스캐닝된 버전을 생성하기 위해 스캐너를 수동으로 작동하는 것을 포함한다. 캡처링된 화상으로 작업하는 데 사용되는 다른 통상적인 기술은 캡처 장치로부터 데스크탑 컴퓨터로 화상을 전송하는 것과, 그 후에 데스크탑 컴퓨터의 화상 편집 애플리케이션을 이용하여 화상을 추가적으로 처리하는 것을 필요로 한다. 이와 같이 캡처링된 화상 내에 포함된 정보를 획득하는 데 통상적으로 사용되는 수동 집중식 기술은 사용자에게 불편할 것이고 시간 소모적일 것이다.
이 요약은 카메라 기반의 스캐닝에 관한 단순화된 개념을 도입하기 위해 제공되었다. 단순화된 개념은 이하의 상세한 설명 내에 추가적으로 설명되어 있다. 이 요약은 청구 대상의 주요 특징을 식별하도록 의도된 것이 아니고, 청구 대상의 범주를 결정하기 위한 용도로 의도된 것도 아니다.
카메라 기반의 스캐닝에 관한 실시예가 개시되어 있다. 여러 실시예에서, 스캐닝된 문서는 장치와 연결된 카메라에 의해 캡처링된 화상을 이용하여 생성될 수 있다. 카메라에 의해 캡처링된 화상은 종이, 명함, 화이트보드, 스크린 등과 같은 직사각형 객체에 대응하는 화상 내의 사각형 부분들을 식별하도록 처리된다. 하나 이상의 이러한 사각형 부분은 점수화 기법(scoring scheme)에 기초하여 자동적으로 및/또는 사용자로부터의 입력에 의하여 반자동적으로 스캐닝할 때 선택될 수 있다. 원근감 효과를 제거(예를 들면, 그 부분을 직사각형으로 조정)하기 위해 선택된 부분을 왜곡 해제(un-warping)하고, 형상화를 향상하기 위해 여러 화상 강화를 적용하는 것에 의해 선택된 사각형 부분으로부터 하나 이상의 스캐닝된 문서가 생성된다.
카메라 기반의 스캐닝에 관한 실시예는 이하의 도면을 참조하여 설명되어 있다. 도면에 걸쳐 동일한 형상부 및 성분을 지칭하기 위해서 동일한 참조 부호를 사용하였다.
본 발명은 선택된 부분을 왜곡 해제하여 원근감 효과를 제거하고, 여러 화상 강화를 적용하는 것에 의해 형상화를 향상함으로써 카메라 기반의 스캐닝에 있어서 보다 향상된 스캐닝된 문서를 생성하는 방법 및 장치를 제공한다.
도 1은 카메라 기반의 스캐닝에 대한 여러 실시예를 구현할 수 있는 장치의 예시를 도시하는 도면.
도 2는 카메라 기반의 스캐닝에 대한 실시예가 구현될 수 있는 예시적인 시스템을 도시하는 도면.
도 3은 하나 이상의 실시예에 따라서 카메라 기반의 스캐닝을 위한 예시적인 방법을 도시하는 도면.
도 4는 하나 이상의 실시예에 따라서 카메라 기반의 스캐닝을 위한 다른 예시적인 방법을 도시하는 도면.
도 5는 카메라 기반의 스캐닝에 대한 실시예를 구현할 수 있는 예시적인 장치의 여러 성분을 도시하는 도면.
카메라 기반의 스캐닝에 대한 실시예는 적절히 구성된 컴퓨팅 장치의 사용자가 장치와 연결된 카메라에 의해 캡처링된 화상을 이용하여 문서, 발표물 및 다른 대상물을 스캔하는 기술을 제공한다. 카메라 기반의 스캐닝은 종이, 명함, 화이트보드, 스크린 등과 같은 직사각형 객체에 대한 원근감 효과를 보정할 수 있다.
예를 들면, 사용자는 대상물을 향하여 휴대형 장치의 카메라를 겨냥하고, 버튼, 터치 또는 다른 적절한 입력을 이용하여 대상물의 화상을 캡처링하는 것을 개시할 수 있다. 캡처링이 사용자에 의해 개시될 때, 대상물의 화상을 캡처링하기 위해 캡처링 동작이 실행될 수 있다. 화상 캡처는 캡처링된 화상에 대한 여러 처리를 개시하여 캡처링된 화상으로부터 하나 이상의 스캐닝된 문서를 생성할 수 있다. 일실시예에서, 터치 스크린 상에서의 터치 입력 또는 터치 이벤트가 개시되어 관심 영역 및 화상 캡처가 실행되어야 한다는 것을 나타낼 수 있다. 터치 입력의 위치는 점수화 함수(scoring function)를 유도하기 위하여 후속 처리 단계에서 사용될 수 있다. 이 처리는 캡처링된 화상 내에서 스캐닝을 위한 잠재적인 부분으로서 고려될 사각형을 식별하는 것을 포함할 수 있다. 장치는 점수화 기법에 기초하여 자동적으로 및/또는 사용자로부터의 입력에 의한 반자동적으로 하나 이상의 식별된 사각형을 선택하도록 구성될 수 있다. 그러면 원근감 효과를 제거(예를 들면, 그 사각형을 직사각형으로 수정)하기 위해 선택된 부분을 왜곡 해제(un-warping)하고, 형상화를 향상하기 위해 여러 화상 강화를 적용하는 것에 의해 하나 이상의 스캐닝된 문서가 생성될 수 있다.
카메라 기반의 스캐닝을 위하여 설명된 시스템 및 방법의 특징 및 개념은 임의의 개수의 서로 다른 환경, 시스템 및/또는 여러 구성에서 구현될 수 있기는 하지만, 카메라 기반의 스캐닝의 실시예는 이하의 예시적인 시스템 및 환경의 문맥에서 설명되어 있다.
도 1은 카메라 기반의 스캐닝의 여러 실시예를 구현할 수 있는 컴퓨팅 장치(102)의 예시(100)를 도시한다. 컴퓨팅 장치(102)는 도 2를 참조하여 설명된 예시적인 휴대형 장치를 포함하는 여러 종류의 장치에 대한 예시이고, 도 4에 도시된 예시적인 장치를 참조하여 설명된 성분의 임의의 개수 및 다른 성분의 조합으로 구현될 수도 있다. 컴퓨팅 장치(102)는 사용자 인터페이스, 사용자 인터페이스 구성 요소 및 특징부, 사용자 선택 가능 제어부, 여러 디스플레이 가능 객체 등을 표시하기 위한 집적형 디스플레이 스크린(104)을 포함한다. 컴퓨팅 장치(102)는 또한 디지털 화상을 캡처링하기 위한 카메라(106)를 포함한다. 도시된 예시에서, 카메라(106)는 컴퓨팅 장치(102)에서 디스플레이 스크린(104)의 반대쪽 면에 있는 것으로 도시되어 있다.
컴퓨팅 장치(102)는 사용자로부터의 여러 입력을 처리하여 컴퓨팅 장치(102)를 작동하는 적어도 하나의 입력 드라이버(108)를 더 포함한다. 적어도 몇몇 실시예에서, 디스플레이 스크린(104)은 터치 스크린이고, 입력 드라이버(108)는 다양한 터치 입력 및/또는 터치 이벤트를 검출 및 처리하도록 작동 가능하다. 일실시예에서, 관심 영역을 표시하고 그에 대한 화상 캡처링을 개시하기 위해 터치 스크린(104)에 대한 터치 입력 또는 터치 이벤트 이벤트가 발생할 수 있다. 화상은 캡처링될 화상의 미리 보기(preview)로서 디스플레이 스크린에 표시될 수 있고, 스크린 상의 특정 위치에서의 터치 이벤트는 해당 화상이 캡처링되어야 한다는 것을 나타낸다. 추가하여 특정한 위치는 후속 처리 알고리즘 내에 점수화 함수에 대한 관심 대상으로서 식별된다. 따라서 터치 입력은 화상의 부분을 선택하고, 카메라가 화상을 캡처링하도록 사진을 찍게 하기 위하여 활용될 수 있다.
컴퓨팅 장치(102)는 또한 카메라(106)를 통한 화상의 캡처링 및 화상의 처리를 용이하게 하기 위한 사용자 인터페이스(112) 및 여러 사용자 인터페이스 구성 요소, 특징부 및 제어부의 표시를 개시하는 캡처 애플리케이션(110)을 포함한다. 또한 캡처 애플리케이션(110)은 본 명세서에 개시된 카메라 기반의 스캐닝 기술을 구현하는 컴퓨팅 장치(102)의 기능을 나타낸다. 예시적인 사용자 인터페이스(112)는 뷰파인더(114) 및 스캐닝된 화상 디스플레이(116)를 갖는 분할 스크린(split-screen) 인터페이스로서 도시된다. 뷰파인더(114)는 카메라(106)로부터의 현재의 화상을 나타내고, 사진이 찍혔을 때 캡처링된 화상을 나타내도록 전환될 수 있다. 또한 사용자는 뷰파인더(114)와의 대화를 통해 캡처링된 화상의 부분을 수정 및 선택할 수 있을 것이다.
스캐닝된 화상 디스플레이(116)는 스캐닝된 문서를 생성하기 위해 캡처 애플리케이션(110)에 의해 처리되는 캡처링된 화상의 하나 이상의 부분을 제공할 수 있다. 분할 스크린은 뷰파인더(114) 내에 캡처링된 화상을 표시하는 것과 동시에, 스캐닝된 화상 디스플레이(116) 내에 캡처링된 화상으로부터 생성된 스캐닝된 문서를 표시할 수 있다. 이러한 방식으로, 사용자는 캡처링된 화상 및 화상의 스캐닝된 부분을 모두 볼 수 있고, 선택된 부분의 경계를 수정하는 것 또는 다른 부분을 선택하는 것 등과 같이 사용자 인터페이스(112)를 이용하여 직관적으로 조절할 수 있다.
카메라 기반의 스캐닝의 일실시예에서, 컴퓨팅 장치(102)의 사용자는 대상물(118)에 대한 사진을 찍는 것에 의해 카메라 기반의 스캐닝을 개시할 수 있다. 사진의 대상물(118)은 문서, 종이, 명함, 사진, 화이트보드 등과 같은 하나 이상의 직사각형 객체를 포함할 수 있다. 도 1의 예시에서, 대상물(118)은 업무용 자료 발표(business presentation)를 위해 사용되는 디스플레이 스크린으로 나타나 있다. 카메라 기반의 스캐닝을 개시하기 위해 사진을 찍을 때, 캡처 애플리케이션(110)은 대상물(118)의 화상을 캡처링하고, 사용자 인터페이스(112)의 뷰파인더(114) 내에 화상을 출력할 수 있다.
캡처 애플리케이션(110)은 직사각형 객체에 대응하는 캡처링된 화상의 부분을 검출하도록 실행된다. 특히, 캡처 애플리케이션(110)은 스캐닝을 위한 잠재적 구역으로 간주될 캡처링된 화상 내에서의 사각형을 식별하도록 구성될 수 있다. 화상 내의 사각형은 화상 및 다른 문서 내의 임의의 형상을 확인하기에 적합한 다양한 특징부 추출 기술을 이용하여 식별될 수 있다.
적어도 몇몇 실시예에서, 캡처 애플리케이션(110)은 밝기의 급격한 변동 등과 같은 시각적 차이에 기초하여 에지(edges)를 검출하도록 작동 가능한 에지 검출기를 포함하거나 그것을 이용한다. 에지 검출을 위해 적합한 하나의 예시적인 알고리즘으로는 캐니(Canny)의 알고리즘이 있다. 에지가 식별되었을 때, 에지는 연결된 선으로 조합되어 사각형을 형성할 수 있다. 예를 들면, 꼭지점(모서리)은 에지 검출을 통해 식별될 수 있고, 그 꼭지점은 연결되어 사각형을 형성할 수 있다. 이것은 예를 들면, 검출된 에지 내의 불완전한 부분을 보정하고, 에지에 대응하는 선을 도출하는 선형 허프 변환(linear Hough transform) 애플리케이션을 포함할 수 있다. 따라서 검출된 에지 및 선을 이용하여 잠재적인 사각형의 집합이 도출될 수 있는데, 여기에서 선은 특정 방향을 따라서 유사하게 배열된 에지로부터 검출된 다음, 사각형을 형성하도록 조합된다.
캡처 애플리케이션(110)은 캡처링된 화상 내에서 검출 및/또는 선택된 사각형을 나타내는 표시자(120)가 사용자 인터페이스(112) 내에 나타나게 할 수 있다. 예를 들면, 도 1의 뷰파인더(114) 내의 캡처링된 화상은 꼭지점에서의 점과, 에지를 따라 나타나는 점선으로 구성된 표시자(120)를 포함한다. 애니메이션 선(animated lines), 색상 변화, 플래그(flags) 등과 같은 다른 표시자(120)도 고려할 수 있다. 잠재적인 사각형이 뷰파인더를 통해 제시되어 사용자가 스캐닝을 위한 하나 이상의 사각형을 선택하게 할 수 있다.
일실시예에서, 캡처 애플리케이션(110)은 점수화 기법에 기초하여 스캔할 하나 이상의 잠재적 사각형을 자동적으로 선택하도록 구성될 수 있다. 점수화 기법은 예를 들면 크기, 위치, 문자 및 얼굴 등과 같은 컨텐츠의 인식 등을 포함하는 다양한 기준에 기초하여 잠재적인 사각형을 평가할 수 있다. 최고 점수의 사각형은 자동적으로 선택될 수 있다. 다른 예시에서, 임계 점수를 초과하는 임의의 사각형이 선택될 수 있다.
캡처 애플리케이션(110)은 자동 선택이 적절한 사각형을 찾는 것에 실패할 때 및/또는 사용자가 반자동 선택을 개시할 때 사각형의 반자동 선택을 구현하도록 더 구성될 수 있다. 그와 같이 함으로써, 자동적으로 선택된 사각형, 모서리 및/또는 선은 상술된 바와 같이 표시자(120)를 이용하여 사용자 인터페이스(112) 내에 제시될 수 있다. 그러면 사용자는 자동적으로 선택된 사각형을 수정하고, 사각형을 제거하고, 기본 사각형을 정의하는 등을 위한 입력을 제공할 수 있다.
일실시예에서, 표시자(120)는 모서리를 드래깅(dragging)하여 모서리를 재배치하는 것 등에 의해 사각형을 수정하기 위해서 사용자에 의해 선택 가능할 것이다. 다른 예시에서, 사용자는 사용자 인터페이스(112)와의 대화를 통해 하나의 모서리를 선택함으로써 기본 사각형을 정의할 수 있다. 캡처 애플리케이션(110)은 한 모서리에 대한 사용자 선택에 기초하여 대응하는 사각형을 자동적으로 도출하도록 구성될 수 있다. 사용자는 또한 사용자 인터페이스(112)의 선택 및 드래깅 툴(tool)을 작동하여 기본 사각형을 위한 영역을 식별할 수 있다. 컴퓨팅 장치(102)가 터치 가능형일 때, 사용자는 디스플레이 스크린(104)에 직접 터치하고 드래깅하여 사각형을 수정 및 정의할 수 있다. 다른 입력 장치는 또한 예를 들면 스타일러스(stylus), 마우스, 방향 키 및/또는 다른 적절한 입력 장치를 포함하며 사각형의 반자동 선택을 위해 이용될 수 있다.
하나 이상의 스캐닝된 문서는 원근감 효과를 제거(예를 들면, 사각형을 직사각형으로 수정)하기 위해 선택된 부분을 왜곡 해제하고, 형상화를 향상하기 위해 여러 화상 강화를 적용하는 것에 의해 생성될 수 있다. 특히, 캡처 애플리케이션(110)의 왜곡 해제를 수행하는 것은 캡처링된 화상의 원근감에 기인한 왜곡(distortion)을 검출 및 보정하도록 구현될 수 있다. 예를 들면, 캡처 애플리케이션(110)은 선택된 사각형의 각도와 비율에 기초하여 원근감을 결정할 수 있다. 캡처 애플리케이션(110)은 캡처링된 화상이 선택된 사각형에 대응하도록 크롭 편집(crop)할 수 있다. 캡처 애플리케이션(110)은 적어도 몇몇 부분을 회전, 크기 조절(resize)하고, 그 외에도 원근감 왜곡을 고려하여 크롭 편집된 화상에 대한 보정을 실행하고, 직사각형으로 보정된 왜곡 해제 화상을 생성할 수 있다.
캡처 애플리케이션(110)은 또한 왜곡 해제된 화상의 형상을 향상하기 위하여 여러 화상 강화를 적용할 수 있다. 이러한 화상 강화의 예시는 몇 가지의 예를 들자면 색감 강화, 밝기 및 음영의 보정 및 배경색 제거를 포함한다. 화상 강화는 또한 왜곡 해제된 화상에 OCR(optical character recognition)을 적용하여 문자를 식별하고, 편집 가능한 문자 부분을 갖는 스캐닝된 문서를 생성하는 것을 포함할 수 있다.
도 1에 도시된 업무용 자료 발표의 특정한 예시를 고려하기로 한다. 업무용 발표 자료는 디스플레이 스크린에 나타나고, 문자 및 인물의 삽화를 포함한다. 사용자가 업무용 발표 자료의 사진을 찍을 때, 화상은 캡처링되고, 뷰파인더(114) 내에 나타날 수 있다. 그 화상은 사진이 찍힐 때의 각도에 기인하여 뒤틀림(skewed)을 가지고 나타날 수 있다는 것을 주지하라. 처음에, 캡처 애플리케이션(110)은 본 명세서에 설명된 카메라 기반의 스캐닝 기술을 이용하여 스크린 경계를 식별할 수 있다. 따라서 스크린에 대응하는 사각형은 표시자(120)를 이용하여 뷰파인더(114) 내에 식별된다. 또한, 캡처 애플리케이션(110)은 먼저 스캐닝된 화상 디스플레이(116)를 통해 문자 및 삽화를 포함하는 스크린의 스캐닝된 버전을 표시할 수 있다.
그러나 도시된 예시에서, 사용자는 문자 없이 삽화를 선택하도록 기본 사각형을 선택하였다. 예를 들어, 사용자는 컴퓨팅 장치(102)의 디스플레이 스크린(104)을 터치하여 모서리를 선택 및/또는 삽화 주위로 선택 박스를 드래깅할 수 있다. 이러한 선택에 응답하여, 선택된 부분(예를 들면, 삽화)은 원근감 효과(예를 들면, 뒤틀림)를 제거하도록 왜곡 해제하고, 강화를 적용함으로써 스캐닝될 수 있다. 그 결과로 스캐닝된 삽화는 스캐닝된 화상 디스플레이(116) 내에 나타나고, 사용자 인터페이스(112)의 분할 스크린을 이용하여 뷰파인더(114) 내의 캡처링된 업무용 자료 발표와 동시에 제시될 수 있다. 사용자는 주석의 추가, 동료와의 공유, 웹사이트 또는 블로그에 공개하는 것 등과 같은 다양한 방식으로 스캐닝된 삽화를 이용할 수 있다.
도 2는 카메라 기반의 스캐닝의 여러 실시예가 구현될 수 있는 예시적인 시스템(200)을 도시한다. 예시적인 시스템(200)은 이동식 개인용 컴퓨터(204), PDA(personal digital assistant), 데이터, 메시징 및/또는 음성 통신을 위해 실행되는 이동 전화기(206)(예를 들면, 셀 방식, VoIP, WiFi 등), 휴대형 컴퓨터 장치(208)(예를 들면, 랩탑 컴퓨터, 터치 스크린을 갖는 랩탑 컴퓨터 등), 매체 장치(210)(예를 들면, 개인용 매체 재생기, 휴대형 매체 재생기 등), 게임 장치, 가전 장치, 전자 장치 및/또는 임의의 형태의 오디오, 비디오 및/또는 화상 데이터로 데이터를 수신, 표시 및/또는 통신할 수 있는 임의의 다른 종류의 휴대형 장치 중 어느 하나 또는 그 조합일 수 있는 휴대형 장치(202)(예를 들면, 유선 및/또는 무선 장치)를 포함한다.
여러 휴대형 장치 각각은 사용자가 데이터 및/또는 선택을 입력할 수 있게 하는 선택 가능 입력 제어부뿐만 아니라 집적형 디스플레이 및/또는 집적형 터치 스크린 또는 다른 디스플레이를 포함할 수 있다. 예를 들면, 이동식 개인용 컴퓨터(204)는 사용자 인터페이스(214)가 임의의 종류의 화상, 그래픽, 문자, 선택 가능 버튼, 사용자 선택 가능 제어부, 메뉴 선택, 지도(map) 구성 요소, 및/또는 임의의 다른 종류의 사용자 인터페이스 표시 가능 특징부 또는 항목 등과 같은 표시 가능 객체 및/또는 사용자 인터페이스 구성 요소(216)를 포함하도록 표시될 수 있는 집적형 터치 스크린(212)을 포함한다. 사용자 인터페이스(214)는 또한 본 명세서에 설명된 카메라 기반의 스캐닝에 대한 하나 이상의 실시예에 따라서 분할 스크린을 통해 캡처링되고, 스캐닝된 화상을 표시할 수 있다.
본 명세서에 설명된 여러 휴대형 장치 중 어느 것도 하나 이상의 센서, 프로세서, 통신 부품, 데이터 입력, 메모리 부품, 저장 매체, 처리 및 제어 회로 및/또는 컨텐츠 렌더링 시스템을 가지고 구현될 수 있다. 임의의 휴대형 장치는 또한 임의의 종류의 데이터 네트워크, 음성 네트워크, 방송 네트워크, IP 기반 네트워크 및/또는 데이터, 메시징 및/또는 음성 통신을 지원하는 무선 네트워크를 포함할 수 있는 통신 네트워크를 통한 통신을 위해 구현될 수 있다. 휴대형 장치는 또한 도 4에 도시된 예시적인 장치를 참조하여 설명된 바와 같은 서로 다른 부품의 임의의 개수 및 그 조합으로 구현될 수 있다. 휴대형 장치는 또한 휴대형 장치가 사용자, 소프트웨어 및/또는 장치의 조합을 포함하는 로직 장치를 지칭하는 경우에 그 장치를 작동시키는 사용자(즉, 사람) 및/또는 개체와 연관될 수 있다.
이 예시에서, 휴대형 장치(202)는 하나 이상의 프로세서(218)(예를 들면, 마이크로프로세서, 제어기 등 중에서 어느 하나), 데이터, 메시징 및/또는 음성 통신을 위한 통신 인터페이스(220) 및 매체 컨텐츠(224)를 수신하는 데이터 입력부(222)를 포함한다. 매체 컨텐츠(예를 들면, 기록된 매체 컨텐츠를 포함함)는 메시지, 텔레비전 매체 컨텐츠, 음악, 비디오 클립, 데이터 피드(data feeds), 대화형 게임, 네트워크 기반 애플리케이션 및 임의의 다른 컨텐츠 등과 같은 임의의 매체 컨텐츠 또는 데이터 소스로부터 수신되는 임의의 종류의 오디오, 비디오 및/또는 화상 데이터를 포함할 수 있다. 휴대형 장치(202)는 제어 애플리케이션, 소프트웨어 애플리케이션, 신호 처리 및 제어 모듈, 특정한 장치에서의 고유한 코드 및/또는 특정한 장치를 위한 하드웨어 추상화 계층 중 임의의 하나 또는 그 조합을 포함하는 장치 관리자(226)를 가지고 실행된다.
휴대형 장치(202)는 프로세서(218)에 의해 처리 또는 실행될 수 있는 캡처 애플리케이션(230) 등과 같은 구성 요소를 포함할 수 있는 여러 소프트웨어 및/또는 매체 애플리케이션(228)을 포함한다. 매체 애플리케이션(228)은 음악 및/또는 비디오 재생기, 이미징(imaging) 애플리케이션, 웹 브라우저, 전자 우편 애플리케이션, 메시징 애플리케이션, 디지털 사진 애플리케이션 등을 포함할 수 있다. 휴대형 장치(202)는 캡처 애플리케이션(230)으로부터 사용자 인터페이스를 렌더링(render)하여 휴대형 장치 중 어느 하나에서 디스플레이를 생성하는 렌더링 시스템(232)을 포함한다. 렌더링 시스템(232)은 또한 임의의 매체 컨텐츠 및/또는 데이터 소스로부터 수신된 임의의 형태의 오디오, 비디오 및/또는 화상 데이터를 수신 및 렌더링하도록 실행될 수 있다. 휴대형 장치(202)는 또한 카메라(234)와, 터치 스크린(212)을 위하여 터치스크린 드라이버를 포함하거나 그것을 이용할 수 있게 하는 입력 드라이버(236)를 포함한다. 입력 드라이버(236)는 여러 입력 및/또는 제스처, 입력 및/또는 움직임의 결정 가능한 표시를 검출 및 처리하여 카메라 기반의 스캐닝을 실행하는 캡처 애플리케이션(230)의 동작을 포함하는 휴대형 장치(202)의 기능을 동작하게 하도록 구성될 수 있다. 캡처 애플리케이션(230) 및 입력 드라이버(236)의 실시예는 도 1에 도시된 캡처 애플리케이션(110) 및 입력 드라이버(108)를 참조하고, 본 명세서에 설명된 카메라 기반의 스캐닝의 실시예를 참조하여 설명되어 있다.
예시적인 방법(300 및 400)은 카메라 기반의 스캐닝에 대한 하나 이상의 실시예에 따라서 각각 도 3 및 도 4를 참조하여 설명되어 있다. 일반적으로, 본 명세서에 설명된 기능, 방법, 절차, 구성 요소 및 모듈 중 어떤 것도 하드웨어, 소프트웨어, 펌웨어, 고정 로직 회로, 수동 처리 또는 그 임의의 조합을 이용하여 실현될 수 있다. 소프트웨어 구현은 컴퓨터 프로세서에 의해 실행될 때 지정된 작업을 수행하는 프로그램 코드를 나타낸다. 예시적인 방법은 소프트웨어, 애플리케이션, 루틴, 프로그램, 객체, 구성 요소, 데이터 구조, 절차, 모듈, 함수 등을 포함할 수 있는 컴퓨터 실행 가능 명령어의 일반적인 문맥으로 설명될 수 있다. 이 방법은 또한 통신 네트워크를 통해 연결된 장치를 처리함으로써 분산형 컴퓨팅 환경 내에 실행될 수 있다. 분산형 컴퓨팅 환경에서, 컴퓨터 실행 가능 명령어는 지역 및 원격 컴퓨터 저장 매체 및/또는 장치 모두에 위치될 수 있다. 또한 본 명세서에 설명된 특징부는 플랫폼(platform) 독립형이고 다양한 프로세서를 갖는 다양한 컴퓨팅 플랫폼에서 구현될 수 있다.
도 3은 카메라 기반의 스캐닝의 예시적인 방법(300)을 도시한다. 이 방법이 설명되어 있는 순서는 제한 사항으로서 간주되도록 의도된 것이 아니고, 임의의 개수의 설명된 방법 단계는 임의의 순서로 결합되어 이 방법을 실행하거나 대안적인 방법을 실행할 수 있다.
단계(302)에서, 화상의 캡처링을 개시하는 입력이 검출된다. 예를 들면, 컴퓨팅 장치(102)에 있는 입력 드라이버(108)는 대상물(118)에 대한 사진을 찍으려는 사용자 선택을 검출한다. 대상물(118)은 카메라 기반의 스캐닝에서 검출 가능한 하나 이상의 직사각형 객체를 포함할 수 있다. 캡처링은 터치 스크린 버튼, 키 스트로크(key stroke), 컴퓨팅 장치(102)의 전용 셔터 버튼의 동작 또는 다른 적절한 입력에 대한 사용자 조작에 의해 개시될 수 있다.
단계(304)에서, 입력에 응답하여 화상이 캡처링된다. 예를 들면, 컴퓨팅 장치(102)에 있는 캡처 애플리케이션(110)은 단계(302)에서의 입력에 응답하여 카메라(106)를 이용하여 대상물(118)의 화상을 캡처링할 수 있다. 캡처링된 화상은 컴퓨팅 장치(102)의 사용자 인터페이스(112)를 통해 제시될 수 있다.
단계(306)에서, 캡처링된 화상의 하나 이상의 부분은 캡처링된 화상의 사각형을 검출하는 것에 기초하여 스캐닝된다. 블록(308)에서, 하나 이상의 스캐닝된 부분에 대해 강화가 적용된다. 사각형은 다양한 기술을 이용하여 캡처링된 화상 내에서 검출될 수 있다. 예를 들면, 컴퓨팅 장치(102)에서의 캡처 애플리케이션(110)은 도 1을 참조하여 설명된 자동 및 반자동 기술 중 어느 하나 또는 모두를 이용하여 사각형을 식별할 수 있다. 다른 예시에서, 수동 기술은 사각형을 수동으로 선택하는 것에 의해 캡처링된 화상이 컴퓨팅 장치(102)를 통해 사용자에게 제시될 수 있게 하는 방식으로 사용될 수 있다. 이 예시에서, 캡처 애플리케이션(110)을 통해 사각형의 자동 검출을 가능하게 하는 기능은 불가능하거나, 포함되지 않거나, 이용 불가능할 수 있다. 하나 이상의 스캐닝된 부분의 형상화를 향상하기 위한 여러 강화를 고려할 수 있다. 사각형의 검출 및 스캐닝된 화상의 강화를 위한 기술에 대한 추가적인 세부 사항은 도 4에 도시된 예시적인 방법(400)을 참조하여 이하에 제공되어 있다.
단계(310)에서, 하나 이상의 부분에 대응하는 스캐닝된 문서는 출력된다. 예를 들면, 컴퓨팅 장치(102)에 있는 캡처 애플리케이션(110)은 스캐닝된 문서가 사용자 인터페이스(112)의 스캐닝된 문서 디스플레이 내에 표시될 수 있게 할 수 있다. 그러면 사용자는 문서를 저장하고, 주석을 추가하고, 한 명 이상의 수신자에게 문서를 전송하는 것 등에 의해서 스캐닝된 문서를 가지고 작업할 수 있게 된다.
도 4는 카메라 기반의 스캐닝을 위한 예시적인 방법(400)을 도시한다. 특히 도 4는 컴퓨팅 장치(102)의 카메라(106)를 통해 캡처링된 화상을 스캔하기에 적절한 예시적인 알고리즘을 나타낸다. 이 방법이 설명되어 있는 순서는 제한 사항으로서 간주되도록 의도된 것이 아니고, 임의의 개수의 설명된 방법 단계는 임의의 순서로 결합되어 이 방법을 실행하거나 대안적인 방법을 실행할 수 있다.
단계(402)에서, 캡처링된 화상은 사전 처리(pre-processed)된다. 예를 들면, 컴퓨팅 장치(102)의 캡처 애플리케이션(110)은 카메라 기반의 스캐닝을 위한 화상을 준비하기 위해 여러 방식으로 캡처링된 화상을 사전 처리할 수 있다. 예로서, 사전 처리는 화상 필터의 적용, 대비의 강화, 밝기의 조정, 다운 스케일링(down scaling), GS 변환, 미디언 필터링(median filtering) 등을 포함할 수 있다. 일실시예에서, 사전 처리는 화상의 다운 스케일링, 대비 강화 및 노이즈 필터링 중 하나 이상을 포함한다. 다운 스케일링이 발생되어 화상의 해상도를 감소시키고 화상을 위해 처리해야 할 화소의 개수를 감소할 수 있다. 화상의 해상도가 높아질수록, 화상을 처리하는 데 있어 더 많은 컴퓨팅 자원이 소모되고, 에지 검출로부터 더 많은 오류(예를 들면, 원치 않는) 에지가 생성될 수 있다. 따라서 다운 스케일링은 처리를 가속화하고 향상된 에지 검출을 가능하게 할 수 있다.
대비 강화는 화상 내의 가장 밝은 색상을 백색으로 설정하고, 가장 어두운 색상을 흑색으로 설정하도록 하는 데 이용될 수 있다. 이것은 또한 대비 및/또는 밝기의 급격한 차이를 발견하는 검출 알고리즘을 통하여 에지 및 선의 검출을 향상시킬 수 있다. 노이즈 필터링은 화상 노이즈를 제거하기 위해 하나 이상의 필터를 적용하는 것을 포함한다. 가우시안 블러(Gaussian blur) 등과 같은 몇몇 노이즈 필터는 화상의 에지를 저하(예를 들면, 부드럽게)시킬 수 있고, 에지의 검출을 더 어렵게 한다. 따라서 양방향(bilateral) 및/또는 미디언 필터링 등과 같이 에지를 보존하는 노이즈 필터링 기술이 카메라 기반의 스캐닝 기술에서 에지 저하를 방지하기 위해 이용될 수 있다.
사전 처리 이후에, 방법(400)은 캡처링된 화상 내에 사각형의 검출을 실행하도록 진행될 수 있다. 단계(404)에서, 캡처링된 화상 내에서 에지가 검출된다. 검출된 에지는 명함의 에지, 그림의 테두리, 디스플레이 스크린의 에지 등과 같이 화상 내에서 직사각형 객체의 경계에 대응할 수 있다. 에지는 임의의 적절한 방식으로 검출될 수 있다. 예를 들면, 컴퓨팅 장치(102)의 캡처 애플리케이션(110)은 대비의 급격한 차이에 기초하여 에지를 검출하는 캐니의 알고리즘을 적용하도록 구현될 수 있다.
캐니의 알고리즘은 에지를 검출하기에 충분한 대비 차이의 양을 정의하는 구성 가능 임계값을 이용할 수 있다. 일실시예에서, 캐니의 알고리즘에서 이용된 임계값은 적응적일 수 있다. 예를 들면 높은 인스턴스(instances)의 에지를 갖는 화상(예를 들면, 양탄자, 탁자 또는 다른 거친 표면 등)의 영역에 대한 임계값은 증가할 수 있다. 이것은 해당 영역 내에 검출된 오류 에지의 개수를 감소할 수 있다. 마찬가지로 비교적 낮은 인스턴스의 에지를 갖는 화상의 영역에 대한 임계값은, 비교적 작은 대비 차이를 갖는 에지를 검출할 기회를 증가하기 위해 감소될 수 있다.
단계(406)에서, 검출된 에지에 대응하는 선이 결정된다. 캡처 애플리케이션(110)은 대응하는 선을 구성하기 위해 검출된 에지를 이용할 수 있다. 일실시예에서, 선형 허프 변환을 적용함으로써 선이 결정된다. 불완전 에지, 굴곡 에지 등과 같이 에지의 검출에서 발생하는 결함을 보정하여 선을 식별할 수 있다. 이 단계는 또한 점수화 기법에 따라서 및 점수화 기준에 기초하여 선을 선택적으로 제거하여 점수화 선을 포함할 수 있다. 예를 들면, 분리된 선, 불확실한 선 및 적절한 사각형을 형성하지 않는 것으로 결정된 선은 제거 또는 무시될 수 있다.
선을 점수화하고 선택하는 다양한 기술을 고려할 수 있다. 일실시예에서, 점수화 개선은 허프 변환을 위한 애플리케이션에 의해 결정되는 상위 점수화 선의 구성 가능한 개수에 적용될 수 있다. 특히, 각각의 상위 점수화 선은 선 주위의 영역을 스캐닝하는 것에 의해 재점수화되고 재분류되어 유사한 방향성을 갖는 에지를 발견할 수 있다. 특정 선을 위한 새로운 점수는 스캐닝된 영역 내에 발견된 유사한 방향을 갖는 에지의 개수에 비례한다.
일실시예에서, 특정 선을 위해 스캐닝된 영역은 선의 방향성에 기초하여 조정될 수 있다. 예를 들면, 실질적으로 수평 방향을 갖는 선에 있어서, 스캐닝된 영역은 선의 화소의 위/아래에 구성 가능한 숫자를 갖는 화소를 포함할 수 있다. 마찬가지로, 실질적으로 수직 방향을 갖는 선에 있어서, 스캐닝된 영역은 선의 화소의 좌/우에 구성 가능한 숫자를 갖는 화소를 포함할 수 있다.
단계(408)에서, 가능한 사각형은 검출된 에지 및 선을 이용하여 도출된다. 특히, 컴퓨팅 장치(102)의 캡처 애플리케이션(110)은 단계(404)에서 검출된 에지 및 단계(406)에서 결정된 선을 이용하여 가능한 사각형을 구성할 수 있다. 다시 말해서, 여러 개의 선은 조합되어 사각형을 형성할 수 있고, 여기에서 선은 특정 방향을 따라서 유사한 방향으로 배열된 에지로부터 검출된다. 선을 조합하여 사각형을 형성하는 것은 다양한 방식으로 발생할 수 있다. 하나의 예시로서, 검출된 선은 먼저 사각형의 반대쪽 변을 형성하는 선을 확인한 것에 기초하여 가능한 사각형을 확인하도록 처리될 수 있다. 검출된 선은 사각형 모서리를 형성하는 선에 기초하여 가능한 사각형을 확인하도록 다시 처리될 수 있다. 이전의 몇몇 기술과는 다르게, 모서리는 실질적으로 직각을 형성하는 모서리뿐만 아니라 불규칙 또는 뒤틀린 사각형에 대응할 수 있다.
단계(410)에서, 사각형은 스캐닝을 위해 선택된다. 예를 들어, 단계(408)에서 구성된 가능한 사각형의 집합을 이용하면, 캡처 애플리케이션(110)은 점수화 기준에 따라서 사각형을 자동적으로 선택하도록 구성될 수 있다. 이 단계는 점수화 기법에 기초하고, 의미없는 것으로 간주되는 조합을 폐기함으로써 의미 있는 조합을 식별하는 것을 포함할 수 있다. 점수화 기법은 화상 내에서의 위치, 상대적 크기, 사각형 내부 및 외부에 포함된 컨텐츠 등을 포함하는 여러 기준을 고려할 수 있다.
점수화 기법은 캡처 애플리케이션(110)이 가능한 사각형 중에서 적당한 사각형을 선택하는 데 이용될 수 있다. 다시 말해서, 캡처 애플리케이션(110)은 기준을 이용하여 가능한 사각형을 점수화함으로써 캡처링된 화상의 의도된 대상물로서 적당하거나 대략적인 최선의 추정을 획득할 수 있다. 예를 들면, 캡처링된 화상의 중심 부근에 잇는 큰 사각형은 의도된 대상물일 가능성이 있고, 점수화에 기초하여 캡처 애플리케이션(110)에 의해 선택될 수 있다. 그와는 대조적으로, 중심으로부터 멀리 떨어져 있고, 색상의 변화가 적거나 없는 작은 사각형은 의미 없는 사각형일 가능성이 있고, 폐기될 수 있다.
최적의 사각형을 찾기 위해서 여러 발견법(heuristics)을 이용할 수 있다. 일실시예에서, 점수화 기법은 특정한 사각형에 대한 초기 점수를 계산할 수 있고, 그 다음에 선택적으로 초기 값을 증가 또는 감소하도록 사각형의 여러 특징을 고려하여 초기 점수를 수정할 수 있다. 예를 들면, 초기 점수는 사각형의 상대적 크기에 기초하여 계산될 수 있다. 상대적 크기에 기초하여 초기 점수를 계산하는 한 가지 방법은 화상의 면적으로 사각형의 면적을 나누고, 그 값의 제곱근을 구하는 것이다. 선택적으로 사각형의 여러 특징을 고려하여 초기 점수를 수정할 수 있다. 예를 들면, 초기 점수는 점수가 증가하는 것으로 강화 및/또는 점수가 감소하는 것으로 벌점을 갖도록 수정될 수 있다.
특정한 일례에서, 초기 점수는 "원치 않는" 사각형 특징을 고려하여 여러 벌점 계수(penalty factors)에 의해 곱해지거나 조정될 수 있다. 예를 들면, 벌점 계수는 0과 1 사이의 범위를 갖는 승수로 구성될 수 있다. 다양한 서로 다른 벌점 및 대응하는 벌점 계수가 고려된다. 예를 들면, 벌점은 사각형 모서리의 2개의 선이 모서리를 지나서 연장될 때 적용될 수 있다. 벌점 계수는 선이 모서리를 지나 연장되어 있는 정도에 비례할 수 있다.
다른 벌점은 사각형의 모서리에 있는 2개의 선 사이에 형성된 각도에 기초할 수 있다. 이 경우에 벌점 계수는 그 각도와 직각과의 차이값에 비례할 수 있다. 다른 예시적인 벌점은 화상의 경계를 지나서 연장되는 사각형, 화상의 경계에 대하여 두드러지게 뒤틀려있는 사각형 및/또는 화상의 중심으로부터 멀리 위치되거나 오정렬(miss-aligned)되어 있는 사각형에 대해 평가될 수 있다.
사각형에 대한 초기 점수는 또한 "바람직한" 사각형 특성을 고려하여 강화 계수로 곱해지거나 조정될 수 있다. 예를 들면, 예시적인 강화는 화상의 중심 부근에 위치된 사각형, 화상과 실질적으로 정렬되어 있는 사각형, 잘 형성된 사각형 등에 적용될 수 있다. 본 명세서에 설명된 강화 및 벌점은 사각형을 선택하는 데 있어서 점수화 기법을 구현하기 위해 개별적으로 및/또는 조합하여 사용될 수 있다는 것을 주지하라.
단계(412)에서, 사각형의 선택이 성공적이었는지에 대한 결정이 이루어진다. 예를 들면, 캡처 애플리케이션(110)은 적절한 사각형이 선택되는 시간을 결정할 수 있다. 몇몇 경우에, 단계(404)-단계(410)에서 사각형의 자동 선택은 적절한 사각형을 검출하는 데 실패할 수 있다. 예를 들면, 캡처 애플리케이션(110)은 가능한 사각형 중 어느 것도 정의된 점수화 임계값을 만족시키지 못한다고 결정할 수 있다. 이러한 경우에, 선택은 성공하지 않은 것으로 결정되고 반자동 보정이 개시될 수 있다.
다른 예시에서, 단계(410)에서 자동적으로 선택된 하나 이상의 사각형은 사용자에게 승인을 받기 위해 컴퓨팅 장치(102)의 사용자 인터페이스(112)를 통해 제시될 수 있다. 그러면 사용자는 제시된 사각형을 승인 또는 거절하는 입력을 제공할 수 있다. 이 예시에서, 단계(412)에서 사용자로부터 제공된 입력에 따라서 결정이 이루어질 수 있다. 사용자가 승인하였다면 선택은 성공적인 것으로 간주된다. 사용자가 거절하였다면 선택은 성공하지 않은 것으로 결정되고 반자동 보정이 개시될 수 있다.
상기 시나리오에서 선택이 성공적이지 않았다면, 단계(414)에서 사각형을 선택하는 사용자 입력에 기초하여 반자동 보정이 이용된다. 반자동 보정은 사용자가 캡처 애플리케이션(110)에 의해 이루어질 수 있는 자동 선택을 보정하는 입력을 제공할 수 있게 한다. 예를 들면, 단계(410)에서 자동적으로 선택된 하나 이상의 사각형은 컴퓨팅 장치(102)의 사용자 인터페이스(112)를 통해 제시될 수 있다. 그러한 제시는 표시자(120)를 이용하여 사각형 경계를 나타낼 수 있다. 일실시예에서, 적어도 몇몇 표시자(120)는 대응하는 사각형을 수정하기 위해서 터치 또는 다른 적절한 입력에 의해 선택 가능하다. 캡처 애플리케이션(110)은 표시자(120)와의 대화를 검출하고, 사각형에 대응하는 수정을 발생할 수 있다. 예를 들면, 사용자는 표시자(120)와 대화하여 모서리의 점(예를 들면, 꼭지점)을 선택 및 드래깅하는 것 의해 사각형의 크기를 재조정하는 것, 다른 위치로 사각형을 이동하도록 드래깅하는 것 등과 같은 수정을 실행할 수 있다.
추가하여 또는 그 대신에, 사용자는 사용자 인터페이스(112)와의 대화를 통해 하나 이상의 모서리를 선택함으로써 기본 사각형을 정의할 수 있다. 여기에서도 이 대화는 터치 또는 다른 적절한 입력에 의해 이루어질 수 있다. 캡처 애플리케이션(110)은 사용자가 상술된 기술을 이용하여 하나의 모서리를 선택한 것에 응답하여 대응하는 사각형을 자동적으로 도출하도록 구성될 수 있다. 사용자가 아직 그 사각형에 불만족한다면, 사용자는 다른 모서리를 선택할 수 있고 캡처 애플리케이션(110)은 선택된 모서리를 모두 이용하여 대응하는 사각형을 도출할 수 있다. 이 과정은 세 번째 모서리를 선택하는 것에 의해 세 번 반복될 수 있다. 사용자가 그래도 불만족하고 네 번째 모서리가 선택되었다면, 캡처 애플리케이션(110)은 그 꼭지점이 4개의 선택된 모서리에 대응하는 사각형을 출력할 수 있다. 이러한 방식으로, 사용자는 캡처 애플리케이션(110)에 의해 자동적으로 선택된 사각형을 조정하기 위한 연속적인 힌트를 제공할 수 있다.
사용자는 또한 사용자 인터페이스(112)의 선택 및 드래깅 툴을 동작하여 기본 사각형을 위한 영역을 확인할 수 있다. 예를 들면, 도 1에서 사용자 인터페이스(112)의 뷰파인더(114) 내에서 인물의 삽화를 선택하는 사용자의 대화가 도시되어 있다. 반자동 보정 이후에, 방법(400)은 단계(416)로 진행된다.
단계(416)에서, 선택된 사각형의 원근감을 왜곡 보정하는 처리가 실행된다. 이 단계는 단계(412)에서 사각형 선택과, 그 후에 단계(414)에서의 반자동 보정이 모두 성공적인 것으로 결정될 때 발생할 수 있다. 일반적으로, 왜곡 해제는 직사각형으로 조정되는 선택된 사각형에 대응하는 왜곡 해제된 화상을 생성하기 위해 실행된다. 예를 들면, 캡처 애플리케이션(110)은 선택된 사각형의 각도 및 비율에 기초하여 원근감을 결정할 수 있다. 캡처 애플리케이션(110)은 또한 캡처링된 화상을 선택된 사각형에 대응하도록 크롭 편집(crop)할 수 있다. 또한 캡처 애플리케이션(110)은 원근감 왜곡을 고려하여 회전, 부분의 크기 조절 및 보정을 실행하는 것에 의해 원근감을 보정할 수 있다.
단계(418)에서, 왜곡 해제된 화상에 시각적 강화가 적용된다. 상기 도면과 관련하여 상술되어 있는 바와 같이 캡처 애플리케이션(110)에 의해 왜곡 해제된 화상에 여러 강화가 적용될 수 있다.
도 5는 카메라 기반의 스캐닝의 실시예를 구현하기 위해 도 1 및 도 2를 참조하여 설명된 바와 같이 임의의 종류의 휴대형 및/또는 컴퓨터 장치로서 구현될 수 있는 예시적인 장치(500)의 여러 구성 요소를 도시한다. 장치(500)는 장치 데이터(504)(예를 들면, 수신된 데이터, 수신되고 있는 데이터, 방송을 위해 스케줄링된 데이터, 데이터의 데이터 패킷 등)의 유선 및/또는 무선 통신을 가능하게 하는 통신 장치(502)를 포함한다. 장치 데이터(504) 또는 다른 장치 컨텐츠는 장치의 구성 설정, 장치에 저장된 매체 컨텐츠 및/또는 장치의 사용자와 연관된 정보를 포함할 수 있다. 장치(500)에 저장된 매체 컨텐츠는 임의의 종류의 오디오, 비디오 및/또는 화상 데이터를 포함할 수 있다. 장치(500)는 사용자 선택 가능 입력, 메시지, 음악, 텔레비전 매체 컨텐츠, 기록된 비디오 컨텐츠 및 임의의 컨텐츠 및/또는 데이터 소스로부터 수신된 임의의 다른 종류의 오디오, 비디오 및/또는 화상 데이터 등과 같은 임의의 종류의 데이터, 매체 컨텐츠 및/또는 입력이 수신될 수 있게 하는 하나 이상의 데이터 입력부(506)를 포함한다.
장치(500)는 또한 직렬 및/또는 병렬 인터페이스, 무선 인터페이스, 임의의 종류의 네트워크 인터페이스, 모뎀 및 임의의 다른 종류의 통신 인터페이스 중 임의의 하나 이상으로 구현될 수 있는 통신 인터페이스(508)를 포함한다. 통신 인터페이스(508)는 다른 전자, 컴퓨팅 및 통신 장치가 장치(500)와 데이터를 통신할 수 있게 하는 접속 및/또는 통신 링크를 장치(500)와 통신 네트워크 사이에 제공한다.
장치(500)는 장치(500)의 동작을 제어하고, 카메라 기반의 스캐닝의 실시예를 구현하기 위해 여러 컴퓨터 실행 가능 명령어를 처리하는 하나 이상의 프로세서(510)(예를 들면, 마이크로프로세서, 제어기 등 중에 어느 하나)를 포함한다. 이와 다르게 또는 추가하여, 장치(500)는 참조 부호(512)에서 일반적으로 확인되는 처리 및 제어 회로와 관련하여 구현되는 하드웨어, 펌웨어 또는 고정 로직 회로 중 어느 하나 또는 그 조합으로 구현될 수 있다. 도시되어 있지 않지만, 장치(500)는 장치 내의 여러 구성 요소를 결합하는 시스템 버스 또는 데이터 전송 시스템을 포함할 수 있다. 시스템 버스는 메모리 버스 또는 메모리 제어기, 주변 버스, 범용 직렬 버스(universal serial bus) 및/또는 임의의 다양한 버스 아키텍처를 활용하는 프로세서 또는 지역 버스 등과 같은 서로 다른 버스 구조 중 어느 하나 또는 그 조합을 포함할 수 있다.
장치(500)는 또한 하나 이상의 메모리 구성 요소 등과 같은 컴퓨터 판독 가능 매체(514)를 포함하고, 그 예시는 RAM(random access memory), 비휘발성 메모리(예를 들면, ROM(read-only memory), 플래시 메모리, EPROM, EEPROM 등 중에서 임의의 하나 이상) 및 디스크 저장 장치를 포함한다. 디스크 저장 장치는 하드 디스크 드라이브, 기록 가능 및/또는 재기록 가능 CD(compact disc), 임의의 종류의 DVD(digital versatile disc) 등과 같은 임의의 종류의 자기 또는 광학 저장 장치로 구현될 수 있다. 장치(500)는 또한 대용량 저장 매체 장치(516)를 포함할 수 있다.
컴퓨터 판독 가능 매체(514)는 여러 장치 애플리케이션(518) 및 장치(500)의 작동 측면에 관련된 임의의 다른 종류의 정보 및/또는 데이터뿐만 아니라 장치 데이터(504)를 저장하는 데이터 저장 메커니즘을 제공한다. 예를 들면, 운영 시스템(520)은 컴퓨터 판독 가능 매체(514)에서 컴퓨터 애플리케이션으로서 유지되고 프로세서(510)에서 실행될 수 있다. 장치 애플리케이션(518)은 장치 관리자(예를 들면, 제어 애플리케이션, 소프트웨어 애플리케이션, 신호 처리 및 제어 모듈, 특정한 장치 고유의 코드, 특정한 장치를 위한 하드웨어 추상화 계층 등)를 포함할 수 있다. 장치 애플리케이션(518)은 또한 카메라 기반의 스캐닝의 실시예를 구현하기 위한 임의의 시스템 구성 요소 또는 모듈을 포함한다. 이 예시에서, 장치 애플리케이션(518)은 소프트웨어 모듈 및/또는 컴퓨터 애플리케이션으로 도시된 캡처 애플리케이션(522) 및 입력 드라이버(524)를 포함한다. 이와 다르게 또는 추가하여, 캡처 애플리케이션(522) 및 입력 드라이버(524)는 하드웨어, 소프트웨어, 펌웨어 또는 그 임의의 조합으로 구현될 수 있다.
장치(500)는 또한 오디오 시스템(528)에 오디오 데이터를 제공 및/또는 디스플레이 시스템(530)에 비디오 데이터를 제공하는 오디오 및/또는 비디오 입-출력 시스템(526)을 포함한다. 오디오 시스템(528) 및/또는 디스플레이 시스템(530)은 오디오, 비디오 및 화상 데이터를 처리, 표시 및/또는 렌더링하는 임의의 장치를 포함할 수 있다. 이러한 장치는 비디오 및 화상을 캡처링할 수 있게 하는 카메라(532)를 적어도 포함할 수 있다. 비디오 신호 및 오디오 신호는 장치(500)로부터 RF(radio frequency) 링크, S-비디오 링크, 복합 비디오 링크, 콤포넌트 비디오 링크, DVI(digital video interface), 아날로그 오디오 접속 또는 다른 유사 통신 링크를 통해 오디오 장치 및/또는 디스플레이 장치로 통신될 수 있다. 일실시예에서, 오디오 시스템(528) 및/또는 디스플레이 시스템(530)은 장치(500)에 대한 외부 구성 요소로 구현된다. 이와 다르게, 오디오 시스템(528) 및/또는 디스플레이 시스템(530)은 예시적인 장치(500)에 포함된 구성 요소로서 구현된다. 마찬가지로, 카메라(532)는 장치(500)의 외부 또는 내부 구성 요소로 구현될 수 있다.
카메라 기반의 스캐닝에 관한 실시예는 특징부 및/또는 방법을 지정하는 언어로 설명되어 있으나, 첨부된 청구항의 청구 대상은 반드시 설명된 특정한 특징부 또는 방법으로 한정되지는 않는다는 것을 이해할 것이다. 오히려, 특정 특징부 및 방법은 카메라 기반의 스캐닝을 위한 예시적인 구현으로 설명되어 있다.

Claims (20)

  1. 컴퓨팅 장치에 의해 구현되는 방법에 있어서,
    화상(image)의 카메라 기반 스캐닝의 개시에 응답하여 상기 화상을 캡처링(capturing)하는 단계와,
    상기 캡처링된 화상 내에서 스캐닝할 하나 이상의 사각형(quadrangular) 객체를 자동으로 선택하는 단계와,
    상기 하나 이상의 사각형 객체가 미리 정의된 임계값과 비교되는 관련 점수를 갖는 것에 기초하여, 상기 하나 이상의 사각형 객체의 자동 선택이 성공적인지의 여부를 결정하는 단계와,
    상기 하나 이상의 사각형 객체가 상기 미리 정의된 임계값을 넘지 못하는 관련 점수를 갖는 것에 기초하여 상기 자동 선택이 성공하지 못한 경우에, 자동 선택의 사용자 수정을 행하기 위한 사용자 입력에 기초하여 반자동 보정을 채용하는 단계와,
    상기 선택된 하나 이상의 사각형 객체에 대응하는 상기 화상의 부분으로부터 하나 이상의 스캐닝된 문서를 생성하는 단계로서, 상기 캡처링된 화상 내의 상기 하나 이상의 사각형 객체의 원근 왜곡(perspective distortion)에 대하여 상기 부분을 보정하는 것을 포함하는, 상기 생성하는 단계
    를 포함하는, 컴퓨팅 장치에 의해 구현되는 방법.
  2. 제 1 항에 있어서,
    상기 하나 이상의 사각형 객체를 자동으로 선택하는 상기 단계는,
    시각적 차이에 기초하여 상기 캡처링된 화상 내에서 에지를 검출하는 단계와,
    상기 검출된 에지의 조합으로서 상기 하나 이상의 사각형 객체를 결정하는 단계를 더 포함하는 것인, 컴퓨팅 장치에 의해 구현되는 방법.
  3. 제 2 항에 있어서,
    상기 에지를 검출하기 위해 캐니(Canny)의 알고리즘을 채용하고, 상기 검출된 에지로부터 잠재적 사각형을 형성하기 위해 허프 변환(Hough transform)을 채용하는 단계와,
    상기 하나 이상의 사각형 객체를 결정하고 상기 하나 이상의 사각형 객체의 관련 점수를 식별하기 위해 상기 잠재적 사각형에 점수화 기법(scoring scheme)을 적용하는 단계를 더 포함하는, 컴퓨팅 장치에 의해 구현되는 방법.
  4. 제 1 항에 있어서,
    상기 캡처링된 화상을 표시하는 부분과, 상기 캡처링된 화상으로부터 생성된 적어도 하나의 스캐닝된 문서를 동시에 표시하는 다른 부분을 갖는 사용자 인터페이스를 나타내는 단계를 더 포함하는, 컴퓨팅 장치에 의해 구현되는 방법.
  5. 제 4 항에 있어서,
    상기 사용자 인터페이스는,
    상기 선택된 하나 이상의 사각형 객체를 식별하기 위해 상기 캡처링된 화상 내에 표시자를 제시하고,
    상기 하나 이상의 사각형 객체의 자동 선택의 사용자 수정을 행하도록 상기 표시자와의 사용자 상호작용을 인에이블하고,
    상기 표시자와의 사용자 상호작용에 응답하여, 상기 사용자 수정에 따라서 생성된 상기 적어도 하나의 스캐닝된 문서를 업데이트하고 표시하도록
    구성되는 것인, 컴퓨팅 장치에 의해 구현되는 방법.
  6. 제 1 항에 있어서,
    상기 자동 선택이 성공적이라면, 상기 자동 선택을 이용하여 상기 하나 이상의 스캐닝된 문서를 생성하는 상기 단계를 수행하는 단계와,
    상기 자동 선택이 성공적이지 않으면, 상기 반자동 보정을 통해 선택되는 상기 캡처링된 화상 내의 사각형 객체를 이용하여 상기 하나 이상의 스캐닝된 문서를 생성하는 상기 단계를 수행하는 단계를 더 포함하는, 컴퓨팅 장치에 의해 구현되는 방법.
  7. 제 6 항에 있어서,
    상기 반자동 보정을 채용하는 상기 단계는,
    상기 캡처링된 화상 내의 위치를 선택하는 사용자 입력을 수신하는 단계와,
    상기 사용자 입력에 기초하여 대응하는 사각형을 자동으로 도출하는 단계를 포함하고,
    상기 선택된 위치는 상기 대응하는 사각형의 하나의 모서리인 것인, 컴퓨팅 장치에 의해 구현되는 방법.
  8. 제 1 항에 있어서,
    상기 하나 이상의 스캐닝된 문서의 형상화(appearance)를 향상하기 위해 하나 이상의 시각적 강화(visual enhancements)를 적용하는 단계를 더 포함하는, 컴퓨팅 장치에 의해 구현되는 방법.
  9. 제 1 항에 있어서,
    상기 원근 왜곡에 대하여 상기 부분을 보정하는 상기 단계는, 상기 캡처링된 화상의 상기 부분이 각각 직사각형에 대응하도록 조정(rectify)하는 단계를 포함하는 것인, 컴퓨팅 장치에 의해 구현되는 방법.
  10. 휴대형 컴퓨팅 장치에 있어서,
    카메라와,
    메모리에 결합된 하나 이상의 프로세서와,
    상기 메모리 내에 저장되어 있고, 상기 하나 이상의 프로세서를 통해 상기 휴대형 컴퓨팅 장치가 상기 카메라를 통해 캡처링된 화상의 카메라 기반 스캐닝을 수행하게 하도록 실행 가능한 캡처 애플리케이션을 포함하고,
    상기 카메라 기반 스캐닝은, 적어도
    상기 캡처링된 화상으로부터 스캐닝할 적어도 하나의 사각형 - 상기 적어도 하나의 사각형은 상기 캡처링된 화상 내의 직사각형 객체에 대응함 - 을 선택하는 단계와,
    상기 선택된 적어도 하나의 사각형에 대응하는 스캐닝된 문서를 생성하도록 상기 캡처링된 화상을 처리하는 단계에 의해 이루어지고,
    상기 선택하는 단계는,
    상기 캡처링된 화상 내의 하나 이상의 잠재적 사각형의 검출에 기초하여 상기 적어도 하나의 사각형을 식별하도록 자동 선택을 수행하는 단계와,
    상기 적어도 하나의 사각형이 미리 결정된 임계값을 넘는 관련 점수를 갖는지의 여부를 적어도 결정함으로써, 상기 자동 선택이 성공적인지의 여부를 결정하는 단계와,
    상기 관련 점수가 상기 미리 결정된 임계값을 넘는 것에 기초하여 상기 자동 선택이 성공적이라면, 상기 자동 선택을 통해 식별된 적어도 하나의 사각형을 선택하는 단계와,
    상기 관련 점수가 상기 미리 결정된 임계값을 넘지 못하는 것에 기초하여 상기 자동 선택이 성공적이지 않으면, 상기 적어도 하나의 사각형을 식별하기 위한 사용자 선택을 얻도록 반자동 보정을 개시하고, 반자동 선택을 통해 식별된 적어도 하나의 사각형을 선택하는 단계
    를 포함하는 것인, 휴대형 컴퓨팅 장치.
  11. 제 10 항에 있어서,
    상기 캡처 애플리케이션은 또한, 상기 휴대형 컴퓨팅 장치가 적어도,
    상기 캡처링된 화상 내의 에지를 검출하는 단계와,
    상기 검출된 에지에 대응하는 선을 결정하는 단계와,
    상기 검출된 에지 및 선을 조합함으로써 잠재적 사각형을 도출하는 단계
    에 의해 상기 하나 이상의 잠재적 사각형의 검출을 수행하게 하도록 구성되는 것인, 휴대형 컴퓨팅 장치.
  12. 제 11 항에 있어서,
    상기 에지를 검출하는 상기 단계는, 상기 에지에 대응하는 밝기의 급격한 변동을 찾기 위한 알고리즘을 적용하는 단계를 포함하는 것인, 휴대형 컴퓨팅 장치.
  13. 제 11 항에 있어서,
    상기 검출된 에지에 대응하는 선을 결정하는 상기 단계는, 상기 검출된 에지의 결함을 보정하기 위한 선형 변환을 적용하는 단계를 포함하는 것인, 휴대형 컴퓨팅 장치.
  14. 제 10 항에 있어서,
    상기 자동 선택을 수행하는 상기 단계는, 상기 화상 내의 상기 사각형의 위치 및 상기 캡처링된 화상 내의 상기 사각형의 상대적 크기를 적어도 고려하여 상기 캡처링된 화상에서 검출된 상기 하나 이상의 잠재적 사각형에 점수화 기법을 적용하는 단계를 포함하는 것인, 휴대형 컴퓨팅 장치.
  15. 제 10 항에 있어서,
    상기 스캐닝된 문서를 생성하도록 상기 캡처링된 화상을 처리하는 상기 단계는,
    상기 적어도 하나의 사각형에 대응하도록 상기 캡처링된 화상을 크롭 편집(cropping)하는 단계와,
    원근 왜곡을 보정하도록 상기 크롭 편집된 화상을 왜곡 해제(un-warping)하는 단계와,
    상기 크롭 편집된 화상에 하나 이상의 시각적 강화를 적용하는 단계
    를 포함하는 것인, 휴대형 컴퓨팅 장치.
  16. 제 10 항에 있어서,
    상기 캡처 애플리케이션은 또한, 상기 휴대형 컴퓨팅 장치가, 상기 캡처링된 화상을 표시하는 부분과, 상기 캡처링된 화상의 처리에 의해 생성된 스캐닝된 문서를 동시에 표시하는 다른 부분을 갖는 사용자 인터페이스를 출력하게 하도록 구성되는 것인, 휴대형 컴퓨팅 장치.
  17. 컴퓨터 실행가능 명령어들이 저장되어 있는 컴퓨터 판독가능 기록 매체에 있어서,
    상기 컴퓨터 실행가능 명령어들은, 컴퓨팅 장치에 의해 실행되면,
    캡처링된 화상 내의 사각형 객체에 대응하는 상기 캡처링된 화상의 선택된 부분 - 상기 선택된 부분은 상기 선택된 부분이 미리 정의된 점수 임계값을 넘는 관련 점수를 갖는 것에 기초하여 상기 컴퓨팅 장치에 의해 자동으로 선택됨 - 으로부터 스캐닝된 부분을 생성하도록 상기 캡처링된 화상을 처리하는 단계와,
    분할 스크린(split screen)의 한 쪽에 캡처링된 화상을 가지며 상기 분할 스크린의 다른 쪽에 상기 캡처링된 화상으로부터 생성된 스캐닝된 문서를 갖는 상기 분할 스크린을 제시하도록 구성된 사용자 인터페이스의 표시를 개시하는 단계와,
    상기 캡처링된 화상의 선택된 부분을 수정하도록 상기 분할 스크린의 한 쪽을 통해 상기 캡처링된 화상과의 사용자 상호작용을 인에이블하는 단계와,
    상기 사용자 상호작용을 통해 이루어진 수정을 반영하도록 상기 분할 스크린의 다른 쪽에 표시된 상기 스캐닝된 문서를 업데이트하는 단계
    를 수행하게끔 상기 컴퓨팅 장치를 개시하는 것인, 컴퓨터 판독가능 기록 매체.
  18. 제 17 항에 있어서, 상기 화상은 상기 컴퓨팅 장치의 카메라를 통해 캡처링되는 것인, 컴퓨터 판독가능 기록 매체.
  19. 제 18 항에 있어서, 상기 컴퓨팅 장치는 휴대용 컴퓨팅 장치인 것인, 컴퓨터 판독가능 기록 매체.
  20. 제 17 항에 있어서, 상기 화상은, 상기 컴퓨팅 장치와 별개인 카메라에 의해 캡처링되며, 스캐닝된 문서를 생성하기 위해 상기 캡처링된 화상을 처리하도록 구성된 상기 컴퓨팅 장치로 전달되는 것인, 컴퓨터 판독가능 기록 매체.
KR1020127007396A 2009-09-23 2010-08-28 카메라 기반의 스캐닝 KR101711233B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US24527809P 2009-09-23 2009-09-23
US61/245,278 2009-09-23
US12/578,445 US8345106B2 (en) 2009-09-23 2009-10-13 Camera-based scanning
US12/578,445 2009-10-13
PCT/US2010/047061 WO2011037724A2 (en) 2009-09-23 2010-08-28 Camera-based scanning

Publications (2)

Publication Number Publication Date
KR20120083352A KR20120083352A (ko) 2012-07-25
KR101711233B1 true KR101711233B1 (ko) 2017-02-28

Family

ID=43756312

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127007396A KR101711233B1 (ko) 2009-09-23 2010-08-28 카메라 기반의 스캐닝

Country Status (8)

Country Link
US (2) US8345106B2 (ko)
EP (1) EP2481208A2 (ko)
JP (1) JP5451888B2 (ko)
KR (1) KR101711233B1 (ko)
CN (1) CN102714692B (ko)
HK (1) HK1175049A1 (ko)
RU (1) RU2531261C2 (ko)
WO (1) WO2011037724A2 (ko)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050097046A1 (en) 2003-10-30 2005-05-05 Singfield Joy S. Wireless electronic check deposit scanning and cashing machine with web-based online account cash management computer application system
US8708227B1 (en) 2006-10-31 2014-04-29 United Services Automobile Association (Usaa) Systems and methods for remote deposit of checks
US7873200B1 (en) 2006-10-31 2011-01-18 United Services Automobile Association (Usaa) Systems and methods for remote deposit of checks
US10380559B1 (en) 2007-03-15 2019-08-13 United Services Automobile Association (Usaa) Systems and methods for check representment prevention
US9058512B1 (en) 2007-09-28 2015-06-16 United Services Automobile Association (Usaa) Systems and methods for digital signature detection
US9892454B1 (en) 2007-10-23 2018-02-13 United Services Automobile Association (Usaa) Systems and methods for obtaining an image of a check to be deposited
US9159101B1 (en) 2007-10-23 2015-10-13 United Services Automobile Association (Usaa) Image processing
US9898778B1 (en) 2007-10-23 2018-02-20 United Services Automobile Association (Usaa) Systems and methods for obtaining an image of a check to be deposited
US10380562B1 (en) 2008-02-07 2019-08-13 United Services Automobile Association (Usaa) Systems and methods for mobile deposit of negotiable instruments
US10504185B1 (en) 2008-09-08 2019-12-10 United Services Automobile Association (Usaa) Systems and methods for live video financial deposit
US10956728B1 (en) 2009-03-04 2021-03-23 United Services Automobile Association (Usaa) Systems and methods of check processing with background removal
US9779392B1 (en) 2009-08-19 2017-10-03 United Services Automobile Association (Usaa) Apparatuses, methods and systems for a publishing and subscribing platform of depositing negotiable instruments
US8699779B1 (en) 2009-08-28 2014-04-15 United Services Automobile Association (Usaa) Systems and methods for alignment of check during mobile deposit
US8345106B2 (en) 2009-09-23 2013-01-01 Microsoft Corporation Camera-based scanning
US8520983B2 (en) * 2009-10-07 2013-08-27 Google Inc. Gesture-based selective text recognition
US8515185B2 (en) * 2009-11-25 2013-08-20 Google Inc. On-screen guideline-based selective text recognition
US8902259B1 (en) * 2009-12-29 2014-12-02 Google Inc. Finger-friendly content selection interface
US8934024B2 (en) * 2010-01-14 2015-01-13 Fuji Xerox Co., Ltd. Efficient, user-friendly system to stream screens inside video using a mobile device
US9129340B1 (en) * 2010-06-08 2015-09-08 United Services Automobile Association (Usaa) Apparatuses, methods and systems for remote deposit capture with enhanced image detection
US9596398B2 (en) * 2011-09-02 2017-03-14 Microsoft Technology Licensing, Llc Automatic image capture
US9390342B2 (en) 2011-10-17 2016-07-12 Sharp Laboratories Of America, Inc. Methods, systems and apparatus for correcting perspective distortion in a document image
US10210602B2 (en) 2011-10-17 2019-02-19 Sharp Laboratories Of America, Inc. System and method for normalized focal length profiling
US10380565B1 (en) 2012-01-05 2019-08-13 United Services Automobile Association (Usaa) System and method for storefront bank deposits
JP5951367B2 (ja) * 2012-01-17 2016-07-13 シャープ株式会社 撮像装置、撮像画像処理システム、プログラムおよび記録媒体
US8773731B2 (en) * 2012-04-17 2014-07-08 uFollowit, Inc. Method for capturing high-quality document images
GB201221015D0 (en) 2012-11-22 2013-01-09 Microlab Devices Ltd Test strip nd methods and apparatus for reading the same
US8805068B2 (en) 2012-12-13 2014-08-12 Microsoft Corporation Automatic classification and color enhancement of a markable surface
US10552810B1 (en) 2012-12-19 2020-02-04 United Services Automobile Association (Usaa) System and method for remote deposit of financial instruments
WO2014142909A1 (en) * 2013-03-14 2014-09-18 Blackberry Limited System and method for initiating a scanning operation for incorporating pages in a physical environment into an electronic document
WO2014142907A1 (en) * 2013-03-14 2014-09-18 Blackberry Limited System and method for incorporating pages in a physical environment into an electronic document
WO2014142911A1 (en) * 2013-03-14 2014-09-18 Blackberry Limited System and method for incorporating a portion of a page in a physical environment into an electronic document
DE102013005658A1 (de) 2013-04-02 2014-10-02 Docuware Gmbh Erfassung eines dokuments
RU2541353C2 (ru) * 2013-06-19 2015-02-10 Общество с ограниченной ответственностью "Аби Девелопмент" Автоматическая съемка документа с заданными пропорциями
CN103400387B (zh) * 2013-08-06 2018-10-09 上海合合信息科技发展有限公司 在图像中线段吸附的方法及装置，构造多边形的方法及装置
US11138578B1 (en) 2013-09-09 2021-10-05 United Services Automobile Association (Usaa) Systems and methods for remote deposit of currency
WO2015057785A2 (en) * 2013-10-16 2015-04-23 3M Innovative Properties Company Adding, deleting digital notes from a group of digital notes
US9286514B1 (en) 2013-10-17 2016-03-15 United Services Automobile Association (Usaa) Character count determination for a digital image
CN106063240B (zh) 2013-11-14 2019-06-04 微软技术许可有限责任公司 用于生产力应用的图像处理
WO2015116065A1 (en) * 2014-01-29 2015-08-06 Hewlett-Packard Development Company, L.P. Image processing for an image capture device
WO2016018395A1 (en) 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Document region detection
US9594970B2 (en) * 2014-08-28 2017-03-14 Lenovo (Singapore) Pte. Ltd. Device with camera at or near junction of first panel and second panel
KR102173109B1 (ko) * 2014-09-05 2020-11-02 삼성전자주식회사 디지털 영상 처리 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 처리 장치
CN106663207A (zh) * 2014-10-29 2017-05-10 微软技术许可有限责任公司 白板和文档图像检测方法和系统
KR102272310B1 (ko) 2014-11-18 2021-07-02 삼성전자주식회사 영상 처리 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 전자 기기.
US11334228B1 (en) * 2015-03-30 2022-05-17 Evernote Corporation Dynamic targeting of preferred objects in video stream of smartphone camera
US10402790B1 (en) 2015-05-28 2019-09-03 United Services Automobile Association (Usaa) Composing a focused document image from multiple image captures or portions of multiple image captures
WO2016207875A1 (en) 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
RU2693201C1 (ru) * 2015-06-23 2019-07-01 Шлюмберже Текнолоджи Б.В. Распознание расклинивающего агента с помощью мобильного устройства
CN105139359A (zh) * 2015-09-02 2015-12-09 小米科技有限责任公司 图像转换方法和装置
WO2017053032A1 (en) * 2015-09-22 2017-03-30 Board Of Regents, The University Of Texas System Detecting and correcting whiteboard images while enabling the removal of the speaker
CN106557720A (zh) * 2015-09-25 2017-04-05 易建忠 一种用带数码相机的手机实现彩票扫描的方法
CN105550633B (zh) * 2015-10-30 2018-12-11 小米科技有限责任公司 区域识别方法及装置
US9824267B2 (en) * 2015-12-18 2017-11-21 Konica Minolta Laboratory U.S.A., Inc. Writing board detection and correction
CN105704374B (zh) * 2016-01-29 2019-04-05 努比亚技术有限公司 一种图像转换装置、方法和终端
KR102609648B1 (ko) * 2016-02-19 2023-12-05 대전대학교 산학협력단 명함 인식 장치 및 이에 의한 명함 인식 방법
WO2018112790A1 (zh) * 2016-12-21 2018-06-28 华为技术有限公司 图象处理方法及装置
WO2018184260A1 (zh) * 2017-04-06 2018-10-11 华为技术有限公司 文档图像的校正方法及装置
CN107979727A (zh) * 2017-11-30 2018-05-01 努比亚技术有限公司 一种文档图像处理方法、移动终端及计算机存储介质
US11030752B1 (en) 2018-04-27 2021-06-08 United Services Automobile Association (Usaa) System, computing device, and method for document detection
CN108924283B (zh) * 2018-06-08 2020-06-12 Oppo广东移动通信有限公司 滑动组件的滑动控制方法、装置和电子装置
KR102049675B1 (ko) 2018-08-20 2019-11-27 이화여자대학교 산학협력단 이미지 생성 패널 및 이를 이용한 이미지 생성 방법
US10902277B2 (en) * 2018-09-10 2021-01-26 Microsoft Technology Licensing, Llc Multi-region detection for images
US11532145B2 (en) * 2019-01-07 2022-12-20 Microsoft Technology Licensing, Llc Multi-region image scanning
KR20200100918A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 카메라를 이용하는 어플리케이션을 통해 다양한 기능을 제공하는 전자 장치 및 그의 동작 방법
CN113259539A (zh) * 2020-02-12 2021-08-13 北京小米移动软件有限公司 文档扫描方法及装置
US12041338B1 (en) * 2020-09-23 2024-07-16 Apple Inc. Personalized content creation
US11900755B1 (en) 2020-11-30 2024-02-13 United Services Automobile Association (Usaa) System, computing device, and method for document detection and deposit processing
WO2022173415A1 (en) * 2021-02-09 2022-08-18 Hewlett-Packard Development Company, L.P. Edge identification of documents within captured image
US11961317B2 (en) * 2021-11-24 2024-04-16 Oracle Financial Services Software Limited Extracting textual information from image documents

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122326A (ja) 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影画像投影装置、撮影画像投影装置の画像処理方法及びプログラム
JP2005303941A (ja) * 2004-04-16 2005-10-27 Casio Comput Co Ltd 補正基準指定装置、及び補正基準指定方法
US20060103893A1 (en) * 2004-11-15 2006-05-18 Kouros Azimi Cellular telephone based document scanner

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6094508A (en) * 1997-12-08 2000-07-25 Intel Corporation Perceptual thresholding for gradient-based local edge detection
US7123292B1 (en) 1999-09-29 2006-10-17 Xerox Corporation Mosaicing images with an offset lens
US7385743B2 (en) 2001-10-16 2008-06-10 Accu-Sort Systems, Inc. Linear imager rescaling method
US7301564B2 (en) * 2002-07-17 2007-11-27 Hewlett-Packard Development Company, L.P. Systems and methods for processing a digital captured image
US7672507B2 (en) * 2004-01-30 2010-03-02 Hewlett-Packard Development Company, L.P. Image processing methods and systems
US7289147B2 (en) * 2004-02-03 2007-10-30 Hewlett-Packard Development Company, L.P. Method for providing image alignment feedback for panorama (composite) images in digital cameras using edge detection
US7499588B2 (en) 2004-05-20 2009-03-03 Microsoft Corporation Low resolution OCR for camera acquired documents
KR20060050729A (ko) 2004-08-31 2006-05-19 엘지전자 주식회사 카메라로 촬영된 문서 영상 처리 방법과 장치
RU2368091C2 (ru) * 2004-12-06 2009-09-20 Самсунг Электроникс Ко., Лтд. Система и способ сканирования и копирования
US7551782B2 (en) 2005-02-15 2009-06-23 Dspv, Ltd. System and method of user interface and data entry from a video call
JP2007060621A (ja) 2005-07-27 2007-03-08 Ricoh Co Ltd 画像形成装置および画像形成方法
WO2007052171A2 (en) 2005-09-01 2007-05-10 Zvi Haim Lev System and method for reliable content access using a cellular/wireless device with imaging capabilities
JP4344888B2 (ja) * 2005-12-09 2009-10-14 株式会社カシオ日立モバイルコミュニケーションズ 撮像装置、撮像画像処理方法及びプログラム
EP1914666A3 (en) * 2006-03-24 2008-05-07 MVTec Software GmbH System and methods for automatic parameter determination in machine vision
KR20080028183A (ko) 2006-09-26 2008-03-31 삼성전자주식회사 프로젝션 기능을 가지는 휴대 단말기의 영상 제어 시스템및 방법
US20100091104A1 (en) * 2006-09-27 2010-04-15 Georgia Tech Research Corporation Systems and methods for the measurement of surfaces
JP2008245055A (ja) * 2007-03-28 2008-10-09 Fujifilm Corp 画像表示装置、撮影装置および画像表示方法
CN101681432B (zh) * 2007-05-01 2013-11-06 计算机连接管理中心公司 图片文档分割方法和系统
US7945116B2 (en) * 2007-08-20 2011-05-17 Ancestry.Com Operations Inc. Computer-assisted image cropping for book scans
US7949176B2 (en) 2008-01-18 2011-05-24 Mitek Systems, Inc. Systems for mobile image capture and processing of documents
WO2009094042A1 (en) * 2008-01-25 2009-07-30 Analogic Corporation Image combining
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US8090177B2 (en) * 2008-08-01 2012-01-03 Sti Medical Systems, Llc Methods for detection and characterization of atypical vessels in cervical imagery
US8125544B2 (en) * 2008-09-02 2012-02-28 Casio Computer Co., Ltd. Image processing apparatus for extracting quadrangle area in image
US8345106B2 (en) 2009-09-23 2013-01-01 Microsoft Corporation Camera-based scanning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122326A (ja) 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影画像投影装置、撮影画像投影装置の画像処理方法及びプログラム
JP2005303941A (ja) * 2004-04-16 2005-10-27 Casio Comput Co Ltd 補正基準指定装置、及び補正基準指定方法
US20060103893A1 (en) * 2004-11-15 2006-05-18 Kouros Azimi Cellular telephone based document scanner

Also Published As

Publication number Publication date
CN102714692B (zh) 2015-12-16
JP5451888B2 (ja) 2014-03-26
US8345106B2 (en) 2013-01-01
US20110069180A1 (en) 2011-03-24
RU2012111062A (ru) 2013-09-27
US20130070122A1 (en) 2013-03-21
CN102714692A (zh) 2012-10-03
WO2011037724A3 (en) 2011-06-23
HK1175049A1 (zh) 2013-06-21
RU2531261C2 (ru) 2014-10-20
JP2013505669A (ja) 2013-02-14
EP2481208A2 (en) 2012-08-01
US8704896B2 (en) 2014-04-22
WO2011037724A2 (en) 2011-03-31
KR20120083352A (ko) 2012-07-25

Similar Documents

Publication Publication Date Title
KR101711233B1 (ko) 카메라 기반의 스캐닝
US11087407B2 (en) Systems and methods for mobile image capture and processing
JP4856263B2 (ja) 撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP5547243B2 (ja) 画像処理装置、プログラムおよび記録媒体
CN110536040B (zh) 进行多裁剪处理的图像处理装置、生成图像的方法和介质
US10460421B2 (en) Image processing apparatus and storage medium
CN107133615B (zh) 信息处理设备和信息处理方法
JP6426815B2 (ja) 画像処理装置および画像処理方法
JP5618719B2 (ja) 画像処理装置、その方法およびプログラム
JP6639257B2 (ja) 情報処理装置及びその制御方法
JP2007148612A (ja) 撮影装置、画像処理方法および画像処理プログラム
JP2006079288A (ja) 筆記面再生方法、筆記面再生装置及び筆記面再生プログラム

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200129

Year of fee payment: 4