KR101361897B1 - 영상 처리 방법, 영상 처리 장치 및 스캐너 - Google Patents

영상 처리 방법, 영상 처리 장치 및 스캐너 Download PDF

Info

Publication number
KR101361897B1
KR101361897B1 KR20120049738A KR20120049738A KR101361897B1 KR 101361897 B1 KR101361897 B1 KR 101361897B1 KR 20120049738 A KR20120049738 A KR 20120049738A KR 20120049738 A KR20120049738 A KR 20120049738A KR 101361897 B1 KR101361897 B1 KR 101361897B1
Authority
KR
South Korea
Prior art keywords
straight line
curved surface
image processing
width
line segment
Prior art date
Application number
KR20120049738A
Other languages
English (en)
Other versions
KR20120138633A (ko
Inventor
대니안 젱
준 선
사또시 나오이
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20120138633A publication Critical patent/KR20120138633A/ko
Application granted granted Critical
Publication of KR101361897B1 publication Critical patent/KR101361897B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

영상 처리 방법은 일반적으로 2차원 영상에서 곡면 상의 소실점을 획득하는 단계, 소실점에 의해 곡면의 상부 윤곽선과 하부 윤곽선 사이의 모든 직선 선분을 추출하는 단계, 평행한 직선 선분을 얻기 위해 투시 왜곡을 제거하는 단계, 직선 선분의 길이를 구하고 길이에 따라 3차원 공간에서의 각각의 직선 선분의 실제 폭 및 직선 선분의 깊이 증분을 구하는 단계, 실제 폭 및 깊이 증분에 따라 각각의 직선 선분의 확장된 폭을 구하는 단계, 곡면을 평탄면으로 변환하기 위해 곡면의 총 확장된 폭을 구하는 단계, 곡면 상의 영상 내용을 평탄면 상으로 변환하는 단계를 포함한다.

Description

영상 처리 방법, 영상 처리 장치 및 스캐너{IMAGE PROCESSING METHOD, IMAGE PROCESSING DEVICE AND SCANNER}
본 발명은 영상 처리 분야에 관한 것으로서, 상세하게는 캡처된 영상을 디워핑(de-warping)하는 영상 처리 방법에 관한 것이다.
책의 영상이 비접촉식 스캐너 또는 카메라로 캡처될 때 책은 통상적으로 그의 두께로 인해 구부러지며, 따라서 스캐너 또는 카메라로 캡처된 영상은 구부러짐으로 인해 생기는 기하학적 왜곡을 겪는 경향이 있다. 도 1a는 비접촉식 스캐너로 스캔된 책의 영상의 예를 나타낸 것이며, 여기서 영상은 구부러짐으로 인해 생기는 기하학적 왜곡을 겪는다. 책의 내용을 읽는 것이 곤란할 수 있고, 후속 동작에 대해 이러한 왜곡된 영상을 사용하면 역시 좋지 않은 인식 정확도가 얻어질 수 있다.
책의 왜곡 영상에서의 왜곡을 보정하는 다수의 방법이 제안되었다. 책의 영상을 보정하는 종래의 방법은 2가지 일반 카테고리, 즉 내용 독립적 보정 방법 및 내용 종속적 보정 방법에 속할 수 있다.
내용 독립적 보정 방법에서, 사용자는 격자 종이를 책의 펼쳐진 구부러진 페이지 상에 가깝게 놓는다. 격자 종이의 영상이 책의 페이지 위에 있는 카메라로 캡처될 수 있고, 이어서 책의 곡면이 검출된 격자로부터 모델링될 수 있으며, 비보정된 격자와 보정된 격자 사이의 매핑 관계가 도출될 수 있다. 책이 정지된 채로 있는 상태에서, 격자 종이가 조용히 제거될 수 있고, 이어서 책의 페이지 영상이 캡처될 수 있으며, 책의 구부러진 페이지가 격자 매핑 관계에 따라 책의 편평한 페이지에 매핑될 수 있다. 이 방법의 단점은 사용자가 매번마다 격자 종이를 책의 페이지 상에 놓는 것이 아주 불편할 수 있다는 것이다.
책의 상이한 페이지 내용에 기초한 다수의 내용 종속적 보정 방법, 통상적으로, 예를 들어 연속적인 라인 여백 윤곽, 단어 기반 기울기 보정, 텍스트 라인 기반 책 곡선 추출, 및 텍스트 라인 융기 추출 등이 이용가능하다. 이들 방법은 제한된 응용 범위를 갖는데, 그 이유는 긴 텍스트 라인이 책의 페이지에 포함되어 있다는 가정이 있기 때문이다. 그러나, 많은 책 영상에 대한 페이지에 긴 텍스트가 포함되어 있지 않을 수 있고 심지어 그림만이 포함되어 있을 수 있다.
이상의 문제점을 고려하여, 본 발명의 실시예는 책의 상부 및 하부 윤곽선에 기초하여 책의 페이지의 곡면을 보정하는 방법을 제공한다. 이 방법은 내용 독립적 보정 방법에 속한다.
본 발명의 일 실시예에 따르면, 영상 처리 방법이 제공되며, 이 영상 처리 방법은 이미징 장치에 의해 획득된 2차원 영상에서 곡면 상의 소실점을 획득하는 단계, 곡면 상의 특정의 단위의 폭으로 소실점과 곡면의 상부 윤곽선 및 하부 윤곽선 중 긴 윤곽선 사이의 모든 직선을 추출하는 단계 - 직선들은 서로 인접하고 소실점에서 교차함 -, 교차하는 직선들이 평행한 직선들로 되도록 곡면의 투시 왜곡(perspective distortion)을 제거하는 단계, 상부 윤곽선과 하부 윤곽선 사이의 직선의 직선 선분의 길이를 구하고 길이에 따라 3차원 공간에서의 각각의 직선 선분의 실제 폭 및 직선 선분의 깊이 증분을 구하는 단계, 실제 폭 및 깊이 증분에 따라 각각의 직선 선분의 확장된 폭을 구하는 단계, 곡면을 평탄면으로 변환하기 위해 모든 직선 선분의 확장된 폭을 곡면의 총 확장된 폭으로 합산하는 단계, 및 곡면 상의 점과 평탄면 상의 점 사이의 대응 관계에 따라 곡면 상의 영상 내용을 평탄면 상으로 변환하는 단계를 포함한다.
본 발명의 다른 실시예에 따르면, 영상 처리 장치가 제공되며, 이 영상 처리 장치는 이미징 장치에 의해 획득된 2차원 영상에서 곡면 상의 소실점을 획득하도록 구성된 소실점 획득 수단, 곡면 상의 특정의 단위의 폭으로 소실점과 곡면의 상부 윤곽선 및 하부 윤곽선 중 긴 윤곽선 사이의 모든 직선들을 추출하도록 구성된 추출 수단 - 직선들은 서로 인접하고 소실점에서 교차함 -, 교차하는 직선들이 평행한 직선들로 되도록 곡면의 투시 왜곡을 제거하도록 구성된 투시 왜곡 제거 수단, 상부 윤곽선과 하부 윤곽선 사이의 직선들의 직선 선분들의 길이들을 구하고 길이들에 따라 3차원 공간에서의 각자의 직선 선분의 실제 폭 및 각자의 직선 선분들의 깊이 증분을 구하며, 실제 폭 및 깊이 증분에 따라 각자의 직선 선분들의 확장된 폭들을 구하고, 상기 곡면을 평탄면으로 변환하기 위해 모든 상기 직선 선분의 확장된 폭을 상기 곡면의 총 확장된 폭으로 합산하도록 구성된 확장된 폭 획득 수단, 및 곡면 상의 점들과 평탄면 상의 점들 사이의 대응 관계에 따라 곡면 상의 영상 내용을 평탄면 상으로 변환하도록 구성된 영상 변환 수단을 포함한다.
본 발명의 다른 실시예에 따르면, 본 발명의 실시예에 따른 상기 영상 처리 장치를 포함하는 스캐너가 제공된다.
본 발명의 일 실시예에 따르면, 또한, 기계에 의해 판독되어 실행될 때 본 발명에 따른 상기 영상 처리 방법을 수행하는 기계 판독가능 명령어 코드가 저장되어 있는 프로그램 제품이 제공된다.
본 발명의 일 실시예에 따르면, 또한, 기계에 의해 판독되어 실행될 때 본 발명에 따른 상기 영상 처리 방법을 수행하는 기계 판독가능 명령어 코드가 구현되어 있는 저장 매체가 제공된다.
본 발명의 실시예에 따른 상기 영상 처리 기법에 의해, 책의 페이지 영상의 다른 후속 프로세스(예컨대, 영상 인식 등)의 원활한 실행을 용이하게 하기 위해 책의 왜곡된 페이지에서의 왜곡이 편리하게 제거될 수 있다.
본 발명의 상기 및 기타 목적, 특징 및 이점이, 구성요소가 일정한 비례로 그려져 있지 않고 단지 본 발명의 원리를 예시하기 위한 것인 도면과 관련하여, 이하에 제공되는 본 발명의 실시예의 상세한 설명으로부터 더 명백하게 될 것이다. 본 발명의 일부 양태의 예시 및 설명의 편의상, 도면에서의 대응하는 구성요소가 확대되어 있을 수 있는데, 즉 본 발명에 따라 실제로 제조되는 예시적인 장치에서 다른 구성요소에 대해 더 크게 되어 있을 수 있다. 도면에서, 동일하거나 유사한 기술적 특징부 또는 구성요소가 동일하거나 유사한 참조 번호로 표시되어 있을 것이다.
도 1a 및 도 1b는, 각각, 비접촉식 스캐너로 스캔된 책의 영상 및 그의 3차원 모델의 예를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른, 책의 구부러진 페이지로 인한 왜곡을 보정하고 최종적으로 책의 페이지의 내용을 레이아웃하는 프로세스의 흐름도이다.
도 3의 (a) 내지 (c)는 본 발명의 실시예에 따른 영상 처리 방법에서의 3개의 일반 단계의 개략도이다.
도 4는 직선 선분의 확장된 폭을 구하는 개략도이다.
도 5는 원시 영상 상의 내용을 왜곡-보정된 영상으로 변환할 때의 매핑-변환의 개략도이다.
도 6의 (a) 내지 (d)는 비보정된 영상과 보정된 영상 사이의 비교를 나타낸 개략도이다.
도 7은 본 발명의 다른 실시예에 따른 영상 처리 장치의 구성 블록도이다.
도 8은 본 발명의 실시예에 따른 영상 처리 방법이 구현될 수 있는 범용 컴퓨터 시스템의 일반 구조도이다.
본 발명의 실시예가 도면을 참조하여 이하에서 기술될 것이다. 도면 또는 본 발명의 실시예에 기술된 요소 및 특징은 하나 이상의 다른 도면 또는 실시예에 예시된 요소 및 특징과 결합될 수 있다. 본 발명과 관련이 없고 기술 분야의 당업자에게 공지되어 있는 구성요소 및 프로세스의 표현 및 설명이 명확함을 위해 도면 및 명세서에 생략되어 있다는 것에 유의하여야 한다.
도 2는 본 발명의 실시예에 따른 영상 처리 방법의 개괄적인 흐름도를 나타낸 것이다. 도 2에 예시된 바와 같이, 영상 처리 방법(200)은 S210에서 시작하고, 그 후에 이미징 장치에 의해 획득된 2차원 영상에서 곡면 상의 소실점을 획득하는 단계(S220), 곡면 상의 특정의 단위의 폭으로 소실점과 곡면의 상부 윤곽선 및 하부 윤곽선 중 긴 윤곽선 사이의 모든 직선을 추출하는 단계 - 직선들은 서로 인접하고 소실점에서 교차함 - (S230), 교차하는 직선들이 평행한 직선들로 되도록 곡면의 투시 왜곡(perspective distortion)을 제거하는 단계(S240), 상부 윤곽선과 하부 윤곽선 사이의 직선의 직선 선분의 길이를 구하고 길이에 따라 3차원 공간에서의 각각의 직선 선분의 실제 폭 및 직선 선분의 깊이 증분을 구하는 단계(S250), 실제 폭 및 깊이 증분에 따라 각각의 직선 선분의 확장된 폭을 구하는 단계(S260), 곡면을 평탄면으로 변환하기 위해 모든 직선 선분의 확장된 폭을 곡면의 총 확장된 폭으로 합산하는 단계(S270), 및 곡면 상의 점과 평탄면 상의 점 사이의 대응 관계에 따라 곡면 상의 영상 내용을 평탄면 상으로 변환하는 단계(S280)를 포함한다. 이어서, 프로세스가 종료한다(S290).
책의 페이지의 곡면을 보정하는 프로세스가 본 발명의 실시예에 따른 상기의 영상 처리 방법의 예로서 각자의 도면을 참조하여 이하에서 상세히 기술될 것이다.
도 1b에 예시된 책의 페이지의 곡면의 간단한 3차원 모델이 본 발명의 예시적인 프로세스에서 이용된다. 펼쳐진 책의 페이지의 곡면이 3차원 공간에서 다수의 병렬 라인으로 이루어진 실린더의 형상으로 되어 있는 것으로 가정한다. 모든 라인은 영상의 2차원 공간에서 공통의 교차점, 즉 "소실점"을 가진다. 도 1b에서 명백할 수 있는 바와 같이, 책의 페이지의 곡면은 책의 표면에 대한 이미징 장치의 각도로 인한 투시 왜곡 및 구부러짐으로부터 생기는 기하학적 왜곡을 겪는다.
먼저, 도 2의 방법(200)의 S210에서 소실점을 획득하는 특정의 예에 대해 기술할 것이다. 도 1b를 참조하면, 책의 2개의 페이지는 2개의 페이지의 6개의 제어점(즉, 책의 2개의 페이지의 4개의 코너 점 1, 3, 4 및 6과 책의 중심 라인의 2개의 끝점 2 및 5)으로부터 계산된 소실점을 공유할 수 있거나, 책의 각각의 페이지가 그 페이지의 4개의 제어점(좌측 페이지에 대한 1, 2, 4 및 5와 우측 페이지에 대한 2, 3, 5 및 6)으로부터 개별적으로 계산된 소실점을 개별적으로 가진다. 2개의 페이지가 소실점을 공유할 수 있는 경우에, 도 1b에 예시된 3개의 직선이 한 점에서 교차하지 않는다면, 3개의 라인의 교차점은, 예를 들어, 최소자승법으로 구해질 수 있다. 소실점을 획득하는 방법은 제어점에 따라 소실점을 획득하는 것을 포함하지만 이것으로 제한되지 않을 것이다. 제어점을 어떻게 획득할 것인지는 종래 기술에 공지되어 있지만, 본 발명에 관련성이 적으며, 따라서 그에 대한 반복된 설명이 여기서 생략될 것이다.
그 다음에, 도 2의 방법(200)의 S220의 프로세스의 특정의 예에 대해 기술할 것이다. 이 예시적인 예에서, 소실점과 책의 페이지의 하부 윤곽선 상의 모든 점 사이의 직선이 추출된다. 여기서, 하부 윤곽선이 상부 윤곽선보다 더 긴 것으로 가정되지만, 상부 윤곽선이 더 긴 경우, 소실점은 도 1b에서 하부 윤곽선 아래쪽에 위치할 것이며, 이 때에는 소실점과 책의 페이지의 상부 윤곽선 상의 모든 점 사이의 직선이 추출될 것이다. 이들 직선은 3차원 영상에서 서로 인접해 있으며 평행하다. 따라서, 필요한 직선 선분이 상부 윤곽선에 위치하는 그의 시작 끝점 및 하부 윤곽선에 위치하는 종료 끝점을 사용하여 획득되며, 도 1b의 책의 페이지에 점선으로 예시되어 있다. 직선 선분의 폭은, 실제의 정밀도 요구사항에 따라, 1 픽셀 또는 1 픽셀보다 작거나 클 수 있다. 여기서 추출 프로세스가 1 픽셀의 단위로 수행되는 것으로 가정한다.
도 2의 방법(200)의 S230에서, 책의 페이지의 곡면 상의 모든 교차하는 선분을 평행한 선분으로 변환하기 위해 투시 왜곡이 제거된다. 여기서, 투시 왜곡이, 예를 들어, 호모그래피 행렬(homography matrix)에서 제거될 수 있다. 호모그래피 행렬을 풀어서 투시 왜곡을 제거하는 방법의 상세에 대해서는, Visual Information Technology Center, International Information Technology Association(인도 하이데라바드)의 L. Jagannathan 및 C. V. Jawahar의 “Perspective Correction Methods for Camera-Based Document Analysis” 그리고 R. Hartley 및 A. Zisserman의 “Multiple View Geometry in Computer Vision”(2000년 캠브리지 대학 출판부 출간)을 참조할 수 있다. 투시 왜곡이 제거된 영상은 도 3의 (b)에 예시되어 있다. 앞서 언급한 바와 같이, 이미징 장치가 영상을 캡처하기 위해 책의 페이지가 위치해 있는 평탄면에 수직으로 배치되어 있는 경우, 이러한 투시 왜곡이 없을 수 있으며, 따라서 투시 왜곡을 제거하는 단계가 생략될 것이다.
도 3에 예시된 바와 같이, 투시 왜곡이 제거된 책의 페이지 영상으로부터 기하학적 왜곡이 제거된다.
다시 도 2를 참조하면, 모든 평행한 선분의 길이 length(xi)(즉, 촬영된 길이), 실제 폭 dxi 및 깊이 증분 dzi이 방법(200)의 S240에서 계산되고, 여기서 i는 직선 선분의 인덱스를 나타내고, 1 내지 m의 범위에 있는 임의의 수이며(m은 직선 선분의 수를 나타냄), xi는 직선 선분 i의 가로 좌표를 나타낸다. 상세하게는, 좌표계는 다음과 같이 배열될 수 있다: 도 3의 (b)에 예시된 책의 페이지 영상에서 가로 좌표는 수평 방향이고, 세로 좌표는 수직 방향이며, 좌표의 원점은 책의 중심선의 하부 끝점에 또는 적절한 경우 어디라도 배열될 수 있다.
길이, 실제 폭 및 깊이 증분을 구하는 예에 대해 이하에서 각각 기술할 것이다.
직선 선분 i의 길이 length(xi)는 다음과 같이 상부 및 하부 윤곽선과의 직선 선분의 교차점의 세로 좌표로부터 구해질 수 있다:
Figure 112012037502015-pat00001
모든 직선 선분의 실제 길이(즉, 3차원 공간에서의 그의 길이)는 동일하지만(책의 페이지의 모든 칼럼이 동일한 높이를 가짐), 직선 선분의 촬영된 길이는 책의 구부러진 페이지로 인해 동일하지 않을 수 있다. 직선 선분이 이미징 장치(이 실시예에서, 스캐너임)에 가까울수록, 그의 촬영된 길이가 길어질 것이다. 따라서, 직선 선분의 촬영된 길이는 그와 이미징 장치 사이의 거리에 반비례한다.
실제 폭 dxi의 경우, 추출된 직선 선분의 폭이 도 3의 (b)의 책의 중간 페이지(투시 왜곡이 제거된 책의 페이지)에서 1 픽셀이지만, 각각의 선분이 상이한 깊이에서 관찰된다(여기서 깊이는 렌즈의 초점과 그 선분 사이의 거리임). 책의 페이지가 동일한 깊이에서 관찰되는 경우, 그때에는 수평 방향에서의 그의 투영이 관찰될 것이고, 관찰된 폭을 실제 폭 dxi라고 할 것이다. 동일한 촬영된 폭에서, 선분과 이미징 장치 사이의 거리가 짧을수록 실제 폭이 더 좁아지거나 거리가 길수록 넓어질 것이다. 따라서, 직선 선분의 실제 폭은 촬영 거리에 비례하고, 선분의 촬영된 길이에 반비례한다. 그러면, 직선 선분 i의 폭은 다음과 같다:
Figure 112012037502015-pat00002
여기서 Cx는 상수를 나타낸다. 보정된 영상에서 가장 긴 선분의 실제 폭이 1 픽셀로 정의되는 경우, 즉 Cx=Max(length(xi))인 경우, 나머지 선분의 모든 실제 폭은 1 픽셀보다 클 것이다. 여기서 Cx의 값은 실제로 필요에 따라 선택될 수 있거나, 경험적으로 결정될 수 있지만, 상기 예로 제한되지 않을 것이다.
깊이 증분 dzi의 경우, 2개의 인접한 선분의 촬영 거리(즉, 그와 렌즈의 초점 사이의 거리)가 상이할 수 있다. 전술한 바와 같이, 직선 선분과 렌즈의 초점 사이의 거리가 길수록, 촬영된 선분의 길이가 짧아질 것이다. 따라서, 직선 선분의 촬영 거리는 다음과 같이 직선 선분의 촬영된 거리에 반비례한다:
Figure 112012037502015-pat00003
여기서 Cz = k*Cx는 상수를 나타내고, k는 실제로 필요에 따라, 예를 들어, 이미징 장치의 관련 파라미터로부터 결정될 수 있는 상수 계수를 나타낸다.
촬영 거리들 간의 차이를 깊이 증분이라고 한다. 이에 따라, 직선 선분 i의 깊이 증분은 다음과 같다:
Figure 112012037502015-pat00004
깊이 증분을 구하는 방법이 이것으로 제한되지 않을 것이다. 예를 들어, 직선 선분 i의 깊이 증분이 길이 방향으로 직선 선분의 2개의 측면과 이미징 장치의 렌즈의 초점 사이의 거리들의 차이일 수 있다.
그 다음에, 도 2의 방법(200)의 S250에서, 평행한 직선 선분의 확장된 폭이 실제 폭 dxi 및 깊이 증분 dzi로부터 계산된다. 확장된 폭은 책 표면이 평탄한 것으로 확장될 때의 폭이다. 확장된 폭 dsi를 계산하는 프로세스의 특정의 예가 도 4를 참조하여 이하에서 상세히 기술될 것이다.
도 4에서, x축은 도 3의 (b)에 예시된 바와 같이 수평 방향을 나타내고, z축은 도 3의 (b)에 나타낸 바와 같이 책의 페이지 영상으로부터 관찰자로의 방향을 나타내며, 직선 선분 i의 확장된 폭 dsi는, 실제 폭 dxi 및 깊이 증분 dzi와 함께, 직각 삼각형을 구성한다. 피타고라스 정리로부터 하기의 식이 도출될 수 있다.
Figure 112012037502015-pat00005
이어서, 책의 구부러진 페이지의 총 확장된 폭이 도 2의 방법(200)의 S260에서 각자의 직선 선분의 확장된 폭으로부터 구해진다. 책의 구부러진 페이지의 총 확장된 폭은 모든 평행한 선분의 곡면 폭의 누적 합과 동등한데, 즉 S = sum dsi (i=1, 2, … … m)이다. 따라서, 도 3의 (c)에 예시된 바와 같이, 책의 표면이 평탄화되도록 하기 위해 평탄화된 책의 실제 폭이 구해진다.
상기 프로세스에서 이용된 책의 페이지의 상부 및 하부 윤곽선이 자동으로 또는 반자동으로 배치될 수 있고, 따라서 사용자가 이 보정 방법을 처리하는 것이 아주 용이하다.
그 다음에, 도 2의 방법(200)의 S270에서 책의 원시 페이지 상의 내용(이후부터, 입력 영상이라고 함)이 책의 보정된 페이지(이후부터, 출력 영상이라고 함)로 변환된다.
이 변환 프로세스의 특정의 예에 대해 도 5를 참조하여 이하에서 상세히 기술할 것이며, 여기서 변환 프로세스는 "보정 매핑-변환"이라고 한다. 먼저, 입력 영상에서의 대응하는 수직 선분(점 (x0', y0') 및 점 (x1', y1')에 의해 정의되는 선분)은 출력 영상에서의 수직 컬럼에 대해 배치된다(점 (x, y0) 및 점 (x, y1)에 의해 정의되는 직선 선분). 도 5를 참조하면, 대응하는 수직 컬럼과 수직 선분 사이에 이하의 관계식이 만족되는데, 즉 우측 도면에서의 폭의 비 r=x/W는 좌측 도면에서의 확장된 폭의 비 r'= S(x'1)/S(x'b)와 동등하고, 여기서
Figure 112012037502015-pat00006
이다. 좌측 도면에서의 대응하는 수직 선분은 이 비례 관계식에 따라 배치될 수 있다.
이어서, 수직 선분 상의 대응하는 점은 수직 컬럼 상의 각자의 점에 대해 배치된다. 대응하는 점을 위치시키는 프로세스의 예에 대해 이하에서 상세히 설명할 것이다. 우측 도면의 수직 컬럼((x, y0) 및 (x, y1)에 의해 정의되는 수직 컬럼) 상의 각각의 픽셀 점 (x, y)에 대응하는 좌측 도면의 수직 선분 상의 점은 하기 수식에서 계산될 수 있고:
Figure 112012037502015-pat00007
여기서 ax는 소실점에 관련된 상수 계수를 나타내고, bx 및 cx는 평탄면 상의 소실점 및 가로 좌표 x에 관련된 상수 계수를 나타내며, 실험적으로 또는 경험적으로 도출될 수 있다. 좌측 도면에서의 모든 수직 선분이 소실점(x'vanish, y'vanish)에서 교차하고, 수직 컬럼의 소실점의 y 좌표가 ∞라고 가정하면, y'vanish = (∞+cx)/(ax∞+bx) = 1/ax이고 ax = 1/y'vanish가 수학식 6으로부터 도출될 수 있다. 2차원 병렬 라인에 대해, 이 "소실점"은 무한대에 배치될 수 있고, 이어서 ax는 0의 값을 가지며, 다른 2개의 계수 bx 및 cx는 하기의 일련의 식을 풀어서 도출될 수 있다:
Figure 112012037502015-pat00008
따라서, y'좌표는 y 좌표로부터 계산될 수 있고, x' 좌표는 수직 선분에 대한 직선 선분의 비례 관계에 따라 계산될 수 있고 - 즉, x' = x'0+(x'1-x'0)(y'-y'0)/(y'1-y'0)임 -, 여기서 비례 관계에 따라 x' 좌표를 계산하는 데 사용되는 점이 (x0',y0') 및 (x1',y1')으로 제한되지 않을 것이고 계산된 좌표를 갖는 임의의 점이 사용될 수 있다. 따라서, 우측 도면에서의 수직 컬럼 상의 점 (x, y)에 대응하는 좌측 도면에서의 수직 선분 상의 점의 좌표 (x', y')가 구해진다.
마지막으로, 도 1b에 나타낸 바와 같이, 책의 평탄화된 페이지의 영상의 내용을 획득하기 위해, 우측 도면에서의 점 (x, y)의 픽셀값이 이중 선형 보간을 통해 좌측 도면에서의 점 (x', y')의 이웃하는 점의 픽셀값으로부터 구해질 수 있다. 좌측에 있는 영상에서의 임의의 점의 픽셀값을 도출하는 방법이 이중 선형 보간으로 제한되지 않을 것이고, 우측 도면에서의 점 (x, y)의 픽셀값인 한 임의의 적절한 보간 방법, 예컨대, 삼중 보간, B-스플린트 보간, 가우시안 보간 등일 수 있다.
요약하면, 본 발명의 실시예에 따른 영상 처리 방법에서 책의 구부러진 페이지의 실제 폭이 획득되고 페이지가 책의 평탄한 페이지로 확장된다. 책의 페이지 상의 상부 또는 하부 윤곽선으로부터 간단히 추정되는 책의 구부러진 페이지의 확장된 폭이 정확하지 않을 수 있는데, 그 이유는 책의 페이지의 구부러진 부분의 실제 형상이 윤곽선의 형상과 동일하지 않을 수 있다. 본 실시예에 따른 방법에서, 책의 평탄화된 페이지를 획득하기 위해, 이미징 장치에 의해 캡처된 영상에서의 선분의 실제 확장된 길이가 그의 길이로부터 추정되고 책의 페이지의 확장된 폭으로 합산된다. 책의 평탄화된 페이지가 획득된 후에, 원래 캡처된 영상에서의 곡면 상의 점을 확장된 평탄면 상의 점과 일대일 대응관계로 위치시킴으로써 원시 영상의 내용이 놓여있는 평탄면으로 변환된다. 책의 내용이 책의 실제 폭으로 제시되기 때문에, 본 발명은 더 나은 시각적 효과를 제공할 수 있다. 게다가, 내용 독립적 방법인 방법에서는 긴 텍스트 라인 또는 기타 내용 정보가 필요하지 않으며, 따라서 도 6의 (a) 내지 (d)에 나타낸 바와 같이, 그림 및 텍스트 둘 다에 대해 더 나은 효과가 달성될 수 있다.
책의 원래의 촬영된 페이지의 곡면과 확장된 책의 평탄면 사이의 대응하는 점을 위치시키는 매핑 프로세스 및 대응하는 점의 픽셀을 도출하는 보간 프로세스는, 기하학적 왜곡이 제거된 후에, 수행되지 않을 수 있다는 것에 유의하여야 한다. 도 3에 예시된 바와 같이, 매핑 및 보간 프로세스는 투시 왜곡이 수행된 후에 먼저 수행될 수 있고 이어서 투시 왜곡이 제거된 영상과 기하학적 왜곡이 제거된 후에 영상을 평탄화하는 것 사이에서 두번째로 수행될 수 있다.
촬영된 책의 표면이 실시예에서의 예로서 취해졌지만, 본 발명의 실시예에 따른 영상 처리 방법이 그것으로 제한되지 않을 것이고 또한 표면이 촬영 시에 구부러짐 왜곡을 겪는 한 임의의 다른 표면의 보정에 적용가능할 수 있다.
본 발명의 실시예에 따른 영상 처리 방법에 대응하여, 본 발명의 실시예는 또한 도 7에 예시된 영상 처리 장치를 제공하고, 이 영상 처리 장치는,
이미징 장치에 의해 획득된 2차원 영상에서 곡면 상의 소실점을 획득하도록 구성된 소실점 획득 수단(710),
곡면 상의 특정의 단위의 폭으로 소실점과 곡면의 상부 윤곽선 및 하부 윤곽선 중 긴 윤곽선 사이의 모든 직선을 추출하도록 구성된 추출 수단 - 직선들은 서로 인접하고 소실점에서 교차함 - (720),
교차하는 직선들이 평행한 직선들로 되도록 곡면의 투시 왜곡을 제거하도록 구성된 투시 왜곡 제거 수단(730),
상기 상부 윤곽선과 상기 하부 윤곽선 사이의 직선의 직선 선분의 길이를 구하고 상기 길이에 따라 3차원 공간에서의 각자의 직선 선분의 실제 폭 및 각자의 직선 선분의 깊이 증분을 구하며, 실제 폭 및 깊이 증분에 따라 각자의 직선 선분의 확장된 폭을 구하고, 상기 곡면을 평탄면으로 변환하기 위해 모든 상기 직선 선분의 확장된 폭을 상기 곡면의 총 확장된 폭으로 합산하도록 구성된 확장된 폭 획득 수단(740), 및
곡면 상의 점과 평탄면 상의 점 사이의 대응 관계에 따라 곡면 상의 영상 내용을 평탄면 상으로 변환하도록 구성된 영상 변환 수단(750)을 포함한다.
본 발명의 실시예에 따른 영상 처리 장치 및 각자의 구성 요소가 본 발명에 따른 방법의 실시예의 프로세스와 유사한 프로세스를 수행하도록 구성될 수 있다는 것에 유의하여야 하며, 따라서 상세히 기술되지 않은 장치의 실시예에서 그 양태들의 상세에 대해 본 방법의 실시예에서의 대응하는 설명이 참조될 수 있으며, 그의 반복된 설명이 여기서 생략될 것이다.
본 발명의 다른 실시예에 따르면, 이미징 장치, 예컨대, 스캐너 등은 상기의 다양한 영상 처리 기능을 할 수 있기 위해, 본 발명의 실시예에 따른 영상 처리 장치를 구비할 수 있다.
본 발명의 실시예(들)에 따른 장치 및/또는 방법의 각종의 구현을 기술하기 위해 상기의 상세한 설명이 블록도, 흐름도 및/또는 실시예로 제시되었다. 이들 블록도, 흐름도 및/또는 실시예가 하나 이상의 기능 및/또는 동작을 포함할 때, 당업자는 이들 블록도, 흐름도 및/또는 실시예에서의 각자의 기능 및/또는 동작이 각종의 하드웨어, 소프트웨어, 펌웨어 또는 본질적으로 그의 임의의 조합으로 개별적으로 및/또는 집합적으로 수행될 수 있다는 것을 알 것이다. 일 실시예에서, 본 명세서에 기술된 발명 요지의 몇 가지 양태가 ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), DSP(Digital Signal Processor), 또는 다른 집적 형태로 구현될 수 있다. 그러나, 당업자는 본 명세서에 기술된 구현의 몇몇 양태가, 하나 이상의 컴퓨터 상에서 실행되는 하나 이상의 컴퓨터 프로그램의 형태로(예컨대, 하나 이상의 컴퓨터 시스템 상에서 실행되는 하나 이상의 컴퓨터 프로그램의 형태로), 하나 이상의 프로세서 상에서 실행되는 하나 이상의 컴퓨터 프로그램의 형태로(예컨대, 하나 이상의 마이크로프로세서 상에서 실행되는 하나 이상의 컴퓨터 프로그램의 형태로), 펌웨어의 형태로 또는 등가적으로 본질적으로 이들의 임의의 조합의 형태로 전체적으로 또는 부분적으로 집적 회로에 구현될 수 있다는 것을 알 것이며, 당업자는 본 명세서에서의 개시 내용을 바탕으로 이 개시 내용에 대한 회로를 설계할 수 있고 및/또는 이 개시 내용의 소프트웨어 및/또는 펌웨어에 대한 코드를 작성할 수 있다.
예를 들어, 도 2에 예시된 바와 같이, 책의 표면의 구부러짐으로 인한 왜곡을 보정하고 마지막으로 책의 표면 상의 내용을 평탄화하는 프로세스의 흐름도에서의 각자의 단계가 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합으로 수행될 수 있다. 소프트웨어 또는 펌웨어로 수행되는 경우에, 프로그램을 구성하는 프로그램은 저장 매체 또는 네트워크로부터 전용 하드웨어 구조의 컴퓨터[예컨대, 도 8에 예시된 범용 컴퓨터(800)]에 설치될 수 있고, 이 컴퓨터는 그것에 각종의 프로그램이 설치될 때 다양한 기능을 수행할 수 있다.
도 8은 본 발명의 실시예에 따른 영상 처리 방법을 수행하는 정보 처리 장치로서 역할할 수 있는 범용 컴퓨터 시스템의 일반적인 구조도를 나타낸 것이다. 컴퓨터 시스템(800)은 단지 예시적인 것이며 본 발명에 따른 방법 및 장치의 응용 또는 기능의 범위의 임의의 제한을 제안하기 위한 것이 아니다. 게다가, 컴퓨터 시스템(800)은 예시적인 컴퓨터 시스템(800)에 예시된 구성요소들 중 임의의 구성요소 또는 그의 임의의 조합에 의존하거나 그를 필요로 하는 것으로 해석되어서는 안 된다.
도 8에서, CPU(Central Processing Unit)(801)는 ROM(Read Only Memory)(802)에 저장되어 있거나 저장 부분(808)으로부터 RAM(Random Access Memory)(803)에 로드되는 프로그램에 따라 다양한 프로세스를 수행하며, RAM에는 CPU(801)가 다양한 프로세스를 수행할 때 필요한 데이터도 역시 필요에 따라 저장된다. CPU(801), ROM(802) 및 RAM(803)은 입/출력 인터페이스(805)도 역시 연결되어 있는 버스(804)를 통해 서로에 연결되어 있다.
하기의 구성요소가 또한 입/출력 인터페이스(805)에 연결되어 있다: 입력 부분(806)(키보드, 마우스 등을 포함함), 출력 부분(807)[디스플레이, 예컨대, CRT(Cathode-Ray Tube) 및 LCD(Liquid Crystal Display) 등, 스피커 등을 포함함], 저장 포트(808)(하드 디스크 등을 포함함), 및 통신 부분(809)(네트워크 인터페이스 카드, 예컨대, LAN 카드, 모뎀 등을 포함함). 통신 부분(809)은 네트워크(예컨대, 인터넷)를 통해 통신 프로세스를 수행한다. 드라이브(810)도 역시 필요에 따라 입/출력 인터페이스(805)에 연결된다. 이동식 매체(811), 예컨대, 자기 디스크, 광 디스크, 광 자기 디스크, 반도체 메모리 등은 필요에 따라 드라이브(810) 상에 설치될 수 있고, 따라서 그로부터 페치된 컴퓨터 프로그램이 저장 부분(808)에 설치될 수 있다.
상기한 일련의 프로세스가 소프트웨어로 수행되는 경우, 소프트웨어를 구성하는 프로그램이 네트워크, 예컨대, 인터넷 등 또는 저장 매체, 예컨대, 이동식 매체(811) 등으로부터 설치된다.
당업자는 이러한 저장 매체가 프로그램이 저장되고 사용자에게 프로그램을 제공하기 위해 장치와 개별적으로 배포되는, 도 8에 예시된 이동식 매체(811)로 제한되지 않을 것임을 알 것이다. 이동식 매체(811)의 예는 자기 디스크(플로피 디스크를 포함함), 광 디스크[CD-ROM(Compact Disk-Read Only memory) 및 DVD(Digital Versatile Disk)를 포함함], 광자기 디스크[MD(Mini Disk)(등록 상표)를 포함함] 및 반도체 메모리를 포함한다. 대안으로서, 저장 매체는 프로그램이 저장되고 그것을 포함하는 장치와 함께 사용자에게 배포되는, ROM(802), 저장 포트(808)에 포함된 하드 디스크 등일 수 있다.
따라서, 본 발명은 또한 기계에 의해 판독되어 실행될 때 본 발명의 실시예에 따른 상기 영상 처리 방법을 수행할 수 있는 기계 판독가능 명령어 코드가 저장되어 있는 프로그램 제품을 제안한다. 그에 대응하여, 프로그램 제품이 구현되는 앞서 열거한 다양한 저장 매체도 역시 본 발명의 범위 내에 속할 것이다.
본 발명의 실시예의 상기 설명에서, 실시예에 기술되고 및/또는 예시된 특징이, 다른 실시예(들)에서의 특징과 결합하여 또는 그 대신에, 하나 이상의 다른 실시예에서 동일하게 또는 유사하게 사용될 수 있다.
"포함한다/구비한다"라는 용어 및 이와 관련하여 사용되는 그의 변형이 특징, 요소, 단계 또는 구성요소의 존재를 말하지만 하나 이상의 다른 특징, 요소, 단계 또는 구성요소의 존재 또는 추가를 배제하지 않는다는 것에 유의하여야 한다. 용어 "제1", "제2" 등의 관련 서수는 이들 용어로 정의되는 특징, 요소, 단계 또는 구성요소의 임의의 실행 순서 또는 임의의 중요도를 의미하지 않고 단지 설명의 명확함을 위해 이들 특징, 요소, 단계 또는 구성요소를 식별하기 위한 것이다.
게다가, 본 발명의 각자의 실시예에 따른 방법은 명세서에 기술되거나 도면에 예시된 시간 순서로 수행되는 것으로 제한되지 않고 다른 시간 순서로, 동시에 또는 개별적으로 수행될 수도 있다. 따라서, 명세서에 기술된 본 방법이 수행되는 순서는 발명의 범위를 제한하지 않을 것이다.
이하의 첨부는 또한 상기 실시예와 관련하여 개시되어 있다.
첨부 1. 영상 처리 방법으로서,
이미징 장치에 의해 획득된 2차원 영상에서 곡면 상의 소실점을 획득하는 단계,
곡면 상의 특정의 단위의 폭으로 소실점과 곡면의 상부 윤곽선 및 하부 윤곽선 중 긴 윤곽선 사이의 모든 직선들을 추출하는 단계 - 직선들은 서로 인접하고 소실점에서 교차함 -,
교차하는 직선들이 평행한 직선들로 되도록 곡면의 투시 왜곡(perspective distortion)을 제거하는 단계,
상부 윤곽선과 하부 윤곽선 사이의 직선들의 직선 선분들의 길이들을 구하고 길이들에 따라 3차원 공간에서의 각각의 직선 선분의 실제 폭 및 직선 선분들의 깊이 증분을 구하는 단계,
실제 폭 및 깊이 증분에 따라 각각의 직선 선분들의 확장된 폭들을 구하는 단계,
곡면을 평탄면으로 변환하기 위해 모든 직선 선분들의 확장된 폭들을 곡면의 총 확장된 폭으로 합산하는 단계, 및
곡면 상의 점들과 평탄면 상의 점들 사이의 대응 관계에 따라 곡면 상의 영상 내용을 평탄면 상으로 변환하는 단계를 포함하는 영상 처리 방법.
첨부 2. 첨부 1에 있어서, 각각의 직선 선분들의 확장된 폭을 구하는 단계는,
실제 폭의 제곱과 깊이 증분의 제곱의 합을 구한 다음에 제곱들의 합에 대한 제곱근을 구함으로써 각각의 직선 선분들의 확장된 폭을 구하는 단계를 포함하는 영상 처리 방법.
첨부 3. 첨부 1 또는 첨부 2에 있어서, 평탄면 상의 점과 곡면 상의 대응하는 점 사이의 대응 관계는 다음과 같이 표현되고,
y'= (y+cx)/(axy+bx)
x'= x'0+(x'1-x'0)(y'-y'0)/(y'1-y'0)
여기서 ax는 직선 선분들의 소실점에 관련된 상수를 나타내고, bx 및 cx는 직선 선분들의 소실점 및 x에 관련된 상수들을 나타내며, x 및 y는, 각각, 평탄면 상의 점의 가로 좌표 및 세로 좌표이고, x' 및 y'은, 각각, 곡면 상의 대응하는 점의 가로 좌표 및 세로 좌표이며, x'0, y'0 및 x'1, y'1은, 각각, 좌표 (x,y)가 평탄면 상에 위치하는 직선 선분에 대응하는 곡면 상의 직선 선분 상의 임의의 점의 가로 좌표 및 세로 좌표인 영상 처리 방법.
첨부 4. 첨부 1 내지 첨부 3 중 어느 하나에 있어서, 깊이 증분은 직선 선분으로부터 이미징 장치의 렌즈의 초점까지의 거리와 상기 직선 선분에 인접하는 직선 선분으로부터 이미징 장치의 렌즈의 초점까지의 거리 사이의 차이인 영상 처리 방법.
첨부 5. 첨부 1 내지 첨부 3 중 어느 하나에 있어서, 깊이 증분은 길이 방향으로 직선 선분의 2개의 측면으로부터 이미징 장치의 렌즈의 초점까지의 거리들 사이의 차이인 영상 처리 방법.
첨부 6. 첨부 1 내지 첨부 5 중 어느 하나에 있어서, 소실점은 곡면의 상부 윤곽선 및 하부 윤곽선 상의 코너 점들로부터 획득되는 영상 처리 방법.
첨부 7. 첨부 1 내지 첨부 6 중 어느 하나에 있어서, 곡면은 이미징 장치에 의해 획득된 2차원 영상 형태의 책의 표면인 영상 처리 방법.
첨부 8. 영상 처리 장치로서,
이미징 장치에 의해 획득된 2차원 영상에서 곡면 상의 소실점을 획득하도록 구성된 소실점 획득 수단,
곡면 상의 특정의 단위의 폭으로 소실점과 곡면의 상부 윤곽선 및 하부 윤곽선 중 긴 윤곽선 사이의 모든 직선들을 추출하도록 구성된 추출 수단 - 직선들은 서로 인접하고 소실점에서 교차함 -,
교차하는 직선들이 평행한 직선들로 되도록 곡면의 투시 왜곡(perspective distortion)을 제거하도록 구성된 투시 왜곡 제거 수단,
상부 윤곽선과 하부 윤곽선 사이의 직선들의 직선 선분들의 길이들을 구하고 길이들에 따라 3차원 공간에서의 각자의 직선 선분들의 실제 폭들 및 각자의 직선 선분들의 깊이 증분들을 구하며, 실제 폭들 및 깊이 증분들에 따라 각자의 직선 선분들의 확장된 폭들을 구하고, 곡면을 평탄면으로 변환하기 위해 모든 직선 선분들의 확장된 폭들을 곡면의 총 확장된 폭으로 합산하도록 구성된 확장된 폭 획득 수단, 및
곡면 상의 점들과 평탄면 상의 점들 사이의 대응 관계에 따라 곡면 상의 영상 내용을 평탄면 상으로 변환하도록 구성된 영상 변환 수단을 포함하는 영상 처리 장치.
첨부 9. 첨부 8에 있어서, 확장된 폭 획득 수단은 실제 폭의 제곱과 깊이 증분의 제곱의 합을 구한 다음에 제곱들의 합에 대한 제곱근을 구함으로써 각각의 직선 선분들의 확장된 폭을 구하도록 구성되는 영상 처리 장치.
첨부 10. 첨부 8 또는 첨부 9에 있어서, 평탄면 상의 점과 곡면 상의 대응하는 점 사이의 대응 관계는 다음과 같이 표현되고,
y'= (y+cx)/(axy+bx)
x'= x'0+(x'1-x'0)(y'-y'0)/(y'1-y'0)
여기서 ax는 직선 선분들의 소실점에 관련된 상수를 나타내고, bx 및 cx는 직선 선분들의 소실점 및 x에 관련된 상수들을 나타내며, x 및 y는, 각각, 평탄면 상의 점의 가로 좌표 및 세로 좌표이고, x' 및 y'은, 각각, 곡면 상의 대응하는 점의 가로 좌표 및 세로 좌표이며, x'0, y'0 및 x'1, y'1은, 각각, 좌표 (x,y)가 평탄면 상에 위치하는 직선 선분에 대응하는 곡면 상의 직선 선분 상의 임의의 점의 가로 좌표 및 세로 좌표인 영상 처리 장치.
첨부 11. 첨부 8 내지 첨부 10 중 어느 하나에 있어서, 깊이 증분은 직선 선분으로부터 이미징 장치의 렌즈의 초점까지의 거리와 상기 직선 선분에 인접하는 직선 선분으로부터 이미징 장치의 렌즈의 초점까지의 거리 사이의 차이인 영상 처리 장치.
첨부 12. 첨부 8 내지 첨부 10 중 어느 하나에 있어서, 깊이 증분은 길이 방향으로 직선 선분의 2개의 측면으로부터 이미징 장치의 렌즈의 초점까지의 거리들 사이의 차이인 영상 처리 장치.
첨부 13. 첨부 8 내지 첨부 12 중 어느 하나에 있어서, 소실점 획득 수단은 곡면의 상부 윤곽선 및 하부 윤곽선 상의 코너 점들로부터 상기 소실점을 획득하는 영상 처리 장치.
첨부 14. 첨부 8 내지 첨부 13 중 어느 하나에 있어서, 곡면은 이미징 장치에 의해 획득된 2차원 영상 형태의 책의 표면인 영상 처리 장치.
첨부 15. 첨부 8 내지 첨부 14 중 어느 하나에 따른 영상 처리 장치를 포함하는 스캐너.
첨부 16. 컴퓨터 상에서 실행될 때, 첨부 1 내지 첨부 7 중 어느 하나에 따른 방법을 수행하는 컴퓨터 프로그램.
첨부 17. 컴퓨터 상에서 실행될 때, 첨부 1 내지 첨부 7 중 어느 하나에 따른 방법을 수행하는 컴퓨터 프로그램이 저장되어 있는 저장 매체.
본 발명이 본 발명의 실시예의 설명에서 앞서 개시되어 있지만, 발명의 사상 및 범위를 벗어나지 않고 당업자가 발명에 대한 다양한 수정, 개조, 또는 등가물을 고안할 수 있다는 것을 알 것이다. 이들 수정, 개조 또는 등가물은 또한 발명의 범위 내에 속하는 것으로 해석되어야 한다.

Claims (15)

  1. 이미징 장치에 의해 획득된 2차원 영상에서 곡면 상의 소실점을 획득하는 단계;
    상기 곡면 상의 특정의 단위의 폭으로 상기 소실점과 상기 곡면의 상부 윤곽선 및 하부 윤곽선 중 긴 윤곽선 사이의 모든 직선들을 추출하는 단계 - 상기 직선들은 서로 인접하고 상기 소실점에서 교차함 -;
    상기 교차하는 직선들이 평행한 직선들로 되도록 상기 곡면의 투시 왜곡(perspective distortion)을 제거하는 단계;
    상기 상부 윤곽선과 상기 하부 윤곽선 사이의 직선들의 직선 선분들의 길이들을 구하고 상기 길이들에 따라 3차원 공간에서의 각각의 상기 직선 선분들의 실제 폭 및 상기 직선 선분의 깊이 증분을 구하는 단계;
    상기 실제 폭 및 상기 깊이 증분에 따라 각각의 상기 직선 선분들의 확장된 폭을 구하는 단계;
    상기 곡면을 평탄면으로 변환하기 위해 모든 상기 직선 선분들의 확장된 폭들을 상기 곡면의 총 확장된 폭으로 합산하는 단계; 및
    상기 곡면 상의 점들과 상기 평탄면 상의 점들 사이의 대응 관계에 따라 상기 곡면 상의 영상 내용을 상기 평탄면 상으로 변환하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에 있어서, 각각의 상기 직선 선분들의 확장된 폭을 구하는 단계는,
    상기 실제 폭의 제곱과 상기 깊이 증분의 제곱의 합을 구한 다음에 상기 제곱들의 합에 대한 제곱근을 구함으로써 각각의 상기 직선 선분들의 확장된 폭을 구하는 단계를 포함하는 영상 처리 방법.
  3. 제1항 또는 제2항에 있어서, 상기 평탄면 상의 점과 상기 곡면 상의 대응하는 점 사이의 대응 관계는 다음과 같이 표현되고,
    y'= (y+cx)/(axy+bx)
    x'= x'0+(x'1-x'0)(y'-y'0)/(y'1-y'0)
    여기서 ax는 상기 직선 선분들의 상기 소실점에 관련된 상수를 나타내고, bx 및 cx는 상기 직선 선분들의 상기 소실점 및 x에 관련된 상수들을 나타내며, x 및 y는, 각각, 상기 평탄면 상의 점의 가로 좌표 및 세로 좌표이고, x' 및 y'은, 각각, 상기 곡면 상의 대응하는 점의 가로 좌표 및 세로 좌표이며, x'0, y'0 및 x'1, y'1은, 각각, 좌표 (x,y)가 상기 평탄면 상에 위치하는 직선 선분에 대응하는 상기 곡면 상의 직선 선분 상의 임의의 점의 가로 좌표 및 세로 좌표인 영상 처리 방법.
  4. 제1항 또는 제2항에 있어서, 상기 깊이 증분은 상기 직선 선분으로부터 상기 이미징 장치의 렌즈의 초점까지의 거리와 상기 직선 선분에 인접하는 직선 선분으로부터 상기 이미징 장치의 렌즈의 초점까지의 거리 사이의 차이인 영상 처리 방법.
  5. 제1항 또는 제2항에 있어서, 상기 깊이 증분은 길이 방향으로 상기 직선 선분의 2개의 측면으로부터 상기 이미징 장치의 렌즈의 초점까지의 거리들 사이의 차이인 영상 처리 방법.
  6. 제1항 또는 제2항에 있어서, 상기 소실점은 상기 곡면의 상기 상부 윤곽선 및 상기 하부 윤곽선 상의 코너 점들로부터 획득되는 영상 처리 방법.
  7. 제1항 또는 제2항에 있어서, 상기 곡면은 상기 이미징 장치에 의해 획득된 2차원 영상 형태의 책의 표면인 영상 처리 방법.
  8. 이미징 장치에 의해 획득된 2차원 영상에서 곡면 상의 소실점을 획득하도록 구성된 소실점 획득 수단;
    상기 곡면 상의 특정의 단위의 폭으로 상기 소실점과 상기 곡면의 상부 윤곽선 및 하부 윤곽선 중 긴 윤곽선 사이의 모든 직선들을 추출하도록 구성된 추출 수단 - 상기 직선들은 서로 인접하고 상기 소실점에서 교차함 -;
    상기 교차하는 직선들이 평행한 직선들로 되도록 상기 곡면의 투시 왜곡을 제거하도록 구성된 투시 왜곡 제거 수단;
    상기 상부 윤곽선과 상기 하부 윤곽선 사이의 직선들의 직선 선분들의 길이들을 구하고 상기 길이들에 따라 3차원 공간에서의 각자의 직선 선분들의 실제 폭들 및 각자의 직선 선분들의 깊이 증분들을 구하며, 상기 실제 폭들 및 상기 깊이 증분들에 따라 상기 각자의 직선 선분들의 확장된 폭들을 구하고, 상기 곡면을 평탄면으로 변환하기 위해 모든 상기 직선 선분들의 확장된 폭들을 상기 곡면의 총 확장된 폭으로 합산하도록 구성된 확장된 폭 획득 수단; 및
    상기 곡면 상의 점들과 상기 평탄면 상의 점들 사이의 대응 관계에 따라 상기 곡면 상의 영상 내용을 상기 평탄면 상으로 변환하도록 구성된 영상 변환 수단
    을 포함하는 영상 처리 장치.
  9. 제8항에 있어서, 상기 확장된 폭 획득 수단은 상기 실제 폭의 제곱과 상기 깊이 증분의 제곱의 합을 구한 다음에 상기 제곱들의 합에 대한 제곱근을 구함으로써 각각의 상기 직선 선분들의 확장된 폭을 구하도록 구성되는 영상 처리 장치.
  10. 제8항 또는 제9항에 있어서, 상기 평탄면 상의 점과 상기 곡면 상의 대응하는 점 사이의 대응 관계는 다음과 같이 표현되고,
    y'= (y+cx)/(axy+bx)
    x'= x'0+(x'1-x'0)(y'-y'0)/(y'1-y'0)
    여기서 ax는 상기 직선 선분들의 상기 소실점에 관련된 상수를 나타내고, bx 및 cx는 상기 직선 선분들의 상기 소실점 및 x에 관련된 상수들을 나타내며, x 및 y는, 각각, 상기 평탄면 상의 점의 가로 좌표 및 세로 좌표이고, x' 및 y'은, 각각, 상기 곡면 상의 대응하는 점의 가로 좌표 및 세로 좌표이며, x'0, y'0 및 x'1, y'1은, 각각, 좌표 (x,y)가 상기 평탄면 상에 위치하는 직선 선분에 대응하는 상기 곡면 상의 직선 선분 상의 임의의 점의 가로 좌표 및 세로 좌표인 영상 처리 장치.
  11. 제8항 또는 제9항에 있어서, 상기 깊이 증분은 상기 직선 선분으로부터 상기 이미징 장치의 렌즈의 초점까지의 거리와 상기 직선 선분에 인접하는 직선 선분으로부터 상기 이미징 장치의 렌즈의 초점까지의 거리 사이의 차이인 영상 처리 장치.
  12. 제8항 또는 제9항에 있어서, 상기 깊이 증분은 길이 방향으로 상기 직선 선분의 2개의 측면으로부터 상기 이미징 장치의 렌즈의 초점까지의 거리들 사이의 차이인 영상 처리 장치.
  13. 제8항 또는 제9항에 있어서, 상기 소실점 획득 수단은 상기 곡면의 상기 상부 윤곽선 및 상기 하부 윤곽선 상의 코너 점들로부터 상기 소실점을 획득하는 영상 처리 장치.
  14. 제8항 또는 제9항에 있어서, 상기 곡면은 상기 이미징 장치에 의해 획득된 2차원 영상 형태의 책의 표면인 영상 처리 장치.
  15. 제8항 또는 제9항에 따른 영상 처리 장치를 포함하는 스캐너.
KR20120049738A 2011-06-15 2012-05-10 영상 처리 방법, 영상 처리 장치 및 스캐너 KR101361897B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110159927.6A CN102833460B (zh) 2011-06-15 2011-06-15 图像处理方法、图像处理设备及扫描仪
CN201110159927.6 2011-06-15

Publications (2)

Publication Number Publication Date
KR20120138633A KR20120138633A (ko) 2012-12-26
KR101361897B1 true KR101361897B1 (ko) 2014-02-12

Family

ID=46025374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20120049738A KR101361897B1 (ko) 2011-06-15 2012-05-10 영상 처리 방법, 영상 처리 장치 및 스캐너

Country Status (5)

Country Link
US (1) US8717632B2 (ko)
EP (1) EP2536122B1 (ko)
JP (1) JP6007602B2 (ko)
KR (1) KR101361897B1 (ko)
CN (1) CN102833460B (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8635573B2 (en) 2011-08-01 2014-01-21 Taiwan Semiconductor Manufacturing Company, Ltd. Method of fabricating a semiconductor device having a defined minimum gate spacing between adjacent gate structures
US10289924B2 (en) 2011-10-17 2019-05-14 Sharp Laboratories Of America, Inc. System and method for scanned document correction
JP2014140972A (ja) * 2013-01-22 2014-08-07 Ricoh Co Ltd 画像形成制御装置、画像形成装置及び画像形成制御方法
US9025016B2 (en) * 2013-03-15 2015-05-05 Orcam Technologies Ltd. Systems and methods for audible facial recognition
US9183635B2 (en) * 2013-05-20 2015-11-10 Mitsubishi Electric Research Laboratories, Inc. Method for reconstructing 3D lines from 2D lines in an image
JP6128086B2 (ja) * 2014-09-12 2017-05-17 カシオ計算機株式会社 頁画像補正装置、頁画像補正方法及びプログラム
US9524445B2 (en) 2015-02-27 2016-12-20 Sharp Laboratories Of America, Inc. Methods and systems for suppressing non-document-boundary contours in an image
CN104680479A (zh) * 2015-03-04 2015-06-03 福建师范大学 一种基于断层影像重建的人体器官表面地图化方法
JP6798752B2 (ja) * 2015-06-12 2020-12-09 モレスキン エス．アール．エル． 補正画像を生成する方法、ノートブック又はアジェンダの１ページ又は２つの隣接するページに描かれた書込み又は図の選択画像を生成する方法、ｐｃ用のコンピュータプログラム、又は、スマートフォン若しくはタブレットコンピュータ用のモバイルアプリケーション
US10249030B2 (en) * 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
RU2631765C1 (ru) * 2016-04-26 2017-09-26 Общество с ограниченной ответственностью "Аби Девелопмент" Способ и система исправления перспективных искажений в изображениях, занимающих двухстраничный разворот
US10503997B2 (en) 2016-06-22 2019-12-10 Abbyy Production Llc Method and subsystem for identifying document subimages within digital images
US10366469B2 (en) 2016-06-28 2019-07-30 Abbyy Production Llc Method and system that efficiently prepares text images for optical-character recognition
RU2628266C1 (ru) 2016-07-15 2017-08-15 Общество с ограниченной ответственностью "Аби Девелопмент" Способ и система подготовки содержащих текст изображений к оптическому распознаванию символов
US10275858B2 (en) 2017-01-24 2019-04-30 Microsoft Technology Licensing, Llc Flattening and rectifying a curved image
JP6956269B2 (ja) * 2018-07-20 2021-11-02 株式会社Pfu 画像処理装置及び画像処理方法
KR102133492B1 (ko) * 2018-10-22 2020-07-13 경희대학교 산학협력단 깊이 카메라와 비행체를 이용한 강건한 디스플레이 시스템 및 방법
CN109348084B (zh) * 2018-11-26 2020-01-31 珠海奔图电子有限公司 图像形成方法、装置、电子设备和可读存储介质
CN109460745B (zh) * 2018-11-28 2021-01-29 科大讯飞股份有限公司 一种直线滤除方法、装置、设备及存储介质
RU2721186C1 (ru) * 2019-07-22 2020-05-18 Общество с ограниченной ответственностью "Аби Продакшн" Оптическое распознавание символов документов с некопланарными областями
US20220198345A1 (en) * 2019-11-21 2022-06-23 Rockspoon, Inc. System and method for real-time geo-physical social group matching and generation
CN110930300B (zh) * 2019-12-09 2023-09-29 上海扩博智能技术有限公司 图像拉正方法、系统、设备和存储介质
WO2021155575A1 (en) * 2020-02-07 2021-08-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electric device, method of controlling electric device, and computer readable storage medium
CN112801088B (zh) * 2020-12-31 2024-05-31 科大讯飞股份有限公司 一种扭曲文本行图像矫正的方法和相关装置
CN113096051B (zh) * 2021-04-30 2023-08-15 上海零眸智能科技有限公司 一种基于消失点检测的图矫正方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090012291A (ko) * 2007-07-29 2009-02-03 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 영상 시스템
KR20090108822A (ko) * 2008-04-14 2009-10-19 주식회사 이미지넥스트 카메라 영상 보정 방법 및 장치
JP2010171976A (ja) 2009-01-22 2010-08-05 Canon Inc 歪み文書画像を補正する方法及びシステム
JP2011002940A (ja) 2009-06-17 2011-01-06 Olympus Imaging Corp 画像処理装置及び撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3631333B2 (ja) * 1996-08-23 2005-03-23 シャープ株式会社 画像処理装置
DE10156040B4 (de) * 2001-11-15 2005-03-31 Océ Document Technologies GmbH Verfahren, Vorrichtung und Computerprogramm-Produkt zum Entzerren einer eingescannten Abbildung
JP2004355184A (ja) * 2003-05-28 2004-12-16 Nippon Telegr & Teleph Corp <Ntt> 文字・図形領域抽出装置、抽出方法、この方法のプログラムおよびこのプログラムを記録した記録媒体
US7330604B2 (en) * 2006-03-02 2008-02-12 Compulink Management Center, Inc. Model-based dewarping method and apparatus
JP2010109448A (ja) * 2008-10-28 2010-05-13 Canon Inc 画像処理方法及び画像読取装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090012291A (ko) * 2007-07-29 2009-02-03 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 영상 시스템
KR20090108822A (ko) * 2008-04-14 2009-10-19 주식회사 이미지넥스트 카메라 영상 보정 방법 및 장치
JP2010171976A (ja) 2009-01-22 2010-08-05 Canon Inc 歪み文書画像を補正する方法及びシステム
JP2011002940A (ja) 2009-06-17 2011-01-06 Olympus Imaging Corp 画像処理装置及び撮像装置

Also Published As

Publication number Publication date
CN102833460A (zh) 2012-12-19
EP2536122A2 (en) 2012-12-19
US20120320427A1 (en) 2012-12-20
CN102833460B (zh) 2015-03-11
JP2013004088A (ja) 2013-01-07
JP6007602B2 (ja) 2016-10-12
EP2536122B1 (en) 2018-06-13
EP2536122A3 (en) 2015-06-10
US8717632B2 (en) 2014-05-06
KR20120138633A (ko) 2012-12-26

Similar Documents

Publication Publication Date Title
KR101361897B1 (ko) 영상 처리 방법, 영상 처리 장치 및 스캐너
US10798359B2 (en) Generating hi-res dewarped book images
KR102054250B1 (ko) 입자 크기 결정을 위한 방법 및 장치
US10289924B2 (en) System and method for scanned document correction
JP4847592B2 (ja) 歪み文書画像を補正する方法及びシステム
US9652849B2 (en) Techniques for rapid stereo reconstruction from images
Shafait et al. Document image dewarping contest
KR100761641B1 (ko) 왜곡 보정 장치 및 방법
JP5972498B2 (ja) エッジ検出装置、エッジ検出方法およびプログラム
RU2631765C1 (ru) Способ и система исправления перспективных искажений в изображениях, занимающих двухстраничный разворот
CN107767456A (zh) 一种基于rgb‑d相机的物体三维重建方法
KR20150037374A (ko) 카메라로 촬영한 문서 영상을 스캔 문서 영상으로 변환하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN109410260B (zh) 点云数据网格化方法、装置、计算机设备和存储介质
He et al. A book dewarping system by boundary-based 3D surface reconstruction
KR101450782B1 (ko) 화상 처리 장치 및 프로그램
CN105118040A (zh) 基于结构激光线的文档图像畸变矫正方法
JP6045625B2 (ja) 画像処理装置、領域検出方法及びコンピュータプログラム
CN103700082B (zh) 基于对偶四元数相对定向的图像拼接方法
CN108335266B (zh) 一种文档图像畸变的矫正方法
CN107941241B (zh) 一种用于航空摄影测量质量评价的分辨率板及其使用方法
CN111126418A (zh) 一种基于平面透视投影的倾斜影像匹配方法
CN111553969B (zh) 一种基于梯度域的纹理映射方法、介质、终端和装置
JP4456304B2 (ja) 歪み補正方式
WO2017215018A1 (zh) 一种教育玩具套件及其凸面镜成像校正方法
CN113920525A (zh) 文本矫正方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170119

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180118

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190116

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 7