KR102002531B1 - 영상 보정 장치 및 방법 - Google Patents

영상 보정 장치 및 방법 Download PDF

Info

Publication number
KR102002531B1
KR102002531B1 KR1020160158284A KR20160158284A KR102002531B1 KR 102002531 B1 KR102002531 B1 KR 102002531B1 KR 1020160158284 A KR1020160158284 A KR 1020160158284A KR 20160158284 A KR20160158284 A KR 20160158284A KR 102002531 B1 KR102002531 B1 KR 102002531B1
Authority
KR
South Korea
Prior art keywords
image
line
feature point
mode
time
Prior art date
Application number
KR1020160158284A
Other languages
English (en)
Other versions
KR20180059108A (ko
Inventor
이승욱
추창우
구본기
박창준
최진성
신학철
채원석
이준우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160158284A priority Critical patent/KR102002531B1/ko
Publication of KR20180059108A publication Critical patent/KR20180059108A/ko
Application granted granted Critical
Publication of KR102002531B1 publication Critical patent/KR102002531B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G06T3/0093—
    • G06T3/0012—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

영상 보정 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 영상 보정 장치는 카메라로부터 촬영된 대상체의 영상을 획득하여 대상체 종류에 따라 모드를선택하여 사각형을 이루는 복수개의 특징점들을 추출하는 특징점 추출부; 상기 대상체의 영상에 상기 복수개의 특징점들에 기반한 기하 변경을 수행하여 사각형의 영상을 획득하는 기하 변경부 및 상기 사각형의 영상을 기설정된 프리셋 파라메터에 기반하여 색상을 변경하여 보정 영상을 출력하는 색상 변경부를 포함한다.

Description

영상 보정 장치 및 방법 {APPARATUS FOR CORRECTING VIDEO AND METHOD FOR USING THE SAME}
본 발명은 영상 보정 기술에 관한 것으로, 보다 상세하게는 영상 기하 및 컬러 보정 기술에 관한 것이다.
종래의 스마트폰 기반에서 영상을 보정하는 기술은 명함을 인식할 수 있게 하기 위해 영상을 보정하고, 책을 스캔하는 등 다양한 분야에서 사용되고 있다.
현재 학교 현장에서 다양한 학습 방법이 실시 되면서 이에 따른 영상 보정 기술도 빠르고 안정적으로 동작되어야 한다.
일반적으로 영상을 획득하는 경우 카메라의 기울어짐에 따라 영상의 왜곡이 발생한다. 즉, 사각형을 촬영하여도 사각형이 아닌 다른 형태의 영상이 획득됨으로 기하변경을 통해 다시 사각형을 보정하는 것이 필요하다.
또한, 학교 교육현장은 실내에서 수업이 진행되며, 조명 환경이 거의 일정하다고 볼 수 있다. 따라서 색상변경을 위해서는 프리셋 기반의 색상 변경을 이용할 수 있다.
즉, 학교 현장에서 카메라로 영상 획득 시 주변 환경에 따라 그림자, 색상 등의 변화가 있음에 따라 색상을 변화시키는 것이 중요하다.
한편, 한국공개특허 제 10-2013-0142027 호"영상보정 시스템, 영상보정방법 및 스마트 영상획득 장치"는 영상보정 시스템, 영상보정방법 및 스마트 영상획득 장치에 관한 것으로서, 보다 구체적으로 영상보정 시스템, 이 시스템을 이용한 영상보정방법 및 이 시스템을 통해 영상을 보정하는 스마트 영상획득 장치에 관하여 개시하고 있다.
그러나, 한국공개특허 제 10-2013-0142027 호는 대용량 비정형 데이터 및 데이터베이스에 기반하여 사용자를 분석하여 영상 보정을 실시하는 것으로 학교 교육현장에서 간편하고 빠르게 영상 보정을 수행하기에는 한계가 있다.
본 발명은 실내 교실 환경에서 교육 주체인 선생님 또는 학생이 촬영한 영상물을 준실시간으로 스마트폰 카메라를 이용하여 취득한 영상의 기하 및 컬러보정을 수행하는 것을 목적으로 한다.
또한, 본 발명은 영상 기하 및 컬러 보정이 수행된 영상을 실내 교실의 전자칠판 등에 투사하여 교육의 효과를 극대화하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 영상 보정 장치는 카메라로부터 촬영된 대상체의 영상을 획득하여 대상체 종류에 따라 모드를선택하여 사각형을 이루는 복수개의 특징점들을 추출하는 특징점 추출부; 상기 대상체의 영상에 상기 복수개의 특징점들에 기반한 기하 변경을 수행하여 사각형의 영상을 획득하는 기하 변경부 및 상기 사각형의 영상을 기설정된 프리셋 파라메터에 기반하여 색상을 변경하여 보정 영상을 출력하는 색상 변경부를 포함한다.
본 발명은 실내 교실 환경에서 교육 주체인 선생님 또는 학생이 촬영한 영상물을 준실시간으로 스마트폰 카메라를 이용하여 취득한 영상의 기하 및 컬러보정을 수행할 수 있다.
또한, 본 발명은 영상 기하 및 컬러 보정이 수행된 영상을 실내 교실의 전자칠판 등에 투사하여 교육의 효과를 극대화할 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 보정 장치를 나타낸 블록도이다.
도 2 내지 도 4는 본 발명의 일실시예에 따른 영상 보정의 대상이 되는 대상체들을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 BOOK 대상체의 특징점 추출 과정을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 BOOK 대상체의 영역 분할 과정을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 영상 보정 방법을 나타낸 동작흐름도이다.
도 8은 도 7에 도시된 특징점 추출 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 9는 도 8에 도시된 FLAT 모드 수행 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 10은 도 8에 도시된 BOARD 모드 수행 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 11은 도 8에 도시된 BOOK 모드 수행 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 12는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 영상 보정 장치를 나타낸 블록도이다. 도 2 내지 도 4는 본 발명의 일실시예에 따른 영상 보정의 대상이 되는 대상체들을 나타낸 도면이다. 도 5는 본 발명의 일실시예에 따른 BOOK 대상체의 특징점 추출 과정을 나타낸 도면이다. 도 6은 본 발명의 일실시예에 따른 BOOK 대상체의 영역 분할 과정을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 영상 보정 장치는 특징점 추출부(110), 기하 변경부(120) 및 색상 변경부(130)를 포함한다.
특징점 추출부(110)는 카메라로부터 촬영된 대상체의 영상을 획득하여 대상체 종류에 따라 모드를 선택하여 사각형을 이루는 복수개의 특징점들을 추출할 수 있다.
카메라는 스마트폰, 태블릿, 캠코더 및 PC 캠 등 다양한 이미지 및 영상 획득 장치에도 상응할 수 있다.
특징점 추출부(110)는 에지 추출을 위한 고주파 필터(High Pass Filter)를 이용하여 영상을 필터링 할 수 있다.
이 때, 특징점 추출부(110)는 NxM형태의 필터 메트릭스를 생성하여 필터 연산을 수행할 수 있다.
또한, 특징점 추출부(110)는 적응적 이진화를 수행할 수 있다.
이 때, 특징점 추출부(110)는 이진화 임계값(Tth)을 적응적으로 산출할 수 있다. 예를 들어, 입력 영상은 하얀색 배경위에 다양한 문자 혹은 그림, 표 등이 작성되었다고 가정하면, 특징점 추출부(110)는 적응적 이진화를 위하여, 어두운 영역은 고주파 필터의 결과값이 낮을 수 있기 때문에, Tth 를 다른 영역보다 낮게 설정할 수 있다. 이를 위해, 특징점 추출부(110)는 전체 영역을 타일 형태로 분리하여 각 영역별 Tth 를 계산할 수 있다. Tth 는 각 영역의 평균 밝기값에 반비례하게 설정될 수 있다.
또한, 특징점 추출부(110)는 특징점 추출을 위한 대상체의 종류에 따라 모드를 선택할 수 있다.
이 때, 특징점 추출부(110)는 대상체의 종류에 따라 FLAT 모드, BOARD 모드 및 BOOK 모드 중 어느 하나의 모드를 선택할 수 있다.
도 2를 참조하면, 카메라가 A4 용지를 촬영한 것을 알 수 있다.
도 2에 도시된 바와 같이, 특징점 추출부(110)는 입력된 영상이 일반적인 A4 용지인 경우 FLAT 모드를 선택할 수 있다.
또한, 특징점 추출부(110)는 선택한 FLAT 모드를 수행할 수 있다.
이 때, 특징점 추출부(110)는 먼저 라인 피팅을 수행할 수 있다.
라인 피팅은 허프변환 (Hough Transform)을 이용하거나, 임의의 직선으로 매핑하는 최적화 알고리즘이 사용될 수 있다. 이때 매핑된 라인의 길이는 기설정된 길이 이상의 크기인 경우만 사용될 수 있다. 예를 들어 영상의 가로길이 및 세로길이 중 길이가 긴 쪽의 1/5정도를 사용할 수 있다.
또한, 특징점 추출부(110)는 라인 정렬을 수행할 수 있다.
특징점 추출부(110)는 일정 길이 이상의 라인으로 영상을 피팅하면 여러 개의 선분들이 생성될 수 있다. 이 선분을 순서대로 정렬할 수 있다
이 때, 특징점 추출부(110)는 정렬된 라인을 두 개씩 선택하여 교점을 산출 할 수 있다.
이 때, 특징점 추출부(110)는 산출된 교점을 특징점 후보로 정의할 수 있다.
이 때, 특징점 추출부(110)는 특징점 후보를 정의한 선분의 쌍 중에서 두 선분이 이루는 각이 기설정된 값 이상 혹은 이하인 특징점 후보는 제외할 수 있다.
즉, 특징점 추출부(110)는 카메라를 너무 기울인 것임으로 기하보정을 해도 영상 보정이 성공할 수 없기 때문에, 의미 없는 특징점 후보로 간주하여 기설정된 값 이상 혹은 이하인 특징점 후보는 제거될 수 있다.
이 때, 특징점 추출부(110)는 특징점 후보를 제외하고, 남은 특징점 후보들이 사각형을 이루는지 판단하여 각각을 복수개의 최종 특징점들로 추출할 수 있다.
기하 변경부(120)는 대상체의 영상에 상기 복수개의 특징점들에 기반한 기하 변경을 수행하여 사각형의 영상을 획득할 수 있다.
즉, 기하 변경부(120)는 사각형의 영상을 촬영하였으나 기하 변형이 발생한 경우, 사각형으로 변경할 수 있다.
이 때, 기하 변경부(120)는 4개의 좌표 혹은 4개 이상(영상을 끝부분이 휘어져서 영역별 보정이 필요한 경우)의 복수개의 특징점들의 좌표를 입력 받을 수 있다.
이 때, 기하 변경부(120)는 입력된 복수개의 특징점들의 좌표에 기반하여 사각형의 영상을 생성할 수 있다.
색상 변경부(130)는 사각형의 영상을 기설정된 프리셋 파라메터에 기반하여 색상을 변경하여 보정 영상을 출력할 수 있다.
색상 변경부(130)는 만약 실내 환경이 변경되는 경우, 기설정된 실내 환경 설정값에 기반하여 프리셋 파라메터를 변경할 수 있다.
색상 변경부(130)는 프리셋을 재설정하기 위해 기설정된 채도, 색조, 명암, 대비등의 값으로 기하 보정된 사각형의 영상을 변경할 수 있고, 사용자가 수동으로 설정할 수 도 있다.
이 후, 색상 변경부(130)는 색상 변경된 사각형의 영상을 영상 출력 장치를 이용하여 출력할 수 있다.
영상 출력 장치는 모니터, 스마트폰 화면, 프로젝터 등에 상응할 수 있다.
도 3을 참조하면, 카메라가 외곽선이 있는 칠판을 촬영한 것을 알 수 있다.
도 3에 도시된 바와 같이, 특징점 추출부(110)는 입력된 영상이 외곽선을 가지고 있는 평면인 경우, BOARD 모드를 선택할 수 있다.
또한, 특징점 추출부(110)는 선택한 BOARD 모드를 수행할 수 있다.
이 때, 특징점 추출부(110)는 먼저 패턴 매칭 모드와 라인 피팅 모드 중 어느 하나의 모드를 선택할 수 있다.
이 때, 특징점 추출부(110)는 선택한 패턴 매칭 모드를 수행할 수 있다.
이 때, 특징점 추출부(110)는 입력된 대상체의 4개의 코너에 존재하는 특징점들을 가장 중요한 특징점으로 판단할 수 있다.
이 때, 특징점 추출부(110)는 4개의 코너의 존재하는 특징점들을 패턴 매칭의 트레이닝셋으로 삽입할 수 있다.
이 때, 특징점 추출부(110)는 기설정된 다양한 기울기에 상응하는 정보를 함께 삽입할 수도 있다.
이 때, 특징점 추출부(110)는 이진화된 영상을 대상으로 하기 때문에 다양한 조명에 대해서는 패턴 매칭을 수행할 필요가 없을 수도 있다.
다만, 특징점 추출부(110)는 패턴 매칭을 위하여 다양한 기울기 정보가 입력되어야 하며, 패턴 매칭이 수행된 영상을 본 발명에서 사용하는 알고리즘에 따라 수행한 후 잘라서 넣는다.
즉, 특징점 추출부(110)는 본 발명에서 사용되는 이진화 방법에 의해 이진화된 영상을 가지고 패턴 매칭을 수행하면, 탐색 공간이 작아져 특징점을 정밀하게 찾을 수 있다.
이 때, 특징점 추출부(110)는 도 3에 도시된 칠판과 같이 끝(모서리)이 둥그런 모양을 입력으로 넣고, 끝이 직각이 경우면, 같은 모양을 실제로 다양한 각도로 사진을 찍어 넣을 수 있다. 끝 부분(모서리)은 어떠한 형태이더라도, 패턴 매칭에 의해 인식될 수 있는 것이면 된다.
이 때, 특징점 추출부(110)는 패턴 매칭에 사용되는 것은 다양한 학습 알고리즘을 사용할 수 있다.
또한, 특징점 추출부(110)는 후보군 후처리를 수행할 수 있다.
즉, 특징점 추출부(110)는 패턴 매칭하여 대상체의 형태가 인식 한 이후, 후보군 후처리를 수행하여 특징점의 위치를 찾을 수 있다.
이 때, 특징점 추출부(110)는 여러 개의 패턴 매칭된 후보군 중에서 사각형을 이루는 4개의 패턴의 위치를 찾고, 이를 기반으로 코너 위치의 복수개의 최종 특징점들을 추출할 수 있다.
또한, 특징점 추출부(110)는 선택한 라인 피팅 모드를 수행할 수 있다.
라인 피팅은 허프변환 (Hough Transform)을 이용하거나, 임의의 직선으로 매핑하는 최적화 알고리즘이 사용될 수 있다. 이때 매핑된 라인의 길이는 기설정된 길이 이상의 크기인 경우만 사용될 수 있다. 예를 들어 영상의 가로길이 및 세로길이 중 길이가 긴 쪽의 1/5정도를 사용할 수 있다.
또한, 특징점 추출부(110)는 라인 정렬을 수행할 수 있다.
특징점 추출부(110)는 일정 길이 이상의 라인으로 영상을 피팅하면 여러 개의 선분들이 생성될 수 있다. 이 선분을 순서대로 정렬할 수 있다
이 때, 특징점 추출부(110)는 정렬된 라인을 두 개씩 선택하여 교점을 산출 할 수 있다.
이 때, 특징점 추출부(110)는 산출된 교점을 특징점 후보로 정의할 수 있다.
이 때, 특징점 추출부(110)는 특징점 후보를 정의한 선분의 쌍 중에서 두 선분이 이루는 각이 기설정된 값 이상 혹은 이하인 특징점 후보는 제외할 수 있다.
즉, 특징점 추출부(110)는 카메라를 너무 기울인 것임으로 기하보정을 해도 영상 보정이 성공할 수 없기 때문에, 의미 없는 특징점 후보로 간주하여 기설정된 값 이상 혹은 이하인 특징점 후보는 제거될 수 있다.
이 때, 특징점 추출부(110)는 특징점 후보를 제외하고, 남은 특징점 후보들이 사각형을 이루는지 판단하여 각각을 복수개의 특징점들로 추출할 수 있다.
또한, 특징점 추출부(110)는 이중 구조를 검색할 수 있다.
즉, 특징점 추출부(110)는 도 3에 도시된 바와 같이 외곽선을 기준으로 2개의 사각형(내부, 외부)가 생성되기 때문에, 2개의 사각형과 비슷한 위치에 있는 사각형을 검색할 수 있다.
이 때, 특징점 추출부(110)는 정렬된 라인을 두 개씩 선택하여 2개의 사각형을 생성할 수도 있다.
이 때, 특징점 추출부(110)는 2개의 사각형 중에 내부의 사각형을 리턴할 수 있다.
이 때, 특징점 추출부(110)는 내부의 사각형의 모서리를 기준으로 최종 특징점들을 추출할 수 있다.
또한, 특징점 추출부(110)는 approxPolyDP 함수를 이용하여 2개의 사각형을 한번에 처리하여 출력된 트리구조체를 분석하여 최종 특징점들을 추출할 수 있다.
나아가, 특징점 추출부(110)는 패턴 매칭 모드를 수행하여 추출한 최종 특징점들과 라인 피팅 모드를 수행하여 추출한 최종 특징점들의 정확도를 비교하여 정확도가 높은 특징점들을 결정할 수도 있다.
기하 변경부(120)는 대상체의 영상에 상기 복수개의 특징점들에 기반한 기하 변경을 수행하여 사각형의 영상을 획득할 수 있다.
즉, 기하 변경부(120)는 사각형의 영상을 촬영하였으나 기하 변형이 발생한 경우, 사각형으로 변경할 수 있다.
이 때, 기하 변경부(120)는 4개의 좌표 혹은 4개 이상(영상을 끝부분이 휘어져서 영역별 보정이 필요한 경우)의 복수개의 특징점들의 좌표를 입력 받을 수 있다.
이 때, 기하 변경부(120)는 입력된 복수개의 특징점들의 좌표에 기반하여 사각형의 영상을 생성할 수 있다.
색상 변경부(130)는 사각형의 영상을 기설정된 프리셋 파라메터에 기반하여 색상을 변경하여 보정 영상을 출력할 수 있다.
색상 변경부(130)는 만약 실내 환경이 변경되는 경우, 기설정된 실내 환경 설정값에 기반하여 프리셋 파라메터를 변경할 수 있다.
색상 변경부(130)는 프리셋을 재설정하기 위해 기설정된 채도, 색조, 명암, 대비등의 값으로 기하 보정된 사각형의 영상을 변경할 수 있고, 사용자가 수동으로 설정할 수 도 있다.
이 후, 색상 변경부(130)는 색상 변경된 사각형의 영상을 영상 출력 장치를 이용하여 출력할 수 있다.
영상 출력 장치는 모니터, 스마트폰 화면, 프로젝터 등에 상응할 수 있다.
도 4를 참조하면, 카메라가 펼쳐진 책을 촬영한 것을 알 수 있다.
도 4에 도시된 바와 같이, 특징점 추출부(110)는 입력된 영상이 책인 경우 BOOK 모드를 선택할 수 있다.
또한, 특징점 추출부(110)는 선택한 BOOK 모드를 수행할 수 있다.
이 때, 특징점 추출부(110)는 먼저 입력된 영상을 분할 할 수 있다.
도 5에 도시된 바와 같이, 특징점 추출부(110)는 영역분할선을 기준으로 좌측은 책의 중앙 부분, 우측의 책의 바깥부분으로 분할하여 영역을 분할할 수 있다.
이 때, 특징점 추출부(110)는 중앙선 및 모서리를 추출할 수 있다.
즉, 특징점 추출부(110)는 먼저 상기 설명한 라인 피팅 및 패턴 매칭을 이용하여 좌측 부분의 중앙선과 우측 부분의 모서리를 추출할 수 있다.
이 때, 특징점 추출부(110)는 책의 한 면만 보정하기 때문에, 중앙선과 모서리는 반드시 각각 1개씩만 추출할 수 있다.
또한, 특징점 추출부(110)는 라인 에지를 추출할 수 있다.
이 때, 특징점 추출부(110)는 중앙선 쪽 라인 에지와 모서리 쪽 라인 에지를 각각 추출할 수 있다.
이 때, 특징점 추출부(110)는 도 5에 도시된 바와 같이 잘못된 모서리가 추출될 가능성이 있기 때문에, 라인 에지의 변화량에 기반하여 모서리를 새롭게 추출할 수도 있다.
또한, 특징점 추출부(110)는 컨트롤 포인트를 삽입할 수 있다.
도 6에 도시된 바와 같이, 특징점 추출부(110)는 중앙선 쪽 라인 에지는 책이 많이 휘어져 있는 부분이기 때문에 컨트롤 포인트를 좁게 삽입할 수 있다.
이 때, 특징점 추출부(110)는 모서리 쪽 라인 에지는 책이 적게 휘어져 있는 부분이기 때문에 컨트롤 포인트를 넓게 삽입할 수 있다.
이 때, 특징점 추출부(110)는 속도 향상을 위해 중앙선 쪽과 모서리 쪽 영역 분리의 콘트롤 포인트를 삽입할 영역을 같은 넓이로 설정할 수도 있다.
또한, 특징점 추출부(110)는 영역을 분리할 수 있다.
이 때, 특징점 추출부(110)는 중앙선 쪽 컨트롤 포인트가 삽입된 영역과 모서리 쪽 컨트롤 포인트가 삽입된 영역을 분리하여 각각 기하 변경부(120)에 입력할 수 있다.
기하 변경부(120)는 입력된 컨트롤 포인트에 기반하여 기하곡선 피팅을 수행할 수 있다.
이 때, 기하 변경부(120)는 중앙선 쪽 컨트롤 포인트와 모서리 쪽 컨트롤 포인트에 대하여 각각 기하 곡선 피팅을 수행할 수 있다.
이 때, 기하 변경부(120)는 중앙선 쪽 컨트롤 포인트는 좁게 삽입되어 있으므로 3차원 기하곡선 피팅을 수행할 수 있다.
예를 들어, 기하 변경부(120)는 도 6에 도시된 바와 같이, 중앙선 쪽 영역에서, 컨트롤 포인트들(c1-c2-c7-c6)을 사각형의 영역을 분할하여 기하곡선 피팅을 수행할 수 있다.
이 때, 기하 변경부(120)는 컨트롤 포인트들(c2-c3-c8-c7)을 사각형의 영역을 분할하여 기하곡선 피팅을 수행할 수 있다.
즉, 기하 변경부(120)는 중앙선에 가장 가까운 컨트롤 포인트부터 우측 방향으로 기설정된 포인트씩 다음 컨트롤 포인트를 선택하면서 사각형의 영역으로 분할하여 기하곡선 피팅을 수행할 수 있다.
또한, 기하 변경부(120)는 모서리 쪽 컨트롤 포인트는 넓게 삽입되어 있으므로 2차원 기하곡선 피팅을 수행할 수 있다.
나아가, 기하 변경부(120)는 중앙선 쪽 기하곡선 피팅이 완료된 사각형의 영상과 모서리 쪽 기하곡선 피팅이 완료된 사각형의 영상을 결합하여, 도 5에 도시된 검은 영역과 같은 기하곡선 피팅이 완료된 사각형의 영상을 생성할 수 있다.
색상 변경부(130)는 사각형의 영상을 기설정된 프리셋 파라메터에 기반하여 색상을 변경하여 보정 영상을 출력할 수 있다.
색상 변경부(130)는 만약 실내 환경이 변경되는 경우, 기설정된 실내 환경 설정값에 기반하여 프리셋 파라메터를 변경할 수 있다.
색상 변경부(130)는 프리셋을 재설정하기 위해 기설정된 채도, 색조, 명암, 대비등의 값으로 기하 보정된 사각형의 영상을 변경할 수 있고, 사용자가 수동으로 설정할 수 도 있다.
이 후, 색상 변경부(130)는 색상 변경된 사각형의 영상을 영상 출력 장치를 이용하여 출력할 수 있다.
영상 출력 장치는 모니터, 스마트폰 화면, 프로젝터 등에 상응할 수 있다.
도 7은 본 발명의 일실시예에 따른 영상 보정 방법을 나타낸 동작흐름도이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 영상 보정 방법은 먼저 영상을 입력 받을 수 있다(S210).
즉, 단계(S210)는 카메라로부터 촬영된 대상체의 영상을 획득할 수 있다.
카메라는 스마트폰, 태블릿, 캠코더 및 PC 캠 등 다양한 이미지 및 영상 획득 장치에도 상응할 수 있다.
또한, 본 발명의 일실시예에 따른 영상 보정 방법은 특징점을 추출할 수 있다(S220).
즉, 단계(S220)는 대상체 종류에 따라 모드를 선택하여 사각형을 이루는 복수개의 특징점들을 추출할 수 있다.
이 때, 단계(S220)는 먼저 모드를 선택할 수 있다(S221).
이 때, 단계(S221)는 에지 추출을 위한 고주파 필터(High Pass Filter)를 이용하여 영상을 필터링 할 수 있다.
이 때, 단계(S221)는 NxM형태의 필터 메트릭스를 생성하여 필터 연산을 수행할 수 있다.
또한, 단계(S221)는 적응적 이진화를 수행할 수 있다.
이 때, 단계(S221)는 이진화 임계값(Tth)을 적응적으로 산출할 수 있다. 예를 들어, 입력 영상은 하얀색 배경위에 다양한 문자 혹은 그림, 표 등이 작성되었다고 가정하면, 단계(S221)는 적응적 이진화를 위하여, 어두운 영역은 고주파 필터의 결과값이 낮을 수 있기 때문에, Tth 를 다른 영역보다 낮게 설정할 수 있다. 이를 위해, 단계(S221)는 전체 영역을 타일 형태로 분리하여 각 영역별 Tth 를 계산할 수 있다. Tth 는 각 영역의 평균 밝기값에 반비례하게 설정될 수 있다.
이 때, 단계(S221)는 특징점 추출을 위한 대상체의 종류에 따라 모드를 선택할 수 있다.
즉, 단계(S221)는 대상체의 종류에 따라 FLAT 모드, BOARD 모드 및 BOOK 모드 중 어느 하나의 모드를 선택할 수 있다.
도 2를 참조하면, 카메라가 A4 용지를 촬영한 것을 알 수 있다.
도 2에 도시된 바와 같이, 단계(S221)는 입력된 영상이 일반적인 A4 용지인 경우 FLAT 모드를 선택할 수 있다(S222).
또한, 단계(S220)는 선택한 FLAT 모드를 수행할 수 있다(S224).
이 때, 단계(S224)는 먼저 라인 피팅을 수행할 수 있다(S224a).
라인 피팅은 허프변환 (Hough Transform)을 이용하거나, 임의의 직선으로 매핑하는 최적화 알고리즘이 사용될 수 있다. 이때 매핑된 라인의 길이는 기설정된 길이 이상의 크기인 경우만 사용될 수 있다. 예를 들어 영상의 가로길이 및 세로길이 중 길이가 긴 쪽의 1/5정도를 사용할 수 있다.
또한, 단계(S224)는 라인 정렬을 수행할 수 있다(S224b).
즉, 단계(S224b)는 일정 길이 이상의 라인으로 영상을 피팅하면 여러 개의 선분들이 생성될 수 있다. 단계(S224b)는 이 선분들을 순서대로 정렬할 수 있다
또한, 단계(S224)는 선분들의 교점을 선택할 수 있다(S224c)
즉, 단계(S224c)는 정렬된 라인을 두 개씩 선택하여 교점을 산출 할 수 있다.
이 때, 단계(S224c)는 산출된 교점을 특징점 후보로 정의할 수 있다.
이 때, 단계(S224c)는 특징점 후보를 정의한 선분의 쌍 중에서 두 선분이 이루는 각이 기설정된 값 이상 혹은 이하인 특징점 후보는 제외할 수 있다.
즉, 단계(S224c)는 카메라를 너무 기울인 것임으로 기하보정을 해도 영상 보정이 성공할 수 없기 때문에, 의미 없는 특징점 후보로 간주하여 기설정된 값 이상 혹은 이하인 특징점 후보는 제거될 수 있다.
이 때, 단계(S224c)는 특징점 후보를 제외하고, 남은 특징점 후보들이 사각형을 이루는지 판단하여 각각을 복수개의 최종 특징점들로 추출할 수 있다.
도 3을 참조하면, 카메라가 외곽선이 있는 칠판을 촬영한 것을 알 수 있다.
도 3에 도시된 바와 같이, 단계(S220)는 입력된 영상이 외곽선을 가지고 있는 평면인 경우, BOARD 모드를 선택할 수 있다(S223).
또한, 단계(S220)는 선택한 BOARD 모드를 수행할 수 있다(S225).
즉, 단계(S225)는 먼저 패턴 매칭 모드와 라인 피팅 모드 중 어느 하나의 모드를 선택할 수 있다(S225a).
이 때, 단계(S225)는 선택한 모드가 패턴 매칭 모드인지 라인 피팅 모드 인지 판단할 수 있다(S225b).
이 때, 단계(S225)는 선택한 패턴 매칭 모드를 수행할 수 있다(S225c).
이 때, 단계(S225c)는 입력된 대상체의 4개의 코너에 존재하는 특징점들을 가장 중요한 특징점으로 판단할 수 있다.
이 때, 단계(S225c)는 4개의 코너의 존재하는 특징점들을 패턴 매칭의 트레이닝셋으로 삽입할 수 있다.
이 때, 단계(S225c)는 기설정된 다양한 기울기에 상응하는 정보를 함께 삽입할 수도 있다.
이 때, 단계(S225c)는 이진화된 영상을 대상으로 하기 때문에 다양한 조명에 대해서는 패턴 매칭을 수행할 필요가 없을 수도 있다.
다만, 단계(S225c)는 패턴 매칭을 위하여 다양한 기울기 정보가 입력되어야 하며, 패턴 매칭이 수행된 영상을 본 발명에서 사용하는 알고리즘에 따라 수행한 후 잘라서 넣는다.
즉, 단계(S225c)는 본 발명에서 사용되는 이진화 방법에 의해 이진화된 영상을 가지고 패턴 매칭을 수행하면, 탐색 공간이 작아져 특징점을 정밀하게 찾을 수 있다.
이 때, 단계(S225c)는 도 3에 도시된 칠판과 같이 끝(모서리)이 둥그런 모양을 입력으로 넣고, 끝이 직각이 경우면, 같은 모양을 실제로 다양한 각도로 사진을 찍어 넣을 수 있다. 끝 부분(모서리)은 어떠한 형태이더라도, 패턴 매칭에 의해 인식될 수 있는 것이면 된다.
이 때, 단계(S225c)는 패턴 매칭에 사용되는 것은 다양한 학습 알고리즘을 사용할 수 있다.
또한, 단계(S225)는 후보군 후처리를 수행할 수 있다(S225d).
즉, 단계(S225d)는 패턴 매칭하여 대상체의 형태가 인식 한 이후, 후보군 후처리를 수행하여 특징점의 위치를 찾을 수 있다.
이 때, 단계(S225d)는 여러 개의 패턴 매칭된 후보군 중에서 사각형을 이루는 4개의 패턴의 위치를 찾고, 이를 기반으로 코너 위치의 복수개의 최종 특징점들을 추출할 수 있다.
또한, 단계(S225)는 선택한 라인 피팅 모드를 수행할 수 있다(S225e).
라인 피팅은 허프변환 (Hough Transform)을 이용하거나, 임의의 직선으로 매핑하는 최적화 알고리즘이 사용될 수 있다. 이때 매핑된 라인의 길이는 기설정된 길이 이상의 크기인 경우만 사용될 수 있다. 예를 들어 영상의 가로길이 및 세로길이 중 길이가 긴 쪽의 1/5정도를 사용할 수 있다.
또한, 단계(S225e)는 라인 정렬을 수행할 수 있다.
즉, 단계(S225e)는 일정 길이 이상의 라인으로 영상을 피팅하면 여러 개의 선분들이 생성될 수 있다. 단계(S225e)는 선분들을 순서대로 정렬할 수 있다
이 때, 단계(S225e)는 정렬된 라인을 두 개씩 선택하여 교점을 산출 할 수 있다.
이 때, 단계(S225e)는 산출된 교점을 특징점 후보로 정의할 수 있다.
이 때, 단계(S225e)는 특징점 후보를 정의한 선분의 쌍 중에서 두 선분이 이루는 각이 기설정된 값 이상 혹은 이하인 특징점 후보는 제외할 수 있다.
즉, 단계(S225e)는 카메라를 너무 기울인 것임으로 기하보정을 해도 영상 보정이 성공할 수 없기 때문에, 의미 없는 특징점 후보로 간주하여 기설정된 값 이상 혹은 이하인 특징점 후보는 제거될 수 있다.
이 때, 단계(S225e)는 특징점 후보를 제외하고, 남은 특징점 후보들이 사각형을 이루는지 판단하여 각각을 복수개의 특징점들로 추출할 수 있다.
또한, 단계(S225)는 이중 구조를 검색할 수 있다(S225f).
즉, 단계(S225f)는 도 3에 도시된 바와 같이 외곽선을 기준으로 2개의 사각형(내부, 외부)가 생성되기 때문에, 2개의 사각형과 비슷한 위치에 있는 사각형을 검색할 수 있다.
이 때, 단계(S225f)는 정렬된 라인을 두 개씩 선택하여 2개의 사각형을 생성할 수도 있다.
이 때, 단계(S225f)는 2개의 사각형 중에 내부의 사각형을 리턴할 수 있다.
이 때, 단계(S225f)는 내부의 사각형의 모서리를 기준으로 최종 특징점들을 추출할 수 있다.
또한, 단계(S225f)는 approxPolyDP 함수를 이용하여 2개의 사각형을 한번에 처리하여 출력된 트리구조체를 분석하여 최종 특징점들을 추출할 수 있다.
나아가, 단계(S225)는 패턴 매칭 모드를 수행하여 추출한 최종 특징점들과 라인 피팅 모드를 수행하여 추출한 최종 특징점들의 정확도를 비교하여 정확도가 높은 특징점들을 결정할 수도 있다.
도 4를 참조하면, 카메라가 펼쳐진 책을 촬영한 것을 알 수 있다.
도 4에 도시된 바와 같이, 단계(S220)는 입력된 영상이 책인 경우 BOOK 모드를 선택할 수 있다(S223).
또한, 단계(S220)는 선택한 BOOK 모드를 수행할 수 있다(S226).
이 때, 단계(S226)는 먼저 입력된 영상을 분할 할 수 있다(S226a).
도 5에 도시된 바와 같이, 단계(S226a)는 영역분할선을 기준으로 좌측은 책의 중앙 부분, 우측의 책의 바깥부분으로 분할하여 영역을 분할할 수 있다.
이 때, 단계(S226)는 중앙선 및 모서리를 추출할 수 있다(S226b).
즉, 단계(S226b)는 먼저 상기 설명한 라인 피팅 및 패턴 매칭을 이용하여 좌측 부분의 중앙선과 우측 부분의 모서리를 추출할 수 있다.
이 때, 단계(S226b)는 책의 한 면만 보정하기 때문에, 중앙선과 모서리는 반드시 각각 1개씩만 추출할 수 있다.
또한, 단계(S226)는 라인 에지를 추출할 수 있다(S226c).
즉, 단계(S226c)는 중앙선 쪽 라인 에지와 모서리 쪽 라인 에지를 각각 추출할 수 있다.
이 때, 단계(S226c)는 도 5에 도시된 바와 같이 잘못된 모서리가 추출될 가능성이 있기 때문에, 라인 에지의 변화량에 기반하여 모서리를 새롭게 추출할 수도 있다.
또한, 단계(S226)는 컨트롤 포인트를 삽입할 수 있다(S226d).
도 6에 도시된 바와 같이, 단계(S226d)는 중앙선 쪽 라인 에지는 책이 많이 휘어져 있는 부분이기 때문에 컨트롤 포인트를 좁게 삽입할 수 있다.
이 때, 단계(S226d)는 모서리 쪽 라인 에지는 책이 적게 휘어져 있는 부분이기 때문에 컨트롤 포인트를 넓게 삽입할 수 있다.
이 때, 단계(S226d)는 속도 향상을 위해 중앙선 쪽과 모서리 쪽 영역 분리의 콘트롤 포인트를 삽입할 영역을 같은 넓이로 설정할 수도 있다.
또한, 단계(S226)는 영역을 분리할 수 있다(S226e).
즉, 단계(S226e)는 중앙선 쪽 컨트롤 포인트가 삽입된 영역과 모서리 쪽 컨트롤 포인트가 삽입된 영역을 분리하여 입력할 수 있다.
또한, 본 발명의 일실시예에 따른 영상 보정 방법은 기하 변경을 수행할 수 있다(S230).
즉, 단계(S230)는 모드 선택에 따라 입력된 복수의 특징점들 및 컨트롤 포인트들에 기반하여 기하곡선 피팅을 수행할 수 있다.
이 때, 단계(S230)는 영상 보정을 위해 선택된 모드가 FLAT 모드 및 BOARD 모드 중 어느 하나의 모드 인 경우, 대상체의 영상에 상기 복수개의 특징점들에 기반한 기하 변경을 수행하여 사각형의 영상을 획득할 수 있다.
이 때, 단계(S230)는 사각형의 영상을 촬영하였으나 기하 변형이 발생한 경우, 사각형으로 변경할 수 있다.
이 때, 단계(S230)는 4개의 좌표 혹은 4개 이상(영상을 끝부분이 휘어져서 영역별 보정이 필요한 경우)의 복수개의 특징점들의 좌표를 입력 받을 수 있다.
이 때, 단계(S230)는 입력된 복수개의 특징점들의 좌표에 기반하여 사각형의 영상을 생성할 수 있다.
또한, 단계(S230)는 영상 보정을 위해 선택된 모드가 BOOK 모드인 경우, 입력된 컨트롤 포인트에 기반하여 기하곡선 피팅을 수행할 수 있다.
이 때, 단계(S230)는 중앙선 쪽 컨트롤 포인트와 모서리 쪽 컨트롤 포인트에 대하여 각각 기하 곡선 피팅을 수행할 수 있다.
이 때, 단계(S230)는 중앙선 쪽 컨트롤 포인트는 좁게 삽입되어 있으므로 3차원 기하곡선 피팅을 수행할 수 있다.
예를 들어, 단계(S230)는 도 6에 도시된 바와 같이, 중앙선 쪽 영역에서, 컨트롤 포인트들(c1-c2-c7-c6)을 사각형의 영역을 분할하여 기하곡선 피팅을 수행할 수 있다.
이 때, 단계(S230)는 컨트롤 포인트들(c2-c3-c8-c7)을 사각형의 영역을 분할하여 기하곡선 피팅을 수행할 수 있다.
즉, 단계(S230)는 중앙선에 가장 가까운 컨트롤 포인트부터 우측 방향으로 기설정된 포인트씩 다음 컨트롤 포인트를 선택하면서 사각형의 영역으로 분할하여 기하곡선 피팅을 수행할 수 있다.
또한, 단계(S230)는 모서리 쪽 컨트롤 포인트는 넓게 삽입되어 있으므로 2차원 기하곡선 피팅을 수행할 수 있다.
나아가, 단계(S230)는 중앙선 쪽 기하곡선 피팅이 완료된 사각형의 영상과 모서리 쪽 기하곡선 피팅이 완료된 사각형의 영상을 결합하여, 도 5에 도시된 검은 영역과 같은 기하곡선 피팅이 완료된 사각형의 영상을 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 영상 보정 방법은 색상을 변경할 수 있다(S240).
즉, 단계(S240)는 사각형의 영상을 기설정된 프리셋 파라메터에 기반하여 색상을 변경할 수 있다.
이 때, 단계(S240)는 만약 실내 환경이 변경되는 경우, 기설정된 실내 환경 설정값에 기반하여 프리셋 파라메터를 변경할 수 있다.
이 때, 단계(S240)는 프리셋을 재설정하기 위해 기설정된 채도, 색조, 명암, 대비등의 값으로 기하 보정된 사각형의 영상을 변경할 수 있고, 사용자가 수동으로 설정할 수 도 있다.
또한, 본 발명의 일실시예에 따른 영상 보정 방법은 영상을 출력할 수 있다(S250).
즉, 단계(S250)는 색상 변경된 사각형의 영상을 영상 출력 장치를 이용하여 출력할 수 있다.
영상 출력 장치는 모니터, 스마트폰 화면, 프로젝터 등에 상응할 수 있다.
도 8은 도 7에 도시된 특징점 추출 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 8을 참조하면, 단계(S220)는 먼저 모드를 선택할 수 있다(S221).
이 때, 단계(S221)는 에지 추출을 위한 고주파 필터(High Pass Filter)를 이용하여 영상을 필터링 할 수 있다.
이 때, 단계(S221)는 NxM형태의 필터 메트릭스를 생성하여 필터 연산을 수행할 수 있다.
또한, 단계(S221)는 적응적 이진화를 수행할 수 있다.
이 때, 단계(S221)는 이진화 임계값(Tth)을 적응적으로 산출할 수 있다. 예를 들어, 입력 영상은 하얀색 배경위에 다양한 문자 혹은 그림, 표 등이 작성되었다고 가정하면, 단계(S221)는 적응적 이진화를 위하여, 어두운 영역은 고주파 필터의 결과값이 낮을 수 있기 때문에, Tth 를 다른 영역보다 낮게 설정할 수 있다. 이를 위해, 단계(S221)는 전체 영역을 타일 형태로 분리하여 각 영역별 Tth 를 계산할 수 있다. Tth 는 각 영역의 평균 밝기값에 반비례하게 설정될 수 있다.
이 때, 단계(S221)는 특징점 추출을 위한 대상체의 종류에 따라 모드를 선택할 수 있다.
즉, 단계(S221)는 대상체의 종류에 따라 FLAT 모드, BOARD 모드 및 BOOK 모드 중 어느 하나의 모드를 선택할 수 있다.
도 2를 참조하면, 카메라가 A4 용지를 촬영한 것을 알 수 있다.
도 2에 도시된 바와 같이, 단계(S221)는 입력된 영상이 일반적인 A4 용지인 경우 FLAT 모드를 선택할 수 있다(S222).
또한, 단계(S220)는 선택한 FLAT 모드를 수행할 수 있다(S224).
이 때, 단계(S224)는 먼저 라인 피팅을 수행할 수 있다(S224a).
라인 피팅은 허프변환 (Hough Transform)을 이용하거나, 임의의 직선으로 매핑하는 최적화 알고리즘이 사용될 수 있다. 이때 매핑된 라인의 길이는 기설정된 길이 이상의 크기인 경우만 사용될 수 있다. 예를 들어 영상의 가로길이 및 세로길이 중 길이가 긴 쪽의 1/5정도를 사용할 수 있다.
또한, 단계(S224)는 라인 정렬을 수행할 수 있다(S224b).
즉, 단계(S224b)는 일정 길이 이상의 라인으로 영상을 피팅하면 여러 개의 선분들이 생성될 수 있다. 단계(S224b)는 이 선분들을 순서대로 정렬할 수 있다
또한, 단계(S224)는 선분들의 교점을 선택할 수 있다(S224c)
즉, 단계(S224c)는 정렬된 라인을 두 개씩 선택하여 교점을 산출 할 수 있다.
이 때, 단계(S224c)는 산출된 교점을 특징점 후보로 정의할 수 있다.
이 때, 단계(S224c)는 특징점 후보를 정의한 선분의 쌍 중에서 두 선분이 이루는 각이 기설정된 값 이상 혹은 이하인 특징점 후보는 제외할 수 있다.
즉, 단계(S224c)는 카메라를 너무 기울인 것임으로 기하보정을 해도 영상 보정이 성공할 수 없기 때문에, 의미 없는 특징점 후보로 간주하여 기설정된 값 이상 혹은 이하인 특징점 후보는 제거될 수 있다.
이 때, 단계(S224c)는 특징점 후보를 제외하고, 남은 특징점 후보들이 사각형을 이루는지 판단하여 각각을 복수개의 최종 특징점들로 추출할 수 있다.
도 3을 참조하면, 카메라가 외곽선이 있는 칠판을 촬영한 것을 알 수 있다.
도 3에 도시된 바와 같이, 단계(S220)는 입력된 영상이 외곽선을 가지고 있는 평면인 경우, BOARD 모드를 선택할 수 있다(S223).
또한, 단계(S220)는 선택한 BOARD 모드를 수행할 수 있다(S225).
즉, 단계(S225)는 먼저 패턴 매칭 모드와 라인 피팅 모드 중 어느 하나의 모드를 선택할 수 있다(S225a).
이 때, 단계(S225)는 선택한 모드가 패턴 매칭 모드인지 라인 피팅 모드 인지 판단할 수 있다(S225b).
이 때, 단계(S225)는 선택한 패턴 매칭 모드를 수행할 수 있다(S225c).
이 때, 단계(S225c)는 입력된 대상체의 4개의 코너에 존재하는 특징점들을 가장 중요한 특징점으로 판단할 수 있다.
이 때, 단계(S225c)는 4개의 코너의 존재하는 특징점들을 패턴 매칭의 트레이닝셋으로 삽입할 수 있다.
이 때, 단계(S225c)는 기설정된 다양한 기울기에 상응하는 정보를 함께 삽입할 수도 있다.
이 때, 단계(S225c)는 이진화된 영상을 대상으로 하기 때문에 다양한 조명에 대해서는 패턴 매칭을 수행할 필요가 없을 수도 있다.
다만, 단계(S225c)는 패턴 매칭을 위하여 다양한 기울기 정보가 입력되어야 하며, 패턴 매칭이 수행된 영상을 본 발명에서 사용하는 알고리즘에 따라 수행한 후 잘라서 넣는다.
즉, 단계(S225c)는 본 발명에서 사용되는 이진화 방법에 의해 이진화된 영상을 가지고 패턴 매칭을 수행하면, 탐색 공간이 작아져 특징점을 정밀하게 찾을 수 있다.
이 때, 단계(S225c)는 도 3에 도시된 칠판과 같이 끝(모서리)이 둥그런 모양을 입력으로 넣고, 끝이 직각이 경우면, 같은 모양을 실제로 다양한 각도로 사진을 찍어 넣을 수 있다. 끝 부분(모서리)은 어떠한 형태이더라도, 패턴 매칭에 의해 인식될 수 있는 것이면 된다.
이 때, 단계(S225c)는 패턴 매칭에 사용되는 것은 다양한 학습 알고리즘을 사용할 수 있다.
또한, 단계(S225)는 후보군 후처리를 수행할 수 있다(S225d).
즉, 단계(S225d)는 패턴 매칭하여 대상체의 형태가 인식 한 이후, 후보군 후처리를 수행하여 특징점의 위치를 찾을 수 있다.
이 때, 단계(S225d)는 여러 개의 패턴 매칭된 후보군 중에서 사각형을 이루는 4개의 패턴의 위치를 찾고, 이를 기반으로 코너 위치의 복수개의 최종 특징점들을 추출할 수 있다.
또한, 단계(S225)는 선택한 라인 피팅 모드를 수행할 수 있다(S225e).
라인 피팅은 허프변환 (Hough Transform)을 이용하거나, 임의의 직선으로 매핑하는 최적화 알고리즘이 사용될 수 있다. 이때 매핑된 라인의 길이는 기설정된 길이 이상의 크기인 경우만 사용될 수 있다. 예를 들어 영상의 가로길이 및 세로길이 중 길이가 긴 쪽의 1/5정도를 사용할 수 있다.
또한, 단계(S225e)는 라인 정렬을 수행할 수 있다.
즉, 단계(S225e)는 일정 길이 이상의 라인으로 영상을 피팅하면 여러 개의 선분들이 생성될 수 있다. 단계(S225e)는 선분들을 순서대로 정렬할 수 있다
이 때, 단계(S225e)는 정렬된 라인을 두 개씩 선택하여 교점을 산출 할 수 있다.
이 때, 단계(S225e)는 산출된 교점을 특징점 후보로 정의할 수 있다.
이 때, 단계(S225e)는 특징점 후보를 정의한 선분의 쌍 중에서 두 선분이 이루는 각이 기설정된 값 이상 혹은 이하인 특징점 후보는 제외할 수 있다.
즉, 단계(S225e)는 카메라를 너무 기울인 것임으로 기하보정을 해도 영상 보정이 성공할 수 없기 때문에, 의미 없는 특징점 후보로 간주하여 기설정된 값 이상 혹은 이하인 특징점 후보는 제거될 수 있다.
이 때, 단계(S225e)는 특징점 후보를 제외하고, 남은 특징점 후보들이 사각형을 이루는지 판단하여 각각을 복수개의 특징점들로 추출할 수 있다.
또한, 단계(S225)는 이중 구조를 검색할 수 있다(S225f).
즉, 단계(S225f)는 도 3에 도시된 바와 같이 외곽선을 기준으로 2개의 사각형(내부, 외부)가 생성되기 때문에, 2개의 사각형과 비슷한 위치에 있는 사각형을 검색할 수 있다.
이 때, 단계(S225f)는 정렬된 라인을 두 개씩 선택하여 2개의 사각형을 생성할 수도 있다.
이 때, 단계(S225f)는 2개의 사각형 중에 내부의 사각형을 리턴할 수 있다.
이 때, 단계(S225f)는 내부의 사각형의 모서리를 기준으로 최종 특징점들을 추출할 수 있다.
또한, 단계(S225f)는 approxPolyDP 함수를 이용하여 2개의 사각형을 한번에 처리하여 출력된 트리구조체를 분석하여 최종 특징점들을 추출할 수 있다.
나아가, 단계(S225)는 패턴 매칭 모드를 수행하여 추출한 최종 특징점들과 라인 피팅 모드를 수행하여 추출한 최종 특징점들의 정확도를 비교하여 정확도가 높은 특징점들을 결정할 수도 있다.
도 4를 참조하면, 카메라가 펼쳐진 책을 촬영한 것을 알 수 있다.
도 4에 도시된 바와 같이, 단계(S220)는 입력된 영상이 책인 경우 BOOK 모드를 선택할 수 있다(S223).
또한, 단계(S220)는 선택한 BOOK 모드를 수행할 수 있다(S226).
이 때, 단계(S226)는 먼저 입력된 영상을 분할 할 수 있다(S226a).
도 5에 도시된 바와 같이, 단계(S226a)는 영역분할선을 기준으로 좌측은 책의 중앙 부분, 우측의 책의 바깥부분으로 분할하여 영역을 분할할 수 있다.
이 때, 단계(S226)는 중앙선 및 모서리를 추출할 수 있다(S226b).
즉, 단계(S226b)는 먼저 상기 설명한 라인 피팅 및 패턴 매칭을 이용하여 좌측 부분의 중앙선과 우측 부분의 모서리를 추출할 수 있다.
이 때, 단계(S226b)는 책의 한 면만 보정하기 때문에, 중앙선과 모서리는 반드시 각각 1개씩만 추출할 수 있다.
또한, 단계(S226)는 라인 에지를 추출할 수 있다(S226c).
즉, 단계(S226c)는 중앙선 쪽 라인 에지와 모서리 쪽 라인 에지를 각각 추출할 수 있다.
이 때, 단계(S226c)는 도 5에 도시된 바와 같이 잘못된 모서리가 추출될 가능성이 있기 때문에, 라인 에지의 변화량에 기반하여 모서리를 새롭게 추출할 수도 있다.
또한, 단계(S226)는 컨트롤 포인트를 삽입할 수 있다(S226d).
도 6에 도시된 바와 같이, 단계(S226d)는 중앙선 쪽 라인 에지는 책이 많이 휘어져 있는 부분이기 때문에 컨트롤 포인트를 좁게 삽입할 수 있다.
이 때, 단계(S226d)는 모서리 쪽 라인 에지는 책이 적게 휘어져 있는 부분이기 때문에 컨트롤 포인트를 넓게 삽입할 수 있다.
이 때, 단계(S226d)는 속도 향상을 위해 중앙선 쪽과 모서리 쪽 영역 분리의 콘트롤 포인트를 삽입할 영역을 같은 넓이로 설정할 수도 있다.
또한, 단계(S226)는 영역을 분리할 수 있다(S226e).
즉, 단계(S226e)는 중앙선 쪽 컨트롤 포인트가 삽입된 영역과 모서리 쪽 컨트롤 포인트가 삽입된 영역을 분리하여 입력할 수 있다.
도 9는 도 8에 도시된 FLAT 모드 수행 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 9를 참조하면, 단계(S224)는 먼저 라인 피팅을 수행할 수 있다(S224a).
라인 피팅은 허프변환 (Hough Transform)을 이용하거나, 임의의 직선으로 매핑하는 최적화 알고리즘이 사용될 수 있다. 이때 매핑된 라인의 길이는 기설정된 길이 이상의 크기인 경우만 사용될 수 있다. 예를 들어 영상의 가로길이 및 세로길이 중 길이가 긴 쪽의 1/5정도를 사용할 수 있다.
또한, 단계(S224)는 라인 정렬을 수행할 수 있다(S224b).
즉, 단계(S224b)는 일정 길이 이상의 라인으로 영상을 피팅하면 여러 개의 선분들이 생성될 수 있다. 단계(S224b)는 이 선분들을 순서대로 정렬할 수 있다
또한, 단계(S224)는 선분들의 교점을 선택할 수 있다(S224c)
즉, 단계(S224c)는 정렬된 라인을 두 개씩 선택하여 교점을 산출 할 수 있다.
이 때, 단계(S224c)는 산출된 교점을 특징점 후보로 정의할 수 있다.
이 때, 단계(S224c)는 특징점 후보를 정의한 선분의 쌍 중에서 두 선분이 이루는 각이 기설정된 값 이상 혹은 이하인 특징점 후보는 제외할 수 있다.
즉, 단계(S224c)는 카메라를 너무 기울인 것임으로 기하보정을 해도 영상 보정이 성공할 수 없기 때문에, 의미 없는 특징점 후보로 간주하여 기설정된 값 이상 혹은 이하인 특징점 후보는 제거될 수 있다.
이 때, 단계(S224c)는 특징점 후보를 제외하고, 남은 특징점 후보들이 사각형을 이루는지 판단하여 각각을 복수개의 최종 특징점들로 추출할 수 있다.
도 10은 도 8에 도시된 BOARD 모드 수행 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 10을 참조하면, 단계(S225)는 먼저 패턴 매칭 모드와 라인 피팅 모드 중 어느 하나의 모드를 선택할 수 있다(S225a).
이 때, 단계(S225)는 선택한 모드가 패턴 매칭 모드인지 라인 피팅 모드 인지 판단할 수 있다(S225b).
이 때, 단계(S225)는 선택한 패턴 매칭 모드를 수행할 수 있다(S225c).
이 때, 단계(S225c)는 입력된 대상체의 4개의 코너에 존재하는 특징점들을 가장 중요한 특징점으로 판단할 수 있다.
이 때, 단계(S225c)는 4개의 코너의 존재하는 특징점들을 패턴 매칭의 트레이닝셋으로 삽입할 수 있다.
이 때, 단계(S225c)는 기설정된 다양한 기울기에 상응하는 정보를 함께 삽입할 수도 있다.
이 때, 단계(S225c)는 이진화된 영상을 대상으로 하기 때문에 다양한 조명에 대해서는 패턴 매칭을 수행할 필요가 없을 수도 있다.
다만, 단계(S225c)는 패턴 매칭을 위하여 다양한 기울기 정보가 입력되어야 하며, 패턴 매칭이 수행된 영상을 본 발명에서 사용하는 알고리즘에 따라 수행한 후 잘라서 넣는다.
즉, 단계(S225c)는 본 발명에서 사용되는 이진화 방법에 의해 이진화된 영상을 가지고 패턴 매칭을 수행하면, 탐색 공간이 작아져 특징점을 정밀하게 찾을 수 있다.
이 때, 단계(S225c)는 도 3에 도시된 칠판과 같이 끝(모서리)이 둥그런 모양을 입력으로 넣고, 끝이 직각이 경우면, 같은 모양을 실제로 다양한 각도로 사진을 찍어 넣을 수 있다. 끝 부분(모서리)은 어떠한 형태이더라도, 패턴 매칭에 의해 인식될 수 있는 것이면 된다.
이 때, 단계(S225c)는 패턴 매칭에 사용되는 것은 다양한 학습 알고리즘을 사용할 수 있다.
또한, 단계(S225)는 후보군 후처리를 수행할 수 있다(S225d).
즉, 단계(S225d)는 패턴 매칭하여 대상체의 형태가 인식 한 이후, 후보군 후처리를 수행하여 특징점의 위치를 찾을 수 있다.
이 때, 단계(S225d)는 여러 개의 패턴 매칭된 후보군 중에서 사각형을 이루는 4개의 패턴의 위치를 찾고, 이를 기반으로 코너 위치의 복수개의 최종 특징점들을 추출할 수 있다.
또한, 단계(S225)는 선택한 라인 피팅 모드를 수행할 수 있다(S225e).
라인 피팅은 허프변환 (Hough Transform)을 이용하거나, 임의의 직선으로 매핑하는 최적화 알고리즘이 사용될 수 있다. 이때 매핑된 라인의 길이는 기설정된 길이 이상의 크기인 경우만 사용될 수 있다. 예를 들어 영상의 가로길이 및 세로길이 중 길이가 긴 쪽의 1/5정도를 사용할 수 있다.
또한, 단계(S225e)는 라인 정렬을 수행할 수 있다.
즉, 단계(S225e)는 일정 길이 이상의 라인으로 영상을 피팅하면 여러 개의 선분들이 생성될 수 있다. 단계(S225e)는 선분들을 순서대로 정렬할 수 있다
이 때, 단계(S225e)는 정렬된 라인을 두 개씩 선택하여 교점을 산출 할 수 있다.
이 때, 단계(S225e)는 산출된 교점을 특징점 후보로 정의할 수 있다.
이 때, 단계(S225e)는 특징점 후보를 정의한 선분의 쌍 중에서 두 선분이 이루는 각이 기설정된 값 이상 혹은 이하인 특징점 후보는 제외할 수 있다.
즉, 단계(S225e)는 카메라를 너무 기울인 것임으로 기하보정을 해도 영상 보정이 성공할 수 없기 때문에, 의미 없는 특징점 후보로 간주하여 기설정된 값 이상 혹은 이하인 특징점 후보는 제거될 수 있다.
이 때, 단계(S225e)는 특징점 후보를 제외하고, 남은 특징점 후보들이 사각형을 이루는지 판단하여 각각을 복수개의 특징점들로 추출할 수 있다.
또한, 단계(S225)는 이중 구조를 검색할 수 있다(S225f).
즉, 단계(S225f)는 도 3에 도시된 바와 같이 외곽선을 기준으로 2개의 사각형(내부, 외부)가 생성되기 때문에, 2개의 사각형과 비슷한 위치에 있는 사각형을 검색할 수 있다.
이 때, 단계(S225f)는 정렬된 라인을 두 개씩 선택하여 2개의 사각형을 생성할 수도 있다.
이 때, 단계(S225f)는 2개의 사각형 중에 내부의 사각형을 리턴할 수 있다.
이 때, 단계(S225f)는 내부의 사각형의 모서리를 기준으로 최종 특징점들을 추출할 수 있다.
또한, 단계(S225f)는 approxPolyDP 함수를 이용하여 2개의 사각형을 한번에 처리하여 출력된 트리구조체를 분석하여 최종 특징점들을 추출할 수 있다.
나아가, 단계(S225)는 패턴 매칭 모드를 수행하여 추출한 최종 특징점들과 라인 피팅 모드를 수행하여 추출한 최종 특징점들의 정확도를 비교하여 정확도가 높은 특징점들을 결정할 수도 있다.
도 11은 도 8에 도시된 BOOK 모드 수행 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 11을 참조하면, 단계(S226)는 먼저 입력된 영상을 분할 할 수 있다(S226a).
도 5에 도시된 바와 같이, 단계(S226a)는 영역분할선을 기준으로 좌측은 책의 중앙 부분, 우측의 책의 바깥부분으로 분할하여 영역을 분할할 수 있다.
이 때, 단계(S226)는 중앙선 및 모서리를 추출할 수 있다(S226b).
즉, 단계(S226b)는 먼저 상기 설명한 라인 피팅 및 패턴 매칭을 이용하여 좌측 부분의 중앙선과 우측 부분의 모서리를 추출할 수 있다.
이 때, 단계(S226b)는 책의 한 면만 보정하기 때문에, 중앙선과 모서리는 반드시 각각 1개씩만 추출할 수 있다.
또한, 단계(S226)는 라인 에지를 추출할 수 있다(S226c).
즉, 단계(S226c)는 중앙선 쪽 라인 에지와 모서리 쪽 라인 에지를 각각 추출할 수 있다.
이 때, 단계(S226c)는 도 5에 도시된 바와 같이 잘못된 모서리가 추출될 가능성이 있기 때문에, 라인 에지의 변화량에 기반하여 모서리를 새롭게 추출할 수도 있다.
또한, 단계(S226)는 컨트롤 포인트를 삽입할 수 있다(S226d).
도 6에 도시된 바와 같이, 단계(S226d)는 중앙선 쪽 라인 에지는 책이 많이 휘어져 있는 부분이기 때문에 컨트롤 포인트를 좁게 삽입할 수 있다.
이 때, 단계(S226d)는 모서리 쪽 라인 에지는 책이 적게 휘어져 있는 부분이기 때문에 컨트롤 포인트를 넓게 삽입할 수 있다.
이 때, 단계(S226d)는 속도 향상을 위해 중앙선 쪽과 모서리 쪽 영역 분리의 콘트롤 포인트를 삽입할 영역을 같은 넓이로 설정할 수도 있다.
또한, 단계(S226)는 영역을 분리할 수 있다(S226e).
즉, 단계(S226e)는 중앙선 쪽 컨트롤 포인트가 삽입된 영역과 모서리 쪽 컨트롤 포인트가 삽입된 영역을 분리하여 입력할 수 있다.
도 12는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
도 12를 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 12에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
이상에서와 같이 본 발명에 따른 영상 보정 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
110: 특징점 추출부 120: 기하 변경부
130: 색상 변경부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (10)

  1. 카메라로부터 촬영된 대상체의 영상을 획득하여 대상체 종류에 따라 모드를선택하여 사각형을 이루는 복수개의 특징점들을 추출하는 특징점 추출부;
    상기 대상체의 영상에 상기 복수개의 특징점들에 기반한 기하 변경을 수행하여 사각형의 영상을 획득하는 기하 변경부; 및
    상기 사각형의 영상을 기설정된 프리셋 파라메터에 기반하여 색상을 변경하여 보정 영상을 출력하는 색상 변경부;
    를 포함하고,
    상기 특징점 추출부는
    상기 대상체의 영역 분할선을 기준으로 중앙선과 모서리를 추출하고, 상기 중앙선과 상기 모서리의 라인 에지를 추출하여 라인 에지의 변화량에 상응하는 컨트롤 포인트를 삽입하는 것을 특징으로 하는 영상 보정 장치.
  2. 청구항 1에 있어서,
    상기 특징점 추출부는
    상기 대상체의 영상에서 전체 영역을 타일 형태로 분리하여 각 타일 영역별 이진화 임계값을 계산하는 적응적 이진화를 수행하는 것을 특징으로 하는 영상 보정 장치.
  3. 청구항 2에 있어서,
    상기 특징점 추출부는
    상기 적응적 이진화가 수행된 대상체의 영상에서 상기 대상체의 외곽선이 존재하지 않는 경우 플랫(FLAT) 모드를 선택하고, 외곽선이 존재하는 경우, 보드(BOARD) 모드를 선택하는 것을 특징으로 하는 영상 보정 장치.
  4. 청구항 3에 있어서,
    상기 특징점 추출부는
    상기 플랫 모드가 선택된 경우, 상기 적응적 이진화가 수행된 대상체의 영상에 라인 피팅을 수행하여 복수개의 선분을 생성하는 것을 특징으로 하는 영상 보정 장치.
  5. 청구항 4에 있어서,
    상기 특징점 추출부는
    상기 플랫 모드가 선택된 경우, 상기 복수개의 선분을 순서대로 정렬하고, 정렬된 선분을 두 개씩 선택하여 교점들을 획득하고, 사각형을 이루는 교점들을 상기 복수개의 특징점들로 추출하는 것을 특징으로 하는 영상 보정 장치.
  6. 청구항 3에 있어서,
    상기 특징점 추출부는
    상기 보드 모드가 선택된 경우, 상기 적응적 이진화가 수행된 대상체의 영상에서 네 개의 모서리에 대한 패턴 매칭을 수행하여 매핑된 후보군들 중에서 사각형을 이루는 네 개의 패턴들을 상기 복수개의 특징점들로 추출하는 것을 특징으로 하는 영상 보정 장치.
  7. 청구항 6에 있어서,
    상기 특징점 추출부는
    상기 대상체의 종류가 책인 경우, 북 모드를 선택하고, 영역 분할선을 기준으로 중앙선과 모서리를 추출하는 것을 특징으로 하는 영상 보정 장치.
  8. 삭제
  9. 청구항 7에 있어서,
    상기 기하 변경부는
    상기 북 모드가 선택된 경우, 상기 컨트롤 포인트에 대하여 상기 중앙선 쪽과 상기 모서리쪽에 대한 기하곡선 피팅을 각각 수행하여 상기 중앙선 쪽 기하곡선 피팅이 완료된 제1 사각형의 영상과 상기 모서리 쪽 기하곡선 피팅이 완료된 제2 사각형의 영상을 결합한 제3 사각형의 영상을 생성하는 것을 특징으로 하는 영상 보정 장치.
  10. 영상 보정 장치를 이용하는 영상 보정 방법에 있어서,
    카메라로부터 촬영된 대상체의 영상을 획득하여 대상체 종류에 따라 모드를선택하여 사각형을 이루는 복수개의 특징점들을 추출하는 단계;
    상기 대상체의 영상에 상기 복수개의 특징점들에 기반한 기하 변경을 수행하여 사각형의 영상을 획득하는 단계; 및
    상기 사각형의 영상을 기설정된 프리셋 파라메터에 기반하여 색상을 변경하여 보정 영상을 출력하는 단계;
    를 포함하고,
    상기 복수개의 특징점들을 추출하는 단계는
    상기 대상체의 영역 분할선을 기준으로 중앙선과 모서리를 추출하고, 상기 중앙선과 상기 모서리의 라인 에지를 추출하여 라인 에지의 변화량에 상응하는 컨트롤 포인트를 삽입하는 것을 특징으로 하는 영상 보정 방법.
KR1020160158284A 2016-11-25 2016-11-25 영상 보정 장치 및 방법 KR102002531B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160158284A KR102002531B1 (ko) 2016-11-25 2016-11-25 영상 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160158284A KR102002531B1 (ko) 2016-11-25 2016-11-25 영상 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180059108A KR20180059108A (ko) 2018-06-04
KR102002531B1 true KR102002531B1 (ko) 2019-07-22

Family

ID=62628153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160158284A KR102002531B1 (ko) 2016-11-25 2016-11-25 영상 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102002531B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013089234A (ja) * 2011-10-17 2013-05-13 Sharp Corp 画像処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100569194B1 (ko) * 2003-12-19 2006-04-10 한국전자통신연구원 카메라 문서영상의 기하학적 왜곡 보정방법
KR20160031966A (ko) * 2014-09-15 2016-03-23 한국과학기술원 멀티 프로젝션 시스템 및 이의 프로젝터 보정 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013089234A (ja) * 2011-10-17 2013-05-13 Sharp Corp 画像処理装置

Also Published As

Publication number Publication date
KR20180059108A (ko) 2018-06-04

Similar Documents

Publication Publication Date Title
CN108171297B (zh) 一种答题卡识别方法
Burie et al. ICDAR2015 competition on smartphone document capture and OCR (SmartDoc)
CN108805116B (zh) 图像文本检测方法及其系统
JP4928310B2 (ja) ナンバープレート認識装置、その制御方法、コンピュータプログラム
US9053361B2 (en) Identifying regions of text to merge in a natural image or video frame
CN110866871A (zh) 文本图像矫正方法、装置、计算机设备及存储介质
WO2014160433A2 (en) Systems and methods for classifying objects in digital images captured using mobile devices
US10504215B2 (en) Method of correcting a captured image, method of selecting a drawing sketched on a page or on two adjacent pages of a notebook, a relative app for smartphone, a hardback notebook and a hardback agenda
CN109902541B (zh) 一种图像识别的方法及系统
US20180082456A1 (en) Image viewpoint transformation apparatus and method
US10455163B2 (en) Image processing apparatus that generates a combined image, control method, and storage medium
KR101742115B1 (ko) 건물 인식을 위한 멀티뷰 영상에서의 인라이어 선택 및 잉여 제거 방법
CN112446262A (zh) 文本分析方法、装置、终端和计算机可读存储介质
US11216905B2 (en) Automatic detection, counting, and measurement of lumber boards using a handheld device
CN110738604B (zh) 基于Canny算子和Hough变换的大倾角证件图像矫正方法及系统
US10275888B2 (en) Algorithmic method for detection of documents in images
CN104933430B (zh) 一种用于移动终端的交互式图像处理方法及系统
KR102002531B1 (ko) 영상 보정 장치 및 방법
JP6517652B2 (ja) 物体顕著性マップ算出装置、方法、及びプログラム
JP2017500662A (ja) 投影ひずみを補正するための方法及びシステム
CN108182391B (zh) 一种基于教育视频自动提取不重复的幻灯片方法
CN114359322A (zh) 图像校正、拼接方法及相关装置、设备、系统和存储介质
US20220198814A1 (en) Image dewarping with curved document boundaries
Sami et al. Text detection and recognition for semantic mapping in indoor navigation
CN112052723A (zh) 识字卡片、基于图像识别的桌面场景的str方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant