KR20150045080A - 저시력자를 위한 영상보정방법 및 이를 위한 장치 - Google Patents

저시력자를 위한 영상보정방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR20150045080A
KR20150045080A KR20130124306A KR20130124306A KR20150045080A KR 20150045080 A KR20150045080 A KR 20150045080A KR 20130124306 A KR20130124306 A KR 20130124306A KR 20130124306 A KR20130124306 A KR 20130124306A KR 20150045080 A KR20150045080 A KR 20150045080A
Authority
KR
South Korea
Prior art keywords
image
unit
photographed
photographing
overlapping
Prior art date
Application number
KR20130124306A
Other languages
English (en)
Other versions
KR101565926B1 (ko
Inventor
윤양택
최경선
이상준
김일형
류영국
Original Assignee
주식회사 힘스인터내셔널
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 힘스인터내셔널 filed Critical 주식회사 힘스인터내셔널
Priority to KR1020130124306A priority Critical patent/KR101565926B1/ko
Priority to US14/263,045 priority patent/US9355323B2/en
Publication of KR20150045080A publication Critical patent/KR20150045080A/ko
Application granted granted Critical
Publication of KR101565926B1 publication Critical patent/KR101565926B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/06—Projectors or projection-type viewers; Accessories therefor affording only episcopic projection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명은 영상보정장치를 이용하여 촬영하고자 하는 피사체를 분할하여 확대 촬영하고, 분할 촬영된 영상을 보정하여 하나의 영상으로 제공하기 위한 저시력자를 위한 영상보정방법 및 이를 위한 장치에 관한 것이다. 본 발명은 촬영하고자 하는 피사체를 적어도 하나 이상의 영역으로 분할하는 분할단계와 영상촬영부를 통해 임의로 설정된 코스로 상기 분할된 각 영역을 순차적으로 촬영하는 개별촬영단계와 상기 촬영된 각 영상의 비대칭도를 보정하는 영상보정단계와 상기 보정된 각 영상을 합성하여 하나의 영상으로 생성하는 영상합성단계를 포함하는 것을 특징으로 한다. 따라서 영상을 분할 및 확대 촬영하여 촬영한 영상을 하나의 영상으로 생성하여 제공함으로써, 높은 해상도의 영상를 제공하며, 이에 따라 높은 문자 인식률 및 정지 영상에 대한 고해상도 영상을 제공하는 효과가 있다.

Description

저시력자를 위한 영상보정방법 및 이를 위한 장치{METHOD FOR COMPENSATING IMAGE FOR LOW VISION PERSON AND APPARATUS FOR THE SAME}
본 발명은 저시력자를 위해 확대 촬영한 영상을 보정하는 방법 및 장치에 관한 것으로, 더욱 상세하게는 영상보정장치를 이용하여 촬영하고자 하는 피사체를 분할하여 확대 촬영하고, 분할 촬영된 영상을 보정하여 하나의 영상으로 제공하기 위한 저시력자를 위한 영상보정방법 및 이를 위한 장치에 관한 것이다.
통상 시각장애인 또는 저시력자는 여러 종류의 안질환으로 인하여 정상 시력을 잃어 사물을 인식하지 못하거나, 사물을 인식하더라도 아주 근거리의 사물만을 인지할 수 있다. 저시력자의 손상된 시력을 보완해 주기 위해 영상확대장치를 사용한다. 영상확대장치는 책, 약병, 영수증 등과 같은 일상생활에서 접하게 되는 사물에 대해 영상을 확대하여 보여주는 장치이다.
이에 한국 공개특허 1997-0073059(이하 '선행문헌'이라 칭함)는, 촬상물을 올려놓고 촬상을 행하며 촬상된 광학적 영상을 영상신호로 변환시켜 출력하는 촬상수단과, 상기 촬상수단에 분리가능하게 장착되며, 촬상물의 영상을 고배율로 확대하여 상기 촬상수단에 전달하는 영상확대수단과, 상기 촬상수단으로부터 출력되는 영상신호를 전달받아 변환하여 영상으로 출력하는 영상출력수단을 포함한다.
선행문헌은 촬상물을 확대 촬영하여 영상 출력함으로써, 출력된 화면을 통해 저시력자가 근거리에서 촬상물을 살펴볼 수 있는 장점을 가지고 있다.
하지만 선행문헌은 단순히 촬상물을 확대 촬영하여 영상 출력하는 수단을 가지는 구조이다. 이와 같이 선행문헌은 영상확대장치로써의 기능은 제공하지만, 촬영수단의 해상도를 높이기 위한 수단과 영상의 비뚤어짐, 기울어짐 등 왜곡된 영상을 보정할 수 있는 기술은 포함하고 있지 않다. 선행문헌은 고해상도의 영상을 얻기 위해서는 고해상도를 제공하는 촬영수단을 구비해야 하는 단점을 가지고 있으며, 영상의 비뚤어짐, 기울어짐을 복원하지 못해 사다리꼴 왜곡을 포함하는 영상을 제공하는 문제점을 가지게 된다.
1. 대한민국 공개특허공보 특 1997-0073059, 공개일자 1997년 11월 07일, 발명의 명칭 : 실물화상시스템 및 실물화상기
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서 한 장의 문서에 대해 다수의 영역으로 분할하고 분할된 영역을 확대 촬영한 후에 각 영역의 이미지를 하나의 이미지로 합침으로써 고화질의 영상을 제공하며, 영상의 기울어진 정도를 인식하여 영상의 기울어짐을 보정할 수 있는 저시력자를 위한 영상보정방법 및 이를 위한 장치를 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 관점에 따른 저시력자를 위한 영상보정방법은 제어부(300)에서 촬영하고자 하는 피사체에 대해 적어도 하나 이상의 영역으로 분할하는 분할단계와 각 분할 영역을 촬영하기 위한 순서를 기반으로 순차적으로 각 영역으로 이동하여 영상촬영부(100)로 각 영역을 촬영하는 촬영단계와 촬영된 각 영상에 대해 보정하는 영상보정단계와 보정된 영상을 하나의 영상으로 합성하는 영상합성단계를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 실시 예에 따른 상기 영상분할단계는 사용자가 유저인터페이스부(400)를 통해 피사체의 확대 배율을 설정하는 배율설정단계와 설정된 확대 배율에 따라 피사체의 영역을 분할하는 영역분할단계를 포함한다.
본 발명의 바람직한 실시 예에 따른 상기 촬영단계는 분할된 영역의 촬영 순서를 결정하는 촬영순서 결정단계와 결정된 순서에 따라 카메라의 각도를 조절하는 카메라 각도 조절단계 및 사용자가 설정한 확대 배율로 피사체의 분할된 영역을 촬영하는 촬영단계를 포함한다.
본 발명의 바람직한 실시 예에 따른 상기 영상보정단계는 카메라의 기울어진 각도를 수신받는 카메라 각도 수신단계와 카메라와 베이스부(700)간 기울어진 각도를 기준으로 영상을 절단하는 영상절단단계 및 절단된 영상을 기 설정된 크기의 영상으로 늘리는 영상복원단계를 포함한다.
본 발명의 바람직한 실시 예에 따른 상기 영상합성단계는 상기 분할된 각 영역마다 임의로 설정된 구간만큼 중첩하여 촬영할 중첩영역을 설정하는 중첩영역 설정단계와 상기 중첩영역에서의 RGB 또는 YUV 등과 같이 픽셀에 대한 정보값의 비교를 통해 중첩영역을 식별하는 중첩영역 식별단계와 상기 중첩영역상에서 RGB 또는 YUV 등과 같이 픽셀에 대한 정보값이 동일한 지점을 중첩하여 영상을 합성하는 영상합성단계를 포함한다. 또한, 상기 영상합성단계 이후, 상기 생성된 영상에 포함되어 있는 문자를 인식하는 문자인식단계를 더 포함하며, 상기 문자인식단계 이후, 인식된 문자를 음성으로 변환하기 위한 문자음성변환단계를 포함하며, 생성된 음성을 출력하기 위한 적어도 하나 이상의 음성출력수단을 통해 음성 출력하는 음성출력단계를 더 포함하며, 음성출력 시 문자와 동기화를 수행하여 음성으로 출력되는 문자에 하이라이팅 효과를 주는 단계를 더 포함한다.
상기 목적을 달성하기 위한 본 발명에 관점에 따른 저시력자를 위한 영상보정장치는 피사체의 영상을 촬영하기 위한 영상촬영부(100)와 상기 영상촬영장치를 좌측 및 우측으로 각도 제어하기 위한 제 1 모터부(210)와 상기 영상촬영장치를 상측 및 하측으로 각도 제어하기 위한 제 2 모터부(220)와 사용자로부터 상기 제 1 모터부(210) 및 제 2 모터부(220)를 제어하기 위한 입력신호를 입력 받기 위한 유저인터페이스부(400)와 상기 영상촬영부(100)가 촬영하고자 하는 피사체를 적어도 하나 이상의 영역으로 분할하고, 상기 영상촬영부(100)가 촬영한 영상의 비대칭도를 보정한 후 각각의 영상을 합성하기 위한 제어부(300)를 포함하고 있는 것을 특징으로 한다.
본 발명의 바람직한 실시 예에 따른 상기 유저인터페이스부(400)를 통해 사용자의 입력을 받으며 배율에 따라 분할 영역을 나누는 것을 특징으로 한다.
본 발명의 바람직한 실시 예에 따른 상기 제어부(300)는 영상촬영부(100)가 촬영하고자 하는 피사체를 적어도 하나 이상의 영역으로 분할하는 분할부(310)와 유저인터페이스부(400)로부터 입력된 신호에 따른 영상촬영부(100)의 기울어진 각도를 식별하는 식별부(320)와 식별된 영상촬영부(100)의 기울어진 각도에 따른 영상의 기울기 값을 분석하는 분석부(330)와 상기 분할된 각 영역에 기 설정된 기준점으로부터 상기 영상의 기울기 값에 따라 영상을 절단하고, 상기 절단된 영상을 기 설정된 크기의 영상으로 복원하는 보정부(340)와 상기 분할된 각 영역마다 임의로 설정된 구간만큼 중첩하여 촬영할 중첩영역을 설정하고, 분할된 영역을 촬영하여 각 영역 이미지별 중첩 영역에 대해 RGB 또는 YUV 등과 같이 픽셀에 대한 정보값의 비교를 통해 중첩영역을 식별하며, 식별된 중첩 영역을 기반으로 영상을 합성하는 중첩부(350)와 상기 생성된 영상에 포함되어 있는 문자를 인식하는 문자인식부(360)와 상기 인식된 문자를 음성 데이터로 변환하는 문자음성변환부(370), 음성 데이터를 출력하기 위한 적어도 하나 이상의 음성출력수단을 통해 음성 출력하는 음성출력부(380)를 포함하되, 상기 영상촬영부(100)는 상기 제어부(300)를 통해 미리 설정된 코스로 상기 분할된 각 영역을 순차적으로 촬영하는 것을 특징으로 한다.
본 발명의 저시력자를 위한 영상보정방법 및 이를 위한 장치는 낮은 해상도의 촬영수단을 이용하여 높은 해상도의 영상을 사용자에게 제공할 수 있도록 피사체를 분할 및 확대하여 촬영하고 촬영된 영상을 하나의 영상으로 합성할 수 있다.
또한 본 발명은 저시력자가 영상을 쉽게 인식할 수 있도록 촬영하며 왜곡된 영상을 보정하고, 문자인식부, 문자음성변환부 및 음성출력부 등을 통하여 촬영된 영상에 포함된 문자를 저시력자가 인식할 수 있는 문자 및 음성으로 출력함으로써 인지력을 향상시키는 장점이 있다.
도 1은 본 발명에 따른 저시력자를 위한 영상보정장치의 기능 블록도를 나타내는 도면이다.
도 2는 본 발명에 따른 저시력자를 위한 영상보정장치의 전체적인 모습을 나타내는 사시도이다.
도 3은 본 발명에 따른 영상촬영부 및 제 1 모터부, 제 2 모터부를 나타내는 도면이다.
도 4는 본 발명에 따른 제어부의 기능 블록도를 나타내는 도면이다.
도 5는 본 발명에 따른 보정부를 통해 영상을 보정하는 방법을 나타내는 도면이다.
도 6은 본 발명에 따른 촬영된 영상을 보정하는 단계를 설명하기 위한 도면이다.
도 7는 본 발명에 따른 분할부로 통해 분할된 영상의 중첩영역을 나타내기 위한 도면이다.
도 8은 본 발명에 따른 저시력자를 위한 영상보정방법에 대한 플로우챠트를 나타낸다.
도 9는 본 발명에 따른 분할단계를 설명하기 위한 플로우챠트이다.
도 10은 본 발명에 따른 촬영단계를 설명하기 위한 플로우챠트이다.
도 11은 본 발명에 따른 영상보정단계를 설명하기 위한 플로우챠트이다.
도 12는 본 발명에 따른 영상합성단계를 설명하기 위한 플로우챠트이다.
이하, 본 발명의 바람직한 실시 예에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다. 본 발명의 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
도 1은 본 발명에 따른 저시력자를 위한 영상보정장치의 기능 블록도를 나타내는 도면, 도 2는 본 발명에 따른 영상 보정장치의 사시도이며, 도 3은 본 발명에 따른 영상촬영부 및 모터부의 사시도이며, 도 4는 본 발명에 따른 제어부의 기능 블록도를 나타내는 도면, 도 5는 보정부를 통해 영상을 보정하는 방법을 나타내는 도면, 도 6는 본 발명에 따른 촬영된 영상을 보정하는 단계를 설명하기 위한 도면, 도 7는 본 발명에 따른 분할부로 통해 분할된 영상의 중첩영역을 나타내기 위한 도면에 관한 것이다.
도 1 및 도 2 를 참조하면 본 발명의 저시력자를 위한 영상보정장치는 영상촬영부(100)를 포함한다. 영상촬영부(100)는 피사체를 촬영하기 위한 장치이며 내부에 카메라(camera), 캠(cam)과 같은 촬영장치 등이 설치되어 있다. 영상촬영부(100)는 촬영된 영상을 보정하기 위해 제어부(300)과 연결되며, 제어부(300)에서 보정 및 합성된 영상을 외부로 출력하기 위해 디스플레이장치(500)와 연결되며, 디스플레이장치(500)는 모니터, TV, PC 등으로 대체될 수 있다.
도 2를 참조하면 본 발명의 저시력자를 위한 영상보정장치는 일측단이 영상촬영장치(100)와 연결되는 지지대(600) 및 상면에 피사체가 안착되고 지지대(600)의 타측단과 연결되는 베이스(700)를 포함한다. 베이스(700)는 구조적 안정상 지지대(600) 및 영상촬영장치(100)를 지지할 수 있는 구조로 형성될 수 있으며 바람직하게는 상면이 넓은 면적을 갖는 판 형상으로 형성될 수 있다.
도 1 및 도 3을 참조하면 지지대(600)와 영상촬영부(100) 사이에는 지지대(600)와 영상촬영부(100)를 연결하는 구동부(800)가 형성된다. 구동부(800)의 상면에는 상방향으로 돌출형성되는 삽입로드(810)가 형성된다. 영상촬영부(100)는 삽입로드(810)에 삽입되어 삽입로드(810)을 중심으로 회전할 수 있다. 또한 지지대(600)의 일측에는 구동부(800)에 형성된 체결공(820)에 삽입되는 회전축(610)이 돌출형성된다. 회전축(610)이 체결공(820)에 삽입됨에 따라 구동부(800)는 회전축(610)을 중심으로 회전할 수 있다.
도 1 및 도 3을 참조하면 영상촬영부(100) 내부에는 영상촬영부(100)를 좌측 및 우측방향으로 회전시킬 수 있는 제 1 모터부(210)가 형성된다. 제 1 모터부(210)는 제 1 모터부(210)의 동력을 전달받아 회전하는 제 1 기어(211)를 포함한다. 즉 제 1 모터부(210)의 제 1 기어(211)는 영상촬영부(100)가 삽입로드(810)를 중심으로 회전될 수 있도록 삽입로드(810)의 외주면에 형성된 제 2 기어(811)와 맞물린다. 따라서 제 1 모터부(210)는 영상촬영부(100)가 베이스(700)의 X축 방향으로 회전하여 피사체를 촬영할 수 있도록 영상촬영부(100)를 제어한다.
도 3을 참조하면 구동부(800)의 내부에는 제 2 모터부(220)가 형성된다. 제 2 모터부(220)는 제 2 모터부(220)의 동력을 전달받아 회전하는 제 3 기어(221)를 포함한다. 제 2 모터부(220)의 제 3 기어(221)는 영상촬영부(100)를 상측 및 하측 방향으로 회전시킬 수 있도록 회전축(610)의 외주면에 형성된 제 4 기어(611)와 맞물린다. 따라서 제 2 모터부(220)는 영상촬영부(100)가 베이스(700)의 Y축방향으로 회전하여 피사체를 촬영할 수 있도록 영상촬영부(100)를 제어한다. 여기서 제 1 모터부(210) 및 제 2 모터부(220)는 직류모터(DC-motor), 서보모터(servo-motor), 스텝모터(stepper-motor) 등이 사용될 수 있다.
도1과 도2를 참조하면 유저인터페이스부(400)는 유선 또는 무선 컨트롤러의 형태를 취할 수 있으며, 유저인터페이스(400)에 입력신호를 입력하는 입력수단으로는 조이스틱(joy stick), 버튼(button), 터치패널(touch panel), 마우스(mouse), 키보드(keyboard) 등으로 구성될 수 있다. 유저인터페이스부(400)는 외부(사용자)로부터 입력신호를 입력받으면 제 1 모터부(210) 및 제 2 모터부(220)의 구동을 제어할 수 있다.
한편 유저인터페이스부(400)는 디스플레이장치(500)와 상호 레이어 구조를 이룰 경우 디스플레이장치(500)에 터치스크린(touch screen)으로 형성될 수 있다.
도 1을 참조하면 제 1 모터부(210), 제 2모터부(220)의 구동을 제어하는 제어부(300)가 형성된다. 제어부(300)는 지지대(600) 또는 베이스(700)의 내부에 형성될 수 있다. 제어부(300)는 영상촬영부(100)와 연결되어 영상촬영부(100)가 촬영하고자 하는 피사체를 적어도 하나 이상의 영역으로 분할하고 촬영된 영상의 비대칭도를 보정한 후 각각의 영상을 합성하여 디스플레이장치(500)로 전송한다.
도 4를 참조하면 제어부(300)는 분할부(310)를 포함한다. 분할부(310)는 영상촬영부(100)가 촬영하고자 하는 피사체를 적어도 하나 이상의 가상의 영역으로 분할할 수 있으며 영상촬영부(100)를 통하여 촬영된 영상을 사용자가 설정한 피사체 확대 배율에 따라 피사체의 영역을 분할하여 확대할 수 있다.
예를 들면 x2 배율의 경우 2분할, x4 배율의 경우 4분할 등으로 촬영된 피사체의 영역을 가상 분할한다. 영역에 대해 가상 분할이 완료되면 영상촬영부(100)가 분할된 각 영역을 순차적으로 개별 촬영한다. 이때 영상촬영부(100)가 분할된 각 영역을 설정된 확대 배율에 따라 확대하여 촬영할 수 있다. 즉 영상촬영부(100)가 촬영하고자 하는 피사체를 한 화면에 모두 촬영하기 위해 x1의 배율을 사용하였다면, 4등분으로 나누어진 영역 중 하나의 영역을 촬영할 경우 x4의 배율로 촬영한다. 이와 같이 영상촬영부(100)가 각각의 분할 영역을 확대 촬영하여 하나의 이미지로 합성함으로써, 피사체의 동일한 면적에 대해 x1의 배율로 촬영했을 때보다 고밀도로 촬영함으로 더 높은 고해상도의 영상 확보가 가능해진다.
도 2 및 도 7 을 참조하여 영상촬영부(100)가 6등분으로 분할된 각 영역을 촬영한다고 가정하면 제어부(300)는 영상촬영부(100)가 움직일 이동경로를 미리 설정하고 제 1 모터부(210) 및 제 2 모터부(220)에 이동경로가 설정된 신호를 전달한다. 이때 설정된 이동경로는 영상촬영부(100)가 1부터 6까지의 영역을 행별로 촬영할 수 있는 경로이거나 'ㄹ'자의 형태로 촬영할 수 있는 경로 등 다양한 궤적을 가질 수 있다.
예를 들면 유저인터페이스부(400)가 6등분으로 분할된 영역 중 1영역에 대한 영상을 촬영하기 위한 신호를 제어부(300)로 송신하면 제어부(300)는 유저인터페이스부(400)로부터 전송된 신호와 대응되는 미리 설정되어 있는 신호(실행정보)를 추출하여 제 1 모터부(210) 및 제 2 모터부(220)로 전송하게 된다. 이후 제 1 모터부(210) 및 제 2 모터부(220)는 설정된 이동경로에 따라 지정되어 있는 각도만큼 회전하여 1영역을 촬영할 수 있다.
도 2 및 도 4를 참조하면 제어부(300)는 식별부(320)를 포함한다. 식별부(320)는 유저인터페이스부(400)로부터 입력신호를 전달받아 상기 제 1 모터부(210) 및 상기 제 2 모터부(220)의 구동에 의해 상기 영상촬영부(100)가 회전하면 상기 영상촬영부(100)의 기울어진 기울기 값을 분석한다. 식별부(320)는 유저인터페이스부(300)로부터 입력된 신호 또는 제 1 모터부(210) 및 제 2 모터부(220) 각각의 회전각도 등을 참고하여 영상촬영부(100)의 기울어진 각도를 식별할 수 있다.
도 2 및 도 7을 참조하여 예를 들면 영상촬영부(100)가 X축과 Y축의 교차지점인 베이스(700)의 중심점(O)을 촬영하고 있다고 가정하고, 제어부(300)가 유저인터페이스(400)로부터 1영역을 촬영하라는 신호를 전달받으면 제어부(300)는 제 1 모터부(210)의 제 1 기어(211)를 좌측방향으로 10°회전시키고 제 2 모터부(220)의 제 3 기어 상측방향으로 10° 회전시킨다. 이후 제어부(300)는 제 1 모터부(210)와 제 2 모터부(220)의 회전값을 식별부(320)로 전달하고 식별부(320)는 제 1 모터부(210)와 제 2 모터부(220)의 회전값을 전달받아 영상촬영부(100)의 기울어진 각도를 식별할 수 있다.
도 4 및 도 7 을 참조하면 분석부(330)는 영상촬영부(100)가 1영역을 촬영한 영상의 기울기 값 분석한다. 영상촬영부(100)가 기울어지면서 피사체를 촬영하기 때문에 촬영된 영상은 식별부(320)를 통해 식별된 영상촬영부(100)의 기울어진 각도와 상응된다. 여기서 영상의 기울기 값은 영상촬영부(100)가 촬영한 영상의 출력되는 형태 및 크기를 포함한 데이터 값이라 할 수 있다. 따라서 분석부(330)는 식별부(320)를 통해 수집된 영상촬영부(100)의 기울어진 각도 정보를 통해 영상의 출력되어질 형태 및 크기를 분석할 수 있다.
도 4 및 도 5를 참조하면 제어부(300)는 분석부(330)를 통해 분석된 기울기 값을 기반으로 촬영한 영상을 보정하는 보정부(340)를 포함한다. 영상촬영부(100)가 기울어진 상태에서 촬영된 영상은 사다리꼴 등의 형태를 가지게 된다. 촬영된 영상의 형태는 분석부(330)를 통해 분석된 영상의 기울기 값과 같이 베이스부(700)과 이루는 각도를 나타낸다. 이때 촬영된 영상에는 영상을 보정하기 위해 보정부(340)에 의해 제어되는 가상의 점과 선 등이 그려진다. 이는 영상의 기준이 되는 가상의 기준점(SP) 영상이 디스플레이장치(500)로 출력되는 면적을 표시하는 영상출력선(PL) 및 영상의 기울기 값에 따라 결정되는 이동점(MP) 및 이동점(MP)이 이동되는 확대점(WP)으로 이루어진다.
도 6을 참조하여 보정부(340)를 통해 영상을 보정하는 방법을 설명한다. 보정부(340)는 영상출력선(PL)을 설정하며, 영상출력선(PL)상에 영상촬영부(100)를 통해 촬영된 영상을 출력한다. 이후 기준점(SP)과 이동점(MP) 및 확대점(WP)을 생성한다. 이때 기준점(SP)과 이동점(MP)을 연결하는 가상의 직선의 외측에 있는 영상은 절단하여 삭제한다. 영상의 절단이 완료되면 이동점(MP)을 확대점(WP)으로 이동시킴으로써 절단된 영상을 미리 기 설정된 크기의 영상으로 출력할 수 있다.
이와 같이 보정부(340)는 사영변환(Projective Transform)을 통해 보정하며, 보간법은 Bilinear, Bicubic, Lanczos 등과 같은 알고리즘을 이용하여 이동점(MP)을 확대점(WP)으로 이동시키고 영상 정보를 재생성할 수 있다. 따라서 영상촬영부(100)가 촬영하고자 하는 피사체를 기울어진 상태로 촬영(사다리꼴형태로 출력되는 영상)하더라도 기울어짐이 없는 영상으로 디스플레이부(500)에 출력할 수 있다.
도 4를 참조하면 제어부(300)는 중첩부(350)를 포함한다. 중첩부(350)는 분할된 각 영상을 중첩하여 하나의 영상을 생성한다.
도 7을 참조하면 촬영하고자 하는 피사체를 1 부터 6까지의 영역으로 분할한다고 가정한다. 이때 각 영역은 인접해 있는 영역과 일정 영역만큼 중첩되어 있는 중첩영역을 가진다. 중첩영역은 1영역과 2영역이 중첩되는 'A', 1영역과 3영역이 중첩되는 'B', 2영역과 4영역이 중첩되는 'C', 3영역과 4영역이 중첩되는 'D', 3영역과 5영역이 중첩되는 'E', 4영역과 6영역이 중첩되는 'F', 5영역과 6영역이 중첩되는 'G'의 중첩영역을 갖는다. 여기서 중첩영역은 사용자가 임의로 범위를 설정하여 지정할 수 있다.
사용자의 의해 중첩영역이 설정되면 영상촬영부(100)는 분할된 각 영역만을 촬영하는 것이 아닌 각 영역에 포함된 중첩영역까지 포함하여 촬영하게 된다. 즉, 영상촬영부(100)가 1영역을 촬영하면 중첩영역 'A', 'B'를 포함하여 촬영한다. 따라서 1 내지 6 영역의 촬영된 영상의 중첩영역을 합치면 분할된 영상을 하나의 영상으로 만드는 것이 가능하다.
또한, 중첩부(350)는 중첩영역에서의 RGB, YUV 등을 이용하는 픽셀에 대한 정보값의 비교를 통해 중첩영역을 식별할 수 있다. 예를 들면 1영역과 2영역이 각각 포함하고 있는 중첩영역 'A'를 겹친 후 겹쳐진 중첩영역 'A'에서 RGB, YUV 등을 이용하는 픽셀에 대한 정보값을 비교한다. 이때 중첩영역의 RGB, YUV 등을 이용하는 픽셀에 대한 정보값의 비교를 통해, 1영역과 2영역 각각의 중첩영역 'A'가 상호 일치할 수 있도록 중첩부(350)는 1영역과 2영역을 조절한다. 따라서 영상이 동일한 지점에 따라 분할된 영상을 오차 없이 하나의 영상으로 생성할 수 있다.
또한 중첩영역은 1 내지 4영역과 공통으로 중첩되는 영역인 'H'와 3 내지 6영역과 공통으로 중첩되는 영역인 'I'를 갖는다. 이때 중첩부(350)가 'H' 영역을 RGB, YUV 등과 같이 픽셀에 대한 정보값이 일치하는 영역을 검사하는데, 이는 동시에 1 내지 4영역이 오차 없이 중첩될 수 있기 때문에 처리시간을 단축시킬 수 있는 장점이 있다.
도 4를 참조하면 제어부(300)는 데이터베이스부(390)를 포함한다. 데이터베이스부(390)는 유저인터페이스로부터 수신된 각 신호에 따른 제어부(300)가 실행되어야 할 정보를 저장하고 있다. 따라서 제어부(300)는 유저인터페이스부(400)를 통해 입력신호를 입력받으면 데이터베이스부(390)에 저장된 입력신호와 대응되는 정보를 제 1모터부(210), 제 2모터부(220)에 전송할 수 있다.
도 4를 참조하면 제어부(300)는 생성된 영상에 포함되어 있는 문자를 인식하는 문자인식부(360)를 포함한다. 영상촬영부(100)가 피사체를 여러 개의 영역으로 분할 및 확대하여 촬영하면 촬영된 영상은 높은 해상도를 가지게 되며 높은 해상도임으로 문자인식부(360)의 문자 인식률이 높아질 수 있다. 따라서 낮은 해상도를 지원하는 영상촬영부(100)에서도 문자 인식률을 높일 수 있는 효과가 있다. 문자인식부(360)는 영상을 인식하기 위해서 OCR(optical character reader)등을 사용할 수 있다.
도 4를 참조하면 제어부(300)는 문자음성변환부(370)와 음성출력부(380)를 포함한다. 문자인식부(360)를 통해 인식된 문자를 음성으로 변환하기 위한 문자음성변환부(370), 음성 데이터를 출력하기 위한 음성출력부(380)는 적어도 하나 이상의 음성출력수단을 통해 음성으로 출력한다. 여기서 음성출력수단으로는 스피커를 사용하는 것이 바람직하다. 또한, 문자음성변환부(370)는 인식된 문자를 음성출력하기 위하여 TTS(text to speech)와 같이 문자음성 자동변환 기술을 사용한다. 또한 음성 출력과 인식된 문자를 동기화하여 음성으로 출력되는 문자에 하이라이팅 효과를 줄 수 있다.
도 8 내지 12을 통해, 본 발명의 바람직한 일 실시예에 따른 저시력자를 위한 영상보정방법에 대하여 설명한다. 도 8은 본 발명에 따른 저시력자를 위한 영상보정방법에 대한 플로우챠트를 나타낸다. 도 9는 본 발명에 따른 분할단계를 설명하기 위한 플로우챠트이다. 도 10은 본 발명에 따른 촬영단계를 설명하기 위한 플로우챠트이다. 도 11은 본 발명에 따른 영상보정단계를 설명하기 위한 플로우챠트이다. 도 12는 본 발명에 따른 영상합성단계를 설명하기 위한 플로우챠트이다.
도 8을 참조하면, 촬영하고자 하는 피사체를 적어도 하나 이상의 영역으로 분할한다(S601). 이에 따라 영상촬영부(100)가 촬영하고자 하는 피사체를 설정된 적어도 하나 이상의 영역으로 분할한다. 영역 설정은 사용자에 의해 6등분, 8등분 등과 같이 여러 개의 등분으로 설정된다.
영상촬영부(100)를 통해 임의로 설정된 코스로 상기 분할된 각 영역을 순차적으로 확대 촬영한다(S602). 영상촬영부(100)는 각 영역을 순차적으로 촬영하기 위해 제어부(300)를 통해 미리 설정된 코스로 촬영한다.
확대 촬영된 영상의 경우 사다리꼴 왜곡이 나타나며 이를 보정하기 위해 각 영상 촬영시 카메라의 기울기를 통해 영상의 기울기를 분석하고 기울기를 바탕으로 각 영상의 사다리꼴 왜곡을 보정한다(S603).
보정된 각각의 영상을 합성하여 하나의 영상을 생성한다(S604). 이로 인해 저해상도 촬영 수단을 이용하더라도, 높은 해상도의 영상을 획득할 수 있다.
이하 도 9 내지 도 11을 통해, 각 단계에 대해 설명한다.
도 9를 참조하면, 피사체의 촬영 영역을 분할하는 단계는 사용자가 유저인터페이스부(400)를 통해 피사체의 확대 배율을 설정하고(S701), 설정된 확대 배율에 따라 피사체의 촬영 영역을 분할한다(S702). 예를 들면 사용자가 x4 배율을 설정한 경우 피사체의 촬영 영역을 4분할한다.
도 10을 참조하면, 피사체를 촬영하는 단계는 분할된 영역의 촬영 순서를 결정하고(S801), 결정된 촬영 순서에 따라 카메라의 각도를 조절하며(S802), 사용자가 설정한 확대 배율로 피사체의 분할 영역을 설정된 각도로 촬영함으로써, 각 분할 영역에 대한 영상을 획득한다(S803).
도 11을 참조하면, 촬영을 통해 얻은 각 분할 영역에 대한 영상을 보정하는 단계는 각 영역 촬영 시 카메라의 각도 정보를 수신하고(S901), 수신된 카메라 기울기 각도 정보를 바탕으로 영상의 기울기 정보를 획득하며, 획득된 영상의 기울기 정보를 기준으로 영상을 절단하고(S902), 절단된 영상을 기 설정된 크기의 영상으로 늘려 영상을 기준 크기의 영상으로 복원한다(S903).
도 12를 참조하면, 보정된 각 분할 영상을 합성하는 단계는 각 영역마다 임의로 설정된 구간만큼 중첩하여 촬영할 중첩영역을 설정하고(S1001), 중첩영역에서의 RGB, YUV 등을 이용하는 픽셀에 대한 정보값의 비교를 통해 중첩영역을 식별하고(S1002), 중첩영역상에서 RGB, YUV 등을 이용하는 픽셀에 대한 정보값이 동일한 지점을 중첩하여 영상을 합성한다(S1003).
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.
100 : 영상촬영부 210 : 제 1 모터부
211 : 제 1 기어 220 : 제 2 모터부
221 : 제 2 기어 300 : 제어부
310 : 분할부 320 : 식별부
330 : 분석부 340 : 보정부
350 : 중첩부 360 : 문자인식부
370 : 문자음성변환부 380 : 음성출력부
390 : 데이터베이스부 400 : 유저인터페이스부
500 : 디스플레이장치 600 : 지지대
610 : 회전축 611 : 제 4 기어
700 : 베이스부 800 : 구동부
810 : 삽입로드 811 : 제 3 기어

Claims (14)

  1. 촬영하고자 하는 피사체를 적어도 하나 이상의 영역으로 분할하는 분할단계;
    영상촬영부(100)를 통해 분할된 각 영역을 촬영하는 촬영단계;
    촬영된 각 영상의 비대칭도를 보정하는 영상보정단계; 및
    보정된 영상을 합성하여 하나의 영상을 생성하는 영상합성단계를 포함하는 것을 특징으로 하는 저시력자를 위한 영상보정방법.
  2. 제 1항에 있어서, 상기 분할단계는
    사용자가 피사체의 확대 배율을 설정하는 배율설정단계;
    상기 설정된 확대 배율에 따라 피사체의 영역을 분할하는 영역분할단계를 포함하는 것을 특징으로 하는 저시력자를 위한 영상보정방법.
  3. 제 1항에 있어서, 상기 촬영단계는
    분할된 영역의 촬영 순서를 결정하는 촬영순서 결정단계;
    상기 결정된 순서에 따라 카메라의 각도를 조절하는 카메라 각도 조절단계; 및
    사용자가 설정한 확대 배율로 피사체의 분할된 영역을 촬영하는 촬영단계를 포함하는 것을 특징으로 하는 저시력자를 위한 영상보정방법.
  4. 제 1항에 있어서, 상기 영상보정단계는
    카메라의 기울어진 각도를 수신받는 카메라 각도 수신단계;
    상기 카메라의 기울어진 각도를 기준으로 영상을 절단하는 영상절단단계; 및
    상기 절단된 영상을 기 설정된 크기의 영상으로 늘리는 영상복원단계를 포함하는 것을 특징으로 하는 저시력자를 위한 영상보정방법.
  5. 제 1항에 있어서, 상기 영상합성단계는
    상기 분할된 각 영역마다 설정된 구간만큼 중첩하여 촬영할 중첩영역을 설정하는 중첩영역 설정단계;
    상기 중첩영역에서 픽셀에 대한 정보값의 비교를 통해 중첩영역을 식별하는 중첩영역 식별단계; 및
    상기 중첩영역상에서 픽셀에 대한 정보값이 동일한 지점을 중첩하여 영상을 합성하는 영상합성단계를 포함하는 것을 특징으로 하는 저시력자를 위한 영상보정방법.
  6. 제 5항에 있어서, 픽셀에 대한 정보값은
    RGB 또는 YUV 값인 것을 특징으로 하는 저시력자를 위한 영상보정방법.
  7. 제 1항에 있어서, 상기 영상합성단계 이후,
    상기 생성된 영상에 포함되어 있는 문자를 인식하는 문자인식단계를 더 포함하는 것을 특징으로 하는 저시력자를 위한 영상보정방법.
  8. 제 7항에 있어서, 상기 문자인식단계 이후,
    상기 인식된 문자를 음성으로 변환하는 문자음성변환단계와 음성을 출력하는 음성출력단계를 더 포함하는 것을 특징으로 하는 저시력자를 위한 영상보정방법.
  9. 제 8항에 있어서, 상기 음성출력단계는
    상기 음성 출력과 인식된 문자를 동기화하여 음성으로 출력되는 문자에 하이라이팅 효과를 주는 단계를 더 포함하는 것을 특징으로 하는 저시력자를 위한 영상보정방법.
  10. 피사체의 영상을 촬영하기 위한 영상촬영부(100);
    상기 영상촬영부(100)가 좌측 및 우측 방향으로 회전되도록 상기 영상촬영부(100)와 연결되어 상기 영상촬영부(100)를 회전시키는 제 1 모터부(210);
    상기 영상촬영부(100)가 상측 및 하측 방향으로 회전되도록 상기 영상촬영부(100)와 연결되어 상기 영상촬영부(100)를 회전시키는 제 2 모터부(220);
    상기 제 1 모터부(210) 및 제 2 모터부(220)가 회전하는 회전각도를 제어하도록 사용자로부터 입력신호를 입력 받기 위한 유저인터페이스부(400); 및
    상기 영상촬영부(100)가 촬영하고자 하는 피사체를 적어도 하나 이상의 영역으로 분할하고, 상기 영상촬영부(100)가 촬영한 영상의 비대칭도를 보정한 후 각각의 영상을 합성하기 위한 제어부(300)를 포함하는 것을 특징으로 하는 저시력자를 위한 영상보정장치.
  11. 제 10항에 있어서, 상기 제어부(300)는
    상기 영상촬영부(100)가 촬영하고자 하는 피사체를 적어도 하나 이상의 영역으로 분할하는 분할부(310);
    상기 유저인터페이스부(400)로부터 입력신호를 전달받아 상기 제 1 모터부(210) 및 상기 제 2 모터부(220)에 의해 상기 영상촬영부(100)가 회전하면 상기 영상촬영부(100)의 기울어진 기울기 값을 분석하는 식별부(320);
    상기 식별된 영상촬영부(100)의 기울어진 각도에 따른 영상의 기울기 값을 분석하는 분석부(330);
    상기 분할된 각 영역을 상기 영상의 기울기 값에 따라 절단하고, 상기 절단된 영상을 미리 기 설정된 크기의 영상으로 복원하는 보정부(340);
    상기 분할된 각 영역마다 임의로 설정된 구간만큼 중첩하여 촬영할 중첩영역을 설정하고, 상기 중첩영역의 픽셀에 대한 정보값의 비교를 통해 중첩영역을 식별하며, 상기 중첩영역상에서 픽셀에 대한 정보값이 동일한 지점을 중첩하여 영상을 합성하는 중첩부(350)를 포함하고,
    상기 영상촬영부(100)는 상기 제어부(300)에 설정된 코스로 상기 분할된 각 영역을 순차적으로 촬영하는 것을 특징으로 하는 저시력자를 위한 영상보정장치.
  12. 제 11항에 있어서, 픽셀에 대한 정보값은
    RGB 또는 YUV 값인 것을 특징으로 하는 저시력자를 위한 영상보정장치.
  13. 제 11항에 있어서, 제어부(300)는
    생성된 영상에 포함되어 있는 문자를 인식하는 문자인식부(360)를 더 포함하는 것을 특징으로 하는 저시력자를 위한 영상보정장치.
  14. 제 13항에 있어서, 제어부(300)는 인식된 문자를 음성으로 변환하는 문자음성변환부(370) 및 음성을 출력하는 음성출력부(380)를 더 포함하는 것을 특징으로 하는 저시력자를 위한 영상보정장치.
KR1020130124306A 2013-10-18 2013-10-18 저시력자를 위한 영상보정방법 및 이를 위한 장치 KR101565926B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130124306A KR101565926B1 (ko) 2013-10-18 2013-10-18 저시력자를 위한 영상보정방법 및 이를 위한 장치
US14/263,045 US9355323B2 (en) 2013-10-18 2014-04-28 Image correction method and apparatus for visually impaired person

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130124306A KR101565926B1 (ko) 2013-10-18 2013-10-18 저시력자를 위한 영상보정방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
KR20150045080A true KR20150045080A (ko) 2015-04-28
KR101565926B1 KR101565926B1 (ko) 2015-11-04

Family

ID=52825869

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130124306A KR101565926B1 (ko) 2013-10-18 2013-10-18 저시력자를 위한 영상보정방법 및 이를 위한 장치

Country Status (2)

Country Link
US (1) US9355323B2 (ko)
KR (1) KR101565926B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6500419B2 (ja) * 2014-02-19 2019-04-17 株式会社リコー 端末装置、通信システム及びプログラム
JP6719104B2 (ja) * 2015-08-28 2020-07-08 パナソニックＩｐマネジメント株式会社 画像出力装置、画像送信装置、画像受信装置、画像出力方法および記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0813088B2 (ja) * 1990-09-18 1996-02-07 富士ゼロックス株式会社 画像読取装置
US5515181A (en) * 1992-03-06 1996-05-07 Fuji Xerox Co., Ltd. Image reading apparatus providing high quality images through synthesis of segmented image data
US5739850A (en) * 1993-11-30 1998-04-14 Canon Kabushiki Kaisha Apparatus for improving the image and sound processing capabilities of a camera
KR0181683B1 (ko) 1996-04-08 1999-05-01 이대원 실물화상시스템 및 실물화상기
EP1096777A1 (en) * 1999-10-28 2001-05-02 Hewlett-Packard Company, A Delaware Corporation Document imaging system
JP2001358602A (ja) * 2000-06-14 2001-12-26 Nec Corp 文字情報受信装置
JP4012710B2 (ja) * 2001-02-14 2007-11-21 株式会社リコー 画像入力装置
JP2004320123A (ja) * 2003-04-11 2004-11-11 Nec Viewtechnology Ltd 資料提示装置

Also Published As

Publication number Publication date
KR101565926B1 (ko) 2015-11-04
US9355323B2 (en) 2016-05-31
US20150109487A1 (en) 2015-04-23

Similar Documents

Publication Publication Date Title
JP5906028B2 (ja) 画像処理装置、画像処理方法
KR101915369B1 (ko) 표시 제어 장치 및 컴퓨터 판독가능 기록 매체
US9531965B2 (en) Controller in a camera for creating a registered video image
US10585344B1 (en) Camera system with a plurality of image sensors
US7834907B2 (en) Image-taking apparatus and image processing method
JP4890005B2 (ja) パノラマカメラのデッドゾーンを最小限に抑える方法とシステム
JP4010754B2 (ja) 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体
KR20130112574A (ko) 확대된 영상의 화질을 개선하기 위한 장치 및 방법
JP5963006B2 (ja) 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体
KR101778744B1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
TW201225658A (en) Imaging device, image-processing device, image-processing method, and image-processing program
KR101565926B1 (ko) 저시력자를 위한 영상보정방법 및 이를 위한 장치
JP6278668B2 (ja) 複眼撮像装置
JP5532992B2 (ja) 書画カメラ、書画カメラの制御方法およびプログラム
JP2017143354A (ja) 画像処理装置及び画像処理方法
JP2013016933A (ja) 端末装置、撮像方法およびプログラム
JP2013145949A (ja) 投影システム、および重畳画像の画合わせの調整方法
JP6545229B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
EP3595287A1 (en) Capturing video content with at least two cameras of a multi-camera rig
JPH11275393A (ja) 画像入力装置、画像入力方法、及び記録媒体
KR101868057B1 (ko) 파노라마 영상 생성 방법 및 그 장치
JP2016063867A (ja) 描画装置、描画方法及びプログラム
US11119396B1 (en) Camera system with a plurality of image sensors
JP7393179B2 (ja) 撮影装置
JP7262940B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181010

Year of fee payment: 4