KR20020040527A - 화상 처리 방법 및 이를 이용한 비접촉 화상 입력 장치 - Google Patents

Abstract

본 발명은 접혀진 문서나 두꺼운 책 등의 3차원 형상의 표면 화상 취득을 실행하여도, 정면에서 촬영한 화상을 간단하게 얻을 수 있는 화상 처리 방법을 제공한다. 카메라로 판독된 원고 정보로부터 윤곽을 추출하고, 해당 윤곽으로부터 정점 정보를 검출한다. 정점 정보와 이미 알려진 원고 형상 정보로부터 카메라와 원고와의 거리를 측정하고, 해당 거리 정보와 정점 정보로부터 접혀진 원고 정보를 평면으로 전개하는 보정을 수행한다.

Description

화상 처리 방법 및 이를 이용한 비접촉 화상 입력 장치{IMAGE PROCESSING METHOD AND CONTACTLESS IMAGE INPUT APPARATUS UTILIZING THE METHOD}

본 발명은 문자나 도형, 화상 또는 압인된 도장 마크(seal mark) 등의 화상 정보를 비접촉식으로 판독하여 화상 처리하는 화상 처리 방법 및 이를 이용한 비접촉 화상 입력 장치에 관한다.

화상 입력 장치로서는, 플랫-베드 스캐너(flat-bed scanner), 시트 스캐너(sheet scanner), 디지털 카메라, 문서 카메라 등이 있다. 그러나, 플래트-베드 스캐너는 해상도가 높지만, 설치 면적이 커서 판독 속도가 느리고, 시트 스캐너는 설치 면적은 작지만, 시트 형상 이외의 것은 판독할 수 없고, 디지털 카메라는 입체물을 촬영할 수는 있지만, 문서 등의 고해상도의 화상을 촬영할 수 없고, 문서 카메라는 해상도가 높고 입체물을 판독하는 것도 있는데 대규모의 장치로서 비용이 비싸다라는 등의 일장일단이 있어, 사용자의 요구 사항을 만족시키지 못하였다.

비접촉식으로 문서를 판독하기 위한 발명으로서는, 예를 들면, JP-A-8-9102(종래예1), JP-A-8-274955 (종래예2), JP-A-8-154153 (종래예3: 미러), J P-A-8-97975 (종래예4: 북 카피), JP-A-10-13622 (종래예5: 화이트 보드), JP-A-9-275472 (종래예6: 엑티브 조명)에 기재되어 있는 방법이 제안되어 있다. 또, 거리 측정에 관해서는 JP-A-11-183145 (종래예7)에 기재되어 있는 방법이 제안되어 있다.

문헌으로서 소개되어 있는 것으로서는, 마쯔야마(松山) 외 "다중 포커스 화상을 이용한 에지 검출과 거리 계측", 전자 정보 통신 학회 논문지, Vol. J77-D-11, pp.1048-1058, 1994, (문헌 1), 고다마(兒玉) 외 "초점이 다른 복수 화상으로부터 시차를 포함하는 임의 초점 화상 생성 초점 오프셋 화상의 생성을 이용한 전초점 화상의 강제적 취득", 信學論 Vol. J79-D-11, No.6, pp.1046-1053, 1996/6, (문헌 2), Seong Ik CHO etc. Shape Recovery of Book Surface Using Two Shade Images Under Perspective Condition, T.IEE JAPAN, Vol. 117-C, No. 10, pp.1384-1390, 1997 (문헌3) 등이 있다.

상기 종래예에서는, 대개 위에서부터의 평면상의 문서 판독을 전제로 하고 있고, 또한 자유로운 위치로부터의 판독이 가능한 것은 아니었다. 또한, 켈리브레이션 마커(calibration marker)를 판독하고 측정 위치를 보정하는 제안도 있는데, 조작이 복잡하다라는 문제가 있었다. 또, 센서로부터 판독면의 거리 측정도, 관측 물체를 옆에서 보는 것이나, 액티브 조명을 이용하는 것, 스테레오 카메라를 이용하는 것 등이 제안되어 있는데, 정밀도가 나쁘거나 비용이 너무 비싸다는 문제가 있었다.

거리 측정에 관해서는 대상물에 형상과 위치 관계가 이미 알려진 지표를 마련하여 카메라로부터의 보는 방식으로 거리 측정을 행하는 것도 제안되어 있는데, 일반적인 원고에는 이와 같은 지표가 설정되어 있지 않기 때문에 비접촉형 화상 입력에는 사용할 수 없다. 또한, 구한 거리 데이터로부터 정면 화상을 재구성하는 제안도 있는데, 계산기에 의한 시뮬레이션으로 실제 상품으로서 실용화하기 위해서는 처리 속도를 개선할 필요가 있었다.

따라서, 본 발명의 목적은 접혀진 문서나 두꺼운 책 등을 누르지 않고, 또한 특수한 거리 검출 센서를 이용하지 않고도, 고화질로 화상을 입력할 수 있고, 조작성을 크게 개선할 수 있는 장치를 제공하는 것에 있다.

도 1은 본 발명의 일 실시예에 따른 화상 처리 방법의 기능 블록도.

도 2는 본 발명의 윤곽 추출 수단의 개념을 설명하는 도면.

도 3a 내지 도 3c는 본 발명에 따른 정점 추출 수단의 개념을 설명하는 도면.

도 4는 본 발명에 따른 정점 추출 수단의 개념을 설명하는 도면.

도 5는 본 발명에 따른 패치 분할의 개념을 설명하는 도면.

도 6은 본 발명에 따른 정점 z 좌표 결정 수단의 개념을 도시한 도면.

도 7은 본 발명에 따른 정점 z 좌표 결정 수단의 반복 수렴 계산을 설명하기 위한 흐름도.

도 8은 본 발명에 따른 3차원 보정의 전개도 생성을 설명하는 도면.

도 9는 본 발명에 따른 투시 변환 원리를 도시한 도면.

도 10은 본 발명에 따른 좌표 변환의 개념을 도시한 도면.

도 11은 본 발명에 따른 화소 발생의 개념을 설명하는 도면.

도 12는 본 발명의 다른 실시예에 따른 화상 처리 방법의 기능 블록도.

<도면의 주요 부분에 대한 부호의 설명>

1: 카메라

2: 원고 윤곽 추출 수단

3: 정점 검출 수단

4: 정점 z좌표 결정 수단

5: 3차원 보정 수단

상기 목적을 해결하기 위해서, 본 발명은 입력 수단에 의해 원고를 비접촉식으로 판독하고, 원고 정보를 입력하고, 원고 정보에 기초하는 정보와 사전 결정된 원고의 형상 정보에 기초하여, 입력 수단으로부터 원고까지의 거리를 측정하고, 측정된 거리 정보와 정점 정보에 기초하여, 판독된 원고 정보를 보정하는 방법으로 한다.

또한, 비접촉식으로 입력 수단으로부터 판독된 원고 정보가 입력되고, 입력된 원고 정보와 사전 결정된 원고의 형상 정보에 기초하여, 입력 수단으로부터 원고까지의 거리를 측정하고, 측정된 거리 정보와 정점 정보에 기초하여, 판독된 원고 정보를 보정하고, 보정 결과를 출력하는 처리가 기억된 기억 매체의 구성으로 한다.

또한, 원고대에 놓인 원고를 비접촉으로 판독하는 입력 수단과, 입력 수단에 의해서 판독된 원고 정보와 사전 결정된 원고의 형상 정보에 기초하여, 입력 수단으로부터 원고까지의 거리를 측정하는 거리 측정 수단과, 거리 측정 수단에 의해서 측정된 거리 정보와 정점 정보에 기초하여, 판독된 원고의 형상 정보를 보정하는 보정 수단을 갖는 구성으로 한다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 비접촉형 화상 입력 장치(80)의 기능 블록도이다. 본 발명의 비접촉형 화상 입력 장치(80)는 입력 수단인 카메라(1)로 책상 등에 위치한, 예를 들면 A4 등의 윤곽이 사전 결정된 형상의 원고를 접은 상태에서 판독하고, 화상 처리부(81)에서 판독된 원고 정보를 화상 처리한다.

화상 처리부(81)는 원고 윤곽 추출 수단(2)으로 취득하고 화상 중의 접혀진 원고의 윤곽을 추출하여 윤곽 정보를 생성한다. 정점 검출 수단(3)은 윤곽 정보를 고려하여 원고 내의 정점을 검출하고 각 정점의 위치 정보와 그들의 접속 관계를 나타내는 패치 정보를 생성하고, 거리 측정 수단인 정점 z 좌표 결정 수단(4)은 정점의 위치 정보와 패치 정보로부터 각 정점의 거리 정보를 측정 또는 산출하고, 3차원 보정 수단(5)은 각 정점의 위치 정보, 패치 정보, 각 정점의 거리 정보와 원고 취득 화상으로부터 취득 화상 중의 접혀진 원고 부분을 카메라에 대향하여 평평한 상태에서 판독했을 때의 화상으로 전개하여 윤곽이 이미 알려진 형상으로 되도록 평면 복원된 화상을 출력한다.

여기서, 정점 z 좌표 결정 수단(4)의 초기값을 외부 거리 센서 등으로부터의 입력에 의해 설정함으로써, 정점 z 좌표의 계산 시간을 단축함과 동시에, 외부 센서로부터의 거리의 측정 정밀도를 향상시킬 수 있다.

또한, 화상 처리부(81) 내의 적어도 정점 z 좌표 결정 수단(4) 및 3차원 보정 수단(5)의 처리 프로그램을 메모리(ROM, RAM 등) 등의 기억 수단에 기억해 둠으로써, 디지털 카메라, 비접촉식 스캐너 등의 비접촉형 화상 입력 장치를 이용할 때, 그 기억 매체를 PC 등에 인스톨함으로써, 판독한 접혀진 화상 데이터를 평면 화상으로 복원할 수 있다.

또한, 이 처리 프로그램은 비접촉형 화상 입력 장치 본체 내에서 실행되고, 그 결과가 외부로 출력되도록 하여도 무방하다.

여기서, 비접촉형 화상 입력 장치의 비접촉식 스캐너는 입력 수단인 카메라(1)가 설치된 헤드부를 적어도 가지며, 카메라로 판독하는 원고를 두는 원고대 및 카메라와 원고대를 연결하는 지지부를 마련하는 것도 포함한다.

이와 같이 정점 z 좌표 결정 수단(4) 및 3차원 보정 수단(5)을 마련함으로써, 물리적인 거리 측정 장치를 이용하지 않아도 자유로운 위치에서 접혀진 원고를 평면으로 복원한 형태로 출력할 수 있다. 또한, 원고 윤곽 추출 수단(2) 및 윤곽 정점 추출 수단(2)을 마련함으로써, 원고의 접혀진 형태를 잘 반영하고 있는 윤곽 상에 정점을 효율 좋게 배치할 수 있고, 정점 z 좌표 결정 수단에서 z 좌표를 계산하는 정점수가 적어지게 되고, 정점간에 구성되는 각 패치에 보완 처리에 의해서 평면 복원 화상의 화소를 생성할 수 있도록 되어 있어, 처리 시간을 단축할 수 있다.

여기서, 상기 윤곽의 형상은 예를 들어, 장방형등의 매우 추상적인 형상의 경우나 세로와 가로의 비가 1:인 등의 어스펙트비까지 지정한 경우, A4, B4 등과 같은 치수까지 지정한 경우 등의 다양한 모양이 있을 수 있다.

이러한 형상 정보는 상기 비접촉형 화상 입력 장치가 정형의 원고를 전용으로 판독하는 것이면, 미리 장치에 설정되어 있어도 좋다. 또한, 다양한 형상의 원고가 입력될 수 있는 경우, 사용자가 판독한 형상에 맞추어 상기 형상 정보를 입력하도록 하는 것도 좋다.

예를 들면, 상기 비접촉형 화상 입력 장치가 디지털 카메라와 퍼스널 컴퓨터와 모니터로 구성되어 있는 경우, 모니터에 표시된 윈도우로부터 상기 형상 정보를 선택 버튼의 클릭이나 직접적인 수치 입력 등으로 입력할 수 있다.

또한, 미리 원고에 매립된 문장이나, 기호 등의 정보를 사용하여 형상 정보를 입력할 수 있고, 예를 들면, 전표를 판독한 경우, 전표 번호에 따라 그 전표의 형상이 확정되도록 한 때에는, 원고 중에 쓰여진 전표 번호를 인식함으로써, 형상 정보를 입력할 수 있다.

또한, 원고의 변형 외에 정보를 미리 알 수 있으면, 거리 정보의 산출이나 복원(修復)이 간단하기 때문에, 다양한 형상의 원고가 입력되어질 수 있는 경우, 사용자가 판독한 형상에 맞춰, 상기 원고 변형 정보를 입력하도록 하는 것도 좋다.

예를 들면, 상기 비접촉형 화상 입력 장치가 디지털 카메라, 퍼스널 컴퓨터, 및 모니터로 구성되는 경우, 상기 원고 변형 정보를 모니터에 표시한 원도우로부터선택 버튼의 클릭에 따라 입력할 수 있다. 이 선택으로서는 세로로 접고, 가로로 접고, 4번 접는 등의 변형 후보를 들 수 있다.

또한, 일단 모니터에 원고 화상을 표시하여 정점을 클릭하는 등에 의해 지시하는 것으로, 상기 원고 변형 정보를 입력할 수도 있다.

또한, 거리 정보의 산출이나 복원 외에, 복수의 해(解)가 존재하는 경우도 고려되지만, 이 때에는 복수의 해를 모니터에 표시하고, 이 중에서 가장 양호한 것을 선택하도록 하는 것도 가능하다. 이 때의 표시 방법으로서는 거리 정보이면 3차원 모델의 와이어 프레임 표시, 보정 결과이면 보정 후의 이미지 표시 등을 들 수 있다.

또한, 복원을 행하지 않고, 거리 정보를 출력함으로써, 원고 등의 대상물을 3차원적으로 모델링하는 것도 가능하다.

또한, 본 발명은 모노크롬(monochrome) 원고뿐만 아니라 칼라 원고에 대해서도 동일한 효과를 가질 수 있다.

도 2는 원고 윤곽 추출 수단(2)의 동작을 나타내고 있다. 원고 윤곽 추출 수단(2)은 판독 화상 중의 원고 부분(21)의 윤곽을 추출하고 윤곽 정보(22)를 얻는다. 윤곽이라는 것은 판독 화상 중의 원고 부분(21) 내부와 외부의 경계에 있는 연결된 일련의 화소 계열로서, 이에 포함되는 화소는 2 방위만으로 다른 윤곽 화소에 연결되어 있다. 윤곽 화소를 얻는 데에는, 화상 처리에서 일반적으로 행해지고 있는 윤곽 추적 등의 방법으로 하면 된다. 윤곽 정보는 윤곽상의 화소와 그 밖의 화소를 구별할 수 있는 화소값을 갖는 윤곽 화상이어도 무방하고, 윤곽 화소 리스트이어도 무방하며, 윤곽 형상을 필요한 정밀도로 복원할 수 있는 정보이면 어떠한 것이어도 무방하다. p0-p4는 윤곽 화소 계열에 순번을 매긴 번호이고, v0-v5는 윤곽이 크게 접혀져 있는 점, 즉 정점이고, e0-e5는 윤곽이 정점에 의해서 분할된 변이다. 여기서, 정점은 적을수록 이후의 계산이 적어지는데, 정점은 윤곽의 특징을 나타낸 대표점인 것이 바람직하고, 정밀도를 갖기 위해서는 각 변이 직선으로 간주할 정도로 정점을 배치하는 것이 좋다.

도 3a, 도 3b 및 도 3c는 정점 검출 수단의 동작의 일 예를 도시한 것이다. 도 3a는 도 2의 윤곽 정보(22)에 대해서 횡축으로 윤곽 화소 계열의 번호에 대응하고, 종축으로 횡축 번호에 대응한 윤곽 화소의 y좌표를 취한 그래프이다. 정점에서 크게 기울기가 변화하여, 변에서는 기울기가 거의 일정하게 된다. 도 3b는 도 3a의 그래프에서 1 계단 차분을 종축으로 취한 것으로, 정점에서 기울기가 크고 변에서는 기울기가 거의 0으로 되어 있다. 도 3c는 도 3b의 그래프에서 차분을 더 취하여 그의 절대값을 종축으로 취한 것으로, 정점에서는 양의 값을 취하는데, 변에서는 거의 0으로 되어 있다. 이 것은 x좌표에서 마찬가지이며, 정점에서는 x좌표 y좌표에 대해 2 계단 차분의 절대값이 정점 이외부터 크게 되어 있다.

따라서, 윤곽 정보로부터 정점을 검출할 때에는 어느 임계값보다 x와 y 좌표의 2 계단 차분의 절대값의 합이 큰 점을 정점으로 취하면 된다. 임계값과 비교하는 것은 x와 y 좌표의 2 계단 차분의 절대값의 합 대신에, 자승합의 평방근 혹은 최대값을 취해도 무방하다. 변의 기울기에 의존하지 않고 균등하게 정점을 검출할 수 있는 것은 자승합의 평방근이지만 계산량은 증가하게 된다. 또한, 차분은 번호가 서로 이웃하는 화소간의 차이일 필요는 없다. 일정 간격에서의 차분을 취하면 된다. 이 간격이 좁으면 윤곽 추출의 오차를 민감하게 검출하여, 본래 정점으로서 상응하지 않은 점까지 정점으로 인식하게 되고, 역으로 간격이 너무 넓으면 정점 부근의 넓은 범위에서 임계값을 초과하여, 어느 곳이 정점 위치인지를 특정하기가 어렵게 된다. 차분의 간격을 2이상으로 할 경우에는, 임계값을 초과한 점 모두가 아니고, 그의 중앙점을 정점으로 하는 등의 처리가 필요하다.

도 4는 두꺼운 책을 열어 판독한 화상에서 원고의 윤곽으로부터 정점을 검출하는 처리를 나타내고 있다. 두꺼운 책의 취득 화상의 원고 부분(31) 등은 윤곽이 곡선으로 구성되기 때문에 도 2의 예와 같이 크게 접혀진 윤곽 상의 점만을 정점으로 한 것에서는 변이 직선으로 간주되지 않고, 윤곽의 근사 정밀도가 현저하에 나빠진다. 그래서, 이와 같은 경우에는, 윤곽의 굴곡 상태에 따라서 정점을 설정할 필요가 있다. 두꺼운 책의 윤곽 정보(32)에 도시한 바와 같이,곡률이 큰 곳일수록 짧은 간격으로 정점을 삽입하는 것이 바람직하다. 이와 같은 처리는 도 3c의 그래프와 같이 2계단 차분의 절대값을 만들어 임계값을 초과한 점만을 정점으로 하는 것이 아니고, 윤곽 화소를 따른 누적이 일정한 값을 초과하였을 때에 정점을 삽입하는 처리가 필요하다. 또한, 윤곽 상에 위치하지 않아도 취득 화상의 원고 부분에 적절한 정점을 삽입하여도 무방하다. 정점은 이후의 정점 z 좌표 결정 수단에서 z 좌표를 구하는 점이고, 3차원 보정 수단에서 평면 복원할 때의 다각형 패치 분할의 정점으로 되는 점이기 때문에, 윤곽이 접혀져 있는 점 등의 특징적인 점을 포함하고 있는 것이 바람직하지만, 그 이외에 취득 화상의 원고 부분에 포함되어있는 점을 추가하여도 무방하다. 결국, 원고 부분의 모든 화소를 정점으로 설정하여도 무방하지만, 정점수가 증가하면 그에 따라 처리 시간도 증가하게 된다.

도 5는 취득 화상의 원고 부분의 삼각형 패치 분할을 나타낸 도면이다. 촬영 대상물(44)을 카메라(1)로 촬영한 원고 취득 화상의 원고 부분(41)의 각 점은 카메라(1)의 시점 위치와 해당 점을 연결한 직선에 의해서 촬영 대상물의 점과 일대일로 대응한다. 이러한 대응 관계에서 원고 취득 화상의 원고 부분(41)의 각 정점과 대응하는 촬영 대상물(44) 상의 점도 촬영 대상물 상의 정점이라고 부르게 된다. 원고 취득 화상의 원고 부분(41)을 삼각형 패치 분할했을 때의 각 삼각형 정점은 정점 검출 수단에서 검출한 정점이고, 각 삼각형 변은 정점을 연결하여 생기는 직선이다. 단, 삼각형 패치 분할의 조건으로서, 다음과 같은 3개의 조건을 만족하는 것으로 한다.

1. 판독 원고 화상의 원고 부분(41)의 각 점은 삼각형의 변에 위치하는 점을 제외하고 오직 하나의 삼각형에 속하여야 한다.

2. 삼각형 변에 위치하는 정점이 만나서는 안 된다.

3. 판독 원고 화상의 원고 부분(41)의 삼각형 패치는 상기 일대일 관계에서 촬영 대상물(42)의 삼각형 패치로 되어 있어야만 한다. 즉, 판독 원고 화상의 원고 부분(41)의 삼각형 패치를 구성하는 각 삼각형의 3개의 정점을 상기 일대일 관계에서 촬영 대상물(42)에 투사하여 생기는 3개의 점을 정점으로 하는 삼각형은 촬영 대상물(42)을 양호하게 근사하여야 한다.

예를 들면, 원고 판독 화상(41)의 정점 a, b, c로 이루어지는 삼각형은 촬영대상물(42)의 a', b' 및 c'로 이루어지는 삼각형에 대응하지만, 해당 삼각형은 촬영 대상물(42)을 근사한 것이 아니므로, 원고 판독 화상(41)의 정점 a, b, c로 이루어지는 삼각형은 삼각형 패치를 구성하는 삼각형으로는 될 수 없다. 이전에 어떻게 접혀져 있는가가 전혀 알 수 없어, 삼각형 패치를 구성할 수 없는 경우에는, 정점끼리를 연결하는 직선 중 원고 부분에 포함되는 것을 모두 그리고, 그 교차점을 새로이 정점으로 추가함으로써 2개의 조건을 만족하는 삼각형 패치를 구성할 수 있다. 그러나, 실제 장면에서 생기는 종이의 접혀진 형태에는 어느 정도의 패턴이 결정되어 있어, 사전에 결정된 접혀진 형태의 모드를 사용자가 입력하도록 하면, 삼각형 패치 분할은 용이하게 행해질 수 있다. 또한, 취득 화상의 원고 부분이 윤곽 형상이나 정점 위치와 정확한 패치 분할의 관계를 신경망 등으로 학습시켜 효율적으로 패치 분할을 수행하는 것도 가능하다.

도 6은 정점 z 좌표 결정 수단(4)의 동작의 개념을 설명하기 위한 도면이다. 촬영 대상물(42) 상의 정점은 대응하는 원고 판독 화상(41)의 정점과 카메라(1)의 시점 위치를 연결한 직선 형상의 어딘가에 위치한다. 또, 촬영 대상물(42) 상의 각 정점에는 촬영 대상물(42)을 평탄하게 했을 때의 해당 정점 주위에 대상물 윤곽이 이루는 각도가 결정되어 있다. 예를 들면, 원고의 윤곽이 직사각형이고, 정점이 직사각형 4개의 코너 각에 위치하는 경우, 그 정점 주위의 각도는 90도이다. 또는, 정점이 직사각형의 변에 위치하는 경우는, 그 주위의 각도는 180도이고, 정점이 직사각형 내부에 위치하는 경우는, 그 주위의 각도는 360도이다.

따라서, 촬영 대상물(42)의 형상을 추정하는 데에는, 촬영 대상물(42) 상의각 정점에 대해서 그 정점을 공유하는 삼각형 패치의 각의 각도 합계가 촬영 대상물(42)을 평탄하게 했을 때에 정점 주위에 생기는 각도와 일치하도록 한 정점의 위치를 상기 직선 상에 보이게 하면 된다. 이 조건은 각 정점의 z 좌표를 변수로 한 연립 방정식으로 기술할 수 있고, 이 연립 방정식을 풀어 각 정점의 z 좌표를 구할 수 있는데, 변수의 수보다 방정식의 수가 많아지고, 방정식의 계수도 오차를 포함하고 있으므로, 실제로는 해가 구해지지 않는다. 그래서, 최소자승법 등으로 각 방정식을 가장 양호하게 만족하는 해를 찾게 된다. 게다가, 촬영 대상물(42) 윤곽의 각 변의 길이나 비를 알고 있는 경우에는, 그와 같은 조건도 부가하여 방정식을 세우면 된다.

그러나, 이와 같은 방정식에는 아크코사인(arccosine) 등의 초월 함수가 포함되어 해를 구하는 데에는 상당한 시간을 요구한다. 그래서, 보다 간단한 계산 방법을 다음에 도시한다.

도 7은 촬영 대상물(42)의 각 정점의 z 좌표를 반복 수렴 계산을 통해서 구하는 계산 방법을 설명하기 위한 흐름도이다. 도면에서, n은 정점에 매긴 일련 번호이고, Vn은 각 정점을, Zn은 각 정점의 z 좌표를, Dn은 Vn을 공유하는 촬영 대상물(42)의 삼각형 패치 모두의 Vn을 포함하는 내각의 합과 촬영 대상물(42)을 평탄하게 했을 때의 이미 알려진 형상에서의 Vn의 주위의 각도와의 차, Dn은 Zn를 1 증가했을 때의 Dn의 변화량을 나타내고 있다. 알고리즘은 다음과 같다.

처음에 Zn에 적당한 초기값, 예를 들면 모두 1을 부여한다.

각 Zn에 Dn/dn을 더한다. 즉, Dn을 1차 예측에서 최소로 도도록 Zn을변화시킨다.

상기의 과정을 모든 정점에 대해서 행한다.

Zn의 초기값에 관해서는 거리 센서 등으로 얻은 외부로부터의 정보를 Zn의 초기값으로 하면, 수렴이 빠르게 되어, 센서 유닛에서 얻은 정보보다도 정밀도가 높은 거리 정보를 얻을 수 있다.

종료 조건은 사전에 결정된 회수 만큼 일련의 처리가 반복된다, Zn의 변화량이 소정의 범위로 모아진다 등이다. 또한, 이것은 1차 예측을 이용하고 있기 때문에, dn이 작을 때 Dn/dn의 변동이 커지게 되어, 예측이 크게 어굿나는 경향이 있기 때문에 Dn/dn을 소정의 값으로 클램프한다. 즉, 어느 값을 초과했을 때에는 소정의 값으로 치환하는 것도 유효하다. 게다가, 상기한 알고리즘에서는 정점마다 처리를 행할 때, 그 정점의 주위의 각도 만에 주목하였는데, 그 정점의 z좌표의 이동에 따라서 영향을 받는 각도 모두를 고려하는 것은 더욱 바람직하다. 또, 각도만이 아니고 변의 길이나 비도 1차 예측의 평가 함수에 포함시켜도 좋다.

도 8 내지 도 11은 3차원 보정 수단의 동작을 설명하기 위한 도면이다.

도 8은 촬영 대상물을 평면으로 전개하는 방법을 설명하기 위한 도면이다. 촬영 대상물(42)은 ①-⑥ 의 삼각형 패치로 구성되어 있다. v0-v2는 삼각형②에 해당하는 3개의 정점이다. 촬영 대상물(42)의 전개도(51)는 각 삼각형 패치를 평면 형상으로 전개한 것이다. V0-V2는 v0-v2에 대응하는 정점이다. 전개도를 작성할 때, 최초로 위치를 결정한 삼각형 패치 이외의 삼각형 패치는 이미 위치가 결정된 삼각형 패치와 변을 공유하고 있는 것부터 위치를 결정해 간다, 변을 공유하고있는 삼각형 패치는 틈을 두지 않고 배치한다라는 규칙에 따르면, 최초로 위치를 결정한 삼각형 패치 이외의 삼각형 패치는 그 위치를 결정할 때, 다음의 2가지 경우 중에 어느 것에 해당한다.

1. 삼각형 패치의 3개의 정점이 이미 결정되어 있다.

2. 삼각형 패치의 2개의 정점이 이미 결정되어 있어, 3번째 정점의 위치를 결정하면 된다.

첫번째 경우에는, 이미 3개의 정점 위치가 모두 확정되어 있기 때문에, 2번째 경우에서 3번째의 정점 위치를 결정하는 방법을 도시한다. 삼각형(52)은 촬영 대상물(42)의 삼각형 패치②를 확대하여 작성한 것이다. 이미 ①의 위치가 결정되어 있고 이로부터 ②의 위치를 결정할 경우, v0, v1은 전개도(51)의 V0, V1에 위치 결정되어 있으므로, v2의 전개도(51)에서의 위치 V2를 결정하는 방법에 대해서 설명한다.

P는 삼각형(52)의 변 v0, v2를 변 v0, v1에 대향하여 투사한 길이이고, H는 v2로부터 v0, v1으로 내려간 수직선 길이의 두 배이다. 전개도(52)의 삼각형(53)에 있어서 두개의 길이를 유지하도록 V2를 결정할 수 있다. Vi의 좌표를 (Xi, Yi)라고 하면, H 및 P는

H=|(v2-v0)ㆍ(v1-v0)|/||v1-v0||

P=(v2-v0)ㆍ(v1-v0)/||v1-v0||

로 쓸 수 있고, X2 및 Y2는

X2=X0+((X1-X0)^*P-(Y1-Y0)^*H/||v1-v0||

Y2=Y0+((X1-X0)^*H-(Y1-Y0)^*P/||v1-v0||

로 쓸 수 있다. 이 계산에서는 계산 오차에서 변 v0, v1과 변 V0, V1의 길이가 달라도 V2를 구할 수 있다.

도 9는 촬영 대상물과 판독 화상 사이의 기하학적 관계를 도시한 모식도이다. 시점은 카메라의 시점을 나타낸다. 직선 ab는 촬영 대상물을, z=1의 스크린은 카메라 전면의 촬상면을 나타내고 있다. y는 상하 방향의 위치 좌표, z는 시점으로부터의 거리를 나타내고 있다. 점 a는 촬상면의 a'에, 점 b는 촬상면의 b'에 대응한다. a=(y0, z0)라고 하면, a를 z축으로 내린 수직선의 끝점은 (y0,0)이다.

이들 2점과 시점으로 생기는 삼각형은 a'와 a'를 z축으로 내린 수직선의 끝점과 시점으로 구성되는 삼각형과 유사하고, 유사비는 z0:1이다. 따라서, a'는 (y0/z0, 1)로 표시된다. 이와 같이 촬영 대상물과 판독 화상의 y 좌표(x좌표도 마찬가지) 사이에는 좌표값이 z:1의 관계가 있다. 도면에서는 알기 쉽게 z=1을 촬상면으로 고려하였지만, 다름 값이어도 마찬가지이다.

도 10은 촬영 대상물(52)과 원고 판독 화상(54), 전개도(53)간의 기하학적 위치 관계를 도시한 도면이다. 촬영 대상물(52)과 원고 판독 화상(54)의 관계는 전술한 바와 같다. 또한, 전개도(53)는 촬영 대상물(52)을 1차 변환한 것으로, 기본적으로는 회전과 평행 이동 만이지만, 계산 오차에 따라서 기울거나 확대 축소가 생길 경우가 있으므로 일반적인 1차 변환으로 고려하는 것이 좋다.

도 11은 촬영 대상물(52), 원고 판독 화상(54) 및 전개도(53) 사이의 좌표 대응을 도시한 도면이다. 실제의 평면 복원 화상에 있어서 전개도를 생성할 때에는, 전개도의 각 화소값을 원고 판독 화상의 대응 화소의 화소값으로부터 생성하여야만 한다. 전개도(53)의 삼각형의 각 정점을 Vi=(Xi, Yi), 촬영 대상물(52)의 각 정점을 vi=(xi, yi, zi), 원고 판독 화상(54)의 각 정점을 v'i=(xi/zi, yi/zi, 1)로 한다. 현재는, 전개도(53)의 화소 P=(X, Y)를 생성하는 것을 고려한다. 각 Vi에 대해서 그의 대변과 P로 생기는 삼각형의 면적을 Si, 전체 면적을 S라고 하면, 화소 P=(X, Y)는 각 정점 Vi의 1차 결합으로서,

로 표시할 수 있다. 또, 촬영 대상물(52)로부터 전개도(53)의 변환은 1차 변환이기 때문에, 대응하는 촬영 대상물(52)의 점 p=(x, y, z)도 수학식 1 및 수학식 2와 마찬가지로 계수의 1차 결합으로

로 표시된다. 게다가, 원고 판독 화상(54)의 대응하는 점 p'=(x/z, y/z, 1)은 수학식 3 내지 수학식 5에 의해,

로 표시된다. 여기서, Si는 P에 의해서 결정되며, zi는 정점 z 좌표 결정 수단에서 결정되어 있다.

따라서, 전개도(53)의 화소 P를 생성하기 위해서는 수학식 6에서 원고 판독 화상(54)의 대응하는 점 p'를 구하고, 점 p'에 가장 가까운 화소의 화소값을 혹은 점 p'의 주변 화소의 가중치 평균 등을 취하면 된다.

도 12는 본 발명의 다른 실시예에 따른 비접촉형 원고 모델링 장치의 기능 블록도이다.

본 발명의 비접촉형 화상 입력 장치는, 카메라(1)로 책상 등에 놓여진 예를 들면, A4 등의 윤곽이 이미 알려진 형상의 원고를 접은 상태로 판독하고, 원고 윤곽 추출 수단(2)으로 취득 화상 중의 접혀진 원고의 윤곽을 추출하여 윤곽 정보를 생성하고, 정점 검출 수단(3)은 윤곽 정보를 고려하여 원고 내의 정점을 검출하여 각 정점의 위치 정보와 그들의 접속 관계를 나타내는 패치 정보를 생성하고, 정점 z 좌표 결정 수단(4)은 정점의 위치 정보와 패치 정보로부터 각 정점의 거리 정보를 산출하고, 3차원 보정 수단(5)의 전개도 생성 기능만을 갖는 전개도 생성수단(6)은 각 정점의 위치 정보, 패치 정보, 각 정점의 거리 정보로부터 전개도의 각 정점의 위치 정보를 생성한다. 이들 위치 정보, 패치 정보, 각 정점의 거리 정보, 전개도의 각 정점의 위치 정보 및 원고 판독 화상 정보를 이용하여 시판중인 그래픽 칩은 평면 복원 화상을 생성할 수 있다.

Claims (19)

1. 화상 처리 방법에 있어서,

   입력 수단에 의해 원고를 비접촉으로 판독하고, 원고 정보를 입력하고,

   상기 원고 정보에 기초하는 정보와 사전 결정된 상기 원고의 형상 정보에 기초하여, 상기 입력 수단으로부터 상기 원고까지의 거리를 측정하고,

   상기 측정된 거리 정보와 상기 정점 정보에 기초하여, 상기 판독된 원고 정보를 보정하는 화상 처리 방법.
2. 제1항에 있어서,

   상기 원고 정보에 기초하는 정보는 상기 원고 정보로부터 추출된 윤곽 정보에 기초하여 검출된 정점 정보인 화상 처리 방법.
3. 제1항에 있어서,

   상기 원고 정보의 보정은 판독된 화상 정보를 평면으로 전개하는 보정으로서,

   상기 원고의 정점 정보는, 상기 보정시, 패치마다의 보완에 의해서 화소를 생성하기 위한 패치의 정점 정보인 화상 처리 방법.
4. 제2항에 있어서,

   상기 원고 정보의 보정은 판독된 화상 정보를 평면으로 전개하는 보정으로서,

   상기 원고의 정점 정보는, 상기 보정시, 패치마다의 보완에 의해서 화소를 생성하기 위한 패치의 정점 정보인 화상 처리 방법.
5. 제1항에 있어서,

   상기 입력 수단으로부터의 거리를 측정할 때, 반복 수렴 계산을 행하는 화상 처리 방법.
6. 제2항에 있어서,

   상기 입력 수단으로부터의 거리를 측정할 때, 반복 수렴 계산을 행하는 화상 처리 방법.
7. 제3항에 있어서,

   상기 입력 수단으로부터의 거리를 측정할 때, 반복 수렴 계산을 행하는 화상 처리 방법.
8. 제4항에 있어서,

   상기 입력 수단으로부터의 거리를 측정할 때, 반복 수렴 계산을 행하는 화상 처리 방법.
9. 제5항에 있어서,

   상기 반복 수렴 계산의 초기값은 외부로부터 입력되는 화상 처리 방법.
10. 제6 항에 있어서,

    상기 반복 수렴 계산의 초기값은 외부로부터 입력되는 화상 처리 방법.
11. 제7항에 있어서,

    상기 반복 수렴 계산의 초기값은 외부로부터 입력되는 화상 처리 방법.
12. 제8항에 있어서,

    상기 반복 수렴 계산의 초기값은 외부로부터 입력되는 화상 처리 방법.
13. 기억 매체에 있어서,

    비접촉으로 입력 수단으로부터 판독된 원고 정보가 입력되고,

    상기 입력된 원고 정보와 사전 결정된 상기 원고의 형상 정보에 기초하여, 상기 입력 수단으로부터 상기 원고까지의 거리를 측정하고,

    상기 측정된 거리 정보와 상기 정점 정보에 기초하여, 상기 판독된 원고 정보를 보정하고 보정 결과를 출력하는 처리가 기억된 기억 매체.
14. 비접촉 화상 입력 장치에 있어서,

    원고대에 놓인 원고를 비접촉으로 판독하는 입력 수단과,

    상기 입력 수단에 의해서 판독된 원고 정보와 사전 결정된 원고의 형상 정보에 기초하여, 상기 입력 수단으로부터 상기 원고까지의 거리를 측정하는 거리 측정 수단과,

    상기 거리 측정 수단에 의해서 측정된 거리 정보와 상기 정점 정보에 기초하여, 상기 판독된 원고의 형상 정보를 보정하는 보정 수단

    을 포함하는 비접촉 화상 입력 장치.
15. 제14항에 있어서,

    상기 입력 수단에 의해서 판독된 원고 정보로부터 원고의 윤곽을 추출하는 윤곽 추출 수단과,

    상기 윤곽 추출 수단에서 추출된 윤곽 정보에 기초하여 원고의 정점을 검출하는 정점 검출 수단

    을 포함하는 비접촉 화상 입력 장치.
16. 제14항에 있어서,

    상기 보정 수단은 상기 원고 정보를 평면으로 전개하는 보정을 행하는 비접촉 화상 입력 장치.
17. 제14항에 있어서,

    상기 거리 측정 수단은 반복 수렴 계산에 의해서 거리를 측정하는 비접촉 화상 입력 장치.
18. 제15항에 있어서,

    상기 거리 측정 수단은 반복 수렴 계산에 의해서 거리를 측정하는 비접촉 화상 입력 장치.
19. 제16항에 있어서,

    상기 거리 측정 수단은 반복 수렴 계산에 의해서 거리를 측정하는 비접촉 화상 입력 장치.