KR20220042605A - 레이저 선을 기준으로 이미지 2차원과 3차원 변환 반복 최적화를 통한 이미지 평탄화 방법 - Google Patents

Abstract

본 발명은 수직으로 투사된 레이저 선을 기준으로 이미지 2차원과 3차원 변환 반복 최적화를 통한 이미지 평탄화 방법 에 관한 것으로, 더욱 상세하게는 이미지 처리 기술중 카메라의 왜곡을 보정하는 기술을 이용하여 이미지를 평탄하게 만드는 방법에 관한 것이다.

Description

레이저 선을 기준으로 이미지 2차원과 3차원 변환 반복 최적화를 통한 이미지 평탄화 방법{Image flattening method through iterative optimization of image 2D and 3D transformation based on laser line}

본 발명은 레이저 선을 기준으로 이미지 2차원과 3차원 변환 반복 최적화를 통한 이미지 평탄화 방법 에 관한 것으로, 더욱 상세하게는 이미지 처리 기술중 카메라의 왜곡을 보정하는 기술을 이용하여 이미지를 평탄하게 만드는 방법에 관한 것이다.

최근 기술의 발전에 따라 스캐너는 전통적인 감광성 스캐너로부터 카메라를 이용한 이미지 획득 스캐너로 변화하고 있다. 책 페이지의 사진을 스캔할 수 있으므로, 스캐너 평판에 스캔 할 인쇄물을 수동으로 누르는 스캔 방법으로 인한 과도한 작업 부담을 없애고 빠른 스캔 속도라는 큰 장점이 있다.

그러나 두꺼운 책을 스캔할 때 카메라를 이용한 스캐너는 책의 중간의 이미지의 결과가 곡률 때문에 좋은 결과를 얻지 못한다. 이런 스캔 결과 이미지의 곡률은 이미지 품질 및 OCR등 처리시 심각한 영향을 미친다.

상기의 문제를 어느정도 해결할 수 있는 기술 솔루션이 기존 특허에 개시되어 있지만, 알고리즘의 원리가 복잡하고 이미지의 품질이 만족스럽지 못한 결과를 보인다.

본 발명은 상기한 종래의 문제점을 해결하기 위해 안출된 것으로, 카메라를 이용한 이미지 획득 스캐너를 사용시 레이저 선을 기준으로 이미지 처리 기술중 카메라의 왜곡을 보정하는 기술을 이용하여 이미지를 평탄하게 만드는 방법을 제공하고자 하는 것이다.

전술한 기술적 과제를 해결하기 위한 수단으로서, (a)3D상의 책은 높이(z) 0에 놓여 있는 평평한 종이라고 가정하는 단계, (b)가정한 3D상의 좌표를 기준으로 회전벡터(r), 평행이동벡터(T)를 구하는 단계, (c)책의 구부러짐을 3차원 방정식으로 표현된다고 가정하는 단계, (d)3차원 방정식은 f(0)=0, f(1)=0 으로 0~1사이의 그래프라고 가정하고 두개의 기울기 f'(0)=α, f'(1)=β라고 정하는 단계, (e)α, β의 값에 따라서 3차원 방정식의 모양(책의 구부러진 모양과 동일하다 가정)이 결정하는 단계, (f)회전벡터 r, 평행이동벡터 t, 두개의 기울기 α, β를 통해 얻은 z값을 가지고 카메라 재투영을 통해 이미지 좌표계의 점을 구하는 단계, (g)원래의 이미지 좌표계의 점 (x,y)와 위에서 구한 이미지 좌표계의 점 (x', y')와 비교하는 단계, (h)두개의 비교(거리차)가 최소가 되는 α, β의 값을 구하는 단계, (i)구한 α, β를 통해 z값을 구하고 평평한 종이라고 가정했을때 구한 회전벡터(r), 평행이동벡터(T)를 가지고 이미지 좌표계를 구하는 단계, (j)구한 이미지 좌표계로 픽셀을 이동해 평평한 이미지가 되는 단계를 포함하는, 레이저 선을 기준으로 이미지 처리 기술중 카메라의 왜곡을 보정하는 기술을 이용하여 이미지를 평탄하게 만드는 방법을 제공한다.

본 발명을 이용하면 카메라를 이용한 이미지 획득 스캐너를 사용시 레이저를 사용해 이미지의 왜곡을 보정하고 평탄한 이미지를 획득할 수 있다.

도1은 일반적인 카메라 왜곡시 보정에 관한 도면이다.
도2는 평평한 책의 3차원 좌표에 관한 도면이다.
도3은 일반적인 구부러진 책의 3차원 좌표에 관한 도면이다.
도4는 책이 평면에 놓여져 있다고 가정할 때 3차원 좌표에 관한 도면이다.
도5는 책의 넓이를 1로 표준화한 책의 곡선의 그래프에 관한 도면이다.
도6은 책 곡선 그래프의 α, β에 따른 그래프 변화에 관한 도면이다.
도7은 원래 좌표와 재투영 후 좌표의 차이에 관한 도면이다.
도8은 최적화 후 원래 좌표와 재투영 후 좌표의 차이에 관한 도면이다.
도9는 이미지 평탄화 작업 전후의 이미지에 관한 도면이다.

이하에서는, 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략하였다.

또한, 어떤 부분이 어떤 구성요소를 “포함” 또는 “구비” 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이미지 처리 기술중 카메라의 왜곡을 보정하는 기술이 존재한다. 보통은 도1처럼 카메라 렌즈에 의한 구부러진 왜곡을 실제 모습으로 펴기 위해 사용되는 기술이다. 구부러진 책을 펴기위해 위의 왜곡 보정기술을 응용한다. “나의 책은 원래 평평한 평면상에 펴져있는 상태로 놓여져 있지만 카메라 때문에 왜곡이 일어나서 구부러져 보일 뿐이다”라고 가정하는 것이다.

도2에서 보이는 것과 같이 평면상에 놓여진 가정된 3차원 좌표는 [0, 0, 0], [page_width, 0, 0], [page_width, page_height, 0], [0, page_height, 0]이다. 높이가 없는 종이라고 가정하였기 때문에 z축은 모두 0이 된다. 그러고 x,y축의 좌표는 책의 높이와 넓이가 된다.

가정된 3차원 월드 좌표계의 좌표 [0, 0, 0], [page_width, 0, 0], [page_width, page_height, 0], [0, page_height, 0]와 2차원 좌표인 이미지 좌표계의 좌표 [0,0], [page_width, 0], [page_width, page_height], [0, page_height]을 가지고 외부 캘레브레이션을 통해 회전 벡터(R)과 평행이동 벡터(t)를 취득할 수 있다.

아래에서 외부 캘리브레이션에 대해 보다 상세하게 설명한다. 카메라의 내부파라미터를 산출하는 과정은 3차원 좌표계인 카메라 좌표계(XC, YC, ZC)를 2차원 좌표계인 이미지 좌표계(u, v)로 변환하는 과정을 의미한다. 이를 위한 내부파라미터 변환행렬 K는 아래와 같이 표현될 수 있다.

여기에서, fx, fy는 픽셀에서의 초점거리이며, skew는 비대칭 계수 파라미터이며, cx, cy는 픽셀에서의 이미지 중심의 좌표를 의미한다.여기서 3차원 좌표인 월드 좌표계 점들의 좌표(XL, YL, ZL)는 아래의 변환행렬을 통하여 2차원 좌표인 이미지 좌표계(u, v)의 좌표로 변환될 수 있다.

여기에서, P는 3차원 좌표인 월드 좌표계 점들의 좌표(XL, YL, ZL)를 카메라 좌표계(XC, YC, ZC)의 좌표

로 변환하는 행렬이다. K는 카메라의 내부파라미터 변환행렬이다. 3차원 좌표인 월드 좌표계 점들의

좌표(XL, YL, ZL)는 앞서 가정한 도2에서 보이는 것과 같이 평면상에 놓여진 가정된 3차원 좌표이다. 좌표(Xl, Yl, Zl)는3차원 좌표인 월드 좌표계 점들의 좌표(XL, YL, ZL) 중 어느 한 점이며, 좌표(ul, vl)은 이 점이 이미지 좌표계로 변환된 점이다.

P행렬은 일례로 아래와 같이 표현될 수 있다

여기서, phi, theta, psi는 각각 X축, Y축, Z축을 기준으로 한 회전행렬 파라미터이며, tx, ty, tx는 각각

X축, Y축, Z축을 기준으로 한 이동행렬 파라미터이다. 이하한 회전행렬 파라미터를 회전 벡터(R), 이동행렬 파라미터를 평행이동 벡터(t)라고 칭하기로 한다.

위에서 구한 회전벡터(R)과 평행이동 벡터(t)를 가지고 이미지 좌표계의 점(2D)을 월드좌표계(3D)로 변환 또는 3D →2D 변환이 가능하다. 두 벡터는 평평한 이미지를 위한 3D 좌표 변환을 위한 것이다. 실제로 책은 이미지 평면상에서 구부러져 보이고 있다. 이를 보정하기 위해서는 현재의 정확한 3D 좌표가 필요하다.

현재 가지고 있는 정보는 구부러진 책의 이미지의 이미지 좌표계(x,y)이다. 하지만 평평한 이미지로 보정을 위해서는 높이 z를 포함한 월드 좌표계의 정보가 필요하다. 도3은 구부러진 책의 좌표를 보여준다.

도4는 책의 페이지는 구부러진 상태로 평면에 놓여 있다고 가정할때의 3차원 월드 좌표계를 나타낸다. 책의 y축에 따른 z의 값은 일정하다고 가정한다.

도5는 위 가정에 따라 y축을 지우고 책의 넓이는 1로 표준화 한 곡선이다.

여기서 또한가지 중요한 가정이 필요하다. 도5의 그래프가 3차원 그래프라고 가정하는 것이다. 도5의그래프는 f(0)=0, f(1)=0 이다. 또한 x가 0일때의 기울기 f＇(0)=α, x가 1일때의 기울기 f＇(1)=β라고 정한다. 3차 방정식 ax³+bx²+cx+d=0 과 f(0)=0, f(1)=0, f＇(0)=α, f＇(1)=β를 계산한다. f(0)= 0이기 때문에 d=0이 된다. f(1)=0이기 때문에 a+b+c=0이 된다. f＇(x)는 3ax²+2bx+c이다. f＇(0)=α 이므로 c=α 이다. f＇(1)=β이므로 3a+2b+α=β이다. 식을 풀면 a = α+βb = -2α-β가 된다. 최종적으로 (α+β³-(2α+β²+αx=0의 방정식을 얻을 수 있다.

도6은 위의 방정식을 α, β의 변화에 따른 그래프를 그린 그림이다. 도6의 곡선은 책이 구부러짐과 많이 비슷하다. 그렇기 때문에 모든 책의 구부러짐은 3차 방정식의 그래프로 표현할 수 있다라고 가정하는 것이다.

이제 위에서 구한 방정식을 사용해 특정 α, β를 지정하면 거기에 따른 높이(z)를 구할 수 있다. 이미 이미지 평면상에서 점 (x,y)를 알고 있다. 거기에 위 3차원 방정식에 x값을 대입하면 높이 z를 구할 수 있고 최종적으로 3차원 좌표점(x,y,z)를 구할 수 있다. α, β를 구하기 위해서 카메라 재투영의 오류를 최소화하는 값을 구해야 한다. 재투영 오류란 3차원 포인트들을 2차원 평면으로 재투영했을 때, 영상에서 얻어진 포인트들과 재투영된 포인트들의 간의 차이로 정의된다. 여기서 필요한 것은 월드 좌표계의 3D 좌표와 회전벡터(r), 평행이동 벡터(T)이다.

우리는 앞서 회전벡터(r), 평행이동 벡터(T)를 구했다. 여기서 중요한 것은 회전벡터(r), 평행이동 벡터(T)이 이미지 자체가 평평하다 라고 가정하고 구한 값이라는 것이다.

여기에 따라 우리는 α, β을 변환하며 z값을 구할 수 있다. 구한 z값의 3d 좌표 (x,y,z)와 회전벡터(r), 평행이동 벡터(T)을 가지고 재투영 기술을 사용하여 이미지좌표 (x', y')를 구한다.

위에서 구한 이미지좌표 (x',y')와 원래의 이미지 좌표(x,y)를 비교한다.

도면 7은 α, β가 0일 때 수직으로 투사된 레이저선의 좌표에 대해서 빨간점은 원래의 이미지 좌표, 파란점은 재투영 후 이미지 좌표를 표시한 것이다. 원래의 좌표와 재투영 후의 좌표가 차이가 나는 것을 알 수 있다.

따라서 우리는 α, β를 임의의 값으로 조정 후 원래의 좌표와 재투영 후의 좌표가 차이가 최소가 되는 α, β값을 찾아야 한다.

이를 위해서는 최소값을 찾아주는 최적화 방법인 Powell방식을 사용할 수 있다. 해당 방법은 임의의 α, β값을 넣어준 후 구한 재투영 좌표와 원래의 좌표의 차를 계속 구해 최소가 되는 어떠한 α, β를 반복 작업을 통해 구하는 것이다.

도8은 이를 통해 구한 α, β의 값으로 수직으로 투사된 레이저선의 좌표에 대해서 재투영을 하면 두 좌표의 차이가 거의 사라진 것을 보여준다.

α, β의 값을 구했으므로 x,y에 따른 z값을 구할 수 있다. 이것은 3D좌표를 구할 수 있다는 의미이다.

앞서 말한 것 처럼 처음에 구했던 회전, 평행이동 벡터는 이미지 자체가 굴곡이 없이 평행하다고 가정하고 구한 값이다. 그렇기 때문에 이미지 좌표(x,y)와 위에서 구한 α, β값으로 구한 z값을 합한 3D좌표 (x,y,z)와 회전,평행이동 벡터를 가지고 재투영 기술을 사용하면 이미지 평면상의 2D 좌표 (x', y')를 구할 수 있다.

이와같이 모든 점(픽셀)에 대해서 (x,y) →(x',y')로 이동을 해준다.

도9는 위와 같은 작업으로 수직으로 투사된 레이저선을 기준으로 계산되어 굴곡된 이미지(x,y)에서 평탄화된 이미지 (x',y')를 얻은 것을 보여준다.

이상에서는 특정의 실시예에 대하여 도시하고 설명하였다. 그러나, 상기한 실시예에만 한정되지 않으며, 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이하의 청구범위에 기재된 발명의 기술적 사상의 요지를 벗어남이 없이 얼마든지 다양하게 변경 실시할 수 있을 것이다.

Claims (1)

1. 레이저 선을 기준으로 이미지 2차원과 3차원 변환 반복 최적화를 통한 이미지 평탄화 방법에 있어서,
   3D상의 책은 높이(z) 0에 놓여 있는 평평한 종이라고 가정하는 단계;
   가정한 3D상의 좌표를 기준으로 회전벡터(r), 평행이동벡터(T)를 구하는 단계;
   책의 구부러짐을 3차원 방정식으로 표현된다고 가정하는 단계;
   3차원 방정식은 f(0)=0, f(1)=0 으로 0~1사이의 그래프라고 가정하고 두개의 기울기 f'(0)=α, f'(1)=β라고 정하는 단계;
   α, β의 값에 따라서 3차원 방정식의 모양(책의 구부러진 모양과 동일하다 가정)이 결정하는 단계;
   회전벡터 r, 평행이동벡터 t, 두개의 기울기 α, β를 통해 얻은 z값을 가지고 카메라 재투영을 통해 이미지 좌표계의 점을 구하는 단계;
   원래의 이미지 좌표계의 점 (x,y)와 위에서 구한 이미지 좌표계의 점 (x', y')와 비교하는 단계;
   두개의 비교(거리차)가 최소가 되는 α, β의 값을 구하는 단계, (i)구한 α, β를 통해 z값을 구하고 평평한 종이라고 가정했을때 구한 회전벡터(r), 평행이동벡터(T)를 가지고 이미지 좌표계를 구하는 단계;
   구한 이미지 좌표계로 픽셀을 이동해 평평한 이미지가 되는 단계;를 포함하는 레이저 선을 기준으로 이미지 2차원과 3차원 변환 반복 최적화를 통한 이미지 평탄화 방법.
   

Images