KR20120046010A - 화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법 및 기록 매체 - Google Patents

화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법 및 기록 매체 Download PDF

Info

Publication number
KR20120046010A
KR20120046010A KR1020110095099A KR20110095099A KR20120046010A KR 20120046010 A KR20120046010 A KR 20120046010A KR 1020110095099 A KR1020110095099 A KR 1020110095099A KR 20110095099 A KR20110095099 A KR 20110095099A KR 20120046010 A KR20120046010 A KR 20120046010A
Authority
KR
South Korea
Prior art keywords
image
correction
input image
correction table
pixel
Prior art date
Application number
KR1020110095099A
Other languages
English (en)
Inventor
쯔요시 미나까와
다쯔조 하마다
Original Assignee
히따찌 죠오호오 쯔우신 엔지니어링 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 히따찌 죠오호오 쯔우신 엔지니어링 가부시끼가이샤 filed Critical 히따찌 죠오호오 쯔우신 엔지니어링 가부시끼가이샤
Publication of KR20120046010A publication Critical patent/KR20120046010A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 보정 후의 화상에 있어서의 위화감을 저감 또는 해소하는 것을 과제로 한다. 상기 과제를 해결하기 위해, 본 발명의 화상 보정 장치(10)는, 입력 화상을 보정 테이블(17)에 기초하여 기하 보정하는 기하 보정부(13)를 구비하고, 보정 테이블(17)은, 출력 화상 상의 각 화소 위치에 대응하는 피사체 공간 중의 광선 방향 벡터를, 피사체 공간 중에 있어서의 상기 입력 화상의 투영 중심 위치인 제1 투영 중심 위치보다도 상기 입력 화상에 대응하는 광축의 방향에 관하여 후방에 위치하는 제2 투영 중심 위치에 기초하여 산출하고, 상기 광선 방향 벡터에 기초하여, 상기 화소 위치에 대응하는 피사체 공간 중의 대응점이 상기 제1 투영 중심 위치로부터 어느 방향에 존재하는지를 나타내는 벡터인 원점 기준 광선 방향 벡터를 산출하고, 상기 원점 기준 광선 방향 벡터에 대응하는 상기 입력 화상 상의 위치를 추출 위치로서 산출하고, 상기 추출 위치를 상기 출력 화상의 화소 위치에 대응시키고 있는 것을 특징으로 한다.

Description

화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법 및 기록 매체{IMAGE CORRECTING APPARATUS, CORRECTION IMAGE GENERATING METHOD, CORRECTION TABLE GENERATING APPARATUS, CORRECTION TABLE GENERATING METHOD AND RECORDING MEDIUM}
본 발명은, 어안 화상 등의 보정 후의 화상에 있어서의 위화감을 저감 또는 해소할 수 있는 화상 보정 장치 등의 기술에 관한 것이다.
최근, 감시 카메라나 텔레비전 도어폰을 비롯한 몇 개의 응용 분야에 있어서, 넓은 시야 범위의 영상을 한눈에 바라보고자 하는 요망이 있다. 그로 인해, 광학계에 어안 렌즈를 채용하고, 수평 화각 180도 정도의 범위를 촬영하는 비디오 카메라 등이 실용화되어 있다. 그러나 이들 기기를 이용하여 촬영한 화상에서는, 일반적으로, 피사체 공간 중의 직선이 크게 만곡하여 찍혀 있기 때문에, 촬영한 화상에 대해 만곡의 정도를 저감하기 위한 기하 보정을 실시하고자 하는 요구가 있다.
어안 렌즈에는, 그 설계 방침의 차이에 의해, 등거리 사영 방식, 등입체각 사영 방식, 정사영 방식 등, 다양한 사영 방식이 존재한다. 그러나 어느 사영 방식이라도, 보정 후의 화상에 있어서 표현해야 할 화각이 180도 미만이면, 투시 변환을 이용함으로써, 어안 렌즈를 이용하여 촬영된 화상(이하,「어안 화상」이라 한다)에서의 직선의 만곡을, 설계값이나 종래 기술에 의해 추정된 소정의 파라미터와 사영 모델에 기초하여, 완전하게 보정할 수 있다.
어안 화상의 예를 도 18의 (a) 및 도 19의 (a)에 도시한다. 도 18의 (a)는, 지제(紙製)의 통을 촬영한 것이고, 도 19의 (a)는, 입구 홀을 촬영한 것이다.
또한, 이들 어안 화상을 투시 변환을 이용하여 좌우 방향의 화각이 넓게 확보되도록 보정한 예를, 각각, 도 18의 (b) 및 도 19의 (b)에 도시한다. 이들 보정예에 도시하는 바와 같이, 투시 변환을 이용한 보정 결과는, 직선으로 되어야 할 부분은 직선으로 되도록 보정되어 있지만, 화상의 주변부가 극단적으로 늘려져 원근감이 강조되고 있어, 위화감이 큰 화상으로 되어 있다. 이것은, 보정한 결과의 화상에서 표현되어 있는 화각과, 이 화상을 볼 때의 화각이 크게 상이함으로써 생기는 것이다.
이 문제를 해결하도록 고안된 기술로서 특허 문헌 1에 기재된 기술이 있다. 특허 문헌 1에 기재된 기술은, 각각이 대략 평면인 정면과 좌우면을 매끄럽게 연결한 통면을 이용하고, 좌우 방향으로 180도를 초과하는 화각을 확보하면서, 상하 방향으로 신장하는 직선 형상의 피사체와 광축을 향하는 직선 형상의 피사체가 각각 직선으로 보이도록, 보정하는 것이다.
일본 특허 출원 공개 제2008-311890호 공보
그러나 특허 문헌 1에 개시된 기술에서는, 출력 화상의 중심 부분과 좌우 단부 부분의 중간 부근에서 가로 방향의 직선이 급격에 만곡하기 때문에, 예를 들면 피사체가 카메라 앞을 횡단하는 것 같은 경우에 있어서, 위화감을 느낀다고 하는 문제가 있다.
따라서 본 발명은, 상기 문제에 비추어 이루어진 것으로, 보정 후의 화상에 있어서의 위화감을 저감 또는 해소할 수 있는 화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법, 보정 테이블 생성 프로그램 및 보정 화상 생성 프로그램을 제공하는 것을 과제로 한다. 예를 들면, 도 18의 (a)의 어안 화상을 보정하여 도 18의 (d)와 같은 보정 결과를 얻는 것, 혹은 도 19의 (a)의 어안 화상을 보정하여 도 19의 (c)와 같은 보정 결과를 얻는 것이 목적이 된다.
상기 과제를 해결하기 위해, 본 발명의 화상 보정 장치는, 입력 화상을 기하 보정하여 보정 화상을 생성하는 화상 보정 장치로서, 상기 입력 화상을 입력하는 화상 입력부와, 상기 입력 화상을 기억하는 화상 기억부와, 상기 입력 화상을 기하 보정하기 위해 이용하는 보정 테이블을 기억하는 보정 테이블 기억부와, 상기 화상 기억부에 기억된 상기 입력 화상을 상기 보정 테이블에 기초하여 기하 보정하는 기하 보정부와, 상기 기하 보정부에 의해 보정된 상기 입력 화상을 상기 보정 화상으로서 출력하는 화상 출력부를 구비하고, 상기 보정 테이블은, 상기 보정 화상 상의 각 화소 위치에 대응하는 피사체 공간 중의 광선 방향 벡터를, 상기 피사체 공간 중에 있어서의 상기 입력 화상의 투영 중심 위치인 제1 투영 중심 위치보다도 상기 입력 화상에 대응하는 광축의 방향에 관해 후방에 위치하는 제2 투영 중심 위치에 기초하여 산출하고, 상기 광선 방향 벡터에 기초하여, 상기 화소 위치에 대응하는 피사체 공간 중의 대응점이 상기 제1 투영 중심 위치로부터 어느 방향에 존재하는지를 나타내는 벡터인 원점 기준 광선 방향 벡터를 산출하고, 상기 원점 기준 광선 방향 벡터에 대응하는 상기 입력 화상 상의 위치를 추출 위치로서 산출하고, 상기 추출 위치를 상기 보정 화상의 화소 위치에 대응시킴으로써 생성된 것인 것을 특징으로 한다.
또한, 「보정 테이블」은, 「보정 정보」이라고 하는 의미이다.
본 발명에 따르면, 어안 화상 등의 보정 후의 화상에 있어서의 위화감을 저감 또는 해소할 수 있다.
도 1은 본 발명의 화상 보정 장치의 구성을 설명하는 도면.
도 2는 본 발명의 보정 테이블의 일례를 모식적으로 도시하는 도면.
도 3은 본 발명의 화상 보정 장치에 있어서의 기하 보정부의 동작을 나타내는 흐름도.
도 4는 본 발명의 제1 실시 형태에 관한 보정 테이블 생성 장치의 구성을 도시하는 블록도.
도 5는 본 발명의 제1 실시 형태에 관한 출력 화상의 화소 좌표와 입력 화상의 좌표를 대응시키기 위한 좌표계의 변환을 설명하는 도면이며, (a)는, 출력 화상의 좌표계를 도시하는 도면. (b)는, 출력 화상의 v 축 방향을 보정한 중간 화상의 좌표계를 도시하는 도면.
도 6은 본 발명의 제1 실시 형태에 관한 출력 화상의 화소 좌표와 입력 화상의 좌표를 대응시키기 위한 좌표계의 변환을 설명하는 도면이며, (a)는, 원통면에 기초하여, 광선 방향 벡터를 구하기 위한 좌표계의 변환을 설명하는 도면. (b)는, 입력 화상의 좌표계를 도시하는 도면.
도 7은 원통면에 기초하여, 광선 방향 벡터를 구하기 위한 좌표계의 변환을 설명하는 도면.
도 8은 본 발명의 제1 실시 형태에 관한 보정 테이블 생성 장치의 동작을 나타내는 흐름도.
도 9는 본 발명의 제1 실시 형태에 관한 보정 테이블 생성 장치에 있어서의 후퇴 위치 기준 광선 방향 산출부의 동작을 나타내는 흐름도.
도 10은 본 발명의 제1 실시 형태에 관한 보정 테이블 생성 장치에 있어서의 보정 테이블 수정부의 동작을 나타내는 흐름도.
도 11은 본 발명의 제2 실시 형태에 관한 보정 테이블 생성 장치의 구성을 도시하는 블록도.
도 12는 본 발명의 제2 실시 형태에 관한 출력 화상의 화소 좌표와 입력 화상의 좌표를 대응시키기 위한 좌표계의 변환을 설명하는 도면이며, (a)는, 출력 화상의 좌표계를 도시하는 도면. (b)는, 경도 위도 좌표계를 나타내는 도면.
도 13은 본 발명의 제2 실시 형태에 관한 출력 화상의 화소 좌표와 입력 화상의 좌표를 대응시키기 위한 좌표계의 변환을 설명하는 도면이며, (a)는, 경도 및 보정 위도와, 원통면에 기초하여, 광선 방향 벡터를 구하기 위한 좌표계를 도시하는 도면. (b)는, 입력 화상의 좌표계를 도시하는 도면.
도 14는 본 발명의 제2 실시 형태에 관한 피사체 공간 중의 직선이 출력 화상 상에서 만곡할 경우와 만곡하지 않을 경우를 설명하기 위한 도면.
도 15는 본 발명의 제2 실시 형태에 관한 보정 테이블 생성 장치에 있어서의 보정 위도 산출부가 위도를 보정할 때에 이용하는 함수를 설명하는 도면.
도 16은 본 발명의 제2 실시 형태에 관한 보정 테이블 생성 장치의 동작을 나타내는 흐름도.
도 17은 본 발명의 제2 실시 형태에 관한 보정 테이블 생성 장치에 있어서의 후퇴 위치 기준 광선 방향 산출부의 동작을 나타내는 흐름도.
도 18은 어안 화상(입력 화상)에 종래 기술 및 본 발명을 적용한 결과를 도시하는 도면이며, (a)는, 어안 화상(입력 화상)을 도시하는 도면. (b)는, (a)의 어안 화상(입력 화상)에 종래 기술인 투시 변환을 이용하여 보정한 결과의 보정 화상(출력 화상)의 일례이다. (c)는, (a)의 어안 화상(입력 화상)에 본 발명을 적용한 결과의 보정 화상의 일례이며, 제1 실시 형태에 있어서, 보정 테이블 수정 처리를 행하지 않을 경우의 예이다. (d)는, 본 발명을 적용한 결과의 보정 화상(출력 화상)의 일례이다.
도 19는 어안 화상(입력 화상)에 종래 기술 및 본 발명을 적용한 결과를 도시하는 도면이며, (a)는, 어안 화상(입력 화상)을 도시하는 도면이다. (b)는, (a)의 어안 화상(입력 화상)에 종래 기술인 투시 변환을 이용하여 보정한 결과의 보정 화상(출력 화상)의 일례이다. (c)는, 본 발명을 적용한 결과의 보정 화상(출력 화상)의 일례이다.
＜제1 실시 형태>
이하, 본 발명의 제1 실시 형태에 대해, 도 1 내지 도 10을 참조하여 설명한다.
도 1에 도시하는 바와 같이, 화상 보정 장치(10)는, 어안 화상 등의 입력 화상을 취득하여, 그 화상을 보정하고, 보정 화상을 출력 화상으로서 출력하는 것이다.
화상 생성 장치(30)는, 화상 데이터를 생성하여 화상 보정 장치(10)에 공급 하는 것이다. 본 실시 형태에서는, 화상 생성 장치(30)는, 수평 화각 및 수직 화각이 모두 180도인 것 같은 등거리 사영 방식의 원주 어안 렌즈를 구비한 디지털 비디오 카메라일 경우를 예로서 설명한다.
화상 표시 장치(40)는, 화상 보정 장치(10)에 의해 보정된 보정 화상(출력 화상)을 표시하는 디스플레이 등이다.
보정 테이블 생성 장치(20)는, 화상 보정 장치(10)의 후기하는 보정 테이블 기억부(15)에 저장하는 보정 테이블(17)을 생성하는 것이다. 보정 테이블 생성 장치(20)는, 예를 들면 퍼스널 컴퓨터로 구성된다.
보정 테이블 생성 장치(20)는, 보정 테이블(17)을 생성한 후, 기하 보정부(13)가 이 보정 테이블(17)을 이용한 기하 보정 처리를 실시하기 전에, 이 보정 테이블(17)을 화상 보정 장치(10)로 송신한다.
또한, 보정 테이블(17)의 갱신이 필요 없을 경우, 즉 보정 테이블(17)의 생성에 관계하는 파라미터에 변경이 없을 경우에는, 보정 테이블 생성 장치(20)는, 생성한 보정 테이블(17)을 화상 보정 장치(10)로 송신한 후, 화상 보정 장치(10)로부터 분리해 둘 수 있다.
[화상 보정 장치(10)의 구성]
도 1에 도시하는 바와 같이, 화상 보정 장치(10)는, 화상 입력부(11)와, 화상 기억부(12)와, 기하 보정부(13)와, 화상 출력부(14)와, 보정 테이블 기억부(15)와, 보정 테이블 갱신부(16)를 구비하고 있다.
화상 입력부(11)는, 화상 생성 장치(30)로부터 공급되는 입력 화상을 읽어들여, 화상 기억부(12)에 기입하는 것이다. 읽어들인 입력 화상의 각 화소의 화소 값은, 기준색(본 실시 형태에서는 R, G, B의 3종류로 한다)마다 「0」으로부터 「255」까지의 256가지의 정수값 중의 하나의 값을 취하는, 디지털화된 값이다.
화상 생성 장치(30)로부터의 입력 화상의 읽어들임은, 화상 생성 장치(30)의 구성에 대응한 인터페이스를 이용하여 실시하면 되고, 예를 들면 화상 생성 장치(30)로부터 아날로그 신호로서 입력 화상이 공급되는 경우에는 A/D 변환기를 구비한 구성으로 하면 되고, USB(Universal Serial Bus) 인터페이스 등에 의해, 디지털 신호로서 입력 화상이 공급되는 경우에는, 그에 대응하는 인터페이스를 구비한 구성으로 하면 된다.
화상 기억부(12)는, 화상 생성 장치(30)로부터 공급되는 입력 화상 전체를 저장하는 것이며, 적어도 입력 화상의 2화면 분을 저장할 수 있는 용량의 크기의 메모리(RAM ; Random Access Memory)를 구비하는 것이다. 화상 기억부(12)는, 1화면분을 화상 입력부(11)로부터의 기입용에, 남은 1화면분을 기하 보정부(13)로부터의 판독용에, 1화면마다 역할을 번갈아 교대하면서 사용한다.
기하 보정부(13)는, 후기하는 보정 테이블 기억부(15)에 저장된 보정 테이블(17)에 기초하여, 화상 기억부(12)에 저장된 입력 화상에 기하 보정을 행하고, 기하 보정을 행한 결과인 출력 화상(보정 화상)을 화상 출력부(14)에 대해 출력하는 것이다. 기하 보정부(13)는, 예를 들면, FPGA(Field Programmable Gate Array)나 ASIC(Application Specific Integrated Circuit)로 구성되어 있다. 또한, 이 기하 보정부(13)가 행하는 처리의 상세 내용은, 이후에 상술한다(도 3 참조).
화상 출력부(14)는, 기하 보정부(13)로부터 출력된 출력 화상(보정 화상)을 적절한 영상 신호로 변환하여 화상 표시 장치(40)에 대해 출력하는 것이다. 예를 들면, 화상 표시 장치(40)가 아날로그 영상 신호를 표시하도록 구성되어 있는 경우에는, D/A 변환기를 구비한 구성으로 하면 된다.
보정 테이블 기억부(15)는, 후기하는 보정 테이블(17)을 기억해 두는 것이며, 예를 들면, 재기입 가능한 불휘발성 메모리이다.
보정 테이블 갱신부(16)는, 보정 테이블 생성 장치(20)로부터 송신되는 보정 테이블(17)을 수신하여 보정 테이블 기억부(15)에 저장하는 것이며, 보정 테이블 생성 장치(20)측의 인터페이스에 맞추어, 예를 들면 USB 인터페이스나 IEEE1394 인터페이스 등을 구비한 구성으로 하면 된다.
보정 테이블(17)은, 기하 보정부(13)가 출력하는 출력 화상(보정 화상)의 각각의 화소에 대해, 그들 화소의 화소값을, 화상 기억부(12)에 기억된 입력 화상(어안 화상) 상의 어느 화소를 참조하여 결정할지를 정의한 것이다. 본 실시 형태에서는, 보정 테이블(17)로서, 리샘플링 테이블, 구체적으로는 「기하 보정부(13)가 출력하는 출력 화상의 각각의 화소에 대해, 그들 화소에 대응하는 화상 기억부(12)에 기억된 입력 화상 상의 2차원 좌표값을 나타내는 고정 소수점 수의 조(x, y)를 대응시킨 테이블」을 사용한다. 보정 테이블(17)은, 후술(도 8 내지 도 10 참조)하는 방법에 의해 보정 테이블 생성 장치(20)에 의해 생성된 후, 보정 테이블 갱신부(16)를 통해 보정 테이블 기억부(15)에 저장된다.
리샘플링 테이블(보정 테이블)(17)은, 예를 들면 도 2에 도시하는 바와 같이, 출력 화상 상의 화소 좌표 (u, v)와 입력 화상 상의 좌표 (x, y)를 대응시키고 있다. 도 2는, u 축 방향의 화소수가 640화소, v 축 방향의 화소수가 480화소의 경우의 리샘플링 테이블(보정 테이블)(17)의 예이다. 또한, u, v는, 정수이지만, x, y는, 반드시 정수는 아니다. 또한, 출력 화상 상의 화소 좌표 (u, v)에 대응시킬 수 있는 입력 화상 상의 좌표 (x, y)가 입력 화상의 범위 외의 좌표로 되는 경우에는, 미리 정한 예외값, 예를 들면 (?1, ?1) 등의 값을 (u, v)에 대응시켜 저장해 둔다.
[화상 보정 장치(10)에 있어서의 기하 보정부(13)의 동작]
다음에, 화상 보정 장치(10)에 있어서의 기하 보정부(13)의 동작에 대해 도 3을 참조(구성은 도 1을 참조)하여 설명한다.
우선, 화상 기억부(12)에 입력 화상이 기억되어 있고, 보정 테이블 기억부(15)에 리샘플링 테이블(보정 테이블)(17)이 기억되어 있는 것을 전제로 한다.
도 3의 흐름도에 나타내는 바와 같이, 스텝 S1에 있어서, 기하 보정부(13)는, 카운터의 N의 값을 「0」으로 한다.
스텝 S2에 있어서, 기하 보정부(13)는, 출력 화상의 N번째의 화소의 좌표(u, v)에 대응하는 입력 화상 상의 좌표(x, y)를 결정한다.
구체적으로는, 우선, 기하 보정부(13)는, 카운터의 N의 값을 출력 화상의 u 축 방향의 화소수로 나눈 몫을 v의 값, 나머지를 u의 값으로 하여(즉, u 축 방향의 화소수가 「B」일 경우, N＝vㆍB＋u), 출력 화상 상의 화소 좌표(u, v)를 산출한다. 다음에, 기하 보정부(13)는, 리샘플링 테이블(보정 테이블)(17)에 기초하여, 출력 화상 상의 화소 좌표(u, v)에 대응하는 입력 화상 상의 좌표(x, y)를 결정한다.
스텝 S3에 있어서, 기하 보정부(13)는, 결정한 입력 화상 상의 좌표(x, y)에 기초하여, 출력 화상의 N번째의 화소의 화소값을 산출한다. 구체적으로는, 예를 들면, 입력 화상 상의 좌표(x, y)에 기초하여, 기준색마다(즉, RGB마다)에, 입력 화상 상의 4근방 화소의 화소값을 이용한 쌍선형 보간에 의해 출력 화상의 화소값을 정하도록 하면 된다. 또한, 출력 화상의 화소값의 산출에는, 바이큐빅 보간 등, 다른 종래 기술을 이용해도 된다.
또한, 기하 보정부(13)는, 입력 화상 상에 대응하는 좌표값이 없을 경우, 즉, 리샘플링 테이블(보정 테이블)(17)에 기초하여 결정한 입력 화상 상의 좌표(x, y)가, 미리 정한 예외값이었을 경우에는, 그 출력 화상의 화소값을 예외값, 예를 들면, 「흑색」 즉 (R, G, B)＝(0, 0, 0)으로 한다.
스텝 S4에 있어서, 기하 보정부(13)는, 출력 화상의 전체 화소에 대해 화소값의 산출이 완료되었는지 여부를 판정한다.
출력 화상의 전체 화소에 대해 화소값의 산출이 완료되었다고 판정한 경우[스텝 S4ㆍ예(Yes)], 기하 보정부(13)는, 기하 보정 처리를 종료한다.
한편, 출력 화상의 화소 중 화소값의 산출이 완료되어 있지 않은 화소가 있다고 판정한 경우[스텝 S4ㆍ아니오(No)], 기하 보정부(13)는, 카운터의 N의 값에 「1」을 더한다(스텝 S5). 그 후, 스텝 S2로 복귀하여 처리를 계속한다.
출력 화상의 전체 화소에 대해 화소값의 산출이 완료되었는지 여부를 판정하기 위해서는, 카운터의 N의 값과 출력 화상의 화소수를 비교함으로써 판정하면 된다.
[보정 테이블 생성 장치(20)의 구성]
도 4에 도시하는 바와 같이, 보정 테이블 생성 장치(20)는, 후퇴 위치 기준 광선 방향 산출부(23)와, 원점 기준 광선 방향 산출부(24)와, 추출 위치 산출부(25)와, 추출 위치 등록부(26)와, 보정 테이블 수정부(27)를 구비한다.
또한, 본 실시 형태에서는, 추출 위치 등록부(26)에 의해 출력된 리샘플링 테이블(보정 테이블)(17a)을, 보정 테이블 수정부(27)에 의해 수정하고, 수정한 리샘플링 테이블(보정 테이블)(17)을 출력하는 형태에 대해 설명한다. 리샘플링 테이블(보정 테이블)을 수정할 필요가 없을 때는, 보정 테이블 수정부(27)의 구성은 필요하지는 않고, 이하의 설명의 중간 화상 대신에 출력 화상을 직접 생성하는 것으로서 처리하면 된다.
후퇴 위치 기준 광선 방향 산출부(23)는, 중간 화상 상의 화소 좌표(u, v')에 대응하는 피사체 공간 중의 광선 방향 벡터를, 후기하는 후퇴 위치 기준 광선 방향 벡터(X', Y', Z')로서 산출하는 것이다.
여기서, 중간 화상이라 함은, 보정 테이블 수정 처리를 행하기 전의 리샘플링 테이블(보정 테이블)(17a)을 이용하고, 화상 보정 장치(10)에 있어서, 입력 화상을 보정하고, 출력한 경우의 화상에 상당한다.
후퇴 위치 기준 광선 방향 산출부(23)는, 다음 (1)식에 의해, 중간 화상 상의 화소 좌표(u, v')로부터, 후퇴 위치 기준 광선 방향 벡터(X', Y', Z')를 산출한다.
Figure pat00001
이에 의해, 도 5의 (b)에 도시하는 중간 화상의 uv' 좌표계로부터, 도 6의 (a)에 도시하는 X'Y'Z' 좌표계로 좌표계를 변환한다. 여기서, 도 5의 (b)에 있어서의 O''(uc, v'c)는 중간 화상의 중심 위치의 좌표이다. w는, u 축 방향의 스케일을 정규화하기 위한 상수이며, uc의 값과 동등하게 설정된다. 또한, 출력 화상 및 중간 화상 전체에서의 스케일의 정합성을 확보하기 위해, v 축 방향 및 v' 축 방향의 스케일의 정규화에 대해서도 사용된다.
또한, 도 6의 (a)에 도시하는 바와 같이, Θ는, 후퇴 위치 기준에서의 반화각에 상당히 하는 것이며, 설계값으로서 미리 제공되는 값이다. P2(u, v')는, 후퇴 위치 기준 광선 방향 벡터 QK1(X', Y', Z')으로 변환된다. K1은, 원통면(51) 상의 점이다. 또한, 이와 같이 변환하는 이유는, 후술한다.
원점 기준 광선 방향 산출부(24)는, 후퇴 위치 기준 광선 방향 벡터(X', Y', Z')로부터, 원점 기준 광선 방향 벡터(X, Y, Z)를 산출하는 것이다. 원점 기준 광선 방향 산출부(24)는, 다음 수학식 2에 의해, 원점 기준 광선 방향 벡터(X, Y, Z)를 산출한다.
Figure pat00002
이에 의해, 도 6의 (a)에 도시하는 바와 같이, X'Y'Z' 좌표계로부터, XYZ 좌표계로 변환한다. 후퇴 위치 기준 광선 방향 벡터 QK1(X', Y', Z')은, 원점 기준 광선 방향 벡터 OK1 (X, Y, Z)으로 변환된다.
추출 위치 산출부(25)는, 입력되는 원점 기준 광선 방향 벡터(X, Y, Z)로부터, 입력 화상 상의 좌표(x, y)를 추출 위치로서 산출하는 것이다. 추출 위치란, 입력 화상 상의 좌표(x, y)이며, 출력 화상 상의 화소 좌표(u, v) 또는 중간 화상 상의 화소 좌표(u, v')에 존재하는 화소의 화소값을 입력 화상 상으로부터 추출할 때의 위치이다. 본 실시 형태의 입력 화상은 등거리 사영 방식의 어안 렌즈를 이용하여 촬영된 것이기 때문에, 추출 위치 산출부(25)는, 예를 들면, 다음 수학식 3에 의해, 입력 화상 상의 좌표(x, y)를 산출한다.
Figure pat00003
이에 의해, 도 6의 (a)에 도시하는 XYZ 좌표계로부터, 도 6의 (b)에 도시하는 입력 화상의 xy 좌표계로 변환한다. 여기서, O'''(xc, yc)는 입력 화상의 상원(像円)의 중심의 좌표이다. 또한, R은 상원의 반경이며, 반화각 90도에 대응하는 길이이다. 원점 기준 광선 방향 벡터 OK1(X, Y, Z)은, P3(x, y)으로 변환된다.
또한, xc, yc 및 R은, 설계값으로서 미리 보정 테이블 생성 장치(20)에 등록되어 있는 것으로 한다. 또한, 본 발명에 있어서의 촬상 파라미터의 종류는 이들에 한정되는 것은 아니고, 사용하는 사영 모델에 따라 다양하게 변경할 수 있는 것 외에, 1매 또는 복수의 입력 화상으로부터, 종래 기술을 이용하여 추정하도록 해도 된다. 예를 들면, 상원의 중심의 좌표 O'''(xc, yc) 및 상원의 반경 R에 대해서는, 상원의 외측의 부분이 통상 검게 되어 있는[화소값으로서 (R, G, B) 각각에 매우 작은 값이 저장되어 있음] 것을 이용하여, 원의 추정을 행함으로써, 종래 기술에 의해 추정 가능하다. 또한, 수학식 3 대신에, 종래 기술에 의한, 광학계의 왜곡 보정을 위한, 고차의 항까지 포함시킨 보정식을 사용하도록 해도 된다.
추출 위치 등록부(26)는, 추출 위치 산출부(25)에 의해 산출된 입력 화상 상의 좌표(x, y)를 중간 화상 상의 화소 좌표(u, v')에 대응시켜 리샘플링 테이블(보정 테이블)(17a)에 등록하는 것이다. 또한, 추출 위치 산출부(25)에 의해 산출된 입력 화상 상의 좌표(x, y)가 입력 화상의 범위 외의 좌표일 경우에는, 상술한 대로, 미리 정한 예외값, 예를 들면 (?1, ?1) 등의 값을 (u, v)에 대응시켜 등록해 둔다.
또한, 여기까지에서 생성된 리샘플링 테이블(보정 테이블)(17a)을 이용하여, 화상 보정 장치(10)에 의해, 입력 화상을 보정하여 출력하면, 중간 화상이 생성된다. 이 중간 화상을 더 보정한 화상을 얻기 위해, 보정 테이블 생성 장치(20)는, 보정 테이블 수정부(27)를 구비한다.
보정 테이블 수정부(27)는, 가상적인 피사체로서 원통면을 사용하고 있는 것 등에 기인하는, 도 18의 (c)에 나타낸 것 같이, 보정 결과가 세로로 길어지는 현상을 완화하기 위한 처리를 행하는 것이다. 구체적으로는, 이미 생성되어 있는 리샘플링 테이블(보정 테이블)(17a)의 좌표(u, v')에 대응하는 입력 화상 상의 좌표(x, y)를, 좌표(u, v)에 대응시켜 리샘플링 테이블(보정 테이블)(17)에 등록한다. 이때, u는 정수이며, v'는 반드시 정수는 아니지만, v에 관해 선형 보간 등의 종래의 보간 방법을 이용하여 산출할 수 있다. 예를 들면, v'를 올림하여 구한 정수 v1과 v'를 내림하여 구한 정수 v2에 있어서, 리샘플링 테이블(보정 테이블)(17a)의 (u, v1), (u, v2)에 각각 대응하는 (x, y)의 값을 참조하고, x 및 y에 대해 각각 선형 보간 하면 된다. 또한, 리샘플링 테이블(보정 테이블)의 (u, v1), (u, v2)에 각각 대응하는 (x, y)의 값 중, 적어도 한쪽이 예외값인 경우에는, 선형 보간 등은 행하지 않고, 좌표(u, v)에 대응하는 좌표로서 예외값을 등록한다.
보정량 Δv는, 예를 들면, 다음 수학식 4에 의해 산출한다. 또한, 참조 위치의 v 좌표 v'는, 예를 들면, 수학식 5에 의해 산출한다.
Figure pat00004
Figure pat00005
이에 의해, 도 5의 (a)에 도시하는 출력 화상의 uv 좌표계와, 도 5의 (b)에 도시하는 uv' 좌표계를 대응시킨 것이 된다. 여기서, vc'는, 중간 화상에 있어서의 v' 축 방향의 중심 위치의 좌표이다. 또한, vc는, 출력 화상에 있어서의 v 축 방향의 중심 위치의 좌표이다. P1(u, v)은, P2(u, v')에 대응시킬 수 있게 된다. 또한, 수학식 4는, 도 18의 (c)의 관찰로부터도 알 수 있는 바와 같이, 보정 화상의 상하 단부에 접근하는 것에 따라, 즉 세로 방향의 중심으로부터 떨어지는 것에 따라, 필요한 보정량이 증가하는 것을 고려하여, 보정량을 2차 함수로 나타낸 것이며, 다른 함수를 이용해도 된다.
이와 같이, 본 실시 형태에서는, 보정 테이블 수정부(27)에 의해, v 축 방향의 수정이 이루어지므로, 리샘플링 테이블(보정 테이블)(17a)의 작성시, 미리 출력 화상보다도 넓은 범위에 대해 작성해 둔다. 구체적으로는, 상하 방향에 대해, 각각 수학식 4에 「v＝0」을 대입하여 얻어지는 Δv의 값보다도 1화소분만큼 넓은 범위(끝수 반올림)에 대해 작성해 두면 된다. 이에 의해, 수정시의 데이터의 부족을 회피할 수 있다.
다음에, 수학식 1 및 수학식 2에 의해, 상술한 바와 같이 변환하여 좌표를 대응시키는 이유를, 도 7을 이용하여 설명한다.
도 7은 피사체 공간인 XYZ 좌표계의 「Y＝0」의 단면도이다. XYZ 좌표계의, 원점 O을 중심으로 하는 반경1의 구면(50) 상의 「Z≥0」의 영역이, 입력 화상(어안 화상)의 정보와 대응시킬 수 있는 영역이다. 여기서, Z 축은, 입력 화상을 얻을 때의 어안 렌즈의 광축에 대응한다. 또한, 원점 O는, 입력 화상을 얻을 때의 어안 렌즈의 투영 중심 위치에 대응한다. 즉, 원점 O는, 본 발명에 있어서의 제1 투영 중심 위치가 된다.
본 실시 형태에서는, 중심축이 점 Q를 통해 Y 축과 평행한 원통면(51)과, 구면(50)이, 위치(0, 0, 1)에 존재하는 점 A0에 있어서 접하도록, 투영 중심이 되는 점Q의 위치(0, 0, 1?r)를 결정한다. 점 Q를 중심으로 하는 원의 반경 r은, 수학식 1에 의해 구한다. 이 점 Q가, 제2 투영 중심 위치(후퇴 위치)이다. 또한, Θ는, 설계값으로서 미리 제공되는 값이며, 예를 들면, 「25도」를 이용하면 된다.
다음에, 피사체가 원통면(51) 상에 존재한다고 가정하고, 점 Q를 기준으로 한 광선 방향을 결정한다. 즉, 중간 화상 상의 좌표(u, v')에 대응하는 XZ 평면 상의 각도 θ를, 수학식 1에 의해 구한다. 그리고 점 Q를 투영 중심으로 하여, 원통면(51) 상의 점 K1을, 수학식 1에 의해 산출한다. 여기서, 점 Q를 기준으로 한 점 K1의 위치 벡터 QK1이, 후퇴 위치 기준 광선 방향 벡터이다.
또한, 본 실시 형태에서는, 후퇴 위치 기준 광선 방향 벡터의 Y' 성분에 대해서는, 수학식 1에 나타낸 바와 같이, 정사영과 스케일 변환에 의해 구하고 있다. 스케일 변환의 계수는, 점 O와 점 A2(또는 점 A1)과의 사이의 거리 rㆍsinΘ이다. 이 스케일 변환의 계수는, 중간 화상(출력 화상)이 정방형인 경우에 종횡의 표현 가능한 범위가 동일하게 되는 값으로서 정한 것이지만, 이에 한정되는 것은 아니다.
다음에, 원점 O를 기준으로 한 광선 방향을 결정한다. 즉, 원점 O를 투영 중심으로 하여, 원통면(51) 상의 점 K1을, 수학식 2에 의해 산출한다. 여기서, 원점 O를 기준으로 한 점 K1의 위치 벡터 OK1이 원점 기준 광선 방향 벡터이다. 점 K2는, 벡터 OK1과 구면(50)과의 교점이며, 점 K1은, 점 K2를 통해, 입력 화상의 좌표(x, y)와 일대일로 대응한다.
이상과 같은 방법에 의해, 원점 O를 기준으로 한 수평 화각 180도의 범위는, 점 Q를 기준으로서 점 A1로부터 점 A2까지를 바라보는 범위, 즉, 수평 화각 2Θ의 범위로서 표현할 수 있기 때문에, 보정 화상에서 표현되어 있는 화각과 보정 화상을 관상하는 화각과의 괴리가 완화되게 되어, 보정 화상을 관상할 때의 위화감을 저감할 수 있다.
또한, 점 Q는, 입력 화상을 얻을 때의 광축의 방향을 기준으로 하여, 점 O보다도 후방, 즉, 제1 투영 중심 위치 O로부터 제2 투영 중심 위치 Q로의 방향 벡터와, 광축의 방향 벡터와의 내적이 마이너스 값으로 되는 점이면 된다. 또한, 구면(50)과 원통면(51)이 점 A0에 있어서, 반드시 접할 필요는 없고, 점 Q를 고정하여 원통면(51)에 관한 원의 반경을 크게 하는 등, 본 발명의 구체적인 실시 형태에 대해서는, 도 7에 도시하는 기하학적인 관계로 한정되는 것은 아니다.
[보정 테이블 생성 장치(20)의 기본 동작]
다음에, 보정 테이블 생성 장치(20)의 기본 동작에 대해 도 8을 참조(구성은 도 4를 참조)하여 설명한다.
도 8의 흐름도에 나타내는 바와 같이, 스텝 S10에 있어서, 보정 테이블 생성 장치(20)는, 카운터의 M의 값을 「0」으로 한다.
스텝 S11에 있어서, 보정 테이블 생성 장치(20)는, 후퇴 위치 기준 광선 방향 벡터 산출 처리를 행한다. 또한, 이 처리에 대해서는, 나중에 상술한다(도 9 참조).
스텝 S12에 있어서, 원점 기준 광선 방향 산출부(24)는, 후퇴 위치 기준 광선 방향 벡터(X', Y', Z')로부터, 원점 기준 광선 방향 벡터(X, Y, Z)를 산출한다.
스텝 S13에 있어서, 추출 위치 산출부(25)는, 원점 기준 광선 방향 벡터(X, Y, Z)에 대응하는 입력 화상 상의 좌표(x, y)를 산출한다.
스텝 S14에 있어서, 추출 위치 등록부(26)는, 산출한 좌표(x, y)를 리샘플링 테이블(보정 테이블)(17a)의 중간 화상 상의 화소 좌표(u, v')에 대응시켜 등록한다.
스텝 S15에 있어서, 보정 테이블 생성 장치(20)는, 중간 화상의 전체 화소에 대해 리샘플링 테이블(보정 테이블)(17a)에의 등록이 완료되었는지 여부를 판정한다.
중간 화상의 전체 화소에 대해 리샘플링 테이블(보정 테이블)(17a)에의 등록이 완료된 경우에는[스텝 S15ㆍ예(Yes)], 보정 테이블 생성 장치(20)는, 보정 테이블 생성 처리를 종료한다.
한편, 중간 화상의 화소 중 리샘플링 테이블(보정 테이블)(17a)에의 등록이 완료되어 있지 않은 화소가 있는 경우에는[스텝 S15ㆍ아니오(No)], 보정 테이블 생성 장치(20)는, 카운터의 M의 값에 「1」을 더한다(스텝 S16). 그 후, 스텝 S11로 복귀하여 처리를 계속한다.
또한, 중간 화상의 전체 화소에 대해 리샘플링 테이블(보정 테이블)(17a)에의 등록이 완료되었는지 여부는, 카운터의 M의 값과 중간 화상의 화소수를 비교함으로써 판정하면 된다.
[후퇴 위치 기준 광선 방향 벡터 산출 처리]
다음에, 스텝 S11(도 8 참조)의 후퇴 위치 기준 광선 방향 벡터 산출 처리에 대해 도 9를 참조하여 설명한다.
도 9의 흐름도에 나타내는 바와 같이, 스텝 S111에 있어서, 우선, 후퇴 위치기준 광선 방향 산출부(23)는, 카운터의 M의 값을 중간 화상의 u 축 방향의 화소수로 나눈 몫을 v'의 값, 나머지를 u의 값으로 하여(즉, u 축 방향의 화소수가 「B」일 경우, N＝v'ㆍB＋u), 중간 화상 상의 화소 좌표(u, v')를 산출한다. 다음에, 후퇴 위치 기준 광선 방향 산출부(23)는, 중간 화상 상의 좌표(u, v')에 대응하는 후퇴 위치 기준의 각도 θ를, 수학식 1에 의해 산출한다.
스텝 S112에 있어서, 후퇴 위치 기준 광선 방향 산출부(23)는, 상기 각도θ에 대응하는 후퇴 위치 기준 광선 방향 벡터의 X성분(X')과 Z성분(Z')을, 수학식 1에 의해 산출한다.
스텝 S113에 있어서, 후퇴 위치 기준 광선 방향 산출부(23)는, 중간 화상 상의 M번째의 화소의 좌표(u, v')에 대응하는 후퇴 위치 기준 광선 방향 벡터의 Y성분(Y')을, 수학식 1에 의해 산출한다. 그 후, 후퇴 위치 기준 광선 방향 벡터 산출 처리를 종료한다.
[보정 테이블 수정 처리]
다음에, 보정 테이블 수정 처리에 대해 도 10을 참조하여 설명한다. 이 처리는, 상술한 보정 테이블 생성 장치(20)의 기본 동작의 종료 후, 리샘플링 테이블(보정 테이블)(17a)의 수정이 필요한 경우에 동작한다.
도 10의 흐름도에 나타내는 바와 같이, 스텝 S20에 있어서, 보정 테이블 수정부(27)는, 카운터의 M의 값을 「0」으로 한다.
스텝 S21에 있어서, 보정 테이블 수정부(27)는, 출력 화상 상의 M번째의 화소의 좌표(u, v)에 대응하는 보정량 Δv를, 수학식 4에 의해 산출한다. 또한, 카운터의 M의 값으로부터 출력 화상 상의 화소의 좌표(u, v)를 산출하는 방법은, 도 9의 스텝 S111에서 나타낸 방법과 마찬가지이다.
스텝 S22에 있어서, 보정 테이블 수정부(27)는, 리샘플링 테이블(보정 테이블)(17a)을 참조하여, 좌표(u, v')에 대응하는 입력 화상 상의 좌표(x, y)를 산출한다.
스텝 S23에 있어서, 보정 테이블 수정부(27)는, 산출한 좌표(x, y)를 새롭게 생성하는 리샘플링 테이블(보정 테이블)(17)의 좌표(u, v)에 대응하는 위치에 등록한다. 여기서, v에 대응하는 v'의 구하는 방법은, 수학식 5에 의한다.
스텝 S24 및 스텝 S25에 대해서는, 상술한 스텝 S15 및 스텝 S16와 마찬가지이므로, 설명을 생략한다.
이상의 동작에 의해, 특정한 영역 부근에서 가로 방향의 직선이 급격히 만곡한다고 하는 현상을 억제하면서, 보정 화상에서 표현되어 있는 화각과 보정 화상을 관상하는 화각과의 괴리가 완화되게 되고, 보정 화상을 관상할 때의 위화감을 저감할 수 있다.
＜제2 실시 형태>
이하, 본 발명의 제2 실시 형태에 대해, 도 11 내지 도 17을 참조하여 설명한다.
[보정 테이블 생성 장치(20A)의 구성]
도 11에 도시하는 바와 같이, 보정 테이블 생성 장치(20A)는, 제1 실시 형태의 보정 테이블 생성 장치(20)와 비교하여, 보정 테이블 수정부(27)는 없지만, 경도 위도 산출부(21)와, 보정 위도 산출부(22)와, 후퇴 위치 기준 광선 방향 산출부(23A)와, 원점 기준 광선 방향 산출부(24A)를 구비한다. 또한, 제1 실시 형태의 구성과 동일한 구성에는 동일한 부호를 붙이고, 중복 설명은 생략한다.
경도 위도 산출부(21)는, 출력 화상 상의 화소 좌표(u, v)에 대응하는 경도 λ 및 위도 Φ를 산출하는 것이다. 예를 들면, 경도 위도 산출부(21)는, 세계 지도의 작성에서 이용되고 있는 도법 중, 비투사 원통 도법의 하나인, 메르카토르 도법을 이용하여, 경도 λ 및 위도 Φ를 산출한다. 본 실시 형태에서는, 출력 화상의 좌단부의 화소 좌표를 경도 「?Θ」, 출력 화상의 우단부의 화소 좌표를 경도 「Θ」에 대응시키기 위해, u 축 방향의 스케일을 정규화하기 위한 상수 「w」를 이용하여, 다음 수학식 6에 의해 산출한다.
Figure pat00006
이에 의해, 도 12의 (a)에 도시하는 출력 화상의 uv 좌표계로부터, 도 12의 (b)에 도시하는 경도 위도 좌표계로 좌표계를 변환한다. 여기서, Θ는 반화각에 상당하는 설계값(도 7 참조)이며, 예를 들면, 「80도」로 한다. O'(uc, vc)는, 출력 화상의 중심 위치의 좌표이다. 예를 들면, 출력 화상의 u 축 방향의 화소 수가 640화소일 경우, uc의 값은 「(0＋639)/2」에 의해 산출되는 「319.5」라고 하는 값이 된다. vc에 대해서도 마찬가지로 산출하면 된다. w는, u 축 방향의 스케일을 정규화하기 위한 상수이며, uc의 값과 동등하게 설정되고, 출력 화상 전체에서의 스케일의 정합성을 확보하기 위해, v 축 방향의 스케일의 정규화에 대해서도 사용된다. P1(u, v)은, P2(λ, Φ)로 변환된다.
보정 위도 산출부(22)는, 입력되는 경도 λ 및 위도 Φ로부터, 후퇴 위치 기준 광선 방향 벡터의 산출에 이용하는 위도인 보정 위도 φ를 산출하는 것이다. 예를 들면, 보정 위도 산출부(22)는, 다음 수학식 7에 의해, 보정 위도 φ를 산출한다.
Figure pat00007
이에 의해, 도 12의 (b)에 도시하는 바와 같이, 경도 위도 좌표계에 있어서 위도 방향에 관한 보정을 행한다. P2(λ, Φ)는, P3(λ, φ)으로 변환된다. 또한, 이와 같은 보정을 하는 이유는, 후술한다.
후퇴 위치 기준 광선 방향 산출부(23A)는, 입력되는 경도 λ 및 보정 위도 φ에 대응하는 피사체 공간 중의 광선 방향 벡터를, 후기하는 후퇴 위치 기준 광선 방향 벡터(X', Y', Z')로서 산출하는 것이다. 후퇴 위치 기준 광선 방향 산출부(23A)는, 다음 수학식 8에 의해, 후퇴 위치 기준 광선 방향 벡터(X', Y', Z')를 산출한다.
Figure pat00008
이에 의해, 도 12의 (b)에 도시하는 경도 위도 좌표계로부터, 도 13의 (a)에 도시하는 X'Y'Z' 좌표계로 변환한다. 이 좌표계는, 피사체 공간의 좌표계이다. 여기서, 제1 실시 형태와 마찬가지로, Z 축은, 입력 화상을 얻을 때의 광축에 대응한다. 또한, 원점 O는, 입력 화상을 얻을 때의 투영 중심 위치에 대응하며, 제1 투영 중심 위치로 된다. 원점 O로부터 광축을 따라 후방에 점 Q가 있고, 이 점 Q가 제2 투영 중심 위치(후퇴 위치)이다. 후퇴 위치 기준 광선 방향 벡터 QK0(X', Y', Z')는, 점 Q로부터 경도 λ, 위도 φ의 지점을 향하는, 길이가 「1」로 정규화된 방향 벡터이다. 여기서 수학식 6으로부터, λ가 변동하는 범위는, ?Θ≤λ≤Θ이다. P3(λ, φ)은, 후퇴 위치 기준 광선 방향 벡터 QK0(X', Y', Z')로 변환된다.
원점 기준 광선 방향 산출부(24A)는, 다음 수학식 9에 의해, 원점 기준 광선 방향 벡터(X, Y, Z)를 산출하는 것이다.
Figure pat00009
이에 의해, 도 13의 (a)에 도시하는 바와 같이, X'Y'Z' 좌표계로부터, XYZ 좌표계로 변환한다. 후퇴 위치 기준 광선 방향 벡터 QK0(X', Y', Z')는, 원점 기준 광선 방향 벡터 OK1(X, Y, Z)로 변환된다. 원점 기준 광선 방향 벡터 OK1(X, Y, Z)은, 점 Q로부터 후퇴 위치 기준 광선 방향 벡터 QK0(X', Y', Z')의 방향으로 반직선을 연장시켰을 때에 원통면(51)과 교차하는 점 K1의, 원점 O를 기준으로 한 위치 벡터이다.
추출 위치 산출부(25) 및 추출 위치 등록부(26)는 제1 실시 형태와 마찬가지이므로, 설명을 생략한다.
여기서, 보정 위도 산출부(22)에 있어서, 위도 Φ로부터 보정 위도 φ로 보정하는 이유를 도 14 및 도 15를 참조하여 설명한다.
도 14에 있어서, 점 Q는, 제2 투영 중심 위치이며, 점 A는, 점 Q를 중심으로 하는 단위 구면 상에서, 경도 0도, 위도 0도의 점에 대응하고 있다. 평면(52)은, 벡터 QA에 직교하는 피사체 공간 중의 평면이다. 직선(53)은, 평면(52)과 삼각형 QAC이 이루는 평면(XZ 평면)과의 교선이다. 직사각형 ABDC는, 평면(52) 상의 직사각형이다.
메르카토르 도법은, 구면을 평면에 투영하는 방법이며, 구면 상의 등경도선과 등위도선은, 모두 투영처의 평면 상에서 직선이 된다. 따라서 도 14에 도시하는 직선 AB, 직선 AC 및 직선 CD는, 경도 위도 평면에 전개했을 때에, 만곡하지 않고 직선이 된다. 왜냐하면, 직선 AB와 직선 CD는, 점 Q를 중심으로 하는 단위 구면 상에서는 등경도선이 되고, 직선 AC은, 단위 구면 상에서는 위도 0도의 등위도선이 되기 때문이다. 한편, 점 C의 경도가 되는 ∠AQC가 λ1일 때, 선분 QC의 길이는 선분 QA의 길이에 비하여 「1/cos(λ1)」의 길이로 되어 있기 때문에, 점 B의 위도가 되는 ∠AQB의 Φ0과 점 D의 위도가 되는 ∠CQD의 Φ1과는, 「tan(Φ1)＝tan(Φ0)ㆍcos(λ1)」이라 하는 관계에 있다. 즉, 직선 BD는 등위도선이 되지 않기 때문에, 메르카토르 도법으로 표현했을 때에, 투영처의 경도 위도 평면 상에서 직선이 되지 않고 만곡된다.
따라서 직선 BD의 만곡을 저감하기 위해, 예를 들면, 수학식 7을 이용한다. 여기서, 직선 BD의 만곡을 완전하게 없애고자 하면 「f(λ)＝cos(λ)」가 되지만, f(λ)로서 이 함수를 이용하였을 경우, 보정 위도 산출부(22)에 입력된 경도 λ가 90도인 경우에, 입력된 위도 Φ의 값에 의존하지 않고, 보정 위도 φ가 「0」으로 된다. 이것은, 출력 화상의 좌우 단부에 접근하는 것에 따라 세로 방향의 확대율이 매우 커지는 것을 의미하고 있어, 출력 화상을 관상하는 사용자에게 있어서, 바람직한 것은 아니다.
그로 인해, f(λ)로서, 「f(λ)＝cos(λ)」는 아니고, 수학식 7의 f(λ)와 같은 근사식을 이용한다. 예를 들면, 도 15는 0≤λ≤(π/2)에 있어서의 f(λ)의 그래프를 나타낸 것이며, 곡선(60)은 「cos(λ)」를, 곡선(61)은 수학식 7의 f(λ)를 각각 나타내고 있다. 이때, λ의 절대값이 작은 영역, 즉 출력 화상의 중앙 부근에서는, 곡선(61)은 곡선(60)에 가까운 편이 바람직하다. 왜냐하면, 직선의 만곡이 보다 잘 보정되기 때문이다. 한편, f(λ)의 값이 0에 가까울수록 세로 방향의 확대율이 커지기 때문에, 곡선(61)의 최소값은, 어느 정도의 크기를 유지하도록 설계하는 것이 바람직하다.
보다 구체적으로는, 수학식 7의 f(λ)는, 다음과 같은 조건을 충족시키도록 설계된 것이다. 이들 조건을 충족시키는 함수이면, 보정 위도 산출부(22)가 위도를 보정할 때에 이용하는 함수는, 수학식 7의 함수로 한정되는 것은 아니다.
제1 조건은 「f(λ)≤1」이다. 이것은, λ의 정의 영역의 전역에 걸쳐, 보정이 잘못된 방향으로 이루어지지 않은 것을 보증하는 조건이다.
제2 조건은 「어떤 Λ가 존재하고, f(Λ) ＜1」이다. 여기서 Λ은 λ의 정의역에 포함되는 값이다. 이것은, 적어도 1개 이상의 λ의 값에 대해, 보정이 바람직한 방향으로 이루어지는 것을 보증하는 조건이다.
제3 조건은 「cos(λ)≤f(λ)」이다. 이것은, λ의 정의역의 전역에 걸쳐, 지나치게 보정하지 않은 것을 보증하는 조건이다.
제4 조건은 「f(λ)/cos(λ)은 광의 단조 증가한다」이다. 이것은, 위도 보정의 정도가, 변동하는 일 없이 서서히 약해져 가기 위한 조건이다.
제5 조건은 「0 ＜G ＜1이 되는 소정의 상수 G에 대해, f(λ)≥G」이다. 이것은, 출력 화상 전역에 있어서의 세로 방향의 확대율을 소정의 범위 내에 수렴하기 위한 조건이다. G의 값은 허용할 수 있는 세로 방향의 확대율이나 허용할 수 있는 횡선의 만곡 정도에 기초하여 미리 결정해 두면 되지만, G의 값이 커지면 세로 방향의 확대율은 억제할 수 있지만 횡선의 만곡에 대한 보정의 정도가 약해지고, G의 값이 작아지면 횡선의 만곡에 대한 보정의 정도는 강해지지만 세로 방향의 확대율이 커져버리는 가능성이 나오기 때문에, 0.2 이상 0.5 이하 정도의 값을 사용하는 것이 좋다.
[보정 테이블 생성 장치(20A)의 동작]
다음에, 보정 테이블 생성 장치(20A)의 동작에 대해 도 16을 참조(구성은 도 11을 참조)하여 설명한다.
도 16의 흐름도에 나타내는 바와 같이, 스텝 S10에 있어서, 보정 테이블 생성 장치(20A)는, 카운터의 M의 값을 「0」으로 한다.
스텝 S11A에 있어서, 보정 테이블 생성 장치(20A)는, 후퇴 위치 기준 광선 방향 벡터 산출 처리를 행한다. 또한, 이 처리에 대해서는, 나중에 상술한다(도 17 참조).
스텝 S12A에 있어서, 원점 기준 광선 방향 산출부(24A)는, 후퇴 위치 기준 광선 방향 벡터(X', Y', Z')를, 수학식 9에 의해 원점 기준 광선 방향 벡터(X, Y, Z)로 변환한다.
스텝 S13 및 스텝 S14의 처리는, 제1 실시 형태와 마찬가지이므로 설명을 생략한다.
스텝 S15A에 있어서, 보정 테이블 생성 장치(20A)는, 출력 화상의 전체 화소에 대해 리샘플링 테이블(보정 테이블)(17A)에의 등록이 완료되었는지 여부를 판정한다.
출력 화상의 전체 화소에 대해 리샘플링 테이블(보정 테이블)(17A)에의 등록이 완료된 경우에는(스텝 S15AㆍYes), 보정 테이블 생성 장치(20A)는, 보정 테이블 생성 처리를 종료한다.
한편, 출력 화상의 화소 중 리샘플링 테이블(보정 테이블)(17A)에의 등록이 완료되어 있지 않은 화소가 있는 경우에는(스텝 S15AㆍNo), 보정 테이블 생성 장치(20A)는, 카운터의 M의 값에 「1」을 더한다(스텝 S16). 그 후, 스텝 S11A로 복귀하여 처리를 계속한다.
또한, 출력 화상의 전체 화소에 대해 리샘플링 테이블(보정 테이블)(17A)에의 등록이 완료되었는지 여부는, 카운터의 M의 값과 출력 화상의 화소 수를 비교함으로써 판정하면 된다.
[후퇴 위치 기준 광선 방향 벡터 산출 처리]
다음에, 스텝 S11A(도 16 참조)의 광선 방향 벡터 산출 처리 대해, 도 17을 참조하여 설명한다.
도 17의 흐름도에 나타내는 바와 같이, 스텝 S111A에 있어서, 경도 위도 산출부(21)는, 출력 화상 상의 M번째의 화소의 좌표(u, v)에 대응하는 경도 위도(λ, Φ)를, 수학식 6에 의해 산출한다. 또한, 카운터의 M의 값으로부터 출력 화상 상의 화소의 좌표(u, v)를 산출하는 방법은, 도 9의 스텝 S111에서 나타낸 방법과 마찬가지이다.
스텝 S112A에 있어서, 보정 위도 산출부(22)는, 수학식 7에 의해 보정 위도 산출 처리를 행한다.
스텝 S113A에 있어서, 후퇴 위치 기준 광선 방향 산출부(23A)는, 경도 위도 산출부(21)가 산출한 경도 λ와, 보정 위도 산출부(22)가 산출한 보정 위도 φ에 기초하여, 수학식 8에 의해 후퇴 위치 기준 광선 방향 벡터(X', Y', Z')를 산출한다. 그 후, 후퇴 위치 기준 광선 방향 벡터 산출 처리를 종료한다.
이상의 동작에 의해, 제1 실시 형태와는 상이한 후퇴 위치 기준 광선 방향 벡터 산출 처리를 이용한 경우에 있어서도, 특정한 영역 부근에서 가로 방향의 직선이 급격히 만곡한다고 하는 현상을 억제하면서, 보정 화상에서 표현되어 있는 화각과 보정 화상을 관상하는 화각과의 괴리가 완화되게 되어, 보정 화상을 관상할 때의 위화감을 저감할 수 있다.
＜변형예>
이상, 본 발명의 실시 형태에 대해 설명했지만, 본 발명은 이에 한정되지 않고, 본 발명의 취지를 일탈하지 않는 범위에서, 예를 들면 다음과 같이 변경할 수 있다.
예를 들면, 화상 생성 장치(30)는, 예시한 것에 한정되는 것은 아니고, 광각 렌즈를 구비한 디지털 카메라, 등거리 사영 방식을 비롯한 각종의 사영 방식으로 설계된 어안 렌즈를 구비한 디지털 카메라, 광각 렌즈나 어안 렌즈를 구비한 비디오 카메라, 그들 기기에 의해 촬영된 영상을 기억한 기억 매체를 재생하는 영상재생 기기 등, 다양한 변경이 가능하다. 입력 화상의 사영 방식이 변경될 경우, 수학식 3을, 입력 화상의 사영 방식에 적합한 식으로 변경하면 되고, 그와 같은 변경은 용이하다.
또한, 화상 출력부(14)에 접속하는 장치는, 화상 표시 장치(40)에 한정되는 것은 아니고, 예를 들면, 보정된 화상을 기억하는 기억 장치나, 보정된 화상을 다른 시스템에 전송하는 전송 장치를 접속하는 등, 본 발명을 적용하는 용도에 따라 다양하게 변경할 수 있다.
또한, 카운터의 값으로부터 출력 화상 또는 중간 화상의 화소 좌표를 산출하는 방법에 대해서는, 래스터 스캔의 순서로 화소가 참조되도록 하기 위해, 예를 들면 카운터 N의 값을 출력 화상의 u 축 방향의 화소 수로 나눈 몫을 v, 나머지를 u로 하여 화소 좌표(u, v)를 산출하도록 했지만, 출력 화상 또는 중간 화상의 화소의 참조 순서는 이에 한정되는 것은 아니다.
또한, 보정 테이블(17)은 리샘플링 테이블에 한정되는 것은 아니다. 예를 들면, 화상 보정 장치(10)의 구성을, 기하 보정부(13)가 출력 화상 상의 화소 좌표(u, v)에 대응하는 입력 화상 상의 좌표(x, y)를 그때마다 계산하면서 보정을 행하는 것 같은 구성으로 하는 경우에는, 입력 화상에 관한 파라미터 및 출력 화상에 관한 파라미터를 보정 테이블(17)로서 보정 테이블 기억부(15)에 기억해두면 된다. 그 경우, 보정 테이블(17)로서 리샘플링 테이블을 사용하는 경우와 비교하여, 보정 테이블 기억부(15)의 기억 용량도 적어도 된다.
또한, 그와 같은 구성으로 했을 경우, 기하 보정부(13)는, 출력 화상 상의 화소 좌표에 대응하는 입력 화상 상의 좌표를 구하는 방법으로서, 도 8로부터 도 10, 혹은, 도 16 및 도 17에 나타내는 흐름을 그대로 실행한다. 단, 산출한 좌표(x, y)를 리샘플링 테이블에 등록할 필요는 없고(스텝 S14), 산출한 좌표(x, y)에 기초하여 즉시 출력 화상의 화소값을 결정하면 된다. 혹은, 기하 보정부(13)는, 출력 화상 상의 화소 좌표(u, v)로부터, 해당 좌표에 대응하는 입력 화상 상의 좌표(x, y)를 직접 산출할 수 있는 합성 함수를 미리 작성해 놓고, 해당 합성 함수를 이용하는 구성으로 해도 된다. 또한, 보정 테이블 갱신부(16)가 키보드 등의 데이터 입력 장치를 구비하는 구성으로서, 출력 화상에 관한 파라미터를 사용자가 변경할 수 있도록 해도 된다.
또한, 본 발명의 실시 형태의 설명에서는, 어안 화상의 종횡 방향과 출력 화상의 종횡 방향을 일치시키는 예에 있어서 설명을 행하였지만, 본 발명의 실시 형태는 이에 한정되는 것은 아니다. 예를 들면, 3축 가속도 센서를 구비한 어안 카메라를 이용할 경우, 이 카메라로부터 얻어진 피사체 공간 중의 중력 방향의 정보에 기초하여, 중력 방향이 출력 화상의 세로 방향에 일치하는 리샘플링 테이블을 생성하도록 해도 된다. 구체적으로는, 어안 화상과 지표면과의 대응시키기를 행할 때에, 종래 기술에 의해 좌표계의 방향을 회전시키는 것만으로 되고, 그와 같은 변경은 용이하다.
또한, 후퇴 위치 기준 광선 방향 벡터 산출 처리의 방법은, 예시한 것에 한정할 필요는 없고, 다양한 변경이 가능하다. 또한, 출력 화상에서 표현하는 경도의 범위에 대해서도, ?90도로부터 90도의 범위에 한정되는 것은 아니다.
또한, 화상 입력부(11)에서 읽어들인 입력 화상의 각 화소의 화소값은, 기준색(R, G, B)마다 「0」으로부터 「255」까지의 256가지(8비트)의 정수값 중의 하나의 값을 취하는, 디지털화한 값으로 하였지만, 본 발명의 실시 형태는 이에 한정되는 것은 아니다. 예를 들면, 각 기준색으로 표현할 수 있는 계조를 「0」으로부터 「1023」까지의 1024가지(10비트)로 늘리는 등의 변경을 해도 된다. 해당 변경에 의해 입력 화상으로 표현할 수 있는 계조와 출력 화상으로 표현할 수 있는 계조 사이에 차이가 생기는 경우에도, 종래 기술로 용이하게 대처 가능하다.
또한, 예를 들면 기준색으로서[R, G, B, C(시안), Y(옐로)]의 5색을 이용하는, 다원색에의 대응도, 종래 기술을 이용함으로써 용이하게 실시할 수 있다.
또한, 보정 테이블 기억부(15)는, SD 메모리 카드 등, 화상 보정 장치(10)로부터 착탈 가능한 기억 매체를 이용함으로써 실시하여도 된다. 그 경우, 보정 테이블 생성 장치(20)가 SD 메모리 카드 라이터 등을 구비하고, 보정 테이블 생성 장치(20)에 의해 생성한 리샘플링 테이블(보정 테이블)(17)을, 상기 SD 메모리 카드 라이터를 통해 보정 테이블 기억부(15)에 등록하는 구성으로 함으로써, 화상 보정 장치(10)가 보정 테이블 갱신부(16)를 구비할 필요가 없어지기 때문에, 리샘플링 테이블(보정 테이블)(17)의 갱신 빈도가 낮을 경우에 적절하다.
또한, 본 발명의 실시 형태의 설명에서는, 원점 기준 광선 방향 벡터를, 후퇴 위치 기준 광선 방향 벡터로부터 원통면(51)을 통해 산출하도록 하였지만, 본 발명의 실시 형태는 이에 한정되는 것은 아니고, 제1 투영 중심 위치 O와 제2 투영 중심 위치 Q를 동일한 측에 포함하는, 원통면 이외의 곡면을 통해 원점 기준 광선 방향 벡터를 산출하는 구성으로 하는 것도 가능하다. 예를 들면, 제2 투영 중심 위치를 지나는 직선을 축으로서 갖는 타원통면을 통해 산출하도록 해도 된다. 또한, 출력 화상에서 표현하는 경도의 범위가 180도보다도 좁을 경우에는, Z 축에 수직한 평면을 통해 산출하도록 해도 된다. 또한, 출력 화상 상에서 허용되는 직선의 만곡의 정도가 클 경우에는, 제2 투영 중심 위치의 측으로부터 보아 「오목(凹)」이 되는 것 같은, 통면 이외의 형상의 곡면을 통해 산출할 수도 있다.
10 : 화상 보정 장치
11 : 화상 입력부
12 : 화상 기억부
13 : 기하 보정부
14 : 화상 출력부
15 : 보정 테이블 기억부
16 : 보정 테이블 갱신부
17, 17a, 17A : 리샘플링 테이블(보정 테이블)
20, 20A : 보정 테이블 생성 장치
21 : 경도 위도 산출부
22 : 보정 위도 산출부
23, 23A : 후퇴 위치 기준 광선 방향 산출부
24, 24A : 원점 기준 광선 방향 산출부
25 : 추출 위치 산출부
26 : 추출 위치 등록부
27 : 보정 테이블 수정부
30 : 화상 생성 장치
40 : 화상 표시 장치
O : 제1 투영 중심 위치
Q : 제2 투영 중심 위치
51 : 원통면

Claims (7)

  1. 입력 화상을 기하 보정하여 보정 화상을 생성하기 위해 이용하는 보정 테이블을 생성하는 보정 테이블 생성 장치로서,
    상기 보정 화상 상의 각 화소 위치에 대응하는 피사체 공간 중의 광선 방향 벡터를, 상기 피사체 공간 중에 있어서의 상기 입력 화상의 투영 중심 위치인 제1 투영 중심 위치보다도 상기 입력 화상에 대응하는 광축의 방향에 관하여 후방에 위치하는 제2 투영 중심 위치에 기초하여 산출하는 후퇴 위치 기준 광선 방향 산출부와,
    상기 광선 방향 벡터에 기초하여, 상기 화소 위치에 대응하는 피사체 공간 중의 대응점이 상기 제1 투영 중심 위치로부터 어느 방향에 존재하는지를 나타내는 벡터인 원점 기준 광선 방향 벡터를 산출하는 원점 기준 광선 방향 산출부와,
    상기 원점 기준 광선 방향 벡터에 대응하는 상기 입력 화상 상의 위치를 추출 위치로서 산출하는 추출 위치 산출부와,
    상기 추출 위치를 상기 보정 화상의 화소 위치에 대응시켜 상기 보정 테이블에 등록하는 추출 위치 등록부를 구비한 것을 특징으로 하는 보정 테이블 생성 장치.
  2. 입력 화상을 기하 보정하여 보정 화상을 생성하는 화상 보정 장치로서,
    상기 입력 화상을 입력하는 화상 입력부와,
    상기 입력 화상을 기억하는 화상 기억부와,
    상기 입력 화상을 기하 보정하기 위해 이용하는 보정 테이블을 기억하는 보정 테이블 기억부와,
    상기 화상 기억부에 기억된 상기 입력 화상을 상기 보정 테이블에 기초하여 기하 보정하는 기하 보정부와,
    상기 기하 보정부에 의해 보정된 상기 입력 화상을 상기 보정 화상으로서 출력하는 화상 출력부를 구비하고,
    상기 보정 테이블은, 상기 보정 화상 상의 각 화소 위치에 대응하는 피사체 공간 중의 광선 방향 벡터를, 상기 피사체 공간 중에 있어서의 상기 입력 화상의 투영 중심 위치인 제1 투영 중심 위치보다도 상기 입력 화상에 대응하는 광축의 방향에 관하여 후방에 위치하는 제2 투영 중심 위치에 기초하여 산출하고, 상기 광선 방향 벡터에 기초하여, 상기 화소 위치에 대응하는 피사체 공간 중의 대응점이 상기 제1 투영 중심 위치로부터 어느 방향에 존재하는지를 나타내는 벡터인 원점 기준 광선 방향 벡터를 산출하고, 상기 원점 기준 광선 방향 벡터에 대응하는 상기 입력 화상 상의 위치를 추출 위치로서 산출하고, 상기 추출 위치를 상기 보정 화상의 화소 위치에 대응시킴으로써 생성된 것인 것을 특징으로 하는 화상 보정 장치.
  3. 입력 화상을 기하 보정하여 보정 화상을 생성하는 화상 보정 장치로서,
    상기 입력 화상을 입력하는 화상 입력부와,
    상기 입력 화상을 기억하는 화상 기억부와,
    상기 보정 화상 상의 각 화소 위치에 대응하는 피사체 공간 중의 광선 방향 벡터를, 상기 피사체 공간 중에 있어서의 상기 입력 화상의 투영 중심 위치인 제1 투영 중심 위치보다도 상기 입력 화상에 대응하는 광축의 방향에 관하여 후방에 위치하는 제2 투영 중심 위치에 기초하여 산출하고, 상기 광선 방향 벡터에 기초하여, 상기 화소 위치에 대응하는 피사체 공간 중의 대응점이 상기 제1 투영 중심 위치로부터 어느 방향에 존재하는지를 나타내는 벡터인 원점 기준 광선 방향 벡터를 산출하고, 상기 원점 기준 광선 방향 벡터에 대응하는 상기 입력 화상 상의 위치를 추출 위치로서 산출하고, 상기 화상 기억부에 기억된 입력 화상과 상기 추출 위치에 기초하여 상기 보정 화상의 각 화소의 화소값을 결정하는 기하 보정부와,
    상기 기하 보정부에 의해 각 화소의 화소값이 결정된 상기 보정 화상을 출력하는 화상 출력부를 구비한 것을 특징으로 하는 화상 보정 장치.
  4. 입력 화상을 기하 보정하여 보정 화상을 생성하기 위해 이용하는 보정 테이블을 생성하는 보정 테이블 생성 장치에 있어서의 보정 테이블 생성 방법으로서,
    상기 보정 테이블 생성 장치의 후퇴 위치 기준 광선 방향 산출부가, 상기 보정 화상 상의 각 화소 위치에 대응하는 피사체 공간 중의 광선 방향 벡터를, 상기 피사체 공간 중에 있어서의 상기 입력 화상의 투영 중심 위치인 제1 투영 중심 위치보다도 상기 입력 화상에 대응하는 광축의 방향에 관하여 후방에 위치하는 제2 투영 중심 위치에 기초하여 산출하는 후퇴 위치 기준 광선 방향 산출 스텝과,
    상기 보정 테이블 생성 장치의 원점 기준 광선 방향 산출부가, 상기 광선 방향 벡터에 기초하여, 상기 화소 위치에 대응하는 피사체 공간 중의 대응점이 상기 제1 투영 중심 위치로부터 어느 방향에 존재하는지를 나타내는 벡터인 원점 기준 광선 방향 벡터를 산출하는 원점 기준 광선 방향 산출 스텝과,
    상기 보정 테이블 생성 장치의 추출 위치 산출부가, 상기 원점 기준 광선 방향 벡터에 대응하는 상기 입력 화상 상의 위치를 추출 위치로서 산출하는 추출 위치 산출 스텝과,
    상기 보정 테이블 생성 장치의 추출 위치 등록부가, 상기 추출 위치를 상기 보정 화상의 화소 위치에 대응시켜 상기 보정 테이블에 등록하는 추출 위치 등록 스텝을 포함하는 것을 특징으로 하는 보정 테이블 생성 방법.
  5. 입력 화상을 기하 보정하여 보정 화상을 생성하는 화상 보정 장치에 있어서의 보정 화상 생성 방법으로서,
    상기 화상 보정 장치의 화상 입력부가, 상기 입력 화상을 입력하는 화상 입력 스텝과,
    상기 화상 보정 장치의 화상 기억부가, 상기 입력 화상을 기억하는 화상 기억 스텝과,
    상기 화상 보정 장치의 기하 보정부가, 상기 보정 화상 상의 각 화소 위치에 대응하는 피사체 공간 중의 광선 방향 벡터를, 상기 피사체 공간 중에 있어서의 상기 입력 화상의 투영 중심 위치인 제1 투영 중심 위치보다도 상기 입력 화상에 대응하는 광축의 방향에 관하여 후방에 위치하는 제2 투영 중심 위치에 기초하여 산출하고, 상기 광선 방향 벡터에 기초하여, 상기 화소 위치에 대응하는 피사체 공간 중의 대응점이 상기 제1 투영 중심 위치로부터 어느 방향에 존재하는지를 나타내는 벡터인 원점 기준 광선 방향 벡터를 산출하고, 상기 원점 기준 광선 방향 벡터에 대응하는 상기 입력 화상 상의 위치를 추출 위치로서 산출하고, 상기 화상 기억 스텝에서 기억된 입력 화상과 상기 추출 위치에 기초하여 상기 보정 화상의 각 화소의 화소값을 결정하는 기하 보정 스텝과,
    상기 화상 보정 장치의 화상 출력부가, 상기 기하 보정 스텝에 의해 각 화소의 화소값이 결정된 상기 보정 화상을 출력하는 화상 출력 스텝을 포함하는 것을 특징으로 하는 보정 화상 생성 방법.
  6. 제4항에 기재된 보정 테이블 생성 방법을 컴퓨터에 실행시키기 위한 보정 테이블 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체.
  7. 제5항에 기재된 보정 화상 생성 방법을 컴퓨터에 실행시키기 위한 보정 화상생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체.
KR1020110095099A 2010-10-29 2011-09-21 화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법 및 기록 매체 KR20120046010A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2010-243503 2010-10-29
JP2010243503A JP5544277B2 (ja) 2010-10-29 2010-10-29 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム

Publications (1)

Publication Number Publication Date
KR20120046010A true KR20120046010A (ko) 2012-05-09

Family

ID=44785496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110095099A KR20120046010A (ko) 2010-10-29 2011-09-21 화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법 및 기록 매체

Country Status (5)

Country Link
US (1) US8571345B2 (ko)
EP (1) EP2447910B1 (ko)
JP (1) JP5544277B2 (ko)
KR (1) KR20120046010A (ko)
CN (1) CN102469254B (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101694969B1 (ko) 2012-10-29 2017-01-10 한국전자통신연구원 카메라 캘리브레이션 방법 및 장치
CN103856705A (zh) * 2012-12-03 2014-06-11 三星电子（中国）研发中心 一种图像矫正方法和系统
JP6302624B2 (ja) * 2013-04-24 2018-03-28 住友重機械工業株式会社 画像生成装置
KR101493946B1 (ko) * 2014-04-16 2015-02-17 하이네트(주) 광각 렌즈 이미지 보정 방법 및 그 장치
JP6627352B2 (ja) * 2015-09-15 2020-01-08 カシオ計算機株式会社 画像表示装置、画像表示方法及びプログラム
US10839487B2 (en) * 2015-09-17 2020-11-17 Michael Edwin Stewart Methods and apparatus for enhancing optical images and parametric databases
US10200672B2 (en) * 2016-08-17 2019-02-05 Nextvr Inc. Methods and apparatus for capturing images of an environment
JP6812862B2 (ja) * 2017-03-14 2021-01-13 株式会社リコー 画像処理システム、撮像装置、画像処理方法及びプログラム
CN108259698B (zh) * 2018-03-22 2020-05-15 深圳怡化电脑股份有限公司 图像扫描方法、系统、装置及计算机可读存储介质
US10194114B1 (en) * 2018-06-22 2019-01-29 Polycom, Inc. Split screen display without distortion
FR3088754B1 (fr) * 2018-11-15 2021-07-02 Renault Sa Methode de creation d’une vue a partir d’une image capturee par une camera grand angle inclinee
CN109544458B (zh) * 2018-11-21 2023-05-26 陕西高速公路工程试验检测有限公司 鱼眼图像校正方法、装置及其存储介质
TWI711841B (zh) * 2019-12-10 2020-12-01 廣達電腦股份有限公司 消除圈紋效應的方法及裝置
CN115334247B (zh) * 2022-10-11 2023-01-10 齐鲁空天信息研究院 摄像模块标校方法、视觉定位方法、装置及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
JP3594225B2 (ja) 1999-06-21 2004-11-24 中央電子株式会社 広視野カメラ装置
JP3956561B2 (ja) 1999-12-24 2007-08-08 株式会社日立製作所 画像データ表示システム及び画像データ生成方法
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP4661829B2 (ja) * 2007-06-14 2011-03-30 株式会社富士通ゼネラル 画像データ変換装置、及びこれを備えたカメラ装置
US7961980B2 (en) 2007-08-06 2011-06-14 Imay Software Co., Ltd. Method for providing output image in either cylindrical mode or perspective mode
JP4450036B2 (ja) * 2007-09-10 2010-04-14 トヨタ自動車株式会社 複合画像生成装置、及びプログラム
JP5320940B2 (ja) * 2008-09-30 2013-10-23 セイコーエプソン株式会社 画像処理装置及び画像表示装置
JP5397751B2 (ja) * 2009-03-19 2014-01-22 株式会社ニコン カメラおよび画像補正方法

Also Published As

Publication number Publication date
US8571345B2 (en) 2013-10-29
CN102469254A (zh) 2012-05-23
US20120106866A1 (en) 2012-05-03
CN102469254B (zh) 2015-07-22
EP2447910B1 (en) 2014-07-02
EP2447910A1 (en) 2012-05-02
JP5544277B2 (ja) 2014-07-09
JP2012099899A (ja) 2012-05-24

Similar Documents

Publication Publication Date Title
KR20120046010A (ko) 화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법 및 기록 매체
KR101408426B1 (ko) 화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법, 보정 테이블 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체 및 보정 화상 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체
US11861813B2 (en) Image distortion correction method and apparatus
KR101255431B1 (ko) 화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법, 보정 테이블 생성 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 보정 화상 생성 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
TWI637230B (zh) 投影系統以及顯示影像的校正方法
CN110264426B (zh) 图像畸变校正方法和装置
CN104917955B (zh) 一种图像转换和多视图输出系统及方法
CN107274338B (zh) 用于深度图的低等待时间变形的系统、方法和装置
EP2613290A1 (en) Image processing device, image processing method, and image processing program
US20120069018A1 (en) Ar process apparatus, ar process method and storage medium
US20170330311A1 (en) Image processing device and method, image capturing device, program, and record medium
JP2018097573A (ja) 顔向き推定用コンピュータプログラム、顔向き推定装置及び顔向き推定方法
CN113935934A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
Rosebrock et al. Generic camera calibration and modeling using spline surfaces
JP4970118B2 (ja) カメラ校正方法、そのプログラム、記録媒体、装置
WO2015198478A1 (ja) 画像歪み補正装置、情報処理装置および画像歪み補正方法
JP6755737B2 (ja) 距離測定装置、撮像装置、および距離測定方法
US9092840B2 (en) Image processing apparatus, control method of the same and non-transitory computer-readable storage medium
CN113674139A (zh) 人脸图像的处理方法、装置、电子设备及存储介质
JP6716019B2 (ja) 画像修正装置、画像修正方法及びプログラム
CN112884818A (zh) 稠密光流计算方法、装置、电子设备以及存储介质
EP2680229A1 (en) Method for processing image and image processing apparatus thereof
JP2014057369A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application