KR101404527B1 - 화상 변환 장치 및 화상 변환 방법 - Google Patents

화상 변환 장치 및 화상 변환 방법 Download PDF

Info

Publication number
KR101404527B1
KR101404527B1 KR1020080115736A KR20080115736A KR101404527B1 KR 101404527 B1 KR101404527 B1 KR 101404527B1 KR 1020080115736 A KR1020080115736 A KR 1020080115736A KR 20080115736 A KR20080115736 A KR 20080115736A KR 101404527 B1 KR101404527 B1 KR 101404527B1
Authority
KR
South Korea
Prior art keywords
image
distorted circular
coordinates
plane
circular image
Prior art date
Application number
KR1020080115736A
Other languages
English (en)
Other versions
KR20090071366A (ko
Inventor
모토노부 도노무라
Original Assignee
다이니폰 인사츠 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2008258125A external-priority patent/JP5067336B2/ja
Application filed by 다이니폰 인사츠 가부시키가이샤 filed Critical 다이니폰 인사츠 가부시키가이샤
Publication of KR20090071366A publication Critical patent/KR20090071366A/ko
Application granted granted Critical
Publication of KR101404527B1 publication Critical patent/KR101404527B1/ko

Links

Images

Classifications

    • G06T3/06—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals

Abstract

본 발명은, 어안(魚眼) 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상을 평면 정칙(正則) 화상으로 변환할 때, 사용자의 직관적인 조작에 의해 파라미터 설정을 행하여, 연산 부담을 경감시킨다. XY 평면 상의 왜곡 원형 화상 S 위에 돔형의 가상 구면(球面) H를 정의하고, 왜곡 원형 화상 S 위에 있어서, 사용자에게, 잘라내기 중심점
Figure 112008080091055-pat00001
와 보조점
Figure 112008080091055-pat00002
를 지정하게 한다. 점 P의 바로 위의 교점
Figure 112008080091055-pat00003
을 구하고, 가상 구면 H에 대한 접평면 S2 상에 UV 평면을 정의한다. U축과 X축이 이루는 각
Figure 112008080091055-pat00004
는, 2점 P, Q를 통과하는 참조 직선 J와 X축이 이루는 각 θ에 따라 결정한다. 좌표값
Figure 112008080091055-pat00005
와 각도
Figure 112008080091055-pat00006
를 파라미터로서 포함하는 정사영(正射影) 방식의 변환 연산식을 이용하여, 좌표(u, v) 와 좌표(x, y)를 대응시켜 2점 P, Q 사이의 거리를 변환 배율 m으로 하여, 왜곡 원형 화상 S의 점 P의 근방 부분을 UV 평면 상의 평면 정칙 화상으로 변환한다.
화상 변환 장치, 화상 변환 방법, 평면 정칙 화상, 왜곡 원형 화상

Description

화상 변환 장치 및 화상 변환 방법{IMAGE CONVERTER AND IMAGE CONVERTING METHOD}
본 발명은, 화상 변환 장치 및 화상 변환 방법에 관한 것이며, 특히, 어안(魚眼) 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상의 일부분을 잘라내어, 평면 정칙(正則) 화상으로 변환하는 처리를 행하는 기술에 관한 것이다.
어안 렌즈를 사용하면, 기계적인 동작 기구 없이, 반구형의 전방위를 나타내는 원형 화상을 얻을 수 있다. 그러므로, 기발한 효과를 노린 풍경 사진 등을 촬영할 때 널리 이용되고 있다. 단, 어안 렌즈를 사용한 촬영으로 얻어지는 화상은, 왜곡된 원형의 화상으로 되므로, 예술 사진 등의 용도에는 그대로 이용하는 것이 가능할지도 모르지만, 일반적인 용도에는 적합하지 않다.
그래서, 어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상의 일부분을 잘라내어, 평면 정칙 화상으로 변환하는 처리를 행하는 장치가 제안되어 있다. 예를 들면, 하기의 특허 문헌에는, 컴퓨터를 이용하여 왜곡 원형 화상의 일부분을 평면 정칙 화상으로 리얼타임으로 변환하는 기술이 개시되어 있다. 이와 같은 변환 기술을 이용하면, 어안 렌즈를 사용하여 촬영한 왜곡 원형 화상으로 이루어지는 동 영상을, 평면 정칙 화상으로 이루어지는 동영상으로서 리얼타임으로 관찰하는 것이 가능해져, 180도 화각을 가진 감시 시스템 등에의 응용을 기대할 수 있다.
[특허 문헌] 일본국 특허 제3051173호 공보
어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상의 일부분을 잘라내어, 평면 정칙 화상으로 변환하는 처리를 행하기 위해서는, 변환 대상이 되는 부분이 왜곡 원형 화상의 어느 부분이며(잘라내기의 위치), 상기 부분을 어떤 방향으로 표시한 평면 정칙 화상이 필요하며(잘라내기의 방향), 어느 정도의 범위까지를 변환 대상으로 할 것인지(변환 배율) 라는 파라미터를 설정할 필요가 있다. 물론, 이들 파라미터는, 사용자의 희망에 따라 임의로 설정할 수 있다.
그러나, 전술한 특허 문헌 등에 개시되어 있는 종래의 화상 변환 장치에서는, 잘라내기의 위치나 방향을, 오일러각(Euler angle)이라는 3개의 각도에 의해 지정하고, 변환 배율도 별도로 지정할 필요가 있었기 때문에, 사용자의 입장으로부터 본 조작성이 나쁘다는 문제가 있다.
오일러각은, 왜곡 원형 화상 위에 돔형의 가상 구면을 정의하고, 이 가상 구면 위의 원하는 접점에 접하는 평면 정칙 화상 형성면을 정의했을 때, 상기 접점의 위치를 방위각 α 및 천정각(天頂角) β로 나타내고, 평면 정칙 화상의 방향을 평면 경사각
Figure 112008080091055-pat00007
으로 나타낸 것이다. 이와 같은 3개의 각도
Figure 112008080091055-pat00008
가, 3차원 공간 상에 정의되는 각도인 것에 대하여, 사용자가 실제로 보고 있는 왜곡 원형 화상은 이차원 평면 상에 표시되어 있는 화상이다. 따라서, 사용자에게 있어서, 3개의 각도
Figure 112008080091055-pat00009
를 파라미터로서 지정하는 조작은, 결코 직관적인 조작이라고 할 수 있는 것은 아니다.
종래의 화상 변환 장치의 또 하나의 문제점은 연산 부담이다. 전술한 오일러각
Figure 112008080091055-pat00010
을 파라미터로서 지정한 경우, 당연히, 이들 오일러각
Figure 112008080091055-pat00011
을 파라미터로서 포함하는 변환 연산식을 이용한 연산이 필요해진다. 그런데, 그와 같은 변환 연산식은, 3개의 각도
Figure 112008080091055-pat00012
에 관한 삼각함수를 포함한 복잡한 식으로 되므로, 시스템에 대하여 매우 큰 연산 부담을 부과하게 된다. 특히, 리얼타임으로 변환 처리를 행할 필요가 있는 용도에 사용하는 경우, 삼각함수 연산을 고속으로 행할 수 있는 고기능의 하드웨어가 필요해져, 제품 비용의 저감을 막는 중요한 문제가 된다.
그래서, 본 발명은, 어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상을 평면 정칙 화상으로 변환할 때, 사용자의 직관적인 조작에 의해 필요한 파라미터 설정이 가능해지고, 또한 연산 부담을 경감시키는 것이 가능한 화상 변환 장치 및 화상 변환 방법을 제공하는 것을 목적으로 한다.
(1) 본 발명의 제1 태양은, 어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상의 일부분을 잘라내어, 평면 정칙 화상으로 변환하는 처리를 행하는 화상 변환 장치에 있어서,
이차원 XY 직교 좌표계 상의 좌표(x, y)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성되며, XY 좌표계의 원점 O를 중심으로 하여 반경 R을 가진 왜곡 원형 화상을 저장하는 왜곡 원형 화상 저장부와,
이차원 UV 직교 좌표계 상의 좌표(u, v)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성되는 평면 정칙 화상을 저장하는 평면 정칙 화상 저장부와,
왜곡 원형 화상 저장부에 저장되어 있는 왜곡 원형 화상을 디스플레이에 표시하는 왜곡 원형 화상 표시부와,
디스플레이에 표시되어 있는 왜곡 원형 화상 위에서의, 잘라내기 중심점 P의 위치 및 잘라내는 방향을 사용자의 지시에 따라 입력하는 지시 입력부와,
이차원 XY 직교 좌표계를 포함하는 3차원 XYZ 직교 좌표계에 있어서, 원점 0을 중심으로 하고 반경 R을 가진 가상 구면을 정의했을 때, 잘라내기 중심점 P를 통해 Z축과 평행한 직선과 가상 구면의 교점 G의 위치 좌표(
Figure 112008080091055-pat00013
)를 구하는 교점 연산부와,
교점 G에 있어서 가상 구면에 접하는 접평면 상에 정의해야 할 이차원 UV 직교 좌표계의 U축 방향을 향한 벡터 U와, 이차원 XY 직교 좌표계의 X축 방향을 향한 벡터 X가 이루는 각으로서 부여되는 평면 경사각
Figure 112008080091055-pat00014
를, 잘라내는 방향에 따라서, 결정하는 각도 결정부와,
위치 좌표(
Figure 112008080091055-pat00015
) 및 평면 경사각
Figure 112008080091055-pat00016
을 파라미터로서 포함하는 정사영 방식의 변환 연산식을 이용하여, 좌표(u, v)와 좌표(x, y)를 대응시켜, 좌표(u, v)로 나타낸 위치에 배치된 평면 정칙 화상 위의 화소의 화소값을, 대응하는 좌 표(x, y)로 나타낸 위치에 배치된 왜곡 원형 화상 위의 참조 화소의 화소값에 따라 결정함으로써, 왜곡 원형 화상으로부터 잘라내기 중심점 P를 중심으로 하여 평면 경사각에 의해 나타내는 방향으로 잘라내어진 부분 화상에 대한 평면 정칙 화상을 생성하는 연산을 행하고, 생성된 평면 정칙 화상을 평면 정칙 화상 저장부에 저장하는 변환 연산부
를 구비하도록 한 것이다.
(2) 본 발명의 제2 태양은, 전술한 제1 태양에 관한 화상 변환 장치에 있어서, 변환 연산부가, 정사영 방식의 변환 연산식으로서
Figure 112008080091055-pat00017
여기서,
Figure 112008080091055-pat00018
로 되는 식을 이용하도록 한 것이다.
(3) 본 발명의 제3 태양은, 전술한 제1 또는 제2 태양에 관한 화상 변환 장치에 있어서,
지시 입력부가, 왜곡 원형 화상 위로 끌린 참조 직선 J를 정의하기 위한 지시를 입력하는 기능을 가지고,
각도 결정부가, 참조 직선 J와 X축이 이루는 각 θ(단, 양자 평행의 경우는θ = 0°로 함)에 따라 평면 경사각
Figure 112008080091055-pat00019
을 결정하도록 한 것이다.
(4) 본 발명의 제4 태양은, 전술한 제3 태양에 관한 화상 변환 장치에 있어서,
지시 입력부가, 왜곡 원형 화상 위에 있어서, 잘라내기 중심점 P와 보조점 Q의 2점의 위치를 지정하기 위한 지시를 입력하는 기능을 가지고, 잘라내기 중심점 P와 보조점 Q를 연결하는 직선을 참조 직선 J로 하도록 한 것이다.
(5) 본 발명의 제5 태양은, 전술한 제3 태양에 관한 화상 변환 장치에 있어서,
지시 입력부가, 참조 직선 J와 X축이 이루는 각 θ을 나타내는 수치를 소정의 입력 화면 상에서 입력하는 기능과, 잘라내기 중심점 P의 위치를 왜곡 원형 화상 위에서 지정하기 위한 지시를 입력하는 기능을 가지도록 한 것이다.
(6) 본 발명의 제6 태양은, 전술한 제3 ~ 제5 태양에 관한 화상 변환 장치에 있어서,
각도 결정부가, 참조 직선 J와 X축이 이루는 각 θ을 근사적으로 평면 경사각
Figure 112008080091055-pat00020
으로 하도록 한 것이다.
(7) 본 발명의 제7 태양은, 전술한 제2 태양에 관한 화상 변환 장치에 있어서,
지시 입력부가, 사용자의 지시에 따라 변환 배율 m을 입력하는 기능을 가지고,
변환 연산부가, 지시 입력부에 의해 입력된 변환 배율 m을 사용한 연산을 행하도록 한 것이다.
(8) 본 발명의 제8 태양은, 전술한 제7 태양에 관한 화상 변환 장치에 있어서,
지시 입력부가, 왜곡 원형 화상 위에 있어서, 잘라내기 중심점 P와 보조점 Q의 2점의 위치를 지정하기 위한 지시를 입력하는 기능을 가지고, 잘라내기 중심점 P와 보조점 Q의 거리 d에 따라, m = k/d(k는 소정의 비례 상수)로서 부여되는 수치를 변환 배율 m로 하도록 한 것이다.
(9) 본 발명의 제9 태양은, 전술한 제1 ~ 제8 태양에 관한 화상 변환 장치에 있어서,
변환 연산부가, 좌표(u, v)로 나타낸 위치에 배치된 평면 정칙 화상 위의 화소의 화소값을 결정할 때, 대응하는 좌표(x, y)로 나타낸 위치의 근방에 배치된 왜곡 원형 화상 위의 복수개의 참조 화소의 화소값에 대한 보간 연산을 행하도록 한 것이다.
(10) 본 발명의 제10 태양은, 전술한 제1 ~ 제9 태양에 관한 화상 변환 장치에 있어서,
왜곡 원형 화상 저장부에 저장되어 있는 화상이, 정사영 방식의 어안 렌즈에 의해 촬영된 정사영 화상이 아니고, 비정사영 방식의 어안 렌즈에 의해 촬영된 비정사영 화상인 경우에, 비정사영 화상 위의 좌표를 정사영 화상 위의 좌표로 변환하는 제1 좌표 변환식과, 정사영 화상 위의 좌표를 비정사영 화상 위의 좌표로 변 환하는 제2 좌표 변환식을 이용하여,
교점 연산부가, 잘라내기 중심점 P의 좌표를 제1 좌표 변환식을 이용하여 변환하고, 변환 후의 좌표를 사용하여 교점의 위치 좌표(
Figure 112008080091055-pat00021
)를 구하는 처리를 행하고,
변환 연산부가, 정사영 방식의 변환 연산식을 이용하여 좌표(u, v)에 대응하는 좌표(x, y)를 구한 후, 좌표(x, y)를 제2 좌표 변환식을 이용하여 변환하고, 변환 후의 좌표를 사용하여 왜곡 원형 화상 위의 참조 화소의 위치를 특정하도록 한 것이다.
(11) 본 발명의 제11 태양은, 전술한 제10 태양에 관한 화상 변환 장치에 있어서, 왜곡 원형 화상 저장부에 저장되어 있는 화상이, 등거리 투영 방식의 어안 렌즈에 의해 촬영된 등거리 투영 화상인 경우에,
교점 연산부가, 등거리 투영 화상 위의 좌표(x', y')를 정사영 화상 위의 좌표(x, y)로 변환하는 제1 좌표 변환식으로서,
Figure 112008080091055-pat00022
로 되는 식을 이용하고,
변환 연산부가, 정사영 화상 위의 좌표(x, y)를 등거리 투영 화상 위의 좌표 (x', y')로 변환하는 제2 좌표 변환식으로서,
Figure 112008080091055-pat00023
로 되는 식을 이용하도록 한 것이다.
(12) 본 발명의 제12 태양은, 전술한 제1 ~ 제11 태양에 관한 화상 변환 장치를, 컴퓨터에 프로그램을 내장함으로써 구성한 것이다.
(13) 본 발명의 제13 태양은, 전술한 제1 ~ 제11 태양에 관한 화상 변환 장치의 구성 요소로 되는 변환 연산부로서 기능하는 전자 회로를, 반도체 집적회로에 내장하도록 한 것이다.
(14) 본 발명의 제14 태양은, 전술한 제1 ~ 제11 태양에 관한 화상 변환 장치와, 어안 렌즈를 사용한 카메라와, 평면 정칙 화상을 화면 상에 표시하는 모니터 장치를 조합시켜, 카메라를 사용한 촬영에 의해 얻어진 왜곡 원형 화상이 왜곡 원형 화상 저장부에 저장되고, 평면 정칙 화상 저장부에 얻어진 평면 정칙 화상이 모니터 장치에 의해 표시되도록 구성함으로써, 어안 감시 시스템을 실현하도록 한 것이다.
(15) 본 발명의 제15 태양은, 전술한 제2 태양에 관한 화상 변환 장치에 있어서, 변환 연산부가,
「함수 f(c)= 1/c」의 값을 다양한 변수 c의 값에 대하여 대응시킨 제1 함수 테이블과, 「함수 f(ξ)= 1/√ξ 」의 값을 다양한 변수 ξ의 값에 대하여 대응시킨 제2 함수 테이블을 가지고,
Figure 112008080091055-pat00024
로 되는 연산을 행함으로써, c 및 ξ의 값을 구하고,
제1 함수 테이블 및 제2 함수 테이블을 참조함으로써, 구한 c, ξ의 값에 대 응하는 함수 f(c), f(ξ)의 값을 구하고,
정사영 방식의 변환 연산식에 있어서의
Figure 112008080091055-pat00025
로 되는 값을, f(c)×f(ξ)로 되는 연산에 의해 구하도록 한 것이다.
(16) 본 발명의 제16 태양은, 전술한 제1 ~ 제11 태양에 관한 화상 변환 장치에 있어서,
변환 연산부가,
소정의 유효 자리수에 따른 간격 W의 이산값을 취하는 변수 t 중, 짝수 변수 t에 대하여, 소정의 함수 f(t)의 값을 대응시킨 짝수 함수 테이블과,
유효 자리수에 따른 간격 W의 이산값을 취하는 변수 t 중, 홀수 변수 t에 대하여, 소정의 함수 f(t)의 값을 대응시킨 홀수 함수 테이블과,
유효 자리수로 이루어지는 상위 비트와 유효 자리수로부터 하위의 자리수를 나타내는 하위 비트에 의해 구성되는 변수 t를 저장하는 T레지스터와,
상위 비트가 짝수인 경우에는, 상위 비트로 나타내는 짝수 변수 t에 대하여 대응시키고 있는 함수 f(t)의 값을 짝수 함수 테이블로부터 판독하고, 상위 비트가 홀수인 경우에는, 상위 비트로 나타내는 홀수 변수 t보다 큰 최소의 짝수 변수 t에 대하여 대응시키고 있는 함수 f(t)의 값을 짝수 함수 테이블로부터 판독하는 짝수 판독부와,
상위 비트가 홀수인 경우에는, 상위 비트로 나타내는 홀수 변수 t에 대하여 대응시키고 있는 함수 f(t)의 값을 홀수 함수 테이블로부터 판독하고, 상위 비트가 짝수인 경우에는, 상위 비트로 나타내는 짝수 변수 t보다 큰 최소의 홀수 변수 t에 대하여 대응시키고 있는 함수 f(t)의 값을 홀수 함수 테이블로부터 판독하는 홀수 판독부와,
짝수 함수 테이블 또는 홀수 함수 테이블로부터 판독된 함수 f(t)의 값을 저장하는 A레지스터와,
짝수 함수 테이블 또는 홀수 함수 테이블로부터 판독된 함수 f(t)의 값을 저장하는 B레지스터와
상위 비트가 짝수인 경우에는, 짝수 판독부가 판독한 함수 f(t)의 값을 A레지스터에 저장하는 동시에, 홀수 판독부가 판독한 함수 f(t)의 값을 B레지스터에 저장하고, 상위 비트가 홀수인 경우에는, 홀수 판독부가 판독한 함수 f(t)의 값을 A레지스터에 저장하는 동시에, 짝수 판독부가 판독한 함수 f(t)의 값을 B레지스터에 저장하는 홀짝 실렉터와,
A레지스터에 저장되어 있는 값을 f(A)로 하고, B레지스터에 저장되어 있는 값을 f(B)로 하고, 하위 비트로 나타내는 값을 δ로 하여 보간 후의 함수 f(t)의 값을, f(t) = ((W-δ)/W)×f(A)+(δ/W)×f(B)로 되는 연산에 의해 구하는 보간 연산부
를 구비하고, 보간 연산부에 의해 구해진 보간 후의 함수 f(t)의 값을 이용하여 연산을 행하도록 한 것이다.
(17) 본 발명의 제17 태양은, 전술한 제11 태양에 관한 화상 변환 장치에 있어서, 교점 연산부가, 제1 좌표 변환식에 있어서의 함수 sinc(t)를,
Figure 112008080091055-pat00026
로 되는 테일러 전개한 형식의 식에 따라 연산하고,
변환 연산부가, 제2 좌표 변환식에 있어서의 함수1/sinc(t)를, 소정의 계수값 a2, a4, a6, a8, ....을 사용한
Figure 112008080091055-pat00027
로 되는 형식의 식에 따라 연산하도록 한 것이다.
(18) 본 발명의 제18 태양은, 전술한 제2 태양에 관한 화상 변환 장치에 있어서, 변환 연산부가, cos
Figure 112008080091055-pat00028
의 값을, 벡터 U와 벡터 X의 내적(內積)을, 벡터 U의 크기와 벡터 X의 크기의 곱으로 제함으로써 구하도록 한 것이다.
(19) 본 발명의 제19 태양은, 전술한 제2 태양에 관한 화상 변환 장치에 있어서,
지시 입력부가, 왜곡 원형 화상 위로 끌린 참조 직선 J를 정의하기 위한 지시를 입력하는 기능을 가지고,
변환 연산부가, 참조 직선 J의 방향을 향한 벡터 J를 정의하고, cos
Figure 112008080091055-pat00029
의 값을, 벡터 J와 벡터 X의 내적을, 벡터 J의 크기와 벡터 X의 크기의 곱으로 제함으로써 구하도록 한 것이다.
(20) 본 발명의 제20 태양은, 전술한 제2 태양에 관한 화상 변환 장치에 있어서,
변환 연산부가, sin
Figure 112008080091055-pat00030
의 값을,
Figure 112008080091055-pat00031
로 되는 연산에 의해 구 하도록 한 것이다.
(21) 본 발명의 제21 태양은, 어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상의 일부분을 잘라내어, 평면 정칙 화상으로 변환하는 처리를 행하는 화상 변환 장치에 있어서,
이차원 XY 직교 좌표계 상의 좌표(x, y)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성된 왜곡 원형 화상을 저장하는 왜곡 원형 화상 저장부와,
이차원 UV 직교 좌표계 상의 좌표(u, v)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성되는 평면 정칙 화상을 저장하는 평면 정칙 화상 저장부와,
왜곡 원형 화상 저장부에 저장되어 있는 왜곡 원형 화상을 디스플레이에 표시하는 왜곡 원형 화상 표시부와,
디스플레이에 표시되어 있는 왜곡 원형 화상 위에 있어서, 잘라내기 중심점 P와 보조점 Q의 2점의 위치를 사용자의 지시에 따라 입력하고, 잘라내기 중심점 P와 보조점 Q를 연결하는 직선을 참조 직선 J라고 인식하고, 잘라내기 중심점 P와 보조점 Q의 거리 d에 따라 m = k /d(k는 소정의 비례 상수)로서 부여되는 수치를 변환 배율 m이라고 인식하는 지시 입력부와,
좌표(u, v)와 좌표(x, y)를 대응시키는 변환 연산식을 이용하여, 좌표(u, v)로 나타낸 위치에 배치된 평면 정칙 화상 위의 화소의 화소값을, 대응하는 좌표(x, y)로 나타낸 위치에 배치된 왜곡 원형 화상 위의 참조 화소의 화소값에 따라 결정함으로써, 왜곡 원형 화상으로부터 잘라내기 중심점 P를 중심으로 하여 참조 직선 J에 따른 방향으로 잘라내어진 부분 화상에 대하여, 변환 배율 m에 따라 스켈링된 평면 정칙 화상을 생성하는 연산을 행하고, 생성된 평면 정칙 화상을 평면 정칙 화상 저장부에 저장하는 변환 연산부를 설치하도록 한 것이다.
(22) 본 발명의 제22 태양은, 어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상의 일부분을 잘라내어, 평면 정칙 화상으로 변환하는 처리를 행하는 화상 변환 장치에 있어서,
이차원 XY 직교 좌표계 상의 좌표(x, y)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성된 왜곡 원형 화상을 저장하는 왜곡 원형 화상 저장부와,
이차원 UV 직교 좌표계 상의 좌표(u, v)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성되는 평면 정칙 화상을 저장하는 평면 정칙 화상 저장부와,
왜곡 원형 화상 저장부에 저장되어 있는 왜곡 원형 화상을 디스플레이에 표시하는 왜곡 원형 화상 표시부와,
소정의 입력 화면 상에 있어서, 참조 직선 J와 X축이 이루는 각으로서 정의되는 각도 θ와, 변환 배율 m을 사용자의 지시에 따라 입력하는 동시에, 상기 디스플레이에 표시되어 있는 왜곡 원형 화상 위에 있어서, 잘라내기 중심점 P의 위치를 사용자의 지시에 따라 입력하는 지시 입력부와,
좌표(u, v)와 좌표(x, y)를 대응시키는 변환 연산식을 이용하여, 좌표(u, v)로 나타낸 위치에 배치된 평면 정칙 화상 위의 화소의 화소값을, 대응하는 좌표(x, y)로 나타낸 위치에 배치된 왜곡 원형 화상 위의 참조 화소의 화소값에 따라 결정함으로써, 왜곡 원형 화상으로부터 잘라내기 중심점 P를 중심으로 하여 참조 직선 J에 따른 방향으로 잘라내어진 부분 화상에 대하여, 변환 배율 m에 따라 스켈링된 평면 정칙 화상을 생성하는 연산을 행하고, 생성된 평면 정칙 화상을 평면 정칙 화상 저장부에 저장하는 변환 연산부를 설치하도록 한 것이다.
(23) 본 발명의 제23 태양은, 어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상의 일부분을 잘라내어, 평면 정칙 화상으로 변환하는 처리를 행하는 화상 변환 방법에 있어서,
이차원 XY 직교 좌표계 상의 좌표(x, y)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성되며, XY 좌표계의 원점 O를 중심으로 하고 반경 R을 가진 왜곡 원형 화상을, 왜곡 원형 화상 저장부에 저장하는 단계와,
왜곡 원형 화상 저장부에 저장되어 있는 왜곡 원형 화상을 디스플레이에 표시하는 단계와,
디스플레이에 표시되어 있는 왜곡 원형 화상 위에서의, 잘라내기 중심점 P의 위치 및 잘라내는 방향을 사용자의 지시에 따라 입력하는 단계와,
이차원 XY 직교 좌표계를 포함하는 3차원 XYZ 직교 좌표계에 있어서, 원점 0을 중심으로 하고 반경 R을 가진 가상 구면을 정의했을 때, 잘라내기 중심점 P를 통해 Z축과 평행한 직선과 가상 구면의 교점 G의 위치 좌표(
Figure 112008080091055-pat00032
)를 구하는 단계와,
교점 G에 있어서 가상 구면에 접하는 접평면 상에 정의해야 할 이차원 UV 직교 좌표계의 U축 방향을 향한 벡터 U와, 이차원 XY 직교 좌표계의 X축 방향을 향한 벡터 X가 이루는 각으로서 부여되는 평면 경사각
Figure 112008080091055-pat00033
을, 잘라내는 방향에 따라서, 결정하는 단계와,
위치 좌표(
Figure 112008080091055-pat00034
) 및 평면 경사각을 파라미터로서 포함하는 정사영 방식의 변환 연산식을 이용하여, 좌표(u, v)와 좌표(x, y)를 대응시켜, 좌표(u, v)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성되는 평면 정칙 화상 위의 각 화소의 화소값을, 대응하는 좌표(x, y)로 나타낸 위치에 배치된 왜곡 원형 화상 위의 참조 화소의 화소값에 따라 결정함으로써, 왜곡 원형 화상으로부터 잘라내기 중심점 P를 중심으로 하여 평면 경사각에 의해 나타내는 방향으로 잘라내어진 부분 화상에 대한 평면 정칙 화상을 생성하는 연산을 행하는 단계
를 컴퓨터 또는 전자 회로에 의해 실행시키도록 한 것이다.
(24) 본 발명의 제24 태양은, 전술한 제23 태양에 관한 화상 변환 방법에 있어서, 정사영 방식의 변환 연산식으로서
Figure 112008080091055-pat00035
여기서,
Figure 112008080091055-pat00036
로 되는 식을 이용하도록 한 것이다.
(25) 본 발명의 제25 태양은, 전술한 제23 또는 제24 태양에 관한 화상 변환 방법에 있어서,
디스플레이에 표시되어 있는 왜곡 원형 화상 위에 있어서, 잘라내기 중심점 P와 보조점 Q의 2점의 위치를 지정하기 위한 지시를 입력하고, 잘라내기 중심점 P와 보조점 Q를 연결하는 직선을 참조 직선 J라고 하고, 이 참조 직선 J와 X축이 이루는 각 θ(단, 양자 평행의 경우는 θ = 0°로 함)에 따라 평면 경사각
Figure 112008080091055-pat00037
을 결정하도록 한 것이다.
(26) 본 발명의 제26 태양은, 전술한 제23 또는 제24 태양에 관한 화상 변환 방법에 있어서,
디스플레이에 표시되어 있는 왜곡 원형 화상 위에 있어서, 잘라내기 중심점 P의 위치를 지정하기 위한 지시를 입력하는 동시에, 소정의 입력 화면 상에 있어서, 왜곡 원형 화상 위의 참조 직선 J와 X축이 이루는 각 θ을 입력하고, 이 각 θ에 따라 평면 경사각
Figure 112008080091055-pat00038
을 결정하도록 한 것이다.
본 발명에 관한 화상 변환 장치를 사용한 사용자는, 어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상 위에서의 잘라내기 중심점 P의 위치 및 잘라내는 방향을 지시하면 되므로, 직관적인 조작에 의해, 변환에 필요한 파라미터 설정이 가능하게 된다. 또한, 변환 연산은, 사용자의 지시 입력에 따라 도출된 가상 구면 위의 접점의 좌표값(
Figure 112008080091055-pat00039
) 및 평면 경사각을 파라미터로서 사용하는 비교적 단순한 변환 연산식을 이용하여 행해지므로, 연산 부담을 경감시키는 것도 가능하게 된다.
이하, 본 발명을 도시한 실시예에 따라서, 설명한다.
<<< §1. 화상 변환 처리의 기본 원리 >>>
먼저, 어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상의 일반적인 특징과 그 일부분을 잘라내어, 평면 정칙 화상으로 변환하는 처리의 기본 원리를 설명한다. 도 1은 정사영 방식의 어안 렌즈를 사용한 촬영에 의해 왜곡 원형 화상 S를 형성하는 기본 모델을 나타낸 사시도이다. 일반적으로, 어안 렌즈는, 그 투영 방식에 따라 복수개의 종류로 나눌 수 있지만, 이 도 1에 나타낸 모델은, 정사영 방식의 어안 렌즈에 대한 것이다(정사영 방식 이외의 어안 렌즈에 본 발명을 적용하는 방법은, §5에서 설명한다).
도 1에는, 3차원 XYZ 직교 좌표계에 있어서의 XY 평면 상에 왜곡 원형 화상 S가 형성된 예가 나타나 있다. 그리고, 여기서는, 후술하는 변환 연산식과의 정합성을 확보하기 위하여, 도시한 바와 같이, Z축을 도면의 아래쪽으로 하고, Z축의 마이너스의 영역 측에 돔형의 가상 구면 H(반구)를 정의한 예를 나타낸 것으로 한다.
XY 평면 상에 형성된 왜곡 원형 화상 S는, 좌표계의 원점 O를 중심으로 한 반경 R의 원을 구성하는 화상이며, Z축의 마이너스의 영역 측에 있어서의 180°의 화각을 가진 영역에 존재하는 상을 왜곡시켜 기록한 것에 상당한다. 도 2는 어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상 S의 일례를 나타낸 평면도이다. 이와 같이, 왜곡 원형 화상 S에는, Z축의 마이너스의 영역 측에 존재하는 모든 상이 기록되게 되지만, 그 중심 부분과 주위 부분에서는, 상의 축척 배율이 상이하게 되어 있고, 기록된 상의 형상은 불균일한 것으로 된다. 그리고, 도 2에 나타낸 왜곡 원형 화상 S는, 어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상의 일반적인 이미지를 나타낸 것이며, 실제의 어안 렌즈를 사용하여 얻어지는 정확한 화상을 나타낸 것은 아니다.
실제의 어안 렌즈는, 복수개의 볼록 렌즈나 오목 렌즈를 조합한 광학계에 의해 구성되지만, 그 광학적인 특성은, 도 1에 나타낸 바와 같은 가상 구면 H에 의해 모델화할 수 있는 것이 알려져 있다. 즉, 왜곡 원형 화상 S의 상면에, 반경 R을 가진 돔형의 가상 구면 H(반구)를 배치한 모델을 생각하면, 정사영 방식의 어안 렌즈의 광학적 특성은, 가상 구면 H 상의 임의의 점 H(x, y, z)에 대하여 법선 방향으로부터 입사하는 입사 광선 L1은, Z축과 평행한 입사 광선 L2로서, XY 평면 상의 점 S(x, y)로 향하는 거동을 하는 것으로 생각하게 된다. 역언하면, 도 2에 있어서 왜곡 원형 화상 S 위의 점 S(x, y)에 위치하는 화소는, 도 1에 나타낸 입사 광선 L1의 연장선 상에 존재하는 물체상의 1점을 나타내고 있는 것으로 된다.
물론, 실제의 어안 렌즈에서 생기고 있는 광학적 현상은, 복수개의 볼록 렌즈나 오목 렌즈에 의한 굴절에 의해, 촬상 대상이 되는 물체의 특정한 점이, XY 평면 상의 특정한 점 S(x, y) 상에 결상하는 현상이라는 것으로 되지만, 화상 변환 처리 등을 행하는 데 있어서는, 도 1에 나타낸 바와 같은 가상 구면 H를 사용한 모델로 치환한 논의(論議)를 행해도 아무런 지장은 없다. 따라서, 전술한 특허 문헌에 개시되어 있는 화상 변환 처리에서도, 이와 같은 모델을 전제로 한 방법이 표시되어 있고, 본 발명에 있어서의 이하의 설명에 있어서도, 이와 같은 모델을 전제로 한 설명을 행하는 것으로 한다.
본 발명에 관한 화상 변환 장치의 목적은, 왜곡 원형 화상 S 위의 일부분을 잘라내어, 평면 정칙 화상으로 변환하는 처리를 행하는 것이다. 예를 들면, 도 2에 나타낸 왜곡 원형 화상 S를 본 사용자가, 그 좌측 아래에 그려져 있는 여성의 화상을, 불균일이 없는 정확한 화상으로 관찰하고 싶다고 생각했다고 하자. 이와 같은 경우, 사용자는, 왜곡 원형 화상 S의 어느 부분을 잘라내어 변환을 행할 것인지를 지정할 필요가 있다. 예를 들면, 도 3에 해칭을 행하여 나타낸 바와 같은 잘라내기 영역 E를 변환 대상으로 해야 할 영역으로서 지정한다면, 가장 직관적인 지정 방법은, 그 중심점
Figure 112008080091055-pat00040
의 위치를 지정하는 방법일 것이다. 본 발명에서는, 이같이 하여 사용자가 지정하는 점 P를, 잘라내기 중심점 P이라고 하기로 한다.
여기서는, 잘라내기 중심점
Figure 112008080091055-pat00041
을 중심으로 한 잘라내기 영역 E 내의 화상을, 평면 정칙 화상으로 변환하기 위해, 다음과 같은 모델을 고려한다. 도 4는 이 모델에 있어서, 왜곡 원형 화상 S를 포함하는 XY 좌표계와 평면 정칙 화상 T를 포함하는 UV 좌표계의 관계를 나타낸 사시도이다. 도시한 바와 같이, 왜곡 원형 화상 S는, 3차원 XYZ 직교 좌표계의 XY 평면 상에 정의되어 있으므로, 왜곡 원형 화상 S 자체는, 이차원 XY 직교 좌표계 상에 정의된 화상이다. 그래서, 이 왜곡 원형 화상 S 위에 정의된 잘라내기 중심점
Figure 112008080091055-pat00042
을 통해 Z축과 평행한 직선과 가상 구면 H의 교점 G를 고려한다. 이 교점 G는, 말하자면 잘라내기 중심점
Figure 112008080091055-pat00043
의 바로 위의 점이며, 그 위치 좌표는(
Figure 112008080091055-pat00044
)이다.
다음에, 이 교점 G(
Figure 112008080091055-pat00045
)에 있어서, 가상 구면 H에 접하는 접평면을 정의하고, 이 접평면 상에 이차원 UV 직교 좌표계를 정의한다. 그리고, 평면 정칙 화상 T를, 이 이차원 UV 직교 좌표계 상의 화상으로서 구하는 것으로 한다. 도 4에 나타낸 예의 경우, 교점 G(
Figure 112008080091055-pat00046
)가 원점으로 되도록 UV 좌표계가 정의되어 있다. 결국, 이 모델에 있어서의 UV 좌표계의 원점은, 가상 구면 H 위의 어딘가에 설정되고, UV 좌표계를 구성하는 UV 평면은, 이 원점 위치에서의 가상 구면 H에 대한 접평면과 일치한다.
UV 좌표계의 원점으로 되는 교점 G(
Figure 112008080091055-pat00047
)의 위치는, 도시한 바와 같이, 방위각 α과 천정각 β에 의해 특정할 수 있다. 여기서, 방위각 α(0 ≤ 360°)은, 잘라내기 중심점
Figure 112008080091055-pat00048
와 XY 좌표계의 원점 0을 연결하는 직선과 X축이 이루는 각이며, 천정각 β(0≤β≤90°)은, UV 좌표계의 원점으로 되는 점 G(
Figure 112008080091055-pat00049
)와 XY 좌표계의 원점 0을 연결하는 직선과 Z축이 이루는 각이다.
이와 같이, UV 평면은, 방위각 α과 천정각 β을 지정함으로써 특정할 수 있지만, UV 좌표계를 결정하려면, 또다시 1개의 파라미터를 지정할 필요가 있다. 이 파라미터는, 점 G를 중심으로 한 접평면 상에서의 회전 팩터(U축의 방향)를 나타낸 것이며, 일반적으로 평면 경사각이라 하고 있다. 통상, 이 평면 경사각은, 「점 G를 통하고, XY 평면과 평행하게, 또한 직선 OG와 직교하는 축」을 기준축으로 하여 상기 기준축과 U축이 이루는 각
Figure 112008080091055-pat00050
로서 정의된다(기준축은, 방위각 α과 천정각 β에 의존하여 변화한다). 이에 대하여, 본 발명에서는, 상기 각
Figure 112008080091055-pat00051
대신에, X축을 기준으로 했을 때의 U축의 방향을 나타내는 각도를 사용하는 것으로 한다(기준축은, 항상 X축에 고정된다). 구체적으로는, 본 발명에서 파라미터로서 사용하는 각도
Figure 112008080091055-pat00052
는, 도 4에 나타낸 바와 같이, U축과 X'축이 이루는 각도로서 정의된다. 여기서, X'축은, 교점 G(
Figure 112008080091055-pat00053
)를 통하여 X축과 평행한 축이다. 요컨대, 각도는, UV 좌표계에 있어서 U축 방향을 향한 벡터 U와, XY 좌표계에 있어서 X축 방향을 향한 벡터 X를 정의했을 때, 벡터 U와 벡터 X가 이루는 각도로서 정의되는 각으로 된다. 이와 같이, 「본 발명에 있어서 사용되는 각도
Figure 112008080091055-pat00054
」는, 「종래의 일반적인 평면 경사각
Figure 112008080091055-pat00055
」과는 상이한 방법으로 정의되는 각도이지만, 모두 UV 좌표계의 회전 팩터를 나타내는 파라미터라는 점에 있어서 공통되므로, 여기서는 각도
Figure 112008080091055-pat00056
에 대해서도 「평면 경사각」이라는 용어를 사용하는 것으로 한다.
도 5는 UV 좌표계 상에 정의된 평면 정칙 화상 T와 평면 경사각
Figure 112008080091055-pat00057
과 관계를 나타낸 평면도이다. 여기에 나타낸 예의 경우, 평면 정칙 화상 T는, UV 좌표계의 원점 G(
Figure 112008080091055-pat00058
)를 중심으로 하는 UV 평면 상의 직사각형으로서 정의되어 있고, 그 장변은 U축과 평행, 단변은 V축과 평행하게 되어 있다. 평면 경사각
Figure 112008080091055-pat00059
은, 전술한 바와 같이, U축과 X'축이 이루는 각이므로, 도 5에 나타낸 예의 경우, UV 평면 상에서의 평면 정칙 화상 T의 회전 팩터를 나타내는 파라미터라는 것으로 된다.
결국, 도 4에 나타낸 평면 정칙 화상 T를 형성하기 위한 UV 좌표계의 위치 및 방향은, 방위각 α, 천정각 β, 평면 경사각
Figure 112008080091055-pat00060
이라는 3개의 각도로 이루어지는 파라미터를 설정함으로써 일의적으로 결정된다. 이 3개의 각도는, 일반적으로 오일러각이라고 하고 있다(전술한 바와 같이, 평면 경사각
Figure 112008080091055-pat00061
에 대하여는, 종래의 일반적인 평면 경사각
Figure 112008080091055-pat00062
과는, 약간, 정의 방법이 상이하게 되어 있다.
그런데, 본 발명에 있어서 실행되는 화상 변환 처리는, 결국, XY 좌표계로부터 UV 좌표계로의 좌표 변환이라는 것으로 된다. 그래서, XY 좌표계와 UV 좌표계의 기하학적인 위치 관계를, 좀 더 상세하게 살펴보면, 도 6의 사시도에 나타낸 바와 같이, XY 평면 상의 왜곡 원형 화상 S를, 방위각 α에 의해 나타내는 방향에 대하여, 천정각 β만큼 경사지게 하면, 경사면 S1을 얻을 수 있다. 여기서, 도시한 바와 같이, XY 좌표계의 원점 O로부터 UV 좌표계의 원점 G로 향하는 방향으로 법선 벡터 n을 정의하고, 경사면 S1을 이 법선 벡터 n의 방향으로 거리 R만큼 평행 이동시키면, 접평면 S2이 얻어지게 된다. 이동 거리 R은, 왜곡 원형 화상 S의 반경이며, 가상 구면 H의 반경이기도 하다.
접평면 S2는, 점 G에 있어서 가상 구면 H에 접하는 평면이며, 법선 벡터 n는, 점 G에 있어서의 가상 구면 H의 법선 방향을 나타내는 벡터이다. 그리고, UV 좌표계는, 이 접평면 S2 상에 정의되는 좌표계이며, 점 G를 원점으로 하고, U축과 X'축(X축을 평행 이동한 축)이 이루는 각이 평면 경사각으로 되도록 정의된 이차원 직교 좌표계이다. 도 7은 도 6의 사시도에 나타나 있는 각 구성 요소를 수평 방향으로부터 본 도면이다. 전술한 바와 같이, 점 G(
Figure 112008080091055-pat00063
)는, 왜곡 원형 화상 S 위에 정의된 잘라내기 중심점
Figure 112008080091055-pat00064
을 통하여 Z축과 평행한 직선과 가상 구면 H의 교점으로서 정해지는 점이며, 그 위치는 방위각 및 천정각 β에 의해 정해진다. 한편, 도 8은 도 6의 사시도에 나타나 있는 각 구성 요소를 위쪽으로부터 본 도면이다. 도면에 나타낸 교점 G(
Figure 112008080091055-pat00065
)는, 가상 구면 H 상의 점이며 XY 평면의 위쪽에 위치하고 있다. 그리고, 이 교점 G(
Figure 112008080091055-pat00066
)에 있어서의 가상 구면 H에 대한 접평면 상에 UV 좌표계가 정의된다. 이 때, U축과 X'축이 이루는 각으로 되도록, U축의 방향이 정해진다.
도 9는 UV 좌표계 상에 정의된 평면 정칙 화상 T를 나타낸 평면도이다. 여기서는, 이 평면 정칙 화상 T상의 임의의 점을 UV 좌표계의 좌표값 u, v를 사용하여, T(u, v)로 나타내는 것으로 한다. 전술한 바와 같이, 여기에 나타낸 모델에서는, UV 좌표계의 원점 T(0, 0)의 위치는, 점 G(
Figure 112008080091055-pat00067
)와 일치한다. 한편, 도 10은 XY 좌표계 상에 정의된 왜곡 원형 화상 S를 나타낸 평면도이다. 여기서는, 이 왜곡 원형 화상 S 위의 임의의 점을 XY 좌표계의 좌표값 x, y를 사용하여, S(x, y)로 나타내는 것으로 한다.
본 발명에 관한 화상 변환 장치는, 도 10에 나타낸 바와 같이, 사용자가 왜곡 원형 화상 S 위의 1점
Figure 112008080091055-pat00068
의 위치를 잘라내기 중심점으로서 지정하면(실제로는, 후술하는 바와 같이, 잘라내는 방향의 지정도 행함), 그 근방의 잘라내기 영역 E 내의 왜곡된 화상을 정칙 화상으로 변환하여, 도 9에 나타낸 UV 좌표계 상에 정의된 평면 정칙 화상 T로서 출력하는 기능을 가지고 있다. 이와 같은 화상 변환을 행하기 위해서는, UV 좌표계 상의 1점 T(u, v)와 XY 좌표계 상의 1점 S(x, y) 사이에 1 대 1의 대응 관계를 정의해 둘 필요가 있다. 이와 같은 대응 관계는, 실제로는, 변환 연산식으로서 표현할 수 있다.
이와 같은 변환 연산식은, 3차원 XYZ 좌표계의 공간 내에 배치된 UV 좌표계의 위치 및 방향이 결정되면, 일의적으로 정의할 수 있다. 예를 들면, 도 4에 나타낸 바와 같은 특정한 UV 좌표계가 정의되어 있고, 그 위에 어떠한 평면 정칙 화상 T가 배치되어 있었던 것으로 한다. 이 경우, 이 평면 정칙 화상 T를 촬영 대상이 되는 물체라고 생각하여 도시한 모델에 상당하는 어안 렌즈를 사용하여, 상기 물체를 촬영하면, XY 평면 상에 왜곡 원형 화상 S이 얻어지게 된다. 이 때, 촬영 대상 물체로 되는 평면 정칙 화상 T상의 임의의 점 T(u, v)의 왜곡 원형 화상 S 위에서의 결상 위치 S(x, y)는, 도 1에서 설명한 어안 렌즈의 광학적인 기본 특성에 따라 결정할 수 있다. 즉, 점 T(u, v)로부터의 광선 L1이 법선 방향으로부터 입사하도록 한 가상 구면 H 상의 점 H(x, y, z)를 구하고, 결상 위치는 S(x, y)로서 주어지게 된다.
결국, UV 좌표계의 위치 및 방향이 결정되면, UV 좌표계 상의 1점 T(u, v)과 XY 좌표계 상의 1점 S(x, y) 사이에 1 대 1의 대응 관계를 정의할 수 있고, 그와 같은 대응 관계는 변환 연산식으로서 표현할 수 있다. 왜곡 원형 화상 S의 일부를 평면 정칙 화상 T로 변환하는 화상 변환 처리는, 이 변환 연산식을 이용한 좌표 변환 연산에 의해 행할 수 있다. 예를 들면, 도 9에 나타낸 평면 정칙 화상 T에 있어서의 임의의 1점 T(u, v)에 위치하는 화소의 화소값은, 도 10에 나타낸 왜곡 원형 화상 S 위의 대응점 S(x, y)에 위치하는 화소의 화소값에 따라 결정하면 된다. 이것이 왜곡 원형 화상의 일부를 평면 정칙 화상으로 변환하는 화상 변환 처리의 기본 원리이다.
<<< §2. 변환 연산식의 비교 >>>
전술한 바와 같이, UV 좌표계 상의 1점 T(u, v)와 XY 좌표계 상의 1점 S(x, y)를 대응시키는 변환 연산식은, 3차원 XYZ 좌표계의 공간 내에 배치된 UV 좌표계의 위치 및 방향이 결정되지 않으면 일의적으로는 정의할 수 없지만, UV 좌표계의 위치 및 방향을 파라미터값으로서 포함하는 형태의 변환 연산식이면, 정의하는 것은 가능하다.
예를 들면, 도 11에 식(1)~(9)로서 나타나 있는 변환 연산식은, 전술한 특허 문헌에 개시되어 있는 식이다. 이 변환 연산식은, UV 좌표계의 위치를 나타내는 파라미터 α, β와 UV 좌표계의 방향을 나타내는 파라미터
Figure 112008080091055-pat00069
를 포함하는 식으로 되어 있다. 이들 3개의 파라미터는, §1에서 설명한 오일러각, 즉, 방위각 α, 천정각 β, 평면 경사각
Figure 112008080091055-pat00070
이다. 여기서, 평면 경사각
Figure 112008080091055-pat00071
은, 종래의 일반적인 방법에 따라 정의된 회전 파타타를 나타내는 파라미터이며, 도 4에 있어서, 「점 G를 통하고, XY 평면과 평행하게, 또한 직선 OG에 직교하는 축(도시하지 않음)」를 기준축으로 하여 상기 기준축과 U축이 이루는 각
Figure 112008080091055-pat00072
으로서 정의되는 각도이다(전술한 바와 같이, 본 발명에서는, 각
Figure 112008080091055-pat00073
대신에, 도 4에 나타낸 바와 같이, U축과 X'축이 이루는 각
Figure 112008080091055-pat00074
을 사용하게 된다).
구체적으로는,
Figure 112008080091055-pat00075
은, UV 좌표계 상의 1점 T(u, v)의 좌표값 u, v를 사용하여, XY 좌표계 상의 대응점 S(x, y)의 x 좌표값을 구하기 위한 식이지만, A, B, E는, 각각,
Figure 112008080091055-pat00076
로 되는 수식에 의해 구해지는 값이며, 오일러각
Figure 112008080091055-pat00077
의 삼각함수를 사용한 연산에 의해 결정되게 된다.
마찬가지로,
Figure 112008080091055-pat00078
는, UV 좌표계 상의 1점 T(u, v)의 좌표값 u, v를 사용하여, XY 좌표계 상의 대응점 S(x, y)의 y 좌표값을 구하기 위한 식이지만, C, D, F는, 각각,
Figure 112008080091055-pat00079
Figure 112008080091055-pat00080
로 되는 수식에 의해 구해지는 값이며, 오일러각
Figure 112008080091055-pat00081
의 삼각함수를 사용한 연산에 의해 결정되게 된다.
그리고, 식(1), (2)에 있어서의 w는,
w = mR 식(9)
에 의해 주어지는 값이다. 여기서, R은, 왜곡 원형 화상 S의 반경이며, m은 변환 배율이다. 변환 배율 m은, 좌표값 u, v의 스켈링과, 좌표값 x, y의 스켈링의 관계를 나타낸 것이며, 변환 배율 m을 크게 설정하면 할수록, 평면 정칙 화상 T에 는 확대된 화상이 구해진다. 실제로는, 평면 정칙 화상 T의 크기(예를 들면, 종횡의 화소수)에는 제한이 있으므로, 변환 배율 m을 크게 설정하면 할수록, 왜곡 원형 화상 S의 잘라내기 영역 E는 작아진다.
결국, 도 11에 나타낸 식에 있어서, R의 값은 왜곡 원형 화상 S의 반경으로서 기지(旣知)이며, m의 값은 사용자에 의해 지정된(또는, 미리 고정된) 변환 배율 값으로서 기지이므로, 사용자가 오일러각
Figure 112008080091055-pat00082
을 지정함으로써, UV 좌표계의 위치 및 방향을 결정하려 하면, 도 11에 나타낸 변환 연산식에 있어서, 좌표값 x, y를 산출하기 위한 미지수는 u, v만으로 된다. 따라서, 이 변환 연산식을 이용하면, 평면 정칙 화상 T에 있어서의 임의의 1점 T(u, v)에 대응하는 왜곡 원형 화상 S 위의 대응점 S(x, y)를 결정할 수 있다.
전술한 특허 문헌에 개시되어 있는 화상 변환의 방법은, 이 도 11에 나타낸 변환 연산식을 이용하여, 왜곡 원형 화상 S의 일부를 평면 정칙 화상 T로 변환하는 것이다. 그러나, 이와 같은 변환 연산식에 따라 변환 연산을 행하는 종래의 화상 변환 장치에는, 전술한 바와 같이, 2가지 문제가 있다.
제1 문제는, 사용자의 입장으로부터 본 조작성의 문제이다. 도 11에 나타낸 변환 연산식에 따른 연산을 실행하기 위해서는, 사용자는 오일러각
Figure 112008080091055-pat00083
을 지정하는 조작을 행할 필요가 있다. 그런데, 오일러각
Figure 112008080091055-pat00084
은, 3차원 공간 상에 정의되는 각도인 것에 대하여, 사용자가 실제로 보고 있는 왜곡 원형 화상 S는 이차원 평면 상에 표시되어 있는 화상이다. 따라서, 사용자에게 있어서, 3개의 각 도
Figure 112008080091055-pat00085
를 파라미터로서 지정하는 조작은, 결코 직관적인 조작이라고 할 수 있는 것은 아니다. 이와 같은 점에 있어서, 전술한 특허 문헌에 개시되어 있는 종래의 화상 변환 장치는, 사용자의 입장으로부터는, 반드시 사용하기 용이한 장치라고는 할 수 없다.
제2 문제는, 도 11에 나타낸 변환 연산식에 따른 연산이, 매우 부담이 큰 연산으로 되는 점이다. 도 11에 나타낸 식(3)~(8)에는, 다수의 삼각함수의 항이 포함되어 있다. 일반적으로, 삼각함수의 연산은, 연산기나 컴퓨터에 있어서, 매우 부담이 큰 연산이다. 특히, 리얼타임으로의 변환 처리가 요구되는 경우, 삼각함수 연산을 고속으로 행할 수 있는 고기능의 하드웨어가 필요해지고, 제품 비용도 그만큼 상승하지 않을 수 없다.
본 발명의 가장 중요한 특징은, 도 11에 나타낸 종래의 변환 연산식 대신에, 도 12에 나타낸 새로운 변환 연산식(이하, 본 발명의 변환 연산식이라고 함. 그 수학적인 도출 프로세스는, ξ7에서 설명함)을 사용하여 연산을 행하는 점에 있다. 어느 연산식도, 평면 정칙 화상 T에 있어서의 임의의 1점 T(u, v)에 대응하는 왜곡 원형 화상 S 위의 대응점 S(x, y)를 결정하기 위한 식이며, 1조(組)의 변수값 u, v를 대입함으로써, 1조의 함수값 x, y가 구해진다는 점에서는 공통된다. 그러나, 도 12에 식(11)~(19)로서 나타나 있는 본 발명의 변환 연산식에서는, 도 11에 식(1)~(9)로서 나타나 있는 종래의 변환 연산식에 비하여, 삼각함수의 출현 빈도가 매우 감소하고 있는 것을 알 수 있다. 그 이유는, 3개의 각도인 방위각, 천정각, 평면 경사각 중, 방위각과 천정각이 양(陽)으로 사용되고 있지 않기 때문이다.
구체적으로는,
Figure 112008080091055-pat00086
은, UV 좌표계 상의 1점 T(u, v)의 좌표값 u, v를 사용하여, XY 좌표계 상의 대응점 S(x, y)의 x 좌표값을 구하기 위한 식이다. 여기서, A, B, E는, 각각,
Figure 112008080091055-pat00087
로 되는 수식에 의해 구해지는 값이다. 이 수식에 포함되어 있는 삼각함수 는, 평면 경사각
Figure 112008080091055-pat00088
에 대한 sin
Figure 112008080091055-pat00089
및 cos
Figure 112008080091055-pat00090
뿐이다.
마찬가지로,
Figure 112008080091055-pat00091
는, UV 좌표계 상의 1점 T(u, v)의 좌표값 u, v를 사용하여, XY 좌표계 상의 대응점 S(x, y)의 y 좌표값을 구하기 위한 식이다. 여기서, C, D, F는, 각각,
Figure 112008080091055-pat00092
로 되는 수식에 의해 구해지는 값이다. 이 수식에 포함되어 있는 삼각함수는, 역시 평면 경사각
Figure 112008080091055-pat00093
에 대한 sin
Figure 112008080091055-pat00094
및 cos
Figure 112008080091055-pat00095
뿐이다.
그리고, 식(11), (12)에 있어서의 w가,
w = mR 식(19)
에 의해 부여되는 값이며, R이 왜곡 원형 화상 S의 반경, m이 변환 배율인 점은, 종래의 변환 연산식과 같다.
결국, 도 11에 나타낸 식에 포함되어 있던 방위각 α 및 천정각 β에 관한 삼각함수는, 도 12에 나타낸 식에는 전혀 포함되어 있지 않은 것으로 된다. 그 대신에, 도 12에 나타낸 식에는, 점 G의 좌표값(
Figure 112008080091055-pat00096
)이 포함되어 있다. 이것은, UV 좌표계의 위치를 나타내는 파라미터로서, 도 11에 나타낸 종래의 식에서는, 방위각 α 및 천정각 β을 사용하고 있는데 대하여, 도 12에 나타낸 본 발명의 식에서는, 점 G의 좌표값(
Figure 112008080091055-pat00097
)을 사용하고 있기 때문이다.
도 4에 나타낸 바와 같이, UV 좌표계의 원점으로 되는 점 G(
Figure 112008080091055-pat00098
)는, 잘라내기 중심점
Figure 112008080091055-pat00099
을 통하여 Z축과 평행한 직선과 가상 구면 H의 교점으로서 정의되는 점이다. 여기서, 잘라내기 중심점
Figure 112008080091055-pat00100
의 위치는, 사용자의 지정(왜곡 원형 화상 S의 어느 부분을 잘라내어, 평면 정칙 화상으로 변환했으면 좋을 것인가라는 요구)에 따라 설정되는 점이므로, 결국, 교점 G(
Figure 112008080091055-pat00101
)도, 사용자의 요망에 따라 설정되는 점이라는 것으로 된다. 그리고, 이 교점 G를 특정하는 방법으로서 도 11에 나타낸 종래의 식은, 방위각 α 및 천정각 β이라는 2개의 각도를 사용한 식인데 대하여, 도 12에 나타낸 본 발명의 식은, (
Figure 112008080091055-pat00102
)라는 좌표값을 사용한 식으로 된다. 또한, 도 11에 나타낸 종래의 식에서 사용되고 있는 평면 경사각
Figure 112008080091055-pat00103
은, 도 4에 있어서 「점 G를 통하고, XY 평면과 평행하게, 또한 직선 OG에 직교하는 축(도시하지 않음)」를 기준축으로 하여 상기 기준축과 U축이 이루는 각
Figure 112008080091055-pat00104
으로서 정의되는 것에 대하여, 도 12에 나 타낸 본 발명의 식에서 사용되고 있는 평면 경사각
Figure 112008080091055-pat00105
은, 도 4에 나타낸 바와 같이, U축과 X'축이 이루는 각으로서 정의된다.
이와 같이, 교점 G의 위치를 방위각 α 및 천정각 β을 사용하여 표현하고, 평면 경사각
Figure 112008080091055-pat00106
을 사용한 종래의 변환 연산식(도 11)과, 교점 G의 위치를 (
Figure 112008080091055-pat00107
)로 되는 좌표값을 사용하여 표현하고, 평면 경사각
Figure 112008080091055-pat00108
을 사용한 본 발명의 변환 연산식(도 12)은, 기하학적으로는 등가의 식라는 것이 가능하다. 그러나, 연산기를 조합시켜 구성한 하드웨어나, 컴퓨터용 소프트 웨어에 의해, 실제의 연산 처리를 행하는 관점에서는, 이 2개의 변환 연산식에는 큰 차이가 있다. 즉, 종래의 변환 연산식(도 11)에 따른 연산을 행하기 위해서는, 다수의 삼각함수 연산(식(3)~(8))를 행할 필요가 있는데 대하여, 본 발명의 변환 연산식(도 12)을 이용하면, 삼각함수 연산은 큰 폭으로 저감된다(식(13)~(18)).
또한, 사용자의 조작성이라는 관점으로부터 보면, 방위각 α 및 천정각 β을 파라미터로서 설정하는 조작에 비하여, 점 G의 좌표값(
Figure 112008080091055-pat00109
)을 파라미터로 하여 설정하는 조작 쪽이, 매우 직관적이며 양호한 조작성을 얻을 수 있다. 전술한 바와 같이, 점 G는, 잘라내기 중심점
Figure 112008080091055-pat00110
를 통하여 Z축과 평행한 직선과 가상 구면 H의 교점으로서 정의되는 점이므로, 사용자는, 왜곡 원형 화상 S 위에 있어서, 잘라내기 중심점
Figure 112008080091055-pat00111
의 위치를 지정하는 조작을 행하면, 좌표값 z0는 교점을 구하는 연산에 의해 자동적으로 구할 수 있다. 물론, 잘라내기 중심점
Figure 112008080091055-pat00112
의 위치를 지정하는 조작은, 디스플레이에 표시된 왜곡 원형 화 상 S 위의 1점을 클릭하는 등의 직관적인 조작으로 행할 수 있다. 또한, 종래의 평면 경사각
Figure 112008080091055-pat00113
에 비하여, 본 발명의 평면 경사각
Figure 112008080091055-pat00114
은, 항상 X축이라는 고정축을 기준으로 하여 정의되는 각이므로, ξ3에서 설명하는 바와 같이, 사용자는, 왜곡 원형 화상 S 위에 있어서 각
Figure 112008080091055-pat00115
을 직관적으로 지정하는 것이 가능하게 된다.
이와 같이, 본 발명에 관한 화상 변환 장치에서는, 종래의 변환 연산식(도 11)에 따른 연산에 대신하여, 본 발명의 변환 연산식(도 12)에 따른 연산을 행하도록 했기 때문에, 어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상 S를 평면 정칙 화상 T로 변환할 때, 사용자의 직관적인 조작에 의해 필요한 파라미터 설정이 가능해져, 또한 연산 부담을 경감시키는 것이 가능하게 된다.
<<< ξ3.본 발명에 있어서의 파라미터 설정법 >>>
본 발명의 변환 연산식에 따른 연산을 행하기 위해서는, 도 12의 각 식에 나타나 있는 바와 같이, 평면 경사각
Figure 112008080091055-pat00116
, 교점 G의 좌표값(
Figure 112008080091055-pat00117
), 왜곡 원형 화상 S의 반경 R, 변환 배율 m을 파라미터로서 설정할 필요가 있다. 환언하면, 이들 파라미터의 값이 기지이면, 식(11) 및 식(12)에 소정의 변수값 u, v를 부여함으로써, 함수값 x, y를 산출할 수 있으므로, UV 좌표계 상의 임의의 1점 T(u, v)에 대응하는 XY 좌표계 상의 대응점 S(x, y)를 특정할 수 있어, 왜곡 원형 화상 S를 평면 정칙 화상 T로 변환하는 처리가 가능하게 된다.
여기서, 상기 파라미터
Figure 112008080091055-pat00118
,
Figure 112008080091055-pat00119
, R, m 중, z0의 값은 교점을 구하는 기하학적인 연산에 의해 자동적으로 구할 수 있으므로, 사용자가 입력할 필요는 없다. 또한, 반경 R은, 촬영에 사용한 어안 렌즈의 고유의 수치이므로, 미리 상기 고유값을 사용한 연산을 행하도록 하여 두면, 사용자가 입력할 필요는 없다. 물론, 반경 R의 값이 상이한 복수 종류의 어안 렌즈로 촬영한 왜곡 원형 화상에 적당히 대응할 수 있도록 하여 둔다면, 사용한 어안 렌즈에 따라 각각 상이한 R의 값을 사용자에게 입력시키면 된다. 그 경우라도, 단순한 수치를 입력할 뿐인 조작이므로, 사용자의 조작 부담은 경미한 것이다.
그래서, 여기서는, 나머지의 파라미터
Figure 112008080091055-pat00120
, x0, y0, m을, 사용자에게 효율적으로 설정하게 하는 유닉한 실시예를 설명하는 것으로 한다. 이 실시예는, 사용자와 화상 변환 장치 사이의 이상적인 맨 머신 인터페이스를 제안하는 것이다.
여기서 설명하는 파라미터 설정법의 특징은, 도 13에 나타낸 바와 같이, XY 좌표계 상에 정의되어 있는 왜곡 원형 화상 S를 사용자에게 제시하고, 이 화상 위에서 2점 P, Q를 지정하는 점에 있다. 이 방법에서는, 이 2점
Figure 112008080091055-pat00121
,
Figure 112008080091055-pat00122
의 위치 정보에 따라 파라미터
Figure 112008080091055-pat00123
, x0, y0, m의 값을 설정할 수 있다. 구체적으로는, 점
Figure 112008080091055-pat00124
의 좌표값
Figure 112008080091055-pat00125
은, 그대로 파라미터 x0, y0의 값으로서 사용된다. 또한, 2점 P, Q 사이의 거리 d의 값은, 변환 배율 m을 결정하기 위해 이용된다. 즉, 변환 배율 m은, 소정의 비례 상수 k를 사용하여, m = k /d로 되는 값에 의해 결정된다. 2점 P, Q 사이의 거리 d는, 점 P의 좌표값
Figure 112008080091055-pat00126
과 점 Q의 좌표값
Figure 112008080091055-pat00127
을 사용하여,
Figure 112008080091055-pat00128
로 되는 연산에 의해 산출할 수 있다. 또한, 2점 P, Q를 연결하는 직선을 참조 직선 J라고 하고, 이 참조 직선 J와 X축이 이루는 각 θ을 구하면(단, 양자 평행의 경우는 θ = 0°로 함), 이 각도 θ에 따라, 평면 경사각
Figure 112008080091055-pat00129
을 결정할 수 있다(구체적인 방법은 후술한다).
이같이 하여, 사용자가, 디스플레이의 화면에 표시되어 있는 왜곡 원형 화상 S를 보면서, 상기 화상 위에서, 2점 P, Q를 마우스 클릭 등의 방법으로 지정하는 조작을 행하면, 4개의 파라미터, x0, y0, m이 결정되게 된다. 여기서, 2점 P, Q가 가지는 의미를 생각해 보자. 먼저 점 P는, 지금까지 설명해 온 잘라내기 중심점
Figure 112008080091055-pat00130
와 다름이 없다. 도 10에 나타낸 예와 같이, 사용자가 지정한 잘라내기 중심점
Figure 112008080091055-pat00131
의 근방의 잘라내기 영역 E 내의 왜곡 화상이, 평면 정칙 화상으로 변환되게 된다. 따라서, 사용자는, 왜곡 원형 화상 S의 「여기를 중심으로 한 부분」을 정칙 화상으로 변환하고 싶다는 요구를, 잘라내기 중심점
Figure 112008080091055-pat00132
의 위치로 하여 입력하는 조작을 행하면 된다.
한편, 점 Q는, 「잘라내는 방향」과「변환 배율」을 지정하기 위한 점이며, 여기서는 보조점 Q라고 하기로 한다. 「잘라내는 방향」은, 잘라내기 중심점 P와 보조점 Q의 위치 관계에 따라서 결정된다. 환언하면, 2점 P, Q를 연결하는 참조 직선 J가, 「잘라내는 방향」을 나타내게 된다. 후술하는 바와 같이, 평면 경사각
Figure 112008080091055-pat00133
는, 참조 직선 J와 X축이 이루는 각 θ에 따라 결정되므로, 결국, 도 13에 나타낸 참조 직선 J의 방향은, 도 5에 나타낸 U축의 방향을 좌우하는 파라미터라는 것으로 된다. 도 13에 나타나 있는 XY 평면 상에서 참조 직선 J가 시계 방향으로 회 전하면, 도 5에 나타나 있는 접평면 상에서 U축도 시계 방향으로 회전함으로써, 도 10에 나타나 있는 잘라내기 영역 E도 시계 방향으로 회전하게 된다. 따라서, 사용자는, 잘라내기 중심점
Figure 112008080091055-pat00134
의 위치를 지정하는 입력을 행한 후, 이 잘라내기 중심점
Figure 112008080091055-pat00135
에 대하여 원하는 상대 위치에 보조점 Q
Figure 112008080091055-pat00136
를 지정하는 입력 조작을 행함으로써, 왜곡 원형 화상 S의 「이 방향을 가로 방향으로 취한」정칙 화상을 얻고 싶다는 요구를 전할 수 있다.
「변환 배율」은, 전술한 바와 같이, 2점 P, Q 사이의 거리 d를 사용하고, m = k /d로 되는 식에 의해 결정된다. 통상, 평면 정칙 화상 T를 디스플레이의 화면에 표시하는 경우, 그 표시 영역의 치수는 고정되어 있다. 그러므로, 변환 배율 m을 크게 설정하면 할수록, 평면 정칙 화상 T는 디스플레이 상에서 확대되어 표시되게 되지만, 표시되어 있는 평면 정칙 화상 T에 대응하는 잘라내기 영역 E의 면적은 작아진다. 따라서, 비례 상수 k의 값을, 디스플레이의 표시 화면의 크기(여기서 나타낸 예의 경우, U축 방향으로 대응하는 화면의 화소수)를 고려한 적당한 값으로 설정하여 두면, 보조점 Q의 위치를, 대략 잘라내기 영역 E의 경계를 나타내는 파라미터로서 이용할 수 있다.
이와 같은 방법으로 각 파라미터값의 설정을 행하면, 예를 들면, 도 13에 나타낸 왜곡 원형 화상 S의 잘라내기 중심점 _의 위치는, 도 9에 나타낸 평면 정칙 화상 T의 원점 T(0, 0)에 대응하고, 도 13에 나타낸 참조 직선 J의 방향은, 도 9에 나타낸 U축의 방향에 대응하고, 도 13에 나타낸 보조점 Q
Figure 112008080091055-pat00137
의 위치는, 도 9에 나타낸 경계점 B에 대응하게 된다. 환언하면, 사용자는, 도 9에 나타낸 바와 같은 원하는 평면 정칙 화상 T를 머릿속에서 상정하면서, 원점 T(0, 0)의 위치에 표시해야 할 부분을, 왜곡 원형 화상 S 위에 있어서 잘라내기 중심점
Figure 112008080091055-pat00138
로서 지정하고, 경계점 B의 위치에 표시해야 할 부분을, 왜곡 원형 화상 S 위에 있어서 보조점 Q
Figure 112008080091055-pat00139
로서 지정하면 되므로, 원하는 평면 정칙 화상 T를 염두에 넣은 극히 직관적인 지시 입력 조작을 행하는 것이 가능하게 된다.
도 14는 구체적인 왜곡 원형 화상 위에서 2점 P, Q를 지정함으로써, 잘라내기 중심점 P, 잘라내는 방향을 나타내는 각도 θ, 변환 배율 m의 3개의 파라미터를 설정하는 예를 나타낸 평면도이다. 여기서는, 도시한 바와 같이, 왜곡 원형 화상의 일부분에 불균일한 얼굴의 화상이 표시되어 있고, 사용자가, 이 얼굴을 에워싸는 잘라내기 영역 E의 부분에 대하여, 평면 정칙 화상 T를 얻고자 원하는 경우를 생각해 보자. 이 경우, 사용자는, 먼저, 얼굴의 중심 부근에 잘라내기 중심점
Figure 112008080091055-pat00140
을 지정하고, 이어서, 얼굴 정상부 부근에 보조점
Figure 112008080091055-pat00141
를 지정하는 입력 조작을 행하면 된다. 그러면 도시한 바와 같은 참조 직선 J가 정의되고, X축이 이루는 각 θ이 인식되고, 이 θ에 따라 평면 경사각
Figure 112008080091055-pat00142
이 결정되고, UV 좌표계의 위치와 방향(U축의 방향)이 결정된다.
도 15는 이와 같은 파라미터 설정에 따라 얻어지는 평면 정칙 화상 T를 나타낸 평면도이다. 도 15에 나타낸 점 P, Q는, 도 14에 나타낸 잘라내기 중심점
Figure 112008080091055-pat00143
및 보조점
Figure 112008080091055-pat00144
에 대응하는 점이다. 평면 정칙 화상 T 상에 표시되어 있는 얼굴이 옆쪽이 되어 있는 것은, 도 14에 있어서, 보조점 Q (x1, y1) 의 위치를 얼굴의 머리 정상부 부근으로 지정했기 때문이다. 즉, 도 14에 나타낸 2점 P, Q를 연결하는 참조 직선 J의 방향이, 평면 정칙 화상 T에 있어서의 U축 방향으로 되도록 한 화상 변환이 행해졌기 때문이다.
평면 정칙 화상 T 상에 정립(正立) 상태의 얼굴을 얻고 싶은 경우, 사용자는, 도 14에 있어서, 먼저, 얼굴의 중심 부근에 잘라내기 중심점
Figure 112008080091055-pat00145
을 지정하고, 이어서, 얼굴의 우측 이격 위치에 보조점 Q'(x2, y2)를 지정하는 입력 조작을 행하면 된다. 그러면 도시한 같은 참조 직선 J'가 정의되고, X축과의 이루는 각 θ'가 인식되고, 이 θ'에 따라 평면 경사각
Figure 112008080091055-pat00146
이 결정되고, UV 좌표계의 위치와 방향(U축의 방향)이 결정된다.
도 16은 이와 같은 파라미터 설정에 따라 얻어지는 평면 정칙 화상 T를 나타낸 평면도이다. 도 16에 나타낸 점 P, Q'는, 도 14에 나타낸 잘라내기 중심점
Figure 112008080091055-pat00147
및 보조점 Q'(x2, y2)에 대응하는 점이다. 평면 정칙 화상 T 상에 표시되어 있는 얼굴이 정립상(正立像)으로 되어 있는 것은, 도 14에 있어서, 보조점 Q'(x2, y2)의 위치를 얼굴의 우측 이격 위치로 지정하였기 때문이다. 즉, 도 14에 나타낸 2점 P, Q'를 연결하는 참조 직선 J'의 방향이, 평면 정칙 화상 T에 있어서의 U축 방향으로 되도록 화상 변환이 행해졌기 때문이다.
도 15에 나타낸 화상도, 도 16에 나타낸 화상도, 동일한 디스플레이에 표시된 화상이며, 모두 가로 방향의 치수가 a(수평 방향의 화소수가 a개), 세로 방향의 치수가 b(수직 방향의 화소수가 b개)이다. 단, 양 화상에서는, 변환 배율 m의 값 이 상이하게 되어 있고, 도 15에 나타낸 화상 쪽이, 도 16에 나타낸 화상보다 확대되어 있다. 이것은, 도 14에 있어서, 2점 P, Q간 거리보다, 2점 P, Q' 간 거리 쪽이 커지도록 보조점의 위치 지정이 행해졌기 때문이다. 도 14에 있어서, 보조점
Figure 112008080091055-pat00148
를 지정한 경우의 잘라내기 영역 E는 도시한 바와 같지만, 보조점 Q'(x2, y2)를 지정한 경우의 잘라내기 영역 E'(도시하지 않음)는, 잘라내기 영역 E보다 넓은 영역으로 된다. 그러므로, 잘라내기 영역 E에 대한 정칙 화상을 표시한 도 15에 나타낸 예에 비하여, 잘라내기 영역 E'에 대한 정칙 화상을 표시한 도 16에 나타낸 예의 경우, 화상의 확대 배율은 낮아진다.
이와 같이, 변환 배율 m을, 2점 P, Q간 거리 d를 사용하여, m = k /d로 되는 식으로 정하고, 비례 상수 k를 적당한 값으로 설정하여 두면, 보조점 Q의 위치를 평면 정칙 화상 T의 경계를 정하는 파라미터로서 이용할 수 있으므로, 사용자에게 직관적인 입력 조작을 제공하는 데는 바람직하다. 사용자는, 도 9에 나타낸 바와 같은 원하는 평면 정칙 화상 T에 있어서의 원점 T(0, 0) 및 경계점 B의 위치에 대응하는 점으로서 왜곡 원형 화상 S 위에 있어서 잘라내기 중심점
Figure 112008080091055-pat00149
및 보조점 Q
Figure 112008080091055-pat00150
의 위치를 지정하는 입력 조작을 행함으로써, 원하는 잘라내기 영역 E에 대응한 평면 정칙 화상 T를 얻는 것이 가능하게 된다.
최후에, 잘라내는 방향을 나타내는 각도 θ(도 13에 나타낸 참조 직선 J와 X축이 이루는 각이며, 양자 평행의 경우는 θ = 0°로 함)에 따라, 평면 경사각
Figure 112008080091055-pat00151
을 결정하는 구체적인 방법을 설명한다. 도 17은 이 각도 θ와 평면 경사각
Figure 112008080091055-pat00152
의 관계를 나타낸 사시도이다. 각도 θ는, XY 평면 상에 위치하는 참조 직선 J와 X축이 이루는 각인데 대하여, 평면 경사각
Figure 112008080091055-pat00153
은, UV 평면 상의 U축 방향을 향한 벡터 U와 XY 평면 상의 X축 방향을 향한 벡터 X가 이루는 각으로서 정의되는 각도이다. 도 17에는, 접평면 S2 상의 U축을 경사면 S1 상까지 평행 이동한 U'축(벡터 U')을 생각하고, U'축과 X축이 이루는 각도로서, 평면 경사각
Figure 112008080091055-pat00154
을 나타내고 있다.
이와 같이, 참조 직선 J가 XY 평면 상의 직선인데 대하여, U'축은 경사면 S1상의 축이므로, 천정각 β = 0의 경우에는 θ =
Figure 112008080091055-pat00155
가 성립되지만, β〉0의 경우에는 양자는 동등하게 되지 않는다. 각도 θ에 따라 평면 경사각의 정확한 값을 결정하기 위해서는, 도 18에 나타낸 바와 같이, 방위각 α 및 천정각 β을 파라미터로서 사용한 연산식
Figure 112008080091055-pat00156
= f(θ) 식(21)
를 사용한 연산을 행할 필요가 있다(함수 f는, 도 6이나 도 17에 나타낸 기하학적 배치에 따라 일의적으로 결정되게 되지만, 삼각함수를 사용한 복잡한 식으로 나타낸다.
다만, 실용상은, 잘라내는 방향을 나타내는 각도 θ를 근사적으로 평면 경사각으로서 사용해도, 큰 지장은 생기지 않는다. 이것은, 본 발명에서 사용하는 평면 경사각
Figure 112008080091055-pat00157
은, 도 4에 나타낸 바와 같이, U축과 X'축이 이루는 각으로서 정의된 각이며, X축을 기준으로 하여 정의된 각으로 되어 있기 때문이다. 물론, 각도 θ의 값을 근사적으로 평면 경사각
Figure 112008080091055-pat00158
의 값으로서 사용하면, 사용자가 의도한 U축의 방향(참조 직선 J에 의해 나타낸 잘라내는 방향)과 실제로 정의되는 UV 좌표계의 U축의 방향의 사이에 약간의 어긋남이 생기게 된다. 그러므로, 실제로 얻어지는 평면 정칙 화상 T는, 사용자가 의도한 잘라내기 영역 E 내의 화상과 약간 상위하다. 그러나, 이와 같은 상위는, 단지, 화상의 트리밍 테두리의 상위에 지나지 않는다. 또한, 사용자가 지정한 참조 직선 J의 방향(즉, 보조점 Q의 위치)은, 통상, 사용자가 희망하는 대범한 잘라내는 방향을 나타내는 지표에 지나지 않으므로, 실제의 잘라내는 방향이 다소 어긋나 있었다고 해도, 실용상은, 사용자에게 위화감을 주지 않는다. 이와 같은 이유로부터, 본 발명의 일반적인 실시예에서는, 잘라내는 방향을 나타내는 각도 θ를, 그대로 평면 경사각
Figure 112008080091055-pat00159
의 값으로서 근사(近似)시키므로 문제는 없다.
<<< §4. 화상 변환 장치의 기본 구성 >>>
여기서는, 도 19의 블록도를 참조하면서, 본 발명의 기본적인 실시예에 관한 화상 변환 장치의 기본 구성을 설명한다. 도 19에 있어서, 일점 쇄선으로 에워싼 부분이, 본 발명에 관한 화상 변환 장치(100)이다. 이 장치는, 어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상 S의 일부분을 잘라내어, 평면 정칙 화상 T로 변환하는 처리를 행하는 기능을 가지고 있고, 도 19에는, 어안 렌즈를 사용한 카메라(10)에 의해 촬영된 왜곡 원형 화상 S가, 디지털 데이터로서 이 화상 변환 장치(100) 내에 받아들여지고 있다.
왜곡 원형 화상 저장부(110)는, 이와 같은 왜곡 원형 화상 S를 저장하기 위한 구성 요소이며, 메모리나 하드 디스크 장치 등의 기억 장치에 의해 구성된다. 여기서, 왜곡 원형 화상 S는, 예를 들면, 도 2에 예시한 바와 같이, 이차원 XY 직교 좌표계 상의 좌표 x, y로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성되며, XY 좌표계의 원점 O를 중심으로 하고 반경 R을 가진 원형의 화상으로 된다.
한편, 평면 정칙 화상 저장부(120)는, 변환 처리 후의 평면 정칙 화상 T를 디지털 데이터로서 저장하기 위한 구성 요소이며, 역시 메모리나 하드 디스크 장치 등의 기억 장치에 의해 구성된다. 여기서, 평면 정칙 화상 T는, 예를 들면, 도 15나 도 16에 예시한 바와 같이, 이차원 UV 직교 좌표계 상의 좌표(u, v)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성되는 화상으로 된다. 이 평면 정칙 화상 저장부(120) 내의 평면 정칙 화상 T를 변환 화상 디지털 데이터로서 출력하면, 디스플레이의 화면 상에 도 15나 도 16에 예시하도록 한 평면 정칙 화상 T를 표시하게 할 수 있다.
변환 연산부(130)는, 도 12에 나타낸 본 발명의 변환 연산식을 이용하여, 좌표(u, v)와 좌표(x, y)를 대응시켜 좌표(u, v)로 나타낸 위치에 배치된 평면 정칙 화상 T상의 화소의 화소값을, 대응하는 좌표(x, y)로 나타낸 위치에 배치된 왜곡 원형 화상 S 위의 참조 화소의 화소값에 따라 결정하는 기능을 가지고, 왜곡 원형 화상 저장부(110) 내에 저장되어 있는 왜곡 원형 화상 S에 따라 평면 정칙 화상 T를 작성하는 연산을 행하고, 생성된 평면 정칙 화상 T를 평면 정칙 화상 저장부(120)에 저장한다. §2에서 설명한 바와 같이, 본 발명의 변환 연산식에 따른 연산을 행하는 데는, 몇개의 파라미터를 설정할 필요가 있다. 이하의 각 구성 요 소는, 이 파라미터 설정을 행하기 위한 것이다.
왜곡 원형 화상 표시부(14O)는, 왜곡 원형 화상 저장부(11O)에 저장되어 있는 왜곡 원형 화상 S를 디스플레이에 표시하는 구성 요소이며, 도 2에 나타낸 바와 같은 화상이 디스플레이의 화면 상에 표시된다.
지시 입력부(150)는, 디스플레이에 표시되어 있는 왜곡 원형 화상 S 위에 있어서, 도 13에 나타낸 바와 같이, 잘라내기 중심점 P와 보조점 Q의 2점의 위치를 지정하기 위한 지시를 입력한다. 구체적으로는, 지시 입력부(150)는, 마우스 등의 포인팅 디바이스와, 이것을 제어하기 위한 제어 장치에 의해 구성되며, 사용자가, 마우스 등을 사용하여 디스플레이 화면 상에서 포인터를 이동시키도록 하고, 마우스 클릭 등의 조작이 행해진 시점의 포인터의 위치 좌표를 읽어들이는 기능을 가지고 있다.
예를 들면, 사용자가 제1 회째에 클릭했을 때의 포인터의 위치를 잘라내기 중심점 P의 위치로서 입력하고, 제2 회째에 클릭했을 때의 포인터의 위치를 보조점 Q의 위치로 하여 입력하도록 하여 두면, 사용자는 계속하여 2회의 클릭 조작을 행함으로써, 잘라내기 중심점 P 및 보조점 Q의 위치를 지시하는 입력을 행할 수 있다. 또는, 「드래그 앤드 드롭」조작으로 양 점을 지정하게 할 수도 있다. 이 경우, 사용자가 마우스 버튼을 누른 시점에서의 포인터의 위치를 잘라내기 중심점 P의 위치로 하여 입력하고, 사용자가 마우스 버튼을 누른 상태인 채 포인터를 이동시키고, 마우스 버튼을 놓은 시점에서의 포인터의 위치를 보조점 Q의 위치로 하여 입력하도록 하면 된다.
요컨대, 지시 입력부(150)는, 왜곡 원형 화상 표시부(140)에 의해 표시되어 있는 왜곡 원형 화상 S 위에서의, 잘라내기 중심점 P 및 보조점 Q의 위치를 지정하는 사용자로부터의 어떠한 지시 입력에 따라 그 좌표값
Figure 112008080091055-pat00160
및
Figure 112008080091055-pat00161
를 입력하는 기능을 가지고 있으면, 구체적으로 어떠한 장치를 사용하여 구성해도 상관없다.
지시 입력부(150)가 입력한 2점 P, Q의 위치는, 이미 §3에서 설명한 바와 같이, 잘라내기 중심점 P의 위치, 잘라내는 방향을 나타내는 각도 θ, 변환 배율 m이라는 3개의 파라미터를 설정하기 위해 이용된다. 먼저, 잘라내기 중심점 P의 위치로서는, 점 P의 좌표값
Figure 112008080091055-pat00162
그 자체가 사용된다. 또한, 각도 θ의 값은, 2점 P, Q를 연결하는 참조 직선 J와 X축이 이루는 각도로서 결정된다. 실제로는, 좌표값
Figure 112008080091055-pat00163
및 Q(xl, yl)를 사용한 기하학적인 연산에 의해, 각도 θ의 값을 산출할 수 있다. 그리고, 변환 배율 m은, 2점 P, Q 사이의 거리 d를,
Figure 112008080091055-pat00164
로 되는 연산으로 구한 후, 미리 설정된 비례 상수를 사용하여, m = k /d로 되는 연산을 행함으로써 산출할 수 있다.
그리고, 변환 배율 m을 고정값으로 하는 경우에는, 상기 고정값을 변환 연산부(130) 내에 미리 설정하여 두면 되므로, 지시 입력부(150)에 있어서 m의 값을 결정할 필요는 없다. 이 경우, 변환 배율 m은, 사용자가 지정 가능한 파라미터는 되지 않기 때문에, 사용자가 행하는 보조점 Q의 위치 지정 조작은, 잘라내는 방향을 나타내는 각도 θ(즉, 참조 직선 J의 방향)를 지정하는 의미만을 가지고, 2점 P, Q 사이의 거리 d는 아무런 의미를 갖지 않게 된다. 환언하면, 이 경우, 지시 입력 부(150)는, 잘라내기 중심점 P의 위치 및 잘라내는 방향을 사용자의 지시에 따라 입력하는 기능만을 가지고, 변환 배율 m을 입력하는 기능은 갖지 않게 된다.
다만, 실용상은, 변환 배율 m을 고정하는 것보다, 사용자의 요망에 따라 가변으로 하고, 변환 배율 m에 따라 스켈링된 평면 정칙 화상 T를 얻을 수 있도록 하는 것이 사용 편리성은 향상된다. 따라서, 실제로는, 전술한 바와 같이, 지시 입력부(150)에, 사용자의 지시에 따라 변환 배율 m을 입력하는 기능을 갖게 하여 변환 연산부(130)가, 지시 입력부(15O)에 의해 입력된 변환 배율 m을 사용한 연산을 행하도록 하는 것이 바람직하다.
그런데, 교점 연산부(160)는, 지시 입력부(150)에 의해 입력된 잘라내기 중심점 P의 위치
Figure 112008080091055-pat00165
에 따라 점 G의 위치 좌표(
Figure 112008080091055-pat00166
)를 구하는 처리를 행한다. 여기서, 점 G는, 도 4에 나타낸 바와 같이, 3차원 XYZ 직교 좌표계에 있어서, 원점 O를 중심으로 하고 반경 R을 가진 가상 구면 H를 정의했을 때, 잘라내기 중심점 P를 통하여 Z축과 평행한 직선과 가상 구면 H의 교점으로서 부여되는 점이다. 실제로는, 점 P의 좌표값 x0, y0와 점 G의 좌표값 x0, y0는 동일한 값이므로, 교점 연산부(160)가 행하려는 연산 처리는, 점 G의 좌표값 z0를 구하기 위한 기하학 연산뿐이다.
한편, 각도 결정부(170)는, 도 4에 나타낸 바와 같이, 교점 G(
Figure 112008080091055-pat00167
)에 있어서 가상 구면 H에 접하는 접평면 상에 정의해야 할 이차원 UV 직교 좌표계의 U축 방향을 향한 벡터 U와, 이차원 XY 직교 좌표계의 X축 방향을 향한 벡터 X가 이루는 각으로서 부여되는 평면 경사각
Figure 112008080091055-pat00168
을, 지시 입력부(150)가 입력한 잘라내는 방향(즉, 각도 θ)에 따라 결정하는 처리를 행한다. 각도 θ와 각도
Figure 112008080091055-pat00169
의 관계는, 도 18에 나타낸 식에 의해 정의되므로, 각도 결정부(170)는, 이 식에 따라 평면 경사각을 산출하면 된다. 무엇보다도, 실용상은, §3에서 설명한 바와 같이, 잘라내는 방향을 나타내는 각도 θ를, 그대로 평면 경사각
Figure 112008080091055-pat00170
의 값으로 하여 근사시켜도 문제는 없다. 이 경우, 각도 결정부(170)는, 참조 직선 J와 X축이 이루는 각 θ을, 그대로 평면 경사각
Figure 112008080091055-pat00171
으로 하여 변환 연산부(130)에 부여하는 처리를 행하면 된다.
그런데, §2에서 설명한 바와 같이, 도 12에 나타낸 본 발명의 변환 연산식은, 위치 좌표(
Figure 112008080091055-pat00172
) 및 평면 경사각
Figure 112008080091055-pat00173
을 파라미터로서 포함하는 정사영 방식의 변환 연산식이며, 변환 연산부(130)가, 이 변환 연산식을 이용하여, 좌표(u, v)에 대응하는 좌표(x, y)를 구하기 위해서는, 6개의 파라미터
Figure 112008080091055-pat00174
,
Figure 112008080091055-pat00175
, R, m을 결정하여 둘 필요가 있다. 여기서, 파라미터
Figure 112008080091055-pat00176
는, 각도 결정부(170)로부터 부여되고, 파라미터
Figure 112008080091055-pat00177
는, 교점 연산부(160)로부터 부여되고, 파라미터 m은, 지시 입력부(150)로부터 부여된다. 그리고, 파라미터 R은, 왜곡 원형 화상 저장부(110)에 저장되어 있는 왜곡 원형 화상 S의 반경값으로서 기지이다.
결국, 변환 연산부(130)에는, 상기 6개의 파라미터
Figure 112008080091055-pat00178
,
Figure 112008080091055-pat00179
, R, m이 모두 준비되게 된다. 이같이 하여, 변환 연산부(130)는, 좌표(u, v)로 나타낸 위치에 배치된 평면 정칙 화상 T상의 화소의 화소값을, 대응하는 좌표(x, y)로 나타낸 위치에 배치된 왜곡 원형 화상 S 위의 참조 화소의 화소값에 따라 결정함으로써, 왜곡 원형 화상 S로부터 잘라내기 중심점 P를 중심으로 하여 평면 경사각에 의해 나타내는 방향으로 잘라내어진 부분 화상에 대한 평면 정칙 화상 T를 생성하는 연산 처리를 실행할 수 있다.
그리고, 왜곡 원형 화상 S는, 이차원 XY 직교 좌표계 상의 좌표(x, y)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성된 화상이며, 실제로는, 소정 피치로 종횡으로 배열된 다수의 격자점의 위치에, 각각 고유의 화소값을 정의한 디지털 데이터에 의해 구성되어 있다. 그러므로, 변환 연산부(130)에 의한 연산 결과로서 얻어진 대응 좌표(x, y)의 위치는, 통상, 복수개의 격자점 사이의 위치로 된다. 예를 들면, 왜곡 원형 화상 S가, 피치 1로 종횡으로 배열된 다수의 격자점 위치의 화소값을 정의한 디지털 데이터에 의해 구성되어 있는 경우, 어느 격자점도, 그 좌표값은 정수값으로 된다. 따라서, 변환 연산부(130)에 의한 연산 그 결과 얻어진 대응 좌표 x 및 y의 값이 소수를 포함하는 값이면(많은 경우는 그렇게 될 것임), 대응 좌표(x, y)의 위치는, 복수개의 격자점의 사이의 위치로 되어, 대응하는 화소값을 1개로 결정할 수 없다.
따라서, 실제로는, 변환 연산부(130)가, 좌표(u, v)로 나타낸 위치에 배치된 평면 정칙 화상 T 위의 화소의 화소값을 결정하려면, 대응하는 좌표(x, y)로 나타낸 위치의 근방에 배치된 왜곡 원형 화상 S 위의 복수개의 참조 화소의 화소값에 대한 보간 연산을 행할 필요가 있다. 이와 같은 보간 연산을 행하는 방법으로서 는, 예를 들면, 바이리니어 보간법(Bilinear Interpolation), 바이큐빅·스플라인 보간법(Bicubic·Spline Interpolation) 등, 다양한 방법이 공지이므로, 여기서는 상세한 설명은 생략한다. 그리고, 어안 렌즈를 사용한 카메라(10)로서 단판 촬상 소자를 내장한 카메라를 사용한 경우, 고정밀도의 보간을 행하기 위해서는, 왜곡 원형 화상 S로서 이른바 RAW 모드라는 화상 데이터를 사용하는 것이 극히 바람직하다. 또한, 어안 렌즈에 따라서는, 색수차가 눈에 띄는 제품도 있으므로, 필요에 따라 사용한 어안 렌즈의 색수차를 측정해 두고, 변환 연산부(130)에 의한 연산시에, 색수차를 보정하는 연산을 행하는 것도 가능하다.
본 발명에 관한 화상 변환 장치는, 특히, 감시 카메라, 회의실용 카메라, 차량탑재용 카메라, 관내 프로브용 카메라 등에 어안 렌즈를 내장하여 사용하는 시스템으로의 이용에 최적이다. 이와 같은 시스템에서는, 동영상을 리얼타임으로 취급할 필요가 있고, 사용자가 임의로 지정한 잘라내기 영역 내의 화상을, 즉시 평면 정칙 화상으로 변환하여 표시하게 할 필요가 있다. 본 발명에 관한 화상 변환 장치에서는, 연산 부담이 큰 폭으로 경감되므로 평면 정칙 화상에의 리얼타임으로의 변환 처리가 가능하게 된다.
이상, 본 발명의 기본적인 실시예에 관한 화상 변환 장치의 기본 구성을, 도 19의 블록도를 참조하면서 설명하였으나, 이 화상 변환 장치는, 범용의 컴퓨터에, 전용의 프로그램을 내장함으로써 구성할 수 있다. 이 경우, 왜곡 원형 화상 저장부(110)나 평면 정칙 화상 저장부(120)는, 상기 컴퓨터용의 기억 장치에 의해 구성하고, 왜곡 원형 화상 표시부(140)나 지시 입력부(150)는, 상기 컴퓨터용의 디스플 레이나 마우스 및 이들을 제어하는 하드웨어나 소프트 웨어에 의해 구성하면 된다. 또한, 변환 연산부(130), 교점 연산부(160), 각도 결정부(170)는, 전용의 프로그램에 따른 컴퓨터의 연산 기능에 의해 실현되게 된다.
물론, 이 화상 변환 장치는, 다양한 연산기나 레지스터 등을 조합한 전용의 하드웨어 논리 회로에 의해 구성하는 것도 가능하다. 구체적으로는, 적어도 변환 연산부(130)로서 기능하는 부분을 전자 회로에 의해 구성하고, 상기 전자 회로를 내장한 반도체 집적회로를 설계하면 된다. 이와 같은 하드웨어 논리 회로에 의해 변환 연산부(130)를 구성하는 데 유효한 다양한 연구는, §6에서 설명하는 것으로 한다.
또한, 도 19에 나타낸 화상 변환 장치(100)와, 어안 렌즈를 사용한 카메라(10)와, 도시하지 않은 모니터 장치를 준비하고, 카메라(10)를 사용한 촬영에 의해 얻어진 왜곡 원형 화상 S가 왜곡 원형 화상 저장부(110)에 저장되고, 평면 정칙 화상 저장부(120)에 얻어진 평면 정칙 화상 T가 모니터 장치에 의해 표시되도록 하면, 어안 감시 시스템을 실현하는 것이 가능하게 된다. 카메라(10)로서 디지털 비디오 카메라를 사용하도록 하면, 리얼타임으로 촬영한 왜곡 원형 화상에 따라 임의의 일부분의 평면 정칙 화상을 리얼타임으로 모니터 장치의 화면 상에 얻는 것이 가능하다.
<<< §5. 비정사영 화상에의 적용 >>>
그런데, 본 발명의 가장 중요한 특징은, §2에서 설명한 바와 같이, 좌표 변환의 연산에, 도 12에 나타낸 변환 연산식을 이용하는 점이지만, 이 변환 연산식 은, 정사영(正射影) 방식의 변환 연산식이며, 촬영에 사용한 어안 렌즈의 투영 방식이 정사영 방식인 것을 전제로 한 식이다. 그런데, 실제로 시판되고 있는 어안 렌즈는, 반드시 정사영 방식의 렌즈에 한정되지는 않는다. 실제, 어안 렌즈의 투영 방식으로서는, 등거리 투영 방식, 입체 투영 방식 등입체각 투영 방식 등, 다양한 방식이 알려져 있고, 용도에 따라 이들 다양한 투영 방식을 취하는 어안 렌즈가 사용되고 있다. 여기서는, 이와 같은 비정사영 방식의 어안 렌즈에 의해 촬영된 비정사영 화상에 대하여 본 발명을 적용하는 방법을 설명한다.
정사영 방식의 어안 렌즈의 광학적 특성은, 이미 설명한 바와 같이, 도 1에 나타낸 바와 같은 모델에 의해 설명할 수 있다. 즉, 가상 구면 H 상의 임의의 입사점 H(x, y, z)에 대하여, 그 법선 방향으로부터 입사하는 입사 광선 L1은, Z축과 평행한 방향으로 진행되는 입사 광선 L2로서 XY 평면 상의 점 S(x, y)에 도달한다는 특성이다. 도 20은 이 정사영 방식의 어안 렌즈에 있어서의 입사광의 투영 상태를 나타낸 정면도이다. 도시한 바와 같이, 천정각 β을 가진 가상 구면 H 상의 입사점 H(x, y, z)에 대하여, 그 법선 방향으로부터 입사한 입사 광선 L1은, Z축과 평행한 방향으로 진행되는 입사 광선 L2로서 XY 평면 상의 점 S(x, y)에 도달하고 있다.
여기서, 입사점 H(x, y, z)의 천정각 β과, 상기 입사점 H(x, y, z)를 거친 입사 광선 L2가 XY 평면 상에서 도달하는 도달점 S(x, y)의 원점 O로부터의 거리 r의 관계는, 정사영 방식의 어안 렌즈를 사용한 촬영에 의해 형성되는 정사영 화상의 경우, r = f·sinβ식으로 표현된다. 여기서, f는, 어안 렌즈에 고유한 상수이 다. 이에 대하여, 예를 들면, 등거리 투영 방식의 어안 렌즈를 사용한 촬영에 의해 형성되는 등거리 투영 화상의 경우, 양자의 관계는, r = f·β로 되는 식으로 표현되게 된다.
도 21은 정사영 방식의 어안 렌즈를 사용하여 형성되는 정사영 화상과, 등거리 투영 방식의 어안 렌즈를 사용하여 형성되는 등거리 투영 화상의 관계를 나타낸 사시도이다. 도면에 동심원형으로 나타낸 선은, 동일한 천정각 β을 가지는 입사 점을 거친 입사 광선에 대한 XY 평면 상에서의 도달점의 집합을 나타내고 있다. 도 21 (a)에 나타낸 정사영 화상의 경우, r = f·sinβ로 되는 식이 성립되므로, 인접하는 동심원형의 선의 배치 간격은, 중심으로부터 주위을 향할 수록 작게 되어 간다. 이에 대하여, 도 21 (b)에 나타낸 등거리 투영 화상의 경우, r = f·β로 되는 식이 성립되므로, 동심원형의 선은, 중심으로부터 주위를 향해 등간격으로 배치된다.
이와 같이, 정사영 화상과 등거리 투영 화상은, 모두 왜곡 원형 화상이라는 점에서는 공통되지만, 그 불균일 상태가 양자에서는 상이하게 되어 있으므로 당연히, 평면 정칙 화상으로 변환하기 위해서 사용하는 변환 연산식도 상이한 것으로 된다. 따라서, 정사영 화상을 평면 정칙 화상으로 변환하는 경우에는, 도 12에 나타낸 변환 연산식을 이용할 수 있지만, 등거리 투영 화상 등의 비정사영 화상을 평면 정칙 화상으로 변환하는 경우에는, 각각에 대한 전용의 변환 연산식을 이용할 필요가 있다.
그러나, 정사영 방식의 어안 렌즈의 광학적 특성은, 도 20에 나타낸 바와 같 은 가상 구면 H를 사용한 모델로서 취급할 수 있으므로, 도 12에 나타낸 바와 같은 변환 연산식을 정의할 수 있지만, 비정사영 방식의 어안 렌즈의 광학적 특성은, 이와 같은 가상 구면 H를 사용한 모델로서 취급할 수 없다. 그러므로, 만일, 어떠한 변환 연산식을 정의할 수 있었다고 해도, 그 식의 형태는 극히 복잡할 것으로 예상된다.
그래서, 본원 발명자는, 비정사영 화상을 직접적으로 평면 정칙 화상으로 변환하는 변환 연산식을 이용하는 대신에, 비정사영 화상을, 일단, 정사영 화상으로 변환하여, 도 12에 나타낸 정사영 방식의 변환 연산식을 이용하여, 좌표(u, v)에 대응하는 좌표(x, y)를 구하는 방법의 착상에 이르렀다. 이하, 비정사영 화상으로서, 등거리 투영 화상을 사용한 경우를 예로 들어, 이 방법을 설명한다.
도 21에 나타낸 바와 같이, 정사영 화상 위의 임의의 1점과, 등거리 투영 화상 위의 특정한 1점은, 서로 1 대 1의 대응 관계를 정의할 수 있다(도면의 파선은, 이 대응 관계를 나타내고 있다. 구체적으로는, 등거리 투영 화상 위의 임의의 1점의 좌표를 (x', y')라 하고, 이에 대응하는 정사영 화상 위의 특정한 1점의 좌표를 (x, y)라 하면, 양자 간에는, 도 22의 상단에 나타낸 바와 같이,
Figure 112008080091055-pat00180
로 되는 식이 성립된다. 역으로, 정사영 화상 위의 임의의 1점의 좌표를 (x, y)라 하고, 이에 대응하는 등거리 투영 화상 위의 특정한 1점의 좌표를 (x', y')라 하면, 양자 간에는, 도 22의 하단에 나타낸 바와 같이,
Figure 112008080091055-pat00181
이 성립된다.
이들 식(31)~(34)에 있어서, 변수를 t라고 했을 때의 함수 sinc(t)는, 싱크 함수(카디널 사인; cardinal sign)라는 함수이며, sinc(t) = sin(t)/t로서 정의된다. 단, t = O인 경우의 함수값은, sinc(O)= 1이라고 정의된다. 결국, 상기 식(31), (32)는, 등거리 투영 화상 위의 좌표(x', y')를 정사영 화상 위의 좌표(x, y)로 변환하는 식(이하, 제1 좌표 변환식이라고 함)이며, 상기 식(33), (34)는, 정사영 화상 위의 좌표(x, y)를 등거리 투영 화상 위의 좌표(x', y')로 변환하는 식(이하, 제2 좌표 변환식이라고 함)이라는 것으로 된다.
그래서, 도 19에 나타낸 왜곡 원형 화상 저장부(110)에 저장되어 있는 화상이, 등거리 투영 방식의 어안 렌즈에 의해 촬영된 등거리 투영 화상인 경우에는, 왜곡 원형 화상 표시부(14O)에 의해, 디스플레이 상에 이 등거리 투영 화상을 그대로 표시하도록 하고, 지시 입력부(150)에 의해, 이 등거리 투영 화상 위에서, 2점 P, Q의 지정 입력을 행하도록 한다. 이어서, 교점 연산부(160)에서는, 잘라내기 중심점 P의 좌표(x0', y0')를 제1 좌표 변환식(식(31) 및 (32))을 사용하여 좌표( x0, y0)로 변환하고, 이 변환 후의 좌표를 사용하여 교점 G의 위치 좌표(
Figure 112008080091055-pat00182
)를 구하는 처리를 행하도록 한다. 그리고, 변환 연산부(130)에서는, 지금까지 설명해 온 실시예와 전혀 마찬가지로, 도 12에 나타낸 정사영 방식의 변환 연산식을 이용하여 좌표(u, v)에 대응하는 좌표(x, y)를 구하는 처리를 행한 다. 단, 구한 좌표(x, y)를 그대로 사용하여 참조 화소의 위치를 결정하는 대신에, 상기 좌표(x, y)를 제2 좌표 변환식(식(33) 및 (34))을 사용하여 좌표(x', y')로 변환하고, 이 변환 후의 좌표를 사용하여, 왜곡 원형 화상 저장부(110)에 저장되어 있는 등거리 투영 화상 위의 참조 화소의 위치를 특정하도록 한다.
이와 같은 방법을 채용하면, 왜곡 원형 화상 저장부(110)에 저장되어 있는 화상이, 등거리 투영 방식의 어안 렌즈에 의해 촬영된 등거리 투영 화상인 경우에도, 도 12에 나타낸 정사영 방식의 변환 연산식을 이용한 변환 처리를 적용하는 것이 가능하게 된다. 물론, 이 방법은, 등거리 투영 화상에의 적용에 한정되지 않고, 비정사영 화상에 일반적으로 널리 적용할 수 있다.
즉, 일반론으로서 설명하면, 왜곡 원형 화상 저장부(110)에 저장되어 있는 화상이, 정사영 방식의 어안 렌즈에 의해 촬영된 정사영 화상이 아니고, 비정사영 방식의 어안 렌즈에 의해 촬영된 비정사영 화상인 경우에는, 비정사영 화상 위의 좌표를 정사영 화상 위의 좌표로 변환하는 제1 좌표 변환식과, 정사영 화상 위의 좌표를 비정사영 화상 위의 좌표로 변환하는 제2 좌표 변환식을 이용한 처리를 행한다. 먼저, 교점 연산부(160)에는, 잘라내기 중심점 P의 좌표(x0', y0')를 제1 좌표 변환식을 이용하여 좌표
Figure 112008080091055-pat00183
로 변환시킨다. 그리고, 또한 변환 후의 좌표를 사용하여 교점의 위치 좌표(
Figure 112008080091055-pat00184
)를 구하는 처리를 실행시킨다. 한편, 변환 연산부(130)에는, 도 12에 나타낸 정사영 방식의 변환 연산식을 이용하여 좌표(u, v)에 대응하는 좌표(x, y)를 구한 후, 이 좌표(x, y)를 제2 좌표 변환식을 이용하여 좌표(x', y')로 변환하고, 변환 후의 좌표를 사용하여 왜곡 원형 화상 저장부(110)에 저장되어 있는 비정사영 화상 위의 참조 화소의 위치를 특정하게 하면 된다.
<<< §6. 연산 부담을 추가로 경감시키는 연구 >>>
§2에서 설명한 바와 같이, 도 11에 나타낸 종래의 변환 연산식에 대신하여, 도 12에 나타낸 본 발명의 변환 연산식을 이용하면, 삼각함수의 연산 부담을 큰 폭으로 경감시킬 수 있지만, 여기서는, 이 연산 부담을 추가로 경감시키는 연구를 몇가지 설명해 둔다. 여기에 설명하는 연산 방법의 연구는, 특히, 다양한 연산기나 레지스터 등을 조합한 전용의 하드웨어 논리 회로에 의해 변환 연산부(130)를 구성하는 경우에, 회로 구성을 단순하게 하는데 있어서 효과적이다.
< 6-1: 식(11), (12)의 분모 연산에 관한 연구>
도 12의 식(11), (12)에는, 삼각함수 연산은 포함되어 있지 않지만, 분모에는, 3조의 2승 연산항과 개평(開平) 연산항이 포함되어 있다. 이들 연산 부담을 가능한 한 경감하기 위해서는, 분모의 식의 형태를 약간 변경하면 된다.
즉, 식(11), (12)의 분모의 부분만을 뽑아내면,
Figure 112008080091055-pat00185
로 되는 형태의 식이 되지만, 여기서,
Figure 112008080091055-pat00186
로 하면, 상기 식은, 다음과 같은 형태로 된다.
Figure 112008080091055-pat00187
이 식에 대하여, 도 23의 상단에 나타낸 바와 같은 변형을 행하면,
Figure 112008080091055-pat00188
가 얻어진다. 변형 전의 식에는, a2, b2, c2라는 3조의 2승 연산항이 포함되어 있었지만, 변형 후의 식(41)에서는, 2승 연산항은 (a/c)2, b/c)2의 2조로 감소하고 있다. 여기서,
Figure 112008080091055-pat00189
로 하면, 도 23의 하단에 나타낸 바와 같은 식(42)를 얻을 수 있다.
Figure 112008080091055-pat00190
일반적으로, 역수 연산 「1/c」나 역개평수(逆開平藪) 연산 「1/√ξ」은, 비교적 부담이 큰 연산 처리이다. 이와 같은 연산 부담을 경감시키는데 있어서 매우 효과적인 방법은, 함수 테이블을 사용하는 방법이다. 즉, 미리 「함수 f(c)= 1/c」의 값을 다양한 변수 c의 값에 대하여 대응시킨 제1 함수 테이블 T1과, 「함수 f(ξ) = 1/√ξ」의 값을 다양한 변수 ξ의 값에 대하여 대응시킨 제2 함수 테이블 T2을 준비해 두고, 이들 함수 테이블을 참조함으로써, 실제로는 연산을 행하지 않고 함수값을 구하도록 하면 된다.
도 24는 이와 같은 함수 테이블 T1, T2의 구성을 나타낸 도면이다. 도 24 (a)에 나타낸 함수 테이블 T1에는, c가 취할 것으로 예상되는 범위에 대하여, 소정 의 정밀도로, 각각의 c의 값에 대응하는 f(c)의 값(1/c의 값)이 게재되어 있다. 마찬가지로, 도 24 (b)에 나타낸 함수 테이블 T2에는, ξ가 취할 것으로 예상되는 범위에 대하여, 소정의 정밀도로, 각각의 ξ의 값에 대응하는 f(ξ)의 값(1/√ξ의 값)이 게재되어 있다.
변환 연산부(130) 내에, 이와 같은 함수 테이블 T1, T2를 준비하여 두면, c 및 ξ의 값에 따라 실제의 연산을 행하지 않고, 1/c의 값 및 1/√ξ의 값을 얻을 수 있다. 결국, 도 12의 식(11), (12)의 분모 부분
Figure 112008080091055-pat00191
의 연산을 행하는 데는,
Figure 112008080091055-pat00192
로 되는 연산에 의해, a, b, c를 구한 후,
Figure 112008080091055-pat00193
로 되는 연산을 행함으로써 ξ의 값을 구하고, 도 24에 나타낸 제1 함수 테이블 T1 및 제2 함수 테이블 T2를 참조함으로써, 구한 c, ξ의 값에 대응하는 함수 f(c) = 1/c, f(ξ) = 1/√ξ의 값을 구하고,
Figure 112008080091055-pat00194
로 되는 연산을 행하면 된다.
평면 정칙 화상 T의 크기의 상한을 설정하여 두면, 좌표값 u, v의 값은, 예를 들면, 0≤u≤=R, 0≤v≤R의 범위로 제한하는 것이 가능하며, 변환 배율 m의 값 도, 예를 들면, O.1≤m≤10 정도로 제한할 수 있다. 이와 같은 제한을 행하면, c의 값이나 ξ의 값을 소정 범위 내로 억제할 수 있으므로, 도 24에 나타낸 함수 테이블 T1, T2에 준비해야 할 변수 c, ξ의 값도 소정 범위 내로 억제할 수 있다.
그리고, 필요에 따라 (a/c)2나 (b/c)2`라는 2승 연산항에 대해서도 함수 테이블을 사용하여 실제의 연산을 생략하는 것도 가능하지만, 일반적으로, 2승 연산은 통상의 곱셈보다 연산기의 하드웨어 구성이 단순하게 되므로, 실용상은, 2승 연산항에 대해서는, 2승 연산기를 사용하여 실제로 연산을 행하도록 하면 충분하다.
< 6-2: 테이블을 사용한 보간 연산에 관한 연구>
전술한 바와 같이, 함수 테이블을 이용하여 실제의 연산 처리를 생략하는 방법은, 연산 부담을 경감하기 위한 매우 효과적인 방법이다. 그러나, 함수 테이블을 참조함으로써 얻어지는 함수값의 정밀도를 높이기 위해서는, 테이블에 게재하는 변수값 및 함수값에 충분한 유효 자리수를 확보할 필요가 생기고, 테이블의 데이터 용량이 그만큼 증대한다는 폐해가 있다. 이와 같은 폐해를 피하기 위하여, 통상, 보간 연산의 방법이 이용된다.
도 25는 도 24에 나타낸 바와 같은 함수 테이블을 참조하는 경우의 선형 보간의 방법을 나타낸 도면이다. 여기서는, 변수 t에 대응하는 함수값 f(t)를 구하는 경우를 고려한다. 도시한 t축은 변수 t를 나타내는 축이며, 이론적으로는, 변수 t는 이 t축 상의 임의의 값을 취하게 된다. 그러나, 함수 테이블에 게재하는 변수 t의 값은, 소정의 유효 자리수에 따른 간격 W의 이산값으로 하지 않을 수 없 다. 도 25에는, 간격 W를 가진 이산값으로서 t축 상에 A, B, C로 되는 값을 플롯하고, 각각에 대하여 함수값 f(A), f(B), f(C)를 정의한 예가 나타나 있다. 이 예의 경우, 함수 테이블에 게재되는 변수 t의 값은, A, B, C라는 이산값으로 되고, 함수값 f(t)의 값도, f(A), f(B), f(C)라는 값으로 된다.
이와 같이 이산적인 변수 t에 대한 함수값 f(t)밖에 정의되어 있지 않은 함수 테이블을 사용하여, 임의의 변수 t에 대응하는 함수값 f(t)를 구하기 위해서는, 다음과 같은 선형 보간을 행하면 된다. 예를 들면, 변수 t가, A<t<B로 되는 범위 내의 값이었던 경우, 함수값 f(t)는,
Figure 112008080091055-pat00195
으로 되는 식에 따라 산출할 수 있다. 여기서, δ = (t-A)이며, 이산적인 변수 A에 대한 끝수 부분에 상당하는 값이다.
여기서는, 변환 연산부(130)에, 이 식(43)에 따른 보간 연산을 실행시키는데 적합한 하드웨어 구성의 일례를, 도 26의 블록도를 참조하면서 설명한다. 도시한 바와 같이, 여기에 나타낸 하드웨어는, T레지스터(21), 짝수 함수 테이블(22), 홀수 함수 테이블(23), 짝수 판독부(24), 홀수 판독부(25), 홀짝 실렉터(26), 홀짝 실렉터(27), A레지스터(28), B레지스터(29), 보간 연산부(30), 보간값 레지스터(31)에 의해 구성되어 있다.
이 하드웨어 구성의 중요한 특징은, 본래는 1개의 함수 테이블에 수용될 변수 t 및 함수값 f(t)의 데이터를, 짝수 함수 테이블(22)과 홀수 함수 테이블(23)로 로 나누어 수용한 점에 있다. 여기서, 짝수 함수 테이블(22)은, 소정의 유효 자리수에 따른 간격 W의 이산값을 취하는 변수 t 중, 짝수 변수 t에 대하여, 소정의 함수 f(t)의 값을 대응시킨 테이블로 되어 있고, 홀수 함수 테이블(23)은, 상기 유효 자리수에 따른 간격 W의 이산값을 취하는 변수 t 중, 홀수 변수 t에 대하여, 소정의 함수 f(t)의 값을 대응시킨 테이블로 되어 있다.
여기서는, 설명의 편의상, 4비트의 소수 부분으로 나타내는 「0.1000~0.1111」의 범위를 취하는 변수 t에 대하여, 함수 테이블을 준비한 구체예에 대하여 설명한다. 도시한 바와 같이, 짝수 함수 테이블(22)에는, 짝수를 취하는 변수 t 만, 즉 「0.1000」, 「0.1010」, 「0.1100」, 「0.1110」이 수용되어 있고, 각각에 대응하는 함수값 f(t)가 수용되어 있다(도면에서는, 함수값은 생략하고, 편의상 「********」되는 데이터로 나타내고 있다. 한편, 홀수 함수 테이블(23)에는, 홀수를 취하는 변수 t 만, 즉 「0.1001」, 「0.1011」, 「0.1101」, 「0.1111」이 수용되어 있고, 각각에 대응하는 함수값 f(t)가 수용되어 있다.
이와 같이, 함수 테이블(22, 23)에는, 4비트의 유효 자리수를 가진 변수 t의 이산값이 수용되어 있지만, 여기서는, 연산 대상이 되는 임의의 변수 t로서 8비트의 유효 자리수를 가진 데이터가 주어진 경우를 생각해 본다. T레지스터(21)는, 이와 같은 8비트의 유효 자리수를 가진 변수 t를 저장하기 위한 레지스터이다. 즉, 이 T레지스터(21)에는, 4비트의 유효 자리수(함수 테이블에 있어서의 변수 t의 유효 자리수)로 이루어지는 상위 비트와, 이 유효 자리수로부터 하위의 자리수인 4비트를 나타내는 하위 비트에 의해 구성되는 변수 t가 저장되게 된다. 도면에는, 일례로서, 임의의 변수 t의 상위 비트로서, 「O.1010」로 되는 유효 자리수 4비트의 데이터와, 하위 비트로서, 임의의 비트 「****」가 저장된 상태가 나타나 있다.
T레지스터(21)의 상위 비트는, 함수 테이블(22, 23)의 판독 대상이 되는 변수 t를 특정하기 위해 이용되고, 해당하는 변수 t에 대응하여 수용되어 있는 함수값 f(t)의 값이, 짝수 판독부(24) 및 홀수 판독부(25)에 의해 판독된다.
구체적으로는, 짝수 판독부(24)는, T레지스터(21)의 상위 비트가 짝수인 경우에는, 상기 상위 비트로 나타내는 짝수 변수 t에 대하여 대응시키고 있는 함수 f(t)의 값을 짝수 함수 테이블(22)로부터 판독하고, T레지스터(21)의 상위 비트가 홀수인 경우에는, 상기 상위 비트로 나타내는 홀수 변수 t보다 큰 최소의 짝수 변수 t에 대하여 대응시키고 있는 함수 f(t)의 값을 짝수 함수 테이블(22)로부터 판독하는 처리를 행한다. 예를 들면, 도시한 예의 경우, T레지스터(21)의 상위 비트 「0.1010」은 짝수이므로, 짝수 판독부(24)는, 상기 상위 비트 「0.1010」으로 나타내는 짝수 변수 t에 대하여 대응시키고 있는 함수 f(t)의 값을 짝수 함수 테이블(22)로부터 판독하게 된다. 만약, T 레지스터(21)의 상위 비트가 「0.1011」(홀수 변수)였던 경우, 상기 상위 비트 「0.1011」은 짝수 함수 테이블(22)에는 수용되어 있지 않다. 그래서, 짝수 판독부(24)는, 상기 홀수 변수 「0.1011」보다 큰 최소의 짝수 변수인 「0.1100」에 대하여 대응시키고 있는 함수 f(t)의 값을 짝수 함수 테이블(22)로부터 판독하게 된다.
한편, 홀수 판독부(25)는, T레지스터(21)의 상위 비트가 홀수인 경우에는, 상기 상위 비트로 나타내는 홀수 변수 t에 대하여 대응시키고 있는 함수 f(t)의 값 을 홀수 함수 테이블(23)로부터 판독하고, T레지스터(21)의 상위 비트가 짝수인 경우에는, 상기 상위 비트로 나타내는 짝수 변수 t보다 큰 최소의 홀수 변수 t에 대하여 대응시키고 있는 함수 f(t)의 값을 홀수 함수 테이블(23)로부터 판독하는 처리를 행한다. 예를 들면, 도시한 예의 경우, T레지스터(21)의 상위 비트 「0.1010」은 짝수이므로, 상기 상위 비트 「0.1010」은 홀수 함수 테이블(23)에는 수용되어 있지 않다. 그래서, 홀수 판독부(25)는, 상기 짝수 변수 「0.1010」보다 큰 최소의 홀수 변수인 「0.1011」에 대하여 대응시키고 있는 함수 f(t)의 값을 홀수 함수 테이블(23)로부터 판독하게 된다. 만약, T레지스터(21)의 상위 비트가 「0.1011」(홀수 변수)였던 경우, 홀수 판독부(25)는, 상기 상위 비트 「0.1011」으로 나타내는 홀수 변수 t에 대하여 대응시키고 있는 함수 f(t)의 값을 홀수 함수 테이블(23)로부터 판독하게 된다.
이와 같은 방법으로, 각 함수 테이블(22, 23)로부터 함수값 f(t)를 판독하도록 하면, 판독된 2개의 함수값은, 서로 인접하는 이산적인 변수에 대응하는 함수값으로 된다. 예를 들면, 도 25에 나타낸 t축 상에 인접하는 2개의 변수 A 및 B에 대응하는 함수값 f(A), f(B)가 판독되게 된다. 또한, T레지스터에 수용되어 있는 8비트의 정밀도를 가진 변수 t는, A ≤ t < B이다. 그래서, 이들 2개의 함수값 f(A), f(B)를, 각각 A레지스터(28) 및 B레지스터(29)에 저장하고, 보간 연산부(30)에 있어서,
Figure 112008080091055-pat00196
에 따른 연산을 행하면, 보간값 f(t)를 얻을 수 있다. 여기서, W는, T레지스터(21)에 저장되어 있는 변수 t의 상위 비트를 구성하는 소정의 유효 자리수에 따라 정해지는 이산값의 간격이며, δ는, T레지스터(21)에 저장되어 있는 변수 t의 하위 비트로 나타내는 끝수 부분이다.
요컨대, 보간 연산부(30)는, A레지스터(28)에 저장되어 있는 값을 f(A)로 하고, B레지스터(29)에 저장되어 있는 값을 f(B)로 하고, T레지스터(21)의 하위 비트로 나타내는 값을 δ로 하여, 식(43)에 따른 연산을 실행하고, 보간값 f(t)를 산출하게 된다. 이같이 하여 산출된 보간값 f(t)는, 보간값 레지스터(31)에 저장된다. 변환 연산부(130)는, 이 보간값 레지스터(31)에 저장된 보간값 f(t)를 사용하여, 필요한 연산을 행하게 된다.
다만, 식(43)에 따른 연산을 행하기 위해서는, 변수 A < 변수 B로 했을 때의 함수값 f(A)를 A레지스터(28)에 저장하고, 함수값 f(B)를 B레지스터(29)에 저장할 필요가 있다. 그런데, 짝수 판독부(24)가 짝수 함수 테이블(22)로부터 판독한 함수값과, 홀수 판독부(25)가 홀수 함수 테이블(23)로부터 판독한 함수값의 어느 것을, 함수값 f(A) 또는 함수값 f(B)로 할 것인지는, T레지스터(21)의 상위 비트가 짝수인지 홀수인지, 환언하면, 상기 상위 비트의 LSB(이하, 홀짝 비트라고 함)에 의해 정해진다.
그래서, 상기 상위 비트가 짝수인 경우에는(홀짝 비트가 0인 경우에는), 짝수 판독부(24)가 판독한 함수 f(t)의 값을 A레지스터(28)에 저장하고, 홀수 판독부(25)가 판독한 함수 f(t)의 값을 B레지스터(29)에 저장하면 된다. 역으로, 상기 상위 비트가 홀수인 경우에는(홀짝 비트가 1인 경우에는), 홀수 판독부(25)가 판독한 함수 f(t)의 값을 A레지스터(28)에 저장하는 동시에, 짝수 판독부(24)가 판독한 함수 f(t)의 값을 B레지스터에 저장하면 된다.
그러므로, 홀짝 실렉터(26)는, 짝수 판독부(24) 및 홀수 판독부(25)로부터 각각 판독된 함수 f(t)에 대하여, T레지스터(21)로부터 부여되는 홀짝 비트에 따라 취사 선택을 행하고, 선택된 한쪽을 A레지스터(28)에 저장하는 처리를 행한다. 즉, 홀짝 실렉터(26)는, 홀짝 비트가 0인 경우에는 짝수 판독부(24)로부터 판독된 함수 f(t)를 선택하고, 홀짝 비트가 1인 경우에는 홀수 판독부(25)로부터 판독된 함수 f(t)를 선택하고, 선택된 함수 f(t)를 A레지스터(28)에 저장한다.
마찬가지로, 홀짝 실렉터(27)는, 짝수 판독부(24) 및 홀수 판독부(25)로부터 각각 판독된 함수 f(t)에 대하여, T레지스터(21)로부터 부여되는 홀짝 비트에 따라 취사 선택을 행하고, 선택된 한쪽을 B레지스터(29)에 저장하는 처리를 행한다. 즉, 홀짝 실렉터(27)는, 홀짝 비트가 0인 경우에는 홀수 판독부(25)로부터 판독된 함수 f(t)를 선택하고, 홀짝 비트가 1인 경우에는 짝수 판독부(24)로부터 판독된 함수 f(t)를 선택하고, 선택된 함수 f(t)를 B레지스터(29)에 저장한다.
< 6-3: 식(13)~(18)의 삼각함수 연산에 관한 연구>
이어서, 도 12의 식(13)~(18)에 포함되는 삼각함수 연산의 부담을 경감시키는 연구를 설명한다. 이들 식에는, cos
Figure 112008080091055-pat00197
와 sin
Figure 112008080091055-pat00198
라는 삼각함수가 포함되어 있다. 이와 같은 삼각함수의 값을 구하는 연산기의 하드웨어는 매우 복잡하게 되므로, 실용상은, 가능한 한 삼각함수 연산을 피하는 것이 바람직하다.
§3에서 설명한 바와 같이, 잘라내는 방향을 나타내는 각도 θ(사용자가 지정한 2점 P, Q의 위치에 따라 정해지는 각도)와, 변환 연산식에서 사용되는 평면 경사각
Figure 112008080091055-pat00199
은, 본래는 상이한 것이지만, 실용상은, 잘라내는 방향을 나타내는 각도 θ를, 그대로 평면 경사각
Figure 112008080091055-pat00200
의 값으로 하여 근사시켜 사용해도 문제는 없다. 이와 같이, θ =
Figure 112008080091055-pat00201
로 하는 실시예에서는, cosθ = cos
Figure 112008080091055-pat00202
로 되므로, 다음과 같은 원리에 의해, 삼각함수 연산을 행하지 않고, cos
Figure 112008080091055-pat00203
의 값을 구할 수 있다.
잘라내는 방향을 나타내는 각도 θ는 도 13에 나타낸 바와 같이, 사용자가 XY 평면 상에서 2점 P, Q를 지정함으로써 결정되는 각도이다. 그래서, 도 27에 나타낸 바와 같이, 사용자가 점
Figure 112008080091055-pat00204
및 점
Figure 112008080091055-pat00205
의 지정을 행하고, 지시 입력부(150)에 의해, 좌표값
Figure 112008080091055-pat00206
,
Figure 112008080091055-pat00207
이 받아들여진 것으로 하자.
도 27에 나타낸 바와 같이, 2점 P, Q를 연결하는 직선으로서 참조 직선 J가 정해지고, 잘라내는 방향을 나타내는 각도 θ는, 이 참조 직선 J와 X축이 이루는 각도로서 정의된다. 그래서, 도시한 바와 같이, 참조 직선 J의 방향을 향한 벡터 J와 X축 방향을 향한 벡터 X를 정의한다. 도시한 예에서는, 벡터 J는, 2점 P, Q를 양 끝점으로 하는 벡터로 되어 있지만, 벡터의 크기는 임의이며 상관없다. 마찬가지로, 벡터 X는, 2점 P, P'를 양 끝점으로 하는 벡터로 되어 있다. 점 P와 점 P'의 Y 좌표값은 같으므로, 점 P'의 좌표값은 P(x2, y0)로 된다. 또한, 도면에서는, 편의상, 양 벡터 J, X의 시점을 점
Figure 112008080091055-pat00208
의 위치에 정렬하여 나타내고 있으 므로, 각도 θ는 점
Figure 112008080091055-pat00209
을 정점(頂点)으로 한 각으로 되어 있다.
그런데, 여기서, 벡터 J와 벡터 X의 내적(內積)은, 도 27에 나타낸 바와 같이,
Figure 112008080091055-pat00210
로 나타낸다. 그리고, 본 명세서 중에서는, 전자 출원의 제약 상, 벡터 J를 (J→)라는 기호로 표기하고, 그 절대값을 (절대값 J→)과 표기하기로 한다(도 27에는, 통상 방법으로 표기한 식을 게재한다). 이 식을 cosθ에 대하여 풀면,
Figure 112008080091055-pat00211
를 얻는다.
여기서, 벡터 X를 단위 벡터로 하면,
Figure 112008080091055-pat00212
이다. 또,
Figure 112008080091055-pat00213
이므로, 식(52)의 분모의 값은, 식(53), (54)에 따라 산출할 수 있다. 한편, 식(52)의 분자의 값은, 벡터 J와 벡터 X의 내적으로서
Figure 112008080091055-pat00214
로 되는 식에 의해 산출할 수 있다.
결국, cosθ의 값은, 사용자가 지정한 2점 P, Q(x1,yl)의 좌표값
Figure 112008080091055-pat00215
,
Figure 112008080091055-pat00216
에 따른 가감승제산(加減乘除算), 2승 연산, 개평 연산에 의해 구할 수 있으므로, 삼각함수 연산을 피할 수 있다. 요컨대, 변환 연산부(130)는, 참조 직선 J의 방향을 향한 벡터 J를 사용하여, cos
Figure 112008080091055-pat00217
의 값을, 벡터 J와 벡터 X의 내적을, 벡터 J의 크기와 벡터 X의 크기의 곱으로 제거하는 연산에 의해 구할 수 있다.
그리고, 이상 설명한 취급은, 잘라내는 방향을 나타내는 각도 θ를, 평면 경사각
Figure 112008080091055-pat00218
의 값으로서 근사시킨 경우의 취급이며, U축의 방향을 향한 벡터 U 대신에, 참조 직선 J의 방향을 향한 벡터 J를 근사적으로 사용한 취급이라는 것으로 된다. 이와 같은 근사를 행하지 않는 경우는, 벡터 U의 방향을 계산에 의해 구한 후에, cos
Figure 112008080091055-pat00219
의 값을, 벡터 U와 벡터 X의 내적을, 벡터 U의 크기와 벡터 X의 크기의 곱으로 제함으로써 구하도록 하면 된다.
이같이 하여, cos
Figure 112008080091055-pat00220
의 값을 구할 수 있으므로, sin
Figure 112008080091055-pat00221
의 값은,
Figure 112008080091055-pat00222
로 되는 연산에 의해 구할 수 있으므로, 결국, 도 12의 식(13)~(18)에 포함되는 삼각함수 cos
Figure 112008080091055-pat00223
및 sin
Figure 112008080091055-pat00224
의 값은, 삼각함수 연산을 전혀 행하지 않고 산출할 수 있다. 이것은 연산기의 하드웨어 구성을 단순화하는데 있어서 극히 효과적이다.
< 6-4: 식(31)~(34)의 함수 연산에 관한 연구>
§5에서는, 본 발명을 비정사영 방식의 어안 렌즈를 사용하여 촬영된 비정사 영 화상에 적용하는 방법을 설명하였다. 이 방법에서는, 도 22에 나타낸 바와 같이,
Figure 112008080091055-pat00225
로 되는 제1 좌표 변환식과,
Figure 112008080091055-pat00226
로 되는 제2 좌표 변환식을 이용한 연산이 필요하게 된다.
이미 설명한 바와 같이, 상기 각 식에 있어서, 변수를 t로 했을 때의 함수 sinc(t)는, 싱크 함수(카디널 사인)라는 함수이며, sinc(t) = sin(t)/t로서 정의된다. 단, t = O인 경우의 함수값은, sinc(O)= 1이라고 정의된다. 여기서는, 이 함수 sinc(t)에 관한 연산항의 연산 부담을 경감시키기 위한 방법을 설명한다.
지금, 도 28의 상단에 나타낸 바와 같이, 함수 g(t), h(t)를 다음과 같이 정의한다.
Figure 112008080091055-pat00227
여기서, sin(t)를 테일러 전개하면, 도 28의 중단에 나타낸 바와 같이,
Figure 112008080091055-pat00228
로 되는 형식이 되므로, 결국,
Figure 112008080091055-pat00229
로 되는 형식의 식이 얻어진다.
또한, 도 28의 하단에 나타낸 바와 같이, h(t)를, 계수 a2, a4, a6, a8, ...를 사용하여,
Figure 112008080091055-pat00230
로 되는 형식의 식에 의해 표현하는 것을 생각하면, h(t) = 1/g(t)이므로, 상기 식(64)로부터,
Figure 112008080091055-pat00231
이 얻어진다. 식(65)과 식(66)으로부터,
Figure 112008080091055-pat00232
로 되므로, 이것을 풀면,
Figure 112008080091055-pat00233
로 되는 식이 얻어진다.
따라서, 교점 연산부(160)가, 제1 좌표 변환식(31), (32)를 연산하는 경우에, 함수 sinc(t)를,
Figure 112008080091055-pat00234
로 되는 테일러 전개한 형식의 식에 따라 연산하도록 하면, 삼각함수 연산을 피할 수 있다. 또한, t = O인 경우, 상기 식의 우측변의 값은 1로 되므로, sinc(O) = 1이라는 수학적인 정의와도 합치한 함수값을 얻을 수 있다. 그리고, 상기 식의 우측변에는, 이론적으로는 무한개의 항이 포함되게 되지만, 물론, 실용상은, 필요한 유효 자리수를 얻을 수 있는 항까지의 계산을 행하면 충분하다.
마찬가지로, 변환 연산부(130)가, 제2 좌표 변환식(33), (34)를 연산하는 경우에, 함수1/sinc(t)를, 소정의 계수값 a2, a4, a6, a8, ....을 사용한
Figure 112008080091055-pat00235
로 되는 형식의 식에 따라 연산하도록 하면, 삼각함수 연산을 피할 수 있다. 여기서, 계수 a2, a4, a6, a8, ....의 값은, 식(68)과 같이 구체적인 수치로서 구할 수 있으므로, 연산기에는, 이들 구체적인 수치를 저장하여 두도록 하면 된다. 이 식에 있어서도, t= 0인의 경우, 우측변의 값은 1로 되므로, 1/sinc(O)= 1이라는 수학적인 정의와도 합치한 함수값을 얻을 수 있다. 역시 상기 식의 우측변에는, 이론적으로는 무한개의 항이 포함되게 되지만, 실용상은, 필요한 유효 자리수를 얻을 수 있는 항까지의 계산을 행하면 충분하다.
<<< §7. 변환 연산식을 도출하는 수학적 프로세스 >>>
이상, §1~6에 있어서, 본 발명에 관한 화상 변환 장치를 실시하는데 있어서의 최선의 형태를 설명하였다. 여기서는, 도 12에 나타낸 본 발명의 변환 연산식 을 도출하는 수학적인 프로세스를 도 29 및 도 30에 나타낸 수식을 참조하면서 간단하게 설명하여 둔다. 이 도 12에 나타낸 변환 연산식은, 기하학적으로는, 도 11에 나타낸 변환 연산식과 등가이며, 양자의 상위는, 평면 경사각
Figure 112008080091055-pat00236
와
Figure 112008080091055-pat00237
의 정의의 상위도 포함한 파라미터의 설정의 방법뿐이다. 어느 변환 연산식도, 도 1에 나타낸 바와 같은 광학적 특성을 가진 정사영 방식의 어안 렌즈를 사용하여 형성되는 정사영 화상 S 위의 임의의 점 S(x, y)와, 평면 정칙 화상 T 위의 특정한 점 T(u, v)와의 대응 관계를 나타내는 식이며, 기하학적인 해석을 행함으로써 도출할 수 있다. 단, 삼각함수를 포함하는 번잡한 식을 취급할 필요가 있으므로, 통상, 행렬식을 이용한 해석이 행해진다. 이하, 약간, 수학적인 지식을 필요로 하는 설명으로 되지만, 이 행렬식을 이용한 변환 연산식의 도출 프로세스를 설명한다.
도 6에 있어서, UV 좌표계는 접평면 S2 상에 정의되고, 그 U축의 방향은, 평면 경사각
Figure 112008080091055-pat00238
에 의해 결정된다. 그리고, 이 UV 좌표계의 원점은, 점 G(
Figure 112008080091055-pat00239
)로서 부여된다. 그래서, XYZ 좌표계의 원점 O를 시점으로 하여, UV 좌표계의 원점 G를 종점으로 하는 회전 벡터 N(
Figure 112008080091055-pat00240
)를 정의하면, XYZ 좌표계의 공간 내에 배치되는 특정한 UV 좌표계는, 이 회전 벡터 N(
Figure 112008080091055-pat00241
)와 평면 경사각
Figure 112008080091055-pat00242
(회전 벡터 N방향의 회전 팩터)에 의해 규정된다. 이와 같이, 특정한 UV 좌표계는, 회전 벡터 N과, 상기 회전 벡터 방향의 회전 팩터(평면 경사각)에 의해 규정되는 것이며, 회전 행렬로서 표현할 수 있다.
본 발명에서는, 이차원 UV 좌표계를 정의할 수 있으면 충분하지만, 여기서 는, UV 평면에 대하여 수직인 W축을 추가로 가한, 3차원 UVW 좌표계를 생각해 본다. 예를 들면, 도 6에 나타낸 예의 경우, W축은, 점 G(
Figure 112008080091055-pat00243
)로부터 원점 O을 향한 방향의 축으로서 정의된다. 그러면, 여기서 구할 변환 연산식은, 3차원 XYZ 좌표계와 3차원 UVW 좌표계 사이의 좌표 변환을 행하는 식으로 된다(도 12의 식(19)에 나타낸 w는, 실은 이 W축에 따른 좌표값에 상당하는 값이다.
여기서는, 가상 구면 H의 반경 R= 1로 하여, 회전 벡터 N이 단위 벡터인 것으로 하고, 또한 좌표계의 회전만을 고려하여 변환식의 도출이 가능하도록, 3차원 UVW 좌표계의 원점 G의 위치가, 3차원 XYZ 좌표계의 원점 O의 위치에 중첩되도록, 3차원 UVW 좌표계를 평행 이동한 상태로, 양 좌표계의 상호 관계를 고려하는 것으로 한다. 즉, 도 6에 있어서, 접평면 S2 상에 위치하는 UV 좌표계는, 경사면 S1 상으로 평행 이동시키게 된다.
지금, 회전 벡터 N= (x, y, z)와 회전각
Figure 112008080091055-pat00244
에 의해 정의되는 3차원 회전 행렬을 R(
Figure 112008080091055-pat00245
, N)로 한다. 그리고, 도 29의 식(71)에 나타낸 바와 같이, 회전 벡터 N= (x, y, z)에 대하여, 교대 행렬이라는 행렬 S를 고려한다. 여기서, 행렬의 우측의 부호 T는 전치(轉置) 행렬을 의미하는 것이다. 그러면 행렬 S2는 식(72), 행렬 S3는 식(73)과 같이 된다.
한편, 행렬 S에 대한 지수 행렬 expS는, 식(74)에 나타낸 바와 같은 전개형으로 정의된다. 여기서, E는 단위 행렬이다. 식(74)는 식(75)와 같이 변형시킬 수 있으므로, 회전각
Figure 112008080091055-pat00246
을 곱한 지수(指數) 행렬 exp(
Figure 112008080091055-pat00247
S)는, 도 30의 식(76)과 같 이 변형시킬 수 있어, 식(77)을 얻을 수 있다. 이 행렬 exp(
Figure 112008080091055-pat00248
S)가, 3차원 회전 행렬 표현 R(
Figure 112008080091055-pat00249
N)= R(
Figure 112008080091055-pat00250
, N)으로 되므로, 식(77)에, 식(71), (72)를 대입하여 계산하면, 식(78)을 얻을 수 있다. 이 식(78)의 최후에 나타낸 3행 3열의 행렬식의 각 요소는, 3차원 XYZ 좌표계와 3차원 UVW 좌표계 사이의 좌표 변환을 행할 때의 계수값으로 된다. 이 행렬식의 9개의 요소를, A ~ I의 기호로 치환하면, 식(79)을 얻을 수 있다.
도 12의 식(13)~(18)에 나타나 있는 항 A~F는, 이 식(79)에 나타나 있는 A ~ F에 대응하는 것이다. 본 발명에서의 변환 대상이 되는 화상은, XY 평면 상에 배치된 왜곡 원형 화상이므로, 도 12의 식(11)에 의해 x 좌표값, 도 12의 식(12)에 의해 y 좌표값이 구해지고 되고, z 좌표값은 항상 0으로 되므로, 식(79)의 요소 G, H, I는 이용되지 않는다.
그리고, 도 12의 식(11), (12)에 있어서, u, v, w 대신에, 「u-x0」, 「v-y0」, 「w-z0」가 사용되고 있는 것은, 전술한 바와 같이, 이 도출 프로세스가, 도 6에 있어서, 접평면 S2 상에 위치하는 UV 좌표계를, 경사면 S1 상으로 평행 이동시킨 상태로 행해졌기 때문이다. 실제로는, UV 좌표계의 원점은, XYZ 좌표계의 원점 0에 위치하는 것은 아니고, 점 G(
Figure 112008080091055-pat00251
)에 위치하고 있다. 식(11), (12)의 항 「u-x0」, 「v-y0」, 「w-z0」에 있어서의 좌표값
Figure 112008080091055-pat00252
의 감산은, 이 평행 이동한 원점의 위치를 보정하기 위한 것이다.
<<< §8.파라미터 설정법의 변형예 >>>
최후에, 본 발명에 있어서의 파라미터 설정법의 변형예를 설명해 둔다. 이미 §(3)에 있어서, 파라미터
Figure 112008080091055-pat00253
, x0, y0, m을, 사용자에게 효율적으로 설정시키는 기본적인 실시예를 설명했다. 이 §3에서 설명한 방법의 골자는, 도 13에 나타낸 바와 같이, XY 좌표계 상에 정의되어 있는 왜곡 원형 화상 S를 사용자에게 제시하고, 이 화상 위에서 2점 P, Q를 지정시켜, 점
Figure 112008080091055-pat00254
의 좌표값
Figure 112008080091055-pat00255
을, 그대로 파라미터 x0, y0의 값으로서 사용하고, 2점 P, Q 사이의 거리 d를 사용하여, m = k /d로 되는 식에 의해 변환 배율 m을 결정하고, 또한 2점 P, Q를 연결하는 직선을 참조 직선 J라고 하고, 이 참조 직선 J와 X축이 이루는 각 θ(잘라내는 방향)을 구하고, 이 각도 θ에 따라서, 평면 경사각
Figure 112008080091055-pat00256
을 결정하는(실용상은, 근사적으로,
Figure 112008080091055-pat00257
= θ라고 함) 것이다.
이에 대하여, 여기서 설명하는 변형예는, 변환 배율 m 및 잘라내는 방향을 나타내는 각도 θ를 미리 별개로 설정해 두고, 왜곡 원형 화상 S 위에서는, 1점
Figure 112008080091055-pat00258
만을 지정시키는 방법이다. 이 변형예에서는, 먼저, 도 19에 나타낸 지시 입력부(150)가, 디스플레이 화면 상에 도 31에 나타낸 바와 같은 「방향 및 배율의 설정 화면(151)」을 표시한다. 도시한 예의 경우, 사용자는, 키보드 등의 입력 디바이스를 사용하여, 각도 θ 입력란(152)에 θ의 값을 입력하고, 배율 m 설정 입력란(153)에 m의 값을 입력하는 조작을 행하게 된다. 구체적으로는, 예를 들면, 입력란(152)에는 θ의 값을 「30°」와 같이 입력하고, 입력란(153)에는 m의 값을 「2」와 같이 입력하면 된다. 이같이 하여 입력한 θ는, 왜곡 원형 화상 S 위로 당겨야 할 참조 직선 J의 방향을 정의한 값으로 된다. 물론, θ 및 m의 입력 방법으로서는, 이 외에도 다양한 방법을 채용할 수 있다. 예를 들면, 화면 상에 수치를 증감시키는 화살표 마크를 표시하게 하여, 이 화살표 마크를 클릭하는 사용자의 조작에 의해 특정한 수치를 지정하게 해도 된다.
이와 같이, 어떠한 방법으로, 변환 배율 m 및 잘라내는 방향을 나타내는 각도 θ를 설정시키도록 하면, 왜곡 원형 화상 S 위에서는, 잘라내기 중심점
Figure 112008080091055-pat00259
만을 지정하면 된다. 도 32는 이와 같은 잘라내기 중심점 P를 설정하는 조작을 나타낸 평면도이다. 도 32에서는 도시가 생략되어 있지만, 실제로는, 도면의 원 내에는 왜곡 원형 화상 S가 표시되어 있고, 사용자는, 예를 들면, 마우스 클릭 등에 의해, 이 왜곡 원형 화상 S 내의 임의의 1점을 잘라내기 중심점
Figure 112008080091055-pat00260
로 하여 지정하는 조작을 행하게 된다. 사용자가 잘라내기 중심점
Figure 112008080091055-pat00261
의 위치를 지정하면, 상기 점 P를 통하고, X축과 각도 θ(전술한 조작에 의해 입력란(152)에 입력한 각도값)를 이루는 직선으로서 도면에 일점 쇄선으로 나타낸 바와 같은 참조 직선 J를 정할 수 있어, 이 참조 직선 J의 방향을 기준으로 하여, 화상의 잘라내기가 행해지게 된다.
이 §8에서 설명하는 파라미터 설정법의 변형예는, 항상, 잘라내는 방향(참조 직선 J의 방향)을 고정한 상태이며, 다양한 위치의 평면 정칙 화상을 얻도록 한 용도에 최적이다. 예를 들면, 도 33의 측면도에 나타낸 바와 같이, 본 발명을 건물의 벽면에 장착된 감시 카메라에 이용한 실시예를 생각해 본다. 도시한 바와 같이, 노면(210) 상에 지어진 건물(220)의 벽면에, 감시 카메라(230)가 장착되어 있 고, 도면에 일점 쇄선으로 나타낸 바와 같은 시야를 감시하는 업무를 행하는 것으로 한다. 여기서, 감시 카메라(230)가 통상의 렌즈를 구비한 카메라의 경우이면, 이 감시 카메라(230)의 위치로부터 촬영한 화상은, 예를 들면, 도 34에 나타낸 바와 같은 통상의 평면 정칙 화상으로 된다. 그런데, 보다 시야를 넓히기 위하여, 감시 카메라(230)로서 어안 렌즈를 사용한 카메라를 사용하면, XY 평면 상에는, 도 35에 나타낸 바와 같은 왜곡 원형 화상 S이 얻어지게 된다.
여기서, 도 2에 나타낸 왜곡 원형 화상 S와 도 35에 나타낸 왜곡 원형 화상 S를 비교하여 보면, 양자는 모두 어안 렌즈를 구비한 카메라로 촬영한 화상이지만, 전자는, 광축이 연직 방향으로 되도록 카메라를 설치하고, 주위 360°에 걸친 지상의 경치를 촬영함으로써 얻어지는 화상인데 대하여, 후자는, 광축이 수평 방향으로 되도록 카메라를 설치하고, 건물(220)의 한쪽의 경치를 촬영함으로써 얻어지는 화상인 것을 알 수 있다. 따라서, 변환 후에 UV 좌표계 상에 얻어지는 평면 정칙 화상이, 자연계의 천지(天地)에 따른 정확한 방향을 향하도록 지정하는 것을 생각하면, 전자의 경우, 잘라내는 방향(각도 θ로 규정되는 참조 직선 J의 방향)을, 잘라내기 중심점의 위치에 따라 다양한 방향으로 지정할 필요가 있는데 대하여, 후자의 경우, 항상 X축과 평행한 방향으로 설정하면 양호한 것을 알 수 있다.
따라서, 도 33에 나타낸 바와 같은 환경에서, 어안 렌즈가 장착된 감시 카메라(230)를 사용하여 얻어진 왜곡 원형 화상 S를 변환하는 용도에 본 발명을 이용하는 경우에는, 예를 들면, 도 31에 나타낸 바와 같은 방법으로, 잘라내는 방향을 나타내는 각도 θ를 미리 O°으로 설정하고, 변환 배율 m에 대해서도 소정의 수치를 미리 설정하여 두고, 도 35에 나타낸 왜곡 원형 화상 S 위에서는, 잘라내기 중심점 P의 위치 지정만을 행하게 하도록 하는 것이 바람직하다. 본 발명에 있어서, θ는 참조 직선 J와 X축이 이루는 각으로서 정의되는 각도이며, 전술한 바와 같이, O = 0°인 경우에는, 참조 직선 J와 X축이 평행인 것을 나타낸다. 따라서, O = 0°이라는 설정이 행해지고 있는 경우, 참조 직선 J는, 사용자가 지정한 잘라내기 중심점 P를 통하여 X축과 평행한 직선이라는 것으로 된다.
도 36은 미리 O = 0°라는 설정이 행해지고 있는 경우에 있어서, 도 35에 나타낸 왜곡 원형 화상 S 위에서의 잘라내기 중심점의 지정 조작을 나타낸 평면도이다. 예를 들면, 사용자가, 도시한 바와 같은 왜곡 원형 화상 S를 디스플레이 화면 상에서 보면서, 노면 상의 1점 P1의 근방을 평면 정칙 화상으로서 보고 싶다고 생각한 경우에는, 상기 점 P1를 클릭 조작 등으로 잘라내기 중심점으로서 지정하는 조작을 행하면 된다. 그러면, 점 P1를 통하여 X축과 평행한 참조 직선 J1이 잘라내는 방향을 나타내는 직선이라는 것으로 된다. 마찬가지로, 먼 곳의 빌딩의 1점 P2의 근방을 평면 정칙 화상으로서 보고 싶다면 생각한 경우는, 상기 점 P2를 클릭 조작 등으로 잘라내기 중심점으로서 지정하는 조작을 행하면 된다. 그러면, 점 P2를 통하여 X축과 평행한 참조 직선 J2가 잘라내는 방향을 나타내는 직선이라는 것으로 된다.
도 36에 나타낸 바와 같이, 참조 직선 J1, J2는, 모두 자연계의 수평면에 따른 방향으로 되고, 대략 이 방향으로 U축의 방향이 정의되게 된다. 따라서, 최종적으로 얻어지는 평면 정칙 화상은, 모두 잘라내기 중심점 P1, P2를 중심으로 하 여, 자연계의 천지에 따른 정확한 방향을 향한 화상으로 된다. 또한, 사용자는, 왜곡 원형 화상 S를 보면서, 「평면 정칙 화상으로서 보고 싶은 영역의 중심」을 잘라내기 중심점 P로서 지정할 뿐인 단순한 조작을 행하면 되므로, 양호한 조작성을 얻을 수 있다.
도 1은 정사영 방식의 어안 렌즈를 사용한 촬영에 의해 왜곡 원형 화상 S를 형성하는 기본 모델을 나타낸 사시도이다.
도 2는 어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상 S의 일례를 나타낸 평면도이다(왜곡 원형 화상 S의 일반적인 이미지를 나타낸 것이며, 정확한 화상을 나타낸 것은 아니다).
도 3은 왜곡 원형 화상 S의 일부분에 잘라내기 영역 E를 정의한 예를 나타낸 평면도이다.
도 4는 왜곡 원형 화상 S를 포함하는 XY 좌표계와 평면 정칙 화상 T를 포함하는 UV 좌표계와의 관계를 나타낸 사시도이다.
도 5는 UV 좌표계 상에 정의된 평면 정칙 화상 T와 평면 경사각
Figure 112008080091055-pat00289
의 관계를 나타낸 평면도이다.
도 6은 XY 좌표계로부터 UV 좌표계로의 좌표 변환의 원리를 나타낸 사시도이다.
도 7은 도 6의 사시도에 나타나 있는 각 구성 요소를 수평 방향으로부터 본 도면이다.
도 8은 도 6의 사시도에 나타나 있는 각 구성 요소를 위쪽으로부터 본 도면이다.
도 9는 UV 좌표계 상에 정의된 평면 정칙 화상 T를 나타낸 평면도이다.
도 10은 XY 좌표계 상에 정의된 왜곡 원형 화상 S를 나타낸 평면도이다.
도 11은 오일러각
Figure 112008080091055-pat00290
을 파라미터로서 사용한 종래의 일반적인 변환 연산식을 나타낸 도면이다.
도 12는 회전축을 나타내는 좌표값(
Figure 112008080091055-pat00291
)과 평면 경사각
Figure 112008080091055-pat00292
(회전축 주위의 회전각)을 파라미터로서 사용한 본 발명에 관한 변환 연산식을 나타낸 도면이다.
도 13은 XY 평면 상의 2점 P, Q를 지정함으로써, 잘라내기 중심점, 잘라내는 방향을 나타내는 각도 θ(평면 경사각을 결정하기 위해 사용되는 각도), 변환 배율 m의 3개의 파라미터를 설정하는 원리를 나타낸 평면도이다.
도 14는 구체적인 왜곡 원형 화상 위에서 2점 P, Q 또는 2점 P, Q'를 지정함으로써, 잘라내기 중심점, 잘라내는 방향을 나타내는 각도 θ, 변환 배율 m의 3개의 파라미터를 설정하는 예를 나타낸 평면도이다.
도 15는 도 14에 나타낸 예에 있어서, 2점 P, Q를 지정한 경우에 얻어지는 평면 정칙 화상 T를 나타낸 평면도이다.
도 16은 도 14에 나타낸 예에 있어서, 2점 P, Q'를 지정한 경우에 얻어지는 평면 정칙 화상 T를 나타낸 평면도이다.
도 17은 도 13에 나타낸 잘라내는 방향을 나타내는 각도 θ와 평면 경사각
Figure 112008080091055-pat00293
의 관계를 나타낸 사시도이다.
도 18은 잘라내는 방향을 나타내는 각도 θ에 따라 평면 경사각
Figure 112008080091055-pat00294
을 산출하는 연산식을 나타낸 도면이다.
도 19는 본 발명에 관한 화상 변환 장치의 기본 구성을 나타낸 블록도이다.
도 20은 정사영 방식의 어안 렌즈에 있어서의 입사광의 투영 상태를 나타낸 정면도이다.
도 21은 정사영 방식의 어안 렌즈를 사용하여 형성되는 정사영 화상과, 등거리 투영 방식의 어안 렌즈를 사용하여 형성되는 등거리 투영 화상의 관계를 나타낸 사시도이다.
도 22는 등거리 투영 화상 위의 좌표와 정사영 화상 위의 좌표 사이에서 좌표 변환을 행하기 위한 변환식을 나타낸 도면이다.
도 23은 도 12에 나타낸 본 발명에 관한 변환 연산식의 연산 부담을 경감시키기 위해 사용되는 식을 나타낸 도면이다.
도 24는 도 12에 나타낸 본 발명에 관한 변환 연산식의 연산 부담을 경감시키기 위해 사용되는 함수 테이블을 나타낸 도면이다.
도 25는 도 24에 나타낸 바와 같은 함수 테이블을 참조하는 경우의 선형 보간의 방법을 나타낸 도면이다.
도 26은 도 25에 나타낸 선형 보간을 실행하기 위한 하드웨어 구성 요소를 나타낸 블록도이다.
도 27은 도 12에 나타낸 본 발명에 관한 변환 연산식의 연산 부담을 경감시키기 위해 사용되는 별도의 식을 나타낸 도면이다.
도 28은 도 22에 나타낸 좌표 변환의 연산 부담을 경감시키기 위해 사용되는 식을 나타낸 도면이다.
도 29은 도 12에 나타낸 본 발명에 관한 변환 연산식을 도출하기 위한 수학 적 프로세스를 나타낸 도면이다.
도 30은 도 12에 나타낸 본 발명에 관한 변환 연산식을 도출하기 위한 수학적 프로세스를 나타내는 별도인 도면이다.
도 31은 본 발명의 변형예에 관한 파라미터 설정법에 있어서, 디스플레이 화면 상에 표시되는 「방향 및 배율의 설정 화면」을 나타낸 평면도이다.
도 32는 XY 평면 상의 1점 P를 지정함으로써, 잘라내기 중심점을 설정하는 조작을 나타낸 평면도이다.
도 33은 본 발명을 건물의 벽면에 장착된 감시 카메라에 이용한 실시예를 나타낸 측면도이다.
도 34는 도 33에 나타낸 감시 카메라(230)로서 통상의 렌즈를 구비한 카메라를 사용한 경우에 얻어지는 촬영 화상의 일례를 나타낸 평면도이다.
도 35는 도 33에 나타낸 감시 카메라(230)로서 어안 렌즈를 구비한 카메라를 사용한 경우에 얻어지는 촬영 화상(왜곡 원형 화상 S)의 일례를 나타낸 평면도이다.
도 36은 도 35에 나타낸 왜곡 원형 화상 S 위에서의 잘라내기 중심점의 지정 조작을 나타낸 평면도이다.
[도면의 주요부분에 대한 부호의 설명]
(10): 어안 렌즈를 사용한 카메라
(21): T레지스터
(22): 짝수 함수 테이블
(23): 홀수 함수 테이블
(24): 짝수 판독부
(25): 홀수 판독부
(26): 홀짝 실렉터
(27): 홀짝 실렉터
(28): A레지스터
(29): B레지스터
(30): 보간 연산부
(31): 보간값 레지스터
(100): 화상 변환 장치
(110): 왜곡 원형 화상 저장부
(120): 평면 정칙 화상 저장부
(130): 변환 연산부
(14O): 왜곡 원형 화상 표시부
(150): 지시 입력부
(151): 방향 및 설정 화면
(152): 각도 θ 설정 입력란
(153): 배율 m 설정 입력란
(160): 교점 연산부
(170): 각도 결정부
(210): 노면
(220): 건물
(230): 감시 카메라
a: 디스플레이의 가로 방향 치수(수평 방향의 화소수)
b: 디스플레이의 세로 방향 치수(수직 방향의 화소수)
B: 경계점
d: 2점 PQ 사이의 거리
E: 잘라내기 영역
f: 어안 렌즈에 고유의 상수
f(t): 변수 t에 대한 함수값
G(
Figure 112008080091055-pat00295
): 점 P를 통하여 Z축과 평행한 직선과 가상 구면 H의 교점
H: 가상 구면
H(x, y, z): 가상 구면 H 상의 입사점
J, J', J1, J2: 참조 직선
L1, L2: 입사 광선
m: 변환 배율
n: 법선 벡터
N: 회전 벡터
0: 3차원 XYZ 직교 좌표계의 원점
Figure 112008080091055-pat00296
, P1, P2: 잘라내기 중심점
P'(x2, y0): 보조점
Figure 112008080091055-pat00297
, Q'(x2, y2): 보조점
R: 왜곡 원형 화상 S의 반경(가상 구면 H의 반경)
r: 왜곡 원형 화상 S의 중심점으로부터의 거리
S: 왜곡 원형 화상
S1: 경사면
S2: 접평면
S(x, y): 왜곡 원형 화상 S 위의 점
t: 변수
T: 평면 정칙 화상
T(u, v): 평면 정칙 화상 T 위의 점
T1, T2: 함수 테이블
U: 이차원 UV 직교 좌표계의 좌표축
U' : U축과 평행한 축
V: 이차원 UV 직교 좌표계의 좌표축
W: 변수 t의 이산값 간격
X: 3차원 XYZ 직교 좌표계의 좌표축
X' : X축과 평행한 축
Y: 3차원 XYZ 직교 좌표계의 좌표축
Z: 3차원 XYZ 직교 좌표계의 좌표축
α: 방위각
β: 천정각
δ: 하위 비트로 나타내는 끝수
θ, θ' : 잘라내는 방향을 나타내는 각도
Figure 112008080091055-pat00298
,
Figure 112008080091055-pat00299
: 평면 경사각
ξ: 변수

Claims (26)

  1. 어안(魚眼) 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상의 일부분을 잘라내어, 평면 정칙(正則) 화상으로 변환하는 처리를 행하는 화상 변환 장치로서,
    이차원 XY 직교 좌표계 상의 좌표(x, y)로 나타내는 위치에 배치된 다수 화소의 집합체에 의해 구성되며, 상기 XY 좌표계의 원점 O를 중심으로 하고 반경 R을 가진 왜곡 원형 화상을 저장하는 왜곡 원형 화상 저장부와,
    이차원 UV 직교 좌표계 상의 좌표(u, v)로 나타내는 위치에 배치된 다수 화소의 집합체에 의해 구성되는 평면 정칙 화상을 저장하는 평면 정칙 화상 저장부와,
    상기 왜곡 원형 화상 저장부에 저장되어 있는 왜곡 원형 화상을 디스플레이에 표시하는 왜곡 원형 화상 표시부와,
    상기 디스플레이에 표시되어 있는 왜곡 원형 화상 위에서의, 잘라내기 중심점 P의 위치 및 잘라내는 방향을 사용자의 지시에 따라 입력하는 지시 입력부와,
    상기 이차원 XY 직교 좌표계를 포함하는 3차원 XYZ 직교 좌표계에 있어서, 원점 O를 중심으로 하고 반경 R을 가진 가상 구면(球面)을 정의했을 때, 상기 잘라내기 중심점 P를 통하여 Z축과 평행한 직선과 상기 가상 구면의 교점 G의 위치 좌표(
    Figure 112013103689432-pat00262
    )를 구하는 교점 연산부와,
    상기 교점 G에 있어서 상기 가상 구면에 접하는 접평면 상에 정의해야 할 상기 이차원 UV 직교 좌표계의 U축 방향을 향한 벡터 U와, 상기 이차원 XY 직교 좌표계의 X축 방향을 향한 벡터 X가 이루는 각으로서 주어지는 평면 경사각
    Figure 112013103689432-pat00263
    을, 상기 잘라내는 방향에 따라서 결정하는 각도 결정부와,
    상기 위치 좌표(
    Figure 112013103689432-pat00264
    ) 및 상기 평면 경사각
    Figure 112013103689432-pat00336
    을 파라미터로서 포함하는 정사영 방식의 변환 연산식을 이용하여, 좌표(u, v)와 좌표(x, y)를 대응시켜 좌표(u, v)로 나타낸 위치에 배치된 평면 정칙 화상 위의 화소의 화소값을, 대응하는 좌표(x, y)로 나타낸 위치에 배치된 왜곡 원형 화상 위의 참조 화소의 화소값에 따라 결정함으로써, 상기 왜곡 원형 화상으로부터 상기 잘라내기 중심점 P를 중심으로 하여 상기 평면 경사각
    Figure 112013103689432-pat00265
    에 의해 나타내는 방향으로 잘라내어진 부분 화상에 대한 평면 정칙 화상을 생성하는 연산을 행하고, 생성된 평면 정칙 화상을 상기 평면 정칙 화상 저장부에 저장하는 변환 연산부
    를 구비하는, 화상 변환 장치.
  2. 제1항에 있어서,
    상기 변환 연산부는, 정사영 방식의 변환 연산식으로서
    Figure 112013103689432-pat00266
    여기서,
    Figure 112013103689432-pat00267
    으로 되는 식을 이용하는, 화상 변환 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 지시 입력부는, 왜곡 원형 화상 위로 끌린 참조 직선 J를 정의하기 위한 지시를 입력하는 기능을 가지고,
    상기 각도 결정부는, 상기 참조 직선 J와 X축이 이루는 각 θ(단, 양자 평행인 경우는 θ = 0°로 함)에 따라 평면 경사각
    Figure 112013103689432-pat00337
    을 결정하는, 화상 변환 장치.
  4. 제3항에 있어서,
    상기 지시 입력부는, 왜곡 원형 화상 위에 있어서, 잘라내기 중심점 P와 보조점 Q의 2점의 위치를 지정하기 위한 지시를 입력하는 기능을 가지고, 상기 잘라내기 중심점 P와 상기 보조점 Q를 연결하는 직선을 참조 직선 J로 하는, 화상 변환 장치.
  5. 제3항에 있어서,
    상기 지시 입력부는, 참조 직선 J와 X축이 이루는 각 θ을 나타내는 수치를 소정의 입력 화면 상에서 입력하는 기능과, 잘라내기 중심점 P의 위치를 왜곡 원형 화상 위에서 지정하기 위한 지시를 입력하는 기능을 구비한, 화상 변환 장치.
  6. 제3항에 있어서,
    상기 각도 결정부는, 참조 직선 J와 X축이 이루는 각 θ을 근사적(近似的)으로 평면 경사각
    Figure 112013103689432-pat00268
    으로 하는, 화상 변환 장치.
  7. 제2항에 있어서,
    상기 지시 입력부는, 사용자의 지시에 따라 변환 배율 m을 입력하는 기능을 가지고,
    상기 변환 연산부는, 상기 지시 입력부에 의해 입력된 변환 배율 m을 사용한 연산을 행하는, 화상 변환 장치.
  8. 제7항에 있어서,
    상기 지시 입력부는, 왜곡 원형 화상 위에 있어서, 잘라내기 중심점 P와 보조점 Q의 2점의 위치를 지정하기 위한 지시를 입력하는 기능을 가지고, 상기 잘라내기 중심점 P와 상기 보조점 Q의 거리 d에 따라 m = k/d(k는 소정의 비례 상수)로서 부여되는 수치를 변환 배율 m으로 하는, 화상 변환 장치.
  9. 제1항 또는 제2항에 있어서,
    상기 변환 연산부는, 좌표(u, v)로 나타낸 위치에 배치된 평면 정칙 화상 위의 화소의 화소값을 결정할 때, 대응하는 좌표(x, y)로 나타낸 위치의 근방에 배치된 왜곡 원형 화상 위의 복수개의 참조 화소의 화소값에 대한 보간 연산을 행하는, 화상 변환 장치.
  10. 제1항 또는 제2항에 있어서,
    상기 왜곡 원형 화상 저장부에 저장되어 있는 화상이, 정사영 방식의 어안 렌즈에 의해 촬영된 정사영 화상이 아니고, 비정사영 방식의 어안 렌즈에 의해 촬영된 비정사영 화상인 경우에, 상기 비정사영 화상 위의 좌표를 상기 정사영 화상 위의 좌표로 변환하는 제1 좌표 변환식과, 상기 정사영 화상 위의 좌표를 상기 비정사영 화상 위의 좌표로 변환하는 제2 좌표 변환식을 이용하여,
    상기 교점 연산부는, 잘라내기 중심점 P의 좌표를 상기 제1 좌표 변환식을 이용하여 변환하고, 변환 후의 좌표를 사용하여 교점의 위치 좌표(
    Figure 112013103689432-pat00269
    )를 구하는 처리를 행하고,
    상기 변환 연산부는, 정사영 방식의 변환 연산식을 이용하여 좌표(u, v)에 대응하는 좌표(x, y)를 구한 후, 상기 좌표(x, y)를 상기 제2 좌표 변환식을 이용하여 변환하고, 변환 후의 좌표를 사용하여 왜곡 원형 화상 위의 참조 화소의 위치를 특정하는, 화상 변환 장치.
  11. 제10항에 있어서,
    상기 왜곡 원형 화상 저장부에 저장되어 있는 화상이, 등거리 투영 방식의 어안 렌즈에 의해 촬영된 등거리 투영 화상인 경우에,
    상기 교점 연산부는, 등거리 투영 화상 위의 좌표(x', y')를 정사영 화상 위의 좌표(x, y)로 변환하는 제1 좌표 변환식으로서
    Figure 112008080091055-pat00270
    로 되는 식을 이용하고,
    상기 변환 연산부는, 정사영 화상 위의 좌표(x, y)를 등거리 투영 화상 위의 좌표(x', y)로 변환하는 제2 좌표 변환식으로서
    Figure 112008080091055-pat00271
    로 되는 식을 이용하는, 화상 변환 장치.
  12. 어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상의 일부분을 잘라내어, 평면 정칙 화상으로 변환하는 처리를 행하는 화상 변환 방법의 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체로서,
    이차원 XY 직교 좌표계 상의 좌표(x, y)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성되며, 상기 XY 좌표계의 원점 O를 중심으로 하고 반경 R을 가진 왜곡 원형 화상을, 왜곡 원형 화상 저장부에 저장하는 단계와,
    상기 왜곡 원형 화상 저장부에 저장되어 있는 왜곡 원형 화상을 디스플레이에 표시하는 단계와,
    상기 디스플레이에 표시되어 있는 왜곡 원형 화상 위에서의, 잘라내기 중심점 P의 위치 및 잘라내는 방향을 사용자의 지시에 따라 입력하는 단계와,
    상기 이차원 XY 직교 좌표계를 포함하는 3차원 XYZ 직교 좌표계에 있어서, 원점 0을 중심으로 하고 반경 R을 가진 가상 구면을 정의했을 때, 상기 잘라내기 중심점 P를 통하여 Z축과 평행한 직선과 상기 가상 구면의 교점 G의 위치 좌표(
    Figure 112014005005829-pat00338
    )를 구하는 단계와,
    상기 교점 G에 있어서 상기 가상 구면에 접하는 접평면 상에 정의해야 할 이차원 UV 직교 좌표계의 U축 방향을 향한 벡터 U와, 상기 이차원 XY 직교 좌표계의 X축 방향을 향한 벡터 X이 이루는 각으로서 부여되는 평면 경사각을 상기 잘라내는 방향에 따라서 결정하는 단계와,
    상기 위치 좌표(
    Figure 112014005005829-pat00339
    ) 및 상기 평면 경사각
    Figure 112014005005829-pat00340
    을 파라미터로서 포함하는 정사영 방식의 변환 연산식을 이용하여, 좌표(u, v)와 좌표(x, y)를 대응시켜 좌표(u, v)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성되는 평면 정칙 화상 위의 각 화소의 화소값을, 대응하는 좌표(x, y)로 나타낸 위치에 배치된 왜곡 원형 화상 위의 참조 화소의 화소값에 따라 결정함으로써, 상기 왜곡 원형 화상으로부터 상기 잘라내기 중심점 P를 중심으로 하여 상기 평면 경사각에 의해 나타내는 방향으로 잘라내어진 부분 화상에 대한 평면 정칙 화상을 생성하는 연산을 행하는 단계
    의 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체.
  13. 어안(魚眼) 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상의 일부분을 잘라내어, 평면 정칙(正則) 화상으로 변환하는 처리를 행하는 화상 변환 장치의 구성 요소로 되는 변환 연산부로서 기능하는 전자 회로가 내장된 반도체 집적회로로서,
    상기 화상 변환 장치는,
    이차원 XY 직교 좌표계 상의 좌표(x, y)로 나타내는 위치에 배치된 다수 화소의 집합체에 의해 구성되며, 상기 XY 좌표계의 원점 O를 중심으로 하고 반경 R을 가진 왜곡 원형 화상을 저장하는 왜곡 원형 화상 저장부와,
    이차원 UV 직교 좌표계 상의 좌표(u, v)로 나타내는 위치에 배치된 다수 화소의 집합체에 의해 구성되는 평면 정칙 화상을 저장하는 평면 정칙 화상 저장부와,
    상기 왜곡 원형 화상 저장부에 저장되어 있는 왜곡 원형 화상을 디스플레이에 표시하는 왜곡 원형 화상 표시부와,
    상기 디스플레이에 표시되어 있는 왜곡 원형 화상 위에서의, 잘라내기 중심점 P의 위치 및 잘라내는 방향을 사용자의 지시에 따라 입력하는 지시 입력부와,
    상기 이차원 XY 직교 좌표계를 포함하는 3차원 XYZ 직교 좌표계에 있어서, 원점 O를 중심으로 하고 반경 R을 가진 가상 구면(球面)을 정의했을 때, 상기 잘라내기 중심점 P를 통하여 Z축과 평행한 직선과 상기 가상 구면의 교점 G의 위치 좌표(
    Figure 112014005005829-pat00341
    )를 구하는 교점 연산부와,
    상기 교점 G에 있어서 상기 가상 구면에 접하는 접평면 상에 정의해야 할 상기 이차원 UV 직교 좌표계의 U축 방향을 향한 벡터 U와, 상기 이차원 XY 직교 좌표계의 X축 방향을 향한 벡터 X가 이루는 각으로서 주어지는 평면 경사각
    Figure 112014005005829-pat00342
    을, 상기 잘라내는 방향에 따라서 결정하는 각도 결정부와,
    상기 위치 좌표(
    Figure 112014005005829-pat00343
    ) 및 상기 평면 경사각
    Figure 112014005005829-pat00344
    을 파라미터로서 포함하는 정사영 방식의 변환 연산식을 이용하여, 좌표(u, v)와 좌표(x, y)를 대응시켜 좌표(u, v)로 나타낸 위치에 배치된 평면 정칙 화상 위의 화소의 화소값을, 대응하는 좌표(x, y)로 나타낸 위치에 배치된 왜곡 원형 화상 위의 참조 화소의 화소값에 따라 결정함으로써, 상기 왜곡 원형 화상으로부터 상기 잘라내기 중심점 P를 중심으로 하여 상기 평면 경사각
    Figure 112014005005829-pat00345
    에 의해 나타내는 방향으로 잘라내어진 부분 화상에 대한 평면 정칙 화상을 생성하는 연산을 행하고, 생성된 평면 정칙 화상을 상기 평면 정칙 화상 저장부에 저장하는 변환 연산부
    를 구비하는, 전자 회로가 내장된 반도체 집적회로.
  14. 제1항 또는 제2항에 기재된 화상 변환 장치와, 어안 렌즈를 사용한 카메라와, 평면 정칙 화상을 화면 상에 표시하는 모니터 장치를 구비하고,
    상기 카메라를 사용한 촬영에 의해 얻어진 왜곡 원형 화상이 왜곡 원형 화상 저장부에 저장되고, 평면 정칙 화상 저장부에 얻어진 평면 정칙 화상이 상기 모니터 장치에 의해 표시되도록 구성되어 있는
    어안 감시 시스템.
  15. 제2항에 있어서,
    상기 변환 연산부는,
    「함수 f(c) = 1/c」의 값을 다양한 변수 c의 값에 대하여 대응시킨 제1 함수 테이블과,
    Figure 112008080091055-pat00272
    의 값을 다양한 변수 ξ의 값에 대하여 대응시킨 제2 함수 테이블을 가지고,
    Figure 112008080091055-pat00273
    로 되는 연산을 행함으로써, c 및 ξ의 값을 구하고,
    상기 제1 함수 테이블 및 상기 제2 함수 테이블을 참조함으로써, 구한 c, ξ의 값에 대응하는 함수 f(c), f(ξ)의 값을 구하고,
    정사영 방식의 변환 연산식에 있어서의
    Figure 112008080091055-pat00274
    로 되는 값을, f(c)×f(ξ)로 되는 연산에 의해 구하는, 화상 변환 장치.
  16. 제1항 또는 제2항에 있어서,
    상기 변환 연산부는,
    소정의 유효 자리수에 따른 간격 W의 이산값을 취하는 변수 t 중, 짝수 변수 t에 대하여, 소정의 함수 f(t)의 값을 대응시킨 짝수 함수 테이블과,
    상기 유효 자리수에 따른 상기 간격 W의 이산값을 취하는 변수 t 중, 홀수 변수 t에 대하여, 소정의 함수 f(t)의 값을 대응시킨 홀수 함수 테이블과,
    상기 유효 자리수로 이루어지는 상위 비트와, 상기 유효 자리수로부터 하위의 자리수를 나타내는 하위 비트에 의해 구성되는 변수 t를 저장하는 T레지스터와,
    상기 상위 비트가 짝수인 경우에는, 상기 상위 비트로 나타내는 짝수 변수 t에 대하여 대응시키고 있는 함수 f(t)의 값을 상기 짝수 함수 테이블로부터 판독하고, 상기 상위 비트가 홀수인 경우에는, 상기 상위 비트로 나타내는 홀수 변수 t보다 큰 최소의 짝수 변수 t에 대하여 대응시키고 있는 함수 f(t)의 값을 상기 짝수 함수 테이블로부터 판독하는 짝수 판독부와,
    상기 상위 비트가 홀수인 경우에는, 상기 상위 비트로 나타내는 홀수 변수 t에 대하여 대응시키고 있는 함수 f(t)의 값을 상기 홀수 함수 테이블로부터 판독하고, 상기 상위 비트가 짝수인 경우에는, 상기 상위 비트로 나타내는 짝수 변수 t보다 큰 최소의 홀수 변수 t에 대하여 대응시키고 있는 함수 f(t)의 값을 상기 홀수 함수 테이블로부터 판독하는 홀수 판독부와,
    상기 짝수 함수 테이블 또는 상기 홀수 함수 테이블로부터 판독된 함수 f(t)의 값을 저장하는 A레지스터와,
    상기 짝수 함수 테이블 또는 상기 홀수 함수 테이블로부터 판독된 함수 f(t)의 값을 저장하는 B레지스터와,
    상기 상위 비트가 짝수인 경우에는, 상기 짝수 판독부가 판독한 함수 f(t)의 값을 상기 A레지스터에 저장하는 동시에, 상기 홀수 판독부가 판독한 함수 f(t)의 값을 상기 B레지스터에 저장하고, 상기 상위 비트가 홀수인 경우에는, 상기 홀수 판독부가 판독한 함수 f(t)의 값을 상기 A레지스터에 저장하는 동시에, 상기 짝수 판독부가 판독한 함수 f(t)의 값을 상기 B레지스터에 저장하는 홀짝 실렉터와,
    상기 A레지스터에 저장되어 있는 값을 f(A)로 하고, 상기 B레지스터에 저장되어 있는 값을 f(B)로 하고, 상기 하위 비트로 나타내는 값을 δ로 하여 보간 후의 함수 f(t)의 값을,
    Figure 112013103689432-pat00275
    로 되는 연산에 의해 구하는 보간 연산부
    를 구비하고,
    상기 보간 연산부에 의해 구해진 보간 후의 함수 f(t)의 값을 사용하여 연산을 행하는, 화상 변환 장치.
  17. 제11항에 있어서,
    상기 교점 연산부는, 제1 좌표 변환식에 있어서의 함수 sinc(t)를,
    Figure 112008080091055-pat00276
    로 되는 테일러 전개한 형식의 식에 따라 연산하고,
    상기 변환 연산부는, 제2 좌표 변환식에 있어서의 함수 1/sinc(t)를, 소정의 계수값 a2, a4, a6, a8, ....을 사용한
    Figure 112008080091055-pat00277
    로 되는 형식의 식에 따라 연산하는, 화상 변환 장치.
  18. 제2항에 있어서,
    상기 변환 연산부는, cos
    Figure 112008080091055-pat00278
    의 값을, 벡터 U와 벡터 X의 내적(內積)을, 벡터 U의 크기와 벡터 X의 크기의 곱으로 제함으로써 구하는, 화상 변환 장치.
  19. 제2항에 있어서,
    상기 지시 입력부는, 왜곡 원형 화상 위에 끌린 참조 직선 J를 정의하기 위한 지시를 입력하는 기능을 가지고,
    상기 변환 연산부는, 참조 직선 J의 방향을 향한 벡터 J를 정의하고, cos
    Figure 112008080091055-pat00279
    의 값을, 벡터 J와 벡터 X의 내적(內積)을, 벡터 J의 크기와 벡터 X의 크기의 곱으로 제함으로써 구하는, 화상 변환 장치.
  20. 제2항에 있어서,
    상기 변환 연산부는, sin
    Figure 112008080091055-pat00280
    의 값을,
    Figure 112008080091055-pat00281
    로 되는 연산에 의해 구하는, 화상 변환 장치.
  21. 어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상의 일부분을 잘라내어, 평면 정칙 화상으로 변환하는 처리를 행하는 화상 변환 장치로서,
    이차원 XY 직교 좌표계 상의 좌표(x, y)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성된 왜곡 원형 화상을 저장하는 왜곡 원형 화상 저장부와,
    이차원 UV 직교 좌표계 상의 좌표(u, v)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성되는 평면 정칙 화상을 저장하는 평면 정칙 화상 저장부와,
    상기 왜곡 원형 화상 저장부에 저장되어 있는 왜곡 원형 화상을 디스플레이에 표시하는 왜곡 원형 화상 표시부와,
    상기 디스플레이에 표시되어 있는 왜곡 원형 화상 위에 있어서, 잘라내기 중심점 P와 보조점 Q의 2점의 위치를 사용자의 지시에 따라 입력하고, 상기 잘라내기 중심점 P와 상기 보조점 Q를 연결하는 직선을 참조 직선 J라고 인식하고, 상기 잘라내기 중심점 P와 상기 보조점 Q의 거리 d에 따라 m = k/d(k는 소정의 비례 상수)로서 부여되는 수치를 변환 배율 m이라고 인식하는 지시 입력부와,
    좌표(u, v)와 좌표(x, y)를 대응시키는 변환 연산식을 이용하여, 좌표(u, v)로 나타낸 위치에 배치된 평면 정칙 화상 위의 화소의 화소값을, 대응하는 좌표(x, y)로 나타낸 위치에 배치된 왜곡 원형 화상 위의 참조 화소의 화소값에 따라 결정함으로써, 상기 왜곡 원형 화상으로부터 상기 잘라내기 중심점 P를 중심으로 하여 상기 참조 직선 J에 따른 방향으로 잘라내어진 부분 화상에 대하여, 상기 변환 배율 m에 따라 스켈링된 평면 정칙 화상을 생성하는 연산을 행하고, 생성된 평면 정칙 화상을 상기 평면 정칙 화상 저장부에 저장하는 변환 연산부
    를 구비하는, 화상 변환 장치.
  22. 어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상의 일부분을 잘라내어, 평면 정칙 화상으로 변환하는 처리를 행하는 화상 변환 장치로서,
    이차원 XY 직교 좌표계 상의 좌표(x, y)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성된 왜곡 원형 화상을 저장하는 왜곡 원형 화상 저장부와,
    이차원 UV 직교 좌표계 상의 좌표(u, v)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성되는 평면 정칙 화상을 저장하는 평면 정칙 화상 저장부와,
    상기 왜곡 원형 화상 저장부에 저장되어 있는 왜곡 원형 화상을 디스플레이에 표시하는 왜곡 원형 화상 표시부와,
    소정의 입력 화면 상에 있어서, 참조 직선 J와 X축이 이루는 각으로서 정의되는 각도 θ와, 변환 배율 m을 사용자의 지시에 따라 입력하는 동시에, 상기 디스플레이에 표시되어 있는 왜곡 원형 화상 위에 있어서, 잘라내기 중심점 P의 위치를 사용자의 지시에 따라 입력하는 지시 입력부와,
    좌표(u, v)와 좌표(x, y)를 대응시키는 변환 연산식을 이용하여, 좌표(u, v)로 나타낸 위치에 배치된 평면 정칙 화상 위의 화소의 화소값을, 대응하는 좌표(x, y)로 나타낸 위치에 배치된 왜곡 원형 화상 위의 참조 화소의 화소값에 따라 결정함으로써, 상기 왜곡 원형 화상으로부터 상기 잘라내기 중심점 P를 중심으로 하여 상기 참조 직선 J에 따른 방향으로 잘라내어진 부분 화상에 대하여, 상기 변환 배율 m에 따라 스켈링된 평면 정칙 화상을 생성하는 연산을 행하고, 생성된 평면 정칙 화상을 상기 평면 정칙 화상 저장부에 저장하는 변환 연산부
    를 구비하는, 화상 변환 장치.
  23. 어안 렌즈를 사용한 촬영에 의해 얻어진 왜곡 원형 화상의 일부분을 잘라내어, 평면 정칙 화상으로 변환하는 처리를 행하는 화상 변환 방법으로서,
    이차원 XY 직교 좌표계 상의 좌표(x, y)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성되며, 상기 XY 좌표계의 원점 O를 중심으로 하고 반경 R을 가진 왜곡 원형 화상을, 왜곡 원형 화상 저장부에 저장하는 단계와,
    상기 왜곡 원형 화상 저장부에 저장되어 있는 왜곡 원형 화상을 디스플레이에 표시하는 단계와,
    상기 디스플레이에 표시되어 있는 왜곡 원형 화상 위에서의, 잘라내기 중심점 P의 위치 및 잘라내는 방향을 사용자의 지시에 따라 입력하는 단계와,
    상기 이차원 XY 직교 좌표계를 포함하는 3차원 XYZ 직교 좌표계에 있어서, 원점 0을 중심으로 하고 반경 R을 가진 가상 구면을 정의했을 때, 상기 잘라내기 중심점 P를 통하여 Z축과 평행한 직선과 상기 가상 구면의 교점 G의 위치 좌표(
    Figure 112013103689432-pat00282
    )를 구하는 단계와,
    상기 교점 G에 있어서 상기 가상 구면에 접하는 접평면 상에 정의해야 할 이차원 UV 직교 좌표계의 U축 방향을 향한 벡터 U와, 상기 이차원 XY 직교 좌표계의 X축 방향을 향한 벡터 X이 이루는 각으로서 부여되는 평면 경사각을 상기 잘라내는 방향에 따라서 결정하는 단계와,
    상기 위치 좌표(
    Figure 112013103689432-pat00283
    ) 및 상기 평면 경사각
    Figure 112013103689432-pat00284
    을 파라미터로서 포함하는 정사영 방식의 변환 연산식을 이용하여, 좌표(u, v)와 좌표(x, y)를 대응시켜 좌표(u, v)로 나타낸 위치에 배치된 다수 화소의 집합체에 의해 구성되는 평면 정칙 화상 위의 각 화소의 화소값을, 대응하는 좌표(x, y)로 나타낸 위치에 배치된 왜곡 원형 화상 위의 참조 화소의 화소값에 따라 결정함으로써, 상기 왜곡 원형 화상으로부터 상기 잘라내기 중심점 P를 중심으로 하여 상기 평면 경사각에 의해 나타내는 방향으로 잘라내어진 부분 화상에 대한 평면 정칙 화상을 생성하는 연산을 행하는 단계
    를 컴퓨터 또는 전자 회로에 의해 실행시키는 화상 변환 방법.
  24. 제23항에 있어서,
    정사영 방식의 변환 연산식으로서
    Figure 112008080091055-pat00285
    여기서,
    Figure 112008080091055-pat00286
    로 되는 식을 이용하는, 화상 변환 방법.
  25. 제23항 또는 제24항에 있어서,
    상기 디스플레이에 표시되어 있는 왜곡 원형 화상 위에 있어서, 잘라내기 중심점 P와 보조점 Q의 2점의 위치를 지정하기 위한 지시를 입력하고, 상기 잘라내기 중심점 P와 상기 보조점 Q를 연결하는 직선을 참조 직선 J라고 하고, 이 참조 직선 J와 X축이 이루는 각 θ(단, 양자 평행인 경우는 θ = 0°로 함)에 따라 평면 경사각
    Figure 112008080091055-pat00287
    을 결정하는, 화상 변환 방법.
  26. 제23항 또는 제24항에 있어서,
    상기 디스플레이에 표시되어 있는 왜곡 원형 화상 위에 있어서, 잘라내기 중심점 P의 위치를 지정하기 위한 지시를 입력하는 동시에, 소정의 입력 화면 상에 있어서, 상기 왜곡 원형 화상 위의 참조 직선 J와 X축이 이루는 각 θ을 입력하고, 상기 각 θ에 따라 평면 경사각
    Figure 112008080091055-pat00288
    을 결정하는, 화상 변환 방법.
KR1020080115736A 2007-12-26 2008-11-20 화상 변환 장치 및 화상 변환 방법 KR101404527B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2007-333628 2007-12-26
JP2007333628 2007-12-26
JPJP-P-2008-258125 2008-10-03
JP2008258125A JP5067336B2 (ja) 2007-12-26 2008-10-03 画像変換装置および画像変換方法

Publications (2)

Publication Number Publication Date
KR20090071366A KR20090071366A (ko) 2009-07-01
KR101404527B1 true KR101404527B1 (ko) 2014-06-09

Family

ID=40797753

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080115736A KR101404527B1 (ko) 2007-12-26 2008-11-20 화상 변환 장치 및 화상 변환 방법

Country Status (2)

Country Link
US (1) US8363981B2 (ko)
KR (1) KR101404527B1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4629131B2 (ja) 2008-09-03 2011-02-09 大日本印刷株式会社 画像変換装置
CN102197412B (zh) * 2008-10-28 2014-01-08 日本电气株式会社 伪装检测系统和伪装检测方法
JP5555101B2 (ja) * 2010-08-31 2014-07-23 株式会社日立情報通信エンジニアリング 画像補正装置、補正画像生成方法および補正画像生成プログラム
TW201215126A (en) * 2010-09-27 2012-04-01 Hon Hai Prec Ind Co Ltd Image dividing system for cameras and using method of the same
KR101832406B1 (ko) * 2011-03-30 2018-02-27 삼성전자주식회사 임의 형태의 스크린에 사진을 표시하기 위한 방법 및 장치
JP2013214947A (ja) 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
CN103544679B (zh) * 2012-07-09 2016-05-25 国家电网公司 一种全天空成像仪地基云图畸变校正方法
CN107580178B (zh) * 2013-01-07 2022-04-05 华为技术有限公司 一种图像处理方法及装置
FR3001826B1 (fr) * 2013-02-06 2016-05-06 Airbus Operations Sas Procede d'aide au pilotage d'un aeronef par affichage adapte de symboles
CN105324791B (zh) * 2013-06-24 2018-09-14 三菱电机株式会社 坐标计算装置和方法、以及图像处理装置和方法
CN104463791A (zh) * 2013-09-25 2015-03-25 北京环境特性研究所 一种基于球面模型的鱼眼图像校正法
CN103929577B (zh) * 2014-04-24 2017-02-15 西安电子科技大学 基于压缩感知的紫外光与红外光成像系统和方法
KR101583155B1 (ko) 2014-09-24 2016-01-07 중앙대학교 산학협력단 어안렌즈 영상 보정 방법 및 그 장치
TWI558208B (zh) * 2015-07-14 2016-11-11 旺玖科技股份有限公司 影像處理方法、影像處理裝置及顯示系統
US10979691B2 (en) * 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
KR20180029315A (ko) * 2016-09-12 2018-03-21 삼성전자주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
US11373335B2 (en) * 2017-03-27 2022-06-28 Nec Corporation Camera parameter estimation device, method and program
US10962623B1 (en) 2017-05-17 2021-03-30 Heathkit Company, Inc. Accurate and model-based measurement and management systems and methods
KR101976843B1 (ko) 2017-09-20 2019-05-15 주식회사 쓰리아이 렌즈 파라미터의 보정방법 및 이를 수행하는 단말기
US10762658B2 (en) * 2017-10-24 2020-09-01 Altek Corporation Method and image pick-up apparatus for calculating coordinates of object being captured using fisheye images
CN112614219A (zh) * 2020-12-07 2021-04-06 灵鹿科技(嘉兴)股份有限公司 一种用于地图导航定位的基于标识点的空间坐标转换方法
CN112710608B (zh) * 2020-12-16 2023-06-23 深圳晶泰科技有限公司 实验观测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100358605B1 (ko) 1993-04-17 2003-01-08 소니 가부시끼 가이샤 화상변환장치
JP2003536160A (ja) 2000-06-09 2003-12-02 インタラクティブ イメイジング システムズ、 インコーポレイテッド 画像およびビデオをマッピングして操作可能で仮想現実感のあるビデオおよび画像をつくる方法と装置
KR100596976B1 (ko) 2004-11-08 2006-07-05 (주)아이디스 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템
JP4653313B2 (ja) 1999-01-04 2011-03-16 リモートリアリティ コーポレーション パノラマ画像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US6459451B2 (en) * 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
JP2002203254A (ja) * 2000-08-30 2002-07-19 Usc Corp 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体
US20020147991A1 (en) * 2001-04-10 2002-10-10 Furlan John L. W. Transmission of panoramic video via existing video infrastructure
US20040008423A1 (en) * 2002-01-28 2004-01-15 Driscoll Edward C. Visual teleconferencing apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100358605B1 (ko) 1993-04-17 2003-01-08 소니 가부시끼 가이샤 화상변환장치
JP4653313B2 (ja) 1999-01-04 2011-03-16 リモートリアリティ コーポレーション パノラマ画像装置
JP2003536160A (ja) 2000-06-09 2003-12-02 インタラクティブ イメイジング システムズ、 インコーポレイテッド 画像およびビデオをマッピングして操作可能で仮想現実感のあるビデオおよび画像をつくる方法と装置
KR100596976B1 (ko) 2004-11-08 2006-07-05 (주)아이디스 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템

Also Published As

Publication number Publication date
US20090167886A1 (en) 2009-07-02
KR20090071366A (ko) 2009-07-01
US8363981B2 (en) 2013-01-29

Similar Documents

Publication Publication Date Title
KR101404527B1 (ko) 화상 변환 장치 및 화상 변환 방법
JP5067336B2 (ja) 画像変換装置および画像変換方法
US8670001B2 (en) System and method for converting a fish-eye image into a rectilinear image
TWI387936B (zh) A video conversion device, a recorded recording medium, a semiconductor integrated circuit, a fish-eye monitoring system, and an image conversion method
JP3051173B2 (ja) 全視野静止カメラオリエンテーションシステム
Jähne Digital image processing
TWI712004B (zh) 擴增實境設備的座標系校準方法及裝置
JP5762142B2 (ja) 撮像装置、画像処理装置およびその方法
US8106927B2 (en) Graphical user interfaces and occlusion prevention for fisheye lenses with line segment foci
JP4119529B2 (ja) 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体
JP2002109531A (ja) 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム
WO2006063888A1 (en) System and method for image transformation
Ahmadabadian et al. Clustering and selecting vantage images in a low-cost system for 3D reconstruction of texture-less objects
JP5442721B2 (ja) 形状の不変量アフィン認識方法及びデバイス
JP2018536211A (ja) ライトフィールド・データ表現
Jiang et al. An accurate and flexible technique for camera calibration
JP5245963B2 (ja) 画像変換装置
JP2010140292A (ja) 画像変換装置および画像変換方法
JP2003070719A (ja) 計測内視鏡装置
Redlich et al. An embedded hardware architecture for real-time super-resolution in infrared cameras
JP2013231607A (ja) 校正器具表示装置、校正器具表示方法、校正装置、校正方法、校正システム及びプログラム
JP5664859B2 (ja) 画像変換装置、画像生成システム、画像変換方法及び画像生成方法
JP6073121B2 (ja) 立体表示装置及び立体表示システム
Ekpar A framework for interactive virtual tours
CN117095131B (zh) 物体运动关键点的三维重建方法、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170519

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180523

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee