KR100924411B1 - 화상 처리 장치 및 화상 처리 방법, 및 기억 매체 - Google Patents

화상 처리 장치 및 화상 처리 방법, 및 기억 매체 Download PDF

Info

Publication number
KR100924411B1
KR100924411B1 KR1020037010356A KR20037010356A KR100924411B1 KR 100924411 B1 KR100924411 B1 KR 100924411B1 KR 1020037010356 A KR1020037010356 A KR 1020037010356A KR 20037010356 A KR20037010356 A KR 20037010356A KR 100924411 B1 KR100924411 B1 KR 100924411B1
Authority
KR
South Korea
Prior art keywords
ray vector
camera
image
polygon
image processing
Prior art date
Application number
KR1020037010356A
Other languages
English (en)
Other versions
KR20040065525A (ko
Inventor
프란크 니엘센
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20040065525A publication Critical patent/KR20040065525A/ko
Application granted granted Critical
Publication of KR100924411B1 publication Critical patent/KR100924411B1/ko

Links

Images

Classifications

    • G06T3/12—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

대응점에서의 화소값의 비교가 아니라, 투영 평면 상에 투영된 광선 벡터의 오차에 기초하여 대응점을 탐색한다. 동일한 카메라 렌즈나 왜곡 파라미터를 갖는 카메라를 이용하지 않고, 다른 카메라 모델의 촬영 화상끼리 접속할 수 있다. 촬영 화상을 핀홀 화상으로 일단 변환시키지 않고, 광선 벡터의 오차에 기초하여 원래의 촬영 화상로부터 출력 프레임에 직접 접합하므로, 화소의 열화를 억제할 수 있다. 따라서, 렌즈 왜곡이나 카메라 모델이 다른 다양한 카메라의 촬영 화상을 적합하게 접합 처리할 수 있다.
투영, 광선, 왜곡, 폴리곤

Description

화상 처리 장치 및 화상 처리 방법, 및 기억 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND STORAGE MEDIUM}
본 발명은, 복수의 촬영 화상을 접합하는 화상 처리 장치 및 화상 처리 방법, 기억 매체, 및 컴퓨터 프로그램에 관한 것으로, 특히 복수의 카메라를 이용하여 공간 상의 인접하는 영역을 촬영한 화상끼리 접합하는 화상 처리 장치 및 화상 처리 방법, 기억 매체, 및 컴퓨터 프로그램에 관한 것이다.
보다 상세하게는, 본 발명은, 렌즈 왜곡이나 카메라 모델이 다른 다양한 카메라의 촬영 화상을 접합 처리하는 화상 처리 장치 및 화상 처리 방법, 기억 매체, 및 컴퓨터 프로그램에 관한 것으로, 특히 화상의 열화를 억제하여 복수의 촬영 화상을 접합 처리하는 화상 처리 장치 및 화상 처리 방법, 기억 매체, 및 컴퓨터 프로그램에 관한 것이다.
사용자의 주위의 풍경 화상을 제공하는 장치로서 전방위 카메라가 알려져 있다. 이러한 종류의 전방위 영상 시스템은, 예를 들면 공간 중의 임의의 1개의 점이 시점으로서 주위의 화상을 촬영하도록 복수대의 카메라가 설치되어 구성된다. 복수의 카메라로 이루어지는 전방위 영상 시스템은, 서로 이웃하는 카메라의 촬상 화상의 경계끼리 잘 접합함으로써, 각각의 카메라의 시야보다 훨씬 넓은 영역의 화상을, 마치 단일의 광각도 카메라로 촬상한 것과 같은 화상을 생성하는 화상 처리를 행한다.
시야각이 넓은 렌즈를 이용하면 카메라는 넓은 범위를 촬상할 수 있지만, 그 만큼 해상도가 저하되어 세부를 잘 보기 어려워진다. 이에 대하여, 전방위 영상 시스템에 따르면, 광범위한 촬상 화상을 고해상도로 제공할 수 있다.
이러한 전방위형의 영상을 이용함으로써, 시점 자유형의 영상을 시청할 수 있다. 예를 들면, 캐릭터(등장 인물)가 공간을 자유롭게 돌아다니는 텔레비전 게임에 있어서, 임의의 시점으로부터의 배경 화면을 표시시킬 수 있어, 보다 현실적인 영상을 통하여 게임을 즐길 수 있어, 엔터테이먼트성이 높아진다.
또한, 전방위 영상은, 통상의 영상에 비하여 대용량이지만, 인터랙티브성이 우수하므로, 브로드밴드 네트워크 시대의 새로운 콘텐츠로서 유망하다.
그런데, 실존하는 카메라의 대부분은, 핀홀 카메라 모델에 의한 중심 투영을 이상으로 한다. 중심 투영은, 투영 중심과 3차원 물체 표면의 점을 연결하는 직선(「시선」이라고도 함)과 카메라의 투영 스크린과의 교점에 물체 표면의 점의 색 농도값을 배치함으로써, 투영 화상을 형성한다. 중심 투영에서는, 동일한 크기의 물체이어도, 카메라의 투영 중심에 접근함에 따라 큰 상으로서 투영되고, 반대로 투영 중심으로부터 멀어짐에 따라 작게 투영되는 성질을 갖는다.
또한, 이상적인 핀홀 카메라 모델에서는, 동일한 시선 상의 점은, 카메라의 투영 중심으로부터의 거리의 원근에 관계없이, 투영 스크린(즉, 촬상면) 상의 동일 한 위치에 투영되는 성질을 갖는다. 따라서, 서로 이웃하는 카메라의 촬상 화상을, 서로의 카메라의 투영 중심이 일치하도록 배치함으로써, 각 카메라 사이에서 시선을 공유하게 된다. 그 결과, 다른 카메라를 이용하면서, 사실상, 단일의 카메라로 동일한 장소에서 바라보고 있는 것과 같아진다. 즉, 서로 이웃하는 카메라에 있어서 중첩하는 촬상 영역에서, 임의의 장소를 화상 간의 경계로서 지정해도, 촬상 화상끼리는 순조롭게 접합된다.
예를 들면, Yalin Xiong, Ken Turowski 공저의 논문 "Registration, Calibration and Blending in Creating High Quality panoramas"(Fourth IEEE Workshop on Applications of Computer Vision, pp.69-74, 1998)나, Heung-Yeung Shum 및 Richard Szeliski 공저의 논문 "Construction of Panoramic mosaics with global and local aligment"(International Journal of Computer Vision, 36(2): 101-130, 2000), 및 미국 특허 제6, 157, 747호 명세서 등에는, 이상적인 핀홀 카메라를 이용하여 촬영한 인접 화상을 접합하는 기술에 대하여 제안되어 있다. 또한, Satyan Coorg 및 Seth Teller 공저의 논문 "Spherical Mosaics with Quaternions and Dense Correlation"(International Journal of Computer Vision, 37(3): 259-273, 2000)에는, 렌즈 왜곡을 무시하여 다수의 촬상 화상을 접합하는 기술에 대하여 제안되어 있다.
그러나, 현실적으로는, 이상적인 핀홀 카메라는 그다지 존재하지 않고, 렌즈는 통상 무시할 수 없는 왜곡을 갖고 있다. 또한, 카메라는 일반적으로 용적을 갖기 때문에, 촬상 중심이 단지 1개의 점에 집중하도록 복수의 카메라를 배치하는 것 은 원래 물리적으로 불가능하다. 또한, 3이상의 카메라의 촬상 중심이 3차원 공간 상에서 일치하도록 조립하는 것도, 매우 곤란한 작업을 필요로 한다.
예를 들면, R. Swaminathan 및 S.Nayar 공저의 논문 "Non-Metric Calibration of Wide Angle Lenses and Polycameras"(IEEE Journal on Pattern Analysis and Machine Intelligence, pp.1171-1178, 2000)에는, 직경 방향 및 접선 방향으로 렌즈 왜곡을 갖는 카메라 모델에 있어서의, 상술한 화상 접합의 문제를 풀기 위해서, 각 카메라의 촬영 화상을 일단 핀홀 화상으로 변환시키고 나서 접합하는 것을 제안하고 있다. 그러나, 이 경우, 복수의 화상 프레임을 접합한 전방위 영상을 완성시키기 위해서, 핀 홀 화상으로의 변환 시 및 화상 접합 시, 즉 합계 2회나 화소 보간을 행해야 하므로, 화상의 열화가 심해진다.
또, Y. Xiong 및 K. Turkowski 공저의 논문 "Creatimg image-based VR using a self-calibrating fisheye lens"(IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.237-243, 1997)에는, 핀홀 렌즈 이외의 렌즈로서 어안 렌즈에 의한 촬영 화상의 접합 기술에 대하여 제안되어 있다.
또한, R. Y. Tsai 저의 논문 "A versatile Camera Calibration Technique for High Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses"(IEEE Journal of Robotics and Automation, Vol.RA-3, No.4, pp.323-344, 1987)에는, 다양한 카메라 모델을 갖는 렌즈의 왜곡 파라미터를 고속으로, 또한 고정밀도로 계산하는 기술에 대하여 제안되어 있다.
복수의 카메라로부터의 촬영 화상을 접합하여 전방위 화상을 구축하기 위해 서는, 각 카메라는 이상적인 핀홀 카메라인 것이 바람직하다. 이 때문에, 각 카메라로부터의 입력 화상에 대하여, 렌즈 왜곡 제거 및 핀홀 화상으로의 변환을 행한 후에 접합할 필요가 있지만, 화소 보간을 2회 이상 반복하게 되어 화질의 열화가 심해진다. 또한, 핀홀 카메라의 시야각은 잘해야 180°밖에 안된다.
또한, 내부 파라미터나 왜곡 파라미터가 서로 다른 카메라 화상끼리는 잘 접합할 수 없기 때문에, 접합하는 원 화상을 동일한 렌즈 모델의 카메라로부터의 촬영 화상만으로 통일시킬 필요가 있다. 다시 말하면, 촬영 시스템의 디자인 구성 상의 융통성이 좋지 못하다.
카메라 화상의 접합의 용이함을 고려하여, 전방위 영상을 1개의 카메라로 수 개소를 촬영한 복수의 영상만으로 구성할 수도 있다. 예를 들면, S.E.Chen 저의 논문 "Quick Time VR-an image-based approach to virtual environment navigation"(Computer Graphics(SIGGRAPH '95), pp.29-38, Aug.1995)에는, 1개의 카메라로 수 개소를 촬영한 복수의 영상만으로 전방위 영상을 구성하는 기법에 대하여 기재되어 있다. 그러나, 여기서는 리얼타임으로 각 촬영 방향의 영상을 동시에 촬영하여 공급하는 경우에는 대응할 수 없다.
〈발명의 개시〉
본 발명의 목적은, 복수의 카메라를 이용하여 공간 상의 인접하는 영역을 촬영한 화상끼리 적합하게 접합할 수 있는, 우수한 화상 처리 장치 및 화상 처리 방법, 기억 매체, 및 컴퓨터 프로그램을 제공하는 데 있다.
본 발명의 다른 목적은, 렌즈 왜곡이나 카메라 모델이 다른 다양한 카메라의 촬영 화상을 적합하게 접합 처리할 수 있는 우수한 화상 처리 장치 및 화상 처리 방법, 기억 매체, 및 컴퓨터 프로그램을 제공하는 데 있다.
본 발명의 또다른 목적은, 렌즈 왜곡이나 카메라 모델이 다른 다양한 카메라의 촬영 화상을, 핀홀 카메라 등 다른 카메라 모델의 촬영 화상으로 변환시키거나 하여 화상을 열화시키지 않고 접합 처리할 수 있는, 우수한 화상 처리 장치 및 화상 처리 방법, 기억 매체, 및 컴퓨터 프로그램을 제공하는 데 있다.
본 발명은, 상기 과제를 참작하여 이루어진 것으로, 그 제1 측면은, 카메라에 의해 촬영된 복수의 화상 프레임을 접합하는 화상 처리 장치 또는 화상 처리 방법으로서,
촬영에 사용한 카메라에 의해 투영 평면 상의 각 점에 투영되는 광선 벡터를 카메라 모델에 기초하여 구하는 광선 벡터 산출 수단 또는 단계와,
인접하는 화상 프레임 사이에서 대응하는 특징점에서의 광선 벡터에 기초한 정보의 오차가 최소가 되도록 화상의 접합을 최적화하는 최적화 수단 또는 단계
를 포함하는 것을 특징으로 하는 화상 처리 장치 또는 화상 처리 방법이다.
본 발명의 제1 측면에 따른 화상 처리 장치 또는 화상 처리 방법에 따르면, 2매의 화상 사이에서 화소값이 일치하고 있는지가 아니라, 투영 평면 상의 대응점에 대한 광선 벡터에 기초하는 정보의 오차가 최소가 되도록 화상의 접합을 행한다. 따라서, 카메라 모델 및 카메라의 왜곡 파라미터도 고려하여 광선 벡터를 생성함으로써, 동일한 카메라 렌즈나 왜곡 파라미터를 갖는 카메라를 이용하지 않고, 다른 카메라 모델의 촬영 화상끼리 접합할 수 있다.
또, 여기서 말하는 광선 벡터에 기초하는 정보의 오차는, 예를 들면 2개의 광선 벡터가 이루는 각을 나타내거나, 또는 각 광선 벡터가 나타내는 화소의 휘도 또는 화소값의 상위 등을 의미한다.
또한, 본 발명의 제1 측면에 따른 화상 처리 장치 또는 화상 처리 방법에 따르면, 화소값의 비교가 아니라 대응 화소 사이에서의 광선 벡터에 기초하는 정보의 오차가 최소가 되도록 화상을 접합하기 때문에, 촬영 화상을 핀홀 화상 등으로 일단 변환시킬 필요는 없다. 또한, 원래의 촬영 화상으로부터 직접 접합해 갈 수 있기 때문에, 화소의 열화를 억제할 수 있다.
여기서, 상기 광선 벡터 산출 수단 또는 단계는, 카메라의 투영 평면을 무수한 폴리곤으로 분할함과 함께, 폴리곤의 각 정점의 투영 평면 상의 좌표와 이에 대응하는 광선 벡터의 대응 관계를 기술한 「메쉬 카메라」를 미리 생성해 두도록 해도 된다.
이러한 경우, 상기 최적화 수단 또는 단계는, 폴리곤의 정점에서의 광선 벡터에 기초하여 폴리곤 내의 각 점에 대한 투영 평면 상의 좌표값을 광선 벡터로 변환하는 변환 함수를 구하고, 상기 변환 함수를 이용하여 특징점에서의 광선 벡터를 산출할 수 있다.
또한, 상기 최적화 수단 또는 단계는, 최적화의 제1 단계로서, 특징점으로부터 광선 벡터로의 변환 함수를 폴리곤 단위로 계산하여, 상기 변환 함수를 고정한 채 각 특징점에서의 광선 벡터에 기초한 정보의 오차가 최소가 되도록 화상 프레임 단위를 회전시켜, 촬영 화상의 투영 평면 상이 아니라 광선 좌표계에서 최적화 처 리를 행하도록 해도 된다.
또한, 상기 최적화 수단 또는 단계는, 최적화의 제2 단계로서, 특징점으로부터 광선 벡터로의 변환 함수를 폴리곤 단위로 계산함과 함께, 상기 변환 함수를 가변으로 하여 각 특징점에서의 광선 벡터에 기초한 정보의 오차가 최소가 되도록 폴리곤 단위로 최적화 처리를 행하도록 해도 된다.
또한, 상기 최적화 수단 또는 단계는, 최적화의 제3 단계로서, 각 화소가 갖는 광 강도와, 각 화소가 갖는 신뢰성과, 출력 포맷면 상에서 각 화소가 갖는 입체각을 고려하여, 각 화소에 있어서의 광선 벡터에 기초하는 정보의 오차가 최소가 되도록 화소 단위로 최적화 처리를 행하도록 해도 된다.
또한, 본 발명의 제2 측면은, 카메라에 의해 촬영된 화상 프레임에 있어서 화소값이 기지의 복수의 정점으로 둘러싸인 점에 대한 화소값을 보간하는 화상 처리 장치 또는 화상 처리 방법으로서,
촬영에 사용한 카메라에 의한 투영 평면 상의 보간 대상점 및 이것을 둘러싸는 각 정점에 투영되는 광선 벡터를 산출하는 광선 벡터 산출 수단 또는 단계와,
각 정점의 광선 벡터를 사용하여 보간 대상점의 화소값을 보간하는 화소값 보간 수단 또는 단계
를 포함하는 것을 특징으로 하는 화상 처리 장치 또는 화상 처리 방법이다.
일반적으로, 정수 이외의 점에서의 화소값 등은, 선형 보간 등에 의해 화소값이 기지의 복수의 화소를 이용하여 보간 처리가 행해진다. 이 때, 촬영 화상의 투영 평면 상에서 보간을 행하면, 사용한 카메라 모델 C나 그 왜곡 파라미터의 영 향을 받게 된다. 이에 대하여, 본 발명의 제2 측면에 따른 화상 처리 장치 또는 화상 처리 방법과 같이 광선 벡터를 이용하여 보간을 행함으로써, 이들로부터의 영향을 배제할 수 있다.
또한, 본 발명의 제3 측면은, 카메라에 의해 촬영된 복수의 화상 프레임을 접합하는 처리를 컴퓨터 시스템 상에서 실행하도록 기술된 컴퓨터 소프트웨어를 컴퓨터 판독 가능 형식으로 물리적으로 저장한 기억 매체로서, 상기 컴퓨터 소프트웨어는,
촬영에 사용한 카메라에 의해 투영 평면 상의 각 점에 투영되는 광선 벡터를 카메라 모델에 기초하여 구하는 광선 벡터 산출 단계와,
인접하는 화상 프레임 사이에서 대응하는 특징점에서의 광선 벡터에 기초한 정보의 오차가 최소가 되도록 화상의 접합을 최적화하는 최적화 단계
를 포함하는 것을 특징으로 하는 기억 매체이다.
또한, 본 발명의 제4 측면은, 카메라에 의해 촬영된 화상 프레임에 있어서 화소값이 기지의 복수의 정점으로 둘러싸인 점에 대한 화소값을 보간하는 처리를 컴퓨터 시스템 상에서 실행하도록 기술된 컴퓨터 소프트웨어를 컴퓨터 판독 가능 형식으로 물리적으로 저장한 기억 매체로서, 상기 컴퓨터 소프트웨어는,
촬영에 사용한 카메라에 의한 투영 평면 상의 보간 대상점 및 이것을 둘러싸는 각 정점에 투영되는 광선 벡터를 산출하는 광선 벡터 산출 단계와,
각 정점의 광선 벡터를 사용하여 보간 대상점의 화소값을 보간하는 화소값 보간 단계
를 구비하는 것을 특징으로 하는 기억 매체이다.
본 발명의 제3 및 제4 각 측면에 따른 기억 매체는, 예를 들면 여러가지 프로그램 코드를 실행 가능한 범용 컴퓨터 시스템에 대하여, 컴퓨터 소프트웨어를 컴퓨터 판독 가능한 형식으로 제공하는 매체이다. 이러한 매체는, 예를 들면 DVD(Digital Versatile Disc), CD(Compact Disc)나 FD(Flexible Disk), MO(Magneto-Optical disc) 등의 착탈 가능한 가반성의 기억 매체이다. 또는, 네트워크(네트워크는 무선, 유선의 구별을 불문함) 등의 전송 매체 등을 경유하여 컴퓨터 소프트웨어를 특정한 컴퓨터 시스템에 제공하는 것도 기술적으로 가능하다.
본 발명의 제3 및 제4 각 측면에 따른 기억 매체는, 컴퓨터 시스템 상에서 소정의 컴퓨터 소프트웨어의 기능을 실현하기 위한, 컴퓨터 소프트웨어와 기억 매체와의 구조 상 또는 기능 상의 협동적 관계를 정의한 것이다. 다시 말하면, 본 발명의 제3 및 제4 각 측면에 따른 기억 매체를 개재하여 소정의 컴퓨터 소프트웨어를 컴퓨터 시스템에 인스톨함으로써, 컴퓨터 시스템 상에서는 협동적 작용이 발휘되고, 본 발명의 제1 및 제2 각 측면에 따른 화상 처리 장치 또는 화상 처리 방법과 마찬가지의 작용 효과를 얻을 수 있다.
또한, 본 발명의 제5 측면은, 카메라에 의해 촬영된 복수의 화상 프레임을 접합하는 처리를 컴퓨터 시스템 상에서 실행하도록 컴퓨터 판독 가능 형식으로 기술된 컴퓨터 프로그램으로서,
촬영에 사용한 카메라에 의해 투영 평면 상의 각 점에 투영되는 광선 벡터를 카메라 모델에 기초하여 구하는 광선 벡터 산출 단계와,
인접하는 화상 프레임 사이에서 대응하는 특징점에서의 광선 벡터에 기초한 정보의 오차가 최소가 되도록 화상의 접합을 최적화하는 최적화 단계
를 구비하는 것을 특징으로 하는 컴퓨터 프로그램이다.
또한, 본 발명의 제6 측면은, 카메라에 의해 촬영된 화상 프레임에 있어서 화소값이 기지의 복수의 정점으로 둘러싸인 점에 대한 화소값을 보간하는 처리를 컴퓨터 시스템 상에서 실행하도록 컴퓨터 판독 가능 형식으로 기술된 컴퓨터 프로그램으로서,
촬영에 사용한 카메라에 의한 투영 평면 상의 보간 대상점 및 이것을 둘러싸는 각 정점에 투영되는 광선 벡터를 산출하는 광선 벡터 산출 단계와,
각 정점의 광선 벡터를 사용하여 보간 대상점의 화소값을 보간하는 화소값 보간 단계
를 구비하는 것을 특징으로 하는 컴퓨터 프로그램이다.
본 발명의 제5 및 제6 각 측면에 따른 컴퓨터 프로그램은, 컴퓨터 시스템 상에서 소정의 처리를 실현하도록 컴퓨터 판독 가능 형식으로 기술된 컴퓨터 프로그램을 정의한 것이다. 다시 말하면, 본 발명의 제3 측면에 따른 컴퓨터 프로그램을 컴퓨터 시스템에 인스톨함으로써, 컴퓨터 시스템 상에서는 협동적 작용이 발휘되고, 본 발명의 제1 및 제2 각 측면에 따른 화상 처리 장치 또는 화상 처리 방법과 마찬가지의 작용 효과를 얻을 수 있다.
본 발명의 또다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시 형태나 첨부하는 도면에 기초하는 것보다 상세한 설명에 의해 분명히 될 것이다.
도 1은 본 발명에 따른 화상 처리의 처리 순서 전체를 개략적으로 나타낸 도면.
도 2는 수평 방향의 전방위 영상을 얻는 전방위 촬영 장치의 외관 구성을 나타낸 도면.
도 3은 전천구형(全天球型)의 전방위 영상을 얻는 전방위 촬영 장치의 외관 구성을 나타낸 도면.
도 4는 전방위 촬영 장치로부터 동시·병행하여 출력되는 복수의 화상 프레임을 처리하는 전방위 화상 처리 장치의 구성을 모식적으로 나타낸 도면.
도 5는 전방위 화상 처리 장치로서 적용되는 컴퓨터 시스템(100)의 구성을 모식적으로 나타낸 도면.
도 6은 메쉬 카메라를 생성하기 위한 처리 순서를 설명한 흐름도.
도 7은 핀홀 카메라의 카메라 모델의 정의를 설명하기 위한 도면.
도 8은 핀홀 카메라의 카메라 모델의 정의를 설명하기 위한 도면.
도 9는 어안 렌즈의 카메라 모델의 정의를 설명하기 위한 도면.
도 10은 Tsai의 카메라 모델에 있어서의 ImageToRay 함수를 구하기 위한 처리 순서를 설명한 흐름도.
도 11은 Tsai의 카메라 모델에 있어서의 RayToImage 함수를 구하기 위한 처리 순서를 설명한 흐름도.
도 12는 변환 함수 WT의 산출 방법을 설명하기 위한 도면.
도 13은 화상 접합의 최적화 처리의 원리를 설명하기 위한 도면.
도 14는 화상 접합의 최적화 처리의 원리를 설명하기 위한 도면.
도 15는 전방위 화상의 촬영 장치에서의 각 촬영 화상 프레임 사이에서의 인접 관계를 나타낸 도면.
도 16은 화상 접합의 최적화 처리 순서를 설명한 흐름도.
도 17은 수평 방향의 전방위 촬영 장치로 촬영한 복수의 화상 프레임을 메쉬 카메라를 이용하여 화상 프레임 단위로 최적화 처리하여 접합된 360도의 전방위 화상을 나타낸 도면.
도 18은 수평 방향의 전방위 촬영 장치로 촬영한 복수의 화상 프레임을 메쉬 카메라를 이용하여 화상 프레임 단위로 최적화 처리하여 접합해서 생긴 화상을 나타낸 도면.
도 19는 전천구형의 전방위 촬영 장치로 촬영한 복수의 화상 프레임을 메쉬 카메라를 이용하여 화상 프레임 단위로 최적화 처리하여 접합된 전천구형의 전방위 화상을 나타낸 도면.
도 20은 Interpolate 함수의 처리 순서를 간결하게 정리한 흐름도.
도 21은 광선 벡터의 보간을 행하는 모습을 나타낸 도면.
도 22는 정사면체의 표면을 전방위 화상의 출력 포맷으로 한 경우의 맵핑예를 나타낸 도면.
도 23은 정20면체의 표면을 전방위 화상의 출력 포맷으로 한 경우의 맵핑예를 나타낸 도면.
도 24는 정12면체의 표면을 전방위 화상의 출력 포맷으로 한 경우의 맵핑예를 나타낸 도면.
도 25는 구의 표면을 전방위 화상의 출력 포맷으로 한 경우의 맵핑예를 나타낸 도면.
〈발명을 실시하기 위한 최량의 형태〉
이하, 도면을 참조하면서 본 발명의 실시 형태에 대하여 상세하게 설명한다.
본 발명은, 복수의 카메라를 이용하여 촬영된 공간 상의 인접하는 영역의 촬영 화상끼리 접합하는 것으로, 예를 들면 공간 속의 임의의 1개의 점이 시점으로서 주위의 화상을 촬영하도록 복수대의 카메라가 설치되어 구성되는 전방위 카메라 시스템에 있어서 각 카메라의 촬영 화상을 접합하는 처리에 적용할 수 있다.
본 발명에서는, 2매의 화상 사이에서 화소값이 일치해 있는지가 아니라, 투영 평면 상의 대응점에 대한 광선 벡터에 기초하는 정보의 오차를 이용하여 화상의 접합을 행한다. 카메라 모델 및 카메라의 왜곡 파라미터도 고려하여 광선 벡터를 생성함으로써, 동일한 카메라 렌즈나 왜곡 파라미터를 갖는 카메라를 이용하지 않고, 다른 카메라 모델의 촬영 화상끼리 접합할 수 있다. 물론, 화소값의 비교가 아니라 대응 화소 사이에서의 광선 벡터에 기초하는 정보의 오차가 최소가 되도록 화상을 접합하기 때문에, 촬영 화상을 핀홀 화상 등으로 일단 변환시킬 필요는 없고, 원래의 촬영 화상으로부터 직접 접합할 수 있기 때문에, 화소의 열화를 억제할 수 있다.
여기서 말하는 광선 벡터에 기초하는 정보의 오차는, 예를 들면 2개의 광선 벡터가 이루는 각을 나타내거나, 또는 각 광선 벡터가 나타내는 화소의 휘도 또는 화소값의 상위 등을 의미한다.
도 1에는, 본 발명에 따른 화상 처리의 처리 순서 전체를 개략적으로 나타내고 있다. 도 1에 도시한 바와 같이, 이 처리 순서는, 복수의 카메라에 의한 화상 입력과, 촬영 화상의 가공과, 메쉬 카메라(후술)의 작성과, 화상의 접합, 및 화상 보존으로 구성된다. 화상 보존 시에는, 화상의 접합 시에 사용한 파라미터도 함께 보존해 둔다.
도 2에는, 공간 상의 복수의 영역을 병행하여 촬영하는 카메라 시스템의 일례로서의 전방위 촬영 장치의 외관 구성을 나타내고 있다.
이 전방위 촬영 장치는, 소정의 원주 방향으로 대략 등간격으로 배열된 8대의 카메라와, 각 카메라마다 그 시선 방향으로 배치된 8매의 평면 거울이 8각뿔 상에 배치된 반사부로 구성된다. 여기서, 각 카메라의 투영 중심이 전방위 촬영 장치의 중앙 부근에서 거의 일치하도록, 또한 각 카메라의 시선 방향이 1개의 수평면 상에서 소정 각도 간격을 두도록, 각 카메라가 배치되어 있다. 각 평면 거울로 반사된 주위의 정경을, 반사 방향을 향한 카메라로 투영함으로써, 전방위 촬영 장치 전체적으로는, 수평 방향 360도의 영상의 거울상을 촬영할 수 있다. 각 카메라의 영상을 반전, 접합 등의 처리를 행함으로써, 수평 방향의 전방위 화상이 얻어진다. 본 실시 형태에서는, 각 카메라가 동일한 카메라 모델인 것이나 동일한 파라미터를 공유하는 것은 필수가 아니다.
또한, 도 3에는, 다른 실시 형태에 따른 전방위 촬영 장치의 외관 구성을 나타내고 있다. 이 전방위 촬영 장치는 12개의 대략 정오각형의 구성면으로 이루어지는 대략 정12면체(Dodecahedron) 형상의 프레임과, 해당 프레임의 각 면 상에 1대씩 배치된 11대의 카메라 …로 구성된다. 각 카메라는, 주위의 풍경 중, 각각이 담당하는 영역을 촬상하여 주위 화상의 일부로서 공급할 수 있다. 대좌의 일 측면으로부터는, 각 카메라에 의한 촬상 화상 데이터를 외부 출력하기 위한 케이블류가 접속되어 있다. 각 카메라의 영상을 접합함으로써, 전천구형의 전방위 화상이 얻어진다. 각 카메라는, 투영 중심을 갖는 핀홀 타입의 카메라인 것이 바람직하지만, 본 실시 형태에서는, 카메라의 모델이나 왜곡 파라미터는 임의이어도 된다. 물론, 정12면체의 각 구성면 상에 배치된 카메라가 전부 동일한 카메라 모델을 가질 필요는 없다.
또한, 도 4에는, 도 2 또는 도 3에 도시한 바와 같은 전방위 촬영 장치로부터 동시 병행하여 출력되는 복수의 화상 프레임을 처리하는 전방위 화상 처리 장치의 구성을 모식적으로 나타내고 있다. 도 4에 도시한 바와 같이, 각 카메라에 각각 VTR을 접속함으로써, 합계 8개의 영상(및 음성) 스트림을 기록할 수 있다. 이들 기록된 영상 스트림을, 전환기를 통하여 비디오 캡처링하여, 컴퓨터 데이터(비트맵 파일)로서, 전방위 화상 처리 장치에 저장할 수 있다.
이 전방위 화상 처리 장치 내에서는, 촬영 화상의 가공과, 메쉬 카메라의 구축과, 화상의 접합, 화상 보존 등의 화상 처리가 행해진다.
촬영 화상의 가공은, 각각의 촬영 화상을, 후속의 화상 처리 공정에서 다루기 쉽게 가공 전처리를 행한다. 예를 들면, 도 2에 도시한 바와 같은 촬영 장치인 경우, 각 카메라는 반사 미러에 의한 반전 화상을 포착하도록 되어 있기 때문에, 그것을 다시 반전 처리하여 원래의 화상으로 재현한다. 또한, 컬러, 노출, 콘트라스트 등의 특성을 양자화한다. 또한, 초점, 상세부, 단연부(端緣部)의 향상을 도모함과 함께, 고주파 성분이나 그 밖의 인공적인 성분의 제거, 감마색 보정 등을 행한다.
메쉬 카메라는, 화소값의 비교가 아니고, 화소에 투영되는 광선 벡터의 일치도로 화상의 접합 처리를 행하기 위해서, 본 발명자에 의해 새롭게 도입된 개념이다. 메쉬 카메라는, 카메라의 투영 평면을 무수한 폴리곤으로 분할함과 함께, 폴리곤의 각 정점(x, y)과 이에 대응하는 광선 벡터(θφ 극 좌표계로 표시함)의 대응 관계로 구성된다. 메쉬 카메라는 카메라 모델마다 구성이 다르다(이 경우의 카메라 모델에는, 카메라의 왜곡 파라미터를 포함하여 취급하도록 해도 됨). 메쉬 카메라의 구체적인 구축 방법에 대해서는 후술한다.
또, 메쉬 카메라에 있어서는, 폴리곤의 정점 이외의 점에 대해서는, 투영 평면 상의 위치(x, y)와 대응하는 광선 벡터(θ, φ)와의 관계는 정의되지 않는다. 정점 이외의 점에 대해서는, 그 점이 포함되어 있는 폴리곤의 각 정점을 이용하여 보간 처리된다(후술).
인접하는 화상끼리의 접합, 예를 들면 수동 또는 자동으로 각 화상 프레임 중에서 복수의 특징점을 추출하여, 특징점의 대응이 취해지는지에 따라 처리가 이 루어진다. 예를 들면, 본 출원인에게 이미 양도되어 있는 일본 특개2000-215317호 공보에는, 오버랩하는 2매의 화상 프레임으로부터 대응하는 특징점을 자동적으로 추출하는 화상 처리 방법 및 화상 처리 장치에 대하여 개시되어 있다. 즉, 화상 처리 장치(10)는, 2 이상의 화상의 각각에 대한 특징점을 추출하여, 2 이상의 화상 중, 하나의 화상과 다른 화상과의 특징점을 비교하여 매칭을 행하고, 이 매칭의 결과에 기초하여, 하나의 화상과 다른 화상과의 위치 관계를 변화시키도록 연산을 행하여, 2 이상의 화상을 합성한다.
종래, 화상 프레임 사이에서의 특징점의 비교는, 화소값에 기초하여 행하는 것이 일반적이었다. 이에 대하여, 본 발명에서는, 메쉬 카메라를 이용하여 특징점의 광선 벡터를 구하고, 대응점 사이에서 광선 벡터에 기초하는 정보의 오차가 최소가 되도록 접합해 가는 것을 특징으로 한다. 여기서 말하는 광선 벡터에 기초하는 정보의 오차는, 예를 들면 2개의 광선 벡터가 이루는 각을 나타내거나, 또는 각 광선 벡터가 나타내는 화소의 휘도 또는 화소값의 상위 등을 의미한다.
촬영 화상의 투영 평면 상의 화소값으로 특징점을 비교하는 경우에는, 카메라의 왜곡 파라미터의 영향을 제거하고 있지 않으면 의미가 없고, 또한 카메라 모델이 상위하는 경우에는 화상끼리 비교하는 것조차 곤란하다. 이에 대하여, 본 발명에 따르면, 특징점끼리 광선 벡터로 비교하고 있기 때문에, 화상의 3차원적인 위치 관계를 되찾을 수 있어, 카메라 모델의 상위에 영향받지 않는다. 또한, 왜곡 파라미터의 영향을 고려하여 메쉬 카메라를 구축함으로써 왜곡 파라미터의 영향을 제거할 수 있다.
도 5에는 전방위 화상 처리 장치로서 적용되는 컴퓨터 시스템(100)의 구성을 모식적으로 나타내고 있다. 이하, 이 도면을 참조하면서, 컴퓨터 시스템(100)에 대하여 설명한다.
시스템(100)의 메인 컨트롤러인 CPU(Central Processing Unit)(101)는, 오퍼레이팅 시스템(OS)의 제어 하에서, 각종 어플리케이션을 실행한다. CPU(101)는, 예를 들면 복수의 카메라에 의한 촬상 화상의 접합을 행하기 위한, 각 카메라의 카메라 모델이나 렌즈 왜곡에 기초한 메쉬 카메라의 생성이나, 메쉬 카메라를 이용한 화상 접합의 최적화 처리 등의 화상 처리를 행하는 어플리케이션 프로그램을 실행할 수 있다. 도시한 바와 같이, CPU(101)는, 버스(108)에 의해 다른 기기류(후술)와 상호 접속되어 있다.
메모리(102)는, CPU(101)에서 실행되는 프로그램 코드를 저장하거나, 실행 중인 작업 데이터를 일시적으로 보관하기 위해서 사용되는 기억 장치이다. 도 5에 도시한 메모리(102)는, ROM 등의 불휘발성 메모리 및 DRAM 등의 휘발성 메모리의 쌍방을 포함하는 것으로 이해하기 바란다.
디스플레이 컨트롤러(103)는, CPU(101)가 발행하는 묘화 명령을 실제로 처리하기 위한 전용 컨트롤러이다. 디스플레이 컨트롤러(103)에서 처리된 묘화 데이터는, 예를 들면 프레임 버퍼(도시 생략)에 일단 기입된 후, 디스플레이(111)에 의해 화면 출력된다.
입력 기기 인터페이스(104)는, 키보드(112)나 마우스(113) 등의 사용자 입력 기기를 컴퓨터 시스템(100)에 접속하기 위한 장치이다.
네트워크 인터페이스(105)는, Ethernet(등록 상표) 등의 소정의 통신 프로토콜에 따라, 시스템(100)을 LAN(Local Area Network) 등의 국소적 네트워크, 나아가서는 인터넷과 같은 광역 네트워크에 접속할 수 있다.
네트워크 상에서는, 복수의 호스트 단말기(도시 생략)가 트랜스포머 페어런트인 상태에서 접속되고, 분산 컴퓨팅 환경이 구축되어 있다. 네트워크 상에서는, 소프트웨어 프로그램이나 데이터 콘텐츠 등의 배신 서비스를 행할 수 있다. 예를 들면, 복수의 카메라에 의한 촬상 화상의 접합을 행하기 위한, 각 카메라의 카메라 모델이나 렌즈 왜곡에 기초한 메쉬 카메라의 생성이나, 메쉬 카메라를 이용한 화상 접합의 최적화 처리 등의 화상 처리를 행하는 어플리케이션을, 네트워크 경유로 다운로드할 수 있다. 또한, 이러한 화상 처리 어플리케이션에 의해 생성된 전방위 화상 등의 화상 데이터나, 최적화 처리에 이용하는 메쉬 카메라에 관한 데이터나 그 밖의 라이브러리를 네트워크 경유로 배신할 수도 있다.
외부 기기 인터페이스(107)는, 하드디스크 드라이브(HDD)(114)나 미디어 드라이브(115) 등의 외부 장치를 시스템(100)에 접속하기 위한 장치이다.
HDD(114)는, 기억 담체로서의 자기 디스크를 고정적으로 탑재한 외부 기억 장치로서(주지), 기억 용량이나 데이터 전송 속도 등의 점에서 다른 외부 기억 장치보다 우수하다. 소프트웨어 프로그램을 실행 가능한 상태로 HDD(114) 상에 두는 것을 프로그램의 시스템에의 「인스톨」이라고 한다. 통상, HDD(114)에는, CPU(101)가 실행해야 할 오퍼레이팅 시스템의 프로그램 코드나, 어플리케이션 프로그램, 디바이스 드라이버 등이 불휘발적으로 저장되어 있다.
예를 들면, 복수의 카메라에 의한 촬상 화상의 접합을 행하기 위한, 각 카메라의 카메라 모델이나 렌즈 왜곡에 기초한 메쉬 카메라의 생성이나, 메쉬 카메라를 이용한 화상 접합의 최적화 처리 등의 화상 처리를 행하는 어플리케이션 프로그램을, HDD(114) 상에 인스톨할 수 있다. 또한, 이러한 화상 처리 어플리케이션의 처리 대상이 되는 촬영 화상이나, 소정의 출력 포맷에 접합된 화상, 최적화 처리에 이용하는 메쉬 카메라에 관한 데이터나 그 밖의 라이브러리를 HDD(114) 상에 보존할 수도 있다.
미디어 드라이브(115)는, CD(Compact Disc)나 MO(Magneto-Optical disc), DVD(Digital Versatile Disc) 등의 가반형 미디어를 장전하여, 그 데이터 기록면에 액세스하기 위한 장치이다.
가반형 미디어는, 주로 소프트웨어 프로그램이나 데이터 파일 등을 컴퓨터 판독 가능 형식의 데이터로서 백업할 목적이나, 이들을 시스템 사이에서 이동(즉, 판매·유통·배포를 포함함)할 목적으로 사용된다. 예를 들면, 복수의 카메라에 의한 촬상 화상의 접합을 행하기 위한, 각 카메라의 카메라 모델이나 렌즈 왜곡에 기초한 메쉬 카메라의 생성이나, 메쉬 카메라를 이용한 화상 접합의 최적화 처리 등의 화상 처리를 행하는 어플리케이션을, 이들 가반형 미디어를 이용하여 복수의 기기 사이에서 물리적으로 유통·배포할 수 있다. 또한, 이러한 화상 처리 어플리케이션의 처리 대상이 되는 촬영 화상이나, 소정의 출력 포맷에 접합된 화상, 최적화 처리에 이용하는 메쉬 카메라에 관한 데이터나 그 밖의 라이브러리를, 이들 가반형 미디어를 이용하여 복수의 기기 사이에서 물리적으로 유통·배포할 수 있다.
비디오 캡쳐 카드(109)는, 전방위 촬영 장치(11)로부터의 입력 신호, 즉 전환기를 통하여 접속되는 각 VTR로부터 재생되는 비디오 신호를 컴퓨터 데이터(비트맵 파일)로서 컴퓨터 내에 저장하기 위한 장치이다.
또, 도 5에 도시한 바와 같은 컴퓨터(100)의 일례는, 미국 IBM사의 퍼스널 컴퓨터 "PC/AT(Pepsonal Computer/Advanced Technology)"의 호환기 또는 후계기이다. 물론, 다른 아키텍처를 구비한 컴퓨터를, 본 실시 형태에 따른 컴퓨터(100)로서 적용할 수도 있다.
메쉬 카메라의 구축
메쉬 카메라는, 화상의 3차원적인 위치 관계에 기초하여 화소에 투영되는 광선 벡터의 일치도에 의해 화상 접합의 최적화 처리를 행하기 위해서, 본 발명에서 새롭게 도입된 개념이다. 메쉬 카메라는, 카메라의 투영 평면을 무수한 폴리곤으로 분할함과 함께, 폴리곤의 각 정점(x, y)과 이에 대응하는 광선 벡터(θφ 극 좌표계로 표시함)의 대응 관계로 구성된다.
도 6에는, 메쉬 카메라를 생성하기 위한 처리 순서를 흐름도의 형식으로 나타내고 있다.
우선, 단계 S1에서, 카메라 모델 C를 취득한다. 카메라 모델 C의 정의는, 투영 평면 상의 점(x, y)에 투영되는 광선 벡터(θφ 극 좌표계로 표시함)를 구하는 ImageToRay 함수와, 광선 벡터 θφ로부터 투영 평면에 투영되는 위치(x, y)를 구하는 RayToImage 함수를 정의하는 것이다.
계속해서, 단계 S2에서는, 카메라의 투영 평면 상에 k1×k2개의 격자점으로 이루어지는 폴리곤을 생성한다. 이 결과, 2(k1-1)×(k2-1)개의 삼각형과 k1×k2개의 정점이 생성된 것으로 된다.
계속해서, 단계 S3에서는, 각 정점(i, j)에 대하여, ImageToRay 함수를 이용하여 대응하는 광선 벡터(θ, φ)를 순차적으로 산출해 간다.
그리고, 단계 S4에서는, 카메라의 투영 평면 상의 각각의 정점(x, y)과 그 θφ 극 좌표계로 기술된 광선 벡터(φ, θ)와의 대응 관계를 기술한 데이터(x, y, θ, φ)를 생성한다. 이와 같이 하여 생성된 (x, y)⇔(θ, φ) 대응표가 메쉬 카메라가 된다.
메쉬 카메라를 이용함으로써, 카메라의 투영 평면 상의 임의의 점에서의 광선 벡터를 비교적 고속으로 구할 수 있다. 즉, 메쉬 카메라를 이용함으로써, 2개의 화상 프레임 사이에서 대응하는 점을 광선 벡터에 기초하는 정보의 오차로부터 구할 수 있게 된다. 여기서 말하는 광선 벡터에 기초하는 정보의 오차는, 예를 들면 2개의 광선 벡터가 이루는 각을 나타내거나, 또는 각 광선 벡터가 나타내는 화소의 휘도 또는 화소값의 상위 등을 의미한다.
메쉬 카메라는 카메라 모델마다 구성이 서로 다르다. 메쉬 카메라를 정의함으로써, 다수의 다른 카메라 시스템 사이에서 촬영 화상의 접합이 가능하게 된다.
메쉬 카메라는, 카메라 모델 C의 정의인 ImageToRay 및 RayToImage 함수를 이용하여 계산할 수 있다. 이하에서는, 몇 개인가의 카메라 모델에 대한 ImageToRay 함수 및 RayToImage 함수에 대하여 설명한다.
핀홀 카메라
핀홀 카메라는 중심 투영을 기본으로 하기 때문에, 초 평면(단, 촛점거리를 f로 함) 상의 점(x, y, f)과 임의의 투영 평면 상의 대응점(X, Y, Z) 사이에는, 다음 수학식 1이 성립한다. 단, 투영 중심을 원점 O로 한다(도 7을 참조).
Figure 112003028992029-pct00001
또한, 투영 중심으로부터 점(x, y, f)으로 향하는 광선 벡터를 θφ 극 좌표로 표시하였을 때, θ 및 φ는 다음 수학식 2와 같이 쓸 수 있다(도 8을 참조).
Figure 112003028992029-pct00002
따라서, 핀홀 카메라에 있어서는, 투영 평면 상의 점(x, y)에 투영되는 광선 벡터를 구하는 ImageToRay 함수와, 광선 벡터 θφ로부터 투영 평면에 투영되는 위치(x, y)를 구하는 RayToImage 함수는, 각각 다음 수학식 3과 같이 표기할 수 있다.
Figure 112003028992029-pct00003
어안 렌즈
어안 렌즈인 경우, 렌즈 중심을 (Cx, Cy)로 하고, 투영 평면 상의 점(x, y)과 렌즈 중심 사이의 거리를 r로 하여(도 9를 참조), r의 함수 F(r)를 정의하면, 투영 평면 상의 점(x, y)에 투영되는 광선 벡터를 구하는 ImageToRay 함수와, 광선 벡터 θφ로부터 투영 평면에 투영되는 위치(x, y)를 구하는 RayToImage 함수는, 각각 다음 수학식 4와 같이 표기된다.
Figure 112003028992029-pct00004
여기서, 함수 F는 다음 수학식 5와 같이 정의된다.
Figure 112003028992029-pct00005
Tsai의 카메라 모델
Tsai의 카메라 모델은, 렌즈 왜곡을 고려한 렌즈로서, 모든 카메라 파라미터, 즉 내부 파라미터, 외부 파라미터, 왜곡 파라미터를 동시에 산출하는 것을 가능하게 하는 것이다(예를 들면, Roger Y.Tsai 저의 논문 "An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision"(1986, IEEE)을 참조).
TSai의 카메라 모델은, 렌즈의 중심 위치(Cx, Cy)와, 투영 평면의 어스펙트비 ay와, 반경 방향의 왜곡 계수 κ로 정의된다. 이에 대하여, 왜곡이 없는 이상적인 핀홀 카메라의 카메라 모델은, 주점(px, py)과, XY 각 축 방향의 초점 위치(fx , fy)로 정의된다.
도 10에는, Tsai의 카메라 모델에 있어서의 ImageToRay 함수를 구하기 위한 처리 순서를 흐름도의 형식으로 나타내고 있다.
우선, 투영 평면 상에서 이상적인 핀홀에 의해 투영된 점과 Tsai 렌즈에 의해 투영된 점(x, y)과의 관계를 구한다(단계 S11). 또, 이 단계에서는, Tsai 모델의 투영 평면 상의 점으로부터 핀홀 화상 상의 대응 좌표를 계산하지만, 핀홀 화상으로의 화상 변환을 행하는 것이 아니므로, 화질 열화를 일으키지 않는다.
Figure 112003028992029-pct00006
계속해서, 3차원 상의 단위구에 있어서 광선 벡터 Pθ, φ를 설정한다(단계 S12). 3차원 θφ 극 좌표계의 광선 벡터 Pθ, φ를 XYZ 직교 좌표계와 동차 좌표로 표현하면 다음 수학식 7과 같이 된다.
Figure 112003028992029-pct00007
그리고, 점 Pθ, φ에 기초하여, Tsai의 카메라 모델에 의한 투영 평면 상의 점(x, y)에 대한 광선 벡터를 θφ 극 좌표계로 나타낼 수 있다(단계 S13).
Figure 112003028992029-pct00008
또한, 도 11에는, Tsai의 카메라 모델에 있어서의 RayToImage 함수를 구하기 위한 처리 순서를 흐름도의 형식으로 나타내고 있다.
우선, 광선 벡터의 단위구면 상의 극 좌표값(θ, φ)을 3차원 직교 좌표계 상의 위치 Pθ, φ로 변환한다(단계 S21).
Figure 112003028992029-pct00009
다음으로, 이 광선 벡터 Pθ, φ를, 이하의 수학식 10에 나타내는 바와 같은 이상적인 핀홀 좌표값으로 변환한다(단계 S22).
Figure 112003028992029-pct00010
그리고, 소정의 다차원 방정식을 푸는 것에 의해, 이상적인 핀홀 화상 상의 점으로부터 Tsai 모델의 원화상의 좌표(x, y)를 계산한다(단계 S23). 또, 이 단계에서는, 핀홀 화상 상의 좌표 위치 Tsai 모델의 투영 평면 상의 대응점을 계산하지만, 핀홀 화상으로부터의 화상 변환을 행하는 것이 아니므로, 화질 열화를 일으키지 않는다.
Figure 112003028992029-pct00011
이것은, 이하의 다차원 방정식을 푸는 것에 상당한다.
Figure 112003028992029-pct00012
다차원 방정식의 해가 복수 있는 경우에는, 이상적인 반경에 보다 가까운 것을 선택한다. 다음 수학식 13에는, 선택된 해를 나타내고 있다.
또, 상기한 수학식 12에서는, 왜곡 파라미터를 κ 1개로 나타내고 있지만, 사용한 카메라가 복수의 왜곡을 갖는 경우에는, 왜곡 파라미터의 개수를 늘림과 함께, 또한 고차의 방정식을 세우도록 해도 된다.
Figure 112003028992029-pct00013
변환 함수(Transfer Function) W T
상술한 메쉬 카메라는, 카메라 모델 C의 투영 평면 상에 설정된 무수한 폴리곤의 각 정점 위치(x, y)에서는, 거기에 투영되는 광선의 벡터(θ, φ)를 구하거나, 카메라 모델 C의 광선 벡터 θφ를 제공하면 투영 평면 상의 투영 위치(x, y)를 구할 수 있다. 즉, 메쉬 카메라는, 투영 위치(x, y)와 광선 벡터(θ, φ)와의 대응표이다.
단, 메쉬 카메라는, 폴리곤의 정점 이외의 데이터를 갖지 않기 때문에, 정점 이외에서 특징점이 추출되는 대부분의 경우에는, 메쉬 카메라로부터 그 광선 벡터 를 직접 구할 수는 없다. 이러한 경우에는, 특징점을 포함하는 폴리곤의 각 정점이 갖는 광선 벡터를 이용하여, 그 내부의 점에 대한 광선 벡터의 기하학적인 보간 처리를 행한다.
예를 들면, 도 12에 도시한 바와 같이 3개의 정점 V1(x1, y1), V2 (x2, y2) 및 V3(x3, y3)으로 이루어지는 폴리곤 T 중에 특징점(x, y)이 포함되어 있는 것으로 한다(즉, (x, y)∈T).
여기서, 각 정점 V1, V2 및 V3에 있어서 메쉬 카메라에 의해 정의되고 있는 광선 벡터를 3차원 XYZ 직교 좌표계에서 각각 P1(X1, Y1, Z1), P2(X2, Y2, Z2), P3(X3, Y3, Z3)으로 둔다. 단, P1, P2, P3은, 정규화된 단위 벡터라고 한다. 또한, 각 광선 벡터 P1, P2, 및 P3으로부터 각 정점 V1, V2, 및 V3의 XY 좌표로 변환할 수 있는 변환 함수 WT가 근사적으로 성립하는 것으로 가정한다. 즉,
Figure 112003028992029-pct00014
이러한 경우, 각 식을 합산함으로써, 다음 수학식 15가 도출된다.
Figure 112003028992029-pct00015
여기서, WT는, 이 폴리곤 T에 속하는 모든 점(x, y)(∈T)을 광선 벡터 Pθ, φ로부터 근사적으로 변환하는 변환 함수이다. 변환 함수 WT는, 예를 들면 다음 수학식 16에 의해 구한다.
Figure 112003028992029-pct00016
또한, 폴리곤 T 내의 점(x, y)의 광선 벡터 Pθ, φ는, 다음 수학식 17에 의해 구해진다.
Figure 112003028992029-pct00017
화상의 접합(Registration)
상술된 바와 같이 하여 구해진 메쉬 카메라를 이용하여 화상의 접합을 행한다.
화상의 접합은, 접합하는 2매의 화상 프레임의 각각으로부터 복수의 특징점을 추출함과 함께, 각각 대응하는 특징점이 갖는 광선 벡터에 기초하는 정보의 오차가 최소가 되도록 최적화 처리(Optimization)를 행한다. 여기서 말하는 광선 벡터에 기초하는 정보의 오차는, 예를 들면 2개의 광선 벡터가 이루는 각을 나타내거나, 또는 각 광선 벡터가 나타내는 화소의 휘도 또는 화소값의 상위 등을 의미한다.
또한, 최적화 처리는,
① 특징점으로부터 얻어지는 광선 벡터를 고정하여, 화상 프레임 단위로 행하는 제1 최적화
② 광선 벡터, 즉 변환 함수 WT도 가변으로 하여, 폴리곤 단위로 행하는 제2 최적화
③ 화상 접합 후의 출력 포맷을 고려한 화소 단위로 행하는 제3 최적화라는 3단계의 최적화를 행한다.
우선, 최초로 최적화의 원리에 대하여 간단히 설명한다.
예를 들면, 도 13에 도시한 바와 같이, 소정의 촬영 공간 상에 인접하는 화상 프레임 IA 및 IB가 있고, 또한 각 화상 프레임 IA 및 IB의 각각으로부터, 복수의 특징점 a1, a2, … 및 b1, b2, …가 추출되어 있는 것으로 한다. 여기서는, 설명의 편의상, 특징점 a1, a2, … 및 b1, b2, …는, 화상 프레임 상의 xy 2차원 직교 좌표가 아니라, 특징점에서의 광선 벡터인 것으로 한다. 또한, 동일한 광선 첨자를 갖 는 특징점 aj 및 bj가 대응하고 있는 것으로 한다.
광선 벡터 aj 및 bj가 이루는 각을 αj로 두면, αj는 광선 벡터 aj 및 bj의 오차에 따른 크기가 된다(도 14를 참조). 예를 들면, 특징점 aj 및 bj가 정확하게 일치하는 경우에는, αj는 제로가 된다.
αj는 다음 수학식 18에 의해 계산할 수 있다.
Figure 112003028992029-pct00018
따라서, 상기 식을 평가 함수로 하고, 이 αj가 최소가 되도록 화상을 접합하는 것이 최적화 처리가 된다.
또한, 인접하는 화상 프레임 IA 및 IB 사이에서 설정 또는 입력된 특징점이 fj개 있는 경우에는, 각 특징점마다 구해진 αj의 총합이 최소가 되도록 화상 프레임 IA 및 IB를 접합하는 것이 최적화 처리가 된다. 다음 수학식 19에서는, 플러스·마이너스의 부호의 영향을 없애기 위해서 2승 평균을 취한 것을 평가 함수로 하고 있다.
Figure 112003028992029-pct00019
또한, 실제의 전방위 화상의 촬영 장치에서는, 3대 이상의 카메라, 즉 화상 프레임이 있으며, 각 화상 프레임은, 각각의 변마다 인접 화상 프레임을 갖는다. 도 15에는, 10대의 카메라 C1, C2, …, C10으로 이루어지는 전방위 화상의 촬영 장치에 있어서, 각 카메라의 촬영 화상 프레임 I1, I2, …, I10 사이에서의 인접 관계를 나타내고 있다.
도 15에서, 실선으로 연결되어 있는 화상 프레임끼리 인접 관계에 있다. 예를 들면, 카메라 C1의 촬영 화상 프레임 I1은, 카메라 C2의 촬영 화상 프레임 I2, 카메라 C3의 촬영 화상 프레임 I3, 카메라 C4의 촬영 화상 프레임 I4 , 및 카메라 C5의 촬영 화상 프레임 I5와 인접하고 있다. 따라서, 전방위 화상을 생성하기 위해서는, 화상 프레임 I1은, 인접하는 다른 4매의 화상 프레임 I2, I3, I4, I5의 각각 사이에서 화상 접합의 최적화 처리를 행할 필요가 있다. 물론, 다른 카메라 C2 …의 촬영 화상 프레임 I2 …에 관해서도 마찬가지로, 모든 인접 화상 프레임 사이에서 최적화 처리를 행할 필요가 있다.
여기서, 화상 I가 n매의 화상 프레임 {I1, …, In}으로 이루어지고, 화상 I는 m개의 경계 E={E1, …, En}에 있어서 접합을 행할 필요가 있고, 또한 각 경계 i E에서 fj개의 특징점에서 접합을 행하는 경우에는, (iE={iaj, i bj}fi), 상기한 수학식 19로 나타낸 평가식 c는, 다음의 수학식 20과 같이 일반화된다.
Figure 112003028992029-pct00020
상기한 평가식 c의 최소값을 구하기 위해서는, 예를 들면 Levemberg-Marquadt 최소화법을 적용할 수 있다(Levemberg-Marquadt 최소화법에 관해서는, 예를 들면 J.More 저 "The levemberg-marquadt algorithm, implementation and theory"(In G.A.Watson, editor, Numerical Analysis, Lecture Notes in Mathematics 630. Springer-Verlag, 1977)를 참조하기 바란다).
도 16에는, 인접 화상을 접합하기 위한 화상 접합의 최적화 처리 순서를 흐름도의 형식으로 나타내고 있다. 이 최적화 처리 순서는,
① 특징점으로부터 얻어지는 광선 벡터를 고정하여, 화상 프레임 단위로 행하는 제1 최적화
② 광선 벡터, 즉 변환 함수 WT도 가변으로 하여, 폴리곤 단위로 행하는 제2 최적화
③ 화상 접합 후의 출력 포맷을 고려한 화소 단위로 행하는 제3 최적화라는 3단계의 최적화로 구분된다.
메쉬 카메라를 작성한 후(상술), 우선 화상 접합을 위한 특징점의 입력을 행한다(단계 S31). 특징점의 입력은 자동 또는 수동 중 어느 것이라도 무방하다. 특징점은, 예를 들면 화소 비교를 행하기 쉬운 고역 성분의 영역으로부터 선택된다.
계속해서, 추출된 각 특징점에 대한 광선 벡터를 산출한다(단계 S32). 이 단계에서는, 메쉬 카메라의 정점 이외의 특징점에 관해서는, 특징점을 둘러싸는 복수의 정점에 있어서 메쉬 카메라로 정의되어 있는 광선 벡터에 기초하여 산출된 변환 함수 WT를 이용하여, 특징점의 투영 평면 상의 xy 좌표값으로부터 직접 구한다. 변환 함수 WT에 관해서는 도 12 및 상기한 수학식 14∼17을 참조하기 바란다.
계속해서, 단계 S33에서는, 제1 단계의 최적화 처리를 행한다. 즉, 인접하는 각 화상 프레임 사이에서, 대응하는 특징점마다의 광선 벡터의 오차, 즉 광선 벡터가 이루는 각 αj를 산출함과 함께, 이들의 2승 평균을 구하여, 상기한 수학식 20에 표현한 바와 같은 평가식을 형성한다. 그리고, Levemberg-Marquadt 최소화법 등을 이용하여, 평가식이 최소가 되도록 최적화를 행한다.
단, 이 제1 단계의 최적화 처리에서는, 폴리곤의 각 정점의 광선 벡터를 고정하여 취급한다. 이 결과, 특징점에서의 광선 벡터를 구하는 변환 함수 WT를 고정하여, 최적화가 행해진다. 이것은, 화상 프레임이 강체로서 취급되는 것을 의미하고, 화상 프레임 단위로 최적화 처리를 행하는 것과 같다.
도 17에는, 수평 방향의 전방위 촬영 장치(도 2를 참조)로 촬영한 복수의 화상 프레임을 메쉬 카메라를 이용하여 화상 프레임 단위로 최적화 처리하여 접합해서 생긴 360도의 전방위 화상을 나타내고 있다. 단, 도 17에 도시하는 예에서는, 전방위 화상을 외측에서 조망하고 있다. 또한, 도 18에는, 도 17에 도시한 전방위 화상 중 소정의 시야각으로 내측에서 조망한 모습을 나타내고 있다. 또한, 도 19에는, 전천구형의 전방위 촬영 장치(도 3을 참조)로 촬영한 복수의 화상 프레임을 메쉬 카메라를 이용하여 화상 프레임 단위로 최적화 처리하여 접합해서 생긴 전천구형의 화상을 나타내고 있다.
계속해서, 단계 S34에서는, 제2 단계의 최적화 처리를 행한다. 이 제2 단계의 최적화에서는, 폴리곤의 각 정점의 광선 벡터를 가변으로서 취급하고, 폴리곤 단위로 변환 함수 WT를 변경하는 것을 허용한다. 이것은, 폴리곤 단위로 회전하는 성분을 고려하는 것을 의미하고, 폴리곤 단위로 최적화 처리를 행하는 것과 같다.
단계 S34에서는, 단계 S33과 마찬가지로, [수학식 20]을 평가식에 이용한다. 단, 단계 S34에서는, 화상 프레임 전체의 회전 R 외에, 폴리곤의 각 정점에 정의된 파라미터 θ 및 Φ을 변화시켜, 폴리곤 단위로 각 변환 함수 WT를 변경하기 때문에, 미지수가 증대하므로, Levemberg-Marquadt 최소화법 대신에, Bundle Adjustment법을 적용하는 것이 바람직하다고 사료된다. 또, Bundle Adjustment법에 관해서는, 예를 들면 B.Triggs, P. McLauchlan, R.Hartley, A.Fitsgibbon 공저의 "Bundle Adjustment--A Modern Synthesis"(Vision Algorithms: Theory and Practice, Springer Verlag, LNCS, pp.298-375, 2000)를 참조하기 바란다.
계속해서, 단계 S35에서는, 제3 단계의 최적화 처리를 행한다. 이 제3 단계의 최적화에서는, 화소 단위로 최적화를 행하는 것과, 화상 접합 후의 출력 포맷을 고려하여 최적화 처리하는 것을 특징으로 한다.
화소 단위에서는 화소값 등의 데이터를 갖지 않으므로, 정점 데이터에 기초하여 보간을 행할 필요가 있다. 일반적으로는, 투영 평면 상에서 화소 보간을 행하지만, 본 실시 형태에서는, 투영 평면이 아니라 광선 벡터를 이용하여 보간 처리를 행한다. 이 보간 처리를 위해서 "Interpolate"라는 함수를 준비한다. Interpolate 함수는, 투영 평면 상의 좌표값(x, y) 및 사용하는 카메라 모델 C를 인수로 하여, θΦ 극 좌표 공간 상에서 보간 처리를 행하여, 결과를 θΦ 극 좌표값으로 돌려 준다.
도 20에는, Interpolate 함수의 처리 순서를 간결하게 흐름도의 형식으로 정리하고 있다. 우선, 카메라 모델 C를 이용하여 화소 위치(x, y) 및 그 인접 화소의 위치를 θΦ 극 좌표 공간으로 변환한다(단계 S41). 그리고, θΦ 회전 공간(단위구면) 상에서 θ 및 Φ의 보간을 행한다(단계 S42).
투영 평면 상에서 보간을 행하면, 사용한 카메라 모델 C나 그 왜곡 파라미터의 영향을 받지만, 이에 대하여 광선 벡터를 이용하여 보간을 행함으로써, 이들로부터의 영향을 배제할 수 있다.
도 21에는, 핀홀 카메라인 경우를 예로 들어 광선 벡터의 보간을 행하는 모습을 나타내고 있다. 도 21에서, 투영 평면 상에 있어서 보간의 대상이 되는 위치(x, y)를 Px, y로 하고, 이에 인접하는 각 정점을 각각 PX, Y, PX+1, Y, PX, Y+1, PX+1, Y+1로 둔다. 이러한 경우, 내분비 αx 및 αy는, 다음 수학식 21과 같이 표현된다. 단, 주점을 (px, py)로 하고, 초점 거리를 (fx, fy)로 한다.
Figure 112003028992029-pct00021
여기서, PX, Y 및 PX+1, Y를 이용하여 보간한 광선 벡터 PY는, αx 를 이용하여 다음 수학식 22와 같이 표현된다.
Figure 112003028992029-pct00022
또한, PX, Y+1 및 PX+1, Y+1을 이용하여 보간한 광선 벡터 PY+1은, αx 를 이용하여 다음 수학식 23과 같이 표현된다.
Figure 112003028992029-pct00023
그리고, 이들 PY 및 PY+1, 및 내분비 αy를 이용하여, 광선 벡터 Px, y를 다음 수학식 24와 같이 표현할 수 있다.
Figure 112003028992029-pct00024
Px, y를 RayToImage 함수를 이용하여 투영 평면 상의 화소 위치(x, y)로 변환할 수 있다.
출력 포맷은, 복수의 화상 프레임을 접합하여 이루어지는 화상 데이터를 맵핑하는 포맷을 의미한다. 예를 들면, 전방위형의 촬영 장치가, 예를 들면 도 2에 도시한 바와 같은 180도의 전체 주위 화상을 촬영하는 타입인 경우에는, 원통의 표면을 출력 포맷으로 해도 된다. 또는 전천구형의 화상을 촬영하는 타입인 경우에는, 구면을 출력 포맷으로 할 수 있다. 물론, 출력 포맷이 촬영 장치의 입력 포맷과 동일할 필요는 반드시 없다.
도 22∼도 25에는, 마찬가지의 전방위 화상의 출력 포맷을, 각각 정사면체의 표면, 정20면체의 표면, 정12면체의 표면, 및 구의 표면으로 한 경우의 텍스쳐 맵핑예를 나타내고 있다.
도 22∼도 25로부터도 알 수 있는 바와 같이, 출력 포맷은 임의의 비평면이고, 원화상의 화소 위치에 따라 맵핑 후의 입체각 Ω은 상위하다. 또한, 원화상의 시점에서도 각 화소가 갖는 신뢰성 w는 제각각이다.
따라서, 본 실시 형태에서는, 제3 단계의 최적화 처리 과정에서, 화소 단위 로 최적화를 행하는데 있어서, ImageToRay 함수를 이용하여 화소 위치(x, y)를 광선 벡터 r로 변환하여 취급한다. 또한, 각 화소 r이 갖는 광 강도를 함수 l(r)로 하고, 각 화소가 갖는 신뢰성을 w(r)로 한다. 이 경우의 평가식은, 다음 수학식 25와 같이 나타낼 수 있다. 단, 출력 포맷은, w×h 화소 사이즈이고, 원화상(카메라의 대 수)은 n으로 한다.
Figure 112003028992029-pct00025
이 평가식은, 인접 화상 프레임 사이에서의 대응하는 광 벡터가 갖는 광 강도의 오차의 2승을 구하는 것으로, 계산 시에, 각 화소가 갖는 신뢰성과, 출력 포맷에 의존하는 출력 포맷의 원점과 각 화소로 구성되는 입체각 Ωi, j를 고려하고 있다. 이 평가식의 최소값을 구함으로써, 화상의 접합의 최적화를 화소 단위로 행할 수 있다.
또, 상기한 평가식의 최적화 처리에는, Levemberg-Marquadt 최소화법(상술)을 적용할 수 있다.
추보
이상, 특정한 실시예를 참조하면서, 본 발명에 대하여 상세히 설명하였다. 그러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 해당 실시예의 수정이나 대용을 할 수 있는 것은 자명하다. 즉, 예시라는 형태로 본 발명을 개시한 것이며, 한정적으로 해석되어서는 안된다. 본 발명의 요지를 판단하기 위해서는, 특 허 청구의 범위의 란을 참작해야 한다.
본 발명에 따르면, 복수의 카메라를 이용하여 공간 상의 인접하는 영역을 촬영한 화상끼리 적합하게 접합할 수 있는, 우수한 화상 처리 장치 및 화상 처리 방법, 기억 매체, 및 컴퓨터 프로그램을 제공할 수 있다.
또한, 본 발명에 따르면, 렌즈 왜곡이나 카메라 모델이 다른 다양한 카메라의 촬영 화상을 적합하게 접합 처리할 수 있는, 우수한 화상 처리 장치 및 화상 처리 방법, 기억 매체, 및 컴퓨터 프로그램을 제공할 수 있다.
또한, 본 발명에 따르면, 렌즈 왜곡이나 카메라 모델이 다른 다양한 카메라의 촬영 화상을, 핀홀 카메라 등 다른 카메라 모델의 촬영 화상으로 변환하거나 하여 화상을 열화시키지 않고 접합 처리할 수 있는, 우수한 화상 처리 장치 및 화상 처리 방법, 기억 매체, 및 컴퓨터 프로그램을 제공할 수 있다.

Claims (16)

  1. 서로 다른 카메라들에 의해 촬영된 복수의 화상 프레임을 접합하는 화상 처리 장치로서,
    카메라 모델에 기초하여, 투영 평면 상의 폴리곤의 정점 좌표들과 이에 대응하는 광선 벡터 좌표들 사이의 대응 관계를 미리 수립하는 메쉬 카메라를 생성하는 메쉬 카메라 생성 수단과,
    화상 촬영을 위해 사용된 상기 카메라들에 의해 투영 평면의 한 점(a point)에 투영되는 광선 벡터를, 상기 메쉬 카메라에 기초하여 산출하는 광선 벡터 산출 수단과,
    상기 화상 프레임들을 접합하기 위해, 인접하는 화상 프레임에서 특징점의 광선 벡터로부터 구해진 정보의 오차를 최소화하고, 출력 포맷 면에 매핑된 접합된 화상 프레임들의 폴리곤의 정점 좌표들의 광선 벡터를 가변으로 함으로써, 출력 포맷에 기초하여 평가식을 최적화하는 최적화 수단
    을 포함하는 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 메쉬 카메라 생성 수단은, 상기 카메라 각각의 투영 평면을 무수한 폴리곤으로 분할하고, 상기 최적화 수단은, 폴리곤의 정점에서의 광선 벡터에 기초하여 폴리곤 내의 개개의 점에 대한 투영 평면 상의 좌표값을 변환하는 변환 함수를 결정하고, 상기 변환 함수를 이용하여 상기 특징점들에서 광선 벡터를 산출하는 것을 특징으로 하는 화상 처리 장치.
  3. 제2항에 있어서,
    상기 최적화 수단은, 특징점으로부터 광선 벡터로의 변환 함수를 폴리곤 단위로 계산하고, 상기 변환 함수를 고정한 채 특징점들에서의 광선 벡터에 기초한 정보의 오차가 최소가 되도록 화상 프레임 단위로의 최적화 처리를 행하는 것을 특징으로 하는 화상 처리 장치.
  4. 제2항에 있어서,
    상기 최적화 수단은, 특징점으로부터 광선 벡터로의 변환 함수를 폴리곤 단위로 계산함과 함께, 상기 변환 함수를 가변으로 하여 특징점들에서의 광선 벡터에 기초한 정보의 오차가 최소가 되도록 폴리곤 단위로 최적화 처리를 행하는 것을 특징으로 하는 화상 처리 장치.
  5. 제2항에 있어서,
    상기 최적화 수단은, 각각의 화소가 갖는 광 강도와, 각각의 화소가 갖는 신뢰성과, 출력 포맷면 상에서 각각의 화소가 갖는 입체각을 고려하여, 상기 평가식을 최소화하는 것을 특징으로 하는 화상 처리 장치.
  6. 서로 다른 카메라들에 의해 촬영된 복수의 화상 프레임을 접합하는 화상 처리 방법으로서,
    카메라 모델에 기초하여, 투영 평면 상의 폴리곤의 정점 좌표들과 이에 대응하는 광선 벡터 좌표들 사이의 대응 관계를 미리 수립하는 메쉬 카메라를 생성하는 메쉬 카메라 생성 단계와,
    화상 촬영을 위해 사용된 상기 카메라들에 의해 투영 평면의 한 점에 투영되는 광선 벡터를 상기 메쉬 카메라에 기초하여 산출하는 광선 벡터 산출 단계와,
    상기 화상 프레임들을 접합하기 위해, 인접하는 화상 프레임에서 특징점의 광선 벡터로부터 구해진 정보의 오차를 최소화하고, 출력 포맷 면에 매핑된 접합된 화상 프레임들의 폴리곤의 정점 좌표들의 광선 벡터를 가변으로 함으로써, 출력 포맷에 기초하여 평가식을 최적화하는 최적화 단계
    를 포함하는 것을 특징으로 하는 화상 처리 방법.
  7. 제6항에 있어서,
    상기 메쉬 카메라 생성 단계는, 상기 카메라 각각의 투영 평면을 무수한 폴리곤으로 분할하는 단계를 더 포함하고, 상기 최적화 단계는, 폴리곤의 정점에서의 광선 벡터에 기초하여 폴리곤 내의 개개의 점에 대한 투영 평면 상의 좌표값을 변환하는 변환 함수를 결정하고, 상기 변환 함수를 이용하여 상기 특징점들에서 광선 벡터를 산출하는 단계를 더 포함하는 것을 특징으로 하는 화상 처리 방법.
  8. 제7항에 있어서,
    상기 최적화 단계는, 특징점으로부터 광선 벡터로의 변환 함수를 폴리곤 단위로 계산하는 단계와, 상기 변환 함수를 고정한 채 특징점들에서의 광선 벡터에 기초한 정보의 오차가 최소가 되도록 화상 프레임 단위로의 최적화 처리를 행하는 단계를 더 포함하는 것을 특징으로 하는 화상 처리 방법.
  9. 제7항에 있어서,
    상기 최적화 단계는, 특징점으로부터 광선 벡터로의 변환 함수를 폴리곤 단위로 계산하는 단계를 더 포함하고, 그 변환 함수를 가변으로 하여 특징점들에서의 광선 벡터에 기초한 정보의 오차가 최소가 되도록 폴리곤 단위로 최적화 처리를 행하는 단계를 더 포함하는 것을 특징으로 하는 화상 처리 방법.
  10. 제7항에 있어서,
    상기 최적화 단계는, 각각의 화소가 갖는 광 강도와, 각각의 화소가 갖는 신뢰성과, 출력 포맷면 상에서 각각의 화소가 갖는 입체각을 고려하여, 상기 평가식이 최소가 되도록 하는 단계를 더 포함하는 것을 특징으로 하는 화상 처리 방법.
  11. 서로 다른 카메라들에 의해 촬영된 복수의 화상 프레임을 접합하는 방법을 컴퓨터 시스템 상에서 실행하도록 기록된 컴퓨터 소프트웨어를 컴퓨터 판독가능한 형식으로 물리적으로 저장한 컴퓨터 판독가능 매체로서,
    상기 방법은,
    카메라 모델에 기초하여, 투영 평면 상의 폴리곤의 정점 좌표들과 이에 대응하는 광선 벡터 좌표들 사이의 대응 관계를 미리 수립하는 메쉬 카메라를 생성하는 메쉬 카메라 생성 단계와,
    화상 촬영을 위해 사용된 상기 카메라들에 의해 투영 평면의 한 점에 투영되는 광선 벡터를 상기 메쉬 카메라에 기초하여 산출하는 광선 벡터 산출 단계와,
    상기 화상 프레임들을 접합하기 위해, 인접하는 화상 프레임에서 특징점의 광선 벡터로부터 구해진 정보의 오차를 최소화하고, 출력 포맷 면에 매핑된 접합된 화상 프레임들의 폴리곤의 정점 좌표들의 광선 벡터를 가변으로 함으로써, 출력 포맷에 기초하여 평가식을 최적화하는 최적화 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
KR1020037010356A 2001-12-07 2002-11-21 화상 처리 장치 및 화상 처리 방법, 및 기억 매체 KR100924411B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001375035A JP3975736B2 (ja) 2001-12-07 2001-12-07 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JPJP-P-2001-00375035 2001-12-07
PCT/JP2002/012150 WO2003049030A1 (fr) 2001-12-07 2002-11-21 Dispositif de traitement d'image, procede de traitement d'image, procede de stockage et programme informatique

Publications (2)

Publication Number Publication Date
KR20040065525A KR20040065525A (ko) 2004-07-22
KR100924411B1 true KR100924411B1 (ko) 2009-10-29

Family

ID=19183488

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020037010356A KR100924411B1 (ko) 2001-12-07 2002-11-21 화상 처리 장치 및 화상 처리 방법, 및 기억 매체

Country Status (7)

Country Link
US (1) US7426317B2 (ko)
EP (1) EP1453001B1 (ko)
JP (1) JP3975736B2 (ko)
KR (1) KR100924411B1 (ko)
CN (1) CN100437639C (ko)
DE (1) DE60239560D1 (ko)
WO (1) WO2003049030A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200075190A (ko) 2018-12-17 2020-06-26 서강대학교산학협력단 Gpu를 기반으로 한 결정 트리를 이용한 대응점 탐색 방법

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202593A (ja) * 2004-01-14 2005-07-28 Seiko Epson Corp 画像処理装置、プログラム及び方法
KR101042638B1 (ko) * 2004-07-27 2011-06-20 삼성전자주식회사 파노라마 영상 생성을 위한 디지털 촬상장치 및 그 생성방법
JP4671027B2 (ja) * 2005-05-02 2011-04-13 ソニー株式会社 認証装置、認証方法及びプログラム
JP4250620B2 (ja) * 2005-07-29 2009-04-08 キヤノン株式会社 情報処理方法および装置
US20070031063A1 (en) * 2005-08-05 2007-02-08 Hui Zhou Method and apparatus for generating a composite image from a set of images
JP4783620B2 (ja) * 2005-11-24 2011-09-28 株式会社トプコン ３次元データ作成方法及び３次元データ作成装置
JP4966542B2 (ja) * 2005-12-22 2012-07-04 株式会社トプコン 位置データ補間方法及び位置測定装置
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
US20070248277A1 (en) * 2006-04-24 2007-10-25 Scrofano Michael A Method And System For Processing Image Data
CN101606177B (zh) 2007-01-04 2013-07-17 鸣川肇 信息处理方法
CN101731004B (zh) * 2007-04-23 2012-07-04 夏普株式会社 摄像装置、控制方法以及便携式终端
KR101014572B1 (ko) * 2007-08-27 2011-02-16 주식회사 코아로직 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
AT508563B1 (de) * 2009-10-07 2011-02-15 Ait Austrian Inst Technology Verfahren zur aufnahme dreidimensionaler abbilder
CN102111561A (zh) * 2009-12-25 2011-06-29 新奥特（北京）视频技术有限公司 一种模拟真实场景的三维模型投影方法及装置
JP5690539B2 (ja) 2010-09-28 2015-03-25 株式会社トプコン 自動離着陸システム
US8872888B2 (en) 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
JP5618840B2 (ja) 2011-01-04 2014-11-05 株式会社トプコン 飛行体の飛行制御システム
JP5770486B2 (ja) 2011-02-21 2015-08-26 株式会社トプコン 全周画像計測装置
CN102694968B (zh) * 2011-03-25 2016-03-30 中山市云创知识产权服务有限公司 摄像装置及其环景监控方法
JP5775354B2 (ja) 2011-04-28 2015-09-09 株式会社トプコン 離着陸ターゲット装置及び自動離着陸システム
US8711186B2 (en) * 2011-05-02 2014-04-29 Microvision, Inc. Scanning projection apparatus with tangential compensation
EP2541356B1 (en) * 2011-06-30 2013-08-28 Axis AB Processing monitoring data in a monitoring system
CN102340633B (zh) * 2011-10-18 2013-07-03 深圳市远望淦拓科技有限公司 一种利用多台摄像机生成鱼眼效果图片的方法
EP2793680A2 (en) * 2011-12-21 2014-10-29 Koninklijke Philips N.V. Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope
US8818101B1 (en) * 2012-01-03 2014-08-26 Google Inc. Apparatus and method for feature matching in distorted images
US9373051B2 (en) 2012-06-14 2016-06-21 Insitu, Inc. Statistical approach to identifying and tracking targets within captured image data
US9380275B2 (en) 2013-01-30 2016-06-28 Insitu, Inc. Augmented video system providing enhanced situational awareness
US20160366393A1 (en) * 2015-06-11 2016-12-15 Intel IP Corporation Three-dimensional advanced imaging
US10512395B2 (en) * 2016-04-29 2019-12-24 Carl Zeiss Meditec, Inc. Montaging of wide-field fundus images
WO2018067952A1 (en) * 2016-10-07 2018-04-12 Vid Scale, Inc. Geometry conversion and frame packing associated with 360-degree videos
JP6900609B2 (ja) * 2016-12-06 2021-07-07 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 広角画像を修正するシステム及び方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5987164A (en) 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3104327B2 (ja) * 1991-10-18 2000-10-30 松下電器産業株式会社 歪曲収差補正装置および画像合成装置
DE69324224T2 (de) * 1992-12-29 1999-10-28 Koninkl Philips Electronics Nv Bildverarbeitungsverfahren und -vorrichtung zum Erzeugen eines Bildes aus mehreren angrenzenden Bildern
JP3321941B2 (ja) * 1993-11-11 2002-09-09 三菱電機株式会社 画像合成装置
FR2714502A1 (fr) * 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
JP3395564B2 (ja) * 1997-03-05 2003-04-14 三菱電機株式会社 画像合成装置
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
JP3957888B2 (ja) * 1997-08-20 2007-08-15 株式会社リコー 撮像装置及び撮像画像合成方法
JP2000067227A (ja) * 1998-08-25 2000-03-03 Canon Inc 画像表示装置、方法および記憶媒体
JP2000115639A (ja) * 1998-10-06 2000-04-21 Ricoh Co Ltd 画像入力装置及びその方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5987164A (en) 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200075190A (ko) 2018-12-17 2020-06-26 서강대학교산학협력단 Gpu를 기반으로 한 결정 트리를 이용한 대응점 탐색 방법

Also Published As

Publication number Publication date
JP2003178298A (ja) 2003-06-27
DE60239560D1 (de) 2011-05-05
CN1496535A (zh) 2004-05-12
CN100437639C (zh) 2008-11-26
EP1453001A4 (en) 2007-09-19
WO2003049030A1 (fr) 2003-06-12
US20040076340A1 (en) 2004-04-22
US7426317B2 (en) 2008-09-16
EP1453001A1 (en) 2004-09-01
EP1453001B1 (en) 2011-03-23
KR20040065525A (ko) 2004-07-22
JP3975736B2 (ja) 2007-09-12

Similar Documents

Publication Publication Date Title
KR100924411B1 (ko) 화상 처리 장치 및 화상 처리 방법, 및 기억 매체
US7583288B2 (en) Panoramic video
US8326077B2 (en) Method and apparatus for transforming a non-linear lens-distorted image
Raskar et al. Multi-projector displays using camera-based registration
US7483590B2 (en) Image processing apparatus and image processing method for non-planar image, storage medium, and computer program
WO2019049421A1 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
WO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
Nielsen Surround video: a multihead camera approach
WO2020235110A1 (ja) キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法
JP3352475B2 (ja) 画像表示装置
JP4403421B2 (ja) 画像処理装置及び画像処理方法
JP2002203254A (ja) 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体
CN116245734A (zh) 全景图像生成方法、装置、设备和存储介质
JP3660108B2 (ja) 画像保存方法及び機械読み取り可能媒体
JP3387900B2 (ja) 画像処理方法及び装置
JPH10208074A (ja) 画像生成方法
Yuan et al. A novel method for geometric correction of multi-cameras in panoramic video system
JP2002203237A (ja) 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体
Nielsen High resolution full spherical videos
Ekpar A framework for interactive virtual tours
US11900635B2 (en) Organic camera-pose mapping
JPH1173492A (ja) 座標変換方法、画像合成方法及び情報記録媒体
WO2021080096A1 (ko) 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템
JP4325108B2 (ja) 撮像画像合成装置および方法
JP2002216163A (ja) 任意視点によるパノラマ画像の生成方法、コンピュータプログラム及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121015

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee