KR20100109525A

KR20100109525A - 촬상 장치, 촬상 제어 방법, 및 기록 매체

Info

Publication number: KR20100109525A
Application number: KR1020100029167A
Authority: KR
Inventors: 미쓰야스 나카지마
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2009-03-31
Filing date: 2010-03-31
Publication date: 2010-10-08
Also published as: JP4775474B2; KR101095361B1; US8441518B2; CN101917547A; TWI423653B; CN101917547B; TW201044858A; JP2010239564A; US20100245544A1

Abstract

본 발명은 촬상 장치, 촬상 제어 방법, 및 기록 매체에 관한 것으로서, 본 발명의 촬상 장치는, 촬상부에 의해 촬상하도록 제어하는 제1 촬상 제어 수단과; 상기 제1 촬상 제어 수단에 의한 촬상 후, 이 촬상된 피사체의 3차원 화상을 생성하기 위해 필요한 상기 촬상부의 이동 거리를 취득하는 취득 수단과; 상기 취득 수단에 의해 취득된 이동 거리를 상기 촬상부가 이동했는지의 여부를 판정하는 제1 판정 수단과; 상기 제1 판정 수단에 의해 이동했다고 판정된 경우에, 상기 촬상부에 대하여 촬상을 행하도록 제어하는 제2 촬상 제어 수단과; 상기 제1 촬상 제어 수단에 의해 촬상된 화상과, 상기 제2 촬상 제어 수단에 의해 촬상된 화상으로부터 3차원 화상을 생성하는 3차원 화상 생성 수단을 구비한 것을 특징으로 한다.

Description

촬상 장치, 촬상 제어 방법, 및 기록 매체{IMAGING APPARATUS, IMAGING CONTROL METHOD, AND RECORDING MEDIUM}

본 발명은, 촬상 장치, 촬상 제어 방법, 및 기록 매체에 관한 것이다.

3D 모델링은, 인간이나, 동물, 또는 미술품 등의 입체상을 얻게 되었을 때, 카메라로 실제 존재하는 피사체를 촬영하고, 3차원 좌표를 취득하는 기술이다.

물체의 3차원적인 위치를 검출하는 방법으로서 2대의 카메라를 사용한 스테레오 화상 방식이 오래전부터 알려져 있다. 예를 들면, 특허 문헌 1(일본 특허출원 공개번호 평07-167633호 공보)에 기재된 스테레오 화상 방식에서는, 2대의 카메라의 간격과, 2대의 카메라로 각각 촬영한 물체의 화상에 있어서의 특정 부위가 다르게 보이는데 따른 차이(시차(視差))로부터, 물체와 카메라의 거리(깊이)를 구한다. 그리고, 이 거리를 기초로 물체의 3D 모델을 구축한다.

그러나, 원하는 시차를 가진 복수의 화상을 취득하기 위해서는, 복수대의 카메라 또는 복수의 촬상부를 가진 카메라를 필요로 하므로, 그 규모가 크며, 특별한 기재가 필요한 문제점이 있었다.

일본 특허출원 공개번호 평07-167633호 공보

본 발명은, 전술한 문제점을 해결하기 위해 이루어진 것이며, 그 규모가 크지 않으면서 특별한 기재를 사용하지 않고 정밀도가 높은 3D 모델을 취득할 수 있는 촬상 장치를 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위하여, 본 발명의 제1 관점에 따른 촬상 장치는, 촬상 수단과; 촬상 수단에 의해 촬상하도록 제어하는 제1 촬상 제어 수단과; 상기 제1 촬상 제어 수단에 의한 촬상 후, 이 촬상된 피사체의 3차원 화상을 생성하기 위해 필요한 상기 촬상부의 이동 거리를 취득하는 취득 수단과; 상기 취득 수단에 의해 취득된 이동 거리를 상기 촬상부가 이동했는지의 여부를 판정하는 제1 판정 수단과; 상기 제1 판정 수단에 의해 이동했다고 판정된 경우에, 상기 촬상부에 대하여 촬상을 행하도록 제어하는 제2 촬상 제어 수단과; 상기 제1 촬상 제어 수단에 의해 촬상된 화상과, 상기 제2 촬상 제어 수단에 의해 촬상된 화상으로부터 3차원 화상을 생성하는 3차원 화상 생성 수단을 구비한 것을 특징으로 한다.

상기 목적을 달성하기 위하여, 본 발명의 제2 관점에 따른 촬상 제어 방법은, 촬상부에 의해 촬상하도록 제어하는 제1 촬상 제어 단계와; 상기 제1 촬상 제어 단계에서의 촬상 후, 이 촬상된 피사체로부터 상기 피사체의 3차원 화상을 생성하기 위해 필요한 상기 촬상부의 이동 거리를 취득하는 취득 단계와; 상기 취득 단계에서 취득된 이동 거리를 상기 촬상부가 이동했는지의 여부를 판정하는 판정 단계와; 상기 판정 단계에서 이동했다고 판정된 경우에, 상기 촬상부에 의한 촬상을 행하도록 제어하는 제2 촬상 제어 단계와; 상기 제1 촬상 제어 단계에서 촬상된 화상과, 상기 제2 촬상 제어 단계에서 촬상된 화상으로부터 3차원 화상을 생성하는 3차원 화상 생성 단계를 포함하는 것을 특징으로 한다.

상기 목적을 달성하기 위하여, 본 발명의 제3 관점에 따른 기록 매체는, 촬상 장치가 구비하는 컴퓨터를,

촬상부에 의해 촬상하도록 제어하는 제1 촬상 제어 수단; 상기 제1 촬상 제어 수단에 의한 촬상 후, 이 촬상된 피사체로부터 상기 피사체의 3차원 화상을 생성하기 위해 필요한 상기 촬상 장치의 이동 거리를 취득하는 취득 수단; 상기 취득 수단에 의해 취득된 이동 거리를 상기 촬상 장치가 이동했는지의 여부를 판정하는 판정 수단; 상기 판정 수단에 의해 이동했다고 판정된 경우에, 촬상을 행하도록 제어하는 제2 촬상 제어 수단; 및 상기 제1 촬상 제어 수단에 의해 촬상된 화상과, 상기 제2 촬상 제어 수단에 의해 촬상된 화상으로부터 3차원 화상을 생성하는 3차원 화상 생성 수단으로서 기능하게 하는 것을 특징으로 하는 프로그램이 기록된 기록 매체이다.

본 발명에 의하면, 규모가 크지 않으면서, 특별한 기재를 사용하지 않고 정밀도가 높은 3D 모델을 취득할 수 있는 촬상 장치를 제공할 수 있다.

도 1은 본 발명의 실시예 1에 따른 디지털 카메라의 일례의 외관을 나타낸 도면이다. 도 1의 (A)는 정면도, 도 1의 (B)는 배면도, 도 1의 (C)는 상면도이다.
도 2는 디지털 카메라의 회로 구성의 일례를 나타낸 블록도이다.
도 3은 본 발명의 실시예 1에 따른 장치의 동작에 대하여 설명하기 위한 흐름도이다.
도 4는 3D 모델링 처리에 대하여 설명하기 위한 흐름도이다.
도 5는 3D 모델링 처리를 위한 좌표계를 나타낸 도면이다.
도 6은 본 발명의 실시예 2에 따른 라이브뷰 화상 정보로부터 카메라 위치를 추정하여 3D 모델링을 행하는 방법에 대하여 설명하기 위한 흐름도이다.
도 7은 3D 모델링 처리에 대하여 설명하기 위한 흐름도이다.
도 8은 본 발명의 실시예 3에 따른 3D 모델링 방법을 설명하는 흐름도이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 설명한다.

(실시예 1)

본 발명의 실시예 1에 따른 디지털 카메라(1)는, 도 1의 (A)에 나타낸 바와 같이, 정면 측에 광학계(촬상 렌즈)(2)를 가지고 있다.

또한, 도 1의 (B)에 나타낸 바와 같이, 디지털 카메라(1)의 배면에는, 메뉴 키(3), 표시부(4), 커서 키(5), SET 키(6), 및 3D 모델링 모드 키(7)가 설치되어 있다. 3D 모델링 모드 키(7)는, 누름으로써 통상 촬영 모드와 3D 모델링 모드로 전환한다.

또한, 도 1의 (C)에 나타낸 바와 같이, 상면에는, 셔터 키(9)와 전원 버튼(8)이 설치되어 있다.

도 2는, 도 1에 나타낸 디지털 카메라(1)의 회로 구성의 일례를 나타낸 블록도이다.

도 2에 있어서, 디지털 카메라(1)는, 촬상부(210), CPU(201), 플래시 메모리(203), 작업 메모리(204), 표시 제어부(205), 키 입력부(202), 화상 엔진(220), 및 센서(231)를 버스(210a)에 의해 접속하여 구성된다.

촬상부(210)는, 광학계(2), 광학계 구동 제어부(211), CMOS 센서(212), 및 ISP(Image Signal Processor)(213)에 의해 구성된다.

광학계(2)에 의해 CMOS 센서(212)의 촬상면 상에 피사체의 광상이 결상된다.

광학계 구동 제어부(211)는 광학계(2)를 제어한다. 광학계(2) 및 광학계 구동 제어부(211)의 내부 구성의 도시는 생략하지만, 광학계 구동 제어부(211)는, 배율을 조정하는 줌 모터, 초점을 맞추는 초점 맞춤 모터, 조리개를 조정하는 조리개 제어부, 셔터 속도 제어부 등을 구비하고 있다.

CMOS 센서(212)는, 광학계(2)에 의해 결상된 광상을 광전 변환하고, 또한 A/D 변환하여, 디지털 데이터로 만든다.

ISP(213)는, 상기 디지털 데이터에 대하여 색의 조정, 데이터 포맷 변환을 행하고, 휘도 신호 Y, 색차 신호 Cb, Cr로 변환한다.

CPU(201)는, 디지털 카메라(1) 전체의 제어 동작을 맡고 있다.

CPU(201)는, 키 입력부(202)의 조작에 대응하여 프로그램 메모리(도시 생략)에 저장되어 있는 각 모드에 대응하는 동작 프로그램이나 메뉴 데이터를 인출한다. 그리고, 이 인출한 동작 프로그램이나 메뉴 데이터에 기초하여 디지털 카메라(1)의 각 부의 제어를 행한다. 이 동작 프로그램에는, 3D 모델링 모드 시의 촬상 제어 프로그램이 포함된다.

키 입력부(202)는, 도 1의 (B)에 나타내는 메뉴 키(3), 커서 키(5), SET 키(6), 3D 모델링 모드 키(7), 전원 버튼(8), 및 셔터 키(9)의 각 키의 조작을 입력하여, CPU(201)에 통지한다.

작업 메모리(204)는, DRAM 등으로 구성되어 있고, CPU(201)에 의해 촬상부(210)로부터의 출력(Y, Cb, Cr의 데이터)이 전송된다.

플래시 메모리(203)는, 화상 엔진(220)의 JPEG 압축부(도시 생략)에 의해 부호화된 촬영 화상 데이터, 및 3D 모델링 모드로 생성된 3D 모델링 데이터를 저장한다.

표시 제어부(205)는, VRAM(206) 및 표시부(4)를 접속하고 있다. 표시 제어부(205)는, VRAM(206)으로부터 RGB 형식의 표시 데이터를 인출하고, 표시부(4)에 표시한다.

화상 엔진(220)은, DSP(디지털·시그널 프로세서) 등으로 구성되어 있다. 이 화상 엔진(220)은, 작업 메모리(204) 내에 저장되어 있는 Y, Cb, Cr의 각 데이터를 RGB 형식으로 변환한 후, 표시 제어부(205)를 통하여 VRAM(206)에 전송한다.

센서(231)는, 각속도 센서 및 가속도 센서로 구성된다. 각속도 센서는 디지털 카메라(1)의 회전의 유무를 검출하기 위해 사용된다. 한편, 가속도 센서는 촬영 시에 있어서의 평행 이동 거리를 산출하기 위해 사용된다.

즉, CPU(201)는, 각속도 센서에 의한 검출 결과, 디지털 카메라(1)가 촬영하는 화각의 광축이 실질적으로 평행이 아니게 될(즉, 디지털 카메라(1)가 평행 이동하지 않게 될) 경우, 가속도 센서에 의해 검출·취득된 가속도로부터 디지털 카메라(1)가 촬영하는 화각의 평행 이동 거리를 취득한다.

다음으로, 도 3을 참조하여 전술한 실시예 1에 따른 디지털 카메라(1)의 동작에 대하여 설명한다.

사용자에 의한 3D 모델링 모드 키(7)의 조작을 검출함으로써, 3D 모델링 모드가 선택되면, CPU(201)는, 도 3에 나타내는 3D 모델링의 처리를 개시한다(단계 S301). 먼저, CPU(201)는, 이 3D 모델링 모드 개시 시에, 기록 지시가 검출되었는지의 여부를 판단한다(단계 S302). 구체적으로는, 사용자에 의한 셔터 키(9)의 조작이 검출되었는지의 여부를 판단하고, 조작이 검출되지 않은 경우(단계 S302; NO), 검출될 때까지 대기한다.

사용자가 촬영 대상에 대하여 디지털 카메라(1)를 향하게 하고 셔터 키(9)를 조작함으로써, CPU(201)가 기록 지시를 검출하면(단계 S302; YES), CPU(201)는, 광학계 구동 제어부(211)에 의해 촬영 대상에 대하여 광학계(2)의 초점을 맞춤으로써 초점 거리 f를 취득하고, 또한 이 취득된 초점 거리 f에 광학계(2)의 배율을 곱하여, 디지털 카메라(1)로부터 촬영 대상까지의 거리 Z를 산출한다(단계 S303). 그리고, 촬상부(210)로부터 촬영 화상을 입력한다(단계 S304). 이 때의 촬영 화상을 대상 화상 A로 한다.

이어서, CPU(201)는, 3D 모델링에 필요한 디지털 카메라(1)의 평행 이동 거리 L을, 이하의 식 (1)을 사용하여 산출한다(단계 S305).

L=(Z·Z·p)/(ΔZ·f) ···(1)

그리고, 상기 식에 있어서, p는 촬상 소자의 픽셀 사이즈이다. 또한, ΔZ는, 3D 모델링을 행하는 경우에 허용되는 평행 이동에 대한 허용 오차이다.

예를 들면, 거리 Z를 1m, 픽셀 사이즈 p를 4um, 초점 거리 f를 6mm, 허용 오차 ΔZ를 5cm로 하면, 평행 이동 거리 L은 13mm가 된다. 즉, 대상물까지의 거리가 1m인 경우, 대상 화상 A를 판독한 후, 13mm만큼 평행 이동한 후의 화각을 받아들이면 양호한 3D 모델링 처리가 가능하게 된다.

CPU(201)는, 디지털 카메라(1) 자체의 평행 이동의 개시를 검출하면, 상기 식 (1)에서 산출된 평행 이동 거리 L에 상당하는 거리를 이동했는지의 여부를, 가속도 센서로부터 출력되는 가속도에 기초하여 판정한다(단계 S306). 또한, 이동 거리가 L에 도달하지 않은 경우(단계 S306; NO)는, CPU(201)는, 이동 거리가 L에 도달할 때까지 대기한다. 또한, CPU(201)는, 이와 병행하여 각속도 센서에 의한 소정 각도 이상의 회전이 검지되고, 광축이 실질적으로 평행이 아니게 되었는지의 여부도 판단한다. 그리고, CPU(201)는, 소정 각도 이상 회전했다고 판단하면 실패한 것을 통지한다.

CPU(201)는, 평행 이동 거리 L에 상당하는 거리를 이동했다고 판단하면(단계 S306; YES), 기준 화상 B를 취득하기 위한 촬상을 행한다(단계 S307). 다음으로, CPU(201)는, 사용자에게 촬영이 종료한 취지를 알릴 수 있도록 알람을 울리고(단계 S308), 대상 화상 A, 기준 화상 B, 및 센서(231)로부터의 정보를 사용하여 3D 모델링을 행한다(단계 S309).

도 4를 참조하여 상기 3D 모델링 처리에 대하여 설명한다.

먼저, CPU(201)는, 대상 화상 A 상에 있어서 특징점 후보의 취득을 행한다(단계 S401).

이 특징점 후보의 취득은, 어떠한 방법으로 행해도 되지만, 본 실시예에 있어서는, 널리 알려져 있는 해리스의 코너 검출 함수(Harris corner detector)를 사용하여 다음과 같이 하여 행한다.

CPU(201)는, 취득된 대상 화상 A의 특징점 후보에 대응하는 기준 화상 B의 특징점 후보를, 널리 알려져 있는 템플레이트 매칭으로 취득한다. 다음으로, CPU(201)는, 이들 취득된 특징점 후보 중, 상이도가 소정의 임계값 이하로 되는 것을 이하의 방법에 의해 선택한다(단계 S402).

여기서, 도 5를 참조하여 전술한 3D 모델링 처리를 위해 도입되는 3차원 좌표계를 설명한다.

도 5에 있어서, 부호 "501"은 대상 화상 A이며, 부호 "502"는 기준 화상 B이다. 부호 t'는 이동 벡터이다. 3D 모델링 대상 화상에 있어서의 상기 특징점의 하나의 3차원 좌표를 M으로 한다. 이 M에 대응하는 대상 화상 A의 화소 위치를 m, 기준 화상 B의 화소 위치를 m'로 가정하면, M은, 이하의 식 (2) 및 (3)을 풀어서 구한다.

m∼P·M ····(2)

m'∼P'·M ····(3)

[수식 1]

그리고, trans는 전치 행렬(transposed matrix)인 것을 의미하고, ∼는, 그 양 변이 정수배의 차이를 허용하여 동일한 것을 의미한다.

또한, P는, 대상 화상 A를 촬영한 때의 M의 투시 투영 행렬이며,

P = C·(R｜t) ····(4)

에 의해 나타내어진다. (R｜t)는, 대상 화상 A를 촬영한 위치를 나타내는 파라미터이며, R은 3×3의 회전 행렬(rotation matrix), t는 3×1의 이동 행렬을 각각 나타낸다.

본 실시예에 있어서는, 대상 화상 A를 촬영한 위치를 원점으로 하기 위하여, R을 I, t를 0으로 설정한다(I는 3×3의 단위 행렬, 0은 3×1의 영 행렬).

마찬가지로, P'는 기준 화상 B를 촬영한 때의 M의 투시 투영 행렬이며,

P' = C·(R'｜t') ····(5)

에 의해 나타내어진다. (R'｜t')는, 대상 화상 B를 촬영한 위치를 나타내는 파라미터이며, R'는 전술한 R과 마찬가지로 3×3의 회전 행렬, t'는 상기 t와 마찬가지로 3×1의 이동 행렬을 나타낸다.

그리고, 회전 행렬 R'는 각속도 센서로부터의 정보를 사용한다. 또한, 이동 행렬 t'는 전술한 가속도 센서로부터의 가속도를 2번 적분한 3차원 이동 거리를 포함하는 정보를 사용한다.

[C]는, 디지털 카메라(1)에 미리 준비되어 있는 내부 파라미터이며, 예를 들면, 다음 식 (6)의 3×3의 행렬로 된다.

[수식 2]

그리고, 상기 C에 있어서, f는 초점 거리이다. 또한, δu는 촬상 소자의 수평 방향 사이즈, δｖ는 촬상 소자의 수직 방향 사이즈를 의미한다.

따라서, CPU(201)는, 대상 화상 A의 특징점의 화소 위치 m과 이에 대응하는 기준 화상 B의 점의 화소 위치 m'에서 상기 식 (2) 및 (3)을 풀어서, 그 특징점의 3차원 좌표 M을 산출한다(단계 S403).

상기 식 (2) 및 (3)을 전개하면,

u = (p11·X + p12·Y + p13·Z + p14)/

(p31·X + p32·Y + p33·Z + p34)

···(7)

ｖ = (p21·X + p22·Y + p23·Z + p14)/

(p31·X + p32·Y + p33·Z + p34)

···(8)

u' = (p'11·X + p'12·Y + p'13·Z + p'14)/

(p'31·X + p'32·Y + p'33·Z + p'34)

···(9)

ｖ' = (p'21·X + p'22·Y + p'23·Z + p'14)/

(p'31·X + p'32·Y + p'33·Z + p'34)

···(10)

이 된다. 여기서, 예를 들면 p12는 이미 알고 있는 투시 투영 행렬 P의 1행 2열째의 요소를 나타내고, p'21은 마찬가지로 이미 알고 있는 투시 투영 행렬 P'의 2행 1열째의 요소를 나타낸다.

이상과 같이 하여 얻어진 특징점의 3차원 좌표 성분 [M]에 기초하여, CPU(201)는 다면체를 구성하여 3D 표시를 위한 다각형화를 행한다(단계 S404).

이 후, 도 3의 단계 S309의 처리로 리턴한다. 그리고, 개시 단계 S301로 리턴하여 사용자가 다음으로 셔터를 누르는 것을 단계 S302에서 대기한다.

이상 상세히 설명한 바와 같이, 실시예 1에 의하면, 도 5에 나타낸 바와 같이, 3D 모델링 모드에 있어서 CPU(201)는, 대상 화상 A를 촬상했을 때의 초점 거리 f로부터 피사체까지의 거리 Z를 개산(槪算)한다. 다음으로, CPU(201)는, 이 거리 Z에 기초하여, 원하는 정밀도를 확보하기 위한 평행 이동 거리 L을 산출한다. 대상 화상 A를 촬영한 후, CPU(201)는 산출한 평행 이동 거리 L만큼의 디지털 카메라(1)의 이동을 검출하면 기준 화상 B의 촬영을 행한다. 그리고, CPU(201)는, 얻어진 대상 화상 A와 기준 화상 B로부터 3D 모델을 생성한다.

이상과 같이 구성하였으므로, 사용자는 디지털 카메라(1)를 평행 이동시킴으로써, 복수의 촬영 장치나 특별한 기재를 준비하지 않아도, 간단하게 정밀도가 높은 3D 모델을 얻을 수 있다.

그리고, 상기 실시예 1에서는, 평행 이동 거리 L을 검출하는 센서로서 가속도 센서를 사용하였지만, GPS를 사용할 수도 있다.

또한, 상기 실시예 1에서는, 디지털 카메라(1)의 평행 이동 거리 L을 CPU(201)로 산출하고 있지만, 사용자에 의해 평행 이동 거리 L을 수동으로 설정할 수 있도록 해도 된다.

(실시예 2)

실시예 2는, 라이브뷰 화상 A' 상에서의 특징점의 이동량에 의해 디지털 카메라(1)의 이동량을 검출하여, 3D 모델링을 행하는 것이다. 이하, 본 실시예 2에 대하여 도 6을 참조하여 설명한다.

여기서는, 사용자가 이동할 거리, 즉 표시 화면 상의 몇 화소분을 이동시킬 것인지가 미리 결정되어 있는 것으로 한다. 그리고, 먼저 대상 화상 A를 촬영하면 촬영한 대상 화상 A로부터 특징점을 검출하고, 이 특징점이 표시 화면 상에서 미리 결정된 화소수만큼 이동하면, 기준 화상 B의 촬영을 행한다.

상기 화소수에 대해서는, 촬영 화상 상의 픽셀로, 가로 폭의 수% 정도의 이동량으로 억제하는 것이 바람직하다. 10%를 초과하면, 달리 보임에 따른 차이에 의한 조회 에러가 증가한다. 예를 들면, 촬영 화상의 가로 폭이 1600 화소인 경우, 그 6%를 이동하면, 이동하는 화소수 96 화소가 된다. 그리고, 라이브뷰 화상 A'의 가로 폭이 150 화소라 하면, 그 6%의 이동량은 9 화소가 된다. 따라서, 상기 미리 결정된 화소수는, 예를 들면 9 화소로 한다. 이 화소수 값은, 디폴트값으로서 플래시 메모리(203)에 기억되어 있는 것으로 한다.

이 경우, 실시예 1에서도 설명한 바와 같이, 상기 좌표의 이동량이 크면, 시차가 커지고 정밀도가 높아진다. 그러나, 한편, 상기 좌표의 이동량이 크면, 시선이 상이한 것에 의해(달리 보임에 따른 차이에 의해) 대상 화상 A와 기준 화상 B에서의 대응하는 점의 조회 시에, 에러가 발생할 가능성이 높아진다. 그래서, 실시예 2에서는, 3D 모델링 모드에서의 촬영에 앞서 디폴트값으로서 기억되어 있는 특징점의 이동량(화소수의 값)을 사용자가 적절하게 변경할 수 있는 것으로 한다. 이 변경은 커서 키(5) 및 SET 키(6)의 조작에 의해 표시부(4)를 보면서 행해진다.

사용자에 의한 3D 모델링 모드 키(7)의 조작을 검출함으로써, 3D 모델링 모드가 선택되면, CPU(201)는, 도 6에 나타내는 3D 모델링의 처리를 개시한다(단계 S601). 먼저 CPU(201)는, 이 3D 모델링 모드 개시 시에, 기록 지시가 검출되었는지의 여부를 판단한다(단계 S602). 구체적으로는, CPU(201)는, 사용자에 의한 셔터 키(9)로의 가압 조작이 검출되었는지의 여부를 판단하고, 가압 조작이 검출되지 않은 경우(단계 S602; NO), 검출될 때까지 대기한다. 그리고, 사용자에 의해 셔터 키(9)가 눌러진, 즉 대상 화상 A의 기록 지시를 검출한 경우에는(단계 S602; YES), CPU(201)는 대상 화상 A를 촬영한다(단계 S604). 그리고, CPU(201)는, 촬영한 대상 화상 A로부터 해리스의 코너 검출 등의 기존의 방법으로 복수의 특징점을 취득한다. 그리고, CPU(201)는, 상기 화상과 특징점의 좌표를 작업 메모리(204)에 일시적으로 기억시킨다(단계 S605).

다음으로, 사용자가 디지털 카메라(1)를 평행 이동시키면, CPU(201)는, 소정의 주기로 촬상되는 라이브뷰 화상 A'로부터 일시적으로 기억된 복수의 특징점에 대응하는 특징점을 검출한다. 그리고, 검출된, 라이브뷰 화상 A'에 있어서의 복수의 특징점의 표시 화면 상의 좌표를 취득한다(단계 S606). 그리고, CPU(201)는, 이들 좌표를 상기 일시적으로 기억한 대상 화상 A에서의 특징점의 좌표와 비교하고, 비교한 좌표의 차이에 기초하여, 특징점의 이동량이 상기 기억된 화소값(이동량)에 도달하였는지의 여부를 판정한다(단계 S607). 그리고, CPU(201)는, 상기 기억된 화소수의 이동량에 도달할 때까지 전술한 처리(단계 S606, S607)를 반복적으로 실행한다. 여기서, 복수의 특징점에서 이동량이 상이할 때에는, 라이브뷰 화상 A'의 중심 부근의 특징점의 이동량을 사용해도 되고, 이동량이 가장 큰 특징점의 이동량을 사용해도 된다. 또한, 대상 화상 A로부터 검출된 특징점으로부터 임의의 특징점을 선택하고, 이 선택된 특징점에 대응하는 특징점의 이동량을 사용해도 된다.

CPU(201)는, 상기 대상 화상 A에서의 특징점의 좌표와, 라이브뷰 화상 A'에서의 특징점의 좌표와의 차이가 상기 기억된 화소수에 도달했다고 판정하면(단계 S607; YES), CPU(201)는, 이 라이브뷰 화상 A'의 본 화상을 기준 화상 B로서 기록하고(단계 S608), 사용자에게 알람으로 촬영 종료를 알린다(단계 S609).

이어서, CPU(201)는, 전술한 바와 같이 하여 취득한 대상 화상 A와 기준 화상 B의 2개의 화상에 의해 3D 모델링을 행한다.

이에 대하여 도 7을 참조하여 설명한다. CPU(201)는, 상기 2개의 화상으로부터 각각 8점 이상의 대응점을 구하고, 기초 행렬 F(fundamental matrix)를 구한다. 3×3의 기초 행렬 F는, 2개의 화상의 구속 조건을 나타내고, 다음 식 (11)로 나타낸다.

trans(m')·F·m = 0 ····(11)

여기서, m은 대상 화상 A의 화소 위치이며, m'는 기준 화상 B의 화소 위치이다. 또한, trans()는 전치(transpose)를 의미한다.

또한, F는, 다음 식 (12)로 나타내어진다.

F = trans(inｖ(C))·<t>· R·inｖ(C) ···(12)

여기서, inｖ( )는 역행렬을 의미하고, < >는 왜대칭 행렬(skew symmetric matrix)을 의미한다. 내부 파라미터 C는 미리 준비된 값이며, 이로써, 회전 행렬 R과 이동 벡터 t의 방향을 구할 수 있다(단계 S701).

그리고는, 도 4에서 나타낸 수순과 동일하게 하여 3D 모델링을 행할 수 있다(단계 S702 내지 S704).

이상 상세하게 설명한 바와 같이, 실시예 2에 의하면, 먼저 CPU(201)는, 대상 화상 A를 촬영하면, 촬영된 대상 화상 A로부터 특징점을 검출한다. 그리고, 검출된 특징점의 라이브뷰 화상 A'상에서의 이동량으로부터 디지털 카메라(1)의 이동량을 추정한다. 그리고, 이 평행 이동량이 원하는 평행 이동량에 도달했을 때, 자동적으로 기준 화상 B를 촬상하도록 했다. 이로써, 이동량을 검출하기 위한 센서를 형성하지 않아도, 정밀도가 높은 3D 모델을 얻을 수 있다.

(실시예 3)

도 8은, 본 발명의 실시예 3에 따른 3D 모델링 방법을 설명하는 흐름도이다.

도 8의 흐름도가 도 6의 흐름도와 다른 점은, 디지털 카메라(1)의 광축(도 5의 Z축) 이외의 축을 기준으로 하는 회전 동작이 있을 경우에 촬상 동작을 제한한다. 즉, CPU(201)는, 도 5의 X축 및 Y축을 기준으로 하는 회전이 발생한 경우에는, 디지털 카메라(1)를 평행 이동시켰다고 간주하지 않는다. 즉, CPU(201)는, 회전이 소정의 임계값 이상인 경우, 광축이 실질적으로 평행을 유지할 수 없게 되므로 기준 화상 B를 취득하지 않도록 했다. 이로써, 디지털 카메라(1)의 평행 이동이 소정 거리에 도달했는지의 여부를 더욱 정확하게 판정할 수 있다. 따라서, 3D 모델링의 정밀도를 더욱 향상시킬 수 있다.

이하, 도 6과 비교하여, 도 8에 추가되어 있는 단계 S621의 처리에 대하여 설명한다.

CPU(201)는, 라이브뷰 화상 A'로부터, 특징점을 추출하고, 전술한 수순에 의해 기초 행렬 F를 추정한다. 디지털 카메라(1)의 내부 파라미터 C는 사전에 구해져 있다.

[수식 3]

여기서, f는 디지털 카메라(1)의 초점 거리를, cx, cy는 디지털 카메라(1)의 광축에 있어서의 중심 위치의 화상 좌표 상의 위치를 나타낸다. 그러면, 기본 행렬 E(essential matrix)는 다음 식 (14)로 구해진다.

E = trans(C)·F·C ····(14)

여기서, trans( )는 전치를 나타낸다. 다음 식 (15)로 표시하는 카메라 이동의 병진 벡터 t는, trans(E)·E의 최소 고유값의 고유 벡터(eigenvector)로서 구해진다. 다만, t는 스케일과 부호가 부정(不定)이 되지만, 디지털 카메라(1)의 전방에 피사체가 존재한다는 제약에 의해 t의 부호는 구할 수 있다.

그래서, -t와 E의 외적을 구하고, 이 외적을 다음 식 (15)에 따라 특이값 분해(singular value decomposition)를 행한다.

V·S·U = sｖd(cross(-t, E)) ···(15)

여기서, cross는 외적을 나타내고, sｖd는 특이값 분해를 나타낸다.

그런데, 회전 행렬 R은, 다음 식 (16)에 의해 구해진다.

R = V·diag(1, 1, det(V·U))·U ····(16)

여기서, det는 행렬식을, diag는 대각 행렬(diagonal matrix)을 각각 나타낸다.

회전 행렬 R은, X축, Y축 및 Z축의 회전을 포함하고 있으므로, 이들을 분해한다. 회전각이 작은 경우,

[수식 4]

로 했을 때,

θy = arcsin(r02) ····(18)

θx = arctan(-r12/r22) ····(19)

로 된다.

단계 S621에 있어서는, CPU(201)는, 이들 θy, θx가 소정의 임계값 θ이하인지의 여부를 판정한다.

전술한 바와 같이, 실시예 3에 의하면, 실시예 2에 대하여, 상기 단계 S621의 처리를 부가함으로써, 회전이 소정의 임계값 이상인 경우, 광축이 실질적으로 평행을 유지할 수 없게 되므로 기준 화상 B를 취득하지 않도록 했다. 이로써, 디지털 카메라(1)의 평행 이동이 소정 거리에 도달했는지의 여부를 더욱 정확하게 판정할 수 있다. 따라서, 3D 모델링의 정밀도를 더욱 향상시킬 수 있다.

(변형예)

(1) 전술한 실시예 1 내지 3에서는, 사용자가 디지털 카메라(1)를 평행하게 이동시키도록 했지만 디지털 카메라(1)를 받침대에 고정시키고, 평행하게 이동하는 기구를 이 받침대에 설치해도 된다. 이로써, 사용자는, 디지털 카메라(1)를 평행 이동시킬 필요가 없다. 또한, 디지털 카메라(1)에 회전이 가해지는 것을 방지할 수 있다.

이런 종류의 기구는, 주지의 트래버스 기구(traverse mechanism)를 사용함으로써 실시할 수 있다.

(2) 또한, 전술한 각 실시예에서는, 디지털 카메라(1) 전체를 평행 이동시켰지만, 광학계(2) 자체를 평행하게 이동시키는 기구를 디지털 카메라(1)에 설치해도 된다. 이로써, 사용자는, 카메라를 평행 이동시킬 필요가 없고, 또한, 카메라를 삼각대나 받침대에 고정시킨 상태로도 촬영할 수 있다.

(3) 또한, 상기 각 실시예에서는, 디지털 카메라(1)에서 3D 모델링을 행하도록 했지만, 디지털 카메라(1)는 대상 화상 A와 기준 화상 B의 촬영 및 기록만을 행하고, 이들 기록한 데이터를 퍼스널 컴퓨터에 보내어 3D 모델링 처리를 행해도 된다.

(4) 또한, 전술한 각 실시예는, 촬상 장치로서 설명하였으나, 실시예 1 내지 3에 있어서는 기존의 디지털 카메라를, 본 발명에 따른 촬상 장치로서 리메이크하기 위한 촬상 제어 프로그램을 기록 매체에 기록하여 제공해도 된다.

Claims

촬상부에 의해 촬상하도록 제어하는 제1 촬상 제어 수단;
상기 제1 촬상 제어 수단에 의한 촬상 후, 이 촬상된 피사체의 3차원 화상을 생성하기 위해 필요한 상기 촬상부의 이동 거리를 취득하는 취득 수단;
상기 취득 수단에 의해 취득된 이동 거리를 상기 촬상부가 이동했는지의 여부를 판정하는 제1 판정 수단;
상기 제1 판정 수단에 의해 이동했다고 판정된 경우에, 상기 촬상부에 대하여 촬상을 행하도록 제어하는 제2 촬상 제어 수단; 및
상기 제1 촬상 제어 수단에 의해 촬상된 화상과, 상기 제2 촬상 제어 수단에 의해 촬상된 화상으로부터 3차원 화상을 생성하는 3차원 화상 생성 수단
을 포함하는 촬상 장치.
제1항에 있어서,
상기 피사체까지의 거리를 취득하는 거리 취득 수단을 더 포함하고,
상기 취득 수단은, 상기 거리 취득 수단에 의해 취득된 거리에 기초하여, 상기 피사체의 3차원 화상을 생성하기 위해 필요한 상기 촬상부의 이동 거리를 산출하여 취득하는, 촬상 장치.
제1항에 있어서,
기록 수단을 더 포함하고,
상기 취득 수단은, 상기 기록 수단에 미리 기록되어 있는 이동 거리를 취득하는, 촬상 장치.
제1항에 있어서,
상기 촬상부가 이동했을 때의 가속도를 취득하는 가속도 취득 수단을 더 포함하고,
상기 제1 판정 수단은, 상기 가속도 취득 수단에 의해 취득한 가속도에 기초하여, 상기 촬상부가 상기 취득 수단에 의해 취득된 이동 거리를 이동했는지의 여부를 판정하는, 촬상 장치.
제1항에 있어서,
상기 제1 촬상 제어 수단에 의해 얻어진 화상으로부터 특징점을 검출하는 특징점 검출 수단;
상기 제1 촬상 제어 수단에 의한 촬상이 종료하면 소정의 주기로 반복적으로 촬상을 행하도록 상기 촬상부를 제어하는 제3 촬상 제어 수단; 및
상기 제3 촬상 제어 수단에 의해 반복적으로 촬상된 화상 사이에서의, 상기 특징점 검출 수단에 의해 검출된 특징점에 대응하는 점의 이동량을 취득하는 특징점 이동량 취득 수단
을 더 포함하고,
상기 제1 판정 수단은, 상기 특징점 이동량 취득 수단에 의해 취득된 특징점의 이동량에 기초하여, 상기 촬상부가 상기 취득 수단에 의해 취득된 이동 거리를 이동했는지의 여부를 판정하는, 촬상 장치.
제4항에 있어서,
상기 제3 촬상 제어 수단에 의해 반복적으로 촬상된 화상을 표시부에 차례로 표시하는 표시 수단을 더 포함하고,
상기 특징점 이동량 취득 수단은, 상기 특징점 검출 수단에 의해 검출된 특징점에 대응하는 점의 표시 위치의 변화에 기초하여, 상기 특징점의 이동량을 취득하는, 촬상 장치.
제1항에 있어서,
상기 제1 촬상 제어 수단에 의한 촬상 시의 광축과 촬영 후의 광축이 실질적으로 평행을 유지하고 있는지의 여부를 판정하는 제2 판정 수단; 및
상기 제2 판정 수단에 의해 촬상 시의 광축과 촬영 후의 광축이 실질적으로 평행을 유지하고 있지 않다고 판정하면, 상기 제2 촬상 제어 수단에 의한 촬상을 행하지 않도록 제어하는 제4 촬상 제어 수단
를 더 포함하는, 촬상 장치.
제1항에 있어서,
상기 제1 판정 수단에 의해 이동했다고 판정된 경우에, 그 취지를 통지하는 통지 수단을 더 포함하는, 촬상 장치.
촬상부에 의해 촬상하도록 제어하는 제1 촬상 제어 단계;
상기 제1 촬상 제어 단계에서의 촬상 후, 이 촬상된 피사체로부터 상기 피사체의 3차원 화상을 생성하기 위해 필요한 상기 촬상부의 이동 거리를 취득하는 취득 단계;
상기 취득 단계에서 취득된 이동 거리를 상기 촬상부가 이동했는지의 여부를 판정하는 판정 단계;
상기 판정 단계에서 이동했다고 판정된 경우에, 상기 촬상부에 의한 촬상을 행하도록 제어하는 제2 촬상 제어 단계; 및
상기 제1 촬상 제어 단계에서 촬상된 화상과, 상기 제2 촬상 제어 단계에서 촬상된 화상으로부터 3차원 화상을 생성하는 3차원 화상 생성 단계;
를 포함하는 촬상 제어 방법.
촬상 장치가 구비하는 컴퓨터를,
촬상부에 의해 촬상하도록 제어하는 제1 촬상 제어 수단;
상기 제1 촬상 제어 수단에 의한 촬상 후, 이 촬상된 피사체로부터 상기 피사체의 3차원 화상을 생성하기 위해 필요한 상기 촬상 장치의 이동 거리를 취득하는 취득 수단;
상기 취득 수단에 의해 취득된 이동 거리를 상기 촬상 장치가 이동했는지의 여부를 판정하는 판정 수단;
상기 판정 수단에 의해 이동했다고 판정된 경우에, 촬상을 행하도록 제어하는 제2 촬상 제어 수단; 및
상기 제1 촬상 제어 수단에 의해 촬상된 화상과, 상기 제2 촬상 제어 수단에 의해 촬상된 화상으로부터 3차원 화상을 생성하는 3차원 화상 생성 수단;
으로서 기능하게 하는 프로그램이 기록된, 기록 매체.