KR20230112536A

KR20230112536A - 정보 처리장치, 정보 처리방법, 촬상장치, 기억매체

Info

Publication number: KR20230112536A
Application number: KR1020220185337A
Authority: KR
Inventors: 모토유키 아사노; 마코토 요코제키
Original assignee: 캐논 가부시끼가이샤
Priority date: 2022-01-20
Filing date: 2022-12-27
Publication date: 2023-07-27
Also published as: EP4216148A2; US20230230282A1; JP2023106132A; CN116471467A; EP4216148A3

Abstract

정보 처리장치는, 캘리브레이션을 위한 차트를 촬영함으로써 얻어지는 촬영 화상을 취득하는 제1 취득수단과, 기준이 되는 차트의 화상인 기준 화상을 취득하도록 구성된 제2 취득수단과, 촬영 화상의 촬영에 사용된 렌즈의 왜곡 수차의 정보를 취득하도록 구성된 제3 취득수단과, 기준 화상과 왜곡 수차의 정보에 근거하여, 기준 화상에 왜곡 수차를 반영하여 얻어진 화상인 의사 화상을 생성하도록 구성된 제1 생성수단과, 촬영 화상과 의사 화상을 합성하여 얻어진 합성 화상을 생성하도록 구성된 제2 생성수단을 구비한다.

Description

정보 처리장치, 정보 처리방법, 촬상장치, 기억매체{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, IMAGE CAPTURING APPARATUS, STORAGE MEDIUM}

본 발명은, 카메라와 차트의 위치맞춤을 행하는 정보를 취득하기 위한 정보 처리기술에 관한 것이다.

최근, 화상 제작의 분야에 있어서 Visual Effects(VFX)로 불리는 기술이 주목을 받고 있다. VFX는, 비현실적인 화면 효과(시각 효과)를 실현하기 위한 기술로서, 컴퓨터 그래픽스(CG)와 실사 화상을 합성함으로써 실현된다. 여기에서, 촬상 렌즈에 따라서는, 렌즈의 왜곡량을 가미하지 않고 CG과 실사 화상을 합성할 때, 렌즈의 왜곡 수차를 갖는 실사 화상과 렌즈의 왜곡 수차가 없는 CG 화상 사이에 차이가 발생해 버린다. 이 때문에, 포스트프로덕션에서는, 일단, 렌즈의 왜곡 수차에 대해 실사 화상을 보정하고, 보정된 실사 화상을 CG 화상과 합성한 후에, 합성된 화상에 대해 왜곡 처리를 실시하는 것이 필요하다.

상고에 따른 왜곡 수차의 보정은 카메라(렌즈)로부터 메타데이터로서 왜곡 정보를 취득함으로써 가능해진다. 그러나, 촬상 렌즈에 따라서는, 왜곡 정보를 취득할 수 없는 경우가 있다. 왜곡 정보를 취득할 수 없는 경우의 렌즈 왜곡량을 산출하기 위해, 일반적으로, 실사 촬영시에 백색과 흑색의 격자부들이 반복하여 배치된 격자형의 캘리브레이션 차트를 촬영해 두고, 그후, 포스트프로덕션에 있어서, 촬상 화상으로부터 전용 어플리케이션을 사용해서 렌즈 왜곡량을 산출한다. 캘리브레이션 차트의 촬영을 포함하는 이와 같은 방법에서는, 차트와 카메라의 위치맞춤(위치, 자세)을 정확하게 행할 필요가 있다. 현재의 촬영 상태는, 차트와 카메라의 위치맞춤이 유저에 의해 육안으로 행해지고 있기 때문에, 정확한 위치맞춤을 달성할 수 없다.

일본국 특개 2014-155086호 공보에는, 화각 조정장치(카메라) 내에, 화각을 조정하기 위한 기준이 되는 기준 화상을 기억하고, 화각 조정을 겪지 않은 카메라의 동화상을 기준 화상과 합성해서 표시장치에 표시하는 방법이 개시되어 있다.

일본국 특허 제6859442호 공보에는, 어안 렌즈의 사용을 전제로 하여, 피사체가 되는 격자형의 차트 정보(모델 데이터)를 촬상장치 내에 기억하고, 촬상 화상과 차트 정보로부터 렌즈 왜곡량을 추정하는 방법이 개시되어 있다.

그렇지만, 상기한 일본국 특개 2014-155086호 공보에서는, 동화상을 취득하는 카메라에 장착된 렌즈의 왜곡이 고려되고 있지 않다. 이 때문에, 렌즈의 왜곡 수차가 큰 경우에는, 주변 화각(높은 상고)에 있어서, 중첩 표시된 기준 화상과 촬영한 동화상 사이에 괴리가 커져, 위치맞춤이 곤란해진다.

또한, 상기한 일본국 특허 제6859442호 공보에서는, 어안 렌즈의 사용을 전제로 하여, 기준 화상정보(차트 모델 데이터)와, 촬상 화상으로부터 추정된 렌즈의 왜곡 파라미터를 취득한 후, 촬상장치의 위치와 자세를 추정하는 방법이 개시되어 있다. 그러나, 차트와 촬상장치의 위치맞춤 방법에 대해서는 언급되어 있지 않다.

본 발명은, 전술한 과제를 감안하여 이루어진 것으로서, 차트와 촬상장치의 상대적인 위치맞춤을 행하는 정보를 취득할 수 있는 정보 처리장치를 제공한다.

본 발명의 제1 면에 따르면, 캘리브레이션을 위한 차트를 촬영함으로써 얻어지는 촬영 화상을 취득하도록 구성된 제1 취득수단과, 기준이 되는 상기 차트의 화상인 기준 화상을 취득하도록 구성된 제2 취득수단과, 상기 촬영 화상의 촬영에 사용된 렌즈의 왜곡 수차의 정보를 취득하도록 구성된 제3 취득수단과, 상기 기준 화상과 상기 왜곡 수차의 정보에 근거하여, 상기 기준 화상에 상기 왜곡 수차를 반영하여 얻어진 화상인 의사 화상을 생성하도록 구성된 제1 생성수단과, 상기 촬영 화상과 상기 의사 화상을 합성하여 얻어진 합성 화상을 생성하도록 구성된 제2 생성수단을 구비한 정보 처리장치가 제공된다.

본 발명의 제2 면에 따르면, 렌즈와, 촬영 화상을 촬상하기 위한 촬상 소자와, 전술한 정보 처리장치를 구비한 촬상장치가 제공된다.

본 발명의 제3 면에 따르면, 캘리브레이션을 위한 차트를 촬영함으로써 얻어지는 촬영 화상을 취득하는 제1 취득을 실행하는 단계와, 기준이 되는 상기 차트의 화상인 기준 화상을 취득하는 제2 취득을 실행하는 단계와, 상기 촬영 화상의 촬영에 사용된 렌즈의 왜곡 수차의 정보를 취득하는 제3 취득을 실행하는 단계와, 상기 기준 화상과 상기 왜곡 수차의 정보에 근거하여, 상기 기준 화상에 상기 왜곡 수차를 반영하여 얻어진 화상인 의사 화상을 생성하는 제1 생성을 실행하는 단계와, 상기 촬영 화상과 상기 의사 화상을 합성하여 얻어진 합성 화상을 생성하는 제2 생성을 실행하는 단계를 포함하는 정보 처리방법이 제공된다.

본 발명의 제4 면에 따르면, 컴퓨터에, 캘리브레이션을 위한 차트를 촬영함으로써 얻어지는 촬영 화상을 취득하는 제1 취득을 실행하는 단계와, 기준이 되는 상기 차트의 화상인 기준 화상을 취득하는 제2 취득을 실행하는 단계와, 상기 촬영 화상의 촬영에 사용된 렌즈의 왜곡 수차의 정보를 취득하는 제3 취득을 실행하는 단계와, 상기 기준 화상과 상기 왜곡 수차의 정보에 근거하여, 상기 기준 화상에 상기 왜곡 수차를 반영하여 얻어진 화상인 의사 화상을 생성하는 제1 생성을 실행하는 단계와, 상기 촬영 화상과 상기 의사 화상을 합성하여 얻어진 합성 화상을 생성하는 제2 생성을 실행하는 단계를 포함하는 정보 처리방법의 단계들을 실행하게 하는 컴퓨터 프로그램을 기억하는 비일시적인 컴퓨터 판독가능한 기억매체가 제공된다.

본 발명의 또 다른 특징은 첨부도면을 참조하는 이하의 실시형태의 설명으로부터 명백해질 것이다.

도1은 본 발명의 제1실시형태에 따른 촬상장치의 구성을 나타낸 블록도이다.
도2는 촬상장치의 캘리브레이션 처리를 나타낸 플로우차트이다.
도3은 기본 위치맞춤처리를 나타낸 플로우차트이다.
도4a 내지 도4d는 기본 위치맞춤처리중의 표시 화면을 나타낸 도면이다.
도5는 위치맞춤처리를 나타낸 플로우차트이다.
도6a 내지 도6c는 렌즈 왜곡량의 추정처리를 나타낸 도면이다.
도7a 내지 도7c는 위치맞춤처리중의 표시 화면을 나타낸 도면이다.
도8은 제2실시형태의 위치맞춤처리를 나타낸 플로우차트이다.
도9a 내지 도9e는 제2실시형태에 있어서의 촬상 화상과 의사 화상으로부터 괴리도를 산출하는 처리를 나타낸 도면이다.
도10a 내지 도10c는 괴리도에 근거한 지표의 표시 화면을 나타낸 도면이다.
도11은 제3실시형태에 있어서의 캘리브레이션 처리를 나타낸 플로우차트이다.
도12는 제3실시형태에 있어서의 화각 맞춤처리를 나타낸 플로우차트이다.
도13a는 제3실시형태에 있어서의 차트와 촬영 화상의 차분 산출처리를 나타낸 플로우차트이다.
도13b는 제4실시형태에 있어서의 차트와 촬영 화상의 차분 산출처리를 나타낸 플로우차트이다.
도14는 제3실시형태에 있어서의 카메라 이동량의 산출처리를 나타낸 플로우차트이다.
도15a 내지 도15d는 제3실시형태에 있어서의 카메라의 이동량의 산출을 나타낸 도면이다.
도16a 내지 도16d는 제3실시형태에 있어서의 카메라의 이동량의 산출을 나타낸 도면이다.
도17a 내지 도17d는 제3실시형태에 있어서의 카메라의 이동량의 산출을 나타낸 도면이다.
도18a 및 도18b는 제3실시형에 있어서의 화각 맞춤중 및 완료후의 카메라 표시를 나타낸 도면이다.
도19는 제3실시형태에 있어서의 차트와 촬영 화상의 차분 산출처리를 나타낸 도면이다.

이하, 첨부도면을 참조해서 실시형태를 상세하게 설명한다. 이때, 이하의 실시형태는 청구범위에 관한 발명을 한정하는 것은 아니다. 실시형태에는 복수의 특징이 기재되어 있지만, 이들 복수의 특징의 모두가 발명에 필수적인 것은 아니고, 또한, 복수의 특징은 임의로 조합되어도 된다. 더구나, 첨부도면에 있어서는, 동일 혹은 유사한 구성에 동일한 참조번호를 붙이고, 중복된 설명은 생략한다.

제1실시형태

촬상장치의 구성

이하, 본 발명의 정보 처리장치의 제1실시형태인 촬상장치의 구성에 대해 설명한다. 도1은 촬상장치(100)의 구성을 나타낸 블록도다.

도1에 있어서, 촬상장치(100)는, 촬상 제어장치(130)와 촬상 제어장치(130)에 교환가능하게 장착되는 촬상 렌즈(110)를 구비해서 구성되어 있다. 촬상장치(100)의 예로서는, 피사체를 촬영하여 동화상이나 정지화상의 데이터를 각종 기록 미디어에 기록가능한 비디오 카메라와 스틸 카메라를 들 수 있지만, 이것들에 한정되는 것은 아니다. 이후, 촬상장치(100)를 카메라(100)로서 설명한다.

연산장치(136)는, 촬상 제어장치(130) 전체의 제어를 행한다. 또한, 연산장치(136)는, 촬상 렌즈(110) 내에 설치된 렌즈 군 및 조리개의 구동을 행하기 위한 지령과, 촬상 렌즈(110)에게 그 내부에 유지하고 있는 렌즈 정보(광학정보 등)를 촬상 제어장치(130)에 송신하게 하기 위한 지령을, 전기 접점 유닛(150)을 거쳐 렌즈 제어부(121)에 송신한다.

촬상 렌즈(110)는, 고정 렌즈 군(111), 줌 렌즈(12), 조리개(113), 손떨림 보정 렌즈(114) 및 포커스 렌즈(115)를 포함하는 촬상 광학계를 구비한 렌즈 유닛으로서 구성되어 있다. 또한, 각 렌즈 및 조리개를 구동하기 위한 구동부는 렌즈 제어부(121)에 버스(122)를 거쳐 접속되어, 렌즈 제어부(121)에 의해 제어된다. 렌즈 제어부(121)는, 연산장치(136)로부터의 명령에 따라, 줌 구동부(116), 조리개 구동부(117), 손떨림 보정 구동부(118) 및 포커스 구동부(119)를 거쳐, 각종 렌즈 및 조리개를 제어한다.

조리개 구동부(117)는, 조리개(113)를 구동함으로써, 조리개(113)의 개구 직경을 조정해서 촬영시의 광량조정을 행한다. 줌 구동부(116)는 줌 렌즈(12)를 구동함으로써 초점거리를 변경한다. 손떨림 보정 구동부(118)는, 촬상 렌즈(110)의 흔들림에 응답하여, 손떨림 보정 렌즈(114)를 구동함으로써, 손떨림에 기인하는 상 흔들림을 경감한다. 포커스 구동부(119)는 포커스 렌즈(115)를 구동함으로써 초점상태를 제어한다. 각종 렌즈 111, 112, 114 및 115는, 도1에는 단 렌즈로서 간략적으로 도시되어 있지만, 보통 복수의 렌즈로 구성되어 있다.

전기 접점 유닛(150)에는, 촬상 렌즈(110)와 촬상 제어장치(130) 사이의 통신에 사용되는 2개의 통신 라인에 각각 대응하는 전기 접점(촬상 렌즈측 단자/촬상 제어장치측 단자)이 배치되어 있다. 렌즈 제어부(121)는, 전기 접점 유닛(150)을 거쳐 촬상 제어장치(130)와 통신을 행하는 동시에, 렌즈 조작부(120)로부터의 조작 정보에 따라 줌 구동부(116), 조리개 구동부(117) 및 포커스 구동부(119)를 구동 제어한다. 또한, 렌즈 제어부(121)는, 전기 접점 유닛(150)을 거쳐 촬상 제어장치(130)와 통신을 행하고, 연산장치(136)로부터의 명령을 수신한다. 더구나, 촬상 렌즈(110) 내에 유지된 렌즈 정보(광학정보 등)는 촬상 제어장치(130)측으로부터의 송신 요구에 근거하여 송신된다(이후, 렌즈 제어부(121)와 연산장치(136) 사이의 통신을 렌즈 통신으로 부른다).

렌즈 조작부(120)에는, 줌 조작 링, 포커스 조작 링, 조리개 조작 링과, 렌즈내 손떨림 보정을 ON/OFF하기 위한 조작 스위치 등의 조작부재가 설치되어 있다. 이들 각 조작부재가 유저에 의해 조작되면, 조작 지시 신호가 렌즈 제어부(121)에 출력되고, 렌즈 제어부(121)는 이 조작에 적합한 제어를 행한다.

촬상 렌즈(110)의 촬상 광학계를 통과한 광속에 의해 촬상 소자(131) 위에 결상되는 피사체 상은 촬상 소자(131)에 의해 전기신호로 변환된다. 촬상 소자(131)는, 광전변환을 통해 피사체 상(광학 상)을 전기신호로 변환하는 광전변환 소자다. 촬상 소자(131) 위에 결상된 피사체 상의 광전변환을 통해 얻어진 전기신호는 촬상신호 처리부(132)에 의해 화상신호(화상 데이터)로서 처리된다.

촬상 소자 제어부(133)는, 연산장치(136)로부터, 촬상 소자(131)의 축적 시간과, 촬상 소자(131)로부터 촬상신호 처리부(132)에 출력하는 게인의 값을 나타내는 지시를 받고, 촬상 소자(131)를 제어한다.

촬상신호 처리부(132)로부터 출력되는 화상 데이터는, 촬상 소자 제어부(133)로 보내져, 일시적으로 휘발성 메모리(138)에 격납된다. 더구나, 화상 데이터는, 화상처리부(137)에 있어서 보정처리와 압축처리 등의 처리를 겪은 후, 메모리 카드 등의 기억매체(143)에 기록된다.

이것과 병행하여, 표시 제어부(141)는, 연산장치(136)로부터의 명령에 근거하여, 휘발성 메모리(138)에 격납된 화상 데이터를, 촬상 제어장치(130)에 탑재된 디스플레이 등의 표시부(140)에 최적의 사이즈로의 축소/확대 처리를 행한다. 최적의 사이즈로 처리된 화상 데이터는 다시 휘발성 메모리(138)의 처리전과는 다른 영역에 일시적으로 격납된다. 더구나, 표시 제어부(141)는, 화상 데이터에 대하여, 노출 설정 등의 촬상 정보를 문자, 아이콘 등으로서 중첩한다. 각종 정보가 중첩된 화상 데이터를 표시부(140)에 송신함으로써 화상이 표시된다. 이에 따라, 유저는 실시간으로 촬상 화상을 관찰할 수 있다(이하, 실시간으로 관찰할 수 있는 화상을 라이브 뷰 화상으로 부른다). 표시 제어부(141)는 본 실시형태에서 실시하는 촬상 화상 위에 의사 화상을 중첩하는 처리도 제어한다.

손떨림 보정 제어부(135)는, 연산장치(136)로부터의 명령에 근거하여, 손떨림 보정 구동부(134)를 거쳐, 촬상 소자(131)를 손떨림에 의한 상 흔들림이 보정되는 방향으로 제어한다. 손떨림 보정 구동부 134는, 촬상 렌즈(110)의 손떨림 보정 구동부(118)와 연동하여 구동할 수도 있어, 손떨림 보정 구동부 134에 의해서만 손떨림 보정이 행해지는 것보다 한층 더 큰 범위의 손떨림 보정이 가능하다.

조작부(142)는, 유저가 촬상 제어장치(130) 내에 설치된 각 부에의 지시를 행하기 위한 조작부재이며, 예를 들면, 촬상 및 초점조절 등의 동작을 제어하는 조작 스위치, 조작 링, 조작 레버, 또는 표시부(140)에 설치되어 있는 터치패널을 포함한다. 유저에 의한 조작부(142)의 조작에 의해 입력된 카메라(100)의 구동조건에 관한 지시는 연산장치(136)에 송신된다. 그후, 연산장치(136)는 이 조작 지시 신호에 근거하여, 각 부에 명령을 송신한다.

휘발성 메모리(138)는, 상기한 화상 데이터의 일시적인 격납 뿐만 아니라, 촬상 제어장치(130)의 각 부에 의한 처리에서 사용되는 일시 데이터, 촬상 렌즈(110)로부터 취득한 렌즈 정보 등을 격납하기 위해서도 사용된다.

불휘발성 메모리(139)는, 카메라(100)의 동작에 필요한 제어 프로그램을 기억하고 있다. 유저의 조작에 의해 카메라(100)가 기동되면(전원 OFF로부터 전원 ON으로 카메라(100)가 이행하면), 불휘발성 메모리(139)에 격납된 제어 프로그램이 휘발성 메모리(138)의 일부에 판독(로드)된다. 연산장치(136)는, 휘발성 메모리(138)에 로드된 제어 프로그램에 따라 카메라(100)의 동작의 제어를 행한다. 불휘발성 메모리(139)는 기록도 가능해서, 본 실시형태에서 사용되는 차트 정보와 왜곡 수차의 정보를 각각 기억하는 차트 정보 기억부(139a)와 렌즈 왜곡 정보 기억부(139b)를 갖는다.

기억매체(143)는, SD 카드 등의 읽고쓰기 가능한 메모리 카드이며, 촬상된 화상(동화상 또는 정지화상), 화상과 관련된 메타데이터 등을 보존하기 위해서 사용된다. 또한, 불휘발성 메모리(139)의 차트 정보 기억부(139a)와 렌즈 왜곡 정보 기억부(139b) 대신에 기억매체(143)를 사용하는 것도 상정된다.

캘리브레이션 처리의 개략

다음에, 도2를 참조하여 캘리브레이션 처리의 개략에 대해 설명한다. 본 실시형태에서는, 촬상 렌즈(110)의 왜곡 수차를 보정하기 위해, 실제로 카메라(100)로 수차보정용의 캘리브레이션 차트를 촬상할 필요가 있다. 캘리브레이션 처리는, 캘리브레이션 차트와 카메라(100)의 위치맞춤을 행한 후, 이 캘리브레이션 차트를 카메라(100)로 촬상하여, 촬상 렌즈(110)의 왜곡 수차의 정보를 취득하는 것을 포함하는 동작을 가리킨다.

이하에서는, 캘리브레이션 처리를 실행하기 전에 전술한 촬상 제어가 개시되어, 유저가 라이브 뷰 화상을 관찰할 수 있는 것을 전제로 설명한다. 또한, 이 캘리브레이션 동작 자체는, 유저가 조작부(142)를 거쳐 표시부(140)에 표시되어 있는 메뉴로부터 캘리브레이션 처리를 실행하도록 선택한 후에 행해진다. 또한, 이하에서는, 카메라(100)에 의해 촬상된 차트의 화상은 항상 초점이 맞고 있는 것을 전제로 설명한다. 초점맞춤은 수동으로 또는 오토포커스로 행해도 되고, 이 방법에 대해서는 특별히 한정되지 않는다.

우선, 스텝 S201에 있어서, 연산장치(136)는, 캘리브레이션 처리를 개시하여, 스텝 S202로 처리를 진행한다.

스텝 S202에서, 연산장치(136)는, 캘리브레이션 모드를 ON으로 한다. 구체적으로는, 연산장치(136)는, 휘발성 메모리(138)에 격납되어 있는 캘리브레이션 모드용의 플래그를 ON으로 변경한다.

스텝 S203에서, 연산장치(136)는, 카메라(100)와 캘리브레이션 차트의 기본 위치맞춤처리를 행한다. 이 기본 위치맞춤처리에서는, 초기 위치맞춤에서, 카메라(100)의 광축 중심과 캘리브레이션 차트의 중심의 대략적인 위치맞춤과 촬영 화각 맞춤이 행해진다. 이 기본 위치맞춤처리의 상세한 내용에 관해서는 후술한다.

스텝 S204에서는, 연산장치(136)는, 스텝 S203의 기본 위치맞춤처리가 완료하였는지 아닌지를 판정한다. 기본 위치맞춤처리가 완료한 경우에, 연산장치(136)는, 스텝 S205로 처리를 진행하고, 완료하지 않은 경우(예를 들어, 기본 위치맞춤시에 에러가 발생하거나 또는 유저에 의해 처리가 중지된 경우)에는, 스텝 S208로 처리를 진행한다.

스텝 S205에서, 연산장치(136)는, 카메라(100)와 캘리브레이션 차트의 위치맞춤처리를 행한다. 이 위치맞춤처리에서는, 스텝 S203의 기본 위치맞춤처리와 비교하여, 연산장치(136)가, 화상의 주변(높은 상고) 부분을 확인하면서 상세한 위치맞춤을 행하고, 렌즈의 왜곡량을 산출하기 위한 화상 촬영을 행할 수 있는 상태에서 카메라(100)와 캘리브레이션 차트를 설정한다. 이 위치맞춤처리의 상세한 내용에 관해서는 후술한다.

스텝 S206에서, 연산장치(136)는, 스텝 S205의 위치맞춤처리가 완료하였는지 아닌지를 판정한다. 위치맞춤이 완료한 경우, 연산장치(136)는, 스텝 S207로 처리를 진행하고, 완료하지 않은 경우(위치맞춤시에 에러가 발생하거나 또는 유저에 의해 처리가 중지된 경우), 스텝 S208로 처리를 진행한다.

스텝 S207에서, 연산장치(136)는, 위치맞춤처리가 완료한 카메라(100)와 차트를 설정한 후 캘리브레이션 차트의 촬영을 행한다. 연산장치(136)는, 촬영한 화상을 기억매체(143)에 보존하고, 스텝 S208로 처리를 진행한다.

스텝 S208에서, 연산장치(136)는, 캘리브레이션 모드를 OFF로 한다. 그리고, 연산장치(136)는, 스텝 S209로 처리를 진행하고, 캘리브레이션 처리를 종료시킨다.

실제의 촬영을 복수의 촬상 렌즈로, 또는 줌 렌즈의 경우에서는 복수의 초점거리에서 행하는 것이 상정된다. 이 경우, 촬상 렌즈마다 또는 초점거리마다, 도2의 스텝 S201 내지 S209의 처리를 반복하여 실행한다.

이상의 처리를 실행함으로써, 캘리브레이션 차트와 카메라의 위치맞춤을 정밀하게 행한 후에 렌즈의 왜곡량을 산출하기 위한 화상의 취득이 가능해진다. VFX 합성의 포스트프로덕션시, 전용의 어플리케이션을 사용함으로써, 이 촬영된 화상으로부터 렌즈의 왜곡량이 산출되어, 각종 합성처리에서 사용된다.

기본 위치맞춤처리

다음에, 도3을 참조하여, 도2의 스텝 S203에서의 기본 위치맞춤처리의 동작을 상세히 설명한다. 본 실시형태에 있어서의 플로우차트의 처리는, 카메라(100)의 기동시에 불휘발성 메모리(139)로부터 휘발성 메모리(138)에 로드한 컴퓨터 프로그램에 근거하여 연산장치(136)에 의해 실행된다. 이후의 플로우차트의 동작도 마찬가지이다.

우선, 스텝 S301에 있어서, 연산장치(136)는 기본 위치맞춤처리를 개시한다.

스텝 S302에서, 연산장치(136)는, 전술한 촬상 제어 중의 촬상 화상을 휘발성 메모리(138)로부터 판독하여, 판독된 화상을 휘발성 메모리(138)의 다른 영역에 일시적으로 보존한다. 또한, 위치맞춤을 위해 사용되는 차트 정보를 차트 정보 기억부(139a)로부터 취득한다.

스텝 S303에서, 연산장치(136)는, 스텝 S302에서 취득된 차트 정보에 근거하여, 의사 화상을 생성한다. 여기에서 언급하는 의사 화상은, 왜곡 처리를 실시하기 전의 화상 또는 왜곡 처리가 행해지지 않은 화상이다. 여기에서, 왜곡 처리는, 원래 렌즈의 왜곡 수차가 없는 차트 화상을 렌즈의 왜곡 수차에 맞춰서 의도적으로 왜곡시켜, 차트 화상을 렌즈의 왜곡 수차(왜곡량)를 반영시킨 화상으로 변환하는 처리이다. 이하, 왜곡 처리를 실시하기 전 또는 왜곡 처리를 실시하지 않는 차트의 의사 화상을 기준 화상으로 부른다.

차트 정보는, 기준 화상이나 의사 화상을 생성하기 위해서 필요한 정보이다. 예를 들면, 피사체가 되는 실제의 캘리브레이션 차트 화상과, 캘리브레이션 차트의 1개의 격자부의 사이즈이다. 상기한 정보가 촬상 렌즈의 초점거리와 관련된 것이면, 촬상 렌즈를 교환하거나, 줌 렌즈의 초점거리를 변경한 경우에도, 초점거리에 따른 처리를 자동으로 행하는 것이 가능해진다. 또한, 캘리브레이션 처리의 실행전에, 유저가 차트 정보를 촬상 제어장치(130)의 차트 정보 기억부(139a)나 기억매체(143)에 기억하는 것을 상정하고 있다.

단, 차트 정보가 기억되지 않고 있는 경우나, 차트 정보가 실제의 촬상 화상과 크게 다른 경우에는, 다음과 같은 구성을 채용하여도 된다. 즉, 차트 정보 생성 모드를 설치하고, 촬상 제어장치(130) 상에서 유저에 의한 선택이나 입력에 의해, 차트 정보를 생성한다. 이와 달리, 촬상 화상의 중심 부분의 1개의 격자부의 사이즈를 검출함으로써, 차트 정보를 생성한다. 그후, 생성된 차트 정보가 새로운 차트 정보로서 차트 정보 기억부(139a)에 보존된다.

여기에서, 차트 정보에 근거한 기준 화상 생성의 일례에 대해 설명한다. 여기에서는, 초점거리에 대응한 차트 화상이 불휘발성 메모리 139a에 기억되고 있는 것을 전제로 설명한다.

우선, 연산장치(136)는, 불휘발성 메모리 139a로부터 차트 정보를 판독한다. 더구나, 연산장치(136)는, 렌즈 통신에 의해, 촬상 제어장치(130)에 장착되어 있는 촬상 렌즈(110)의 초점거리를 취득한다. 이와 달리, 렌즈 통신을 지원하지 않는 렌즈에 대해서는, 유저가 촬상 제어장치(130)의 초점거리를 설정해도 된다.

판독된 차트 정보는, 초점거리에 대응한 차트 화상이기 때문에, 이 초점거리가 렌즈 통신에 의해 취득한 초점거리와 다른 경우에는, 초점거리의 차이를 지정하는 처리를 차트 화상에 대해 실시할 필요가 있다. 이것을 감안하여, 연산장치(136)는, 화상처리부(137)에 대하여, 촬상 렌즈의 초점거리를 통지하는 동시에, 초점거리의 차이(배율)에 적절한 확대/축소 처리를 행하도록 화상처리부(137)에 지시한다. 화상처리부(137)는, 지시에 근거하여, 판독된 차트 화상에 대하여, 확대/축소 처리를 행한다. 이어서, 연산장치(136)는, 생성한 기준 화상을 휘발성 메모리(138)에 일시적으로 보존하고, 스텝 S304로 처리를 진행한다.

스텝 S304에서는, 연산장치(136)는, 표시부(140)와 표시 제어부(141)에 의해 촬상 화상에 기준 화상을 중첩하는 처리를 행한다. 우선, 표시 제어부(141)는, 휘발성 메모리(138)에 일시 보존된 촬상 화상과 기준 화상을 판독한다. 그리고, 취득한 촬상 화상에 대해 기준 화상이 겹쳐 표시되도록 화상합성을 행한다. 이후, 이 처리를 중첩처리로 부른다. 또한, 중첩처리를 통해 얻어진 화상을 중첩 화상(합성 화상)으로 부른다.

이때, 단순히 기준 화상을 중첩하면, 하측의 촬상 화상을 관찰할 수 없고, 또한, 촬상 화상과 기준 화상의 차이를 관찰하는 것도 어렵다. 이 때문에, 표시 제어부(141)는 기준 화상에 대해 필요한 화상처리를 행한다. 예를 들면, 기준 화상을 통해 촬상 화상을 관찰할 수 있도록 기준 화상에 대해 투과 처리를 실시하거나, 촬상 화상의 차트의 흑색 격자부에 대응하는 의사 화상의 흑색 격자부를 적색 등의 다른 색으로 변환하는 처리를 실시하거나, 패턴 처리를 실시한다. 그리고, 표시 제어부(141)는, 중첩 화상을 일시적으로 휘발성 메모리(138)에 보존한다.

이어서, 표시 제어부(141)는, 표시부(140)에 중첩 화상의 일시 보존처를 통지하고, 표시부(140)에게 표시 갱신을 행하도록 명령한다. 표시부(140)는, 일시 보존된 중첩 화상을 휘발성 메모리(138)로부터 판독하여, 중첩 화상을 표시한다. 이 표시부(140)에 표시된 중첩 화상을 관찰함으로써, 유저는 촬상 화상이 의사 화상으로부터 괴리된 정보를 확인할 수 있다. 즉, 캘리브레이션 차트와 카메라의 위치 어긋남을 유저가 관찰하는 것이 가능해진다. 그후, 유저는 이 위치 어긋남을 최소한으로 하도록, 카메라(100) 또는 캘리브레이션 차트의 위치나 자세를 변경하여, 위치맞춤을 행한다.

기본 위치맞춤중의 표시 화면의 일례를 도4a 내지 도4d를 참조하여 설명한다. 도4a 내지 도4d는 표시부(140)에 표시된 화면을 나타내고 있다. 이때, 캘리브레이션 차트 자체는, 상기한 것과 같이 백색과 흑색의 격자부가 반복하여 배치된 차트이며, 이후에는, 촬상 화상의 흑색 격자부를 아래쪽으로 경사진 해칭으로 나타내고, 기준 화상 또는 의사 화상의 흑색 격자부를 위로 경사진 해칭으로 나타낸다.

도4a는, 촬상 화상(410) 만 표시되어 있는 상태를 나타내고 있다. 참조번호 401과 402는, 촬상 화상의 중심이 시인하기 쉽게 광학 중심에서 교차하도록 나타낸, 수직 마커와 수평 마커를 각각 나타낸다. 또한, 캘리브레이션 차트의 중심 위치가 시인하기 쉽게, 흑색의 사각형의 마커(403)를 나타냈지만, 실제로 캘리브레이션 차트의 중심 위치에 마커를 배치하거나, 중심 위치를 포함하는 사각형 부분을 흑색 또는 백색 이외의 색으로 설정해도 된다. 아울러, 중첩처리를 실시할 때, 기준 화상의 중심 위치를 포함하는 격자부를 캘리브레이션 차트의 마커나 색과 맞춤으로써, 중심 위치맞춤이 시인하기 쉽게 표시 방법이나 색을 변경해도 된다.

다음에, 도4b는, 도4a의 촬상 화상(410) 만 표시된 상태에 대하여, 기준 화상(411)이 중첩 표시되어 있는 상태를 나타낸 것이다. 이 중첩 표시된 기준 화상(411)에 근거하여 기본 위치맞춤을 행한다. 이 예에서는, 유저가 카메라(100)의 광축 중심이 캘리브레이션 차트의 중심과 일치하도록 카메라(100)의 위치나 자세를 변경한다.

도4c는, 촬상 화상(410)과 기준 화상(411)의 중심 위치가 맞추어지고, 촬상 화상(410)과 기준 화상(411)이 아직 일치하지 않은(크기가 일치하지 않은) 상태를 나타낸 것이다. 이 상태로부터, 유저는, 카메라(100)가 차트에 가까이 가서, 도4d의 표시 상태가 되도록, 카메라(100)의 위치를 변경한다. 이상의 처리를 실행함으로써, 카메라(100)와 차트의 기본 위치맞춤이 완료한다.

또한, 전술한 것과 같이, 렌즈 통신에 의해 취득하거나 또는 유저에 의해 설정되는 초점거리에 따라, 기준 화상에 대해 확대/축소 처리를 행하는 것이 가능하다. 그러나, 촬상 렌즈에 따라서는, 초점거리 자체가 알려지지 않은 것으로 인해, 기준 화상을 확대/축소할 수 없는 경우가 있다. 이러한 경우에는, 도4c의 크기가 맞지 않고 있는 상태로부터, 유저가 조작부(142)를 조작하여, 촬상 화상(410)이 기준 화상(411)과 육안으로 일치하고 있다고 판단할 수 있을 때까지(도4d와 유사한 상태가 될 때까지), 기준 화상(411)의 확대/축소를 행한다.

다음에, 스텝 S305에서는, 연산장치(136)는, 기본 위치맞춤을 계속할 것인지 아닌지를 판정한다. 이것의 목적은, 유저가 기본 위치맞춤을 완료하였는지 아닌지를 판정하는 것이다. 예를 들면, 중첩 화상에 대하여, 버튼 형상의 유저 인터페이스 "OK" 및 "CANCEL"을 더 중첩 표시하고, "OK"을 유저가 기본 위치맞춤을 완료한 경우에 할당하고, "CANCEL"을 유자가 기본 위치맞춤을 중지하기 원하는 경우에 할당한다. 그후, 유저가 기본 위치맞춤이 완료하였다고 결정하거나 혹은 기본 위치맞춤을 중지하기로 결정한 경우에, 조작부(142)를 거쳐, "OK"(완료) 또는 "CANCEL"(중지)를 각각 선택한다. 이어서, 연산장치(136)는, 위치맞춤처리를 계속할 것인지 아닌지가 선택되고 있는지 판정한다. 완료 또는 중지가 선택되지 않은 경우, 연산장치(136)는, 스텝 S302로 처리를 되돌려, 완료 또는 중지의 어느 한개가 선택될 때까지, 또는 조작부(142)를 거쳐 기본 위치맞춤 처리가 강제 종료될 때까지, 스텝 S302 내지 S304의 처리를 계속해서 행한다. 완료 또는 중지의 어느 한개가 선택된 경우에는, 연산장치(136)는, 스텝 S306으로 처리를 진행한다.

스텝 S306에서는, 연산장치(136)는, 스텝 S305에서, 완료 또는 중지가 선택되었는지, 즉, 본 위치맞춤이 완료하였는지 아닌지의 판정을 행한다. 연산장치(136)는, 스텝 S305에 있어서 완료가 선택된 경우에는, 스텝 S307로 처리를 진행하고, 기본 위치맞춤 결과를 "OK"로 설정한다. 또한, 중지가 선택된 경우에는, 연산장치(136)는, 스텝 S308로 처리를 진행하고, 기본 위치맞춤 결과를 "CANCEL"로 설정한다.

스텝 S309에서는, 연산장치(136)는, 스텝 S307 또는 S308의 어느 하나에서 설정된 기본 위치맞춤 결과를 휘발성 메모리(138)에 일시적으로 보존한다. 아울러, 연산장치(136)는, 기본 위치맞춤 완료시의 기준 화상을 차트 정보 기억부(139a)에 차트 정보로서 보존한다.

스텝 S310에서는, 연산장치(136)는 기본 위치맞춤처리를 종료한다.

위치맞춤처리

이어서, 도5를 참조하여, 기본 위치맞춤처리보다도 고정밀도로 위치맞춤을 행하는 위치맞춤처리에 대해 설명한다.

우선, 스텝 S501에 있어서, 연산장치(136)는 위치맞춤처리를 개시한다.

스텝 S502에서는, 연산장치(136)는, 불휘발성 메모리(139) 내의 차트 정보 기억부(139a)로부터 차트 정보의 판독을 행한다.

스텝 S503에서는, 연산장치(136)는, 전술한 촬상 제어중에 촬상된 화상을 휘발성 메모리(138)로부터 판독하고, 판독된 화상을 휘발성 메모리(138)의 다른 영역에 일시적으로 보존한다.

스텝 S504에서는, 연산장치(136)는, 렌즈 왜곡량 취득 처리를 행하고, 스텝 S504로 처리를 진행한다.

이하, 렌즈 왜곡량 취득 처리의 일부인 추정처리의 일례에 대해서 도6a 내지 도6c를 참조하여 설명한다. 도6a는, 캘리브레이션 차트의 격자 정보(각 격자부와 각 격자부의 4모서리의 위치를 식별하기 위한 정보)를 나타낸 도면이다.

여기에서는, 수평 방향 및 수직 방향으로 배치된 흑색 및 백색의 격자부의 수가 각각 17개 및 12개이며, 각 격자부의 4모서리의 위치를 식별하기 위해, 수평 방향으로 번호 0 내지 17을 부여하고(i0 내지 i17), 수직 방향으로 번호 0 내지 11을 부여한다(j0 내지 j11). 다음에, 각각의 격자부를 식별하기 위해서, 좌측 상부로부터 순차적으로 번호 0 내지 186이 주어진다(g0 내지 g186). 따라서, 좌측 위의 격자부 g0의 4모서리의 좌표는, 좌측 위(xi0j0, yi0j0), 우측 위(xi1j0, yi1j0), 좌측 아래(xi0j1, yi0j1) 및 우측 아래(xi1j1, yi1j1)로 표시할 수 있다.

더구나, 도6b에 도시된 것과 같이, 촬상 화상과 기준 화상 각각의 좌표를 식별할 수 있도록, 촬상 화상의 격자부 601의 4모서리의 좌표가 좌측 위(Cxi0j0, Cyi0j0), 우측 위(Cxi1j0, Cyi1j0), 좌측 아래(Cxi0j1, Cyi0j1), 및 우측 아래(Cxi1j1, Cyi1j1)로 주어지고, 기준 화상의 격자부 602의 4모서리의 좌표가, 좌측 위(Rxi0j0, Ryi0j0), 우측 위(Rxi1j0, Ryi1j0), 좌측 아래(Rxi0j1, Ryi0j1), 및 우측 아래(Rxi1j1, Ryi1j1)로 주어진다.

다음에, 상기한 각 격자부의 격자 정보에 근거해서 행해지는 추정처리에 대해 설명한다. 우선, 렌즈 왜곡 수차는 일반적으로 하기의 식으로 모델화된다. 하기 식에서, xd 및 yd는 왜곡을 갖는 좌표이고, xu 및 yu는 왜곡이 없는 좌표이며, K1 내지 K5는 렌즈 왜곡량을 표시하는 계수이다.

xd=(1+K1r²+K2r⁴+K5r⁶)xu+2K3xuyu+K4(r²+2xu²)

yd=(1+K1r²+K2r⁴+K5r⁶)yu+K3(r²+2yu²)+2K4xuyur²=xu²+yu²

이들 식을 사용해서 계산한 렌즈 왜곡량을 렌즈 왜곡 정보 기억부(139b)에 보존한다. 이때, 렌즈 왜곡량과 함께, 촬상 렌즈의 초점거리, 렌즈 ID, 시리얼 번호 등을 관련시켜 보존해도 된다. 그렇게 함으로써, 재차 캘리브레이션을 행하는 경우에 정보를 재사용할 수 있다.

상기한 식에서, K3 및 K4가 접선방향의 왜곡 수차를 표시하는데, 이것은 실제로는 무시할 수 있는 경우가 많기 때문에, 이하의 식과 같이 간략화한 모델도 자주 사용되고 있다.

xd=(1+K1r²+K2r⁴+K5r⁶)xu

yd=(1+K1r²+K2r⁴+K5r⁶)yu

도6a의 격자부 g=0의 좌측 위의 좌표는 하기와 같다.

Cxi0j0=(1+K1r²+K2r⁴+K5r⁶)Rxi0j0

Cyi0j0=( 1+K1r²+K2r⁴+K5r⁶)Ryi0j0

r²=Rxi0j0²+Ryi0j0²

이들 관계식을 사용하여, 촬상 화상과 기준 화상의 각 격자부(g=0 내지 186)의 4모서리의 좌표가 일치하거나 또는 가까운 값이 되도록, 왜곡량 K1, K2 및 K5의 탐색이 행해진다. 탐색 결과 일치 또는 가까운 좌표를 얻을 수 있으면, 추정이 완료된 것으로 판단할 수 있다.

본 실시형태에서는, 각 격자부의 4모서리 만을 일치시키는 것에 대해 설명했지만, 어느 정도 일치가 얻어진 후, 각 격자부의 4모서리 사이의 좌표를 더 분할하고, 비교되는 좌표의 수를 더 증가시킴으로써 추정하는 왜곡량의 정밀도가 향상된다. 또한, 본 실시형태에서는, 추정처리를 왜곡량을 표시하는 계수의 탐색에 관해 설명하였지만, 본 발명은 이것에 한정되는 것은 아니다. 이어서, 연산장치(136)는, 추정한 렌즈 왜곡량을 렌즈 왜곡 정보 기억부(139b)에 보존한다.

또한, 본 실시형태에서는, 렌즈 왜곡량을 촬상 화상과 촬상 제어장치(130) 내에 기억된 차트 정보로부터 추정하는 방법에 대해 설명하였다. 그러나, 촬상 렌즈에 따라서는, 촬상 렌즈(110) 내부나 촬상 제어장치(130)(불휘발성 메모리(139)) 내부에 각 렌즈의 상태(초점거리 등)에 대응하는 렌즈 왜곡량이 기억될 수도 있다. 이들 렌즈 왜곡량, 촬상 렌즈 설계시나 제조시에 결정된다. 왜곡량이 촬상 렌즈 내에 기억되어 있는 경우, 스텝 S506의 렌즈 왜곡량 취득의 처리에서 렌즈 통신을 행하여, 렌즈측으로부터 통신이 실행될 때의 각 렌즈 위치의 왜곡량이 취득된다. 왜곡량이 촬상 제어장치(130)측에 기억되어 있는 경우, 우선 렌즈 통신을 행하고, 각 촬상 렌즈에 할당된 고유의 번호(이후, 렌즈 ID)를 취득한다. 그후, 렌즈 ID와 각 렌즈 위치에 관련된 렌즈 왜곡량을 불휘발성 메모리(139)로부터 판독한다. 이들 렌즈 왜곡량에 근거하여, 후술하는 의사 화상을 더 생성해도 된다.

다음에, 스텝 S505에서는, 연산장치(136)는, 스텝 S504에서 취득한 렌즈 왜곡량과 차트 정보로부터 의사 화상을 생성한다. 왜곡 처리를 실시하기 전의 처리가 도3의 스텝 S303의 기준 화상 생성 처리와 유사하기 때문에, 설명을 생략한다. 이어서, 연산장치(136)는, 휘발성 메모리(138)에 일시 보존된 기준 화상을 판독하는 동시에, 불휘발성 메모리 139b에 기억된 렌즈 왜곡량을 판독한다. 그후, 연산장치(136)는, 화상처리부(137)에게, 기준 화상에 왜곡 처리를 실시하도록 명령한다. 화상처리부(137)는, 판독된 기준 화상과 렌즈 왜곡량으로부터 왜곡수차가 반영된 의사 화상을 생성하여, 이 생성된 의사 화상을 휘발성 메모리(138)에 일시적으로 보존하고, 스텝 S506으로 처리를 진행한다.

스텝 S506에서는, 화상처리부(137)는, 스텝 S505에서 생성한 의사 화상을 촬상 화상에 대해 중첩해서 중첩 화상을 표시를 행한다. 이때, 처리 자체는 도3의 스텝 S304의 처리와 유사하기 때문에, 처리 내용의 설명을 생략한다. 유저는, 이 중첩된 화상을 관찰하고 중첩 화상과 의사 화상을 일치시킴으로써, 카메라(100)와 차트의 위치맞춤을 행한다.

이하, 위치맞춤중인 표시 화면의 일례를 도7a 내지 도7c를 참조하여 설명한다. 도7a 내지 도7c는, 표시부(140)에 표시된 화면을 나타내고 있다. 도7a는, 도2의 스텝 S203 및 S204의 기본 위치맞춤이 완료한 상태를 나타내고 있다. 도7b는, 도7a의 촬상 화상(710)에 기준 화상(711)이 중첩 표시된 상태로부터, 기준 화상(711)에 왜곡 처리를 실시하여 얻어진 의사 화상(712)을 생성하고, 생성된 의사 화상(712)을 중첩 표시한 상태를 나타내고 있다. 도7b는, 촬상 화상과 의사 화상이 약간 어긋나 있는 예를 나타내고 있다. 유저는, 이 상태로부터 도7c의 위치맞춤 완료 상태가 될 때까지, 촬상 화상과 의사 화상이 가능한 한 일치하도록, 카메라(100)의 위치나 자세를 변경한다.

위치맞춤처리를 실행하고 있는 동안, 항상 렌즈 왜곡량을 추정한 후에, 의사 화상이 생성된다. 이 때문에, 카메라(100)와 차트가 직접 마주보는 위치 관계에 접근할수록, 왜곡량의 추정 정밀도가 더 커져, 촬영 화상과 의사 화상의 괴리의 양이 더 작아진다고 상정된다. 또한, 기본 위치맞춤처리와는 달리, 주변 상고까지 촬상 화상과 의사 화상이 일치하는지 확인할 수 있으므로, 유저가 조작부(142)를 조작하여, 확인하고 싶은 화상위치를 확대 표시하여, 촬영 화상과 의사 화상이 일치하는 정보를 확인하는 것이 가능해진다. 그 결과, 왜곡이 큰 렌즈에 있어서도, 주변 상고까지 촬상 화상과 의사 화상을 일치시킴으로써, 카메라(100)와 차트의 위치맞춤을 정밀하게 행하는 것이 가능해진다.

다음에, 스텝 S507에서는, 연산장치(136)는, 위치맞춤을 계속할 것인지 아닌지를 판정한다. 이때, 이 처리는 도3의 스텝 S305의 처리와 유사하기 때문에, 처리 내용의 설명을 생략한다. 이때, 완료 또는 중지가 선택되지 않는 경우에는, 연산장치(136)는 스텝 S503으로 처리를 되돌린다. 스텝 S503 내지 스텝 S506의 촬상 화상 취득으로부터 의사 화상의 중첩 표시까지의 처리를, 완료 또는 중지 중 어느 한개가 선택될 때까지, 또는 조작부(142)를 거쳐 위치맞춤 처리가 강제 종료될 때까지 계속해서 행해진다. 또한, 완료 또는 중지가 선택된 경우에는, 연산장치(136)는, 스텝 S508로 처리를 진행한다.

여기에서, 스텝 S508 내지 스텝 S510의 처리는 도3의 스텝 S306 내지 S308의 처리와 유사하기 때문에, 설명을 생략한다.

스텝 S511에서는, 연산장치(136)는, 스텝 S509 또는 S510의 어느 한개에서 설정된 위치맞춤 결과를 휘발성 메모리(138)에 일시적으로 보존한다. 아울러, 연산장치(136)는, 위치맞춤 완료시의 의사 화상을 차트 정보 기억부(139a)에 차트 정보로서 보존한다.

스텝 S512에서는, 연산장치(136)는 위치맞춤처리를 종료한다.

이때, 2의 스텝 S207의 렌즈 왜곡량의 산출용 화상의 촬영 및 보존 처리를 실행할 때, 화상 자체와 함께, 위치맞춤 결과, 위치맞춤 완료시의 렌즈 정보, 렌즈 왜곡량과, 차트 정보 등의 각종 정보를 화상 자체 또는 화상과 관련된 정보(메타데이터)로서 기억매체(143)에 보존해도 된다.

또한, 본 실시형태를, 위치맞춤처리의 스텝 S503 내지 S506의 의사 화상 생성의 주기에 맞추어, 중첩 화상의 표시를 갱신하는 것과 관련하여 설명하였다. 이것은, 스텝 S504 내지 S506의 중첩 화상 생성에 대해 걸린 처리 시간이 1 촬상 주기(촬상 소자(131)의 판독 주기)와 동등한 기간보다 긴 경우에, 표시되고 있는 촬상 화상이 의사 화상을 생성할 때의 촬상 화상과 다른 것을 피하기 위해서이다. 단, 전술한 중첩 화상 생성에 대해 걸린 시간이 1 촬상 주기의 기간보다 짧은 경우에는, 촬상 주기와 일치하도록 중첩 화상 생성 및 표시 갱신을 행하는 것이 가능해진다. 또한, 표시 갱신 주기를 지연시키는 것이 가능한 경우에는, 카메라(100)의 움직임에 따라, 의사 화상의 생성을 행한 후에, 표시 갱신을 해도 된다. 이때, 카메라(100)의 움직임은, 촬상 화상이 변화한 것을 검출하거나, 또는 촬상 제어장치(130) 내에 자이로 센서 등을 설치해서 자세 변화 등의 움직임을 검출하는 것 등의 방법으로 검출할 수 있다.

또한, 본 실시형태에서는, 기본 위치맞춤처리를 행한 후에, 위치맞춤처리를 행하는 것에 관해 설명하였다. 그러나, 전술한 렌즈 왜곡량이 촬상 렌즈(110) 또는 촬상 제어장치(130) 내에 기억되어 있는 경우나, 중심 위치맞춤을 행하지 않더라도 렌즈 왜곡량을 추정할 수 있는(차트가 전체 화각에 포함되는) 경우에는, 위치맞춤처리를 먼저 실행하여도 된다.

이상과 같이, 본 실시형태에서는, 촬상 제어장치 내에 피사체인 차트 정보를 기억해 두고, 차트 정보와 렌즈 왜곡량의 정보로부터 왜곡 처리를 실시하여 얻어진 의사 화상을 생성한다. 그후, 촬상 화상에 의사 화상을 중첩 표시함으로써, 정밀하게 또한 효율적으로 촬상 제어장치와 차트의 위치맞춤을 행하는 것이 가능해진다.

제2실시형태

제1 실시형태에서는, 촬상 제어장치 내에 기억해 둔 차트 정보와 렌즈 왜곡량의 정보로부터 왜곡처리를 실시하여 얻어진 의사 화상을 생성하고, 의사 화상을 촬상 화상에 중첩 표시함으로써, 촬상 제어장치와 차트의 위치맞춤을 정밀하게 또한 효율적으로 행하는 방법에 대해 설명하였다. 제2 실시형태에서는, 촬상 화상과 의사 화상의 괴리도를 산출하고, 산출한 괴리도에 적합한 정보 및 지시를, 촬상 화상에 의사 화상을 중첩 표시하여 얻어진 화상에 더 중첩시킴으로써, 위치맞춤을 정확하게 행하는 방법에 대해 설명한다.

제2실시형태의 처리의 개략은 제1실시형태에서 설명한 도2의 처리와 유사하기 때문에, 설명을 생략한다. 제2 실시형태에서의 도2의 스텝 S205에 있어서의 위치맞춤처리가 제1실시형태와 다르기 때문에, 그것의 처리 내용에 대해 설명한다.

우선, 도8을 참조하여, 제2실시형태에 있어서의 위치맞춤처리에 대해 설명한다. 이때, 스텝 801 내지 S805의 처리는 제1실시형태의 도5의 스텝 S501 내지 S505의 처리와 유사하고, 스텝 S808 내지 S813의 처리는 스텝 S507 내지 S512의 처리와 유사하기 때문에, 설명을 생략한다.

연산장치(136)는 스텝 S801 내지 S805의 처리를 실행하여, 휘발성 메모리(138)에 촬상 화상과 의사 화상을 일시적으로 보존한다.

스텝 S806에서는, 연산장치(136)는, 촬상 화상과 의사 화상으로부터 괴리도를 산출한다. 괴리도의 산출방법의 일례를 도9a 내지 도9e를 참조해서 후술한다. 이어서, 연산장치(136)는, 산출한 괴리도에 근거한 평가값을 휘발성 메모리(138)에 일시적으로 보존한다.

스텝 S807에서는, 연산장치(136)는, 표시부(140)와 표시 제어부(141)에 의해 촬상 화상에 의사 화상을 중첩하는 처리를 행한다. 이 중첩처리는 제1실시형태의 도5의 스텝 S506의 처리와 유사하기 때문에, 설명을 생략한다.

이어서, 스텝 S806에서 산출된 괴리도에 근거한 평가값으로부터 촬상 화상과 의사 화상을 일치시키기 위해, 연산장치(136)는, 유저에게 카메라(100)의 위치 또는 자세를 변경하도록 촉구하는 지표가 되는 그래픽 유저 인터페이스(GUI)를 생성하고, 생성된 GUI를 중첩 화상에 더 중첩 표시한다. 카메라(100)를 이동시키는 지표를 표시하는 일례를 도10a 내지 도10c를 참조해서 후술한다.

또한, 본 실시형태에서는, 괴리도를 촬상 화상과 의사 화상의 대응하는 격자부의 4모서리(특징점)의 거리와 방향(벡터)으로 표시하고 있지만, 촬상 화상과 의사 화상의 대응하는 격자부(특정한 영역)의 무게중심점의 거리와 방향으로 표시해도 된다.

스텝 S808에서, 유저가 위치맞춤의 완료 또는 위치맞춤의 중지를 선택한 경우에는, 연산장치(136)는 스텝 S809로 처리를 진행하여, 스텝 S809 내지 S812의 처리를 실행한다.

그후, 연산장치(136)는, 스텝 S813에 있어서 위치맞춤처리를 종료한다.

다음에, 괴리도의 산출방법의 일례를 도9a 내지 도9e를 참조하여 설명한다. 여기에서는, 촬상 화상과 의사 화상의 대응하는 격자부의 4모서리의 위치의 거리와 방향(벡터)을 사용한다. 또한, 각 격자부의 위치와 각 격자부의 4모서리의 위치를 식별하기 위한 정보(번호)는 도6a와 유사하다.

도9a는, 좌측 위의 격자부(격자 번호: g=0)의 괴리도의 산출을 설명하기 위한 도면이다. 촬상 화상측의 격자부(901)의 4모서리의 좌표는, 좌측 위 (Cxi0j0,Cyi0j0), 우측 위 (Cxi1j0,Cyi1j0), 좌측 아래 (Cxi0j1,Cyi0j1), 및 우측 아래 (Cxi1j1,Cyi1j1)이다. 또한, 의사 화상측의 격자부(902)의 4모서리의 좌표는, 좌측 위 (Rxi0j0,Ryi0j0), 우측 위 (Rxi1j0,Ryi1j0), 좌측 아래 (Rxi0j1,Ryi0j1), 및 우측 아래 (Rxi1j1,Ryi1j1)이다. 좌측 위를 예로 들어 후속 처리에 대해 설명한다.

의사 화상측 격자부(902)에 좌측 위에 대한 촬상 화상측 격자부(901)의 좌측 위의 거리와 방향(벡터) Vi0j0을 산출한다. 이때, Vi0j0은 (Rxi0j0-Cxi0j0,Ryi0j0-Cyi0j0)로 표시된다. 이어서, 우측 위 Vi1j0, 좌측 아래 Vi0j1, 및 우측 아래 Vi1j1의 괴리도를 산출한다. 그후, 격자부(격자 번호: g=0)의 괴리도는, Vddg0=(Vi0j0+Vi1j0+Vi0j1+Vi1j1)으로 표시된다. 이 괴리도는 격자부 전체 또는 흑색 격자부나 백색 격자부의 어느 한쪽에 대해 산출된다. 이어서, 연산장치(136)는 모든 격자부에 대해 산출된 괴리도를 휘발성 메모리(138)에 일시적으로 보존한다.

다음에, 연산장치(136)는, 괴리도에 근거한 평가값을 산출하고, 카메라(100)의 이동 지표의 표시를 행한다. 괴리도에 근거한 평가값 산출의 일례에 대해 설명한다. 예를 들면, 전술한 격자부들의 괴리도 VddgN(N=0 내지 186)의 총 합계를 산출한다. 도9b와 도9c에서는, 촬상 화상과 의사 화상 사이에 괴리가 없는 결과가 된다. 또한, 도9d와 도9e에서는, 촬상 화상에 대해 의사 화상이 아래측 혹은 우측으로 어긋난 결과가 된다. 또한, 카메라(100)의 광축 중심을 기준으로 차트를 4상한으로 나누고, 상한마다 총 합계를 산출하고, 상한들의 차이 또는 상하들의 합을 더 산출해도 된다.

이동 지표의 표시 예에 대해 도10a 내지 도10c를 참조하여 설명한다. 도10a는, 카메라(100)의 이동 방향의 메시지가 중첩 화상에 더 중첩 표시되는 예를 나타내고 있다. 유저는, 메시지에 따라 카메라(100)의 위치를 변경하고, 메시지가 사라지거나 또는 위치맞춤의 완료를 나타내는 메시지가 표시될 때까지 위치의 미세 조정을 행한다.

도10b는, 카메라(100)의 이동 방향을 나타낸 그래피컬한 도형을 표시한 예를 나타내고 있다. 이동 방향을 나타낸 화살표 마크가 표시되고, 이동량의 값에 따라 화살표의 길이 또는 크기를 변경해도 된다.

도10c는, 카메라(100)의 이동 방향과 대략적인 이동량을 바 게이지를 사용하여 가이드로서 표시한 예를 나타내고 있다. 도10c의 바 게이지 1003 내지 1006은 카메라(100)의 이동을 가이드하기 위한 유저 인터페이스이다. 바 게이지 1003 및 1004는 수평 방향을 나타내고, 바 게이지 1005 및 1006은 수직 방향을 나타내고 있다.

바 게이지를 표시하기 위한 평가값으로서는, 전술한 4상한의 괴리도를 사용한다. 화상의 상부에 있는 수평 방향의 바 게이지(1003)는 제1상한 및 제4상한의 괴리도의 차이를 나타내고, 화상의 하부에 있는 수평 방향의 바 게이지(1004)는 제2상한 및 제3상한의 괴리도의 차이를 나타낸다. 마찬가지로, 화상의 좌측에 있는 수직 방향의 바 게이지(1005)는 제3상한 및 제4상한의 괴리도의 차이를 나타내고, 화상의 우측에 있는 수직 방향의 바 게이지(1006)는 제1상한 및 제2상한의 괴리도의 차이를 나타낸다.

흑색 삼각형이 현재의 상태를 나타내고, 도10c는, 수직 방향의 위치는 맞지만, 수평 방향의 위치가 좌측으로 어긋난 상태를 나타내고 있다. 유저는, 바 게이지 1003 내지 1006을 관찰하면서, 카메라(100)의 위치를 변경하여, 바 게이지 1003 내지 1006이 모두 같은 상태가 되도록 미세 조정을 행한다. 이때, 도10a 내지 도10c의 이동 지표의 표시예는 일례이며, 본 발명은 이것들에 한정되는 것은 아니다.

또한, 본 실시형태에서는, 위치맞춤의 완료가 유저의 육안 확인 및 판단에 의해 판정된다. 이것을 감안하여, 상기한 괴리도를 사용하여 위치맞춤의 완료가 판정되는 구성을 채용한다. 예를 들면, 괴리도에 근거한 평가값이 소정값 이하로 감소한 경우에 위치맞춤이 완료된 것으로 판단하여, 필요한 종료 처리를 실시한 후에, 위치맞춤처리를 종료하는 구성을 채용해도 된다.

또한, 스텝 S201 내지 S207에서 개략적으로 설명한 캘리브레이션 처리는, 위치맞춤을 완료한 후에, 렌즈 왜곡량 산출용의 화상을 촬영하는 것에 관해 설명하였다. 그러나, 전술한 괴리도를 사용해서 위치맞춤이 완료하였다고 판단될 때, 자동으로 렌즈 왜곡량의 산출용 화상을 촬영하는 구성을 채용해도 된다.

또한, 제1실시형태에 있어서는, 렌즈 왜곡량이 촬상 렌즈(110) 내부 또는 촬상 제어장치(130) 내부에 기억되어 있는 경우를 설명하였다. 그러나, 이들 렌즈 왜곡량은 각 렌즈 위치에 대응한 값이지만, 이들 값은 실제로는 촬상 렌즈(110) 또는 촬상 제어장치(130)의 기억 용량 등의 제한으로 인해 이산적인 값이 될 수도 있다. 이 경우, 렌즈 위치에 따라서는, 왜곡 처리를 통해 얻어진 의사 화상도 촬상 화상과의 괴리가 큰 것이 상정된다. 이 경우, 제1실시형태에서 설명한 촬상 화상과 차트 정보로부터 렌즈 왜곡량을 추정하는 처리를 병행하여 실행하는 구성을 채용해도 된다. 이 경우에는, 예를 들면, 촬상장치(100) 또는 촬상 제어장치(130)에 의해 기억된 렌즈 왜곡량으로부터 생성된 의사 화상과, 추정된 렌즈 왜곡량으로부터 생성된 의사 화상의 각각과 촬상 화상의 괴리도를 산출한다. 그후, 괴리도의 절대값이 작은 쪽의 의사 화상을 표시한다.

또한, 상기한 설명에서는, 스텝 S806의 촬상 화상과 의사 화상으로부터 괴리도를 산출하는 처리를 촬상 화상의 차트의 격자부 전체에 있어서 괴리도를 산출하는 것과 관련하여 설명하였다. 그러나, 렌즈 왜곡량은 광학 중심으로부터 주변 상고가 증가(더 높은 상고)함에 따라 증가하는 경향이 있다. 이 때문에, 괴리도를 산출하는 영역을 렌즈 왜곡량 또는 상고에 따라 한정해도 된다. 그 결과, 산출처리의 부하를 줄이는 것이 가능해진다.

또한, 이와 같은 스텝 S806의 처리에서 사용되는 의사 화상은 왜곡 처리를 실시한 화상이지만, 괴리도에 근거한 평가값은 괴리도의 상대적인 차이로부터 결정되므로, 촬상 화상과 왜곡 처리를 실시하지 않은 기준 화상으로부터 괴리도를 산출하는 구성을 채용해도 된다.

또한, 스텝 S807의 촬상 화상에 의사 화상을 중첩하는 처리에 있어서, 스텝 S806에서 산출된 괴리도에 따라, 중첩처리의 내용을 변경해도 된다. 예를 들면, 괴리도에 따라, 투과도, 색, 또는 표시방법을 변경하는 것이 생각된다. 구체적으로는, 색을 변경하는 경우에는, 촬상 화상의 차트의 흑색 격자부에 대응하는 의사 화상의 흑색 격자부의 표시 색이 적색인 경우, 괴리도가 소정값 이하인 격자부의 색을 표시 색에 대해 시인하기 쉬운 대조가 되는 색으로 변경한다. 이 경우에는, 적색을 청색계(청색이나 시안)로 변경한다. 이와 같이 함으로써, 괴리도가 큰 부분의 위치를 알기 쉬워지기 때문에, 보다 위치맞춤이 쉬워진다. 또한, 표시방법을 변경하는 경우에는, 예를 들면, 괴리도에 근거한 평가값이 소정값을 만족하는 의사 화상의 격자부의 프레임 부분만 표시한다. 이렇게 함에 따라, 색을 변경하는 경우와 마찬가지로, 괴리도가 큰 부분의 위치를 알기 쉬워진다.

이상과 같이, 본 실시형태에서는, 촬상 화상과 의사 화상으로부터 괴리도를 산출하고, 괴리에 근거한 지표를 촬상 화상에 의사 화상을 중첩하여 얻어진 화상에 더 중첩한다. 이에 따라, 촬상장치와 차트의 위치맞춤을 더욱 정확하게 행하는 것이 가능해진다.

제3실시형태

다음에, 캘리브레이션 처리에 있어서, 차트와 카메라의 위치맞춤이 육안에 의해 행할 때에 발생하는 과제에 대해 설명한다. 또한, 유저에게 카메라를 이동시킬 양과 방향을 지시하는 동시에, 최종적인 미세 조정을 카메라로 행함으로써 시간과 노력을 삭감하는 방법에 대해 설명한다.

육안에 의해 차트와 카메라의 위치맞춤을 행하는 경우, 위치가 맞지 않고 있는 상태로부터 위치가 맞는 상태를 달성하기 위해 유저가 어느 정도 더 카메라를 이동시키면 되는지 알 수 없을 우려가 있다. 따라서, 유저는 LCD 상에 표시되어 있는 표시 차트와 촬영되고 있는 촬영 차트의 일치를 육안으로 확인하면서 카메라를 이동시킬 필요가 있다. 또한, 유저가 육안으로 카메라와 차트가 일치하였다고 판단한 경우에도, 실제는 LCD 상에서는 육안으로 확인할 수 없는 미소한 어긋남이 남아 있을 가능성이 있다. 미소한 어긋남이 남아 있으면, 캘리브레이션 처리에 있어서 취득하고 싶은 렌즈 데이터가 화면 중앙을 원점으로 하는 동심원 형상으로 취득할 수 없는 것이 생각되어, 정확한 렌즈 정보를 취득할 수 없을 가능성이 있다. 더구나, 정확한 화각 맞춤을 행하기 위해 미소한 어긋남을 제거하도록 유저가 화각 맞춤에 노력을 하면, 화각 맞춤에 소모된 증가된 시간과 기타 요인으로 인해, 캘리브레이션에 관련된 작업이 지장을 받는다.

상기한 과제에 대해, 도11 내지 도19를 참조하여, 차트와 카메라의 위치맞춤을 위해 유저에게 카메라를 이동시킬 양과 방향을 지시하는 동시에, 최종적인 미세 조정을 카메라로 행하는 방법에 대해 설명한다.

도11 내지 도14는, 본 실시형태에 있어서의 캘리브레이션 처리를 행하기 위해 카메라의 위치맞춤을 행하는 처리를 설명하는 플로우차트다.

도11은, 캘리브레이션 처리에 있어서 화각 맞춤 및 캘리브레이션 처리의 절차를 나타내고 있다.

우선, 조작부(142)를 거쳐 유저가 카메라(100)를 VFX 합성을 위한 렌즈 데이터를 취득하는 캘리브레이션 모드로 변경하면, 도11의 처리가 개시된다.

스텝 S2101에서, 연산장치(136)는, 화각 맞춤처리를 행하고, 처리를 스텝 S2102로 진행한다. 화각 맞춤처리의 상세에 대해서는 후술한다.

스텝 S2102에서는, 연산장치(136)는, 스텝 S2101에 있어서 화각 맞춤처리가 완료하였는지 아닌지를 판단하여, 화각 맞춤처리가 완료하였다고 판단한 경우에는, 화각 맞춤처리를 종료하고, 처리를 스텝 S2103으로 진행한다.

다음에, 스텝 S2103에서, 연산장치(136)는, 캘리브레이션 처리를 실시하고 처리를 종료한다.

다음에, 도12를 참조하여, 스텝 S2101에 있어서의 화각 맞춤처리의 상세에 대해 설명한다.

우선, 스텝 S2201에서는, 연산장치(136)는, 전술한 스텝 S2102에 있어서 화각 맞춤처리가 완료하였는지 아닌지를 판단하기 위한 플래그 정보를 미완료 상태로 초기화한다.

스텝 S2202에서는, 연산장치(136)는, 차트 정보 기억부(139a)에 기록된 차트의 모델 데이터를 판독한다. 모델 데이터는, 제1 및 제2실시형태에서 설명한 차트 정보로부터 생성된 의사 화상 또는 기준 화상에 해당한다.

스텝 S2203에서는, 연산장치(136)는, 스텝 S2202에서 판독한 차트의 모델 데이터와 카메라가 촬영한 차트의 촬영 화상으로부터 어긋남 량을 나타내는 차분을 산출한다. 본 처리의 상세에 대해서는 도13을 참조해서 후술한다.

스텝 S2204에서는, 연산장치(136)는, 스텝 S2203에서 산출된 어긋남 량으로부터 카메라(100)를 이동시켜야 할 방향과 양을 산출한다. 본 처리의 상세에 대해서는 도14를 참조해서 후술한다.

스텝 S2205에서는, 연산장치(136)는, 스텝 S2203에서 산출된 어긋남 량 또는, 어긋남 량에 근거하여 스텝 S2204에서 산출된 카메라(100)의 이동량 G가 임계값 미만인지 아닌지를 판단한다. 임계값 미만이라고 판단한 경우에는, 처리를 스텝 S2206으로 진행하고, 임계값 이상이라고 판단한 경우에는 처리를 스텝 S2209로 진행한다.

스텝 S2206은, 연산장치(136)가 스텝 S2205에 있어서 카메라(100)의 이동량 G가 임계값 미만이라고 판단한 경우에 행해진다. 카메라(100)의 이동량 G가 작은 경우는, 유저가 수동으로 행하는 차트에 대한 카메라 위치의 미세 조정이 더 이상 곤란하다고 판단한 경우의 처리이다. 따라서, 유저에게 카메라를 이동하게 하는 것 대신에, 카메라 내부에서 화각의 중심 위치맞춤을 실시한다.

구체적으로는, 연산장치(136)는, 차트와 촬영 화상의 차분이 최소가 되도록, 스텝 S2203에서 산출된 차분에 근거하여 손떨림 보정 렌즈(114)의 구동량을 산출한다. 그후, 연산장치(136)는, 전기 접점 유닛(150)을 거쳐 렌즈 제어부(121)에 대하여 손떨림 보정 렌즈(114)를 구동하는 지시를 출력한다. 이 지시를 수신한 렌즈 제어부(121)는 손떨림 보정 구동부(118)에 대해 손떨림 보정 렌즈(114)를 구동하는 명령을 출력하고, 손떨림 보정 구동부(118)는 실제로 손떨림 보정 렌즈(114)를 구동한다. 이와 달리, 연산장치(136)는 스텝 S2203에서 산출된 차분에 근거하여 촬상 소자(131)에 대한 손떨림 보정 구동부(134)의 구동량을 산출하고, 손떨림 보정 제어부(135)에 대해 촬상 소자(131)를 구동하는 명령을 출력한다. 그후, 손떨림 보정 구동부(134)는 실제로 촬상 소자(131)를 구동한다. 이와 달리, 전술한 손떨림 보정 렌즈(114)와 촬상 소자(131)의 양쪽을 구동해도 된다. 이들 부재 모두가 구동되는 경우, 렌즈 110 내지 115와 촬상 소자(131)가 광축 위에 있는 상태와 비교하여, 왜곡량의 데이터 변화가 최소가 되는 위치로 이들 2개의 부재를 구동하는 것이 바람직하다.

연산장치(136)가 스텝 S2206에 있어서 카메라(100)의 내부에서 화각의 중심 맞춤을 실시하였기 때문에, 표시 제어부(141)는, 스텝 S2207에서, 유저에 의한 화각 맞춤 조작이 완료하였다는 것을 나타내는 표시를 표시부(140)에 행한다.

스텝 S2208에서, 연산장치(136)는, 화각 맞춤이 완료한 것을 나타내는 플래그를 ON으로 하고 처리를 종료한다. 이때, 이 플래그는 스텝 S2102에 있어서 화각 맞춤이 완료하였는지 아닌지를 판단하기 위해 사용된다.

스텝 S2209는, 스텝 S2205에 있어서 어긋남 량이 임계값 이상이라고 판단하고 유저가 화각 맞춤을 행할 양이 남아 있는 경우에 행해진다. 따라서, 표시 제어부(141)는, 유저에 의한 화각 맞춤이 완료하지 않았다는 것을 나타내는 표시를 표시부(140)에 행한다. 일례로서, 스텝 S2204에서 산출된 카메라(100)의 이동량 G 중에서, 차에 대해 수직 방향의 이동량, 수평 방향의 이동량 및 이동 방향을 표시하는 방법이 생각된다.

이상의 처리의 결과, 차트에 대해 카메라(100)의 위치 어긋남이 큰 경우에는, 유저가 카메라의 이동량과 이동 방향을 확인한 후 카메라(100)를 이동시킬 수 있다. 또한, 유저가 제거할 수 없는 미소한 어긋남에 대해, 유저가 더 이상 조정을 행할 필요가 없어져, 캘리브레이션 처리를 위한 화각 맞춤에 소모되는 시간이 단축된다.

다음에, 도13a를 참조하여 스텝 S2203에서 차트와 촬영 화상의 차분의 산출하는 처리의 상세에 대해 설명한다.

우선, 스텝 S2301에서, 연산장치(136)는, 촬상 소자 제어부(133)에 지시를 내려, 소정의 주기로 촬상 소자(131)로부터 차트를 촬영하여 얻어진 화상신호를 취득하고, 취득한 화상신호를 화상처리부(137)로 보낸다. 화상처리부(137)는, 화상신호에 대해 적절한 화상처리를 실행하여, 그 결과 얻어진 화상신호를 휘발성 메모리(138)에 일시적으로 기억한다.

스텝 S2302에서는, 연산장치(136)는, 화상처리부(137)에게 지시하여, 일시적으로 기억된 차트의 화상을 2진수 처리하는 것 등의 화상처리를 행하여, 후술하는 스텝 S2304에서 차분의 산출을 쉽게 한다. 이때, 화상신호의 처리는 2진수 처리에 한정되지 않는다.

다음에, 스텝 S2303에서는, 연산장치(136)는, 화상처리를 실행한 차트 화상에 대해 촬영 화상 시프트 처리를 행한다.

구체적으로는, 스텝 S2202에서 판독한 차트의 모델 데이터와의 차분이 최소가 되는 위치를 탐색하기 위한 방법의 일례로서, 촬영 화상과 차트의 모델 데이터의 비교 위치를 변경하면서 최소의 차분 위치를 산출하는 방법을 들 수 있다. 차트 화상을 수평 좌측 방향으로 N화소, 수직 상측 방향으로 N화소 움직인 상태의 화상을 생성해서 차분을 산출한다. 또한, 이 처리의 결과, 후술하는 스텝 S2309에서 소정 위치의 차분 산출이 완료되었다고 판단한 경우에는, 수직 좌측 방향으로 N-1화소, 수직 상측 방향으로 N화소 등과 같이, 전회와는 다르게 화상을 이동해서, 다시 화상의 차분을 산출한다.

화상을 어느 범위 내에서 시프트시킬지에 관한 시프트 범위와, 시프트 범위를 어떤 스텝 량(솎아냄 량)만큼 시프트시킬지에 관한 시프트 스텝 량은 카메라 내에서 설정되거나, 유저가 제공해도 된다. 이들 변수를 카메라 내에서 설정하는 경우에는, 우선 시프트 스텝 량을 크게 설정해서 차분이 최소가 되는 위치를 탐색한 후, 보다 작은 시프트 스텝 량을 설정해서 차분이 최소가 되는 위치를 재차 탐색하는 방법이 생각된다. 스텝 S2303에서는, 화상처리부(137)가, 스텝 S2303이 실행될 때마다, 전술한 시프트 범위를 설정된 시프트 스텝 량만큼 변경해서, 화상을 잘라내서 잘라낸 화상을 연산장치(136)에 출력한다.

또한, 스텝 S2202에서 판독한 차트의 모델 데이터와의 차분이 최소가 되는 위치를 탐색하기 위한 또 다른 일례로서, 다음과 같은 방법도 생각된다. 즉, 손떨림 보정 렌즈(114)의 위치를 변경하면서 촬영한 화상과 차트의 모델 데이터를 매회 비교하여, 차분이 최소가 되는 손떨림 보정 렌즈(114)의 위치를 산출한다. 구체적인 방법에 대해서는 도16a 내지 도 16d를 참조해서 후술한다.

더구나, 스텝 S2202에서 판독한 차트의 모델 데이터와의 차분이 최소가 되는 위치를 탐색하기 위한 다른 예로서, 다음과 같은 방법도 더 생각된다. 즉, 촬상 소자(131)의 위치를 변경하면서 촬영한 화상과 차트의 모델 데이터를 매회 비교하여, 차분이 최소가 되는 촬상 소자(131)의 위치를 산출한다. 구체적인 방법에 대해서는 도17a 내지 도17d를 참조해서 후술한다.

더구나, 촬영 화상과 차트의 모델 데이터의 비교 위치를 변경하면서 최소 차분 위치를 산출하는 방법을 실시하는 경우에는, 수평 및 수직 방향으로 시프트 위치 변경한 것 뿐만 아니라 회전 방향으로 이 위치를 변경한 후에도 비교가 가능해진다.

전술한 촬영 화상과 차트의 모델 데이터의 비교 위치 및 회전량 r을 변경하는 방법, 손떨림 보정 렌즈(114)의 위치를 변경하는 방법과, 촬상 소자(131)의 위치를 변경하는 방법 중에서 1개만 실시해도 되고, 복수의 이들 방법을 조합해서 실시해도 된다.

다음에, 스텝 S2304에서, 연산장치(136)는, 스텝 S2303에서 촬영 및 생성된 화상과 차트의 모델 데이터를 비교하여, 차분 S를 산출한다. 차분 S의 산출방법의 일례를 도19를 참조하여 설명한다.

도19의 참조번호 2900은 화각을 표시하는 영역을 나타내고, 참조번호 2901은 차트의 모델 데이터를 나타내고, 참조번호 2902는 촬영 화상에 있어서의 차트의 영역을 나타낸다. 또한, 참조번호 2910이 나타내는 영역(위로 올라간 해칭이 아래로 내려간 해칭과 겹치는 영역)은 차트의 모델 데이터(2901)의 흑색 부분과 촬영 화상(2902)의 흑색 부분이 겹치는 영역이며, 차분이 없는 영역으로서 산출된 부분이다. 마찬가지로, 참조번호 2911이 나타내는 영역(공백 영역)은 차트의 모델 데이터(2901)의 백색 부분과 촬영 화상(2902)의 백색 부분이 겹치는 영역이며, 차분이 없는 영역으로서 산출되는 부분이다. 참조번호 2912가 나타내는 영역(위로 올라간 해칭만의 영역)은 차트의 모델 데이터(2901)의 흑색 부분과 촬영 화상(2902)의 백색 부분이 겹치는 영역이며, 차분 영역으로서 산출된 부분이다. 마찬가지로, 참조번호 2913이 나타내는 영역(아래로 내려간 해칭 만의 영역)은 차트의 모델 데이터(2901)의 백색 부분과 촬영 화상(2902)의 흑색 부분이 겹치는 영역이며, 차분 영역으로서 산출된 부분이다.

이때, 상기한 설명에서는, 같은 색인지 아닌지에 근거하여 차분 영역을 산출하고 있었지만, 차트의 각 격자 영역에 ID 등의 식별자를 설치하고, 같은 ID를 갖는 같은 색 영역이 중첩하는지 아닌지에 의해 차분 영역을 산출하는 방식을 사용해도 된다.

다음에, 스텝 S2305에서, 연산장치(136)는, 전술한 수법에서 산출한 각 차분 영역의 면적을 보존되어 있는 차분 최소값과 비교한다. 연산장치(136)는, 차분 S가 차분 최소값보다도 작은 경우에는, 스텝 S2306으로 처리를 진행하고, 차분 S가 차분 최소값 이상인 경우에는, 스텝 S2309로 처리를 진행한다.

스텝 S2306에서, 연산장치(136)는, 차분 S를 차분 최소값으로서 다시 보존한다.

스텝 S2307에서, 연산장치(136)는, 차분 S가 최소가 되는 시프트 위치를 기억한다. 구체적으로는, 연산장치(136)는, 차분이 최소일 때의 차트 화상의 화소 이동량 p, 손떨림 보정 렌즈(114)의 구동량 ω, 및 촬상 소자(131)의 이동량 i를 시프트 량으로서 기억한다.

스텝 S2308에서, 연산장치(136)는, 표시 제어부(141)에게 지시하여, 차트의 모델 데이터와 촬영 화상의 합성 처리를 행하여, 합성 화상을 표시부(140)에 표시한다. 유저는, 표시부(140)에 표시된 차트의 모델 데이터와 촬영 화상의 어긋남을 육안으로 확인하여, 어긋남을 보정하도록 카메라를 움직인다.

스텝 S2309에서, 연산장치(136)는, 스텝 S2303에서 탐색해야 하는 모든 탐색 개소의 탐색을 종료하였는지 아닌지를 판단한다. 그후, 연산장치(136)는, 모든 탐색을 종료하였다고 판단한 경우에는 처리를 종료하고, 탐색해야 할 탐색 개소가 남아 있다고 판단한 경우에는 처리를 스텝 S2301로 되돌린다.

이상의 처리의 결과, 차트의 모델 데이터와 촬영된 차트 화상의 차분으로부터 차트와 카메라의 차분을 유도하기 위한 어긋남 량을 산출하는 것이 가능해진다.

다음에, 도14를 참조하여, 스텝 S2204의 카메라 이동량 산출처리의 상세에 대해 설명한다.

우선, 스텝 S2401에서, 연산장치(136)는, 렌즈 제어부(121)와 명령의 송수신을 행하여, 렌즈의 초점거리 정보 f와 손떨림 보정 렌즈(114)의 구동량 ω을 취득한다. 또한, 연산장치(136)는, 포커스 렌즈(115)의 위치 정보, 각종 렌즈의 구동 상태에 관한 정보, 및 조리개(113)의 상태에 관한 정보를 취득한다.

스텝 S2402에서, 연산장치(136)는, 피사체 거리 정보 d를 취득한다. 피사체 거리 정보 d는, 차트에 대해 초점을 맞춘 후에 전술한 포커스 렌즈(115)의 위치 정보로부터 산출하거나, 유저에 의한 입력을 통해 피사체 거리 정보 d를 취득하여도 된다. 이와 달리, 촬상 소자(131)가 촬상면 위상차 방식의 디포커스량을 산출할 수 있는 촬상 소자인 경우에는, 전술한 포커스 렌즈(115)의 위치 정보와 디포커스 량으로부터 피사체 거리 정보 d를 산출해도 된다.

스텝 S2403에서, 연산장치(136)는, 취득한 피사체 거리 정보 d 및 렌즈의 초점거리 정보 f와, 도12의 화각 맞춤처리에서 산출되는 화소 이동량 p, 회전량 r, 손떨림 보정 렌즈(114)의 구동량 ω 및 촬상 소자(131)의 이동량 i를 사용하여, 카메라(100)를 이동시켜야 할 양인 이동량 G 및 회전량을 산출하고, 처리를 종료한다.

다음에, 도13a의 스텝 S2303의 촬영 화상 시프트 처리에 있어서 카메라(100)의 이동량 G를 산출하는 예에 대해 설명한다. 도15a 내지 도15d는, 시프트 처리를 카메라(100)의 내부의 가상적인 화상 이동에 의해 행하여, 이동량 G를 산출하는 경우를 나타낸다. 도16a 내지 도16d는, 시프트 처리를 손떨림 보정 렌즈(114)로 행하여, 이동량 G를 산출하는 경우를 나타낸다. 도17a 내지 도17d는, 시프트 처리를 촬상 소자(131)로 행하여, 이동량 G를 산출하는 경우를 나타낸다. 이때, 도면에 있어서, 동일 혹은 유사한 구성에는 동일한 참조번호를 붙이고, 중복된 설명은 생략한다.

도15a에 있어서, 참조번호 2500은 캘리브레이션에 사용하는 차트를 나타내고, 점 O는 차트의 중앙 위치를 나타내고 있다. 참조번호 2501은 카메라(100)의 광축을 나타낸다. 참조번호 2502는 카메라(100)의 화각을 나타낸다. 본 실시형태의 목적의 한 개는, 점 O와 광축(2501) 사이의 괴리 거리 G를 산출하여, 유저에게 괴리 거리(이동량) G를 제시하는 것이다.

도15b는, 도15a의 상황에서 촬영이 행해지고 있을 때의 LCD 화면 상의 표시를 나타내고 있다.

화각(2900)과 화상을 맞추는 목표가 되는 차트의 모델 데이터(2901)가 화면의 중앙에 표시되어 있다. 또한, 도15a에서는, 카메라(100)가 차트(2500)에 대해 약간 우측 방향으로 어긋나 있기 때문에, 도15b에 있어서는, 촬영 화상에 있어서의 차트(2902)가 약간 좌측으로 어긋나서 합성된다.

도15c는, 스텝 S2303에 있어서 매회 실시되는 촬영 화상 시프트 처리의 일례를 도시한 도면이다. 촬영 화상을 시프트하지 않는 경우에는, 도15b에 도시된 것과 같은 어긋남이 발생하며, 스텝 S2303의 1회째의 처리에서. 촬영 화상을 가상적으로 좌측 상측 방향으로 어긋나게 하여 차트의 모델 데이터와 합성하면, 도15c의 좌측 상측 도면에 도시된 것과 같은 어긋남이 발생된다. 이 상태에서 차분을 산출하고, 차분 최소값과 비교하고, 필요에 따라 차분 최소값과 차분을 최소화하는 어긋남 량을 갱신한다.

다음에, 2회째의 처리로서, 촬영 화상을 가상적으로 우측 상측 방향으로 어긋나게 하여 차트의 모델 데이터와 합성하면, 도15c의 우측 상측 도면에 나타낸 것과 같은 어긋남이 발생한다. 이 상태에서 차분을 산출하고, 차분 최소값과 비교하고, 필요에 따라 차분 최소값과 차분을 최소화하는 어긋남 량을 갱신한다.

다음에, 3회째의 처리로서, 촬영 화상을 가상적으로 좌측 하측 방향에 어긋나게 하여 차트의 모델 데이터와 합성하면, 도15c의 좌측 하측 도면에 나타낸 것과 같은 어긋남이 발생한다. 이 상태에서 차분을 산출하고, 차분 최소값과 비교하고, 필요에 따라 차분 최소값과 차분을 최소화하는 어긋남 량을 갱신한다.

다음에, 4회째의 처리로서, 촬영 화상을 가상적으로 우측 하측 방향으로 어긋나게 하여 차트의 모델 데이터와 합성하면, 도15c의 우측 하측 도면에 나타낸 것과 같은 어긋남이 발생한다. 이 상태에서 차분을 산출하고, 차분 최소값과 비교하고, 필요에 따라 차분 최소값과 차분을 최소화하는 어긋남 량을 갱신한다.

상기한 처리를 행하여, 기록된 차분 최소값에 대응하는 화소 이동량을 p로 하고, 괴리 거리 G를 산출한다. 괴리 거리 G는 도15d의 관계로부터 하기의 식으로 구할 수 있다.

G=(d×p)/f

다음에, 손떨림 보정 렌즈(114)를 구동해서 괴리 거리 G를 산출하는 방법에 대해서 도16a 내지 도16d를 참조하여 설명한다.

도16a에 있어서, 참조번호 2503은, 손떨림 보정 렌즈(114)가 이동했을 때의 광축을 나타낸다. 일례로서, 광축(2503)이 점 O를 통과하고, 이때의 보정각이 ωdeg인 패턴을 도시하고 있다. 또한, 참조번호 2504는 손떨림 보정 렌즈(114)가 이동한 경우의 변화된 화각을 표시하는 선을 나타낸다.

도16b는, 도16a의 상황에서 촬영이 행해질 때 구동되고 있는 손떨림 보정 렌즈(114)를 나타낸 것이다. 도16b의 좌측 도면은, 손떨림 보정 렌즈(114)가 광축의 중심(2505)을 유지하고 있는 상황을 나타내고 있다. 한편, 도16b의 우측 도면은, 손떨림 보정 렌즈(114)가 광축의 중심(2505)에 대해 ωdeg만큼 좌측 방향으로 어긋난 것을 나타내고 있다. 도16b의 하측 도면은, 상기한 상황에 있어서 촬영이 행해질 때의 LCD 화면 상의 표시를 나타내고 있다.

화각(2900)과 화상을 맞추는 목표가 되는 차트의 모델 데이터(2901)가 화면의 중앙에 표시되어 있다. 또한, 도16a 및 도16b의 좌측 도면에서는, 카메라(100)가 차트(2500)에 대해 약간 우측으로 어긋나 있기 때문에, 촬영 화상에 있어서의 차트(2902)가 약간 좌측으로 어긋나서 합성된다. 한편, 도16a 및 도16b의 우측 도면에서는, 카메라(100)의 광축(2503)이 점 O를 통과하기 때문에, 촬영 화상에 있어서의 차트(2902)의 중심이 차트의 모델 데이터(2901)의 중심과 일치하고 있다.

도16c는, 스텝 S2303에 있어서 매회 실시되는 촬영 화상 시프트 처리의 일례를 도시한 도면이다. 손떨림 보정 렌즈(114)가 시프트하지 않은 경우, 도16의 좌측 도면에 나타낸 것과 같은 어긋남이 발생하며, 스텝 S2303의 1회째의 처리에서, 촬영 화상을 좌측 상측 방향으로 어긋나게 하여 차트의 모델 데이터와 합성하면, 도16c의 좌측 상측 도면에 나타낸 것과 같은 어긋남이 발생한다. 이 상태에서 차분을 산출하고, 차분 최소값과 비교하고, 필요에 따라 차분 최소값과 차분을 최소화하는 손떨림 보정 렌즈(114)의 어긋남 량을 갱신한다.

다음에, 2회째의 처리로서, 촬영 화상을 우측 상측 방향으로 어긋나게 하여 차트의 모델 데이터와 합성하면, 도16c의 우측 상측 도면에 나타낸 것과 같은 어긋남이 발생한다. 이 상태에서 차분을 산출하고, 차분 최소값과 비교하고, 필요에 따라 차분 최소값과 차분을 최소화하는 손떨림 보정 렌즈(114)의 어긋남 량을 갱신한다.

다음에, 3회째의 처리로서, 촬영 화상을 좌측 하측 방향으로 어긋나게 하여 차트의 모델 데이터와 합성하면, 도16c의 좌측 하측 도면에 도시된 것과 같은 어긋남이 발생한다. 이 상태에서 차분을 산출하고, 차분 최소값과 비교하고, 필요에 따라 차분 최소값과 차분을 최소화하는 손떨림 보정 렌즈(114)의 어긋남 량을 갱신한다.

다음에, 4회째의 처리로서, 촬영 화상을 우측 하측 방향으로 어긋나게 하여 차트의 모델 데이터와 합성하면, 도16c의 우측 하측 도면에 나타낸 것과 같은 어긋남이 발생한다. 이 상태에서 차분을 산출하고, 차분 최소값과 비교하고, 필요에 따라 차분 최소값과 차분을 최소화하는 손떨림 보정 렌즈(114)의 어긋남 량을 갱신한다.

상기한 처리를 행하여, 기록된 차분 최소값에 대응하는 손떨림 보정 렌즈(114)의 구동량을 ω로 하여, 괴리 거리 G를 산출한다. 괴리 거리 G는, 도16d의 관계로부터, 하기의 식에서 구할 수 있다.

G=d·tanω

이때, 손떨림 보정 렌즈(114)를 구동하는 전술한 방법에서는, 카메라 내부에서 촬영 화상을 가상적으로 어긋나게 하는 전술한 방법과는 달리, 실제로 촬영되는 화상이 손떨림 보정 렌즈(114)의 구동에 연동해서 움직인다. 촬영 화상이 움직일 때 유저가 카메라를 차트의 중심에 맞추려고 하는 경우, 이동 방향과 이동 거리가 표시되어 있어도, 카메라를 중앙에 맞추기 어려워지는 것이 생각된다. 따라서, 손떨림 보정 렌즈(114)를 구동해서 차분을 산출하는 경우, 스텝 S2308에 있어서의 합성처리는, 손떨림 보정 렌즈(114)가 광학 중심에 있는 경우의 화상에 대해서만 행해진다. 이와 달리, 손떨림 보정 렌즈(114)를 시프트 처리한 양에 해당하는 양만큼 촬영 화상을 가상적으로 되돌림으로써 얻어진 화상으로 합성 처리를 행함으로써, 유저가 카메라와 위치맞춤을 하기 어려워져 버리는 것을 방지한다.

다음에, 촬상 소자(131)를 구동해서 괴리 거리 G를 산출하는 방법에 대해서 도17a 내지 도17d를 참조하여 설명한다.

도17a에 있어서, 참조번호 2506은, 촬상 소자(131)가 이동했을 때의 광축을 나타낸다. 일례로서, 광축(2506)이 점 O를 통과하고, 이 때의 촬상 소자(131)의 보정량이 imm인 패턴을 도시하고 있다. 또한, 참조번호 2507은, 촬상 소자(131)가 이동한 경우의 변화된 화각을 나타낸다.

도17b는, 도17a의 상황에서 촬영이 행해질 때의 구동되고 있는 촬상 소자(131)를 나타낸 것이다. 도17b의 좌측 도면은, 촬상 소자(131)가 광축의 중심 2508을 유지하고 있는 상황을 나타내고 있다. 한편, 도17b의 우측 도면은, 촬상 소자(131)가 광축의 중심(2508)에 대해 imm만큼 우측 방향으로 어긋나 있는 상황을 나타내고 있다. 또한, 도17b의 하측 도면은, 상기한 상황에 있어서 촬영이 행해질 때의 LCD 화면 상의 표시를 나타낸다.

화각(2900)과 화상을 맞추는 목표가 되는 차트의 모델 데이터(2901)가 화면의 중앙에 표시되어 있다. 또한, 도17a 및 도17b의 좌측 도면에서는, 카메라(100)가 차트(2500)에 대해 약간 우측 방향으로 어긋나 있기 때문에, 촬영 화상에 있어서의 차트(2902)가 약간 좌측 방향으로 어긋나서 합성된다. 한편, 도17a 및 도17b의 우측 도면에서는, 카메라(100)의 광축 2506이 점 O를 통과하기 때문에, 촬영 화상에 있어서의 차트(2902)의 중심이 차트의 모델 데이터(2901)의 중심과 일치하고 있다.

도17c는, 스텝 S2303에 있어서 매회 실시되는 촬영 화상 시프트 처리의 일례를 도시한 도면이다. 촬상 소자(131)를 시프트하지 않은 경우에는, 도17b의 좌측 도면에 나타낸 것과 같은 어긋남이 발생되고, 스텝 S2303의 1회째의 처리에서, 촬영 화상을 좌측 상측 방향으로 어긋나게 하여, 차트의 모델 데이터와 합성하면, 도17c의 좌측 상측 도면에 나타낸 것과 같은 어긋남이 발생한다. 이 상태에서 차분을 산출하고, 차분 최소값과 비교하고, 필요에 따라 차분 최소값과 차분을 최소화하는 촬상 소자(131)의 어긋남 량을 갱신한다.

다음에, 2회째의 처리로서, 촬영 화상을 우측 상측 방향으로 어긋나게 하여 차트의 모델 데이터와 합성하면, 도17c의 우측 상측 도면에 나타낸 것과 같은 어긋남이 발생한다. 이 상태에서 차분을 산출하고, 차분 최소값과 비교하고, 필요에 따라 차분 최소값과 차분을 최소화하는 촬상 소자(131)의 어긋남 량을 갱신한다.

다음에, 3회째의 처리로서, 촬영 화상을 좌측 하측 방향으로 어긋나게 하여 차트의 모델 데이터와 합성하면, 도17c의 좌측 하측 도면에 나타낸 것과 같은 어긋남이 발생한다. 이 상태에서 차분을 산출하고, 차분 최소값과 비교하고, 필요에 따라 차분 최소값과 차분을 최소화하는 촬상 소자(131)의 어긋남 량을 갱신한다.

다음에, 4회째의 처리로서, 촬영 화상을 우측 하측 방향으로 어긋나게 하여 차트의 모델 데이터와 합성하면, 도17c의 우측 하측 도면에 나타낸 것과 같은 어긋남이 발생한다. 이 상태에서 차분을 산출하고, 차분 최소값과 비교하고, 필요에 따라 차분 최소값과 차분을 최소화하는 촬상 소자(131)의 어긋남 량을 갱신한다.

상기한 처리를 행하여, 기록된 차분 최소값에 대응하는 촬상 소자(131)의 구동량을 I로 하여, 괴리 거리 G를 산출한다. 괴리 거리 G는 도17d의 관계로부터 하기의 식으로 구할 수 있다.

G=(d×i)/f

이때, 촬상 소자(131)를 구동하는 전술한 방법에서는, 카메라 내부에서 촬영 화상을 가상적으로 어긋나게 하는 전술한 방법과는 달리, 실제로 촬영된 화상이 촬상 소자(131)의 구동에 연동해서 움직인다. 촬영 화상이 움직일 때 유저가 카메라를 차트의 중심에 맞추려고 하는 경우, 이동 방향과 이동 거리가 표시되어 있어도, 카메라를 중앙에 맞추기 어려워지는 것이 생각된다. 따라서, 촬상 소자(131)를 구동해서 차분을 산출하는 경우, 스텝 S2308의 합성처리는, 촬상 소자(131)가 광학 중심에 있는 경우의 화상에 대해서만 행해진다. 이와 달리, 촬상 소자(131)를 시프트 처리한 양에 해당하는 양만큼 촬영 화상을 가상적으로 되돌림으로써 얻어진 화상으로 합성 처리를 행함으로써, 유저가 카메라의 위치맞춤을 하기 어려워지는 것을 방지한다.

이상의 처리를 행함으로써, 카메라와 차트 중앙의 괴리 거리 G가 구해져, 유저에게 카메라의 이동량을 통지할 수 있다. 이 때문에, 캘리브레이션 처리를 위한 화각 맞춤의 시간 및 노력을 삭감하는 것이 가능해진다.

이때, 설명을 이해하기 쉽게 하기 위해, 어긋남이 4회 행해지는 것으로서 위에서 설명했지만, 어긋남은 실제는 4회보다 많이 실시될 수도 있다.

다음에, 도18a 및 도18b를 참조하여, 스텝 S2209 및 스텝 S2207에 있어서 유저에 의한 화각 맞춤이 완료할 때까지, 카메라(100)의 이동량 G(수직/수평 방향의 이동량과 이동 방향)의 표시방법의 일례에 대해 설명한다.

도18a는, 카메라(100)와 캘리브레이션 차트의 어긋남 량이 임계값 이상이라고 판단한 경우의 표시부(140)의 표시를 나타내고 있다.

도18a의 참조번호 2800은 화각을 표시하는 영역을 나타내고, 참조번호 2802는 차트의 모델 데이터를 나타내고, 참조번호 2802는 촬영 화상에 있어서의 차트의 영역을 나타내고 있다. 도18a에 있어서, 카메라(100)와 차트의 어긋남 량이 임계값 이상이기 때문에, 차트의 모델 데이터(2801)로부터 촬영 화상에 있어서의 차트(2802)가 어긋난 위치에 표시되고 있다. 또한, 참조번호 2803은 카메라(100)와 촬영 화상의 차트의 어긋남 량이 임계값 이상(소정값 이상)이라고 판단한 경우에 유저에 대해 카메라의 이동량과 이동 방향을 지시하는 표시 예를 나타내고 있다. 표시 2803은, 카메라를 우측으로 54mm 하측으로 23mm 움직일 때 차트의 모델 데이터(2801)와 촬영 화상에 있어서의 차트(2802)의 위치의 중심이 맞는다는 것을 나타내고 있다.

도18b는, 카메라(100)와 차트의 어긋남 량이 임계값 미만이라고 판단한 경우의 표시부(140)의 표시를 나타내고 있다.

도18b의 표시 2804는, 카메라(100)와 촬영 차트의 어긋남 량이 제거된 것을 나타내고 있다. 유저는 표시 2804에 근거하여 카메라의 위치 이동을 종료한다. 한편, 카메라(100)와 촬영 차트의 어긋남 량이 완전히 제거되는 것은 드물기 때문에, 스텝 S2206에서 전술한 것과 같이, 차분이 최소가 되는 위치로 손떨림 보정 렌즈(114)나 촬상 소자(131)를 구동(시프트)시킨다. 이에 따라, 차트의 모델 데이터(2801)와 촬영 화상에 있어서의 차트의 영역(2802)의 차분이 최소화되어, 유저가 미소한 위치맞춤을 행하지 않고도 카메라(100)의 위치맞춤을 완료시킬 수 있다.

이상에서 설명한 수법을 사용함으로써, 육안에 의해 차트와 카메라의 위치맞춤을 행하는 경우에 비해, 유저가 카메라를 어느 방향으로 어느 만큼 움직이면 되는지 알기 쉬워지기 때문에, 위치맞춤에 소모되는 시간이 삭감된다.

더구나, LCD 상에서는 육안으로 확인할 수 없는 미소한 어긋남이 남아 있는 경우에도, 손떨림 보정 렌즈(114)나 촬상 소자(131)의 구동에 의해 어긋남이 보정됨으로써, 한층 더 위치맞춤에 소모되는 시간의 삭감이 실현된다.

이때, 차트 패턴은, 상기에서 설명한 것과 같은 형식에 한정되지 않고, 차트의 수평 및 수직 방향이 소정의 간격으로 표시되는 패턴이어도 된다. 예를 들면, 차트는 격자형으로 구획되는 사각형 영역 중 인접하는 흑백 사각형이 교대하는 체커 패턴이거나, 바코드 형상의 패턴이어도 된다.

더구나, 제1실시형태에 있어서 상기한 것과 같이, 촬영 화상으로부터 임시로 산출된 왜곡량과 틸트-시프트 량에 근거해서 차트의 모델 데이터를 왜곡시킨 후에, 표시나 차분 산출을 행해도 된다.

더구나, 초점거리에 따라 차트의 모델 데이터의 확대율을 변경한 후 표시나 차분 산출을 행해도 된다.

제4실시형태

도13a에 있어서의 차트와 촬영 화상의 차분 산출처리에 있어서, 차트(2500)에 대해 카메라(100)의 어긋남 량이 커서, 화상의 가상적인 이동, 손떨림 보정 렌즈(114)의 이동, 및 촬상 소자(131)의 이동을 포함하는 방법들 중에서 한 개의 방법 만으로는 카메라의 이동량 G를 산출할 수 없는 경우에 대해 도13b를 참조하여 설명한다. 이때, 도13b에 있어서, 도13a와 같은 처리에 대해서는 같은 스텝 번호를 붙이고, 설명을 생략한다.

스텝 S2301 내지 S2309의 처리를 실행한 결과, 차분값이 최소가 되는 시프트 위치가 탐색을 실행한 범위의 끝에 위치하고 있는 것으로 판정되는 경우, 탐색 범위 외부에 차분값이 최소가 되는 시프트 위치가 있을 가능성이 있다. 따라서, 탐색 범위를 보다 넓히기 위해 하기의 패턴으로 처리를 행한다.

스텝 S2303의 촬영 화상 시프트 처리에 있어서 화상 이동에 의한 시프트 처리를 행하고 있는 경우에는, 손떨림 보정 렌즈(114) 또는 촬상 소자(131)의 어느 한 개를 차분이 최소가 되는 방향으로 화상이 시프트하는 위치로 구동함으로써 탐색 범위를 넓힌다.

또한, 스텝 S2303의 촬영 화상 시프트 처리에 있어서 손떨림 보정 렌즈(114)를 사용한 시프트 처리를 행하는 경우에는, 촬상 소자(131)를 차분이 최소가 되는 방향으로 화상이 시프트하는 위치로 구동함으로써 탐색 범위를 넓힌다.

또한, 스텝 S2303의 촬영 화상 시프트 처리에 있어서 촬상 소자(131)를 사용한 시프트 처리를 행하고 있는 경우에는, 손떨림 보정 렌즈(114)를 차분이 최소가 되는 방향으로 화상이 시프트하는 위치로 구동함으로써 탐색 범위를 넓힌다.

전술한 판단은, 도13b의 스텝 S2321에서 행해지고, 스텝 S2322에서는, 전술한 패턴에 따라, 손떨림 보정 렌즈(114) 또는 촬상 소자(131) 중 어느 한 개를 구동해서 위치를 고정한다. 그후, 스텝 S2301로 처리를 되돌려 차분이 최소가 되는 시프트 위치를 다시 산출한다.

이때, 촬영 화상의 시프트 처리에 있어서 화상 이동에 의한 시프트 처리를 행하는 경우, 손떨림 보정 렌즈(114)와 촬상 소자(131)의 양쪽을 구동함으로써 탐색 범위를 더 넓혀도 된다.

이상의 방법에 의해, 카메라(100)와 캘리브레이션용의 차트(2500)의 위치가 크게 어긋나 있는 경우에도, 카메라(100)의 이동해야 할 방향과 양을 산출 및 제시하는 것이 가능해져, 유저의 화각 맞춤시의 작업량을 삭감할 수 있다.

기타 실시형태

본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)^TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.

본 발명은, 상기한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실행가능하다. 또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.

예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims

캘리브레이션을 위한 차트를 촬영함으로써 얻어지는 촬영 화상을 취득하도록 구성된 제1 취득수단과,
기준이 되는 상기 차트의 화상인 기준 화상을 취득하도록 구성된 제2 취득수단과,
상기 촬영 화상의 촬영에 사용된 렌즈의 왜곡 수차의 정보를 취득하도록 구성된 제3 취득수단과,
상기 기준 화상과 상기 왜곡 수차의 정보에 근거하여, 상기 기준 화상에 상기 왜곡 수차를 반영하여 얻어진 화상인 의사 화상을 생성하도록 구성된 제1 생성수단과,
상기 촬영 화상과 상기 의사 화상을 합성하여 얻어진 합성 화상을 생성하도록 구성된 제2 생성수단을 구비한 정보 처리장치.
제 1항에 있어서,
상기 합성 화상을 표시수단에 출력하도록 구성된 출력수단을 더 구비한 정보 처리장치.
제 2항에 있어서,
상기 표시수단을 더 구비한 정보 처리장치.
제 1항에 있어서,
상기 왜곡 수차의 정보는, 상기 촬영 화상과 상기 기준 화상으로부터 추정된 왜곡 수차에 관한 정보, 상기 렌즈에 기억된 왜곡 수차에 관한 정보와, 상기 렌즈가 장착되는 촬상장치에 기억된 왜곡 수차에 관한 정보 중 적어도 1개를 포함하는 정보 처리장치.
제 1항에 있어서,
상기 제1 생성수단은, 상기 렌즈의 초점거리에 따라, 상기 기준 화상을 확대 또는 축소하는 정보 처리장치.
제 1항에 있어서,
상기 촬영 화상과 상기 의사 화상에 근거하여 화상의 괴리도를 산출하고, 상기 괴리도에 근거하여 평가값을 더 산출하도록 구성된 산출수단과,
상기 평가값에 근거하여, 상기 렌즈가 장착된 촬상장치의 이동 지표를 생성하도록 구성된 제3 생성수단을 더 구비한 정보 처리장치.
제 6항에 있어서,
상기 괴리도는, 상기 촬영 화상의 특징점과 상기 의사 화상의 대응하는 특징점의 거리 및 방향을 나타내는 벡터와, 상기 촬영 화상의 특정한 영역의 무게중심 점과 상기 의사 화상의 대응하는 특정한 영역의 무게중심 점의 거리 및 방향을 나타내는 벡터 중 적어도 1개를 포함하는 정보 처리장치.
제 6항에 있어서,
상기 산출수단은, 상기 렌즈의 왜곡 수차의 양 또는 상기 촬영 화상의 상고에 따라, 상기 촬영 화상 및 상기 의사 화상에 있어서의 상기 괴리도의 산출의 범위를 한정하는 정보 처리장치.
제 6항에 있어서,
상기 제2 생성수단은, 상기 괴리도에 따라, 상기 촬영 화상과 합성되는 상기 의사 화상의 일부의 색 또는 형태를 변경하는 정보 처리장치.
제 6항에 있어서,
상기 렌즈의 정보, 상기 렌즈의 왜곡 수차의 정보, 상기 괴리도 및 상기 평가값을, 상기 촬영 화상과 관련시켜 기억하도록 구성된 기억수단을 더 구비한 정보 처리장치.
제 6항에 있어서,
상기 평가값이 소정의 조건을 만족하는 경우에, 자동으로 화상을 촬영하도록 제어를 행하도록 구성된 제어수단을 더 구비한 정보 처리장치.
제 1항에 있어서,
상기 차트의 정보를 생성하도록 구성된 제4 생성수단을 더 구비하고, 상기 제4 생성수단은, 상기 촬영 화상으로부터 상기 차트의 정보를 생성하는데 필요한 정보를 검출함으로써, 상기 차트의 정보를 생성하는 정보 처리장치.
제 1항에 있어서,
상기 촬영 화상과 상기 의사 화상의 차분을 산출하도록 구성된 산출수단과,
상기 촬영 화상과 상기 의사 화상의 상기 차분이 소정값 이상인 경우에, 상기 렌즈가 장착되는 촬상장치의 이동량을 표시수단에 표시하도록 제어를 행하고, 상기 차분이 상기 소정값보다 작은 경우에, 시프트 메카니즘에게 상기 촬영 화상과 상기 의사 화상을 상대적으로 시프트시키는 시프트 동작을 행하게 함으로써 상기 차분을 줄이도록 구성된 제어수단을 더 구비한 정보 처리장치.
제 13항에 있어서,
상기 시프트 메카니즘은, 상기 렌즈에 설치된 손떨림 보정 렌즈를 구동함으로써 상기 시프트 동작을 행하도록 구성된 메카니즘과, 상기 촬영 화상을 촬영하는 촬상 소자를 구동함으로써 상기 시프트 동작을 행하도록 구성된 메카니즘 중 적어도 1개를 포함하는 정보 처리장치.
제 13항에 있어서,
상기 산출수단은, 상기 촬영 화상과 상기 의사 화상의 상대적인 회전량을 더 산출하는 정보 처리장치.
제 14항에 있어서,
상기 손떨림 보정 렌즈를 구동함으로써 상기 시프트 동작이 행해지는 경우, 또는 상기 촬상 소자를 구동함으로써 상기 시프트 동작이 행해지는 경우, 상기 제어수단은, 상기 제2 생성수단이 상기 시프트 동작이 행해지기 전의 상기 촬영 화상에 근거하여 상기 합성 화상을 생성하도록 제어를 행하는 정보 처리장치.
렌즈와,
촬영 화상을 촬상하도록 구성된 촬상 소자와,
청구항 1에 기재된 정보 처리장치를 구비한 촬상장치.
캘리브레이션을 위한 차트를 촬영함으로써 얻어지는 촬영 화상을 취득하는 제1 취득을 실행하는 단계와,
기준이 되는 상기 차트의 화상인 기준 화상을 취득하는 제2 취득을 실행하는 단계와,
상기 촬영 화상의 촬영에 사용된 렌즈의 왜곡 수차의 정보를 취득하는 제3 취득을 실행하는 단계와,
상기 기준 화상과 상기 왜곡 수차의 정보에 근거하여, 상기 기준 화상에 상기 왜곡 수차를 반영하여 얻어진 화상인 의사 화상을 생성하는 제1 생성을 실행하는 단계와,
상기 촬영 화상과 상기 의사 화상을 합성하여 얻어진 합성 화상을 생성하는 제2 생성을 실행하는 단계를 포함하는 정보 처리방법.
컴퓨터에,
캘리브레이션을 위한 차트를 촬영함으로써 얻어지는 촬영 화상을 취득하는 제1 취득을 실행하는 단계와,
기준이 되는 상기 차트의 화상인 기준 화상을 취득하는 제2 취득을 실행하는 단계와,
상기 촬영 화상의 촬영에 사용된 렌즈의 왜곡 수차의 정보를 취득하는 제3 취득을 실행하는 단계와,
상기 기준 화상과 상기 왜곡 수차의 정보에 근거하여, 상기 기준 화상에 상기 왜곡 수차를 반영하여 얻어진 화상인 의사 화상을 생성하는 제1 생성을 실행하는 단계와,
상기 촬영 화상과 상기 의사 화상을 합성하여 얻어진 합성 화상을 생성하는 제2 생성을 실행하는 단계를 포함하는 정보 처리방법의 단계들을 실행하게 하는 컴퓨터 프로그램을 기억하는 비일시적인 컴퓨터 판독가능한 기억매체.