KR20120139838A - 입체 영상 촬상 장치 - Google Patents

입체 영상 촬상 장치 Download PDF

Info

Publication number
KR20120139838A
KR20120139838A KR1020127027767A KR20127027767A KR20120139838A KR 20120139838 A KR20120139838 A KR 20120139838A KR 1020127027767 A KR1020127027767 A KR 1020127027767A KR 20127027767 A KR20127027767 A KR 20127027767A KR 20120139838 A KR20120139838 A KR 20120139838A
Authority
KR
South Korea
Prior art keywords
image data
eye image
imaging
right eye
unit
Prior art date
Application number
KR1020127027767A
Other languages
English (en)
Other versions
KR101385583B1 (ko
Inventor
에츠야 다카미
Original Assignee
가부시키가이샤 제이브이씨 켄우드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 제이브이씨 켄우드 filed Critical 가부시키가이샤 제이브이씨 켄우드
Publication of KR20120139838A publication Critical patent/KR20120139838A/ko
Application granted granted Critical
Publication of KR101385583B1 publication Critical patent/KR101385583B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

(과제) 촬상부가 생성하는 영상 데이터를 적절히 절출함으로써, 절출한 부분 영상 데이터의 화질을 유지한다.
(해결 수단) 입체 영상 촬상 장치(100)는, 우안용 영상 데이터 및 좌안용 영상 데이터를 생성하는 촬상부(120)와, 우안용 영상 데이터 및 좌안용 영상 데이터의 영상 중심점을 각각 원점으로 한 경우의, 우안용 영상 데이터에 투영된 지표를 차분 벡터만큼 이동한 우교정점의 위치와, 좌안용 영상 데이터에 투영된 지표를 차분 벡터만큼 이동한 좌교정점의 위치를 나타내는 위치 정보를 보존유지(保持)하는 정보 보존유지부(132)와, 위치 정보에 기초하여, 우안용 영상 데이터로부터 좌교정점을 절출 중심으로 하고, 좌안용 영상 데이터로부터 좌교정점을 절출 중심으로 하여, 크기가 동일한 부분 영상 데이터를 각각 절출하는 절출 제어부(154)를 구비한다(도 2).

Description

입체 영상 촬상 장치{THREE-DIMENSIONAL IMAGING DEVICE}
본 발명은, 양안 시차에 의한 입체 영상을 지각시키기 위한 영상을 생성하는 입체 영상 촬상 장치에 관한 것이다.
최근, 양안 시차가 있는 2개의 영상 중, 우안용 영상을 우안에, 좌안용 영상을 좌안에 시인시킴으로써, 시청자에게 입체 영상(3D 영상)을 지각시키는 기술이 보급되어 오고 있다. 이 입체 영상을 지각시키는 우안용 영상과 좌안용 영상을 생성하는 입체 영상 촬상 장치는, 우안용 영상과 좌안용 영상을 각각 생성하기 위해, 2개의 촬상부를 구비하는 것이 많다.
그러나, 2개의 촬상부나 촬상부를 구성하는 렌즈의 형성 정밀도나 조립 정밀도에는 개체차(個體差)가 있어, 2개의 촬상부 간에서 설계할 때에 설정한 촬상축과 실제의 촬상축과의 어긋남에 차이가 발생하거나, 2개의 촬상부 간에서 배율 오차가 발생해 버리는 경우가 있다. 따라서, 2개의 촬상부에서 생성되는 2개의 영상 데이터에 의해, 관찰자가 입체 영상을 올바르게 결상할 수 없다는 문제가 발생하고 있었다. 여기에서, 촬상축은, 촬상 방향을 나타내고, 촬상부에서 생성되는 영상의 중심(영상 중심)에 상당하는 축이다. 이러한 촬상축의 어긋남의 차이나 배율 오차는, 하드웨어를 직접 조정하거나, 취득한 영상 데이터의 절출(切出)(cutout) 범위를 조정하거나 함으로써 교정(보정)할 수 있다.
예를 들면, 한쪽의 촬상부에서 생성된 영상 데이터에 대해서는, 그 촬상부의 실제의 촬상축을 중심으로 하여 절출 범위를 설정하고, 다른 한쪽의 촬상부에서 생성된 영상 데이터에 대해서는, 한쪽의 촬상부의 실제의 촬상축에 대한 다른 한쪽의 촬상부의 실제의 촬상축의 어긋난 만큼만 절출할 때의 중심(절출 중심)을 어긋나게 하여 절출 범위를 설정하는 기술이 개시되어 있다(예를 들면, 특허문헌 1).
일본공개특허공보 2006-162991호
그러나, 영상 데이터로부터 절출할 때의 절출 중심과 절출 범위를 조정함으로써 촬상축의 어긋남의 차이를 교정하는 경우, 절출 범위는 영상 데이터의 범위 내로 한정된다. 따라서, 전술한 특허문헌 1에 기재된 바와 같은, 한쪽의 촬상부의 영상 데이터만 절출 중심을 어긋나게 하면, 어긋난 절출 중심과 영상 데이터의 범위에 의해 절출 범위가 제한되고 있었다.
그래서 본 발명은, 촬상부가 생성하는 영상 데이터를 적절히 절출함으로써, 절출한 부분 영상 데이터의 화질을 유지하는 것이 가능한, 입체 영상 촬상 장치를 제공하는 것을 목적으로 하고 있다.
상기 과제를 해결하기 위해, 본 발명의 입체 영상 촬상 장치는, 입체 영상을 지각시키기 위한 양안 시차를 갖는 우안용 영상 데이터 및 좌안용 영상 데이터를 생성하는 촬상부와, 우안용 영상 데이터 및 좌안용 영상 데이터의 영상 중심점을 각각 원점으로 한 경우의, 우안용 영상 데이터에 투영된 지표를, 우안용 영상 데이터에 투영된 지표 및 좌안용 영상 데이터에 투영된 지표를 연결하는 결선의 중점(中點)을 시점으로 하여 영상 중심점을 종점으로 하는 차분 벡터만큼 이동한 우교정점(右校正点)의 위치와, 좌안용 영상 데이터에 투영된 지표를 차분 벡터만큼 이동한 좌교정점(左校正点)의 위치를 나타내는 위치 정보를 보존유지(保持: retain)하는 정보 보존유지부와, 위치 정보에 기초하여, 우안용 영상 데이터로부터 우교정점을 절출 중심으로 하고, 좌안용 영상 데이터로부터 좌교정점을 절출 중심으로 하여, 크기가 동일한 부분 영상 데이터를 각각 절출하는 절출 제어부를 구비하는 것을 특징으로 한다.
상기 촬상부는, 우안용 영상 데이터를 생성하기 위한 촬상축 상 및, 좌안용 영상 데이터를 생성하기 위한 촬상축 상에, 촬상 대상의 확대 및 축소가 가능한 렌즈를 각각 갖고, 정보 보존유지부는, 렌즈를 상이한 복수의 배율로 설정했을 때의 위치 정보를, 각각의 배율에 관련지어 보존유지하고, 절출 제어부는, 현재의 렌즈의 배율을 취득하여, 현재의 렌즈의 배율에 관련지어진 위치 정보에 기초하여, 우안용 영상 데이터 및 좌안용 영상 데이터로부터 크기가 동일한 부분 영상 데이터를 각각 절출해도 좋다.
상기 촬상부는, 우안용 영상 데이터를 생성하기 위한 촬상축 상 및, 좌안용 영상 데이터를 생성하기 위한 촬상축 상에, 촬상 대상의 확대 및 축소가 가능한 렌즈를 각각 갖고, 정보 보존유지부는, 촬상부에서 생성되는 우안용 영상 데이터 및 좌안용 영상 데이터에 투영된 동일한 촬상 대상의 치수비(dimension ratio)를 나타내는 비율 정보를 보존유지하고, 절출 제어부는, 보존유지된 비율 정보에 나타나는 비율과 1과의 합을 2로 제산(除算)하여 얻은 평균값을, 우안용 영상 데이터 및 좌안용 영상 데이터의 어느 한쪽에 곱하고, 평균값을 비율로 나눈 값을, 평균값을 곱하지 않은 영상 데이터에 곱하고, 평균값을 곱한 영상 데이터 및 평균값을 비율로 나눈 값을 곱한 영상 데이터로부터, 크기가 동일한 부분 영상 데이터를 각각 절출해도 좋다.
상기 정보 보존유지부는, 렌즈를 상이한 복수의 배율로 설정했을 때의 비율 정보를, 각각의 배율에 관련지어 보존유지하고, 절출 제어부는, 현재의 렌즈의 배율을 취득하여, 현재의 렌즈의 배율에 관련지어진 비율 정보에 기초하여, 평균값을 곱한 영상 데이터 및 평균값을 비율로 나눈 값을 곱한 영상 데이터로부터, 크기가 동일한 부분 영상 데이터를 각각 절출해도 좋다.
이상 설명한 바와 같이 본 발명은, 촬상부가 생성하는 영상 데이터를 적절히 절출함으로써, 절출한 부분 영상 데이터의 화질을 유지하는 것이 가능해진다.
도 1은 입체 영상 촬상 장치의 일 예를 나타낸 외관도이다.
도 2는 입체 영상 촬상 장치의 개략적인 구성을 나타낸 기능 블록도이다.
도 3은 교정값 생성부에 의한 위치 정보의 생성 수단을 설명하기 위한 설명도이다.
도 4는 교정값 생성부에 의한 위치 정보의 생성 수단을 설명하기 위한 설명도이다.
도 5는 교정값 생성부에 의한 위치 정보의 생성 수단을 설명하기 위한 설명도이다.
도 6은 절출 처리부에 의한 촬상축 교정 처리의 상세한 동작을 설명하기 위한 설명도이다.
도 7은 제2 실시 형태에 따른 입체 영상 촬상 장치의 개략적인 구성을 나타낸 기능 블록도이다.
도 8은 교정값 생성부에 의한 비율 정보의 산출 방법을 설명하기 위한 설명도이다.
도 9는 절출 처리부에 의한 확대축소(擴大縮小) 교정 처리의 상세한 동작을 설명하기 위한 설명도이다.
도 10은 절출 처리부에 의한 확대축소 교정 처리의 상세한 동작을 설명하기 위한 설명도이다.
(발명을 실시하기 위한 형태)
이하에 첨부 도면을 참조하면서, 본 발명의 적합한 실시 형태에 대해서 상세하게 설명한다. 이러한 실시 형태에 나타내는 치수, 재료, 그 외 구체적인 수치 등은, 발명의 이해를 용이하게 하기 위한 예시에 지나지 않고, 특별히 언급하는 경우를 제외하고, 본 발명을 한정하는 것은 아니다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능, 구성을 갖는 요소에 대해서는, 동일한 부호를 붙임으로써 중복 설명을 생략하고, 또한 본 발명에 직접 관계가 없는 요소는 도시를 생략한다.
(제1 실시 형태: 입체 영상 촬상 장치(100))
도 1은, 제1 실시 형태에 따른 입체 영상 촬상 장치(100)의 일 예를 나타낸 외관도이다. 도 1(a)는, 입체 영상 촬상 장치(100)로서 비디오 카메라를, 도 1(b)는, 입체 영상 촬상 장치(100)로서 소위 디지털 스틸 카메라를 나타내고 있다. 입체 영상 촬상 장치(100)는, 휴대성을 갖는 것도 있고, 본체(102)와, 2개의 촬상 렌즈(104a, 104b)와, 조작부(106)와, 표시부(뷰파인더)(108)를 포함하여 구성된다.
도 1(a)에 나타내는 입체 영상 촬상 장치(100)로서의 비디오 카메라에서는, 표시부(108)가 개폐식으로 되어 있어, 촬상시 이외는, 표시부(108)를 겹쳐 콤팩트하게 할 수 있다. 여기에서는 그 표시부(108)의 배면에 촬상 렌즈(104b)를 설치함으로써, 입체 영상 촬상 장치(100)의 대형화를 회피하면서, 양 촬상 렌즈(104a, 104b) 간의 기선(基線) 길이를 충분히 확보할 수 있도록 구성되어 있다.
입체 영상 촬상 장치(100)의 촬상부의 촬상축(110a, 110b)은, 도 1에 나타내는 바와 같이, 촬상자가 입체 영상 촬상 장치(100)의 본체(102)를 수평으로 파지했을 때에, 각각의 촬상축(110a, 110b)이 동일한 수평면 상에 있어서 대략 평행 또는 촬상 방향으로 교차한다. 여기에서, 촬상축(110a, 110b)은, 촬상 방향을 나타내고, 촬상부에서 생성되는 영상의 중심점(영상 중심점)으로부터 촬상 방향으로 연장되는 선이다.
입체 영상 촬상 장치(100)는, 2개의 촬상 렌즈(104a, 104b)를 통하여 생성된, 입체 영상을 지각시키기 위한 양안 시차를 갖는 2개의 영상 데이터(우안용 영상 데이터 및 좌안용 영상 데이터)를, 사이드 바이 사이드 방식, 톱 앤드 보텀 방식, 라인 시퀀셜 방식, 프레임 시퀀셜 방식 등의 입체 영상을 지각시키기 위한 소정의 방식으로 기록함과 함께, 조작부(106)를 통한 촬상자의 조작 입력에 따라서 그 촬상 타이밍이나 화각(畵角: viewing angle)을 조정한다. 또한, 입체 영상 촬상 장치(100)는, 촬상자로부터의 야외, 옥내, 야경 등의 촬상 모드의 전환 입력을 받아들여 그에 대응한 화상 처리를 실행한다.
이러한 입체 영상 촬상 장치(100)는, 일반적으로 촬상부를 2개 구비하고 있는 것이 많아, 한쪽의 촬상부에서 우안에 시인시키기 위한 우안용 영상 데이터를, 다른 한쪽의 촬상부에서 좌안에 시인시키기 위한 좌안용 영상 데이터를 생성한다. 그러나, 2개의 촬상부나 각각에 설치된 촬상 렌즈(104)의 형성 정밀도나 조립 정밀도에는 개체차가 있어, 2개의 촬상부 간에서 촬상축의 어긋남의 차이나 배율 오차가 발생해버려, 아무것도 처리를 시행하지 않는 경우, 생성되는 2개의 영상 데이터에 의해 촬상자(관찰자)가 입체 영상을 올바르게 결상할 수 없다는 문제가 발생하고 있었다. 그러나, 본 실시 형태의 입체 영상 촬상 장치(100)에서는, 촬상부가 생성하는 영상 데이터를 적절히 절출(切出)(cutout)함으로써, 절출한 부분 영상 데이터의 화질을 유지하는 것이 가능해진다. 이하, 이러한 입체 영상 촬상 장치(100)에 대해서 설명한다.
도 2는, 입체 영상 촬상 장치(100)의 개략적인 구성을 나타낸 기능 블록도이다. 여기에서는, 입체 영상 촬상 장치(100)로서 도 1(a)에 나타내는 비디오 카메라를 들고 있다. 도 2에 나타내는 바와 같이, 입체 영상 촬상 장치(100)는, 조작부(106)와, 2개의 촬상부(120)(도 2 중, 120a, 120b로 나타냄)와, 영상 버퍼(122)와, 데이터 처리부(124)와, 절출 처리부(126)와, 영상 합성부(128)와, 표시부(108), 영상 기억부(130)와, 정보 보존유지부(132)와, 중앙 제어부(134)를 포함하여 구성된다. 도 2 중, 실선은 데이터의 흐름을 나타내고, 파선은 제어 신호의 흐름을 나타내고 있다.
조작부(106)는, 릴리스 스위치를 포함하는 조작 키, 십자 키, 조이스틱, 표시부(108)의 표시면에 중첩된 터치 패널 등의 스위치로 구성되며, 촬상자의 조작 입력을 받아들인다.
촬상부(120)는, 전술한 바와 같이, 각각의 촬상축(110a, 110b)이 대략 평행 또는 촬상 방향의 임의의 복주(輻輳)점에서 교차하도록 배치되어 있다. 그리고, 조작부(106)를 통한 촬상자의 조작 입력에 따라서, 영상 데이터의 생성(녹화)이 선택된 경우, 촬상부(120a)가 우안용 영상 데이터를, 촬상부(120b)가 좌안용 영상 데이터를 각각 생성하고, 그 영상 데이터를 영상 버퍼(122)에 출력한다.
구체적으로, 촬상부(120)는, 촬상 렌즈(104)(도 2 중, 104a, 104b로 나타냄)와, 촬상 대상의 확대 및 축소가 가능한 줌 렌즈(140)(변배 렌즈), 초점 조정에 이용되는 포커스 렌즈(142)와, 노광 조정에 이용되는 조리개(아이리스)(144)와, 촬상 렌즈(104)를 통하여 입사한 광속을 전기 데이터(영상 데이터)로 광전 변환하는 촬상 소자(146)와, 후술하는 촬상 제어부(150)의 제어 신호에 따라서, 줌 렌즈(140), 포커스 렌즈(142), 조리개(144) 및 촬상 소자(146)를 각각 구동시키는 구동부(148)를 포함하여 구성되며, 2개의 촬상축(110a, 110b) 각각에 있어서의 2개의 영상 데이터를 생성한다. 또한, 본 실시 형태에 있어서, 2개의 촬상부(120)는 연동하고 있어, 촬상 제어부(150)의 제어 신호에 따라서, 각각의 줌 렌즈(140), 포커스 렌즈(142), 조리개(144) 및 촬상 소자(146)의 조합을 병행하여(동기하여) 구동한다.
영상 버퍼(122)는, 플래시 메모리, RAM 등으로 구성되고, 한쪽의 촬상부(120a)가 생성한 우안용 영상 데이터와, 다른 한쪽의 촬상부(120b)가 생성한 좌안용 영상 데이터를, 각각 프레임 단위로 일시적으로 보존유지한다.
데이터 처리부(124)는, 영상 버퍼(122)로부터 출력된 우안용 영상 데이터 및 좌안용 영상 데이터에, R(Red) G(Green) B(Blue) 처리(γ 보정이나 색 보정), 인핸스 처리, 노이즈 저감 처리 등의 영상 신호 처리를 시행한다.
절출 처리부(126)는, 후술하는 절출 제어부(154)의 제어에 따라서, 데이터 처리부(124)에서 영상 신호 처리된 후의 영상 데이터의 일부를 절출하여 촬상축을 교정하는 촬상축 교정 처리를 수행하거나, 확대축소(擴大縮小)(확대 또는 축소)비를 교정하는 확대축소 교정 처리를 수행하거나 한 후, 영상 합성부(128)에 출력한다. 절출 처리부(126)의 촬상축 교정 처리나 확대축소 교정 처리의 상세한 동작에 대해서는 나중에 상술한다. 또한, 영상 합성부(128)는, 절출 처리부(126)의 전단(前段)에 있어도 좋다.
영상 합성부(128)는, 절출 처리부(126)로부터 출력된 우안용 영상 데이터와 좌안용 영상 데이터를 병합하고, 예를 들면, 사이드 바이 사이드 방식, 톱 앤드 보텀 방식, 라인 시퀀셜 방식, 프레임 시퀀셜 방식 등의 입체 영상을 지각시키기 위한 소정의 방식의 합성 데이터를 생성하여, 표시부(108)나 영상 기억부(130)에 출력한다.
표시부(108)는, 액정 디스플레이, 유기 EL(Electro Luminescence) 디스플레이 등으로 구성되고, 비디오 카메라나 디지털 스틸 카메라에 부속의 디스플레이나 뷰파인더에 한정되지 않고, 그 외의 표시 디스플레이라도 좋다. 그리고, 표시부(108)는, 영상 합성부(128)가 출력한 합성 데이터를 표시한다. 이때, 표시부(108)는, 합성 데이터를 구성하는 우안용 영상 데이터 또는 좌안용 영상 데이터를 각각 표시해도 좋다.
또한, 표시부(108)가, 예를 들면, 편광 표시 방식 등에 기초하여 1라인마다 편광이 상이한 경우, 영상 합성부(128)는, 합성 데이터를 라인 시퀀셜 방식으로 출력하고, 촬상자는 편광 안경 등을 장착하고, 우안으로 우안용 영상만을, 좌안으로 좌안용 영상만을 각각 시인하여, 합성 데이터를 입체 영상으로서 지각하게 된다. 또한, 촬상자에게 입체 영상을 지각시키도록 형성된 표시부(108)인 경우, 표시 방식으로서, 라인 시퀀셜 방식에 한정되지 않고, 예를 들면, 우안용 영상과 좌안용 영상을 1프레임마다 교대로 표시하고 전자 셔터식 안경을 통하여 시인시키는 프레임 시퀀셜 방식, 렌티큘러 렌즈를 개재하여 우안용 영상과 좌안용 영상 각각의 광의 진행 방향을 제어하는 렌티큘러 방식 등을 이용해도 좋다.
촬상자는, 표시부(108)에 표시된 영상을 시인하면서 조작부(106)를 조작함으로써, 피사체를 소망하는 위치 및 점유 면적으로 파악하는 것이 가능해진다.
영상 기억부(130)는, HDD, 플래시 메모리, 불휘발성 RAM 등으로 구성되고, 후술하는 기억 제어부(156)의 제어 신호에 따라서, 영상 합성부(128)로부터 출력된 합성 데이터를 기억한다. 또한, 영상 기억부(130)는, CD, DVD나 BD와 같은 광디스크 매체나, 포터블 메모리 카드 등 , 착탈 가능한 기억 매체에 합성 데이터를 기억시키는 장치로서 구성되어도 좋다. 이때, 영상 기억부(130)는, 영상 데이터를 M-JPEG나 MPEG-2, H.264 등의 소정의 부호화 방식으로 부호화할 수도 있다.
정보 보존유지부(132)는, EEPROM, PROM, 불휘발성 RAM 등으로 구성되고, 후술하는 교정값 생성부(152)가 생성한 위치 정보를 예를 들면 공장 출하시에 미리 보존유지한다. 여기에서 정보 보존유지부(132)는, 줌 렌즈(140) 및 포커스 렌즈(142)를 상이한 복수의 배율로 설정했을 때의 위치 정보를, 각각의 배율에 관련지어, 미리 보존유지하고 있다. 위치 정보는, 우안용 영상 데이터 및 좌안용 영상 데이터의 영상 중심점을 각각 원점으로 한 경우의, 우안용 영상 데이터에 투영된 지표(指標)를 차분 벡터만큼 이동한 우교정점의 위치와, 좌안용 영상 데이터에 투영된 지표를 차분 벡터만큼 이동한 좌교정점의 위치를 나타내는 것이다. 여기에서, 차분 벡터는, 우안용 영상 데이터에 투영된 지표 및 좌안용 영상 데이터에 투영된 지표를 연결하는 결선의 중점을 시점으로 하고 영상 중심점을 종점으로 하는 벡터이다. 교정값 생성부(152)에 의한 위치 정보의 생성 수단에 대해서는, 나중에 상술한다.
중앙 제어부(134)는, 중앙 처리 장치(CPU), 프로그램 등이 저장된 ROM, 워크 에어리어로서의 RAM 등을 포함하는 반도체 집적 회로에 의해, 입체 영상 촬상 장치(100) 전체를 관리 및 제어한다. 또한, 본 실시 형태에 있어서, 중앙 제어부(134)는, 촬상 제어부(150), 교정값 생성부(152), 절출 제어부(154), 기억 제어부(156)로서도 기능한다.
촬상 제어부(150)는, 촬상자의 조작 입력, 즉 조작부(106)로부터 공급되는 정보에 따라서 촬상부(120)를 제어한다. 예를 들면, 촬상 제어부(150)는, 적절한 영상 데이터가 얻어지도록, 줌 렌즈(140), 포커스 렌즈(142), 조리개(144) 및 촬상 소자(146)를 구동부(148)에 구동시킨다. 또한, 촬상 제어부(150)는, 줌 기능(배율 변경 기능)을 수행시키는 경우, 줌 렌즈(140) 및 포커스 렌즈(142)를, 구동부(148)를 통하여 이동시킨다.
교정값 생성부(152)는, 절출 제어부(154)가 촬상축 교정 처리를 행할 때에 이용하는 위치 정보를 생성하여, 정보 보존유지부(132)에 보존유지시킨다.
도 3?도 5는, 교정값 생성부(152)에 의한 위치 정보의 생성 수단을 설명하기 위한 설명도이다. 전술한 바와 같이, 촬상 렌즈(104)나, 줌 렌즈(140), 포커스 렌즈(142)를 포함하여 구성되는 2개의 촬상부(120)의 형성 정밀도나 조립 정밀도, 렌즈 구동 모터 등으로 구성되는 구동부(148)에는 개체차가 있다. 따라서, 기준의 촬상축 즉 입체 영상 촬상 장치(100)를 설계할 때에 설정한 촬상축(이하, 단순히 기준축이라고 칭함)과 실제의 촬상축(이하, 단순히 실촬상축이라고 칭함)(110a, 110b)과의 어긋남이 발생하고, 그 어긋남은 촬상부(120)마다 상이하기 때문에, 2개의 촬상부(120) 간에서 그 어긋남에 차이가 발생한다.
그래서, 한쪽의 촬상부(120a)의 기준축과 실촬상축과의 어긋남과 다른 한쪽의 촬상부(120b)의 기준축과 실촬상축과의 어긋남과의 차분을 삭감하기 위해, 교정값 생성부(152)는, 우선, 우안용 영상 데이터 및 좌안용 영상 데이터의 영상 중심점(실촬상축을 나타내는 점)을 각각 원점으로 한 경우의, 우안용 영상 데이터에 투영된 지표의 위치와 좌안용 영상 데이터에 투영된 지표의 위치를 각각 산출한다. 구체적으로는, 도 3(a), 도 3(b)에 나타내는 바와 같이, 촬상부(120a, 120b)의 기준축(160a, 160b) 상에 각각 도 3(c)에 나타내는 바와 같은 지표(162)를 설치한다. 그리고, 줌 렌즈(140)와 포커스 렌즈(142)를 소정의 배율로 설정하여 촬상하고, 교정값 생성부(152)는, 촬상부(120a, 120b)가 각각 생성한 우안용 영상 데이터 및 좌안용 영상 데이터의 영상 중심점을 각각 원점으로 한 경우의, 우안용 영상 데이터에 투영된 지표의 위치와, 좌안용 영상 데이터에 투영된 지표의 위치를 산출한다. 여기에서, 지표(162)는, 기준축(160a, 160b) 상의 어느 위치에 설치해도 좋고, 또한 지표(162)는, 「×」표시를 이용하고 있지만, 이에 한정되지 않고, 기준축의 위치를 점으로서 나타낼 수 있으면 어떠한 지표라도 좋다.
이때, 촬상부(120a, 120b)가 생성한 영상 데이터가 도 4(a)에 나타내는 바와 같은 우안용 영상 데이터(164a)와 좌안용 영상 데이터(164b)인 경우, 촬상부(120a)의 실촬상축을 나타내는 점인 우안용 영상 데이터(164a)에 있어서의 영상 중심점(M)에 대하여, 우안용 영상 데이터(164a)에 투영된 지표(A)(지표(162)가 우안용 영상 데이터(164a)에 투영된 것)는 정면에서 보았을 때 오른쪽으로 어긋나 있는 것을 알 수 있다. 영상 중심점(M)은, 우안용 영상 데이터(164a)의 수직 방향의 중심선(166a)과 수평 방향의 중심선(168a)의 교점이다. 여기에서, 지표(162)는 기준축 상에 설치되어 있기 때문에, 우안용 영상 데이터(164a)에 있어서의 영상 중심점(M)에 대하여, 우안용 영상 데이터(164a)에 있어서의 기준축을 나타내는 점이 정면에서 보았을 때 오른쪽으로 어긋나 있다(정확하게는, 촬상부(120a)의 실촬상축이 기준축에 대하여 어긋나 있다)고 바꿔 말할 수 있다. 또한, 촬상부(120b)의 실촬상축을 나타내는 점인 좌안용 영상 데이터(164b)에 있어서의 영상 중심점(N)에 대하여, 좌안용 영상 데이터(164b)에 투영된 지표(B)(지표(162)가 좌안용 영상 데이터(164b)에 투영된 것)는 정면에서 보았을 때 왼쪽 아래로 어긋나 있는 것을 알 수 있다. 영상 중심점(N)은, 좌안용 영상 데이터(164b)의 수직 방향의 중심선(166b)과 수평 방향의 중심선(168b)의 교점이다. 여기에서도, 지표(162)는 기준축 상에 설치되어 있기 때문에, 좌안용 영상 데이터(164b)에 있어서의 영상 중심점(N)에 대하여, 좌안용 영상 데이터(164b)에 있어서의 기준축을 나타내는 점이 정면에서 보았을 때 왼쪽 아래로 어긋나 있다(정확하게는, 촬상부(120b)의 실촬상축이 기준축에 대하여 어긋나 있다)고 바꿔 말할 수 있다.
그래서, 교정값 생성부(152)는, 도 4(a)에 나타내는 실촬상축을 나타내는 점인 우안용 영상 데이터(164a)의 영상 중심점(M)을 원점으로 한 경우의, 우안용 영상 데이터(164a)에 투영된 지표(A)(기준축을 나타내는 점)의 위치를 산출한다. 마찬가지로, 교정값 생성부(152)는, 도 4(a)에 나타내는 실촬상축을 나타내는 점인 좌안용 영상 데이터(164b)의 영상 중심점(N)을 원점으로 한 경우의, 좌안용 영상 데이터(164b)에 투영된 지표(B)(기준축을 나타내는 점)의 위치를 산출한다. 여기에서, 원점을 영상 중심점으로 하고, 투영된 지표(A) 및 투영된 지표(B)의 위치를 xy좌표값 (x, y)로 나타내면, 우안용 영상 데이터(164a)에 투영된 지표(A)(이하, 단순히 기준점(A)이라고 칭함)의 xy좌표값이 (ax, ay), 좌안용 영상 데이터(164b)에 투영된 지표(B)(이하, 단순히 기준점(B)이라고 칭함)의 xy좌표값이 (bx, by)가 된다. 단, x좌표는 화면 수평 방향의 좌표이며, y좌표는 화면 수직 방향의 좌표를 말한다.
그리고, 도 4(b)에 나타내는 바와 같이, 교정값 생성부(152)는, 산출한 기준점(A) 및 기준점(B)을 연결하는 결선(C)의 중점(D)을 시점으로 하고 영상 중심점(원점)을 종점으로 하는 차분 벡터(E)를 도출한다. 여기에서, 기준점(A)의 xy좌표값이 (ax, ay)이고, 기준점(B)이 (bx, by)인 경우, 원점을 영상 중심점으로 하고, xy좌표값 (x, y)로 나타내면 중점(D)의 xy좌표값은, ((ax＋bx)/2, (ay＋by)/2)로 나타낼 수 있다. 따라서, 차분 벡터(E)는, xy좌표값으로 나타내면, ((ax＋bx)/2, (ay＋by)/2)를 시점으로 하고, 원점(0, 0)을 종점으로 하는 벡터라고 말할 수 있다.
교정값 생성부(152)는, 기준점(A)을 차분 벡터(E)만큼 이동한 우교정점의 위치와, 기준점(B)을 차분 벡터(E)만큼 이동한 좌교정점의 위치를 나타내는 위치 정보를 생성하여, 정보 보존유지부(132)에 보존유지시킨다. 여기에서, 기준점(A)의 xy좌표값이 (ax, ay)이고, 기준점(B)이 (bx, by)이며, 차분 벡터(E)의 시점이 ((ax＋bx)/2, (ay＋by)/2))이고, 종점이 원점(0, 0)인 경우, 우교정점(F)은, (ax－(ax＋bx)/2, ay－(ay＋by)/2))가 되고, 좌교정점(G)은, (bx－(ax＋bx)/2, by－(ay＋by)/2))가 된다.
또한, 교정값 생성부(152)는, 줌 렌즈(140), 포커스 렌즈(142)의 배율을 복수회, 예를 들면 3?4단계로 설정하고, 설정한 상이한 복수의 배율로 촬상한 영상 데이터(164)의 우교정점(F)의 위치 및 좌교정점(G)의 위치를 배율마다 각각 산출한다.
그리고, 교정값 생성부(152)는, 우교정점(F)의 위치 및 좌교정점(G)의 위치를 산출할 때에 이용한, 영상 데이터를 촬상했을 때의 줌 렌즈(140), 포커스 렌즈(142)의 배율에 관련지어, 산출한 우교정점(F)의 위치 및 좌교정점(G)의 위치를 나타내는 위치 정보를 정보 보존유지부(132)에 보존유지시킨다. 또한 교정값 생성부(152)는, 우교정점(F)의 위치 및 좌교정점(G)의 위치를 산출하고 있지 않은 배율에 대한 위치 정보를, 정보 보존유지부(132)에 보존유지된 줌 렌즈(140)와 포커스 렌즈(142)의 복수 단계의 배율에 있어서의 우교정점(F)의 위치를 선형 보간하고, 정보 보존유지부(132)에 보존유지된 줌 렌즈(140)와 포커스 렌즈(142)의 복수 단계의 배율에 있어서의 좌교정점(G)의 위치를 선형 보간함으로써 구하고 있다. 또한, 보간 방법은 선형 보간에 한정되지 않고, 스플라인 함수(spline function)를 이용한 보간 등, 다른 보간 처리라도 좋다.
또한, 본 실시 형태에 있어서, 교정값 생성부(152)는, 출하 전에 미리 위치 정보를 정보 보존유지부(132)에 보존유지시켜 두고, 위치 정보를 이용하여 영상 데이터의 절출 중심을 교정시킴으로써, 출하시에는 입체 영상 촬상 장치(100)에서 생성되는 우안용 영상 데이터의 기준축과 실촬상축과의 어긋남과, 좌안용 영상 데이터의 기준축과 실촬상축과의 어긋남이 대략 일치하도록 한다.
또한, 상기 도 3에서는 지표(162)의 설치 위치는 기준축 상인 것을 전제로 했지만, 이러한 경우에 한정하지 않고, 도 5에 나타내는 바와 같이, 촬상부(120a)와 촬상부(120b)와의 사이의 점이며, 각각의 촬상부(120)로부터의 거리가 동일한 점(P)을 중심으로 한, 점(P)으로부터 복주점(Q)까지의 거리를 반경으로 한 원의 원주(170) 상의 점이고, 그리고, 촬상부(120)의 화각 내의 점을 지표(162)의 설치 위치로 할 수도 있다. 이 경우, 촬상부(120a)에서 촬상하는 경우와, 촬상부(120b)에서 촬상하는 경우로, 2회로 나누어 지표를 설치할 필요가 없어지기 때문에, 조작성이 좋고, 또한, 지표의 설치 오차에 기초하는 기준축의 양 촬상부 간의 어긋남을 저감할 수 있다.
절출 제어부(154)는, 정보 보존유지부(132)에 보존유지된 위치 정보에 기초하여, 우안용 영상 데이터(164a)로부터 우교정점(F)을 절출 중심으로 하고, 좌안용 영상 데이터(164b)로부터 좌교정점(G)을 절출 중심으로 하여, 크기가 동일한 부분 영상 데이터를 각각 절출하도록, 절출 처리부(126)를 제어한다.
도 6은, 절출 처리부(126)에 의한 촬상축 교정 처리의 상세한 동작을 설명하기 위한 설명도이다. 도 6(a)에 나타내는 바와 같이 절출 처리부(126)가 우안용 영상 데이터(164a)로부터 부분 영상 데이터(180a)를 절출하는 경우, 절출 처리부(126)는, 절출 제어부(154)의 제어에 따라서, 우교정점(F)을 절출 중심으로 하여 부분 영상 데이터(180a)를 절출한다. 마찬가지로, 절출 처리부(126)가 좌안용 영상 데이터(164b)로부터 부분 영상 데이터(180b)를 절출하는 경우, 절출 처리부(126)는, 절출 제어부(154)의 제어에 따라서, 좌교정점(G)을 절출 중심으로 하여 부분 영상 데이터(180b)를 절출한다. 여기에서 절출 처리부(126)는, 부분 영상 데이터(180a)와 부분 영상 데이터(180b)와의 크기를, 애스펙트비(예를 들면 16:9)를 동일하게 하여 절출한다.
여기에서, 절출 처리부(126)는 절출한 부분 영상 데이터(180)를 영상 합성부(128)의 방식에 따라서 확대축소한다. 예를 들면, 촬상 소자(146)가 생성한 우안용 영상 데이터(164a) 및 좌안용 영상 데이터(164b)의 화소수가, 3840×2160이며, 영상 합성부(128)의 방식이 1920×1080의 사이드 바이 사이드 방식인 경우, 절출 처리부(126)는, 우안용 영상 데이터(164a), 좌안용 영상 데이터(164b) 각각으로부터 1920×1080의 부분 영상 데이터(180a), 부분 영상 데이터(180b)를 절출하고, 또한 수평 방향의 화소수를 압축하여 1920×540의 부분 영상 데이터(180a), 부분 영상 데이터(180b)를 생성한다.
한편, 도 6(b)에 나타내는 바와 같이, 절출 중심을 2개의 영상 데이터로 독립하여 어긋나게 하는 경우, 즉 도 6(b) 중, 우교정점(F'), 좌교정점(G')을 절출 중심으로 하여 부분 영상 데이터(182a, 182b)를 절출하는 경우, 절출 범위의 종방향의 허용량 또는 횡방향의 허용량이 한쪽의 영상 데이터로 제한되어 버린다. 도 6(b)에 나타내는 예에서는, 좌안용 영상 데이터(164b)에 의해 부분 영상 데이터(182b)의 종방향의 절출 범위가 제한되고, 부분 영상 데이터(182b)의 절출 범위의 크기에 맞추기 위해 부분 영상 데이터(182a)의 절출 범위의 크기도 제한되어, 그 결과, 부분 영상 데이터(182a, 182b)가 작아진다.
본 실시 형태의 절출 제어부(154)는, 도 6(a)에 나타낸 바와 같이, 2개의 영상 데이터(164)(우안용 영상 데이터(164a) 및 좌안용 영상 데이터(164b))의 어느 것에 대해서도, 촬상부(120) 간의 기준축으로부터 실촬상축의 어긋남의 차분을 안분(按分)한 만큼만 절출 중심을 어긋나게 하고 있기 때문에, 절출 범위의 횡방향의 허용량 및 종방향의 허용량이 2개의 영상 데이터(164)로 동일해진다. 따라서, 도 6(b)에 나타낸 절출 중심을 2개의 영상 데이터(164)로 독립하여 어긋나게 하는 경우와 비교하여 절출 중심과 영상 데이터(164)의 범위와의 간격을 최대한 확보할 수 있어, 절출 범위를 넓게 취하는 것이 가능해진다.
기억 제어부(156)는, 절출 제어부(154)가 절출 처리부(126)에 절출시킨 부분 영상 데이터를 영상 기억부(130)에 기억시킨다.
이상 설명한 바와 같이, 본 실시 형태에 따른 입체 영상 촬상 장치(100)는, 촬상부가 생성하는 영상 데이터를 적절히 절출함으로써, 절출한 부분 영상 데이터의 화질을 유지하는 것이 가능해진다.
또한, 여기에서는, 입체 영상 촬상 장치(100)가 2개의 촬상부(120)를 설치하여 영상 데이터를 생성하는 예(2안 카메라)를 들어 설명했지만, 미러 등의 광학적 수법을 이용하여 1개의 피사체를 2개의 시점으로부터 동시에 촬상시키는 입체 영상 촬상용 어댑터를 1의 촬상부의 광학 경로 전방에 위치시켜 영상 데이터를 생성할 수도 있다. 이러한 경우라도 본 실시 형태의 위치 정보를 이용하여, 촬상부가 생성하는 영상 데이터를 적절히 절출함으로써, 절출한 부분 영상 데이터의 화질을 유지하는 것이 가능해진다.
(제2 실시 형태)
전술한 제1 실시 형태의 입체 영상 촬상 장치(100)에서는, 절출 처리부(126)가 영상 데이터를 절출할 때의 절출 중심 및 절출 범위를, 절출 제어부(154)가 정보 보존유지부(132)에 보존유지된 위치 정보에 기초하여 조정함으로써, 기준축과 실촬상축과의 어긋남의 촬상부(120) 간의 차이를 삭감하는 것이 가능해졌다. 여기에서는, 또한 촬상부(120) 간의 실제의 배율 오차를 이용하여, 생성한 우안용 영상 데이터와 좌안용 영상 데이터와의 배율차를 삭감할 수 있는 입체 영상 촬상 장치(300)에 대해서 설명한다.
도 7은, 제2 실시 형태에 따른 입체 영상 촬상 장치(300)의 개략적인 구성을 나타낸 기능 블록도이다. 도 7에 나타내는 바와 같이, 입체 영상 촬상 장치(300)는, 조작부(106)와, 2개의 촬상부(120)(도 7 중, 120a, 120b로 나타냄)와, 영상 버퍼(122)와, 데이터 처리부(124)와, 절출 처리부(326)와, 영상 합성부(128)와, 표시부(108)와, 영상 기억부(130)와, 정보 보존유지부(332)와, 중앙 제어부(334)를 포함하여 구성된다. 또한, 중앙 제어부(334)는, 촬상 제어부(150), 교정값 생성부(352), 절출 제어부(354), 기억 제어부(156)로서도 기능한다. 전술한 제1 실시 형태에 있어서의 구성 요소로서 이미 서술한, 조작부(106)와, 2개의 촬상부(120)와, 영상 버퍼(122)와, 데이터 처리부(124)와, 영상 합성부(128)와, 표시부(108)와, 영상 기억부(130)와, 촬상 제어부(150)와, 기억 제어부(156)는, 실질적으로 기능이 동일하기 때문에 중복 설명을 생략하고, 여기에서는, 구성이 상위한, 절출 처리부(326)와, 정보 보존유지부(332)와, 교정값 생성부(352)와, 절출 제어부(354)를 주로 설명한다.
절출 처리부(326)는, 후술하는 절출 제어부(354)의 제어에 따라서, 데이터 처리부(124)에서 영상 신호 처리된 후의 영상 데이터의 일부를 절출하여 촬상축 교정 처리를 수행하거나, 확대축소 교정 처리를 수행하거나 한 후, 영상 합성부(128)에 출력한다. 절출 처리부(326)의 촬상축 교정 처리는, 전술한 제1 실시 형태의 촬상축 교정 처리와 실질적으로 동일하고, 확대축소 교정 처리의 상세한 동작에 대해서는 나중에 상술한다. 또한 본 실시 형태에 있어서 절출 처리부(326)는, 우선 촬상축 교정 처리를 수행하고, 이어서 확대축소 교정 처리를 수행한다. 또한, 촬상축 교정 처리, 확대축소 교정 처리의 순서는 특별히 한정하는 것은 아니다.
정보 보존유지부(332)는, 정보 보존유지부(132)와 동일하게, EEPROM, PROM, 불휘발성 RAM 등으로 구성되고, 전술한 위치 정보에 더하여, 후술하는 교정값 생성부(352)가 생성한 비율 정보를 예를 들면 공장 출하시에 미리 보존유지한다. 여기에서, 비율 정보는, 상이한 복수의 배율로 설정했을 때의 2개의 촬상부(120a, 120b)에서 생성되는 우안용 영상 데이터 및 좌안용 영상 데이터에 투영된 동일한 촬상 대상의 치수비를 나타내고, 각각의 배율에 관련지어 미리 보존유지한다.
중앙 제어부(334)의 교정값 생성부(352)는, 절출 제어부(354)가 확대축소 교정 처리를 행할 때에 이용하는 비율 정보를 생성하여, 정보 보존유지부(332)에 보존유지시킨다.
도 8은, 교정값 생성부(352)에 의한 비율 정보의 산출 방법을 설명하기 위한 설명도이다. 전술한 바와 같이, 촬상 렌즈(104)나, 줌 렌즈(140), 포커스 렌즈(142)를 포함하여 구성되는 2개의 촬상부(120)의 형성 정밀도나 조립 정밀도, 렌즈 구동 모터 등의 구동부(148)에는 개체차가 있다. 따라서, 설계값의 배율(이하, 단순히 설정 배율이라고 칭함)과 영상 데이터에 있어서의 실제의 배율(이하, 단순히 실배율이라고 칭함)의 어긋남이 발생하고, 그 어긋남은 촬상부(120)마다 상이하기 때문에, 2개의 촬상부(120) 간에서 그 어긋남에 차이(이하, 치수차라고 칭함)가 발생한다.
그래서, 교정값 생성부(352)는, 소정의 설정 배율에 있어서의 2개의 촬상부(120) 간의 치수차를 삭감하기 위한 비율 정보를 산출한다. 우선, 도 8(a)에 나타내는 지표(362)를 이용하여, 도 8(b), 도 8(c)에 나타내는 바와 같이, 각각의 촬상부(120a, 120b)로부터 동일한 거리(R)에, 촬상부(120a, 120b)의 기준축(160a, 160b)에 수직이 되도록 지표(362)를 설치하고, 촬상부(120)마다 그 지표(362)를 촬상한다. 여기에서 지표(362)로서 진원(眞圓)을 이용함으로써, 기준축(160a, 160b)을 중심으로 한 회전이나, 기준축(160a, 160b)과 직교하는 축을 중심으로 한 회전에 의한 촬상부(120)와 지표(362)의 각도의 차이를 흡수할 수 있어, 촬상부(120) 간의 치수차를 고정밀도로 산출하는 것이 가능해진다.
여기에서, 지표(362)는, 기준축(160a, 160b) 상에 설치되어 있지만, 이에 한정되지 않고, 촬상부(120)로부터의 거리가 동일하고, 화각이 동일한 위치에 설치하면 충분하다. 또한, 지표(362)는, 진원을 이용하고 있지만, 이에 한정되지 않고, 우안용 영상 데이터 및 좌안용 영상 데이터에 투영된 동일한 촬상 대상의 치수비를 산출할 수 있으면 어떠한 지표라도 좋다.
교정값 생성부(352)는, 우안용 영상 데이터에 투영된 지표의 직경(α)과, 좌안용 영상 데이터에 투영된 지표의 직경(β)의 비율(β/α)을 치수비로서 산출한다. 또한, 교정값 생성부(352)는, 설정 배율을 복수의 값, 예를 들면 3?4단계로 변경하여 촬상한 영상 데이터의 치수비를 각각 산출하고, 그 치수비를 나타내는 비율 정보를 촬상했을 때의 설정 배율에 관련지어 정보 보존유지부(332)에 보존유지시킨다. 또한, 여기에서 교정값 생성부(352)는, 치수비를 산출하고 있지 않은 설정 배율에 대한 비율 정보를, 정보 보존유지부(332)에 보존유지된 복수의 설정 배율에 있어서의 치수비를 선형 보간함으로써 구하고 있다. 또한, 보간 방법은 선형 보간에 한정되지 않고, 스플라인 함수를 이용한 보간 등, 다른 보간 처리라도 좋다.
또한, 본 실시 형태에 있어서, 교정값 생성부(352)는, 출하 전에 미리 비율 정보를 정보 보존유지부(332)에 보존유지시켜 두고, 비율 정보를 이용하여 영상 데이터를 교정시킴으로써, 출하시에는 입체 영상 촬상 장치(300)에서 생성되는 영상 데이터의 치수차가 2개의 촬상부(120) 간에서 대략 일치하도록 한다.
절출 제어부(354)는, 현재의 설정 배율을 취득하여, 현재의 설정 배율에 관련지어진 비율 정보에 나타나는 비율(β/α)과 1과의 합을 2로 제산하여 얻은 평균값을, 직경(α)의 지표가 투영된 영상 데이터(우안용 영상 데이터)에 곱하고, 평균값을 비율(β/α)로 나눈 값을, 평균값을 곱하지 않은 영상 데이터 즉 직경(β)의 지표가 투영된 영상 데이터(좌안용 영상 데이터)에 곱하고, 평균값을 곱한 영상 데이터(우안용 영상 데이터) 및 평균값을 비율로 나눈 값을 곱한 영상 데이터(좌안용 영상 데이터)로부터, 크기가 동일한 부분 영상 데이터를 각각 절출하도록, 절출 처리부(326)를 제어한다.
도 9 및 도 10은, 절출 처리부(326)에 의한 확대축소 교정 처리의 상세한 동작을 설명하기 위한 설명도이다. 예를 들면, 도 9(b)에 나타내는 바와 같이, 우안용 영상 데이터(364a)에 투영된 촬상 대상의 직경(α)이 1, 좌안용 영상 데이터(364b)에 투영된 촬상 대상의 직경(β)이 2인 경우, 우안용 영상 데이터(364a)를 절출한 부분 영상 데이터(366)만을 4배로 확대하면, 부분 영상 데이터(366)의 3/4의 주위의 실(實)정보량(화소)이 결락되어, 부분 영상 데이터(366)를 확대한 부분 영상 데이터(368)의 화질이 조잡해진다. 여기에서, 실정보량이란, 화소 보간되어 있지 않은 경우의 정보량을 나타낸다. 따라서, 도 9(a)에 나타내는 확대한 부분 영상 데이터(368)를 좌안용 영상 데이터(364b)와 비교하면, 확대한 부분 영상 데이터(368)는, 실정보량이 1/4로 적어져, 확대한 부분 영상 데이터(368)만 화질 열화가 발생해 버린다. 따라서, 우안으로 시인하는 부분 영상 데이터(368)와 좌안용 영상 데이터(364b)에서 화질에 차이가 발생하여(실정보량이 1과 1/4이 되어), 최종적으로 시청자가 입체 영상으로서 지각한 경우에 화질의 열화가 현저해져 버린다.
한편, 도 9(c)에 나타내는 바와 같이, 우안용 영상 데이터(364a)에 투영된 촬상 대상의 직경(α)과 좌안용 영상 데이터(364b)에 투영된 촬상 대상의 직경(β)을 동일하게 하기 위해 좌안용 영상 데이터(364b)만을 축소하여 축소 영상 데이터(370)로 한다. 이 경우, 축소한 후에 표시부(108)에 표시시키는 데에 필요한 크기가 되도록 확대할 필요가 있기 때문에, 좌안용 영상 데이터(364b)의 실정보량은 삭감되지 않기는 하지만, 우안용 영상 데이터(364a)를 절출한 부분 영상 데이터(366)의 실정보량은 1/4이 되어 버려, 화질 열화가 발생해 버린다.
그래서 절출 처리부(326)는, 도 10(a)에 나타내는 바와 같이 우안용 영상 데이터(364a)에 투영된 촬상 대상의 직경(α)이 1, 좌안용 영상 데이터(364b)에 투영된 촬상 대상의 직경(β)이 2인 경우(비율 β/α＝2), 절출 제어부(354)의 제어에 따라서, 도 10(b)에 나타내는 바와 같이 우안용 영상 데이터(364a)에, β/α와 1과의 합을 2로 제산한 평균값, 즉, {(β/α)＋1}/2＝(α＋β)/2α＝1.5를 곱한 확대축소 영상 데이터(372a)를, 좌안용 영상 데이터(364b)에, β/α와 1과의 합을 2로 제산한 평균값, 즉, {(β/α)＋1}/2＝(α＋β)/2β 즉 0.75를 곱한 확대축소 영상 데이터(372b)를 생성한다. 그렇게 하면, 확대축소 영상 데이터(372a, 372b) 모두 실정보량의 감소를 1/2로 억제할 수 있다.
그리고 도 10(c)에 나타내는 바와 같이, 절출 처리부(326)는, 좌안에 시인시키는 영상 데이터로서 확대축소 영상 데이터(372b)를 그대로 영상 합성부(128)에 출력하고, 우안에 시인시키는 영상 데이터로서 확대축소 영상 데이터(372a)로부터 확대축소 영상 데이터(372b)와 크기가 동일한 부분 영상 데이터(374a)를 절출하여 영상 합성부(128)에 출력한다.
이와 같이, 절출 제어부(354)가, 촬상 대상의 치수비를 안분하여, 2개의 영상 데이터(우안용 영상 데이터(364a), 좌안용 영상 데이터(364b)) 어느 것에도 확대축소 교정 처리를 시행하도록 절출 처리부(326)를 제어함으로써, 한쪽의 영상 데이터만을 확대함으로써 발생해 버리는 화질의 양 영상 데이터 간의 차이를 없앨 수 있고, 또한 한쪽의 영상 데이터만을 축소함으로써 발생해 버리는 현저한 실정보량의 감소도 억제하는 것이 가능해진다. 따라서, 본 실시 형태의 입체 영상 촬상 장치(300)는, 영상 데이터 간의 정보의 감소를 억제하면서, 화질을 균일하게 할 수 있어, 최종적인 입체 영상으로서의 화질 열화를 저감하는 것이 가능해진다.
또한, 본 실시 형태에 있어서 절출 처리부(326)는, 절출 제어부(354)의 제어에 따라서 영상 데이터에 확대축소 교정 처리를 시행하고 나서 부분 영상 데이터를 절출하고 있지만, 이에 한정되지 않고, 우선 영상 데이터로부터 부분 영상 데이터를 절출하고, 그 후, 확대축소 교정 처리를 행해도 좋다.
이상, 첨부 도면을 참조하면서 본 발명의 적합한 실시 형태에 대해서 설명했지만, 본 발명은 이러한 실시 형태에 한정되지 않는 것은 말할 필요도 없다. 통상의 지식을 가진자라면, 특허 청구의 범위에 기재된 범주에 있어서, 각종의 변경예 또는 수정예에 상도할 수 있는 것은 분명하고, 그것들에 대해서도 당연하게 본 발명의 기술적 범위에 속하는 것으로 이해된다.
예를 들면, 기준축과 실촬상축과의 어긋남의 촬상부(120) 간의 차분이 허용 범위인 경우, 제1 실시 형태에 기재한 촬상축 교정 처리를 수행하지 않고, 제2 실시 형태에 기재한 확대축소 교정 처리만을 수행할 수도 있다.
본 발명은, 입체 영상을 지각시키기 위한 영상을 생성하는 입체 영상 촬상 장치에 이용할 수 있다.
100, 300 : 입체 영상 촬상 장치
104 : 촬상 렌즈
110a, 110b : 촬상축
120(120a, 120b) : 촬상부
126, 326 : 절출 처리부
132, 332 : 정보 보존유지부
140 : 줌 렌즈(촬상 대상을 확대 및 축소가 가능한 렌즈)
142 : 포커스 렌즈
152, 352 : 교정값 생성부
154, 354 : 절출 제어부

Claims (4)

  1. 입체 영상을 지각시키기 위한 양안 시차를 갖는 우안용 영상 데이터 및 좌안용 영상 데이터를 생성하는 촬상부와,
    상기 우안용 영상 데이터 및 좌안용 영상 데이터의 영상 중심점을 각각 원점으로 한 경우의, 상기 우안용 영상 데이터에 투영된 지표를, 상기 우안용 영상 데이터에 투영된 지표 및 상기 좌안용 영상 데이터에 투영된 지표를 연결하는 결선의 중점(中點)을 시점으로 하여 상기 영상 중심점을 종점으로 하는 차분 벡터만큼 이동한 우교정점의 위치와, 상기 좌안용 영상 데이터에 투영된 지표를 차분 벡터만큼 이동한 좌교정점의 위치를 나타내는 위치 정보를 보존유지(保持)하는 정보 보존유지부와,
    상기 위치 정보에 기초하여, 상기 우안용 영상 데이터로부터 상기 우교정점을 절출(切出: cutout) 중심으로 하고, 좌안용 영상 데이터로부터 상기 좌교정점을 절출 중심으로 하여, 크기가 동일한 부분 영상 데이터를 각각 절출하는 절출 제어부를 구비하는 것을 특징으로 하는 입체 영상 촬상 장치.
  2. 제1항에 있어서,
    상기 촬상부는, 상기 우안용 영상 데이터를 생성하기 위한 촬상축 상 및, 상기 좌안용 영상 데이터를 생성하기 위한 촬상축 상에, 촬상 대상의 확대 및 축소가 가능한 렌즈를 각각 갖고,
    상기 정보 보존유지부는, 상기 렌즈를 상이한 복수의 배율로 설정했을 때의 위치 정보를, 각각의 상기 배율에 관련지어 보존유지하고,
    상기 절출 제어부는, 현재의 상기 렌즈의 배율을 취득하여, 상기 현재의 렌즈의 배율에 관련지어진 위치 정보에 기초하여, 상기 우안용 영상 데이터 및 좌안용 영상 데이터로부터 크기가 동일한 부분 영상 데이터를 각각 절출하는 것을 특징으로 하는 입체 영상 촬상 장치.
  3. 제1항에 있어서,
    상기 촬상부는, 상기 우안용 영상 데이터를 생성하기 위한 촬상축 상 및, 상기 좌안용 영상 데이터를 생성하기 위한 촬상축 상에, 촬상 대상의 확대 및 축소가 가능한 렌즈를 각각 갖고,
    상기 정보 보존유지부는, 상기 촬상부에서 생성되는 상기 우안용 영상 데이터 및 좌안용 영상 데이터에 투영된 동일한 촬상 대상의 치수비를 나타내는 비율 정보를 보존유지하고,
    상기 절출 제어부는, 보존유지된 상기 비율 정보에 나타나는 비율과 1과의 합을 2로 제산하여 얻은 평균값을, 상기 우안용 영상 데이터 및 좌안용 영상 데이터의 어느 한쪽에 곱하고, 상기 평균값을 상기 비율로 나눈 값을, 상기 평균값을 곱하지 않은 영상 데이터에 곱하고, 상기 평균값을 곱한 영상 데이터 및 상기 평균값을 상기 비율로 나눈 값을 곱한 영상 데이터로부터, 크기가 동일한 부분 영상 데이터를 각각 절출하는 것을 특징으로 하는 입체 영상 촬상 장치.
  4. 제3항에 있어서,
    상기 정보 보존유지부는, 상기 렌즈를 상이한 복수의 배율로 설정했을 때의 비율 정보를, 각각의 상기 배율에 관련지어 보존유지하고,
    상기 절출 제어부는, 현재의 상기 렌즈의 배율을 취득하여, 상기 현재의 렌즈의 배율에 관련지어진 비율 정보에 기초하여, 상기 평균값을 곱한 영상 데이터 및 상기 평균값을 상기 비율로 나눈 값을 곱한 영상 데이터로부터, 크기가 동일한 부분 영상 데이터를 각각 절출하는 것을 특징으로 하는 입체 영상 촬상 장치.
KR1020127027767A 2010-04-28 2011-02-22 입체 영상 촬상 장치 KR101385583B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2010-102965 2010-04-28
JP2010102965A JP5304721B2 (ja) 2010-04-28 2010-04-28 立体映像撮像装置
PCT/JP2011/053859 WO2011135904A1 (ja) 2010-04-28 2011-02-22 立体映像撮像装置

Publications (2)

Publication Number Publication Date
KR20120139838A true KR20120139838A (ko) 2012-12-27
KR101385583B1 KR101385583B1 (ko) 2014-04-15

Family

ID=44861225

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127027767A KR101385583B1 (ko) 2010-04-28 2011-02-22 입체 영상 촬상 장치

Country Status (6)

Country Link
US (1) US9154771B2 (ko)
EP (1) EP2566166B1 (ko)
JP (1) JP5304721B2 (ko)
KR (1) KR101385583B1 (ko)
CN (1) CN102893616B (ko)
WO (1) WO2011135904A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015054507A1 (en) 2013-10-10 2015-04-16 Pronutria, Inc. Nutritive polypeptide production systems, and methods of manufacture and use thereof
CN104581112B (zh) * 2013-10-14 2016-10-05 钰立微电子股份有限公司 快速产生摄像机的距离对视差关系表的系统及其相关方法
CN104581107B (zh) * 2013-10-16 2018-07-20 深圳市云立方信息科技有限公司 一种对3d相机进行校正的装置及方法
JP2018207259A (ja) * 2017-06-01 2018-12-27 マクセル株式会社 ステレオ撮像装置
JP2022168781A (ja) * 2021-04-26 2022-11-08 キヤノン株式会社 電子機器、その制御方法、プログラムおよび記憶媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4397573B2 (ja) * 2002-10-02 2010-01-13 本田技研工業株式会社 画像処理装置
JP2005072674A (ja) * 2003-08-27 2005-03-17 Sharp Corp 三次元画像生成装置および三次元画像生成システム
JP2006162991A (ja) * 2004-12-07 2006-06-22 Fuji Photo Film Co Ltd 立体画像撮影装置
JP4474312B2 (ja) * 2005-03-30 2010-06-02 富士フイルム株式会社 撮像範囲調整システム、立体撮像装置、調整装置、及び撮像範囲調整方法
US7586534B2 (en) * 2005-03-22 2009-09-08 Fujifilm Corporation Multi-eye image pickup device, adjusting method and device therefor, and image-area adjusting system and method
KR100834637B1 (ko) * 2006-11-27 2008-06-02 삼성전자주식회사 스테레오 카메라 장치에서 이미지들을 정렬하기 위한 장치및 방법
JP4794510B2 (ja) * 2007-07-04 2011-10-19 ソニー株式会社 カメラシステムおよびカメラの取り付け誤差の補正方法
DE102008040985B4 (de) * 2008-08-05 2021-05-27 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Mehrkamerasystems

Also Published As

Publication number Publication date
US20130038682A1 (en) 2013-02-14
EP2566166B1 (en) 2015-11-25
EP2566166A1 (en) 2013-03-06
CN102893616B (zh) 2015-06-17
CN102893616A (zh) 2013-01-23
JP5304721B2 (ja) 2013-10-02
US9154771B2 (en) 2015-10-06
WO2011135904A1 (ja) 2011-11-03
EP2566166A4 (en) 2014-06-11
JP2011234151A (ja) 2011-11-17
KR101385583B1 (ko) 2014-04-15

Similar Documents

Publication Publication Date Title
JP5258722B2 (ja) 複眼カメラ及びその制御方法
CN102165785B (zh) 三维成像装置和方法
US8648917B2 (en) Imaging apparatus, image processing apparatus, and image processing method, and program
JP5789793B2 (ja) ３次元撮像装置、レンズ制御装置、およびプログラム
KR101385583B1 (ko) 입체 영상 촬상 장치
JP5938659B2 (ja) 撮像装置およびプログラム
US9338425B2 (en) Device and method for generating stereoscopic image
JP5597525B2 (ja) 立体映像撮像装置および立体映像撮像方法
US9602801B2 (en) Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras
CN102160388A (zh) 三维显示设备和方法及程序
KR100971730B1 (ko) 평행축 입체카메라
CN102860015A (zh) 立体成像装置、图像再现装置和编辑软件
CN105323423A (zh) 图像处理方法、图像处理装置及摄像装置
JP2016032227A (ja) 映像表示システム、三次元映像ポインティング装置、および映像表示装置
US9402068B2 (en) Lens system for 3D video taking
JP2013105000A (ja) 映像表示装置及び映像表示方法
JP2012085252A (ja) 画像生成装置、画像生成方法、プログラムおよびプログラムを記録した記録媒体
KR20110034737A (ko) 멀티프레임 타입의 디지털 입체영상 카메라 및 그 촬영방법
JP2012235281A (ja) ３ｄ画像撮像装置及びプログラム
JP2013046081A (ja) 撮影装置および映像生成方法
JP6063662B2 (ja) 撮像装置及び撮像方法
JP2023102773A (ja) 温度変化に対する視差光学素子のキャリブレーション装置及び方法
JP5362157B1 (ja) 立体視用映像撮影装置、および立体視用映像撮影方法
JP2014102265A (ja) ３ｄ撮像装置
JP2021068943A (ja) 映像供給装置、映像供給方法、表示システムおよびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170322

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180316

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 6