KR20200124271A - 촬상 장치, 화상 처리 장치 및 화상 처리 방법 - Google Patents

촬상 장치, 화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR20200124271A
KR20200124271A KR1020207027629A KR20207027629A KR20200124271A KR 20200124271 A KR20200124271 A KR 20200124271A KR 1020207027629 A KR1020207027629 A KR 1020207027629A KR 20207027629 A KR20207027629 A KR 20207027629A KR 20200124271 A KR20200124271 A KR 20200124271A
Authority
KR
South Korea
Prior art keywords
image
imagers
case
image processing
imager
Prior art date
Application number
KR1020207027629A
Other languages
English (en)
Inventor
히로카즈 다케나카
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20200124271A publication Critical patent/KR20200124271A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Lenses (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

촬상 장치(1a, 1b, 1c, 1d, 1e, 1f)는 렌즈(240)를 통해 입사되는 광을 수신하도록 구성된 촬상 소자(210, 212)를 포함하는 적어도 하나의 촬상기(Cam0, Cam1, Cam2, Cam3, Cam4, Cam5, Cam6, Cam7), 및 적어도 4 개의 촬상기가 배치되는 케이스(10a, 10b, 10c, 10d, 10e, 10f)를 구비한다. 상기 케이스는 각각의 촬상기 및 다른 하나의 촬상기가 실질적으로 서로 평행되는 광 축을 갖고 상기 광 축 상의 광 입사 방향이 서로 반대 방향이며, 각각의 촬상기가 다른 촬상기들의 촬상 가능 범위 밖에 위치되도록 구성된다.

Description

촬상 장치, 화상 처리 장치 및 화상 처리 방법
본 발명은 촬상 장치, 화상 처리 장치 및 화상 처리 방법에 관한 것이다.
3차원 물체 또는 화면을 측정하기 위한 기술로서 스테레오 화상을 사용한 거리 측정 기술(스테레오 거리 측정 기술)이 있다. 스테레오 거리 측정 기술은 카메라를 다수의 상이한 시점에 배치하여 촬상 범위가 서로 중첩되도록 화상을 촬영하고 촬영 화상 중에서 대응 점을 검출한다. 카메라에서 대응 점까지의 거리는 대응 점의 시차를 기준으로 측정된다.
스테레오 거리 측정 기술이 통상의 화각을 갖는 다수의 카메라를 사용하는 시스템에서 사용될 때에는 당연히 카메라의 촬상 범위가 거리 측정 가능한 범위를 나타낸다. 예를 들어, 일본 특허 공보 제3827912호에는 보다 넓은 범위의 측정을 가능토록 하기 위하여 12 개의 스테레오 카메라 유닛을 12 면체의 각 면에 부착하여 실시간으로 전방향의 컬러 화상 및 거리 정보를 취득하는 기술이 기재되어 있다. 또한, 일본 특허 공보 제5483027호 또는 일본 특허 공보 제5011528호와 같이, 어안 렌즈의 입사면이 서로 반대 방향이 되도록 배치된 2 개의 어안 렌즈를 포함하는 다수의 전방향 카메라를 사용함으로써 보다 적은 수의 카메라로 전방향 거리 측정을 가능토록 하는 구성도 알려져 있다.
일본 특허 공보 제3827912 일본 특허 공보 제5483027 일본 특허 공보 제5011528
그러나, 종래의 전방향 카메라를 사용하는 스테레오 카메라 시스템에서는 전방향의 거리 측정을 위하여 3 개 이상의 전방향 카메라가 필요하다. 즉, 2 개의 전방향 카메라를 사용하는 스테레오 카메라 시스템에서는 각 전방향 카메라의 촬영 화상에 다른 전방향 카메라가 포함되어 그 방향의 거리 측정이 어렵게 된다. 거리 측정의 어려움을 해결하기 위하여 종래의 기술은 적어도 3 개의 전방향 카메라가 사용되어야 하는 문제점이 있다.
본 발명은 상기 상황을 감안하여 이루어진 것으로, 본 발명의 목적은 보다 소규모의 구성으로 전방향의 거리 측정을 가능토록 하는 것이다.
본 발명의 일 양태에 따른 촬상 장치는 렌즈를 통해 입사되는 광을 수신하도록 구성된 촬상 소자와, 적어도 4 개의 상기 촬상기가 배치되는 케이스를 구비하고, 상기 케이스는 각각의 촬상기가 다른 하나의 촬상기와 실질적으로 광 축이 평행되고 또한 상기 광 축 상의 광 입사 방향이 서로 반대 방향이며, 각 촬상기가 다른 촬상기들의 촬상 가능 범위 밖에 배치되도록 구성된다.
본 발명의 다른 양태에 따른 화상 처리 장치는 렌즈를 통해 입사되는 광을 수신하도록 구성된 촬상 소자를 포함하는 적어도 4 개의 촬상기 중 각각에 의해 촬영된 촬영 화상을 취득하도록 구성되고, 상기 촬상기는 상기 촬상기들 중 하나가 상기 촬상기들 중 다른 하나와 실질적으로 광 축이 평행되고 또한 상기 광 축 상의 광 입사 방향이 서로 반대 방향이며, 각각의 촬상기가 다른 촬상기들의 촬상 가능 범위 밖에 배치되도록 케이스에 배치된 취득부와, 상기 케이스에 배치된 모든 촬상기들로부터 취득된 촬영 화상들에 기초하여 3 차원 포인트 그룹 정보에 의해 표현되는 구형 거리 화상을 생성하도록 구성된 화상 처리부를 구비한다.
본 발명의 또 다른 양태에 따른 화상 처리 방법은 각각 전체 화각이 180° 이상인 렌즈와 상기 렌즈를 통해 입사되는 광을 수신하도록 구성된 촬상 소자를 포함하는 적어도 4 개의 촬상기 중 각각에 의해 촬영된 촬영 화상을 취득하는 단계로서, 상기 촬상기는 각각의 촬상기가 다른 하나의 촬상기와 실질적으로 광 축이 평행되고 또한 상기 광 축 상의 광 입사 방향이 서로 반대 방향이며, 각각의 촬상기가 다른 촬상기들의 촬상 가능 범위 밖에 배치되도록 케이스에 배치된 촬영 화상 취득 단계와, 상기 케이스에 배치된 모든 촬상기들로부터 취득된 촬영 화상들에 기초하여 3 차원 포인트 그룹 정보에 의해 표현되는 구형 거리 화상을 생성하는 단계를 포함한다.
본 발명의 양태에 의하면, 보다 소규모의 구성으로 전방향의 거리 측정을 실행할 수 있는 유리한 효과가 달성된다.
첨부된 도면은 본 실시예를 도시하기 위한 것으로, 본 실시예의 범위를 제한하는 것으로 해석되어서는 안된다. 첨부된 도면은 명시적으로 언급되지 않는 한 축척대로 그려진 것으로 간주되지 않아야 한다. 또한, 동일하거나 유사한 참조 번호는 각 도면에서 동일하거나 유사한 구성 요소를 나타낸다.
도 1a는 일 실시예에 따른 촬상 장치의 개요를 설명하기 위한 예시도이다.
도 1b는 본 실시예에 따른 상기 촬상 장치의 개요를 설명하기 위한 도면이다.
도 2는 본 실시예에 따른 촬상 장치의 하드웨어 구성의 일례를 나타내는 블록도이다.
도 3은 본 실시예에 따른 촬상 장치의 기능을 설명하기 위한 일례의 기능 블록도이다.
도 4는 본 실시예에 따른 촬상 장치의 전체 처리를 예시하는 일례의 흐름도이다.
도 5a, 5b 및 5c(도 5)는 본 실시예에 따른 구형 화상 세트의 생성 처리를 설명하기 위한 도면이다.
도 6a는 본 실시예에 적용 가능한 어안 렌즈에 의해 3차원 입사광을 2 차원 형태로 투영하는 방법을 설명하기 위한 도면이다.
도 6b는 본 실시예에 적용 가능한 어안 렌즈에 의해 3 차원 입사광을 2 차원 형태로 투영하는 방법을 설명하기 위한 도면이다.
도 7a는 본 실시예에 적용 가능한 구면과 등거리 원통 화상 간의 대응　관계를 도시한 도면이다.
도 7b는 본 실시예에 적용 가능한 구면과 등거리 원통 화상 간의 대응 관계를 도시한 도면이다.
도 8은 본 실시예에 적용 가능한 거리 화상의 생성 처리를 예시하는 흐름도이다.
도 9는 본 실시예에 따른 거리 측정 영역을 설명하기 위한 도면이다.
도 10은 본 실시예에 따른 촬상기에 의해 촬영된 어안 화상과 거리 측정 영역 간의 관계를 도시한 도면이다.
도 11a는 본 실시예에 따른 거리 측정 영역 및 거리 측정 화상을 설명하기 위한 도면이다.
도 11b는 본 실시예에 따른 거리 측정 영역 및 거리 측정 화상을 설명하기 위한 도면이다.
도 11c는 본 실시예에 따른 거리 측정 영역 및 거리 측정 화상을 설명하기 위한 도면이다.
도 12는 본 실시예에 따른 특징점의 좌표 변환을 설명하기 위한 도면이다.
도 13은 본 실시예에 적용 가능한 특징점의 거리 산출에 사용되는 거리 측정 식을 설명하기 위한 도면이다.
도 14는 본 실시예의 제1 변형예에 따른 촬상 장치를 케이스의 상면 측에서 바라본 경우의 예를 도시한 도면이다.
도 15a는 본 실시예의 제2 변형예에 따른 촬상 장치의 개요를 설명하기 위한 도면이다.
도 15b는 본 실시예의 제2 변형예에 따른 촬상 장치의 개요를 설명하기 위한 도면이다.
도 16a는 본 실시예의 제3 변형예에 따른 촬상 장치의 개요를 설명하기 위한 도면이다.
도 16b는 본 실시예의 제3 변형예에 따른 촬상 장치의 개요를 설명하기 위한 도면이다.
도 17은 본 실시예의 제4 변형예에 따른 촬상 장치를 케이스의 상면 측에서 바라본 경우의 예를 도시한 도면이다.
도 18은 본 실시예의 제5 변형예에 따른 촬상 장치를 케이스의 상면 측에서 바라본 경우의 예를 도시한 도면이다.
본 개시 내용에서 사용한 용어는 단지 특정의 실시예를 설명하기 위하여 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 또한 단수의 표현은 문맥 상 명백히 다르게 뜻하지 않는 한, 다수의 표현을 포함한다.
도면에 예시된 실시예를 설명함에 있어서, 명확성을 위하여 특정 용어가 사용된다. 그러나, 본 특허 명세서의 개시 내용은 선택된 특정 용어로 제한되도록 의도되지 않으며, 각각의 특정 요소는 유사한 방식으로 작동하고 유사한 결과를 달성하는 모든 기술적 등가물을 포함하는 것으로 이해되어야 한다.
본 실시예는 기술적 한계로 첨부된 도면을 참조하여 설명되지만, 이러한 설명은 본 개시 내용의 범위를 제한하려는 것은 아니고, 본 개시 내용의 실시예에서 설명된 모든 구성 요소 또는 요소는 반드시 필수적인 것은 아니다.
아래에 도면을 참조하여 본 개시 내용의 실시예를 설명한다. 아래의 실시예를 설명하기 위한 도면에서 동일한 기능 또는 모양을 갖는 구성 요소(부재 또는 구성 부분)에는 동일한 참조 부호가 할당되고, 중복되는 설명은 생략한다.
이하, 촬상 장치, 화상 처리 장치 및 화상 처리 방법의 실시예에 대하여 첨부 도면을 참조하여 상세하게 설명한다.
실시예에 따른 촬상 장치의 개요
도 1a 및 도 1b는 일 실시예에 따른 촬상 장치의 개요를 설명하기 위한 도면이다. 도 1a는 일 실시예에 따른 촬상 장치(1a)의 예시적인 외관을 도시하는 사시도이다. 도 1a에 도시된 바와 같이, 본 실시예에 따른 촬상 장치(1a)는 입방체 케이스(10a), 및 촬상 장치(1a)를 손 등으로 유지하기 위한 그립(11)을 포함한다. 2 개의 대향면(이 경우, 상면 및 하면)을 제외한 케이스(10a)의 6면 중 4면(이 경우, 측면)에는 전체 화각이 180° 이상의 촬상 가능 범위를 갖는 촬상기(Cam0, Cam1, Cam2 및 Cam3)가 각각 배치된다. 촬상기(Cam0, Cam1)는 도 1a의 케이스(10a)의 후면 측에 배치되므로, 도 1a 에서는 단지 참조 부호를 도시한다.
촬상기(Cam0, Cam1, Cam2, Cam3)는 어안 렌즈를 사용한 광학계, 예컨대 전하 결합 장치(CCD)로 구성된 촬상 소자 및 촬상 소자를 구동하기 위한 구동 회로를 포함한다. 그립(11)에는 화상 촬영을 지시하기 위한 촬상 버튼(12)이 제공된다. 그립(11)에는 촬상 장치(1a)의 설정 등 조작을 실행하는 조작부 및 상태 등을 표시하는 표시부가 더 제공될 수 있다.
도 1b는 촬상 장치(1a)를 케이스(10a)의 상면 측(그립(11)이 설치된 면의 반대측)에서 바라본 경우의 예를 도시한다. 도 1b에서는 촬상기(Cam0, Cam1, Cam2 및 Cam3)의 촬상 가능 범위를 촬상 범위(200, 201, 202 및 203)로서 예시한다. 본 실시예에 따른 촬상 장치(1a)에서 촬상기(Cam0, Cam1, Cam2 및 Cam3) 각각은 다른 촬상기의 촬상 가능 범위에 포함되지 않도록 배치된다.
촬상기(Cam0, Cam1, Cam2 및 Cam3) 각각은 촬상기의 광 축을 따라 제1 방향으로 향하는 반구형을 포함하는 범위의 화상을 촬영할 수 있고, 　광 축을 따라 제1 방향으로 향하는 촬상기와 제1 방향과 반대인 제2 방향으로 향하는 반구형에 대응하는 다른 촬상기의 세트는 구형 범위의 화상을 촬영할 수 있다. 도 1b의 예에서는 촬상기(Cam0 및 Cam2) 세트 및 촬상기(Cam1 및 Cam3) 세트 각각에 의해 구형 범위의 화상을 촬영할 수 있다.
즉, 본 실시예에 따른 촬상 장치(1a)에서 촬상기(Cam0, Cam1, Cam2 및 Cam3)는 각각의 촬상기(Cam0, Cam1, Cam2 및 Cam3)가 촬상기의 촬영 화상의 전체 화각 180°이내에 다른 촬상기를 촬영하지 않도록 배치된다. 또한, 촬상기(Cam0, Cam1, Cam2 및 Cam3)는 각각의 촬상기(Cam0, Cam1, Cam2 및 Cam3)와 다른 촬상기 중의 어느 하나가 실질적으로 평행되는 광 축을 갖고 반대의 입사 방향을 갖도록 배치된다.
즉, 케이스(10a)는 촬상기(Cam0, Cam1, Cam2, Cam3) 중 하나 및 촬상기(Cam0, Cam1, Cam2, Cam3) 중의 다른 하나가 실질적으로 서로 평행되는 광 축을 갖고 상기 광 축 상에서 반대의 광 입사 방향을 가지며 각각의 촬상기(Cam0, Cam1, Cam2 및 Cam3)가 촬상기(Cam0, Cam1, Cam2 및 Cam3) 중의 다른 촬상기들의 촬상 가능 범위 밖에 배치되도록 구성된다.
본 실시예에 따른 촬상 장치(1a)의 경우, 촬상기(Cam0, Cam1, Cam2 및 Cam3)가 상술한 바와 같이 배치되기 때문에, 바람직한 방향이 적어도 2 개의 촬상기의 촬상 가능 범위에 포함되므로 사각이 없는 상태에서 전방향 스테레오 거리 측정이 실행될 수 있다. 따라서, 전방향의 거리 측정을 보다 소규모의 구성으로 실행할 수 있다.
도 2는 본 실시예에 따른 촬상 장치(1a)의 하드웨어 구성의 일례를 나타내는 블록도이다. 도 2에서 촬상 장치(1a)는 중앙 처리 장치(CPU)(1000), 판독 전용 메모리(ROM)(1001), 랜덤 액세스 메모리(RAM)(1002), 사용자 인터페이스(UI) 장치(1003), 화상 처리 회로(1004), 데이터 인터페이스(I/F) (1005) 및 카메라 인터페이스 (I/F)(1006)를 포함한다.
CPU(1000)는 ROM(1001)에 미리 저장된 프로그램에 따라 RAM(1002)을 작업 메모리로서 사용함으로써 촬상 장치(1a)의 전체 동작을 제어한다. UI 장치(1003)는 예를 들어 촬상 버튼(12), 촬상 장치(1a)에 다양한 설정을 하기 위한 입력 장치 및 촬상 장치(1a)의 상태 등을 표시하는 표시 장치를 포함한다. 화상 처리 회로(1004)는 예를 들어 DSP(Digital Signal Processor)이며, CPU(1000)의 지시에 따라 RAM(1002)을 작업 메모리로 사용하여 화상 처리를 실행한다. 데이터 I/F(1005)는　외부 장치와 촬상 장치(1a) 간의 데이터를 송수신한다. 예를 들어 범용 직렬 버스(USB)가 데이터 I/F(1005)에 적용될 수 있다.
카메라 I/F(1006)는 촬상기(Cam0, Cam1, Cam2 및 Cam3)에 대한 인터페이스이다. CPU(1000)는 예를 들어 촬상 버튼(12)에 대한 조작에 응답하여 트리거 신호를 생성한다. 트리거 신호는 카메라 I/F(1006)를 통해 촬상기(Cam0, Cam1, Cam2 및 Cam3)에 공급된다. 촬상기(Cam0, Cam1, Cam2 및 Cam3) 각각은 트리거 신호에 응답하여 화상을 촬영하고 촬영 화상을 출력한다. 각각의 촬상기(Cam0, Cam1, Cam2 및 Cam3)로부터 출력되는 촬영 화상은 어안 렌즈에 의해 촬영된 어안 화상이다.
촬상기(Cam0, Cam1, Cam2, Cam3) 각각으로부터 출력된 어안 화상은　카메라 I/F(1006)를 통해 예를 들어CPU(1000)로 전송되고, RAM(1002)에 저장된다. 화상 처리 회로(1004)는 CPU(1000)의 지시에 따라 RAM(1002)에 저장된 각각의 어안 화상에 대해 화상 처리(후술함)를 수행하여 구형 화상을 생성하고, 3차원 포인트 그룹 정보로서 기능하는 구형 거리 화상을 생성한다.
도 3은 본 실시예에 따른 촬상 장치(1a)의 기능을 설명하기 위한 일례의 기능 블록도이다. 도 3에서 촬상 장치(1a)는 화상 취득부(100), 전체 제어부(101), 반구형 화상 처리부(102), 구형 화상 처리부(103), 출력부(104) 및 사용자 인터페이스(UI)(105)를 포함한다.
화상 취득부(100), 전체 제어부(101), 반구형 화상 처리부(102), 구형 화상 처리부(103) 및 출력부(104) 중 반구형 화상 처리부(102) 및 구형 화상 처리부(103)는 상술한 화상 처리 회로에 포함되는 기능을 갖는다. 또한, 화상 취득부(100), 전체 제어부(101) 및 출력부(104)는 CPU(1000)에서 동작되는 프로그램에 의해 제공된다. 이에 제한되지 않고 반구형 화상 처리부(102) 및 구형 화상 처리부(103)는 CPU(1000)에서 동작되는 프로그램에 의해 제공될 수 있다. 화상 취득부(100), 전체 제어부(101) 및 출력부(104)의 일부 또는 전부는 협력 하드웨어 회로에 의해 구성될 수 있다. 또한 반구형 화상 처리부(102) 및 구형 화상 처리부(103)는 상이한 하드웨어 회로로 구성될 수 있다.
화상 취득부(100)는 촬상기(Cam0 내지 Cam3)로부터 출력되는 어안 화상을 취득한다. 화상 취득부(100)는 취득한 어안 화상을 예를 들어 RAM(1002)에 저장한다. 전체 제어부(101)는 화상 취득부(100), 반구형 화상 처리부(102), 구형 화상 처리부(103) 및 출력부(104) 전체를 제어한다. 반구형 화상 처리부(102)는 촬상기(Cam0 내지 Cam3)로부터 취득된 어안 화상에 관한 처리를 수행하고 반구형 화상 및 반구형 거리 화상을 생성한다. 구형 화상 처리부(103)는 반구형 화상 처리부(102)에 의해 생성된 반구형 화상 및 반구형 거리 화상에 기초하여 구형 화상 및 구형 거리 화상을 생성한다. 따라서, 본 실시예에 따른 촬상 장치(1a)는 화상 처리 장치의 기능(예를 들어, 반구형 화상 처리부(102) 및 구형 화상 처리부(103)의 기능)을 포함한다.
출력부(104)는 구형 화상 처리부(103)에 의해 생성된 구형 화상 및 구형 거리 화상을 외부로 출력하기 위한 출력 처리를 수행한다. UI(105)는 UI 장치(1003)에 포함된 입력 장치(촬영 버튼(12)을 포함)에 대한 사용자 조작에 대한 처리 및 표시 장치에 대한 표시를 제어한다.
촬상 장치(1a)의 화상 처리 장치로서의 기능을 제공하기 위한 화상 처리 프로그램은 설치 가능한 파일 형식 또는 실행 가능한 파일 형식으로 컴퓨터에 의해 판독 가능한 기록 매체에 기록된 파일로 제공된다. 기록 매체는 예컨대 CD(compact disk), FD(flexible disk), DVD(digital versatile disk)일 수 있다. 이에 한정되지 않고 화상 처리 프로그램은 인터넷 등의 네트워크에 접속된 컴퓨터에 저장되고, 네트워크를 통해 다운로드되어 제공될 수 있다. 대안적으로 또는 추가적으로, 화상 처리 프로그램은 인터넷과 같은 네트워크를 통해 제공되거나 분배될 수 있다.
화상 처리 프로그램은 화상 취득부(100), 전체 제어부(101) 및 출력부(104)를 포함하는 모듈 구성을 구비한다(반구형 화상 처리부(102) 및 구형 화상 처리부(103)가 CPU(1000)에 의해 동작되는 프로그램에 의해 제공되는 경우는 이들 처리부도 포함됨). 실제 하드웨어에 관해서는, CPU(1000)가 ROM(1001)과 같은 기록 매체로부터 화상 처리 프로그램을 판독하고 화상 처리 프로그램을 실행함으로써, 상술한 구성 요소가 RAM(1002)과 같은 메인 메모리에 로딩되어 화상 취득부(100), 전체 제어부(101) 및 출력부(104)가 메인 메모리에서 생성된다.
상기 설명에서는 도 3에 도시된 구성이 촬상 장치(1a)에 포함되지만, 이에 한정되는 것은 아니다. 예를 들어, 도 3에 도시된 구성은 데이터 I/F(1005)를 통해 촬상 장치(1a)에 연결될 수 있는 외부 정보 처리 장치에 포함될 수 있다.
도 4는 본 실시예에 따른 촬상 장치(1a)에서의 전체 처리를 나타내는 일례의 흐름도이다. 본 실시예에 따른 촬상 장치(1a)에서는 촬상 버튼(12)이 작동되어 촬상기(Cam0 내지 Cam3)의 반구형 촬영 화상이 카메라 I/F(1006)를 통해 취득되어 화상 처리 회로(1004)에 입력되고, 화상 처리 회로(1004)에 의해 구형 화상 및 구형 화상에 대응하는 구형 거리 화상이 출력된다.
도 4의 단계 S10에서 화상 취득부(100)는 촬상기(Cam0 내지 Cam3)에 의해 촬영된 어안 화상으로서 촬영 화상을 취득한다. 이 경우, 촬상기(Cam0 내지 Cam3)는 어안 화상을 컬러 화상으로 출력한다. 이에 한정되지 않고 최종적으로 구형 거리 화상만 필요하거나 최종적으로 구형 거리 화상 및 단색 구형 화상이 필요한 경우에는 촬상기(Cam0 내지 Cam3)는 단색 어안 화상을 출력하여도 된다.
다음 단계 S11에서 반구형 화상 처리부(102)는 2 개의 어안 화상을 포함하는 구형 화상 세트를 생성한다. 이 경우에, 반구형 화상 처리부(102)는 단계 S10에서 취득된 촬상기(Cam0 내지 Cam3)의 어안 화상 중 서로 대략 평행되는 광 축을 갖고 반대의 촬상 방향을 갖는 두 개의 촬상기 세트(예를 들어, 촬상기((Cam0, Cam2) 세트)에 의해 촬영된 두 개의 어안 화상을 지정하고, 상기 촬상기 세트로부터 취득된 어안 화상을 변환하여 반구형 화상을 생성한다. 반구형 화상은 각 화소가 휘도 정보를 갖는 화상이다. 각각의 화소가 컬러 정보를 추가로 갖는 경우, 반구형 화상은 컬러 화상이다.
반구형 화상은 어안 화상을 등거리 원통 투영 형태로 변환함으로써 생성될 수 있다. 등거리 원통 투영은 지구의의 위도 및 경도와 같은 두 가지 변수를 사용하여 3차원 방향을 표현하고, 위도와 경도가 서로 직교하도록 평면으로 표시하는 투영이다. 이 경우, 단계 S11에서 생성된 구형 화상 세트에 포함된 2 개의 어안 화상으로부터 2 개의 반구형 화상이 생성된다.
다음 단계 S12에서 반구형 화상 처리부(102)는 각각의 반구형 화상에 대한 거리 화상(반구형 거리 화상이라 함)을 생성한다. 거리 화상은 각 화소의 수치가 거리를 나타내는 화상이다. 거리 화상 생성 방법에 대해서는 후술한다. 이 경우, 단계 S11에서 생성된 구형 화상 세트에 포함된 2 개의 어안 화상으로부터 2 개의 반구형 거리 화상이 생성된다.
다음 단계 S13에서 구형 화상 처리부(103)는 단계 S12에서 생성된 2 개의 반구형 화상을 결합하여 1개의 구형 화상을 생성한다. 이 경우, 공지된 기술을 사용하여 다수의 화상을 결합할 수 있고, 그 방법은 특별히 제한되지 않는다.
다음 단계 S14에서 구형 화상 처리부(103)는 전술한 단계 S13에서의 처리를 따라 단계 S12에서 생성된 2 개의 반구형 거리 화상을 결합하여 1개의 구형 거리 화상을 생성한다. 이 경우, 구형 거리 화상의 화소 위치를 구형 화상의 화소 위치와 일치시키기 위하여 단계 S13과 같은 처리를 통해 구형 거리 화상을 생성한다.
실시예에 따른 처리의 상세한 내용
상술한 도 4의 흐름도의 단계 S11의 처리를 보다 상세히 설명하면 다음과 같다. 도 5는 본 실시예에 따른 구형 화상 세트의 생성 처리를 설명하기 위한 도면이다.
도 ４의 흐름도의 단계 S11에서는 3 차원 전방향을 커버할 수 있는 2 개의 반구형 화상이 생성된다. 도 5a에 도시된 촬상기(Cam0, Cam1, Cam2 및 Cam3)에서 촬상기(Cam0 및 Cam2)의 세트에 의한 촬상 범위(200 및 202) 및 촬상기(Cam1 및 Cam3)의 세트에 의한 촬상 범위(201 및 203)는 각각 3 차원 전방향을 커버할 수 있다. 여기에서는 촬상기(Cam0 및 Cam2) 세트를 사용하는 경우를 설명한다.
본 실시예에서는 두 개의 반구형 화상이 등거리 원통 화상의 형태로 제공되므로, 어안 화상으로부터의 변환 처리가 필요하다. 전체 화각이 180° 이상인 어안 화상을 원형 어안 화상이라 하고, 촬상 소자 상에 원형 화상이 형성되며, 원형 화상 외부의 영역은 일반적으로 흑색 영역인 무효 영역이다.
도 5b는 촬상기(Cam0 및 Cam2)의 촬상 소자(210 및 212) 상의 어안 화상(220 및 222)의 예를 나타낸다. 도 5c는 도 5b의 어안 화상(220 및 222)에 각각 대응하는 등거리 원통 화상인 반구형 화상(230 및 232)의 예를 나타낸다. 도 5b 및 도5c에서 무효 영역은 검은 색으로 표시되어 있다. 흰색 영역은 유효 화소를 포함한 유효 영역이다.
도 6a, 6b는 본 실시예에 적용 가능한 어안 렌즈에 의해 3차원 입사광을 2차원 형태로 투영하는 방법을 설명하기 위한 도면이다. 도 6a는 예로서 촬상기(Cam0)를 도시한다. 촬상기(Cam0)는 어안 렌즈(240) 및 촬상 소자(210)를 포함한다. 촬상 소자(210)의 수광면에 수직인 축을 광 축으로 한다. 또한, 도 6a의 예에서 입사각(φ)은 어안 렌즈(240)의 에지에 인접한 평면과 광 축의 교점을 정점으로 할 때 광 축에 대한 각도로 표시된다.
180° 이상의 화각을 갖는 어안 렌즈(240)에 의해 촬영된 어안 화상은 촬영 위치로부터 반구형 범위의 장면의 화상이다. 이 경우, 도 6a 및 도 6b에 도시된 바와 같이, 투영 함수 f(φ)에 의해 그 관계가 결정되는 입사각(φ)에 대응하는 화상 높이(h)로 어안 화상(220)이 생성된다. 투영 함수 f(φ)는 어안 렌즈(240)의 특성에 따라 변한다. 예를 들어, 다음 식(1)로 표현되는 등거리 투영 시스템이라 불리는 투영 시스템을 갖는 어안 렌즈(240)가 있다. 여기서, h는 화상 높이를 나타내고, fL 은 초점 거리를 나타내며, φ는 입사 방향과 광 축 사이의 각도(입사각)를 나타낸다. 이 경우, 어안 렌즈(240)가 사용된다.
h = fL´φ... (1)
등거리 원통 화상은 등거리 원통 투영을 사용하여 생성된 화상이며, 구형 좌표계에서 2 개의 각도 변수인 2 개의 축을 갖는 좌표로 표현된다. 도 7a 및 7b는 실시예에 적용 가능한 구면과 등거리 원통 화상 간의 대응을 도시한다. 도 7a는 등거리 원통 화상의 좌표 예를 도시한다. 도 7b는 구형의 좌표 예를 도시한다. 등거리 원통 화상은 수평각이 -180° 내지 180°의 범위이고 수직각이 -90° 내지 90°의 범위인 각도 좌표에 대응하는 화소 값을 갖는 화상이다. 각도 좌표는 구면의 각 점과 관련되어 있고, 지구의의 위도-경도 좌표와 같다.
어안 화상의 좌표와 등거리 원통 화상의 좌표는 도 6a 및 6b로 설명 된 바와 같이 투영 함수 f(φ)를 사용하여 서로 연관시킬 수 있다. 따라서, 이 대응을 이용하여 화상을 변환할 수 있다.
다음에 도 4의 흐름도의 단계 S12에 따른 거리 화상의 생성 처리에 대하여 상세하게 설명한다. 도 8은 실시예에 적용 가능한 거리 화상의 생성 처리를 예시하는 일례의 흐름도이다. 이 경우, 촬상기(Cam0)에 의해 촬영된 어안 화상(220)을 등거리 원통 화상으로 변환하여 취득된 반구형 화상(230)에 대응하는 거리 화상(반구형 거리 화상이라 함)이 생성된다. 촬상기(Cam2)에 의해 촬영된 각각의 어안 화상에 대응하는 반구형 화상에도 유사한 처리가 적용된다. 촬상기(Cam0 및 Cam2)로부터의 2 개의 반구형 거리 화상은 구형 범위를 커버할 수 있다. 촬상기(Cam1, Cam3)에 의해 촬영 화상은 거리 화상 생성(후술됨)용의 비교 화상으로 사용된다.
단계 S20에서 반구형 화상 처리부(102)는 반구형 화상(230)으로부터 특징점을 추출한다. 특징점 추출에 적용되는 기술은 에지 또는 모서리와 같은 특징을 갖는 점을 추출하는 한 특별히 제한되지 않는다. 예를 들어, 이 기술은 에지 검출 필터를 사용하거나 해리스(Harris)의 코너 검출 알고리즘을 사용하는 검출이어도 된다.
다음 단계 S21에서 반구형 화상 처리부(102)는 거리 측정 영역 각각의 거리 산출 기준 화상 및 비교 화상을 생성한다. 스테레오 거리 측정은 동일한 장면을 상이한 지점에서 촬영한 두 개의 화상을 사용한다. 따라서, 촬상기(Cam0)에 관하여, 거리 측정 영역은 촬상기(Cam1)와 함께 스테레오 거리 측정이 수행되는 영역과 촬상기(Cam3)와 함께 스테레오 거리 측정이 수행되는 영역으로 분할된다.
도 9는 실시예에 따른 거리 측정 영역을 설명하기 위한 도면이다. 4 개의 촬상기(Cam0, Cam1, Cam2 및 Cam3)를 갖는 촬상 장치(1a)에서 케이스(10a)의 수평면에 대한 전방향은 4 개의 거리 측정 영역(Area0-1, Area1-2, Area2-3, Area3-0)으로 분할된다.
이 경우, 거리 측정 영역(Area0-1, Area1-2, Area2-3 및 Area3-0)은 각각 두 개의 서로 다른 촬상기 세트에 의해 촬영된다. 예를 들어, 거리 측정 영역(Area0-1)은 촬상기(Cam0 및 Cam1)에 의해 촬영되고, 거리 측정 영역(Area1-2)은 촬상기(Cam1 및 Cam2)에 의해 촬영되며, 거리 측정 영역(Area2-3)은 촬상기(Cam2 및 Cam3)에 의해 촬영되고, 거리 측정 영역(Area3-0)은 촬상기(Cam3 및 Cam0)에 의해 촬영된다. 따라서, 거리 측정 영역(Area0-1, Area1-2, Area2-3 및 Area3-0)에서는 스테레오 거리 측정을 위한 화상의 조합이 변한다.
도 10은 실시예에 따른 촬상기(Cam0, Cam1, Cam2, Cam3)에 의해 촬영된 어안 화상(220, 221, 222, 223)과 거리 측정 영역(Area0-1, Area1-2, Area2-3, Area3-0)의 관계를 도시한다. 도 10에 도시된 바와 같이, 어안 화상(220, 221, 222, 223)은 각각 2 개의 거리 측정 영역에 걸쳐 있다. 예를 들어, 어안 화상(220)은 거리 측정 영역(Area3-0) 및 거리 측정 영역(Area0-1)에 걸쳐 있다. 따라서, 거리 측정 영역(Area0-1, Area1-2, Area2-3 및 Area3-0)은 각각 대응하는 2 개의 어안 화상(220, 221, 222 및 223)의 절반을 사용한다.
기준 화상 및 비교 화상에 대하여 설명한다. 스테레오 거리 측정을 위한 2개의 화상 중 하나를 기준 화상이라 하고 다른 하나를 비교 화상이라 하며, 거리는 기준 화상의 화소 위치에 대응하여 측정된다. 전형적인 방법으로는 보다 쉬운 거리 산출을 위하여 기준 화상과 비교 화상이 사전에 평행화된다. 이 경우, 평행화된 기준 화상과 비교 화상이 생성된다. 등거리 원통 화상을 사용하여 스테레오 거리 측정을 수행하는 경우, 도 7a에서 φ = -90 ° 및 φ = 90 °의 극점을 연결하는 축의 방향이 기준 화상의 촬상 위치로부터 비교 화상의 촬상 위치까지의 벡터와 평행되도록 화상을 변환할 필요가 있다. 따라서, φ 축 방향으로 검색함으로써 기준 화상의 특징점에 대응하는 비교 화상의 점을 찾을 수 있다.
이 실시예에서 반구형 화상은 실질적으로 광 축이 서로 평행되고 촬상 방향이 반대인 2 개의 촬상기, 예를 들어 촬상기(Cam0, Cam2)에 의해 촬영된 어안 화상(220 및 222)에 기초하여 생성된다. 이 경우, 어안 화상(220, 222)에 기초한 반구형 화상 각각에 대응하는 거리 화상을 생성할 필요가 있다. 따라서, 기준 화상에 관해서는 촬상기(Cam0 및 Cam2) 중 어느 하나로 촬영된 어안 화상에 기초한 반구형 화상이 선택된다. 표 1은 거리 측정 영역(Area0-1, Area1-2, Area2-3 및 Area3-0) 각각에 대한 기준 화상 및 비교 화상의 선택의 예를 도시한다.
[표 1]
Figure pct00001
도 11은 실시예에 따른 거리 측정 영역 및 거리 측정 화상을 설명하기 위한 도면이다. 이 경우, 도 11a를 참조하여 거리 측정 영역(Area0-1)을 예로 거리 측정 화상을 설명한다. 도 11b에 도시된 촬상기(Cam0, Cam1)에 의해 촬영된 어안 화상(220, 221)은 스테레오 거리 측정용의 한 쌍의 어안 화상으로서 기능한다. 따라서 기준선 길이는 촬상기(Cam0, Cam1)의 렌즈 시점을 연결한 선의 길이이다.
도 11c에 도시된 거리 측정 화상(250 및 251)은 기준선 길이 방향이 등거리 원통 화상(도 7a 참조)에서 φ의 양단을 연결하는 직선 방향으로 되도록 평행화된 화상 예이다. 이 때, 거리 측정 화상(250)은 기준 화상으로 사용되고, 거리 측정 화상(251)은 비교 화상으로 사용된다. 도 11c에서 거리 측정 화상(250 및 251)의 백색 부분은 화각에서의 유효 영역을 나타내고, 흑색 부분은 화각 외부의 무효 영역을 나타낸다. 등거리 원통 화상은 3 차원 전방향을 표현한다. 따라서, 화각이 180°를 초과하는 어안 렌즈는 전체를 커버하지 않아 무효 영역이 존재한다. 기준 화상 및 비교 화상 모두에서 유효한 영역인 영역(260 및 261)은 거리 측정 영역(Area0-1)에서 거리 측정이 가능한 영역을 나타낸다.
다음 단계 S22에서 반구형 화상 처리부(102)는 단계 S20에서 산출된 특징점을 단계 S21에서 생성된 기준 화상의 점으로 변환한다. 이 때, 기준 화상은 특징점이 속하는 거리 측정 영역에 따라 변환된다(표 1 참조). 기준 화상으로 변환된 특징점의 좌표 값은 정수 값으로 반올림된다. 이는 각 특징점의 거리 산출이 끝난 후, 거리 화상을 형성하기 위해서는 각 화소 값에 거리가 필요하기 때문이다.
도 12는 실시예에 따른 특징점의 좌표 변환을 설명하기 위한 도면이다. 여기서 촬상기(Cam0)에 의해 촬영된 어안 화상(220)을 예로서 설명한다. 어안 화상(220)으로부터 변환되어 취득된 반구형 화상(230)으로부터 검출된 특징점은 그 점이 속하는 거리 측정 영역의 기준 화상의 특징점으로 변환된다.
보다 구체적으로, 좌측 절반(반구형 화상(230)의 영역(230L))인 경우(예를 들어, 점 A 및 B)에 점 A 및 B는 거리 측정 영역(Area3-0)에 속하고, 점 A 및 점 B는 거리 측정 영역(Area3-0)의 거리 측정 기준 화상(240L)의 점으로 변환된다(이 예에서는 점 A' 및 B'). 우측 절반(반구형 화상(230)의 영역(230R))인 경우(예를 들어, 점 C)에 점 C는 거리 측정 영역(Area0-1)에 속하므로, 점 C는 거리 측정 영역(Area0-1)의 거리 측정 기준 화상(240R)의 점(이 예에서는 점 C')으로 변환된다.
다음 단계 S23에서 반구형 화상 처리부(102)는 거리 측정 영역(Area0-1, Area1-2, Area2-3 및 Area3-0) 각각의 특징점 좌표의 거리를 산출한다. 스테레오 거리 측정 방법은 특별히 제한되지 않지만, 화각이 180° 이상이므로, 등거리 원통 화상을 사용하여 스테레오 거리 측정을 수행하는 것이 바람직하다.
특징점의 거리 산출 시의 일반적인 방법은 거리를 쉽게 산출하기 위하여 2개의 화상을 평행화하는 경우가 많다. 등거리 원통 화상을 사용하여 스테레오 거리 측정을 수행하는 경우에는, 도 7a에서 φ = -90 ° 및 φ = 90 °의 극점을 연결하는 축의 방향이 기준 화상의 촬상 위치로부터 비교 화상의 촬상 위치까지의 벡터와 평행되도록 화상을 변환할 필요가 있다. 따라서, 기준 화상의 특징점에 대응하는 비교 화상의 점은 단지 φ 축 방향으로 검색함으로써 찾을 수 있다. 효과적인 검색 방법은 예를 들어 템플릿 매칭 등이다. φ 방향의 변위량, 즉 시차로부터 거리를 산출하는 방법에 대해서는 후술한다.
단계 S24에서 반구형 화상 처리부(102)는 단계 S23에서 산출된 특징점 좌표의 거리를 반구형 화상에 관한 거리 화상(반구형 거리 화상)으로서 저장한다. 반구형 화상 처리부(102)는 예를 들어 RAM(1002)의 미리 정해진 영역 또는 화상 처리 회로(1004)에 반구형 화상과 동일한 수직 및 수평 크기를 갖는 거리 화상 버퍼를 준비하고, 이 거리 화상 버퍼에서 특징점으로서 기능하는 화소의 거리를 값으로서 저장한다. 특징점으로 기능하지 않는 화소의 경우에는, 거리 "0" 또는 데이터로 설정할 수 있는 최대 거리가 입력되므로 구별할 수 있다.
도 13은 실시예에 적용 가능한 특징점의 거리 산출에 사용될 수 있는 거리 측정 식을 설명하기 위한 도면이다. 단계 S23에서 특징점 P의 거리 산출에 사용될 수 있는 거리 측정 식에 대하여 도 13을 참조하여 설명한다. φ 방향의 변위량, 즉 시차를 d[pix]로 하면, 등거리 원통 화상에서의 거리 r[mm]은 아래의 식 (2) 내지 (5)에 의해 구해진다. 단위 [pix]는 화소 단위를 나타낸다.
식 (2) 내지 (4) 및 도 13에서 사용된 변수, 값 및 계수는 다음과 같이 표시된다.
(u, v) [pix] : 기준 화상의 좌표 값
(xc, yc ) [pix] : 기준 화상의 화상 중심
(φ,θ) [rad] : 기준 화상의 좌표 값을 각도로 변경하여 얻은 값
fs [pix / rad] : 각도를 픽셀로 변환하기 위한 비례 계수
B [mm] : 기준선 길이(기준 화상과 비교 화상의 화상 위치 거리)
d [pix] : 시차
r [mm] : 거리(구면 좌표계의 반경)
φ = (u-xc) / fs ... (2)
θ = (v-yc) / fs ... (3)
q = B / {tan(φ + d / fs)-tan(φ)} ... (4)
r = q/cos(φ) ... (5)
실시예의 제1 변형예
다음에 실시예의 제1 변형예를 설명한다. 도 14는 본 실시예의 제1 변형예에 따른 촬상 장치(1b)를 케이스(10b)의 상면 측에서 바라본 경우의 예를 도시한 것이다. 도 14에서는 도 1과 공통적인 부분에는 동일한 참조 부호를 적용하고, 구체적인 설명은 생략한다.
전술한 실시예에 따른 촬상 장치(1a)에서 촬상기(Cam0 내지 Cam3)는 입방체 케이스(10a)의 4 개의 측면 상에 배치된다. 대조적으로, 실시예의 제1 변형예에 따른 촬상 장치(1b)의 케이스(10b)는 면(130, 131, 132 및 133)을 도시한 도 14를 참조하면, 도 1a 및 1b의 입방체 케이스(10a)의 측면 경계의 에지가 모따기된다. 따라서, 케이스(10b)의 크기가 촬상기(Cam0 내지 Cam3)의 렌즈의 크기에 비하여 증가하더라도, 렌즈의 화각 내에 케이스(10b)가 촬영되지 않는다. 케이스(10b)의 크기를 증가시킴으로써, 촬상기(Cam0 내지 Cam3)는 렌즈 간의 거리를 증가시켜 배치할 수 있다. 따라서, 고정확도의 스테레오 거리 측정이 가능하다.
입방체를 모따기하여 얻은 입체는 모따기하지 않은 면을 입체를 규정하는 가상 면으로 가정함으로써 입방체로 간주할 수 있다.
실시예의 제2 변형예
다음에 실시예의 제2 변형예를 설명한다. 도 15는 실시예의 제2 변형예에 따른 촬상 장치의 개요를 설명하기 위한 도면이다. 도 15a는 실시예의 제2 변형예에 따른 촬상 장치(1c)의 예시적인 외관을 도시하는 사시도이다. 도 15b는 실시예의 제2 변형예에 따른 촬상 장치(1c)를 케이스(10c)의 상면 측에서 바라본 경우를 나타낸다.
도 15a 및 도 15b에서는 도 1a 및 도 1b와 공통적인 부분에는 동일한 참조 부호를 적용하고, 구체적인 설명은 생략한다. 촬상기(Cam0, Cam1)는 도 15a의 케이스(10c)의 후면 측에 배치되므로, 도 15a에서는 단지 참조 부호를 도시한다.
전술한 실시예에 따른 촬상 장치(1a)에서는 케이스(10a)가 입방체형으로 형성되고, 촬상기(Cam0 내지 Cam3)는 입방체 케이스(10a)의 4 개의 측면 상에 배치된다. 대조적으로, 실시예의 제2 변형예에서는 케이스(10c)는 상면이 네 개의 동일한 변을 갖는 정사각형 대신에, 두 대향 변이 서로 동일한 길이를 갖고 정점에서 서로 인접한 두 변이 서로 다른 길이를 갖는 직사각형의 직육면체로 구성된다. 직사각형의 단변과 장변의 비율이 미리 정해진 값 이하인 한, 즉, 다른 촬상기가 배치되는 면에 적어도 하나의 변이 인접한 면에서 촬상기(Cam0 내지 Cam3) 각각이 다른 촬상기(어안 렌즈)를 촬영하지 않는 형상의 직사각형인 한, 직육면체 케이스(10c)는 전술한 실시예에 따른 스테레오 거리 측정을 실행할 수 있다.
이에 한정되지 않고, 각각의 촬상기가 배치되는 케이스가 6 개의 사각형 면에 의해 구성되고 서로 평행한 두 개의 대향면을 가지며 6 면 중 적어도 4 면에 촬상체가 배치되는 입체 형상이면 임의의 형상이어도 된다. 예를 들어, 케이싱은 6 개의 평행 사변형 면으로 구성된 평행 육면체 형상이어도 된다.
실시예의 제3 변형예
다음에 실시예의 제3 변형예를 설명한다. 도 16a 및 16b는 본 실시예의 제3 변형예에 따른 촬상 장치의 개요를 설명하기 위한 도면이다. 도 16a는 실시예의 제3 변형예에 따른 촬상 장치(1d)의 예시적인 외관을 도시하는 사시도이다. 도 16b는 실시예의 제3 변형예에 따른 촬상 장치(1d)를 케이스(10d)의 상면 측에서 바라본 경우를 도시한다.
전술한 실시예에 따른 촬상 장치(1a)에서 촬상기(Cam0 내지 Cam3)는 입방체 케이스(10a)의 4 개의 측면 상에 배치된다. 대조적으로, 본 실시예의 제3 변형예에 따른 촬상 장치(1d)는 도 16a 및　도 16b에 도시된 바와 같이, 입방체 케이스(10d)의 4 개의 측면 외에, 케이스(10d)의 상면 및 하면에 촬상기(Cam4, Cam5)가 추가로 배치된다. 따라서, 3 차원 전방향으로 3 개의 촬상기로 화상을 촬영할 수 있다. 3 개 이상의 렌즈를 사용하여 서로 다른 위치에서 화상을 촬영함으로써 정확도를 더욱 높이는 스테레오 거리 측정 기술이 알려져 있다. 본 실시예의 제3 변형예에 따른 촬상 장치(1d)에 이 기술을 적용함으로써, 고정확도의 구형 거리 측정을 수행할 수 있다.
실시예의 제4 변형
다음에 본 실시예의 제4 변형예를 설명한다. 도 17은 본 실시예의 제4 변형예에 따른 촬상 장치(1e)를 케이스(10e)의 상면 측에서 바라본 경우의 예를 도시한 것이다. 도 17에 도시된 바와 같이, 본 실시예의 제4 변형예에서 케이스(10e)는 육각 기둥으로 구성되고, 촬상기(Cam0, Cam1, Cam2, Cam3, Cam4 및 Cam5)는 케이스(10e)의 육각 기둥의 6면에 배치되므로, 본 제4 변형예에서는 6 개의 촬상기를 사용한다.
이 경우에도, 촬상기(Cam0 내지 Cam5) 중 하나에 대하여, 하나의 촬상기의 광 축에 실질적으로 평행되는 광 축을 갖고 하나의 촬상기의 촬상 방향과 반대인 촬상 방향을 갖는 다른 하나의 촬상기가 배치되므로(예를 들어 촬상기(Cam3)가 촬상기(Cam0)에 제공됨), 2 개의 촬상기가 3 차원 전방향으로 화상을 촬영할 수 있다. 따라서, 3 개의 촬상기로 3 차원 전방향으로 화상을 촬영할 수 있다.
또한, 실시예의 제3 변형예와 비교하여 하면에 렌즈가 제공되지 않기 때문에, 그립 또는 촬상 버튼을 배치하기 위한 공간을 용이하게 마련할 수 있다.
실시예의 제5 변형예
다음에 실시예의 제5 변형예를 설명한다. 도 18은 본 실시예의 제5 변형예에 따른 촬상 장치(1f)를 케이스(10f)의 상면 측에서 바라본 경우의 예를 도시한 것이다. 도 18에 도시된 바와 같이, 본 실시예의 제5 변형예는 본 실시예의 제4 변형예에 기재된 육각 기둥으로 구성된 케이스(10e)의 육각 기둥의 상면 및 하면에 촬상기(Cam6, Cam7)가 추가된 예이며, 따라서 제5 변형예는 8 개의 촬상기(Cam0 내지 Cam7)를 사용한다. 도 18에서 촬상기(Cam7)는 도면의 케이스(10f)의 뒷면 측(하면)에 배치되고, 도 18에서는 단지 참조 부호를 도시한다.
또한 이 경우에 각각의 촬상기(Cam0 내지 Cam7)에 대해서는 하나의 촬상기의 광 축에 실질적으로 평행되는 광 축을 갖고 하나의 촬상기의 촬상 방향과 반대의 촬상 방향을 갖는 다른 촬상기가 배치된다. 따라서, 2 개의 촬상기가 3 차원 전방향으로 화상을 촬영할 수 있다. 8 개의 촬상기를 갖는 구성에서는 3 차원 방향으로 4 개의 촬상기(예를 들어, 촬상기 Cam0, Cam1, Cam2 및 Cam6)로 상이한 위치로부터 화상을 촬영할 수 있다.
또한, 촬상 장치의 구조는 촬상기를 수용할 수 있는 한, 하나의 케이스에 배치되는 촬상기의 수가 10, 12, ...와 같은 짝수만큼 증가될 수 있다 . 예를 들어, 정 20면체의 각 면에는 전체 화각이 180° 이상인 어안 렌즈를 갖는 촬상기가 배치될 수 있다.
실시예의 제 6 변형
제1 실시예에서는 촬상기(Cam0 내지 Cam3) 각각이 180° 이상의 전체 화각으로 화상을 촬영할 수 있다고 설명하였지만, 각 촬상기의 화각은 이 예에 제한되지 않는다. 예를 들어, 4 개의 촬상기(Cam0 내지 Cam3) 중 2 개는 각각 전체 화각이 200° 일 수 있고, 다른 2 개의 촬상기는 각각 전체 화각이 160° 일 수 있다. 이 조합에 의해 반대면에 동일한 화각을 갖는 촬상기를 배치함으로써, 에지를 공유하는 2 개의 면 상에 배치된 촬상기의 촬상 범위가 서로 중첩될 수 있어, 제1 실시예와 유사하게 전방향 거리 측정을 수행할 수 있다.
또한, 본 개시 내용에서 구형 화상은 수평 방향으로 360°의 풀 뷰 구형 화상일 필요는 없다. 예를 들어, 구형 화상은 수평 방향으로 180° 내지 360° 미만의 각도를 갖는 광각 뷰 화상이어도 된다.
상기 교시에 비추어 수많은 추가 수정 및 변형이 가능하다. 그러므로, 상기 교시의 범위 내에서 본 개시 내용은 본 명세서에서 구체적으로 설명 된 것과 다르게 실시될 수 있음을 이해해야 한다. 이와 같이 일부 실시예들을 설명하였지만, 이들은 수많은 방식으로 변경될 수 있음은 명백할 것이다. 이러한 변형은 본 개시 내용 및 첨부된 청구 범위의 범주로부터 벗어난 것으로 간주되지 않으며, 이러한 모든 변형은 본 개시 내용 및 첨부된 청구 범위의 범위 내에 포함되는 것으로 의도되어 있다.
본 특허 출원은 일본 특허 출원 번호 2018-050207을 기초로 우선권을 주장하며, 그 전체 내용은 본 명세서에 참조로서 통합되어 있다.
1a, 1b, 1c, 1d, 1e, 1f 촬상 장치
10a, 10b, 10c, 10d, 10e, 10f 케이스
200, 201, 202, 203 촬상 범위
210, 212 촬상 소자
220, 222 어안 화상
230, 232 반구형 화상
240 어안 렌즈
250 거리 측정 화상
100 화상 취득부
102 반구형 화상 처리부
103 구형 화상 처리부
240L, 240R 거리 측정 기준 화상
Area0-1, Area1-2, Area2-3, Area3-0 거리 측정 영역
Cam0, Cam1, Cam2, Cam3, Cam4, Cam5, Cam6, Cam7 촬상기

Claims (11)

  1. 렌즈(240)를 통해 입사되는 광을 수신하도록 구성된 촬상 소자(210, 212)를 포함하는 적어도 하나의 촬상기(Cam0, Cam1, Cam2, Cam3, Cam4, Cam5, Cam6, Cam7); 및
    적어도 4 개의 상기 촬상기가 배치되는 케이스(10a, 10b, 10c, 10d, 10e, 10f)를 구비하고,
    상기 케이스는 각 촬상기 및 다른 하나의 촬상기가 실질적으로 서로 평행한 광 축을 갖고 광 축 상의 광 입사 방향이 서로 반대 방향이며 각 촬상기가 다른 촬상기들의 촬상 가능 범위 밖에 위치되도록 구성되는 것을 특징으로 하는 촬상 장치(1a, 1b, 1c, 1d, 1e, 1f).
  2. 제 1 항에 있어서,
    6 개 이상의 상기 촬상기가 상기 케이스에 배치되는 것을 특징으로 하는 촬상 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 케이스는 6 개의 사각형 면으로 구성된 입체이고, 상기 6 개의 면 중 4 개 이상의 면 각각에 상기 촬상기가 배치되는 것을 특징으로 하는 촬상 장치.
  4. 제 3 항에 있어서,
    상기 입체가 직육면체인 것을 특징으로 하는 촬상 장치.
  5. 제 3 항 또는 제 4 항에 있어서,
    상기 입체가 입방체인 것을 특징으로 하는 촬상 장치.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 렌즈는 화각이 180° 이상인 것을 특징으로 하는 촬상 장치.
  7. 화상 처리 장치에 있어서,
    렌즈(240)를 통해 입사되는 광을 수신하도록 구성된 촬상 소자(210, 212)를 포함하는 적어도 4 개의 촬상기(Cam0, Cam1, Cam2, Cam3, Cam4, Cam5, Cam6, Cam7)의 각 촬상기 및 다른 하나의 촬상기가 실질적으로 서로 평행한 광 축을 갖고 광 축 상의 광 입사 방향이 서로 반대 방향이며 상기 각 촬상기가 다른 촬상기들의 촬상 가능 범위 밖에 위치되도록 케이스(10a, 10b, 10c, 10d, 10e, 10f)에 배치되는 상기 촬상기 각각에 의해 촬영된 촬영 화상을 취득하도록 구성되는 취득부(100)와,
    상기 케이스에 배치된 모든 촬상기로부터 취득된 상기 촬영 화상에 기초하여 3차원 포인트 그룹 정보에 의해 구현되는 구형 거리 화상을 생성하도록 구성된 화상 처리부(103)를 구비하는 것을 특징으로 하는 화상 처리 장치.
  8. 제 7 항에 있어서,
    상기 화상 처리부는 상기 케이스에 배치된 모든 촬상기로부터 취득된 상기 촬영 화상에 기초하여 각 화소가 적어도 하나의 휘도 정보에 의해 표현되는 구형 화상을 생성하는 것을 특징으로 하는 화상 처리 장치.
  9. 제 8 항에 있어서,
    상기 화상 처리부는 상기 케이스의 변을 공유하는 2 개의 면에 배치된 2 개의 촬상기로부터 취득된 촬영 화상 세트와, 상기 케이스에 배치된 실질적으로 서로 평행한 광 축을 갖고 광 축 상의 광 입사 방향이 서로 반대 방향인 상기 2 개의 촬상기로부터 취득된 촬영 화상 세트를 조합하여 3차원 전방향으로 구형 거리 화상 및 구형 화상을 생성하는 것을 특징으로 하는 화상 처리 장치.
  10. 제 7 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 취득부는 180° 이상의 화각을 갖는 렌즈를 통해 입사되는 광을 수신하도록 구성된 촬상 소자를 각각 포함하는 상기 촬상기 각각으로부터 촬영 화상을 취득하는 것을 특징으로 하는 화상 처리 장치.
  11. 화상 처리 방법에 있어서,
    전체 화각이 180° 이상인 렌즈(240)와, 상기 렌즈를 통해 입사되는 광을 수신하는 촬상 소자(210, 212)를 포함하는 적어도 4 개의 촬상기(Cam0, Cam1, Cam2, Cam3, Cam4, Cam5, Cam6, Cam7)의 각각의 촬상기와 다른 하나의 촬상기가 실질적으로 서로 평행한 광 축을 갖고 광 축 상의 광 입사 방향이 서로 반대 방향이며 각 촬상기가 다른 촬상기들의 촬상 가능 범위 밖에 위치되도록 케이스(10a, 10b, 10c, 10d, 10e, 10f)에 배치되는 상기 촬상기 각각에 의해 촬영된 촬영 화상을 취득하는 단계(S10)와,
    상기 케이스에 배치된 모든 촬상기로부터 취득된 상기 촬영 화상에 기초하여 3 차원 포인트 그룹 정보에 의해 표현되는 구형 거리 화상을 생성하는 단계(S14)를 포함하는 것을 특징으로 하는 화상 처리 방법.
KR1020207027629A 2018-03-16 2019-03-06 촬상 장치, 화상 처리 장치 및 화상 처리 방법 KR20200124271A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018050207A JP7098980B2 (ja) 2018-03-16 2018-03-16 撮像装置、画像処理装置および画像処理方法
JPJP-P-2018-050207 2018-03-16
PCT/JP2019/008892 WO2019176690A2 (en) 2018-03-16 2019-03-06 Imaging device, image processing apparatus, and image processing method

Publications (1)

Publication Number Publication Date
KR20200124271A true KR20200124271A (ko) 2020-11-02

Family

ID=65952022

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207027629A KR20200124271A (ko) 2018-03-16 2019-03-06 촬상 장치, 화상 처리 장치 및 화상 처리 방법

Country Status (7)

Country Link
US (1) US11281087B2 (ko)
EP (1) EP3765815B1 (ko)
JP (1) JP7098980B2 (ko)
KR (1) KR20200124271A (ko)
CN (1) CN111868475A (ko)
CA (1) CA3093642A1 (ko)
WO (1) WO2019176690A2 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101408661B1 (ko) * 2012-08-29 2014-06-19 충남대학교산학협력단 진공증류법을 이용한 고순도 텔루륨 분말 제조 장치 및 상기 고순도 텔루륨 분말의 입도 제어 방법
JP7025539B2 (ja) * 2018-05-30 2022-02-24 マクセル株式会社 カメラ装置
EP3719529A1 (en) 2019-03-20 2020-10-07 Ricoh Company, Ltd. Range finding device and range finding method
US11668861B2 (en) * 2019-07-04 2023-06-06 Aspeed Technology Inc. Polyhedron lens architecture and lens scanning method suitable for the polyhedron lens architecture
JP2023002982A (ja) 2021-06-23 2023-01-11 株式会社リコー 測距装置および測距システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5011528B1 (ko) 1968-02-13 1975-05-02
JP3827912B2 (ja) 2000-03-31 2006-09-27 山本 和彦 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
JP5483027B2 (ja) 2011-02-04 2014-05-07 国際航業株式会社 ３次元画像計測方法、及び３次元画像計測装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5011528B2 (ja) 2006-10-06 2012-08-29 国立大学法人岩手大学 ３次元距離計測センサおよび３次元距離計測方法
KR100944389B1 (ko) 2008-05-14 2010-03-03 (주)파노시스 원샷 파노라마 ｖｒ 촬영장치
EP2353044B1 (en) 2008-10-02 2019-12-04 Yepp Australia Pty Ltd Imaging system
CN101588478B (zh) 2009-04-21 2011-02-02 南京视威电子科技股份有限公司 一体化的360度视场角全景视频监控装置
JP5787577B2 (ja) 2011-04-04 2015-09-30 株式会社トプコン 全周カメラ及びレンズフード
JP5724755B2 (ja) 2011-08-26 2015-05-27 株式会社リコー 撮像システム
WO2013054446A1 (ja) * 2011-10-14 2013-04-18 株式会社モルフォ 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP5828038B2 (ja) 2012-06-11 2015-12-02 株式会社ソニー・コンピュータエンタテインメント 画像撮像装置および画像撮像方法
JP6019970B2 (ja) 2012-09-11 2016-11-02 株式会社リコー 全天球型の撮像システムおよび撮像光学系
JP6065474B2 (ja) 2012-09-11 2017-01-25 株式会社リコー 撮像制御装置、撮像制御方法およびプログラム
CN202872936U (zh) * 2012-10-08 2013-04-10 长沙尼采网络科技有限公司 基于正多面体的360度无盲区全景视频拍摄设备
US9413930B2 (en) 2013-03-14 2016-08-09 Joergen Geerds Camera system
JP6434209B2 (ja) * 2013-12-20 2018-12-05 株式会社リコー 画像生成装置、画像生成方法、およびプログラム
US9903950B2 (en) 2014-08-27 2018-02-27 Leica Geosystems Ag Multi-camera laser scanner
US20170363949A1 (en) 2015-05-27 2017-12-21 Google Inc Multi-tier camera rig for stereoscopic image capture
KR102458339B1 (ko) * 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
JP6151809B2 (ja) 2016-02-02 2017-06-21 株式会社ソニー・インタラクティブエンタテインメント 画像撮像装置および画像撮像方法
US10313686B2 (en) * 2016-09-20 2019-06-04 Gopro, Inc. Apparatus and methods for compressing video content using adaptive projection selection
JP6461061B2 (ja) 2016-09-22 2019-01-30 株式会社ヨコオ アンテナ装置
US9826152B1 (en) * 2016-10-07 2017-11-21 Sphericam Inc. Single-unit 360-degree camera with a multifunctional lumen
CN106872959A (zh) * 2017-01-03 2017-06-20 黄旭华 正多面体激光雷达结构及其安装方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5011528B1 (ko) 1968-02-13 1975-05-02
JP3827912B2 (ja) 2000-03-31 2006-09-27 山本 和彦 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
JP5483027B2 (ja) 2011-02-04 2014-05-07 国際航業株式会社 ３次元画像計測方法、及び３次元画像計測装置

Also Published As

Publication number Publication date
EP3765815B1 (en) 2023-05-03
CN111868475A (zh) 2020-10-30
JP7098980B2 (ja) 2022-07-12
WO2019176690A3 (en) 2019-10-31
US11281087B2 (en) 2022-03-22
CA3093642A1 (en) 2019-09-19
US20210041780A1 (en) 2021-02-11
WO2019176690A2 (en) 2019-09-19
JP2019159284A (ja) 2019-09-19
EP3765815A2 (en) 2021-01-20

Similar Documents

Publication Publication Date Title
KR20200124271A (ko) 촬상 장치, 화상 처리 장치 및 화상 처리 방법
KR101888470B1 (ko) 촬상 시스템, 촬상 장치, 컴퓨터 프로그램 및 시스템
JP4825980B2 (ja) 魚眼カメラの校正方法。
JP4825971B2 (ja) 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
JP2013214947A (ja) 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP7218435B2 (ja) キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法
KR20200122323A (ko) 멀티 센서를 사용하여 옴니 스테레오 비디오를 캡처하는 시스템 및 방법
US20210377432A1 (en) Information processing apparatus, information processing method, program, and interchangeable lens
WO2014171418A1 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
KR20120048242A (ko) 3차원 카메라
JP2010276433A (ja) 撮像装置、画像処理装置及び距離計測装置
JP6724659B2 (ja) 撮影装置、方法およびプログラム
CN108805921A (zh) 图像获取系统及方法
JP2000112019A (ja) 電子３眼カメラ装置
WO2018079283A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
KR102019879B1 (ko) 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
JP2000222116A (ja) 表示画像の位置認識方法とその位置認識装置および仮想画像立体合成装置
JP2005275789A (ja) 三次元構造抽出方法
JP2022106868A (ja) 撮像装置および撮像装置の制御方法
WO2012014695A1 (ja) 立体撮像装置およびその撮像方法
JP2013150071A (ja) 符号化装置、符号化方法、プログラム及び記憶媒体
JP2011182003A (ja) パノラマカメラ及び３６０度パノラマ立体映像システム
JP2007295028A (ja) ステレオ画像撮像装置
US9307133B1 (en) System and method of imaging for increasing image resolution

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application