KR20120036908A - 스테레오 화상 촬영장치 및 그 방법 - Google Patents

스테레오 화상 촬영장치 및 그 방법 Download PDF

Info

Publication number
KR20120036908A
KR20120036908A KR1020117031677A KR20117031677A KR20120036908A KR 20120036908 A KR20120036908 A KR 20120036908A KR 1020117031677 A KR1020117031677 A KR 1020117031677A KR 20117031677 A KR20117031677 A KR 20117031677A KR 20120036908 A KR20120036908 A KR 20120036908A
Authority
KR
South Korea
Prior art keywords
image
previous
live
area
unit
Prior art date
Application number
KR1020117031677A
Other languages
English (en)
Inventor
노부오 고치
사토루 니이무라
Original Assignee
가부시키가이샤 토프콘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 토프콘 filed Critical 가부시키가이샤 토프콘
Publication of KR20120036908A publication Critical patent/KR20120036908A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

전번 촬영화상과 이번 촬영화상과의 중복영역을 적절히 정할 수 있는 스테레오 화상 촬영장치를 제공한다. 본 발명에 의한 스테레오 화상 촬영장치(1)는, 측정 대상물(2)을 단일 카메라에 의해 중복시키면서 순차적으로 촬영하는 스테레오 화상 촬영장치(1)에 있어서, 카메라의 위치 이동에 따라서 측정 대상물(2)의 라이브 화상(25)을 수시로 취득하고, 적시에 측정 대상물(2)을 촬영하여 정지화상인 촬영화상을 취득하는 촬영부(3)와, 촬영부(3)에서 전번에 촬영된 촬영화상인 전번 촬영화상(21)에, 라이브 화상(25)과의 중복영역(23)을 설정하는 중복영역 설정부(6)와, 전번 촬영화상(21)과 라이브 화상(25)을 중복영역 설정부(6)에서 설정된 중복영역(23)에서 겹치게 표시하고, 전번 촬영화상(21)을 중복영역(23)으로부터 촬영부(3)의 이동방향과 반대측으로 연장해서 표시하며, 라이브 화상(25)을 중복영역(23)으로부터 촬영부(3)의 이동방향과 동일한 측으로 연장해서 표시하는 표시부(4)를 구비한다.

Description

스테레오 화상 촬영장치 및 그 방법{STEREO IMAGE PHOTOGRAPHING DEVICE AND METHOD THEREFOR}
본 발명은 스테레오 화상 촬영장치 및 그 방법에 관한 것이다. 상세하게는, 전번 촬영화상과 이번 촬영화상과의 중복영역을 적절히 정할 수 있는 스테레오 화상 촬영장치 및 그 방법에 관한 것이다.
측정 대상물의 전체상을 파악하고, 삼차원 모델 화상으로 재현하기에는, 복수의 촬영 위치로부터 촬영한 촬영화상을 연결해 갈 필요가 있다. 이와 같이 촬영자가 이동하면서 촬영한 복수의 촬영화상으로부터 촬영장치 또는 대상물의 삼차원 좌표를 측정하기에는, 2매 이상의 각 촬영화상 상에서 서로 대응하는 특징점(대상물 상의 동일점을 나타낸다)을 구하고, 이것을 추적할 필요가 있다. 이 경우, 삼차원 계측에 부적절한 특징점이 촬영화상에 혼입될 수 있으므로, 촬영화상에 있어서의 특징점의 적합 여부를 판정하면서, 그 촬영장치의 촬영 위치, 자세 또는 대상물의 위치좌표를 정밀도 좋게 계측할 수 있는 화상 처리 장치가 제안되고 있다.(특허문헌 1 참조)
일본 공개특허공보 2007-183256호 (도 1?도 11, 단락 0021?0065)
단일 카메라를 사용하여 이동하면서 촬영을 행하고, 측정 대상물의 삼차원 계측을 행하는 경우나 측정 대상물의 주위 360도에 걸쳐서 촬영화상을 연결한 전체 주위 화상을 작성하는 경우에, 다수의 방향으로부터 또한 화상을 중복시키면서 촬영을 행하고, 화상을 연속적으로 접속해 갈 필요가 있다. 그러나, 촬영화상간의 중복의 정도를 적게 하면, 삼차원 계측이나 전체 주위 화상의 작성에 필요한 화상의 중복 상태가 불명확하게 되거나, 촬영한 것을 버리는 일이 생기거나 하는 등에 의해, 효율이 나빠진다고 하는 문제가 있었다. 반면에, 촬영화상간의 중복의 정도를 많이 하면, 화상 처리나 작업의 수고가 많아지고, 역시 결과적으로 효율이 나빠진다고 하는 문제가 있었다. 이 때문에, 단일 카메라를 사용하여 이동하면서 촬영을 행하는 경우에, 전번에 촬영된 촬영화상인 전번 촬영화상과 이번에 촬영될 예정의 촬영화상인 이번 촬영화상과의 중복영역을 적절히 정할 수 있는 스테레오 화상 촬영장치 및 그 방법이 요구되고 있었다.
본 발명은, 상기 문제점에 감안하여 이루어진 것으로, 단일 카메라를 사용하여 이동하면서 촬영을 행하는 경우에, 전번 촬영화상과 이번 촬영화상과의 중복영역을 적절히 정할 수 있는 스테레오 화상 촬영장치 및 그 방법을 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위해서, 본 발명의 제 1의 양태의 스테레오 화상 촬영장치(1)는, 예를 들면 도 1(화상에 대해서는 도 2 참조)에 도시하는 바와 같이, 측정 대상물(2)을 단일 카메라에 의해 중복시키면서 순차적으로 촬영하는 스테레오 화상 촬영장치(1)에 있어서, 카메라의 위치 이동에 따라 측정 대상물(2)의 라이브 화상(25)을 수시로 취득하고, 적시에 측정 대상물(2)을 촬영하여 정지화상인 촬영화상을 취득하는 촬영부(3)와, 촬영부(3)에서 전번에 촬영된 촬영화상인 전번 촬영화상(21)에, 라이브 화상(25)과의 중복영역(23)을 설정하는 중복영역 설정부(6)와, 전번 촬영화상(21)과 라이브 화상(25)을 중복영역 설정부(6)에서 설정된 중복영역(23)에서 겹치게 표시하고, 전번 촬영화상(21)을 중복영역(23)으로부터 촬영부(3)의 이동방향과 반대측으로 연장해서 표시하고, 라이브 화상(25)을 중복영역(23)으로부터 촬영부(3)의 이동방향과 동일한 측으로 연장해서 표시하는 표시부(4)를 구비한다.
여기에 있어서, 스테레오 화상 촬영장치란, 통상은 1쌍의 카메라를 구비하여 측정 대상물을 중복 촬영하는 촬영장치를 말하지만, 본 발명에서는, 이동하면서 단일 카메라로 촬영하기 때문에, 측정 대상물을 중복시키면서 순차적으로 촬영해가는 촬영장치를 말하는 것으로 한다. 또, 라이브 화상(25)이란, 비디오 카메라나 디지털 카메라 등 연속적으로 화상을 취득하고 표시할 수 있는 카메라를 사용하여, 현재 위치에서 취득되는 화상을 말하며, 카메라의 이동에 따라 동적으로 변화한다. 전형적으로, 라이브 화상(25)은 템퍼러리 메모리에 덧쓰기 되어, 표시부(4)에 전송된다. 또, 라이브 화상(25)은 적당한 프레임 간격 또는 시간 간격으로 샘플링되고, 메모리에 소정 기간(일시적으로) 보존되어, 화상 처리하는 경우에 사용된다. 또, 셔터 조작에 의해 현재 위치에서의 라이브 화상(25)이 이번에 촬영할 예정의 촬영화상인 이번 촬영화상(22)으로서 취득된다. 따라서, 표시부(4)의 표시 에어리어(26)에 있어서, 라이브 화상(25)에서의 중복영역(라이브 화상 중복영역(25a))의 화상이, 전번 촬영화상(21)에서의 중복영역(23)의 화상과 대략 일치했을 때에 촬영을 행하면, 예정된 이번 촬영화상(22)을 얻을 수 있다. 또, 중복영역(23)의 설정은, 전번 촬영화상(21)에 대해서 중복비율과 중복방향이 설정된다. 중복비율은, 예를 들면 %로 설정되고, 임의의 값으로 설정할 수 있다. 중복방향은, 전형적으로는, 좌측, 우측, 상측, 하측의 어느 하나로 설정된다. 좌상측, 좌하측, 우상측, 우하측으로 설정해도 좋지만, 이 경우, 중복비율은 좌우 방향의 비율과 상하 방향의 비율이 설정된다. 또, 중복은 전형적으로는 반투명 화상을 서로 겹치게 하지만, 반투명 화상의 투명도(농도)를 임의로 선택할 수 있다. 예를 들면 3 화상을 중복시키는 경우에는, 농도를 옅게 설정하면, 3 화상의 중복 부분이 짙어져서, 구별하기 쉽게 된다. 또, 예를 들면 촬영부(3)의 이동방향이 우측이면, 전번 촬영화상(21)을 중복영역(23)으로부터 촬영부(3)의 이동방향과 반대측으로 연장해서 표시한다는 것은, 전번 촬영화상(21)을 중복영역(23) 및 그 좌측에 표시하는 것을 의미하고, 라이브 화상(25)을 중복영역(23)으로부터 촬영부(3)의 이동방향과 동일한 측으로 연장해서 표시한다는 것은, 라이브 화상(25)을 중복영역(23) 및 그 우측에 표시하는 것을 의미한다. 또, 대략 일치한다는 것은, 완전하게 일치하지 않아도 마진 내에서 일치하면 좋다는 의미이다. 중복영역을 마진을 갖도록 설정하면, 마진 내에서 일치하면 문제가 없기 때문이다. 예를 들면, 삼차원 계측용에는 중복비율을 50%보다 약간 많게(50%强) 설정하면 좋기 때문에, 중복비율을 60%로 설정하면, ±5%의 어긋남은 문제가 없고, ±10%보다 약간 적게(±10%弱)까지 허용할 수 있다. 그리고, 마진 내에서 어긋남이 생겨도, 다음의 촬영에서 의도적으로 역방향으로 비켜서 촬영하는 것에 의해 충분히 만회할 수 있다. 물론, 가능한 한 일치시키는 것이 화상 처리의 균일성을 유지하는데 있어서 바람직하고, 예를 들면 ±3% 이내로 하는 것이 바람직하다.
본 양태와 같이 구성하면, 표시부(4)의 표시 에어리어(26)에, 라이브 화상(25)을 전번 촬영화상(21)의 중복영역(23)에 겹치게 표시할 수 있고, 카메라가 이번 촬영화상(22)을 촬영하는데에 적절한 촬영 위치에 있는지에 대한 여부를 시각적으로 판정할 수 있다. 이것에 의해, 단일 카메라를 사용하여 이동하면서 촬영을 행하는 경우에, 전번 촬영화상(21)과 이번 촬영화상(22)과의 중복영역(23)을 적절히 정할 수 있는 스테레오 화상 촬영장치(1)를 제공할 수 있다.
또, 본 발명의 제 2 양태의 스테레오 화상 촬영장치(1)는, 제 1 양태에 있어서, 예를 들면 도 2에 도시하는 바와 같이, 표시부(4)는, 촬영화상 및 라이브 화상(25)에 틀을 붙여서 표시한다.
여기에 있어서, 촬영화상에는, 전번 촬영화상(21)의 외에, 전전번 촬영화상, 첫회 촬영화상 등이 포함된다. 본 양태와 같이 구성하면, 촬영화상 및 라이브 화상(25)의 범위를 명확하게 표시할 수 있다.
또, 본 발명의 제 3 양태의 스테레오 화상 촬영장치(1)는, 제 1 또는 제 2 양태에 있어서, 중복영역 설정부(6)는, 중복영역(23)을 전번 촬영화상(21)의 50 내지 70%로 설정한다.
여기에 있어서, 중복비율은, 파노라마 화상, 전체 주위 화상과 같은 연속 화상을 작성하는 경우에는, 예를 들면 10% 이상이 바람직하지만, 측정 대상물(2)의 삼차원 형상을 측정하기에는, 예를 들면 50?70%가 바람직하고, 55?65%가 보다 바람직하다. 또, 상황에 따라서 임의의 값으로 설정할 수 있다. 본 양태와 같이 구성하면, 측정 대상물의 모든 촬영 영역을 중복 촬영할 수 있으며, 측정 대상물(2)의 삼차원 형상의 측정이 가능하게 된다.
또, 본 발명의 제 4 양태의 스테레오 화상 촬영장치(1)는, 제 1 내지 제 3의 어느 하나의 양태에 있어서, 예를 들면 도 1에 도시하는 바와 같이, 전번 촬영화상(21) 및 라이브 화상(25)에서의 측정 대상물(2)의 특징점을 추출하는 특징점 추출부(7)와, 특징점 추출부(7)에서 추출된 특징점의 전번 촬영화상(21)과 라이브 화상(25)에서의 화면 위치로부터, 촬영부(3)의 이동방향을 구하는 카메라 이동방향 판정부(8)를 구비하고, 중복영역 설정부(6)는, 카메라 이동방향 판정부(8)에서 판정된 이동방향과 동일한 측으로, 전번 촬영화상(21)에 중복영역(23)을 설정한다.
이와 같이 구성하면, 센서 등의 장비를 추가하지 않아도, 중복영역의 방향을 정확하게 설정할 수 있다.
또, 본 발명의 제 5 양태의 스테레오 화상 촬영장치(1B)는, 제 1 내지 제 3의 어느 하나의 양태에 있어서, 예를 들면 도 19에 도시하는 바와 같이, GPS 또는 관성 센서를 가지며, 촬영부(3)의 이동방향을 검출하는 이동방향 검출부(15)를 구비하며, 중복영역 설정부(6)는 이동방향 검출부(15)에서 검출된 이동방향과 동일한 측으로, 전번 촬영화상(21)에 중복영역(23)을 설정한다.
이와 같이 구성하면, GPS 또는 관성 센서를 이용하여, 중복영역의 방향을 신속하고 또한 정확하게 설정할 수 있다.
또, 본 발명의 제 6 양태의 스테레오 화상 촬영장치(1C)는, 제 1 내지 제 3의 어느 하나의 양태에 있어서, 예를 들면 도 21에 도시하는 바와 같이, 촬영부(3)의 이동방향을 미리 입력할 수 있으며, 중복영역 설정부(6)는 입력된 이동방향과 동일한 측으로, 전번 촬영화상(21)에 중복영역(23)을 설정한다.
이와 같이 구성하면, 상황에 따라서 촬영자의 판단에 의해 중복영역을 임기응변으로 설정할 수 있다.
또, 본 발명의 제 7 양태의 스테레오 화상 촬영장치(1A)는, 제 1 내지 제 6의 어느 하나의 양태에 있어서, 예를 들면 도 10에 도시하는 바와 같이, 전번 촬영화상(21) 및 라이브 화상(25)에서의 측정 대상물(2)의 특징점을 추출하는 특징점 추출부(7)와, 특징점 추출부(7)에 의해 추출된 특징점을 이용하여 촬영부(3)의 카메라의 위치와 기울기를 구하는 표정부(標定部)(12)와, 표정부(12)에서 구해진 카메라의 위치와 기울기를 이용하여, 전번 촬영화상(21) 및 라이브 화상(25)에 편위(偏位) 수정 처리를 실시하고, 편위 수정 화상을 형성하는 편위 수정 화상 형성부(13)를 구비하고, 표시부(4)는, 편위 수정 화상 형성부(13)에서 형성된 편위 수정 화상을 표시한다.
여기에 있어서, 편위 수정 처리란, 표정(標定)에서 구해진 카메라의 촬영 위치와 기울기를 이용하여, 측정 대상물(2)에 대해서 촬영화상을 스테레오법의 기하학이 성립하도록, 피사체에 대해서 평행으로 또한 에피폴라 라인(epipolar line)이 좌우의 수평 라인상에 일치하도록 화상을 수정하는 처리이다(도 12 참조). 따라서 좌우 화상의 배율이나 기울기 등의 일그러짐이 보정되고, 배율이나 높이의 위치가 동일하게 된다. 본 양태와 같이 구성하면, 편위 수정 화상을 작성하는 것에 의해, 입체로 볼 때 가능한 형태로 전번 촬영화상(21)과 라이브 화상(25)을 겹치게 표시할 수 있고, 중복한 경우에 거의 일치한 화상을 얻을 수 있다.
또, 본 발명의 제 8 양태의 스테레오 화상 촬영장치(1)는, 제 1 내지 제 7의 어느 하나의 양태에 있어서, 예를 들면 도 8에 도시하는 바와 같이, 중복영역 설정부(6)가 전전번에 촬영된 촬영화상인 전전번 촬영화상(27)에 설정한 중복영역을 전전번 화상 중복영역(27a), 전번 촬영화상(21)에 설정한 중복영역을 전번 화상 중복영역(21a)으로 하고, 표시부(4)는, 전전번 촬영화상(27)과 전번 촬영화상(21)을 전전번 화상 중복영역(27a)에서 겹치게 표시하고, 전전번 촬영화상(27)을 전전번 화상 중복영역(27a)으로부터 촬영부(3)의 이동방향과 반대측으로 연장해서 표시하며, 전번 촬영화상(21)을 전전번 화상 중복영역(27a)으로부터 촬영부(3)의 이동방향과 동일한 측으로 연장해서 표시하고, 전번 촬영화상(21)과 라이브 화상(25)을 전번 화상 중복영역(21a)에서 겹치게 표시하며, 전번 촬영화상(21)을 전번 화상 중복영역(21a)으로부터 촬영부(3)의 이동방향과 반대측으로 연장해서 표시하고, 라이브 화상(25)을 전번 화상 중복영역(21a)으로부터 촬영부(3)의 이동방향과 동일한 측으로 연장해서 표시한다.
여기에 있어서, 전전번 화상 중복영역(27a)은, 전번 촬영시에, 중복영역 설정부(6)에 의해 전전번 촬영화상(27)에 이미 설정되어 있다. 또, 촬영부(3)의 이동방향은 전번 촬영화상(21)의 촬영 위치로부터 라이브 화상(25)의 촬영 위치로의 이동방향을 말하며, 전형적으로는 전번 촬영화상(21)과 전전번 촬영화상(27)의 촬영 위치로부터 전번 촬영화상(21)의 촬영 위치로의 이동방향과 일치한다. 일치하지 않을 때는 촬영자의 이동방향을 수정하고 나서 촬영하면 좋다. 또, 예를 들면 촬영부(3)의 이동방향이 우측이면, 전번 촬영화상(21)을 전번 화상 중복영역(21a)으로부터 촬영부(3)의 이동방향과 반대측으로 연장해서 표시한다는 것은, 전번 촬영화상(21)을 전번 화상 중복영역(21a) 및 그 좌측에 표시하는 것을 의미하고, 라이브 화상(25)을 전번 화상 중복영역(21a)으로부터 촬영부(3)의 이동방향과 동일한 측으로 연장해서 표시한다는 것은, 라이브 화상(25)을 전번 화상 중복영역(21a) 및 그 우측에 표시하는 것을 의미한다. 본 양태와 같이 구성하면, 전전번 촬영화상(27), 전번 촬영화상(21) 및 라이브 화상(25)을 표시 에어리어(26)에 겹치게 표시할 수 있으며, 삼중으로 중복된 타이 영역(29)을 확인할 수 있다. 또, 대략 겹치도록이라 함은, 완전하게 일치하지 않아도 마진 내에서 일치하면 좋다는 의미이다. 예를 들면, 전전번 화상 중복영역(27a)에 대해서 라이브 화상(25)과 중복하기 위한 마진을 갖도록 설정하면, 마진 내에서 일치하면 문제가 없기 때문이다. 예를 들면, 삼차원 계측용에는 중복영역이 있으면 좋기 때문에, 중복비율을 20%로 설정하면, ±5%의 어긋남은 문제가 없고, ±20% 미만까지 허용할 수 있다. 그리고, 마진 내에서 어긋남이 생겨도, 다음의 촬영에서 의도적으로 역방향으로 비켜서 촬영하는 것에 의해 충분히 만회할 수 있다. 물론, 가능한 한 일치시키는 것이 화상 처리의 균일성을 유지하는데 있어서 바람직하고, 예를 들면 ±3% 이내로 하는 것이 바람직하다.
또, 본 발명의 제 9 양태의 스테레오 화상 촬영장치(1)는, 제 8의 양태에 있어서, 예를 들면 도 8에 도시하는 바와 같이, 중복영역 설정부(6)는, 전전번 화상 중복영역(27a)과 전번 화상 중복영역(21a)이 적어도 일부에서 중복하도록 전전번 화상 중복영역(27a)과 전번 화상 중복영역(21a)을 설정한다.
이와 같이 구성하면, 이것에 의해서, 측정 대상물(2)의 모든 촬영 영역을 중복 촬영할 수 있으며, 측정 대상물(2)의 삼차원 형상의 측정이 가능하게 된다.
또, 본 발명의 제 10 양태의 스테레오 화상 촬영장치(1A)는, 제 1 내지 제 9의 어느 하나의 양태에 있어서, 예를 들면 도 10 및 도 16에 도시하는 바와 같이, 전번 촬영화상(21) 및 라이브 화상(25)에 있어서의 측정 대상물(2)의 특징점을 추출하는 특징점 추출부(7)와, 특징점 추출부(7)가, 라이브 화상(25)으로부터 추출한 측정 대상물(2)의 특징점과 첫회에 촬영된 촬영화상인 첫회 촬영화상(28)으로부터 추출한 측정 대상물(2)의 특징점과의 스테레오 매칭을 행하는 대응점 탐색부(8a)를 구비하고, 스테레오 매칭에 의해, 라이브 화상(25)과 첫회 촬영화상(28)의 사이에 중복영역이 발견되었을 경우에, 중복영역 설정부(6)는, 중복영역을 첫회 촬영화상(28)에 일주(一周) 화상 중복영역(28c)으로서 설정하고, 표시부(4)는, 첫회 촬영화상(28)과 라이브 화상(25)을 일주 화상 중복영역(28c)에서 겹치게 표시한다.
이와 같이 구성하면, 첫회 촬영화상(28)이 표시되었을 경우에, 이번 또는 다음번의 촬영에 있어서, 촬영이 일순(一巡)하는 것을 알 수 있다.
또, 본 발명의 제 11 양태의 스테레오 화상 촬영장치(1A)는, 제 1 내지 제 9의 어느 하나의 양태에 있어서, 예를 들면 도 10 및 도 16에 도시하는 바와 같이, 전번 촬영화상(21) 및 라이브 화상(25)에서의 측정 대상물(2)의 특징점을 추출하는 특징점 추출부(7)와, 특징점 추출부(7)에 의해 추출된 라이브 화상(25) 및 첫회에 촬영된 촬영화상인 첫회 촬영화상(28)에서의 측정 대상물(2)의 특징점의 화면 위치로부터 각각의 촬영 위치의 삼차원 좌표를 구하는 삼차원 좌표 연산부(14)를 구비하고, 라이브 화상(25) 및 첫회 촬영화상(28)에서의 촬영 위치의 삼차원 좌표에 의해, 라이브 화상(25)과 첫회 촬영화상(28)의 사이에 중복영역이 발견된 경우에, 중복영역 설정부(6)는, 첫회 촬영화상(28)에 중복영역을 일주 화상 중복영역(28c)으로서 설정하고, 표시부(4)는, 첫회 촬영화상(28)과 라이브 화상(25)을 일주 화상 중복영역(28c)에서 겹치게 표시한다.
이와 같이 구성하면, 첫회 촬영화상(28)이 표시된 경우에, 이번 또는 다음번의 촬영에 있어서, 촬영이 일순하는 것을 알 수가 있다.
또, 본 발명의 제 12 양태의 스테레오 화상 촬영장치(1B)는, 제 5의 양태에 있어서, 예를 들면 도 19에 도시하는 바와 같이, GPS 또는 관성 센서에서 검출된 라이브 화상(25)과 첫회에 촬영된 촬영화상인 첫회 촬영화상(28)에서의 촬영 위치로부터, 라이브 화상(25)과 첫회 촬영화상(28)의 사이에 중복영역이 발견된 경우에, 중복영역 설정부(6)는, 첫회 촬영화상(28)에 중복영역을 일주 화상 중복영역(28c)으로서 설정하고, 표시부(4)는, 첫회 촬영화상(28)과 라이브 화상(25)을 일주 화상 중복영역(28c)에서 겹치게 표시한다.
여기에 있어서, 일주했다는 것은, 동일한 방향으로 이동해서 이번 촬영에 의해 예정된 모든 방향으로부터의 촬영이 완료하는 위치에 도달한 것을 의미한다. 예를 들면, 12방향으로부터의 촬영을 예정하고 있던 경우, 12번째의 촬영 위치에 도달한 것을 의미한다. 본 양태와 같이 구성하면, 첫회 촬영화상(28)이 표시된 경우에, 이번 또는 다음번의 촬영에 있어서, 촬영이 일순하는 것을 알 수가 있다.
또, 본 발명의 제 13 양태의 스테레오 화상 촬영장치(1C)는, 제 6의 양태에 있어서, 예를 들면 도 21에 도시하는 바와 같이, 촬영자가 일주했을 때에, 일주한 것을 입력할 수 있고, 촬영자가 일주한 것을 입력했을 경우에, 중복영역 설정부(6)는, 첫회에 촬영된 촬영화상인 첫회 촬영화상(28)에 일주 화상 중복영역(28c)을 설정하고, 표시부(4)는, 첫회 촬영화상(28)과 라이브 화상(25)을 일주 화상 중복영역(28c)에서 겹치게 표시한다.
이와 같이 구성하면, 첫회 촬영화상(28)이 표시되었을 경우에, 이번 또는 다음번의 촬영에 있어서, 촬영이 일순하는 것을 알 수가 있다.
또, 본 발명의 제 14 양태의 스테레오 화상 촬영장치(1A)는, 제 1 내지 제 9의 어느 하나의 양태에 있어서, 예를 들면 도 10 및 도 18에 도시하는 바와 같이, 전번 촬영화상(21) 및 라이브 화상(25)에서의 측정 대상물(2)의 특징점을 추출하는 특징점 추출부(7)와, 특징점 추출부(7)에 의해 추출된 특징점을 이용하여 촬영부(3)의 카메라의 위치와 기울기를 구하는 표정부(12)와, 표정부(12)에서 구해진 카메라의 위치와 기울기를 이용하여, 특징점의 삼차원 좌표를 구하는 삼차원 좌표 연산부(14)를 구비하고, 중복영역 설정부(6)는, 삼차원 좌표 연산부(14)에서 구해진 특징점의 삼차원 좌표를 이용하여, 전번 촬영화상(21)과 라이브 화상(25)과의 중복영역을, 전번 촬영화상(21)에 전번측 중복영역(21c)으로서, 라이브 화상(25)에 라이브측 중복영역(25c)으로서 설정하고, 표시부(4)는, 전번 촬영화상(21)과 라이브 화상(25)을, 전번측 중복영역(21c)과 라이브측 중복영역(25c)에서 측정 대상물(2)의 동일한 부분이 대략 겹치도록, 또한 양자 모두 틀을 붙여서 전체가 표시 에어리어(26)에 포함되도록 표시한다.
여기에 있어서, 예를 들면 전번측 중복영역(21c) 및 라이브측 중복영역(25c)은 중복하는 최외부의 특징점을 연결하고, 이것에 근사하는 사각형으로 표현해도 좋다. 본 양태와 같이 구성하면, 라이브측 중복영역(25c)에 있어서의 측정 대상물(2)의 화상을 보다 정확하게 표시할 수 있다. 또, 중복영역(23)과 라이브측 중복영역(25c)의 위치를 비교하는 것에 의해, 촬영해야하는 것인지에 대한 여부를 판단할 수 있다. 어긋남이 클 때에는 중복영역(23)에 라이브측 중복영역(25c)을 접근하도록 이동하고, 두 영역을 합쳐서 촬영하면 좋다. 또, 라이브측 중복영역(25c)의 위치에 따라서, 즉 촬영 방향에 따라서, 전번 촬영화상(21)과 라이브 화상(25) 및 이들의 틀의 위치가 변경되어 표시된다.
상기 과제를 해결하기 위해서, 본 발명의 제 15 양태의 스테레오 화상 촬영 방법은, 예를 들면 도 7에 도시하는 바와 같이, 측정 대상물(2)을 단일 카메라에 의해 중복시키면서 순차적으로 촬영하는 스테레오 화상 촬영 방법에 있어서, 적시에 측정 대상물(2)을 촬영하여 정지화상인 촬영화상을 취득하는 촬영 공정(S110)과, 카메라의 위치 이동에 따라 측정 대상물(2)의 라이브 화상을 수시로 취득하는 라이브 화상 취득공정(S140)과, 전번에 촬영된 촬영화상인 전번 촬영화상(21)에, 라이브 화상(25)과의 중복영역(23)을 설정하는 중복영역 설정공정(S130 및 S180)과, 전번 촬영화상(21)과 라이브 화상(25)을 중복영역 설정공정(S130 및 S180)에서 설정된 중복영역(23)에서 겹치게 표시하고, 전번 촬영화상(21)을 중복영역(23)으로부터 촬영부(3)의 이동방향과 반대측으로 연장해서 표시하며, 라이브 화상(25)을 중복영역(23)으로부터 촬영부(3)의 이동방향과 동일한 측으로 연장해서 표시하는 표시공정(S190)을 구비한다.
본 양태와 같이 구성하면, 표시부(4)의 표시 에어리어(26)에, 라이브 화상(25)을 전번 촬영화상(21)의 중복영역(23)에 겹치게 표시할 수 있으며, 카메라가 이번에 촬영할 예정 화상(22)을 촬영하는데에 적절한 촬영 위치에 있는지에 대한 여부를 시각적으로 판정할 수 있다. 이것에 의해, 단일 카메라를 사용하여 이동하면서 촬영을 행하는 경우에, 전번 촬영화상(21)과 이번 촬영화상(22)과의 중복영역(23)을 적절히 정할 수 있는 스테레오 화상 촬영 방법을 제공할 수 있다.
본 발명에 의하면, 단일 카메라를 사용하여 이동하면서 촬영을 행하는 경우에, 전번 촬영화상과 이번 촬영화상과의 중복영역을 적절히 정할 수 있는 스테레오 화상 촬영장치 및 그 방법을 제공할 수 있다.
도 1은, 실시예 1에 관한 스테레오 화상 촬영장치의 구성예를 나타내는 블록도이다.
도 2는, 표시 에어리어에 있어서의 중복영역을 설명하기 위한 도면이다.
도 3은, 전번 촬영화상에 라이브 화상을 중복하여 표시하는 예(그중 1)를 나타내는 도면이다.
도 4는, 전번 촬영화상에 라이브 화상을 중복하여 표시하는 예(그중 2)를 나타내는 도면이다.
도 5는, 스테레오 화상에 있어서의 특징점과 대응점의 예를 나타내는 도면이다.
도 6은, 대응점 탐색을 설명하기 위한 도면이다.
도 7은, 실시예 1에 관한 화상 촬영의 처리 플로우의 예를 나타내는 도면이다.
도 8은, 전전번 촬영화상 및 전번 촬영화상에 라이브 화상을 중복하여 표시하는 예를 나타내는 도면이다.
도 9는, 실시예 2에 관한 화상 촬영의 처리 플로우의 예를 나타내는 도면이다.
도 10은, 실시예 3에 관한 스테레오 화상 촬영장치의 구성예를 나타내는 블록도이다.
도 11은, 상호 표정을 설명하기 위한 도면이다.
도 12는, 편위 수정 화상을 설명하기 위한 도면이다.
도 13은, 촬영화상과 표시 화상의 배율을 설명하기 위한 도면이다.
도 14는, 스테레오법을 설명하기 위한 도면이다.
도 15는, 실시예 3에 관한 화상 촬영의 처리 플로우의 예를 나타내는 도면이다.
도 16은, 첫회 촬영화상에 라이브 화상을 중복하여 표시하는 예를 나타내는 도면이다.
도 17은, 실시예 4에 관한 화상 촬영의 처리 플로우의 예를 나타내는 도면이다.
도 18은, 촬영 방향에 따라 전번 촬영화상과 라이브 화상 및 이들의 틀의 위치가 변경되어서 표시되는 예를 나타내는 도면이다.
도 19는, 실시예 6에 관한 스테레오 화상 촬영장치의 구성예를 나타내는 블록도이다.
도 20은, 실시예 6에 관한 화상 촬영의 처리 플로우의 예를 나타내는 도면이다.
도 21은, 실시예 7에 관한 스테레오 화상 촬영장치의 구성예를 나타내는 블록도이다.
도 22는, 실시예 7에 관한 화상 촬영의 처리 플로우의 예를 나타내는 도면이다.
이 출원은, 일본에서 2009년 6월 2일에 출원된 제2009-133378호에 기초하고 있으며, 그 내용은 본 출원의 내용으로서, 그 일부를 형성한다. 본 발명은 이하의 상세한 설명에 의해 보다 더 완전하게 이해할 수 있을 것이다. 본 발명의 더 넓은 응용범위는, 이하의 상세한 설명에 의해 명확하게 될 것이다. 그러나, 상세한 설명 및 특정한 실시예는, 본 발명의 바람직한 실시의 형태이며, 설명의 목적을 위해서만 기재되어 있는 것이다. 이 상세한 설명으로부터, 여러 가지의 변경, 개변(改變)이, 본 발명의 정신과 범위내에서, 당업자에게 분명하기 때문이다. 출원인은, 기재된 실시형태의 모든 것을 공중에게 헌상(獻上)하려는 의도는 없고, 개변, 대체안 중, 특허 청구의 범위내에 문언상 포함되어 있지 않을지도 모르는 것도, 균등론하에서의 발명의 일부로 한다.
이하, 도면을 참조하여, 본 발명의 실시형태에 대해서 설명한다. 한편, 각 도면에 있어서, 서로 동일 또는 상당하는 부분에는 동일 부호를 붙이고, 중복된 설명은 생략한다.
실시예 1
실시예 1에서는, 표시부의 표시 에어리어에 전번 촬영화상과 라이브 화상을 중복하여 표시하는 예로, 카메라 이동방향 판정부에서 촬영부의 이동방향을 구하고, 중복영역 설정부는 카메라 이동방향 판정부에서 판정된 이동방향과 동일한 측에 중복영역을 설정하는 예를 설명한다.
[장치 구성]
도 1은 본 발명의 실시예 1에 관한 스테레오 화상 촬영장치(1)의 구성예를 나타내는 블록도이다. 스테레오 화상 촬영장치(1)는, 카메라의 위치 이동에 따라 측정 대상물(2)의 라이브 화상을 수시로 취득하고, 적시에 측정 대상물(2)을 촬영하여 정지화상인 촬영화상을 취득하는 촬영부(3), 촬영화상 및 화상 처리한 화상 등을 표시하는 표시부(4), 조작자가 데이터나 지시 등을 입력하는 입력부(9), 촬영화상, 라이브 화상 및 화상 처리한 화상 등을 기억하는 기억부(5), 촬영부(3)에서 전번에 촬영된 촬영화상인 전번 촬영화상에, 라이브 화상과의 중복영역을 설정하는 중복영역 설정부(6), 촬영화상 및 라이브 화상으로부터 특징점을 추출하는 특징점 추출부(7), 특징점 추출부(7)에서 추출된 특징점의 전번 촬영화상과 라이브 화상에서의 화면 위치로부터, 촬영부(3)의 이동방향을 구하는 카메라 이동방향 판정부(8), 스테레오 화상 촬영장치(1) 및 그것을 구성하는 각부를 제어하는 제어부(10)를 구비한다. 또, 중복영역 설정부(6), 특징점 추출부(7), 카메라 이동방향 판정부(8), 제어부(10)는 퍼스널 컴퓨터(PC)(16)내에 구성된다. 이들의 각부는, 디지털 카메라내의 처리부에 구성되어도 좋으나, 본 실시예에서는 PC(16)내에 구성하는 것으로 한다.
본 실시예에 관한 스테레오 화상 촬영장치(1)는, 측정 대상물(2)의 전체 주위 촬영을 행하는 등, 다수의 촬영화상을 연결하고 측정 대상물(2)의 전체상을 얻는데에 적합하다. 또, 측정 대상물(2)의 전체에 걸쳐서 중복 촬영을 행하고, 삼차원 계측하기 위한 촬영화상을 얻는데에 적합하다. 한편, 화상에 대해서는 도 2를 참조하기 바란다.
촬영부(3)는, 단일 카메라, 예를 들면 비디오 카메라나 디지털 카메라로 구성된다. 촬영자는, 촬영부(3)로서의 단일 카메라를 사용하여, 예를 들면 측정 대상물(2)의 주위를 이동하면서, 중복영역을 설치하고 순차적으로 촬영한다. 측정 대상물(2)의 주위 360도에 걸쳐서 연결한 전체 주위 화상을 얻기 위해서는, 서로 이웃하는 촬영화상 사이에 조금씩 중복영역을 설치하여 촬영하면 좋지만, 삼차원 계측하기에는, 중복영역을 공유하는 2개의 촬영화상을 스테레오 화상으로서, 그 중복영역으로부터 특징점을 추출하고, 이들의 특징점인 삼차원 좌표를 구하기 위해서, 측정 대상물(2)의 촬영 영역 전체에 걸쳐 중복하여 촬영하는 것이 필요하다.
표시부(4)는, 예를 들면, 액정 디스플레이 등의 디스플레이를 가진다. 적어도, 측정 대상물(2)의 전번 촬영화상(21)과 라이브 화상(25)을 겹치게 표시 에어리어(26)에 표시한다. 표시 에어리어(26)에는 촬영 범위보다 넓은 범위를 표시할 수 있으며, 셔터 조작에 의해 촬영되는 범위는 라이브 화상(25)으로서 표시되어 있는 범위이다. 표시부(4)는, 그 외, 전전번 촬영화상, 편위 수정 화상 등의 화상 처리 한 화상 등을 표시해도 좋다. 또, 음성 표시하는 경우에는 스피커를 가진다.
입력부(9)는, 예를 들면 마우스나 키보드를 가지고, 조작자가 데이터 및 지시를 입력하기 위해서 사용된다.
기억부(5)는, 예를 들면 하드 디스크로 구성되고, 데이터 베이스로서 사용된다. 촬영화상을 기억하는 촬영화상 기억부(51), 라이브 화상(25)을 기억하는 라이브 화상 기억부(52), 편위 수정 화상 등의 화상 처리한 화상을 기억하는 처리 화상 기억부(53), 측정 대상물(2)의 특징점이나 촬영 위치의 위치좌표를 기억하는 위치좌표 기억부(54)를 가진다. 비디오 카메라에서는 셔터 조작에 의해 통상은 촬영화상을 외부의 메모리에 기억하지만, 내부 메모리가 있으면 거기에 기억된다. 디지털 카메라에서는 셔터 조작에 의해 촬영화상을 내부 메모리에 기억한다. 또, 촬영자가 이동하면서 비디오 카메라 또는 디지털 카메라로 촬영된 라이브 화상은 상시 라이브 화상 기억부(52)의 템퍼러리 메모리에 덧쓰기 되고, 표시부(4)에 전송된다. 또, 라이브 화상으로부터 이동방향을 판정하기에는 화상 처리를 필요로 한다. 이 때문에, 라이브 화상은 적당한 프레임 간격 또는 시간 간격으로 샘플링되고, 라이브 화상 기억부(52)의 메모리에 소정 기간(일시적으로) 보존된다. 소정 기간은 예를 들면 이동방향을 판정하는데에 충분한 시간이면 좋다. 따라서, 라이브 화상 기억부(52)는 템퍼러리 메모리와 샘플링된 라이브 화상을 기억하는 메모리를 가진다. 기억부(5)로서 카메라의 내부 메모리를 사용하여도 좋지만, PC(16)의 하드 디스크를 이용하는 편이 고속, 다양한 처리에 적용되고 있기 때문에 바람직하다. 본 실시예에서는, 외부 메모리를 사용하는 카메라에서는 촬영화상을 기억부(5)에 직접 기억하고, 내부 메모리를 사용하는 카메라에서는 촬영화상을 기억부(5)에 전송하는 것으로 한다.
[중복영역 설정부]
중복영역 설정부(6)는, 촬영부(3)에서 전번에 촬영된 촬영화상인 전번 촬영화상(21)에 라이브 화상(25)과의 중복영역(23)을 설정한다. 이 중복영역(23)은 전번 촬영화상(21)과 이번에 촬영할 예정의 촬영화상인 이번 촬영화상(22)을 겹쳐서 촬영하는 영역이기도 하다. 표시부(4)의 표시 에어리어(26)에 있어서, 라이브 화상(25)에서의 중복영역인 라이브 화상 중복영역(25a)의 화상이, 전번 촬영화상(21)에서의 중복영역(23)의 화상과 대략 일치했을 때에 촬영을 행하면, 예정된 이번 촬영화상(22)을 얻을 수 있다. 중복영역 설정부(6)에서는, 중복영역(23)에 대해서 중복비율과 중복방향을 설정한다. 중복방향에 관해서, 본 실시예에서는, 카메라 이동방향 판정부(8)에서 판정된 이동방향과 동일한 측에 중복영역(23)을 설정한다. 예를 들면, 촬영자가 촬영부(3)를 소지하고, 측정 대상물(2)의 주위를 우회전으로 이동한 경우에는, 전번 촬영화상(21)에 대해서 우측으로 중복영역(23)이 설정되고, 표시된다. 한편, 표시 에어리어(26)에는 촬영 범위보다 넓은 범위를 표시할 수 있으며, 셔터 조작에 의해 촬영되는 범위는 라이브 화상(25)으로서 표시되어 있는 범위이다. 따라서, 라이브 화상(25)에 있어서의 중복영역인 라이브 화상 중복영역(25a)의 화상이, 전번 촬영화상(21)에 있어서의 중복영역(23)의 화상과 일치하지 않는 때에 촬영을 행하면, 예정된 이번 촬영화상(22)과 어긋난 촬영화상을 얻을 수 있다. 그런데, 대략 일치한다는 것은, 완전하게 일치하지 않아도 마진 내에서 일치하면 좋다는 것을 의미한다. 중복영역을 마진을 갖도록 설정하면, 마진 내에서 일치하면 문제가 없기 때문이다. 예를 들면, 삼차원 계측용으로는 중복비율을 50% 초과로 설정하면 좋기 때문에, 중복비율을 60%로 설정하면, ±5%의 어긋남은 문제가 없고, ±10% 미만까지 허용이 가능하다. 그리고, 마진 내에서 어긋남이 생겨도, 다음의 촬영에서 의도적으로 역방향으로 비켜서 촬영하는 것에 의해 충분히 만회할 수 있다. 물론, 가능한 한 일치시키는 것이 화상 처리의 균일성을 유지하는데에 있어서 바람직하고, 예를 들면 ±3% 이내로 하는 것이 바람직하다. 또, 상황에 따라 중복비율을 임의로 설정할 수 있다. 예를 들면, 측정 대상물(2)의 관찰을 상세하게 행하고 싶을 때, 특징점의 추적을 상세하게 행하고 싶을 경우에는 90%로 설정하고, 측정 대상물(2)의 관찰을 엉성하게 행하여도 좋을 때, 특징점의 추적을 엉성하게 행하여도 좋은 경우에는 55%로 설정한다는 등이다.
도 2는 표시 에어리어에 있어서의 중복영역을 설명하기 위한 도면이다. 도 2(a)는 디지털 카메라의 표시부(4)에, 도 2(b)는 평면에, 표시 에어리어(26)에 있어서의 중복 상황을 나타낸다. 촬영부(3)로서의 디지털 카메라에 부속되는 표시부(4)의 표시 에어리어(26)(도 2(a)에 있어서 바깥측의 굵은 실선 틀로 둘러싸인 영역)에, 측정 대상물(2)로서의 자동차가 표시되어 있다. 내측의 실선 틀 안이 전번 촬영화상(21)이며, 표시 에어리어(26)의 좌측, 여기에서는 좌측단의 근처에 배치되고, 파선 틀 안이 라이브 화상(25)이며, 표시 에어리어(26)의 우측, 여기에서는 우측단의 근처에 배치되어 있다. 즉, 촬영부(3)의 이동방향이 우측 방향인 경우이다. 표시 에어리어(26)의 중앙에 내측의 실선 틀 안 또한 파선 틀 안의 부분이 있고, 전번 촬영화상(21)과 라이브 화상(25)과의 중복영역(오버랩 영역)(23)으로 되어 있다. 이 중복영역(23)은 전번 촬영화상(21)과 이번에 촬영할 예정의 촬영화상인 이번 촬영화상(22)을 겹쳐서 촬영하는 영역이기도 하다. 중복비율은 약 60%이다. 전번 촬영화상(21)과 라이브 화상(25)이 중복영역(23)에서 겹치게 표시되고, 전번 촬영화상(21)은 중복영역(23)으로부터 좌측(촬영부(3)의 이동방향과 반대측)으로 연장해서 표시되고, 라이브 화상(25)은 중복영역(23)으로부터 우측(촬영부(3)의 이동방향과 동일한 측)으로 연장해서 표시되어 있다. 전번 촬영화상(21)에 있어서, 연장해서 표시되어 있는 부분을 연장영역(24), 라이브 화상(25)에 있어서, 중복영역(23)에 있는 부분이 라이브 화상 중복영역(25a), 연장해서 표시되어 있는 부분이 라이브 화상 연장영역(25b)이다. 라이브 화상 중복영역(25a)에 있어서의 측정 대상물(2)의 화상이, 중복영역(23)에 있어서의 측정 대상물(2)의 화상과 대략 일치했을 때에 촬영을 행하면, 예정된 이번 촬영화상(22)을 얻을 수 있다.
도 3에 전번 촬영화상에 라이브 화상을 중복하여 표시하는 예(그중 1)를 나타낸다. 측정 대상물(2)은 자동차이다. 도 3(a)에 전번 촬영화상(21)을, 도 3(b)에 이번에 촬영할 예정의 이번 촬영화상(22)을, 도 3(c)에 라이브 화상(25)을, 도 3(d)에, 전번 촬영화상(21)에 라이브 화상(25)을 중복한 화상을 나타낸다. 한편, 화상의 부호에 대해서는 도 2를 참조하기 바란다. 도 3(a)에 있어서, 전번 촬영화상(21)에 대해서 파선의 우측 반 정도보다 약간 많게 중복영역(23)이 설정되고, 좌측 반 정도보다 약간 적은 것이 연장영역(24)이다. 도 3(b)의 이번 촬영화상(22) 및 도 3(c)의 라이브 화상(25)에서는, 좌측 반 정도보다 약간 많은 것이 전번 촬영화상(21)에 설정된 중복영역(23)에 겹쳐지는 부분이다. 즉, 라이브 화상(25)에서는 좌측 반 정도보다 약간 많은 것이 라이브 화상 중복영역(25a), 우측 반 정도보다 약간 적은 것이 라이브 화상 연장영역(25b)이다. 도 3(d)에서는, 좌측 2/3보다 약간 많게(2/3强) 전번 촬영화상이, 우측 2/3보다 약간 많게 라이브 화상이 배치되고, 중앙 1/3보다 약간 많은(1/3强) 중복영역(23)에 있어서, 전번 촬영화상(21)과 라이브 화상(25)이 중복 표시되어 있다. 도면에서는, 라이브 화상(25)이 점선으로 둘러싸인 쪽이며, 전번 촬영화상(21)에 비해서 약간 상측으로 비켜서 표시되어 있다. 카메라의 위치와 앵글을 조정하여, 중복영역(23)에 있어서, 전번 촬영화상(21)과 라이브 화상(25)에서의 측정 대상물(2)의 동일한 부분이 대략 겹쳐질 때에 촬영을 행하면, 예정된 이번 촬영화상(22)을 얻을 수 있다.
도 4에 전번 촬영화상에 라이브 화상을 중복하여 표시하는 예(그중 2)를 나타낸다. 측정 대상물(2)은 자동차이다. 도 3에서는 전번 촬영화상(21)과 라이브 화상(25)을 좌우로 나란히 표시하는 예를 나타냈으나, 도 4에서는 전번 촬영화상(21)과 라이브 화상(25)을 상하로 나란히 표시하는 예를 나타낸다. 도면에서는, 라이브 화상(25)은 점선으로 둘러싸인 쪽이며, 하측에 표시되어 있다. 중앙의 화살표의 범위가 중복영역(23)이다. 라이브 화상(25)은 약간 우측으로 비켜서 표시되어 있다. 도 3의 경우와 같이, 카메라의 위치와 앵글을 조정하고, 중복영역(23)에 있어서, 전번 촬영화상(21)과 라이브 화상(25)에서의 측정 대상물(2)의 동일한 부분이 대략 겹쳐질 때에 촬영을 행하면, 예정된 이번 촬영화상(22)을 얻을 수 있다.
[특징점 추출부]
특징점 추출부(7)는, 촬영화상으로부터 특징점을 추출한다. 특징점에는, 예를 들면 측정 대상물(2)의 중심(中心) 위치, 중심(重心) 위치, 코너 위치, 그 밖의 다른 특징을 가지는 위치, 측정 대상물(2)에 첨부된 또는 투영된 표지 등이 있다. 특징점 추출에는 특징 추출 오퍼레이터가 사용된다. 여기에서는 모라벡(MORAVEC) 오퍼레이터를 이용하는 예를 설명한다.
MORAVEC 오퍼레이터는, 범용의 특징 추출기로서 예전부터 사용되고 있다. MORAVEC 오퍼레이터는, 예를 들면, 어느 주목(注目) 화소의 주위 3×3 화소를 마스크로 하고, 마스크가 주목 화소의 주위 4방향에 각 1 화소 이동했을 때의 농도 차분(방향 농도 차분)의 최소치를 그 주목 화소의 특징량으로 한다. 처리가 단순하고 고속인 것, 비교적 용이하게 하드(hard)화가 가능한 것 등이 특징이다. 한편, 고속 처리를 행하기 위해서는, 화상의 수배의 메모리가 필요하다. 여기서는 모라벡 오퍼레이터에 의한 특징점 추출을 설명했지만, 다른 오퍼레이터, 예를 들면 해리스 오퍼레이터(Harris Operator)나 그 외의 것, 특징점을 검출할 수 있는 것이라면 무엇이라도 좋다.
[카메라 이동방향 판정부]
카메라 이동방향 판정부(8)는, 특징점 추출부(7)에서 추출된 특징점의 전번 촬영화상(21)과 라이브 화상(25)에 있어서의 화면 위치로부터, 또는 라이브 화상(25) 사이에 있어서의 화면 위치의 변화로부터, 촬영부(3)의 이동방향을 구한다. 즉, 전번 촬영화상(21)과 라이브 화상(25)을 스테레오 화상으로서, 전번 촬영화상의 특징점과 라이브 화상의 특징점을 대응시켜서, 라이브 화상(25)의 특징점의 전번 촬영화상(21)의 특징점에 대한 이동 벡터를 구하고, 중복영역내에서 평균화하여, 평균 이동 벡터와 반대 방향을 촬영부(3)의 이동방향으로서 구할 수 있다. 특징점의 대응 시킴(대응점 탐색)은 대응점 탐색부(8a)에서 행한다. 또, 라이브 화상의 특징점을 추적하고, 라이브 화상간의 특징점의 변화로부터 평균 이동 벡터를 구하고, 같은 방향으로의 이동이 소정 횟수(예를 들면 3회 이상) 계속되었을 때에, 이동방향을 구해도 좋다. 한편, 소정횟수는 1회이어도 좋으며, 특징점의 추적을 생략해도 좋다. 한편, 예정된 촬영 위치로부터 지나친 위치에서 셔터 조작하여 라이브 화상을 촬영해 버렸을 경우에는, 촬영자가 파기 신호를 입력하는 것에 의해, 이번 촬영화상을 파기 가능하게 하는 것이 바람직하다. 그 후, 촬영자가 전번 촬영화상의 촬영 위치에 돌아와서 이동하는 것이, 카메라 이동방향 판정부(8)의 판정을 확실히 하는데에 있어서 매우 적합하다.
도 5는 스테레오 화상에 있어서의 특징점과 대응점의 예를 나타내는 도면이다. 도 5(a)는 좌측 화상으로부터 추출된 특징점, 도 5(b)는 우측 화상으로부터 추출된 특징점, 도 5(c)는 대응시킨 특징점을 나타낸다. 좌측 화상과 우측 화상은 스테레오 페어를 구성하고, 좌우에 약간 어긋난 위치에서 촬영되고 있다. 좌측 화상 및 우측 화상에 있어서, 측정 대상물(2)로서의 자동차에 부가된 다수의 점의 위치가 특징점으로서 추출된 점의 위치이다. 대응점 탐색에 의해 이들의 특징점의 대부분이 대응되고, 도 5(c)에 있어서 삼차원 좌표 공간(여기에서는 투시도를 사용)에 표시되어 있다. 이들의 특징점에는 특징점 번호가 붙여지고, 삼차원 위치좌표 및 좌우 화상에 있어서의 위치좌표가 위치좌표 기억부(54)에 기억된다.
도 6은 스테레오 화상간의 특징점을 대응시키는 대응점 탐색을 설명하기 위한 도면이다. 대응시키기에는 상호 상관 처리를 사용한다. 도 6에 도시하는 바와 같이 N1×N1화소의 템플레이트 화상을, 그것보다 큰 M1×M1화소의 입력 화상내의 탐색 범위(M1－N1＋1)2 위에서 움직이고, 다음 식 C(a,b)가 최대가 되도록 하는 템플레이트 화상의 좌상 위치(a,b)를 구하여, 템플레이트 화상에 대해서 탐색되었다고 간주한다. 좌우 화상의 경우에는, 예를 들면 좌측 화상 위에 N1×N1화소의 템플레이트 화상을 설정하고, 우측 화상 위에 M1×M1화소의 탐색 영역을 설정하고, 이 조작을 각 화상 위에서의 위치에 대해서 실시하면 좋다.
[상호 상관 처리]
[수 1]
Figure pct00001
여기에서는, 대응점 탐색에 관하여, 정규화 상호 상관 처리에 대해서 설명했으나, 다른 수법, 예를 들면, 잔차 축차검정법(SSDA) 등을 이용하여도 좋다.
제어부(10)는, 내장 메모리에 제어 프로그램을 가지고, 스테레오 화상 촬영장치(1) 및 이것을 구성하는 각부를 제어하고, 신호 및 데이터의 흐름을 제어하여, 스테레오 화상 촬영장치로서의 기능을 실행시킨다.
도 7에 본 실시예에 관한 화상 촬영의 처리 플로우의 예를 나타낸다. 표시 에어리어에 전번 촬영화상과 라이브 화상을 중복하여 표시하는 예를 설명한다.
우선, 촬영부(3)의 셔터 조작에 의해, 측정 대상물(2)을 촬영한다(촬영 공정:S110). 촬영된 촬영화상은 촬영화상 기억부(51)에 기억된다. 다음에, 촬영화상을 표시부(4)의 표시 에어리어(26)에 표시하고(촬영화상 표시공정:S120), 중복영역 설정부(6)에 있어서, 촬영 공정에서 촬영되고, 촬영화상 표시공정에서 표시되고 있는 전번 촬영화상(21)에 중복비율의 설정을 행한다(중복비율 설정공정:S130). 중복영역(23)의 설정은 중복비율과 중복방향에 대해서 행한다. 중복영역 설정공정은 중복비율 설정공정(S130)과 후술하는 중복방향 설정공정(S180)으로 이루어진다. 여기에서는 우선, 중복비율의 설정을 행하지만, 중복방향에 대해서는 가설정을 행한다. 예를 들면 입력부(9)로부터 키보드를 이용하여 「오른쪽(측)」, 「60(%)」로 입력하면, 촬영화상 표시공정(S120)에서 표시 에어리어(26)에 표시된 전번 촬영화상(21)에 있어서, 중복영역(23)이 틀로 둘러싸여서 표시된다. 촬영자가 예를 들면 마우스로 표시 화면의 확인 버튼을 클릭하면, 중복비율이 설정되고, 중복방향이 가설정된다. 중복방향은 후의 중복방향 설정공정(S180)에서 본설정된다. 다음에, 라이브 화상을 취득한다(라이브 화상 취득공정:S140). 라이브 화상은 상시 라이브 화상 기억부(52)의 템퍼러리 메모리에 덧쓰기 되고, 표시부(4)에 전송된다. 또, 적당한 프레임 간격 또는 시간 간격으로 샘플링되고, 라이브 화상 기억부(52)에 소정 기간(일시적으로) 보존된다. 예를 들면 중복비율이 「60(%)」로 설정되고, 중복방향이 「오른쪽(측)」으로 가설정되어 있는 경우에는, 전번 촬영화상(21)의 60%가 중복영역(23)으로 되며, 표시 에어리어(26)에서 전번 촬영화상(21)은 중복영역(23)으로부터 좌측으로 연장해서 표시되고(즉, 중복영역 및 그 좌측에 표시되고), 라이브 화상은 중복영역에서 우측으로 연장해서 표시된다(즉, 중복영역 및 그 우측에 표시된다). 또, 예를 들면 중복방향의 가설정을 생략하고, 중복방향이 본설정될 때까지, 라이브 화상(25)을 표시 에어리어(26)의 중앙에 표시해도 좋다.
다음에, 전번 촬영화상(21) 및 라이브 화상(25)으로부터 특징점을 추출한다(특징점 추출공정:S150). 라이브 화상(25)에 대해서는, 적당한 프레임 간격 또는 시간 간격으로 샘플링된 화상중, 예를 들면 전번 촬영화상(21)의 촬영으로부터 소정 시간(예를 들면 3sec) 경과후의 화상을 선택하여 특징점을 추출한다. 전번 촬영화상(21) 및 라이브 화상(25)을 스테레오 화상으로서, 서로 중복하는 특징점에 대해서 대응점 탐색부(8a)에서 대응시킨다. 카메라 이동방향 판정부(8)는, 전번 촬영화상(21)의 특징점에 대한 라이브 화상(25)의 대응점(대응점 탐색부(8a)에 의해 대응시킨 특징점)의 평균 이동 벡터로부터, 평균 이동 벡터와 반대 방향을 촬영부(3)의 이동방향으로서 구할 수 있다. 다음에 라이브 화상(25)에 대해서 특징점의 추적을 행한다(특징점 추적 공정:S160). 예를 들면 전번 촬영화상(21)의 촬영으로부터 3sec 뒤의 라이브 화상 외에 6sec 뒤의 라이브 화상과 9sec 뒤의 라이브 화상을 선택한다. 3sec 뒤의 라이브 화상의 특징점에 대해서 6sec 뒤의 라이브 화상의 대응점을 탐색하고, 평균 이동 벡터를 구한다. 또, 6sec 뒤의 라이브 화상의 특징점에 대해서 9sec 뒤의 라이브 화상의 대응점을 탐색하고, 평균 이동 벡터를 구한다. 이와 같이 하여 라이브 화상의 특징점을 추적할 수 있다. 한편, 상황에 따라서 추적의 시간 간격을 임의로 설정할 수 있다. 예를 들면, 특징점의 추적을 면밀하게 행하고 싶을 때에는 1sec로 설정하고, 특징점의 추적을 대충 행해도 좋을 때에는 5sec로 설정하는 등이다. 다음에, 카메라 이동방향 판정부(8)는 특징점 추출부(7)에서 추출된 특징점의 전번 촬영화상(21)과 라이브 화상(25)에서의 화면 위치로부터, 또는 라이브 화상간에서의 화면 위치의 변화로부터 촬영부(3)의 이동방향을 구한다(이동방향 판정공정:S170). 예를 들면, 전번 촬영화상(21)과 라이브 화상(25)으로부터 구한 평균 이동 벡터의 방향과 반대 방향을 촬영부(3)의 이동방향으로서 구할 수 있다. 또, 라이브 화상간의 특징점을 추적하고, 평균 이동 벡터의 방향이, 동일한 방향(예를 들면 왼쪽 방향)으로, 예를 들면 3회 이상 계속되면, 평균 이동 벡터의 방향과 반대 방향을 촬영부(3)의 이동방향으로서 구해도 좋다.
다음에, 중복영역 설정부(6)는, 중복방향을 본설정한다(중복방향 설정공정:S180). 중복영역 설정부(6)는, 카메라 이동방향 판정부(8)에서 판정된 이동방향과 동일한 측에, 전번 촬영화상(21)에 라이브 화상(25)과의 중복영역(23)을 설정한다. 예를 들면, 촬영부(3)의 이동방향이 우측 방향으로 판정되었을 경우에는, 전번 촬영화상(21)에 대해서 우측으로 중복영역(23)을 설정한다. 다음에, 표시부(4)는, 표시 에어리어(26)에 전번 촬영화상(21)과 라이브 화상(25)을 중복하여 표시한다(표시공정:S190). 예를 들면 중복영역이 「오른쪽(측)」, 「60(%)」로 본설정된 경우에는, 전번 촬영화상의 60%가 중복영역(23)으로 되고, 표시 에어리어(26)에 있어서 전번 촬영화상(21)은 중복영역(23)으로부터 촬영부(3)의 이동방향과 반대측인 좌측으로 연장해서 표시되고, 라이브 화상(25)은 중복영역(23)으로부터 촬영부(3)의 이동방향과 동일한 측인 우측으로 표시된다.
다음에, 촬영자는 표시 에어리어(26)에서의 전번 촬영화상(21)과 라이브 화상(25)과의 중복 상황을 감시하고, 촬영 위치 및 카메라 앵글이 적절한지에 대한 여부를 판단한다(카메라 위치 판정공정:S210). 중복영역(23)에 있어서, 전번 촬영화상(21)과 라이브 화상(25)에서의 측정 대상물(2)의 동일한 부분이 대략 겹쳐질 때에 촬영을 행하면, 예정된 이번 촬영화상(22)을 얻을 수 있다. 중복영역(23)에 있어서, 전번 촬영화상(21)과 라이브 화상(25)에 어긋남이 있는 경우(S210에서 NO)에는, 촬영 위치나 카메라 앵글을 조정하고, 라이브 화상 취득공정(S140)?화상 표시공정(S190)을 반복한다. 전번 촬영화상(21)과 라이브 화상(25)에서의 측정 대상물(2)의 동일한 부분이 대략 겹쳐지는 경우(S210에서 YES)에는, 촬영 매수가 미리 예정한 매수에 도달했는지에 대한 여부를 판정한다(촬영종료 판정공정:S220). 예를 들면, 촬영 예정 매수를 제어부(10)에 미리 등록해 두고, 촬영할 때에 촬영 매수가 계수되고, 제어부(10)는 계수된 촬영 매수를 등록된 촬영 예정 매수와 비교하여, 계수된 촬영 매수＜촬영 예정 매수인 때(S220에서 NO)는, 촬영 공정(S110)?카메라 위치 판정공정(S210)을 반복한다. 계수된 촬영 매수≥촬영 예정 매수의 때(S220에서 YES)는, 화상 촬영의 처리 플로우를 종료한다. 한편, 촬영 예정 매수의 등록을 하지 않는 경우에는 촬영종료 판정공정(S220)에서, 촬영자가 종료하는지에 대한 여부를 판단한다.
이상 설명한 바와 같이, 본 실시예에 의하면, 단일 카메라를 사용하여 이동하면서 촬영을 행하는 경우에, 전번 촬영화상과 이번 촬영화상과의 중복영역을 적절히 정할 수 있는 스테레오 화상 촬영장치 및 그 방법을 제공할 수 있다.
실시예 2
실시예 1에서는, 표시부의 표시 에어리어에 전번 촬영화상과 라이브 화상을 중복하여 표시하는 예를 설명했으나, 실시예 2에서는, 표시부의 표시 에어리어에 전전번 촬영화상, 전번 촬영화상과 라이브 화상을 중복하여 표시하는 예를 설명한다. 스테레오 화상 촬영장치(1)의 구성은 실시예 1과 동일하다. 실시예 1과 다른 점을 주로 설명한다.
도 8에 전전번 촬영화상 및 전번 촬영화상에 라이브 화상을 중복하여 표시하는 예를 나타낸다. 도 8(a)는 디지털 카메라(3)의 표시부(4)에, 도 8(b)는 평면에, 카메라 표시 에어리어(26)를 나타낸다. 디지털 카메라(3)의 표시부(4)의 표시 에어리어(26)(도 8(a)에서 바깥측의 실선 틀로 둘러싸인 영역)에, 측정 대상물(2)로서의 자동차가 표시되어 있다. 내측의 실선 틀 안이 전전번 촬영화상(27)이며, 표시 에어리어(26)의 좌측, 여기에서는 좌측단의 근처에 배치되고, 일점쇄선 틀 안이 전번 촬영화상(21)이며, 표시 에어리어(26)의 중앙에 배치되고, 파선 틀 안이 라이브 화상(25)이며, 표시 에어리어(26)의 우측, 여기에서는 우측단의 근처에 배치되어 있다. 즉, 촬영부(3)의 이동방향이 우측 방향인 경우이다. 내측의 실선 틀 안 또한 일점쇄선 틀 안의 부분이 전전번 촬영화상(27)과 전번 촬영화상(21)과의 중복영역(오버랩 영역)으로 되어 있고, 전전번 촬영화상(27)에 설정된 전전번 화상 중복영역(27a)이다. 일점쇄선 틀 안 또한 파선 틀 안의 부분이 전번 촬영화상(21)과 라이브 화상(25)과의 중복영역(오버랩 영역)으로 되어 있으며, 전번 촬영화상(21)에 설정된 전번 화상 중복영역(21a)이다. 이들의 중복영역의 중복비율은 약 60%이다. 전전번 촬영화상(27)의 전전번 화상 중복영역(27a)으로부터 좌측(촬영부(3)의 이동방향과 반대측)으로 연장하는 부분이 전전번 화상 연장영역(27b), 또, 전번 촬영화상(21)의 전번 화상 중복영역(21a)으로부터 좌측(촬영부(3)의 이동방향과 반대측)으로 연장하는 부분이 전번 화상 연장영역(21b), 라이브 화상(25)의 전번 화상 중복영역(21a)과 겹쳐지는 부분이 라이브 화상 중복영역(25a), 라이브 화상 중복영역(25a)으로부터 우측으로 연장하는 부분이 라이브 화상 연장영역(25b)이다.
또, 내측의 실선 틀 안 또한 파선 틀 안의 부분이 전전번 촬영화상(27), 전번 촬영화상(21)과 라이브 화상(25)과의 삼중의 중복영역(오버랩 영역)으로 되어 있으며, 타이 영역(29)이다. 타이 영역(29)의 중복비율은 약 20%이다. 이와 같이, 라이브 화상(25)과 전전번 촬영화상(27)을 중복시키는 것에 의해, 측정 대상물(2)의 모든 촬영 영역을 중복 촬영할 수 있으며, 측정 대상물(2)의 모든 촬영 영역의 삼차원 좌표를 구할 수 있다. 라이브 화상(25)에서의 라이브 화상 중복영역(25a)의 화상이, 전번 촬영화상(21)에서의 전번 화상 중복영역(21a)의 화상과 대략 일치했을 때에 촬영을 행하면, 예정된 이번 촬영화상(22)을 얻을 수 있다. 또는, 타이 영역(29)에서의 전전번 촬영화상(27)과 라이브 화상(25)에서의 측정 대상물(2)의 동일 부분이 대략 겹쳐질 때에 촬영을 행하면, 예정된 이번 촬영화상(22)을 얻을 수 있다. 대략 일치한다는 것은, 완전하게 일치하지 않아도 마진 내에서 일치하면 좋다는 의미이다. 예를 들면, 전전번 화상 중복영역(27a)에 대해서 라이브 화상(25)과 중복하기 위한 마진을 갖도록 설정하면, 마진 내에서 일치하면 문제가 없기 때문이다. 예를 들면, 삼차원 계측용에는 전전번 촬영화상(27)과 라이브 화상(25)에 중복영역이 있으면 좋기 때문에, 그 중복비율을 20%로 설정하면, ±5%의 어긋남은 문제가 없고, ±20%보다 약간 많게(±20%强)까지 허용이 가능하다. 그리고, 마진 내에서 어긋남이 생겨도, 다음의 촬영에서 의도적으로 역방향으로 비켜서 촬영하는 것에 의해 충분히 만회할 수 있다. 물론, 가능한 한 일치시키는 것이 화상 처리의 균일성을 유지하는데 있어서 바람직하고, 예를 들면 ±3% 이내로 하는 것이 바람직하다. 한편, 각 중복영역의 색, 투명도를 바꾸면 각 중복영역을 구별하기 쉬워진다. 특히, 타이 영역(29)에 대해서는, 해칭 등에 의해 구별하기 쉽게 하는 것이 바람직하다. 또, 각 화상의 투명도를 옅게 하면, 타이 영역(29)이 다른 부분보다 짙어져서, 구별하기 쉬워진다.
도 9에 실시예 2에 관한 화상 촬영의 처리 플로우의 예를 나타낸다. 본 실시예에서는, 표시 에어리어(26)에 전전번 촬영화상(27), 전번 촬영화상(21)과 라이브 화상(25)을 중복하여 표시하는 예를 설명한다. 실시예 1(도 7 참조)의 화상 표시공정(190)에서는, 전번 촬영화상(21)과 라이브 화상(25)을 표시하는 것에 대해서, 실시예 2에서는 화상 표시공정(192)에서, 전전번 촬영화상(27), 전번 촬영화상(21)과 라이브 화상(25)을 표시하는 점이 다르다. 따라서, 라이브 화상(25)을 전전번 촬영화상(27) 및 전번 촬영화상(21)과 중복시켜서 볼 수가 있다. 특히 타이 영역(29)에서의 중복을 확인하여 촬영화상을 얻을 수 있다. 그 외의 처리 플로우는 실시예 1과 동일하며, 본 실시예에 의하면, 실시예 1과 동일하게 단일 카메라를 사용하여 이동하면서 촬영을 행하는 경우에, 전번 촬영화상과 이번 촬영화상과의 중복영역을 적절히 정할 수 있는 스테레오 화상 촬영장치 및 그 방법을 제공할 수 있다.
실시예 3
실시예 3에서는, 실시예 1에 삼차원 위치 측정 기능을 추가하고, 편위 수정 화상의 작성, 측정 대상물의 특징점의 삼차원 위치좌표, 카메라의 촬영 위치가 측정 가능하고, 편위 수정 화상을 이용하여 표시되는 화상의 배율을 보정하는 예를 설명한다. 실시예 1과 다른 점을 주로 설명한다.
도 10은 본 발명의 실시예 3에 관한 스테레오 화상 촬영장치(1A)의 구성예를 나타내는 블록도이다. 스테레오 화상 촬영장치(1A)는, 실시예 1의 구성(도 1 참조)에, 삼차원 위치 측정부(11)가 추가되어 있다. 삼차원 위치 측정부(11)는, 특징점 추출부(7)에 의해 추출된 특징점을 이용하여 촬영부(3)의 카메라의 위치와 기울기를 구하는 표정부(12), 표정부(12)에서 구해진 카메라의 위치와 기울기를 이용하여, 전번 촬영화상 및 라이브 화상에 편위 수정 처리를 실시하고, 편위 수정 화상을 형성하는 편위 수정 화상 형성부(13), 표정부(12)에서 구해진 카메라의 위치와 기울기를 이용하여, 측정 대상물(2)의 특징점 및 촬영 위치의 삼차원 위치좌표를 연산하는 삼차원 좌표 연산부(14)를 가진다.
[외부표정요소의 산출:상호표정]
다음에, 좌우 화상의 대응시킨 점으로부터, 상호표정법에 따라서 카메라의 위치, 기울기를 구하는 방법에 대해서 설명한다. 상호표정은 표정부(12)에서 행해진다.
모델 화상이란, 2매 이상의 촬영화상으로부터 피사체가 촬영되었을 때의 상태로 재현되었을 때 얻어지는 입체상을 말한다. 상대적으로 서로 닮은 모델 화상을 형성하는 것을, 상호표정(相互標定)이라고 한다. 즉, 상호표정이란, 촬영화상의 대응하는 2개의 광속이 서로 만나도록, 좌우 각각의 카메라의 투영 중심의 위치 및 기울기를 정하는 것이다.
도 11은 상호표정을 설명하기 위한 도면이다. 다음에, 각 모델 화상의 표정계산의 상세에 대하여 설명한다. 이 계산에 의해, 좌우 각각의 카메라의 위치(삼차원 좌표와 3축의 기울기)가 구해진다.
이하의 공면(共面) 조건식에 의해 그들의 카메라의 위치에 관한 파라미터를 구한다.
[수 2]
Figure pct00002
모델 좌표계의 원점을 좌측의 투영 중심으로 취하고, 우측의 투영 중심을 연결한 선을 X축으로 취하도록 한다. 축척은, 기선(基線) 길이를 단위길이로 취한다. 이때 구하는 파라미터는, 좌측의 카메라의 Z축의 회전각(κ 1), Y축의 회전각(ø 1), 우측의 카메라의 Z축의 회전각(κ 2), Y축의 회전각(ø 2), X축의 회전각(ω 2)의 5개의 회전각으로 된다. 이 경우 좌측의 카메라의 X축의 회전각(ω 1)은 0이므로, 고려할 필요가 없다.
이러한 조건으로 하면, (식 1)의 공면 조건식은 (식 2)와 같이 되고, 이 식을 풀면 각 파라미터가 구해진다.
[수 3]
Figure pct00003
여기서, 모델 좌표계(XYZ)와 카메라 좌표계(xyz)의 사이에는, 다음에 나타내는 좌표변화의 관계식(식 3), (식 4)이 성립된다.
[수 4]
Figure pct00004
이들의 식을 이용하여, 다음의 순서에 의해, 미지의 파라미터를 구한다.
(a) 미지 파라미터의 초기 근사치는 통상 0으로 한다.
(b) 공면 조건식(식 2)을 근사치의 주위에 테일러 전개하고, 선형화한 때의 미분 계수의 값을 (식 3), (식 4)에 의해 구하고, 관측 방정식을 세운다.
(c) 최소이승법을 적용하여, 근사치에 대한 보정량을 구한다.
(d) 근사치를 보정한다.
(e) 보정된 근사치를 이용하여, (b)?(d)까지의 조작을 수렴하기까지 반복한다.
미지 파라미터(κ 1, ø 1, κ 2, ø 2, ω 1)를 구하는 것에 의해, 카메라의 위치와 기울기가 구해진다.
상호표정법에 따라서 카메라의 위치가 구해지면, 스테레오법에 따라서 대상 공간점상의 삼차원 좌표, 즉 특징점의 삼차원 좌표를 구하는 것이 가능해진다.
[DLT법]
또, 표정을 대신하여, 측정 대상물(2)의 주위에 타겟을 배치하고, DLT법을 사용하여 촬영 위치의 좌표를 구하는 것도 가능하다. 예를 들면, 삼차원 좌표 연산부(14)에서 걸리는 연산이 행해진다.
DLT법은, 사진 좌표와 피사체의 삼차원 좌표(대상점 좌표)와의 관계를 삼차의 투영 변환식으로 근사한 것이다.
DLT법의 기본식은 (식 5)로 된다.
[수 5]
Figure pct00005
(식 5)에 대하여, 분모를 삭제하면, 다음의 선형식을 도출할 수 있다.
[수 6]
Figure pct00006
다시, (식 6)을 변형하면, 이하의 식으로 된다.
[수 7]
Figure pct00007
(식 7)을 직접, 최소이승법을 이용하여 풀면, 사진 좌표와 대상점 좌표와의 관계를 결정하는 L1~L11의 11개의 미지 변량을 취득할 수 있다. 따라서, 위치좌표가 기존의 6점에 대해서 (식 7)을 푸는 것에 의해, 피사체의 사진 좌표(x, y)와 피사체의 삼차원 좌표(대상점 좌표)(X, Y, Z)와의 관계가 구해지고, 사진 좌표(x, y)와 대상점 좌표(X, Y, Z)를 연결하는 직선의 수렴점에 해당하는 촬영 위치의 위치좌표(0, 0, 0)를 구할 수 있다. 이 경우, 촬영 위치는, 대상점 좌표에 대해서 (-X, -Y, -Z)의 위치가 된다.
도 12는 편위 수정 화상을 설명하기 위한 도면이다. 도 12(a)는 편위 수정 화상을 입체적으로 설명하는 도면, 도 12(b)는 평면적으로 설명하는 도면이다. 편위 수정 처리는 편위 수정 화상 형성부(13)에서 행해진다. 편위 수정 처리란, 표정에서 구해진 카메라의 촬영 위치와 기울기를 이용하여, 측정 대상물(2)에 대해서 촬영화상을 스테레오법의 기하학이 성립하도록, 피사체에 대해서 평행으로 또한 에피폴라 라인이 좌우의 수평 라인상에 일치하도록 화상을 수정하는 처리이다. 따라서 좌우 화상의 배율이나 기울기 등의 일그러짐이 보정되고, 배율이나 높이의 위치가 동일하게 된다. 도 12(a)에 있어서, 스테레오 화상의 좌측 화상과 우측 화상을 촬영하는 카메라(3)의 촬영 위치를 각각, O1, O2, 측정 대상물(2)의 계측점의 위치를 P로 한다. 삼차원 위치좌표의 원점을 O1로 하고, 삼차원 좌표축을 X, Y, Z축으로 한다. 촬영 위치(O1 및 O2)에서 촬영한 촬영화상은, 촬영 거리, 카메라 앵글에 편차가 생기기 때문에, 가는 실선의 사각형으로 표시하도록 화상의 배율, 기울기에 일그러짐이 생긴다. 이들의 촬영화상을 편위 수정 처리에 의해, 굵은 실선의 사각형으로 표시되도록 카메라의 정면에서 본 등배율의 화상에 수정한다. 도 12(b)에서는, 상부에 도시하는 바와 같이, 좌측 화상인 전번 촬영화상과 우측 화상인 라이브 화상에 배율, 기울기에 일그러짐이 생기고 있다. 이것을 편위 수정 처리에 의해, 하부에 도시하는 바와 같이, 좌측 화상인 전번 촬영화상(21)과 우측 화상인 라이브 화상(25)에 대해서, 에피폴라 라인이 좌우의 수평 라인상에 일치하도록 수정되고, 배율, 기울기가 갖추어져 있다.
편위 수정 처리에서는, 상호표정으로 얻어진 내부표정요소(파라미터)를 이용하고, 투영 변환의 관계식으로부터 경사진 촬영화상을 모델 좌표(편위 수정 화상 좌표)계의 X, Y 평면상(연직 사진)에 투영한다. 다음에, 편위 수정에 관한 관계식을 나타낸다. 좌측 화상에 대해서, 모델 좌표를 (X1, Y1), 촬영화상면내의 위치좌표를 (XC1, YC1), 우측 화상에 대해서, 모델 좌표를(X2, Y2), 촬영화상면내의 위치좌표를 (XC2, YC2), 촬영 위치(O1, O2)에서의 촬영화상에 있어서의 카메라의 촛점거리를 C1, C2, 좌측 화상에 관한 변환 파라미터를 m11?m33, 우측 화상에 관한 변환 파라미터를 n11?n33으로 하면, 변환식은 (식 8), (식 9)로 표시된다. 이것에 의해 편위 수정 처리가 행해진다.
[수 8]
Figure pct00008
도 13은 촬영화상과 표시 화상의 배율을 설명하기 위한 도면이다. 도 13(a)는 전전번 촬영화상(27), 전번 촬영화상(21) 및 라이브 화상(25)의 배율이 다른 것을 나타내는 도면, 도 13(b)는 표시 에어리어(26)에 있어서, 전전번 촬영화상(27), 전번 촬영화상(21) 및 라이브 화상(25)이 동일한 크기의 범위에 표시되는 것을 나타내는 도면이다. 측정 대상물(2)은 촬영 위치의 변경에 따라서 배율 및 기울기에 어긋남이 생기므로, 3개의 화상을 상기 배율의 화상으로 표시하면, 도 13(a)에 도시하는 바와 같이, 화상의 치수에 차이가 생기고 있다(도면에서는 배율만이 다른 예를 나타낸다). 그런데, 표시 에어리어(26)에 있어서는, 도 13(b)에 도시하는 바와 같이, 전전번 촬영화상(27), 전번 촬영화상(21) 및 라이브 화상(25)이 동일한 크기의 범위에 표시된다. 또, 도 13(a)에 있어서의 전전번 촬영화상(27)과 전번 촬영화상(21)과의 중복영역(27o) 및 전번 촬영화상(21)과 라이브 화상(25)과의 중복영역(21o)은, 표시 에어리어(26)에서는, 도 13(b)에 도시하는 바와 같이 전전번 화상 중복영역(27a)과 전번 화상 중복영역(21a)으로 표시된다. 따라서, 각 중복영역(21a, 27a)에 있어서 각 화상의 배율이 다르고, 타이 영역(29)에서는 3개의 화상의 배율이 다르게 표시된다. 또, 측정 대상물(2)을 보는 각도가 다를 때는, 각 중복영역(21a, 27a) 및 타이 영역(29)에서 화상에 기울기가 생긴다. 거기서, 전전번 촬영화상(27), 전번 촬영화상(21) 및 라이브 화상(25)에 편위 수정 처리를 실시하여, 편위 수정 화상으로 수정하면, 각각, 배율이 동일하고 정면에서 본 화상으로 수정된다. 이것에 의해, 중복영역(21a, 27a) 및 타이 영역(29)에 있어서는, 2개 또는 3개의 화상에서의 측정 대상물(2)의 동일 부분을 대부분 일치하도록 겹치게 표시할 수 있다. 한편, 완전하게 일치하지 않는 것은 보는 방향에 따라 특징점의 위치 관계가 다소 변화하기 때문이다. 이것에 의해, 중복영역(21a) 또는 타이 영역(29)에서 전번 촬영화상(21)과 라이브 화상(25)을 좋게 일치시킬 수 있으며, 이번 촬영화상(22)의 촬영을 보다 정확하게 행할 수 있다.
[스테레오법]
도 14는 스테레오법을 설명하기 위한 도면이다. 측정 대상물(2)의 각 특징점의 삼차원 위치좌표는 스테레오법의 원리를 이용하여 측정할 수 있다. 삼차원 위치좌표의 연산은 삼차원 좌표 연산부(14)에서 행해진다. 따라서, 측정 대상물(2)의 모든 촬영 영역을 중복 촬영하는 것에 의해, 그 삼차원 형상을 구할 수 있다. 간단하게 하기 위해서, 동일한 카메라로 2개의 촬영 위치(O1, O2)로부터 촬영하고, 각각의 광축은 평행으로 카메라 렌즈의 주점(主點)으로부터 CCD면까지의 거리(c)가 동일하고, CCD는 광축에 직각으로 놓여져 있는 것으로 한다. 2개의 광축간 거리(기선 길이)를 B로 한다.
물체상의 점(P(x, y, z))과 촬영 위치(O1)에서의 촬영 화면(본 실시예에서는 전번 촬영화상의 화면)상의 점(P1(x1, y1)), 촬영 위치(O2)에서의 촬영 화면(본 실시예에서는 라이브 화상의 화면)상의 점(P2(x2, y2))의 좌표의 사이에는, 이하와 같은 관계가 있다.
x1=cx/z　　　　－－－(식 10)
y1=y2=cy/z　　　－－－(식 11)
x2-x1=cB/z　　　－－－(식 12)
단, 전체의 좌표계(x, y, z)의 원점을 촬영 위치(O1)에서의 렌즈 주점으로 취하는 것으로 한다.
(식 12)으로부터 z를 구하고, 이것을 이용하여 (식 10), (식 11)으로부터 x, y가 구해진다.
또, 각 특징점의 삼차원 좌표가 구해지면, 전번 촬영화상이나 전전번 촬영화상을 임의의 방향, 예를 들면 라이브 화상(25)의 현재 위치나 이번 촬영화상(22)의 촬영 예정 위치에서 본 화상으로 변환하여 표현할 수 있다. 또, 삼차원 모델 화상, 오르소 화상, 전체 주위 화상을 형성할 수 있다. 구해진 삼차원 좌표로부터 삼차원 화상 공간에 특징점을 배치하고 구축하면 삼차원 모델 화상, 평면도에 평행 투영으로 투영하면 오르소 화상, 중심 투영인 채로 평면상에 각 모델 화상을 투영하여 연속적으로 배열해 나가면 전체 주위 화상으로 된다. 또, 삼차원 모델 화상은 투시도나 투영도 등으로 임의의 방향으로부터 표현할 수 있다.
도 15에, 실시예 3에 관한 화상 촬영의 처리 플로우의 예를 나타낸다. 편위 수정 화상을 이용하여 표시되는 화상의 배율을 보정하는 예이다. 실시예 1의 처리 플로우의 예(도 7 참조)에 비해서, 중복방향 설정공정(S180)의 후에 표정공정(S182)과 편위 수정 화상 형성공정(S184)이 추가되어 있다. 즉, 표정부(12)에 있어서, 특징점 추출부(6)에 의해 추출된 특징점을 이용하여 촬영부(3)의 카메라의 위치와 기울기를 구하고, 편위 수정 화상 형성부(13)에 있어서, 표정부(12)에서 구해진 카메라의 위치와 기울기를 이용하여, 전번 촬영화상(21) 및 라이브 화상(25)에 편위 수정 처리를 실시하고, 편위 수정 화상을 형성한다. 표시부(4)에서, 편위 수정 화상을 이용하여 전번 촬영화상(21) 및 라이브 화상(25)을 중복 표시하는 것에 의해, 전번 촬영화상(21) 및 라이브 화상(25)에서의 측정 대상물(2)의 동일 부분을 거의 일치하도록 겹치게 표시할 수 있다. 거의 일치한다는 것은, 보는 방향에 따라 화면상의 대칭점의 위치가 다소 변화하기 때문이다. 이것에 의해, 이번 촬영화상(22)의 촬영을 보다 정확하게 행할 수 있다. 전전번 촬영화상(27), 전번 촬영화상(21) 및 라이브 화상(25)을 중복 표시하는 경우도, 타이 영역(29)에 있어서 3개의 화상에서의 측정 대상물(2)의 동일 부분을 대부분 일치하도록 겹치게 표시할 수 있으며, 이번 촬영화상의 촬영을 보다 정확하게 행할 수 있다. 그 외의 처리 플로우는 실시예 1 또는 실시예 2의 처리 플로우와 동일하다.
이상 설명한 바와 같이, 본 실시예에 의하면, 단일 카메라를 사용하여 이동하면서 촬영을 행하는 경우에, 전번 촬영화상과 이번 촬영화상과의 중복영역을 적절히 정할 수 있는 스테레오 화상 촬영장치 및 그 방법을 제공할 수 있다. 또, 편위 수정 화상을 작성하는 것에 의해, 입체로 보는 것이 가능한 형태로 전번 촬영화상(21)과 라이브 화상(25)을 겹치게 표시할 수 있으며, 촬영 예정 위치에서는 중복영역(23)에서 대부분 일치한 화상을 얻는 것이 가능하다.
실시예 4
실시예 4에서는, 실시예 3에 더하여, 촬영이 일순한 경우(측정 대상물의 주위를 일주한 경우) 표시 에어리어에 첫회에 촬영된 촬영화상인 첫회 촬영화상을 표시하는 예를 설명한다. 실시예 3과 다른 점을 주로 설명한다. 장치 구성은 실시예 3(도 10 참조)과 동일하다.
도 16에, 첫회 촬영화상에 라이브 화상을 중복하여 표시하는 예를 나타낸다. 도 16(a)에 일순하는 1개 앞의 표시 에어리어를, 도 16(b)에 일순한 경우의 표시 에어리어를 나타낸다. 대응점 탐색부(8a)는 첫회 촬영화상(28)과 라이브 화상(25)과의 스테레오 매칭(특징점의 대응시킴)을 행한다. 스테레오 매칭에 의해, 첫회 촬영화상(28)과 라이브 화상(25)에 상관관계가 얻어지고, 중복영역이 발견된 경우에, 전번 촬영화상(21)과 라이브 화상(25)이 표시되는 표시 에어리어(26)의 안에 첫회 촬영화상(28)을 표시하는 것이 가능하게 된다. 중복영역이 발견된 경우, 도 16(a)에 도시하는 바와 같이, 전번 촬영화상(21) 및 라이브 화상과 함께, 첫회 촬영화상(28) 중, 라이브 화상(25)과의 중복영역인 일주 화상 중복영역(28c)의 부분이 표시되고, 그 이외의 부분은 표시 에어리어(26) 바깥으로 된다. 전번 촬영화상(21)에서는 전번 화상 중복영역(21a)과 전번 화상 연장영역(21b)이 라이브 화상(25)의 틀에 의해 나눠서 표시되고, 라이브 화상(25)에서는 라이브 화상 중복영역(25a)과 라이브 화상 연장영역(25b)이 전번 촬영화상(21)의 틀에 의해 나눠서 표시된다. 도 16(b)에 도시하는 바와 같이, 다음의 촬영시에 일순한 경우의 표시 에어리어(26)가 표시되고, 첫회 촬영화상(28)의 일주 화상 중복영역(28c)이 전번 촬영화상(21)과 부분적으로 겹쳐지고, 적어도 첫회 화상 중복영역(28a)의 일부가 표시 에어리어(26)내에 표시 가능하게 된다. 이와 같이, 일주 화상 중복영역(28c)이 전번 촬영화상(21)과 부분적으로 겹쳐지고, 전번 촬영화상(21), 첫회 촬영화상(28) 및 라이브 화상(25)의 삼중 중복영역이 형성되는 것에 의해서, 촬영이 일순한 것을 알 수 있다. 또, 스테레오 매칭은 촬영화상과 라이브 화상을 그대로 이용하는 것도 가능하지만, 촬영화상과 라이브 화상의 편위 수정 화상을 이용하여 행하면, 고정밀도로 대응점을 검출할 수 있으며, 보다 정확하게 스테레오 매칭을 행할 수 있다.
도 17에, 본 실시예에 관한 화상 촬영의 처리 플로우의 예를 나타낸다. 촬영이 일순한 경우에 표시 에어리어(26)에 첫회 촬영화상(28)을 표시하는 예이다. 실시예 3의 처리 플로우의 예(도 15 참조)에 비해서, 편위 수정 화상 형성공정(S184)의 후에 스테레오 매칭 공정(S186)이 추가되고, 화상 표시공정(S190)의 대신에 화상 표시공정(S194)이 행해진다. 화상 표시공정(S194)에서는, 화상 표시공정(S190)에 비해서, 첫회 촬영화상(28)과 라이브 화상(25)에 중복영역이 발견된 경우에, 전번 촬영화상(21)과 라이브 화상(25)에 더해서 적어도 첫회 촬영화상(28)의 일부가 표시 에어리어(26)에 표시된다. 한편, 특징점 추출공정(S150)에서는, 특징점 추출부(6)에 있어서, 첫회의 촬영후에 첫회 촬영화상(28)의 특징점의 추출이 행해지고 있다. 스테레오 매칭 공정(S186)에서는, 첫회 촬영화상(28)과 라이브 화상(25)에 대해서 스테레오 매칭이 행해진다. 이것에 의해, 첫회 촬영화상(28)과 라이브 화상(25)과의 중복영역(일주 화상 중복영역(28c))을 구할 수 있다. 화상 표시공정(S194)에서는, 스테레오 매칭 공정(S186)에서 첫회 촬영화상(28)과 라이브 화상(25)에 중복영역이 발견된 경우에, 전번 촬영화상(21)과 라이브 화상(25)에 더해서 적어도 첫회 촬영화상(28)의 일부가 표시 에어리어(26)에 표시된다. 이것에 의해, 이번 촬영화상(22)의 촬영시에, 첫회 촬영화상(28)과의 중복을 확인하여 촬영할 수 있다. 그리고, 첫회 촬영화상(28)의 중복영역(첫회 화상 중복영역(28a))에 전번 촬영화상(21)이 일부 중복된 상태(전번 촬영화상(21), 첫회 촬영화상(28) 및 라이브 화상(25)의 삼중 중복영역이 존재하는 상태)로 이번 촬영화상(22)을 촬영한다면, 측정 대상물(2)을 전체 주위에 걸쳐서 중복 촬영을 할 수 있으며, 삼차원 좌표를 얻을 수 있다. 그 외의 처리 플로우는 실시예 3의 처리 플로우의 예와 동일하다.
또, 스테레오 매칭으로 중복영역을 발견하는 대신에 촬영 위치의 연산으로부터 중복영역을 발견할 수도 있다. 삼차원 좌표 연산부(14)는, 예를 들면 DLT법을 이용하여, 특징점 추출부(7)에 의해 추출된 라이브 화상(25) 및 첫회 촬영화상(28)에서의 측정 대상물(2)의 특징점의 화면 위치로부터 각각의 촬영 위치의 삼차원 좌표를 구한다. 라이브 화상(25)과 첫회 촬영화상(28)에서의 촬영 위치로부터, 라이브 화상(25)과 첫회 촬영화상(28)의 사이에 중복영역이 발견된 경우에, 중복영역 설정부(6)는, 첫회 촬영화상(28)에 중복영역을 일주 화상 중복영역(28c)으로서 설정한다. 예를 들면 라이브 화상(25)에서의 촬영 위치와 첫회 촬영화상(28)에서의 촬영 위치 사이의 거리가, 라이브 화상(25)에서의 촬영 위치와 전전번 촬영화상(27)에서의 촬영 위치 사이의 거리 이하로 된다면, 라이브 화상과 첫회 촬영화상(28)과는 일부 중복하므로, 중복영역이 발견된 경우에 해당한다. 중복비율은 라이브 화상(25)에서의 촬영 위치와 첫회 촬영화상(28)에서의 촬영 위치 사이의 거리로부터 연산된다. 표시부(4)는, 첫회 촬영화상(28)과 라이브 화상(25)을 일주 화상 중복영역(28c)에서 겹치게 표시한다. 화상 촬영의 처리 플로우에서는, 스테레오 매칭 공정(S186)에 대신하여 촬영 위치의 연산이 행해지지만, 그 외의 공정은 동일하다.
본 실시예에 의하면, 실시예 3과 같이, 단일 카메라를 사용하여 이동하면서 촬영을 행하는 경우에, 전번 촬영화상과 이번 촬영화상과의 중복영역을 적절히 정할 수 있는 스테레오 화상 촬영장치 및 그 방법을 제공할 수 있다. 또, 첫회 촬영화상을 표시하는 것에 의해, 촬영이 일순한 것을 알 수 있다.
실시예 5
실시예 5에서는, 실시예 3에 더하여, 촬영 방향에 따라서 전번 촬영화상과 라이브 화상의 위치와 틀이 변경되어서 표시되는 예를 설명한다. 실시예 3과 다른 점을 주로 설명한다. 장치 구성은 실시예 3(도 10 참조)과 동일하다.
도 18에, 촬영 방향에 따라서 전번 촬영화상과 라이브 화상 및 이들의 틀의 위치가 변경되어서 표시되는 예를 나타낸다. 전번 촬영화상(21)과 라이브 화상(25)과의 스테레오 매칭을 행하는 것에 의해, 전번 촬영화상(21)과 라이브 화상(25)과의 중복영역의 화상을 보다 정밀도 좋게 표현할 수 있다. 이 경우, 중복영역 설정부(6)에 있어서, 전번 촬영화상(21)과 라이브 화상(25)과의 중복영역(23)을, 전번 촬영화상(21)측에 전번측 중복영역(21c), 라이브 화상(25)측에 라이브측 중복영역(25c)으로서 설정하고, 표시부(4)에 있어서, 전번측 중복영역(21c)과 라이브측 중복영역(25c)에서 측정 대상물(2)의 동일한 부분이 대략 겹치도록 표시한다. 이와 같이 표시하면, 예를 들면, 라이브 화상(25)이 표시되어야하는 예정된 위치에 비해서 오른쪽 하측으로 비켜서 있을 때에는, 도 18에 도시하는 바와 같이, 오른쪽 하측으로 비켜서 표시된다. 이 경우, 표시 화상의 배율을 조정하면, 전번 촬영화상(21)과 라이브 화상(25)을 함께 틀을 붙여서 전체가 표시 에어리어(26)에 포함되도록 표시할 수 있다. 이것에 의해, 라이브측 중복영역(25c)이 중복영역(23)에 대해서 오른쪽 하측으로 비켜서 있는 것을 알 수 있으며, 라이브 화상의 위치를 왼쪽 위 방향으로 이동하고, 라이브측 중복영역(25c)을 중복영역(23)에 합쳐서 촬영하면 좋다. 그 외의 처리 플로우는 실시예 3의 처리 플로우의 예와 동일하다. 또, 전전번 촬영화상(27), 전번 촬영화상(21), 라이브 화상(25)의 3개의 화상을 표시하는 경우에, 전전번 촬영화상(27)과 전번 촬영화상(21)과의 스테레오 매칭을 행하는 것에 의해, 표시부(4)에서 그 중복영역도 대략 겹치도록 표시하는 것도 가능하다.
본 실시예에 의하면, 실시예 3과 동일하게, 단일 카메라를 사용하여 이동하면서 촬영을 행하는 경우에, 전번 촬영화상과 이번 촬영화상과의 중복영역을 적절히 정할 수 있는 스테레오 화상 촬영장치 및 그 방법을 제공할 수 있다. 또, 촬영 방향에 따라서 전번 촬영화상에 라이브 화상 및 이러한 틀의 위치가 변경되어서 표시되고, 라이브 화상의 차이의 방향을 시각적으로 파악할 수 있다.
실시예 6
실시예 6에서는, 중복영역 설정부는 이동방향 검출부에서 검출된 이동방향과 동일한 측에 중복영역을 설정하는 예를 설명한다. 실시예 1과 다른 점을 주로 설명한다.
도 19는, 실시예 6에 관한 스테레오 화상 촬영장치(1B)의 구성예를 나타내는 블록도이다. 실시예 1의 구성(도 1 참조)에 비해서, 특징점 추출부(7), 카메라 이동방향 판정부(8)가 없고, 이들에 대신해서 이동방향 검출부(15)가 추가되어 있다. 이동방향 검출부(15)는 GPS(Global　Positioning　System: 전체 지구 측위 시스템) 또는 관성 센서를 가지고, 촬영부(3)의 이동방향을 검출한다. GPS는 미국 국방성의 인공위성으로부터의 전파를 이용하여, 자신의 위치를 측정하는 시스템으로, 3 이상의 위성으로부터의 도착 시간의 차이로부터, 위도, 경도를 수십 m의 정밀도로 측정할 수 있으며, 자동차의 네비게이션 등에 이용되고 있다. 상대적 위치 변화(이동방향)에 대해서는, 더 고정밀도로 측정할 수 있다. 또, 관성 센서로서 압전식, 정전 용량식 등의 가속도 센서를 이용할 수 있다. 검출된 가속도를 2도(度) 적분하는 것에 의해, 위치 변화를 측정할 수 있다. 중복영역 설정부(6)는 이동방향 검출부(15)에서 검출된 이동방향과 동일한 측에 중복영역을 설정한다. 그 외의 구성은 실시예 1과 동일하다.
도 20에, 실시예 6에 관한 화상 촬영의 처리 플로우의 예를 나타낸다. 실시예 1의 처리 플로우(도 9 참조)에 비해서, 특징점 추출공정(S150)?카메라 이동방향 판정공정(S170)이 없고, 이것들에 대신해서 이동방향 검출공정(S152)이 추가되어 있다. 이동방향 검출공정(S152)에서는, GPS센서 또는 관성 센서를 이용하여, 촬영부(3)의 이동방향을 검출한다. 중복방향 설정공정(S180)에서는 이동방향 검출공정(S152)에서 검출된 이동방향과 동일한 측에 중복영역을 설정한다. 그 외의 처리는 실시예 1과 같다.
또, 촬영이 일순한 경우(대상물의 주위를 일주한 경우)에 표시 에어리어(26)에 첫회 촬영화상(28)을 표시할 수 있다. GPS 또는 관성 센서에서 검출된 라이브 화상(25)과 첫회 촬영화상(28)에 있어서의 촬영 위치로부터, 라이브 화상(25)과 첫회 촬영화상(28)의 사이에 중복영역이 발견된 경우에, 중복영역 설정부(6)는, 첫회 촬영화상(28)에 중복영역을 일주 화상 중복영역(28c)으로서 설정한다. 예를 들면 라이브 화상(25)에서의 촬영 위치와 첫회 촬영화상(28)에서의 촬영 위치 사이의 거리가, 라이브 화상(25)에서의 촬영 위치와 전전번 촬영화상(27)에서의 촬영 위치 사이의 거리 이하가 되면, 라이브 화상과 첫회 촬영화상(28)과는 일부 중복되기 때문에, 중복영역이 발견된 경우에 해당된다. 중복비율은 라이브 화상(25)에서의 촬영 위치와 첫회 촬영화상(28)에서의 촬영 위치 사이의 거리로부터 연산된다. 표시부(4)는, 첫회 촬영화상(28)과 라이브 화상(25)을 일주 화상 중복영역(28c)에서 겹치게 표시한다.
본 실시예에 의하면, 실시예 1과 동일하게, 단일 카메라를 사용하여 이동하면서 촬영을 행하는 경우에, 전번 촬영화상과 이번 촬영화상과의 중복영역을 적절히 정할 수 있는 스테레오 화상 촬영장치 및 그 방법을 제공할 수 있다.
실시예 7
실시예 7에서는, 중복영역 설정부는 입력된 이동방향과 동일한 측에 중복영역을 설정하는 예를 설명한다. 실시예 1과 다른 점을 주로 설명한다.
도 21은, 실시예 7에 관한 스테레오 화상 촬영장치(1C)의 구성예를 나타내는 블록도이다. 실시예 1의 구성(도 1 참조)에 비해서, 특징점 추출부(7), 카메라 이동방향 판정부(8)가 없어져 있다. 중복영역 설정부(6)는, 촬영자의 입력에 따라 중복영역을 설정한다. 중복영역 설정부(6)에 있어서, 전번 촬영화상(21)에 중복영역(23)의 설정을 행한다. 중복영역(23)의 설정은 중복비율과 중복방향에 대해서 행한다. 촬영부(3)의 이동방향은 미리 입력하는 것이 가능하고, 촬영자가 입력한 이동방향이 중복방향으로서 설정된다. 예를 들면 입력부(9)로부터 키보드를 이용하여 「오른쪽(측)」(이동방향), 「60(%)」(중복비율)로 입력하면, 전번 촬영화상(21)에 중복영역(23)이 틀로 둘러싸여서 표시된다. 촬영자가 예를 들면 마우스로 표시 화면의 확인 버튼을 클릭하면, 중복비율과 중복방향이 정해지고, 전번 촬영화상(21)에 중복영역(23)이 본설정된다. 그 외의 구성은 실시예 1과 동일하다.
도 22에, 실시예 7에 관한 화상 촬영의 처리 플로우의 예를 나타낸다. 실시예 1의 처리 플로우(도 7 참조)에 비해서, 특징점 추출공정(S150)?카메라 이동방향 판정공정(S170)이 없고, 또, 중복비율 설정공정(S130) 및 중복방향 설정공정(S180)에 대신해서 중복영역 설정공정(S132)이 있다. 즉, 중복영역 설정공정(S132)에서는, 촬영자의 입력에 의해 중복비율과 함께 중복방향도 본설정된다. 그 외의 처리는 실시예 1과 동일하다.
또, 촬영이 일순한 경우(대상물의 주위를 일주한 경우)에 표시 에어리어(26)에 첫회 촬영화상(28)을 표시할 수 있다. 촬영자가 일주했을 때에, 일주한 것을 입력할 수 있고, 촬영자가 일주한 것을 입력한 경우에, 중복영역 설정부(6)는, 첫회 촬영화상(28)에 일주 화상 중복영역(28c)을 설정한다. 예를 들면 일주 화상 중복영역(28c)은 촬영자가 입력한 촬영부(3)의 이동방향과 반대측으로, 중복비율은 첫회 화상 중복영역(28a)과 동일하게 설정된다. 여기서, 일주했다는 것은, 동일한 방향으로 이동하여 이번 촬영에 의해 예정된 모든 방향으로부터의 촬영이 완료되는 위치에 도달한 것을 의미한다. 예를 들면, 12 방향으로부터의 촬영을 예정하고 있던 경우, 12번째의 촬영 위치에 도달한 것을 의미한다. 표시부(4)는, 첫회 촬영화상(28)과 라이브 화상(25)을 일주 화상 중복영역(28c)에서 겹치게 표시한다.
본 실시예에 의하면, 실시예 1과 마찬가지로, 단일 카메라를 사용하여 이동하면서 촬영을 행하는 경우에, 전번 촬영화상과 이번 촬영화상과의 중복영역을 적절히 정할 수 있는 스테레오 화상 촬영장치 및 그 방법을 제공할 수 있다.
또, 본 발명은, 이상의 실시예의 플로우차트 등에 기재된 스테레오 화상 촬영 방법의 발명, 해당 방법의 발명을 스테레오 화상 촬영장치에 실행시키기 위한 프로그램으로서도 실현할 수 있다. 프로그램은 스테레오 화상 촬영장치의 내장 기억부에 축적하여 사용하여도 좋고, 외부부착의 기억장치에 축적하여 사용하여도 좋고, 인터넷으로부터 다운로드하여 사용하여도 좋다. 또, 해당 프로그램을 기록한 기록 매체로서도 실현할 수 있다.
이상, 본 발명의 실시형태에 대해서 설명했으나, 본 발명은 상기의 실시예에 한정되는 것이 아니고, 본 발명의 취지를 일탈하지 않는 범위에서 실시예에 여러 가지 변경을 더할 수 있는 것은 명백하다.
예를 들면, 실시예 2에서 설명한, 전전번 촬영화상, 전번 촬영화상 및 라이브 화상의 중복 표시를 실시예 3 내지 실시예 7에도 적용할 수 있다. 또, 실시예 3에서 설명한 편위 수정 화상의 형성, 실시예 4에서 설명한 첫회 촬영화상의 표시, 실시예 5에서 설명한 전번 촬영화상과 라이브 화상 및 이들의 틀의 위치를 변화시키는 표시를, 실시예 6 또는 실시예 7에도 적용할 수 있다. 또, 화상 처리 플로우는 적절히 변경할 수 있다. 예를 들면, 실시예 1 내지 실시예 5에서는 라이브 화상 취득전에 중복비율을 설정하는 예를 설명했지만, 촬영전에 미리 설정하는 것도 가능하다. 또, 실시예 1 내지 실시예 5에 있어서의 특징점 추적 공정을 생략할 수 있다. 또, 각 촬영 위치에서 조금 좌우로 비켜난 위치에서 스테레오 화상을 촬영하면서 위치를 이동하고, 다른 스테레오 화상과 중복시키면서 촬영을 행해도 좋다. 또, 이동방향이 상하 방향과 좌우 방향의 양쪽 모두인 경우에, 중복영역을 도 18의 촬영측 중복영역과 같이 설정하고, 표시해도 좋다. 또, 이상의 실시예에서는 라이브 화상을 일시적으로 기억하는 예를 설명했지만, 비디오 화상과 같이 재생 가능하게 기억해도 좋다. 그 외, 촬영 매수, 중복비율 등은 적절히 변경할 수 있다.
본 발명은, 측정 대상물의 삼차원 계측을 위한 촬영이나 전체 주위 화상의 촬영에 이용할 수 있다.
본 발명의 설명에 관련해서(특히 이하의 청구항에 관련해서) 이용되는 명사 및 동일한 지시어의 사용은, 본 명세서 중에서 특히 지적하거나, 명백하게 문맥과 모순되거나 하지 않는 한, 단수 및 복수의 양쪽 모두에 미치는 것이라고 해석된다. 어구 「구비한다」, 「가진다」, 「포함하는」 및 「포함한다」는, 특히 양해가 없는 한, 제약을 두지 않는 용어(open ended term)(즉 「?를 포함하지만 한정되지 않는다」라고 하는 의미)로서 해석된다. 본 명세서중의 수치 범위를 자세히 설명하면, 본 명세서 중에서 특히 지적되지 않는 한, 단지 그 범위내에 해당하는 각 값을 개개로 언급하기 위한 대략 기법(記法)으로서의 역할을 하는 것만을 의도하고 있으며, 각 값은, 본 명세서 중에서 개개로 열거되었던 바와 같이, 명세서에 편입된다. 본 명세서 중에서 설명되는 모든 방법은, 본 명세서 중에서 특히 지적되거나, 분명하게 문맥과 모순되거나 하지 않는 한, 모든 적절한 순서대로 행할 수 있다. 본 명세서 중에서 사용하는 모든 예 또는 예시적인 말의 표현(예를 들면 「등」)은, 특별히 주장하지 않는 한, 단지 본 발명을 보다 좋게 설명하는 것만을 의도하고, 본 발명의 범위에 대한 제한을 마련하는 것은 아니다. 명세서 중의 어떠한 표현도, 청구항에 기재되지 않은 요소를, 본 발명의 실시에 불가결한 것으로서 표시하는 것으로는 해석되지 않는 것으로 한다.
본 명세서 중에서는, 본 발명을 실시하기 위해 본 발명자가 알고 있는 최선의 형태를 포함하며, 본 발명의 바람직한 실시형태에 대해서 설명하고 있다. 당업자에게 있어서는, 상기 설명을 읽으면, 그들의 바람직한 실시형태의 변형이 분명하게 될 것이다. 본 발명자는, 숙련자가 적절하게 이러한 변형을 적용하는 것을 기대하고 있으며, 본 명세서 중에서 구체적으로 설명되는 이외의 방법으로 본 발명이 실시되는 것을 예정하고 있다. 따라서 본 발명은, 준거법에서 허가되어 있는 바와 같이, 본 명세서에 첨부된 청구항에 기재된 내용의 수정 및 균등물을 모두 포함한다. 게다가, 본 명세서 중에서 특히 지적하거나, 분명하게 문맥과 모순되거나 하지 않는 한, 모든 변형에 있어서의 상기 요소의 모든 편성도 본 발명에 포함된다.
1, 1A?1C : 스테레오 화상 촬영장치
2 : 측정 대상물
3 : 촬영부
4 : 표시부
5 : 기억부
6 : 중복영역 설정부
7 : 특징점 추출부
8 : 카메라 이동방향 판정부
8a : 대응점 탐색부
9 : 입력부
10 : 제어부
11 : 삼차원 위치 측정부
12 : 표정부(標定部)
13 : 편위 수정 화상 형성부
14 : 삼차원 좌표 연산부
15 : 이동방향 검출부
16 : 퍼스널 컴퓨터(PC)
21 : 전번 촬영화상
21a : 전번 화상 중복영역
21b : 전번 화상 연장영역
21c : 전번측 중복영역
21o : 전번 촬영화상과 라이브 화상과의 중복영역
22 : 이번 촬영화상
23 : 중복영역
24 : 연장영역
25 : 라이브 화상
25a : 라이브 화상 중복영역
25b : 라이브 화상 연장영역
25c : 라이브측 중복영역
26 : 표시 에어리어
27 : 전전번 촬영화상
27a : 전전번 화상 중복영역
27b : 전전번 화상 연장영역
27o : 전전번 촬영화상과 전번 촬영화상과의 중복영역
28 : 첫회 촬영화상
28a : 첫회 화상 중복영역
28c : 일주 화상 중복영역
29 : 타이 영역
51 : 촬영화상 기억부
52 : 라이브 화상 기억부
53 : 처리 화상 기억부
54 : 위치좌표 기억부

Claims (15)

  1. 측정 대상물을 단일 카메라에 의해 중복시키면서 순차적으로 촬영하는 스테레오 화상 촬영장치에 있어서,
    카메라의 위치 이동에 따라서 상기 측정 대상물의 라이브 화상을 수시로 취득하고, 적시에 상기 측정 대상물을 촬영하여 정지화상인 촬영화상을 취득하는 촬영부와;
    상기 촬영부에서 전번에 촬영된 촬영화상인 전번 촬영화상에, 상기 라이브 화상과의 중복영역을 설정하는 중복영역 설정부와;
    상기 전번 촬영화상과 상기 라이브 화상을 상기 중복영역 설정부에서 설정된 중복영역에서 겹치게 표시하고, 상기 전번 촬영화상을 상기 중복영역으로부터 상기 촬영부의 이동방향과 반대측으로 연장해서 표시하고, 상기 라이브 화상을 상기 중복영역으로부터 상기 촬영부의 이동방향과 동일한 측으로 연장해서 표시하는 표시부를 구비하는 스테레오 화상 촬영장치.
  2. 제 1 항에 있어서,
    상기 표시부는, 상기 촬영화상 및 상기 라이브 화상에 틀을 붙여서 표시하는 스테레오 화상 촬영장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    중복영역 설정부는, 상기 중복영역을 상기 전번 촬영화상의 50 내지 70%로 설정하는 스테레오 화상 촬영장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 전번 촬영화상 및 상기 라이브 화상에서의 상기 측정 대상물의 특징점을 추출하는 특징점 추출부와;
    상기 특징점 추출부에서 추출된 특징점의 상기 전번 촬영화상과 상기 라이브 화상에서의 화면 위치로부터, 상기 촬영부의 이동방향을 구하는 카메라 이동방향 판정부를 구비하고;
    상기 중복영역 설정부는, 상기 카메라 이동방향 판정부에서 판정된 이동방향과 동일한 측에, 상기 전번 촬영화상에 상기 중복영역을 설정하는 스테레오 화상 촬영장치.
  5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    GPS 또는 관성 센서를 가지고, 상기 촬영부의 이동방향을 검출하는 이동방향 검출부를 구비하고;
    상기 중복영역 설정부는 상기 이동방향 검출부에서 검출된 이동방향과 동일한 측으로, 상기 전번 촬영화상에 상기 중복영역을 설정하는 스테레오 화상 촬영장치.
  6. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 촬영부의 이동방향을 미리 입력할 수 있고, 상기 중복영역 설정부는 입력된 이동방향과 동일한 측으로, 상기 전번 촬영화상에 상기 중복영역을 설정하는 스테레오 화상 촬영장치.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 전번 촬영화상 및 상기 라이브 화상에서의 상기 측정 대상물의 특징점을 추출하는 특징점 추출부와;
    상기 특징점 추출부에 의해 추출된 특징점을 이용하여 상기 카메라의 위치와 기울기를 구하는 표정부와;
    상기 표정부에서 구해진 카메라의 위치와 기울기를 이용하여, 상기 전번 촬영화상 및 상기 라이브 화상에 편위 수정 처리를 실시하여, 편위 수정 화상을 형성하는 편위 수정 화상 형성부를 구비하고;
    상기 표시부는, 상기 편위 화상 형성부에서 형성된 편위 수정 화상을 표시하는 스테레오 화상 촬영장치.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 중복영역 설정부가 전전번에 촬영된 촬영화상인 전전번 촬영화상에 설정한 중복영역을 전전번 화상 중복영역, 상기 전번 촬영화상에 설정한 중복영역을 전번 화상 중복영역으로 하고;
    상기 표시부는, 상기 전전번 촬영화상과 상기 전번 촬영화상을 상기 전전번 화상 중복영역에서 겹치게 표시하고, 상기 전전번 촬영화상을 상기 전전번 화상 중복영역으로부터 상기 촬영부의 이동방향과 반대측으로 연장해서 표시하며, 상기 전번 촬영화상을 상기 전전번 화상 중복영역으로부터 상기 촬영부의 이동방향과 동일한 측으로 연장해서 표시하고, 상기 전번 촬영화상과 상기 라이브 화상을 상기 전번 화상 중복영역에서 겹치게 표시하며, 상기 전번 촬영화상을 상기 전번 화상 중복영역으로부터 상기 촬영부의 이동방향과 반대측으로 연장해서 표시하고, 상기 라이브 화상을 상기 전번 화상 중복영역으로부터 상기 촬영부의 이동방향과 동일한 측으로 연장해서 표시하는 스테레오 화상 촬영장치.
  9. 제 8 항에 있어서,
    상기 중복영역 설정부는, 상기 전전번 화상 중복영역과 상기 전번 화상 중복영역이 적어도 일부에서 중복되도록 상기 전전번 화상 중복영역과 상기 전번 화상 중복영역을 설정하는 스테레오 화상 촬영장치.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 전번 촬영화상 및 상기 라이브 화상에서의 상기 측정 대상물의 특징점을 추출하는 특징점 추출부와;
    상기 특징점 추출부가, 상기 라이브 화상으로부터 추출한 상기 측정 대상물의 특징점과 첫회에 촬영된 촬영화상인 첫회 촬영화상으로부터 추출한 상기 측정 대상물의 특징점과의 스테레오 매칭을 행하는 대응점 탐색부를 구비하고;
    상기 스테레오 매칭에 의해, 상기 라이브 화상과 상기 첫회 촬영화상의 사이에 중복영역이 발견된 경우에, 상기 중복영역 설정부는, 상기 중복영역을 상기 첫회 촬영화상에 일주 화상 중복영역으로서 설정하고, 상기 표시부는, 상기 첫회 촬영화상과 상기 라이브 화상을 상기 일주 화상 중복영역에서 겹치게 표시하는 스테레오 화상 촬영장치.
  11. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 전번 촬영화상 및 상기 라이브 화상에서의 상기 측정 대상물의 특징점을 추출하는 특징점 추출부와;
    상기 특징점 추출부에 의해 추출된 상기 라이브 화상 및 첫회에 촬영된 촬영화상인 첫회 촬영화상에서의 상기 측정 대상물의 특징점의 화면 위치로부터 각각의 촬영 위치의 삼차원 좌표를 구하는 삼차원 좌표 연산부를 구비하고;
    상기 라이브 화상 및 상기 첫회 촬영화상에서의 촬영 위치의 삼차원 좌표에 의해, 상기 라이브 화상과 상기 첫회 촬영화상의 사이에 중복영역이 발견된 경우에, 상기 중복영역 설정부는, 상기 첫회 촬영화상에 상기 중복영역을 일주 화상 중복영역으로서 설정하고, 상기 표시부는, 상기 첫회 촬영화상과 상기 라이브 화상을 상기 일주 화상 중복영역에서 겹치게 표시하는 스테레오 화상 촬영장치.
  12. 제 5 항에 있어서,
    상기 GPS 또는 관성 센서에서 검출된 상기 라이브 화상과 첫회에 촬영된 촬영화상인 첫회 촬영화상에서의 촬영 위치로부터, 상기 라이브 화상과 상기 첫회 촬영화상의 사이에 중복영역이 발견된 경우에, 상기 중복영역 설정부는, 상기 첫회 촬영화상에 상기 중복영역을 일주 화상 중복영역으로서 설정하고, 상기 표시부는, 상기 첫회 촬영화상과 상기 라이브 화상을 상기 일주 화상 중복영역에서 겹치게 표시하는 스테레오 화상 촬영장치.
  13. 제 6 항에 있어서,
    촬영자가 일주했을 때에, 일주한 것을 입력할 수 있고, 상기 촬영자가 일주한 것을 입력한 경우에, 상기 중복영역 설정부는, 첫회에 촬영된 촬영화상인 첫회 촬영화상에 일주 화상 중복영역을 설정하고, 상기 표시부는, 상기 첫회 촬영화상과 상기 라이브 화상을 상기 일주 화상 중복영역에서 겹치게 표시하는 스테레오 화상 촬영장치.
  14. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 전번 촬영화상 및 상기 라이브 화상에서의 상기 측정 대상물의 특징점을 추출하는 특징점 추출부와;
    상기 특징점 추출부에 의해 추출된 특징점을 이용하여 상기 촬영부의 카메라의 위치와 기울기를 구하는 표정부와, 상기 표정부에서 구해진 카메라의 위치와 기울기를 이용하여, 상기 특징점의 삼차원 좌표를 구하는 삼차원 좌표 연산부를 구비하고;
    상기 중복영역 설정부는, 상기 삼차원 좌표 연산부에서 구해진 특징점의 삼차원 좌표를 이용하여, 상기 전번 촬영화상과 상기 라이브 화상과의 중복영역을, 상기 전번 촬영화상에 전번측 중복영역으로서, 상기 라이브 화상에 라이브측 중복영역으로서 설정하고;
    상기 표시부는, 상기 전번 촬영화상과 상기 라이브 화상을, 상기 전번측 중복영역과 상기 라이브측 중복영역에서 상기 측정 대상물의 동일한 부분이 대략 겹쳐지도록, 또한 양자 모두 틀을 붙여서 전체가 표시 에어리어에 포함되도록 표시하는 스테레오 화상 촬영장치.
  15. 측정 대상물을 단일 카메라에 의해 중복시키면서 순차적으로 촬영하는 스테레오 화상 촬영 방법에 있어서;
    적시에 상기 측정 대상물을 촬영하여 정지화상인 촬영화상을 취득하는 촬영 공정과;
    카메라의 위치 이동에 따라 상기 측정 대상물의 라이브 화상을 수시로 취득하는 라이브 화상 취득공정과;
    전번에 촬영된 촬영화상인 전번 촬영화상에, 상기 라이브 화상과의 중복영역을 설정하는 중복영역 설정공정과;
    상기 전번 촬영화상과 상기 라이브 화상을 상기 중복영역 설정공정에서 설정된 중복영역에서 겹치게 표시하고, 상기 전번 촬영화상을 상기 중복영역으로부터 상기 촬영부의 이동방향과 반대측으로 연장해서 표시하며, 상기 라이브 화상을 상기 중복영역으로부터 상기 촬영부의 이동방향과 동일한 측으로 연장해서 표시하는 표시공정를 구비하는 스테레오 화상 촬영 방법.
KR1020117031677A 2009-06-02 2010-05-26 스테레오 화상 촬영장치 및 그 방법 KR20120036908A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009133378A JP5363878B2 (ja) 2009-06-02 2009-06-02 ステレオ画像撮影装置及びその方法
JPJP-P-2009-133378 2009-06-02

Publications (1)

Publication Number Publication Date
KR20120036908A true KR20120036908A (ko) 2012-04-18

Family

ID=43297649

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117031677A KR20120036908A (ko) 2009-06-02 2010-05-26 스테레오 화상 촬영장치 및 그 방법

Country Status (3)

Country Link
JP (1) JP5363878B2 (ko)
KR (1) KR20120036908A (ko)
WO (1) WO2010140513A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI435593B (zh) * 2010-12-30 2014-04-21 Altek Corp 立體影像拍攝方法
JP5954712B2 (ja) * 2011-01-13 2016-07-20 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及びそのプログラム
WO2014157348A1 (ja) * 2013-03-26 2014-10-02 凸版印刷株式会社 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
CN104880905B (zh) * 2015-05-13 2017-11-24 北京康得新三维科技有限责任公司 一种移轴立体摄影装置及方法
JP7180739B2 (ja) * 2019-06-19 2022-11-30 株式会社リコー 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
CN111105351B (zh) * 2019-12-13 2023-04-18 华中科技大学鄂州工业技术研究院 一种视频序列影像拼接方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3957888B2 (ja) * 1997-08-20 2007-08-15 株式会社リコー 撮像装置及び撮像画像合成方法
JP4178657B2 (ja) * 1999-04-12 2008-11-12 カシオ計算機株式会社 パノラマ撮影方法及び撮像装置
JP2002090820A (ja) * 2000-09-14 2002-03-27 Canon Inc 画像処理装置、画像処理システム、制御方法、及び記憶媒体
JP5087264B2 (ja) 2005-12-08 2012-12-05 株式会社トプコン 画像処理装置及びその方法
JP4889351B2 (ja) * 2006-04-06 2012-03-07 株式会社トプコン 画像処理装置及びその処理方法
JP2008098754A (ja) * 2006-10-06 2008-04-24 Olympus Imaging Corp 撮像装置、画像再生装置および撮像画像の表示方法
JP4577351B2 (ja) 2007-11-29 2010-11-10 トヨタ自動車株式会社 トルク変動吸収装置

Also Published As

Publication number Publication date
JP2010283466A (ja) 2010-12-16
WO2010140513A1 (ja) 2010-12-09
JP5363878B2 (ja) 2013-12-11

Similar Documents

Publication Publication Date Title
JP7188527B2 (ja) 魚体長さ測定システム、魚体長さ測定方法および魚体長さ測定プログラム
JP5362189B2 (ja) 画像処理装置及びその処理方法
JP5100360B2 (ja) 画像処理装置
JP4889351B2 (ja) 画像処理装置及びその処理方法
US8310563B2 (en) Imaging apparatus, imaging method, and program
JP4770924B2 (ja) 撮像装置、撮像方法、およびプログラム
JP5027747B2 (ja) 位置測定方法、位置測定装置、およびプログラム
JP4800163B2 (ja) 位置測定装置及びその方法
JP4962460B2 (ja) 撮像装置、撮像方法、およびプログラム
JP5163409B2 (ja) 撮像装置、撮像方法、およびプログラム
JP5659305B2 (ja) 画像生成装置および画像生成方法
US8379078B2 (en) Imaging apparatus, imaging method, and program
JP5027746B2 (ja) 位置測定方法、位置測定装置、およびプログラム
KR20120036908A (ko) 스테레오 화상 촬영장치 및 그 방법
JP5430138B2 (ja) 形状測定装置およびプログラム
JP2005094048A (ja) 画像補正機能付撮影装置及び方法、並びに撮影装置及び方法
JP2004531113A (ja) 注釈記入による全方位性３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法
JP3842988B2 (ja) 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体
WO2018061927A1 (ja) 情報処理装置、情報処理方法およびプログラム記憶媒体
JP4809134B2 (ja) 画像処理装置及びその処理方法
JPH10320558A (ja) キャリブレーション方法並びに対応点探索方法及び装置並びに焦点距離検出方法及び装置並びに３次元位置情報検出方法及び装置並びに記録媒体
JPH11351865A (ja) 画像計測処理方法並びに装置及び画像計測処理プログラムを記録した記録媒体
JP5209100B2 (ja) 撮像装置
JP2013061204A (ja) 空中写真画像データの対応点設定方法及び対応点設定装置並びに対応点設定プログラム
JP2010014699A (ja) 形状計測装置及び形状計測方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid