KR101783237B1

KR101783237B1 - 정보처리장치, 정보처리 시스템, 정보처리방법 및 매체

Info

Publication number: KR101783237B1
Application number: KR1020167001448A
Authority: KR
Inventors: 마사키 키타고; 토루 후쿠시마
Original assignee: 캐논 가부시끼가이샤
Priority date: 2013-06-21
Filing date: 2014-06-17
Publication date: 2017-09-29
Also published as: WO2014204009A1; CN105339757B; EP3011267A1; BR112015031939A2; EP3011267A4; US9905011B2; KR20160023790A; US20160148387A1; CN105339757A; JP2015005201A; SG11201510362TA; JP6214233B2; BR112015031939B1

Abstract

화상 데이터로부터 거리정보를 취득하는 정보처리장치는, 입력부(162)와 수순선택부(164)를 구비한다. 입력부(162)는, 화상 데이터와, 그 화상 데이터와 관련되고 거리정보를 도출하기 위한 수순을 특정하는 정보를 입력한다. 수순선택부(164)는, 거리정보를 취득하기 위한 수순을 특정하는 정보에 근거하여, 복수의 수순으로부터 적어도 하나의 수순을 선택하고, 그 선택된 수순을 사용해서 화상 데이터로부터 거리정보를 도출한다.

Description

정보처리장치, 정보처리 시스템, 정보처리방법 및 매체{APPARATUS, SYSTEM, AND METHOD FOR PROCESSING INFORMATION AND MEDIUM}

본 발명은 화상 데이터로부터 거리정보를 취득하는 정보처리장치에 관한 것이다.

디지털 카메라의 분야에 있어서, 종래의 공지된 기술은, 촬상 소자의 출력으로부터, 피사체의 화상 데이터와 추가의 정보를 추출하고, 그 정보를 화상처리에 응용하는 컴퓨터 활용 사진기술을 제공한다. 일례로서는, 디지털 카메라에 의해 취득한 화상 데이터로부터, 피사체까지의 거리정보를 취득하는 처리가 있다.

화상 데이터로부터 거리정보를 취득하는 공지의 방법으로서는, 시차가 있는 복수의 화상 데이터 중 상관에 근거하는 스테레오 매칭 방법이 있다(특허문헌 1). 다른 공지된 방법은, 합초 상태가 다른 복수의 화상 중에서 합초 상태의 차이에 근거해서 거리정보를 취득하는 방법이다(특허문헌 2).

상술한 거리정보의 취득 처리는 복잡한 계산을 필요로 하므로, 화상 데이터의 취득시에 카메라가 아닌 외부 장치로 그 처리를 실행하는 방법이 가능하다.

그렇지만, 이 방법은, 입력되는 화상 데이터의 종류에 따라서 거리정보를 취득하는 처리가 다르기 때문에, 화상 데이터마다 전용의 처리 소프트웨어와 하드웨어가 필요하고, 편리하지 않다.

일본 특허공개 2012-253444호 공보 일본 특허공개 2013-62803호 공보

본 발명은, 화상 데이터로부터 거리정보를 취득하는 처리의 편리성을 향상한다.

본 발명은, 거리정보를 도출하기 위한 화상 데이터와 이 화상 데이터에 관련되고 상기 거리 정보를 도출하는 수순을 특정하는 정보를 입력하는 입력부; 상기 수순을 특정하는 정보에 근거하여, 거리정보를 도출하기 위한 복수의 수순으로부터 적어도 하나를 선택하는 선택부; 및 상기 선택부에 의해 선택된 수순을 사용하여, 상기 화상 데이터로부터 거리정보를 도출하는 도출부를 구비하는, 정보처리장치를 제공한다.

본 발명의 또 다른 특징들은, 첨부도면을 참조하여 이하의 실시예들의 설명으로부터 명백해질 것이다.

도 1은 본 발명의 제1 실시예에 따른 정보처리 시스템의 구성을 도시한 도면이다.
도 2a는 본 발명의 제1 실시예의 카메라의 외관을 도시한 도면이다.
도 2b는 제1 실시예의 카메라의 촬상부의 구성 예를 도시한 도면이다.
도 3은 본 발명의 제1 실시예의 정보처리부의 하드웨어 구성을 도시한 도면이다.
도 4는 본 발명의 제1 실시예의 카메라의 촬상부의 구성 예를 도시한 도면이다.
도 5a 및 5b는 플렌옵틱(plenoptic) 카메라에 의한 광선을 변별하는 방법을 도시한 도면이다.
도 6은 본 발명의 제1 실시예의 카메라의 촬상부의 구성 예를 도시한 도면이다.
도 7은 본 발명의 제1 실시예의 카메라내에서 행해지는 처리의 흐름도다.
도 8은 본 발명의 제1 실시예의 화상 데이터 파일의 구조의 일례를 도시한 도면이다.
도 9a는 CPI 데이터에서 관리 데이터의 기술 예의 도면이다.
도 9b는 태그 정보와 파라미터간의 대응 관계를 도시하는 도면이다.
도 10은 본 발명의 제1 실시예의 컴퓨터내에서 행해지는 처리를 도시하는 흐름도다.
도 11은 본 발명의 제1 실시예에 따른 거리정보 취득 처리의 흐름도다.
도 12는 스테레오법을 사용하여 거리를 산출하는 수순을 도시하는 도면이다.
도 13a 및 13b는 플렌옵틱 화상의 예를 도시하는 도면이다.
도 14는 본 발명의 제1 실시예에 따른 거리정보 취득 처리의 흐름도다.
도 15는 본 발명의 제1 실시예에 따른 거리정보 취득 처리의 흐름도다.
도 16은 본 발명의 제2 실시예의 컴퓨터내에서 행해지는 처리를 도시하는 흐름도다.
도 17은 본 발명의 제3 실시예에 따른 카메라의 구성을 도시한 도면이다.
도 18은 제3 실시예의 카메라의 촬상부의 구성 예를 도시하는 도면이다.
도 19는 제3 실시예의 카메라내에서 행해지는 처리의 흐름도다.

제1 실시예

제1 실시예는, 디지털 카메라에 의해 취득된 화상 데이터로부터 피사체의 거리정보를 취득하고, 그 거리정보에 근거하여 상기 취득한 화상 데이터에 화상처리를 행하는 정보처리 시스템에 적용된다.

도 1은 제1 실시예의 구성을 도시한 도면이다.

본 실시예의 정보처리 시스템은, 카메라(100, 120, 140)를 컴퓨터(160)에 접속하여서 구성되어 있다.

카메라(100)는, 촬상부(101)와, 정보처리부(113)와, 조작부(104)와, 기억부(111)를 구비한다. 카메라(100)는, I/O인터페이스(112)를 거쳐 컴퓨터(160)와 접속되어 있다.

도 2a는 카메라(100)의 외관을 도시한 도면이다. 도 2a에 도시한 바와 같이, 카메라(100)는, 4개의 촬상부(101a∼101d)를 구비하고, 복수의 시점에서 촬영할 수 있다.

도 2b는 촬상부(101a)의 내부구성을 도시한 도면이다. 상기 촬상부 101b∼101d는 촬상부 101a와 같은 구성으로 되어 있다.

촬상부(101a)는, 촬상 렌즈(201∼203), 개구 조리개(204)(이하, 간단히 조리개라고 한다), 셔터(205), 광학 로우 패스 필터(206), 적외선 차단(IR) 필터(207), 칼라 필터(208), 촬상 소자(209) 및 A-D변환부(210)를 구비한다. 촬상 렌즈(201∼203)는, 각각, 줌렌즈(201) 및 포커스 렌즈(202, 203)이다. 유저는 상기 조리개(204)를 조정하여서 촬상부(101)에 입사되는 광량을 조정할 수 있다. 촬상 소자(209)의 예들로서는, ＣＭＯＳ나 ＣＣＤ등의 수광소자가 있다. 촬상 소자(209)로 피사체의 광량을 검지하면, 검지된 광량이 A-D변환부(210)에 의해 디지털 값으로 변환되어, 디지털 데이터로서 정보처리부(113)에 출력된다.

도 3은 정보처리부(113)의 내부구성을 도시한 도면이다. 정보처리부(113)는, ＣＰＵ(301), ＲＡＭ(302) 및 ＲＯＭ(303)을 구비하고, 이들은 시스템 버스(304)에 의해 상호 접속되어 있다.

ＣＰＵ(301)는 카메라(100)내의 구성요소들을 통괄적으로 제어하는 프로세서다. ＲＡＭ(302)은, ＣＰＵ(301)의 주 메모리나 워크 에어리어 등으로서 기능한다. ＲＯＭ(303)은, 도 7의 흐름도에 도시된 프로그램을 기억하고 있다. 정보처리부(113)는, ＲＯＭ(303)에 기억된 프로그램을, ＣＰＵ(301)가 프로그램 코드로서 판독 실행함으로써, 도 1에 도시된 구성요소들의 기능을 실현한다. 정보처리부(113)는, 상기와 아울러, 도 1에 도시된 구성요소들로서의 역할을 하는 전용의 처리 회로들을 구비하여도 된다.

조작부(104)의 예들로서는, 카메라 본체에 설치된, 버튼이나 다이얼, 터치패널 등의 입력장치가 있고, 이것으로 유저가, 촬영의 시작 또는 정지, 촬영 조건의 설정 등의 명령을 입력할 수 있다. 본 실시예에서는, 거리정보의 취득과 화상처리를 촬영시에 카메라내에서 행하는 내부처리 모드와, 그 양쪽을 화상 데이터를 외부장치에 출력하고 나서 행하는 외부처리 모드를, 유저가 설정가능하다.

기억부(111)는, 촬상부(101)에 의해 취득된 화상 데이터를 기억할 수 있는 메모리 카드 등의 불휘발성 기억 매체다.

I/O인터페이스(112)는 유니버셜 시리얼 버스(ＵＳＢ)에 의해 실현된 직렬 버스 접속을 이용할 수 있고, 대응한 ＵＳＢ커넥터(도시하지 않음)를 갖는다. 물론, 광 파이버를 이용한 ＬＡＮ접속이나, 무선접속을 이용해도 된다.

다음에, 카메라 120 및 140의 구성에 대해서 설명한다. 카메라 120 및 140의 구성은 기본적으로는 카메라 100과 같지만, 촬상부의 구조와 거리취득부에서 행해진 처리가 다르다. 카메라 100, 120 및 140의 거리취득부는, 각각, 도 11, 도 14 및 도 15에 도시된 처리들을 행한다. 그 상세에 대해서는 후술한다.

카메라(120)는 플렌옵틱 카메라다. 플렌옵틱 카메라에 의해 취득된 화상은, 다시점의 정보를 포함하고 있다. 본 실시예에서는, 플렌옵틱 카메라에 의해 취득된 화상을 플렌옵틱 화상이라고 한다.

도 4는 촬상부(121)의 내부구성을 도시한 도면이다. 촬상부(121)는, 줌렌즈(401), 포커스 렌즈(402, 403), 조리개(404), 셔터(405), 광학 로우 패스 필터(406), IR 차단 필터(407), 칼라 필터(408), 촬상 소자(409) 및 A-D변환부(410)를 구비한다. 촬상부 121은 상기 점에서 촬상부 101a와 유사한 구성을 갖지만, 그 촬상부 121은 복수의 미소한 볼록 렌즈가 배열된 마이크로렌즈 어레이(411)를 더 구비한다. 마이크로렌즈 어레이(411)는, 촬상 렌즈(401∼403)가 단일의 렌즈라고 가정하면, 그 가상 렌즈의 상평면에 배치되어 있다. 마이크로렌즈 어레이(411)를 이 가상 렌즈의 상평면에 배치함으로써, 촬상 소자(409)에 입사된 광선의 입사 방향을 구별할 수 있다.

도 5a 및 5b는, 마이크로렌즈 어레이(411)에 의해 가상 렌즈(501)로부터 사출되는 광선을 구별하는 상태를 도시하는 도면이다. 가상 렌즈(501)의 상반부로부터 사출된 광선과, 가상 렌즈(501)의 하반부로부터 사출된 광선이, 각각 촬상 소자(409)의 다른 화소영역에 조사된다. 그 화소영역들의 정보를 선택적으로 추출함으로써, 플렌옵틱 화상으로부터 다시점의 정보를 추출할 수 있다.

카메라(140)는, 디포커스로부터의 심도(depth-from-defocus)(ＤＦＤ) 기능을 갖고, 합초 상태가 다른 복수의 화상을 취득할 수 있다. 여기에서, "합초 상태가 다르다"는 것은, 렌즈의 위치, 초점거리 및 피사계 심도에 따라, 피사체상의 흐려짐 정도가 다른 것을 의미한다. ＤＦＤ의 상세에 대해서는 후술한다.

도 6은 촬상부(141)의 내부구성을 도시한 도면이다. 기본적인 구성은 촬상부 101a와 같지만, 촬상부 141은 렌즈 구동부(611)를 더 구비하여서, 촬상 렌즈(601∼603)를 구동해서 합초위치를 조정할 수 있다. 카메라(140)는, 그 렌즈(601∼603)의 구동전과 구동후에 촬영을 행함으로써, 다른 합초위치에서 복수의 화상을 취득할 수 있다.

다음에, 컴퓨터(160)의 구성에 대해서 설명한다. 컴퓨터(160)는, I/O인터페이스(161), 정보처리부(173) 및 기억부(172)를 구비한다. I/O인터페이스 161은 I/O인터페이스 112와 같이, ＵＳＢ커넥터를 갖는다. 컴퓨터(160)는 I/O인터페이스(161)를 통해 카메라(100, 120 및 140)와 접속되어 있다.

정보처리부 173의 내부구성은 도 3에 도시된 정보처리부 113과 같다. 정보처리부(173)내의 ＲＯＭ에는 도 10의 흐름도에 도시된 프로그램이 기억되어 있다.

기억부(172)는, 하드 디스크 등의 불휘발성 기억 매체이며, 카메라(100, 120, 140)로부터 출력된 화상 데이터와 컴퓨터(160)내에서 새롭게 생성된 화상 데이터 등을 기억할 수 있다.

이하, 본 실시예의 정보처리 시스템으로 행해진 처리에 대해서 설명한다. 거리정보 취득 처리, 화상처리의 상세에 대해서는 후술한다.

도 7은, 취득한 화상 데이터에, 거리정보에 근거하는 화상 처리를 실시하는 모드가 설정되었을 경우에, 카메라(100)내에서 행해진 처리의 흐름도다.

우선, 취득부(102)는, 촬상부(101)로부터 출력된 화상 데이터를 취득하고, 모드 판정부(103)에 그 화상 데이터를 출력한다(단계S701).

다음에, 모드 판정부(103)는, 조작부(104)의 조작에 의해 설정된 처리 모드를, 조작부(104)로부터의 명령 신호에 근거해서 판정한다(단계S702). 그 처리 모드가 외부처리 모드라고 판정되었을 경우, 모드 판정부(103)는 기존 메타데이터 부가부(107)에 화상 데이터를 출력하고, 단계S703의 처리로 진행한다. 그 처리 모드가 내부처리 모드라고 판정되었을 경우, 모드 판정부(103)는 거리취득부(105)에 화상 데이터를 출력하고, 단계S711의 처리로 진행한다.

그 처리 모드가 내부처리 모드라고 판정되었을 경우에는, 거리취득부(105)는 입력된 화상 데이터를 사용해서 피사체의 거리정보를 취득하고, 입력된 화상 데이터와 상기 취득한 거리정보를 서로 관련지어 화상처리부(106)에 출력한다(단계S711). 본 실시예에 있어서, 거리취득부(105)가 취득하는 거리정보는, 피사체중의 각 위치에 있어서의 거리를 나타낸 거리 맵이다. 거리 맵은 각각의 화소위치에서의 카메라로부터 피사체까지의 거리를 이차원의 거리를 나타내고, 비트 맵 데이터로서 출력된다. 여기에서, 관련 예들은, ＣＰＵ(301)가 그 정보를 판독해서 해석할 수 있도록, 화상 데이터와 거리정보를 시퀀스 데이터로서 출력하는 것과, ＲＡＭ(302)에 화상 데이터와 거리정보간의 관계를 나타내는 정보를 일시적으로 보존하는 것을 포함한다. 상기 거리 맵은 피사체까지의 정확한 거리를 도시할 필요는 없고, 예를 들면, 피사체의 영역마다 "전경", "중경" 및 "배경" 등의 상대적인 거리를 나타내는 개략적인 정보를 부가해도 된다.

다음에, 화상처리부(106)는, 입력된 화상 데이터에 관한 거리 맵에 근거하여, 상기 입력된 화상 데이터에 화상처리를 행한다(단계S712). 화상처리부(106)는, 이 화상처리에 의해 생성된 화상 데이터를 상기 입력된 화상 데이터에 한층 더 관련되게 만들어, 그 관련된 화상 데이터를 기존 메타데이터 부가부(107)에 출력한다.

다음에, 기존 메타데이터 부가부(107)는, 상기 입력된 화상 데이터에, 기존의 표준 파일 포맷으로 정의된 메타데이터를 부가하여, 거리취득용 메타데이터 부가부(108)에 화상 데이터를 출력한다(단계S703). 이에 따라, 유저가, 본 실시예의 파일 포맷을 지원하지 않는 소프트웨어를 사용했을 경우이여도, 출력된 파일을 열어서 화상을 확인할 수 있다. 부가되는 기존 메타데이터는, 기존의 표준 파일 포맷인 태그 이미지 파일 포맷(ＴＩＦＦ) 또는 Ｅｘｉｆ로 정의되어 있고, 입력된 복수매의 화상 데이터 중 하나에 대한 촬영 파라미터를 포함한다. 본 실시예에서, 이것은 촬상부(101a)에 의해 취득된 화상 데이터의 촬영 파라미터들을 포함한다. 부가되는 메타데이터의 형식은, ＴＩＦＦ 및 Ｅｘｉｆ에 한정되지 않고, 다른 표준 파일 포맷으로 정의된 형식이여도 된다. 부가되는 기존 메타데이터는, 촬상부(101a)이외의 다른 촬상부에 의해 취득된 화상 데이터의 메타데이터이여도 된다.

다음에, 거리취득용 메타데이터 부가부(108)는, 입력된 화상 데이터로부터 그 화상 데이터까지의 거리정보를 취득할 때 사용하기 위한 메타데이터를 부가하여, 화상 데이터 파일(801)로서 부호화부(109)에 출력한다(단계S704).

이하, 화상 데이터 파일(801)의 구조를 설명한다. 도 8은 본 실시예의 화상 데이터 파일(801)의 데이터 구조를 도시한 도면이다. 본 실시예의 파일 포맷에 의해, 복수의 시점에서 취득된 화상 데이터와 복수의 합초 상태에서 취득된 화상 데이터와의 양쪽을 기억할 수 있다. ＴＩＦＦ 헤더, ＴＩＦＦ 0ｔｈＩＦＤ, ＥｘｉｆＩＦＤ는 기존의 표준 파일 포맷인 ＴＩＦＦ 및 Ｅｘｉｆ로 정의된 메타데이터다. 이것들의 메타데이터는, 단계S703에 있어서 기존 메타데이터 부가부에 의해 화상 데이터에 부가된다. 컴퓨터 활용 촬상(ＣＰＩ) 데이터(802)는, 화상 데이터 파일(801)에 포함된 각 화상 데이터를 관리하기 위한 파라미터들을 포함한다. ＣＰＩ데이터(802)는, 화상 데이터 파일(801)에 포함된 화상 데이터로부터 거리정보를 취득할 때에 사용하는 파라미터들을 더 포함한다. 본 실시예에 있어서, 거리정보를 취득할 때 사용하기 위한 메타데이터는 ＣＰＩ데이터(802)다. 거리취득용 메타데이터 부가부(108)는, 그 ＣＰＩ데이터(802)를 화상 데이터에 부가한다.

ＣＰＩ데이터(802)는, 기본적으로는 관리 정보(803), 시점정보(804) 및 화상정보(805)를 포함한다. 그 ＣＰＩ데이터(802), 관리 정보(803), 시점정보(804) 및 화상정보(805)에는, 정보의 추가 및 수정이 자유롭게 행해질 수 있도록 미리 충분한 데이터 영역이 구비되어 있다.

관리 정보(803)는 화상 데이터 파일(801)을 관리하기 위한 정보를 포함한다.

ＩｍａｇｅＴｙｐｅ은, 화상 데이터 파일(801)에서 촬영 화상 데이터의 종류를 나타내는 파라미터다. 촬영 화상 데이터가 플렌옵틱 화상 데이터이면 1이 입력되고, 그렇지 않으면 0이 세트된다. 촬영 화상 데이터란, 카메라를 사용한 촬영에 의해 취득된 화상 데이터를 말한다.

ＤｅｐｔｈＭｅｔｈｏｄ는, 거리정보를 취득할 때 사용하기 위한 수순을 나타내는 파라미터다. 다시점 화상의 시차에 근거해서 거리정보가 취득되는 경우에는 1이 입력되고, 플렌옵틱 화상 데이터에서의 다시점 정보의 시차에 근거해서 거리정보가 취득되는 경우에는 2가 입력되며, ＤＦＤ법을 사용해서 거리정보가 취득되는 경우에는 3이 입력된다. 거리정보가 이미 존재하고, 추가의 거리정보가 필요하지 않을 경우에는 0이 입력된다.

ＩｍａｇｅＵｓｅｄ는, 거리정보를 취득할 때 사용하기 위한 화상 데이터의 번호로, 이는 시점번호, 그 시점중의 화상 데이터 번호의 순으로 입력된다. 이 포맷에 있어서, 각 매의 화상 데이터에는, 그 화상 데이터를 취득하는 시점의 번호와, 그 시점에서 취득된 서수 위치를 나타내는 번호가 첨부되어 있다. 예를 들면, 1번째의 시점에서 3번째로 취득된 화상 데이터에는, 시점번호 1과 그 시점중의 화상 데이터 번호 3이 첨부된다. 따라서, 시점번호 1과 화상 데이터 번호 1의 화상 데이터와 시점번호 2와 화상 데이터 번호 1의 화상 데이터를 사용할 경우, ＩｍａｇｅＵｓｅｄ에는 4개의 값 1, 1, 2, 1이 입력된다. 촬영 화상 데이터가 플렌옵틱 화상 데이터이며, ＤｅｐｔｈＭｅｔｈｏｄ가 2일 경우, 사용된 플렌옵틱 화상 데이터의 시점번호와 그 시점중의 화상 데이터 번호가 기술된다. 이 경우, 그 플렌옵틱 화상 데이터에 포함된 복수의 시점으로부터, 거리정보를 취득할 때 사용하기 위한 시점을 나타내는 파라미터가 추가된다.

ＮｕｍｂｅｒｏｆＶｉｅｗｐｏｉｎｔｓ X 및 Y는, 각각 화상 데이터 파일(801)에 포함된, 수평방향 및 수직방향의 시점수를 나타내는 파라미터다. 본 실시예에서는, 이들 양쪽은 2가 된다.

ＲｅｐｒｅｓｅｎｔａｔｉｖｅＩｍａｇｅ는, 화상 데이터 파일(801)에 포함된 복수매의 화상 데이터에서 대표 화상 데이터의 번호를 나타내는 파라미터다. ＩｍａｇｅＵｓｅｄ와 같이, 대표 화상 데이터의 번호가, 시점번호, 그 시점중의 화상 데이터의 번호의 순으로 입력된다.

ＶｉｅｗｐｏｉｎｔＯｆｆｓｅｔ는 각 시점정보에의 포인터다. 각 시점정보의 시작 어드레스가 값으로서 입력된다.

시점정보(804)에는, 화상 파일 포맷에 포함된 각각의 화상 데이터에 대응하는 시점에 관한 정보가 포함되어 있다.

ＴｒａｎｓｌａｔｉｏｎＶｅｃｔｏｒ는 그 시점의 위치 벡터이며, 기준의 시점(표준 대표 화상이 포함되는 시점)의 좌표를 (0,0,0)이라고 했을 경우의 3차원의 공간좌표가 밀리미터 단위로 입력된다. 이 파라미터를 사용함으로써, 시점간의 시차를 구할 수 있다. 달리 말하면, 이 파라미터는, 화상 데이터 파일(801)에 포함된 복수매의 화상 데이터의 시차에 관한 정보를 포함한다. 본 실시예는 4개의 촬상부(101a∼101d)가 동일 평면에 존재하고 있다고 상정하므로, 그 평면에 수직한 모든 성분은 0이 된다.

ＲｏｔａｔｉｏｎＭａｔｒｉｘ는 그 시점의 방향을 나타내는 3차원의 회전 행렬이다. 3개가 직교하는 회전축에 대한 회전각에 근거한 값이 ＲｏｔａｔｉｏｎＭａｔｒｉｘ에 입력된다.

ＳｅｎｓｏｒＳｉｚｅ X 및 Y는, 밀리미터 단위로 입력된 상기 촬상 소자의 수평방향 및 수직방향의 크기다.

ＮｕｍｂｅｒｏｆＩｍａｇｅｓ는 그 시점으로부터 취득된 화상의 매수를 나타내는 파라미터다. 예를 들면, 그 시점으로부터 2개의 화상이 취득되었을 경우에는, 2가 ＮｕｍｂｅｒｏｆＩｍａｇｅｓ에 입력된다.

ＩｍａｇｅＯｆｆｓｅｔ는, 그 시점에서 취득된 각 화상의 정보에의 포인터다. 각 취득된 화상정보의 시작 어드레스가 값으로서 입력된다.

ＮｕｍｂｅｒｏｆＤｅｐｔｈＭａｐ은, 화상 데이터 파일(801)에 포함된 그 시점에 대응하는 거리 맵의 매수다. 본 실시예에서는, 외부처리 모드가 선택되면, 이 시점에서 아직 거리 맵이 취득되지 않고 있기 때문에, 0이 입력된다.

ＤｅｐｔｈＭａｐＯｆｆｓｅｔ는 그 시점에 대응하는 거리 맵 정보에의 포인터이며, 그 거리 맵 정보의 시작 어드레스의 값을 취한다. 거리 맵 정보는, 화상 데이터 파일(801)에 포함된 거리 맵에 관한 정보를 포함한다. 거리 맵 정보의 기본적인 구성은 후술의 화상정보(805)와 같지만, 거리 맵의 양자화를 위한 파라미터가 추가된다.

화상정보(805)는 각 시점에 대응하는 화상 데이터에 관한 정보를 포함하고 있다.

우선, 화상정보(805)의 시작 부분에는, 예를 들면 ＴＩＦＦ로 정의된 일반적인 화상 파라미터가 기술된다. 예를 들면, 그 시작 부분에는, 화상의 사이즈, 해상도, 및 화소당 비트수가 기술된다.

ＦｏｃａｌＬｅｎｇｔｈ는 그 화상을 취득했을 때의 촬상 렌즈의 초점거리이고, 이는 밀리미터 단위로 입력된다.

ＯｂｊｅｃｔＤｉｓｔａｎｃｅ는, 촬상 렌즈의 위치 및 초점거리로부터 산출된 피사체의 합초면의 위치이고, 이는 밀리미터 단위로 입력된다. 상기 ＦｏｃａｌＬｅｎｇｔｈ 및 ＯｂｊｅｃｔＤｉｓｔａｎｃｅ의 차이로부터, 화상 데이터 파일(801)에 포함된 복수매의 화상 데이터 중 합초 상태의 차이를 구할 수 있다. 달리 말하면, 상기 ＦｏｃａｌＬｅｎｇｔｈ와 ＯｂｊｅｃｔＤｉｓｔａｎｃｅ는, 화상 데이터 파일(801)에 포함된 복수매의 화상 데이터 중 합초 상태의 차이에 관한 정보를 포함한다.

ＩｍａｇｅＤａｔａＯｆｆｓｅｔ는 각 화상의 실제 데이터에의 포인터이며, 그 화상 데이터의 실제 데이터의 시작 어드레스의 값을 취한다.

화상 데이터 파일(801)에는, 상기 정보와 아울러, 생성 화상 데이터 정보를 포함할 수 있다. 그 생성 화상 데이터 정보는, 예를 들면 취득된 화상 데이터를 처리하여서 생성된 화상 데이터의 정보를 포함한다. 그 생성 화상 데이터 정보의 기본적인 구성이 화상정보(805)와 같지만, 그것이 생성 화상 데이터인 것을 나타내는 파라미터나, 원래의 화상 데이터의 번호를 나타내는 파라미터 등이 추가된다.

도 9a는 ＣＰＩ데이터(802)중의 관리 데이터의 기술 예를 도시한 도면이다. 물론, ＣＰＩ데이터(802)의 기술의 형태는, 본 예에 한정되는 것이 아니다. 본 기술 예에 있어서의 관리 데이터는, 16진수의 순서로 2바이트의 태그 정보, 2바이트의 데이터 형식정보, 4바이트의 데이터 카운트 정보 및 데이터 값을 포함한다. 도 ９b는 태그 정보와 파라미터들간의 대응관계를 도시한 도면이다. 태그 정보에 근거하여, ＣＰＩ데이터(802)중의 각 파라미터가 인식된다. 데이터 형식정보는 각각의 숫자가 미리 설정된 데이터 형식에 대응한다. 본 실시예에서는, 3은 쇼트형(2바이트 단정수)에 대응하고, 4는 롱(long)형(4바이트 장정수)에 대응하고 있다. 거리취득용 메타데이터 부가부(108)는, 이러한 데이터를 화상 데이터에 부가하여, 화상 데이터 파일(801)로서 부호화부(109)에 출력한다.

다음에, 부호화부(109)는, 입력된 화상 데이터 파일(801)을 부호화 한다(단계S705). 부호화 처리는 화상 데이터마다 ＪＰＥＧ이나 ＰＮＧ등의 단시점 화상의 부호화로 행해도 되거나, 다시점 비디오 부호화(ＭＶＣ) 등의 다시점 화상의 부호화로 행해도 된다. 부호화부(109)는, 부호화된 화상 데이터 파일(801)을 출력부(110)에 출력한다.

출력부(110)는, 기억하기 위해서 부호화된 화상 데이터 파일(801)을 기억부(111)에 출력한다(단계S706).

이것이 카메라(100)의 내부에서 행해진 처리다. 카메라 120 및 140내에서 행해진 처리는 기본적으로는 카메라 100내에서 행해진 처리와 동일하지만, 거리취득부(125, 145)에서 행해진 처리(단계S711)가 다르다. 단계S711은, 카메라 100에서는 도 11의 흐름도에 해당하고, 카메라120에서는 도 14의 흐름도에 해당하고, 카메라 140에서는 도 15의 흐름도에 해당하고, 그 상세에 대해서는 후술한다.

다음에, 컴퓨터(160)내에서 행해진 처리에 대해서 설명한다. 도 10은, 컴퓨터(160)내에서 행해진 처리를 도시하는 흐름도다.

우선, 입력부(162)는 I/O인터페이스(161)를 통하여, 기억부(111, 131, 151)에 기억된 외부처리용의 화상 데이터 파일(801)을 수취하여, 복호부(163)에 입력한다(단계S1001).

다음에, 복호부(163)는, 입력부(162)에 의해 입력된 화상 데이터 파일(801)을 복호한다(단계S1002).

다음에, 수순선택부(164)는, 복호된 화상 데이터 파일(801)에 포함된 메타데이터를 판독한다(단계S1003).

다음에, 수순선택부(164)는, 그 판독된 메타데이터에 포함된 거리취득 수순을 특정하는 정보에 근거하여, 입력된 화상 데이터에 대응한 거리취득부를 상기 정보처리부(173)가 갖는 것인가 아닌가를 판단한다(단계S1004). 본 실시예에서는, ＣＰＩ데이터(802)내의 ＤｅｐｔｈＭｅｔｈｏｄ의 값에 근거해서 판단한다. ＤｅｐｔｈＭｅｔｈｏｄ가 1, 2 또는 3이 아닐 경우, 정보처리부(173)는 그 화상 데이터에 대응하는 거리취득부를 갖지 않기 때문에, 단계S1010의 처리로 진행된다. 단계S1010에서는, 에러 신호 출력부(168)는, (도시되지 않은) 통지부에 에러 신호를 출력하고, 그 통지부는 유저에게 에러를 통지하고, 정보처리부(173)는 그 처리를 종료한다. 정보처리부(173)가 대응한 거리취득부를 갖는 경우에는, 단계S1005의 처리로 진행된다.

다음에, 수순선택부(164)는, 화상 데이터 파일(801)에 포함된 메타데이터에 기재된 정보에 대응한 거리취득 수순을 선택하고, 그 수순에 대응하는 거리취득부에 화상 데이터 파일(801)을 출력한다(단계S1005). 본 실시예에서는, ＤｅｐｔｈＭｅｔｈｏｄ가 1이면 거리취득부 165에, ＤｅｐｔｈＭｅｔｈｏｄ가 2이면 거리취득부 166에, ＤｅｐｔｈＭｅｔｈｏｄ가 3이면 거리취득부 167에 화상 데이터를 출력한다. 이 판단은, 정보처리부(173)내에 기억된, ＤｅｐｔｈＭｅｔｈｏｄ와 거리취득부와의 대응관계를 나타내는 룩업 테이블에 근거해서 행해진다. 여기에서, 거리취득부(165∼167)는 동일한 소프트웨어중의 복수의 처리 모듈로서 구성되어 있다. 이러한 구성에 의해, 여러 가지 화상 데이터를 단일의 소프트웨어가 대응할 수 있어, 편리성이 향상한다. 물론, 상기 거리취득부(165∼167)는, 단일의 처리 장치중의 복수의 처리 회로로서 구성되어도 된다.

대응한 거리취득부는, 화상 데이터 파일(801)에 포함된 화상 데이터로부터 거리정보를 취득하고, 그 취득한 거리정보는, 입력된 화상 데이터 파일(801)에 한층 더 관련되어 화상처리부(169)에 출력된다(단계S1006). 이 취득된 거리정보는, 거리정보 취득에 사용되는 화상의 시점과 관련지어 화상 데이터 파일(801)에 추가된다. 다시 말해, 그 취득된 거리 맵의 화상 데이터가 화상 데이터 파일(801)에 새롭게 추가되어, 거리정보 취득에 사용되는 시점의 시점정보의 ＮｕｍｂｅｒｏｆＤｅｐｔｈＭａｐｓ와 ＤｅｐｔｈＭａｐＯｆｆｓｅｔ가 갱신된다. 시점이 다른 화상 데이터의 시차에 근거해서 거리를 구하는 처리가 행해졌을 경우, 취득된 거리정보는, 거리정보 취득에 사용된 화상 중 기준화상의 시점과 관련된다. 그 기준화상은, ＩｍａｇｅＵｓｅｄ가 나타내는 복수의 화상 중, 시점번호 및 화상번호가 최초에 기술되어 있는 화상이다. 예를 들면, 그 기준화상은 기준화상의 번호를 나타내는 메타데이터를 더욱 부가해서, 다른 방법으로 특정되어도 된다. 또한, 거리정보를 화상 데이터 파일(801)에 추가하지 않고, 처리되는 대상 화상 데이터를 추출하고, 그 추출한 화상 데이터와 취득한 거리정보만을 단일의 파일로서 화상처리부(169)에 출력하는 것이 가능하다.

다음에, 화상처리부(169)는, 취득한 거리정보를 사용해서 화상 데이터 파일(801)에 포함된 화상 데이터를 처리해서 처리된 화상 데이터를 생성하여, 화상 데이터 파일(801)과 관련지어 부호화부(170)에 출력한다(단계S1007). 이 화상처리는, 각 거리취득부(165∼167)에서 거리정보를 취득하기 위해서 사용된 상기 수순에 관계없이, 화상처리부(169)에 의해 행해진다. 화상처리부(169)는 거리취득부(165∼167)와 동일한 소프트웨어내의 단일의 처리 모듈이다. 이에 따라, 입력된 화상 데이터의 종류에 따라 복수의 처리부를 준비할 필요가 없어지기 때문에, 소프트웨어의 데이터 사이즈가 감소된다. 물론, 별개의 화상처리를 위한 또 다른 화상처리부를 준비해도 된다. 여기에서, 화상처리부(169)는, ＩｍａｇｅＵｓｅｄ를 참조하여 거리정보를 취득하는데 사용된 기준화상을 처리한다. 처리 대상의 화상은 그 기준화상에 한정되지 않고, 예를 들면 ＲｅｐｒｅｓｅｎｔａｔｉｖｅＩｍａｇｅ가 나타내는 화상을 사용해도 된다. 처리되는 대상 화상을 나타내는 새로운 메타데이터를 화상처리의 종류마다 추가하고, 그 메타데이터가 나타낸 화상을 사용해도 된다. 입력된 파일에 하나의 화상만이 포함되는 경우, 그 화상에 대하여 화상처리를 행한다.

다음에, 부호화부(170)는, 화상처리부(169)로부터 입력된 화상 데이터 파일(801)을 부호화하고, 부호화한 화상 데이터 파일(801)을 출력부(171)에 출력한다(단계S1008).

최후에, 출력부(171)는, 부호화한 화상 데이터 파일(801)을 기억부(172)에 출력한다(단계S1009).

이것이 컴퓨터(160)내에서 행해진 처리의 흐름이다. 카메라(100, 120, 140)와 컴퓨터(160)내에서 행해진 거리정보 취득 처리(단계S711)의 상세에 대해서 설명한다. 단계S711에서의 처리는, 거리취득부마다 다르다.

먼저, 거리취득부(105)에서 행해진 처리에 대해서 서술한다.

거리취득부(105)는, 촬상부(101a∼101d)에 의해 취득된 다시점 화상의 시차에 근거해서 거리정보를 취득한다. 도 11은, 거리취득부(105)에서 행해진 처리의 상세를 도시하는 흐름도다.

우선, 거리취득부(105)는 모드 판정부(103)로부터 입력된 다시점 화상 데이터를 취득한다(단계S1101).

다음에, 거리취득부(105)는, 입력된 다시점 화상 데이터로부터, 거리정보를 취득하는 기준이 되는 기준화상과, 거리정보를 취득하기 위해서 참조하는 참조화상을 선택한다(단계S1102). 본 실시예에서는, ＩｍａｇｅＵｓｅｄ에서 최초에 기재되어 있는 화상을 기준화상으로 하고, 다음에 기재되어 있는 화상을 참조화상으로 한다.

다음에, 거리취득부(105)는, 기준화상과 참조화상간의 시차를 계산한다(단계S1103). 이것을 기준시차라고 부른다. 그 기준시차는, 기준화상과 참조화상이 서로 대응하는 점을 탐색하여서 산출된다. 기준화상중의 점A에 대응하는 점을 참조화상에서 탐색하고, 대응점으로서 인식된 점A'와 점A 사이의 화상중의 x좌표의 차이가 시차로서 취득된다. 모든 화소에 대해서 대응점 탐색을 행하고, 기준시차를 산출한다.

대응점의 탐색에는 여러 가지 방법이 있다. 일례는, 영역단위로 대응점을 탐색해서 비용 값(색차)이 최소가 되는 시차를 찾는 방법이 있다. 다른 예는, 화소단위로 대응점을 탐색해서 비용 값(색차)을 산출하고, 산출한 비용 값에 대하여 엣지 유지형의 필터로 평활화를 행하여, 비용 값이 최소가 되는 시차를 찾는 방법이 있다.

다음에, 거리취득부(105)는, 상기 참조화상과 기준화상간의 시차를 계산한다(단계S1104). 이것을 참조 시차라고 부른다. 이 참조 시차는, 상기 기준시차의 산출과 같은 방법으로 산출된다. 여기에서는, 참조화상을 참조하여 대응점을 탐색하기 때문에, 그 참조화상중의 점B에 대응하는 점B'를 기준화상으로부터 탐색한다.

다음에, 거리취득부(105)는, 단계S1103에서 취득한 기준시차와 단계S1104에서 취득한 참조 시차를 화소단위로 비교하여, 시차의 대응영역과 비대응영역을 결정한다(단계S1105). 여기서, 그 대응영역은, 기준시차와 참조 시차간의 차이가 역치이하이고 시차의 신뢰도가 높은 영역이며, 상기 비대응영역은, 기준시차와 참조 시차간의 차이가 역치이상이고 시차의 신뢰도가 낮은 영역이다. 예를 들면, 피사체상이 반복된 패턴이나 오클루전(occlusion) 영역을 포함하는 경우, 그 영역의 신뢰도가 낮아지기 쉽다.

다음에, 거리취득부(105)는, 단계S1105에서 결정한 비대응영역의 기준시차를 보정한다(단계S1106). 상술한 것처럼, 비대응영역은 시차의 신뢰도가 낮으므로, 신뢰도가 높은 주위의 대응영역의 기준시차로부터 보간하여서 비대응영역의 기준시차를 보정한다.

다음에, 거리취득부(105)는, 기준시차로부터 피사체까지의 거리를 산출한다(단계S1107). 기준시차로부터의 거리산출은 스테레오법에 의해 행해진다. 도 12는 스테레오법을 사용하여 거리를 산출하는 수순을 도시하는 도면이다. 시점A 및 시점B를 갖는 평면부터 오브젝트(1201)까지의 거리d는, 각도α, β 및 기선 길이 l에 근거하여, 식 1을 사용해서 계산된다.

[수 1]

식 1

본 실시예에 있어서, 각도α 및 β는, 각각의 시점에서 촬상을 행하는 촬상부의 화각 및 단계S1106에서 얻어진 기준시차에 근거해서 결정된다. 각각의 촬상부의 화각은, ＣＰＩ데이터(802)에 포함된 ＳｅｎｓｏｒＳｉｚｅ 및 ＦｏｃａｌＬｅｎｇｔｈ의 값으로부터 산출된다. 기선 길이 l은, ＣＰＩ데이터(802)에 포함된 각 시점의 ＴｒａｎｓｌａｔｉｏｎＶｅｃｔｏｒ의 값으로부터 산출된다.

최후에, 거리취득부(105)는, 단계S1107에서 산출된 거리에 근거하여 거리 맵을 생성해서 출력한다(단계S1108). 산출된 거리는 8비트로 선형 양자화되어, 피사체중의 각 위치에서의 거리를 나타내는 비트 맵 데이터로서 출력된다.

이것이 거리취득부(105)에서 행해진 처리다. 물론, 거리취득부(105)에서 행해진 처리는, 본 실시예에서 설명한 방법에 한정되는 것이 아니고, 다시점 화상 데이터로부터 생성된 복수의 시점에서의 참조화상을 사용하는 임의의 다른 방법을 사용해도 된다.

다음에, 거리취득부(125)에서 행해진 처리에 대해서 서술한다. 도 14는 거리취득부(125)에서 행해진 처리를 도시하는 흐름도다.

거리취득부(125)는, 거리취득부(105)가 행하는 것처럼 다시점 화상의 시차에 근거해서 거리정보를 취득하지만, 카메라(120)로부터 입력된 화상 데이터가 1매의 플렌옵틱 화상 데이터이기 때문에, 거리취득부(105)와는 처리에 있어서 다르다. 예를 들면, 거리취득부(105)는 기준화상과 참조화상의 2매의 화상으로부터 대응점을 탐색하지만, 거리취득부(125)는 단일의 플렌옵틱 화상에서 대응점을 탐색한다.

도 13a 및 13b를 사용해서 플렌옵틱 화상중의 대응점을 탐색하는 방법에 대해서 서술한다. 플렌옵틱 화상에는, 도 13a에 도시한 바와 같이, 메인 렌즈의 복수의 가상 분할 영역을 지나간 광선의 추출 가능한 정보가 포함되어 있다. 본 실시예에 있어서, 메인 렌즈는 촬상 렌즈(401∼403)를 단일의 렌즈라고 가정할 때의 가상 렌즈(501)다.

도 13b에 도시한 바와 같이, 메인 렌즈의 영역a를 통과한 광선은 상기 촬상 소자상의 화소군 1301a에 입사하고, 메인 렌즈의 영역b를 통과한 광선은 상기 촬상 소자상의 화소군 1301b에 입사한다. 달리 말하면, 화소군 1301a의 출력은 렌즈 영역a에 대응하는 시점의 정보를 포함하고, 화소군 1301b의 출력은 렌즈 영역b에 대응하는 시점의 정보를 포함한다.

따라서, 대응점 탐색에 의해 두개의 시점간의 시차를 구할 경우에는, 화소군 1301a의 출력을 기준화상으로 대체하고, 화소군 1301b의 출력을 참조화상으로 대체하고, 거리취득부(105)와 같은 처리를 행하여도 된다.

거리취득부(125)에서 행해진 실제의 처리를 설명한다. 도 14는 거리취득부(125)의 처리를 도시하는 흐름도다.

우선, 거리취득부(125)는, 입력된 플렌옵틱 화상 데이터를 취득한다(단계S1401).

다음에, 거리취득부(125)는, 입력된 플렌옵틱 화상 데이터로부터, 거리정보를 취득하는 기준이 되는 기준시점과, 거리정보를 취득하기 위해서 참조하는 참조 시점을 선택한다(단계S1402). 본 실시예에서는, ＩｍａｇｅＵｓｅｄ에서 최초에 기재되어 있는 시점을 기준시점으로 하고, 다음에 기재되어 있는 시점을 참조 시점으로 한다.

다음에, 거리취득부(125)는, 기준시차를 계산한다(단계S1403). 단계S1103과는 달리, 기준시차는 기준 화소군과 참조 화소군에서의 대응점 탐색에 의해 산출된다.

다음에, 거리취득부(125)는, 참조 시차를 계산한다(단계S1404). 단계S1104와는 달리, 참조 시차는 참조 화소군과 기준 화소군에서의 대응점 탐색에 의해 산출된다.

이후, 단계S1105로부터 단계S1108까지의 처리를 행하고, 처리를 종료한다. 이것이, 거리취득부(125)에서 행해진 처리다.

다음에, 거리취득부(145)에서 행해진 처리에 대해서 서술한다. 거리취득부(145)는, 2개의 화상간의 합초 상태의 차이에 근거해서 피사체의 거리정보를 취득하는, 디포커스로부터의 심도(ＤＦＤ)법을 사용한다. 이하, ＤＦＤ법을 사용해서 거리정보를 취득하는 방법에 대해서 설명한다.

거리D1에 있는 물체가 상평면 위치d1에 투영되는 것을 생각한다. 이때, 상i1은 흐리게 넓어진다. 상i1은, 이때의 점상분포 함수ＰＳＦ1과 씬s의 콘벌루션으로 표현될 수 있다.

[수 2]

식 2

여기서, ＰＳＦ를, 착란 원을 파라미터로서 모델화하고, 상i1로부터 ＰＳＦ를 추정함으로써 착란 원이 산출 가능해진다. 아울러, 이 착란 원으로부터 결상위치를 구할 수 있어, 식 2에 의해 상기 거리를 산출할 수 있다.

그렇지만, 식 2에서는 씬s를 모르므로, 정확한 착란 원을 구할 수는 없다. 따라서, 다른 상평면 위치d2에서 촬영을 행한다. 이 상을 i2라고 한다.

씬s의 푸리에 변환을 S라고 하고, 첫 번째의 촬영 화상의 ＰＳＦ1을 푸리에 변환한 광학전달 함수(ＯＴＦ)를 ＯＴＦ1라고 하고, 두 번째의 촬영 화상의 ＯＴＦ를 ＯＴＦ2라고 하는 경우, 상i1 및 i2의 푸리에 변환은 각각 ＯＴＦ1×S, ＯＴＦ2×S로서 표현된다. 이 2개의 화상간의 비율은 다음과 같이 표현된다:

[수 3]

식 3

따라서, 씬에 의존하지 않는 비율 ＯＴＦｒ이 산출된다. 이 ＯＦＴｒ와 거리정보의 관계를 나타내는 테이블과 함수를 사용함으로써, 그 산출된 ＯＴＦｒ에 근거해서 피사체의 거리정보를 취득할 수 있다.

다음에, 본 실시예에 있어서 거리취득부(145)내에서 행해진 실제의 처리에 대해서 설명한다. 도 15는, 거리취득부(145)의 처리를 도시하는 흐름도다.

우선, 거리취득부(145)는 모드 판정부(143)로부터 입력된 2매의 화상 데이터 I1 및 I2를 취득한다(단계S1501). 거리취득부(145)는, 이 2매의 화상 데이터 I1 및 I2를 사용하여 화소단위로 전체 화소에 대해서 거리취득 처리를 행한다. 물론, 전체 화소에 대해서 거리취득 처리를 행할 필요는 없고, 수 화소마다 거리취득을 행해도 좋거나, 이와는 달리 소정 화소에 대해서만 거리취득을 행해도 된다. 또한, 거리취득 처리의 대상영역은 1화소일 필요는 없고, 복수의 화소로 이루어진 영역에 대해서 거리취득 처리를 행해도 된다. 거리취득에 사용하기 위한 화상 데이터의 수는 2매로 한정되지 않고, 3매이상의 화상 데이터가 거리취득을 위해 사용되어도 된다.

다음에, 거리취득부(145)는 화상중의 Ｘ-Ｙ좌표를 주사해서 측거 화소를 결정하고, 거리취득에 필요한 주변화소를 자른다(단계S1502). 이때, 취득된 2매의 화상 데이터 I1, I2에서 일반적으로 같은 영역을 자르는 것이 필요하다. 잘려진 화상(대상 화소와 그 주변화소를 포함하는 화상영역)을 각각 선택 영역 화상C1, C2이라고 한다. 잘라지는 영역의 사이즈는, 처리 시간을 단축하기 위해서는 작을 수 있고, 노이즈의 영향을 줄여 안정한 해를 도출하기 위해서는 어느 정도 클 수 있다. 또한, 그 잘라지는 영역 사이즈는, 그 촬영된 화상에 있어서의 흐려짐의 크기에도 의존한다. 컴팩트 디지털 카메라는 촬상 소자가 작고 흐려짐이 적기 때문에, 그 잘라지는 영역의 사이즈는 작을 수 있다. 구체적으로는, 컴팩트 디지털 카메라의 경우의 잘라진 영역의 사이즈는, 고속 처리를 위해 10화소정도가 바람직하고, 노이즈의 영향을 줄이기 위해서는 60화소정도가 바람직하고, 균형을 맞출 경우 15 내지 30화소정도가 보다 바람직하다.

다음에, 거리취득부(145)는 선택 영역 화상C1 및 C2에 대하여 푸리에 변환을 행하고, C1 및 C2를 주파수 공간(domain) 화상F1 및 F2로 변환한다(단계S1503). 이산 코사인 변환이나 웨이블릿 변환 등의 다른 변환 방법은, 연산량을 고려하여 사용되어도 된다.

다음에, 거리취득부(145)는, 2개의 주파수 공간화상F1 및 F2를 비교하여, 스펙트럼이 강한 특징적인 주파수대를 검출한다(단계S1504). 푸리에 변환한 주파수 공간 화상F1, F2은 저 주파 성분이 많으므로, 직류 성분을 제거해 대수를 취하여도 된다. 또한, 각 주파수성분의 강도는 일반적으로 주파수f에 반비례하는 것이 알려져 있으므로, 산출된 주파수 공간 화상F1, F2는, 예를 들면 주파수f에 결과를 곱하여서 주파수에 따라 보정되어도 된다. 이에 따라, 주파수 공간 화상에 있어서의 값들을 단순 비교함으로써, 보다 많이 존재하는 특징적인 주파수대를 검출할 수 있다.

다음에, 거리취득부(145)는, 단계S1504에 있어서 검출된 특징 주파수대를 통과시키는 필터ＢＦ를 생성한다(단계S1505).

다음에, 거리취득부(145)는, 필터ＢＦ를 사용해서 주파수 공간 화상F1 및 F2에 대하여 필터링을 행하고, 필터링후의 주파수 공간 화상F1' 및 F2'를 얻는다(단계S1506).

다음에, 거리취득부(145)는, 상기 화상F1' 및 F2'에 근거해서 ＯＴＦｒ를 산출한다(단계S1507).

[수 4]

식 4

여기서, S_S는 선택된 씬이다.

다음에, 거리취득부(145)는, 그 화소들의 거리정보를 결정한다(단계S1508). 본 실시예에 있어서, 거리취득부(145)는 미리 변환 테이블을 갖고, 그 변환 테이블을 참조하여 ＯＴＦｒ의 값을 거리로 변환한다. 변환 테이블에는, 촬영 파라미터, 주파수 공간이 주어졌을 경우의 ＯＴＦｒ값 및 그 ＯＴＦｒ값에 대응하는 거리가 기억되어 있다. 변환 테이블은 함수이어도 좋거나, 미리 계산된 룩업 테이블이어도 된다.

이상의 처리를, 전체 화소에 대해서 거리가 결정될 때까지 반복한다(단계S1509). 전체 화소에 대해서 거리가 결정된 후, 거리취득부(145)는 취득된 거리정보를 화상 데이터I1 및 I2와 관련지어 화상처리부(147)에 출력한다(단계S1510). 이렇게 하여, 카메라(140)내부에서는 피사체의 거리정보가 취득된다.

컴퓨터(160)내에서 행해진 거리정보의 취득 처리는, 상기 3개의 취득 처리와 같다. 거리취득부 165는 거리취득부 105와 같은 처리를 행한다. 거리취득부 166은 거리취득부 125와 같은 처리를 행한다. 거리취득부 167은 거리취득부 145와 같은 처리를 행한다.

최후에, 거리정보에 근거해서 화상처리부(106, 126, 146, 169)에 의해 행해진 화상처리의 상세에 대해서 설명한다. 본 실시예에 있어서 행해진 화상처리는, 피사체 배경을 흐리게 하고 있다.

흐리게 하는 처리는, 피사체의 영역을 복수의 부분 화상Ｐｎ(x, y)으로 분할하고, 각각의 분할된 영역에 대하여 하기의 식 5에 표시된 것 같이 정규분포 함수N(i, j)에 의해 콘벌루션 연산(필터링 연산)을 행함으로써 행해진다. 식 5에 있어서, 연산자 "＊"는, 2차원의 콘벌루션 연산을 나타내고, Ｏｎ은 각 Ｐｎ에 대한 콘벌루션 연산에 의해 생성된 처리 후의 부분 화상을 나타낸다.

[수 5]

식 5

정규분포 함수N(i, j)은,

[수 6]

식 6

으로서 나타내지고,

여기서, 변수σ은 표준편차다. σ=0인 경우, 정규분포 함수N(i, j)이 1이다.

표준편차σ을,

[수 7]

식 7

으로서 정의하고,

여기에서, f는 화상처리 제어 파라미터이며, 흐려진 화상 데이터의 피사계 심도를 나타낸다. 화상처리 제어 파라미터f는, 장착된 렌즈의 Ｆ값을 사용해서 Fδ의 값을 취하고, 이때의 δ는 허용 착란 원이다. 값ｄｎ은 각 부분 화상Ｐｎ의 대표 디포커스량(합초면으로부터의 거리)이다. 달리 말하면, 합초면으로부터의 거리가 커질수록, 흐려짐 효과가 커진다.

각 부분 화상Ｐｎ에 대하여 콘벌루션 연산하는 함수는, 식 6에 나타낸 정규분포 함수에 한정되지 않고, 다른 분포 함수를 사용하여 흐려짐 양을 제어할 수 있다. 각 부분 화상Ｐｎ에 행해진 화상처리는, 흐리게 하는 처리에 한정되지 않는다. 예를 들면, 디포커스량ｄｎ에 대응한 샤프니스(sharpness) 조정을 그 부분 화상Ｐｎ에 실행해도 된다. 또한, 예를 들면, 콘트라스트, 밝기 또는 채도를, 디포커스량ｄｎ에 따라 부분 화상Ｐｎ마다 변화시켜도 된다.

상기한 바와 같이, 본 실시예는, 여러 가지 종류의 화상 데이터로부터 피사체의 거리정보를 취득하고, 그 거리정보에 근거한 화상처리를 행할 수 있다.

본 실시예의 각 구성요소들의 기능은 아래와 같지만, 다른 구성요소가 유사한 기능을 가져도 된다.

본 실시예에 있어서, 거리취득용 메타데이터 부가부(108, 128, 148) 및 출력부(110, 130, 150)는, 거리정보를 취득하기 위한 화상 데이터와, 거리정보를 취득하기 위한 수순을 특정하는 정보를 서로 관련지어 출력하는 출력부로서 기능한다.

입력부(162)는, 거리정보를 도출하기 위한 화상 데이터와, 상기 화상 데이터와 관련되고 거리정보를 도출하기 위한 수순을 특정하는 정보를, 입력하는 입력부로서 기능한다.

수순선택부(164)는, 상기 수순을 특정하는 정보에 근거해서 복수의 수순으로부터 적어도 1개의 수순을 선택하는 선택부로서 기능한다. 거리취득부(165∼167)는, 그 선택된 수순을 사용해서 상기 화상 데이터로부터 거리정보를 도출하는 도출부들로서 기능한다. 화상처리부(169)는, 상기 취득부가 거리정보를 도출하기 위해서 사용한 수순에 관계없이 공통 화상처리부로서 기능한다.

입력부(162)는, 상기 화상 데이터와 관련되고, 상기 도출부가 거리정보를 도출하기 위해서 사용하는, 파라미터들을 입력하는 입력부로서 기능한다.

거리취득부(165∼167)는, 입력된 화상 데이터로부터 도출한 거리정보를, 입력된 화상 데이터와 관련지어 출력하는 출력부들로서 기능한다.

수순선택부(164)는, 수순을 특정하는 정보에 대응하는 수순이 있는지를 판단하는 판단부로서 기능한다.

제2 실시예

제2 실시예에서는, 상기 제1 실시예의 처리와 아울러, 카메라내에서 거리정보를 취득해서 이미 처리를 행한 화상 데이터가 컴퓨터에 입력되어, 취득된 거리정보를 사용해서 화상 데이터에 대해 화상처리를 실행한다.

상기 제1 실시예와의 차이점에 대해서 서술한다.

제2 실시예의 정보처리 시스템의 구성은, 도 1에 도시된 상기 제1 실시예와 같다. 그렇지만, 본 실시예의 정보처리부(173)내의 ＲＯＭ에는 도 16의 흐름도에 도시된 프로그램이 기억되어 있고, 정보처리부(173)는 상기 제1 실시예와는 다른 처리를 행한다. 이하, 그 처리의 상세에 대해서 설명한다. 도 10과 같은 부호가 부여된 단계들이 상기 제1 실시예와 같은 처리이므로, 그에 대한 설명을 생략한다.

우선, 입력부(162)는 I/O인터페이스(161)를 통하여, 기억부(111, 131, 151)에 기억된 내부처리용 및 외부처리용의 화상 데이터 파일(801)을 수취하여, 복호부(163)에 입력한다(단계S1601).

다음에, 단계S1002와 단계S1003의 처리를 행한다. 제2 실시예에서는, 단계S1004 전에, 입력된 화상 데이터의 메타데이터로부터, 그 화상 데이터 파일(801)이 거리정보를 포함하고 있는 것인가 아닌가를 판단한다(단계S1602). 입력된 화상 데이터 파일(801)이 거리정보를 포함하고 있는 경우에는, 단계S1007의 처리로 진행되고, 그 거리정보를 사용해서 화상처리를 행한다. 거리정보가 포함되어 있지 않는 경우에는, 단계S1004의 처리로 진행된다. 본 실시예에 있어서, 이 판단은 ＤｅｐｔｈＭｅｔｈｏｄ의 값에 근거해서 행하지만, ＮｕｍｂｅｒｏｆＤｅｐｔｈＭａｐ등 다른 판단 기준을 사용해도 된다.

상기 제1 실시예에서와 같은 처리를 행하고, 처리를 종료한다.

본 실시예에 의해, 카메라내에서 취득한 거리정보를 효과적으로 사용할 수 있어, 화상 데이터의 이용의 유연성을 더욱 증가시킬 수 있다.

제3 실시예

상기의 실시예들은, 복수의 종류의 화상 데이터를 외부의 컴퓨터에 입력하고, 그 컴퓨터가 화상처리를 행하도록 구성되어 있다. 제3 실시예는, 복수의 종류의 촬영 방법에 의해 화상 데이터를 취득 가능한 카메라내에 기억된 화상 데이터에 대해서 화상처리를 행하도록 구성된다.

도 17은 제3 실시예의 카메라(1700)의 구성을 도시한 도면이다.

카메라(1700)는, 촬상부(1701), 조작부(1704), 정보처리부(1716) 및 기억부(1709)를 구비한다.

도 18은 촬상부(1701)의 구성을 도시한 도면이다. 촬상부 1701은, 촬상부 121의 구성에 렌즈 구동부(1801)를 추가한 구성으로 되어 있고, 플렌옵틱 화상 데이터와, 합초 상태가 다른 복수매의 화상 데이터를 취득할 수 있다.

조작부(1704)는, 카메라 본체에 구비된 버튼, 다이얼 또는 터치패널 등의 입력장치이며, 이것으로 유저가, 촬영의 시작이나 정지, 촬영 조건의 설정 등의 명령을 입력할 수 있다. 본 실시예에 있어서, 유저는, 피사체의 거리정보에 근거하는 화상처리를 행하는 모드, 즉 촬영 직후에 카메라내에서 화상 처리를 행하는 그 자리(in-situ) 처리 모드와, 유저의 지시가 있을 때까지 화상처리를 행하지 않고 그 화상 데이터를 기억하는 후 처리 모드를 선택할 수 있다. 유저는, 피사체의 거리정보를 취득하는 방법, 즉 1매의 플렌옵틱 화상 데이터로부터 피사체의 거리정보를 취득하는 플렌옵틱 모드와, 합초위치가 다른 2매의 화상 데이터로부터 피사체의 거리정보를 취득하는 ＤＦＤ모드를 선택할 수 있다.

정보처리부 1716의 하드웨어의 구성은 정보처리부 113과 같지만, 정보처리부 1716내의 ＲＯＭ에는 도 19의 흐름도에 도시된 프로그램이 기억되어 있다. 정보처리부(1716)는, 플렌옵틱 화상 데이터를 사용해서 시차에 근거하는 거리취득 처리와, 합초위치가 다른 복수매의 화상 데이터를 사용해서 행한 ＤＦＤ법을 사용한 거리취득을 행할 수 있다.

기억부(1709)는, 메모리 카드 등의 불휘발성 기억 매체다.

카메라(1700)내에서 행해진 처리에 대해서 설명한다. 도 19는, 취득한 화상 데이터에, 거리정보에 근거하는 화상 처리를 실시하는 모드가 설정되었을 경우에, 그 카메라(1700)내에서 행해진 처리의 흐름도다.

우선, 취득부(1702)는, 촬상부(1701)로부터 출력된 화상 데이터를 취득하고, 모드 판정부(1703)에 그 화상 데이터를 출력한다(단계S1901).

다음에, 모드 판정부(1703)는, 조작부(1704)의 조작에 의해 설정된 처리 모드를 판정한다(단계S1902). 후 처리 모드가 설정되어 있다고 판정되었을 경우, 모드 판정부(1703)는 기존 메타데이터 부가부(1705)에 화상 데이터를 출력하고, 단계S1903의 처리로 진행한다. 그 자리 처리 모드가 설정되어 있다고 판정되었을 경우, 모드 판정부(1703)는 수순선택부(1712)에 화상 데이터를 출력하고, 단계S1910의 처리로 진행한다.

후 처리 모드가 설정되어 있다고 판정되었을 경우, 기존 메타데이터 부가부(1705)는, 입력된 화상 데이터에 기존 메타데이터를 부가하고, 거리취득용 메타데이터 부가부(1706)에 그 화상 데이터를 출력한다(단계S1903). 부가되는 기존 메타데이터는, 제1 실시예에서 부가되는 기존 메타데이터와 같다.

다음에, 거리취득용 메타데이터 부가부(1706)는, 입력된 화상 데이터에, 그 거리취득용 메타데이터를 부가하여, 화상 데이터 파일(801)로서 부호화부(1707)에 출력한다(단계S1904). 부가되는 거리취득용 메타데이터는 상기 제1 실시예와 기본적으로는 같다. ＤｅｐｔｈＭｅｔｈｏｄ의 값은 조작부(1704)에 의한 촬영 모드의 설정 명령에 근거해서 결정된다. 플렌옵틱 모드이면 2를, ＤＦＤ모드이면 3을, ＤｅｐｔｈＭｅｔｈｏｄ에 입력한다.

부호화부(1707)는, 입력된 화상 데이터 파일(801)을 부호화 하여, 출력부(1708)에 출력한다(단계S1905).

출력부(1708)는, 부호화된 화상 데이터 파일(801)을 기억부(1709)에 출력하여, 기억시킨다(단계S1906).

다음에, 판독부(1710)는, 조작부(1704)의 조작에 의하여 후 처리용으로서 출력된 화상 데이터 파일(801)에 대한 처리 시작 명령이 발행되었는가 아닌가를 판단한다(단계S1907). 그 처리 시작 명령이 발행되었을 경우, 단계S1908의 처리로 진행되어서 그 처리를 시작한다.

다음에, 판독부(1710)는, 후 처리용으로서 출력된 화상 데이터 파일(801)을 기억부(408)로부터 판독하여, 복호부(1711)에 출력한다(단계S1908).

복호부(1711)는, 상기 판독부(1710)로부터 입력된 화상 데이터 파일(801)을 복호하여, 수순선택부(1712)에 출력한다(단계S1909).

수순선택부(1712)는 입력된 화상 데이터로부터 피사체의 거리정보를 취득할 때 사용하기 위한 수순을 선택한다(단계S1910). 입력된 화상 데이터가 그 자리 처리 모드로 취득되는 경우, 수순선택부(1712)는 조작부(1704)로부터 출력된 명령 신호로부터 최적의 수순을 판단한다. 입력된 화상 데이터가, 화상 데이터 파일(801)에 포함되고 후 처리 모드로 취득된 화상 데이터일 경우에는, 수순선택부(1712)는 화상 데이터 파일(801)에 포함된 ＤｅｐｔｈＭｅｔｈｏｄ의 값으로부터 최적의 수순을 판단한다. 수순선택부(1712)는, ＤｅｐｔｈＭｅｔｈｏｄ의 값이 2일 경우에는, 거리취득부(1713)에 화상 데이터를 출력한다. ＤｅｐｔｈＭｅｔｈｏｄ의 값이 3일 경우에는, 수순선택부(1712)는, 거리취득부(1714)에 화상 데이터를 출력한다.

다음에, 거리취득부 1713 또는 1714는, 입력된 화상 데이터를 사용해서 피사체의 거리정보를 취득하고, 입력된 화상 데이터와 취득한 거리정보를 서로 관련지어 화상처리부(1715)에 출력한다(단계S1911). 그 처리의 상세는, 제1 실시예에서 설명한 것과 같다.

다음에, 화상처리부(1715)는, 입력된 화상 데이터와 관련된 거리 맵에 근거하여, 입력된 화상 데이터를 처리한다(단계S1912). 처리의 상세는, 제1 실시예에서 설명한 것과 같다. 화상처리에 의해 생성된 화상 데이터는, 입력된 화상 데이터와 한층 더 관련되어, 기존 메타데이터 부가부(1705)에 출력된다.

다음에, 기존 메타데이터 부가부(1705)는, 입력된 화상 데이터에 기존의 표준 파일 포맷에 있어서 정의되어 있는 메타데이터를 부가하여, 거리취득용 메타데이터 부가부(1706)에 그 화상 데이터를 출력한다(단계S1913). 입력된 화상 데이터가 기존 메타데이터가 부가되어 있는 후 처리용의 화상 데이터일 경우에는, 아무것도 하지 않고 거리취득용 메타데이터 부가부(1706)에 화상 데이터를 출력한다.

다음에, 거리취득용 메타데이터 부가부(1706)는, 입력된 화상 데이터에, 거리취득용 메타데이터를 부가한다(단계S1914). 입력된 화상 데이터가 이미 거리정보를 가지고 있으므로, 거리취득용 메타데이터 부가부(1706)는, ＤｅｐｔｈＭｅｔｈｏｄ에 0을 입력하여, 화상 데이터 파일(801)로서 부호화부(1707)에 출력한다.

부호화부(1707)는 거리취득용 메타데이터 부가부(1706)로부터 입력된 화상 데이터 파일(801)을 부호화 하여, 출력부(1708)에 출력한다(단계S1915).

출력부(1708)는, 입력된 화상 데이터 파일(801)을 기억부(1709)에 출력해서 기억시키고, 처리를 종료한다(단계S1916).

이렇게, 본 실시예는, 화상 데이터로부터 거리정보를 취득하는 수순을 복수 갖는 카메라에 있어서의, 그 자리 처리로 인한 부하를 감소할 수 있다.

본 실시예의 각 구성요소들의 기능이 아래와 같지만, 다른 구성요소들이 유사한 기능을 가져도 된다.

본 실시예에 있어서, 거리취득용 메타데이터 부가부(1706) 및 출력부(1708)는, 거리정보를 취득하기 위한 화상 데이터와, 거리정보를 취득하기 위한 수순을 특정하는 정보를 서로 관련지어 출력하는 출력부로서 기능한다.

기억부(1709)는, 출력부(1708)로부터 출력된, 화상 데이터와, 거리정보를 도출하기 위한 수순을 특정하는 정보를 포함하는, 화상 데이터 파일을 기억하는 기억부로서 기능한다.

판독부(1710)는, 화상 데이터 파일을 판독하는 판독부로서 기능한다.

조작부(1704)는 유저가 조작에 의해 명령 신호를 입력하는 조작부로서 기능한다.

촬상부(1701)는, 촬영에 의해 화상 데이터를 취득하는 촬영부로서 기능한다.

그 밖의 실시예

실시예들은 상기한 구성에 한정되는 것이 아니고, 또는 본 발명은 상기 복수의 실시예를 조합한 구성, 예를 들면 제3 실시예에 외부처리 장치로 화상처리를 행하는 모드를 추가한 구성을 가져도 좋다.

본 발명은, 수순선택부, 거리취득부, 및 화상처리부를 독립적인 처리 장치로서 구비한 정보처리 시스템으로서 구성되어도 된다.

거리정보를 사용해서 행해진 처리는, 화상을 흐리게 하는 것에 한정되지 않고, 거리정보와 화상의 이차원 좌표를 플로트 해서 행해진 피사체의 3D모델링이여도 된다. 취득된 거리정보는, 다시점 화상의 합성시에 대응점 탐색이나, 피사체중의 오브젝트의 사이즈 계측에 이용되어도 된다.

상기 실시예들에 있어서, 피사체의 거리정보는, 다른 시점에서 촬영된 화상이나 합초 상태가 다른 화상 등의, 동일한 피사체의 복수의 다른 화상의 정보를 사용해서 취득되었고, 또는, 거리취득부는 다른 종류의 화상 데이터를 사용해서 거리정보를 취득해도 된다. 예를 들면, 부호화된 개구를 사용한 카메라로 취득된 화상으로부터 피사체의 거리정보를 취득해도 된다. 이 경우, 물론 상기 실시예들에 표시되지 않은 수순을 사용해서 거리정보를 취득해도 된다.

수순선택부는, 거리취득 수순을 선택하기 위한 판단 기준이 되는, 거리정보를 취득하기 위한 수순을 특정하는 정보로서, 전용의 파라미터(상기 실시예에서는, ＤｅｐｔｈＭｅｔｈｏｄ)를 사용하지 않고, 다른 파라미터를 사용해도 된다. 예들로서는, 기존의 메타데이터에 포함되는 카메라의 기종명, 파일의 확장자 및 다른 파라미터나, 그것들의 조합이 있다.

또한, 거리취득부는, 화상 데이터로부터 거리정보를 취득하기 위해 2개이상의 수순을 선택해도 된다. 예를 들면, 화상 데이터 파일이 2개의 합초위치에서 촬영된 복수매의 다시점 화상 데이터를 포함할 경우에, 거리취득부는 시차에 근거하는 거리취득 처리와 ＤＦＤ법을 사용한 거리취득 처리의 양쪽을 행하여도 된다.

화상 데이터 파일의 구조는 상기 실시예에 기재된 것에 한정되지 않는다. 화상 데이터 파일은, 필요에 따라서 새로운 파라미터를 포함하여도 되거나, 상기 파라미터들을 포함할 필요는 없다. 예를 들면, 복수의 화상의 시차에 관한 정보는, 각 시점간의 기선 길이를 포함해도 된다. 복수의 화상 중에서 합초 상태의 차이에 관한 정보는, 렌즈의 f/넘버를 포함해도 된다.

복수매의 화상 데이터와, ＣＰＩ데이터(802)에 해당하는 정보를 포함하는 관리 파일을 동일한 폴더에 출력하고, 그 관리 파일에 의해 폴더중의 복수매의 화상 데이터를 관리하여도 된다. 그 폴더는 압축되어 1개의 파일로서 출력되어도 된다.

또한, 본 발명의 실시예들은, 기억매체(예를 들면, 비일시적 컴퓨터 판독 가능한 기억매체)에 레코딩된 컴퓨터 실행가능한 명령어를 판독하고 실행하여 본 발명의 상술한 실시예(들)의 하나 이상의 기능을 수행하는 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하여서 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해진 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 중앙처리장치(CPU), 마이크로처리장치(MPU) 또는 기타 회로소자 중 하나 이상을 구비하여도 되고, 별개의 컴퓨터나 별개의 컴퓨터 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)^TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.

본 발명을 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예와, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

본 출원은, 여기서 전체적으로 참고로 포함된, 2013년 6월 21일에 출원된 일본국 특허출원번호 2013-130856의 이점을 청구한다.

Claims

거리정보를 도출하기 위한 화상 데이터와, 상기 화상 데이터에 관련되고 상기 거리 정보를 도출하는 수순을 특정하는 정보를, 입력하는 입력부;
상기 수순을 특정하는 정보에 근거하여, 거리정보를 도출하기 위한 복수의 수순으로부터 적어도 하나의 수순을 선택하는 선택부;
상기 선택부에 의해 선택된 수순을 사용하여, 상기 화상 데이터로부터 거리정보를 도출하는 도출부; 및
상기 거리정보와 상기 입력된 화상 데이터에 대응하는 화상의 시점들 중 적어도 하나를 관련시키고, 상기 관련된 거리 정보를 상기 입력된 화상 데이터에 부가하는 부가부를 구비하는, 정보처리장치.
제 1 항에 있어서,
상기 입력부는, 상기 화상 데이터와 관련된 파라미터를 더 입력하고, 이 파라미터가 상기 도출부가 거리정보를 도출할 때에 사용되는, 정보처리장치.
제 2 항에 있어서,
상기 파라미터는, 복수의 화상의 시차에 관한 정보를 포함하는, 정보처리장치.
제 2 항 또는 제 3 항에 있어서,
상기 파라미터는, 복수의 화상 중에서 합초 상태의 차이에 관한 정보를 포함하는, 정보처리장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 도출된 거리정보를, 상기 화상 데이터에 관련지어 출력하는 거리출력부를 더 구비하는, 정보처리장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 도출부에 의해 도출된 거리정보에 근거하여, 상기 화상 데이터에 화상처리를 행하는 처리부를 더 구비하는, 정보처리장치.
제 6 항에 있어서,
상기 화상처리는, 상기 도출부가 거리정보를 취득하기 위해서 사용한 수순에 관계없이, 공통의 처리부에 의해 행해지는, 정보처리장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 도출부는, 상기 수순을 특정하는 정보와, 수순들과의 대응관계를 나타내는 테이블에 근거하여, 거리정보를 도출할 때 사용하기 위한 수순을 선택하는, 정보처리장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 수순을 특정하는 정보에 대응하는 수순이 존재하는가 아닌가를 판단하는 판단부를 더 구비하고,
상기 수순을 특정하는 정보에 대응하는 수순이 존재하지 않는 경우에는, 에러 신호를 출력하는, 정보처리장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 화상 데이터는, 다른 시점에서 동일한 피사체의 복수의 화상의 정보를 포함하는, 정보처리장치.
제 10 항에 있어서,
상기 복수의 수순은, 상기 복수의 화상 중에서 합초 상태의 차이에 근거해서 상기 거리정보를 도출하는 수순을 포함하는, 정보처리장치.
제 11 항에 있어서,
상기 복수의 수순은, 상기 복수의 화상의 시차에 근거해서 상기 거리정보를 도출하는 수순을 포함하는, 정보처리장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 거리정보는, 피사체중의 복수의 위치까지의 거리를 나타내는 거리 맵인, 정보처리장치.
거리정보를 도출하기 위한 화상 데이터를 취득하는 취득부;
상기 거리정보를 도출하기 위한 화상 데이터와, 상기 거리정보를 도출하기 위한 수순을 특정하는 정보를, 서로 관련지어 출력하는 출력부; 및
상기 거리정보와 상기 출력된 화상 데이터에 대응하는 화상의 시점들 중 적어도 하나를 관련시키고, 상기 관련된 거리 정보를 상기 출력된 화상 데이터에 부가하는 부가부를 구비하고,
상기 수순을 특정하는 정보는, 복수의 수순으로부터 적어도 하나의 수순을 선택할 경우와, 그 선택된 수순을 사용해서 상기 화상 데이터로부터 거리정보를 취득할 경우에 사용되는, 정보처리장치.
제 14 항에 있어서,
상기 화상 데이터는 복수매의 화상 데이터를 포함하고,
상기 출력부는, 상기 복수매의 화상 데이터 중에서 거리정보를 도출할 때 사용하기 위한 화상 데이터를 나타내는 정보와 한층 더 관련지어, 상기 화상 데이터를 출력하는, 정보처리장치.
제 14 항에 있어서,
상기 화상 데이터는 복수매의 화상 데이터를 포함하고,
상기 출력부는, 상기 복수매의 화상 데이터를, 촬영의 시점에 근거하여 복수의 시점 그룹으로 그루핑 하고, 시점위치를 나타내는 정보를 각 시점 그룹과 관련지우고, 상기 각 시점 그룹에 포함된 상기 화상 데이터에 화상번호를 할당하고, 그 화상 데이터를 출력하는, 정보처리장치.
제 16 항에 있어서,
상기 출력부는, 상기 각 시점 그룹에 포함된 상기 화상 데이터를, 각각의 합초 상태를 나타내는 정보와 관련지어 출력하는, 정보처리장치.
제 14 항에 있어서,
상기 출력부에 의해 출력된, 상기 화상 데이터와 상기 수순을 특정하는 정보를 기억하는 기억부;
상기 기억부에 기억된, 상기 화상 데이터와 상기 수순을 특정하는 정보를 판독하는 판독부; 및
상기 수순을 특정하는 정보에 근거하여 복수의 수순으로부터 적어도 하나의 수순을 선택하고, 그 선택된 수순을 사용해서 상기 화상 데이터로부터 거리정보를 취득하는 취득부를 더 구비하는, 정보처리장치.
제 18 항에 있어서,
조작에 의해 명령 신호를 입력하는 조작부를 더 구비하고,
상기 판독부는, 상기 조작부로부터 입력된 명령 신호에 근거하여, 상기 화상 데이터와 상기 수순을 특정하는 정보를 판독하는, 정보처리장치.
제 14 항 내지 제 16 항 중 어느 한 항에 있어서,
촬영에 의해 화상 데이터를 취득하는 촬영부를 더 구비하는, 정보처리장치.
출력 장치; 및
처리 장치를 구비하는, 정보처리 시스템으로서,
상기 출력 장치는,
거리정보를 도출하기 위한 화상 데이터를 입력하는 취득부;
상기 거리정보를 취득하기 위한 화상 데이터와, 거리정보를 취득할 때 사용하기 위한 수순을 특정하는 정보를, 서로 관련지어 출력하는 출력부; 및
상기 거리정보와 상기 출력된 화상 데이터에 대응하는 화상의 시점들 중 적어도 하나를 관련시키고, 상기 관련된 거리 정보를 상기 출력된 화상 데이터에 부가하는 부가부를 구비하고,
상기 처리 장치는,
상기 출력부로부터 출력된, 상기 거리정보를 취득하기 위한 화상 데이터와, 상기 수순을 특정하는 정보를, 입력하는 입력부;
상기 수순을 특정하는 정보에 근거하여, 거리정보를 도출하기 위한 복수의 수순으로부터 적어도 하나의 수순을 선택하는 선택부;
상기 선택부에 의해 선택된 수순을 사용하여 상기 화상 데이터로부터 거리정보를 도출하는 취득부; 및
상기 거리정보와 상기 입력된 화상 데이터에 대응하는 화상의 시점들 중 적어도 하나를 관련시키고, 상기 관련된 거리 정보를 상기 입력된 화상 데이터에 부가하는 부가부를 구비하는, 정보처리 시스템.
거리정보를 도출하기 위한 화상 데이터와, 이 화상 데이터에 관련되고 상기 거리 정보를 도출하는 수순을 특정하는 정보를, 입력하는 단계;
상기 수순을 특정하는 정보에 근거하여, 거리정보를 도출하기 위한 복수의 수순으로부터 적어도 하나의 수순을 선택하는 단계;
상기 선택된 수순을 사용하여, 상기 화상 데이터로부터 거리정보를 도출하는 단계; 및
상기 거리정보와 상기 입력된 화상 데이터에 대응하는 화상의 시점들 중 적어도 하나를 관련시키고, 상기 관련된 거리 정보를 상기 입력된 화상 데이터에 부가하는 단계를 구비하는, 정보처리방법.
거리정보를 도출하기 위한 화상 데이터를 취득하는 단계;
상기 거리정보를 도출하기 위한 화상 데이터와, 거리정보를 도출하기 위한 수순을 특정하는 정보를, 서로 관련지어 출력하는 단계; 및
상기 거리정보와 상기 출력된 화상 데이터에 대응하는 화상의 시점들 중 적어도 하나를 관련시키고, 상기 관련된 거리정보를 상기 출력된 화상 데이터에 부가하는 단계를 포함하고,
상기 수순을 특정하는 정보는, 복수의 수순으로부터 적어도 하나의 수순을 선택할 경우와, 그 선택된 수순을 사용해서 상기 화상 데이터로부터 거리정보를 취득할 경우에 사용되는, 정보처리방법.
출력 장치와 처리 장치를 구비하는 정보처리 시스템에 의해 실현되는 정보처리방법으로서,
상기 출력 장치가 거리정보를 도출하기 위한 화상 데이터를 취득하는 단계;
상기 출력 장치가 상기 거리정보를 도출하기 위한 화상 데이터와, 거리정보를 도출할 때에 사용하기 위한 수순을 특정하는 정보를, 상기 출력 장치와 서로 관련지어 출력하는 단계;
상기 출력장치가 상기 거리정보와 상기 출력된 화상 데이터에 대응하는 화상의 시점들 중 적어도 하나를 관련시키고, 상기 관련된 거리 정보를 상기 출력된 화상 데이터에 부가하는 단계;
상기 처리 장치가, 상기 출력 장치에 의해 출력된, 상기 화상 데이터와, 상기 수순을 특정하는 정보를, 입력하는 단계;
상기 처리 장치가, 상기 수순을 특정하는 정보에 근거하여, 거리정보를 도출하기 위한 복수의 수순으로부터 적어도 하나의 수순을 선택하는 단계;
상기 처리 장치가, 상기 선택된 수순을 사용해서 상기 화상 데이터로부터 거리정보를 취득하는 단계; 및
상기 처리장치가 상기 거리정보와 상기 입력된 화상 데이터에 대응하는 화상의 시점들 중 적어도 하나를 관련시키고, 상기 관련된 거리 정보를 상기 입력된 화상 데이터에 부가하는 단계를 구비하는, 정보처리방법.
컴퓨터에 청구항 22에 따른 방법을 실행시키는 프로그램을 기억하는 비일시적 컴퓨터 판독 가능한 매체.
컴퓨터에 청구항 23에 따른 방법을 실행시키는 프로그램을 기억하는 비일시적 컴퓨터 판독 가능한 매체.
컴퓨터에 청구항 24에 따른 방법을 실행시키는 프로그램을 기억하는 비일시적 컴퓨터 판독 가능한 매체.