KR100906918B1 - 검색 시스템 및 검색 방법 - Google Patents

Abstract

검색원 프린트 아웃(1)을 포함하는 피사체를 디지털 카메라(10)에 의해 촬상하면, 그 디지털 카메라(10)는, 그 촬영한 화상 데이터로부터, 상기 검색원 프린트 아웃(1)에 대응하는 영역을 추출하고, 그 추출한 영역의 특징량을 추출하며, 특징량에 의해 화상 데이터가 검색 가능한 데이터베이스가 구축된 스토리지(20)에 액세스하여, 상기 추출한 특징량에 의해, 상기 데이터베이스로부터, 상기 검색원 프린트 아웃(1)의 원화상 데이터를 검색한다.

촬상부, 스토리지, 디지털 카메라, 검색원 프린트 아웃, 인덱스 프린트, 특징량 추출부, 템플릿 데이터, 데이터베이스

Description

검색 시스템 및 검색 방법{RETRIEVAL SYSTEM AND RETRIEVAL METHOD}

본 발명은, 데이터베이스로부터 화상 데이터를 검색하는 검색 시스템 및 검색 방법에 관한 것이다.

근년, 디지털 카메라로 촬영한 화상 데이터에 대해서도, 은염 카메라로 촬영한 화상과 마찬가지로, 그것을 프린트 아웃하여 즐기는 것이 널리 행하여지고 있다.

그와 같이 프린트 아웃하게 된 화상 데이터를 재프린트하고자 할 때, 그 화상 데이터의 부대 정보(파일명, 촬영 일시, 등)를 참고로, 화상 기억 매체로부터 유저가 검색해야만 하여, 매우 수고스러운 것이었다.

따라서, 예를 들면, 일본 특개 2001-88374호 공보에는, 화상 데이터 공급원으로부터 한번 프린트 아웃한 화상의 데이터를 간이하게 찾아내는 것을 목적으로, 프린트 아웃한 화상 데이터를 보존해 놓고, 키워드 검색 등을 행할 수 있도록 한 스토리지 프린터가 제안되어 있다.

<발명의 개시>

그러나, 상기 일본 특개 2001-88374호 공보에 개시된 스토리지 프린터에서는, 화상 그 자체로 검색하는 것이 아니기 때문에, 결국 프린터에 내재하는 메모리 영역에 다수의 화상 데이터가 포함되어 있는 경우에는, 재프린트 아웃 화상 후보가 다수 표시되어, 유저의 선택에 수고가 든다고 하는 과제가 생긴다.

본 발명은, 상기한 점을 감안하여 이루어진 것으로, 프린트 아웃한 화상의 원화상 데이터를 용이하게 찾아내는 것이 가능한 검색 시스템 및 검색 방법을 제공하는 것을 목적으로 한다.

본 발명의 검색 시스템의 일 양태는, 프린트 아웃 화상을 포함하는 피사체를 촬상 수단에 의해 촬상한 화상 데이터로부터, 상기 프린트 아웃 화상에 대응하는 영역을 추출하는 영역 추출 수단과, 상기 영역 추출 수단에 의해 추출한 영역의 특징량을 추출하는 특징량 추출 수단과, 특징량에 의해 화상 데이터가 검색 가능한 데이터베이스에 액세스하여, 상기 특징량 추출 수단에 의해 추출한 특징량에 의해, 상기 데이터베이스로부터 화상 데이터를 검색하는 검색 수단을 구비하는 것을 특징으로 한다.

또한, 본 발명의 검색 방법의 일 양태는, 프린트 아웃한 화상에 기초하여 화상 데이터를 검색하는 검색 방법으로서, 프린트 아웃 화상을 포함하는 피사체를 촬상 수단에 의해 촬상한 화상 데이터로부터, 상기 프린트 아웃 화상에 대응하는 영역을 추출하고, 상기 추출한 영역의 특징량을 추출하고, 특징량에 따라서 화상 데이터가 검색 가능한 데이터베이스에 액세스하여, 상기 추출한 특징량에 의해, 상기 데이터베이스로부터 화상 데이터를 검색하는 것을 특징으로 한다.

또한, 본 발명의 검색 시스템의 다른 양태는, 피사체를 촬상하는 촬상 수단과, 상기 촬상 수단에 의해 촬영한 영역의 특징량을 추출하는 특징량 추출 수단과, 특징량에 의해 화상 데이터가 검색 가능한 화상 데이터베이스에 액세스하여, 상기 특징량 추출 수단에 의해 추출한 특징량에 의해, 상기 화상 데이터베이스로부터 화상 데이터를 검색하는 검색 수단과, 상기 검색 수단의 검색 결과를 복수 표시하는 표시 수단을 구비하는 것을 특징으로 한다.

도 1은 본 발명의 제1 실시예에 따른 검색 시스템의 개략적인 구성을 도시하는 도면.

도 2는 제1 실시예에 따른 검색 시스템의 블록 구성도.

도 3은 제1 실시예에 따른 검색 시스템의 동작 플로우차트를 도시하는 도면.

도 4는 프린트 아웃의 잘라내기 처리의 상세 플로우차트를 도시하는 도면.

도 5는 DB와의 매칭 처리의 상세 플로우차트를 도시하는 도면.

도 6은 DB와의 매칭 처리의 다른 예의 상세 플로우차트를 도시하는 도면.

도 7은 화상 후보를 1점만 표시하는 경우의 디지털 카메라의 표시부의 표시 화면을 도시하는 도면.

도 8은 9점의 화상 후보를 표시하는 경우의 표시 화면을 도시하는 도면.

도 9는 특징량 데이터베이스의 작성 방법을 설명하기 위한 플로우차트를 도시하는 도면.

도 10은 특징량 데이터베이스의 작성 방법의 다른 예를 설명하기 위한 플로우차트를 도시하는 도면.

도 11은 특징량 데이터베이스의 작성 방법의 또 다른 예를 설명하기 위한 플로우차트를 도시하는 도면.

도 12는 특징량 데이터베이스의 작성 방법의 다른 예를 설명하기 위한 플로우차트를 도시하는 도면.

도 13은 간판으로서 역의 역명 표시판을 촬영한 경우의 동작 개념을 설명하기 위한 도면.

도 14는 지도 상에 사진을 표시한 예를 도시하는 도면.

도 15는 지도 상에 사진을 표시한 다른 예를 도시하는 도면.

도 16은 사진이 많은 경우의 지도 상에의 사진의 표시예를 도시하는 도면.

도 17은 사진이 많은 경우의 지도 상에의 사진의 다른 표시예를 도시하는 도면.

도 18은 본 발명의 제2 실시예에 따른 검색 시스템의 블록 구성도.

도 19는 제2 실시예에 따른 검색 시스템의 동작 플로우차트를 도시하는 도면.

도 20은 프린트 아웃의 촬상 처리의 상세 플로우차트를 도시하는 도면.

도 21은 특징량 데이터베이스의 작성 방법을 설명하기 위한 플로우차트를 도시하는 도면.

도 22는 본 발명의 제3 실시예에 따른 검색 시스템이 적용된 카메라 부착 휴대 전화기의 블록 구성도.

도 23은 본 발명의 제4 실시예에 따른 검색 시스템의 동작 플로우차트를 도 시하는 도면.

도 24는 본 발명의 제5 실시예에 따른 검색 시스템에서 이용되는 개요 템플릿을 설명하기 위한 도면.

도 25는 제5 실시예에 따른 검색 시스템에서 이용되는 상세 템플릿을 설명하기 위한 도면.

도 26은 원화상 데이터와 개요 템플릿 및 상세 템플릿의 위치 관계를 설명하기 위한 도면.

도 27은 제5 실시예에 따른 검색 시스템의 동작 플로우차트를 도시하는 도면.

도 28은 화상 데이터의 중앙부에 주목한 상세 템플릿을 설명하기 위한 도면.

도 29는 화상 내에 수개소 분산 배치한 상세 템플릿을 설명하기 위한 도면.

도 30은 주목 영역을 원화상 데이터 촬영 시의 합초 위치에 둔 상세 템플릿을 설명하기 위한 도면.

도 31은 개요 템플릿과 상세 템플릿을 동일 화상에 넣은 복합 템플릿을 설명하기 위한 도면.

도 32는 16×16 템플릿과, 128×128 템플릿과, 그들을 조합한 복합 템플릿을 도시하는 도면.

도 33은 개요 템플릿과 동일한 영역에 대하여 작성한 상세 템플릿을 설명하기 위한 도면.

도 34는 본 발명의 제6 실시예에 따른 검색 시스템의 동작 플로우차트를 도 시하는 도면.

도 35는 본 발명의 제7 실시예에서의 프린트 아웃의 잘라내기 처리의 상세 플로우차트를 도시하는 도면.

도 36은 제7 실시예에서 사용하는 엣지 추출 필터를 설명하기 위한 도면.

도 37은 하프 변환을 설명하기 위한 도면.

도 38은 촬영 화상 시야 내에 주목 영역이 1개밖에 없는 경우의 직선의 추출의 예를 도시하는 도면.

도 39는 복수의 주목 영역이 있는 경우의 직선의 추출의 예를 도시하는 도면.

도 40은 본 발명의 제8 실시예에서의 프린트 아웃의 잘라내기 처리의 상세 플로우차트를 도시하는 도면.

도 41은 제8 실시예에서의 가이드 틀과, 그에 의해 구획된 상변 영역, 하변 영역, 좌변 영역, 및 우변 영역을 설명하기 위한 도면.

도 42는 제8 실시예에서의 프린트 아웃의 잘라내기 처리의 상세 플로우차트를 도시하는 도면.

도 43은 촬영 화상 데이터와 각 직선 추출 영역의 화상 데이터의 관계를 설명하기 위한 도면.

도 44는 각 직선 추출 영역에서의 각 변의 존재 각도 범위를 설명하기 위한 도면.

도 45는 각 직선 추출 영역으로부터 직선을 추출하는 처리의 상세 플로우차 트를 도시하는 도면.

도 46은 화상 데이터를 표시한 표시 디바이스의 촬영 시의 디지털 카메라의 표시예를 도시하는 도면.

도 47은 관심 영역 추출 처리 종료 시의 표시예를 도시하는 도면.

<발명을 실시하기 위한 최량의 형태>

이하, 본 발명을 실시하기 위한 최량의 형태를 도면을 참조하여 설명한다.

[제1 실시예]

본 발명의 제1 실시예에 따른 검색 시스템은, 도 1에 도시하는 바와 같이, 디지털 카메라(10)와, 스토리지(20)와, 프린터(30)로 구성된다. 여기서, 스토리지(20)는, 복수의 화상 데이터를 저장하는 것이고, 프린터(30)는, 그 스토리지(20)에 저장된 화상 데이터를 프린트 아웃한다.

예를 들면, 스토리지(20)는, 디지털 카메라(10)에 내장 내지는 착탈 가능한 메모리이고, 프린터(30)는, 디지털 카메라(10)로부터의 프린트 아웃 지시에 따라서, 그 스토리지(20)인 메모리 내의 화상 데이터를 프린트 아웃한다. 혹은, 스토리지(20)는, 디지털 카메라(10)에 접속 단자, 케이블, 혹은 무선/유선 네트워크를 통하여 접속되거나, 혹은, 디지털 카메라(10)로부터 떼어내어진 메모리를 장착하여, 화상 데이터를 전송 가능한 디바이스이어도 된다. 그 경우에는, 프린터(30)는, 스토리지(20)에 접속 또는 일체적으로 구성되며, 디지털 카메라(10)로부터의 프린트 아웃 지시에 따라서 프린트 아웃을 실행하는 것이어도 된다.

또한, 스토리지(20)는, 특징량에 의해 화상 데이터가 검색 가능하게 구성된 데이터베이스의 기능도 구비한다. 즉, 스토리지(20)는, 원화상의 디지털 데이터로부터 작성된 특징량 데이터(템플릿)군을 저장한 특징량 데이터베이스를 구성하고 있다.

이와 같은 구성의 검색 시스템은, 이하와 같이 동작한다.

(1) 우선, 디지털 카메라(10)는, 프린터(30)에 의해 일단 프린트 아웃된 검색원 프린트 아웃(1)의 화상을 포함하는 피사체를 촬영한다. 그리고, 얻어진 촬영 화상 데이터로부터, 그 검색원 프린트 아웃(1)의 화상에 대응하는 영역을 추출하고, 그 추출한 영역의 특징량을 추출한다.

(2) 그리고, 디지털 카메라(10)는, 그 추출한 특징량에 의해 스토리지(20)에 저장된 템플릿과 템플릿 매칭 처리를 실행한다.

(3) 그 결과, 디지털 카메라(10)는, 매치한 템플릿에 대응하는 화상 데이터를, 상기 검색원 프린트 아웃(1)의 원화상 데이터인 것으로서, 스토리지(20)로부터 읽어낸다.

(4) 이에 의해, 디지털 카메라(10)는, 그 읽어낸 원화상 데이터를, 다시, 프린터(30)로 프린트 아웃할 수 있다.

또한, 검색원 프린트 아웃(1)으로서는, 1매 단위로 출력된 프린트 아웃 이외에, 복수의 축소 화상을 통합하여 출력한 인덱스 프린트를 사용하는 것도 가능하다. 이것은, 인덱스 프린트로부터 필요한 것을 선택하여, 추가 인화하는 쪽이 코스트면이나 편리성이 좋기 때문이다.

또한, 검색원 프린트 아웃(1)에 대해서는, 시스템 내의 스토리지(20)에 구성한 특징량 데이터베이스에 원화상 데이터가 있는 화상이면, 시스템 밖(도시 생략)의 프린터로 프린트 아웃한 것이어도 된다.

이하, 본 제1 실시예에 따른 검색 시스템을, 도 2에 도시하는 블록 구성도 및 도 3에 도시하는 동작 플로우차트를 참조하여, 상세하게 설명한다. 또한, 디지털 카메라(10)는, 통상의 촬영 모드와는 별도로, 촬영된 데이터의 검색 모드를 갖고, 도 3의 동작 플로우차트는, 그 검색 모드로 설정되어 있는 경우의 처리를 도시하고 있다.

즉, 유저는, 상기 검색 모드로 설정한 후, 재차 프린트 아웃할 것을 원하는 검색원 프린트 아웃(1)을 테이블 위 혹은 벽면 등에 접착한 상태에서, 디지털 카메라(10)의 촬상부(11)에 의해, 적어도 상기 검색원 프린트 아웃(1)의 누락이 않도록 촬영한다(스텝 S11).

그러면, 디지털 카메라(10)에서는, 영역 추출부(12)에서, 촬상부(11)에서 촬영된 화상 데이터 중으로부터, 상기 검색원 프린트 아웃(1)의 화상을 특정하고, 그 부분을 추출하기 위한 프린트 아웃의 잘라내기 처리를 실행한다(스텝 S12).

이 프린트 아웃의 잘라내기 처리는, 도 4에 도시하는 바와 같이, 우선, 촬영된 화상 데이터 중의 선분을 검출하고(스텝 S121), 그들 검출된 선분 중으로부터 직선을 검출한다(스텝 S122). 그리고, 그들 검출한 직선 4개로 구성되는 틀을 추정한다(스텝 S123). 즉, 4변으로 둘러싸인 관심 영역을 촬영된 화상 데이터 중으로부터 찾아낸다. 또한, 그와 같은 4변으로 둘러싸인 영역이 복수 있는 경우에는, 그 중에서 가장 면적이 큰 부분을 관심 영역으로서 추출하거나, 혹은 사각형의 종횡비 등으로부터 관심 영역을 특정하면 된다. 또한, 드물게, 촬영된 화상 데이터 중에서 검색원 프린트 아웃(1) 자체가 휨을 생겨, 그 결과, 4변으로 둘러싸인 영역으로 특정할 수 없는 경우가 있다. 이 경우, 4변 중 몇 갠가가 완만한 원호로 구성되어 있어도 그것을 허용하는 처리를 행하는 것도 유효하다. 또한, 여기서 검색원 프린트 아웃(1)으로 보여지는 영역을 추출한 후, 그 화상 데이터 영역을 아핀 변환 등에 의해 정규화하는 처리도 포함하고 있다.

다음으로, 특징량 추출부(13)에 의해, 상기 영역 추출부(12)에서 특정되어 추출된 관심 영역으로부터 특징량을 추출하는 처리를 행한다(스텝 S13). 또한, 특징량은, 화상 데이터 내의 특징점의 배치 관계를 사용하는 것이어도 되고, 소정의 룰에 따른 화상 데이터 내의 분할 에리어, 즉 미리 정해진 격자에 의해 할당된 소영역의 상대 농도 등을 사용하는 것이어도 되며, 분할 에리어마다의 푸리에 변환값 등에 기초한 것이어도 된다.

다음으로, 매칭부(14)에 의해, 상기 특징량 추출부(13)에서 추출한 특징량 데이터를, 스토리지(20)에 구성한 촬영된 화상 데이터의 특징량 데이터베이스(특징량 템플릿)와 비교하여, 그 유사도가 높은 것을 순서대로 추출하는 DB와의 매칭 처리를 실행한다(스텝 S14).

즉, 이 DB와의 매칭 처리는, 도 5에 도시하는 바와 같이, 우선, 각 촬영된 화상 데이터의 특징량 템플릿과의 유사도를 산출하고(스텝 S141), 유사도에 기초하여 소트한다(스텝 S142). 그리고, 그 유사도에 따라서 원화상 후보를 선출한다(스 텝 S143). 또한, 이 선출은, 임계값을 설정해도 되고, 유사도가 높은 순으로 상위의 것을 지정해도 된다. 어쨌든, 유사도가 최상위인 것을 1점 선출하는 방법과, 유사도가 높은 것부터 복수점을 선출하는 방법의 2종의 방법이 있다.

또한, 상기 스텝 S13에서 추출하는 특징량을, 상기 특징점과 격자 형상의 소영역의 상대 농도로 한 경우, 상기 스텝 S14에서의 DB와의 매칭 처리에 사용하는 특징량 템플릿은, 특징점과 격자 형상 템플릿으로 된다. 격자 형상 템플릿에서는, 구도로서의 상세한 부분을 매칭 처리할 수 있다. 또한, 특징점이면, 피사체의 식별도 가능하게 되어, 예를 들면 건물, 인물, 꽃 등과 같은 분류를 행하는 등의 메타 해석적인 용도로도 이용 가능하다. 이들 특징점과 격자 형상의 템플릿을 병용한 단계적 좁혀 들어감도 가능하다.

이와 같이 특징점과 격자 형상 템플릿을 병용한 경우, 상기 스텝 S14의 DB와의 매칭 처리는, 도 6에 도시하는 바와 같이 된다. 즉, 우선, 상기 스텝 S13에서 추출한 특징점을 사용하여, 스토리지(20)에 구성한 촬영된 화상 데이터의 특징점 데이터베이스(특징점 템플릿)와 비교하고(스텝 S144), 그 유사도가 높은 것을 상세 검색 후보 대상으로서 추출한다(스텝 S145). 또한, 이 단계에서는 저해상도의 화상으로부터 추출된 특징점을 사용한다. 따라서, 세부의 차이까지는 판별할 수 없을 가능성이 있다. 다음으로, 상기 스텝 S13에서 추출한 격자 형상 소영역을 사용하여, 스토리지(20)에 구성한 촬영된 화상 데이터의 상세 데이터베이스(상세 템플릿(격자 형상 템플릿))와 비교함으로써, 세부의 차이를 판별하고(스텝 S146), 원화상 후보를 선출한다(스텝 S147).

그 후, 표시부(15)에, 상기 선출된 원화상 후보의 화상 데이터를 스토리지(20)로부터 읽어내어, 추출할 화상 후보로서 표시하고(스텝 S15), 유저에 의한 선택을 접수한다(스텝 S16).

도 7은, 화상 후보를 1점만 표시하는 경우의 표시부(15)의 표시 화면을 도시하고 있다. 이 표시 화면에서는, 화상 후보(151)의 표시의 옆에, 다른 화상 후보의 표시를 지시할 때에 조작할 버튼을 나타내는 『앞』 및 『다음』 아이콘(152)과, 그 화상 후보(151)를 원하는 화상 데이터로서 지시할 때에 조작할 버튼을 나타내는 『결정』 아이콘(153)이 배치된다. 『앞』 및 『다음』 아이콘(152)은, 디지털 카메라(10)가 통상 구비하는 소위 십자 키의 왼쪽 키 및 오른쪽 키인 것을 나타내고, 『결정』 아이콘(153)은 그 십자 버튼의 한가운데에 배치되는 엔터 키인 것을 나타낸다.

여기서, 『앞』 및 『다음』 아이콘(152)에 상당하는 십자 키가 조작된 경우에는(스텝 S17), 상기 스텝 S15로 되돌아가서, 화상 후보(151)를 갱신 표시한다. 이에 대하여, 『결정』 아이콘(153)에 상당하는 엔터 키가 조작된 경우에는(스텝 S17), 매칭부(14)는, 스토리지(20)에 저장되어 있는 그 화상 후보(151)에 대응하는 원화상 데이터를, 접속된 프린터(30)에 보내어, 재차 프린트 아웃한다(스텝 S18). 또한, 프린터(30)에 유선/무선으로 직접 접속되어 있지 않은 경우에는, 스토리지(20)에 저장되어 있는 그 화상 후보(151)에 대응하는 원화상 데이터에, 플래그를 추기하는 등의 소정의 마킹을 행하는 처리를 실행함으로써, 그 스토리지(20)에 액세스 가능한 프린터(30)로 프린트 아웃하는 것을 가능하게 한다.

또한, 상기 스텝 S15의 화상 후보의 표시에서, 복수의 후보를 동시에 표시하도록 해도 된다. 이 경우, 통상 디지털 카메라(10)에 설치되어 있는 표시부(15)는 당연히 수인치의 소형의 것이기 때문에, 4점 혹은 9점 정도의 표시가 사용하기 쉽다. 도 8은, 9점의 화상 후보(151)를 표시하도록 한 예를 도시하고 있다. 이 경우, 『앞』 및 『다음』 아이콘(152)에 상당하는 십자 키의 왼쪽 키 및 오른쪽 키의 조작에 따라서, 선택 화상을 나타내는 굵은 틀(154)이 이동된다. 또한, 특별히 도시는 하고 있지 않지만, 십자 키의 위 키 및 아래 키의 조작에 따라서, 9점의 화상 후보(151)의 표시를 앞 및 다음의 9점의 화상 후보의 표시로 변경하는, 소위 페이지 절환 표시를 행하도록 해도 된다.

또한, 상기 스텝 S14에서 이용되는 비교 대상으로서의 스토리지(20)에 구성한 촬영된 화상 데이터의 특징량 데이터베이스에 대해서는, 미리, 스토리지(20) 내의 화상 데이터에 기초하여 작성해 둘 필요가 있다. 또한, 이 스토리지(20)는, 디지털 카메라(10)에 부속되는 메모리이어도 되고, 도 2에 파선으로 나타내는 바와 같은 통신부를 통하여 액세스 가능한 데이터베이스이어도 된다.

이 특징량 데이터베이스의 작성에는, 각종 방법이 생각된다.

예를 들면, 원화상 촬영 시에 그 촬영 화상 데이터를 디지털 카메라(10)의 메모리 영역에 보존할 때에, 특징량 산출과 그 데이터베이스 등록을 행하는 방법이다. 즉, 도 9에 도시하는 바와 같이, 디지털 카메라(10)로 촬영을 행하고(스텝 S201), 그 촬영 화상 데이터를 디지털 카메라(10)의 메모리 영역에 보존한다(스텝 S202). 그리고, 그 보존한 촬영 화상 데이터로부터 특징량을 산출하여 템플릿 데 이터를 작성하고(스텝 S203), 그 작성한 템플릿 데이터를 상기 촬영 화상 데이터에 관련지어 보존한다(스텝 S204). 따라서, 스토리지(20)가 디지털 카메라(10)가 내장하는 메모리이면, 데이터베이스가 구축되게 된다. 또한, 스토리지(20)가 디지털 카메라(10)와 별체인 경우에는, 디지털 카메라(10)의 메모리 영역에 보존된 촬영 화상 데이터와 템플릿 데이터가 함께 스토리지(20)에 전송되어, 데이터베이스가 구축되게 된다.

또한, 스토리지(20)에 축적된 원화상 데이터를 프린터(30)로 프린트 아웃할 때에, 그 프린트 아웃 지시와 동시에 특징량 추출 처리를 행하고, 데이터베이스에 축적하는 것도 프로세스적으로 효율이 좋은 방법이다. 즉, 도 10에 도시하는 바와 같이, 스토리지(20)에 축적된 원화상 데이터를 프린트 아웃할 때, 통상적으로, 유저 지시에 의해, 프린트 아웃하는 원화상 데이터가 선택되고(스텝 S211), 또한, 프린트 조건이 설정되어(스텝 S212), 프린트가 실행된다(스텝 S213). 통상은 여기서 프린트 처리는 종료이지만, 본 예에서는, 더 계속해서, 그 선택된 원화상 데이터로부터 특징량을 산출하여 템플릿 데이터를 작성하고(스텝 S214), 그 작성한 템플릿 데이터를 그 원화상 데이터에 관련지어 보존한다(스텝 S215). 또한, 템플릿 데이터 작성 시에, 프린트 조건을 반영시킴으로써, 검색원 프린트 아웃(1)과 템플릿 데이터의 매칭 정밀도를 향상시킬 수 있다. 이와 같은 방법에 의하면, 매칭 처리가 실시될지도 모르는 원화상 데이터에 대해서만 템플릿 데이터를 작성하므로, 불필요한 템플릿 데이터의 작성 시간 및 보존 용량을 생략할 수 있다.

또한, 물론, 배지 처리로 행해도 된다. 즉, 도 11에 도시하는 바와 같이, 유저로부터의 일괄 템플릿 작성 실행 지시가 있었을 때(스텝 S221), 스토리지(20) 내의 템플릿 미작성 원화상 데이터를 선별하고(스텝 S222), 그들 선별한 템플릿 미작성 원화상 데이터에 대하여 일괄 템플릿 작성 처리를 실행한다(스텝 S223). 이 일괄 템플릿 작성 처리는, 개개의 템플릿 미작성 원화상 데이터로부터 특징량을 추출하여 템플릿 데이터를 작성하고(스텝 S223A), 그들 작성한 템플릿 데이터를 대응하는 원화상 데이터에 관련지어 스토리지(20)에 보존하는 것이다(스텝 S223B).

나아가서는, 유저의 지시 입력에 의해, 개별로 처리해도 된다. 즉, 도 12에 도시하는 바와 같이, 유저가, 스토리지(20) 내의 원화상 데이터 중 하나를 선택하고(스텝 S231), 그 선택한 원화상 데이터에 대하여 템플릿 데이터의 작성의 지시를 행함으로써(스텝 S232), 그 선택된 원화상 데이터로부터 특징량을 추출하여 템플릿 데이터를 작성하고(스텝 S233), 그 작성한 템플릿 데이터를 상기 선택된 원화상 데이터에 관련지어 스토리지(20)에 보존한다(스텝 S234).

지금까지, 프린트 아웃하게 된 화상 데이터를 재프린트하고자 할 때, 화상 데이터의 부대 정보(파일명, 촬영 일시 등)를 참고로 유저가 검색하는 일이 많았다. 본 실시예에 따른 검색 시스템에 의하면, 디지털 카메라(10)로 원하는 검색원 프린트 아웃(1)의 화상을 촬영하는 것만으로, 원화상의 파일(화상 데이터)에 액세스하는 것이 가능하게 되어, 직감적 또한 유저의 사용 편의성이 좋은 검색 방법을 제공하는 것이 가능하다.

게다가, 원화상 데이터 그 자체뿐만 아니라, 유사한 화상 구성의 화상 데이터를 검색하는 것도 가능하여, 부차적이면서 신규의 용도를 제공할 수 있다. 즉, 가두의 간판이나 포스터 등을 이 소위 검색 모드에서 촬영하고, 디지털 카메라(10)에 부속되는 메모리나 통신을 통하여 액세스 가능한 데이터베이스 등의 스토리지(20)에 존재하는 화상 데이터 및 그 특징량 데이터 중으로부터 유사 혹은 동일한 화상 데이터를 용이하게 검색 가능하게 된다.

또한, 도 13에 도시하는 바와 같이, 예를 들면 간판으로서 역의 역명 표시판을 촬영하였다면, 그 화상 데이터 중으로부터 그 역명을 인식함으로써, 촬영자의 위치 인식이 가능하게 된다. 따라서, 그 인식한 위치 주변 즉 역 주변의 지도 정보, 그 위치에 관련되는 화상 정보, 동일하게 문자 정보 등의 관련 정보를, 디지털 카메라(10)에 부속되는 메모리나 통신을 통하여 액세스 가능한 데이터베이스 등의 스토리지(20)에 존재하는 관련 정보 중으로부터 검색하여 제공할 수 있다. 또한, 역명의 인식 방법으로서는, 문자 인식, 패턴 인식, 유사한 화상의 검색에 의한 인식 추정 등이 있고, 매칭부(43)의 기능으로서 실시 가능하다.

또한, 예를 들면 도쿄 타워를 촬영하고, 디지털 카메라(10)에 부속되는 메모리나 통신을 통하여 액세스 가능한 데이터베이스 등의 스토리지(20) 내의 화상을 검색함으로써, 도쿄 타워는 물론, 세계 각지의 타워 형상의 건조물의 사진을 검색 추출할 수 있다. 그리고, 또한, 그 검색 추출한 사진의 부대 정보로서의 위치 정보에 기초하여, 각 타워의 장소를 알게 하거나, 도 14나 도 15에 도시하는 바와 같이 지도 상의 해당 장소에 사진을 겹쳐서 표시하는 것도 가능하다. 이 경우, 지도 및 사진이 관련 정보이다.

또한, 지도 상에 사진을 겹쳐서 표시하는 경우에, 지도의 축척, 사진의 크 기, 그 장소에 관련된 사진의 매수 등의 요인에 의해, 많은 화상이 겹쳐서 보기 어렵게 되는 경우가 있다. 그 경우에는, 도 16에 도시하는 바와 같이 지도 축척에 따라서 사진의 표시 사이즈를 변화시키거나, 매수가 많은 경우에는 도 17에 도시하는 바와 같이 매수에 비례한 표시 사이즈로의 사진의 표시를 행하는 대신에 대표적인 사진 1매만을 표시하는 등의 궁리를 행한다.

또한, 상기 스텝 S12 내지 S17의 처리는, 디지털 카메라(10) 내에서 실시하는 것으로서 설명하였지만, 디지털 카메라(10)와 별체로 스토리지(20)를 존재시키는 경우에는, 그와 같은 처리를 소프트웨어로 하여 스토리지(20)에서 기동시키거나, 혹은 디지털 카메라(10)와 스토리지(20)로 분할한 형태로 기동시킴으로써 실제로 동작시키는 것도 가능하다.

[제2 실시예]

다음으로, 도 1을 참조하여, 본 발명의 제2 실시예에 따른 검색 시스템의 개략을 설명한다.

즉, 본 검색 시스템은, 디지털 카메라(10)와, 스토리지(20)와, 프린터(30)와, 퍼스널 컴퓨터(PC)(40)로 구성된다. 여기서, 스토리지(20)는, PC(40)에 내장 내지는 통신에 의해 액세스 가능한 기억 장치이다. 또한, PC(40)는, 디지털 카메라(10)에 무선/유선 접속되거나, 혹은, 디지털 카메라(10)로부터 떼어내어진 메모리를 장착하여, 디지털 카메라(10)의 메모리에 보존된 화상 데이터를 읽어내기 가능하게 구성되어 있다.

이와 같은 구성의 검색 시스템은, 이하와 같이 동작한다.

(1) 우선, 디지털 카메라(10)는, 프린터(30)에 의해 일단 프린트 아웃된 검색원 프린트 아웃(1)의 화상을 포함하는 피사체를 촬영한다.

(5) PC(40)는, 얻어진 촬영 화상 데이터로부터, 그 검색원 프린트 아웃(1)의 화상에 대응하는 영역을 추출하고, 그 추출한 영역의 특징량을 추출한다.

(6) 그리고, PC(40)는, 그 추출한 특징량에 의해 스토리지(20)에 저장된 템플릿과 템플릿 매칭 처리를 실행한다.

(7) 그 결과, PC(40)는, 매치한 템플릿에 대응하는 화상 데이터를, 상기 검색원 프린트 아웃(1)의 원화상 데이터인 것으로서 읽어낸다.

(8) 이에 의해, PC(40)는, 그 읽어낸 원화상 데이터를, 다시, 프린터(30)로 프린트 아웃할 수 있다.

이하, 본 제2 실시예에 따른 검색 시스템을, 도 18에 도시하는 블록 구성도 및 도 19에 도시하는 동작 플로우차트를 참조하여, 상세하게 설명한다. 또한, 이들 도면에서, 상기 제1 실시예와 대응하는 것에 대해서는, 동일한 참조 번호를 붙이고 있다.

즉, 본 실시예는, 디지털 카메라(10)로 촬영된 화상 데이터를 그 유저가 특정하는 PC(40)에 내장 또는 접속된 스토리지(20)에 축적하고, 또한 도 19에 PC 측으로서 나타내는 처리가 어플리케이션 소프트웨어로서 PC(40)에서 동작하는 경우이다. 또한, PC(40)와 디지털 카메라(10)를 유선 혹은 무선으로 접속하여, 통신 상태를 확립한 상태에서, 본 어플리케이션 소프트웨어를 기동시키는 것이다. 이것은, 디지털 카메라(10)에 설정된 "검색 모드" 등과 같은 스위치를 넣은 조작에 의 해 기능이 기동되는 상태이어도 된다.

이와 같이 본 어플리케이션 소프트웨어가 동작하자마자, 디지털 카메라(10) 측에서, 프린트 아웃의 촬상 처리가 실행된다(스텝 S11). 즉, 도 20에 도시하는 바와 같이, 유저가, 재차 프린트 아웃할 것을 원하는 검색원 프린트 아웃(1)을 테이블 위 혹은 벽면 등에 접착한 상태에서, 디지털 카메라(10)의 촬상부(11)에 의해, 적어도 상기 검색원 프린트 아웃(1)의 누락이 없도록 촬영한다(스텝 S111). 이에 의해, 얻어진 촬영 화상 데이터가 디지털 카메라(10) 내의 메모리인 기억부(16)에 보존된다. 그리고, 그 보존된 촬영 화상 데이터가, 유선 혹은 무선으로, 접속된 PC(40)에 전송된다(스텝 S112).

그러면, PC(40)에서는, 어플리케이션 소프트웨어에 의해 실현되는 영역 추출부(41)에서, 상기 송신되어 온 촬영 화상 데이터 중으로부터, 상기 검색원 프린트 아웃(1)의 화상을 특정하고, 그 부분을 특정·추출하기 위한 프린트 아웃의 잘라내기 처리를 실행한다(스텝 S12). 다음으로, 어플리케이션 소프트웨어에 의해 실현되는 특징량 추출부(42)에 의해, 상기 특정·추출된 관심 영역으로부터 특징량을 추출하는 처리를 행한다(스텝 S13). 또한, 상기 잘라내기 처리 및 특징량 추출 처리는, 디지털 카메라(10) 측에서 행하도록 해도 된다. 그와 같이 하면, 디지털 카메라(10)로부터 PC(40)에의 통신량을 적게 할 수 있다.

그 후, 어플리케이션 소프트웨어에 의해 실현되는 매칭부(43)에 의해, 상기 추출한 특징량 데이터를, 스토리지(20)에 구성한 촬영된 화상 데이터의 특징량 데이터베이스와 비교하여, 그 유사도가 높은 것을 순서대로 추출하는 DB와의 매칭 처 리를 실행한다(스텝 S14). 즉, 산출된 특징량 데이터에 기초하여 PC(40) 측의 매칭부(43)에서, 스토리지(20)의 화상 데이터 각각에 갖추어지는(혹은 포괄적으로 데이터베이스화된) 특징량 데이터군과 비교하여, 가장 가까운 것을 선출한다. 설정에 의해, 가장 가까운 복수의 특징량 후보를 선출하는 것도 사용 편의성에서 유효하다. 이 특징량 데이터에는, 그 특징량을 산출한 원화상 데이터의 지정 정보가 포함되어 있고, 그것에 따라 후보 화상을 호출한다.

그 후, 상기 선출된 원화상 후보(혹은 후보 화상군)의 화상 데이터를 스토리지(20)로부터 읽어내어, 그 PC(40)의 디스플레이인 표시부(44)에 추출할 화상 후보로서 표시하고(스텝 S15), 유저에 의한 선택을 접수한다. 이 때, 상기 선출된 원화상 후보(혹은 후보 화상군)의 화상 데이터를 그 상태 그대로나, 적절히 압축한 상태에서, PC(40)로부터 디지털 카메라(10)에 전송하여, 디지털 카메라(10)의 표시부(15) 상에 표시하도록 해도 된다(스텝 S31).

그리고, 마우스 등의 조작에 의한 선택에 따라서, 스토리지(20)에 저장되어 있는 그 화상 후보에 대응하는 원화상 데이터를, 접속된 프린터(30)에 보내어, 재차 프린트 아웃한다(스텝 S18). 즉, 상기 표시된 원화상 후보를 유저의 판단에 의해 결정하고, 인쇄 프로세스에 전달함으로써 당초의 목적인 프린트 아웃된 화상의 재인쇄가 유저에게 있어서는 간단하게 행할 수 있는 것이다. 또한 이 때, 단순하게 인쇄할 뿐만 아니라, 후보 화상으로서 복수 선택한 것 중에서 유저 판단에 따라서는, 「목표한 원화상과는 상이하지만, 유사한 화상을 모음」으로써, 유사한 화상 데이터를 일괄 검색하는 기능의 실현으로도 이어지고 있다.

또한, 본 실시예에서는, 특징량 데이터베이스의 작성은, 디지털 카메라(10)로부터 PC(40)를 통한 스토리지(20)에의 촬영 화상 데이터의 전송 시에 행하도록 해도 된다. 즉, 도 21에 도시하는 바와 같이, 디지털 카메라(10)로부터 PC(40)에의 촬영 화상 데이터의 전송을 개시하고(스텝 S241), PC(40)에 의해, 그 전송되어 온 촬영 화상 데이터를 스토리지(20)에 보존함과 함께(스텝 S242), 그 촬영 화상 데이터로부터 템플릿 데이터를 작성한다(스텝 S243). 그리고, 그 작성한 템플릿 데이터를 스토리지(20)에 상기 촬영 화상 데이터에 관련지어 보존한다(스텝 S244).

이상과 같이, 본 제2 실시예에서도, 상기 제1 실시예와 마찬가지로, 디지털 카메라(10)로 원하는 검색원 프린트 아웃(1)의 화상을 촬영하는 것만으로, 원화상의 파일(화상 데이터)에 액세스하는 것이 가능하게 되어, 직감적 또한 유저의 사용 편의성이 좋은 검색 방법을 제공하는 것이 가능하다.

게다가, 원화상 데이터 그 자체뿐만 아니라, 유사한 화상 구성의 화상 데이터를 검색하는 것도 가능하여, 부차적이면서 신규의 용도를 제공할 수 있다. 즉, 가두의 간판이나 포스터 등을 이 소위 검색 모드에서 촬영하고, 디지털 카메라(10)에 부속되는 메모리나 도 5에 파선으로 나타내는 바와 같은 통신부를 통하여 액세스 가능한 외부 데이터베이스 등의 스토리지(20)에 존재하는 화상 데이터 및 그 특징량 데이터 중으로부터 유사 혹은 동일한 화상 데이터를 용이하게 검색 가능하게 된다. 또한, 그 데이터에 결부되는 인터넷 사이트를 PC(40)나 디지털 카메라 등의 디스플레이에서 표시하거나, 특정한 어플리케이션(음성·동화상 등)을 작동시키는 것 등이 가능하게 된다.

또한, 상기 설명에서는, 디지털 카메라(10)를 이용하였지만, 본 실시예는 그에 한정되는 것이 아니라, 스캐너이어도 된다.

또한, 실제로 프린트 아웃한 검색원 프린트 아웃(1)을 디지털 카메라(10)로 촬영하고 있지만, 예를 들면 검색원 프린트 아웃(1)을 촬영한 화상을 표시하고 있는 디스플레이를 디지털 카메라(10)로 촬영해도 마찬가지로 실시 가능하다.

[제3 실시예]

다음으로, 본 발명의 제3 실시예에 따른 검색 시스템을 설명한다. 본 실시예는, 도 22에 도시하는 바와 같은 카메라(51) 부착 휴대 전화기(50)의 어플리케이션 소프트웨어(52)에 적용한 예이다.

즉, 휴대 전화기의 어플리케이션 소프트웨어는 현재 대부분의 휴대 전화기에서 이용 가능하게 되어 있으며, 또한 그 화상 데이터는 내부 메모리 혹은 외부 메모리 카드 등에 수많은 것을 축적 가능하다. 또한, 특정한 휴대 사이트(휴대 전화기용 인터넷사이트)에서는, 유저를 특정한 화상 파일 등의 축적 서비스도 행하여지고 있다. 이와 같은 상황은 다대한 화상 데이터를 축적하고, 자기의 활동 기록이나 업무 등 다채롭게 이용할 수 있는 반면, 휴대 전화기와 같은 비교적 유저 인터페이스에 자유도가 없는 하드웨어에 있어서는 원하는 화상 데이터의 검색은 번거로웠다. 실제로는 화상 데이터의 타이틀이나 일시 등에 의한 텍스트의 리스트로부터의 검색이 중심이며, 화상 데이터가 다수로 된 경우에는 매우 번거로우며, 또한 텍스트를 주입하는 경우도 복수의 단어나 긴 명칭 등의 입력은 부자유하다고 말하지 않을 수 없다.

본 검색 시스템의 도입에 의하면, 카메라 부착 휴대 전화기의 어플리케이션으로서 동작시킴으로써 「화상 입력 기능」을 기동하고, 원하는 「관심 영역을 잘라내고」, 「특징량의 산출」을 행한다. 이 특징량(데이터)은 휴대 회선을 통하여 대응하는 서버에 보내어진다. 이 대응하는 서버는, 상기한 카메라와 일대일 대응하는 것이어도 되고, 일대다의 카메라에 대응하는 것이어도 된다. 상기한 서버에 보내어진 특징량은, 서버에 탑재되어 있는 「매칭 기능」에 의해, 서버가 요구하는 데이터베이스로부터 읽어들여진 특징량 데이터군과 실제로 매칭 처리를 행하여, 유사성이 높은 화상 데이터를 추출한다. 이 추출된 화상 데이터를 서버로부터 상기 발신원의 휴대 전화기에 반송하며, 휴대 전화기로부터 특정하지 않은 프린터에 의해 그 화상 데이터를 출력할 수 있다. 그러나, 여기서 서버가 추출한 화상 데이터에 대하여, 또한 그 화상 데이터에 관련되는 다양한 정보가 부가되어 있는 경우에는, 「그 정보를 휴대 전화기에 반송한다」라고 하는 기능의 확장이 가능하며, 추출한 화상 데이터에 높은 압축을 걸어 휴대 전화기에 반송하고, 유저가 원하는 화상 데이터라고 확인한 후, 휴대 전화기의 메모리 영역에 저장, 혹은 휴대 전화기의 디스플레이(53) 상에 표시하는 것만으로도 이용 가치가 있는 것은 물론이다.

[제4 실시예]

다음으로, 본 발명의 제4 실시예에 따른 검색 시스템을 설명한다.

본 실시예는, 그 구성으로서, 카메라 부착 휴대 전화기 등의 촬상 기능을 가진 통신 장치인 통신 기능을 구비한 디지털 카메라(10)와, 통신에 의해 접속된 서버에 의해 구성되고, 화상 검색을 위한 기능이 디지털 카메라(10)와 서버에 분할 설치된 것이다.

이 경우, 전술한 제1 실시예와 마찬가지로, 디지털 카메라(10)에는 촬영 기능과 그 화상 데이터로부터 특징량을 산출하는 기능을 갖는다. 상기 제1 내지 제3 실시예의 경우, 비교 참조하는 특징량 데이터군(혹은 특징량 데이터베이스)은 원래 유저 혹은 그 디지털 카메라(10)로 촬영 및 인쇄된 화상군에 기초하여 만들어진 것이다. 이것은, 당초의 목적이, 이미 인쇄된 화상 데이터를 인쇄된 프린트 아웃을 촬영하여 검색하는 것이기 때문이다. 이에 대하여, 본 실시예는 이 목적을 확장하여, 일반적으로 가두의 간판, 포스터나 인쇄물, 출판물의 화상에 기초하여 산출된 특징량도, 서버에 배치된 스토리지(20)에 구성된 데이터베이스에 취득되어 있는 점이 크게 상이하다.

프린트 아웃에 한하지 않고, 데이터베이스 상에 있는 화상으로부터의 추출을 행할 수 있는 것은 물론이다.

또한, 촬영한 화상으로부터 추출한 특징점을 데이터베이스에 추가할 수도 있다.

등록 시에는, 화상에 관련된 위치 정보를 수동, GPS 등의 센서, 앞서 설명한 문자 인식 등으로 인식하여 등록한다. 이렇게 함으로써, 다음에 마찬가지의 장소에서 화상을 촬영할 때에 데이터베이스를 검색함으로써, 유사한 화상을 추출함으로써 그 촬영 화상에 부가할 위치 정보를 추출하는 것이 가능하게 된다.

도 23은, 본 실시예에 따른 검색 시스템의 동작 플로우차트를 도시하는 도면이다. 또한, 동일 도면에서, 상기 제1 실시예와 대응하는 것에 대해서는, 동일한 참조 번호를 붙이고 있다.

즉, 본 실시예에서는, 예를 들면 디지털 카메라(10)로 가두에 존재하는 상품 광고 등의 포스터를 촬영한다(스텝 S11). 그러면, 그 촬영 화상 데이터로부터 디지털 카메라(10)에서, 잘라내기 처리 및 특징량 추출 처리가 실행된다(스텝 S12, 스텝 S13). 그리고, 그 추출된 특징량은, 디지털 카메라(10)에 내장 또한 부속된 통신부에 의해 소정의 서버에 보내어진다.

서버에서는, 그 서버가 액세스 가능한 스토리지(20)에 구성된 특징량 데이터베이스를 참조하여, 상기 디지털 카메라(10)로부터 보내어진 특징량 데이터를 비교하고(스텝 S14), 유사한 특징량 데이터를 갖는 유사 화상 후보를 추출한다(스텝　S41). 이들 추출된 유사 화상 후보의 화상 데이터는, 필요에 의해, 소정의 압축 처리가 실시되어 통신량을 적게 한 후에, 상기 디지털 카메라(10)에 송신되어, 디지털 카메라(10)의 표시부(15)에서 간이 표시될 수 있다(스텝 S42). 이에 의해, 상기 제1 실시예와 마찬가지로, 유저의 선택이 가능하다.

그리고, 상기 추출된(또한 선택된) 화상 후보의 화상 데이터가 디지털 카메라(10)에 송신 출력되거나, 혹은, 상기 추출된(또한 선택된) 화상 후보의 특징량에 결부되어 있는 특정 정보에 기초하여 다음 단계의 동작을 행한다(스텝 S43). 이 다음 동작이란, 상기한 상품 광고이면, 그 상품의 해설이나 통신 판매 사이트에의 접속이어도 되고, 그 사이트 화면을 화상 데이터로서 디지털 카메라(10)에 반송해도 된다. 또한, 가두의 간판을 촬영한 경우에는, 간판의 주변 정보도 특징량으로서 취득하거나, 통신 시의 무선 기지국 소재지의 데이터도 비교하거나 함으로써, 장소나 주소의 특정을 정보로서 유저에게 정시하는 것도 가능하게 된다.

[제5 실시예]

다음으로, 본 발명의 제5 실시예에 따른 검색 시스템을 설명한다.

본 실시예는, 촬영한 검색원 프린트 아웃(1)의 화상에 기초하여, 제1 템플릿을 사용한 템플릿 매칭에 의해 스토리지(20)로부터 복수의 화상 데이터를 검색하고, 그 검색한 결과의 복수의 화상 데이터로부터, 상기 제1 템플릿보다 좁은 영역이며 또한 해상도가 높은 제2 템플릿을 사용하여, 템플릿 매칭에 의해 단일 또는 복수의 화상 데이터를 검색하는 것이다.

본 실시예에 따른 검색 시스템은, 전술한 제1 실시예와 마찬가지의 구성이지만, 특히, 본 실시예에서는, 스토리지(20)에, 제1 템플릿으로서의 개요 템플릿을 등록한 전체 특징량 데이터베이스와, 제2 템플릿으로서의 상세 템플릿을 등록한 상세 특징량 데이터베이스가 구성되어 있다.

여기서, 개요 템플릿은, 도 24에 도시하는 바와 같이, 화상 데이터의 전체(100%)의 대부분(예를 들면 약 90%)을 포함하는 영역을 비교적 거친 해상도로 특징량 데이터를 추출함으로써 얻어진 것이다. 또한, 상세 템플릿은, 도 25에 도시하는 바와 같이, 화상 데이터의 중앙 영역 부분(예를 들면 중앙 약 25%)을 포함하는 영역을, 상기 개요 템플릿의 해상도에 비하여 높은 해상도로 특징량 데이터를 추출함으로써 얻어진 것이다. 또한, 원화상 데이터와 상기 개요 템플릿 및 상세 템플릿의 위치 관계는, 도 26에 도시하는 바와 같이 된다.

도 27은, 본 실시예에 따른 검색 시스템의 동작 플로우차트이다. 또한, 동 일 도면에서, 상기 제1 실시예와 대응하는 것에 대해서는, 동일한 참조 번호를 붙이고 있다.

즉, 본 실시예에서는, 우선, 상기 제1 실시예와 마찬가지로, 검색 모드로 설정한 디지털 카메라(10)에 의해, 재차 프린트 아웃할 것을 원하는 검색원 프린트 아웃(1)을 템플릿 위 혹은 벽면 등에 접착한 상태에서, 적어도 상기 검색원 프린트 아웃(1)의 누락이 없도록 촬영한다(스텝 S11). 그리고, 디지털 카메라(10)의 영역 추출부(12)에서, 촬상부(11)에서 촬영된 화상 데이터 중으로부터, 상기 검색원 프린트 아웃(1)의 화상을 특정하고, 그 부분을 특정·추출하기 위한 프린트 아웃의 잘라내기 처리를 실행한다(스텝 S12).

그리고 다음으로, 특징량 추출부(13)에 의해, 상기 영역 추출부(12)에서 특정되어 추출된 관심 영역의 화상 데이터 전체로부터 특징량을 추출하는 전체 특징량 추출 처리를 행하고(스텝 S51), 그 추출한 전체 특징량 데이터를, 매칭부(14)에 의해, 스토리지(20)에 구성한 상기 개요 템플릿을 등록한 전체 특징량 데이터베이스와 비교하여, 그 유사도가 높은 것을 순서대로 추출하는 전체 특징량 DB와의 매칭 처리를 실행한다(스텝 S52).

그 후, 상기 영역 추출부(12)에서, 상기 특정되어 추출된 관심 영역 전체의 화상 데이터로부터, 다시 상세 검색 대상 영역, 이 예에서는 상기 관심 영역의 중앙 영역부의 화상 데이터를 상세 검색 대상 화상 데이터로서 추출한다(스텝 S53). 그리고, 특징량 추출부(13)에 의해, 상기 영역 추출부(12)에서 추출한 상세 검색 대상 화상 데이터로부터 특징량을 추출하는 상세 특징량 추출 처리를 행하고(스텝 S54), 그 추출한 상세 특징량 데이터를, 매칭부(14)에 의해, 스토리지(20)에 구성한 상기 상세 템플릿을 등록한 상세 특징량 데이터베이스와 비교하여, 그 유사도가 높은 것을 순서대로 추출하는 상세 특징량 DB와의 매칭 처리를 실행한다(스텝 S55). 단 이 경우, 상세 특징량 데이터베이스에 등록된 모든 상세 템플릿과의 템플릿 매칭을 행하는 것이 아니라, 상기 스텝 S52의 전체 특징량 DB와의 매칭 처리에서 추출된 복수의 화상 데이터에 대응하는 상세 템플릿에 대해서만 템플릿 매칭이 실행된다. 따라서, 해상도가 높기 때문에 처리 시간을 요하는 상세 템플릿과의 템플릿 매칭 처리는, 필요 최저한으로 완료되게 된다. 또한, 상기 스텝 S52의 전체 특징량 DB와의 매칭 처리에서의 추출하는 기준으로서는, 유사도에 임계값을 설정하는 방법이나 상위 500개분 고정적으로 선택하는 등과 같은 방법으로 행한다.

그런데, 이 상세 특징량 DB와의 매칭 처리에서 유사도가 높은 화상 데이터가 원화상 후보로서 추출되었다면, 표시부(15)에, 그들을 추출할 화상 후보로서 표시하고(스텝 S15), 유저에 의한 선택을 접수하여, 유저가 원하는 화상이 결정되었다면(스텝 S17), 매칭부(14)는, 스토리지(20)에 저장되어 있는 그 화상 후보에 대응하는 원화상 데이터를, 접속된 프린터(30)에 보내어, 재차 프린트 아웃한다(스텝 S18).

이와 같은 본 실시예에 따르면, 원화상 데이터의 검색 결과의 질(만족도) 향상과, 타당한 검색 시간의 양립을 할 수 있다.

또한, 촬영자의 주목 영역을 고려한 검색 결과를 얻을 수 있다. 즉, 통상적으로, 촬영자는 주요 피사체를 화상 중앙에 포착하여 촬영하므로, 도 28에 도시하 는 바와 같이, 화상 데이터의 중앙부에 주목한 상세 템플릿을 사용함으로써, 양호한 검색 결과를 얻을 수 있다. 따라서, 프린트 아웃한 사진인 검색원 프린트 아웃(1)으로부터, 그 원화상 데이터를 검색 추출하고, 추가 인화를 용이하게 행하는 시스템에서, 그 프린트 사진의 검색에서 효과가 높다.

또한, 키워드 분류 등이 어려운 원화상 모집단에 대한 검색에서, 고속으로 세부의 차이를 판별하는 수단으로서의 효과가 높다. 즉, 대규모의 모집단에 대한, 단계적인 검색 결과 좁혀 들어감이 가능하게 된다.

또한, 본 실시예에서도, 미리, 1개의 원화상 데이터에 대하여, 개요 템플릿과 상세 템플릿을 작성하여 데이터베이스에 등록해 둘 필요가 있고, 그 등록은, 상기 제1 실시예에서 설명한 바와 같이 하여 행하면 된다. 단, 반드시 동시에 양 템플릿을 작성할 필요는 없으며, 예를 들면, 상세 템플릿은, 2차 검색을 실행하는 단계에서 필요하게 되었을 때에 작성하는 방법이어도 된다.

또한, 상세 템플릿은, 도 25나 도 28에 도시한 바와 같이, 화상 데이터의 중앙부에 주목한 것에 한정되는 것은 아니다.

예를 들면, 도 29에 도시하는 바와 같이, 화상 내에 수개소, 상세 템플릿을 설정해도 된다. 이와 같이 상세 템플릿을 분산 배치함으로써, 프린트 촬영 조건에 의한 실패를 회피할 수 있다. 즉, 위치나 수를 동적으로 변화시켜 좁혀 들어감을 행할 수 있다.

또한, 도 30에 도시하는 바와 같이, 주목 영역을 원화상 데이터 촬영 시의 합초 위치에 둔 상세 템플릿으로 해도 된다. 이러한 상세 템플릿에서는, 촬영자의 의도를 반영한 결과를 예상할 수 있다.

또한, 도 31에 도시하는 바와 같이, 저해상도의 개요 템플릿(22)과 고해상도의 상세 템플릿(23)을 동일 화상에 넣은 복합 템플릿(21)을 구성하고, 상기 제1 실시예와 마찬가지로 1회의 템플릿 매칭 처리로 완료되도록 해도 된다. 예를 들면, 도 32에 도시하는 바와 같이, 개요 템플릿(22)(16×16 템플릿)과 상세 템플릿(23)(128×128 템플릿)을 조합함으로써, 복합 템플릿(21)을 구성한다. 이와 같은 복합 템플릿(21)에 의하면, 고속성과 안정적인 검색 결과의 양립을 예상할 수 있다. 또한, 고해상도 영역의 배치나 구성을 변경해도, 전체의 실장을 변경하지 않고 취급할 수 있다.

또한, 도 33에 도시하는 바와 같이, 상세 템플릿을 개요 템플릿과 동일한 영역에 대하여 작성하여 데이터베이스에 등록해 두고, 실제의 상세 템플릿과의 템플릿 매칭 시에는, 그 중의 일부의 영역, 즉 도 28 내지 도 30에 도시하는 바와 같은 영역을 참조 영역(24)으로서 사용하고, 다른 영역을 비참조 영역(25)으로 하도록 해도 된다.

또한, 본 실시예는, 상기 제1 실시예에 대응시켜 설명하였지만, 상기 제2 내지 제4 실시예에 대해서도 마찬가지로 적용 가능한 것은 물론이다.

또한, 본 실시예에서의 특징량의 산출을, 특징점군의 배치 관계를 기초로 하는 방법에 의해서도 상관없다.

[제6 실시예]

다음으로, 본 발명의 제6 실시예에 따른 검색 시스템을 설명한다.

본 실시예는, 카메라 부착 휴대 전화기 등의 촬상 기능을 가진 통신 장치인 통신 기능을 구비한 디지털 카메라(10)를 사용하는 예로서, 미리 등록한 화상을 촬영함으로써, 그 화상을 인식하고, 인식 결과에 따라서 소정의 동작(예를 들면 음성 출력이나 소정의 프로그램의 기동, 혹은 소정의 URL의 표시)을 시키는 경우에 적용하는 것이다.

화상을 인식하는 경우, 참조하는 데이터베이스(소위 사전 데이터)로서 화상 데이터는 등록하지만, 화상을 그대로 비교하는 것이 아니라, 화상의 특징량을 비교하는 것이 효율이 좋고 실제적이기 때문에, 화상으로부터 추출한 특징량 데이터베이스를 사용한다. 또한 이 데이터베이스는 내장이어도 통신을 통한 서버 상에 존재하는 것이어도 된다.

본 실시예에서는, 화상의 특징점의 배치 관계를 벡터량의 조합으로서 산출하고, 그 다수 조를 특징량으로서 정의한다. 그 때, 이 특징량은 특징점이 나타나는 수에 따라 그 정밀도가 상이하며, 원화상 데이터의 정밀도가 높으면 특징점을 수많이 검출 가능하기 때문에, 동일한 원화상 데이터에 대하여, 되도록이면 고정세한 조건에서 특징량을 산출한다. 이 때, 동일한 화상 소재에 대하여 정세도를 저하시킨 화상 데이터에 기초하여 특징량을 산출하면, 특징점이 비교적 적어지기 때문에 특징량 자체는 작은 용량으로 된다. 용량이 작은 것은 매칭 정밀도는 뒤떨어지지만, 매칭 속도가 고속인 것이나, 통신 속도가 빠른 등의 메리트가 있다.

본 실시예에서는 여기에 착안하여, 화상 데이터를 참조 데이터(템플릿)로서 등록할 때, 1개의 화상 소재의 등록 시에 서로 다른 복수의 정세도로부터 특징량을 산출하고, 각각의 정세도로 개별화한 데이터베이스를 구성한다. 그 각각의 데이터베이스에는, 각각에 대응하는 매칭 서버가 접속하고, 병렬 동작 가능한 배치로 한다. 즉, 도 34에 도시하는 바와 같이, 1차 특징량의 매칭 서버 및 1차 정보 DB(21), 2차 특징량의 매칭 서버 및 2차 정보 DB(22), …, n차 특징량의 매칭 서버 및 n차 정보 DB(2n)를 준비한다. 또한, 2차 특징량의 매칭 서버 및 2차 정보 DB(22) 내지 n차 특징량의 매칭 서버 및 n차 정보 DB(2n)는, 1차 특징량의 매칭 서버 및 1차 정보 DB(21)보다도 고정세한 특징량 또는 특별한 카테고리의 데이터베이스이다.

이와 같은 매칭 처리계를 준비한 후에, 도 34에 도시하는 바와 같이, 통신 기능을 구비한 디지털 카메라(10)로부터, 이미 등록되어 있는 의장(대상 마커)을 촬영하고(스텝 S61), 상기 디지털 카메라(10)에 내장되는 어플리케이션 소프트웨어에 의해 특징점의 배치 관계로부터 특징량 데이터를 산출한다(스텝 S13). 그리고, 그 특징량 데이터를 통신을 통하여 각 매칭 서버에 송신함으로써, 각 DB와의 매칭 처리가 행하여진다(스텝 S14). 이 매칭 처리에 의해, 매치하는 결과가 얻어졌다면, 그 결과에 결부되는 동작 정보(예를 들면 URL의 링크 등)가 취득되고(스텝 S62), 그 동작 정보가 디지털 카메라(10)에 송신되어, 예를 들면 3D 오브젝트 취득과 표시라고 하는 지정 동작이 수행된다(스텝 S63).

또한, 이 때의 카메라 해상도가 200만 화소급이었던 것으로 하면, 통신을 통하여 매칭 서버에서 검색하는 경우도 200만 화소급의 해상도의 특징량 데이터베이스로부터의 데이터로 매칭을 행하면 오인식율이 적다. 그러나, 동시에 동작하는 저해상도(예를 들면 VGA 클래스의 해상도)의 특징량 데이터베이스에서의 매칭은 고속으로 응답하기 때문에, 먼저 디지털 카메라(10)에 결과가 송부된다. 이와 같이 매칭 서버를 해상도별로 병렬 배치하는 것은 속도적, 인식 정밀도적으로 유리하다. 또한, 뒤따르는 고해상도 매칭 서버로부터의 회답이 이미 먼저 나와 있는 저해상도 매칭 서버와 상이한 경우가 있으며, 그와 같은 경우에는, 우선 빠른 쪽의 결과에 기초하는 표시가 행하여지고, 그 후에, 뒤따르는 결과에 기초하는 표시로 갱신된다. 예를 들면, 지폐 등을 인식하고자 하면, 저해상도 매칭에서의 회답이 『1만엔권』이라고 하는 레벨이어도, 고해상도 매칭에서는 『1만엔권이며 넘버가 ZTA473298SPK』라고 하는 회답과 같이, 보다 정세도가 높은 것에 의한 상세한 혹은 정확한 결과가 얻어진다.

또한, 상술한 바와 같이 고해상도 매칭 서버에서는 특징량 자체의 용량이 크고, XGA 클래스의 특징량은 40kB 정도로 비대하지만, 미리 저해상도 매칭에 의해 약 10kB 정도까지 작아진다. 또한, 2차 이후의 매칭 서버 및 데이터베이스에서는, 보다 저해상 데이터베이스와의 차분만을 유지하면, 보다 작은 데이터베이스 구성을 실현하고, 그것은 인식 처리의 고속화로 이어진다. 또한, 특징량에 템플릿(에리어 할당을 행하고, 각각의 농도값을 비교하는 방식)에 의한 추출을 진행시킨 경우, 일반적으로 10kB 이하이고, 적절히 양 방식을 조합한 다차원 특징량도 인식 정밀도의 향상에 유효한 것을 확인하고 있다.

이와 같이, 촬영 화상면의 일부 또는 전체면의 해상도를 다단계화하고, 실질상의 매칭 계층화를 실현하는 것은, 단순히 복수의 매칭 서버를 클러스터적으로 분 산 처리하는 경우에 비하여 인식 속도, 인식 정밀도의 양면에서 효과가 있다.

특히, 미리 데이터베이스 등록한 화상이 매우 다수(1000 이상)인 경우에 효과가 있는 방식이며, 또한, 유사성이 높은 화상이 그 안에 포함되어 있는 경우에도 효과를 갖는다.

[제7 실시예]

다음으로, 본 발명의 제7 실시예에 따른 검색 시스템을 설명한다.

본 실시예는, 전술한 스텝 S12에서의 프린트 아웃의 잘라내기 처리에 특징을 갖는 것이며, 그 밖에는 상기 제1 실시예와 마찬가지이므로, 그 설명은 생략한다. 본 실시예는, 선분 추출에 의해, 폐영역을 추출하는 방법을 채용한 것이다.

즉, 본 실시예에서의 프린트 아웃의 잘라내기 처리는, 도 35에 도시하는 바와 같이, 우선, 디지털 카메라(10)로 촬영된 검색원 프린트 아웃(1)의 화상을 포함하는 화상 데이터로부터, 선분을 검출하기 쉽게 하기 위해, 엣지 성분을 추출한다(스텝 S124). 이것은, 예를 들면, 공립 출판 주식회사 간행·尾崎 외 공저 『화상 처리』, 일간 공업 신문사 간행·手塚 외 공저 『디지털 화상 처리 공학』 등에 개시되어 있는 필터를 이용하여 화상 데이터로부터 엣지 성분을 추출하는 것이다. 이 경우, 필터는, 검출하는 엣지의 방향에 따라서, 도 36에 도시하는 바와 같은 일반적인 필터를 이용한다. 또한 여기서는, x, y의 2방향의 엣지 성분 추출의 예를 설명하였지만, 대상으로 되는 검색원 프린트 아웃(1)의 방향이 특정되지 않은 경우에는, 전체 방향의 엣지 성분 추출을 행한다.

다음으로, 직선 성분의 추출을 행한다(스텝 S125). 예를 들면, 하프 변환에 의한 직선 성분의 추출을 행한다.

하프 변환이란, 예를 들면, 공립 출판 주식회사 간행·尾崎 외 공저 『화상 처리』, 일간 공업 신문사 간행·手塚 외 공저 『디지털 화상 처리 공학』 등에 개시되어 있는 바와 같이, 좌표 변환에 의해 점의 집합으로부터 직선의 식을 정하는 방법이며, 화상 처리에서는 자주 이용된다.

하프 변환에서는, 도 37에 도시하는 바와 같이, 화상 상의 좌표 (x, y)를 θ, ρ로 표시되는 하프 곡선으로 변환한다.

엣지 추출 필터에 의해 엣지 추출한 화상 중에서, 임계값을 초과하는 픽셀의 좌표 (x, y)를 하프 곡선으로 변환하고, θ, ρ를 좌표축으로 한 θ-ρ 화상 상에 곡선을 그려 간다. 실제로는, θ-ρ 화상의 좌표 (θ, ρ)를 카운트 업해 간다.

하프 곡선의 교점이 동일 직선을 표시하게 되기 때문에, 위에서 얻어진 θ, ρ 좌표의 휘도(교점에서의 겹침)가, 동일 직선 상에 존재하는 픽셀수를 나타낸다. θ-ρ 화상 상에서 가장 휘도가 높은 좌표 (θ, ρ)를 상기 수학식 1에 대입하여, 직선의 식을 얻는다.

다음으로, 상기 하프 변환에 의해 얻어진 각 직선을 선분으로 분해한다(스텝 S126). 즉, 각 직선을 연장하여 이루어지는 선분을 구한다. 그리고, 각 선분의 연결이나 형상으로부터 영역을 결정한다(스텝 S127). 즉, 4개의 선분으로 둘러싸 인 영역을 탐색하고, 폐영역이었던 경우에는 추출 영역으로 한다. 이것은, 촬영 화상 시야 내에 검색원 프린트 아웃(1)(주목 영역)이 1개밖에 없는 경우이면, 4개의 직선으로 둘러싸인 영역을 탐색하면 되지만, 검색원 프린트 아웃(1)이 복수 있고, 게다가 그 일부가 겹쳐져 있는 경우에는, 아래에 있는 검색원 프린트 아웃(1)에 대해서는 4개의 직선으로 둘러싸이지 않기 때문이다. 각 직선을 연장한 선분에 의해 탐색함으로써, 그와 같은 아래에 있는 검색원 프린트 아웃(1)에 대해서도 폐영역을 추정하는 것이 가능하게 된다.

또한, 폐영역의 인식에 대해서는 다양한 방법이 제안되어 있고, 여기서는 설명하지 않는다. 또한, 여기서는, 엣지 추출, 하프 변환을 사용한 직선 추출에 대하여 설명하였지만, 직선을 검출하는 방법이면 이들에 한정되는 것은 아니다.

도 38 및 도 39에 상기 처리에 의한 직선의 추출의 예를 도시한다. 굵은 선(17)이 추출된 직선을 나타내고 있다. 도 38은 촬영 화상 시야 내에 주목 영역이 1개밖에 없는 경우를, 또한, 도 39는 복수의 주목 영역이 있는 경우를 도시한다.

주목 영역이 복수 있는 경우에는, 복수의 원화상 데이터를 검색하는 경우도 있지만, 하나로 좁히는 경우에는 이하와 같이 선택을 할 수 있다.

예를 들면, 피사체 화상의 중앙부에 위치하는 폐영역을 우선적으로 선택한다.

혹은, 구한 복수의 폐영역을 디지털 카메라(10)의 표시부(15)에 표시하고, 십자 키 등의 조작에 의해, 원하는 폐영역을 유저가 선택할 수 있도록 해도 된다. 또한 이 경우, 그와 같은 유저 인터페이스에 의해, 유저의 영역의 부분적 수정을 허용하도록 해도 된다.

또한, 면적이 큰 폐영역을 우선적으로 선택하도록 해도 된다.

혹은, 추출 영역 중에서 소정의 색을 많이 포함하는 화상(적, 청 등)을 선택하도록 해도 된다.

또한, 추출 영역 중의 주파수 분포가 소정의 값에 가까운 것을 선택하도록 해도 된다.

또한, 다른 것과의 겹침이 적은 즉 위로 되어 있는 폐영역을 우선적으로 선택하는 것으로 해도 된다. 이 겹침이 적은 상태의 인식 방법으로서는, 다음과 같은 방법이 있다.

방법1:하프 변환에 의해, 동일 선 상에 있다고 인식된 점에 대하여, 도 37 중의 우측 도면의 각 점을 재차 도 37 중의 좌측 도면의 선 상에 배치한다. 이와 같이 함으로써 선상의 선분이 정해지고, 각 선분과 도 39의 추출 영역의 관계로부터 영역의 상하 관계를 구할 수 있다. 보다 위에 있는 영역을 겹침이 적은 영역으로 한다.

방법2:검색 시스템에서, 매칭을 행하는 템플릿이 복수 있는 경우에, 임의의 템플릿만이 극단적으로 유사도가 낮은 경우, 그 부분이 다른 영역에 의해 차폐되어 있다고 판단할 수 있다.

상기 방법을 사용하는 것 외에, 상기 방법1과 2를 조합하여, 보다 양호한 정밀도로 겹침이 적은 상태를 판정할 수도 있다.

이상과 같이, 본 실시예는, 추출 직선에 기초하는 선분의 교점을 구하는 방식이기 때문에, 검색원 프린트 아웃(1)의 각 변의 일부가 보이고 있으면 된다.

따라서, 복수매의 검색원 프린트 아웃(1) 중으로부터 목적으로 하는 검색원 프린트 아웃(1)을 용이하게 추출할 수 있다. 특히, 검색원 프린트 아웃(1)끼리가 일부 서로 겹친 경우라도 추출이 가능하게 된다.

[제8 실시예]

다음으로, 본 발명의 제8 실시예에 따른 검색 시스템을 설명한다.

본 실시예는, 전술한 스텝 S12에서의 프린트 아웃의 잘라내기 처리에 특징을 갖는 것이고, 그 밖에는 상기 제1 실시예와 마찬가지이므로, 그 설명은 생략한다. 본 실시예는, 엣지 추출에 의해, 폐영역을 추출하는 방법을 채용한 것이다.

도 40은, 본 실시예에서의 프린트 아웃의 잘라내기 처리의 동작 플로우차트를 도시하고 있다.

즉, 디지털 카메라(10)로 촬영된 검색원 프린트 아웃(1)의 화상을 포함하는 화상 데이터로부터, 필터를 이용하여 엣지를 추출한다(스텝 S124). 다음으로, 이들 검출한 엣지를 탐색해 가서(스텝 S128), 엣지의 형상으로부터 영역을 결정한다(스텝 S129).

이와 같은 방법에 의해서도, 폐영역을 추출할 수 있다.

[제9 실시예]

다음으로, 본 발명의 제9 실시예에 따른 검색 시스템을 설명한다.

본 실시예는, 전술한 스텝 S12에서의 프린트 아웃의 잘라내기 처리에 특징을 갖는 것이고, 그 밖에는 상기 제1 실시예와 마찬가지이므로, 그 설명은 생략한다. 본 실시예는, 화상 내를 분할하고, 추출 선분을 한정하여, 폐영역을 추출하는 방법을 채용한 것이다.

즉, 본 실시예에서는, 검색 모드에서 검색원 프린트 아웃(1)을 디지털 카메라(10)로 촬영할 때, 도 41에 도시하는 바와 같이, 표시부(15)에 가이드 틀(18)을 표시한다. 그리고, 이 가이드 틀(18)에 의해 구획된 상변 영역, 하변 영역, 좌변 영역, 및 우변 영역의 각각에, 검색원 프린트 아웃(1)의 상하 좌우의 4변 중 하나가 들어가도록, 유저에게 촬영을 행하게 한다. 또한, 각 영역의 폭은, 디지털 카메라(10)의 설정 모드에서 십자 키 등의 조작에 의해, 유저가 촬영하기 쉬운 폭으로 설정할 수 있는 것으로 한다.

이에 의해, 촬영 화상 데이터도 마찬가지로 상변, 우변, 좌변, 하변의 4개의 영역으로 분할할 수 있다. 그리고, 상기 제6 실시예에서 설명한 바와 같은 직선 추출에서는, 상변 및 하변 영역에 대해서는 횡선을, 우변 및 좌변 영역은 종선의 검출만을 행한다. 이와 같이 한정함으로써, 계산량을 대폭으로 감소시킬 수 있다.

도 42는, 본 실시예에서의 프린트 아웃의 잘라내기 처리의 동작 플로우차트이다. 즉, 본 실시예에서는, 우선, 디지털 카메라(10)로 촬영된 검색원 프린트 아웃(1)의 화상을 포함하는 화상 데이터에서의 직선 추출 영역을, 현재의 가이드 틀(18)의 설정에 기초하여 결정한다(스텝 S12A). 즉, 도 43에 도시하는 바와 같이, 촬영 화상 데이터(19)에 대하여, 상하 좌우 4개의 직선 추출 영역을 결정한다. 그리고, 그 결정한 각 직선 추출 영역의 화상 데이터(19U, 19D, 19L, 19R)로부터 직선을 추출한다(스텝 S12B).

즉, 상기 제6 실시예에서는, 화상 데이터 내의 전체 직선에 대하여 하프 변환을 행하고, 그 직선 상의 점으로 되는 픽셀을 카운트하였지만, 본 실시예에서는, 도 44에 도시하는 바와 같이, 각 직선 추출 영역에서의 각 변의 존재 각도 범위가 결정되어 있다.

탐색 범위는, 처리 영역 사이즈에 따라서, 이하와 같이 결정한다.

대각선 각도 θ=±atan(처리 영역 높이/처리 영역 폭)

종선 탐색 범위:90-θ∼∼90+θ

횡선 탐색 범위:0∼θ, 180-θ∼180

즉, 도 45의 동작 플로우차트에 도시하는 바와 같이, 처리 영역의 폭과 높이를 비교하여(스텝 S71), 폭 쪽이 크면, O∼atan(처리 영역 높이/처리 영역 폭) 및 π-atan(처리 영역 높이/처리 영역 폭)∼π의 범위의 직선을 추출한다(스텝 S72). 또한, 처리 영역의 폭보다도 높이 쪽이 크면, π/2-atan(처리 영역 폭/처리 영역 높이)∼π/2+atan(처리 영역 폭/처리 영역 높이)의 범위의 직선을 추출한다(스텝 S73).

이와 같이 탐색 영역에 제한을 건 후에, 상기 제6 실시예에서 설명한 바와 같은 수순에 의해 폐영역을 결정해 간다(스텝 S12C). 그리고, 결정된 폐영역은, 디지털 카메라(10)의 표시부(15)에 굵은 선(17)으로서 제시된다.

또한, 화상 데이터 내의 노이즈 등의 영향에 의해 추출 영역이 희망하는 영역이 아니었던 경우(예를 들면, 지면이나 수평선을 검출하게 된 경우)에는, 이하의 방법에 의해 수정이 가능하다.

(a) 상기 하프 변환에서의 θ, ρ 좌표의 휘도가 제2위인 직선을 이용한다.

(b) 유저가 수동에 의해 선택 추출한 직선을 이용한다.

물론, 상기 제6 실시예에서 설명한 바와 같이, 유저가, 상기 추출된 폐영역을 부분적으로 수정해도 된다.

이상과 같이, 본 제8 실시예에 따르면, 촬영 화면 내를 분할하고, 각 영역에 검색원 프린트 아웃(1)의 변이 들어가도록 유도함으로써, 검출 범위가 한정되어, 계산량의 경감 및 고속화를 실현할 수 있다.

또한, 입력 화상은 정지 화상에 한정되는 것은 아니다. 동화상이 입력된 경우에는, 각 프레임마다 처리를 행하여, 축차적으로 추출 영역을 표시하는 것이 가능하게 된다. 또한, 복수 프레임의 정보를 아울러 평가하고, 예를 들면 하프 변환에서의 θ·ρ 좌표의 휘도값에 얽매이지 않고, 어느 프레임에서도 추출되는 직선, 소정의 복수 프레임 중에서 출현 횟수가 많은 직선을 후보로 하는 것이 가능하게 된다.

또한, 입력 화상은, 프린터로 프린트 아웃한 검색원 프린트 아웃(1)에 한정되는 것은 아니다. 도 46에 도시하는 바와 같이, 화상 데이터를 표시한 표시 디바이스(60)를 촬영하고, 그 표시 디바이스(60)에 표시된 화상 데이터를 관심 영역으로서 추출하여, 도 47에 도시하는 바와 같이, 굵은 선(17)을 표시하는 것도 가능하다. 또한 이 경우, 도 43에 도시하는 바와 같이, 각 직선 추출 영역의 화상 데이터(19U, 19D, 19L, 19R)를 흑 화상 데이터로 치환하고, 굵은 선(17)을 보다 식별 가능하게 표시하도록 해도 된다.

이상 실시예에 기초하여 본 발명을 설명하였지만, 본 발명은 상술한 실시예에 한정되는 것이 아니라, 본 발명의 요지의 범위 내에서 다양한 변형이나 응용이 가능한 것은 물론이다.

예를 들면, 디지털 카메라는, 정지 화상을 촬영하는 디지털 스틸 카메라에 한정되는 것이 아니라, 동화상을 촬영하는 디지털 무비 카메라도 포함한다.

또한, 통신 기능을 구비한 디지털 카메라인 촬상 기능을 가진 통신 장치란, 카메라 부착 휴대 전화기, 카메라 부착 PHS, 고정 화상 전화를 포함한다.

본 발명의 응용 범위로서, 카메라 부착 휴대 전화나 디지털 카메라는 말할 것도 없고, 화상으로 인증하는 타입의 시큐러티 시스템 등, 일반적으로 카메라에 의해 디지털 화상을 촬영하여 축적하는 시스템에서는 광범위한 이용을 기대할 수 있다.

Claims (16)

1. 검색 시스템으로서,

   프린트 아웃 화상을 포함하는 피사체를 촬상 유닛에 의해 촬상한 화상 데이터로부터, 상기 프린트 아웃 화상에 대응하는 영역을 추출하도록 구성되는 영역 추출 유닛과,

   상기 영역 추출 유닛에 의해 추출한 영역의 특징량(feature value)을 추출하도록 구성되는 특징량 추출 유닛과,

   상기 특징량에 기초하여 화상 데이터가 검색 가능한 데이터베이스에 액세스하여, 상기 특징량 추출 유닛에 의해 추출한 특징량에 기초하여 상기 데이터베이스로부터 화상 데이터를 검색하도록 구성되는 검색 유닛

   을 포함하고,

   상기 검색 유닛은, 촬영한 검색 프린트 아웃 화상의 취득한 화상에 따라, 제1 템플릿을 이용한 매칭에 의해 상기 데이터베이스로부터 복수 아이템의 화상 데이터를 검색하고,

   상기 검색 유닛은, 또한 상기 제1 템플릿보다 좁은 영역이며 또한 해상도가 높은 제2 템플릿을 이용한 템플릿 매칭에 의한 검색 결과로서 얻어진 단일 또는 복수 아이템의 화상 데이터를 검색하는 검색 시스템.
2. 제1항에 있어서,

   상기 검색 시스템은 디지털 카메라에 내장되는 시스템으로서 실현되어 있는 것을 특징으로 하는 검색 시스템.
3. 제1항에 있어서,

   상기 검색 시스템은 촬상 기능을 가진 통신 장치에 내장되는 시스템으로서 실현되어 있는 것을 특징으로 하는 검색 시스템.
4. 제1항에 있어서,

   상기 촬상 유닛을 더 포함하는 것을 특징으로 하는 검색 시스템.
5. 제1항에 있어서,

   상기 데이터베이스를 더 포함하는 것을 특징으로 하는 검색 시스템.
6. 제1항에 있어서,

   상기 데이터베이스는, 상기 검색 시스템 밖에 있고,

   상기 데이터베이스에의 액세스는, 통신 유닛을 통하여 행하여지는 것을 특징으로 하는 검색 시스템.
7. 제5항에 있어서,

   상기 데이터베이스는, 상기 프린트 아웃 화상의 원화상 데이터에 대하여 특징량을 산출하는 것에 의해 구성되는 것을 특징으로 하는 검색 시스템.
8. 제1항에 있어서,

   상기 특징량이 특징점들과 격자 형상 템플릿으로 구성되어 있고,

   상기 검색 유닛은, 상기 특징점들과 상기 격자 형상 템플릿을 병용함으로써 좁혀 들어감을 행하여 화상 데이터를 검색하는 것을 특징으로 하는 검색 시스템.
9. 프린트 아웃한 화상에 기초하여 화상 데이터를 검색하는 검색 방법으로서,

   프린트 아웃 화상을 포함하는 피사체를 촬상 유닛에 의해 촬상한 화상 데이터로부터, 상기 프린트 아웃 화상에 대응하는 영역을 추출하는 단계와,

   상기 추출한 영역의 특징량을 추출하는 단계와,

   촬영한 검색 프린트 아웃 화상의 취득한 화상에 따라, 제1 템플릿을 이용한 매칭에 의해 상기 데이터베이스로부터 복수 아이템의 화상 데이터가 검색 가능하고, 또한 상기 제1 템플릿보다 좁은 영역이며 또한 해상도가 높은 제2 템플릿을 이용한 템플릿 매칭에 의한 검색 결과로서 얻어진 단일 또는 복수 아이템의 화상 데이터가 검색 가능한 데이터베이스에 액세스하는 단계

   를 포함하는 검색 방법.
10. 검색 시스템으로서,

    피사체를 촬상하도록 구성되는 촬상 유닛과,

    상기 촬상 유닛에 의해 촬영한 영역의 특징량을 추출하도록 구성되는 특징량 추출 유닛과,

    상기 특징량에 기초하여 화상 데이터가 검색 가능한 화상 데이터베이스에 액세스하여, 상기 특징량 추출 유닛에 의해 추출한 특징량에 기초하여 상기 화상 데이터베이스로부터 화상 데이터를 검색하도록 구성되는 검색 유닛과,

    상기 검색 유닛의 검색 결과를 복수 표시하도록 구성되는 표시 유닛

    을 포함하고,

    상기 검색 유닛은, 촬영한 검색 프린트 아웃 화상의 취득한 화상에 따라, 제1 템플릿을 이용한 매칭에 의해 상기 데이터베이스로부터 복수 아이템의 화상 데이터를 검색하고,

    상기 검색 유닛은, 또한 상기 제1 템플릿보다 좁은 영역이며 또한 해상도가 높은 제2 템플릿을 이용한 템플릿 매칭에 의한 검색 결과로서 얻어진 단일 또는 복수 아이템의 화상 데이터를 검색하는 검색 시스템.
11. 제10항에 있어서,

    상기 촬상 유닛은, 상기 피사체로서, 상기 특징량에 기초하여 위치가 일의적으로 정해지는 대상물을 촬상하고,

    상기 검색 유닛은, 상기 촬상 유닛에 의해 촬상한 화상 데이터에 기초하여 촬영자의 위치를 인식하고, 그 위치에 관련되는 관련 정보를 기억한 관련 정보 데이터베이스에 액세스하여, 상기 인식한 위치에 기초하여 상기 관련 정보 데이터베이스로부터 관련 정보를 검색하는 것을 특징으로 하는 검색 시스템.
12. 제11항에 있어서,

    상기 표시 유닛은, 상기 검색 유닛에 의해 검색한 화상 데이터와 관련 정보를, 지도 상의 해당 위치에 겹쳐서 표시하는 것을 특징으로 하는 검색 시스템.
13. 제12항에 있어서,

    상기 표시 유닛은, 상기 검색한 화상 데이터 및 관련 정보를 상기 지도 상의 해당 위치에 겹쳐서 표시할 때에, 상기 화상 데이터 및 관련 정보를 소정의 축척에 따라서 표시하는 것을 특징으로 하는 검색 시스템.
14. 제1항에 있어서,

    상기 영역 추출 유닛은, 상기 촬상한 화상 데이터에서 선분을 검출하고, 그 검출한 선분으로부터 직선을 검출하고, 검출한 4개의 직선으로 형성되는 프레임을 추정하는 검색 시스템.
15. 제1항에 있어서,

    상기 검색 유닛은, 또한 상기 제2 템플릿보다 좁은 영역이며 또한 해상도가 높은 제3 템플릿을 이용한 템플릿 매칭에 의한 검색 결과로서 얻어진 단일 또는 복수 아이템의 화상 데이터를 검색하는 검색 시스템.
16. 제1항에 있어서,

    서로 해상도가 상이한 복수의 템플릿을 더 포함하고,

    상기 검색 유닛은, 촬영한 검색 프린트 아웃 화상의 취득한 화상에 따라, 상기 복수의 템플릿 중 하나의 템플릿을 이용한 매칭에 의해 상기 데이터베이스로부터 복수 아이템의 화상 데이터를 검색하고,

    또한 상기 복수의 템플릿 중 상기 하나의 템플릿보다 해상도가 높은 상기 복수의 템플릿 중의 다른 템플릿을 이용한 템플릿 매칭에 의한 검색 결과로서 얻어진 단일 또는 복수 아이템의 화상 데이터를 검색하는 검색 시스템.

Images