KR100750424B1 - 화상 유사도 산출 시스템, 화상 검색 시스템, 화상 유사도산출 방법 및 화상 유사도 산출용 프로그램 - Google Patents

Abstract

가공 처리가 실시된 화상과 원화상 간의 화상 유사도를 높은 값으로서 산출하는 화상 유사도 산출 시스템을 제공한다. 국소 영역 가중치 산출 수단(14)은 화상의 국소 영역마다 가공 처리가 실시되는 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하고, 산출된 국소 영역 가중치를 화상 유사도 산출 수단(122)에 출력한다. 소영역 유사도 산출 수단(121)은, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교하여, 각 소영역마다의 특징량의 유사도를 산출한다. 화상 유사도 산출 수단(122)은, 산출된 각 소영역마다의 특징량의 유사도에 국소 영역 가중치 산출 수단(14)으로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 작용시켜 조회 화상과 참조 화상의 화상 유사도를 산출한다.

소영역 유사도 산출 수단, 화상 분할 수단, 화상 유사도, 특징량 추출부

Description

화상 유사도 산출 시스템, 화상 검색 시스템, 화상 유사도 산출 방법 및 화상 유사도 산출용 프로그램{IMAGE SIMILARITY CALCULATION SYSTEM, IMAGE SEARCH SYSTEM, IMAGE SIMILARITY CALCULATION METHOD, AND IMAGE SIMILARITY CALCULATION PROGRAM}

본 발명은, 복수의 화상의 유사도를 산출하는 화상 유사도 산출 시스템, 화상 유사도 산출 방법 및 화상 유사도 산출용 프로그램 및 조회 화상과 유사한 화상을 검색하는 화상 검색 시스템에 관한 것으로, 특히 가공 처리가 실시된 화상과 원화상의 유사도를 산출하는 화상 유사도 산출 시스템, 화상 유사도 산출 방법 및 화상 유사도 산출용 프로그램 및 가공 처리가 실시된 조회 화상과 유사한 화상을 검색하는 화상 검색 시스템에 관한 것이다.

비교하고 있는 2개의 화상의 유사도를 산출하는 화상 유사도 산출 방법은, 일반적으로 등록된 검색 대상의 화상군 중에서, 조회 화상과 유사한 화상을 검색하는 화상 검색에서, 조회 화상과 검색 대상 화상의 유사도를 산출하기 위해 이용되고 있다.

종래의 화상 검색 방법의 일례가 특허 문헌1에 기재되어 있다. 특허 문헌1에 기재되어 있는 화상 검색 방법에서는, 화상을 복수의 블록으로 분할하고, 각 블 록의 특징량을 산출한다. 또한, 각 블록에 대하여 취득된 특징량에 따라 각 블록에 라벨을 부여하고, 라벨을 소정의 순서로 열거하여 라벨 행렬을 생성한다. 그리고, 조회 화상과 검색 대상 화상의 화상 유사도를, 각각의 화상으로부터 얻어지는 라벨열의 유사도로서 산출하고, 검색에서는 화상 유사도가 임계치를 초과하는 검색 대상 화상을 검색 결과로서 출력한다.

또한, 조회 화상과 부분적으로 유사한 화상의 검색을 행하는 화상 검색 방법이, 특허 문헌2에 기재되어 있다. 특허 문헌2에 기재되어 있는 화상 검색 방법에서는, 조회 화상을 입력함과 함께, 조회 화상 내의 검색의 대상으로 하는 영역을 조회 영역으로서 입력한다. 그리고, 조회 화상을 블록 분할하고, 각 블록과 조회 영역이 겹치는 면적에 따라 설정한 가중치로 각 블록의 특징량을 가중치 부여하여 특징량을 산출한다. 검색 대상의 화상에 대해서도 마찬가지로 특징량을 산출하고, 쌍방의 특징량을 비교하여 화상 유사도를 산출한다. 검색에서는, 화상 유사도가 높은 화상을 검색 결과로서 출력한다.

또한, 유저의 검색의 의도를 반영한 화상 검색 방법이, 특허 문헌3에 기재되어 있다. 특허 문헌3에 기재되어 있는 화상 검색 방법에서는, 조회 화상 및 검색 대상의 화상을 복수의 영역으로 나누고, 유저가 각 분할 영역에 상이한 가중치를 설정한다. 조회 화상과 검색 대상의 화상 사이에서 각 분할 영역마다 특징량을 비교하여 얻어지는 유사도에 대하여, 각 분할 영역에 설정된 가중치를 작용시킴으로써 화상 유사도를 산출한다. 유저가 검색 시에 중요시하고자 하는 영역을 지정할 수 있기 때문에, 유저의 검색의 의도를 반영한 화상 검색을 행할 수 있다.

특허 문헌1 : 일본 특개평11-312248호 공보(단락0012-0013, 도 9, 도 13)

특허 문헌2 : 일본 특개2000-163576호 공보(단락0017-0020, 도 7, 도 8)

특허 문헌3 : 일본 특개2001-134765호 공보(단락0028-0031, 도 11)

<발명이 해결하고자 하는 과제>

그러나, 특허 문헌1에 기재되어 있는 방법에서는, 조회 화상과 검색 대상의 화상의 동일성을 전제로 하고 있다. 이 때문에, 화상에 텔롭 중첩, 화상의 일부의 오려내기·잘라내기 등의 각종 가공 처리가 실시되어 화상의 그림이 부분적으로 변화한 화상과, 가공 전의 원화상 간의 화상 유사도는 낮은 값으로서 산출된다. 따라서, 가공 처리가 실시된 화상으로부터 원화상을 판정이나 검색하는 데 충분한 성능을 얻을 수 없다고 하는 문제점이 있다.

또한, 특허 문헌2에 기재되어 있는 방법에서는, 부분적으로 그림이 상이한 가공 화상에 대응할 수 있지만, 검색의 대상으로 하는 영역을 미리 지정할 필요가 있다. 특허 문헌3에 기재되어 있는 방법에서도, 마찬가지로 화상의 영역마다 가중치를 설정함으로써, 검색 시에 중요시하고자 하는 영역을 유저가 지정할 필요가 있다. 이 때문에, 가공 처리가 실시된 화상으로부터, 가공 전의 원화상을 판정하거나 검색하거나 하는 목적으로 화상 유사도를 산출하기 위해, 유저가 가공 처리가 실시되어 있지 않은 영역을 미리 지정할 필요가 있다. 따라서, 유저에게 큰 부담이 된다고 하는 문제점이 있다.

본 발명은, 상기의 문제점을 해결하기 위해 이루어진 것으로, 영역을 지정한다고 하는 부담을 유저에게 주지 않고, 가공 처리가 실시되어 부분적으로 그림이 변화한 화상으로부터 가공 전의 원화상을 정밀도 높게 판정하거나 검색하거나 하기 위해, 가공 처리가 실시된 화상과 가공 전의 원화상 간의 화상 유사도를 높은 값으로서 산출할 수 있는 화상 유사도 산출 시스템, 화상 검색 시스템, 화상 유사도 산출 방법 및 화상 유사도 산출용 프로그램을 제공하는 것을 목적으로 한다.

<과제를 해결하기 위한 수단>

본 발명에 따른 화상 유사도 산출 시스템, 화상 유사도 산출 방법 및 화상 유사도 산출용 프로그램은, 화상에 가공 처리가 실시되는 확률 모델을 고려하면서, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교하여, 조회 화상과 참조 화상의 화상 유사도를 산출하도록 구성되어 있는 것을 특징으로 한다.

본 발명에 따른 다른 양태의 화상 유사도 산출 시스템, 화상 유사도 산출 방법 및 화상 유사도 산출용 프로그램은, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 영역마다 화상에 가공 처리가 실시되는 확률 모델을 고려하면서 비교하여, 조회 화상과 참조 화상의 화상 유사도를 산출하도록 구성되어 있는 것을 특징으로 한다.

본 발명에 따른 또 다른 양태의 화상 유사도 산출 시스템, 화상 유사도 산출 방법 및 화상 유사도 산출용 프로그램은, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교한 후, 화상에 가공 처리가 실시되는 확률 모델을 고려하여 조회 화상과 참조 화상의 화상 유사도를 산출하도록 구성되어 있는 것을 특징으로 한다.

본 발명에 따른 또 다른 양태의 화상 유사도 산출 시스템, 화상 유사도 산출 방법 및 화상 유사도 산출용 프로그램은, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을, 영역마다 화상에 가공 처리가 실시되는 확률 모델을 고려하면서 비교한 후, 확률 모델을 고려하여 조회 화상과 참조 화상의 화상 유사도를 산출하도록 구성되어 있는 것을 특징으로 한다.

본 발명에 따른 화상 유사도 산출 시스템의 바람직한 일 양태는, 예를 들면 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 화상의 영역마다의 가중치를 산출하는 국소 영역 가중치 산출 수단과, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교하여 소영역마다의 특징량의 유사도를 산출하는 소영역 유사도 산출 수단과, 산출된 소영역마다의 유사도에 영역마다의 가중치를 작용시켜 조회 화상과 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 수단을 구비한 구성이다. 이러한 구성을 채용하여, 화상의 영역마다의 가공 확률을 고려하여 화상 유사도를 산출함으로써, 화상의 유사도의 판정에서 가공 처리가 실시된 확률이 높은 영역의 영향을 배제할 수 있기 때문에, 가공 처리가 실시된 화상과 원화상 간의 화상 유사도를 높은 값으로서 산출할 수 있다.

본 발명에 따른 화상 유사도 산출 시스템의 바람직한 일 양태는, 예를 들면 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 화상 간의 일치를 판정하는 임계치를 산출하는 일치 판정 임계치 산출 수단과, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교하여 소영역마다의 특징량의 유사도를 산출하는 소영역 유사도 산출 수단과, 산출된 소영역마다의 유사도로부터 화상 전체의 유사도를 산출한 후 일치를 판정하는 임계치를 이용하여 화상 전체의 유사도를 수정하여 조회 화상과 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 수단을 구비한 구성이다. 이러한 구성을 채용하여, 화상에 가공 처리가 실시되는 확률 모델에 기초하여 화상 간의 유사도의 확률 분포를 추정함으로써, 비교하는 2개의 화상이 일치하는지의 여부를 판정하는 최적의 임계치를 산출하고, 상기 임계치를 이용하여 화상 간의 유사도를 수정함으로써, 가공 처리가 실시된 화상과 원화상 간의 화상 유사도를 높은 값으로서 산출할 수 있어, 전혀 무관한 2개의 화상 간의 화상 유사도를 낮은 값으로서 산출할 수 있고, 가공 처리가 실시된 조회 화상이 참조 화상으로부터 생성된 것인지의 여부를 판정하는 데 적합한 화상 유사도를 산출할 수 있다.

본 발명에 따른 화상 검색 시스템의 바람직한 일 양태는, 예를 들면 입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하는 가공 확률 모델 추정 수단과, 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하는 국소 영역 가중치 산출 수단과, 입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하는 화상 분할 수단과, 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 소영역 특징량 추출 수단과, 사전에 등록된 복수의 참조 화상으로 이루어지는 참조 화상군에서의 각각의 참조 화상의 소영역 특징량을 기억하는 참조 화상군 소영역 특징량 기억부와, 참조 화상군 소영역 특징량 기억부에 기억된 각 참조 화상의 소영역 특징량과 조회 화상의 소영역 특징량을 비교하여, 각 참조 화상에 대한 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과, 소영역 유사도 산출 수단이 산출한 각 참조 화상에 대한 소영역 유사도에 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 행하여 조회 화상과 참조 화상군의 각 참조 화상과의 화상 유사도를 산출하는 화상 유사도 산출 수단과, 화상 유사도 산출 수단이 산출한 각 참조 화상에 대한 화상 유사도에 기초하여, 참조 화상군 중에서 조회 화상에 대한 검색 결과를 출력하는 검색 결과 출력 수단을 구비한 구성이다. 이러한 구성을 채용하여, 화상의 영역마다의 가공 확률을 고려하여 화상 유사도를 산출함으로써, 화상의 유사도의 판정에서 가공 처리가 실시된 확률이 높은 영역의 영향을 배제할 수 있기 때문에, 가공 처리가 실시된 화상과 유사도가 높은 참조 화상을 추출할 수 있다.

<발명의 효과>

본 발명의 제1 효과는, 가공 처리가 실시된 화상과 원화상 간의 화상 유사도를 높은 값으로서 산출할 수 있는 것에 있다. 그 이유는, 화상에 가공 처리가 실시되는 확률 모델을 고려하면서 화상 유사도를 산출함으로써, 화상 유사도의 산출에서 가공 처리가 실시된 확률이 높은 영역의 영향을 배제할 수 있기 때문이다.

본 발명의 제2 효과는, 가공 처리가 실시된 화상으로부터 원화상을 정밀도 높게 검색할 수 있는 것에 있다. 그 이유는, 가공 처리가 실시된 화상과 원화상 간의 화상 유사도를 높은 값으로서 산출할 수 있는 제1 효과를 갖는 화상 유사도의 산출 방법을 이용하여 화상의 검색을 행하기 때문이다.

도 1은 본 발명의 제1 실시 형태의 구성을 도시하는 블록도.

도 2는 본 발명의 제1 실시 형태의 동작을 도시하는 플로우차트.

도 3은 국소 영역 가공 확률의 산출의 방법을 설명하는 설명도.

도 4는 제1 실시 형태의 변형예를 도시하는 블록도.

도 5는 가공 확률 모델 기억 수단에 기억되는 국소 영역 가공 확률의 일례를 도시하는 설명도.

도 6은 제1 실시 형태의 다른 변형예를 도시하는 블록도.

도 7은 본 발명의 제2 실시 형태의 구성을 도시하는 블록도.

도 8은 본 발명의 제2 실시 형태의 동작을 도시하는 플로우차트.

도 9는 본 발명의 제3 실시 형태의 구성을 도시하는 블록도.

도 10은 본 발명의 제4 실시 형태의 구성을 도시하는 블록도.

도 11은 본 발명의 제5 실시 형태의 구성을 도시하는 블록도.

도 12는 본 발명의 제5 실시 형태의 동작을 도시하는 플로우차트.

도 13은 본 발명의 제6 실시 형태의 구성을 도시하는 블록도.

도 14는 본 발명의 제6 실시 형태의 동작을 도시하는 플로우차트.

도 15는 본 발명의 제7 실시 형태의 구성을 도시하는 블록도.

도 16은 본 발명의 제8 실시 형태의 구성을 도시하는 블록도.

도 17은 본 발명의 제9 실시 형태의 구성을 도시하는 블록도.

도 18은 본 발명의 제10 실시 형태의 구성을 도시하는 블록도.

도 19는 본 발명의 제11 실시 형태의 구성을 도시하는 블록도.

도 20은 본 발명의 제12 실시 형태의 구성을 도시하는 블록도.

<부호의 설명>

11 : 특징량 추출부

111 : 화상 분할 수단

112 : 소영역 특징량 추출 수단

12, 22, 32, 42, 52, 62, 72, 82, 92, 1120, 1220 : 화상 유사도 산출부

121, 221, 321, 421, 521, 621, 721, 821, 9211, 1021, 1121, 1221, : 소영역 유사도 산출 수단

122, 222, 322, 422, 522, 622, 722, 822, 922, 1022, 1122, 1222 : 화상 유사도 산출 수단

13, 53, 93 : 가공 확률 모델 추정 수단

139 : 가공 확률 모델 기억 수단

14, 34, 94, 114 : 국소 영역 가중치 산출 수단

25 : 참조 화상군 소영역 특징량 기억부

26 : 검색 결과 출력 수단

33, 73, 113 : 가공 영역 검출 수단

54, 74, 95, 115 : 일치 판정 임계치 산출 수단

이하, 본 발명을 실시하기 위한 최량의 형태에 대하여 도면을 참조하여 상세히 설명한다.

(제1 실시 형태)

본 발명의 제1 실시 형태에 대하여 도면을 참조하여 설명한다. 도 1의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제1 실시 형태는, 기능 상 특징량 추출부(11)와, 화상 유사도 산출부(12)와, 가공 확률 모델 추정 수단(가공 확률 산출 수단의 일례)(13)과, 국소 영역 가중치 산출 수단(14)을 구비하고 있다.

특징량 추출부(11)는, 기능 상 화상 분할 수단(111)과, 소영역 특징량 추출 수단(112)을 포함한다.

화상 분할 수단(111)은 가공 처리가 실시된 조회 화상이 입력되면, 조회 화상을 소영역으로 분할하고, 소영역으로 분할된 조회 화상을 소영역 특징량 추출 수단(112)에 출력한다. 가공 처리는, 화상의 그림을 부분적으로 변화시키는 처리를 의미한다. 가공 처리의 예로서, 화상에 대한 텔롭 자막이나 캐릭터 등의 중첩 오브젝트의 오버레이, 화상의 일부의 오려내기·잘라내기, 화상의 일부에 대한 모자이크 처리·바림 처리 등이 있다. 소영역으로 분할하는 방법은 임의적이다. 소영역으로 분할하는 방법의 예로서, 화상을 동일한 크기의 사각형으로 분할하는 방법, 화상을 불균일한 크기의 사각형으로 분할하는 방법, 화상을 원형이나 삼각형 등의 사각형 이외의 임의의 형상·임의의 크기로 분할하는 방법 등이 있지만, 이들 분할 방법에 한정된 것은 아니다. 또한, 소영역의 일부가 중복되도록 분할하여도 된다. 또한, 화상 전체를 소영역으로 분할할 필요도 없이, 화상의 일부만을 소영역으로 분할하여도 된다.

소영역 특징량 추출 수단(112)은, 화상 분할 수단(111)으로부터 입력되는 소영역으로 분할된 조회 화상으로부터 각 소영역의 특징량을 추출하고, 추출된 조회 화상의 소영역 특징량을 소영역 유사도 산출 수단(121)에 출력한다. 추출하는 소영역 특징량의 예로서, 색 정보, 엣지 정보, 텍스쳐 정보, 형상 정보, 움직임 정보 등이 있지만, 이들에 한정된 것은 아니다.

색 정보의 소영역 특징량의 예로서, 각 소영역 내의 전체 화소값의 평균값, 최빈도값, 미디언값 등의 대표값이나, 화소값의 출현 히스토그램 등이 있다. 화소값이란, RGB 표색 공간, HSV 표색 공간, YUV 표색 공간, YIQ 표색 공간, YCbCr 표색 공간, L*a*b* 표색 공간, XYZ 표색 공간 등의 각종 표색 공간계의 좌표값을 의미한다. 또한, 국제 표준 규격 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure 등의 색 정보에 관한 특징량을 이용해도 된다.

엣지 정보의 소영역 특징량의 예로서, 각 소영역의 대국적인 엣지 패턴을, 복수개 있는 엣지 패턴 중 가장 합치하는 패턴으로서 기술하는 특징량(이후, 엣지 요소 특징량이라고 함)을 이용하여도 되고, 각 소영역 내의 국소적인 엣지 패턴의 출현 히스토그램을 이용해도 된다. 또한, ISO/IEC 15938-3에 규정되어 있는 Edge Histogram을 이용해도 된다. 텍스쳐 정보의 특징량의 예로서는, ISO/IEC 15938-3에 규정되어 있는 Homogeneous Texture나 Texture Browsing 등이 있다. 형상 정보 의 특징량의 예로서는, ISO/IEC 15938-3에 규정되어 있는 Rejon Shape, Contour Shape, Shape 3D 등이 있다.

또한, 조회 화상이 동화상의 프레임 화상인 경우에는, 소영역 특징량으로서 움직임 정보를 이용해도 된다. 움직임 정보의 특징량의 예로서는, ISO/IEC 15938-3에 규정되어 있는 Parametric Motion이나 Motion Activity 등이 있다.

가공 확률 모델 추정 수단(13)은, 입력으로서 주어지는 가공 처리가 실시된 학습 화상 또는 가공 처리를 실시하는 기기의 특성으로부터, 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하고, 산출된 국소 영역 가공 확률을 국소 영역 가중치 산출 수단(14)에 출력한다. 국소 영역은, 화상 분할 수단(111)에서 분할되는 소영역과 대응하는 것이 바람직하지만, 화상 분할 수단(111)에서 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 하여도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 상이한 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 하여도 된다.

학습 화상은, 가공 확률 모델 추정 수단(13)이 국소 영역 가공 확률을 산출하기 위한 기초로 되는 하나 또는 복수의 가공 처리가 실시된 화상이다. 예를 들면, 본 발명이 영상 편집 장치에 적용되는 경우에는, 가공 처리가 실시된 임의의 영상을 구성하는 프레임 화상을 학습 화상으로서 이용할 수 있다. 또한, 학습 화상은 1 종류에 한정되지 않고, 예를 들면 뉴스 프로그램으로서 사용되는 뉴스 화상, 스포츠 프로그램으로서 사용되는 스포츠 화상, 버라이어티 프로그램으로서 사 용되는 버라이어티 화상 등, 화면에서 텔롭 삽입 등의 가공 처리가 실시되는 장소에 특징이 있다고 상정되는 종별마다 분류되어 있어도 된다. 예를 들면, 스포츠 화상에 대해서는, 화면에서의 주변 부분에 가공 처리가 실시되는 가능성이 높다고 상정되고, 버라이어티 프로그램 화상에 대해서는, 화면에서의 중앙 부분에 가공 처리가 실시되는 가능성이 높다고 상정되는 경우 등에, 스포츠 화상용의 학습 화상과, 버라이어티 프로그램 화상용의 학습 화상을 구분하여 사용하면 된다. 이 경우에는, 가공 확률 모델 추정 수단(13)은 종별마다의 국소 영역 가공 확률을 산출한다. 또한, 유저가 조회 화상의 종별을 지정함으로써, 조회 화상의 종별에 대응한 국소 영역 가공 확률을 사용할 수 있다.

가공 처리가 실시된 학습 화상이 입력으로서 주어지는 경우에는, 학습 화상에서 가공 처리가 실시된 영역을 특정하여, 국소 영역 가공 확률을 계측한다. 가공 처리가 실시된 영역을 특정하는 방법으로서는, 수동으로 행하여도 되고, 예를 들면 일본 특개2003-179888호 공보에 기재되어 있는 화상 정보와 문자 정보를 분리하는 방법(이하, 텔롭 검출 방법이라고 함) 등의 가공 처리를 자동적으로 검출하는 방법을 이용해도 된다. 가공 처리를 실시하는 기기의 특성이 입력으로서 주어지는 경우에는, 해당 기기가 화상에 대하여 실시하는 가공 패턴 및 각 가공 패턴의 사용 빈도의 정보에 기초하여, 국소 영역 가공 확률을 계측하는 방법이 있다.

기기 특성의 일례로서, 가공 처리를 실시하는 기기가 화상에 대하여 실시하는 가공의 패턴 및 각 가공 패턴의 사용 빈도의 정보가 있다. 예를 들면, 본 발명이 영상 편집 장치에 적용되는 경우에는, 임의의 영상 편집 장치를 이용했을 때에 화면에서의 특정한 하나 또는 복수의 영역에 가공 처리가 실시되는 가능성이 높다고 상정되고, 다른 영상 편집 장치를 이용했을 때에 화면에서의 별도의 특정한 하나 또는 복수의 영역에 가공 처리가 실시되는 가능성이 높다고 상정되는 경우에, 이들 영역을 가공 처리가 실시되는 영역으로서 나타내는 정보를, 가공의 패턴을 나타내는 정보로서 사용할 수 있다. 또한, 예를 들면 스포츠 화상에 대해서는, 화면에서의 주변 영역에 가공 처리가 실시되는 가능성이 높다고 상정되고, 버라이어티 프로그램 화상에 대해서는, 화면에서의 중앙 영역에 가공 처리가 실시되는 가능성이 비교적 높다고 상정되는 경우 등에, 이들 영역을 가공 처리가 실시되는 영역으로서 나타내는 정보를 가공의 패턴을 나타내는 정보로서 사용할 수 있다. 즉, 본래의 의미에서의 기기의 특성뿐만 아니라, 하나의 기기(예를 들면 텔롭 삽입 장치)가 이용되는 경우에도 화상의 종별에 따라 가공 패턴을 바꿀 때에는 각각의 가공 패턴 및 각 가공 패턴의 사용 빈도의 정보는 기기 특성에 포함된다.

국소 영역 가중치 산출 수단(14)은, 가공 확률 모델 추정 수단(13)으로부터 입력되는 국소 영역 가공 확률에 기초하여, 화상의 각 국소 영역으로부터 추출되는 특징량이 화상 전체의 유사도의 산출에 어느 정도 유효한지를 수치화한 가중치를 국소 영역 가중치로서 산출하고, 산출된 국소 영역 가중치를 화상 유사도 산출 수단(122)에 출력한다. 국소 영역 가중치는, 해당 국소 영역의 국소 영역 가공 확률이 낮을수록, 높은 값으로 설정하는 것이 유효하다. 국소 영역 가중치의 산출 방법의 일례로서,

국소 영역 가중치=1-국소 영역 가공 확률

로 하는 방법이 있지만, 이것에 한정된 것은 아니고, 국소 영역 가중치를, 국소 영역 가공 확률이 높은 경우에는 낮은 값, 국소 영역 가공 확률이 낮은 경우에는 높은 값으로 하는 등, 화상 유사도 산출 처리에서, 가공 처리가 실시된 확률이 높은 영역의 영향을 배제할 수 있는 다른 산출 방법을 이용해도 된다.

국소 영역은, 가공 확률 모델 추정 수단(13)에서의 국소 영역과 마찬가지로, 화상 분할 수단(111)에서 분할되는 소영역과 대응하는 것이 바람직하지만, 화상 분할 수단(111)에서 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 하여도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 상이한 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 하여도 된다.

화상 유사도 산출부(12)는, 기능 상 소영역 유사도 산출 수단(121)과, 화상 유사도 산출 수단(122)을 포함한다.

소영역 유사도 산출 수단(121)은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역의 특징량과, 입력으로서 주어지는 참조 화상의 소영역 특징량을 비교하여, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(122)에 출력한다. 소영역 유사도의 산출 방법은 사용하는 소영역 특징량에 따라 임의로 정해진다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징 량으로서 이용하는 경우에는, 히스토그램 간의 유사도를 산출하는 방법이 있다.

또한, ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에서 추천되어 있는 거리(유사도) 계산법에 따라 유사도를 산출할 수 있다.

또한, 유사도를 1, 0의 2 값 판정 결과로 하여도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우에는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 입력으로서 주어지는 참조 화상의 소영역 특징량에 관한 소영역은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과 대응하고 있는 것이 바람직하다. 대응하는 소영역을 직접 비교할 수 있기 때문이다.

화상 분할 방법이 상이하기 때문에, 조회 화상의 소영역과 참조 화상의 소영역이 대응하고 있지 않은 경우에는, 어느 한 쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 후에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다. 또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방 법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 완전히 상이한 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

화상 유사도 산출 수단(122)은, 소영역 유사도 산출 수단(121)으로부터 입력되는 소영역 유사도에 대하여, 국소 영역 가중치 산출 수단(14)으로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 행한다. 또한, 구해진 가중치 부여된 소영역 유사도로부터 화상 전체의 유사도를 화상 유사도로서 산출하고, 산출된 화상 유사도를 출력한다. 화상 유사도의 산출 방법으로서, 가중치 부여된 소영역 유사도의 전체 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다.

국소 영역 가중치 산출 수단(14)으로부터 입력되는 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도 산출 수단(121)으로부터 입력되는 소영역 유사도를 갖는 소영역과 대응하는 경우에는, 국소 영역 가중치를 직접 소영역마다의 가중치로서 이용할 수 있다. 소영역 유사도를 갖는 소영역과, 국소 영역 가중치를 갖는 국소 영역이 대응하고 있지 않은 경우에는, 국소 영역 가중치를 이용하여 소영역 유사도를 갖는 소영역에 대응한 가중치를 보완하면 된다. 예를 들면, 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도를 갖는 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 복수의 국소 영역 가중치의 평균값을 산출함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다. 또한, 국소 영역 가중 치에 관한 국소 영역 분할 방법이, 소영역 유사도에 관한 소영역 분할 방법과 완전히 상이한 형상이나 크기의 분할 방법인 경우에는, 소영역과 중복되는 복수의 국소 영역의 가중치를, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.

또한, 화상 유사도 산출 시스템은 컴퓨터로 실현 가능하고, 화상 유사도 산출 시스템을 구성하는 각 구성 요소, 즉 특징량 추출부(11), 화상 유사도 산출부(12), 가공 확률 모델 추정 수단(13) 및 국소 영역 가중치 산출 수단(14)은, 컴퓨터의 처리 장치(CPU)에 전술한 기능을 실현시키기 위한 프로그램으로서 실현 가능하다. 화상 유사도 산출 시스템을 구성하는 각 구성 요소가 컴퓨터로 실현 가능한 것, 및 프로그램으로서 실현 가능한 것은 제1 실시 형태에 한하지 않고, 후술하는 다른 실시 형태라도 마찬가지이다.

다음으로, 도 1의 블록도 및 도 2의 플로우차트를 참조하여, 제1 실시 형태의 동작에 대하여 설명한다.

학습 화상 또는 기기 특성이 입력으로서 주어지면(스텝 A1), 가공 확률 모델 추정 수단(13)은, 입력된 학습 화상 또는 기기 특성으로부터, 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출한다(스텝 A2).

도 3은 가공 확률 모델 추정 수단(13)에 의한 국소 영역 가공 확률의 산출 방법을 설명하는 설명도이다. 도 3에 도시하는 예에서는, 화상 데이터에 대응하는 화상의 영역은 16개의 국소 영역으로 나누어져 있다. 가공 확률 모델 추정 수단(13)은 복수의 학습 화상 각각의 국소 영역에 대하여 가공 처리가 실시되어 있는 경우에는 「1」로 하고, 실시되어 있지 않은 경우에는 「0」으로 하여, 국소 영역마다 평균을 취하는 등의 처리에 의해, 국소 영역마다 가공 처리가 실시되는 확률을 산출한다. 즉, 국소 영역 가공 확률을 나타내는 확률 모델을 추정한다. 또한, 여기서 설명한 확률 모델의 추정 방법은 일례이며, 다른 방법을 이용해도 된다.

그리고, 가공 확률 모델 추정 수단(13)은 산출한 국소 영역 가공 확률을 국소 영역 가중치 산출 수단(14)에 출력한다. 다음으로, 국소 영역 가중치 산출 수단(14)은 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출한다(스텝 A3).

또한, 가공 처리가 실시된 조회 화상이 입력으로서 주어지면(스텝 A4), 화상 분할 수단(111)은 입력된 조회 화상을 소영역으로 분할하고, 소영역으로 분할된 화상을 소영역 특징량 추출 수단(112)에 출력한다(스텝 A5). 소영역 특징량 추출 수단(112)은 소영역으로 분할된 화상의 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하고, 추출된 조회 화상 소영역 특징량을 소영역 유사도 산출 수단(121)에 출력한다(스텝 A6). 다음으로, 참조 화상의 소영역 특징량이 입력으로서 주어지면(스텝 A7), 소영역 유사도 산출 수단(121)은, 입력된 참조 화상의 소영역 특징량과 조회 화상 소영역 특징량을 비교하여 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(122)에 출력한다(스텝 A8). 다음으로, 화상 유사도 산출 수단(122)은, 소영역 유사도에 대하여, 스텝 A3에서 국소 영역 가중치 산출 수단(14)에 의해 산출된 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 행하여 조회 화상과 참조 화상의 화상 유사도를 산출한다(스텝 A9). 이와 같이 하여, 국소 영역 가중치를 이용하기 때문에, 가공 처리가 실시된 확률이 높은 영역의 영향을 배제할 수 있다. 마지막으로, 화상 유사도 산출 수단(122)은 산출된 화상 유사도를 출력한다(스텝 A10).

본 발명의 제1 실시 형태에서는, 화상의 분할된 소영역마다의 유사도에 대하여, 화상에 가공 처리가 실시되는 확률 모델을 고려하여 산출한 가중치 부여를 실시하여 화상 유사도를 산출하고 있다. 이 때문에, 화상 유사도의 산출에서 가공 처리가 실시된 확률이 높은 영역의 영향을 배제하여, 조회 화상의 가공 전의 상태와 참조 화상의 유사도를 정확하게 측정을 할 수 있고, 가공 처리가 실시된 화상과 원화상 간의 화상 유사도를 높은 값으로서 산출할 수 있다. 또한, 본 발명의 제1 실시 형태에서는, 조회 화상으로부터 가공 처리가 실시된 영역을 검출하는 처리를 필요로 하지 않고, 또한 학습 화상 또는 기기 특성으로부터 국소 영역 가중치를 산출하고 있기 때문에, 별도의 처리에서 국소 영역 가중치를 미리 구해 둘 수 있어, 화상 유사도의 산출을 고속으로 행할 수 있다.

또한, 이 실시 형태에서는 화상 유사도 산출 수단(122)이 가공 확률 모델 추정 수단(13)이 추정한 화상에 가공 처리가 실시되는 확률 모델, 구체적으로는 국소 영역마다 화상에 가공 처리가 실시되는 확률 모델을 고려하여 화상 유사도를 산출했지만, 소영역 유사도 산출 수단(121)이 확률 모델을 고려하면서, 입력된 참조 화상의 소영역 특징량과 조회 화상 소영역 특징량을 비교하여 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하도록 하여도 된다. 예를 들면, 가공 처리가 실 시되는 확률이 높은 소영역에 대하여 소영역 유사도를 낮게 조정하는 등의 처리를 실시하도록 하여도 된다. 또한, 소영역 유사도 산출 수단(121)이 확률 모델을 고려하면서 소영역 유사도를 산출해도 되는 것은, 이하의 실시 형태에서도 마찬가지이다.

또한, 가공 확률 모델 추정 수단(13)은, 조회 화상의 입력의 각각에 대응한 타이밍에서 국소 영역 가공 확률을 산출할 필요는 없다. 예를 들면, 본 발명이 적용되는 장치, 또는 시스템의 설치 시에나, 그 후의 정기적인 시기 등에 국소 영역 가공 확률의 산출 처리를 행하면 된다. 그리고, 가공 확률 모델 추정 수단(13)은 산출 결과를 유지하고, 조회 화상이 입력되면, 유지하고 있는 국소 영역 가공 확률을 국소 영역 가중치 산출 수단(14)에 출력한다. 또한, 이것은 이하의 각 실시 형태에서의 가공 확률 모델 추정 수단에 대해서도 마찬가지이다.

따라서, 국소 영역 가공 확률을 미리 산출하고, 산출된 국소 영역 가공 확률을 ROM 등의 기억 수단에 저장하여도 된다. 도 4는 가공 확률 모델 추정 수단(13) 대신에 국소 영역 가공 확률을 기억하는 기억 수단이 설치되어 있는 제1 실시 형태의 변형예를 도시하는 블록도이다.

도 4에 도시하는 구성에서, 가공 확률 모델 기억 수단(139)은, 국소 영역 가공 확률을 기억하고 있다. 국소 영역은, 화상 분할 수단(111)에서 분할되는 소영역과 대응하는 것이 바람직하지만, 화상 분할 수단(111)에서 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 하여도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 상이한 임의 의 형상이나 크기로 분할한 영역을 국소 영역으로 하여도 된다. 국소 영역 가공 확률로서, 모든 화상에 대하여 공통으로 사용하는 값을 기억해 두어도 되고, 뉴스 화상, 스포츠 화상, 버라이어티 화상 등, 사용되는 화상의 종별마다 상이한 값을 기억해 두어도 된다. 후자의 경우에 있어서, 유저가 조회 화상의 종별을 지정함으로써, 조회 화상의 종별에 대응한 국소 영역 가공 확률을 사용할 수 있다.

도 5는 가공 확률 모델 기억 수단(139)에 기억되는 국소 영역 가공 확률의 일례를 도시하는 설명도이다. 이 예에서는, 뉴스 화상, 스포츠 화상, 버라이어티 화상의 각 종별에 따라, 화상의 분할된 국소 영역마다 가공 처리가 실시되는 확률이 기억되어 있다. 뉴스 화상이나 스포츠 화상에서는, 화상의 좌측 위, 우측 위, 하부에 가공 처리가 실시되는 확률이 높기 때문에, 해당하는 국소 영역의 국소 영역 가공 확률의 값이 높아지고 있다. 또한 버라이어티 화상에서는, 화상의 중앙부에 가공 처리가 실시되는 확률도 높게 되어 있다.

또한, 도 4에 도시하는 가공 확률 모델 기억 수단(139) 이외의 각 블록의 구성 및 동작은, 도 1에 도시된 각 블록의 구성 및 동작과 동일하다. 이러한 변형예에 따르면, 연산 기능을 갖는 가공 확률 모델 추정 수단(13)을 구비할 필요가 없게 된다.

또한, 국소 영역 가공 확률을 플래시 메모리 등의 재기입 가능한 기억 수단에 기억시켜, 국소 영역 가공 확률이 변경 가능하게 되도록 구성하여도 된다. 도 6은, 가공 확률 모델 추정 수단(13) 대신에, 국소 영역 가공 확률을 기억하는 재기입 가능한 기억 수단이 설치되어 있는 제1 실시 형태의 다른 변형예를 도시하는 블 록도이다.

도 6에 도시하는 구성에서, 가공 확률 모델 추정 수단(13)은, 수시 추가로 입력되는 가공 처리가 실시된 학습 화상 또는 가공 처리를 실시하는 기기의 특성으로부터, 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하고, 산출된 국소 영역 가공 확률을 가공 확률 모델 갱신 수단(149)에 출력한다. 또한, 가공 확률 모델 추정 수단(13)에는, 예를 들면 정기적으로, 또는 가공 확률 모델이 크게 변할 가능성이 있는 어떠한 사상이 발생했을 때 등에 학습 화상 또는 가공 처리를 실시하는 기기의 특성이 입력된다.

가공 확률 모델 갱신 수단(149)은, 가공 확률 모델 기억 수단(139)에 기억되어 있는 국소 영역 가공 확률을 미리 읽어들여, 가공 확률 모델 기억 수단(139)으로부터 읽어들인 국소 영역 가공 확률과, 가공 확률 모델 추정 수단(13)으로부터 입력되는 국소 영역 가공 확률을 이용하여, 국소 영역 가공 확률을 갱신하고, 갱신한 국소 영역 가공 확률을 가공 확률 모델 기억 수단(139)에 기억시킨다. 또한, 가공 확률 모델 갱신 수단(149)은, 가공 확률 모델 기억 수단(139)으로부터 읽어들인 새로운 국소 영역 가공 확률을, 그대로 가공 확률 모델 기억 수단(139)에 기억시킴으로써, 국소 영역 가공 확률을 갱신하도록 하여도 된다.

또한, 도 6에 도시한 가공 확률 모델 갱신 수단(149) 및 가공 확률 모델 기억 수단(139) 이외의 각 블록의 구성 및 동작은, 도 1에 도시된 각 블록의 구성 및 동작과 동일하다. 이러한 변형예에 따르면, 가공 확률 모델 기억 수단(139)에 기억되어 있는 국소 영역 가공 확률을, 적절한 내용으로 유지할 수 있다.

(제2 실시 형태)

본 발명의 제2 실시 형태에 대하여 도면을 참조하여 설명한다. 도 7의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제2 실시 형태는, 도 1에 도시된 제1 실시 형태에서의 화상 유사도 산출부(12)가, 화상 유사도 산출부(22)로 치환되고, 또한 참조 화상군 소영역 특징량 기억부(25)와 검색 결과 출력 수단(26)을 갖는 점이 제1 실시 형태와는 상이하다. 또한, 이 실시 형태와 같이 참조 화상군 소영역 특징량 기억부(25)와 검색 결과 출력 수단(26)을 갖는 화상 유사도 산출 시스템은, 화상 검색 시스템을 실현한다.

참조 화상군 소영역 특징량 기억부(25)는, 사전에 등록된 복수의 참조 화상의 소영역 특징량을 기억하고 있다. 참조 화상군 소영역 특징량 기억부(25)에 기억되어 있는 각 참조 화상의 소영역 특징량에 관한 소영역은, 화상 분할 수단(111)에서 분할되는 조회 화상의 소영역과 대응하고 있는 것이 바람직하지만, 조회 화상의 소영역과는 상이한 형상이나 크기로 분할된 것이어도 된다.

화상 유사도 산출부(22)는, 기능 상, 소영역 유사도 산출 수단(221)과, 화상 유사도 산출 수단(222)을 포함한다.

소영역 유사도 산출 수단(221)은, 참조 화상군 소영역 특징량 기억부(25)로부터 복수의 참조 화상의 소영역 특징량을 1 화상분씩 읽어들이고, 읽어들인 각 참조 화상의 소영역 특징량과, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량을 비교하여, 소영역마다 특징량의 유사도를 소영역 유사도로서 산출한다. 산출된 참조 화상군의 각 참조 화상에 대한 소영역 유사도를 화상 유 사도 산출 수단(222)에 출력한다.

소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라서 임의로 정해진다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램 간의 유사도를 산출하는 방법이 있다.

또한, 국제 표준 규격 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에 의해 추천되어 있는 거리(유사도) 계산법에 따라서 유사도를 산출할 수 있다.

또한, 유사도를 1, 0의 2값 판정 결과로 하여도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과, 참조 화상군 소영역 특징량 기억부(25)로부터 읽어들인 참조 화상의 소영역 특징량에 관한 소영역이, 화상 분할 방법이 상이하기 때문에 대응하지 않는 경우에는, 어느 한 쪽의 화상의 소영역 특징량으로부터, 다른 한 쪽의 화상의 소영 역에 대응한 특징량을 보완한 뒤에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 상이한 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

화상 유사도 산출 수단(222)은, 소영역 유사도 산출 수단(221)으로부터 입력되는 참조 화상군의 각 참조 화상에 대한 소영역 유사도에 대하여, 국소 영역 가중치 산출 수단(14)으로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 하고, 구해진 가중치 부여된 소영역 유사도로부터 화상 전체의 유사도를 화상 유사도로서 산출한다. 그리고, 산출된 참조 화상군의 각 참조 화상에 대한 화상 유사도를 검색 결과 출력 수단(26)에 출력한다.

화상 유사도의 산출 방법으로서, 가중치 부여된 소영역 유사도의 전체 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다. 국소 영역 가중치 산출 수단(14)으로부터 입력되는 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도 산출 수단(121)으로부터 입력되는 소영역 유사도를 갖는 소영역과 대응하는 경우에는, 국소 영역 가중치를 직접 소영역마다의 가중치로서 이용할 수 있다. 소영역 유사도를 갖는 소영역과, 국소 영역 가중치를 갖는 국소 영역이 대응하지 않는 경우에는, 국소 영역 가중치를 이용하여 소영역 유사도를 갖는 소영역에 대응한 가중치를 보완하면 된다. 예를 들면, 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도를 갖는 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 복수의 국소 영역 가중치의 평균값을 산출함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.

또한, 국소 영역 가중치에 관한 국소 영역 분할 방법이, 소영역 유사도에 관한 소영역 분할 방법과 전혀 상이한 형상이나 크기의 분할 방법인 경우에는, 소영역과 중복되는 복수의 국소 영역의 가중치를, 중복되는 면적에 비례한 가중치 부여를 하여 총합함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.

검색 결과 출력 수단(26)은, 화상 유사도 산출 수단(222)으로부터 입력되는 참조 화상군의 각 참조 화상에 대한 화상 유사도에 기초하여, 참조 화상군 중에서 조회 화상에 대한 검색 결과를 출력한다. 검색으로서, 참조 화상군의 전체 참조 화상중에서, 가장 화상 유사도가 큰 값을 갖는 참조 화상을 출력하는 방법이 있다. 또한 참조 화상군의 각 참조 화상에 대한 화상 유사도와, 미리 설정한 임계치를 비교하여, 화상 유사도가 임계치 이상인 참조 화상을 모두 출력하여도 된다.

다음으로, 도 7의 블록도 및 도 8의 플로우차트를 참조하여, 제2 실시 형태의 동작에 대하여 설명한다.

학습 화상 또는 기기 특성이 입력으로서 주어지면(스텝 B1), 가공 확률 모델 추정 수단(13)은, 입력된 학습 화상 또는 기기 특성으로부터, 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하고, 산출된 국소 영역 가공 확률을 국소 영역 가중치 산출 수단(14)에 출력한다(스텝 B2). 국소 영역 가중치 산출 수단(14)은, 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출한다(스텝 B3).

가공 처리가 실시된 조회 화상이 입력으로서 주어지면(스텝 B4), 화상 분할 수단(111)은, 입력된 조회 화상을 소영역으로 분할하고, 소영역 분할된 화상을 소영역 특징량 추출 수단(112)에 출력한다(스텝 B5). 소영역 특징량 추출 수단(112)은, 소영역 분할된 화상의 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하고, 추출된 조회 화상 소영역 특징량을 소영역 유사도 산출 수단(221)에 출력한다(스텝 B6). 다음으로, 참조 화상군 소영역 특징량 기억부(25)로부터, 1 화상분의 참조 화상의 소영역 특징량을 읽어들인다(스텝 B7).

소영역 유사도 산출 수단(221)은, 읽어들여진 1 화상분의 참조 화상의 소영역 특징량과 조회 화상 소영역 특징량을 비교하여 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(222)에 출력한다(스텝 B8). 다음으로, 화상 유사도 산출 수단(222), 소영역 유사도에 대하여, 스텝 B3에서 국소 영역 가중치 산출 수단(14)에 의해 산출된 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 하여 읽어들여진 1 화상분의 참조 화상과 조회 화상의 화상 유사도를 산출한다(스텝 B9). 다음으로, 참조 화상군 소영역 특징량 기억부(25)에 기억되어 있는 모든 참조 화상에 대한 화상 유사도를 산출하였는지의 여부를 조사한다(스텝 B10). 화상 유사도를 산출하지 않은 참조 화상이 남아 있는 경우에는, 스텝 B7로 되돌아간다. 모든 참조 화상에 대한 화상 유사도가 산출되어 있는 경우에는, 스텝 B11로 진행한다. 마지막으로, 검색 결과 출력 수단(26)은, 모든 참조 화상에 대한 화상 유사도에 기초하여, 참조 화상군 중에서 조회 화상에 대한 검색 결과를 출력한다(스텝 B11).

본 발명의 제2 실시 형태에서는, 본 발명의 제1 실시 형태의 효과를 갖는 화상 유사도의 산출 방법을 이용하여 화상의 검색을 행한다. 따라서, 가공 처리가 실시된 확률이 높은 영역의 영향을 배제하여 산출한 화상 유사도를 이용하여 화상의 검색을 행하기 때문에, 가공 처리가 실시된 화상으로부터 원화상을 정밀도 좋게 검색할 수 있다. 또한, 제1 실시 형태와 마찬가지로, 조회 화상으로부터 가공 영역을 검출하는 처리를 필요로 하지 않고, 미리 국소 영역 가중치를 구해둘 수 있기 때문에, 화상 검색을 고속으로 행할 수 있다.

또한, 제2 실시 형태에서는, 제1 실시 형태에 대한 각 변형예를 적용할 수 있다. 즉, 가공 확률 모델 추정 수단(13) 대신에 가공 확률 모델 기억 수단(139)을 설치하여도 되고, 가공 확률 모델 갱신 수단(149)과 가공 확률 모델 기억 수단(139)을 설치하여도 된다.

(제3 실시 형태)

본 발명의 제3 실시 형태에 대하여 도면을 참조하여 설명한다. 도 9의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제3 실시 형태는, 특징량 추출부(11)와, 화상 유사도 산출부(32)와, 가공 영역 검출 수단(가공 확률 산출 수단의 일례)(33)과, 국소 영역 가중치 산출 수단(34)을 구비하고 있다. 특징량 추출부(11)는, 제1 실시 형태에서 구비하고 있었던 것과 동일한 것이다.

가공 영역 검출 수단(33)은, 입력으로서 주어지는 가공 처리가 실시된 조회 화상에 대하여, 텔롭 검출 방법 등의 가공 영역을 자동적으로 검출하는 방법에 의해, 조회 화상의 국소 영역마다 가공 처리가 실시된 확률을 국소 영역 가공 확률로서 산출하고, 산출된 국소 영역 가공 확률을 국소 영역 가중치 산출 수단(34)에 출력한다. 국소 영역 가공 확률의 확률값은, 임의의 값이어도 되고, 1, 0의 2값이어도 된다. 또한, 국소 영역은, 화상 분할 수단(111)에 의해 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 하여도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 상이한 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 하여도 된다.

국소 영역 가중치 산출 수단(34)은, 가공 영역 검출 수단(33)으로부터 입력되는 국소 영역 가공 확률에 기초하여, 화상의 각 국소 영역으로부터 추출되는 특징량이 화상 전체의 유사도의 산출에 어느 정도 유효한지를 수치화한 가중치를 국소 영역 가중치로서 산출한다. 그리고, 산출된 국소 영역 가중치를 화상 유사도 산출 수단(322)에 출력한다. 국소 영역은, 화상 분할 수단(111)에서 분할되는 소영역과 대응하는 것이 바람직하지만, 화상 분할 수단(111)에서 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 하여도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 상이한 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 하여도 된다. 국소 영역 가중치의 산출 방법의 일례로서,

국소 영역 가중치=1-국소 영역 가공 확률

로 하는 방법이 있지만, 이것에 한하는 것은 아니고, 화상 유사도 산출 처리에서, 가공 처리가 실시된 확률이 높은 영역의 영향을 배제할 수 있는 다른 산출 방법을 이용하여도 된다. 또한, 가공 영역 검출 수단(33)으로부터 입력되는 국소 영역 가공 확률이 1, 0의 2값의 확률값으로서 공급되는 경우에는, 복수의 국소 영역을 통합한 영역을 새로운 국소 영역으로 하고, 국소 영역 가중치를 통합 후의 국소 영역 내에 포함되는 국소 영역 가공 확률인 통합 전의 국소 영역의 면적의 비율로서 구하는 방법이 있다.

화상 유사도 산출부(32)는, 기능 상, 소영역 유사도 산출 수단(321)과, 화상 유사도 산출 수단(322)을 포함한다.

소영역 유사도 산출 수단(321)은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량과, 입력으로서 주어지는 참조 화상의 소영역 특징량을 비교하여, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(322)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라서 임의로 정해진다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다.

색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우 에는, 히스토그램 간의 유사도를 산출하는 방법이 있다. 또한 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에 의해 추천되어 있는 거리(유사도) 계산법에 따라서 유사도를 산출할 수 있다.

또한, 유사도를 1, 0의 2값 판정 결과로 하여도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 입력으로서 주어지는 참조 화상의 소영역 특징량에 관한 소영역은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과 대응하고 있는 것이 바람직하다. 대응하는 소영역을 직접 비교할 수 있기 때문이다. 조회 화상의 소영역과 참조 화상의 소영역이 화상 분할 방법이 상이하기 때문에 대응하지 않는 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 뒤에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 상이한 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

화상 유사도 산출 수단(322)은, 소영역 유사도 산출 수단(321)으로부터 입력되는 소영역 유사도에 대하여, 국소 영역 가중치 산출 수단(34)으로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 하여, 구해진 가중치 부여된 소영역 유사도로부터 화상 전체의 유사도를 화상 유사도로서 산출하고, 산출된 화상 유사도를 출력한다. 화상 유사도의 산출 방법으로서, 가중치 부여된 소영역 유사도의 전체 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다.

국소 영역 가중치 산출 수단(34)으로부터 입력되는 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도 산출 수단(321)으로부터 입력되는 소영역 유사도를 갖는 소영역과 대응하는 경우에는, 국소 영역 가중치를 직접 소영역마다의 가중치로서 이용할 수 있다. 소영역 유사도를 갖는 소영역과, 국소 영역 가중치를 갖는 국소 영역이 대응하지 않는 경우에는, 국소 영역 가중치를 이용하여 소영역 유사도를 갖는 소영역에 대응한 가중치를 보완하면 된다. 예를 들면, 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도를 갖는 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 복수의 국소 영역 가중치의 평균값을 산출함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.

또한, 국소 영역 가중치에 관한 국소 영역 분할 방법이, 소영역 유사도에 관한 소영역 분할 방법과 전혀 상이한 형상이나 크기의 분할 방법인 경우에는, 소영역과 중복되는 복수의 국소 영역의 가중치를, 중복되는 면적에 비례한 가중치 부여를 하여 총합함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.

제3 실시 형태에서는, 제1 실시 형태와 마찬가지로, 가공 처리가 실시된 확률이 높은 영역의 영향을 배제하여 화상 유사도를 산출하지만, 국소 영역 가중치를 조회 화상으로부터 직접 산출한 국소 영역 가공 확률에 기초하여 산출하고 있다. 학습 화상 또는 기기 특성으로부터 학습적으로 국소 영역 가중치를 평균값으로서 구하는 제1 실시 형태와는 달리, 조회 화상마다 국소 영역 가중치를 산출하기 때문에, 가공 처리가 실시된 화상과 원화상 간의 화상 유사도를 보다 높은 값으로서 산출할 수 있다. 또 본 실시 형태에서는, 학습 화상 또는 기기 특성의 입력을 필요로 하지 않는다.

(제4 실시 형태)

본 발명의 제4 실시 형태에 대하여 도면을 참조하여 설명한다. 도 10의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제4 실시 형태는, 도 9에 도시된 제3 실시 형태에서의 화상 유사도 산출부(32)가, 화상 유사도 산출부(42)로 치환되고, 또한 참조 화상군 소영역 특징량 기억부(25)와 검색 결과 출력 수단(26)을 갖는 점에서 제3 실시 형태와는 상이하다. 참조 화상군 소영역 특징량 기억부(25) 및 검색 결과 출력 수단(26)은, 제2 실시 형태에서 구비하고 있었던 것 과 동일한 것이다.

화상 유사도 산출부(42)는, 기능 상, 소영역 유사도 산출 수단(421)과, 화상 유사도 산출 수단(422)을 포함한다.

소영역 유사도 산출 수단(421)은, 참조 화상군 소영역 특징량 기억부(25)로부터 복수의 참조 화상의 소영역 특징량을 1 화상분씩 읽어들이고, 읽어들인 각 참조 화상의 소영역 특징량과, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량을 비교하여, 소영역마다 특징량의 유사도를 소영역 유사도로서 산출한다. 산출된 참조 화상군의 각 참조 화상에 대한 소영역 유사도를 화상 유사도 산출 수단(422)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라서 임의로 정해진다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다.

색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램 간의 유사도를 산출하는 방법이 있다. 또한, 국제 표준 규격 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에 의해 추천되어 있는 거리(유사도) 계산법에 따라서 유사도를 산출할 수 있다.

또한, 유사도를 1, 0의 2값 판정 결과로 하여도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과, 참조 화상군 소영역 특징량 기억부(25)로부터 읽어들인 참조 화상의 소영역 특징량에 관한 소영역이, 화상 분할 방법이 상이하기 때문에 대응하지 않는 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 뒤에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 상이한 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

화상 유사도 산출 수단(422)은, 소영역 유사도 산출 수단(421)으로부터 입력되는 참조 화상군의 각 참조 화상에 대한 소영역 유사도에 대하여, 국소 영역 가중치 산출 수단(34)으로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 하여, 구해진 가중치 부여된 소영역 유사도로부터 화상 전체의 유사도를 화상 유사도로서 산출한다. 산출된 참조 화상군의 각 참조 화상에 대한 화상 유사도를 검색 결과 출력 수단(26)에 출력한다.

화상 유사도의 산출 방법으로서, 가중치 부여된 소영역 유사도의 전체 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다. 국소 영역 가중치 산출 수단(34)으로부터 입력되는 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도 산출 수단(421)으로부터 입력되는 소영역 유사도를 갖는 소영역과 대응하는 경우에는, 국소 영역 가중치를 직접 소영역마다의 가중치로서 이용할 수 있다. 소영역 유사도를 갖는 소영역과, 국소 영역 가중치를 갖는 국소 영역이 대응하지 않는 경우에는, 국소 영역 가중치를 이용하여 소영역 유사도를 갖는 소영역에 대응한 가중치를 보완하면 된다. 예를 들면, 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도를 갖는 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 복수의 국소 영역 가중치의 평균값을 산출함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.

또한, 국소 영역 가중치에 관한 국소 영역 분할 방법이, 소영역 유사도에 관한 소영역 분할 방법과 전혀 상이한 형상이나 크기의 분할 방법인 경우에는, 소영역과 중복되는 복수의 국소 영역의 가중치를, 중복되는 면적에 비례한 가중치 부여를 하여 총합함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.

검색 결과 출력 수단(26)은, 제2 실시 형태인 경우와 마찬가지로, 검색 결과를 출력한다.

제4 실시 형태에서는, 제3 실시 형태의 효과를 갖는 화상 유사도의 산출 방 법을 이용하여 화상의 검색을 행한다. 또한, 제2 실시 형태와는 달리, 조회 화상마다 국소 영역 가중치를 산출하기 때문에, 가공 처리가 실시된 화상으로부터 원화상을 보다 고정밀도로 검색할 수 있다. 또한, 제3 실시 형태와 마찬가지로, 본 실시 형태에서는 학습 화상 또는 기기 특성의 입력을 필요로 하지 않는다.

(제5 실시 형태)

본 발명의 제5 실시 형태에 대하여 도면을 참조하여 설명한다. 도 11의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제5 실시 형태는, 특징량 추출부(11)와, 화상 유사도 산출부(52)와, 가공 확률 모델 추정 수단(53)과, 일치 판정 임계치 산출 수단(54)을 구비하고 있다. 특징량 추출부(11)는, 본 발명의 제1 실시 형태에서 구비하고 있었던 것과 동일한 것이다.

가공 확률 모델 추정 수단(가공 확률 산출 수단의 일례)(53)은, 입력으로서 주어지는 가공 처리가 실시된 학습 화상 또는 가공 처리를 실시하는 기기의 특성으로부터, 화상의 국소 영역마다 가공 처리가 실시되는 확률인 국소 영역 가공 확률, 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하고, 산출된 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포를 일치 판정 임계치 산출 수단(54)에 출력한다.

기기 특성의 일례로서, 가공 처리를 실시하는 기기가 화상에 대하여 실시하는 가공의 패턴 및 각 가공 패턴의 사용 빈도의 정보가 있다. 국소 영역은, 화상 분할 수단(111)에서 분할되는 소영역과 대응하는 것이 바람직하지만, 화상 분할 수단(111)에서 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 하여도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 상이한 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 하여도 된다.

가공 처리가 실시된 학습 화상이 입력으로서 주어지는 경우에는, 학습 화상에서 가공 처리가 실시된 영역을 특정하여, 국소 영역 가공 확률을 계측한다. 가공 처리가 실시된 영역을 특정하는 방법으로서, 수동으로 행하여도 되고, 텔롭 검출 방법 등의 가공 처리를 자동적으로 검출하는 방법을 이용하여도 된다. 가공 처리를 실시하는 기기의 특성이 입력으로서 주어지는 경우에는, 해당 기기가 화상에 대하여 실시하는 가공 패턴 및 각 가공 패턴의 사용 빈도의 정보에 기초하여, 국소 영역 가공 확률을 계측하는 방법이 있다.

일치 판정 임계치 산출 수단(54)은, 가공 확률 모델 추정 수단(53)으로부터 입력되는 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여, 후술하는 화상 유사도 산출 수단(522)에 의해 구해지는 화상 전체의 유사도에 대하여, 비교하고 있는 2개의 화상이 일치하는지의 여부를 판정하는 최적의 임계치를 일치 판정 임계치로서 산출하고, 산출된 일치 판정 임계치를 화상 유사도 산출 수단(522)에 출력한다. 최적의 임계치의 산출 방법으로서, 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 가공 처리가 실시되어 부분적으로 그림이 변화한 가공 화상과 원래의 화상 사이에서, 화상 유사도 산출 수단(522)에서 화상의 소영역마다의 유사도로부터 구해지는 화상 전체의 유사도의 생기 확률 분포를 추정하고, 추정된 화상 전체의 유사도의 생기 확률 분포에 기초하여 가공 화상과 원화상이 불일치하다고 판정하는 확률이 충분히 작다고 판단할 수 있는 임계치로 설정하는 방법이 있다. 화상 전체의 유사도의 생기 확률 분포를 추정할 때에, 가공 처리에 의한 그림의 변화의 영향 외에, 화상의 재인코드에 기인하는 노이즈 발생에 의한 특징량의 변동의 영향도 고려하여도 된다.

화상 유사도 산출부(52)는, 기능 상, 소영역 유사도 산출 수단(521)과, 화상 유사도 산출 수단(522)을 포함한다.

소영역 유사도 산출 수단(521)은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량과, 입력으로서 주어지는 참조 화상의 소영역 특징량을 비교하여, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(522)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라서 임의로 구하여도 된다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다.

색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램 간의 유사도를 산출하는 방법이 있다. 또한 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에 의해 추천되어 있는 거리(유사도) 계산법에 따라서 유사도를 산출할 수 있다.

또한, 유사도를 1, 0의 2값 판정 결과로 하여도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 입력으로서 주어지는 참조 화상의 소영역 특징량에 관한 소영역은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과 대응하고 있는 것이 바람직하다. 대응하는 소영역을 직접 비교할 수 있기 때문이다. 조회 화상의 소영역과 참조 화상의 소영역이 화상 분할 방법이 상이하기 때문에 대응하지 않는 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 뒤에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 상이한 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

화상 유사도 산출 수단(522)은, 소영역 유사도 산출 수단(521)으로부터 입력 되는 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 산출된 화상 전체의 유사도를 일치 판정 임계치 산출 수단(54)으로부터 입력되는 일치 판정 임계치를 이용하여 수정하고, 수정된 유사도를 화상 유사도로서 출력한다. 화상 전체의 유사도의 산출 방법으로서, 소영역 유사도의 전체 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다. 화상 전체의 유사도를 일치 판정 임계치를 이용하여 수정하는 방법으로서, 화상 전체의 유사도가 일치 판정 임계치 이상이면 유사도를 1로, 화상 전체의 유사도가 일치 판정 임계치 미만이면 유사도를 0으로 수정하는 방법이 있다.

다음으로, 도 11의 블록도 및 도 12의 플로우차트를 참조하여, 제5 실시 형태의 동작에 대하여 설명한다.

학습 화상 또는 기기 특성이 입력으로서 주어지면(스텝 C1), 가공 확률 모델 추정 수단(53)은, 입력된 학습 화상 또는 기기 특성으로부터, 화상의 국소 영역마다 가공 처리가 실시되는 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하고, 산출된 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포를 일치 판정 임계치 산출 수단(54)에 출력한다(스텝 C2). 다음으로, 일치 판정 임계치 산출 수단(54)은, 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출한다(스텝 C3).

가공 처리가 실시된 조회 화상이 입력으로서 주어지면(스텝 C4), 화상 분할 수단(111)은, 입력된 조회 화상을 소영역으로 분할하고, 소영역 분할된 화상을 소 영역 특징량 추출 수단(112)에 출력한다(스텝 C5). 소영역 특징량 추출 수단(112)은, 소영역 분할된 화상의 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하고, 추출된 조회 화상 소영역 특징량을 소영역 유사도 산출 수단(521)에 출력한다(스텝 C6). 다음으로, 참조 화상의 소영역 특징량이 입력으로서 주어진다(스텝 C7). 소영역 유사도 산출 수단(521)은, 입력된 참조 화상의 소영역 특징량과 조회 화상 소영역 특징량을 비교하여 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(522)에 출력한다(스텝 C8). 화상 유사도 산출 수단(522)은, 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 스텝 C3에서 일치 판정 임계치 산출 수단(54)에 의해 산출된 일치 판정 임계치를 이용하여 화상 전체의 유사도를 수정하여 조회 화상과 참조 화상의 화상 유사도를 산출한다(스텝 C9). 마지막으로, 화상 유사도 산출 수단(522)은, 산출된 화상 유사도를 출력한다(스텝 C10).

제5 실시 형태에서는, 화상에 가공 처리가 실시되는 확률 모델에 기초하여, 비교하는 2개의 화상이 일치하는지의 여부를 판정하는 최적의 임계치를 산출하고, 이 임계치에 기초하여 화상 간의 유사도를 수정하여 화상 유사도를 산출한다. 화상이 일치하는지의 여부를 판정하는 임계치에 기초하여 유사도를 수정하기 위해서, 본 실시 형태는, 가공 처리가 실시된 조회 화상이 참조 화상으로부터 생성된 것인지의 여부를 판정하는 데 적합한 화상 유사도를 산출할 수 있다. 또한, 제5 실시 형태에서는, 조회 화상으로부터 가공 처리가 실시된 영역을 검출하는 처리를 필요로 하지 않고, 또한 학습 화상 또는 기기 특성으로부터 일치 판정 임계치를 산출하 고 있기 때문에, 미리 별도의 처리에서 일치 판정 임계치를 구해 둘 수 있고, 화상 유사도의 산출을 고속으로 행할 수 있다.

또한, 제5 실시 형태에서는, 제1 실시 형태에 대한 각 변형예를 적용할 수 있다. 즉, 가공 확률 모델 추정 수단(53) 대신에 가공 확률 모델 기억 수단을 설치하여도 되고, 가공 확률 모델 갱신 수단과 가공 확률 모델 기억 수단을 설치하여도 된다.

(제6 실시 형태)

본 발명의 제6 실시 형태에 대하여 도면을 참조하여 설명한다. 도 13의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제6 실시 형태는, 도 11에 도시된 제5 실시 형태에서의 화상 유사도 산출부(52)가, 화상 유사도 산출부(62)로 치환되고, 또한 참조 화상군 소영역 특징량 기억부(25)와 검색 결과 출력 수단(26)을 갖는 점에서 제5 실시 형태와는 상이하다. 참조 화상군 소영역 특징량 기억부(25) 및 검색 결과 출력 수단(26)은, 제2 실시 형태에서 구비하고 있었던 것과 동일한 것이다.

화상 유사도 산출부(62)는, 기능 상, 소영역 유사도 산출 수단(621)과 화상 유사도 산출 수단(622)을 포함한다.

소영역 유사도 산출 수단(621)은, 참조 화상군 소영역 특징량 기억부(25)로부터 복수의 참조 화상의 소영역 특징량을 1 화상분씩 읽어들이고, 읽어들인 각 참조 화상의 소영역 특징량과, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량을 비교하여, 소영역마다 특징량의 유사도를 소영역 유사도로 서 산출한다. 산출된 참조 화상군의 각 참조 화상에 대한 소영역 유사도를 화상 유사도 산출 수단(622)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라서 임의로 정해진다.

예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램 간의 유사도를 산출하는 방법이 있다.

또한, 국제 표준 규격 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에서 추천되어 있는 거리(유사도) 계산법에 따라 유사도를 산출할 수 있다.

또한, 유사도를 1, 0의 2값 판정 결과로 해도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우에는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과, 참조 화상군 소영역 특징량 기억부(25)로부터 읽어들인 참조 화상의 소영역 특징량에 관한 소영역이, 화상 분할 방법이 서로 다르기 때문에 대응하고 있지 않은 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화 상의 소영역에 대응한 특징량을 보완한 후에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

화상 유사도 산출 수단(622)은, 소영역 유사도 산출 수단(621)으로부터 입력되는 참조 화상군의 각 참조 화상에 대한 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 산출된 화상 전체의 유사도를 일치 판정 임계치 산출 수단(54)으로부터 입력되는 일치 판정 임계치를 이용하여 수정한다. 수정된 참조 화상군의 각 참조 화상에 대한 유사도를 화상 유사도로서 검색 결과 출력 수단(26)에 출력한다. 화상 전체의 유사도의 산출 방법으로서, 소영역 유사도의 모든 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다. 화상 전체의 유사도를 일치 판정 임계치를 이용하여 수정하는 방법으로서, 화상 전체의 유사도가 일치 판정 임계치 이상이면 유사도를 1로, 화상 전체의 유사도가 일치 판정 임계치 미만이면 유사도로 수정하는 방법이 있다.

검색 결과 출력 수단(26)은, 제2 실시 형태의 경우와 마찬가지로, 검색 결과를 출력한다.

다음으로, 도 13의 블록도 및 도 14의 플로우차트를 참조하여, 제6 실시 형태의 동작에 대하여 설명한다.

학습 화상 또는 기기 특성이 입력으로서 주어지면(스텝 D1), 가공 확률 모델 추정 수단(53)은, 입력된 학습 화상 또는 기기 특성으로부터, 화상의 국소 영역마다 가공 처리가 실시되는 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하고, 산출된 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포를 일치 판정 임계치 산출 수단(54)에 출력한다(스텝 D2). 일치 판정 임계치 산출 수단(54)은, 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출한다(스텝 D3).

가공 처리가 실시된 조회 화상이 입력으로서 주어지면(스텝 D4), 화상 분할 수단(111)은, 입력된 조회 화상을 소영역으로 분할하고, 소영역 분할된 화상을 소영역 특징량 추출 수단(112)에 출력한다(스텝 D5). 소영역 특징량 추출 수단(112)은, 소영역 분할된 화상의 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하고, 추출된 조회 화상 소영역 특징량을 소영역 유사도 산출 수단(621)에 출력한다(스텝 D6). 다음으로, 참조 화상군 소영역 특징량 기억부(25)로부터, 1화상분의 참조 화상의 소영역 특징량을 읽어들인다(스텝 D7). 소영역 유사도 산출 수단(621)은, 읽어들인 1화상분의 참조 화상의 소영역 특징량과 조회 화상 소영역 특 징량을 비교하여 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(622)에 출력한다(스텝 D8).

화상 유사도 산출 수단(622)은, 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 스텝 D3에서 일치 판정 임계치 산출 수단(54)에 의해 산출된 일치 판정 임계치를 이용하여 화상 전체의 유사도를 수정하여 읽어들인 1이 증분된 참조 화상과 조회 화상의 화상 유사도를 산출한다(스텝 D9). 다음으로, 참조 화상군 소영역 특징량 기억부(25)에 기억되어 있는 모든 참조 화상에 대한 화상 유사도를 산출하였는지의 여부를 조사한다(스텝 D10). 화상 유사도를 산출하고 있지 않은 참조 화상이 남아 있는 경우에는, 스텝 D7로 되돌아간다. 모든 참조 화상에 대한 화상 유사도가 산출되어 있는 경우에는, 스텝 D11로 진행한다. 마지막으로, 검색 결과 출력 수단(26)은, 모든 참조 화상에 대한 화상 유사도에 기초하여, 참조 화상군 중으로부터 조회 화상에 대한 검색 결과를 출력한다(스텝 D11).

제6 실시 형태에서는, 가공 처리가 실시된 조회 화상이 참조 화상으로부터 생성된 것인지의 여부를 판정하는 데 적합한 화상 유사도를 산출하는 제5 실시 형태를 이용하여, 화상의 검색을 행한다. 이 때문에, 본 실시 형태에서는, 가공 처리가 실시된 조회 화상의 원화상이 참조 화상군 중에 복수 등록되어 있는 경우에도, 가공 완료된 조회 화상의 원화상이다라고 판정되는 모든 화상을 정확하게 검색할 수 있다. 또한, 제5 실시 형태와 마찬가지로, 조회 화상으로부터 가공 영역을 검출하는 처리를 필요로 하지 않아, 미리 일치 판정 임계치를 구해 놓을 수 있기 때문에, 화상 검색을 고속으로 행할 수 있다.

또한, 제6 실시 형태에서도, 제1 실시 형태에 대한 각 변형예를 적용할 수 있다. 즉, 가공 확률 모델 추정 수단(53) 대신에 가공 확률 모델 기억 수단을 설치해도 되고, 가공 확률 모델 갱신 수단과 가공 확률 모델 기억 수단을 설치해도 된다.

(제7 실시 형태)

본 발명의 제7 실시 형태에 대하여 도면을 참조하여 설명한다. 도 15의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제7 실시 형태는, 기능상, 특징량 추출부(11)와, 화상 유사도 산출부(72)와, 가공 영역 검출 수단(73)과, 일치 판정 임계치 산출 수단(74)을 구비하고 있다. 특징량 추출부(11)는, 본 발명의 제1 실시 형태에서 구비되어 있었던 것과 동일한 것이다.

가공 영역 검출 수단(73)은, 입력으로서 주어지는 가공 처리가 실시된 조회 화상에 대하여, 텔롭 검출 방법 등의 가공 영역을 자동적으로 검출하는 방법에 의해, 조회 화상의 국소 영역마다 가공 처리가 실시되는 확률인 국소 영역 가공 확률, 또는 조회 화상에 가공 처리가 실시된 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하고, 산출된 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포를 일치 판정 임계치 산출 수단(74)에 출력한다. 국소 영역 가공 확률의 확률값은, 임의의 값이어도 되고, 1, 0의 2값이어도 된다. 또한, 국소 영역은, 화상 분할 수단(111)에 의해 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 해도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 다른 임의의 형상이나 크기로 분할한 영역 을 국소 영역으로 해도 된다.

일치 판정 임계치 산출 수단(74)은, 가공 영역 검출 수단(73)으로부터 입력되는 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여, 후술하는 화상 유사도 산출 수단(722)에 의해 구해지는 화상 전체의 유사도에 대하여, 비교하고 있는 2개의 화상이 일치하는지의 여부를 판정하는 최적의 임계치를 일치 판정 임계치로서 산출하고, 산출된 일치 판정 임계치를 화상 유사도 산출 수단(722)에 출력한다. 최적의 임계치의 산출 방법으로서, 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 가공 처리가 실시되어 부분적으로 그림이 변화된 가공 화상과 원래의 화상 사이에서, 화상 유사도 산출 수단(522)에서 화상의 소영역마다의 유사도로부터 구해지는 화상 전체의 유사도의 생기 확률 분포를 추정하고, 추정된 화상 전체의 유사도의 생기 확률 분포에 기초하여 가공 화상과 원화상이 불일치하다고 판정하는 확률이 충분히 작다라고 판단할 수 있는 임계치로 설정하는 방법이 있다. 화상 전체의 유사도의 생기 확률 분포를 추정할 때에, 가공 처리에 의한 그림의 변화의 영향 외에, 화상의 재인코드에 기인하는 노이즈 발생에 의한 특징량의 변동의 영향도 고려해도 된다.

화상 유사도 산출부(72)는, 기능상, 소영역 유사도 산출 수단(721)과, 화상 유사도 산출 수단(722)을 포함한다.

소영역 유사도 산출 수단(721)은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량과, 입력으로서 주어지는 참조 화상의 소영역 특징량을 비교하여, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(722)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라 임의로 정해진다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램간의 유사도를 산출하는 방법이 있다.

또한, ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에서 추천되어 있는 거리(유사도) 계산법에 따라 유사도를 산출할 수 있다.

또한, 유사도를 1, 0의 2값 판정 결과로 해도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우에는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 입력으로서 주어지는 참조 화상의 소영역 특징량에 관한 소영역은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과 대응하고 있는 것이 바람직하다. 대응하는 소영역을 직접 비교할 수 있기 때문이다. 조회 화상의 소영역과 참조 화상의 소영역이 화상 분할 방법이 서로 다르기 때문에 대응하고 있지 않은 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 후에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

화상 유사도 산출 수단(722)은, 소영역 유사도 산출 수단(721)으로부터 입력되는 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 산출된 화상 전체의 유사도를 일치 판정 임계치 산출 수단(74)으로부터 입력되는 일치 판정 임계치를 이용하여 수정하고, 수정된 유사도를 화상 유사도로서 출력한다. 화상 전체의 유사도의 산출 방법으로서, 소영역 유사도의 모든 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다. 화상 전체의 유사도를 일치 판정 임계치를 이용하여 수정하는 방법으로서, 화상 전체의 유사도가 일치 판정 임계치 이상이면 유사도를 1로, 화상 전체의 유사도가 일치 판정 임계치 미만이면 유사도를 0으로 수정하는 방법이 있다.

제7 실시 형태에서는, 제5 실시 형태와 마찬가지로, 가공 처리가 실시된 조회 화상이 참조 화상으로부터 생성된 것인지의 여부를 판정하는 데 적합한 화상 유 사도를 산출하지만, 일치 판정 임계치를 조회 화상으로부터 직접 산출한 국소 영역 가공 확률에 기초하여 산출하고 있다. 학습 화상 또는 기기 특성으로부터 학습적으로 일치 판정 임계치를 평균값으로서 구하는 제5 실시 형태와는 달리, 조회 화상마다 일치 판정값을 산출하기 때문에, 가공 처리가 실시된 조회 화상이 참조 화상으로부터 생성된 것인지의 여부를 판정하는 데 적합한 화상 유사도를 보다 정확하게 구할 수 있다. 또한 본 실시 형태에서는, 학습 화상 또는 기기 특성의 입력을 필요로 하지 않는다.

(제8 실시 형태)

본 발명의 제8 실시 형태에 대하여 도면을 참조하여 설명한다. 도 16의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제8 실시 형태는, 도 15에 도시한 제7 실시 형태에서의 화상 유사도 산출부(72)가, 화상 유사도 산출부(82)로 치환되고, 또한, 참조 화상군 소영역 특징량 기억부(25)와 검색 결과 출력 수단(26)을 갖는 점에서 상이하다. 참조 화상군 소영역 특징량 기억부(25) 및 검색 결과 출력 수단(26)은, 본 발명의 제2 실시 형태에서 구비하고 있었던 것과 동일한 것이다.

화상 유사도 산출부(82)는, 기능상, 소영역 유사도 산출 수단(821)과, 화상 유사도 산출 수단(822)을 포함한다.

소영역 유사도 산출 수단(821)은, 참조 화상군 소영역 특징량 기억부(25)로부터 복수의 참조 화상의 소영역 특징량을 1화상분씩 읽어들이고, 읽어들인 각 참조 화상의 소영역 특징량과, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량을 비교하여, 소영역마다 특징량의 유사도를 소영역 유사도로서 산출한다. 산출된 참조 화상군의 각 참조 화상에 대한 소영역 유사도를 화상 유사도 산출 수단(822)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라 임의로 구해도 된다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램간의 유사도를 산출하는 방법이 있다.

또한, 국제 표준 규격 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에서 추천되어 있는 거리(유사도) 계산법에 따라 유사도를 산출할 수 있다.

또한, 유사도를 1, 0의 2값 판정 결과로 해도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우에는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과, 참조 화상군 소영역 특징량 기억부(25)로부터 읽어들인 참조 화상의 소영역 특징량에 관한 소영역이, 화상 분할 방법이 서로 다르기 때문에 대응하고 있지 않은 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화 상의 소영역에 대응한 특징량을 보완한 후에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

화상 유사도 산출 수단(822)은, 소영역 유사도 산출 수단(821)으로부터 입력되는 참조 화상군의 각 참조 화상에 대한 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 산출된 화상 전체의 유사도를 일치 판정 임계치 산출 수단(74)으로부터 출력되는 일치 판정 임계치를 이용하여 수정한다. 수정된 참조 화상군의 각 참조 화상에 대한 유사도를 화상 유사도로서 검색 결과 출력 수단(26)에 출력한다. 화상 전체의 유사도의 산출 방법으로서, 소영역 유사도의 모든 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다. 화상 전체의 유사도를 일치 판정 임계치를 이용하여 수정하는 방법으로서, 화상 전체의 유사도가 일치 판정 임계치 이상이면 유사도를 1로, 화상 전체의 유사도가 일치 판정 임계치 미만이면 유사도를 0으로 수정하는 방법이 있다.

검색 결과 출력 수단(26)은, 제2 실시 형태의 경우와 마찬가지로, 검색 결과를 출력한다.

제8 실시 형태에서는, 제7 실시 형태의 효과를 갖는 화상 유사도의 산출 방법을 이용하여 화상의 검색을 행한다. 제6 실시 형태와는 달리, 조회 화상마다 일치 판정 임계치를 산출하기 때문에, 참조 화상군 중으로부터 가공 처리가 실시된 조회 화상의 모든 원화상을 보다 정확하게 검색할 수 있다. 또한, 제7 실시 형태와 마찬가지로, 본 실시 형태에서는 학습 화상 또는 기기 특성의 입력을 필요로 하지 않는다.

(제9 실시 형태)

본 발명의 제9 실시 형태에 대하여 도면을 참조하여 설명한다. 도 17의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제9 실시 형태는, 기능상, 특징량 추출부(11)와, 화상 유사도 산출부(92)와, 가공 확률 모델 추정 수단(93)과, 국소 영역 가중치 산출 수단(94)과, 일치 판정 임계치 산출 수단(95)을 구비하고 있다. 특징량 추출부(11)는, 본 발명의 제1 실시 형태에서 구비되어 있었던 것과 동일한 것이다. 국소 영역 가중치 산출 수단(94)과 일치 판정 임계치 산출 수단(95)을, 1개의 가중치 및 일치 판정 임계치 산출 수단으로서 구성해도 된다.

가공 확률 모델 추정 수단(93)은, 입력으로서 주어지는 가공 처리가 실시된 학습 화상 또는 가공 처리를 실시하는 기기의 특성으로부터, 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하고, 산출된 국소 영 역 가공 확률을 국소 영역 가중치 산출 수단(94)에 출력한다.

기기 특성의 일례로서, 가공 처리를 실시하는 기기가 화상에 대하여 실시하는 가공의 패턴 및 각 가공 패턴의 사용 빈도의 정보가 있다. 국소 영역은, 화상 분할 수단(111)에서 분할되는 소영역과 대응하는 것이 바람직하지만, 화상 분할 수단(111)에서 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되며, 화상의 각 화소를 국소 영역으로 해도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 다른 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 해도 된다.

가공 처리가 실시된 학습 화상이 입력으로서 주어지는 경우에는, 학습 화상에서 가공 처리가 실시된 영역을 특정하고, 국소 영역 가공 확률을 계측한다. 가공 처리가 실시된 영역을 특정하는 방법으로서, 수동으로 행해도 되고, 텔롭 검출 방법 등의 가공 처리를 자동적으로 검출하는 방법을 이용해도 된다. 가공 처리를 실시하는 기기의 특성이 입력으로서 주어지는 경우에는, 해당 기기가 화상에 대하여 실시하는 가공 패턴 및 각 가공 패턴의 사용 빈도의 정보에 기초하여, 국소 영역 가공 확률을 계측하는 방법이 있다.

국소 영역 가중치 산출 수단(94)은, 가공 확률 모델 추정 수단(93)으로부터 입력되는 국소 영역 가공 확률에 기초하여, 화상의 각 국소 영역으로부터 추출되는 특징량이 화상 전체의 유사도의 산출에 어느 정도 유효한지를 수치화한 가중치를 국소 영역 가중치로서 산출하고, 산출된 국소 영역 가중치를 화상 유사도 산출 수단(922) 및 일치 판정 임계치 산출 수단(95)에 출력한다. 국소 영역 가중치는, 해 당 국소 영역의 국소 영역 가공 확률이 낮을수록, 높은 값으로 설정하는 것이 유효하다. 국소 영역 가중치의 산출 방법의 일례로서,

국소 영역 가중치=1-국소 영역 가공 확률

로 하는 방법이 있지만, 이에 한정된 것은 아니며, 화상 유사도 산출 처리에서, 가공 처리가 실시된 확률이 높은 영역의 영향을 배제할 수 있는 다른 산출 방법을 이용해도 된다.

국소 영역은, 가공 확률 모델 추정 수단(93)에서의 국소 영역과 마찬가지로, 화상 분할 수단(111)에서 분할되는 소영역과 대응하는 것이 바람직하지만, 화상 분할 수단(111)에서 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 해도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 다른 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 해도 된다.

일치 판정 임계치 산출 수단(95)은, 국소 영역 가중치 산출 수단(94)으로부터 입력되는 국소 영역 가중치에 기초하여, 후술하는 화상 유사도 산출 수단(922)에 의해 구해지는 화상 전체의 유사도에 대하여, 비교하고 있는 2개의 화상이 일치하는지의 여부를 판정하는 최적의 임계치를 일치 판정 임계치로서 산출하고, 산출된 일치 판정 임계치를 화상 유사도 산출 수단(922)에 출력한다. 화상 유사도 산출 수단(922)은, 국소 영역 가중치로부터 구해지는 소영역마다의 가중치에 의해 소영역마다의 유사도를 가중치 부여하여, 가공 처리의 영향을 배제한 후에 화상 전체의 유사도를 산출하고 있기 때문에, 일치 판정 임계치를 화상 유사도 산출 수단 (922)은, 일치 판정 임계치를 국소 영역 가중치를 고려하여 산출한다. 최적의 임계치의 산출 방법으로서, 가공 처리가 실시된 화상과 원래의 화상 사이에서, 화상 유사도 산출 수단(922)에서 국소 영역 가중치를 작용시켜 가공 처리의 영향을 배제하여 구해지는 화상 전체의 유사도의 추정값을, 국소 영역 가중치에 기초하여 산출하고, 추정된 화상 전체의 유사도에 기초하여, 가공 화상과 원화상이 불일치하다고 판정하는 가능성이 충분히 낮다라고 판단할 수 있는 임계치로 설정하는 방법이 있다. 또한 이 때에, 화상의 재인코드에 기인하는 노이즈 발생에 의한 특징량의 변동의 영향도 고려해도 된다.

화상 유사도 산출부(92)는, 기능상, 소영역 유사도 산출 수단(921)과, 화상 유사도 산출 수단(922)을 포함한다.

소영역 유사도 산출 수단(921)은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량과, 입력으로서 주어지는 참조 화상의 소영역 특징량을 비교하여, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(922)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라 임의로 구해도 된다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램간의 유사도를 산출하는 방법이 있다.

또한, ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에서 추천되어 있는 거리(유사도) 계산법에 따라 유사도를 산출할 수 있다.

또한, 유사도를 1, 0의 2값 판정 결과로 해도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우에는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 입력으로서 주어지는 참조 화상의 소영역 특징량에 관한 소영역은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과 대응하고 있는 것이 바람직하다. 대응하는 소영역을 직접 비교할 수 있기 때문이다. 조회 화상의 소영역과 참조 화상의 소영역이 화상 분할 방법이 서로 다르기 때문에 대응하고 있지 않은 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 후에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

화상 유사도 산출 수단(922)은, 소영역 유사도 산출 수단(921)으로부터 입력되는 소영역 유사도에 대하여, 국소 영역 가중치 산출 수단(94)로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 행하고, 구해진 가중치 부여된 소영역 유사도로부터 화상 전체의 유사도를 산출하며, 산출된 화상 전체의 유사도를 일치 판정 임계치 산출 수단(95)으로부터 입력되는 일치 판정 임계치를 이용하여 수정하고, 수정된 유사도를 화상 유사도로서 출력한다. 화상 전체의 유사도의 산출 방법으로서, 가중치 부여된 소영역 유사도의 모든 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다.

국소 영역 가중치 산출 수단(94)으로부터 입력되는 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도 산출 수단(921)으로부터 입력되는 소영역 유사도를 갖는 소영역과 대응하는 경우에는, 국소 영역 가중치를 직접 소영역마다의 가중치로서 이용할 수 있다. 소영역 유사도를 갖는 소영역과, 국소 영역 가중치를 갖는 국소 영역이 대응하고 있지 않은 경우에는, 국소 영역 가중치를 이용하여 소영역 유사도를 갖는 소영역에 대응한 가중치를 보완하면 된다. 예를 들면, 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도를 갖는 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 복수의 국소 영역 가중치의 평균값을 산출함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.

또한, 국소 영역 가중치에 관한 국소 영역 분할 방법이, 소영역 유사도를 갖 는 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 소영역과 중복되는 복수의 국소 영역의 가중치를, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다. 또한, 화상 전체의 유사도를 일치 판정 임계치를 이용하여 수정하는 방법으로서, 화상 전체의 유사도가 일치 판정 임계치 이상이면 유사도를 1로, 화상 전체의 유사도가 일치 판정 임계치 미만이면 유사도를 0으로 수정하는 방법이 있다.

제9 실시 형태는, 제1 실시 형태 및 제5 실시 형태의 효과를 더불어 갖고, 가공 처리가 실시된 조회 화상이 참조 화상으로부터 생성된 것인지의 여부를 판정하는 데 적합한 화상 유사도를, 가공 처리가 실시되는 확률이 높은 영역의 영향을 배제하여 산출할 수 있다. 본 실시 형태에서는, 국소 영역 가중치 산출 수단(94)에서 산출되는 국소 영역 가중치가 일치 판정 임계치 산출 수단(95)에 공급된다. 이 구성에 의해, 일치 판정 임계치 산출 수단(95)은, 일치 판정 임계치를 산출할 때에 참조하는 국소 영역 가중치를, 가공 확률 모델 추정 수단(93)으로부터 출력되는 국소 영역 가공 확률로부터 재차 산출할 필요가 없기 때문에, 연산량을 억제할 수 있다. 또한, 제9 실시 형태에서는, 조회 화상으로부터 가공 처리가 실시된 영역을 검출하는 처리를 필요로 하지 않고, 또한 학습 화상 또는 기기 특성으로부터 국소 영역 가중치 및 일치 판정 임계치를 산출하고 있기 때문에, 미리 별도의 처리에서 국소 영역 가중치 및 일치 판정 임계치를 구해 놓을 수 있어, 화상 유사도의 산출을 고속으로 행할 수 있다.

또한, 제9 실시 형태에서도, 제1 실시 형태에 대한 각 변형예를 적용할 수 있다. 즉, 가공 확률 모델 추정 수단(93) 대신에 가공 확률 모델 기억 수단을 설치해도 되고, 가공 확률 모델 갱신 수단과 가공 확률 모델 기억 수단을 설치해도 된다.

(제10 실시 형태)

본 발명의 제10 실시 형태에 대하여 도면을 참조하여 설명한다. 도 18의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제10 실시 형태는, 도 17에 도시한 제9 실시 형태에서의 화상 유사도 산출부(92)가, 화상 유사도 산출부(1020)로 치환되고, 또한, 참조 화상군 소영역 특징량 기억부(25)와 검색 결과 출력 수단(26)을 갖는 점에서 제9 실시 형태와는 다르다. 참조 화상군 소영역 특징량 기억부(25) 및 검색 결과 출력 수단(26)은, 제2 실시 형태에서 구비되어 있었던 것과 동일한 것이다.

화상 유사도 산출부(1020)는, 기능상, 소영역 유사도 산출 수단(1021)과, 화상 유사도 산출 수단(1022)을 포함한다.

소영역 유사도 산출 수단(1021)은, 참조 화상군 소영역 특징량 기억부(25)로부터 복수의 참조 화상의 소영역 특징량을 1화상분씩 읽어들이고, 읽어들인 각 참조 화상의 소영역 특징량과, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량을 비교하여, 소영역마다 특징량의 유사도를 소영역 유사도로서 산출한다. 산출된 참조 화상군의 각 참조 화상에 대한 소영역 유사도를 화상 유사도 산출 수단(1022)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라 임의로 구해도 된다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리 값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램간의 유사도를 산출하는 방법이 있다.

또한, 국제 표준 규격 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에서 추천되어 있는 거리(유사도) 계산법에 따라 유사도를 산출할 수 있다.

또한, 유사도를 1, 0의 2값 판정 결과로 해도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우에는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 관한 소영역과, 참조 화상군 소영역 특징량 기억부(25)로부터 읽어들인 참조 화상의 소영역 특징량에 관한 소영역이, 화상 분할 방법이 서로 다르기 때문에 대응하고 있지 않은 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 후에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 관한 소영역이, 조회 화상의 소영역 특징량에 관한 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성 할 수 있다.

또한, 참조 화상의 소영역 특징량에 관한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 관한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

화상 유사도 산출 수단(1022)은, 소영역 유사도 산출 수단(1021)으로부터 입력되는 참조 화상군의 각 참조 화상에 대한 소영역 유사도에 대하여, 국소 영역 가중치 산출 수단(94)으로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 행하고, 구해진 가중치 부여된 소영역 유사도로부터 화상 전체의 유사도를 산출하며, 산출된 화상 전체의 유사도를 일치 판정 임계치 산출 수단(95)으로부터 입력되는 일치 판정 임계치를 이용하여 수정한다. 수정된 참조 화상군의 각 참조 화상에 대한 유사도를 화상 유사도로서 검색 결과 출력 수단(26)에 출력한다. 화상 전체의 유사도의 산출 방법으로서, 가중치 부여된 소영역 유사도의 모든 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다.

국소 영역 가중치 산출 수단(94)으로부터 입력되는 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도 산출 수단(1021)으로부터 입력되는 소영역 유사도를 갖는 소영역과 대응하는 경우에는, 국소 영역 가중치를 직접 소영역마다의 가중치로서 이용할 수 있다. 소영역 유사도를 갖는 소영역과, 국소 영역 가중치를 갖는 국소 영역이 대응하고 있지 않은 경우에는, 국소 영역 가중치를 이용하여 소영역 유사도를 갖는 소영역에 대응한 가중치를 보완하면 된다. 예를 들면, 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도를 갖는 소영역을 보다 작은 복수의 영역으로 분할한 것이면, 복수의 국소 영역 가중치의 평균값을 산출함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.

또한, 국소 영역 가중치에 관한 국소 영역 분할 방법이, 소영역 유사도에 관한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 소영역과 중복되는 복수의 국소 영역의 가중치를, 중복되는 면적에 비례한 가중치 부여를 행하여 총합함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다. 또한, 화상 전체의 유사도를 일치 판정 임계치를 이용하여 수정하는 방법으로서, 화상 전체의 유사도가 일치 판정 임계치 이상이면 유사도를 1로, 화상 전체의 유사도가 일치 판정 임계치 미만이면 유사도를 0으로 수정하는 방법이 있다.

검색 결과 출력 수단(26)은, 제2 실시 형태의 경우와 마찬가지로, 검색 결과를 출력한다.

제10 실시 형태에서는, 제9 실시 형태의 효과를 갖는 화상 유사도의 산출 방법을 이용하여 화상의 검색을 행한다. 또한, 제9 실시 형태와 마찬가지로, 조회 화상으로부터 가공 영역을 검출하는 처리를 필요로 하지 않아, 미리 국소 영역 가중치 및 일치 판정 임계치를 구해 놓을 수 있기 때문에, 화상 검색을 고속으로 행할 수 있다.

또한, 제10 실시 형태에서도, 제1 실시 형태에 대한 각 변형예를 적용할 수 있다. 즉, 가공 확률 모델 추정 수단(93) 대신에 가공 확률 모델 기억 수단을 설치해도 되고, 가공 확률 모델 갱신 수단과 가공 확률 모델 기억 수단을 설치해도 된다.

(제11 실시 형태)

본 발명의 제11 실시 형태에 대하여 도면을 참조하여 설명한다. 도 19의 블록도에 도시한 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제11 실시 형태는, 기능상, 특징량 추출부(11)와, 화상 유사도 산출부(1120)와, 가공 영역 검출 수단(113)과, 국소 영역 가중치 산출 수단(114)과, 일치 판정 임계치 산출 수단(115) 구비하고 있다. 특징량 추출부(11)는, 본 발명의 제1 실시 형태에서 구비되어 있었던 것과 동일한 것이다.

가공 영역 검출 수단(113)은, 입력으로서 주어지는 가공 처리가 실시된 조회 화상에 대하여, 텔롭 검출 방법 등의 가공 영역을 자동적으로 검출하는 방법에 의해, 조회 화상의 국소 영역마다 가공 처리가 실시된 확률을 국소 영역 가공 확률로서 산출하고, 산출된 국소 영역 가공 확률을 국소 영역 가중치 산출 수단(114)에 출력한다. 국소 영역 가공 확률의 확률값은 임의의 값이어도 되고, 1, 0의 2값이어도 된다. 또한, 국소 영역은, 화상 분할 수단(111)에 의해 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 하여도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 다른 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 하여도 된다.

국소 영역 가중치 산출 수단(114)은, 가공 영역 검출 수단(113)으로부터 입 력되는 국소 영역 가공 확률에 기초하여, 화상의 각 국소 영역으로부터 추출되는 특징량이 화상 전체의 유사도의 산출에 어느 정도 유효한지를 수치화한 가중치를 국소 영역 가중치로서 산출하고, 산출된 국소 영역 가중치를 화상 유사도 산출 수단(1122) 및 일치 판정 임계치 산출 수단(115)에 출력한다.

국소 영역은, 화상 분할 수단(111)에서 분할되는 소영역과 대응하는 것이 바람직하지만, 화상 분할 수단(111)에서 분할되는 소영역을 더 작은 복수의 영역으로 분할한 것이어도 되고, 화상의 각 화소를 국소 영역으로 하여도 된다. 또한, 화상 분할 수단(111)에서의 소영역 분할 방법과는 다른 임의의 형상이나 크기로 분할한 영역을 국소 영역으로 하여도 된다. 국소 영역 가중치의 산출 방법의 일례로서,

국소 영역 가중치=1-국소 영역 가공 확률

로 하는 방법이 있지만, 이에 한정된 것이 아니라, 화상 유사도 산출 처리에서, 가공 처리가 실시된 확률이 높은 영역의 영향을 배제할 수 있는 다른 산출 방법을 이용하여도 된다.

또한, 가공 영역 검출 수단(113)으로부터 입력되는 국소 영역 가공 확률이 1, 0의 2값의 확률값으로서 제공되는 경우에는, 복수의 국소 영역을 통합한 영역을 새로운 국소 영역으로 하고, 국소 영역 가중치를, 통합 후의 국소 영역 내에 포함되는 국소 영역 가공 확률인 통합 전의 국소 영역의 면적의 비율로서 구하는 방법이 있다.

일치 판정 임계치 산출 수단(115)은, 국소 영역 가중치 산출 수단(114)으로부터 입력되는 국소 영역 가중치에 기초하여, 후술하는 화상 유사도 산출 수단 (1122)에서 구해지는 화상 전체의 유사도에 대하여, 비교하고 있는 2개의 화상이 일치하는지의 여부를 판정하는 최적의 임계치를 일치 판정 임계치로서 산출하고, 산출된 일치 판정 임계치를 화상 유사도 산출 수단(1122)에 출력한다. 화상 유사도 산출 수단(1122)은, 국소 영역 가중치로부터 구해지는 소영역마다의 가중치에 의해 소영역마다의 유사도를 가중치 부여하고, 가공 처리의 영향을 배제한 후에 화상 전체의 유사도를 산출하고 있기 때문에, 일치 판정 임계치 산출 수단(115)은 일치 판정 임계치를, 국소 영역 가중치를 고려하여 산출한다. 최적의 임계치의 산출 방법으로서, 가공 처리가 실시된 화상과 원래의 화상 사이에서, 화상 유사도 산출 수단(1122)에서 국소 영역 가중치를 작용시켜 가공 처리의 영향을 배제하여 구해지는 화상 전체의 유사도의 추정치를, 국소 영역 가중치에 기초하여 산출하고, 추정된 화상 전체의 유사도에 기초하여, 가공 화상과 원화상이 불일치하다고 판정하는 가능성이 충분히 낮다고 판단할 수 있는 임계치로 설정하는 방법이 있다. 또한, 이 때에, 화상의 재인코드에 기인하는 노이즈 발생에 의한 특징량의 변동의 영향도 고려하여도 된다.

화상 유사도 산출부(1120)는, 기능상, 소영역 유사도 산출 수단(1121)과 화상 유사도 산출 수단(1122)을 포함한다.

소영역 유사도 산출 수단(1121)은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량과, 입력으로서 주어지는 참조 화상의 소영역 특징량을 비교해서, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고, 산출된 소영역 유사도를 화상 유사도 산출 수단(1122)에 출력한다. 소영역 유사도 의 산출 방법은, 사용하는 소영역 특징량에 따라서 임의로 구하여도 된다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램 간의 유사도를 산출하는 방법이 있다.

또한, ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에서 추장되어 있는 거리(유사도) 계산법에 따라서 유사도를 산출할 수 있다.

또한, 유사도를 1, 0의 2값 판정 결과로 하여도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우에는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 입력으로서 주어지는 참조 화상의 소영역 특징량에 대한 소영역은, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 대한 소영역과 대응하고 있는 것이 바람직하다. 대응하는 소영역을 직접 비교할 수 있기 때문이다. 조회 화상의 소영역과 참조 화상의 소영역이, 화상 분할 방법이 서로 다르기 때문에 대응하지 않는 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 후에, 유사도를 산출하면 된 다. 예를 들면, 참조 화상의 소영역 특징량에 대한 소영역이, 조회 화상의 소영역 특징량에 대한 소영역을 더 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

또한, 참조 화상의 소영역 특징량에 대한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 대한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

화상 유사도 산출 수단(1122)은, 소영역 유사도 산출 수단(1121)으로부터 입력되는 소영역 유사도에 대하여, 국소 영역 가중치 산출 수단(114)으로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여하고, 구해진 가중치 부여된 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 산출된 화상 전체의 유사도를, 일치 판정 임계치 산출 수단(115)으로부터 입력되는 일치 판정 임계치를 이용하여 수정하고, 수정된 유사도를 화상 유사도로서 출력한다. 화상 유사도의 산출 방법으로서, 가중치 부여된 소영역 유사도의 모든 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구하는 방법 등이 있다.

국소 영역 가중치 산출 수단(114)으로부터 입력되는 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도 산출 수단(1121)으로부터 입력되는 소영역 유사도를 갖는 소영역과 대응하는 경우에는, 국소 영역 가중치를 직접 소영역마다의 가중 치로서 이용할 수 있다. 소영역 유사도를 갖는 소영역과, 국소 영역 가중치를 갖는 국소 영역이 대응하지 않는 경우에는, 국소 영역 가중치를 이용하여 소영역 유사도를 갖는 소영역에 대응한 가중치를 보완하면 된다. 예를 들면, 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도를 갖는 소영역을 더 작은 복수의 영역으로 분할한 것이면, 복수의 국소 영역 가중치의 평균값을 산출함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.

또한, 국소 영역 가중치에 대한 국소 영역 분할 방법이, 소영역 유사도를 갖는 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 소영역과 중복되는 복수의 국소 영역의 가중치를, 중복되는 면적에 비례한 가중치 부여하여 총합함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다. 또한, 화상 전체의 유사도를, 일치 판정 임계치를 이용하여 수정하는 방법으로서, 화상 전체의 유사도가 일치 판정 임계치 이상이면 유사도를 1로, 화상 전체의 유사도가 일치 판정 임계치 미만이면 유사도를 로 수정하는 방법이 있다.

제11 실시 형태에서는, 제9 실시 형태와 마찬가지로, 가공 처리가 실시된 조회 화상이 참조 화상으로부터 생성된 것인지의 여부를 판정하는 데 적합한 화상 유사도를, 가공 처리가 실시되는 확률이 높은 영역의 영향을 배제하여 산출하지만, 국소 영역 가중치 및 일치 판정 임계치를, 조회 화상으로부터 직접 산출한 국소 영역 가공 확률에 기초하여 산출하고 있다. 학습 화상 또는 기기 특성으로부터 학습적으로 국소 영역 가중치 및 일치 판정 임계치를 평균값으로서 구하는 제9 실시 형태와는 달리, 조회 화상마다 국소 영역 가중치 및 일치 판정치를 산출하기 때문에, 가공 처리가 실시된 조회 화상이 참조 화상으로부터 생성된 것인지의 여부를 판정하는 데 적합한 화상 유사도를 보다 정확하게 구할 수 있다. 또한, 본 실시 형태에서는, 학습 화상 또는 기기 특성의 입력을 필요로 하지 않는다. 또한, 제9 실시 형태와 마찬가지로, 국소 영역 가중치 산출 수단(114)에서 산출되는 국소 영역 가중치가 일치 판정 임계치 산출 수단(115)에 공급되기 때문에, 일치 판정 임계치 산출 수단(115)은, 일치 판정 임계치를 산출할 때에 참조하는 국소 영역 가중치를, 가공 확률 모델 추정 수단(113)으로부터 출력되는 국소 영역 가공 확률로부터 재차 산출할 필요가 없기 때문에, 연산량을 억제할 수 있다.

(제12 실시 형태)

본 발명의 제12 실시 형태에 대하여 도면을 참조하여 설명한다. 도 20의 블록도에 도시하는 바와 같이, 본 발명의 화상 유사도 산출 시스템의 제12 실시 형태는, 도 19에 도시된 제11 실시 형태에서의 화상 유사도 산출부(112)가, 화상 유사도 산출부(1220)로 치환되고, 또한, 참조 화상군 소영역 특징량 기억부(25)와 검색 결과 출력 수단(26)을 갖는 점에서 제11 실시 형태와는 다르다. 참조 화상군 소영역 특징량 기억부(25)는, 본 발명의 제2 실시 형태에서 구비하고 있었던 것과 동일한 것이다.

화상 유사도 산출부(1220)는, 기능상, 소영역 유사도 산출 수단(1221)과 화상 유사도 산출 수단(1222)을 포함한다.

소영역 유사도 산출 수단(1221)은, 참조 화상군 소영역 특징량 기억부(25)로부터 복수의 참조 화상의 소영역 특징량을 1 화상분씩 읽어들이고, 읽어들인 각 참 조 화상의 소영역 특징량과, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량을 비교해서, 소영역마다 특징량의 유사도를 소영역 유사도로서 산출한다. 산출된 참조 화상군의 각 참조 화상에 대한 소영역 유사도를 화상 유사도 산출 수단(1222)에 출력한다. 소영역 유사도의 산출 방법은, 사용하는 소영역 특징량에 따라 임의로 구하여도 된다. 예를 들면, 소영역의 색의 평균값, 최빈도값, 미디언값 등의 대표값을 소영역 특징량으로서 이용한 경우에는, 사용하고 있는 표색 공간에서의 거리값이나 상관값에 기초하여 유사도를 산출하는 방법이 있다. 색이나 엣지 요소의 출현 히스토그램을 소영역 특징량으로서 이용하는 경우에는, 히스토그램 간의 유사도를 산출하는 방법이 있다.

또한, 국제표준규격 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Region Shape, Contour Shape, Shape 3D, Parametric Motion, Motion Activity 등을 소영역 특징량으로서 이용한 경우에는, ISO/IEC 15938-3에서 추장되어 있는 거리(유사도) 계산법에 따라서 유사도를 산출할 수 있다.

또한, 유사도를 1, 0의 2값 판정 결과로 하여도 된다. 예를 들면, 엣지 요소 특징량을 소영역 특징량으로서 이용하는 경우에는, 엣지 요소가 일치하는 경우에는 유사도를 1, 일치하지 않는 경우에는 유사도를 0으로 하는 방법이 있다. 여기서, 소영역 특징량 추출 수단(112)으로부터 입력되는 조회 화상의 소영역 특징량에 대한 소영역과, 참조 화상군 소영역 특징량 기억부(25)로부터 읽어들인 참조 화 상의 소영역 특징량에 대한 소영역이, 화상 분할 방법이 서로 다르기 때문에 대응하지 않는 경우에는, 어느 한쪽의 화상의 소영역 특징량으로부터, 다른 한쪽의 화상의 소영역에 대응한 특징량을 보완한 후에, 유사도를 산출하면 된다. 예를 들면, 참조 화상의 소영역 특징량에 대한 소영역이, 조회 화상의 소영역 특징량에 대한 소영역을 더 작은 복수의 영역으로 분할한 것이면, 참조 화상의 복수의 소영역 특징량의 평균값을 산출함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다. 또한, 참조 화상의 소영역 특징량에 대한 소영역 분할 방법이, 조회 화상의 소영역 특징량에 대한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 조회 화상의 각 소영역과 중복되는 참조 화상의 복수의 소영역의 소영역 특징량을, 중복되는 면적에 비례한 가중치 부여하여 총합함으로써, 조회 화상의 소영역에 대응한 특징량을 생성할 수 있다.

화상 유사도 산출 수단(1222)은, 소영역 유사도 산출 수단(1221)으로부터 입력되는 참조 화상군의 각 참조 화상에 대한 소영역 유사도에 대하여, 국소 영역 가중치 산출 수단(114)으로부터 입력되는 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 하고, 구해진 가중치 부여된 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 산출된 화상 전체의 유사도를, 일치 판정 임계치 산출 수단(115)으로부터 출력되는 일치 판정 임계치를 이용하여 수정한다. 수정된 참조 화상군의 각 참조 화상에 대한 유사도를 화상 유사도로서 검색 결과 출력 수단(26)에 출력한다. 화상 전체의 유사도의 산출 방법으로서, 가중치 부여된 소영역 유사도의 모든 소영역의 총합으로서 구하는 방법이나, 평균값으로서 구 하는 방법 등이 있다.

국소 영역 가중치 산출 수단(114)으로부터 입력되는 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도 산출 수단(1221)으로부터 입력되는 소영역 유사도를 갖는 소영역과 대응하는 경우에는, 국소 영역 가중치를 직접 소영역마다의 가중치로서 이용하는 것이 가능하다. 소영역 유사도를 갖는 소영역과, 국소 영역 가중치를 갖는 국소 영역이 대응하지 않는 경우에는, 국소 영역 가중치를 이용하여 소영역 유사도를 갖는 소영역에 대응한 가중치를 보완하면 된다. 예를 들면, 국소 영역 가중치를 갖는 국소 영역이, 소영역 유사도를 갖는 소영역을 더 작은 복수의 영역으로 분할한 것이면, 복수의 국소 영역 가중치의 평균값을 산출함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다.

또한, 국소 영역 가중치에 대한 국소 영역 분할 방법이, 소영역 유사도에 대한 소영역 분할 방법과 전혀 다른 형상이나 크기의 분할 방법인 경우에는, 소영역과 중복되는 복수의 국소 영역의 가중치를, 중복되는 면적에 비례한 가중치 부여하여 총합함으로써, 소영역 유사도를 갖는 소영역에 대응한 가중치를 생성할 수 있다. 또한, 화상 전체의 유사도를, 일치 판정 임계치를 이용하여 수정하는 방법으로서, 화상 전체의 유사도가 일치 판정 임계치 이상이면 유사도를 1로, 화상 전체의 유사도가 일치 판정 임계치 미만이면 유사도를 0으로 수정하는 방법이 있다.

검색 결과 출력 수단(26)은, 제2 실시 형태의 경우와 마찬가지로, 검색 결과를 출력한다.

제12 실시 형태에서는, 제11 실시 형태의 효과를 갖는 화상 유사도의 산출 방법을 이용하여 화상의 검색을 행한다. 제1 실시 형태 등과는 달리, 조회 화상마다 국소 영역 가중치 및 일치 판정 임계치를 산출하기 때문에, 참조 화상군 중에서 가공 처리가 실시된 조회 화상의 모든 원화상을 보다 정확하게 검색할 수 있다. 또한, 제11 실시 형태와 마찬가지로, 본 실시 형태에서는 학습 화상 또는 기기 특성의 입력을 필요로 하지 않는다.

본 발명은, 복수의 화상의 유사도를 산출하는 화상 유사도 산출 시스템, 화상 유사도 산출 방법 및 화상 유사도 산출용 프로그램 및 조회 화상과 유사한 화상을 검색하는 화상 검색 시스템 등의 용도에 적용할 수 있다.

Claims (66)

1. 화상에 가공 처리가 실시되는 확률 모델을 고려하면서, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출부를 구비하는 화상 유사도 산출 시스템.
2. 제1항에 있어서,

   상기 확률 모델이 영역마다 결정되고,

   상기 화상 유사도 산출부는, 상기 조회 화상의 분할된 소영역마다의 특징량과 상기 참조 화상의 분할된 소영역마다의 특징량을 비교할 때에, 상기 확률 모델을 고려하는 화상 유사도 산출 시스템.
3. 제1항에 있어서,

   상기 화상 유사도 산출부는, 상기 조회 화상과 상기 참조 화상의 상기 화상 유사도를 산출할 때에, 상기 확률 모델을 고려하는 화상 유사도 산출 시스템.
4. 제1항에 있어서,

   상기 확률 모델이 영역마다 결정되고,

   상기 화상 유사도 산출부는, 상기 조회 화상의 분할된 소영역마다의 특징량 과 상기 참조 화상의 분할된 소영역마다의 특징량을 비교할 때 및 상기 조회 화상과 상기 참조 화상의 상기 화상 유사도를 산출할 때에, 상기 확률 모델을 고려하는 화상 유사도 산출 시스템.
5. 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을, 국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상의 영역마다의 가중치를 작용시켜 비교해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출부를 구비하는 화상 유사도 산출 시스템.
6. 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서 화상 전체의 유사도를 산출한 후, 국소 영역마다 화상에 가공 처리가 실시되는 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포에 기초하여 산출된 화상 간의 일치를 판정하는 임계치를 이용하여 상기 유사도를 수정해서 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출부를 구비하는 화상 유사도 산출 시스템.
7. 국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상의 영역마다의 가중치를 작용시켜, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서 화상 전체의 유사도를 산출한 후, 상기 국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상 간의 일치를 판정하는 임계치를 이용하여 상기 유사도를 수정해서 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출부를 구비하는 화상 유사도 산출 시스템.
8. 제5항에 있어서,

   상기 국소 영역마다 화상에 가공 처리가 실시되는 확률이, 학습 화상 또는 기기 특성으로부터 국소 영역마다 화상에 가공 처리가 실시되는 확률을 산출하는 가공 확률 산출 수단에 의해서 산출되는 화상 유사도 산출 시스템.
9. 제5항에 있어서,

   상기 국소 영역마다 화상에 가공 처리가 실시되는 확률이, 가공 처리가 실시된 조회 화상으로부터 국소 영역마다 화상에 가공 처리가 실시된 확률을 산출하는 가공 확률 산출 수단에 의해서 산출되는 화상 유사도 산출 시스템.
10. 제6항에 있어서,

    상기 국소 영역마다 화상에 가공 처리가 실시되는 확률 또는 상기 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포가, 학습 화상 또는 기기 특성으로부터 국소 영역마다 화상에 가공 처리가 실시되는 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포를 산출하는 가공 확률 분포 산출 수단에 의해서 산출되는 화상 유사도 산출 시스템.
11. 제6항에 있어서,

    상기 국소 영역마다 화상에 가공 처리가 실시되는 확률 또는 상기 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포가, 가공 처리가 실시된 조회 화상으로부터 국소 영역마다 화상에 가공 처리가 실시되는 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포를 산출하는 가공 확률 산출 수단에 의해서 산출되는 화상 유사도 산출 시스템.
12. 제7항에 있어서,

    상기 국소 영역마다 화상에 가공 처리가 실시되는 확률이, 학습 화상 또는 기기 특성으로부터 국소 영역마다 화상에 가공 처리가 실시되는 확률을 산출하는 가공 확률 산출 수단에 의해서 산출되는 화상 유사도 산출 시스템.
13. 제7항에 있어서,

    상기 국소 영역마다 화상에 가공 처리가 실시되는 확률이, 가공 처리가 실시된 조회 화상으로부터 국소 영역마다 화상에 가공 처리가 실시된 확률을 산출하는 가공 확률 산출 수단에 의해서 산출되는 화상 유사도 산출 시스템.
14. 입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마 다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하는 가공 확률 모델 추정 수단과,

    상기 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하는 국소 영역 가중치 산출 수단과,

    입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하는 화상 분할 수단과,

    상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 소영역 특징량 추출 수단과,

    입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과,

    상기 소영역 유사도에, 상기 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 수단을 구비하는 화상 유사도 산출 시스템.
15. 입력으로서 주어지는 가공 처리가 실시된 조회 화상으로부터 화상의 국소 영역마다 가공 처리가 실시된 확률을 국소 영역 가공 확률로서 산출하는 가공 영역 검출 수단과,

    상기 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하는 국소 영역 가중치 산출 수단과,

    상기 조회 화상을 소영역으로 분할하는 화상 분할 수단과,

    상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 소영역 특징량 추출 수단과,

    입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과,

    상기 소영역 유사도에, 상기 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 수단을 구비하는 화상 유사도 산출 시스템.
16. 입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마다 가공 처리가 실시되는 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하는 가공 확률 모델 추정 수단과,

    상기 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출하는 일치 판정 임계치 산출 수단과,

    입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하는 화상 분할 수단과,

    상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량 으로서 추출하는 소영역 특징량 추출 수단과,

    입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과,

    상기 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 상기 일치 판정 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 수단을 구비하는 화상 유사도 산출 시스템.
17. 입력으로서 주어지는 가공 처리가 실시된 조회 화상으로부터 화상의 국소 영역마다 가공 처리가 실시된 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시된 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하는 가공 영역 검출 수단과,

    상기 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출하는 일치 판정 임계치 산출 수단과,

    상기 조회 화상을 소영역으로 분할하는 화상 분할 수단과,

    상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 소영역 특징량 추출 수단과,

    입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과,

    상기 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 상기 일치 판정 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 수단을 구비하는 화상 유사도 산출 시스템.
18. 제16항 또는 제17항에 있어서,

    상기 일치 판정 임계치 산출 수단은, 상기 국소 영역 가공 확률 또는 상기 가공 국소 영역 수 확률 분포에 기초하여 가공 처리가 실시되는 화상과 원래의 화상 사이에서, 화상의 소영역마다의 유사도로부터 구해지는 화상 전체의 유사도의 생기 확률 분포를 추정함으로써, 상기 일치 판정 임계치의 최적값을 산출하는 화상 유사도 산출 시스템.
19. 제16항 또는 제17항에 있어서,

    상기 일치 판정 임계치 산출 수단은, 상기 국소 영역 가중치를 작용시켜 구해지는 화상 전체의 유사도를 국소 영역 가중치에 기초하여 추정함으로써, 상기 일치 판정 임계치의 최적값을 산출하는 화상 유사도 산출 시스템.
20. 제14항 또는 제15항에 있어서,

    상기 국소 영역 가중치 산출 수단은, 상기 국소 영역 가중치를, 상기 국소 영역 가공 확률이 높은 경우에는 낮은 값, 상기 국소 영역 가공 확률이 낮은 경우에는 높은 값으로 하는 화상 유사도 산출 시스템.
21. 제20항에 있어서,

    상기 국소 영역 가중치 산출 수단은, 상기 국소 영역 가중치를, 1과 상기 국소 영역 가공 확률의 차로서 산출하는 화상 유사도 산출 시스템.
22. 제8항 내지 제13항 중 어느 한 항에 있어서,

    상기 가공 확률 산출 수단은, 상기 국소 영역 가공 확률을, 상기 가공 처리가 실시된 영역을 자동적으로 검출하는 방법에 의해 상기 가공 처리가 실시된 영역을 특정한 후에 산출하는 화상 유사도 산출 시스템.
23. 제14항 또는 제16항에 있어서,

    상기 가공 확률 모델 추정 수단은, 상기 국소 영역 가공 확률을, 상기 가공 처리가 실시된 영역을 자동적으로 검출하는 방법에 의해 상기 가공 처리가 실시된 영역을 특정한 후에 산출하는 화상 유사도 산출 시스템.
24. 제15항 또는 제17항에 있어서,

    상기 가공 영역 검출 수단은, 상기 국소 영역 가공 확률을, 상기 가공 처리가 실시된 영역을 자동적으로 검출하는 방법에 의해 상기 가공 처리가 실시된 영역을 특정한 후에 산출하는 화상 유사도 산출 시스템.
25. 제5항 내지 제17항 중 어느 한 항에 있어서,

    상기 국소 영역이, 상기 조회 화상 또는 상기 참조 화상에서의 소영역과 대응하도록 분할된 영역인 화상 유사도 산출 시스템.
26. 제1항 내지 제17항 중 어느 한 항에 있어서,

    상기 조회 화상 또는 상기 참조 화상에서의 소영역이, 화상을 동일한 크기의 사각형으로 분할한 영역인 화상 유사도 산출 시스템.
27. 제1항 내지 제17항 중 어느 한 항에 있어서,

    상기 조회 화상 또는 상기 참조 화상에서의 소영역이, 영역의 일부가 중복되도록 분할한 영역인 화상 유사도 산출 시스템.
28. 제1항 내지 제17항 중 어느 한 항에 있어서,

    상기 조회 화상 또는 상기 참조 화상에서의 소영역이, 화상의 일부만을 분할하여 얻어진 영역인 화상 유사도 산출 시스템.
29. 제1항 내지 제17항 중 어느 한 항에 있어서,

    상기 특징량이, 색 정보, 엣지 정보, 텍스처 정보, 형상 정보, 움직임 정보 중 적어도 하나의 정보에 의한 특징량인 화상 유사도 산출 시스템.
30. 제1항 내지 제17항 중 어느 한 항에 있어서,

    상기 특징량이, RGB 표색 공간, HSV 표색 공간, YUV 표색 공간, YIQ 표색 공간, YCbCr 표색 공간, L*a*b* 표색 공간, XYZ 표색 공간 중 어느 하나의 표색 공간계에 의해 규정되는 색 좌표의 평균값, 최빈값, 미디언값, 국제표준규격 ISO/IEC 15938-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Contour Shape, Shape 3D 중 적어도 하나의 특징량인 화상 유사도 산출 시스템.
31. 제1항 내지 제17항 중 어느 한 항에 있어서,

    상기 가공 처리가, 화상에 대한 텔롭의 중첩 처리, 화상에 대한 자막의 중첩 처리, 화상에 대한 캐릭터의 중첩 처리, 화상에 대한 오브젝트의 중첩 처리, 화상의 일부의 오려내기 처리, 화상의 일부의 잘라내기 처리, 화상의 일부에 대한 모자이크 처리, 화상의 일부에 대한 바림 처리 중 적어도 하나의 처리인 화상 유사도 산출 시스템.
32. 제1항 내지 제13항 중 어느 한 항의 화상 유사도 산출 시스템에서 산출되는 화상 유사도를 이용하여 화상을 검색하는 화상 검색 시스템.
33. 입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하는 가공 확률 모델 추정 수단과,

    상기 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하는 국소 영역 가중치 산출 수단과,

    입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하는 화상 분할 수단과,

    상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 소영역 특징량 추출 수단과,

    사전에 등록된 복수의 참조 화상으로 이루어지는 참조 화상군에서의 각각의 참조 화상의 소영역 특징량을 기억하는 참조 화상군 소영역 특징량 기억부와,

    상기 참조 화상군 소영역 특징량 기억부에 기억된 각 참조 화상의 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 각 참조 화상에 대한 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과,

    상기 소영역 유사도 산출 수단이 산출한 상기 각 참조 화상에 대한 소영역 유사도에, 상기 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 해서, 상기 조회 화상과 상기 참조 화상군의 각 참조 화상과의 화상 유사도를 산출하는 화상 유사도 산출 수단과,

    상기 화상 유사도 산출 수단이 산출한 각 참조 화상에 대한 화상 유사도에 기초하여, 상기 참조 화상군 중에서 상기 조회 화상에 대한 검색 결과를 출력하는 검색 결과 출력 수단을 구비하는 화상 검색 시스템.
34. 입력으로서 주어지는 가공 처리가 실시된 조회 화상으로부터 화상의 국소 영역마다 가공 처리가 실시된 확률을 국소 영역 가공 확률로서 산출하는 가공 영역 검출 수단과,

    상기 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하는 국소 영역 가중치 산출 수단과,

    상기 조회 화상을 소영역으로 분할하는 화상 분할 수단과,

    상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 소영역 특징량 추출 수단과,

    사전에 등록된 복수의 참조 화상으로 이루어지는 참조 화상군에서의 각각의 참조 화상의 소영역 특징량을 기억하는 참조 화상군 소영역 특징량 기억부와,

    상기 참조 화상군 소영역 특징량 기억부에 기억된 각 참조 화상의 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 각 참조 화상에 대한 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과,

    상기 소영역 유사도 산출 수단이 산출한 상기 각 참조 화상에 대한 소영역 유사도에, 상기 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 해서, 상기 조회 화상과 상기 참조 화상군의 각 참조 화상과의 화상 유사도를 산출하는 화상 유사도 산출 수단과,

    상기 화상 유사도 산출 수단이 산출한 각 참조 화상에 대한 화상 유사도에 기초하여, 상기 참조 화상군 중에서 상기 조회 화상에 대한 검색 결과를 출력하는 검색 결과 출력 수단을 구비하는 화상 검색 시스템.
35. 입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마다 가공 처리가 실시되는 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하는 가공 확률 모델 추정 수단과,

    상기 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출하는 일치 판정 임계치 산출 수단과,

    입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하는 화상 분할 수단과,

    상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 소영역 특징량 추출 수단과,

    사전에 등록된 복수의 참조 화상으로 이루어지는 참조 화상군에서의 각각의 참조 화상의 소영역 특징량을 기억하는 참조 화상군 소영역 특징량 기억부와,

    상기 참조 화상군 소영역 특징량 기억부에 기억된 참조 화상군의 각 참조 화상의 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 각 참조 화상에 대한 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과,

    상기 소영역 유사도 산출 수단이 산출한 상기 각 참조 화상에 대한 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 상기 일치 판정 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상군의 각 참조 화상과의 화상 유사도를 산출하는 화상 유사도 산출 수단과,

    상기 화상 유사도 산출 수단이 산출한 각 참조 화상에 대한 화상 유사도에 기초하여, 상기 참조 화상군 중에서 상기 조회 화상에 대한 검색 결과를 출력하는 검색 결과 출력 수단을 구비하는 화상 검색 시스템.
36. 입력으로서 주어지는 가공 처리가 실시된 조회 화상으로부터 화상의 국소 영역마다 가공 처리가 실시된 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시된 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하는 가공 영역 검출 수단과,

    상기 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출하는 일치 판정 임계치 산출 수단과,

    상기 조회 화상을 소영역으로 분할하는 화상 분할 수단과,

    상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 소영역 특징량 추출 수단과,

    사전에 등록된 복수의 참조 화상으로 이루어지는 참조 화상군에서의 각각의 참조 화상의 소영역 특징량을 기억하는 참조 화상군 소영역 특징량 기억부와,

    상기 참조 화상군 소영역 특징량 기억부에 기억된 참조 화상군의 각 참조 화상의 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 각 참조 화상에 대한 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 소영역 유사도 산출 수단과,

    상기 소영역 유사도 산출 수단이 산출한 상기 각 참조 화상에 대한 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 상기 일치 판정 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상군의 각 참조 화상과의 화상 유사도를 산출하는 화상 유사도 산출 수단과,

    상기 화상 유사도 산출 수단이 산출한 각 참조 화상에 대한 화상 유사도에 기초하여, 상기 참조 화상군 중에서 상기 조회 화상에 대한 검색 결과를 출력하는 검색 결과 출력 수단을 구비하는 화상 검색 시스템.
37. 제35항 또는 제36항에 있어서,

    상기 일치 판정 임계치 산출 수단은, 상기 국소 영역 가공 확률 또는 상기 가공 국소 영역 수 확률 분포에 기초하여 가공 처리가 실시되는 화상과 원래의 화상 사이에서, 화상의 소영역마다의 유사도로부터 구해지는 화상 전체의 유사도의 생기 확률 분포를 추정함으로써, 상기 일치 판정 임계치의 최적값을 산출하는 화상 검색 시스템.
38. 제35항 또는 제36항에 있어서,

    상기 일치 판정 임계치 산출 수단은, 상기 국소 영역 가중치를 작용시켜 구해지는 화상 전체의 유사도를 상기 국소 영역 가중치에 기초하여 추정함으로써, 상기 일치 판정 임계치의 최적값을 산출하는 화상 검색 시스템.
39. 제33항 또는 제34항에 있어서,

    상기 국소 영역 가중치 산출 수단은, 상기 국소 영역 가중치를, 상기 국소 영역 가공 확률이 높은 경우에는 낮은 값, 상기 국소 영역 가공 확률이 낮은 경우에는 높은값으로 하는 화상 검색 시스템.
40. 제39항에 있어서,

    상기 국소 영역 가중치 산출 수단은, 상기 국소 영역 가중치를, 1과 상기 국소 영역 가공 확률의 차로서 산출하는 화상 검색 시스템.
41. 제33항 또는 제35항에 있어서,

    상기 가공 확률 모델 추정 수단은, 상기 국소 영역 가공 확률을, 상기 가공 처리가 실시된 영역을 자동적으로 검출하는 방법에 의해 상기 가공 처리가 실시된 영역을 특정한 후에 산출하는 화상 검색 시스템.
42. 제34항 또는 제36항에 있어서,

    상기 가공 영역 검출 수단은, 상기 국소 영역 가공 확률을, 상기 가공 처리가 실시된 영역을 자동적으로 검출하는 방법에 의해 상기 가공 처리가 실시된 영역을 특정한 후에 산출하는 화상 검색 시스템.
43. 제33항 내지 제36항 중 어느 한 항에 있어서,

    상기 국소 영역이, 상기 조회 화상 또는 상기 참조 화상에서의 소영역과 대응하도록 분할된 영역인 화상 검색 시스템.
44. 제33항 내지 제36항 중 어느 한 항에 있어서,

    상기 조회 화상 또는 상기 참조 화상에서의 소영역이, 화상을 동일한 크기의 사각형으로 분할한 영역인 화상 검색 시스템.
45. 제33항 내지 제36항 중 어느 한 항에 있어서,

    상기 조회 화상 또는 상기 참조 화상에서의 소영역이, 영역의 일부가 중복되도록 분할한 영역인 화상 검색 시스템.
46. 제33항 내지 제36항 중 어느 한 항에 있어서,

    상기 조회 화상 또는 상기 참조 화상에서의 소영역이, 화상의 일부만을 분할하여 얻어진 영역인 화상 검색 시스템.
47. 제33항 내지 제36항 중 어느 한 항에 있어서,

    상기 특징량이, 색 정보, 엣지 정보, 텍스처 정보, 형상 정보, 움직임 정보 중 적어도 하나의 정보에 의한 특징량인 화상 검색 시스템.
48. 제33항 내지 제36항 중 어느 한 항에 있어서,

    상기 특징량이, RGB 표색 공간, HSV 표색 공간, YUV 표색 공간, YIQ 표색 공간, YCbCr 표색 공간, L*a*b* 표색 공간, XYZ 표색 공간 중 어느 하나의 표색 공간계에 의해 규정되는 색 좌표의 평균값, 최빈값, 미디언값, 국제표준규격 ISO/IEC 15940-3에 규정되어 있는 Dominant Color, Color Layout, Scalable Color, Color Structure, Edge Histogram, Homogeneous Texture, Texture Browsing, Contour Shape, Shape 3D 중 적어도 하나의 특징량인 화상 검색 시스템.
49. 제33항 내지 제36항 중 어느 한 항에 있어서,

    상기 가공 처리가, 화상에 대한 텔롭의 중첩 처리, 화상에 대한 자막의 중첩 처리, 화상에 대한 캐릭터의 중첩 처리, 화상에 대한 오브젝트의 중첩 처리, 화상의 일부의 오려내기 처리, 화상의 일부의 잘라내기 처리, 화상의 일부에 대한 모자이크 처리, 화상의 일부에 대한 바림 처리 중 적어도 하나의 처리인 화상 검색 시스템.
50. 복수의 참조 화상 중에서 조회 화상과 유사한 화상을 출력하는 화상 검색 시스템으로서,

    제1항 내지 제17항 중 어느 한 항의 화상 유사도 산출 시스템을 이용하여 산출되는 화상 유사도에 기초하여 복수의 참조 화상 중에서 조회 화상과 유사한 참조 화상을 출력하는 화상 검색 시스템.
51. 화상에 가공 처리가 실시되는 확률 모델을 고려하면서, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 방법.
52. 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을, 국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상의 영역마다의 가중치를 작용시켜 비교해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 방법.
53. 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서 화상 전체의 유사도를 산출한 후, 국소 영역마다 화상에 가공 처리가 실시되는 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포에 기초하여 산출된 화상 간의 일치를 판정하는 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 방법.
54. 국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상의 영역마다의 가중치를 작용시켜, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서 화상 전체의 유사도를 산출한 후, 상기 국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상 간의 일치를 판정하는 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 방법.
55. 입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하고,

    상기 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하고,

    입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하고,

    상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하고,

    입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고,

    상기 소영역 유사도에 상기 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 방법.
56. 입력으로서 주어지는 가공 처리가 실시된 조회 화상으로부터 화상의 국소 영역마다 가공 처리가 실시된 확률을 국소 영역 가공 확률로서 산출하고,

    상기 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하고,

    상기 조회 화상을 소영역으로 분할하고,

    상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하고,

    입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고,

    상기 소영역 유사도에, 상기 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 방법.
57. 입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마다 가공 처리가 실시되는 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하고,

    상기 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출하고,

    입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하고,

    상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하고,

    입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고,

    상기 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 상기 일치 판정 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 방법.
58. 입력으로서 주어지는 가공 처리가 실시된 조회 화상으로부터 화상의 국소 영역마다 가공 처리가 실시된 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시된 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하고,

    상기 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출하고,

    상기 조회 화상을 소영역으로 분할하고,

    상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하고,

    입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하고,

    상기 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 상기 일치 판정 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 화상 유사도 산출 방법.
59. 컴퓨터에,

    화상에 가공 처리가 실시되는 확률 모델을 고려하면서, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 처리를 실행시키기 위한 화상 유사도 산출 프로그램을 기록한 기록 매체.
60. 컴퓨터에,

    조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을, 국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상의 영역마다의 가중치를 작용시켜 비교해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 처리를 실행시키기 위한 화상 유사도 산출 프로그램을 기록한 기록 매체.
61. 컴퓨터에,

    조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서 화상 전체의 유사도를 산출한 후, 국소 영역마다 화상에 가공 처리가 실시되는 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포에 기초하여 산출된 화상 간의 일치를 판정하는 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 처리를 실행시키기 위한 화상 유사도 산출 프로그램을 기록한 기록 매체.
62. 컴퓨터에,

    국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상의 영역마다의 가중치를 작용시켜, 조회 화상의 분할된 소영역마다의 특징량과 참조 화상의 분할된 소영역마다의 특징량을 비교해서 화상 전체의 유사도를 산출한 후, 상기 국소 영역마다 화상에 가공 처리가 실시되는 확률에 기초하여 산출된 화상 간의 일치를 판정하는 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 처리를 실행시키기 위한 화상 유사도 산출 프로그램을 기록한 기록 매체.
63. 컴퓨터에,

    입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마다 가공 처리가 실시되는 확률을 국소 영역 가공 확률로서 산출하는 처리와,

    상기 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하는 처리와,

    입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하는 처리와,

    상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 처리와,

    입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 처리와,

    상기 소영역 유사도에, 상기 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 처리를 실행시키기 위한 화상 유사도 산출 프로그램을 기록한 기록 매체.
64. 컴퓨터에,

    입력으로서 주어지는 가공 처리가 실시된 조회 화상으로부터 화상의 국소 영역마다 가공 처리가 실시된 확률을 국소 영역 가공 확률로서 산출하는 처리와,

    상기 국소 영역 가공 확률에 기초하여 화상의 국소 영역마다의 가중치를 국소 영역 가중치로서 산출하는 처리와,

    상기 조회 화상을 소영역으로 분할하는 처리와,

    상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 처리와,

    입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 처리와,

    상기 소영역 유사도에, 상기 국소 영역 가중치로부터 구해지는 소영역마다의 가중치를 이용하여 가중치 부여를 해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 처리를 실행시키기 위한 화상 유사도 산출 프로그램을 기록한 기록 매체.
65. 컴퓨터에,

    입력으로서 주어지는 학습 화상 또는 기기 특성으로부터 화상의 국소 영역마다 가공 처리가 실시되는 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시되는 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하는 처리와,

    상기 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출하는 처리와,

    입력으로서 주어지는 가공 처리가 실시된 조회 화상을 소영역으로 분할하는 처리와,

    상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 처리와,

    입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 처리와,

    상기 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 상기 일치 판정 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 처리를 실행시키기 위한 화상 유사도 산출 프로그램을 기록한 기록 매체.
66. 컴퓨터에,

    입력으로서 주어지는 가공 처리가 실시된 조회 화상으로부터 화상의 국소 영역마다 가공 처리가 실시된 확률인 국소 영역 가공 확률 또는 화상에 가공 처리가 실시된 국소 영역 수의 확률 분포인 가공 국소 영역 수 확률 분포를 산출하는 처리와,

    상기 국소 영역 가공 확률 또는 가공 국소 영역 수 확률 분포에 기초하여 화상 간의 일치를 판정하는 임계치를 일치 판정 임계치로서 산출하는 처리와,

    상기 조회 화상을 소영역으로 분할하는 처리와,

    상기 분할된 소영역으로부터 각 소영역의 특징량을 조회 화상 소영역 특징량으로서 추출하는 처리와,

    입력으로서 주어지는 참조 화상의 사전에 준비된 소영역 특징량인 참조 화상 소영역 특징량과 상기 조회 화상 소영역 특징량을 비교해서, 소영역마다의 특징량의 유사도를 소영역 유사도로서 산출하는 처리와,

    상기 소영역 유사도로부터 화상 전체의 유사도를 산출하고, 상기 일치 판정 임계치를 이용하여 상기 유사도를 수정해서, 상기 조회 화상과 상기 참조 화상의 화상 유사도를 산출하는 처리를 실행시키기 위한 화상 유사도 산출 프로그램을 기록한 기록 매체.

Images