KR20020001567A - 정보 검색 시스템 - Google Patents

정보 검색 시스템 Download PDF

Info

Publication number
KR20020001567A
KR20020001567A KR1020010035751A KR20010035751A KR20020001567A KR 20020001567 A KR20020001567 A KR 20020001567A KR 1020010035751 A KR1020010035751 A KR 1020010035751A KR 20010035751 A KR20010035751 A KR 20010035751A KR 20020001567 A KR20020001567 A KR 20020001567A
Authority
KR
South Korea
Prior art keywords
feature descriptor
search
image
feature
information
Prior art date
Application number
KR1020010035751A
Other languages
English (en)
Inventor
세키구치순이치
가와하라도시로
나카무라노리오
Original Assignee
추후보정
엔티티 도꼬모 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 추후보정, 엔티티 도꼬모 인코퍼레이티드 filed Critical 추후보정
Publication of KR20020001567A publication Critical patent/KR20020001567A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

이동 단말은, 검색 대상물을 포함하는 다수 프레임의 화상을 취득하는 촬상부와, 이들의 각 프레임에 포함되는 검색 대상물의 화상으로부터 특징 기술자를 생성하는 특징 기술자 생성부를 구비한다. 이동 단말은, 특징 기술자 생성부에 의해 생성된 특징 기술자를 검색 서버로 송신한다. 검색 서버는, 매칭 처리부를 가지고 있다. 이 매칭 처리부는 이동 단말로부터 수신되는 특징 기술자에 합치하는 레코드를 콘텐츠 서버의 데이터 베이스로부터 검색한다.

Description

정보 검색 시스템{Information retrieval system}
본 발명은 정보 검색 시스템에 관한 것이다.
통신 기술 및 정보 처리 기술의 진보에 따라, 네트워크를 이용한 각종의 정보 검색 시스템이 폭넓게 이용되기에 이르렀다. 이러한 종류의 정보 검색 시스템에서는, 검색 대상에 관련된 키워드 등을 유저가 지정하고, 검색 서버가 이 키워드에 합치하는 레코드를 데이터 베이스 중에서 검색하여 유저에게 제공하는 방법이 일반적으로 취해지고 있다.
그러나, 검색 대상물이 유저의 눈앞에 있지만, 유저는 그 검색 대상물의 이름 등을 알지 못해 적절한 키워드를 지정할 수 없는 상황이 있을 수 있다. 이러한 경우, 유저는 정보 검색 시스템에 대해 적절한 키워드를 송신할 수 없어, 검색 대상물에 관한 정보를 취득할 수 없는 문제가 있었다.
본 발명의 목적은, 유저가 적절한 키워드 지정 등을 행할 수 없는 상황에서도, 정보 대상물에 관한 정보를 취득할 수 있는 정보 검색 시스템을 제공하는 것에 있다.
이 목적을 달성하기 위해, 본 발명은 각종 검색 대상물에 관한 레코드와 각각이 선택되기 위한 조건인 특징 기술자를 대응시켜 기억한 데이터 베이스와, 검색 대상물을 포함하는 화상을 취득하는 화상취득수단과, 상기 화상 취득 수단에 의해 취득된 화상에 포함된 검색 대상물의 화상으로부터 특징 기술자를 생성하는 특징 기술자 생성부와, 상기 특징 기술자 생성부에 의해 생성되는 특징 기술자에 합치하는 검색 대상물에 관한 레코드를 상기 데이터 베이스로부터 검색하는 매칭 처리부를 구비하는 정보 검색 시스템을 제공한다.
이 정보 검색 시스템에 의하면, 취득된 화상으로부터 검색 대상물의 특징 기술자가 생성되어, 이 특징 기술자를 검색 키로 하여 정보 검색이 행해진다. 따라서, 유저는 검색 대상물의 이름 등을 몰라도 그 검색 대상물에 관한 정보를 취득할 수 있다.
도 1은 본 발명의 제1 실시 형태인 정보 검색 시스템의 구성을 도시한 블록도,
도 2는 동 실시 형태에서의 화상 부호화부(102)의 구성을 도시한 블록도,
도 3은 동 실시 형태에서의 데이터 베이스의 구성을 도시한 도면,
도 4는 동 실시 형태의 전체적인 동작을 도시한 플로우 챠트,
도 5는 동 실시 형태에서의 촬상 및 특징 기술자 생성 처리의 제1 예를 도시한 플로우 챠트,
도 6은 동 실시 형태에서의 촬상 및 특징 기술자 생성 처리의 제2 예를 도시한 플로우 챠트,
도 7은 동 실시 형태에서의 촬상 및 특징 기술자 생성 처리의 제3 예를 도시한 플로우 챠트,
도 8은 동 실시 형태에서의 촬상 및 특징 기술자 생성 처리의 제4 예를 도시한 플로우 챠트,
도 9(a) 및 도 9(b)는 동 실시 형태에서 행해지는 윤곽 결정 처리를 설명하는 도면,
도 10(a) 및 도 10(b)는 동 실시 형태에서의 물체 구성 색 영역 처리 및 공간 배치 기술자 생성 처리를 설명하는 도면,
도 11은 동 실시 형태에서의 매칭 처리의 제1 처리예를 도시한 플로우 챠트,
도 12는 동 실시 형태에서의 매칭 처리의 제2 처리예를 도시한 플로우 챠트,
도 13은 본 발명의 제2 실시 형태인 정보 검색 시스템의 구성을 도시한 블록도,
도 14는 동 실시 형태에서의 수신부의 복호기의 구성을 도시한 블록도,
도 15는 본 발명의 제3 실시 형태인 정보 검색 시스템의 구성을 도시한 블록도,
도 16은 동 실시 형태의 동작을 도시한 플로우 챠트,
도 17은 본 발명의 제4 실시 형태인 정보 검색 시스템의 구성을 도시한 블록도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대해서 설명한다.
A. 제1 실시 형태
(1) 실시 형태의 구성
도 1은 본 발명의 제1 실시 형태인 정보 검색 시스템의 구성을 도시한 블록도이다. 본 정보 검색 시스템은, 유저의 눈앞에 있는 물체에 관한 레코드의 검색을 행하여, 그 검색 결과를 유저에게 제공하는 시스템이다. 도 1에 도시한 바와 같이, 본 정보 검색 시스템은 이동 단말(100)과, 검색 서버(200)와, 네트워크(300)와, 검색 서버(200) 내의 콘텐츠 서버(A)나 검색 서버(200)의 외부의 콘텐츠 서버(B) 등으로 이루어진 데이터 베이스를 주요한 구성으로 하는 것이다.
이동 단말(100)은, 네트워크(300)를 통해 다른 장치와의 사이에서 음성이나 영상의 송수신을 행하는 기능을 가지는 멀티미디어 대응의 이동 단말이다. 이 이동 단말(100)에서, 촬상부(101) 및 화상 부호화부(102)는 네트워크(300)를 통해 타자(他者)에게 영상을 송신할 때에 이용된다. 즉, 이동 단말(100)로부터 타자로 화상 송신을 행할 때, 촬영부(101)는 타자에게 송신해야 할 외계의 영상을 촬영하여 화상 정보를 출력하고, 화상 부호화부(102)는 이 화상 정보의 압축 부호화를 행하여, 네트워크(300)를 통해 전송하는 데에 적합한 낮은 데이터율의 부호화 데이터를 생성하는 것이다.
그리고, 본 실시 형태에서의 이동 단말(100)은, 이와 같은 화상 통신을 행하는 기능 외, 검색 서버(200)를 이용하여 유저의 눈앞에 있는 물체에 관한 정보 검색을 행하는 기능을 구비하고 있다. 이 정보 검색은 본 실시형태에서 대략 다음과같은 수단에 의해 행해진다. 즉, 이동 단말(100)은 유저의 눈앞에 있는 검색 대상인 물체의 화상 정보를 취득하여, 그 화상 정보로부터 물체의 특징을 나타내는 정보(이하, 특징 기술자라고 한다)를 생성하여 검색 서버(200)로 보내고, 검색 서버(200)는 콘텐츠 서버(A)나 콘텐츠 서버(B) 등의 데이터 베이스 중에서 이 특징 기술자에 합치한 레코드를 검색하여, 이동 단말(100)로 되돌려 보내는 것이다.
본 정보 검색에서, 이동 단말(100)에서의 촬상부(101)는, 검색 대상인 물체의 화상 데이터를 취득하기 위한 수단으로서 이용된다. 이 촬상부(101)는, 일정 시간 간격으로 외계의 촬영을 행하여, 그 때마다 1프레임 분량의 화상 데이터를 출력한다. 또, 화상 부호화부(102)는 MPEG-4(Moving Picture Expert Group Phase 4)에 규정된 부호화 알고리즘을 따라 촬상부(101)에서 얻어진 화상 데이터의 부호화를 행하는 장치이다. 본 실시형태에서는 화상 데이터의 부호화 과정에서 발생하는 데이터로부터 검색 대상인 물체에 대응한 특징 기술자가 생성된다. 이와 같이 멀티 미디어 대응의 이동 단말에 원래 구비되어 있는 구성 요소를 정보 검색에 유효하게 이용하는 점에 본 실시 형태의 하나의 특징이 있다.
도 2는 화상 부호화부(102)의 구성을 도시한 블록도이다. 도 2에서, 부호화 제어부(401)는 각종 제어 정보를 발생하여, 이 화상 부호화부(102) 전체의 동작을 제어하는 장치이다. 이 부호화 제어부(401)에 의해 생성되는 제어 정보에는, 예컨대 부호화 모드 정보와 양자화 단계(Qp)가 있다. 여기에서, 부호화 모드 정보는 프레임 내 부호화를 행하거나, 프레임간 예측 부호화를 행하는지의 절환 제어를 위해 생성되는 정보이다. 또, 양자화 단계(Qp)는, 이 화상 부호화부(102)로부터 출력하는 부호화 데이터의 부호량을 제어하기 위해 생성되는 정보이다.
MB(매크로 블록) 생성부(402)에는, 촬상부(101)로부터 출력되는 일련의 프레임의 화상 데이터가 순차적으로 공급된다. 이 MB 생성부(402)는 촬상부(101)로부터 공급되는 1프레임 분량의 화상 데이터를 16×16 화소의 MB에 분할하여 출력한다. 감산기(403)는 이들의 각 MB와 후술하는 움직임 보상부(413)로부터 공급되는 각 MB에 대응한 참조 화상과의 감산을 행하여, 차분 화상을 출력한다.
스위치(404)는 접점(a) 및 접점(b)을 가지고 있고, 접점(a)에는 MB 생성부(402)로부터의 MB가 공급되고, 접점(b)에는 감산기(403)로부터의 차분 화상이 공급된다. 그리고, 이 스위치(404)는 프레임 내 부호화를 행할 때에는 부호화 제어부(401)로부터 출력되는 부호화 모드 정보에 의해 접점(a)측으로 절환되고, 프레임간 예측 부호화를 행할 때에는 접점(b)측으로 절환된다.
DCT부(405)는 스위치(404)를 통해 공급되는 MB 또는 차분 화상을 4분할한 각 블록에 대해, 직교 변환의 일종인 DCT(Discrete Cosine Transform;이산 코사인 변환)를 행하여, DCT 계수 행렬을 출력한다. 양자화기(406)는 DCT부(405)로부터 얻어진 DCT 계수 행렬의 각 행렬 요소(즉, DCT 계수)를 부호화 제어부(401)로부터 부여되는 양자화 단계(Qp)에 따라 양자화하여, 양자화된 DCT 계수 행렬을 출력한다.
역양자화기(407)는, 양자화기(406)로부터 얻어진 양자화된 DCT 계수 행렬의 역양자화를 행하여, 원래의 DCT 계수 행렬을 복원한다. IDCT부(408)는 역양자화기(407)로부터 출력된 DCT 계수 행렬에 대해 역DCT를 행하여, 원래의 MB(프레임 내 부호화시) 또는 차분 화상(프레임간 예측 부호화시)을 복원한다.
가산기(409)에는, 이 원래의 MB 또는 차분 화상과, 스위치(410)의 출력 데이터가 공급된다. 여기에서, 스위치(410)는 접점(a) 및 접점(b)를 가지고 있고, 접점(a)에는 고정값 「0」이 공급되고, 접점(b)에는 움직임 보상부(413)로부터 참조 화상이 공급된다. 그리고, 이 스위치(410)는 프레임 내 부호화를 행할 때에는, 부호화 제어부(401)로부터 출력되는 부호화 모드 정보에 의해 접점(a)측으로 절환되고, 프레임간 예측 부호화를 행할 때에는 접점(b)측으로 절환된다. 따라서, 가산기(409)는 프레임 내 부호화시에는 DCT 전의 원래의 MB를 출력하고, 프레임간 예측 부호화시에는 차분 화상에 대해, 여기에 대응한 참조 화상을 가한 것, 즉 원래의 MB의 복호 화상을 출력하게 된다. 프레임 메모리(411)는 이와 같은 방법으로 하여 가산기(409)로부터 얻어진 복호 화상을 기억하는 메모리이다.
움직임 예측부(412)는, MB 생성부(402)로부터 감산기(403)에 공급되는 각 MB마다 상기 MB에 유사한 참조 화상을 프레임 메모리(FM) 내에 기억된 시간적으로 앞의 프레임의 복호 화상 중에서 탐색하여, 상기 MB와 참조 화상과의 사이의 움직임 벡터를 출력한다. 움직임 보상부(413)는 MB생성부(402)로부터 감산기(403)에 공급되는 각 MB마다에 움직임 예측부(412)에 의해 구해지는 움직임 벡터에 의해 움직임 보상된 참조 화상을 감산기(403) 및 상술한 스위치(410)의 접점(b)에 공급한다.
가변 길이 부호화기(414)는, 양자화기(406)로부터 얻어진 양자화된 DCT 계수 행렬과 움직임 예측부(412)로부터 얻어진 움직임 벡터를 가변 길이 부호화하고, 부호화 모드 정보 등의 각종 제어 정보를 다중화하여, 부호화 데이터로서 출력한다. 버퍼(415)는 이와 같은 방법으로 출력된 부호화 데이터를 일시적으로 축적하는 메모리이다. 이 버퍼(415)에 축적된 부호화 데이터는, 네트워크를 통해 이동 단말(100)의 상대측 장치에 송신된다.
통상의 화상 통신의 경우, 부호화 제어부(401)는 적당한 타이밍에서 프레임 내 부호화를 지시하는 부호화 모드 정보를 출력하고, 다른 기간은 프레임간 예측 부호화를 지시하는 부호화 모드 정보를 출력한다. 또, 부호화 제어부(401)는 버퍼(415) 내의 미송신의 부호화 데이터의 부호량을 감시하고 있어, 미송신 부호량의 증대에 따라 버퍼(415)의 오버플로우가 발생하지 않도록 양자화 단계(Qp)를 조정하여, 버퍼(415)에 출력되는 부호화 데이터의 부호량의 제어를 행한다.
한편, 이동 단말(100)이 검색 서버(200)를 이용한 정보 검색을 위한 동작을 개시하면, 이 정보 검색을 위한 동작이 행해지는 동안, 검색 동작 모드 지시가 부호화 제어부(401)에 부여된다. 이 경우, 부호화 제어부(401)는 검색 동작 모드 지시가 부여된 직후, 프레임 내 부호화를 지시하는 부호화 모드 정보를 출력하여 1프레임분량의 프레임 내 부호화를 행하고, 그 이후의 정보 검색을 행하기 위한 동작이 종료할 때까지의 프레임에서는, 부호화 제어부(401)가 구비하는 부호화 모드 규범에 따라, MB 단위에서 부호화 모드의 절환을 행한다. 또, 부호화 제어부(401)는 검색 동작 모드 지시가 부여되는 동안, 양자화 단계(Qp)를 최소값인 「1」로 고정한다. 따라서, 그 동안은 가장 높은 정밀도로 부호화가 행해지게 된다.
이상이 화상 부호화부(102)의 구성의 상세이다.
이동 단말(100)은, 이상 설명한 촬상부(101) 및 화상 부호화부(102) 외, 검색 서버(200)를 이용한 정보 검색을 행하기 위한 수단으로서, 초기 물체 영역 지정부(103)와, 특징 기술자 생성부(104)와, 검색 요구 송신부(105)와, 검색 데이터 다중·송신부(106)와, 검색 결과 표시부(107)를 가지고 있다.
초기 물체 영역 지정부(103)는, 촬영부(101)에 의해 촬영된 외계의 영상에서 검색 대상인 물체가 점유하고 있는 영역(초기 물체 영역)을 유저에 특정시키기 위한 장치이다.
이 초기 물체 영역 지정부(103)에 의한 초기 물체 영역의 특정 방법으로서는 각종의 방법을 고려할 수 있는데, 예컨대 다음과 같은 간편한 방법이 있다. 즉, 초기 물체 영역 지정부(103)는 촬영부(101)에 의해 촬영된 외계의 영상을 디스플레이(도시 생략)에 투영한다. 또, 초기 물체 영역 지정부(103)는, 디스플레이에 예컨대 사각 형상의 틀을 표시한다. 유저는 이동 단말(100)에 설치된 소정의 키(예컨대, 커서 키)를 조작하여, 이 사각 형상의 틀의 표시를 이동시키거나, 이 틀의 세로 치수나 가로 치수를 조정하여, 틀 안에 검색 대상인 물체의 영상을 모을 수 있다. 그리고, 사각 형상의 틀 안에 검색 대상이 모였을 때에 소정의 키를 조작하여, 초기 물체 영역의 특정을 한 것을 이동 단말(100)의 초기 물체 영역 지정부(103)에 통지한다. 그리고, 초기 물체 영역 지정부(103)는 이 통지를 받았을 때의 사각 형상 틀의 화면 내에서의 점유 위치를 검색 대상인 물체의 초기 물체 영역으로서 획득하는 것이다.
그 외에, 초기 물체 영역의 특정 방법으로서, 예컨대 카메라의 주밍(zooming) 기능을 이용함으로써, 화면 틀 가득히 물체를 포착하도록 조정하여, 이 때의 화면 틀을 초기 물체 영역으로 하는 방법이 있다.
특징 기술자 생성부(104)에는, 검색 동작 모드 지시가 출력되는 동안, 화상 부호화부(102)로부터 부호화 데이터가 공급된다. 또, 상술하면, 특징 기술자 생성부(104)에는 최초, 프레임 내 부호화에 의해 얻어진 DCT 계수가 공급되고, 그 이후, 검색 동작 모드 지시가 출력되는 동안, DCT 계수, 움직임 벡터 및 부호화 모드 정보가 공급된다. 또, 프레임 내 부호화 데이터의 공급에 앞서, 특징 기술가 생성부(104)에는 초기 물체 영역 지정부(103)에 의해 획득된 초기 물체 영역이 통지된다. 특징 기술자 생성부(104)는 프레임 내 부호화에 의해 얻어진 각 DCT 계수 중 초기 물체 영역 내의 각 MB에 대응하는 것을 이용하여 특징 기술자를 생성한다. 또, 프레임간 예측 부호화가 행해졌을 때는, 프레임간 예측 부호화에 의해 얻어진 각 MB에 대응한 움직임 벡터에 따라, 프레임 내에서의 검색 대상인 물체의 점유 영역을 추정하여, 이 추정된 점유 영역 내의 각 MB에 대응한 DCT 계수로부터 특징 기술자를 생성한다. 특징 기술자에는 예컨대 대표색 기술자, 구성색 공간 배치 기술자, 텍스쳐 기술자 등이 있다. 또, 이들이 의미하는 것에 대해서는, 설명의 중복을 피하기 위해, 본 실시 형태의 동작 설명의 항에서 상세히 하기로 한다.
특징 기술자 생성부(104)는, 특징 기술자 외, 검색 제어 데이터를 출력한다. 이것은 검색 서버(200)측에서, 검색 대상물에 따른 효율적인 검색을 행하기 위해 특징 기술자 생성부(104) 내에서 자동 생성된 제어 데이터이다. 이 검색 제어 데이터에 대해서도, 본 실시 형태의 동작 설명의 항에서 상세히 하기로 한다.
검색 요구 송신부(105)는, 유저로부터의 지시에 따라 검색 요구 데이터를 출력하는 장치이다.
검색 데이터 다중·송신부(106)는, 검색 요구 송신부(105)로부터 출력된 검색 요구 데이터와, 특징 기술자 생성부(104)로부터 출력된 특징 기술자 및 검색 제어 데이터를 다중화하여, 네트워크(300)를 통해 검색 서버(200)에 송신하는 장치이다.
검색 결과 표시부(107)는, 이 검색 데이터 다중·송신부(106)로부터의 검색 요구 데이터 등의 송신에 응답하여, 검색 서버(200)로부터 검색 결과 데이터가 되돌아 보내어져 온 경우에, 이 검색 결과 데이터를 도시하지 않은 디스플레이에 표시하는 장치이다.
이상이 이동 단말(100)의 구성의 상세이다.
다음에 검색 서버(200)에 대해서 설명한다.
검색 서버(200)는, 검색 데이터 수신·분리부(201)와, 매칭 처리부(202)와, 검색 결과 송신부(203)와, 콘텐츠 서버(A)를 가지고 있다. 검색 데이터 수신·분리부(201)는 네트워크(300)를 통해 이동 단말(100)로부터의 송신 데이터를 수신하고, 이 송신 데이터를 특징 기술자와 검색 제어 데이터와 검색 요구 데이터로 분리하여, 매칭 처리부(202)에 공급한다. 매칭 처리부(202)는, 검색 요구 데이터가 부여됨으로써, 콘텐츠 서버(A) 또는 네트워크(300)상의 콘텐츠 서버(B)에 액세스하여, 특징 기술자를 검색 키로 하여 정보 검색을 행한다.
여기에서, 콘텐츠 서버(A)나 콘텐츠 서버(B)가 보유하는 데이터 베이스는 도 3에 예시하는 계층 구조를 이루고 있다. 이 데이터 베이스가 예컨대 생물에 관한 레코드의 데이터 베이스라고 하면, 최상위의 루트 카테고리는 예컨대 생물이다. 그리고, 루트 카테고리의 하위의 카테고리 레이어(1)에는, 예컨대 동물에 대응한 카테고리와 식물에 대응한 카테고리가 속해 있고, 이들의 각 카테고리는 동물 일반 또는 식물 일반에 관한 정보를 포함하는 레코드에 의해 구성되어 있다. 그리고, 카테고리 레이어(1)의 하위 카테고리 레이어(2)는 동물 또는 식물을 더 세분화한 카테고리로 이루어지고, 이들의 각 카테고리에는 더 하위에 카테고리 레이어의 카테고리가 속해 있다. 그리고, 각 카테고리 레이어에 속하는 각 레코드마다, 각각이 검색되기 위한 특징 기술자의 내용이 정해져 있다. 여기에서, 상위 카테고리 레이어에 속하는 각 레코드는 수가 작은 특징 기술자 또는 추상적인 특징 기술자에 의해 검색 가능하지만, 하위의 카테고리 레이어가 될수록 각각에 속하는 각 레코드 중에서 상기하는 것을 검색하기 위해, 보다 다수의 특징 기술자 또는 보다 구체적이고 엄밀한 특징 기술자가 필요하게 된다.
이동 단말(100)측에서 공급되는 검색 요구 데이터에는, 정보 검색을 행할 때에 그 탐색 범위가 되는 카테고리를 지정하는 정보가 포함되어 있다. 매칭 처리부(200)는 이 지정된 탐색 범위 내에서 특징 기술자에 합치한 정보를 탐색한다. 예컨대, 카테고리 레이어(1)에 속하는 동물을 탐색 범위로 하여 지정하는 검색 요구 데이터가 이동 단말(100)로부터 보내어져 온 경우, 매칭 처리부는 도 3에서 카테고리·동물에 속하는 하위의 각 카테고리를 탐색 범위로 하여 특징 기술자에 합치한 레코드의 검색을 행하는 것이다.
검색 결과 송신부(203)는, 매칭 처리부(202)에 의해 검색된 레코드를 검색 결과 데이터로서 이동 단말(100)에 송신한다.
이상은 본 실시 형태에 관한 정보 검색 시스템의 구성의 상세이다.
(2) 실시 형태의 동작
① 전체 동작
도 4는 본 실시 형태에 관한 정보 검색 시스템의 전체적인 동작을 도시한 플로우 챠트이다. 이하, 본 플로우 챠트를 참조하여, 본 실시 형태의 전체적인 동작에 대해서 설명한다. 유저는 자신의 눈앞에 존재하는 물체에 관한 정보 검색을 행하고자 하는 경우, 그 물체에 대해서 알고 있는 것을 이동 단말(100)에 입력한다. 예컨대 눈 앞의 물체가 식물이라는 것을 알고 있는 경우, 유저는 검색 카테고리로서 식물을 지정하는 정보를 이동 단말(100)에 입력하는 것이다(단계 S1).
다음에, 유저는 검색 조건을 지정하는 이동 단말(100)에 대해 입력한다(단계 S2). 이 단계 S2에서 입력되는 검색 조건에는, 예컨대 다음의 것이 있다.
a. 기술 시간
이 기술 시간은 촬상부(101)로부터 얻어진 화상 데이터에 따라 특징 기술자의 생성을 행하는 시간이다. 구체적으로는, 이 기술 시간은 특징 기술자의 생성을 행하는 화상의 프레임 수에 의해 지정된다.
b. 상세도
이 상세도는 어느 정도 엄밀한 검색을 행하는지의 정도이다. 이 상세도를 직접 지정할 수는 없으므로, 그 대신에 촬상부(101)로부터 화상 데이터의 출력을 행할 때의 프레임 레이트나 검색 키로서 이용하는 특징 기술자의 수가 지정되게 된다.
c. 응답 시간
검색 요구 데이터를 검색 서버(200)로 보내고 나서 검색 결과 데이터가 되돌아 올 때까지의 응답 시간이다. 또, 이 응답 시간은 특징 기술자의 수가 많아질수록 길어지므로, 특징 기술자의 수를 응답 시간 대신에 지정하도록 해도 좋다.
d. 검색 결과 데이터수
이것은 특징 기술자에 합치한 검색 결과 데이터를 몇 개 받아 들이는가를 지정하는 정보이다.
e. 동기 검색/비동기 검색의 구별
본 실시 형태에서, 이동 단말(100)의 유저는 동기 검색과 비동기 검색의 두 종류의 서비스를 받을 수 있다. 여기에서, 동기 검색이란 이동 단말(100)이 특징 기술자의 생성 및 검색 서버(100)로의 송신을 반복하고, 검색 서버(100)는 이동 단말(100)로부터의 특징 기술자의 수신, 정보 검색 및 검색 결과 데이터의 송신을 반복하는 검색 서비스이다. 한편, 비동기 검색이란 유저로부터 지정된 기술 시간 내에 생성된 특징 기술자를 종합하여 이동 단말(100)로부터 검색 서버(200)로 보내고, 검색 서버(200)에서는 이 특징 기술자를 이용한 정보 검색을 행하여 검색 결과 데이터를 이동 단말(100)로 보내는 검색 서비스이다. 유저는, 이들의 동기 검색 또는 비동기 검색 중 어느 검색 서비스를 받는가를 지정한다.
f. 주관 유의(有意) 특징 지정
이것은 유저 자신이 주관적으로 그 검색 대상물의 특징이라고 생각하는 사항이다. 예컨대 유저가 검색 대상물의 특징은 그 모양에 있다고 생각한 경우, 모양이주관적 유의 특징 지정이 된다.
이상의 검색 조건의 입력이 완료하면, 이동 단말(100)은 시스템 셋업을 실행한다(단계 S3). 이 시스템 셋업에서, 이동 단말(100)은 검색 서버(200)와의 사이에서 능력 교섭을 행한다. 즉, 이동 단말(100)은 검색 서버(200)에 대해 성능 교환 정보를 보낸다. 이 성능 교환 정보는 이동 단말(100)로부터 검색 서버(200)에 제공할 수 있는 특징 기술자의 종류를 포함하고 있다. 검색 서버(200)는 이 성능 교환 정보에 따라 이동 단말(100)이 정보 검색에 필요한 특징 기술자를 제공할 수 있는지 여부를 판정하여, 그 판정 결과를 이동 단말(100)로 보낸다. 이 판정 결과에는, 이동 단말(100)이 제공할 수 있는 특징 기술자에 의해 어느 정도의 정밀도의 정보 검색을 행할 수 있는지를 나타내는 정보가 포함되어 있다. 한편, 검색 서버(200)도 이동 단말(100)에 대해, 성능 교환 정보를 송신한다. 이 성능 교환 정보는, 검색 서버(200)가 검색 가능한 카테고리의 범위 등의 정보를 포함하고 있다. 이동 단말(100)은 정보 검색에 필요한 특징 기술자를 검색 서버(200)에 제공할 수 있고, 또 검색 서버(200)가 이동 단말(100)에서 요구하는 정보 검색을 행할 수 있다는 것을 확인하면, 시스템 셋업에서의 나머지 처리로 진행한다. 한편, 정보 검색에 필요한 특징 기술자를 이동 단말(100)이 검색 서버(200)에 제공할 수 없는 경우 또는 검색 서버(200)가 이동 단말(100)에서 요구하는 정보 검색을 행할 수 없는 경우, 이동 단말(100)은 그 취지의 메세지를 디스플레이에 표시하여 처리를 중단한다. 능력 교섭이 종료하면, 이동 단말(100)은 단계 S1에서 입력된 검색 카테고리를 지정하는 정보를 검색 데이터 다중·송신부(106)로부터 네트워크(300)를 통해 검색 서버(200)에 송신한다. 이에 따라, 검색 서버(200)측에서는 검색 대상의 범위가 특정된다. 다음에, 이동 단말(100)은 단계 S2에서 입력된 각종 검색 조건을 검색 데이터 다중·송신부(106)에서 네트워크(300)를 통해 검색 서버(200)에 송신한다. 이 검색 조건은, 검색 서버(200)에서의 매칭 처리부(202)에 설정된다.
이상 설명한 시스템 셋업이 종료하면, 이동 단말(100)에서는 촬상 및 특징 기술자의 생성이 행해진다(단계 S4).
또, 상세히 기술하면, 이 단계 S4에서 유저는 이동 단말(100)의 촬상부(101)에 의해 검색 대상물의 촬영을 행하고, 디스플레이에 투영된 영상 중의 검색 대상물의 초기 물체 영역을 특정하여, 검색 개시를 이동 단말(100)에 지시한다. 이 지시는 이동 단말(100)에 배치 구비된 소정의 버튼을 누르는 등의 조작에 의해 행해진다.
이동 단말(100) 내부에서는, 이 검색 개시의 지시에 의해, 검색 동작 모드 지시가 발생된다. 여기에서, 단계 S2에서 동기 검색이 선택되는 경우에는, 그 후, 검색의 종료가 유저로부터 지시될 때까지 검색 동작 모드 지시가 계속적으로 발생된다. 한편, 단계 S2에서 비동기 검색이 선택되는 경우에는, 단계 S2에서 지정된 프레임수만큼의 화상으로부터 특징 기술자의 추출이 행해질 때까지 검색 동작 모드 지시가 계속적으로 발생된다.
화상 부호화부(102)에서는, 검색 동작 모드 지시가 발생하는 동안, 양자화 단계(Qp)=「1」의 조건에서 부호화가 행해진다. 또, 화상 부호화부(102)에서는 검색 동작 모드 지시가 발생한 직후의 최초 프레임의 화상 데이터에 대해서는, 프레임 내 부호화가 행해지고, 그 이후의 프레임의 화상 데이터에 대해서는 움직임 보상을 따른 프레임간 예측 부호화가 행해진다. 그리고, 이 부호화 과정에서 생성되는 DCT 계수, 움직임 벡터 및 부호화 모드 정보가 특징 기술자 생성부(104)에 공급되고, 특징 기술자 생성부(104)에서는 DCT 계수, 움직임 벡터 및 부호화 모드 정보를 이용하여, 검색 대상물의 특징 기술자가 생성된다. 이 특징 기술자의 생성은 검색 동작 모드 지시가 발생하는 동안, 계속적으로 행해진다.
다음에 이동 단말(100)은 이와 같은 방법으로 생성된 특징 기술자와 검색 제어 데이터를 검색 데이터 다중·송신부(106)에 의해 검색 서버(200)로 보낸다(단계 S5). 여기에서, 동기 검색의 실행시에는, 유저는 수시, 검색 카테고리 등을 지정하는 검색 요구 데이터를 입력할 수 있다. 이 경우, 검색 요구 데이터는 이 단계(S5)에서 특징 기술자나 검색 제어 데이터와 함께 검색 서버(200)로 보내어진다. 이 검색 제어 데이터에는, 특징 기술자의 종류, 검색시의 각 특징 기술자의 우선도 등, 검색 서버(200)측에서의 검색 제어에 필요한 정보를 포함하고 있다. 검색 제어 데이터는, 특징 기술자 생성부(104)에서 자동 생성되는데, 유저로부터의 의사가 반영되는 경우도 있다. 예컨대, 유저에 의해 주관적 유의 특징 지정이 이루어진 경우에는, 그 지정이 검색 제어 데이터 중의 각 특징 기술자의 우선도에 관한 정보에 반영된다.
검색 서버(200)는 이와 같은 방법으로 하여 이동 단말(100)로부터 송신되는 특징 기술자, 검색 제어 데이터 및 검색 요구 데이터를 검색 데이터 수신·분리부(201)에 의해 수신한다(단계 S6). 이들 특징 기술자, 검색 제어 데이터 및 검색 요구 데이터는 검색 서버(200) 내의 매칭 처리부(202)에 공급된다.
그리고, 매칭 처리부(202)는 콘텐츠 서버(A) 또는 (B) 내의 데이터 베이스에 액세스하여, 이동 단말(100)로부터 지정된 검색 카테고리의 범위 내에서, 이동 단말(100)로부터 보내어져 온 특징 기술자와 데이터 베이스 내의 각 레코드에 대응한 특징 기술자의 매칭 처리를 행한다(단계 S7). 또, 상세히 기술하면 데이터 베이스 내의 각 레코드에 대해 각각이 검색되기 위한 특징 기술자의 내용이 정의되어 있다. 매칭 처리부(202)에서는, 이 각 레코드에 대응한 특징 기술자와 이동 단말(100)로부터 보내어져 온 특징 기술자가 비교 대조되어, 양자의 일치도를 나타내는 평가값이 구해진다. 그리고, 평가값이 높은 것부터 순서대로 레코드의 선택이 행해져, 이동 단말(100)로부터 보내어져 온 검색 결과 데이터수에 상당하는 개수의 레코드가 모이는 시점에서, 이들의 레코드가 검색 결과 데이터로서 이동 단말(100)에 송신된다(단계 S8). 구체적으로는 이 매칭 처리부(202)에 의한 매칭 처리는, 이동 단말(100)의 특징 기술자 생성부(104)에 의해 생성된 검색 제어 데이터에 따라 진행된다. 또, 이 매칭 처리의 구체적인 내용에 대해서는 후술한다.
이동 단말(100)은, 검색 서버(200)로부터 검색 결과 데이터를 수신하면, 디스플레이에 표시한다(단계 S9).
유저는 이 표시된 검색 결과 데이터가 스스로 원했던 것인지 여부를 판단하여(단계 S10), 이 판단 결과가 「예」인 경우에는 검색을 종료한다. 한편, 표시된 검색 결과 데이터에 만족하지 않는 경우, 유저는 다시 검색을 이동 단말(100)에 요구하여(단계 S11), 검색 카테고리의 입력(단계 S1)으로 돌아가 검색을 다시 행한다.
이상은 본 실시 형태의 동작의 개요이다.
② 촬상 및 특징 기술자 생성의 처리예
도 5∼도 8은, 각각 본 실시형태에서의 촬상 및 특징 기술자 생성 처리, 즉, 도 4에서의 단계 S4의 처리의 상세를 예시하는 플로우 챠트이다. 이하, 이들의 각 처리예에 대해 설명한다.
<예 1>
도 5에 도시한 처리예에서, 먼저 이동 단말(100)에서는 도 4의 단계 S4 등에서 입력된 검색 조건이 화상 부호화부(102) 및 특징 기술자 생성부(104)에 부여된다(단계 S101). 이 검색 조건에는, 예컨대 특징 기술자의 추출을 몇 프레임만큼 행하는가의 종료 조건에 관한 정보가 포함되어 있다.
다음에, 초기 물체 영역 지정부(103)로부터 특징 기술자 생성부(104)에 초기 물체 영역을 지정하는 정보가 공급된다(단계 S102). 이에 따라 화상 부호화부(102)는, 특징 기술자를 얻기 위한 화상 데이터의 부호화를 개시한다.
먼저, 화상 부호화부(102)는 촬상부(101)로부터 화상 데이터를 받아 들이면, 그 화상 데이터가 검색 동작 모드 지시 발생 직후의 최초 프레임의 것인지 여부를 판단한다(단계 S103). 그리고, 최초 프레임의 화상 데이터인 경우에는, 화상 부호화부(102)는 그 화상 데이터의 프레임 내 부호화를 행한다(단계 104).
그리고, 특징 기술자 생성부(104)는 이 프레임 내 부호화 과정에서 화상 부호화부(102)의 양자화기(406)로부터 얻어진 DCT 계수 중 DC 성분에 대응한 것을 저장한다(단계 S105).
다음에 특징 기술자 생성부(104)는 단계 S105에서 취득한 DC 성분에 따라 검색 대상인 물체의 윤곽을 결정한다(단계 S106). 여기에서, 도 9(a) 및 9(b)를 참조하여, 이 윤곽 결정 처리에 대해 설명한다.
먼저, 프레임 내 부호화 과정에서는 1프레임을 분할한 8×8 화소의 블록마다 DCT 계수 행렬이 요구된다. 여기에서, 각 블록마다 요구된 DCT 계수 행렬에서 제1행 제1렬의 행렬 요소가 상기 블록 내 화상의 DC 성분이다. 특징 기술자 생성부(104)는 도 9(a)에 도시한 바와 같이, 이 각 블록마다 얻어진 DCT 계수 행렬 중에서 DC 성분을 추출하여, 이들의 각 DC 성분을 모아 DC 화상을 구성한다.
다음에 특징 기술자 생성부(104)는, 이 DC 화상중에 존재하는 에지를 검출한다. 구체적으로는, DC 화상을 가로 방향 2개, 세로 방향 2개의 DC 성분의 블록으로 분할하여, 각 블록마다 각각을 구성하는 4개의 DC 성분(pk(k=0∼3))에 대해(도 9(b) 참조), 에지 검출용의 필터 계수(ftk(k=0∼3))를 곱셈하여, 각 곱셈 결과를 가산하여 평가값(stgt)을 구한다. 그리고, 이 평가값(stgt)이 소정의 임계값을 초과하는 경우에 그 블록에는 에지가 존재한다고 판단한다. 여기에서, 필터 계수(ftk(k=0∼3))는 예컨대 수평 방향 에지, 수직 방향 에지, 오른쪽 상승 경사 방향 에지, 왼쪽 상승 경사 방향 에지라는 식으로, 검출해야 할 에지의 방향에 따른 것을 다수 쌍 준비할 수 있다. 이들 각종의 필터 계수(ftk(k=0∼3))의 쌍마다에 평가값(stgt)을 구함으로써, 각 블록에 각종 에지가 존재하는지 여부를 판단할 수 있다.
특징 기술자 생성부(104)는, 이와 같은 연산 및 판단을 DC 화상의 전 블록에 대해 행하여, 어떤 에지가 어디에 있는지 알 수 있는 에지 맵을 작성한다. 그리고, 특징 기술자 생성부(104)는 이 에지 맵 중에서 초기 물체 영역의 내측에 있고, 또 초기 물체 영역의 경계에 가장 가까운 에지를 모두 선택하여, 이들의 에지를 물체의 윤곽선으로 결정하는 것이다.
다음에 특징 기술자 생성부(104)는, 물체 구성 색 영역 생성 처리를 실행한다(단계 S107). 여기에서, 도 10(a)를 참조하여, 이 물체 구성 색 영역 생성 처리에 대해서 설명한다. 도 10(a)는 촬상부(101)에 의해 촬영된 영상의 예를 도시하고 있다.이 영상 중의 꽃이 검색 대상물이다. BB는 유저에 의해 검색 대상물인 꽃을 둘러싸도록 지정된 초기 물체 영역이다. 물체 구성 색 영역 생성 처리에서, 특징 기술자 생성부(104)는 초기 물체 영역(BB)내에 속하는 각 MB에 대해 각각의 DC 성분을 따른 클러스터링(clustering)을 행하여, 검색 대상물의 화상을 각각 동일 색만으로 이루어진 물체 구성 영역으로 나눈다. 도 10(a)에 도시한 예에서는, 황색으로 이루어진 물체 구성 영역(R1)과, 백색으로 이루어진 물체 구성 영역(R2)으로 클러스터링된다.
다음에 특징 기술자 생성부(104)는, 이 클러스터링의 결과에 따라, 다음과 같은 내용의 대표색 기술자를 작성한다(단계 S108).
대표색 기술자 : 검색 대상인 물체는, 물체 구성 영역(R1) 및 (R2)를 가지고 있고, 물체 구성 영역(R1)의 대표색은 황색이고, 물체 구성 영역(R2)의 대표색은 백색이다.
다음에 특징 기술자 생성부(104)는, 구성색 공간 배치 기술자의 생성 처리를 행한다(단계 S109). 이 처리에서는 물체 구성 색 영역 생성 처리에서 구해진 각 물체 구성 영역의 공간적인 배치 관계를 도시한 정보를 생성한다. 예컨대 도 10(a)에 도시한 바와 같은 케이스의 경우, 이 단계 S109에서는 물체 구성 영역(R1)은 도 10(b)에 그 이미지를 도시한 바와 같이, 그 주기 8방향에서 물체 구성 영역(R2)과 서로 마주보고 있다는 의미의 구성 색 공간 배치 기술자를 물체 구성 영역(R1)에 대해 생성하는 것이다.
다음에 특징 기술자 생성부(104)는, 텍스쳐 기술자의 생성 처리를 실행한다(단계 S110). 이 처리에서는 단계 S106에서 구한 에지의 맵을 이용하여 텍스쳐 기술자를 생성한다. 즉, 이 처리에서는 초기 물체 영역의 수직 방향의 각 위치에서, 수평 방향으로 어떤 방향의 에지가 몇 개인지를 집계하여 히스토그램을 작성한다. 또, 초기 물체 영역의 수평 방향의 각 위치에서, 수직 방향으로 어떤 방향의 에지가 몇 개인지를 집계하여 히스토그램을 작성한다. 그리고, 이들의 히스토그램을 텍스쳐 기술자로 하는 것이다.
다음에, 특징 기술자의 생성 처리를 종료하는 조건이 만족되는지 여부가 판단되어, 이 판단 결과가 「아니오」인 경우에는 다시 단계 S101에서 처리가 실행된다.
이상이 검색 동작 모드 지시 발생 후의 최초의 프레임에 대응한 처리의 상세이다.
다음에, 두 번째 이후의 프레임에 대응한 처리에 대해서 설명한다.
두 번째 이후의 프레임의 화상 데이터가 촬상부(101)로부터 출력되었을 때, 화상 부호화부(102)는 이 화상 데이터의 프레임간 예측 부호화를 행한다(단계 S121). 특징 기술자 생성부(104)는, 이 프레임간 예측 부호화 과정에서 얻어진 DCT 계수 중 DC 성분에 대응한 것과, 움직임 예측부(412)에서 얻어진 각 MB에 대응한 움직임 벡터 및 부호화 모드 정보를 화상 부호화부(102)로부터 저장한다. 그리고, 이미 얻어진 검색 대상물의 물체 영역(초기 상태에서는 초기물체 영역)과, 각 MB에 대응한 움직임 벡터에 따라 현재에서 검색 대상물이 차지하는 물체 영역을 추정하는 물체 추적을 행한다(단계 S122).
다음에, 이와 같은 방법으로 구한 물체 영역 내의 각 MB의 DC 성분을 복원한다(단계 S123). 여기에서 프레임 내 부호화 과정에서는 각 MB의 DC 성분을 화상 부호화부(102)로부터 취득할 수 있는데, 프레임간 예측 부호화 과정에서 화상 부호화부(102)로부터 취득되는 것은 각 MB의 DC 성분이 아니라, 각 MB와 각각에 대응한 참조 화상과의 차분의 DC 성분이다. 따라서, 이 단계 S123에서는 화상 부호화부(102)의 가산기(409)로부터 생성된 복호 화상의 화상 데이터나 자신의 차분 화상에 대응하는 DC 성분 등으로부터 물체 영역 내의 각 MB의 DC 성분을 추정한다.
이 단계 S123가 종료하면, 이후는 이미 설명한 단계 S107∼S111를 실행하여, 두 번째의 프레임에 대응한 대표색 기술자, 구성 공간 배치 기술자 및 텍스쳐 기술자를 작성한다.
이후, 단계 S111에서 종료 조건이 만족되었다는 취지의 판단이 이루어질 때까지, 후속하는 각 프레임에 대해 대표색 기술자 등의 각 특징 기술자의 생성이 반복된다.
동기 검색시에는, 이와 같은 방법으로 하여 각 프레임에 대응한 특징 기술자가 얻어질 때마다, 특징 기술자가 검색 제어 데이터 및 검색 요구 데이터로 다중화되어, 검색 서버(200)로 보내어진다. 그리고, 검색 서버(200)에서는 각 프레임에 대응한 특징 기술자 등이 수신될 때마다, 특징 기술자에 합치하는 레코드의 검색이 행해져, 검색 결과 데이터로서 이동 단말(100)에 송신된다.
유저는 이와 같은 방법으로 순차적으로 보내어져 온 검색 결과 데이터를 확인하면서, 검색 카테고리의 변경 등을 행함으로써, 검색 범위의 압축을 행하여, 원하는 검색 결과 데이터를 얻을 수 있다.
또, 비동기 검색시에는, 미리 기술 시간으로서 설정된 프레임수만큼 각 프레임에 대응한 특징 기술자가 생성되어, 이들의 다수 프레임분의 특징 기술자군이 검색 서버(200)에 보내어진다. 그리고, 검색 서버(200)에서는 이들의 특징 기술자군에 합치하는 레코드의 검색이 행해져, 검색 결과 데이터가 이동 단말(100)에 송신된다.
이 비동기 검색에 의하면, 예컨대 검색 대상물을 다방면에서 촬영하여, 다수의 다른 관점에서 본 검색 대상물의 다면적인 특징을 나타내는 특징 기술자군을 생성하여, 이 특징 기술자군에 합치하는 레코드의 검색을 행할 수 있다.
<예 2>
다음에 도 6에 도시한 처리예에 대해서 설명한다. 또, 도 6에서 상술한 도 5의 각 단계와 공통하는 것에는 동일한 부호를 붙여, 그 설명을 생략한다.
이 도 6에 도시한 처리예에서는, 단계 S131 및 S132와, 단계 S141∼S143이 추가된다.
도 5에 도시한 처리예에서는, 정보 검색을 위해 생성하는 다수의 특징 기술자(이하, 특징 기술자 세트라고 한다)의 종류가 고정되어 있었다.
이에 대해, 본 도 6에 도시한 처리예는, 특징 기술자 세트의 구성이 두 종류(이하, 제1 특징 기술자 세트 및 제2 특징 기술자 세트라고 한다)가 준비되어 있고, 이들 중 어느 하나를 유저가 선택할 수 있게 되어 있다.
즉, 단계 S131에서는 유저에 대해 제1 및 제2 특징 기술자 세트 중 어느 것을 생성할 지에 대해 질문이 행해지고, 유저에 의해 그 선택이 행해진다. 그리고, 단계 S132에서는 유저에 의해 선택된 특징 기술자 세트가 어느 것인지의 판단이 행해진다.
제1 특징 기술자 세트가 선택되는 경우에는, 단계 S107∼S111이 실행되어, 대표색 기술자, 구성 색 공간 배치 기술자 및 텍스쳐 기술자로 이루어진 제1 특징 기술자 세트가 생성된다.
한편, 제2 특징 기술자 세트가 유저에 의해 선택된 경우, 특징 기술자 생성부(104)는 물체 영역 내의 각 MB의 DC 성분으로 이루어진 DC 화상에 대해 DCT를 행하여(단계 S141), 이 결과에서 얻어진 DCT 계수 중 저주파 성분에 상당하는 것과 제2 특징 기술자 세트로 추출한다(단계 S142). 그리고, 종료 조건을 만족하는 지 여부를 판단하여(단계 S143), 이 종료 조건을 만족하지 않은 경우에는 단계 S103으로 되돌아간다.
이 처리예에 의하면, 유저는 검색 대상물에 맞춘 특징 기술자 세트를 선택하여 정보 검색을 행할 수 있다. 이 특징 기술자 세트의 선택 결과를 나타내는 선택 정보는 검색 제어 데이터로서 특징 기술자 생성부(104)로부터 출력되어, 특징 기술자 세트로 다중화되어 검색 서버(200)에 송신된다(상기 도 4의 단계 S5). 그리고, 이 선택 정보는 검색 제어 데이터로서 검색 서버(200) 내의 매칭 처리부(202)로 보내어지고 매칭 처리부(202)에서는 이 선택 정보에 따라 특징 기술자 세트가 판단되어, 그 특징 기술자 세트를 이용한 매칭 처리가 행해진다.
특징 기술자 세트의 선택은 자동적으로 행할 수도 있다. 예컨대 단계 S106에서 물체 영역 내의 에지 분포를 획득할 수 있는데, 이 에지 분포에서, 물체 영역 내에 가는 에지가 다수 존재하는 경우에는, 제2 특징 기술자 세트를 선택한다. 왜냐하면, 물체 영역 내에 가는 에지가 다수 존재하는 경우에는, 물체를 주로 대표색으로 이루어진 물체 구성 영역의 집합(제1 특징 기술자 세트)으로 포착하기 보다도, 전체적인 모양의 특징을 반영한 제2 특징 기술자 세트를 이용하는 쪽이 물체의 특징을 보다 좋게 기술할 수 있다고 여겨지기 때문이다.
<예 3>
다음에 도 7에 도시한 처리예에 대해서 설명한다. 또, 도 7에서, 상술한 도 5의 각 단계와 공통하는 것에는 동일 부호를 붙여, 그 설명을 생략한다.
이 도 6에 도시한 처리예에서는, 단계 S107이 단계 S106A로 치환되는 동시에, 단계 S111A가 단계 S111의 앞에 추가된다.
여기에서, 단계 S106A에서는 단계 S106 또는 S123에서 얻어진 물체 영역 내의 각 MB의 DC 성분에 따라, 검색 대상물의 형상이 구해지고, 이 형상을 나타내는 물체 형상 기술자가 작성된다.
한편, 단계 S111A에서는 단계 S106A∼S110에서 얻어진 각종의 특징 기술자의 기술 정밀도가 판정되어, 이 기술 정밀도에 따른 우선도가 각 특징 기술자에 대해 할당된다. 이 기술 정밀도는 각 특징 기술자를 생성 과정에서 취득할 수 있다. 예컨대 대표색 기술자를 구하기 위한 클러스터링은 인접하는 MB의 색간 거리가 허용 범위 내이면 양 MB는 같은 물체 구성 영역에 속한다는 판단을 반복함으로써 실행된다. 여기에서, 동일한 물체 구성 영역에 속하는 MB이어도 양자의 색은 반드시 동일하지 않다. 그리고, 동일 물체 구성 영역에 포함되어 있는 각 MB간의 색의 차이가 클수록, 그 물체 구성 영역의 대표색은 부정확한 것이라고 말할 수 있다. 따라서, 대표색 기술자에 관해서는 그 생성 과정에서 동일 물체 구성 영역에 포함되는 각 MB간의 색의 차이를 구하여, 그 결과로부터 기술 정밀도를 얻을 수 있다.
이상은 대표색 기술자에 대한 기술 정밀도의 평가의 방법이지만, 마찬가지로, 다른 종류의 특징 기술자에 대해서도 적당한 평가 방법에 따라 각각의 기술 정밀도를 평가할 수 있다. 단계 S111A에서는, 이와 같은 방법으로 하여 각 특징 기술자의 기술 정밀도를 구하여, 기술 정밀도에 따른 우선도를 각 특징 기술자에 할당하는 것이다.
여기에서, 유저에 의해 주관 유의 특징 지정이 이루어진 경우에는, 기술 정밀도에 따른 우선도를 매긴 후, 또 유저가 주관적으로 특징이라고 지정하는 특징기술자의 우선도를 높이는 보정을 더해도 좋다.
이 각 특징 기술자의 우선도는 검색 제어 데이터로서 검색 서버(200)로 보내어진다. 검색 서버(200)의 매칭 처리부(202)는, 각 특징 기술자에 대해 각각의 우선도에 따른 웨이팅을 행하여, 정보 검색을 행한다. 또, 정보 검색의 양태에 대해서는 후술하기로 한다.
<예 4>
다음에 도 8에 도시한 처리예에 대해서 설명한다. 또, 도 8에서, 상술한 도 5의 각 단계와 공통하는 것에는 동일한 부호를 붙여, 그 설명을 생략한다.
상술한 도 5의 처리예에서는, 물체 윤곽의 결정(단계 S106)을 하고 나서 물체 구성색 영역의 생성(단계 107)을 행했다.
이에 대해, 도 8에 도시한 처리예에서는 DC 성분 추출 후, 먼저 제1 물체 구성 색 영역의 생성을 행한다(단계 S107B). 이에 따라, 어느 정도의 색 베이스의 영역 분할이 얻어진다. 이 경우에서, 두 가지 이상의 다른 대표색이 인접하는 부분이 있는 경우, 상기 부분이 물체 경계일 가능성이 높다. 다음에, 도 8에 도시한 처리예에서는 물체 영역인 구형상 영역 내의 에지의 분포를 추출하여, 상기 제1 물체 구성 영역의 생성 처리에 의해 얻어진 구성색 베이스의 영역 분할 결과와 조합하여, 물체 경계라고 여겨지는 MB를 결정한다(단계 S106B). 예컨대, 매우 확실한 에지가 인식되고, 또 두 가지 이상 다른 대표색이 존재하고, 또 물체 영역인 구형상의 단부 에지에 가까운 위치의 MB를 물체 경계로 한다.
물체 경계가 결정된 후, 물체 영역 내에 존재하는 MB만을 대상으로 하여,제2 물체 구성 색 영역의 생성을 행한다. 이것은 제1 물체 구성 색 영역의 생성 처리를 보다 확실한 것으로 하기 위한 리파인 처리로, 이 결과로부터 대표색 기술자를 생성한다. 이후의 처리는 상기 도 5와 같다.
③매칭 처리의 예
도 11 및 도 12는 각각 검색 서버(200)의 매칭 처리부(202)가 행하는 매칭 처리의 예를 도시한 플로우 챠트이다. 이하, 이들의 매칭 처리예에 대해서 설명한다.
<예 1>
도 11에 도시한 처리예에서, 매칭 처리부(202)는 먼저 검색 처리 초기 설정을 행한다(단계 S201). 이 검색 처리 초기 설정은, 상기한 도 4의 전체 플로우에서의 시스템 셋업(단계 S3)에 대응하고 있다. 이 검색 처리 초기 설정에서, 매칭 처리부(202)는 이동 단말(100)에서 수신된 검색 제어 데이터에 따라 검색 키로 사용하는 특징 기술자 세트의 선택, 검색 대상인 콘텐츠 서버의 선택, 이동 단말(100)에 의해 지정된 응답 시간에 따른 검색 단계수의 설정, 검색 카테고리의 지정에 따른 검색 범위의 설정 등을 행한다.
다음에, 매칭 처리부(202)는 검색 키로서 사용하는 특징 기술자를 이동 단말(100)로부터 수신하여 축적한다(단계 S202).
다음에, 매칭 처리부(202)는 특징 기술자 매칭 처리를 행한다(단계 S203). 즉, 매칭 처리부(202)는 데이터 베이스에서의 검색 범위 내의 레코드 하나를 선택하여, 그 레코드가 선택되기 위한 조건으로서 정해진 특징 기술자와, 이동단말(100)에서 보내어져 온 특징 기술자를 소정의 평가 함수에 대입하여 양 특징 기술자의 일치도를 평가하여, 평가값을 구한다. 여기에서 특징 기술자가 다수 종류 있어, 이동 단말(100)로부터 각각의 우선도를 지정하는 정보가 수신되는 경우에는, 우선도가 낮은 특징 기술자가 일치하는 경우보다도 우선도가 높은 특징 기술자가 일치하는 경우가 보다 높은 평가값이 얻어지도록 평가 함수의 수정이 행해지고, 이 수정된 평가 함수를 이용하여 일치도의 평가가 행해진다(단계 S203).
다음에, 매칭 처리부(202)는 매칭 결과 갱신 처리를 행한다. 이 매칭 결과 갱신 처리에서, 단계 S202의 특징 기술자 매칭 처리를 거친 레코드의 개수가 검색 결과 데이터수에 이르기까지의 동안은 이들의 레코드가 특징 기술자 매칭에 의해 얻어진 평가값과 함께 검색 결과 버퍼 내에 축적된다. 그리고, 이 검색 결과 버퍼에 축적된 레코드의 개수가 검색 결과 데이터수에 이르면, 그 이후의 매칭 결과 갱신 처리에서는 특징 기술자 매칭 처리에 의해 얻어진 새로운 레코드의 평가값과, 검색 결과 버퍼에 축적되어 있는 각 레코드의 평가값이 비교된다. 그리고, 새로운 레코드의 평가값이 그 시점에서 검색 결과 버퍼에 축적되어 있는 각 레코드의 평가값의 어느 것보다도 낮은 경우에는, 새로운 레코드 및 그 평가값은 무시된다. 한편, 그 시점에서 검색 결과 버퍼에 축적되어 있는 각 레코드의 평가값 중에 새로운 레코드 평가값보다도 낮은 것이 있는 경우에는, 그 레코드 및 평가값이 검색 결과 버퍼로부터 추출되고, 그 대신에 새로운 레코드와 그 평가값이 검색 결과 버퍼에 축적된다.
이 매칭 결과 갱신 처리를 종료하면, 매칭 처리부(202)는 특징 기술자 매칭처리를 행해야 할 다른 프레임의 특징 기술자가 이동 단말(100)로부터 수신되는지 여부를 판단한다(단계 S205).
단계 S205의 판단 결과가 「예」인 경우에는, 그 프레임에 대응한 특징 기술자를 이용하여 단계 S203 및 S204를 실행한다.
한편, 단계 S205의 판단 결과가 「아니오」인 경우에는, 검색 범위 내에 아직 특징 기술자 매칭 처리를 종료하지 않은 레코드가 있는지 여부를 판단한다(단계 S206).
이 판단 결과가 「예」인 경우에는, 그 레코드를 데이터 베이스로부터 독출하여(단계 S207), 단계 S203∼단계 S205를 실행한다.
한편, 단계 S206의 판단 결과가 「아니오」인 경우에는, 그 외에 검색을 해야 할 데이터 베이스가 있는지 여부를 판단한다(단계 S208).
그리고, 이와 같은 데이터 베이스가 있는 경우에는 그 데이터 베이스를 대상으로 하여 단계 S203∼단계 S207을 실행한다.
한편, 단계 S208의 판단 결과가 「아니오」인 경우에는, 검색 결과 버퍼 내에 축적된 검색 결과 데이터수 상당의 개수의 레코드를 검색 결과 송신부(203)로부터 이동 단말(100)에 송신한다(단계 S209).
이상이 매칭 처리예의 상세이다.
<예 2>
도 12에 도시한 매칭 처리예는, 이동 단말(11)측에서 제1 특징 기술자 세트 또는 제2 특징 기술자 세트 중 어느 하나를 선택할 수 있는 경우에 대응한 처리예이다.
이 처리예에서, 단계 S203A∼S209A는 제1 특징 기술자 세트를 이용한 매칭 처리, 단계 S203B∼S209B는 제2 특징 기술자 세트를 이용한 매칭 처리이고, 모두 그 처리 내용은 도 11에서의 단계 S203∼S209와 같다.
그리고, 본 처리예에서는 단계 S201 및 S202의 후에 추가된 단계 S210에서, 이동 단말(100)로부터 수신된 검색 제어 데이터를 따라, 이동 단말(100)측에서 제1 또는 제2 특징 기술자 세트 중 어느 하나가 선택되었는지가 판단되어, 제1 특징 기술자 세트가 선택되는 경우에는 단계 S203A∼S209A가, 제2 특징 기술자 세트가 선택되는 경우에는 단계 S203B∼S209B가 실행된다.
이상, 본 발명의 제1 실시형태에 대해서 설명했지만, 당업자는 여기에 다양한 변형을 가해 실시할 수도 있다. 예컨대, 다음과 같은 변형예를 고려할 수 있다. 즉, 상기 실시 형태에서 이동 단말(100)에서는 최초의 프레임만 프레임 내 부호화를 행했지만, 검색 동작 모드 지시가 발생하는 기간 중, 항상 프레임 내 부호화를 행하도록 해도 좋다. 구체적으로는, 도 5에 도시한 이동 단말(100)의 동작 플로우에서, 단계 S103 및 S121∼S123을 삭제한 동작 플로우로 한다. 이 경우, 물체 추적을 하지 않으므로, 유저는 항상 물체 영역 내에 검색 대상물을 두도록 카메라의 줌 조정 등을 행할 필요가 있는데, DC 성분의 추출 정밀도를 높일 수 있으므로, 특징 기술자의 기술 정밀도를 높여, 정밀도가 높은 정보 검색을 행할 수 있게 된다.
B. 제2 실시형태
도 13은 본 발명의 제2 실시 형태인 정보 검색 시스템의 구성을 도시한 블록도이다. 본 정보 검색 시스템에서는, 외부로부터 화상의 부호화 데이터를 수신하여 복조하는 수신부(110)가 이동 단말(100)에 설치되어 있다. 도 14는 이 수신부(110)에서의 복호기의 구성을 도시한 블록도이다. 이 복호기는, 가변 길이 복호기(501)와, 역양자화기(502)와, 역 DCT부(503)와, 가산기(504)와, 스위치(505)와, 움직임 보상부(506)와, 프레임 메모리(507)를 가지고 있다.
네트워크를 통해 수신된 프레임 내 부호화 데이터 또는 프레임간 예측 부호화 데이터는 가변 길이 복호기(501)에서 다중화가 해제되는 동시에 가변 길이 부호화 전의 부호화 데이터로 되돌아간다.
먼저, 프레임 내 부호화 데이터가 수신되어, 가변 길이 복호기(501)에 부여된다고 한다. 이 때, 가변 길이 복호기(501)로부터 출력되는 프레임 내 부호화 데이터는, 프레임을 구성하는 각 블록의 DCT 계수의 양자화 데이터와, 양자화 단계(Qp)와, 프레임 내 부호화 모드를 지정하는 부호화 모드 정보가 가변 길이 복호부(501)를 포함하고 있다. 이들 중 DCT 계수의 양자화 데이터는, 역양자화기(502)에 의해 역양자화된다. 그리고, 역 DCT부(503)에 의해 각 블록의 DCT 계수에 대해 역 DCT가 행해져, 각 블록의 화상 데이터가 복원된다. 이 때 스위치(505)는 프레임 내 부호화 모드에 대응한 부호화 모드 정보를 따라, 고정값「0」을 선택하여 가산기(504)에 공급한다. 따라서, 역 DCT부(503)로부터 출력되는 화상 데이터는 그대로 가산기(504)를 통해 모니터 신호로서 디스플레이에 보내진다. 또, 이 복호 화상의 화상 데이터는 프레임 메모리(507)에 격납된다.
다음에, 프레임간 예측 부호화 데이터가 수신되어, 가변 길이 복호기(501)에부여된다고 한다. 이 때 가변 길이 복호기(501)로부터 출력되는 프레임간 예측 부호화 데이터는, 프레임을 구성하는 각 블록의 화상과 참조 화상간의 차분으로부터 얻어진 DCT 계수의 양자화 데이터와, 양자화 단계(Qp)와, 프레임간 예측 부호화 모드를 지정하는 부호화 모드 정보와, 각 매크로 블록에 대응한 움직임 벡터를 포함하고 있다. 이들 중 DCT 계수의 양자화 데이터는 역양자화기(502)에 의해 역양자화된다. 그리고, 역 DCT부(503)에 의해 각 블록의 DCT 계수에 대해 역 DCT가 행해져, 각 블록의 화상과 참조 화상과의 차분이 복원된다.
한편, 각 매크로 블록에 대응한 움직임 벡터는 움직임 보상부(506)에 공급된다. 움직임 보상부(506)는 각 매크로 블록을 구성하는 각 블록에 대응한 차분 정보가 역 DCT부(503)로부터 가산기(504)로 공급될 때, 상기 매크로 블록에 대응한 움직임 벡터를 참조하여 상기 매크로 블록에 대응한 참조 화상의 위치를 구하고, 이 참조 화상의 화상 데이터를 프레임 메모리(507)로부터 독출하여 스위치(505)에 보낸다.
이 때 스위치(505)는, 프레임간 예측 부호화 모드에 대응한 부호화 모드 정보에 따라 이 참조 화상의 화상 데이터를 선택하여 가산기(504)에 공급한다. 따라서, 이 참조 화상의 화상 데이터는 가산기(504)에 의해 역 DCT부(503)로부터 출력되는 차분 화상의 화상 데이터로 가산된다. 그 결과, 복호 화상의 화상 데이터가 가산기(504)로부터 출력되어, 모니터 신호로서 디스플레이에 보내어진다. 또, 이 복호 화상의 화상 데이터는 프레임 메모리(507)에 격납된다.
이상이 본 복호기의 동작이다.
본 복호기에서 얻어진 DCT 계수 및 움직임 벡터는, 이상 설명한 복호 처리에 이용되는 것 외에, 특징 기술자 생성부(104)에 공급된다.
유저는, 디스플레이에 표시된 영상 중에 검색 대상물이 포함되어 있는 경우, 그 초기 물체 영역을 초기 물체 영역 지정부(103)에 의해 지정하고, 또 각종 검색 제어 데이터를 지정하여 특징 기술자의 생성을 지시할 수 있다.
특징 기술자 생성부(104)는, 이 유저로부터의 지시에 따라, 수신부(110)의 복호기로부터의 DCT 계수 및 움직임 벡터를 이용하여 특징 기술자를 생성하여, 검색 서버(200)에 대해 정보 검색을 요구한다.
특징 기술자 생성부(104)의 처리 내용 및 검색 서버(200)의 처리 내용은 이미 제1 실시형태에서 설명한 것과 차이가 없으므로 설명을 생략한다.
본 실시 형태에 의하면, 촬상부(101)에 의해 외계로부터 취득한 화상뿐 아니라, 네트워크를 통해 수신한 화상 중에 함유된 검색 대상물에 대해 정보 검색을 행할 수 있다.
C. 제3 실시형태
도 15는 본 발명의 제3 실시 형태인 정보 검색 시스템의 구성을 도시한 블록도이다. 상기 제1 실시 형태와 비교하면, 본 실시 형태에서의 이동 단말(100)은, 특징 기술자 생성부(104) 및 검색 데이터가 다중·송신부(106)를 가지지 않고, 이들 대신 스위치(130) 및 다중 송신부(140)를 가지고 있다. 또, 본 실시형태에서의 검색 서버(200)는 검색 데이터 수신·분리부(201) 대신에, 수신·분리부(220)를 가지고 있고, 또 특징 기술자 생성부(210)를 가지고 있다.
도 16은 본 실시 형태의 동작을 도시한 플로우 챠트이다. 또, 이 플로우 챠트에서, 단계 S101, S102, S104A 및 S111은 이동 단말(100)측에서 행해지는 처리이고, 단계 S105∼S110 및 S150은 검색 서버(200)측에서 행해지는 처리이다.
먼저, 이동 단말(100)에서는 도 4의 단계 S4 등에서 입력된 검색 조건이 화상 부호화부(102)에 부여된다(단계 S101). 이 검색 조건에는, 예컨대 특징 기술자의 추출을 몇 프레임분만큼 행하는지 종료 조건에 관한 정보가 포함되어 있다.
다음에 유저는 카메라의 화면 틀 가득히 검색 대상물의 화상을 모아, 초기 물체 영역 지정부(103)에 의해 초기 물체 영역을 지정한다. 이 초기 물체 영역을 나타내는 정보는 스위치(130)를 통해 다중·송신부(140)에 공급된다(단계 S102).
그 후, 동작 모드 지시가 발생되면, 이 동작 모드 지시가 발생되는 동안 화상 부호화부(102)는 양자화 단계(Qp)=「1」의 조건에서, 촬상부(101)로부터 출력되는 화상 데이터의 프레임 내 부호화를 반복한다. 이 프레임 내 부호화에 의해 얻어진 부호화 데이터는, 초기 물체 위치를 나타내는 정보로 다중화되어, 네트워크(300)의 전송 가능 속도 내의 전송 속도로 검색 서버(200)에 송신된다. 또, 유저는 검색 카테고리의 지정 등을 포함하는 검색 요구 데이터를 이동 단말(100)로 수시 입력할 수 있고, 이와 같은 경우에는 이 검색 요구 데이터도 부호화 데이터로 다중화되어 검색 서버(200)에 송신된다.
검색 서버(200)에서는, 이와 같은 방법으로 하여 이동 단말(100)측으로부터 보내어져 오는 데이터의 수신 및 분리가 수신·분리부(220)에 의해 행해져, 부호화 데이터나 초기 물체 위치의 정보는 특징 기술자 생성부(210)로 보내어지고, 검색요구 데이터는 매칭 처리부(220)에 보내어진다.
그리고, 특징 기술자 생성부(210)에서는 부호화 데이터와 초기 물체 위치의 정보를 이용하여, 단계 S105∼S110가 실행되고, 정보 검색에 필요한 특징 기술자가 생성된다. 또, 이 때에 각 특징 기술자의 우선도를 부여하는 정보 등을 포함하는 검색 제어 정보가 생성된다. 또, 이들의 처리는 상기 실시형태에서 이동 단말(100) 내의 특징 기술자 생성부에 의해 행해진 것과 같기 때문에, 그 설명을 생략한다.
특징 기술자 생성부(210)에 의해 생성된 특징 기술자 및 검색 제어 정보는, 매칭 처리부(202)로 보내어진다. 그리고, 매칭 처리부(202)에서는 매칭 처리가 행해진다(단계 S150). 이 매칭 처리도 이미 제1 실시 형태에서 상세하게 설명한 바와 같다. 그리고, 이 매칭 처리의 결과는, 검색 결과 송신부(203)에 의해 이동 단말(100)로 송신되어, 동 단말의 디스플레이에 표시된다.
이동 단말(100)에서는, 종료 조건이 만족되는지의 여부가 판단되어(단계 S111), 이 판단 결과가 「예」가 될 때까지 이상 설명한 처리가 반복된다.
본 실시 형태에서는, 프레임 내 부호화에 의해 얻어진 부호화 데이터가 이동 단말(100)로부터 검색 서버(200)에 송신되므로, 검색 서버(200)측에서는 움직임 벡터를 이용한 물체 추적을 행할 수 없다. 이 때문에, 유저는 항상 화면 틀 가득히(또는 초기 물체 영역으로서 지정한 틀 내) 검색 대상물을 포착하여 촬영을 행해야만 한다.
그러나, 본 실시형태에 의하면, 이동 단말(100)측에 특징 기술자 생성부나 특징 기술자를 송신하기 위한 인터페이스를 설치할 필요가 없다. 따라서, 기존의이동 단말에 대해 검색 정보 입력 장치로서의 기본적인 메뉴 처리와 화상 부호화부에 대한 동작 모드 지시를 발생하는 처리를 소프트웨어로서 추가하기만 해도 좋고, 본 실시형태에 관한 이동 단말(100)을 구성할 수 있다.
또, 본 실시 형태에서는 검색 서버(200)에 대해 정보 검색을 요구할 때에, 프레임 내 부호화 데이터를 이동 단말(100)로부터 송신해야만 하는데, 이 프레임 내 부호화 데이터는 화상의 표시에 이용되는 것이 아니므로, 네트워크의 전송 가능 속도 내의 속도에서 전송하면 된다. 따라서, 본 실시 형태는 네트워크의 전송 용량을 증가시키지 않고 실시할 수 있다.
또, 이 때에 양자화 단계(Qp)를 「1」로 하여, 정밀도가 높은 프레임 내 부호화를 행하면, 검색 서버(200)측에서 화상의 DC 성분을 추정할 때의 정밀도를 높일 수 있어, 특징 기술자의 기술 정밀도를 높일 수 있다.
또, 본 실시 형태에는 다음과 같은 변형예를 고려할 수 있다. 즉, 이동 단말(100)측에서는 검색 요구시의 최초 프레임만 프레임 내 부호화를 행하고, 후속의 프레임은 필요에 따라 프레임간 예측 부호화를 행한다. 이 경우, 검색 서버(200)측에서는 프레임간 예측 부호화 데이터에 포함되는 움직임 벡터를 이용하여, 물체 영역을 추적하는 처리를 추가할 필요가 있다. 그러나, 이동 단말(100)측에서는 물체 영역을 계속 지정해야할 필요가 없으므로, 유저의 부담을 경감할 수 있다.
D. 제4 실시형태
도 17은 본 발명의 제4 실시형태인 정보 검색 시스템의 구성을 도시한 블록도이다. 본 정보 검색 시스템은, 상기 제2 실시형태에 개량을 가한 것으로, 이동 단말(100)에는 센서부(120)가 추가되어 있다. 본 실시형태에서는, 이 센서부(120)에 의해 얻어진 센싱 데이터가 특징 기술자와 함께 검색 서버(200)로 보내어지고, 검색 서버(200)에서는 센싱 데이터와 특징 기술자의 양쪽을 검색 키로 한 정보 검색이 행해진다.
센서부(120)는, 예컨대 GPS(Global Positioning System) 등의 위치 센서이다. 물론, 다른 정보를 센싱할 센서를 채용해도 좋다.
센서부(120)로서 위치 센서를 채용한 경우에는, 유저의 소재지도 검색 키에 포함한 정보 검색이 가능해진다.
E. 기타 실시 형태
(1) 시스템 구성에 대해서
검색 서버를 이용하여 정보 검색을 행하는 단말은 이동 단말이 아닌 고정 단말이어도 좋다. 또, 이상 설명한 각 실시 형태에서는, 단말과 검색 서버로 이루어진 정보 검색 시스템을 예로 들었지만, 예컨대 퍼스널 컴퓨터에 대해 촬상부, 화상 부호화부, 특징 기술자 생성부 및 매칭 처리부를 가지게 하여, 독립(standalone)형의 정보 검색 시스템을 구성해도 좋다.
(2) 검색 제어에 대해서
상기 각 실시형태에서는, 검색을 효율적으로 진행하기 위한 검색 제어 데이터를 특징 기술자 생성부가 생성하여, 매칭 처리부가 이 검색 제어 데이터에 따라 매칭 처리를 행했지만, 이것과는 역방향의 정보의 흐름에 따라 검색을 효율적으로진행하기 위한 처리를 행해도 좋다. 예컨대, 검색 대상의 카테고리가 판명된 시점에서, 그 카테고리에서의 정보 검색에 적합한 특징 기술자 또는 특징 기술자 세트를 매칭 처리부로부터 특징 기술자 생성부에 통지하여, 특징 기술자 생성부가 그 특징 기술자 또는 특징 기술자 세트를 생성하여 매칭 처리부로 보내는 처리의 흐름을 고려할 수 있다.
(3) 본 발명은, 이상 설명한 이동 단말이나 검색 서버를 생산하여 사용하는 양태로 실시되는 것 외에, 이동 단말이나 검색 서버를 상기 실시 형태와 같이 동작시키기 위한 제어 프로그램을 전기 통신 회로선을 통해 유저에 배포하거나, 또는 이와 같은 제어 프로그램을 기록한 기록 매체를 유저에 배포하는 양태로도 실시될 수 있다.
이 정보 검색 시스템에 의하면, 취득된 화상으로부터 검색 대상물의 특징 기술자가 생성되어, 이 특징 기술자를 검색 키로 하여 정보 검색이 행해진다. 따라서, 유저는 검색 대상물의 이름 등을 몰라도 그 검색 대상물에 관한 정보를 취득할 수 있다.

Claims (24)

  1. 각종 검색 대상물에 관한 레코드와 각각이 선택되기 위한 조건인 특징 기술자를 대응시켜 기억한 데이터 베이스와,
    검색 대상물을 포함하는 화상을 취득하는 화상취득수단과,
    상기 화상 취득 수단에 의해 취득된 화상에 포함되는 검색 대상물의 화상으로부터 특징 기술자를 생성하는 특징 기술자 생성부와,
    상기 특징 기술자 생성부에 의해 생성되는 특징 기술자에 합치하는 검색 대상물에 관한 레코드를 상기 데이터 베이스로부터 검색하는 매칭 처리부를 구비하는 것을 특징으로 하는 정보 검색 시스템.
  2. 제1항에 있어서,
    상기 화상 취득 수단과 상기 특징 기술자 생성부를 가지고, 상기 특징 기술자 생성부에 의해 생성된 특징 기술자를 네트워크를 통해 송신하는 단말과,
    상기 매칭 처리부를 구비하여, 상기 네트워크를 통해 상기 단말로부터 상기 특징 기술자를 받아들여, 상기 매칭 처리부에 의해 상기 특징 기술자에 합치한 레코드를 상기 데이터 베이스로부터 검색하여, 상기 단말로 송신하는 검색 서버를 구비하는 것을 특징으로 하는 정보 검색 시스템.
  3. 제1항에 있어서,
    상기 화상 취득 수단을 가지고, 상기 화상 취득 수단에 의해 취득된 화상을 네트워크를 통해 송신하는 단말과,
    상기 특징 기술자 생성부와 상기 매칭 처리부를 구비하여, 상기 네트워크를통해, 상기 단말로부터 화상을 받아들여, 상기 특징 기술자 생성부에 의해 상기 화상으로부터 특징 기술자를 생성하고, 상기 매칭 처리부에 의해 상기 특징 기술자에 합치한 레코드를 상기 데이터 베이스로부터 검색하여 상기 단말로 송신하는 검색 서버를 구비하는 것을 특징으로 하는 정보 검색 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 화상 취득 수단은 동화(童畵)를 구성하는 다수 프레임의 화상을 취득하고,
    상기 특징 기술자 생성부는 상기 다수 프레임의 화상 각각에 포함되는 상기 검색 대상물의 화상으로부터 특징 기술자를 생성하는 것을 특징으로 하는 정보 검색 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 화상 취득 수단은, 외계의 영상을 촬영하는 촬상부인 것을 특징으로 하는 정보 검색 시스템.
  6. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 화상 취득 수단은 네트워크를 통해 화상을 수신하는 수신 수단인 것을 특징으로 하는 정보 검색 시스템.
  7. 제2항 또는 제3항에 있어서,
    상기 단말은 이동 단말인 것을 특징으로 하는 정보 검색 시스템.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 특징 기술자 생성부는 검색 조건을 지정하는 검색 제어 데이터를 출력하고,
    상기 매칭 처리부는 상기 검색 제어 데이터에 따라 정보 검색을 행하는 것을 특징으로 하는 정보 검색 시스템.
  9. 제2항 또는 제3항에 있어서,
    상기 단말은 동기 검색 또는 비동기 검색을 지정하는 검색 요구 데이터를 송신하는 수단을 구비하고,
    상기 검색 서버는,
    상기 동기 검색을 지정하는 검색 요구 데이터가 수신된 경우에, 각 프레임에 대응한 특징 기술자가 얻어질 때마다, 상기 특징 기술자를 검색 키로서 정보 검색을 행하여 검색 결과 데이터를 상기 단말로 송신하고,
    상기 비동기 검색을 지정하는 검색 요구 데이터가 수신된 경우에, 소정 개수의 프레임에 대응한 특징 기술자가 수신되었을 때에, 상기 특징 기술자를 검색 키로 정보 검색을 행하여 검색 결과 데이터를 상기 단말로 송신하는 것을 특징으로 하는 정보 검색 시스템.
  10. 제2항 또는 제3항에 있어서,
    상기 단말은 검색 범위를 지정하는 검색 요구 데이터를 송신하는 수단을 구비하고,
    상기 검색 서버는 상기 검색 요구 데이터에 의해 지정된 검색 범위 내에서 정보 검색을 행하는 것을 특징으로 하는 정보 검색 시스템.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 특징 기술자 생성부는 다수 종류의 특징 기술자로 이루어진 특징 기술자 세트를 검색 대상물의 화상으로부터 생성하고,
    상기 매칭 처리부는 상기 특징 기술자 세트에 합치하는 검색 대상물에 관한 레코드를 상기 데이터 베이스로부터 검색하는 것을 특징으로 하는 정보 검색 시스템.
  12. 제11항에 있어서,
    상기 특징 기술자 생성부는, 다수 종류의 특징 기술자 세트 중 어느 하나를 선택하여, 이 선택한 특징 기술자 세트를 검색 대상물의 화상으로부터 생성하는 동시에, 선택한 특징 기술자 세트를 나타내는 특징 기술자 세트 선택 정보를 상기 매칭 처리부에 통지하는 것을 특징으로 하는 정보 검색 시스템.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 특징 기술자 생성부는 다수 종류의 특징 기술자를 생성하는 동시에, 각 특징 기술자의 우선도를 결정하고,
    상기 매칭 처리부는 각 특징 기술자를 각각의 우선도에 따라 검색 키로 이용하여, 정보 검색을 행하는 것을 특징으로 하는 정보 검색 시스템.
  14. 제13항에 있어서,
    상기 특징 기술자 생성부는, 각 특징 기술자의 기술 정밀도에 따라 각 특징 기술자의 우선도를 결정하는 것을 특징으로 하는 정보 검색 시스템.
  15. 제13항 또는 제14항에 있어서,
    상기 특징 기술자 생성부는, 유저로부터의 지정에 따라 각 특징 기술자의 우선도를 결정하는 것을 특징으로 하는 정보 검색 시스템.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    센서를 구비하여, 상기 매칭 처리부는 상기 특징 기술자와 함께, 상기 센서로부터 얻어진 센싱 데이터를 검색 키로 정보 검색을 행하는 것을 특징으로 하는정보 검색 시스템.
  17. 제16항에 있어서,
    상기 센서는 소재 위치를 나타내는 센싱 데이터를 출력하는 위치 센서인 것을 특징으로 하는 정보 검색 시스템.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서,
    상기 특징 기술자 생성부는, 상기 매칭 처리부와 교섭을 행함으로써 검색 대상물의 화상으로부터 생성하는 특징 기술자를 결정하는 것을 특징으로 하는 정보 검색 시스템.
  19. 제1항 내지 제18항 중 어느 한 항에 있어서,
    취득한 화상을 부호화하는 화상 부호화부를 구비하고,
    상기 특징 기술자 생성부는, 상기 화상 부호화부에서의 화상의 부호화 과정에서 생성되는 데이터로부터 특징 기술자를 생성하는 것을 특징으로 하는 정보 검색 시스템.
  20. 제1항 내지 제19항 중 어느 한 항에 있어서,
    상기 화상 취득 수단에 의해 취득된 화상 중에서 검색 대상물이 차지하는 물체 영역을 지정하는 수단을 구비하고,
    상기 화상 부호화부는, 특징 기술자의 생성이 행해졌을 때, 최초의 프레임에 대해 프레임 내 부호화를 실행하고, 그 후의 프레임에 대해서는 움직임 보상을 따른 프레임간 예측 부호화부를 반복하고,
    상기 특징 기술자 생성부는 프레임 내 부호화 과정에서 얻어진 데이터로부터 검색 대상물에 대응한 특징 기술자를 생성하여, 프레임간 예측 부호화가 행해진 때에는 프레임간 예측 부호화 과정에서 얻어진 움직임 벡터로부터 검색 대상물의 물체 영역을 추정하여, 특징 기술자의 생성을 행하는 것을 특징으로 하는 정보 검색 시스템.
  21. 제1항 내지 제19항 중 어느 한 항에 있어서,
    상기 화상 취득 수단에 의해 취득된 화상중에서 검색 대상물이 차지하는 물체 영역을 지정하는 수단을 구비하고,
    상기 화상 부호화부는 특징 기술자의 생성이 행해졌을 때, 프레임 내 부호화를 실행하고,
    상기 특징 기술자 생성부는, 프레임 내 부호화 과정에서 얻어진 데이터로부터 검색 대상물에 대응한 특징 기술자를 생성하는 것을 특징으로 하는 정보 검색 시스템.
  22. 네트워크 내의 검색 서버와 통신을 행하기 위한 통신 수단과,
    검색 대상물을 포함하는 화상을 취득하는 화상취득수단과,
    상기 화상취득수단에 의해 취득된 화상에 포함되는 검색 대상물의 화상으로부터 특징 기술자를 생성하여, 상기 통신부에 의해 상기 검색 서버로 송신하는 특징 기술자 생성부와,
    상기 특징 기술자에 합치하는 검색 대상물에 관한 레코드를 상기 통신부에 의해 상기 검색 서버로부터 수신하는 수단을 구비하는 것을 특징으로 하는 단말.
  23. 검색 서버와 통신을 행하기 위한 통신 수단과,
    검색 대상물을 포함하는 화상을 취득하는 화상취득수단과,
    제공가능한 특징 기술자의 종류를 나타내는 성능 교환 정보를 상기 통신 수단에 의해 상기 검색 서버로 송신하여, 상기 제공가능한 특징 기술자를 이용하여 행할 수 있는 정보 검색에 관한 정보를 상기 통신 수단에 의해 상기 검색 서버로부터 수신하여, 이 수신 정보에 따라 정보 검색용 특징 기술자를 결정하고, 상기 화상취득수단에 의해 취득된 화상에 포함되는 검색 대상물의 화상으로부터 상기 정보 검색용 특징 기술자를 생성하여, 상기 통신 수단에 의해 상기 검색 서버로 송신하는 특징 기술자 생성부와,
    상기 통신 수단에 의해 상기 검색 서버로부터 정보 검색 결과를 수신하는 수단을 구비하는 것을 특징으로 하는 단말.
  24. 단말과 통신을 행하기 위한 통신 수단과,
    상기 통신 수단을 통해 상기 단말로부터 제공가능한 특징 기술자의 종류를나타내는 성능 교환 정보를 수신하고, 상기 특징 기술자를 이용하여 행할 수 있는 정보 검색에 관한 정보를 상기 단말에 송신하여, 상기 단말로부터 특징 기술자가 수신되었을 때, 데이터 베이스 중에서 상기 단말로부터 수신된 특징 기술자에 합치하는 검색 대상물에 관한 레코드를 검색하는 매칭 처리부와,
    상기 매칭 처리부에 의해 얻어진 레코드를 상기 통신 수단에 의해 상기 단말로 송신하는 수단을 구비하는 것을 특징으로 하는 검색 서버.
KR1020010035751A 2000-06-23 2001-06-22 정보 검색 시스템 KR20020001567A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000189982A JP2002007432A (ja) 2000-06-23 2000-06-23 情報検索システム
JP2000-189982 2000-06-23

Publications (1)

Publication Number Publication Date
KR20020001567A true KR20020001567A (ko) 2002-01-09

Family

ID=18689533

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010035751A KR20020001567A (ko) 2000-06-23 2001-06-22 정보 검색 시스템

Country Status (5)

Country Link
US (1) US20020019819A1 (ko)
EP (1) EP1168195A2 (ko)
JP (1) JP2002007432A (ko)
KR (1) KR20020001567A (ko)
CN (1) CN1331451A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100970121B1 (ko) * 2009-12-24 2010-07-13 (주)올라웍스 상황에 따라 적응적으로 이미지 매칭을 수행하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체
KR100971778B1 (ko) * 2009-09-16 2010-07-22 (주)올라웍스 그래프 구조를 이용하여 파노라마 이미지에 대한 이미지 매칭을 수행하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR100971777B1 (ko) * 2009-09-16 2010-07-22 (주)올라웍스 파노라마 이미지 사이의 중복을 제거하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR101127770B1 (ko) * 2005-09-02 2012-03-26 에스케이플래닛 주식회사 넌 트래픽 컨텐츠를 이용한 이미지 검색 서비스 제공 방법

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224078B2 (en) * 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US7899243B2 (en) 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
US8218873B2 (en) * 2000-11-06 2012-07-10 Nant Holdings Ip, Llc Object information derived from object images
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US7565008B2 (en) 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
JP3852750B2 (ja) * 2001-06-29 2006-12-06 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報検索システム、情報検索方法、コール・センタ・システムおよびサーバ
JP2003091536A (ja) * 2001-09-19 2003-03-28 Toshiba Corp 位置情報提示装置および位置情報提示方法
US20040006559A1 (en) * 2002-05-29 2004-01-08 Gange David M. System, apparatus, and method for user tunable and selectable searching of a database using a weigthted quantized feature vector
CN100454997C (zh) * 2002-12-06 2009-01-21 日本电气株式会社 图像记述系统及其方法
JP2004310561A (ja) * 2003-04-09 2004-11-04 Hitachi Ltd 情報検索方法、情報検索システム及び検索サーバ
JP2005100062A (ja) * 2003-09-24 2005-04-14 Sanyo Electric Co Ltd 認証装置および認証方法
US20050246324A1 (en) * 2004-04-30 2005-11-03 Nokia Inc. System and associated device, method, and computer program product for performing metadata-based searches
US7840081B2 (en) * 2004-09-23 2010-11-23 Mitsubishi Denki Kabushiki Kaisha Methods of representing and analysing images
JP4213112B2 (ja) * 2004-11-09 2009-01-21 シャープ株式会社 画像検索装置、画像形成装置、画像検索装置の制御方法、画像検索プログラムおよびコンピュータ読取り可能な記録媒体
JP4343120B2 (ja) * 2005-01-21 2009-10-14 ソニー株式会社 画像検索装置及び方法、並びにプログラム及びプログラム記録媒体
US7418113B2 (en) * 2005-04-01 2008-08-26 Porikli Fatih M Tracking objects in low frame rate videos
US7480422B2 (en) * 2005-10-14 2009-01-20 Disney Enterprises, Inc. Systems and methods for information content delivery relating to an object
JPWO2007043679A1 (ja) * 2005-10-14 2009-04-23 シャープ株式会社 情報処理装置およびプログラム
US7801359B2 (en) * 2005-10-14 2010-09-21 Disney Enterprise, Inc. Systems and methods for obtaining information associated with an image
US8023746B2 (en) * 2005-10-14 2011-09-20 Disney Enterprises, Inc. Systems and methods for decoding an image to determine a digital identifier
KR101233167B1 (ko) * 2006-04-14 2013-02-15 엘지전자 주식회사 녹화물 표시 장치 및 방법
EP2008450B1 (en) 2006-04-14 2017-02-15 LG Electronics Inc. Apparatus and method for displaying recordings
US8898264B1 (en) * 2006-06-22 2014-11-25 Emc Corporation Linking business objects and documents
US8909748B1 (en) 2006-06-22 2014-12-09 Emc Corporation Configurable views of context-relevant content
US20090138356A1 (en) * 2006-08-24 2009-05-28 Skygrid, Inc. Systems and methods for content delivery
US8171237B2 (en) 2006-10-31 2012-05-01 Yahoo! Inc. Automatic association of reference data with primary process data based on time and shared identifier
US8532438B2 (en) * 2008-05-09 2013-09-10 Empire Technology Development Llc Matching images with shape descriptors
US8406531B2 (en) * 2008-05-15 2013-03-26 Yahoo! Inc. Data access based on content of image recorded by a mobile device
US9753948B2 (en) 2008-05-27 2017-09-05 Match.Com, L.L.C. Face search in personals
US8098894B2 (en) * 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8805110B2 (en) * 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
WO2010064263A1 (en) * 2008-12-02 2010-06-10 Haskolinn I Reykjavik Multimedia identifier
US8195704B2 (en) * 2009-01-06 2012-06-05 International Business Machines Corporation Validation and correction in a distributed namespace
US20120189204A1 (en) * 2009-09-29 2012-07-26 Johnson Brian D Linking Disparate Content Sources
CN102054112B (zh) * 2009-10-29 2014-03-19 腾讯科技（深圳）有限公司 推荐游戏的系统、方法及目录服务器
JP5437928B2 (ja) * 2010-06-23 2014-03-12 日本電信電話株式会社 メタデータ付与装置、映像検索装置、方法およびプログラム
US20120109993A1 (en) * 2010-10-28 2012-05-03 Qualcomm Incorporated Performing Visual Search in a Network
KR101675785B1 (ko) * 2010-11-15 2016-11-14 삼성전자주식회사 특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치
GB2485573A (en) * 2010-11-19 2012-05-23 Alan Geoffrey Rainer Identifying a Selected Region of Interest in Video Images, and providing Additional Information Relating to the Region of Interest
US9036925B2 (en) 2011-04-14 2015-05-19 Qualcomm Incorporated Robust feature matching for visual search
US8706711B2 (en) 2011-06-22 2014-04-22 Qualcomm Incorporated Descriptor storage and searches of k-dimensional trees
US9208392B2 (en) 2011-09-20 2015-12-08 Qualcomm Incorporated Methods and apparatus for progressive pattern matching in a mobile environment
CN103416050A (zh) * 2012-03-12 2013-11-27 松下电器产业株式会社 信息提供系统、信息提供装置、拍摄装置以及计算机程序
CN103780930A (zh) * 2012-10-25 2014-05-07 中兴通讯股份有限公司 内容切换方法及装置
CN104956655B (zh) * 2014-01-31 2018-06-22 奥林巴斯株式会社 摄像装置
CN106354735A (zh) * 2015-07-22 2017-01-25 杭州海康威视数字技术股份有限公司 一种图像中目标的检索方法和装置
US10872113B2 (en) 2016-07-19 2020-12-22 Hewlett-Packard Development Company, L.P. Image recognition and retrieval
US10930219B2 (en) 2016-08-15 2021-02-23 Apple Inc. Foveated display
US10690991B1 (en) 2016-09-02 2020-06-23 Apple Inc. Adjustable lens systems
KR102454725B1 (ko) 2016-09-09 2022-10-13 엘에스일렉트릭(주) 그래픽 객체 편집 장치
JP6894534B2 (ja) * 2017-10-31 2021-06-30 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 情報処理方法及び端末、コンピュータ記憶媒体
US20190205962A1 (en) 2017-12-29 2019-07-04 Ebay Inc. Computer Vision and Image Characteristic Search

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404920B1 (en) * 1996-09-09 2002-06-11 Hsu Shin-Yi System for generalizing objects and features in an image
US6445834B1 (en) * 1998-10-19 2002-09-03 Sony Corporation Modular image query system
US6373979B1 (en) * 1999-01-29 2002-04-16 Lg Electronics, Inc. System and method for determining a level of similarity among more than one image and a segmented data structure for enabling such determination

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101127770B1 (ko) * 2005-09-02 2012-03-26 에스케이플래닛 주식회사 넌 트래픽 컨텐츠를 이용한 이미지 검색 서비스 제공 방법
KR100971778B1 (ko) * 2009-09-16 2010-07-22 (주)올라웍스 그래프 구조를 이용하여 파노라마 이미지에 대한 이미지 매칭을 수행하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR100971777B1 (ko) * 2009-09-16 2010-07-22 (주)올라웍스 파노라마 이미지 사이의 중복을 제거하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR100970121B1 (ko) * 2009-12-24 2010-07-13 (주)올라웍스 상황에 따라 적응적으로 이미지 매칭을 수행하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체
WO2011078596A3 (ko) * 2009-12-24 2011-11-17 (주)올라웍스 상황에 따라 적응적으로 이미지 매칭을 수행하기 위한 방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체
AU2010335126B2 (en) * 2009-12-24 2014-01-09 Intel Corporation Method, system, and computer-readable recording medium for adaptively performing image-matching according to conditions

Also Published As

Publication number Publication date
EP1168195A2 (en) 2002-01-02
US20020019819A1 (en) 2002-02-14
CN1331451A (zh) 2002-01-16
JP2002007432A (ja) 2002-01-11

Similar Documents

Publication Publication Date Title
KR20020001567A (ko) 정보 검색 시스템
RU2639665C1 (ru) Устройство декодирования движущегося изображения, способ декодирования движущегося изображения и носитель записи
CA2576690C (en) Method and device for motion estimation and compensation for panorama image
Li et al. Closed-form optimization on saliency-guided image compression for HEVC-MSP
KR100424762B1 (ko) 영상 데이터 제공 시스템 및 방법
KR100492437B1 (ko) 화상 검색 시스템 및 화상 검색 방법
KR100714548B1 (ko) 동영상의 움직임 활동 특징 기술 방법 및 장치
JP4366023B2 (ja) ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法
CA2576707C (en) Method and device for making virtual image region for motion estimation and compensation of panorama image
JP5495625B2 (ja) 監視カメラシステム、監視カメラ及び監視カメラ制御装置
US20140003523A1 (en) Systems and methods for encoding video using higher rate video sequences
CN103957341B (zh) 图片传输的方法及其相关设备
EP1345447A2 (en) Motion image capture system incorporating metadata to facilitate transcoding
JP2003506978A (ja) 運動ベクトルフィールドを圧縮するための装置及び方法
US20140003501A1 (en) Systems and Methods for Compressing Geotagged Video
KR20070085745A (ko) 코딩된 비디오 데이터를 처리하기 위한 방법 및 장치
JP4573366B2 (ja) 動きベクトル符号化方法及び符号化装置
CN114466189B (zh) 码率控制方法、电子设备及存储介质
KR101360279B1 (ko) 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치
JP2006311079A (ja) 画像ビットストリーム変換装置
CN110087071A (zh) 基于感知的图像处理装置及相关方法
Adolph et al. 1.15 Mbit/s coding of video signals including global motion compensation
JP2003061038A (ja) 映像コンテンツ編集支援装置および映像コンテンツ編集支援方法
JP4770875B2 (ja) 画像特徴データ生成装置、画像特徴判定装置および画像検索システム
JP3950211B2 (ja) 動きベクトル符号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application