KR20140114444A - 키워드 검출장치, 그 제어방법 및 제어 프로그램, 및 표시기기 - Google Patents

Abstract

본 발명의 문자열 검지부(113)는, 대상화상으로부터, 검색을 촉구하는 특정 문자열의 특징점을 검출하고, 문자 인식부(116)는, 상기 대상화상에서, 검출된 특징점의 주위에 존재하는 문자열을, 검색용 키워드로서 인식한다.

Description

키워드 검출장치, 그 제어방법 및 제어 프로그램, 및 표시기기{Key Word Detection Device, Control Method and Control Program for Same, and Display Apparatus}

본 발명은 인터넷상의 검색 엔진으로 검색을 하기 위한 검색용 키워드를 대상화상으로부터 검출하는 키워드 검출장치, 그 제어방법 및 제어 프로그램, 및 표시기기에 관한 것이다.

최근, 인터넷상의 검색 엔진으로 검색하기 위한 검색용 키워드를, CM(Commercial Message) 등의 텔레비전(이하, 「TV」라 칭한다) 방송용 화상에 포함하여 방송하는 것이 행해지고 있다. 상기 검색용 키워드를 상기 TV 방송용 화상의 일부로서 TV 수상기에 표시함으로써, 사용자에 대하여 상기 검색 엔진으로 상기 검색용 키워드를 검색하도록 촉구할 수 있다.

그러나, 상기 검색용 키워드의 표시가 단시간인 경우도 많고, 이 때문에, 사용자가 상기 검색용 키워드를 간과할 수 있다. 또, 사용자가 바로 인터넷상에서의 상기 검색을 할 수 있는 환경이 아닌 경우, 상기 검색을 하기 전에 표시된 검색용 키워드를 잊어버릴 수 있다.

이와 같은 문제점을 피하기 위해, 상기 방송용 화상으로부터 검색용 키워드의 문자열을 인식하고, 그 검색용 키워드를 추출하는 것을 생각할 수 있다.

예를 들어, 특허문헌 1에 기재된 인터넷 텔레비전 장치에서는, 텔레비전 방송 영상으로부터 문자 인식에 의해 문자열을 검출하고, 검출한 문자열로부터 단어를 검출하고, 검출한 단어로부터 소정의 조건에 따라, 네트워크상의 정보를 검색하기 위한 키워드를 결정하고 있다.

또, 특허문헌 2에는, TV 방송에서 제시되는 각종 검색 유도화면으로부터 키워드를 검출하고, 그 키워드를 이용한 인터넷 검색을 하는 정보처리장치가 개시되어 있다. 구체적으로는, 최신 입력화상과 소정시간 전의 입력화상 사이의 변화량을 산출하고, 그 변화량이 역치 이하가 되는 영역 내에서 문자인식처리를 실행하고 있다. 문자열을 포함하는 화상은, 그 문자열을 사용자가 인식할 수 있도록, 어느 정도 시간 계속해서 표시할 필요가 있다. 이 때문에, 상기 문자열의 상기 변화량은 극히 작아진다고 생각할 수 있으므로, 상기 문자인식처리에 의해 상기 키워드를 포함하는 문자열을 추출할 수 있다.

특허문헌 1: 일본 공개특허공보 「특개2010-039647호 공보(2010년 2월 18일 공개)」 특허문헌 2: 일본 공개특허공보 「특개2009-188886호 공보(2009년 8월 20일 공개)」 특허문헌 3: 일본 공개특허공보 「특개2009-044658호 공보(2009년 2월 26일 공개)」 특허문헌 4: 일본 공개특허공보 「특개2010-152800호 공보(2010년 7월 8일 공개)」 특허문헌 5: 일본 특허공보 「특허 제4893861호 공보(2012년 3월 7일 발행)」

비특허문헌 1: 「디지털 화상처리」, 제2판, 재단법인 화상정보교육진흥협회, 2009년, p. 311-313

그러나, 특허문헌 1에 기재된 인터넷 텔레비전 장치에서는, 텔레비전 방송의 영상 전체에 대하여 문자인식을 한 후 상기 키워드를 검출하고 있다. 이 경우, 다수의 문자의 각각에 대해서, 그 문자의 특징점과 상기 영상의 특징점과 대조하는 제1 처리와, 상기 대조에 의해 검출된 문자열로부터 상기 키워드의 검색을 하는 제2 처리를 할 필요가 있다. 특히, 일본, 중국과 같은 한자 문화권의 경우, 문자인식의 대상이 되는 문자 수가 3천 이상이 되어, 처리부담이 크고 처리시간이 길어진다.

이에 대해, 특허문헌 2의 정보처리장치에서는, 문자인식의 대상이 되는 화상영역이, 최신 입력화상과 소정시간 전의 입력화상 사이의 변화량이 역치 이하가 되는 영역에 한정되므로, 처리시간을 단축할 수 있다. 그러나, 상기 변화량을 산출하기 위해, 적어도 2매의 프레임 화상을 다룰 필요가 있다. 그 때문에, 메모리 용량을 압박하고, 처리시간이 길어지는 문제가 있다. 또, 동일한 이유에 의해, 상기 정보처리장치는 정지화상에 사용할 수 없다.

그래서, 상기 검색용 키워드를 신속하게 추출하는 기술로서, 상기 검색용 키워드를 입력하기 위한 검색창이, 특징적인 형태로 제공되고 있는 것에 착안한 기술이 있다.

여기에서, 도 9의 (a)∼(e)에, 검색창의 형태예를 나타낸다. 도시한 바와 같이, 검색창은 검색을 촉구하는 「검색」 등의 문자열 좌측에, 사각형의 형태, 또는 사각형과 유사한 형태로 좌우 변을 둥글게 한 형태로 제공되는 것이 많다. 또, 상기 「검색」 등의 문자열은 사각형 등의 틀에 둘러싸여 있는 것도 있지만, 틀에 둘러싸이지 않고 제공되는 것도 있다.

예를 들어, 특허문헌 3에는, 화상 중에서 수평 또는 수직인 직선으로 되어 있는 부분을 추출하는 것이 개시되어 있다. 이에 의해, 서치 엔진(검색 엔진)의 검색창을 본뜬 영역을 특정하고, 그 영역 내에서 검색용 키워드를 추출할 수 있다.

또, 특허문헌 4에는, 화면에 표시되는 영상으로부터 문자입력영역(검색창)의 형상을 갖는 영상으로서, 그 영상 내에 존재하는 문자의 배열이 상기 문자입력영역에 입력되는 문자의 배열을 갖고 있는 영상을 추출하는 것이 개시되어 있다. 이에 의해, 상기 문자입력영역 내에 문자가 검색창에 특징적인 형태로 배열된 검색창 영역만을 화상으로부터 정확하게 추출할 수 있다.

그러나, TV 방송용 화상 등의 동(動)화상에 있어서는, 검색창이 아니어도, 풍경 부분도 포함하여 검색창과 유사한 사각형 또는 다각형이 다수 표시될 수 있다. 특허문헌 3·4에서는, 상기 사각형 또는 다각형의 각각에 대해서 문자 또는 문자의 특징량을 추출할 필요가 있고, 결과로 처리시간이 길어져 버린다. 특히, 리얼타임성이 요구되는 동화상을 다루기 위해서는 긴 처리시간은 심각한 문제가 된다.

본 발명은, 상기 문제점에 감안하여 이루어진 것이고, 그 목적은 검색용 키워드를 신속하게 검출할 수 있는 키워드 검출장치 등을 제공하는 것에 있다.

본 발명에 따른 키워드 검출장치는, 인터넷상의 검색 엔진으로 검색하기 위한 검색용 키워드를 대상화상으로부터 검출하는 키워드 검출장치로서, 상기 과제를 해결하기 위해, 상기 대상화상으로부터, 상기 검색을 촉구하는 특정 문자열의 특징점을 검출하는 특징점 검출부와, 상기 대상화상에서 상기 특징점 검출부가 검출한 특징점의 주위에 존재하는 문자열을, 상기 검색용 키워드로서 인식하는 키워드 인식부를 갖춘 것을 특징으로 하고 있다.

또, 본 발명에 따른 키워드 검출장치의 제어방법은, 인터넷상의 검색 엔진으로 검색하기 위한 검색용 키워드를 대상화상으로부터 검출하는 키워드 검출장치의 제어방법으로서, 상기 과제를 해결하기 위해, 상기 대상화상으로부터 상기 검색을 촉구하는 특정 문자열의 특징점을 검출하는 특징점 검출단계와, 상기 대상화상에서 상기 특징점 검출단계에서 검출된 특징점의 주위에 존재하는 문자열을, 상기 검색용 키워드로서 인식하는 키워드 인식단계를 포함하는 것을 특징으로 하고 있다.

상기 구성 및 방법에 의하면, 대상화상에서 검색을 촉구하는 특정 문자열의 특징점이 검출되고, 검출된 특징점의 주위에 존재하는 문자열이 검색용 키워드로서 인식된다.

그런데, 종래에는 특허문헌 1과 같이, 대상화상의 전체에 대하여 문자인식을 한 후에 상기 특정 문자열을 추출하는 경우가 있다. 이 경우, 다수의 문자의 각각에 대해서, 그 문자의 특징점과 대상화상의 특징점과의 대조를 하는 제1 처리와, 그 대조에 의해 검출된 문자열에 상기 특정 문자열이 포함되어 있는지 아닌지 판단을 하는 제2 처리를 할 필요가 있다.

이에 대하여, 본 발명에서는, 몇 개의 상기 특정 문자열의 각각에 대해서, 그 특정 문자열의 특징점과 대상화상의 특징점의 대조를 하는 처리로 끝난다. 즉, 본 발명에서는, 상기 종래의 경우에 비해, 제1 처리는 소수의 문자의 각각에 대해서, 그 문자의 특징점과 대상화상의 특징점과의 대조를 하게 되고, 제2 처리는 생략되게 된다. 따라서, 처리 수가 적은데다가, 상기 대조의 반복 수가 적게 끝나므로, 종래보다도 신속하게 검출할 수 있다.

또, 대상화상으로부터 검색창의 사각형 틀을 검출하는 종래의 경우, 사각형 등의 기하학 형상은 특징점의 수가 적기 때문에, 대상화상으로부터 다수 검출될 가능성이 높고, 이 때문에 다수 검출된 기하학 형상으로부터 검색창의 사각형 틀을 특정할 필요가 있다. 이에 대하여, 대상화상으로부터 상기 특정 문자열을 검출하는 본 발명의 경우, 그 특정 문자열은 특징점의 수가 많기 때문에, 대상화상으로부터 다수 검출될 가능성이 낮고, 이 때문에 종래보다도 신속하게 검출할 가능성이 높아진다.

또, 검색용 키워드로서의 문자열을 인식하는 영역은, 검출된 특징점의 주위로 한정되기 때문에, 그 문자열을 신속하게 인식할 수 있다. 이상으로부터, 검색용 키워드를 종래보다도 신속하게 검출할 수 있다.

또한, 상기 검색을 촉구하는 특정 문자열의 예로는, 「검색」, 「서치(search)」, 「확인」, 「체크(check)」, 이들의 번역어 등을 들 수 있다. 또, 상기 특정 문자열의 특징점의 검출은, 그 특정 문자열에 포함되는 문자마다 특징점을 검출해도 좋고, 복수의 문자마다 특징점을 검출해도 좋다. 상기 문자마다 특징점을 검출하는 경우, 우선 상기 특정 문자열에 포함되는 한 문자의 특징점을 검출하고, 이어서 검출된 특징점의 주위로부터 상기 특정 문자열에 포함되는 다른 문자의 특징점을 검출해도 좋다.

또한, 인터넷상의 검색 엔진으로 검색하기 위한 검색용 키워드를 대상화상으로부터 검출하는 상기 구성의 키워드 검출장치와, 그 키워드 검출장치가 검출한 검색용 키워드와, 상기 대상화상을 표시하는 표시장치를 갖춘 표시기기라면 상술한 것과 같은 효과를 갖는다.

또, 상기 키워드 검출장치의 각 부(部)를 제어 프로그램에 의해 컴퓨터상에서 실행시킬 수 있다. 게다가, 상기 제어 프로그램을, 컴퓨터 리더블(readable) 기록매체에 기억시킴으로써, 임의의 컴퓨터상에서 그 키워드 검출장치를 실행시킬 수 있다.

이상과 같이, 본 발명에 따른 키워드 검출장치는, 대상화상에서 검색을 촉구하는 특정 문자열의 특징점이 검출되고, 검출된 특징점의 주위에 존재하는 문자열이 검색용 키워드로서 인식되기 때문에, 상기 특정 문자열의 특징점을 신속하게 검출할 수 있음과 동시에, 그 문자열을 신속하게 인식할 수 있고, 그 결과 검색용 키워드를 종래보다도 신속하게 검출할 수 있는 효과를 갖는다.

도 1은 본 발명의 한 실시형태인 재생 디바이스의 개략 구성을 나타낸 블록도이다.
도 2는 상기 재생 디바이스에서의 제어부에 의해 실행되는 키워드 검출처리의 흐름을 나타낸 플로우 차트이다.
도 3은 상기 재생 디바이스에서의 검색창 검출부에 의해 실행되는 검색창 검출처리의 흐름을 나타낸 플로우 차트이다.
도 4는 검색창의 일례를 나타낸 도면이다.
도 5는 본 발명의 다른 실시형태인 표시장치의 개략 구성을 나타낸 블록도이다.
도 6은 상기 표시장치에서의 검색 키워드 작성부에 의해 실행되는 처리의 흐름을 나타낸 플로우 차트이다.
도 7은 상기 표시장치의 정면도이고, 그 표시장치에서의 표시부의 표시예를 나타낸 도면이다.
도 8은 상기 검색 키워드 작성부에 의해 실행되는 다른 처리의 흐름을 나타낸 플로우 차트이다.
도 9(a)∼(e)는, 다양한 검색창 및 「검색」 문자열의 형태를 나타낸 도면이다.

[실시형태 1]

이하, 본 발명의 한 실시형태에 대해서, 도 1∼도 4를 참조하면서 상세하게 설명한다.

[재생 디바이스의 구성]

도 1은, 본 실시형태인 재생 디바이스(키워드 검출장치)(110)의 개략 구성을 나타내고 있다. 재생 디바이스(110)는, 기억된 동화상 데이터를 재생하고, 예를 들어 표시 디바이스 등, 외부의 디바이스에 송신하는 것이다. 도시한 바와 같이, 재생 디바이스(110)는 제어부(10), 송신부(101), 및 기억부(104)를 갖춘다.

제어부(10)는, 재생 디바이스(110) 내에서의 각종 구성의 동작을 총괄적으로 제어하는 것이고, 예를 들어 CPU(Central Processing Unit) 및 메모리를 포함하는 컴퓨터에 의해 구성된다. 그리고, 각종 구성의 동작 제어는 제어 프로그램을 컴퓨터에 실행시킴으로써 행해진다. 또한, 제어부(10)의 상세에 대해서는 후술한다.

기억부(104)는, 정보를 기록하는 것이고, 하드 디스크, 플래쉬 메모리, ROM(Read Only Memory), RAM(Random Access Memory) 등의 기억장치에 의해 구성된다. 또한, 기억부(104)의 상세에 대해서는 후술한다.

송신부(101)는, 제어부(10)로부터의 데이터를 데이터 송신에 적합한 형식으로 변환한 후, 외부의 디바이스에 송신하는 것이다. 또한, 이 송신은 유선으로 행해져도 좋고, 무선으로 행해져도 좋다.

본 실시형태에서는, 재생 디바이스(110)는, 인터넷상의 검색 엔진으로 검색을 하기 위한 검색용 키워드를 동화상에 포함되는 정지화상(대상화상)으로부터 검출하는 것이다. 재생 디바이스(110)는, 상기 정지화상에서, 상기 검색을 촉구하는 특정 문자열의 특징점을 검출하고, 검출한 특징점의 주위로부터 상기 검색용 키워드를 입력하기 위한 검색창을 검출하고, 검출한 검색창 내의 문자열을 상기 검색용 키워드로서 인식하고 있다.

이에 의해, 상기 정지화상의 전체에 대하여 문자 인식을 한 후에 상기 특정 문자열을 추출하는 경우에 비해, 몇 개의 상기 특정 문자열의 특징점과 대조하면 되고, 다수의 문자의 특징점과 대조할 필요가 없다. 그 결과, 상기 특정 문자열의 특징점을 신속하게 검출할 수 있다. 마찬가지로, 상기 검색창은, 예를 들어 사각형 등, 형상이 한정되어 있기 때문에, 신속하게 검출할 수 있다. 또, 검색용 키워드로서의 문자열을 인식하는 영역은, 상기 검색창 내로 한정되기 때문에, 그 문자열을 신속하게 인식할 수 있다. 그 결과, 검색용 키워드를 종래보다도 신속하게 검출할 수 있다.

또, 상기 정지화상으로부터 상기 특정 문자열의 특징점을 검출하면 되기 때문에, 복잡한 배경 하에서도 정밀도 좋고, 리얼타임으로의 처리가 가능하다. 즉, 「검색」 등의 특정 문자열의 배경에, 그라데이션이 되어 있거나, 풍경이 삽입되어 있거나 해도 정밀도 좋게 검출할 수 있고, 결과로 검색용 키워드의 검출 정밀도를 향상시킬 수 있다. 또, 「검색」 등의 특정 문자열이 사각형으로 둘러싸여 있지 않아도 문제없이 검지할 수 있다. 게다가, 복수 매의 프레임 화상을 다룰 필요가 없어, 그로 인한 메모리 용량이 문제가 되지 않는다.

이어서, 제어부(10) 및 기억부(104)의 상세에 대해서 설명한다. 도 1에 나타낸 바와 같이, 제어부(10)는, 동화상 재생부(111), 정지화상 생성부(112), 문자열 검지부(113)(특징점 검출부), 검색창 검출부(115), 문자 인식부(116)(키워드 인식부), 및 합성부(117)를 갖춘 구성이다. 또, 기억부(104)는, 화상정보 기억부(121) 및 문자정보 기억부(122)를 포함하고 있다.

화상정보 기억부(121)는, 동화상 데이터를 기억하는 것이다. 또, 문자정보 기억부(122)는 문자에 관한 정보로서, 특정 문자열의 검지 및 각종 문자의 인식에 필요한 정보인 문자정보 DB(데이터베이스)를 기억하는 것이다. 구체적으로는, 상기 문자정보 DB에는 문자코드와, 특정 문자열의 특징량과, 각종 문자의 특징량이 포함된다.

동화상 재생부(111)는, 화상정보 기억부(121)에 기억된 동화상 데이터를 재생하는 것이다. 동화상 재생부(111)는, 재생한 동화상 데이터를 정지화상 생성부(112) 및 합성부(117)에 송출한다. 또한, 화상정보 기억부(121)가 정지화상 데이터를 기억하고, 동화상 재생부(111)가 상기 정지화상 데이터를 재생해도 좋다. 또, 상기 재생에 대해서는 주지기술이므로 그 상세한 설명을 생략한다.

정지화상 생성부(112)는, 동화상 재생부(111)로부터의 동화상 데이터를 소정의 기간마다 디코드하여, 정지화상을 생성하는 것이다. 정지화상 생성부(112)는 생성한 정지화상을 문자열 검지부(113)로 송출한다.

문자열 검지부(113)는, 정지화상 생성부(112)로부터의 정지화상 중에서, 검색을 촉구하는 특정 문자열에 포함되는 각 문자의 특징점을 검출함으로써, 상기 특정 문자열을 검지한다. 문자열 검지부(113)는, 검지한 특정 문자열이 상기 정지화상 상에서 차지하는 위치정보를, 상기 정지화상과 함께 검색창 검출부(115)에 송출한다. 또한, 특징점의 예로는, 화상에서 휘도가 급격하게 변화하는 부분 등을 들 수 있다.

상기 특정 문자열을 검지하는 방법의 일례로는, 특허문헌 5에 기재된 것을 들 수 있다. 즉, 우선, 상기 정지화상을 구성하는 각 화소가 갖는 색 정보에 근거하여, 유사색을 갖는 일정 수 이상의 화소군으로 이루어지는 클러스터를 적어도 하나 정의한다. 이어서, 상기 정지화상을, 정의된 클러스터에 속하는 화소군의 영역과, 그 외의 화소군의 영역으로 분할하고, 상기 정지화상으로부터 상기 그 외의 화소군의 영역이 배제된 클립핑 화상을 생성한다. 그리고, 생성된 클립핑 화상으로부터, 상기 특정 문자열에 포함되는 각 문자의 특징점을 검출함으로써, 그 특정 문자열을 검지한다.

여기에서, 검색을 촉구하는 특정 문자열의 예로는, 「검색」, 「서치」, 「확인」, 「체크」, 이들의 번역어 등을 들 수 있다. 이하에서는, 상기 검색을 촉구하는 특정 문자열로서 「검색」을 이용하고 있고, 상기 특정 문자열을 「검색」 문자열로 표기한다.

검색창 검출부(115)는, 문자열 검지부(113)로부터의 정지화상과 「검색」 문자열의 위치정보를 이용하여, 상기 정지화상에서 「검색」 문자열이 차지하는 위치의 주위로부터 검색창을 검출한다. 검색창 검출부(115)는, 검출한 검색창이 상기 정지화상 상에서 차지하는 영역정보를, 상기 정지화상과 함께 문자 인식부(116)에 송출한다. 또한, 상기 검색창을 검출하는 처리의 상세에 대해서는 후술한다.

문자 인식부(116)는, 검색창 검출부(115)로부터의 정지화상과 상기 검색창의 영역정보를 이용하여, 그 검색창 내의 1 또는 복수의 문자를 인식한다. 문자 인식부(116)는, 인식한 문자에 의해 구성되는 문자열을 검색용 키워드로서 합성부(117)에 송신한다.

문자를 인식하는 방법의 일례로는, 비특허문헌 1에 기재된 방법을 들 수 있고, 하기의 것을 더 들 수 있다. 즉, 우선 흑(黑)화소 수를 계수한 히스토그램을 이용하여, 문자인식을 해야하는 문자 화상의 외접 사각형 정보를 취득한다. 이어서, 상기 외접 사각형 내에서 문자 화상의 에지 성분 등을 추출함으로써, 문자 화상의 특징 벡터를 얻는다. 그리고, 그 문자 화상의 특징 벡터를, 미리 문자정보 기억부(122)에 기억시켜 둔 문자인식용 사전 내의 특징 벡터와 비교하여, 상기 문자 화상과 유사도가 높은 하나 또는 복수의 문자의 문자코드를 취득한다. 그 문자코드가 상기 문자 화상으로부터 인식된 문자의 문자코드가 된다.

합성부(117)는, 동화상 재생부(111)로부터의 동화상 데이터와, 문자 인식부(116)로부터의 검색용 키워드를 이용하여, 상기 동화상의 적소(適所)에 상기 검색용 키워드를 합성한다. 합성부(117)는, 상기 검색용 키워드가 합성된 동화상 데이터를 송신부(101)를 통하여 외부의 디바이스에 송신한다.

[재생 디바이스에서의 처리]

계속해서, 상기 구성의 재생 디바이스(110)에서의 처리를, 도 2를 참조하여 설명한다. 또한, 본 실시형태에 있어서, 재생되는 화상 데이터는 동화상(스트리밍 동화상)의 데이터이다.

도 2는, 재생 디바이스(110)의 제어부(10)에서 실행되는 키워드 검출처리의 흐름을 나타낸 플로우 차트이다. 도시한 바와 같이, 우선 타이머(도시하지 않음)의 시각(t)이 0으로 세팅되고, 검색창 검출상태 플래그(detect Flag)가 서있지 않는 상태(FALSE), 즉 검색창을 검출하고 있지 않는 상태로 세팅되는 초기화를 행한다(S101·102). 그리고나서 동화상 재생부(111)가 동화상의 재생을 개시한다(S103). 이에 의해, 재생된 동화상 데이터가 합성부(117) 및 송신부(101)를 통하여, 외부의 디바이스에 송신된다.

이어서, 정지화상 생성부(112)는, 시각(t)이 t=k×t0라는 조건을 만족하는지 아닌지를 판단한다(S104). 여기에서 k는 자연수이고, t0은 소정의 주기이다. 상기 조건을 만족하지 않는 경우(S104에서 NO), 단계 S111로 진행한다.

한편, 상기 조건을 만족하는 경우(S104에서 YES), 정지화상 생성부(112)는, 동화상 재생부(111)가 재생한 동화상 데이터(프레임 화상의 데이터)를 디코드하여, 정지화상을 생성한다(S105). 또한, 상기 소정의 주기(t0)를 적절히 설정함으로써, 상기 정지화상을 작성하는 주기를 조정할 수 있다.

계속해서, 문자열 검지부(113)는, 정지화상 생성부(112)가 생성한 정지화상에서, 검색처리를 촉구하는 문자열, 즉 「검색」 문자열을 검지한다(S106, 특징점 검출단계). 「검색」 문자열을 검지할 수 없는 경우(S107에서 NO), 단계 S111로 진행한다.

한편, 「검색」 문자열을 검지할 수 있는 경우(S107에서 YES), 검색창 검출부(115)는, 문자열 검지부(113)가 검지한 「검색」 문자열이 상기 정지화상에서 차지하는 위치의 주위로부터의 검색창을 검출한다(S108), 또한, 그 검색창을 검출하는 처리의 상세에 대해서는 후술한다. 상기 검색창을 검출할 수 있는 경우(S109에서 YES), 단계 S115로 진행한다. 한편, 상기 검색창을 검출할 수 없는 경우(S109에서 NO), 단계 S110으로 나아간다.

단계 S115에서, 검색창 검출부(115)는, 검색창 검출상태 플래그(detect Flag)가 선 상태(TRUE)로 세팅한다. 이것은 검색창을 검출한 상태임을 나타내고 있다. 이어서, 문자 인식부(116)는, 검색창 검출부(115)가 검출한 검색창 내의 1 또는 복수의 문자를 인식하고, 인식한 문자에 의해 구성되는 문자열을 인식한다(S116, 키워드 인식단계). 이 문자의 인식 처리는 상술한 바와 같은 공지기술에 의해 행해진다.

계속해서, 정지화상 생성부(112)는, 시각(t)이 지나, t=k×t1이라는 조건을 만족할 때까지 대기한다(S117·S118). 여기에서, t1은 t1≤t0을 만족하는 소정의 주기이다. 예를 들어, 단계 S116의 처리를 종료한 시각(t)이 t0'이고, t1≤t0'＜2×t1이었다고 하면, t=2×t1이 될 때까지 대기하게 된다.

상기 조건을 만족하면, 정지화상 생성부(112)는, 단계 S105와 동일하게 정지화상을 생성하고(S119), 그 후 단계 S108로 되돌아가 검색창 검출부(115)가 검색창을 검출한다. 즉, 한번 「검색」 문자열이 검지되고, 검색창이 검출되면, 검색창이 검출되지 않을 때까지, 「검색」 문자열의 검지가 생략되게 된다. 이에 의해, 상기 검색용 키워드를 더 신속하게 검출할 수 있다. 또, 정지화상 생성부(112)가 정지화상을 작성하는 주기 t1을 주기 t0보다도 짧게 할 수 있다(t1＜t0).

또, 「검색」 문자열의 특징점은, 정지화상의 전체를 조사하여 검출하고 있기 때문에, 상기 정지화상의 사이즈가 커짐에 따라, 검출에 필요한 시간이 길어진다. 따라서, 상기 구성에 의하면, 상기 정지화상의 사이즈가 커짐으로써 상기 검색용 키워드의 검출이 지연됨을 억제할 수 있다. 특히, 상기 정지화상이 풀 HD 사이즈(1920 픽셀×1080 픽셀)와 같은 큰 사이즈인 경우에 효과적이다.

한편, 단계 S110에서, 문자 인식부(116)는, 검색창 검출상태 플래그(detect Flag)가 선 상태(TRUE)인지 아닌지, 즉 전(前)의 정지화상으로부터 상기 검색창을 검출했는지 아닌지를 판단한다. 전의 정지화상으로부터 상기 검색창을 검출한 경우, 즉, 이번 정지화상에서는 그 검색창이 소실한 경우에는 단계 S113으로 나아간다. 한편, 전의 정지화상으로부터 상기 검색창을 검출하지 않은 경우, 즉 검색창을 검출하고 있지 않은 상태가 계속되고 있는 경우에는 단계 S111로 나아간다.

단계 S113에서, 합성부(117)는, 문자 인식부(116)가 인식한 문자열(인식 문자열)의 데이터를 검색용 키워드의 후보 데이터로 하여, 동화상 재생부(111)가 재생한 동화상 데이터에 합성하고, 합성된 동화상 데이터를 송신부(101)를 통하여 외부의 디바이스에 송신한다(S113).

또한, 문자 인식부(116)가 문자열을 인식할 수 없는 경우, 합성부(117)는, 「문자열은 인식할 수 없었습니다」 등의 에러 메세지 데이터를 상기 동화상 데이터에 합성해도 좋고, 합성 전의 상기 동화상 데이터를 그대로 송신부(101)를 통하여 외부의 디바이스에 송신해도 좋다. 또, 문자 인식부(116)가 복수의 문자열을 인식할 수 있는 경우, 그 복수의 인식 문자열의 데이터를 검색용 키워드의 후보 데이터로 하여, 상기 동화상 데이터에 합성해도 좋다.

계속해서, 합성부(117)는, 검색창 검출상태 플래그(detect Flag)를 서 있지 않은 상태(FALSE)로 세팅하고(S114), 그 후 단계 S111로 나아간다.

단계 S111에서, 단위시간 경과한 후, 동화상 재생부(111)는, 동화상 데이터의 재생이 종료했는지 아닌지를 판단한다(S112). 종료해 있지 않는 경우에는, 단계 S104로 되돌아가 상술한 동작을 반복한다. 한편, 종료한 경우에는 처리를 종료한다.

[검색창 검출처리]

이어서, 도 2에 나타낸 검색창의 검출처리(S108)의 상세에 대해서, 도 3, 도 4, 및 도 9의 (a)∼(e)를 참조하여 설명한다. 도 9의 (a)∼(e)에 나타낸 바와 같이, 검색창(SB)은 일반적으로 「검색」 문자열(SC)의 왼쪽에 위치해 있고, 그리고 「검색」 문자열(SC)의 왼쪽 위에 검색창(SB)의 윗변의 오른쪽 끝이 위치하고, 「검색」 문자열(SC)의 왼쪽 아래에 검색창(SB)의 아랫변의 오른쪽 끝이 위치해 있다.

그래서, 본 실시형태에서는 검색창(SB)을 하기와 같이 검출한다. 즉, 우선 「검색」 문자열(SC)의 왼쪽 위의 영역으로부터 왼쪽방향으로 연장하는 선분을, 검색창(SB)의 윗선(윗변)으로서 검출하고, 「검색」 문자열(SC)의 왼쪽 아래의 영역으로부터 왼쪽방향으로 연장하는 선분을, 검색창(SB)의 아랫선(아랫변)으로서 검출한다. 이어서, 검출된 윗선의 오른쪽 끝과 아랫선의 오른쪽 끝을 잇는 선(선분 또는 곡선)을, 검색창(SB)의 오른쪽 선으로서 검출하고, 검출된 윗선의 왼쪽 끝과 아랫선의 왼쪽 끝을 잇는 선(선분 또는 곡선)을, 검색창(SB)의 왼쪽 선으로서 검출한다. 이에 의해, 검색창(SB)을 구성하는 모든 선(윗선, 아랫선, 왼쪽 선 및 오른쪽 선)이 검출된다.

도 3은, 본 실시형태의 검색창 검출부(115)가 검색창(SB)을 검출하는 검색창 검출처리의 흐름을 나타낸 플로우 차트이다. 또, 도 4는, 검색창의 일례를 나타내는 도면이고, 같은 도면의 (a)는 「검색」 문자열의 왼쪽 부근에 검색창이 위치하는 예를 나타내고 있고, 같은 도면의 (b)는 「검색」 문자열의 위쪽 부근에 검색창이 위치하는 예를 나타내고 있다.

도 3 및 도 4의 (a)에 나타낸 바와 같이, 우선 문자열 검지부(113)가 검지한 「검색」 문자열(SC)의 외접 사각형(BB)을 취득하고(S1081), 취득한 외접 사각형(BB)의 왼쪽 위 정점을 오른쪽 아래 정점으로 하고, 소정 치수인 가로로 긴 사각형 A를 설정한다(S1082).

계속해서, 설정한 사각형 A 내에서, 검색창(SB)의 윗변에 상당하는 선분(제1 선분)을 검출한다(S1083). 구체적으로는, 설정한 사각형 A 내에서 가로방향(외접 사각형(BB)의 윗변과 평행한 방향)으로 연장하는 선분을 제1 선분으로서 검출한다.

또한, 사각형 A 내에서 복수의 선분을 검출한 경우에는, 사각형 A의 아랫변에 가장 가까운 선분을 제1 선분으로서 선택하는 것이 바람직하다. 왜냐하면, 그와 같이 선택하지 않는 경우, 검색창(SB) 내에 선분이 남게 되고, 검색창(SB) 내의 문자 인식 시에, 남은 선분에 의한 오인식이 발생할 우려가 있기 때문이다.

제1 선분을 검출할 수 없는 경우(S1084에서 NO), 검색창(SB)을 검출할 수 없었다고 하고(S1084'), 상기 검색창 검출처리를 종료하고, 도 2에 나타낸 원래의 처리로 되돌아간다.

한편, 제1 선분을 검출할 수 있는 경우(S1084에서 YES), 외접 사각형(BB)의 왼쪽 아래 정점을 오른쪽 위 정점으로 하고, 사각형 A와 동일한 소정 치수인 가로로 긴 사각형 B를 설정한다(S1085). 이어서, 설정한 사각형 B 내에서, 검색창(SB)의 아랫변에 상당하는 선분(제2 선분)을 검출한다(S1086). 구체적으로는, 설정한 사각형 B 내에서, 가로방향(외접 사각형(BB)의 아랫변과 평행한 방향)으로 연장하는 선분을 제2 선분으로서 검출한다.

또한, 사각형 B 내에서 복수의 선분을 검출한 경우에는, 사각형 B의 윗변에 가장 가까운 선분을 제2 선분으로서 선택하는 것이 바람직하다. 왜냐하면, 그와 같이 선택하지 않는 경우, 검색창(SB) 내에 선분이 남게 되고, 검색창(SB) 내의 문자 인식 시에, 남은 선분에 의한 오인식이 발생할 우려가 있기 때문이다.

제2 선분을 검출할 수 없는 경우(S1087에서 NO), 검색창(SB)을 검출할 수 없었다 하고(S1084'), 상기 검색창 검출처리를 종료하고, 도 2에 나타낸 원래의 처리로 되돌아간다. 한편, 제2 선분을 검출할 수 있는 경우(S1087에서 YES), 단계 S1088로 나아간다.

그런데, 검색창(SB)의 윗변 및 아랫변은 길이가 거의 같다고 생각할 수 있다. 따라서, 단계 S1083·S1086에서 검출된 제1 및 제2 선분은, 길이가 현저하게 다른 경우, 검색창(SB)의 윗변 및 아랫변이 아니라고 생각할 수 있다.

그래서, 단계 S1088에서, 제1 및 제2 선분의 길이의 차가 소정의 역치 이상인지 아닌지를 판단한다. 상기 길이의 차가 소정의 역치보다도 큰 경우(S1088에서 NO), 검색창(SB)을 검출할 수 없었다 하고(S1084'), 상기 검색창 검출처리를 종료하고, 도 2에 나타낸 원래의 처리로 되돌아간다.

한편, 상기 길이의 차가 소정의 역치 이하인 경우(S1088에서 YES), 제1 및 제2 선분의 각각에 대해서, 양단을 소정의 길이(마진)만 연장하고, 연장된 2개의 선분을 윗변 및 아랫변으로 하는 사각형 C를 설정한다(S1089). 또한, 도 4의 (a)에서는, 이해하기 쉽도록, 사각형 C의 윗변 및 아랫변은 검색창(SB)의 윗변 및 아랫변으로부터 떨어져 기재하고 있다.

계속해서, 설정한 사각형 C 내에서, 검색창(SB)의 왼쪽 변(왼쪽 선) 및 오른쪽 변(오른쪽 선)에 상당하는 2선(선분 또는 호)을 검출한다(S1090). 구체적으로는, 설정한 사각형 C 내에서, 제1 선분과 제2 선분을 연결하는 2개의 선을 상기 왼쪽 선 및 오른쪽 선에 상당하는 2선으로서 검출한다.

또한, 상기 2선은 선분이어도 좋고 호(弧)여도 좋다. 또, 검색창(SB)의 왼쪽 선 및 오른쪽 선에 상당하는 2선을 검출하는 범위는, 사각형 C 내의 전체가 아니어도 좋다. 예를 들어, 사각형 C 내의 왼쪽의 1/3 영역에서 왼쪽 선에 상당하는 선을 검출하고, 사각형 C의 오른쪽의 1/3 영역에서 오른쪽 선에 상당하는 선을 검출해도 좋다. 이 경우, 검출을 하는 범위가 좁아지기 때문에, 검색창(SB)의 검출처리시간이 단축된다.

검색창(SB)의 왼쪽 선 및 오른쪽 선에 상당하는 2선을 검출할 수 없는 경우(S1091에서 NO), 검색창(SB)을 검출할 수 없었다 하고(S1084'), 상기 검색창 검출처리를 종료하고, 도 2에 나타낸 원래의 처리로 되돌아간다. 한편, 상기 2선을 검출할 수 있는 경우(S1091에서 YES), 검색창(SB)을 검출할 수 있었다 하고(S1092), 상기 검색창 검출처리를 종료하고, 도 2에 나타낸 원래의 처리로 되돌아간다.

따라서, 검색창(SB)을 검출하기 위한 영역이, 사각형 A(상부 검출용 사각형), 사각형 B(하부 검출용 사각형), 및 사각형 C(측부 검출용 사각형) 내의 영역으로 한정된다. 따라서, 검색창(SB)을 더 신속하게 검출할 수 있고, 그 결과 검색용 키워드를 더 신속하게 검출할 수 있다.

또한, 검색창(SB)의 윗변을 검출하는 처리(S1082∼S1084)와, 검색창(SB)의 아랫변을 검출하는 처리(S1085∼S1087)는 어느 것을 먼저 해도 좋다.

또, 본 실시형태에서는, 문자열 검지부(113)는, 상기 정지화상 중에서, 「검색」 문자열에 포함되는 각 문자의 특징점을 검출하고 있지만, 예를 들어, 상기 각 문자의 하나(예를 들어 「색」)의 특징점을 검출하고, 검출된 특징점의 주위로부터 상기 각 문자의 다른 하나(예를 들어 「검」)의 특징점을 검출해도 좋다. 또, 문자열 검지부(113)는, 상기 정지화상 중에서, 「검색」 문자열에 포함되는 복수의 문자(즉 「검색」)의 특징점을 동시에 검출해도 좋다.

[변형예]

또, 본 실시형태에서는, 검색창(SB)이 「검색」 문자열(SC)의 왼쪽 부근에 위치해 있다고 가정하고, 「검색」 문자열(SC)의 왼쪽 부근에서 검색창(SB)을 검출하는 예를 설명했으나, 본 발명은 이에 한정되지 않는다. 즉, 검색창(SB)은 「검색」 문자열(SC)(검색을 촉구하는 문자열)에 대하여 상하좌우의 어느 쪽 부근에 위치해도 좋다.

검색창(SB)이 「검색」 문자열(SC)의 상하좌우의 어느 쪽 부근에 위치해도 검출할 수 있도록 하기 위해서는, 하기와 같이 하면 된다. 즉, 우선 「검색」 문자열(SC)의 상하좌우 방향에 대해서, 검출을 하는 우선순위(예를 들어, 좌, 위, 우, 및 아래 순)를 미리 설정해 둔다. 그리고, 설정된 우선순위로 검색창(SB)의 검출을 하고, 한 방향에서 검색창(SB)이 검출 가능하면, 그 시점에서 검색창(SB)의 검출을 종료한다.

「검색」 문자열(SC)의 왼쪽 부근에서 검색창(SB)의 검출을 하는 순서에 대해서는 상술한 대로이다. 또, 「검색」 문자열(SC)의 오른쪽 부근에서 검색창(SB)의 검출을 하는 순서에 대해서는, 상술한 순서에서 「좌」와 「우」를 바꾸어 넣으면 된다.

「검색」 문자열(SC)의 위쪽 부근에서 검색창(SB)의 검출을 하는 순서의 일례에 대해서, 도 4의 (b)를 참조하여 설명한다.

즉, 우선 「검색」 문자열(SC)의 외접 사각형(BB)을 취득하고, 취득한 외접 사각형(BB)의 왼쪽 위 정점을 오른쪽 아래 정점으로 하고, 소정 치수인 가로로 긴 사각형 A'를 설정하고, 외접 사각형(BB)의 오른쪽 위 정점을 왼쪽 아래 정점으로 하고, 사각형 A'와 동일한 소정 치수인 가로로 긴 사각형 B'를 설정한다. 이어서, 사각형 A' 내에서 역コ자 형상의 선으로서, 윗변 및 아랫변이 사각형 A'의 오른쪽 끝에 도달해 있는 선을 제1 선으로서 검출하고, 사각형 B' 내에서, コ자 형상의 선으로서, 윗변 및 아랫변이 사각형 B'의 왼쪽 끝에 도달해 있는 선을 제2 선으로서 검출한다.

그리고, 제1 및 제2 선의 윗변끼리를 연결하는 제3 선을 검출하고, 제1 및 제2 선의 아랫변끼리를 연결하는 제4 선을 검출함으로써, 제1∼제4 선으로 둘러싸인 검색창(SB)을 검출한다. 또는, 제1 및 제2 선의 윗변을 포함하는 사각형 A를 설정하고, 제1 및 제2 선의 아랫변을 포함하는 사각형 B를 설정하고, 도 4의 (a)에 나타낸 순서와 동일한 순서를 행함으로써, 검색창(SB)을 검출해도 좋다. 또한, 「검색」 문자열(SC)의 아래쪽 부근에서 검색창(SB)의 검출을 하는 순서에 대해서는, 상기 순서에서 「위」와 「아래」를 바꾸어 넣으면 된다.

[실시형태 2]

계속해서, 본 발명의 다른 실시형태에 대해서, 도 5∼도 8을 참조하여 설명한다. 또한, 설명의 편의상, 상기 실시형태에서 설명한 구성과 같은 기능을 갖는 구성에 대해서는, 동일한 부호를 붙이고 그 설명을 생략한다.

[표시장치의 구성]

도 5는, 본 실시형태인 표시장치(200)(표시기기)의 개략 구성을 나타낸 블록도이다. 본 실시형태의 표시장치(200)는, TV 수상기에 인터넷 접속기능이 추가된, 소위 인터넷 텔레비전이다.

도 5에 나타낸 바와 같이, 표시장치(200)는, 도 1에 나타낸 재생 디바이스(110)와 비교하여, 송신부(101) 대신에 표시부(201)가 설치되고, 네트워크 I/F(인터페이스)부(202), 조작부(206) 및 방송 수신부(207)가 추가된 구성이다. 또, 표시장치(200)의 제어부(20)는, 도 1에 나타낸 재생 디바이스(110)의 제어부(10)와 비교하여, 키워드 후보 작성부(217) 및 검색 요구부(218)가 추가된 구성이다.

표시부(201)는, 제어부(20)로부터의 화상 데이터에 근거하여, 문자나 화상 등의 각종 정보를 표시 출력하는 것이다. 표시부(201)는, LCD(액정표시소자), CRT(음극선관), 플라즈마 디스플레이 등의 표시 디바이스에 의해 구성되어 있다.

네트워크 I/F부(202)는, 제어부(20)와 외부의 통신 네트워크(도시하지 않음)와의 인터페이스를 하는 것이다. 구체적으로는, 네트워크 I/F부(202)는, 상기 통신 네트워크에 접속하여, 제어부(20)로부터의 데이터를, 상기 통신 네트워크에 적합한 형식으로 변환하여 상기 통신 네트워크에 송신한다. 또, 네트워크 I/F부(202)는, 상기 통신 네트워크로부터의 데이터를, 제어부(20)에서의 처리에 적합한 형식으로 변환하여 제어부(20)로 송신한다.

조작부(206)는, 사용자의 조작에 의해 사용자로부터 각종 입력을 받아들이는 것이고, 입력용 버튼, 터치패널, 그 외의 조작 디바이스에 의해 구성되어 있다. 조작부(206)는, 사용자가 조작한 정보를 조작 데이터로 변환하여 제어부(20)에 송신한다. 또한, 조작 디바이스의 다른 예로는, 키보드와, 텐키와, 마우스 등의 포인팅 디바이스를 들 수 있다.

방송 수신부(207)는, 외부의 방송국으로부터의 TV 방송파를, 안테나(도시하지 않음)를 통하여 수신하는 것이다. 방송 수신부(207)는, 수신한 TV 방송파로부터 AV(Audio Visual) 데이터를 추출하고, 추출한 AV 데이터를 제어부(20)를 통하여 화상정보 기억부(121)에 기억한다.

키워드 후보 작성부(217)는, 문자 인식부(116)와 합성부(117) 사이에 설치되고, 문자 인식부(116)가 인식한 1 또는 복수의 인식 문자열에 근거하여, 검색용 키워드의 후보를 작성하는 것이다. 키워드 후보 작성부(217)는, 작성한 검색용 키워드의 후보를 합성부(117) 및 검색 요구부(218)에 송출한다. 이에 의해, 상기 검색용 키워드의 후보는 합성부(117)에서 동화상과 합성되어, 표시부(201)에서 표시된다. 또한, 키워드 후보 작성부(217)의 상세에 대해서는 후술한다.

검색 요구부(218)는, 인터넷상의 검색 엔진에 대하여, 사용자로부터 조작부(206)를 통하여 취득한 검색용 키워드로의 검색을, 네트워크 I/F부(202)를 통하여 요구하는 것이다. 구체적으로는, 검색 요구부(218)는, 우선 키워드 후보 작성부(217)로부터의 검색용 키워드의 후보 중에서, 사용자가 조작부(206)를 통하여 선택한 것을 검색용 키워드로 한다. 그리고, 그 검색용 키워드로의 검색을, 네트워크 I/F부(202)를 통하여 상기 검색 엔진에 요구한다. 검색 요구부(218)는, 상기 검색 결과를, 상기 검색 엔진으로부터 네트워크 I/F부(202)를 통하여 취득한다. 취득한 검색 결과는 합성부(117) 및 표시부(201)를 통하여 표시 출력된다.

[검색용 키워드의 작성의 상세]

계속해서, 키워드 후보 작성부(217)의 상세에 대해서 설명한다. 본 실시형태에서는, 키워드 후보 작성부(217)는, 복수의 상기 인식 문자열에 후보 순위를 매기고, 그 후보 순위가 1위에서 소정의 순위까지의 상기 인식 문자열을, 검색용 키워드의 후보로서 작성한다. 상기 후보 순위는 상기 인식 문자열을 구성하는 문자의 매칭 신뢰도의 통계량(예를 들어 평균값)이 큰 순으로 되어 있다. 여기에서, 문자의 매칭 신뢰도란, 인식된 문자에 대해서, 검색창(SB) 내의 그 문자의 특징과, 문자정보 기억부(122)에 기억된 그 문자의 특징과의 일치 정도를 나타내는 것이다.

도 6은, 키워드 후보 작성부(217)가 하는 키워드 후보의 작성처리의 흐름을 나타내는 플로우 차트이다. 또한, 상기 키워드 후보의 작성처리는 도 2에 나타낸 단계 S113에서 행해지는 처리이다.

도 6에 나타낸 바와 같이, 우선 j=1로 초기화하고(S2021), 문자 인식부(116)가 인식한 문자열에서의 j번째의 문자에 대해서, 매칭 신뢰도가 소정의 역치보다도 높은 문자 후보를 선출한다(S2022).

또한, 처리부담의 경감 관점에서, 문자 후보의 최대 수를 소정 수(예를 들어 3개)로 한정하는 것이 바람직하다. 또, 매칭 신뢰도가 문자 후보 사이에서 크게 다른 경우, 매칭 신뢰도가 높은 문자 후보가 올바른 인식이고, 매칭 신뢰도가 낮은 문자 후보가 잘못된 인식일 가능성이 높다. 따라서, 매칭 신뢰도가 가장 높은 문자 후보와의 차가 소정 범위 내인 문자 후보로 한정하는 것이 바람직하다.

이어서, 상기 인식한 문자열에서의 모든 문자에 대해서, 단계 S2022를 반복한다(S2023·S2024). 그리고 나서, 상기 인식한 문자열에서의 각 문자의 문자 후보를 조합시켜, 문자열 후보를 작성한다(S2025). 따라서, (문자열 후보 수)=(1번째의 문자의 문자 후보 수)×(2번째의 문자의 문자 후보 수)×…×(최후의 문자의 문자 후보 수)가 된다.

계속해서, 작성한 문자열 후보의 각각에 대해서, 각 문자의 매칭 신뢰도의 평균값(스코어)을 산출하고, 산출한 평균값이 상위인 문자열 후보를 인식 문자열로서 선출한다(S2025). 그리고, 선출된 인식 문자열이 검색용 키워드의 후보로서 합성부(117) 및 검색 요구부(218)에 송출된다.

또한, 처리 부담의 경감 관점에서, 인식 문자열의 최대 수를 소정 수(예를 들어 3개)로 한정하는 것이 바람직하다. 또, 매칭 신뢰도의 평균값이 문자열 후보 사이에서 크게 다른 경우, 매칭 신뢰도의 평균값이 높은 문자열 후보가 올바른 인식이고, 매칭 신뢰도의 평균값이 낮은 문자열 후보가 잘못된 인식일 가능성이 높다. 따라서, 인식 문자열은, 매칭 신뢰도의 평균값이 가장 높은 문자열 후보와의 차가 소정 범위 내인 문자열 후보로 한정하는 것이 바람직하다.

도 7은, 표시장치(200)의 정면도이고, 검색용 키워드의 후보를 표시부(201)의 표시화면(2011)에 표시한 일례를 나타내고 있다. 도시한 바와 같이, 표시화면(2011)의 중앙부에서 오른쪽에는 동화상이 표시되어 있다. 그 동화상에는, 「검색」 문자열(SC)과, 그 왼쪽 부근에 위치하는 검색창(SB)이 포함되고, 그 검색창(SB) 내에는 문자열 「뉴모델(ニュ-モデル)」이 포함되어 있다.

한편, 표시화면(2011)의 왼쪽에는, 검색용 키워드의 후보가 과거의 이력과 함께 표시되어 있다. 구체적으로는, 표시화면(2011)의 왼쪽 아래에 나타내어지는 「뉴모델(ニュ-モデル)」·「뉴모텔(ニュ-モテル)」·「니유모델(ニユ-モデル)」 3개는, 이번 검색창(SB) 내의 문자열 「뉴모델(ニュ-モデル)」로부터 작성된 검색용 키워드의 후보이다. 또, 표시화면(2011)의 왼쪽 중앙에 나타내어지는 「목표 합격(目指せ合格(한자))」·「목표 합격(目指せごうかく(히라가나))」·「목표 합(目指せごう(히라가나))」 3개는 전회(前回) 표시된 검색창(SB) 내의 문자열로부터 작성된 검색용 키워드의 후보이다. 그리고, 표시화면(2011)의 왼쪽 위에 나타내어지는 「텔레비의 역사(テレビの歷史)」·「텔레비의 역장(テレビの歷丈)」·「텔레피의 역사(テレピの歷史)」 3개는 전전회에 표시된 검색창(SB) 내의 문자열로부터 작성된 검색용 키워드의 후보이다.

여기에서, 각 검색용 키워드의 후보에는, 스코어가 높은 순으로 번호가 1부터 순서대로 붙여져 있다. 또한, 사용자가 인터넷 검색을 하는 검색용 키워드를 선택할 때에 사용되는 표시화면(2011) 상의 포인터의 초기위치는, 번호 1의 검색용 키워드의 후보의 위치에 설정해 두는 것이 바람직하다. 이 경우, 스코어가 높은 검색용 키워드의 후보인만큼, 검색창(SB) 내의 문자열을 올바르게 인식하고 있을 가능성이 높기 때문에, 사용자가 올바른 검색용 키워드를 선택할 때까지의 수고를 적게 할 수 있다. 또, 검색용 키워드의 후보 수를 늘려도 된다. 이 경우, 적절한 검색용 키워드가 상기 검색용 키워드의 후보에 포함될 가능성이 더 높아진다.

그런데, 도 2에 나타낸 단계 S108·S109·S115∼S119가 반복되는 경우, 작성된 복수의 정지화상에는, 동일한 검색창(SB)이 포함되게 된다. 이 경우, 상기 정지화상마다 인식 문자열을 선출하고, 선출된 인식 문자열 중, 다른 인식 문자열로서, 스코어가 상위인 인식 문자열을 검색용 키워드의 후보로 하면 된다. 또한, 복수의 정지화상에서 같은 인식 문자열이 선출된 때, 그 인식 문자열의 각 정지화상에서의 스코어를 적산(積算)하고, 적산한 스코어 또는 그 평균값을 그 인식 문자열의 스코어로 해도 좋다.

또, 검색창(SB)을 포함하는 동화상 중에는, 검색창(SB) 내에 문자열이 한번에 출현하는 것은 아니고, 마치 사용자가 문자를 입력해 가는 경우처럼, 서서히 출현하는 것이 존재한다. 이 경우, 상기 복수의 정지화상 중, 최초의 정지화상으로부터 선출된, 문자 수가 적은 인식 문자열보다도, 최후의 정지화상으로부터 선출된 문자 수가 많은 인식 문자열 쪽이 검색용 키워드의 후보로서 타당하다고 생각할 수 있다.

그래서, 최초 쪽에서 선출된 인식 문자열의 스코어보다도, 최후 쪽에서 선출된 인식 문자열의 스코어 쪽이 높아지도록, 스코어에 대하여 무게를 두는 것이 바람직하다. 구체적으로는, 연속하는 2개의 정지화상으로부터 각각 선출된 인식 문자열의 문자 수가 다른 경우, 뒤의 정지화상으로부터 선출된 인식 문자열의 스코어의 비중을 늘리는 것을 생각할 수 있다. 이에 의해, 타당한 검색용 키워드의 후보를 표시할 수 있다.

도 8은, 상기 비중을 고려한 상기 키워드 후보의 작성 처리의 흐름을 나타낸 플로우 차트이다. 도시한 바와 같이, 우선 i=1, num=0으로 초기화된다(S201). 이어서, i번째의 정지화상에 대해서, 도 6에 나타낸 처리를 하고, 선출된 인식 문자열을 그 스코어와 함께 취득한다(S202).

이어서, 취득된 인식 문자열의 문자 수가 (i-1)번째(전회)의 정지화상으로부터 선출된 인식 문자열의 문자 수와 다른지 아닌지를 판단하고(S203), 다른 경우에는, num을 증분(增分)한다(S204). 즉, num은 인식 문자열의 문자 수가 변화한 회수를 나타내는 것이 된다. 또한, i=1인 경우, 0번째의 정지화상으로부터 선출된 인식 문자열의 문자 수를 0으로 해도 좋고, 단계 S203·S204를 스킵해도 좋다.

계속해서, i번째의 정지화상으로부터 선출된 인식 문자열의 스코어에, num과 소정의 정수와의 곱을 가산한다(S205). 즉, 문자 수가 변화할 때마다, 스코어에 가산되는 비중이 커진다.

이어서, 모든 정지화상에 대해서, 시계열 순으로 단계 S203∼S205를 반복한다(S206·S207). 그리고 나서, 각 정지화상으로부터 선출된 인식 문자열 중, 비중이 주어진 스코어가 상위인 인식 문자열을, 검색용 키워드의 후보로서 선출한다(S208). 그리고, 선출된 검색용 키워드의 후보가, 합성부(117) 및 검색 요구부(218)에 송출된다. 또한, 처리 부담의 경감 관점에서, 검색용 키워드의 후보 수를 소정 수(예를 들어 3개)로 한정하는 것이 바람직하다.

여기에서, 도 7의 표시예를 참조하면, 표시화면(2O11)의 왼쪽 중앙에 나타내어지는 검색용 키워드의 후보는, 검색창(SB) 내에 「목표 합(目指せごう(히라가나))」·「목표 합격(目指せごうかく(히라가나))」·「목표 합격(目指せ合格(한자))」의 순으로 문자열이 표시된 경우에 선출되는 것이다. 이 경우, 나중에 표시된 인식 문자열일수록, 비중이 커지기 때문에, 검색용 키워드의 후보로서 빠른 번호가 붙여지고, 위쪽에 표시된다.

본 발명은 상술한 각 실시형태에 한정되는 것은 아니고, 청구항에 나타낸 범위에서 각종 변경이 가능하며, 다른 실시형태에 각각 개시된 기술적 수단을 적절히 조합시켜 얻어지는 실시형태에 대해서도 본 발명의 기술적 범위에 포함된다.

예를 들어, 상기 실시형태에서는, 검지한 「검색」 문자열(SC)의 위치로부터, 검색창(SB)을 검출하고, 검색창(SB) 내의 검색용 키워드의 후보를 선출하고 있지만, 검지한 「검색」 문자열(SC)의 주위로부터 상기 검색용 키워드의 후보를 직접 선출해도 좋다. 이 경우, 문자열의 검지 영역이 넓어지거나, 검색창(SB)으로부터 외부의 문자열을 오인식할 염려가 있지만, 검색창(SB)을 검출하는 처리를 생략할 수 있다.

또, 상기 실시형태에서는, 특히 인터넷 텔레비전을 예로 하여 서술하고 있지만, 그 외에도 TV 방송이 시청 가능하고 인터넷 통신이 가능한 휴대기기, 예를 들어 휴대전화기, 휴대형 게임 단말기 등에도 본 발명을 적용할 수 있는 것은 명백하다.

마지막으로, 본 발명에 따른 재생 디바이스(110)의 각 부(部)는 하드웨어 로직에 의해 구성해도 좋고, 다음과 같이 CPU를 이용하여 소프트웨어에 의해 실현해도 좋다.

즉, 재생 디바이스(110)는, 각 기능을 실현하는 제어 프로그램의 명령을 실행하는 CPU, 상기 프로그램을 격납한 ROM, 상기 프로그램을 전개하는 RAM, 상기 프로그램 및 각종 데이터를 격납하는 메모리 등으로 구성된 기억부(기록매체) 등을 갖추고 있다.

그리고, 본 발명의 목적은, 상술한 기능을 실현하는 소프트웨어인 제어 프로그램의 프로그램 코드(실행형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터로 읽어들일 수 있게 기록한 기록매체를, 재생 디바이스(110)에 공급하고, 그 컴퓨터(또는 CPU나 MPU)가 기록매체에 기록되어 있는 프로그램 코드를 읽어내어 실행함으로써도 달성 가능하다.

상기 기록매체로는, 예를 들어 자기 테이프나 카세트 테이프 등의 테이프계, 플로피(등록상표) 디스크/하드 디스크 등의 자기 디스크나 CD-ROM/MO/MD/DVD/CD-R 등의 광디스크를 포함하는 디스크계, IC 카드(메모리 카드를 포함함)/광 카드 등의 카드계, 또는 마스크 ROM/EPROM/EEPROM(등록상표)/플래쉬 ROM 등의 반도체 메모리계 등을 이용할 수 있다.

또, 재생 디바이스(110)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를 통신 네트워크를 통하여 공급해도 좋다. 이 통신 네트워크로는, 특별히 한정되지 않고, 예를 들어 인터넷, 인트라넷, 엑스트라넷, LAN, ISDN, VAN, CATV 통신망, 가상전용망(virtual private network), 전화회선망, 이동체 통신망, 위성통신망 등이 이용 가능하다. 또, 통신 네트워크를 구성하는 전송매체로는, 특별히 한정되지 않고, 예를 들어 IEEE 1394, USB, 전력선 반송, 케이블 TV 회선, 전화선, ADSL 회선 등의 유선으로도, IrDA나 리모콘과 같은 적외선, Bluetooth(등록상표), 802. 11 무선, HDR, 휴대전화망, 위성회선, 지상파 디지털망 등의 무선으로도 이용 가능하다.

본 발명에 따른 키워드 검출장치는, 인터넷상의 검색 엔진으로 검색을 하기 위한 검색용 키워드를 대상화상으로부터 검출하는 키워드 검출장치로서, 상기 과제를 해결하기 위해, 상기 대상화상으로부터 상기 검색을 촉구하는 특정 문자열의 특징점을 검출하는 특징점 검출부와, 상기 대상화상에서 상기 특징점 검출부가 검출한 특징점의 주위에 존재하는 문자열을, 상기 검색용 키워드로서 인식하는 키워드 인식부를 갖춘 것을 특징으로 하고 있다.

본 발명에 따른 키워드 검출장치에서는, 상기 대상화상에서, 상기 특징점 검출부가 검출한 특징점의 주위로부터, 상기 검색용 키워드를 입력하기 위한 검색창을 검출하는 검색창 검출부를 더 갖추고 있고, 상기 키워드 인식부는, 상기 검색창 검출부가 검출한 검색창 내의 문자열을, 상기 검색용 키워드로서 인식하는 구성인 것이 바람직하다.

일반적으로, 상기 검색창은, 예를 들어 사각형 등 형상이 한정되어 있기 때문에, 상기 특징점의 주위에서 상기 검색창을 검출하는 편이, 문자 인식에 의해 문자열을 검출하는 것보다 현저히 신속하게 검출할 수 있다. 또, 상기 검색창의 내부는, 상기 특징점의 주위보다도 현저히 좁기 때문에, 상기 검색창 내에서 문자열을 인식하는 편이, 상기 특징점의 주위로부터 문자열을 인식하는 것보다 현저히 신속하게 검출할 수 있다. 따라서, 상기 경우에는 검색용 키워드를 더 신속하게 검출할 수 있다.

그런데, 상기 검색창은, 「검색」 등의 검색을 촉구하는 특정 문자열의 왼쪽 부근에 위치해 있는 것이 많다. 또, 상기 검색창은, 사각형을 기조로 하면서도 다양한 형상을 갖고 있지만, 일반적으로는 윗변이 상기 특정 문자열의 외접 사각형(bounding box)의 왼쪽 위 정점 좌표보다도 왼쪽 위에 위치해 있고, 그리고 아랫변이 상기 외접 사각형의 왼쪽 아래 정점 좌표보다도 왼쪽 아래에 위치해 있다. 여기에서, 외접 사각형이란, 대상에 접하는 최소의 장방형을 말한다.

그래서, 본 발명에 따른 키워드 검출장치에서는, 상기 검색창 검출부는, 상기 대상화상에서, 상기 특정 문자열의 외접 사각형을 구하고, 구한 외접 사각형의 왼쪽 위 정점을 오른쪽 아래 정점으로 하는 상부 검출용 사각형과, 상기 외접 사각형의 왼쪽 아래 정점을 오른쪽 위 정점으로 하는 하부 검출용 사각형을 설정하고, 설정된 상부 검출용 사각형 및 하부 검출용 사각형 내에, 각각 상기 검색창의 윗변 및 아랫변을 검출하고, 검출된 윗변 및 아랫변에 의해 구성되는 사각형을 양 측방향으로 넓힌 측부 검출용 사각형을 설정하고, 설정된 측부 검출용 사각형 내에, 상기 검색창의 왼쪽 및 오른쪽 선을 검출함으로써, 상기 검색창을 검출하는 것이 바람직하다.

이 경우, 상기 검색창을 검출하기 위한 영역이, 상기 상부 검출용 사각형, 하부 검출용 사각형, 및 측부 검출용 사각형 내의 영역으로 한정된다. 따라서, 상기 검색창을 더 신속하게 검출할 수 있고, 그 결과 상기 검색용 키워드를 더 신속하게 검출할 수 있다.

본 발명에 따른 키워드 검출장치에서는, 상기 대상화상은, 동화상에서의 일련의 정지화상이고, 상기 검색창 검출부가, 한 상기 정지화상으로부터 상기 검색창을 검출한 경우, 그 후의 상기 정지화상으로부터 상기 검색창이 검출되지 않을 때까지, 상기 특징점 검출부의 동작을 생략하는 것이 바람직하다.

이 경우, 상기 검색창이 검출되고 있는 동안은, 상기 특징점 검출부에 의한 특정 문자열의 특징점의 검출이 생략되기 때문에, 상기 검색용 키워드를 더 신속하게 검출할 수 있다. 또, 상기 특정 문자열의 특징점은, 상기 대상화상의 전체를 조사하여 검출하고 있기 때문에, 상기 대상화상의 사이즈가 커짐에 따라, 검출에 필요한 시간이 길어진다. 따라서, 상기의 경우에는, 상기 대상화상의 사이즈가 커짐으로 인해 상기 검색용 키워드의 검출이 지연되는 것을 억제할 수 있다.

그런데, 문자 인식에 의해 얻어지는 문자에는, 매칭 신뢰도 순으로 몇 개의 문자 후보가 포함되고, 제1 문자 후보가 정해(正解)의 문자라고는 한정되지 않지만, 상위(예를 들어 제1∼제3)의 문자 후보의 어느 하나가 정해(正解)의 문자일 가능성이 높다.

그래서, 본 발명에 따른 키워드 검출장치에서는, 상기 키워드 인식부는, 상기 검색창 내의 문자열을 구성하는 문자마다, 문자 인식을 하여 소정의 조건을 만족하는 1 또는 복수의 문자 후보를 검출하고, 상기 각 문자의 문자 후보를 조합시킴으로써, 상기 검색용 키워드의 후보를 복수 개 작성하는 것이 바람직하다. 이 경우, 제1 문자 후보만을 조합시킴으로써, 올바른 검색용 키워드가 얻어지지 않는 리스크를 저감할 수 있다.

그런데, 정해의 문자는, 제2 이후의 문자 후보였다 해도, 매칭 신뢰도가 높다고 생각하거나, 또는 제1 문자 후보에 비해, 매칭 신뢰도의 차가 적다고 생각할 수 있다.

그래서, 상기 소정의 조건은, 상기 문자 인식에 의한 매칭 신뢰도가 소정의 역치보다도 큰 것인 것이 바람직하다. 또, 상기 소정의 조건은, 상기 문자 인식에 의한 매칭 신뢰도가, 그 매칭 신뢰도가 최대인 문자 후보(제1 문자 후보)의 매칭 신뢰도와의 차가 소정의 범위 내인 것이 바람직하다. 이들의 경우, 정해의 문자를 포함하는 문자 후보를 적절히 검출할 수 있다.

또, 상기 키워드 인식부는, 상기 각 문자의 문자 후보를 조합시킨 인식 문자열의 스코어를, 그 인식 문자열을 구성하는 문자 후보의 매칭 신뢰도의 평균값으로 하고, 상기 스코어가 상위인 인식 문자열을 상기 검색용 키워드의 후보로 하는 것이 바람직하다. 이 경우, 올바른 검색용 키워드를 포함하는 후보를 적절하게 검출할 수 있다.

그런데, 상기 검색창 내의 문자열 및 문자 수가 시간과 함께 변화하는 경우가 있다. 이 경우, 상기 문자열 및 문자 수의 변화가 종료한 후에 인식한 문자열이 올바른 검색용 키워드일 가능성이 높다.

그래서, 본 발명에 따른 키워드 검출장치에서는, 상기 대상화상은, 동화상에서의 일련의 정지화상이고, 상기 키워드 인식부는, 상기 검색창 검출부가, 몇 개의 상기 정지화상으로부터 상기 검색창을 검출하고 나서, 그 후에 이어지는 상기 정지화상으로부터 상기 검색창이 검출되지 않을 때까지 작성된 인식 문자열 중에서 상기 검색용 키워드의 후보를 작성하고 있고, 한 상기 정지화상으로부터의 인식 문자열의 문자 수에 비해, 다음의 상기 정지화상으로부터의 인식 문자열의 문자 수가 변화할 때마다, 그 인식 문자열의 스코어의 비중이 커지고, 비중이 주어진 상기 스코어가 상위인 인식 문자열을 상기 검색용 키워드의 후보로 하는 것이 바람직하다. 이 경우, 상기 검색창 내의 문자열 및 문자 수가 시간과 함께 변화하는 경우에도 대응할 수 있다.

산업상 이용 가능성

이상과 같이, 본 발명에 따른 키워드 검출장치는, 대상화상에서, 검색을 촉구하는 특정 문자열의 특징점이 검출되고, 검출된 특징점의 주위에 존재하는 문자열이, 검색용 키워드로서 인식됨으로써, 상기 검색용 키워드를 종래보다도 신속하게 검출할 수 있기 때문에, 검색용 키워드를 대상화상으로부터 검출하는 임의의 장치에 적용할 수 있다.

10, 20: 제어부
101: 송신부
104: 기억부
110: 재생 디바이스(키워드 검출장치)
111; 동화상 재생부
112: 정지화상 생성부
113: 문자열 검지부(특징점 검출부)
115: 검색창 검출부
116: 문자 인식부(키워드 인식부)
117: 합성부
121: 화상정보 기억부
122: 문자정보 기억부
200: 표시장치(표시기기)
201: 표시부
202: 네트워크 I/F부
206: 조작부
207: 방송 수신부
217: 키워드 후보 작성부
218: 검색 요구부
SB: 검색창
SC: 문자열

Claims (13)

1. 인터넷상의 검색 엔진으로 검색을 하기 위한 검색용 키워드를 대상화상으로부터 검출하는 키워드 검출장치로서,
   상기 대상화상으로부터 상기 검색을 촉구하는 특정 문자열의 특징점을 검출하는 특징점 검출부; 및
   상기 대상화상에서, 상기 특징점 검출부가 검출한 특징점의 주위에 존재하는 문자열을, 상기 검색용 키워드로서 인식하는 키워드 인식부
   를 갖는 것을 특징으로 하는 키워드 검출장치.
   
2. 제1항에 있어서, 상기 대상화상에서, 상기 특징점 검출부가 검출한 특징점의 주위로부터, 상기 검색용 키워드를 입력하기 위한 검색창을 검출하는 검색창 검출부를 더 갖추고 있고,
   상기 키워드 인식부는, 상기 검색창 검출부가 검출한 검색창 내의 문자열을, 상기 검색용 키워드로서 인식하는 것을 특징으로 하는 키워드 검출장치.
   
3. 제2항에 있어서, 상기 검색창 검출부는, 상기 대상화상에서,
   상기 특정 문자열의 외접 사각형을 구하고,
   구한 외접 사각형의 왼쪽 위 정점(頂点)을 오른쪽 아래 정점으로 하는 상부 검출용 사각형과, 상기 외접 사각형의 왼쪽 아래 정점을 오른쪽 위 정점으로 하는 하부 검출용 사각형을 설정하고,
   설정된 상부 검출용 사각형 및 하부 검출용 사각형 내에, 각각 상기 검색창의 윗변 및 아랫변을 검출하고,
   검출된 윗변 및 아랫변에 의해 구성되는 사각형을 양 측방향으로 넓힌 측부 검출용 사각형을 설정하고,
   설정된 측부 검출용 사각형 내에, 상기 검색창의 왼쪽 및 오른쪽 선을 검출함으로써, 상기 검색창을 검출하는 것을 특징으로 하는 키워드 검출장치.
   
4. 제2항 또는 제3항에 있어서, 상기 대상화상은, 동화상에서의 일련의 정지화상이고,
   상기 검색창 검출부가, 한 상기 정지화상으로부터 상기 검색창을 검출한 경우, 그 후의 상기 정지화상으로부터 상기 검색창이 검출되지 않을 때까지, 상기 특징점 검출부의 동작을 생략하는 것을 특징으로 하는 키워드 검출장치.
   
5. 제2항 내지 제4항의 어느 한 항에 있어서, 상기 키워드 인식부는, 상기 검색창 내의 문자열을 구성하는 문자마다, 문자 인식을 하여 소정의 조건을 만족하는 1 또는 복수의 문자 후보를 검출하고, 상기 각 문자의 문자 후보를 조합시킴으로써, 상기 검색용 키워드의 후보를 복수 개 작성하는 것을 특징으로 하는 키워드 검출장치.
   
6. 제5항에 있어서, 상기 소정의 조건은, 상기 문자 인식에 의한 매칭 신뢰도가 소정의 역치보다도 큰 것인 것을 특징으로 하는 키워드 검출장치.
   
7. 제5항 또는 제6항에 있어서, 상기 소정의 조건은, 상기 문자 인식에 의한 매칭 신뢰도가, 그 매칭 신뢰도가 최대인 문자 후보의 매칭 신뢰도와의 차이가 소정의 범위 내인 것을 특징으로 하는 키워드 검출장치.
   
8. 제5항 내지 제7항의 어느 한 항에 있어서, 상기 키워드 인식부는, 상기 각 문자의 문자 후보를 조합시킨 인식 문자열의 스코어를, 그 인식 문자열을 구성하는 문자 후보의 매칭 신뢰도의 평균값으로 하고, 상기 스코어가 상위인 인식 문자열을 상기 검색용 키워드의 후보로 하는 것을 특징으로 하는 키워드 검출장치.
   
9. 제8항에 있어서, 상기 대상화상은, 동화상에서의 일련의 정지화상이고,
   상기 키워드 인식부는,
   상기 검색창 검출부가, 몇 개의 상기 정지화상으로부터 상기 검색창을 검출하고 나서, 그 후에 이어지는 상기 정지화상으로부터 상기 검색창이 검출되지 않을 때까지 작성된 인식 문자열 중에서 상기 검색용 키워드의 후보를 작성하고 있고,
   한 상기 정지화상으로부터의 인식 문자열의 문자 수와 비교하여, 다음의 상기 정지화상으로부터의 인식 문자열의 문자 수가 변화할 때마다, 그 인식 문자열의 스코어의 비중이 커지고,
   비중이 주어진 상기 스코어가 상위인 인식 문자열을 상기 검색용 키워드의 후보로 하는 것을 특징으로 하는 키워드 검출장치.
   
10. 인터넷상의 검색 엔진으로 검색을 하기 위한 검색용 키워드를 대상화상으로부터 검출하는 청구항 1 내지 청구항 9의 어느 한 항에 기재된 키워드 검출장치; 및
    상기 키워드 검출장치가 검출한 검색용 키워드와, 상기 대상화상을 표시하는 표시장치
    를 갖는 것을 특징으로 하는 표시기기.
    
11. 인터넷상의 검색 엔진으로 검색을 하기 위한 검색용 키워드를 대상화상으로부터 검출하는 키워드 검출장치의 제어방법으로서,
    상기 대상화상으로부터, 상기 검색을 촉구하는 특정 문자열의 특징점을 검출하는 특징점 검출 단계; 및
    상기 대상화상에서, 상기 특징점 검출 단계에서 검출된 특징점의 주위에 존재하는 문자열을, 상기 검색용 키워드로서 인식하는 키워드 인식 단계
    를 포함하는 것을 특징으로 하는 키워드 검출장치의 제어방법.
    
12. 인터넷상의 검색 엔진으로 검색을 하기 위한 검색용 키워드를 대상화상으로부터 검출하는 키워드 검출장치를 동작시키기 위한 제어 프로그램으로서,
    상기 대상화상으로부터, 상기 검색을 촉구하는 특정 문자열의 특징점을 검출하는 특징점 검출 단계; 및
    상기 대상화상에서, 상기 특징점 검출 단계에서 검출된 특징점의 주위에 존재하는 문자열을, 상기 검색용 키워드로서 인식하는 키워드 인식 단계
    를 컴퓨터에 실행시키기 위한 제어 프로그램.
    
13. 청구항 12에 기재된 제어 프로그램이 기록된 컴퓨터 리더블 기록매체.

Images