KR20130058783A

KR20130058783A - 동영상 이미지 인식 방법 및 이를 이용한 지시기능 수행 시스템

Info

Publication number: KR20130058783A
Application number: KR1020110124698A
Authority: KR
Inventors: 최병규
Original assignee: 최병규
Priority date: 2011-11-27
Filing date: 2011-11-27
Publication date: 2013-06-05

Abstract

본 발명은, 재생되는 동영상에서 특정 이미지를 선택한 경우,이를 즉시 인식할 수 있는 재생 동영상 인식 방법과, 이러한 인식 방법을 이용하여 각 이미지별로 특정 기능을 수행하도록 기능을 설정하여, 특정 이미지가 선택되면 해당 이미지에 설정된 특정 기능을 수행하도록 하는 이미지 인식을 이용한 기능 수행 장치이다.
이와 같이, 본 발명은 재생되는 동영상을 이용하여 사업 서비스 또는 마케팅에 광범위하게 활용할 수 있는 방법 및 시스템을 제공한다.

Description

동영상 이미지 인식 방법 및 이를 이용한 지시기능 수행 시스템{THE METHOD AND USING SYSTEM FOR RECOGNIZING IMAGE OF MOVING PICTURES}

본 발명은 동영상이 재생되는 상태에서 재생중인 화면에 표시되는 소정의 특정 이미지를 사용자가 선택한 경우 이를 인식할 수 있는 방법에 관한 것으로,인식해야 할 특정 이미지 정보를 재생시간 기준으로 미리 데이타화 하여 이를 인식할 수 있도록 한 것이다.

또한, 이러한 실시간 재생 동영상 이미지 인식 기술을 이용하여, 사용자가 선택한 이미지에 따라 미리 정해진 기능들을 수행하도록 함으로써 다양한 서비스를 제공할 수 있는 시스템에 관한 것이다.

일반적으로 영상에서 물체를 인식하는 기술은, 특허출원 제 1020080125523 호(영상을 이용한 얼굴 인식 방법 및 장치)에 게시된 바와 같이,물체의 특징 벡터 DB를 구축하고, 인식 대상 물체의 특징 벡터를 추출하여 저장된 특징 벡터들과 추출된 특징 벡터를 비교하여 물체를 인식하는 방법이 있으나, 이 방법은 RGB 영상을 그레이 영상으로 전처리한 후 그것을 이진화하여 연산을 해야 하므로 많은 시간이 소요되는 문제가 있으며, 물체의 배경 정보의 복잡도에 따라 그 정확도가 현저히 떨어지게 된다.

따라서, 이러한 방식은 본 발명과 같이,1초에 수십개의 영상 프레임(frame)이 재생되는 동영상에서 특정 이미지를 실시간으로 인식하는 경우에는 적용하기 어려운 문제점이 있었다.

그리고, 최근 스마트폰과 같은 액정 표시장치에서, 일반 화면에 표시된 영역 또는 기호등을 터치(touch)하면 필요한 회면으로 전환되는 방식이 있으나, 이러한 기술은 재생되는 동영상에 적용되는 것이 아니므로, 역시 본 발명과 같은 실시간 재생 동영상에서의 특정 이미지 인식 방법과는 다른 것이라 할 것이다.

본 발명은 이러한 종래의 문제점을 개선하기 위하여 안출한 것으로서, 실시간으로 동영상이 재생되는 상태에서 사용자가 화면에 표시되는 동영상의 특정 영상 이미지를 선택하면, 미리 구축된 영상 프레임별 특정 이미지의 데이타베이스에 의해서 이를 인식할 수 있는 재생 동영상 이미지 인식 방법을 제공하는 것을 제1 기술적 과제로 한다.

또한, 이러한 상기의 동영상 이미지 인식 방법을 이용하여, 선택된 이미지의 지시 기능에 따라 다양한 기능을 수행할 수 있도록 함으로써, 동영상을 이용한 사업적 마케팅과 다양한 서비스를 제공하는 것을 제2 기술적 과제로 한다.

이러한 과제를 해결하기 위하여 본 발명에서는,

재생중인 동영상에서 특정 이미지를 선택하면 이를 인식하는 방법에 있어서, 동영상의 재생 시간별 영역이 같은 특정 이미지를 기준으로 이미지 데이타베이스를 구축하는 이미지 데이타 구축 과정과,

동영상이 재생되는 상태에서 사용자가 특정 이미지를 선택하면 그 선택 시점을 인식하고 이미지 데이타베이스에서 인식된 재생 시간을 포함하는 이미지 데이타를 검색하는 이미지 데이타 검색 과정과,

이미지 데이타 검색 과정에서 최종 선택된 이미지 데이타의 특정 이미지에 설정된 기능을 판별하여 그 설정된 기능을 수행하도록 지시하는 특정 이미지 기능지시 과정으로 동영상 이미지를 인식하도록 하는 방법 및;

동영상에 포함된 특정 이미지의 재생 시간과 그 영역 값들을 포함한 이미지 데이타들을 저장하도록 구성된 이미지 DB와,동영상 이미지 인식을 이용한 지시 기능 수행 시스템을 제어하도록 구성된 시스템 제어부와,

시스템 제어부의 지시에 따라 상기 동영상을 재생하도록 구성된 영상 재생부와,영상 재생부의 영상을 화면에 표시하도록 구성된 영상 표시부와,동영상이 재생되는 상태에서 영상 표시부의 화면 표시 영역을 사용자가 선택했는지를 감지하여 선택했을 경우 그 선택된 시점의 동영상 재생시간 및 선택 위치의 좌표값을 상기 시스템 제어부에 전달하도록 구성된 선택 감지부와,상기 동영상의 이미지 DB 구축 기준 화면 사이즈 값을 저장하도록 구성된 영상 DB와,상기 시스템 제어부의 지시에 따라 상기 선택 위치의 좌표값을 상기 기준화면 사이즈 값을 기준으로 상기 영상 표시부의 화면 사이즈 값과의 비율만큼 연산하여 변환된 좌표값으로 상기 시스템 제어부에 전달하도록 구성된 좌표 연산부와,시스템 제어부의 지시에 따라 선택 시점의 재생시간 및 선택위치 좌표값이 각각 이미지 데이타의 재생시간 범위 및 영역범위 내에 포함되는 이미지 데이타를 검색하여 시스템 제어부에 전달하도록 구성된 이미지 인식부 및 시스템 제어부의 지시에 따라 이미지 인식부의 검색 이미지 데이타에 설정된 지시 기능을 수행하도록 된 기능 수행 장치로 구성된다.

본 발명은,재생되는 동영상에서 사용자가 특정 이미지를 선택하면 이를 즉시 인식할 수 있는 방법을 제공함으로써, 이러한 방법을 이용한 다양한 서비스를 사업적으로 이용할 수 있는 효과가 있는 것이다.

예를 들어,자동차 마케팅의 경우, 어떤 스토리 또는 광고 동영상을 이용하여 사용자가 시청중에 동영상에 나타나는 자동차를 선택하면, 재생을 일시 중지하고 선택된 자동차의 상세 정보를 팝업(pop-up) 또는 화면 전환등으로 보여주고 구매 버튼을 구비하여 구매를 진행할 수 있도록 서비스할 수 있게 된다.

상세정보 화면을 닫으면 다시 영상을 계속 재생할 수도 있을 것이다.

인터넷 쇼핑몰의 경우, 동영상에 패셔너블(fashionable)한 연예인을 등장시켜 호감가는 영상을 제공하고, 소비자가 그 유명인을 선택하면 정지화면으로 그 연예인을 확대 표시하고 입고 있는 옷, 구두, 시계, 반지, 헤어스타일 등의 상세 정보와 구매절차를 진행할 수 있을 것이다.

또한,외국어 학습의 경우에는, 선택된 이미지의 단어,뜻,발음,관련숙어,예문등을 제공할 수도 있을 것이며, 드라마나 영화의 경우에는 특정 배우를 선택하면 그 배우의 대사를 문장이나 발음으로 반복 재생하는 학습 서비스에도 활용할 수 있을 것이다.

그리고, 최근 시도되고 있는 인터랙션(interaction) 영화나 드라마의 경우,스마트폰으로 이를 시청하다가 특정 이미지를 선택하면 미리 설정된 다른 장면으로 이동하도록 하여, 영화의 스토리 전개를 관객 각자가 개인의 취향에 따라 선택,결정할 수 있는 자기 주도형 영화, 드라마 시청도 가능하다 할 것이다.

이와 같이, 본 발명의 적용 분야 및 활용 효과는 매우 광범위하고 뛰어난 것이다.

제1도는 본 발명에 따른 동영상 이미지 인식을 이용한 지시 기능 수행 시스템의 블럭 구성도이다.
제2도는 본 발명에 따른 동영상 이미지 인식 방법의 프로세스를 나타낸 플로우 챠트의 일 실시 예이다.
제3도는 본 발명에 따른 동영상 이미지 데이타베이스 구축의 일 실시 예이다.
제4도는 제3도의 데이타베이스 영역을 표시한 참고도이다.

제1도 에서,먼저 본 발명의 핵심 요소로서,전체 동영상의 특정 이미지를 저장하도록 구성된 이미지 DB(16)의 구성에 대해 상세히 설명한다.

상기 이미지DB(16)는, 영상재생부(11)에서 재생하는 전체 영상 프레임에 포함된 특정 이미지의 영역등을 데이타베이스화 하여 저장한 저장 장치로써, 제3도 및 제4도와 같이, 미리 설정된 특정 이미지가 재생화면의 동일 영역에 표시되는 영상화면 프레임의 재생 시작시간, 재생 종료시간, 각 이미지의 화면상 표시영역, 각 이미지의 수행 기능 등의 이미지 데이타들을 구비하도록 구성된다.

상기에서, 이미지의 동일 영역이라는 의미는,이미지의 영역 전체가 화면의 동일 위치에 있는 것을 의미하며,만약 영역이 바뀌면 영역 값의 일부 또는 전부가 달라지므로 이 경우에는 별도의 이미지 데이타로 저장하게 된다.

즉, 제3도에서 '옷'이라는 동일한 이미지가, 아이디 3(옷), 5(옷)로 각각 다른 이미지 데이타로 되어 있는 것은 이러한 이유 때문이다.

물론, 제3도는 예시로서 5개의 데이타만 나타낸 것이나 실제는 동일한 방식으로 수많은 데이타가 저장되어 있게 된다.

또한,제3도에 도시한 바와 같이,이미지 데이타에는 그 이미지의 아이디,각 이미지의 이름 등 프로그램에 필요한 경우 필요 데이타를 적절히 추가할 수도 있을 것이며,아이디와 이미지만을 따로 데이타베이스화 하여 활용할 수도 있을 것이다.

여기서, 각 이미지는 일 실시 예로써 사각형의 영역으로 표시한다.

따라서, 각 이미지의 영역은 사각형의 일측 꼭지점(P2)을 기준 좌표값으로 정하고, 상기 기준 좌표값의 폭(width)과 높이(height)를 정하면 전체 영역의 면적을 산출할 수 있게 되므로, 기준 좌표의 x,y, 폭, 높이 값으로 지정되어 있다.

본 실시 예에서는 화면 좌측 상단을 기준 좌표값으로 설명한다.

이 경우 높이는 세로축(y)의 아래쪽 길이를 나타내는 것이다.

만약, 이미지를 다른 방식, 예를 들어 구(球)) 형태로 영역 표시를 하는 경우에는 원의 중심 좌표값(x,y)과 반지름(r)값을 표시하게 될 것이다.

본 발명은 상기에서 설명한 바와 같이, RGB 영상처리를 통한 연산시간 문제와 부정확한 물체 인식의 문제점을 개선하기 위하여, 각 이미지의 영역을 단순화 하고 그 값을 데이타화한 기술이므로 영역의 설정은 매우 중요한 구성 요소라 할 것이며,

일반적으로 사용자가 이미지를 선택할 때 전반적으로 중심에서 크게 벗어난 영역을 선택하는 경우는 희박하므로 곡선의 이미지 영역을 그대로 영역화 하지 않아도 사용상 큰 문제는 없다 할 것이므로 이를 단순 도식화한 것은 매우 유용하다 할 것이다.

또한, 상기 이미지 DB(16)는 재생시간 대신 각 이미지가 동일 영역에 나타나는 프레임 시퀀스(sequence)의 시작과 종료 번호를 표시하고, 이를 기준으로 인식하게 하여도 결과는 동일할 것이다.

즉, 프레임 시퀀스는 일정한 시간 간격(예:1초에 30프레임)으로 표시되므로 결국 재생시간과 동일한 결과를 얻게 되는 것이다.

상기 영상재생부(11)는 시스템 제어부(10)의 지시에 따라 구비된 영상을 영상표시부(20)에 나타내도록 구성된다.

이때, 상기 영상재생부(11)는 재생되는 영상의 재생시간을 실시간 체크하고, 또한 상기 영상표시부(20)의 화면사이즈 값을 인지하도록 구성되어 있다.

선택 감지부(12)는, 상기 영상표시부(20)에 동영상이 재생되는 상태에서 사용자가 특정 이미지를 선택하면, 이를 감지하고 사용자가 선택한 위치를 확인하여 상기 영상 표시부(20)의 화면상의 좌표(x.y)값을 상기 시스템 제어부(10)에 전달하도록 구성된다

영상DB(13)는, 상기 영상재생부(11)가 상기 영상표시부(20)에서 재생중인 동영상의 이미지 DB를 구축한 기준화면 사이즈값(예:480x320 pixel)을 저장하도록 구비되어 있다.

좌표 연산부(14)는, 상기 시스템 제어부(10)의 지시에 따라, 상기 선택감지부(12)가 감지한 상기 영상표시부(20)의 사용자 선택위치 좌표값을, 상기 영상재생부(11)에서 전달받은 상기 영상표시부(20)의 재생영역 화면 사이즈 값과, 영상DB(12)에 저장된 상기 재생 동영상의 기준화면 사이즈 값을 비교하여, 원본 기준 화면 사이즈 값을 기준으로 한 좌표값으로 연산하여,그 변환된 좌표값을 상기 시스템 제어부(10)에 전달하도록 구성된다.

이미지 인식부(15)는, 상기 시스템 제어부(10)에 의해, 상기 선택 감지부(12)가 사용자의 특정 이미지 선택을 감지한 시점에서 상기 영상재생부(11)가 체크한 영상 재생시간과, 상기 좌표 연산부(14)가 연산한 사용자 선택 위치의 변환된 좌표값을 기준으로, 이미지DB(16)의 이미지 데이타를 검색하여 해당되는 이미지 데이타가 있는지 1차적으로 판단하고, 만약 이미지 데이타가 있는 경우에는 하나 이상인지 여부를 판단하여,복수인 경우에는 각 이미지의 중심 좌표값을 산출하여 그 중심 좌표값에 더 가까운 이미지 데이타를 2차적으로 판단,선택하며,

또한, 2차 검색 결과가 하나 이상인지 여부를 다시 판단하여 만약 복수이면 각 이미지의 영역값을 계산하여 그 영역값이 더 작은 이미지 데이타를 선택해서 상기 시스템제어부(10)에 전달하도록 구성된다.

이것은 화면상에 표시되는 특정 이미지가 중첩되는 경우, 어느 이미지를 선택한 것으로 판단해야 하는지를 논리적으로 판단하기 위한 방법이라 할 것이다.

기능 수행 장치(30)는 상기 이미지 인식부(15)에서 사용자가 선택한 특정 이미지를 인식한 경우, 상기 시스템 제어부(10)에 의해 상기 인식된 이미지에 의해 수행되도록 지시된 기능을 전달받아 필요한 기능을 수행하도록 구성된 수단을 포함하는 전체 장치를 의미한다.

상기 시스템제어부(10)는, 상기에서 이미 설명한 바와 같이,상기 영상재생부(11), 선택감지부(12), 영상DB(13), 좌표연산부(14), 이미지인식부(15), 및 기능수행장치(30)와 신호 또는 데이타를 지시하거나 전달받는 제어기능을 함으로써 본 발명에 따른 영상 이미지 인식과 이를 이용하여 필요한 기능을 수행하도록 구성된다.

이와 같이 구성된 본 발명의 작용 효과를 도면과 함께 설명한다.

제2도는 본 발명에 따른 동영상 이미지 인식 방법의 프로세스의 일 실시 예를 나타낸 플로우 차트로써, 먼저 상기에서 설명한 바와 같이,재생할 동영상을 이용해서 특정서비스 또는 마케팅 등에 사용할 기능과, 각 기능에 적합한 특정 이미지를 선정한 후, 재생할 전체 동영상에 포함된 특정 이미지의 데이타베이스를 제3도와 같이 상기에서 설명한 방식으로 구축한다.

즉, 전체 동영상 재생시 상기 특정 이미지가 동일영역에 표시되는 화면 프레임의 재생 시작시간(또는 시작 프레임시퀀스),재생 종료시간(또는 종료 프레임시퀀스),이미지ID,이미지 이름,표시 영역값,사용자 선택시 수행할 기능 등이 포함되도록 하여 재생 시간을 기준으로 순차로 또는 각 이미지 아이디 별로 데이타베이스화 한다.

이와 같이, 특정 이미지 데이타 구축과정(S1)이 완료되면, 상기 시스템 제어부(10)는 상기 영상 재생부(11)에 구비된 동영상을 재생하도록 지시하고, 이에 따라 상기 영상재생부(11)는 상기 영상표시부(20)에 상기 동영상을 재생하여 표시한다.(S2).

상기 동영상이 재생되면 상기 시스템 제어부(10)는, 상기 선택 감지부(12) 로부터 감지된 사용자 이미지 선택이 있는지 계속 체크하다가(S3), 사용자 선택이 있으면, 상기 영상 재생부(11)로 부터 선택 시점에서의 재생시간 데이타를 전달받아 인식하고(S4),상기 선택 감지부(12)로 부터 전달받은 사용자 선택위치의 화면 좌표값을 인식 해둔다(S5).

또한, 상기 영상재생부(11)로 부터 상기 재생중인 영상의 화면 사이즈 데이타를 전달받아 상기 영상DB(13)에 저장된 기준 화면 사이즈 값과 같은지 비교한다(S6).

비교 결과 만약 같지 않으면, 상기 좌표 연산부(14)에 이를 연산하도록 지시하여 선택위치의 좌표값을 변환 한다(S7).

여기서, 좌표변환은 다음과 같이 연산된다.

재생중인 영상의 표시장치 화면 사이즈 값(A): 이미지 DB 기준화면 사이즈 값(B)

= 사용자 선택위치 좌표값(X,Y): 변환 좌표값(Cx,Cy) 이 된다.

예를 들어서, 제4도와 같이

A:960x640 pixel , B:480x320 pixel , x=100, y=100 인 경우,

960:480=100:CX , 640:320=100:CY , Cx=50, Cy=50 로 된다.

즉, 화면 비율을 x,y축 각각의 Pixel 비율로 연산하여 그 비율만큼 좌표값을 변환하면 변환 좌표값을 계산할 수 있게 된다.

만약 영상표시부 사이즈가 같으면 별도의 연산은 하지 않게 된다.

이와 같이, 변환된 사용자 선택위치 좌표값이 도출되면, 상기 시스템 제어부(10)는 상기 S4~S7 단계에서 인식한 재생시간 및 선택위치 좌표 데이타를 상기 이미지 인식부(15)에 전달하여 해당되는 이미지 데이타가 있는지 검색하도록 지시한다.

이에 따라, 상기 이미지 인식부(15)는, 상기 선택 시점의 재생시간이 포함되는 특정 이미지가 있는지 여부를 상기 이미지DB(16)에서 검색한다(S8).

(선택 시점의 재생 시간이 이미지 데이타의 재생 시작시간과 종료시간 범위 이내에 포함되는지 여부를 의미함)

만약 해당되는 이미지가 없는 경우에는, 사용자가 특정 이미지를 선택한 것이 아니므로 원래의 단계(S2)로 돌아가고, 해당되는 이미지가 있는 경우에는 상기 시스템 제어부(10)로 부터 전달받은 동일 이미지의 선택위치 좌표값을 그 영역 범위 이내에 포함하는 이미지가 있는지를 상기 이미지DB(16)에서 재검색 한다(S9).

여기서,영역범위 계산은 다음과 같이 실시할 수 있을 것이다.

즉,선택 좌표의 x,y 값이 각각 이미지 영역범위의 x,y 값 이내에 포함되는지 판단하는 방법으로서 이를 식으로 나타내면,

사용자 선택좌표: x,y , 이미지 영역 꼭지점: x1,y1, 폭: w , 높이: h 라 하면,

영역범위는 (x1 <= x <= x1 + w) and (y1 <= y <= y1 + h)

(선택위치 좌표값 X, Y 가 각각 이미지 데이타의 영역범위 이내에 포함되는지 여부를 의미함)

만약 이미지 데이타가 없으면 원래 단계(S2)로 돌아가고, 이미지 데이타가 있는 경우에는 해당되는 데이타가 복수인지 아닌지 체크한다(S10).

만약 하나인 경우에는 해당되는 이미지 데이타를 상기 시스템제어부(10)에 전달하고, 복수인 경우에는 각 이미지 영역의 중심좌표를 계산하여 중심좌표에 더 가까운 이미지 데이타를 검색(S11)한 후, 검색된 이미지 데이타가 복수인지 아닌지 다시 체크하고(S12), 하나인 경우에는 해당되는 이미지 데이타를 상기 시스템 제어부(10)에 전달하고,복수이면 검색된 이미지의 영역을 계산하여 영역이 가장 작은 이미지의 데이타를 선택하여(S13) 상기 시스템 제어부(10)에 전달한다.

상기 시스템제어부(10)는,상기 이미지 인식부(15)에 의해 최종적으로 검색,선택되어 전달받은 이미지 데이타에서 선택된 이미지가 수행해야 할 기능이 무엇인지 체크하여 상기 기능 수행장치(30)에 해당기능을 수행하도록 지시한다(S14).이에 따라 상기 기능 수행 장치는 상기 시스템 제어부(10)로 부터 지시받은 기능을 수행하게 된다(S15).

여기서. 상기 재생시간 인식 단계(S4)및 선택좌표 인식단계(S5)는 상호 정해진 순서는 없으며, 어느 단계를 먼저 하거나 최종 검색 결과에는 영향이 없고,또한 반드시 좌표 변환 단계(S6,S7)의 전단계에서 수행되어야 한다는 의미도 아니며, 다만 이미지 인식단계(S8,S9)이전에만 수행하면 되는 것이다.

더불어, 이미지 인식단계(S8,S9)도 상호간 특정한 순서는 없으며, 어느 단계를 먼저 혹은 나중에 하여도 결과는 동일한 것이다.

여기서, 상기 중심좌표 검색단계(S11)에서 중심 좌표를 계산하는 방법은,

사용자 선택좌표: x,y , 이미지 영역 꼭지점: x1,y1, 폭: w1 , 높이: h1 라 하면,

중심 좌표 cx1 = (x1 + w1) / 2, cy1 = (y1 + h1) / 2

사용자의 선택 좌표와 중심 좌표와의 거리는

사용자 선택 좌표와 각 영역의 중심 좌표간의 거리를 계산해서 가장 가까운 거리의 영역을 선택한다.

또한, 각 이미지의 표시영역의 크기는 다음과 같이 계산할 수 있을 것이다.즉, 제3도와 같이 이미지 데이타의 이미지 영역값은(x,y,width,height)로 표시되어 있다.

여기서, 꼭지점 x,y는 화면상의 위치 값이므로 면적으로 표시되는 영역의 크기와는 무관하며, 영역의 크기 즉, 면적은 (가로*세로)=(width * height) 이다.

예를들어, 제3도의 ID 1 의 영역크기는 300 * 200 = 60000, ID 2 의 영역크기는 50 * 50 = 2500 이므로 (이미지영역 ID 1) > (이미지영역 ID 2) 가 된다.

제4도는, 480*320 Pixel 화면 사이즈를 기준으로 구축된 상기 이미지DB(16)에 지정된 이미지 데이타 중 ID 2의 영역값을 현재 재생화면이 960*640 Pixel인 경우의 꼭지 기준점,변환좌표, 중심좌표, 영역크기를 이해하기 쉽게 표시한 참고도 이다.

지금까지 본 발명의 구성 및 이에 따른 동영상 이미지 인식 방법 및 이를 이용한 지시기능 수행 시스템에 대하여 설명하였다.

10 : 시스템 제어부 11 : 영상 재생부 12 : 선택 감지부
13 : 영상 DB 14 : 좌표 연산부 15 : 이미지 인식부
16 : 이미지 DB 20 : 영상 표시부 30 : 기능 수행장치

Claims

재생중인 동영상에서 특정 이미지를 선택하면 이를 인식하는 방법에 있어서,상기 동영상에서 미리 설정된 특정 이미지의 동일영역 재생 시간을 기준으로 이미지 데이타베이스를 구축하는 이미지 데이타 구축 과정과,
상기 동영상이 재생되는 상태에서 사용자가 특정 이미지를 선택하면 그 선택 시점의 재생 시간을 인식하고 상기 이미지 데이타베이스에서 상기 선택 시점의 재생 시간이 포함된 이미지 데이타를 검색하는 이미지 데이타 검색 과정,
을 갖는 것을 특징으로 하는 동영상 이미지 인식 방법
제1항에 있어서,
상기 이미지 데이타 구축 과정에서 이미지 데이타에 각 이미지가 수행할 기능을 추가로 지정하는 과정과,
상기 이미지 데이타 검색 과정에서 최종 선택된 이미지 데이타의 특정 이미지에 설정된 기능을 판별하여 그 설정된 기능을 수행하도록 지시하는 특정 이미지 수행기능 지시 과정을 더 포함하는 것을 특징으로 하는 동영상 이미지 인식 방법
제1항 또는 제2항에 있어서,상기 이미지 데이타 구축 과정의 상기 이미지 데이타베이스는,
상기 특정 이미지의 재생 시간을 시작 시간과 종료 시간으로 구분한 것을 특징으로 하는 동영상 이미지 인식 방법
제1항 또는 제2항에 있어서,상기 이미지 데이타 구축 과정은,상기 이미지 데이타베이스에 상기 특정 이미지의 영역값을 더 포함하여 구성된 것을 특징으로 하는 동영상 이미지 인식 방법
제4항에 있어서,상기 특정 이미지의 영역값은,
상기 동영상의 기준화면 사이즈 값을 기준으로 한 기준위치 좌표값 및 영역범위 값으로 구분한 것을 특징으로 하는 동영상 이미지 인식 방법
제5항에 있어서,상기 이미지 데이타 검색 과정은,
상기 사용자 선택위치 좌표값이 상기 영역 범위내에 포함되는지 판단하는 과정을 더 포함하는 것을 특징으로 하는 동영상 이미지 인식 방법
제5항에 있어서,상기 영역값은,
기준위치 꼭지점 좌표값과 이를 기준으로 폭과 높이를 그 영역범위로 하는 사각형 영역값 또는 중심 기준위치 좌표값과 이를 기준으로 그 반지름을 그 영역범위로 하는 원 면적 영역 값으로 하는 것을 특징으로 하는 동영상 이미지 인식방법
제1항 또는 제2항에 있어서,상기 동영상의 재생시간은,
상기 동영상의 재생시간에 대응되는 영상 프레임 시퀀스인 것을 특징으로 하는 동영상 이미지 인식방법
제6항에 있어서,상기 사용자 선택위치 좌표값은,
상기 재생 동영상의 기준 화면 사이즈 값을 기준으로 하여 재생 화면의 비율만큼 변환된 좌표값인 것을 특징으로 하는 동영상 이미지 인식 방법
제5항 또는 제9항에 있어서,상기 이미지 데이타 검색과정은,
최종 검색된 이미지 데이타가 복수인 경우 각 이미지 영역값의 중심좌표를 계산하여 사용자 선택 위치좌표 값이 중심좌표에 더 가까운 이미지를 판단하여 검색하는 과정을 더 포함하는 것을 특징으로 하는 동영상 이미지 인식 방법
제 10항에 있어서,상기 이미지 데이타 검색 과정은,
중심좌표 값이 동일한 이미지가 복수인 경우 각 이미지의 영역 범위를 계산하여 그 영역범위가 가장 적은 이미지를 판단하여 검색하는 과정을 더 포함하는 것을 특징으로 하는 동영상 이미지 인식 방법
재생중인 동영상에서 특정 이미지를 선택하면 이를 인식하여 설정된 지시 기능을 수행하는 동영상 이미지 인식을 이용한 지시 기능 수행 시스템에 있어서,
상기 동영상에 포함된 특정 이미지의 동일 영역 재생 시간 범위와 그 영역 값을 포함한 이미지 데이타를 저장하도록 구성된 이미지 DB;
상기 동영상 이미지 인식을 이용한 지시 기능 수행 시스템을 제어하도록 구성된 시스템 제어부;
상기 시스템 제어부의 지시에 따라 상기 동영상을 재생하고,상기 동영상이 재생되는 시간을 실시간 체크하다가 상기 시스템 제어부의 요청이 있을 경우 특정 시점의 재생 시간을 제공하도록 구성된 영상 재생부;
상기 영상 재생부의 재생 영상을 화면에 표시하도록 구성된 영상 표시부;
상기 동영상이 재생되는 상태에서 상기 영상 표시부의 화면 표시 영역을 사용자가 선택했는지를 감지하여, 선택했을 경우 그 선택 위치의 좌표값을 상기 시스템 제어부에 전달하도록 구성된 선택 감지부;
상기 시스템 제어부의 지시에 따라 상기 선택 시점의 재생시간 및 선택위치 좌표값을 전달받아, 각각 상기 이미지 데이타의 재생시간 범위 및 영역범위 내에 포함되는 이미지 데이타를 검색하여 상기 시스템 제어부에 전달하도록 구성된 이미지 인식부;
상기 시스템 제어부의 지시에 따라 상기 이미지 인식부의 검색 이미지 데이타에 설정된 지시 기능을 수행하도록 구성된 기능 수행 장치;
를 포함하여 구성되며,
여기서, 상기 시스템 제어부는,
상기 이미지 인식부로부터 전달받은 이미지에 설정된 지시 기능을 상기 이미지 데이타로부터 판단하여 설정된 지시 기능을 상기 기능 수행 장치가 수행하도록 제어하는 구성을 포함한 것을 특징으로 하는 동영상 이미지 인식을 이용한 지시 기능 수행 시스템
제 12항에 있어서,
상기 동영상의 기준 화면 사이즈 값을 저장하도록 구성된 영상 DB;
상기 시스템 제어부의 지시에 따라 상기 선택 위치의 좌표값을 상기 기준화면 사이즈 값을 기준으로 상기 영상 표시부의 화면 사이즈 값과의 비율만큼 연산하여 변환된 좌표값으로 상기 시스템 제어부에 전달하도록 구성된 좌표 연산부;
를 더 포함하여 구성된 것을 특징으로 하는 동영상 이미지 인식을 이용한 지시 기능 수행 시스템
제 12항 또는 제 13항에 있어서,상기 이미지 데이타들의 재생 시간들은,
상기 각 이미지들의 동영상 프레임의 시퀀스인 것을 특징으로 하는 동영상 이미지 인식을 이용한 지시 기능 시스템
제 12항 또는 제 13항에 있어서,상기 이미지 데이타의 영역값은,
상기 동영상의 기준화면 사이즈 값을 기준으로 한 각 이미지의 좌표값 및 영역 범위 값인 것을 특징으로 하는 동영상 이미지 인식을 이용한 지시 기능 수행 시스템
제 15항에 있어서,상기 영역값은,
기준위치 꼭지점 좌표값과 이를 기준으로 폭과 높이값을 그 영역 범위로 하는 사각형 면적 영역값, 또는 중심기준위치 좌표값과 이를 기준으로 하는 반지름을 그 영역범위로 하는 원 면적 영역값으로 설정한 것을 특징으로 하는 동영상 이미지 인식을 이용한 지시 기능 수행 시스템
제 14항에 있어서,상기 동영상 프레임의 재생 시작 시간과 재생 종료 시간은,
상기 동영상 프레임의 프레임 시퀀스인 것을 특징으로 하는 동영상 인식을 이용한 지시 기능 수행 시스템
제 12항 또는 제 13항에 있어서,상기 이미지 인식부는,
상기 1차 검색된 이미지 데이타가 복수인 경우 각 이미지 영역값의 중심좌표를 계산하여 상기 선택위치 좌표값이 상기 중심좌표에 더 가까운 이미지를 판단하여 검색하도록 구성된 것을 특징으로 하는 동영상 이미지 인식을 이용한 지시 기능 수행 시스템
제 18항에 있어서,상기 이미지 인식부는,
상기 2차 검색 결과 이미지 데이타가 복수인 경우 각 이미지의 영역 범위를 계산하여 그 영역 범위 값이 가장 적은 이미지를 판단하여 검색하도록 구성된 것을 특징으로 하는 동영상 이미지 인식을 이용한 지시 기능 수행 시스템