KR20080078215A - 영상에 포함된 객체 색인 방법과 그 객체 정보를 이용한부가 서비스 방법 및 그 영상 처리 장치 - Google Patents

Abstract

본 발명은 영상에 포함된 객체 색인 방법과 그 객체 정보를 이용한 부가 서비스 방법 및 그 영상 처리 장치에 관한 것으로서, 객체정보를 포함하는 영상정보들 및 각 영상의 화면분할정보인 셀 정보를 저장하는 저장과정; 영상정보 요청에 응답하여 기 저장된 영상정보들 중 표시영상정보를 검출하는 검출과정; 상기 표시영상정보의 셀 정보에 의거하여 그 표시영상정보를 표시할 표시화면을 셀 단위로 분할하는 분할과정; 상기 표시화면의 좌표 정보와 상기 셀 정보를 매핑하는 매핑과정; 상기 표시화면에 표시영상정보를 출력하는 출력과정; 객체선택정보의 입력에 응답하여 선택된 객체를 판단하는 판단과정; 및 상기 저장과정에서 객체별로 미리 설정된 동작 정보에 의거하여 상기 객체 선택에 따른 서비스를 제공하는 서비스제공과정을 포함한다. 이로 인해 본 발명은 영상에 대한 객관적인 분석이 용이하고, 표시화면의 해상도나, 화면 크기와 상관없이 표시 장치 상에서 시청자가 지정한 위치의 객체를 정확하게 판단할 수 있도록 하는 효과가 있다.

영상, 객체 색인, 객체 판단, 부가 서비스 제공, 영상 처리

Description

영상에 포함된 객체 색인 방법과 그 객체 정보를 이용한 부가 서비스 방법 및 그 영상 처리 장치{METHOD FOR INDEXING OBJECT IN VIDEO, METHOD FOR ANNEXED SERVICE USING INFORMATION OF OBJECT AND APPARATUS FOR PROCESSING VIDEO}

도 1은 본 발명의 일실시 예에 따른 영상 처리 방법에 대한 처리 흐름도,

도 2는 도 1에 예시된 영상정보 등록 과정에 대한 처리 흐름도,

도 3은 도 2에 예시된 색인 과정에 대한 처리 흐름도,

도 4는 도 3에 예시된 셀 분석 과정에 대한 처리 흐름도,

도 5는 도 2에 예시된 서비스 프로파일 생성 과정에 대한 처리 흐름도,

도 6a 내지 도 6c는 도 1에 예시된 객체 판단 과정에 대한 예시도들,

도 7은 본 발명의 일실시 예에 따른 영상 처리를 위한 화면 분할 예를 도시한 도면,

도 8은 본 발명의 일실시 예에 따른 객체 색인 과정을 설명하기 위한 도면,

도 9는 본 발명의 일실시 예에 따른 영상 처리를 위한 영상서버와 표시 단말간 처리 절차를 예시한 도면,

도 10은 본 발명의 일실시 예에 따른 영상서버에 대한 개략적인 블록도,

도 11a 내지 도 11e는 도 10에 예시된 영상정보 저장부의 데이터 관리 테이 블 구조의 예들을 도시한 도면들,

도 12는 본 발명의 일실시 예에 따라 검출된 객체 정보들 간에 논리적인 연관관계를 설명하기 위한 도면,

도 13은 본 발명의 일실시 예에 따른 영상 표시 단말에 대한 개략적인 블록도.

<도면의 주요 부분에 대한 부호의 설명>

100: 영상서버 110: 영상정보 저장부

120: 영상정보 입력부 130: 엔코딩부

140: 색인부 150: 객체정보 관리부

160: 검색부 170: 사용자 인터페이스부

180: 제어부 190: 통신 인터페이스부

200: 표시단말 210: 표시부

220: 사용자 인터페이스부 230: 제어부

240: 통신 인터페이스부

본 발명은 영상 처리 장치 및 그 방법에 관한 것으로서, 특히 영상에 포함된 객체를 색인하는 방법과 그 객체 정보를 이용하여 부가 서비스를 제공하는 방법 및 그 장치에 관한 것이다.

통신기술의 발달과 대중화로 인해 댁내에 까지 통신 선로가 구축되어 사용자가 필요한 경우에 언제든지 원하는 인터넷 사이트에 접속하여 필요한 정보를 얻을 수 있는 시대가 되었고 이에 따라 많은 사업자들이 인터넷을 통해 광고 등의 정보를 전달함으로써 인터넷을 마켓팅의 도구로 이용하고 있다.

더욱이, 텔레비전과 같은 영상기기 상품도 자체적으로 통신기능을 구비하거나, 외부 장치(예컨대, 셋-톱 박스(set-top box) 등)를 통해 통신기능을 구비함으로써, 컴퓨터는 물론 영상기기도 양방향 통신이 가능해져, 사업자들은 영상기기도 하나의 마케팅 도구로 이용하게 되었다. 즉, 사업자들은 영상기기가 수신하는 방송신호에 상품 정보를 부가하여, 이 상품정보를 선택하게 함으로써, 원하는 상품의 마케팅에 활용하는 방안을 제시하고 있다.

이러한 종래의 방송신호를 이용한 상품 정보 제공 방법은 방송될 영상정보로부터 상품 대상이 될 객체를 인식한 사용자가 상품 정보를 별도로 입력한 후 그 상품 정보와 영상 정보를 함께 전송함으로써 영상정보에 포함된 상품 정보를 시청자에게 제공하는 방식을 사용하였다. 즉 종래에는 특정 영상에 포함된 객체들 중 상품 정보가 필요한 객체에 대한 인식을 위해 사람이 개입을 하여야 했다.

이로 인해 특정 영상에 포함된 객체의 인식을 위해 사용자가 영상을 반복해서 청취해야 하는 번거로움이 있다. 또한 상품 정보를 입력하고자 하는 사람의 주관적인 판단에 따라 상품 대상이 결정됨으로써 영상에 대한 객관적인 분석이 어려웠다.

본 발명에서는 영상에 포함된 객체를 자동으로 인식하는 객체 색인 방법 및 그 장치를 제공하고자 한다.

또한 본 발명은 영상에 포함된 객체의 상대적인 위치를 결정함으로써 해당 영상이 표시되는 장치의 해상도나, 화면 크기와 상관없이 상기 표시 장치 상에서 시청자가 지정한 위치의 객체를 정확하게 판단할 수 있도록 하는 방법 및 그 장치를 제공하고자 한다.

상기 목적을 달성하기 위해 본 발명에서 제공하는 객체 색인 방법은 영상에 대한 기본 화면 크기를 검출하는 과정; 미리 설정된 분할정보에 의거하여 상기 화면을 다수의 가상 셀로 분할하고, 그 분할정보를 저장하는 과정; 상기 분할한 셀들 각각의 이미지 정보를 분석하고 그 결과를 저장하는 과정; 및 상기 이미지 정보가 동일한 셀 중 인접한 셀들의 집합을 하나의 객체로 인식하고, 그 객체들 각각의 단순객체정보를 저장하는 과정을 포함한다.

이 때 상기 제1항에 있어서, 상기 셀 분할정보 저장과정은 상기 영상 식별정보와, 각 셀의 시작점 좌표 및 끝점 좌표를 포함하는 셀 분할정보를 저장하는 것이 바람직하다.

또한 상기 셀 분석 과정은 상기 셀들을 순차적으로 선택하면서, 그 선택된 셀의 색상 및 텍스쳐 정보 분석 결과 그 분석정보가 단일한 경우 그 셀이 단일객체에 포함되는 것으로 판단하여 상기 단일분석정보를 해당 셀의 이미지 정보로 저장하는 것이 바람직하다.

또한 상기 셀 분석 과정은 상기 선택된 셀의 색상 및 텍스쳐 정보 분석 결과 하나 이상의 분석정보가 존재하는 경우 그 분석정보들 중 미리 설정된 단일객체판단비율 이상인 하나의 분석정보를 해당 셀의 이미지 정보로 저장하는 것이 바람직하다.

또한 상기 셀 분석 과정은 상기 선택된 셀의 색상 및 텍스쳐 정보 분석 결과 하나 이상의 분석 정보가 존재하는 경우 상기 셀을 미리 설정된 개수의 서브 셀들로 분할한 후 그 서브 셀 각각의 이미지 정보를 분석하고, 단일분석정보를 갖는 서브 셀에 대하여 그 단일분석정보를 해당 서브 셀의 이미지 정보로 저장하는 것이 바람직하다.

또한 상기 셀 분석 과정은 상기 서브 셀의 이미지 정보 분석결과 하나 이상의 분석정보가 존재하는 경우 그 서브 셀을 미리 설정된 개수의 하위레벨 서브 셀들로 다시 분할하고 그 하위레벨 서브 셀 각각의 이미지 정보를 분석한 후, 단일분석정보를 갖는 하위레벨 서브 셀에 대하여 그 단일분석정보를 해당 서브 셀의 이미지 정보로 저장하는 과정을 반복 수행하는 것이 바람직하다.

또한 상기 셀 분석 과정은 미리 설정된 최대 레벨까지 상기 서브 셀의 분할 및 이미지 분석을 반복 수행하는 것이 바람직하다.

또한 상기 셀 분석 과정은 상기 최대 레벨 서브 셀의 이미지 분석 결과 하나 이상의 분석정보가 존재하는 경우 그 중 임의의 하나를 해당 셀의 이미지 정보로 저장하는 것이 바람직하다.

또한 상기 미리 설정된 서브 셀 개수는 4개인 것이 바람직하다.

또한 상기 단순 객체정보 저장과정은 상기 객체들을 구성하는 셀 정보로 표현된 객체들 각각의 위치 및 이미지 정보를 포함하는 단순객체정보를 저장하는 것이 바람직하다.

또한 상기 목적을 달성하기 위해 본 발명에서 제공하는 부가 서비스 방법은 체정보를 포함하는 영상정보들 및 각 영상의 화면분할정보인 셀 정보를 저장하는 저장과정; 영상정보 요청에 응답하여 기 저장된 영상정보들 중 표시영상정보를 검출하는 검출과정; 상기 표시영상정보의 셀 정보에 의거하여 그 표시영상정보를 표시할 표시화면을 셀 단위로 분할하는 분할과정; 상기 표시화면의 좌표 정보와 상기 셀 정보를 매핑하는 매핑과정; 상기 표시화면에 표시영상정보를 출력하는 출력과정; 객체선택정보의 입력에 응답하여 선택된 객체를 판단하는 판단과정; 및 상기 저장과정에서 객체별로 미리 설정된 동작 정보에 의거하여 상기 객체 선택에 따른 서비스를 제공하는 서비스제공과정을 포함하는 것이 바람직하다.

이 때 상기 저장과정은 저장할 영상신호를 수집하는 수집과정; 상기 수집된 영상신호를 엔코딩하여 저장하는 엔코딩과정; 상기 저장된 영상에 포함된 객체정보를 검출하는 색인과정; 및 상기 색인과정에서 검출된 객체정보에 대한 부가 서비스를 제공하기 위한 메타 데이터를 입력받아 저장하는 서비스 프로파일 생성과정을 포함하는 것이 바람직하다.

이 때 상기 색인 과정은 상기 영상에 포함된 객체들의 상대적인 위치를 검출하고, 해당 객체의 이미지 정보를 분석하여 상기 객체들을 구성하는 셀 정보로 표현된 객체들 각각의 위치 및 이미지 정보를 포함하는 단순객체정보를 저장하는 것이 바람직하다.

또한 상기 색인 과정은 상기 영상에 대한 기본 화면 크기를 검출하는 과정; 미리 설정된 분할정보에 의거하여 상기 화면을 다수의 가상 셀로 분할하고, 그 분할정보를 저장하는 과정; 상기 분할한 셀들 각각의 이미지 정보를 분석하고 그 결과를 저장하는 과정; 및 상기 이미지 정보가 동일한 셀 중 인접한 셀들의 집합을 하나의 객체로 인식하고, 그 객체들 각각의 단순객체정보를 저장하는 과정을 포함하는 것이 바람직하다.

또한 상기 판단과정은 포인팅정보의 입력에 응답하여 포인팅 좌표를 인식하는 과정; 상기 매핑된 정보에 의거하여 상기 포인팅 좌표에 대응된 표시부의 셀을 검출하는 과정; 상기 검출된 셀이 상기 색인 과정에서 저장된 단순객체 정보들 중 적어도 하나를 구성하는 셀 정보에 포함되는 지를 판단하여, 상기 셀이 상기 단순객체 정보들 중 적어도 하나를 구성하는 셀 정보에 포함되는 경우 대응된 단순객체 정보를 검출하는 과정; 및 상기 검출된 단순객체의 메타 데이터를 검출하는 과정을 포함하는 것이 바람직하다.

또한 상기 셀 검출과정은 최대 레벨로 분할된 셀 중 상기 포인팅 좌표에 대응된 셀을 검출하는 것이 바람직하다.

또한 상기 판단 및 단순객체 정보 검출 과정은 상기 판단결과 해당 셀이 상 기 단순 객체 정보들 중 어느 하나를 구성하는 셀 정보에도 포함되지 않은 경우 현재 셀의 상위 셀을 검출한 후 그 셀에 의거하여 해당 동작을 반복 수행하는 것이 바람직하다.

또한 상기 판단 및 단순객체 정보 검출 과정은 상기 현재 셀의 상위 셀이 존재하지 않는 경우 그 셀에 근접한 셀을 구성 정보로 포함하는 근접 객체 정보를 검출하는 것이 바람직하다.

또한 상기 판단 및 단순객체 정보 검출 과정은 상기 검출된 단순객체를 포함하는 논리객체가 존재하는 경우 그 논리객체를 검출하는 과정; 및 상기 검출된 논리객체에 포함된 모든 단순객체 정보를 검출하는 과정을 더 포함하는 것이 바람직하다.

또한 상기 서비스 프로파일 생성 과정은 상기 색인 과정에서 검출된 단순객체들 각각에 대한 메타데이터 입력을 요청하는 과정; 상기 요청에 응답하여 메타 데이터가 입력되면 그 메타데이터를 이용하여 단순객체들 각각에 대한 서비스 프로파일을 생성하는 과정; 상기 단순객체들 간 연관정보가 입력되면 그에 응답하여 단순객체들 간 계층구조를 생성하는 과정; 및 상기 계층 구조에 의해 생성된 가상의 논리 객체를 포함하는 계층 정보를 저장하는 과정을 포함하는 것이 바람직하다.

또한 상기 서비스제공과정은 상기 서비스 프로파일 생성 과정에서 생성된 서비스 프로파일 정보에 의거하여 대응된 객체 정보를 표시하는 것이 바람직하다.

또한 상기 서비스제공과정은 상기 서비스 프로파일 생성 과정에서 생성된 서비스 프로파일 정보에 의거하여 대응된 객체에 링크된 화면으로 이동하는 것이 바 람직하다.

또한 상기 분할과정은 상기 표시영상정보의 초기 셀 분할 정보에 의거하여 상기 표시화면을 대응된 수의 초기 셀로 분할하고, 그 초기 셀을 상기 표시영상정보의 최대 레벨까지 분할하는 것이 바람직하다.

또한 상기 매핑과정은 상기 초기 셀 및 상기 최대 레벨 까지 분할된 서브 셀들 각각에 대하여 해당 셀의 식별정보와 대응된 셀에 대한 표시화면의 시작 및 끝 좌표를 매핑시키는 것이 바람직하다.

또한 상기 판단과정에서 입력되는 객체선택정보는 포인팅정보, 음성 및 키워드 중 어느 하나인 것이 바람직하다.

또한 상기 목적을 달성하기 위해 본 발명에서 제공하는 영상 처리 장치는 객체 정보를 포함하는 영상정보들 및 각 영상의 화면분할정보인 셀 정보를 저장하고, 영상정보 요청에 응답하여 대응된 영상정보와 그 영상의 화면분할 정보인 셀 정보를 함께 제공하는 영상 서버; 및 상기 영상 서버로부터 표시영상정보 및 대응된 셀 정보를 전달받아 상기 셀 정보에 의거하여 표시화면을 셀 단위로 분할한 후 상기 표시화면에 상기 표시영상정보를 출력하는 표시 단말을 포함하되, 상기 표시 단말은 상기 화면에 표시 중인 영상에 포함된 객체 선택 정보를 입력받아 그 객체 선택 정보를 상기 영상 서버로 전달하고, 상기 영상 서버는 상기 객체 선택정보에 의거하여 대응된 객체에 대하여 미리 설정된 동작 정보에 의거하여 상기 객체 선택에 따른 부가서비스를 제공하는 것을 특징으로 한다.

이 때, 상기 영상서버는 상기 객체 정보를 포함하는 영상정보들 및 각 영상 의 화면분할 정보인 셀 정보를 저장하는 영상정보 저장부; 영상정보를 입력받는 입력부; 입력된 영상정보를 엔코딩하여 상기 영상정보 저장부에 저장하는 엔코딩부; 상기 저장된 영상정보로부터 객체정보를 검출하여 상기 영상정보 저장부의 영상정보에 매칭시켜 저장하는 색인부; 상기 객체정보들 각각의 메타 데이터 및 상기 객체정보들간의 계층관계를 관리하는 객체정보 관리부; 요청 정보에 의거하여 상기 영상정보 저장부를 검색하는 검색부; 사용자와의 인터페이싱을 제공하는 사용자 인터페이스부; 통신망과의 인터페이싱을 제공하는 통신 인터페이스부; 및 상기 저장부, 입력부, 엔코딩부, 색인부, 객체정보 관리부, 사용자 인터페이스부 및 상기 통신 인터페이스부의 동작을 제어하는 제어부를 포함하는 것이 바람직하다.

또한 상기 색인부는 상기 영상에 포함된 객체들의 상대적인 위치를 검출하고, 해당 객체의 이미지 정보를 분석하여 상기 객체들을 구성하는 셀 정보로 표현된 객체들 각각의 위치 및 이미지 정보를 포함하는 단순객체정보를 상기 영상정보 저장부에 저장하는 것이 바람직하다.

또한 상기 색인부는 상기 영상에 대한 기본 화면 크기를 검출한 후 미리 설정된 분할정보에 의거하여 상기 화면을 다수의 가상 셀로 분할하고, 상기 분할한 셀들 각각의 이미지 정보를 분석하여 상기 이미지 정보가 동일한 셀 중 인접한 셀들의 집합을 하나의 객체로 인식하고, 그 객체들 각각의 단순객체정보를 저장하는 것이 바람직하다.

또한 상기 영상정보 저장부는 객체식별정보, 그 객체가 포함된 영상 식별정보, 그 객체를 구성하는 분할 셀들 각각의 식별정보를 포함하는 구성셀 정보, 그 객체의 면적, 그 객체의 중심점좌표, 그 객체의 위상전이 정보 및 이미지 속성을 포함하는 단순객체 정보를 저장하는 것이 바람직하다.

또한 상기 객체정보 관리부는 상기 색인부에서 검출된 단순객체들 각각에 대한 메타데이터를 입력받아 상기 메타데이터를 이용한 단순객체들 각각에 대한 서비스 프로파일을 생성하고, 상기 단순객체들 간 연관정보를 입력받아 단순객체들 간 계층구조를 생성한 후 상기 계층 구조에 의해 생성된 가상의 논리 객체를 포함하는 계층 정보를 저장하는 것이 바람직하다.

또한 상기 영상정보 저장부는 객체식별정보, 그 객체가 포함된 영상식별정보, 그 객체의 분류정보, 판매정보, 링크정보 및 이벤트에 따른 동작정보를 포함하는 단순 객체별 메타데이터 정보를 저장하는 것이 바람직하다. 이 때 상기 이벤트에 따른 동작정보는 객체의 선택에 따른 동작정보로서, 대응된 링크위치로의 이동 또는 구매 결정 및 이후 동작 처리 대기 동작 중 적어도 하나를 포함하는 것이 바람직하다.

또한 상기 영상정보 저장부는 논리객체식별정보, 그 논리객체가 포함된 영상식별정보, 그 논리객체의 분류정보, 상기 논리객체에 포함된 단순객체들에 대한 식별정보 및 이벤트에 따른 동작정보를 포함하는 논리객체정보를 저장하는 것이 바람직하다. 이 때 상기 논리객체정보는 하위 논리객체 정보 식별정보를 더 포함하는 것이 바람직하다. 또한 상기 이벤트에 따른 동작정보는 상기 논리객체의 선택에 따른 동작정보로서, 대응된 링크로의 이동, 구매 결정 및 이후 동작 처리 대기 동작 및 상기 논리객체에 포함된 단순객체 리스트 표시 중 적어도 하나를 포함하는 것이 바람직하다.

또한 상기 제어부는 상기 객체정보 관리부에서 생성된 서비스 프로파일 정보에 의거하여 대응된 객체 정보를 표시하거나, 대응된 객체에 링크된 화면으로 이동하도록 제어하는 것이 바람직하다.

또한 상기 영상정보 저장부는 영상식별정보, 그 영상에 대한 화면분할단위인 셀의 식별정보, 대응된 셀의 시작좌표 및 끝 좌표를 포함하는 셀 분할 정보를 대응된 영상정보와 함께 저장하는 것이 바람직하다.

또한 상기 영상정보 저장부는 영상식별정보, 그 영상에 대한 화면분할단위인 셀의 식별정보, 대응된 셀의 분할 레벨 정보, 그 셀의 최상위 셀 식별정보 및 이미지 분석정보를 포함하는 셀 분석 결과 정보를 대응된 영상정보와 함께 저장하는 것이 바람직하다.

또한 상기 표시 단말은 상기 셀 단위로 분할된 표시 화면을 포함하고 상기 표시 영상정보를 출력하는 표시부; 사용자와의 인터페이싱을 제공하는 사용자 인터페이스부; 통신망과의 인터페이싱을 제공하는 통신 인터페이스부; 및 상기 표시화면의 좌표 정보와 상기 셀 분할정보의 매핑 정보를 저장하고, 사용자의 입력정보에 의거하여 객체 선택정보를 인식하여 상기 영상서버로 전달하도록 제어하는 제어부를 포함하는 것이 바람직하다.

또한 상기 영상 서버와 상기 표시 단말은 일체의 장치로 구성된 것이 바람직하다.

또한 상기 영상 서버와 상기 표시 단말은 통신망을 통해 데이터를 송/수신하 는 것이 바람직하다.

이하, 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 이 때 첨부한 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

도 1은 본 발명의 일실시 예에 따른 영상 처리 방법에 대한 처리 흐름도이다. 특히, 도 1은 객체 정보를 포함하는 영상정보를 이용하여 부가서비스를 제공하는 방법에 대한 처리 흐름도이다. 이 때 상기 처리 과정의 주체는 본 발명의 실시 예에 따른 영상 처리 장치인 것이 바람직하다. 따라서 이하에서는 상기 처리 방법의 주체를 '영상 처리 장치'로 하여 설명할 것이다(이하 동일).

도 1을 참조하면 본 발명의 일실시 예에 따라 부가 서비스를 제공하기 위해 영상처리 장치는 먼저, 영상 정보를 등록한다(S100). 즉 객체정보를 포함하는 영상정보들 및 각 영상의 화면분할정보인 셀 정보를 저장한다. 이 때 영상정보는 동영상 및 정지 영상을 모두 포함한다. 또한 각 영상의 '셀 정보'는 각 영상을 표시할 표시화면에 대한 가로/세로 분할 개수를 포함하는 초기 셀 분할 정보 및 그 초기 셀을 서브 셀로 분할하기 위한 최대 레벨 정보를 포함하는 것이 바람직하다. 영상 정보 등록 과정(S100)에 대한 보다 구체적인 처리 과정의 예는 도 2를 참조하여 설명할 것이다.

이와 같이 영상정보가 등록된 상태에서 영상정보가 요청되면(S10), 영상처리 장치는 그에 응답하여 저장된 영상정보들 중 대응된 영상정보를 표시영상정보로 검 출한다(S20). 이 때 표시영상정보는 상기 '셀 정보'를 포함한다.

따라서 그 표시영상을 출력할 표시장치는 상기 검색된 영상의 셀 정보를 인식한 후(S30), 그 셀 정보에 의거하여 표시부 화면을 셀 단위로 분할한다(S40). 이를 위해 표시 장치는 표시영상정보에 대한 초기 셀 분할 정보에 의거하여 상기 표시화면을 대응된 수의 초기 셀로 분할하고, 그 초기 셀을 상기 표시영상정보의 최대 레벨까지 분할하는 것이 바람직하다.

이와 같이 표시화면을 셀 단위로 분할하였으면 본 발명의 영상처리 장치는 표시화면의 좌표 정보와 상기 분할 정보(즉, 셀 정보)를 매핑한다(S50). 이 때 영상처리장치는 초기 셀 및 상기 최대 레벨 까지 분할된 서브 셀들 각각에 대하여 해당 셀의 식별정보와 대응된 셀에 대한 표시화면의 시작 및 끝 좌표를 매핑시키는 것이 바람직하다.

상기 분할 및 매핑 과정을 완료한 본 발명의 영상처리 장치는 그 표시 화면에 표시영상정보를 표시한다(S60).

한편 상기 표시된 영상에 포함된 특정 객체에 대한 선택정보가 입력되면(S70) 본 발명의 영상처리 장치는 그 선택정보에 대응된 객체를 판단한 후(S200) 상기 과정(S100)에서 객체별로 미리 설정된 동작 정보에 의거하여 상기 객체 선택에 따른 서비스를 제공한다(S80). 이 때 상기 객체선택정보는 포인팅정보, 음성 및 키워드 중 어느 하나인 것이 바람직하다. 객체 판단 과정(S200)에 대한 보다 구체적인 처리 과정의 예는 도 6a 내지 도 6c를 참조하여 설명할 것이다.

또한 상기 과정(S80)은 상기 서비스 프로파일 생성 과정에서 생성된 서비스 프로파일 정보에 의거하여 대응된 객체 정보를 표시하거나, 대응된 객체에 링크된 화면으로 이동하는 것이 바람직하다.

도 2는 도 1에 예시된 영상정보 등록 과정(S100)에 대한 처리 흐름도이다. 도 2를 참조하면 영상정보를 등록하기 위해 본 발명의 영상처리 장치는 먼저 저장할 영상신호를 수집한 후(S110), 그 수집된 영상신호를 엔코딩하여(S120) 저장한다(S130). 그리고 그 저장된 영상에 포함된 객체정보를 검출하기 위해 색인 과정을 수행한 후(S300) 색인과정(S300)에서 검출된 객체정보에 대한 부가 서비스를 제공하기 위한 메타 데이터를 입력받아 저장하는 서비스 프로파일 생성과정을 수행한다(S400). 색인 과정(S300) 및 서비스 프로파일 생성 과정(S400) 각각에 대한 보다 구체적인 처리 과정의 예가 도 3, 도 4 및 도 5에 예시되어 있다. 즉, 도 3은 도 2에 예시된 색인 과정에 대한 처리 흐름도, 도 4는 도 3에 예시된 셀 분석 과정에 대한 처리 흐름도, 도 5는 도 2에 예시된 서비스 프로파일 생성 과정에 대한 처리 흐름도이다.

먼저 색인 과정(S300) 영상에 포함된 객체들의 상대적인 위치를 검출하고, 해당 객체의 이미지 정보를 분석하여 상기 객체들을 구성하는 셀 정보로 표현된 객체들 각각의 위치 및 이미지 정보를 포함하는 단순객체정보를 저장하는 과정을 말하는 것으로서, 도 3을 참조하여 보다 구체적으로 설명하면 다음과 같다.

색인을 수행하기 위해 먼저 본 발명의 영상처리 장치는 입력되어 엔코딩 후 저장된 영상에 대한 기본 화면 크기를 검출한다(S310). 예를 들어 그 영상이 생성 될 때 기준이 된 기본 화면 크기를 검출하는 것이 바람직하다. 그리고 미리 설정된 분할정보에 의거하여 상기 화면을 다수의 가상 셀로 분할하고(S320), 그 분할정보를 저장한다(S330). 이 때 미리 설정된 분할 정보는 가로/세로 분할 개수를 말하며, 저장된 분할 정보는 영상 식별정보와, 각 셀의 시작점 좌표 및 끝점 좌표를 포함하는 것이 바람직하다.

화면의 x축 길이를 'X', x축 분할 개수를 'n', 화면의 y축 길이를 'Y', y축 분할 개수를 'm'이라 할 때 상기 가상 셀의 셀 식별정보는 [수학식 1]에 예시된 바와 같이 표현하는 것이 바람직하다.

[수학식 1]에 예시된 바와 같이 셀 식별 정보를 설정하였으면 도 3에 예시된 바와 같이 상기 j 및 i 값을 변화시키면서, 상기 분할된 모든 가상셀 들에 대한 분석 과정을 수행한다(S340, S350, S351, S353, S500).

이 때 초기 분할된 가상 셀의 분석 결과 해당 셀의 이미지 분석 결과가 단일하지 않은 경우 미리 설정된 최대 레벨까지 그 셀을 서브 셀로 분할하면서 상기 셀 분석 과정(S500)을 반복 수행한다. 이를 위해 과정(S351)에서 그 레벨 정보를 기억하기 위한 변수인 'depth'가 '1'로 초기화된 것이다.

이 때 상기 셀 분석 과정(S500)에 대한 보다 구체적인 처리 과정의 예가 도 4에 예시되어 있다. 따라서 셀 분석 과정(S500)에 대한 구체적인 처리 과정은 도 4를 참조하여 보다 상세히 설명할 것이다.

상기 과정들(S340, S350, S351, S353, S500)을 통해 해당 영상을 구성하는 모든 셀 들에 대한 분석이 완료되면 본 발명의 영상처리 장치는 그 분석 결과에 의거하여 해당 영상에 포함된 객체들을 인식한다(S360). 이를 위해 영상 처리 장치는 분석된 이미지 정보가 동일한 셀들 중 인접한 셀들의 집합을 하나의 객체로 인식하고, 그 객체들 각각의 단순객체정보를 저장하는 것이 바람직하다.

또한 이 때 저장된 단순객체 정보는 객체들을 구성하는 셀 정보로 표현된 객체들 각각의 위치 및 이미지 정보를 포함하는 것이 바람직하다.

도 4는 도 3에 예시된 셀 분석 과정(S500)에 대한 처리 흐름도이다. 도 4를 참조하면 즉 셀 분석 과정(S500)은 다음과 같다.

먼저 선택된 셀의 이미지 정보(예컨대, 색상 및 텍스쳐 정보)를 분석한다(S505). 그리고 복수의 분석정보가 존재하지 않거나(S510), 즉 분석 정보가 단일하거나, 복수의 분석정보가 존재하더라도 그 중 하나의 분석정보가 단일객체판단 비율(예컨대, 75% 등) 이상인 경우(S515) 상기 단일 분석정보 또는 단일객체 판단 비율 이상인 분석 정보를 이용하여 현재 셀의 분석정보를 저장한다(S565).

상기 분석정보 저장 후에는 현재의 레벨이 최상위 레벨(depth =1)인 지를 확인(S570)하여 현재 레벨이 최상위 레벨인 경우 셀 분석 과정을 종료한다. 즉 다음의 최상위 셀을 선택하여 상기 셀 분석 과정을 다시 반복 수행한다.

만약 복수의 분석정보가 존재하고, 그 중 어떠한 분석정보도 단일객체판단 비율을 넘지 못하는 경우 현재 셀을 미리 설정된 l개(예컨대, 4개)의 서브 셀로 분할한 후(S535) 그 분할된 서브셀을 이용하여 상기의 과정을 반복 수행한다.

이를 위해 도 4의 예에서는 분할셀의 레벨을 관리하기 위한 변수(depth), 동일 레벨에서의 셀 선택을 관리하기 위한 변수(K), 최대 레벨을 설정하기 위한 변수(Max_depth), 레벨 이동시 이전 레벨에서의 셀 선택정보를 관리하기 위한 변수(Kup)가 사용되고 있다. 즉 상기 분할과정(S535)을 수행하기 전에, 현재 레벨(depth)이 최대 레벨(Max_depth)에 도달하였는지의 여부를 판단하는 과정(S520)을 수행하여 현재 레벨(depth)이 최대 레벨에 도달하지 못한 경우에만 상기 셀 분할(S535)을 수행하고, 그렇지 않은 경우는 복수의 분석 정보 중 임의의 하나를 이용하여 현재셀의 분석정보로 저장한다(S590).

도 4에서 설명되지 않은 부호에 해당되는 과정들은 현재 셀에 대한 서브셀 생성시 그 서브 셀의 레벨 관리 및 현재 레벨에서의 다른 서브 셀의 선택을 위해 필요한 작업들에 해당된다. 한편 이러한 셀 분석 과정은 미리 설정된 최대 레벨까지 상기 서브 셀의 분할 및 이미지 분석을 반복 수행하는 것이 바람직하다.

도 5는 도 2에 예시된 서비스 프로파일 생성 과정(S400)에 대한 처리 흐름도이다. 도 5를 참조하면 서비스 프로파일 생성 과정(S400)은 도 3 및 도 4에 예시된 색인 과정에서 검출된 단순객체들 각각에 대한 메타데이터 입력을 요청한 후(S410)상기 요청에 응답하여 메타 데이터가 입력되면(S420) 그 메타데이터를 이용하여 단순객체들 각각에 대한 서비스 프로파일을 생성한다(S430).

한편, 상기 단순객체들 간 연관정보가 입력되면(S440, S450) 그에 응답하여 단순객체들 간 계층구조를 생성한 후(S460) 그 계층 정보를 저장한다(S470). 이 때 상기 과정(S470)은 단순객체들 간 계층 구조에 의해 생성된 가상의 논리 객체를 포함하는 계층 정보를 저장하는 것이 바람직하다.

도 6a 내지 도 6c는 도 1에 예시된 객체 판단 과정(S200)에 대한 예시도들로서, 도 6a는 객체 선택 정보가 포인팅정보인 경우 단순 객체를 판단하는 과정(S200a)의 예를 도시하고, 도 6b는 상기 객체 정보가 포인팅 정보인 경우 단순 객체 및 논리 객체를 판단하는 과정(S200b)의 예를 도시하고, 도 6c는 상기 객체 정보가 음성 정보인 경우에 대한 객체 판단과정(S200c)의 예를 도시하고 있다.

도 6a를 참조하면 객체 선택 정보가 포인팅 정보인 경우 본 발명의 영상처리 장치는 포인팅정보가 입력된 위치에 대한 포인팅 좌표를 인식한다(S210a). 그리고 상기 매핑된 정보에 의거하여 상기 포인팅 좌표에 대응된 표시부의 셀을 검출한 후(S220a) 상기 검출된 셀이 상기 색인 과정에서 저장된 단순객체 정보들 중 적어도 하나를 구성하는 셀 정보에 포함되는 지를 판단하여(S230a), 상기 셀이 상기 단순객체 정보들 중 적어도 하나를 구성하는 셀 정보에 포함되는 경우 본 발명의 영상처리 장치는 대응된 단순객체 정보를 검출하고(S240a), 상기 검출된 단순객체의 메타 데이터를 검출한다(S280a).

이 때 상기 셀 검출과정(S220a)은 최대 레벨로 분할된 셀 중 상기 포인팅 좌표에 대응된 셀을 검출하는 것이 바람직하다.

한편 상기 판단(S230a) 결과 해당 셀이 상기 단순 객체 정보들 중 어느 하나 를 구성하는 셀 정보에도 포함되지 않은 경우 현재 셀의 상위 셀을 검출한 후(S270a) 그 셀에 의거하여 상기 과정(S230a) 이후의 동작을 반복 수행한다.

또한 상기 판단(S230a) 결과 해당 셀이 상기 단순 객체 정보들 중 어느 하나를 구성하는 셀 정보에도 포함되지 않으면서, 현재 셀의 상위 셀이 존재하지 않는 경우 그 셀에 근접한 셀을 구성 정보로 포함하는 근접 객체 정보를 검출한 후(S260a) 그 셀 정보를 이용하여 검출된 단순 객체의 메타 데이터를 검출한다(S280a).

한편 도 6b를 참조하면, 논리 객체를 판단하는 과정은 다음과 같다. 도 6b는 도 6a와 같은 방식으로 검출된 단순객체를 이용하여 논리 객체를 판단하는 과정을 예시하고 있다. 따라서 도 6b의 단순객체 검출 방법은 도 6a에 예시된 방법과 동일하다. 즉, 도 6b의 S205b 과정은 도 6a의 S210a 과정, 도 6b의 S210b 과정은 도 6의 S220a, 도 6b의 S215b 과정은 도 6a의 S230a 과정, 도 6b의 S220b 과정은 도 6의 S240a, 도 6b의 S225b 과정은 도 6a의 S250a 과정, 도 6b의 S230b 과정은 도 6의 S260a, 도 6b의 S235b 과정은 도 6a의 S270a 과정에 대응된다.

상기와 같은 방식으로 단순 객체가 검출되면 본 발명의 영상처리 장치는 그 검출된 단순객체를 포함하는 논리객체가 존재하는 지를 판단하여(S240b) 상기 단순객체를 포함하는 논리객체가 존재하는 경우 해당 논리객체를 검출한 후(S245b) 그 논리객체에 포함된 모든 단순객체 정보를 검출한다(S250b). 그리고 그 단순객체들 각각의 메타데이터를 검출한다(S255b).

만약 상기 판단(S240b) 결과 검출된 단순객체를 포함하는 논리객체가 존재하지 않으면 상기 과정(S255b)은 상기 과정(S220b)에서 검출된 단순객체들 각각의 메타데이터를 검출한다(S255b).

한편 상기 객체 선택 정보가 음성 정보인 경우 상기 객체 판단 과정은 도 6c에 예시된 바와 같이, 음성인식을 수행하여 상기 음성 정보에 대응된 객체 명을 인식한 후(S210c), 그 음성인식결과에 의거하여 단순객체 또는 논리객체 정보를 검출한다(S220c). 즉, 기 저장된 단순객체 또는 논리객체의 객체 명이 상기 음성인식 결과에 대응하는 객체를 검출한다.

또한 상기 과정(S220c)에서 검출된 객체가 논리객체인 경우 본 발명의 영상처리 장치는 상기 검출된 논리객체에 포함된 모든 단순객체 정보를 검출하는 과정을 더 포함하는 것을 특징으로 한다.

도 7은 본 발명의 일실시 예에 따른 영상 처리를 위한 화면 분할 예를 도시한 도면이고, 도 8은 본 발명의 일실시 예에 따른 객체 색인 과정을 설명하기 위한 도면이다.

도 9는 본 발명의 일실시 예에 따른 영상 처리를 위한 영상서버와 표시 단말간 처리 절차를 예시한 도면이다. 즉, 도 9는 영상서버(100)와 표시 단말(200)이 통신망을 통해 데이터를 송수신하는 경우에 대한 예를 도시하고 있다.

도 9를 참조하면 먼저 영상서버(100)가 영상정보를 등록한 후(S605) 표시 단말(200)로부터 영상정보 요청을 수신하면(S610), 영상 서버(100)는 기 저장된 영상정보로부터 해당 영상 정보를 검색하여(S615), 대응 영상정보 및 셀 정보를 표시 단말(200)에게 전달한다(S620).

그러면 표시 단말은 상기 과정(S620)에서 전달된 정보를 이용하여 해당 단말의 상기 셀 정보를 분석한 후 이를 저장한다(S625). 즉, 영상정보와 셀정보를 저장한다. 그리고 그 정보를 이용하여 영상정보를 표시한다(S630).

한편, 상기 영상정보의 표시 중에 상기 영상정보에 포함된 객체의 선택을 위한 정보가 입력되면(S635) 표시단말(200)은 그 객체 선택정보를 영상서버(100)에게 전달한다(S640).

그러면, 상기 객체선택정보를 수신한 영상서버(100)는 그 객체 선택정보에 의거하여 상기 선택된 객체에 대응된 상세정보를 검출하고(S645) 그 정보에 의거하여 미리 설정된 동작 정보의 검출 및 그 동작 정보에 의거한 부가서비스를 제공한다.

도 10은 본 발명의 일실시 예에 따른 영상서버(100)에 대한 개략적인 블록도이다. 도 10을 참조하면 영상서버(100)는 영상정보 저장부(110), 영상정보 입력부(120), 엔코딩부(130), 색인부(140), 객체정보 관리부(150), 검색부(160), 사용자 인터페이스부(170), 제어부(180) 및 통신 인터페이스부(190)를 포함한다.

영상정보 저장부(110)는 상기 객체 정보를 포함하는 영상정보들 및 각 영상의 화면분할 정보인 셀 정보를 저장한다.

영상정보 입력부(120)는 영상정보를 입력받는다.

엔코딩부(130)는 입력된 영상정보를 엔코딩하여 영상정보 저장부(120)에 저 장한다.

색인부(140)는 상기 저장된 영상정보로부터 객체정보를 검출하여 상기 영상정보 저장부(110)의 영상정보에 매칭시켜 저장한다.

또한 색인부(140)는 상기 영상에 포함된 객체들의 상대적인 위치를 검출하고, 해당 객체의 이미지 정보를 분석하여 상기 객체들을 구성하는 셀 정보로 표현된 객체들 각각의 위치 및 이미지 정보를 포함하는 단순객체정보를 영상정보 저장부(110)에 저장한다.

그리고 색인부(140)는 상기 영상에 대한 기본 화면 크기를 검출한 후 미리 설정된 분할정보에 의거하여 상기 화면을 다수의 가상 셀로 분할하고, 상기 분할한 셀들 각각의 이미지 정보를 분석하여 상기 이미지 정보가 동일한 셀 중 인접한 셀들의 집합을 하나의 객체로 인식한 후 그 객체들 각각의 단순객체정보를 저장하는 것이 바람직하다.

객체정보 관리부(150)는 상기 객체정보들 각각의 메타 데이터 및 상기 객체정보들간의 계층관계를 관리한다.

또한 상기 객체정보 관리부(150)는 상기 색인부에서 검출된 단순객체들 각각에 대한 메타데이터를 입력받아 상기 메타데이터를 이용한 단순객체들 각각에 대한 서비스 프로파일을 생성하고, 상기 단순객체들 간 연관정보를 입력받아 단순객체들 간 계층구조를 생성한 후 상기 계층 구조에 의해 생성된 가상의 논리 객체를 포함하는 계층 정보를 저장하는 것이 바람직하다.

검색부(160)는 요청 정보에 의거하여 상기 영상정보 저장부를 검색한다.

사용자 인터페이스부(170)는 사용자와의 인터페이싱을 제공하고, 통신 인터페이스부(190)는 통신망과의 인터페이싱을 제공한다.

제어부(180)는 상기 영상정보 저장부(110), 영상정보 입력부(120), 엔코딩부(130), 색인부(140), 객체정보 관리부(150), 사용자 인터페이스부(170) 및 상기 통신 인터페이스부(190)의 동작을 제어한다. 이를 위해 제어부(180)는 영상식별정보, 그 영상에 대한 화면분할단위인 셀의 식별정보, 대응된 셀의 시작좌표 및 끝 좌표를 포함하는 셀 분할 정보를 대응된 영상정보와 함께 저장하는 것이 바람직하다.

도 11a 내지 도 11e는 도 10에 예시된 영상정보 저장부(110)에 저장된 데이터 베이스 구조의 예를 도시하고 있다. 즉, 도 11a는 셀 분할 정보의 예를 도시하고, 도 11b는 셀 분석 정보의 예를 도시하고, 도 11c는 단순객체 정보의 구성 예를 도시하고, 도 11d는 단순 객체별 메타데이터 정보의 구성 예를 도시하고, 도 11e는 눈리객체 정보의 구성 예를 도시하고 있다.

먼저 도 11a를 참조하면 영상정보 저장부(110)에 저장된 셀 분할 정보(10)는 영상 식별정보(11), 그 영상에 대한 화면분할단위인 셀의 식별정보(12), 대응된 셀의 시작좌표(13) 및 끝 좌표(14)를 포함한다.

도 11b를 참조하면 영상정보 저장부(110)에 저장된 셀 분석 결과 정보(20)는 영상식별정보(21), 프레임 식별번호(22), 그 영상에 대한 화면분할단위인 셀의 식별정보(23), 대응된 셀의 분할 레벨 정보(24), 그 셀의 최상위 셀 식별정보(25) 및 이미지 분석정보(26)를 포함한다. 이 때 상기 이미지 분석정보는 색상정보(27) 및 텍스쳐 정보(28)를 포함하는 것이 바람직하다.

도 11c를 참조하면 영상정보 저장부(110)에 저장된 단순객체 정보(30)는 객영상식별정보(31), 프레임 식별정보(32), 객체 식별정보(33), 그 객체를 구성하는 분할 셀들 각각의 식별정보를 포함하는 구성셀 정보(34), 그 객체의 면적(35), 그 객체의 중심점좌표(36), 그 객체의 위상전이 정보(37) 및 이미지 속성(38)를 포함하는 것이 바람직하다.

도 11d를 참조하면 영상정보 저장부(110)에 저장된 단순객체별 메타데이터(40)는 객체식별정보(43), 그 객체가 포함된 영상식별정보(41), 프레임 식별정보(42), 객체명(44), 그 객체의 분류정보(45), 판매정보(46), 링크정보(47) 및 이벤트에 따른 동작정보(48)를 포함하는 것이 바람직하다. 이 때, 상기 이벤트에 따른 동작정보(48)는 객체의 선택에 따른 동작정보로서, 대응된 링크위치로의 이동 또는 구매 결정 및 이후 동작 처리 대기 동작 중 적어도 하나를 포함하는 것이 바람직하다.

도 11e를 참조하면 영상정보 저장부(110)에 저장된 논리객체 정보(50)는 논리객체식별정보(53), 그 논리객체가 포함된 영상식별정보(51), 프레임 식별정보(52), 논리객체 명(54), 그 논리객체의 분류정보(55), 하위 논리객체 식별정보(56)상기 논리객체에 포함된 단순객체들에 대한 식별정보(57) 및 이벤트에 따른 동작정보(58)를 포함한다. 이 때, 이벤트에 따른 동작정보는 상기 논리객체의 선택에 따른 동작정보로서, 대응된 링크로의 이동, 구매 결정 및 이후 동작 처리 대기 동작 및 상기 논리객체에 포함된 단순객체 리스트 표시 중 적어도 하나를 포함하는 것이 바람직하다.

도 12는 본 발명의 일실시 예에 따라 검출된 객체 정보들 간에 논리적인 연관관계를 설명하기 위한 도면이다. 도 12에서 굵은선으로 표시된 것이 논리객체이고, 나머지 것은 단순객체를 나타낸다.

도 13은 본 발명의 일실시 예에 따른 영상 표시 단말에 대한 개략적인 블록도이다. 도 13을 참조하면 표시단말(200)은 표시부(210), 사용자 인터페이스부(220), 제어부(230) 및 통신 인터페이스(24)를 포함한다.

이 때 표시부(210)는 상기 셀 단위로 분할된 표시 화면을 포함하고 상기 표시 영상정보를 출력한다.

사용자 인터페이스부(220)는 사용자와의 인터페이싱을 제공하고, 통신 인터페이스(24)는 통신망과의 인터페이싱을 제공한다.

한편 제어부(230)는 표시화면의 좌표 정보와 상기 셀 분할정보의 매핑 정보를 저장하고, 사용자의 입력정보에 의거하여 객체 선택정보를 인식하여 상기 영상서버로 전달하도록 제어한다.

이 때 도 10에 예시된 영상서버(100)와 도 13에 예시된 표시 단말(200)은 하나의 장치로 구성되거나, 별도로 구성된 후 통신망을 통해 데이터를 송/수신하도록 구성하는 것이 바람직하다.

이상에서는 본 발명에서 특정의 바람직한 실시 예에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시 예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.

상기와 같이 본 발명은 영상에 대한 객관적인 분석이 용이한 장점이 있다. 또한 본 발명은 영상에 포함된 객체의 상대적인 위치를 결정함으로써 해당 영상이 표시되는 장치의 해상도나, 화면 크기와 상관없이 표시 장치 상에서 시청자가 지정한 위치의 객체를 정확하게 판단할 수 있도록 하는 효과가 있다.

Claims (55)

1. 영상에 포함된 객체를 색인하는 방법에 있어서,

   영상에 대한 기본 화면 크기를 검출하는 과정;

   미리 설정된 분할정보에 의거하여 상기 화면을 다수의 가상 셀로 분할하고, 그 분할정보를 저장하는 과정;

   상기 분할한 셀들 각각의 이미지 정보를 분석하고 그 결과를 저장하는 과정; 및

   상기 이미지 정보가 동일한 셀 중 인접한 셀들의 집합을 하나의 객체로 인식하고, 그 객체들 각각의 단순객체정보를 저장하는 과정을 포함하는 것을 특징으로 하는 객체 색인 방법.
2. 제1항에 있어서, 상기 셀 분할정보 저장과정은

   상기 영상 식별정보와, 각 셀의 시작점 좌표 및 끝점 좌표를 포함하는 셀 분할정보를 저장하는 것을 특징으로 하는 객체 색인 방법.
3. 제1항에 있어서, 상기 셀 분석 과정은

   상기 셀들을 순차적으로 선택하면서,

   그 선택된 셀의 색상 및 텍스쳐 정보 분석 결과 그 분석정보가 단일한 경우

   그 셀이 단일객체에 포함되는 것으로 판단하여 상기 단일분석정보를 해당 셀의 이미지 정보로 저장하는 것을 특징으로 하는 객체 색인 방법.
4. 제3항에 있어서, 상기 셀 분석 과정은

   상기 선택된 셀의 색상 및 텍스쳐 정보 분석 결과 하나 이상의 분석정보가 존재하는 경우

   그 분석정보들 중 미리 설정된 단일객체판단비율 이상인 하나의 분석정보를 해당 셀의 이미지 정보로 저장하는 것을 특징으로 하는 객체 색인 방법.
5. 제3항에 있어서, 상기 셀 분석 과정은

   상기 선택된 셀의 색상 및 텍스쳐 정보 분석 결과 하나 이상의 분석 정보가 존재하는 경우

   상기 셀을 미리 설정된 개수의 서브 셀들로 분할한 후 그 서브 셀 각각의 이미지 정보를 분석하고, 단일분석정보를 갖는 서브 셀에 대하여 그 단일분석정보를 해당 서브 셀의 이미지 정보로 저장하는 것을 특징으로 하는 객체 색인 방법.
6. 제5항에 있어서, 상기 셀 분석 과정은

   상기 서브 셀의 이미지 정보 분석결과 하나 이상의 분석정보가 존재하는 경우

   그 서브 셀을 미리 설정된 개수의 하위레벨 서브 셀들로 다시 분할하고 그 하위레벨 서브 셀 각각의 이미지 정보를 분석한 후, 단일분석정보를 갖는 하위레벨 서브 셀에 대하여 그 단일분석정보를 해당 서브 셀의 이미지 정보로 저장하는 과정을 반복 수행하는 것을 특징으로 하는 객체 색인 방법.
7. 제6항에 있어서, 상기 셀 분석 과정은

   미리 설정된 최대 레벨까지 상기 서브 셀의 분할 및 이미지 분석을 반복 수행하는 것을 특징으로 하는 객체 색인 방법.
8. 제7항에 있어서, 상기 셀 분석 과정은

   상기 최대 레벨 서브 셀의 이미지 분석 결과 하나 이상의 분석정보가 존재하는 경우 그 중 임의의 하나를 해당 셀의 이미지 정보로 저장하는 것을 특징으로 하는 객체 색인 방법.
9. 제5항 또는 제6항에 있어서, 상기 미리 설정된 서브 셀 개수는

   4개인 것을 특징으로 하는 객체 색인 방법.
10. 제1항에 있어서, 상기 단순 객체정보 저장과정은

    상기 객체들을 구성하는 셀 정보로 표현된 객체들 각각의 위치 및 이미지 정보를 포함하는 단순객체정보를 저장하는 것을 특징으로 하는 객체 색인 방법.
11. 객체정보를 포함하는 영상정보들 및 각 영상의 화면분할정보인 셀 정보를 저장하는 저장과정;

    영상정보 요청에 응답하여 기 저장된 영상정보들 중 표시영상정보를 검출하는 검출과정;

    상기 표시영상정보의 셀 정보에 의거하여 그 표시영상정보를 표시할 표시화면을 셀 단위로 분할하는 분할과정;

    상기 표시화면의 좌표 정보와 상기 셀 정보를 매핑하는 매핑과정;

    상기 표시화면에 표시영상정보를 출력하는 출력과정;

    객체선택정보의 입력에 응답하여 선택된 객체를 판단하는 판단과정; 및

    상기 저장과정에서 객체별로 미리 설정된 동작 정보에 의거하여 상기 객체 선택에 따른 서비스를 제공하는 서비스제공과정을 포함하는 것을 특징으로 하는 영 상에 포함된 객체 정보를 이용한 부가 서비스 방법.
12. 제11항에 있어서, 상기 각 영상의 셀 정보는

    각 영상을 표시할 표시화면에 대한 가로/세로 분할 개수를 포함하는 초기 셀 분할 정보 및 그 초기 셀을 서브 셀로 분할하기 위한 최대 레벨 정보를 포함하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
13. 제11항에 있어서, 상기 저장과정은

    저장할 영상신호를 수집하는 수집과정;

    상기 수집된 영상신호를 엔코딩하여 저장하는 엔코딩과정;

    상기 저장된 영상에 포함된 객체정보를 검출하는 색인과정; 및

    상기 색인과정에서 검출된 객체정보에 대한 부가 서비스를 제공하기 위한 메타 데이터를 입력받아 저장하는 서비스 프로파일 생성과정을 포함하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
14. 제13항에 있어서, 상기 색인 과정은

    상기 영상에 포함된 객체들의 상대적인 위치를 검출하고, 해당 객체의 이미 지 정보를 분석하여 상기 객체들을 구성하는 셀 정보로 표현된 객체들 각각의 위치 및 이미지 정보를 포함하는 단순객체정보를 저장하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
15. 제14항에 있어서, 상기 색인 과정은

    상기 영상에 대한 기본 화면 크기를 검출하는 과정;

    미리 설정된 분할정보에 의거하여 상기 화면을 다수의 가상 셀로 분할하고, 그 분할정보를 저장하는 과정;

    상기 분할한 셀들 각각의 이미지 정보를 분석하고 그 결과를 저장하는 과정; 및

    상기 이미지 정보가 동일한 셀 중 인접한 셀들의 집합을 하나의 객체로 인식하고, 그 객체들 각각의 단순객체정보를 저장하는 과정을 포함하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
16. 제15항에 있어서, 상기 분할정보 저장과정은

    상기 영상 식별정보와, 각 셀의 시작점 좌표 및 끝점 좌표를 포함하는 셀 분할정보를 저장하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
17. 제15항에 있어서, 상기 셀 분석 과정은

    상기 셀들을 순차적으로 선택하면서,

    그 선택된 셀의 색상 및 텍스쳐 정보 분석 결과 그 분석정보가 단일한 경우

    그 셀이 단일객체에 포함되는 것으로 판단하여 상기 단일분석정보를 해당 셀의 이미지 정보로 저장하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
18. 제17항에 있어서, 상기 셀 분석 과정은

    상기 선택된 셀의 색상 및 텍스쳐 정보 분석 결과 하나 이상의 분석정보가 존재하는 경우

    그 분석정보들 중 미리 설정된 단일객체판단비율 이상인 하나의 분석정보를 해당 셀의 이미지 정보로 저장하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
19. 제17항에 있어서, 상기 셀 분석 과정은

    상기 선택된 셀의 색상 및 텍스쳐 정보 분석 결과 하나 이상의 분석 정보가 존재하는 경우

    상기 셀을 미리 설정된 개수의 서브 셀들로 분할한 후 그 서브 셀 각각의 이미지 정보를 분석하고, 단일분석정보를 갖는 서브 셀에 대하여 그 단일분석정보를 해당 서브 셀의 이미지 정보로 저장하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
20. 제19항에 있어서, 상기 셀 분석 과정은

    상기 서브 셀의 이미지 정보 분석결과 하나 이상의 분석정보가 존재하는 경우

    그 서브 셀을 미리 설정된 개수의 하위레벨 서브 셀들로 다시 분할하고 그 하위레벨 서브 셀 각각의 이미지 정보를 분석한 후, 단일분석정보를 갖는 하위레벨 서브 셀에 대하여 그 단일분석정보를 해당 서브 셀의 이미지 정보로 저장하는 과정을 반복 수행하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
21. 제20항에 있어서, 상기 셀 분석 과정은

    미리 설정된 최대 레벨까지 상기 서브 셀의 분할 및 이미지 분석을 반복 수 행하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
22. 제21항에 있어서, 상기 셀 분석 과정은

    상기 최대 레벨 서브 셀의 이미지 분석 결과 하나 이상의 분석정보가 존재하는 경우 그 중 임의의 하나를 해당 셀의 이미지 정보로 저장하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
23. 제19항 또는 제20항에 있어서, 상기 미리 설정된 서브 셀 개수는

    4개인 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
24. 제14항에 있어서, 상기 단순객체정보 저장과정은

    객체들을 구성하는 셀 정보로 표현된 객체들 각각의 위치 및 이미지 정보를 포함하는 단순객체정보를 저장하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
25. 제14항 또는 제15항에 있어서, 상기 판단과정은

    포인팅정보의 입력에 응답하여 포인팅 좌표를 인식하는 과정;

    상기 매핑된 정보에 의거하여 상기 포인팅 좌표에 대응된 표시부의 셀을 검출하는 과정;

    상기 검출된 셀이 상기 색인 과정에서 저장된 단순객체 정보들 중 적어도 하나를 구성하는 셀 정보에 포함되는 지를 판단하여, 상기 셀이 상기 단순객체 정보들 중 적어도 하나를 구성하는 셀 정보에 포함되는 경우 대응된 단순객체 정보를 검출하는 과정; 및

    상기 검출된 단순객체의 메타 데이터를 검출하는 과정을 포함하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
26. 제25항에 있어서, 상기 셀 검출과정은

    최대 레벨로 분할된 셀 중 상기 포인팅 좌표에 대응된 셀을 검출하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
27. 제25항에 있어서, 상기 판단 및 단순객체 정보 검출 과정은

    상기 판단결과 해당 셀이 상기 단순 객체 정보들 중 어느 하나를 구성하는 셀 정보에도 포함되지 않은 경우 현재 셀의 상위 셀을 검출한 후 그 셀에 의거하여 해당 동작을 반복 수행하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
28. 제27항에 있어서, 상기 판단 및 단순객체 정보 검출 과정은

    상기 현재 셀의 상위 셀이 존재하지 않는 경우 그 셀에 근접한 셀을 구성 정보로 포함하는 근접 객체 정보를 검출하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
29. 제25항에 있어서, 상기 판단 및 단순객체 정보 검출 과정은

    상기 검출된 단순객체를 포함하는 논리객체가 존재하는 경우 그 논리객체를 검출하는 과정; 및

    상기 검출된 논리객체에 포함된 모든 단순객체 정보를 검출하는 과정을 더 포함하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
30. 제14항 또는 제15항에 있어서, 상기 판단과정은

    상기 객체선택정보가 음성 정보인 경우 음성인식을 수행하여 상기 음성 정보 에 대응된 객체 명을 인식하는 과정; 및

    기 저장된 단순객체의 객체 명이 상기 음성인식 결과에 대응하는 객체를 검출하는 과정을 포함하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
31. 제30항에 있어서, 상기 판단과정은

    상기 검출된 객체가 논리객체인 경우 상기 검출된 논리객체에 포함된 모든 단순객체 정보를 검출하는 과정을 더 포함하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
32. 제13항에 있어서, 상기 서비스 프로파일 생성 과정은

    상기 색인 과정에서 검출된 단순객체들 각각에 대한 메타데이터 입력을 요청하는 과정;

    상기 요청에 응답하여 메타 데이터가 입력되면 그 메타데이터를 이용하여 단순객체들 각각에 대한 서비스 프로파일을 생성하는 과정;

    상기 단순객체들 간 연관정보가 입력되면 그에 응답하여 단순객체들 간 계층구조를 생성하는 과정; 및

    상기 계층 구조에 의해 생성된 가상의 논리 객체를 포함하는 계층 정보를 저 장하는 과정을 포함하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
33. 제32항에 있어서, 상기 서비스제공과정은

    상기 서비스 프로파일 생성 과정에서 생성된 서비스 프로파일 정보에 의거하여 대응된 객체 정보를 표시하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
34. 제32항에 있어서, 상기 서비스제공과정은

    상기 서비스 프로파일 생성 과정에서 생성된 서비스 프로파일 정보에 의거하여 대응된 객체에 링크된 화면으로 이동하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
35. 제11항에 있어서, 상기 분할과정은

    상기 표시영상정보의 초기 셀 분할 정보에 의거하여 상기 표시화면을 대응된 수의 초기 셀로 분할하고, 그 초기 셀을 상기 표시영상정보의 최대 레벨까지 분할하는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
36. 제35항에 있어서, 상기 매핑과정은

    상기 초기 셀 및 상기 최대 레벨 까지 분할된 서브 셀들 각각에 대하여 해당 셀의 식별정보와 대응된 셀에 대한 표시화면의 시작 및 끝 좌표를 매핑시키는 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
37. 제11항에 있어서, 상기 판단과정에서 입력되는 객체선택정보는

    포인팅정보, 음성 및 키워드 중 어느 하나인 것을 특징으로 하는 영상에 포함된 객체 정보를 이용한 부가 서비스 방법.
38. 객체 정보를 포함하는 영상정보들 및 각 영상의 화면분할정보인 셀 정보를 저장하고, 영상정보 요청에 응답하여 대응된 영상정보와 그 영상의 화면분할 정보인 셀 정보를 함께 제공하는 영상 서버; 및

    상기 영상 서버로부터 표시영상정보 및 대응된 셀 정보를 전달받아 상기 셀 정보에 의거하여 표시화면을 셀 단위로 분할한 후 상기 표시화면에 상기 표시영상정보를 출력하는 표시 단말을 포함하되,

    상기 표시 단말은

    상기 화면에 표시 중인 영상에 포함된 객체 선택 정보를 입력받아 그 객체 선택 정보를 상기 영상 서버로 전달하고,

    상기 영상 서버는

    상기 객체 선택정보에 의거하여 대응된 객체에 대하여 미리 설정된 동작 정보에 의거하여 상기 객체 선택에 따른 부가서비스를 제공하는 것을 특징으로 하는 영상처리장치.
39. 제38항에 있어서, 상기 영상서버는

    상기 객체 정보를 포함하는 영상정보들 및 각 영상의 화면분할 정보인 셀 정보를 저장하는 영상정보 저장부;

    영상정보를 입력받는 입력부;

    입력된 영상정보를 엔코딩하여 상기 영상정보 저장부에 저장하는 엔코딩부;

    상기 저장된 영상정보로부터 객체정보를 검출하여 상기 영상정보 저장부의 영상정보에 매칭시켜 저장하는 색인부;

    상기 객체정보들 각각의 메타 데이터 및 상기 객체정보들간의 계층관계를 관리하는 객체정보 관리부;

    요청 정보에 의거하여 상기 영상정보 저장부를 검색하는 검색부;

    사용자와의 인터페이싱을 제공하는 사용자 인터페이스부;

    통신망과의 인터페이싱을 제공하는 통신 인터페이스부; 및

    상기 저장부, 입력부, 엔코딩부, 색인부, 객체정보 관리부, 사용자 인터페이스부 및 상기 통신 인터페이스부의 동작을 제어하는 제어부를 포함하는 것을 특징으로 하는 영상처리장치.
40. 제39항에 있어서, 상기 색인부는

    상기 영상에 포함된 객체들의 상대적인 위치를 검출하고, 해당 객체의 이미지 정보를 분석하여 상기 객체들을 구성하는 셀 정보로 표현된 객체들 각각의 위치 및 이미지 정보를 포함하는 단순객체정보를 상기 영상정보 저장부에 저장하는 것을 특징으로 하는 영상처리장치.
41. 제40항에 있어서, 상기 색인부는

    상기 영상에 대한 기본 화면 크기를 검출한 후 미리 설정된 분할정보에 의거하여 상기 화면을 다수의 가상 셀로 분할하고, 상기 분할한 셀들 각각의 이미지 정보를 분석하여 상기 이미지 정보가 동일한 셀 중 인접한 셀들의 집합을 하나의 객체로 인식하고, 그 객체들 각각의 단순객체정보를 저장하는 것을 특징으로 하는 영상처리장치.
42. 제40항 또는 제41항에 있어서, 상기 영상정보 저장부는

    객체식별정보, 그 객체가 포함된 영상 식별정보, 그 객체를 구성하는 분할 셀들 각각의 식별정보를 포함하는 구성셀 정보, 그 객체의 면적, 그 객체의 중심점좌표, 그 객체의 위상전이 정보 및 이미지 속성을 포함하는 단순객체 정보를 저장하는 것을 특징으로 하는 영상처리장치.
43. 제39항에 있어서, 상기 객체정보 관리부는

    상기 색인부에서 검출된 단순객체들 각각에 대한 메타데이터를 입력받아 상기 메타데이터를 이용한 단순객체들 각각에 대한 서비스 프로파일을 생성하고, 상기 단순객체들 간 연관정보를 입력받아 단순객체들 간 계층구조를 생성한 후 상기 계층 구조에 의해 생성된 가상의 논리 객체를 포함하는 계층 정보를 저장하는 것을 특징으로 하는 영상처리장치.
44. 제43항에 있어서, 상기 영상정보 저장부는

    객체식별정보, 그 객체가 포함된 영상식별정보, 그 객체의 분류정보, 판매정보, 링크정보 및 이벤트에 따른 동작정보를 포함하는 단순 객체별 메타데이터 정보를 저장하는 것을 특징으로 하는 영상처리장치.
45. 제44항에 있어서, 상기 이벤트에 따른 동작정보는

    객체의 선택에 따른 동작정보로서, 대응된 링크위치로의 이동 또는 구매 결정 및 이후 동작 처리 대기 동작 중 적어도 하나를 포함하는 것을 특징으로 하는 영상처리장치.
46. 제43항에 있어서, 상기 영상정보 저장부는

    논리객체식별정보, 그 논리객체가 포함된 영상식별정보, 그 논리객체의 분류정보, 상기 논리객체에 포함된 단순객체들에 대한 식별정보 및 이벤트에 따른 동작정보를 포함하는 논리객체정보를 저장하는 것을 특징으로 하는 영상처리 장치.
47. 제46항에 있어서, 상기 논리객체정보는

    하위 논리객체 정보 식별정보를 더 포함하는 것을 특징으로 하는 영상처리 장치.
48. 제46항에 있어서, 상기 이벤트에 따른 동작정보는

    상기 논리객체의 선택에 따른 동작정보로서, 대응된 링크로의 이동, 구매 결 정 및 이후 동작 처리 대기 동작 및 상기 논리객체에 포함된 단순객체 리스트 표시 중 적어도 하나를 포함하는 것을 특징으로 하는 영상처리 장치.
49. 제39항에 있어서, 상기 제어부는

    상기 객체정보 관리부에서 생성된 서비스 프로파일 정보에 의거하여 대응된 객체 정보를 표시하거나, 대응된 객체에 링크된 화면으로 이동하도록 제어하는 것을 특징으로 하는 영상처리장치.
50. 제39항에 있어서, 상기 영상정보 저장부는

    영상식별정보, 그 영상에 대한 화면분할단위인 셀의 식별정보, 대응된 셀의 시작좌표 및 끝 좌표를 포함하는 셀 분할 정보를 대응된 영상정보와 함께 저장하는 것을 특징으로 하는 영상처리장치.
51. 제39항에 있어서, 상기 영상정보 저장부는

    영상식별정보, 그 영상에 대한 화면분할단위인 셀의 식별정보, 대응된 셀의 분할 레벨 정보, 그 셀의 최상위 셀 식별정보 및 이미지 분석정보를 포함하는 셀 분석 결과 정보를 대응된 영상정보와 함께 저장하는 것을 특징으로 하는 영상처리 장치.
52. 제51항에 있어서, 상기 이미지 분석정보는

    색상정보 및 텍스쳐 정보를 포함하는 것을 특징으로 하는 영상처리장치.
53. 제38항에 있어서, 상기 표시 단말은

    상기 셀 단위로 분할된 표시 화면을 포함하고 상기 표시 영상정보를 출력하는 표시부;

    사용자와의 인터페이싱을 제공하는 사용자 인터페이스부;

    통신망과의 인터페이싱을 제공하는 통신 인터페이스부; 및

    상기 표시화면의 좌표 정보와 상기 셀 분할정보의 매핑 정보를 저장하고, 사용자의 입력정보에 의거하여 객체 선택정보를 인식하여 상기 영상서버로 전달하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 영상처리장치.
54. 제38항에 있어서, 상기 영상 서버와 상기 표시 단말은

    일체의 장치로 구성된 것을 특징으로 하는 영상처리장치.
55. 제38항에 있어서, 상기 영상 서버와 상기 표시 단말은

    통신망을 통해 데이터를 송/수신하는 것을 특징으로 하는 영상처리장치.

Images