KR20120021116A

KR20120021116A - 패턴인식을 이용한 실시간 방송에서의 부가정보 제공 시스템 및 그 제공방법

Info

Publication number: KR20120021116A
Application number: KR1020100085178A
Authority: KR
Inventors: 김보묵
Original assignee: 김보묵
Priority date: 2010-08-31
Filing date: 2010-08-31
Publication date: 2012-03-08

Abstract

본 발명은 카메라를 이용한 이미지처리 기술을 이용하여 실시간으로 방송되는 화면에서 특정 패턴을 인식하여 별도의 부가정보를 제공하는 시스템 및 그 방법에 관한 것이다. 보다 상세하게는 무선통신이 가능하며 카메라가 구비된 휴대용 단말기와, 휴대용 단말기내에 탑재된 패턴인식을 위한 이미지처리 프로그램의 요청에 따라 원격지의 데이터베이스로부터 특정한 영상 또는 이미지, 텍스트 데이터를 실시간으로 다운로드 하여 휴대용 단말기에 내장된 별도의 모니터를 통하여 이용자가 실시간 화면에서 보여지는 정보와 다른 별도의 부가적인 정보데이터를 동시에 받아현재 화면에 다운로드된 부가정보 데이터를 혼합하여주는 증강현실 기법을 이용하여 부가적인 정보를 볼 수 있도록 함으로써 다양한 부가정보의 손쉬운 접근과 획득이 가능한 부가정보 제공 시스템 및 그 제공방법에 관한 것이다.

Description

패턴인식을 이용한 실시간 방송에서의 부가정보 제공 시스템 및 그 제공방법 {Pattern recognition based on real-time broadcast system and method for providing additional information}

패턴인식(Pattern recognition)은 이미지처리 기술(Image Processing)의 한 분야로써, 입력되는 동영상 또는 이미지 데이터를 변환, 가공하여 이를통해 별도의 다양한 2차적인 분야에 적용하는 컴퓨터 그래픽 기법이다.

또한 패턴인식의 한 분야인 증강현실(Augmented Reality)은 가상현실(Virtual Reality)의 한 분야로, 실제의 환경에 가상의 정보데이터를 합성하여 원래 실제환경에 존재하는 것처럼 보이도록 혼합하여 주는 그래픽 기법을 말한다.

이러한 이미지처리 기술은 이미 만들어진 동영상 데이터파일이나 이미지 파일을 사용하는 방법외에도 카메라와 같은 별도의 입력장치를 통해 실시간으로 입력되는 영상데이터를 이용할 수도 있어, 현재는 경계 및 방범을 목적으로한 DVR(Digital Video Recorder)장치에서의 침입탐지 기능, 도로상에서 과속 및 특정지역의 불법주정차시 해당차량의 번호판 부분을 인식하고 번호판내에서 차량번호부를 추출하여 주는 교통단속 시스템등과 같은 부분에 많이 쓰이고 있다.

또한 최근에는 아이폰, 안드로이드폰 등과 같은 스마트폰(Smart Phone)의 발달로 인해 사람과 사물의 이미지 패턴을 분석하여 별도의 정보 데이터를 혼합하는 증강현실 기법을 이용한 정보제공 서비스와 같은 분야에 응용되어 각광을 받고 있다.

한편, 현재 실시간으로 공중파방송, 케이블방송, 인터넷기반의 IPTV(Internet Protocol Television)등 다양한 방송채널이 소비자에게 제공되고 있다. 이러한 방송채널을 통해 이용자는 드라마, 뉴스, 날씨, 스포츠 뿐만 아니라 다양한 상품을 소개하고 판매하는 홈쇼핑등의 방송정보를 취득하고 있으나 화면상에서 보여지는 일방적인 정보만을 제공받고 있는 현실이다. 이와 같은 단점을 해결하고자 최근에는 IPTV와 같은 인터넷기반 방송에서 별도의 단말장치를 통해 웹검색이나 별도정보를 제공받는 기능을 제공하기도 하지만 단순히 단말장치 조작을 통해 이용자가 검색하거나 정보제공 서비스에 접속하는 식으로 진행되어 조작의 어려움과 불편함이 뒤따르는 또다른 단점을 가지고 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 고안된 것으로, 특히 이동통신이 가능한 스마트폰과 같은 휴대용 단말기 등을 이용하여 방송화면영상 송출시 화면영상의 특정부분에 화면영상과 구분되는 별도의 패턴 이미지를 포함시켜 송출하여, 방송되는 화면을 카메라가 내장된 휴대용 단말기를 비춰주는 것만으로도 화면으로 제공되는 정보이외의 부가적인 다양한 정보를 증강현실 기반으로 제공받을 수 있는 부가정보 제공 시스템 및 그 제공밥업을 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위해 고안된 본 발명에 따른 본 시스템은 방송되는 화면의 제작과 송출시 화면내의 영상정보를 왜곡하지 않는 범위내에서 기존의 자막정보의 제공과 같은 형식으로 화면 일부분에 소규모의 패턴 이미지를 삽입하여 방송을 송출하는 입력영상부; 이런 영상을 받아들이는, 이동통신 서비스나 무선랜등 무선통신이 가능하며 카메라가 내장된 휴대용 단말기; 상기 휴대용 단말기에 내장되어 카메라를 통해 입력되는 영상화면 내에서 실시간으로 특정 패턴을 추출하고 인식하는 이미지처리부; 네트워크를 통해 휴대용 단말기에서 요청하는 부가적인 정보를 전송하여 주는 부가정보 데이터베이스를 내장한 정보제공 서버; 및 상기 부가정보를 휴대용 단말기에 내장된 화면상에 실제 화면과 혼합하거나 별도로 표출하여 이용자에게 제공하는 정보제공부를 포함하는 것을 특징으로 한다.

또한, 상기 휴대용 단말기는 카메라가 내장된 별도의 장치일 수 있다.

또한, 상기 데이터베이스는 제공되는 부가정보에 따라 다양한 3D데이터, 동영상데이터, 이미지 데이터 및 텍스트 데이터등의 정보를 저장하는 데이터베이스를 포함할 수 있다.

또한, 상기 입력영상부는 방송되어지는 영상화면의 제작이나 송출시 기존의 자막정보 제공과 같이 화면내의 영상을 가리거나 왜곡시키지 않는 범위내에서 특정 패턴을 이용하여 영상을 송출할 수 있다.

본 발명에 따른 패턴인식을 이용한 실시간방송에서의 부가정보 제공방법은 (1)휴대용 단말기에 내장된 카메라를 통해 실시간으로 입력되어지는 방송영상화면을 이미지처리를 통해 화면영상내에 포함된 특정 패턴정보를 파악하고 패턴부를 추출하는 단계; (2)추출되어진 패턴부를 인식하여 고유한 정보값으로 변환하여 네트워크를 통해 부가정보를 제공하는 데이터베이스에 정보제공을 요청하는 단계; (3)서버내에서 요청되어진 고유한 패턴 이미지의 정보값을 분석하고 확인하여 내장된 데이터베이스에서 특정데이터를 전송하는 단계; (4)실시간으로 제공되어진 부가정보를 휴대용 단말기에 내장된 화면장치에 실제 방송화면과 혼합하거나; (5)별도의 정보제공 화면으로 구성하여 부가정보가 제공되는 것을 특징으로 한다.

본 발명을 통해 이용자는 실시간으로 방송을 시청하면서 휴대용 단말기로 화면을 촬영하는 것만으로도 손쉽게 방송화면으로는 확인하지 못하는 다양한 부가정보를 제공받을 수 있어, 날씨뉴스를 시청시 화면하단부 등에 삽입된 패턴 이미지를 단말기로 촬영하는 경우 화면상에서는 전국의 날씨정보를 보면서 단말기 화면에서는 자신이 살고있는 동내의 일기예보를 동시에 확인할 수 있으며, 드라마 시청시에는 주인공이 입고 있는 의류나 소품의 구매정보, 또는 주인공들이 식사하고 있는 식당의 위치정보등을 제공받을 수 있고, 홈쇼핑 채널에서는 휴대용 단말기를 비추는 것만으로도 컴퓨터조작이나 전화를 통해 별도로 해당제품을 구매하는 과정대신 바로 방송되는 해당 제품의 구매사이트로 직접 이동이 가능하여 보다 빠르고, 보다 손쉽게 다양한 양방향의 부가정보 서비스의 이용이 가능하며 이를 통해 관련된 방송시장과 부가가치의 창출을 통해 관련분야 시장확대와 이용증대 등의 경제효과의 상승이 가능한 효과가 있다.

도 1은 본 발명의 바람직한 실시예에 따른 패턴인식을 이용한 실시간 방송에서의 부가정보 제공 시스템의 전체 구성도,
도 2는 도 1 중 입력영상부의 방송되는 입력영상 화면부의 상세 구성도,
도 3은 도 1 중 휴대용 단말기의 상세 구성도,
도 4는 도 1 중 부가정보 제공서버의 상세 구성도,
도 5는 도 1 중 패턴인식을 처리하는 이미지 처리부의 바람직한 실시예에 따른 부가정보 제공방법의 흐름도,
도 6은 도 1 중 입력영상부의 방송화면내에 삽입되어 송출되는 패턴 이미지 상세 구성도이다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세히 설명한다. 그리고 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 개발자 및 사업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

먼저, 본 발명의 바람직한 실시예에 따르면 패턴인식을 이용한 실시간 방송에서의 부가정보 제공 시스템에 대해 설명한다.

도 1은 본 발명의 바람직한 실시예에 따른 패턴인식을 이용한 실시간 방송에서의 부가정보 제공 시스템의 전체 구성도이다.

본 발명의 바람직한 실시예에 따른 패턴인식을 이용한 실시간 방송에서의 부가정보 제공 시스템(이하, "부가정보 제공 시스템")은, 도 1을 참조하면, 입력영상부(100), 카메라 장치부(200), 휴대용 단말기(300), 통신망(400), 정보제공 서버(500), 데이터베이스(600)등을 포함하여 이루어진다.

입력영상부(100)는 방송되어지는 방송화면을 말하며, 보통 방송제작을 담당하는 방송국이나 관련영상의 원 제작업체에서 제작되어지게 되고 이때에 미리 해당 방송영상내에서 제공하기를 원하는 부가정보에 따라 해당화면내에 영문자, 국문자등 특정한 문자와 문양이 포함된 패턴 이미지를 영상화면내의 일부분에 삽입하여 영상을 제작하거나 송출시 별도로 삽입하여 방송영상화면을 송출하게 한다.

이러한 패턴 이미지의 화면영상내 삽입은 상기의 설명과 같이 영상의 제작시 삽입하거나, 방송송출시 기존의 자막효과처럼 별도의 송출화면 제작방식으로 삽입하는 등 어떠한 방식으로든 화면내에 적합한 위치에 인식이 가능한 소규모 크기로 삽입되며, 이때 화면영상을 가리거나 하는등의 왜곡이 없는 방향으로 바람직하게 구성하도록 한다. 이때 제작, 삽입되어지는 패턴 이미지의 상세한 구성은 이하 도 6을 참조하여 설명하기로 한다.

카메라 장치부(200)는 휴대용 단말기(300)에 내장되거나 별도로 케이블로 연결되어 구동되어지며, 최소 45K pixel급 이상의 이미지해상력을 가진 카메라로 바람직하게는 1M pixel급 이상의 카메라를 이용하도록 구비하며, 입력되어지는 화면영상을 디지털로 변환하여 휴대용 단말기(300)의 이미지 처리부(310)에 전송하게 된다.

휴대용 단말기(300)는 내부에 이미지 처리부(310)을 내장하여 카메라 장치부(200)로 부터 전송되어지는 실시간 외부영상을 이미지 처리기술을 통하여 분석하여 특정 패턴의 고유한 값으로 데이터변환을 하며, 이를 통신망(400)을 통해 원격지에 있는 부가정보를 제공하는 데이터베이스(600)을 내장한 정보제공 서버(500)로 전송하고

실시간으로 제공되어지는 정보를 다시 받아, 별도의 내장된 화면상에 증강현실 기법 또는 별도의 정보제공 화면과 같은 다양한 방식으로 적절하게 이용자에게 제공하도록 구성되어 진다. 이때 패턴의 인식을 처리하는 보다 상세한 방법은 도 5를 참조하여 설명하기로 한다.

통신망(400)은 휴대용 단말기(300)가 획득한 패턴 이미지의 고유한 값을 부가정보를 제공하여 주는 정보제공 서버(500)로 전송하는 매체 역활을 수행한다. 또한, 통신망(400)은 정보제공 서버(500)가 데이터베이스(600)로 부터 제공되는 부가정보 데이터를 다시 휴대용 단말기(300)에 전송하게 되며, 이를 위해 이동통신망, 무선랜 방식의 인터넷 등이 사용될 수 있다.

부가정보를 제공하는 정보제공 서버(500)은 휴대용 단말기(300)의 요청에 따라 데이터베이스(600)로부터, 동영상, 3차원데이터, 이미지, 텍스트등의 데이터를 추출하여 휴대용 단말기(300)에 전송하는 역활을 수행한다. 이를 위해 정보제공 서버(500)는 휴대용 단말기(300)로부터 이미지 처리를 통해 추출한 고유한 패턴 이미지의 값을 분석하는 정보분석부(510) 및 정보확인부(520)를 통해 정확한 데이터 제공이 가능하도록 하고, 실시간으로 데이터베이스(600)와 연동하도록 구성되어 지도록 운영한다. 또한 외부로부터 부가정보에 관한 데이터입력을 받아 들이 수 있도록 하여 데이터베이스(600)에 계속적으로 패턴 이미지의 고유한 값에 따라 요청되어지는 부가정보를 제공할 수 있도록 운영하게 된다.

데이터베이스(600)는 부가정보 제공서버(500)와 연동되어 부가정보 관련 데이터들을 저장하는 역활을 수행한다. 데이터베이스(600)는 3차원데이터, 동영상데이터, 이미지데이터, 텍스트데이터 등 다양한 해당 부가정보 데이터를 저장하며, 데이터의 입력과 출력, 수정이 관리자에 의해서 용이하도록 구성한다.

도 2는 도 1 중 입력영상부(100)의 상세 구성도이다.

입력영상부(100)는 실제로 방송되는 실시간방송 화면으로서 드라마, 뉴스, 홈쇼핑 등 다양한 영상정보가 표시되며 상기의 설명과 같이 특정한 부가정보를 요청할 수 있는 패턴 이미지를 포함하게 되며, 이 표시되는 이미지 패턴은 다른 정보와 구별되어 지고 해당하는 데이터베이스(600)의 부가데이터와 매칭 되어지도록 별도의 문자와 도형이 표시된 패턴 이미지를 포함하게 된다.

도 3은 도 1 중 휴대용 단말기(300)의 상세 구성도이다.

휴대용 단말기(300)는, 입력영상부(100)를 촬영할 카메라 장치부(200)를 내장하게 되어 있으며, 내부에 패턴 이미지를 분석처리하는 이미지 처리부(310), 데이터베이스와 통신을 하여 데이터의 요청과 전송을 담당하는 데이터베이스 접속부(320), 전송되어진 부가정보를 이용자에게 별도의 화면구성으로 보여주는 정보제공부(330)를 포함하고 있다.

이러한 구성부를 포함한 휴대용 단말기(300)는 이미지 처리부(310)를 구동시킨 후 입력영상부(100)를 촬영하는 순간 화면상의 패턴정보를 인식, 처리하여 통신망(400)을 통해 원격지 부가정보 제공서버(500)를 거쳐 데이터 베이스(600)내부의 부가정보 데이터를 다운로드 한 후, 3차원데이터나 동영상, 텍스트 데이터들을 이용자에게 별도의 화면으로 디스플레이될 수 있도록 한다.

도 4는 도 1 중 부가정보 제공서버(500)의 상세 구성도이다.

부가정보 제공서버(500)는, 정보분석부(510)와 정보확인부(520)으로 구성된다.

정보분석부(510)는 휴대용 단말기(300)로부터 전송된 패턴 이미지의 고유한 정보값의 유무를 판단하며 해당정보값이 있을경우는 정보확인부(520)로 보내고, 없을 경우는 에러메시지를 휴대용 단말기로(300)로 재전송하여 패턴 이미지값을 다시 보내도록 하여 에러처리 및 정보확인을 담당할 수 있도록 구성되며, 정보확인부(520)는 정보분석부(510)로 부터 입력된 패턴 이미지값을 데이터베이스(600)의 해당 값과 비교하도록 하여 해당하는 부가정보 데이터를 추출한 후 다시 휴대용 단말기(300)로 전송한게 된다.

도 5는 도 1 중 패턴인식을 처리하는 이미지 처리부의 바람직한 실시예에 따른 부가정보 제공방법의 흐름도이다.

본 발명의 바람직한 실시예에 따른 이미지 처리부의 동작구성을 도 5를 참조하면, 실시간 영상입력(311), 입력영상이진화(312), 요소구분(313), 패턴외곽추출(314), 패턴인식(315), 데이터베이스통신(316), 정보혼합(317), 사용자제공(318)의 단계를 포함한다.

실시간 영상입력(311)단계는 카메라 장치부(200)로부터 입력되는 입력영상부(100)의 방송화면 영상을 받아들이는 단계이다. 이렇게 입력되는 실시간 영상은 프레임(frame)별로 구분되어지고 흑백의 2단계로 구분되어지는 입력영상이진화(312)단계를 거치고 이진화를 통해 처리된 영상데이터는 음영의 선과 면등으로 구분되어지는 요소구분(313)의 처리단계를 거쳐서 각기 영상내에서 특정한 부분들을 추출하여 이중 특정패턴 이미지 요소를 구분하게 된다. 이렇게 구분되어진 패턴 이미지는 패턴의 내외곽과 내부의 도형 및 텍스트 부분을 다시 추출하는 패턴외곽추출(314)의 단계를 거친 후 다른 패턴 이미지와 구별되는 고유한 값으로 변환되는 패턴인식(315)을 통해 통신망(400)으로 원격지의 정보제공 서버(500)와 통신으로 해당하는 부가정보 데이터를 수신하여 휴대용 단말기(300)의 내부 화면에 부가정보 데이터를 표시(317), 제공(318)하게 되어 전체 서비스의 흐름이 완료 되어진다.

도 6은 도 1 중 입력영상부의 방송화면내에 삽입되어 송출되는 패턴분양의 이미지의 상세 구성도이다.

상기와 같은 전체 부가정보 제공을 위하여 삽입되는 영상내에 패턴 이미지를 도 6을 참조하여 설명하면, 카메라가 다른 영상화면과 구별될 수 있는 최대한의 고유한 형태를 위하여 정사각형의 패턴 외부선(121)과 각기 고유한 값을 가질 수 있도록 고유한 도형과 텍스트로 구성된 내부도형(122)으로 구성되어 진다.

패턴의 크기와 굵기 색상은 카메라를 통해 분석하였을 경우, 화면내의 영상과 분명한 차이를 둘 수 있을 만큼의 형태이며 이를 위해 도 6과 같이 검정색과 같은 원색의 외부선(121)과 내부의 다양한 도형과 텍스트로 이루어진다.

이상의 설명은 본 발명의 기술적 분야를 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통산의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경이 가능할 것이다. 따라서 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위해서가 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면의 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 - 입력영상부
200 - 카메라 장치부
300 - 휴대용 단말기
400 - 통신망
500 - 정보제공 서버
600 - 데이터베이스

Claims

패턴인식을 이용한 실시간 방송에서의 부가정보 제공시스템에 있어서,
송출되는 방송영상 화면내에 특정한 패턴 이미지를 포함한 입력영상부;
무선통신이 가능하며 카메라가 구비된 휴대용 단말기;
상기 휴대용 단말기에서 카메라를 통한 실시간 방송화면 영상입력시 화면내에서 특정 패턴 이미지를 추출하고 인식하여 주는 이미지 처리부;
상기 패턴 이미지를 인식하여 고유한 값으로 변환하여 통신망을 통해 해당하는 부가정보를 전송하여 주는 정보제공 서버; 및 해당하는 부가정보 데이터를 포함하는 데이터 베이스 시스템.
제1항에 있어서,
상기 입력영상부는 방송되는 영상의 제작시, 송출시에 특정 패턴의 이미지를 화면내 일부분에 표시, 삽입하여 방송으로 송출하는 실시간 공중파, 케이블, IPTV방송 시스템.
제1항에 있어서,
상기 데이터 베이스는 해당하는 패턴 이미지의 고유한 값에 매칭되는 부가정보 데이터인 3차원데이터, 영상데이터, 이미지데이터, 텍스트데이터를 저장하는 데이터베이스를 포함하는 것을 특징으로 하는 정보제공 시스템.
제1항에 있어서,
상기 휴대용 단말기는 카메라가 구비된 이동통신 및 무선랜 인터넷 접속이 가능한 단말기인 것을 특징으로 별도의 화면표시 장치가 구비된 정보제공 시스템.
제4항에 있어서,
상기 휴대용 단말기는 카메라 장치부를 통해 입력되어진 실시간 영상화면을 분석하여 이미지 처리를 통하여 패턴 이미지를 추출, 인식하는 이미지 처리부;
상기 이미지 처리부의 의해 추출된 고유한 패턴 이미지값을 통신망을 통해 원격지의 정보제공 서버를 통해 부가정보를 제공받는 것을 특징으로한 정보제공 시스템.
제1항에 있어서,
상기 정보제공 서버는, 고유한 패턴 이미지값의 비교를 통해 유무를 판별하는 정보분석부와 이를 통해 데이터베이스로 부터 고유한 정보를 추출하는 정보확인부를 포함하는 것을 특징으로 하는 정보제공 시스템.
부가정보 제공 방법에 있어서,
(1) 휴대용 단말기에 내장된 카메라를 통해 실시간으로 입력되어지는 방송영상화면을 이미지처리를 통해 화면영상내에 포함된 특정 패턴정보를 파악하고 패턴부를 추출하는 단계;
(2)추출되어진 패턴부를 인식하여 고유한 정보값으로 변환하여 네트워크를 통해 부가정보를 제공하는 데이터베이스에 정보제공을 요청하는 단계;
(3)서버내에서 요청되어진 고유한 패턴의 정보값을 분석하고 확인하여 내장된 데이터베이스에서 특정데이터를 전송하는 단계;
(4)실시간으로 제공되어진 부가정보를 휴대용 단말기에 내장된 화면장치에 실제 방송화면과 혼합하거나;
(5)별도의 정보제공 화면으로 구성하여 부가정보가 제공되는 것을 특징으로 하는 정보 제공방법.