KR101442005B1 - An apparatus for broadcasting announcement message by using images information and the method thereof - Google Patents

An apparatus for broadcasting announcement message by using images information and the method thereof Download PDF

Info

Publication number
KR101442005B1
KR101442005B1 KR1020130169164A KR20130169164A KR101442005B1 KR 101442005 B1 KR101442005 B1 KR 101442005B1 KR 1020130169164 A KR1020130169164 A KR 1020130169164A KR 20130169164 A KR20130169164 A KR 20130169164A KR 101442005 B1 KR101442005 B1 KR 101442005B1
Authority
KR
South Korea
Prior art keywords
information
recording
reference model
guidance message
message
Prior art date
Application number
KR1020130169164A
Other languages
Korean (ko)
Inventor
권오복
Original Assignee
(주)진명아이앤씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)진명아이앤씨 filed Critical (주)진명아이앤씨
Priority to KR1020130169164A priority Critical patent/KR101442005B1/en
Application granted granted Critical
Publication of KR101442005B1 publication Critical patent/KR101442005B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/53—Arrangements specially adapted for specific applications, e.g. for traffic information or for mobile receivers
    • H04H20/61—Arrangements specially adapted for specific applications, e.g. for traffic information or for mobile receivers for local area broadcast, e.g. instore broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/27—Arrangements for recording or accumulating broadcast information or broadcast-related information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to an apparatus and a method for broadcasting announcement messages using image information. According to the present invention, the apparatus: generates a reference model including conditions of recording, announcing, and alarming, and environment information; recognizes an object to receive the announcement messages from the image information recorded by a camera; identifies a state and an act of the object in an independent way or by interactions with the object; and then generates and outputs the announcement messages based on the reference model generated by each recording site.

Description

영상정보를 이용한 안내 메시지 방송장치 및 그 방법{AN APPARATUS FOR BROADCASTING ANNOUNCEMENT MESSAGE BY USING IMAGES INFORMATION AND THE METHOD THEREOF}TECHNICAL FIELD [0001] The present invention relates to an apparatus and method for broadcasting an information message using video information,

본 발명은 영상정보를 이용한 안내 메시지 방송장치 및 그 방법에 관한 것으로, 더욱 상세하게는 각 녹화 사이트의 특성에 따른 녹화조건, 안내조건, 알람조건 및 환경정보 등을 포함하는 참조모델을 생성하고, 카메라를 통해 촬영한 영상정보로부터 안내 메시지를 제공받을 객체를 인식한 후 해당 객체의 상황 및 행위를 파악하여, 상기 각 녹화 사이트마다 생성된 참조모델을 기반으로 안내 메시지를 생성 및 출력할 수 있는 안내 메시지 방송장치 및 그 방법에 관한 것이다.The present invention relates to a guide message broadcasting apparatus and method using video information, and more particularly, to a guide message broadcasting apparatus and method for generating a reference model including a recording condition, a guide condition, an alarm condition, and environment information according to characteristics of each recording site, A guidance information generation unit for recognizing an object to receive a guidance message from video information shot through a camera and recognizing the situation and behavior of the object and generating and outputting a guidance message based on the reference model generated for each of the recording sites; To a message broadcasting apparatus and a method thereof.

현대사회는 생활환경의 다양화와 복잡성으로 인하여 어느 장소이던 안내 창구 및 안내 도우미가 존재하고 있고, 특정 사이트마다 그 특성에 맞는 안내 메시지 서비스를 제공하기 위한 다양한 연구가 계속되고 있다. 이 중에 영상정보를 기반으로 안내 메시지를 제공하는데 관한 종래기술은 단순히 영상정보를 카메라로 촬영하여 저장하고 이를 서비스 제공자가 육안으로 체크하여 안내 메시지를 서비스하는 것에 관한 것일 뿐, 촬영된 객체의 영상 정보에 기반하여 해당 객체의 상황 또는 행위에 적합한 안내 메시지를 출력하는 기술은 존재하지 않았다.Due to diversification and complexity of living environment, there is a guide window and guidance helper in any place in the modern society, and various researches are continuing to provide a guidance message service corresponding to the characteristic of each specific site. The prior art relating to providing the guidance message based on the image information is merely about photographing and storing the image information by the camera, and the service provider checks the image information with the naked eye to serve the guidance message, There is no technique for outputting a guidance message suitable for a situation or an action of the object based on the message.

특히 영상정보에서 객체의 행위에 대한 특징을 판단하여 안내 메시지를 출력하는 것은, 우리가 생활하는 공간(길거리, 사무실, 빌딩, 백화점, 호텔 공공기관, 공공시설)에서 자주 마주치는 안내를 받을 필요가 있는 상황에서 많은 필요성을 느끼고 있는 실정이다.Especially, it is necessary to get the guidance frequently encountered in our living space (street, office, building, department store, hotel public institution, public facilities) I feel a lot of need in this situation.

우리가 안내를 받을 필요가 있는 경우는, 버스 정류장에서, 버스 터미널에서, 열차 대합실에서, 백화점에서, 호텔 로비에서, 은행 창구에서, 특정 건물 입구에서, 특정 회사의 안내 데스크에서, 공항에서와 같이 다양한 경우가 존재한다. 예를 들어, 우리가 특정 백화점에 처음 방문하는 경우에, 먼저 안내 데스크(Information desk)를 방문하여 원하는 매장의 위치를 문의하게 된다. 백화점의 경우는 그나마 안내 데스크가 비교적 잘 마련되어 있으나, 그렇다고 하더라도 안내데스크를 찾는데 어려움을 겪는 경우가 자주 발생한다. 또한, 다른 녹화 사이트에 대해서는 이러한 안내 시스템의 환경이 더욱 열악한 실정이다.If we need to be informed, we can arrange for a bus stop, a bus terminal, a train stop, a department store, a hotel lobby, a bank window, a certain building entrance, There are various cases. For example, when we first visit a particular department store, we first visit the information desk to inquire about the location of the desired store. In the case of a department store, the information desk is relatively well provided, but even so, it often happens that it is difficult to find the information desk. In addition, the environment of this guidance system is worse for other recording sites.

또한, 종래에는 영상정보의 녹화 사이트에 대한 참조모델이 없어, 매번 사람이 해당 사이트에 맞는 녹화 및 안내 프로그램을 마련하여 감시, 검색, 재생 또는 이들의 조합을 수행하고 사람의 감에 의존하여 감시, 안내, 검색, 재생 또는 이들의 조합을 수행할 수밖에 없었다. 따라서 사람의 감각이 아니라 미리 정해진 참조모델에 따라서 영상정보를 녹화하고, 안내하며, 이를 바탕으로 영상정보를 분류 및 그룹핑하며, 사용자는 테마별로 감시, 검색, 안내, 재생 또는 이들의 조합을 수행할 수 있는 기술이 필요한 상황이다.In addition, conventionally, there is no reference model for the recording site of the video information, and each time a person prepares a recording and guidance program suitable for the site, performs monitoring, searching, reproducing, or a combination thereof, Guide, search, playback, or a combination of these. Accordingly, video information is recorded and guided according to a predetermined reference model rather than a human sense, and the video information is classified and grouped on the basis of the information, and the user performs monitoring, searching, guidance, reproduction, It is a situation that requires skill.

다음은 본 발명의 기술 분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다. The following describes briefly the prior art which exists in the technical field of the present invention, and then describes a technical matter that the present invention intends to differentiate from the prior art.

먼저, 한국등록특허 제1222887호 (2013.01.10)는 대규모 시설물 이용자 안내 시스템에 관한 것으로, 공항, 철도 역사, 대규모 공연장, 대규모 체육시설 등 이용자들이 많은 대규모 시설물에서 영상 검지 기술 및 무선통신 기술 등을 이용하여 이용자들의 밀집도 및 이동 동선 등을 각 구역마다 측정 분석하고 상기 이용자들에게 최적 보행 경로 등의 정보를 제공하여 상기 이용자들이 원활하게 이동할 수 있도록 하는데 관한 기술이 기재되어 있다.First, Korea Patent No. 1222887 (2013.01.10) relates to a large-scale facility user guidance system, which is used to detect video detection technology and wireless communication technology in a large-scale facility having a large number of users such as airport, railroad history, A technique of measuring and analyzing density of users, moving lines, etc. for each zone, and providing information such as an optimal walking route to the users so that the users can move smoothly.

또한, 한국공개특허 제2012-0034366호 (2012.04.12)는 경로안내 서비스 장치 및 방법, 경로안내 서비스를 위한 클라이언트 단말 및 서버에 관한 것으로, 대형병원, 놀이공원, 복합 멀티미디어 공간과 같은 복잡한 환경에서 구간별 목적지의 대기자 정보를 조회하고, 조회되는 상기 대기자 정보에 대응하는 구간별 경로안내 정보를 생성하여 네트워크를 통해 클라이언트 단말로 전송하는데 관한 기술이 기재되어 있다.Korean Unexamined Patent Application Publication No. 2012-0034366 (Apr. 12, 2012) discloses a route guidance service apparatus and method, a client terminal and a server for a route guidance service, and is used in a complex environment such as a large hospital, an amusement park, A description is made on the inquiry of the waiting information of the destination according to the section and the generation of route guidance information for each section corresponding to the waiting information to be inquired and transmission to the client terminal through the network.

또한, 한국등록특허 제1237414호 (2013.02.20)는 영상 정보와 위치 정보를 이용한 디지털 비상방송 시스템 및 방법에 관한 것으로, 영상 콘텐츠를 제공할 수 있는 A/V 시스템을 관리하는 A/V 제어기가 보안 관련 시스템이나 CCTV 관련 시스템과 연동하여 비상상황 발생 위치와 대응 CCTV 영상을 확보한 후 이를 대피자가 용이하게 식별하여 이용할 수 있도록 적용한 비상방송 콘텐츠를 생성하여 제공함과 아울러 생성한 콘텐츠 중 오디오 콘텐츠를 전광방송 시스템에 전달할 수 있도록 하는데 관한 기술이 기재되어 있다.Korean Patent Registration No. 1237414 (2013.02.20) relates to a digital emergency broadcasting system and method using video information and location information, and an A / V controller for managing an A / V system capable of providing image contents It is possible to create and provide emergency broadcasting contents that can be easily identified and used by the escort after securing the CCTV images in correspondence with the location of the emergency situation and the corresponding CCTV system in conjunction with the security related system or the CCTV related system, And transmitting the information to the broadcasting system.

상기 선행기술문헌들은 특정 사이트에 따른 안내 메시지를 각각의 사용자들에 맞게 제공한다는 점에서 본 발명과 일부 유사하지만, 본 발명과는 달리 각 녹화 사이트의 영상정보를 분석하여 영상정보 내에 포착된 안내 메시지가 필요한 사용자에게 각 녹화 사이트에 따른 참조모델을 기반으로 안내 메시지를 생성 및 출력하는데 관한 기술은 기재되어 있는 바가 없어 본 발명과는 구성과 목적 및 효과에 있어서 차이가 있다.Unlike the present invention, the prior art documents are similar to the present invention in that a guide message according to a specific site is provided for each user. However, unlike the present invention, the prior art documents analyze image information of each recording site, There is no description of a technique for generating and outputting a guidance message based on a reference model according to each recording site to a user who needs to make a presentation, and there is a difference in configuration, purpose, and effect from the present invention.

본 발명은 상기된 과제를 해결하기 위해 창작된 것으로, 녹화 및 안내 메시지 방송장치에서 자체적으로 카메라를 통해 촬영한 영상정보로부터 객체의 정보를 추출한 후 해당 객체가 가진 상황 및 행위를 인식하여 상황에 맞는 안내 메시지를 생성 및 출력할 수 있는 영상정보를 이용한 안내 메시지 방송장치 및 그 방법을 제공하는데 그 목적이 있다.The present invention has been made to solve the above-described problems, and it is an object of the present invention to extract information of an object from image information captured by a camera and record it in a recording and guidance message broadcasting apparatus, And to provide a guidance message broadcasting apparatus and method using video information capable of generating and outputting a guidance message.

또한, 본 발명은 안내 메시지를 생성하는데 있어서, 각 녹화 사이트에 따른 녹화조건, 안내조건, 알람조건 및 환경정보 등을 포함하는 참조모델을 생성 및 설정하고, 각 녹화 사이트마다 해당 참조모델을 기반으로 영상정보를 분석하여 안내 메시지를 생성 및 출력할 수 있는 영상정보를 이용한 안내 메시지 방송장치 및 그 방법을 제공하는데 그 목적이 있다.In addition, in generating a guide message, a reference model including a recording condition, a guide condition, an alarm condition, and environment information according to each recording site is generated and set, and based on the reference model for each recording site There is provided a guide message broadcasting apparatus and method thereof using image information capable of generating and outputting a guide message by analyzing image information.

또한, 본 발명은 영상정보를 분석하는데 있어서 카메라에 촬영되는 영상에서 안내 메시지를 제공할 특정 객체(사용자, 고객 등)를 인식할 수 있고, 사용자는 제스처 및 음성 등의 방법을 이용하여 본 발명의 녹화 및 안내 메시지 방송장치와 인터랙션 할 수 있으며, 상기 녹화 및 안내 메시지 방송장치는 사용자의 제스처를 통해 사용자가 필요로 하는 것이 무엇인지 파악하여 음성 및 영상을 포함한 안내 메시지를 제공할 수 있는 영상정보를 이용한 안내 메시지 방송장치 및 그 방법을 제공하는데 그 목적이 있다.Also, in analyzing image information, the present invention can recognize a specific object (a user, a customer, etc.) to provide a guidance message in an image captured by a camera, and a user can recognize a specific object The recording and guidance message broadcasting apparatus can interact with the recording and guidance message broadcasting apparatus, and the recording and guidance message broadcasting apparatus can recognize the user's needs through the gesture of the user and provide the video information that can provide the guidance message including the voice and the video And to provide a method and apparatus for using the same.

또한, 본 발명은 영상정보로부터 객체의 정보를 추출하는데 있어서, 특정 녹화 사이트의 참조모델이 복잡한 경우 , 영상정보 내에 복수의 객체가 존재하는 경우, 영상정보 내의 객체 인식이 까다로운 경우 등을 포함한 경우와 같이 녹화 및 안내 메시지 방송장치에서 자체적으로 영상정보를 분석하여 안내 메시지를 생성하는 것이 어려운 경우에는, 서버로 영상정보를 전송한 후 서버에서 처리한 객체 인식 결과 또는 이에 따른 처리 결과를 전송받아 안내 메시지를 생성하여 출력할 수 있는 영상정보를 이용한 안내 메시지 방송장치 및 그 방법을 제공하는데 그 목적이 있다.  In addition, the present invention can be applied to a case where a reference model of a specific recording site is complex, a case where a plurality of objects exist in the video information, a case where object recognition in video information is difficult, If it is difficult to generate the guidance message by analyzing the video information by itself in the recording and guidance message broadcasting apparatus, the server transmits the video information to the server, and then receives the object recognition result processed by the server or the processing result, The present invention is directed to a guidance message broadcasting apparatus and a method thereof, which can generate and output a guidance message using image information.

또한, 본 발명은 상기 녹화 및 안내 방송장치에서 녹화된 영상정보를 서버로 전송하는데 있어서, 해당 녹화 사이트의 특성, 참조모델, 트래픽 상황 및 사용자 설정에 따라 촬영되는 영상 전체의 정보, 배경영상을 제외한 객체에 대한 정보, 관심영역에 대한 정보 또는 이들의 조합에 대한 정보를 선택적으로 전송하는 것이 가능한 영상정보를 이용한 안내 메시지 방송장치 및 그 방법을 제공하는데 그 목적이 있다. In addition, in transmitting the video information recorded by the recording and announcement apparatus to the server, the information of the entire video taken in accordance with the characteristics of the corresponding recording site, the reference model, the traffic situation, The present invention provides a guide message broadcasting apparatus and method using image information capable of selectively transmitting information on an object, information on a region of interest, or a combination thereof.

본 발명의 일 실시예에 따른 영상정보를 이용한 안내 메시지 방송장치는, 적어도 하나 이상의 카메라로부터 영상정보를 수신하고 카메라로 제어정보를 출력하는 카메라 인터페이스; 스피커 및 영상 디스플레이를 포함한 출력기기와 연결되어 안내 메시지를 출력하는 입출력 인터페이스; 및 제어부;를 포함하며, 상기 카메라로부터 획득한 영상정보를 분석하여 객체의 정보를 추출하고, 해당 객체가 가진 상황 및 행위를 인식하여 객체가 필요로 하는 것이 무엇인지 파악한 후, 해당 녹화 사이트에 대한 참조모델을 바탕으로 안내 메시지를 생성하여 출력하는 것을 특징으로 한다.According to an embodiment of the present invention, there is provided a guide message broadcasting apparatus using image information, comprising: a camera interface for receiving image information from at least one camera and outputting control information to the camera; An input / output interface connected to an output device including a speaker and an image display and outputting a guidance message; And analyzing image information obtained from the camera to extract information of the object, recognizing the situation and an action of the object, determining what the object needs, And generating and outputting a guidance message based on the reference model.

또한, 상기 영상정보를 이용한 안내 메시지 방송장치는, 카메라 혹은 서버로 양방향 통신이 가능하도록 인터페이스를 제공하는 통신 인터페이스; 영상정보를 저장하는 데이터베이스와의 인터페이스를 수행하는 저장 인터페이스; 및 참조모델, 관심영역, 객체 인식 룰을 포함한 영상정보 분석 및 안내 메시지 생성을 위해 필요한 정보를 설정하는 설정부;를 더 포함하는 것을 특징으로 한다.In addition, the guidance message broadcasting apparatus using the image information may include a communication interface for providing an interface for bidirectional communication with a camera or a server; A storage interface for performing an interface with a database for storing image information; And a setting unit for setting information necessary for analyzing image information including a reference model, a region of interest, and an object recognition rule and generating a guidance message.

또한, 상기 카메라 인터페이스는, 녹화 사이트의 구조, 참조모델 및 객체의 위치나 방향에 따라 팬, 틸트, 줌, 포커스, 회전 또는 이들의 조합을 통해서 카메라의 광축 및 조사축의 조정이 가능하도록 제어 인터페이스를 지원하는 것을 특징으로 한다.The camera interface may include a control interface for adjusting the optical axis and the irradiation axis of the camera through pan, tilt, zoom, focus, rotation, or a combination thereof according to the structure of the recording site, the reference model, .

또한, 상기 제어부는, 영상정보에서 관심영역, 안내가 필요한 객체, 객체의 제스처 및 모션을 인식하는 객체 인식모듈; 해당 녹화 사이트의 참조모델에 상기 객체 인식모듈에서 인식한 객체정보를 적용하는 참조모델 적용모듈; 및 상기 참조모델 적용모듈에서 참조모델에 객체정보를 적용한 결과에 따라 안내 메시지를 생성하는 안내 메시지 생성모듈;을 더 포함하는 것을 특징으로 한다.In addition, the control unit may include an object recognition module for recognizing a region of interest, an object requiring guidance, gesture and motion of the object in the image information; A reference model application module for applying object information recognized by the object recognition module to a reference model of the recording site; And a guidance message generation module for generating a guidance message according to a result of applying the object information to the reference model in the reference model application module.

또한, 상기 참조모델은, 녹화 사이트의 명칭, 위치, 구조, 녹화시간, 녹화목적, 녹화대상, 녹화방법, 상황정보, 객체 인식 룰, 안내 메시지 생성 형식 또는 이들의 조합을 포함한 정보로 구성되는 데이터 구조인 것을 특징으로 한다.The reference model may include data including information including a name, a location, a structure, a recording time, a recording purpose, a recording target, a recording method, a situation information, an object recognition rule, a guidance message generation format, Structure.

또한, 상기 안내 메시지 방송장치는, 객체와 상호 인터랙션 하여 객체가 원하는 안내 메시지가 무엇인지 파악할 수 있으며, 상기 인터랙션은 영상, 그래픽, 음성 또는 이들의 조합을 포함한 방법을 통해 수행되는 것을 특징으로 한다.Also, the guidance message broadcasting apparatus may interact with the object to determine what the guidance message is desired by the object, and the interaction may be performed by a method including video, graphic, voice, or a combination thereof.

또한, 상기 영상정보를 이용한 안내 메시지 방송장치는, 특정 녹화 사이트의 참조모델이 복잡한 경우, 영상정보 내에 복수의 객체가 존재하는 경우, 영상정보 내의 객체 인식이 까다로운 경우와 같이 자체적으로 영상정보를 분석하여 안내 메시지를 생성하는 것이 어려운 경우에는, 서버로 영상정보를 전송한 후 서버에서 처리한 객체 인식 결과 또는 이에 따른 처리 결과를 전송받아 안내 메시지를 생성하여 출력할 수 있는 것을 특징으로 한다.In addition, when the reference model of the specific recording site is complicated, when a plurality of objects exist in the video information, the guide message broadcasting apparatus using the video information may analyze the video information itself, for example, When it is difficult to generate the guidance message, the server transmits the image information to the server, and receives the object recognition result processed by the server or the processing result, and generates and outputs the guidance message.

또한, 본 발명의 또 다른 일 실시예에 따른 영상정보를 이용한 안내 메시지 방송 방법은, 각 녹화 사이트의 특성에 따라 참조모델을 생성하고 안내 메시지 방송장치에 참조모델과 특정 객체 및 관심영역을 인식하는 룰을 설정하는 단계; 적어도 하나 이상의 카메라와 연결되어 있는 안내 메시지 방송장치에서 녹화 사이트의 영상을 상기 참조모델을 기반으로 촬영하고 저장하는 단계; 영상정보에서 안내 메시지를 제공받은 객체의 정보를 추출하고, 해당 객체가 필요로 하는 것이 무엇인지 파악한 후, 참조모델을 바탕으로 안내 메시지를 생성하여 출력하는 단계;를 포함하는 것을 특징으로 한다. According to still another aspect of the present invention, there is provided a method of broadcasting a guide message using video information, the method comprising: generating a reference model according to characteristics of each video recording site, recognizing a reference model, Setting a rule; Capturing and storing an image of a recording site on the basis of the reference model in a guide message broadcasting device connected to at least one camera; Extracting information of an object provided with the guidance message from the image information, identifying what the object needs, and generating and outputting a guidance message based on the reference model.

또한, 상기 참조모델은, 녹화 사이트의 명칭, 위치, 구조, 녹화시간, 녹화목적, 녹화대상, 녹화방법, 상황정보, 객체 인식 룰, 안내 메시지 생성 형식 또는 이들의 조합을 포함한 정보로 구성되는 데이터 구조인 것을 특징으로 한다.The reference model may include data including information including a name, a location, a structure, a recording time, a recording purpose, a recording target, a recording method, a situation information, an object recognition rule, a guidance message generation format, Structure.

또한, 상기 영상정보를 이용한 안내 메시지 방송 방법은, 영상, 그래픽, 음성 또는 이들의 조합을 포함한 방법을 통해 객체와 인터랙션을 수행하여 객체가 원하는 안내 메시지를 생성 및 출력하는 단계;를 더 포함하는 것을 특징으로 한다.In addition, the guidance message broadcasting method using the image information may further include generating and outputting a desired guidance message by performing an interaction with the object through a method including an image, a graphic, a voice, or a combination thereof, .

또한, 상기 영상정보를 이용한 안내 메시지 방송 방법은, 특정 녹화 사이트의 참조모델이 복잡한 경우, 영상정보 내에 복수의 객체가 존재하는 경우, 영상정보 내의 객체 인식이 까다로운 경우와 같이 안내 메시지 방송장치에서 자체적으로 영상정보를 분석하여 안내 메시지를 생성하는 것이 어려운 경우에는, 서버로 영상정보를 전송한 후 서버에서 처리한 객체 인식 결과 또는 이에 따른 처리 결과를 전송받아 안내 메시지를 생성하여 출력할 수 있는 것을 특징으로 한다.In addition, in the guidance message broadcasting method using the video information, when a reference model of a specific recording site is complicated, when a plurality of objects exist in the video information, When it is difficult to generate the guidance message by analyzing the image information, it is possible to generate and output a guidance message by transmitting the image information to the server, receiving the object recognition result processed by the server or the processing result corresponding thereto, .

또한, 상기 촬영하고 저장하는 단계는, 녹화 사이트의 구조, 참조모델 및 객체의 위치나 방향에 따라 팬, 틸트, 줌, 포커스, 회전 또는 이들의 조합을 통해서 카메라의 광축 및 조사축의 조정이 가능한 것을 특징으로 한다.The photographing and storing may include adjusting the optical axis and the irradiation axis of the camera through a combination of a pan, a tilt, a zoom, a focus, a rotation, or a combination thereof according to the structure of the recording site, the reference model, .

또한, 상기 안내 메시지를 생성하여 출력하는 단계는, 영상, 그래픽, 음성 또는 이들의 조합을 포함한 메시지 형태가 가능하며, 해당 녹화 사이트의 특성 및 인식된 객체정보에 따라 언어, 호칭, 표현법, 출력기기를 선택하여 안내 메시지를 생성 및 출력하는 것을 특징으로 한다.In addition, the step of generating and outputting the guidance message may include a message, including a video, a graphic, a voice, or a combination thereof, and the language, title, To generate and output the guidance message.

본 발명은 영상정보를 이용한 안내 메시지 방송장치 및 그 방법에 관한 것으로, 각 녹화 사이트의 특성에 따른 녹화조건, 안내조건, 알람조건 및 환경정보 등을 포함하는 참조모델을 생성하고 카메라를 통해 촬영한 영상정보로부터 안내 메시지를 제공받을 객체를 인식한 후 해당 객체의 상황 및 행위를 파악하여 상기 각 녹화 사이트마다 생성된 참조모델을 기반으로 안내 메시지를 생성 및 출력할 수 있고, 사용자의 제스처 및 음성을 인식하여 이를 기반으로 사용자가 필요로 하는 안내가 무엇인지 파악할 수 있으며, 또한 특정 녹화 사이트의 참조모델이 복잡한 경우, 영상정보 내에 복수의 객체가 존재하는 경우, 영상정보 내의 객체 인식이 까다로운 경우 등을 포함한 경우와 같이 녹화 및 안내 메시지 방송장치에서 자체적으로 영상정보를 분석하여 안내 메시지를 생성하는 것이 어려운 경우에는, 서버로 영상정보를 전송한 후 서버에서 처리한 객체 인식 결과 또는 이에 따른 처리 결과를 전송받아 안내 메시지를 생성하여 출력함으로써 각 녹화 사이트마다 효과적인 안내 메시지를 제공할 수 있는 효과가 있다.The present invention relates to a guide message broadcasting apparatus and method using video information, and more particularly, to a guide message broadcasting apparatus and method for generating a reference model including a recording condition, a guide condition, an alarm condition and environment information according to characteristics of each recording site, It is possible to generate and output a guidance message based on the reference model generated for each of the recording sites by recognizing the object to receive the guidance message from the video information, The reference model of the specific recording site is complicated, the case where a plurality of objects exist in the video information, the case where the recognition of the object in the video information is difficult, and the like The video information is analyzed by the recording and guidance message broadcasting device itself When it is difficult to generate the guidance message, the server transmits the image information to the server, receives the object recognition result processed by the server or the processing result thereof, generates and outputs the guidance message, and provides an effective guidance message to each of the recording sites There is an effect that can be.

도 1은 본 발명의 일 실시예에 따른 영상정보를 이용한 안내 메시지 방송의 개념에 대해 설명하기 위한 예시도.
도 2는 본 발명의 일 실시예에 따른 녹화 및 안내 메시지 방송장치의 구조에 대해 설명하기 위한 예시도.
도 3은 본 발명의 일 실시예에 따른 안내 메시지 생성의 기반이 되는 참조모델에 대해 설명하기 위한 예시도.
도 4는 본 발명의 일 실시예에 따른 영상정보를 이용한 안내 메시지 방송방법에 대해 설명하기 위한 흐름도.Brief Description of Drawings FIG. 1 is an exemplary diagram for explaining a concept of a guidance message broadcasting using image information according to an embodiment of the present invention; FIG.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a recording /
FIG. 3 is an exemplary view for explaining a reference model on which a guide message is generated according to an embodiment of the present invention; FIG.
4 is a flowchart illustrating a guidance message broadcasting method using video information according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 영상정보를 이용한 안내 메시지 방송장치 및 그 방법의 일 실시예를 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an apparatus and method for broadcasting a guide message using video information according to the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 영상정보를 이용한 안내 메시지 방송의 개념에 대해 설명하기 위한 예시도이다.1 is a diagram for explaining a concept of a guidance message broadcasting using image information according to an embodiment of the present invention.

도 1에 도시되어 있는 바와 같이, 본 발명의 영상정보를 이용한 안내 메시지 방송은 길거리, 사무실, 빌딩, 호텔, 공공기관, 공공시설 등과 같은 특정 녹화 사이트의 특성에 따라 해당 녹화 사이트를 이용하는 사용자들에게 상황에 적합한 안내 메시지를 방송하는 것으로, 적어도 하나 이상의 카메라(10)와 인터페이스 하는 녹화 및 안내 메시지 방송장치(100)를 통해 안내 메시지 방송을 수행한다.As shown in FIG. 1, the announcement message broadcasting using the image information of the present invention can be applied to users who use the corresponding recording site according to characteristics of a specific recording site such as a street, an office, a building, a hotel, a public institution, And broadcasts a guidance message through a recording and guidance message broadcasting apparatus 100 that interfaces with at least one camera 10 by broadcasting a guidance message suitable for a situation.

상기 녹화 및 안내 메시지 방송장치(100)는 자체적으로 카메라(10)에서 촬영한 영상정보로부터 객체의 정보를 추출하여 해당 객체가 가진 상황 및 행위를 인식하여 객체가 필요로 하는 것이 무엇인지 파악하여, 해당 녹화 사이트에 대한 참조모델을 바탕으로 안내 메시지를 생성하여 출력하는 것이 가능하다. The recording and guidance message broadcasting apparatus 100 extracts object information from the image information shot by the camera 10 itself, recognizes the situation and behavior of the object, grasps what the object needs, It is possible to generate and output a guidance message based on the reference model of the recording site.

더욱 상세하게는, 본 발명에 따른 안내 메시지 방송은 녹화 및 안내 메시지 방송장치에서 획득하는 영상정보를 분석하여 안내 메시지를 제공받을 객체를 선택한 후, 선택된 객체의 현재 상황을 해당 녹화 사이트에 따라 설정된 참조모델에 적용하여 상기 객체의 상황에 적합한 안내 메시지를 생성 및 출력하는 것이다. 예를 들어, 특정 녹화 사이트를 출입하는 특정 객체를 확인하여, 객체가 입구로 들어오는 경우에는 “어서 오십시오”와 같은 환영 메시지를 출력하고, 입구에서 나가는 경우에는 “안녕히 가십시오”와 같은 안내 메시지를 출력한다. 또한, 이와 같은 출입관련 인사 안내 메시지는 같은 내용이라 할지라도 해당 사이트가 놀이공원이면 “안녕 어서와”, “잘 가” 등과 같이 사이트의 성격에 맞는 형식으로 출력할 수 있고, 또한 객체의 성별, 옷차림, 인종 등에 따라 언어나 호칭을 바꿔 가면서 안내 메시지를 다양하게 변형하여 출력하는 것이 가능하다. 또한, 각 녹화 사이트에 따라 객체를 한정하는 것도 가능하다. 즉, 해당 사이트 마다 참조모델의 설정을 통해서 해당 사이트에서 촬영되는 객체의 인식범위를 줄일 수 있으며, 객체 인식의 정확도를 향상시킬 수 있다. 예를 들어, 사무실과 같은 녹화 사이트에서는 안내 메시지를 제공할 객체를 직원, 청소원, 경비원, 방문객 등으로 나누고, 해당 사이트의 참조모델에 각 객체를 구분할 수 있는 데에 대한 설정을 입력함으로써, 사무실에 출입하는 객체를 상기와 같이 직원, 청소원, 경비원 및 방문객 등으로 손쉽게 분간할 수 있는 것이다.More specifically, the announcement message broadcast according to the present invention analyzes image information acquired by the recording and guidance message broadcasting device, selects an object to which a guidance message is to be provided, And generates and outputs a guidance message suitable for the situation of the object by applying it to the model. For example, a specific object entering or exiting a specific recording site is checked. When the object enters the entrance, a welcome message such as "Welcome" is displayed. If the object leaves the entrance, a message such as " do. In addition, such a greeting message related to the entrance can be outputted in a format suitable for the character of the site such as "Hello," "Good" and the like, if the site is an amusement park, It is possible to vary and output the guidance message while changing the language or title depending on the attire, race, and the like. It is also possible to limit an object according to each recording site. That is, it is possible to reduce the recognition range of the object photographed at the site through the setting of the reference model for each site, and it is possible to improve the accuracy of object recognition. For example, in a recording site such as an office, by dividing an object for providing a guidance message into an employee, a cleaner, a security guard, a visitor, and the like, An object to be entered or exited can be easily distinguished as an employee, a cleaning person, a security guard, and a visitor as described above.

또한, 본 발명의 안내 메시지 방송은 상기와 같은 출입 인사 메시지를 포함하여, 더욱 복잡한 안내 메시지를 제공할 수 있다. 예를 들어, 백화점에 설치되어 있는 본 발명의 녹화 및 안내 메시지 방송장치(100)는 카메라(10)에 촬영되는 객체 즉, 백화점 방문객에게 백화점 내의 상점, 편의시설, 식당, 안내 데스크 등의 위치에 관한 안내 메시지를 출력하는 것도 가능하다. In addition, the guidance message broadcast of the present invention can provide a more complex guidance message including the above-mentioned entrance greeting message. For example, the recording and guidance message broadcasting apparatus 100 of the present invention installed in a department store can receive an object photographed by the camera 10, that is, a visitor of a department store, to a shop, a convenience store, a restaurant, It is also possible to output a guidance message regarding the information.

이와 같은 위치 안내 메시지는 상기 단순 인사 메시지와는 다르게 단순히 카메라(10)에 촬영되는 객체의 영상정보만으로는 객체가 원하는 안내 메시지가 무엇인지 파악하기 힘들다. 그렇기 때문에 본 발명의 녹화 및 안내 메시지 방송장치는 객체와 상호 인터랙션 하여 객체가 원하는 안내 메시지가 무엇인지 파악하는 것이 가능하다. 상기 인터랙션의 방법은 제스처 및 음성 등을 포함하며, 각 제스처 및 음성에 대한 데이터의 정의는 각 녹화 사이트의 특성에 맞게 미리 상기 녹화 및 안내 메시지 방송장치에 설정해 놓을 수 있다. 이와 같이 설정해 놓은 제스처 및 음성에 대한 데이터를 기반으로 상기 녹화 및 안내 메시지 방송장치는 안내 메시지 방송 대상 객체에게 상황에 맞는 제스처 또는 음성 유도 안내 메시지를 출력하고, 이에 따른 객체의 리액션을 토대로 복잡한 안내 메시지를 제공하는 것이 가능하다. 예를 들어, 본 발명의 녹화 및 안내 메시지 방송장치는 영상 및 음성 출력장치를 통해 카메라(10)에 촬영되는 영상 중 인식된 특정 객체에게 “안내를 원하시면 동그라미를 표현해 주십시오”와 같은 안내 메시지 필요 의사를 물어보고, 특정 객체 즉, 사용자가 손으로 동그라미를 표현하면 이를 인식한 후 다음 안내 단계로 넘어 가는 방식을 사용할 수 있다. 예컨데, 이때 두 팔을 둥굴게 하거나, 손가락을 둥글게 하면 긍정의 사인으로 인식하고, 두 팔 또는 손가락을 서로 크로스하면 부정의 의사로 인식할 수 있다. 이와 같은 긍정 및 부정에 대한 제스처 인식은 객체의 움직임이 폐곡선을 형성하는지 여부로 판정이 가능하다. 즉, 폐곡선을 형성하면 긍정으로 판정하고 그렇지 않으면 부정으로 판정하는 것이다. 또한, 상기와 같은 사용자의 제스처를 이용하는 방법에 더불어 사용자의 음성 정보 이용하는 방법을 결합함으로써 보다 정밀하고 신속하게 사용자와 안내 메시지 방송장치가 인터랙션을 수행할 수도 있다. Unlike the simple greeting message, it is difficult to grasp what the guidance message the object desires with the image information of the object photographed by the camera 10 simply. Therefore, the recording and guidance message broadcasting apparatus of the present invention can interact with the object and understand what the guidance message is desired by the object. The method of the interaction includes a gesture and voice, and the definition of data for each gesture and voice may be set in the recording and guidance message broadcasting apparatus in advance according to the characteristics of each recording site. Based on the gesture and voice data thus set, the recording and guidance message broadcasting apparatus outputs a gesture or voice guidance guidance message to the guidance message broadcasting object, and outputs a complicated guidance message . For example, in the recording and guidance message broadcasting apparatus of the present invention, a guidance message such as " please indicate a circle " , And when a specific object, that is, a user expresses a circle by hand, recognizes the circle, and then proceeds to the next guidance step. For example, if the two arms are rounded or the fingers are rounded at this time, it is recognized as a sign of affirmation, and if two arms or fingers cross each other, it can be recognized as a negative intention. Such gesture recognition of affirmation and negation can be judged by whether the motion of the object forms a closed curve. That is, when a closed curve is formed, it is determined to be positive, and otherwise, it is determined to be negative. In addition, by combining the method of using the user's voice information in addition to the method of using the gesture of the user, the user and the guidance message broadcasting apparatus can perform the interaction more precisely and promptly.

또한, 본 발명의 녹화 및 안내 메시지 방송장치는 상기와 같이 카메라(10)를 통해 촬영되는 영상정보 중에서 특정 객체를 목표로 안내 메시지를 출력하기 위해서, 카메라(10)에 촬영되는 전체 영상에서 특정 객체 또는 특정 관심영역을 추출하는 것이 가능하다. 이와 같이 카메라(10)에 촬영되는 전체 영상정보를 배경정보와 필요정보로 나누는 방법은 각 녹화 사이트의 특성에 따라 다를 수 있다. 예를 들어, 카메라(10)에 일정 시간 이상 포착되는 객체를 안내 메시지 대상 객체로 인식하게 할 수도 있고, 카메라(10)를 정면으로 쳐다보고 있는 사용자를 안내 메시지 대상 객체로 인식할 수도 있으며, 특정 모션을 미리 설정해 놓고 객체가 상기 특정 모션을 취했을 때에만 안내 메시지 대상 객체로 인식하는 방법을 사용할 수도 있다.In addition, in order to output a guidance message aiming at a specific object among the image information shot through the camera 10 as described above, the recording and guidance message broadcasting apparatus of the present invention may be configured such that a specific object Or to extract a particular region of interest. As described above, the method of dividing the entire image information photographed by the camera 10 into the background information and the necessary information may differ depending on the characteristics of the respective recording sites. For example, it is possible to recognize an object that is captured in the camera 10 for a predetermined time or more as a guidance message target object, a user who is looking in front of the camera 10 as a guidance message target object, A method may be used in which a motion is set in advance and the object is recognized as a guidance message target object only when the object has taken the specific motion.

또한, 상기한 바와 같이 본 발명의 녹화 및 안내 메시지 방송장치(100)는 각 녹화 사이트에 따른 참조모델을 저장하고 있다가 카메라(10)에 촬영되는 영상정보의 객체 분석결과를 상기 참조모델에 적용하여 안내 메시지를 생성하게 되는데, 상기 참조모델이란, 안내 메시지를 제공하기 위한 필요한 해당 녹화 사이트에 대한 데이터 구조에 대한 정의로서, 해당 녹화 사이트의 명칭, 위치, 구조, 녹화시간, 녹화목적, 녹화대상, 녹화방법, 상황(환경정보, 카메라 수 등), 특징 등을 포함한 정보를 포함하고 있다.In addition, as described above, the recording and guidance message broadcasting apparatus 100 of the present invention stores a reference model corresponding to each recording site, and applies the object analysis result of the image information photographed by the camera 10 to the reference model The reference model is a definition of a data structure of a corresponding recording site required to provide a guide message, and includes a name, a location, a structure, a recording time, a recording purpose, , Recording method, situation (environment information, number of cameras, etc.), and characteristics.

또한, 상기 녹화 및 안내 메시지 방송장치(100)가 획득한 영상정보로부터 객체의 정보를 추출하는데 있어서, 특정 녹화 사이트의 참조모델이 복잡한 경우, 영상정보 내에 복수의 객체가 존재하는 경우, 영상정보 내의 객체 인식이 까다로운 경우 등을 포함한 경우와 같이 녹화 및 안내 메시지 방송장치(100)에서 자체적으로 영상정보를 분석하여 안내 메시지를 생성하는 것이 어려운 경우에는, 서버(300)로 영상정보를 전송한 후 서버(300)에서 처리한 객체 인식 결과 또는 이에 따른 처리 결과를 전송받아 안내 메시지를 생성하여 출력할 수 있다. 이와 같이 상기 녹화 및 안내 메시지 방송장치(100)에서 녹화된 영상정보를 서버(300)로 전송할 때는, 해당 녹화 사이트의 특성, 참조모델, 트래픽 상황 및 사용자 설정에 따라 촬영되는 영상 전체의 정보, 배경영상을 제외한 객체에 대한 정보, 관심영역에 대한 정보 또는 이들의 조합에 대한 정보를 선택적으로 전송할 수도 있다. When the reference model of a specific recording site is complex in extracting information of an object from the image information acquired by the recording and guidance message broadcasting apparatus 100, when a plurality of objects exist in the image information, If it is difficult for the recording and guidance message broadcasting apparatus 100 to analyze the image information and generate the guidance message itself, the server 300 may transmit the image information to the server 300, The control unit 300 may receive the object recognition result or the processing result of the object recognition unit 300 and generate and output the guidance message. When the video information recorded in the recording and guidance message broadcasting apparatus 100 is transmitted to the server 300, information on the entire video image to be photographed according to the characteristics of the corresponding recording site, the reference model, the traffic conditions, Information about an object other than a video, information about a region of interest, or a combination thereof.

도 2는 본 발명의 일 실시예에 따른 녹화 및 안내 메시지 방송장치의 구조에 대해 설명하기 위한 예시도이다.2 is a diagram for explaining a structure of a recording and guidance message broadcasting apparatus according to an embodiment of the present invention.

도 2에 도시되어 있는 바와 같이, 본 발명의 녹화 및 안내 메시지 방송장치는 녹화 사이트에 설치되어 있는 카메라로부터 영상정보를 획득하고, 해당 녹화 사이트의 참조모델을 기반으로 영상정보를 분석하여 이를 기반으로 안내 메시지를 생성 및 출력하는 장치로서, 카메라 인터페이스(110), 입출력 인터페이스(120), 통신 인터페이스(130), 저장 인터페이스(140), 설정부(150), 제어부(160)를 포함하며 데이터베이스(200)와 연결되어 있는 구조로 되어 있다.As shown in FIG. 2, the recording and guidance message broadcasting apparatus of the present invention acquires video information from a camera installed in a recording site, analyzes video information based on a reference model of the corresponding recording site, And includes a camera interface 110, an input / output interface 120, a communication interface 130, a storage interface 140, a setting unit 150, a control unit 160, And the other is connected to the other.

상기 카메라 인터페이스(110)는 녹화 사이트의 영상을 촬영하는 카메라와의 인터페이스를 담당하는 것으로서, 상기 카메라는 아날로그, 디지털 카메라 또는 이들의 조합을 포함한다. 상기 카메라 인터페이스(110)는 주로 디지털 카메라와의 인터페이스를 수행하는 것으로 구성될 것이며, 상기 디지털 카메라는 임의의 전하 결합 소자(예: CCD 또는 CMOS)를 사용한 센서에서 이미지를 전기 신호로 변환한 후 디지털 데이터 형식으로 출력한다. 아울러 상기 카메라 인터페이스(110)는 카메라에 녹화되는 객체의 위치나 방향에 따라 카메라의 방향을 돌리거나 확대해서 더욱 선명하게 촬영하도록 제어할 수 있도록, 줌/포커스/팬/틸트 등의 제어 기능에 대한 인터페이스를 포함할 수 있다. 즉, 상기 카메라 인터페이스(110)는 녹화 사이트의 구조, 참조모델 및 객체의 위치나 방향에 따라 팬, 틸트, 줌, 포커스, 회전 또는 이들의 조합을 통해서 광축 및 조사축의 조정이 가능하도록 제어 인터페이스를 지원한다. 또한, 하나의 녹화 및 안내 메시지 방송장치는 여러 대의 카메라가 포함하고 있을 수 있고, 카메라 인터페이스(110)는 유선 또는 무선을 통해 녹화 및 안내 메시지 방송장치와 근거리 혹은 원거리에 설치되어 있는 적어도 하나 이상의 카메라와 인터페이스 할 수 있도록 한다.The camera interface 110 interfaces with a camera that captures an image of a recording site, and the camera includes an analog camera, a digital camera, or a combination thereof. The camera interface 110 may be configured to perform an interface with a digital camera. The digital camera converts an image into an electric signal in a sensor using an arbitrary charge-coupled device (for example, a CCD or a CMOS) Output in data format. In addition, the camera interface 110 may control zooming, focusing, pan / tilt, and other control functions so as to control the camera to be rotated or zoomed according to the position and direction of an object recorded in the camera, Interface. That is, the camera interface 110 can control the optical axis and the irradiation axis through pan, tilt, zoom, focus, rotation, or a combination thereof according to the structure of the recording site, the reference model, Support. In addition, one recording and guidance message broadcasting apparatus may include a plurality of cameras, and the camera interface 110 may be connected to the recording and guidance message broadcasting apparatus through wired or wireless communication, at least one camera .

상기 입출력 인터페이스(120)는 스피커 및 영상 디스플레이를 포함한 안내 메시지 출력기기(50)와의 인터페이스를 담당하는 것으로서, 본 발명의 녹화 및 안내 메시지 방송장치에서 제공하는 안내 메시지를 출력하는 것이다. 더욱 상세하게는, 상기 입출력 인터페이스(120)는 본 발명의 녹화 및 안내 메시지 방송장치가 각 녹화 사이트에 설치되어 있는 카메라를 통해 촬영되는 영상정보를 분석하여 해당 녹화 사이트의 참조모델을 기반으로 생성한 안내 메시지를 출력할 때, 해당 녹화 사이트의 특성, 사용자의 상황, 안내 메시지의 종류에 따라 상기 녹화 및 안내 메시지 방송장치에 연결되어 있는 출력기기(50) 중 적합한 기기와 인터페이스 하여 안내 메시지를 출력하는 것이다. 상기 출력되는 안내 메시지의 형태로는 음성, 이미지, 그래픽, 영상 또는 이들의 조합을 포함한 형태일 수 있을 것이다. 한편, 경우에 따라서 출력장치가 터치 스크린으로 구성될 경우에는 터치 입력을 받아들이는 것도 가능하다. The input / output interface 120 interfaces with the guide message output device 50 including a speaker and an image display, and outputs a guide message provided by the recording and guidance message broadcasting device of the present invention. In more detail, the input / output interface 120 analyzes the image information captured by the camera installed in each recording site, and generates the reference image based on the reference model of the corresponding recording site When the guide message is output, the guide message is output by interfacing with an appropriate one of the output devices 50 connected to the recording and guidance message broadcasting device according to the characteristics of the recording site, the user's situation, will be. The output message may be in the form of a voice, an image, a graphic, an image, or a combination thereof. On the other hand, when the output device is configured as a touch screen according to circumstances, it is possible to accept a touch input.

상기 통신 인터페이스(130)는 카메라 혹은 서버로 양방향 통신이 가능하도록 인터페이스를 제공하는 것으로서, 그 통신 방식은 무선, 유선 또는 이들의 조합에 의한 방식을 이용한다. 상기 무선 방식은 근거리 무선 방식이나 원거리 무선 방식 또는 이들의 조합을 포함한다. 예컨대 상기 근거리 무선 방식은 적어도 블루투스, NFC, 또는 적외선 통신 방식을 포함하고, 상기 원거리 무선 방식은 3G, 4G, LTE, 또는 와이브로(Wibro)와 같은 이동 통신 방식이나 WiFi와 같은 무선 인터넷 통신 방식을 포함한다. 물론 빅데이터의 전송이 가능한 다른 무선 통신을 추가로 적용하는 것도 가능하다. 여기서 원거리와 근거리에 대한 명확한 구별은 큰 의미가 없으며, 이의 구별로 인해서 본 발명의 청구범위에서 청구하고 있는 권리범위에 영향을 받지는 않아야 하는 것이 당연하다. 아울러 상기 통신 인터페이스를 통해서 카메라와의 인터페이스를 수행하는 것이 가능하다. 즉, 카메라 인터페이스는 카메라와의 인터랙션을 위한 인터페이스를 담당하고, 구체적인 정보의 송수신은 통신 인터페이스를 통해서 수행할 수 있다.The communication interface 130 provides an interface for bidirectional communication with a camera or a server. The communication interface 130 uses a wireless, wired, or a combination thereof. The wireless scheme includes a short-range wireless scheme, a long-distance wireless scheme, or a combination thereof. For example, the short-range wireless scheme includes at least a Bluetooth, NFC, or infrared communication scheme, and the long-distance wireless scheme includes a mobile communication scheme such as 3G, 4G, LTE, or WiBro or a wireless Internet communication scheme such as WiFi do. It is, of course, possible to further apply other wireless communication capable of transmitting big data. It should be understood that a clear distinction between distance and nearness is not significant and should not be affected by the scope of the claim claimed in the claims of the present invention due to its distinction. In addition, it is possible to perform an interface with the camera through the communication interface. That is, the camera interface serves as an interface for interacting with the camera, and specific information can be transmitted and received through a communication interface.

상기 저장 인터페이스(140)는 상기 카메라 인터페이스(110)를 통해서 입력되고 카메라에서 촬영된 영상정보를 저장하는 데이터베이스(200)와의 인터페이스를 수행하는 것으로, 상기 데이터베이스(200)는 로컬 저장부로서, 통상적으로 내장형 메모리 또는 외장형 메모리를 의미하지만, 본 발명에서는 영상 데이터의 백업을 위하여 네트워크에 있는 클라우드 컴퓨팅 네트워크의 가상화된 저장장치(간략하게 클라우드 저장장치라고 부름)를 더 포함할 수 있다. 그 이외에도 멀티미디어 메시지 송수신이 가능한 모바일 단말기(예 : 스마트 폰, 스마트 패드, 노트북 컴퓨터 등), 이-메일, 소셜 네트워크(예 : 페이스북, 카카오톡, 모바일 메신저 등)도 데이터의 백업 용도로 활용할 수 있다. 만약, 로컬 메모리일 경우에는 지속적으로 영상을 녹화하고 저장하는 녹화 및 안내 메시지 방송장치의 특성상 저장되는 영상정보의 양에 한계가 있기 때문에 블랙박스의 메모리와 같이 정해진 시간만큼만 영상정보를 저장하고 새로운 영상정보가 가장 오래된 영상정보를 밀어내고 저장되는 순환 저장(endless recording) 형태일 수도 있다.The storage interface 140 interfaces with the database 200, which is input through the camera interface 110 and stores image information captured by the camera. The database 200 is a local storage unit, Internal memory, or external memory. However, the present invention may further include a virtualized storage device (briefly referred to as a cloud storage device) of a cloud computing network in the network for backup of image data. In addition, mobile terminals (eg smart phones, smart pads, notebook computers), e-mails, and social networks (eg Facebook, KakaoTalk, mobile messenger) that can send and receive multimedia messages have. In case of the local memory, since there is a limit on the amount of image information to be stored due to the characteristics of the recording and guidance message broadcasting device which continuously records and stores the image, the image information is stored only for a predetermined time like the memory of the black box, The information may be in the form of an endless recording in which the oldest image information is pushed out and stored.

상기 설정부(150)는 본 발명의 녹화 및 안내 메시지 방송장치의 각종 설정을 관리하는 것으로, 장치 관리자가 설정 작업을 수행할 수 있도록 관리자 인터페이스를 지원하며, 또한 서버 또는 모바일 단말기를 이용하여 원격지에서도 관리자가 설정 작업을 수행할 수 있도록 상기 통신 인터페이스(130)와 인터랙션 할 수 있다. 더욱 상세하게는, 장치 관리자는 상기 설정부(150)를 통해 해당 녹화 사이트의 특성에 맞는 참조모델 설정, 관심영역 설정, 자체적으로 관심영역을 인식하는 룰 설정, 객체 인식 룰 설정, 제스처 인식 룰 설정 등을 포함한 영상정보 분석을 위해 필요한 설정을 수행한다. 참고로, 상기 자체적으로 관심영역을 인식하는 룰이란, 관심영역 설정 알고리즘을 이용하여 관심영역을 인식하는 것, 특정 움직임이 포착된 지역을 관심영역으로 인식하는 것 및 시간대 별로 관심영역의 위치가 변경되는 것 등과 같이 카메라에 촬영되는 영상 내에서 관심영역을 상황에 따라 유동적으로 인식하는 규칙에 대한 것이다. 또한, 상기 객체 인식 룰이란, 예를 들어 안내 메시지를 제공할 객체를 직원, 청소원, 경비원, 외부 방문객 등을 나누었을 때 본 발명의 녹화 및 안내 메시지 방송장치가 각각의 객체를 구분할 수 있도록 인식 기준에 대한 특징을 정의하는 것으로서, 복장의 형태 및 색상, 얼굴 및 명찰 등을 이용하여 각각의 객체를 인식하는 룰을 설정할 수 있다. The setting unit 150 manages various settings of the recording and guidance message broadcasting apparatus of the present invention. The setting unit 150 supports an administrator interface so that a device manager can perform a setting operation. In addition, The administrator can interact with the communication interface 130 to perform setting tasks. More specifically, through the setting unit 150, the device manager sets a reference model, a region of interest, a rule for recognizing a region of interest in itself, an object recognition rule setting, a gesture recognition rule setting And the like. For example, the rule that recognizes the ROI itself includes: recognizing the ROI using the ROI, recognizing the ROI as the ROI, and changing the position of the ROI And the like, in which a region of interest is flexibly recognized according to a situation in an image photographed by a camera. For example, when the object to be provided with the guidance message is divided into an employee, a cleaner, a security guard, an external visitor, etc., the object recognition rule is set so that the recording and guidance message broadcasting apparatus of the present invention can distinguish each object, And a rule for recognizing each object can be set by using a dress form, a color, a face, and a name tag.

상기 제어부(160)는 본 발명의 녹화 및 안내 메시지 방송장치의 각 인터페이스와 각 인터페이스를 통해 연결되어 있는 기기들을 제어하고, 상기 카메라 인터페이스(110)를 통해 획득한 영상정보를 분석하여 상황에 맞는 안내 메시지를 생성하는 것으로서, 객체 인식모듈(161), 참조모델 적용모듈(162), 안내 메시지 생성모듈(163)을 포함하여 구성되어 있다.The control unit 160 controls each of the interfaces of the recording and guidance message broadcasting apparatus of the present invention and the devices connected through the respective interfaces, analyzes the image information acquired through the camera interface 110, And includes an object recognition module 161, a reference model application module 162, and a guidance message generation module 163.

상기 객체 인식모듈(161)은 녹화 및 안내 메시지 방송장치에 연결된 카메라에 촬영되는 영상정보 안에서 안내가 필요한 사용자 인식 및 상황을 파악하기 위한 객체 인식을 수행하는 것으로, 설정부(150)를 통해 설정된 관심영역 인식 룰, 객체 인식 룰 및 제스처 인식 룰에 따라 배경영상과 객체영상을 분리하여 인식하는 것이 가능하며, 관심영역을 인식하는데 있어서 상황에 따라 관심영역의 사이즈를 조절하여 인식하는 것이 가능하다. 즉, 초기에 인식된 관심영역이 안내 메시지를 제공받을 대상 객체 이외에 배경영상이 포함되어 있는 경우에는, 객체의 모션이나 특정 제스처에 의한 인터랙션에 오류가 발생할 수도 있기 때문에 기설정된 관심영역 또는 상황에 따라 녹화 및 안내 메시지 방송장치에서 포착한 관심영역에서 한 번 더 배경영역과 객체영역을 분리하여 관심영역을 축소할 수 있는 것이다. 또한, 객체를 인식하는데 있어서 객체를 특정 형식으로 그룹핑하여 이에 따라 객체를 인식함으로써 각각의 그룹에 따라 다양한 안내 메시지를 제공하는 것이 가능하다. 예를 들어, 사무실의 경우, 직원과 방문객으로 객체를 그룹핑하여 사무실 출입 시 직원그룹의 객체를 인식하였을 경우에는 안내 메시지를 제공하지 않고, 방문객 그룹으로 객체를 인식하였을 경우에는 “어서 오십시오”, “무엇을 도와드릴까요”, “방문해 주셔서 감사합니다” 등과 같은 그룹의 성격에 맞는 안내 메시지를 제공하는 것이 가능하다. 또한, 직원과 방문객의 구분은 저장된 객체의 히스토리를 이용할 수도 있고, 처음 인식된 객체나 간헐적으로 인식되는 객체를 방문자로 인식하는 것이 가능하다. 방문객이 출입할 경우가 희박한 녹화 사이트의 경우에는 상기와 같이 처음 인식되거나 간헐적으로 나타나는 객체를 방문객이 아닌 잡상인이나 도둑일 수도 인식하도록 하여 방범효과를 거둘 수도 있다. 참고로 상기 객체의 히스토리란, 기존에 카메라에 촬영되었던 객체의 행동 패턴, 복장의 형태 및 색상, 얼굴, 명찰 등의 정보를 포함한 객체를 구분할 수 있는 정보를 축적해 놓은 것이다. The object recognition module 161 performs object recognition for recognizing a user who needs to be guided in the video information shot by the camera connected to the recording and guidance message broadcasting device and for grasping the situation. It is possible to recognize the background image and the object image separately according to the area recognition rule, the object recognition rule, and the gesture recognition rule. In recognizing the area of interest, it is possible to adjust the size of the area of interest according to the situation. That is, when the initially recognized ROI includes a background image in addition to the target object to which the guidance message is to be provided, an error may occur in the interaction of the object or the specific gesture, It is possible to separate the background area and the object area once more in the area of interest captured by the recording and guidance message broadcasting device, thereby reducing the area of interest. Also, in recognizing objects, it is possible to group various objects into a specific format and recognize objects according to the groups, thereby providing various guidance messages according to each group. For example, in the case of an office, when an object is grouped into an employee and a visitor, when the office recognizes an object of an employee group, a guidance message is not provided. When the object is recognized by a visitor group, What can I do to help you? "," Thank you for visiting ", and so on. In addition, the distinction between an employee and a visitor can use a history of a stored object, and it is possible to recognize a first recognized object or an intermittently recognized object as a visitor. In the case of a recording site in which visitors are rarely allowed to enter and exit, it is possible to make a security effect by recognizing that the object that is initially recognized or intermittently appears as a handyman or thief rather than a visitor. For reference, the history of the object accumulates information that can distinguish objects including information such as a behavior pattern, a dress form, and a color, a face, and a name tag of an object previously photographed by a camera.

상기 참조모델 적용모듈(162)은 상기 설정부(150)를 통해 설정되어 있는 해당 녹화 사이트의 참조모델에 상기 객체 인식모듈(161)에서 인식한 객체정보를 적용하는 것이다. 즉, 본 발명의 녹화 및 안내 메시지 방송장치는 특정 객체와 인터랙션을 수행할 때부터 상기 참조모델 적용모듈(162)을 통해 해당 녹화 사이트의 참조모델을 기반으로 안내 메시지를 생성 및 출력하는 것이다. 예를 들어, 카메라의 영상에 포착된 특정 객체에게 어떤 안내 메시지가 필요한 지 음성 메시지를 통해 출력할 때(예: 무엇을 도와드릴까요, 매장정보는 1번 제스처, 편의시설 정보는 2번 제스처, 출입구 관련 정보는 3번 제스처 등) 및 상기 특정 객체와의 인터랙션을 수행한 후 해당 객체가 필요로 하는 안내 메시지를 출력할 때 상기 참조모델 적용모듈(162)을 통해 안내 메시지를 생성 및 출력하게 되는 것이다.The reference model application module 162 applies the object information recognized by the object recognition module 161 to the reference model of the corresponding recording site set through the setting unit 150. That is, the recording and guidance message broadcasting apparatus of the present invention generates and outputs a guidance message based on the reference model of the corresponding recording site through the reference model application module 162 when performing the interaction with a specific object. For example, when a voice message is used to indicate to a specific object captured in a camera image what information message is required (eg, what can I do to help me? Store information is number 1 gesture, convenience information number 2 is gesture, (E.g., gesture # 3), and a guidance message required by the object after performing the interaction with the specific object, generates and outputs a guidance message through the reference model application module 162 will be.

또한, 상기 안내 메시지 생성모듈(163)은 상기 객체 인식모듈(161)에서 인식한 객체 정보를 상기 참조모델 적용모듈(162)을 통해 참조모델에 적용하여 안내 메시지를 생성할 때, 그 안내 메시지가 최종적으로 생성되는 것으로서, 상기 안내 메시지 생성모듈(163)에서 생성하는 안내 메시지는 영상, 그래픽, 음성 또는 이들의 조합을 포함한 메시지 형태가 가능하며, 해당 녹화 사이트의 특성에 따라 다양한 언어, 호칭, 표현법, 출력기기(50) 등을 선택하여 안내 메시지를 생성 및 출력한다. In addition, when generating the guidance message by applying the object information recognized by the object recognition module 161 to the reference model through the reference model application module 162, the guidance message generation module 163 transmits the guidance message The guide message generated by the guide message generating module 163 may be a message including a video, a graphic, a voice, or a combination thereof. Depending on the characteristics of the corresponding site, various languages, , The output device 50, and the like to generate and output the guidance message.

참고로, 상기 실시예에서 본 발명에 따른 녹화 및 안내 메시지 방송장치를 구성하는 각 구성수단들은 설명의 편의를 위하여 기재된 것일 뿐이며, 실질적으로는 어느 하나의 구성수단에서 모든 동작을 처리하도록 구성할 수도 있고, 더 다양한 구성수단으로 세분화하거나, 그 구성수단을 조합하여 처리하도록 구성할 수도 있을 것이다. 또한 서버를 이용하여 사용자에게 서비스를 제공하는데 일반적으로 사용되는 구성수단들은 본 발명을 설명하는데 있어 반드시 필요한 부분이 아니므로 생략하도록 한다. For reference, in the above-described embodiment, each constituent means constituting the recording and guidance message broadcasting apparatus according to the present invention is described only for the sake of convenience of explanation. Actually, any constituent means may be configured to process all the operations And may be further subdivided into a plurality of constituent means or a combination of the constituent means may be constructed. In addition, the constituent means generally used for providing a service to a user by using a server are not necessarily necessary for explaining the present invention, and will be omitted.

도 3은 본 발명의 일 실시예에 따른 안내 메시지 생성의 기반이 되는 참조모델에 대해 설명하기 위한 예시도이다. 3 is an exemplary diagram for explaining a reference model on which a guide message is generated according to an embodiment of the present invention.

도 3에 도시되어 있는 바와 같이, 본 발명의 안내 메시지 생성의 기반이 되는 참조모델(400)이란, 상기한 바와 같이 해당 녹화 사이트의 명칭, 위치, 구조, 녹화시간, 녹화목적, 녹화대상, 녹화방법, 상황(환경정보, 카메라 수 등), 특징 등을 포함한 정보를 포함하고, 더불어 객체의 모션, 제스처, 음성을 포함한 객체를 인식하는 정보, 안내 메시지 생성 형식 및 적어도 하나 이상의 객체 이미지 등에 대한 데이터 구조를 정의한 것이다. 3, the reference model 400 serving as a basis for generating the guide message of the present invention is a name, a location, a structure, a recording time, a recording purpose, a recording object, a recording And information about at least one object image or the like including at least one object image, information including a method, a situation (environment information, the number of cameras, etc.) Structure.

참조모델에서 정의된 데이터 구조는 데이터 구조에 정보가 포함되어 사용자에게 전송되고, 데이터베이스에 저장되기도 하며, 사용자 단말이 참조모델의 데이터 구조에 포함된 패킷을 수신하면 사용자 단말에서 이를 바탕으로 GUI(Graphic User InterFace)를 생성하여 출력할 수 있다. 이로써 사용자가 녹화 사이트의 상황을 그래피컬하게 파악하는 것이 가능하다.The data structure defined in the reference model is included in the data structure and transmitted to the user and stored in the database. When the user terminal receives the packet included in the data structure of the reference model, User InterFace) can be generated and output. This makes it possible for the user to graphically grasp the situation of the recording site.

이와 같은 구성에 따라 참조모델(400)은 각 녹화 사이트의 녹화 및 안내 메시지 제공에 적합한 데이터 구조의 형태로 생성될 수 있다. 또한, 상기 참조모델은 동일하거나 유사한 녹화 사이트에 대해서 공통적으로 정의할 수 있는 데이터 구조로서, 예를 들어, 녹화 사이트의 구조 및 안내 메시지의 종류에 따라 강의실, 교회 및 결혼식장 등과 같은 녹화 사이트 내 특정 위치에 대한 안내를 필요로 하는 녹화 사이트, 터미널, 공항 및 버스정류장 등과 같은 공공재의 이용 안내를 필요로 하는 녹화 사이트, 은행 및 박물관 등과 같은 보안관련 녹화 및 안내가 필요한 녹화 사이트 등으로 다양하게 분류하고, 각각의 분류에는 공통된 참조모델을 적용하고 세부적인 내용은 개별적으로 정의함으로써 효율적으로 참조모델을 설정 및 관리하는 것이 가능하다.According to such a configuration, the reference model 400 can be generated in the form of a data structure suitable for providing recording and guidance messages for each recording site. In addition, the reference model is a data structure that can be commonly defined for the same or similar recording sites. For example, the reference model may be a data structure of a recording site such as a lecture room, a church, A recording site that requires guidance on location, a recording site that requires guidance on use of public goods such as a terminal, an airport, and a bus stop, a recording site that requires security related recording and guidance such as a bank and a museum, and the like , It is possible to efficiently set and manage the reference model by applying a common reference model to each classification and individually defining the detailed contents.

예컨대, 녹화 사이트별로 설정 가능한 안내서비스 사용자인터페이스의 컨피규레이션은 제어부를 통해서 사용자인터페이스 메타데이터로 변환되며, 사용자인터페이스 메타데이터는 녹화 사이트별 사용자인터페이스 분석을 통해서 설정 가능한 안내서비스 로직으로 변환되어 녹화 사이트별 안내서비스 데이터베이스에 저장된다. 다시 녹화 사이트별로 설정되어 저장된 안내서비스 데이터베이스의 사용자인터페이스 메타데이터는 렌더러(renderer)를 통해서 사용자인터페이스 소스코드로 변환되고, 변환된 사용자인터페이스의 소스코드는 녹화 사이트별 사용자인터페이스 구성으로 템플릿 엔진을 통해서 출력된다. 또한 안내서비스 로직은 로직 메타데이터를 사용하여 실행할 수 있는 소스코드로 변환되어 컴파일되며, 이후에 앞에서 생성한 변환된 사용자 인터페이스의 소스코드의 녹화 사이트별 사용자인터페이스와 연동하여 실행된다.For example, the configuration of the guide service user interface that can be set for each recording site is converted into the user interface metadata through the control unit, and the user interface metadata is converted into guide service logic that can be set through user interface analysis for each recording site, It is stored in the service database. The user interface metadata of the guide service database stored and set for each recording site is converted into a user interface source code through a renderer, and the source code of the converted user interface is output through a template engine do. In addition, the guidance service logic is converted into source code that can be executed by using logic metadata, and then compiled. Then, the guide service logic is executed in conjunction with the recording site-specific user interface of the source code of the converted user interface generated previously.

기존의 안내서비스들은 소스코드를 파일형태로 고정하여 저장하기 때문에 녹화 사이트별로 다른 안내서비스를 관리하기 위해서는 개발자가 직접 파일을 열고 소스코드를 수정하는 방식으로 유지보수를 해야만 한다. 이런 방식은 유지보수 비용을 증가시키고 전문 인력을 필요로 하는 단점이 있다.In order to manage other guide services according to the recording site, the developer has to directly open the file and maintain the source code by modifying the source code since the existing guide service stores the source code in a fixed form. This approach has the disadvantage of increasing maintenance costs and requiring skilled personnel.

하지만 본 발명에서 제안하고자 하는 안내서비스는 관련 소스코드들을 메타데이터 형태로 변환하고 요청 시에 녹화 사이트에 맞게 변환하여 소스코드를 생성하여 관리하므로 유지보수 비용이 기존 방식에 비해 상대적으로 적게 소요된다.However, since the guide service to be proposed in the present invention converts the related source codes into the metadata format and converts the source codes to the recording site upon request to generate and manage the source code, the maintenance cost is relatively low compared to the conventional method.

예를 들어, 사용자인터페이스를 구성하는 각 컴포넌트들은 부모를 가지는 트리 형태로 변환되어 데이터베이스에 저장되게 된다. 또한 각 컴포넌트들에 대한 속성들도 데이터베이스에 저장되어 추후에 녹화사이트의 요청에 따라 맞춤형 안내서비스에 대한 사용자인터페이스를 구성하는데 사용된다. 예컨대, "안내 서비스"라는 사용자인터페이스에 대한 패널(panel)을 정의하고, 이를 부모로 하는 "안내 상세정보"라는 패널(panel)을 생성하며, 다시 자식으로 복수의 컴포넌트를 정의한다. 각 컴포넌트는 또다시 속성 정보를 자식으로 두는 메타데이터 구조를 정의한다. 이러한 메타데이터를 사용자인터페이스로 변환하면, “안내 서비스” 사용자인터페이스가 최상위에 나타나고, 이를 선택하면, “안내 상세정보”라는 메시지가 나타나고, 다시 이를 선택하면, “안내 사이트 번호”, “안내 사이트 명칭”, “안내 대상 객체 이미지”, “안내 대상 객체 유형”, “안내 항목”, “안내 대상 객체 수”, “안내 메시지”라는 컴포넌트와 각 컴포넌트에 대한 속성인 텍스트 필드가 사용자인터페이스에 나타나는 것으로 할 수 있다.For example, each component that constitutes the user interface is converted into a tree with a parent and stored in the database. The attributes of each component are also stored in the database and used to configure the user interface for the customized guide service according to the request of the recording site in the future. For example, a panel for a user interface called "guidance service" is defined, a panel called "guidance detail information " Each component again defines a metadata structure that puts property information as children. When this metadata is converted into a user interface, a "guidance service" user interface appears at the top, and when this is selected, a message "guidance detail information" is displayed. When this is again selected, the "guidance site number" It is supposed that the user interface displays a component called "guide target object image", "guide target object type", "guidance item", "guidance target object" .

안내서비스 방송 시스템에서 녹화 사이트별로 안내서비스 로직을 실행하는 과정은, 안내서비스에서 녹화 사이트별로 정의된 안내서비스 로직을 동적으로 컴파일하고 로딩하여 실행하는 과정을 보여주는 것이다. 안내서비스를 사용하는 사용자가 브라우저(browser)를 통해서 안내서비스 처리 관련 요청을 하면, 요청 처리 컨트롤러가 저장된 안내서비스 로직의 클래스 객체화를 수행하며, 녹화사이트 정보를 바탕으로 데이터베이스에 녹화사이트 정의 로직(코드)을 질의하여 메타데이터를 읽어온다. 이렇게 읽어온 로직의 메타데이터는 런타임 엔진에 의해서 실행될 수 있는 소스코드로 동적으로 생성된다. 생성된 소스코드는 동적으로 컴파일되고, 컨테이너의 클래스 로더에 의해서 로딩되어 컨테이너에 등록된다. 다시 녹화사이트 정의 로직의 소스코드가 컴파일되어 컨테이너에 등록되면, 런타임 엔진은 로직을 실행하고, 그 결과를 사용자인터페이스와 결합하여 안내서비스 사용자에게 반환한다.The process of executing the guidance service logic for each recording site in the guidance service broadcasting system shows a process of dynamically compiling, loading and executing the guidance service logic defined for each recording site in the guidance service. When a user using a guidance service makes a request for guidance service processing through a browser, the request processing controller performs class objectization of the guidance service logic stored therein, and based on the recording site information, ) And reads the metadata. The metadata of the logic thus read is dynamically generated into source code that can be executed by the runtime engine. The generated source code is dynamically compiled, loaded by the container's class loader, and registered in the container. When the source code of the recoding site definition logic is compiled and registered in the container, the runtime engine executes the logic and combines the results with the user interface to return to the guidance service user.

도 4는 본 발명의 일 실시예에 따른 영상정보를 이용한 안내 메시지 방송방법에 대해 설명하기 위한 흐름도이다.4 is a flowchart for explaining a guidance message broadcasting method using video information according to an embodiment of the present invention.

도 4에 도시되어 있는 바와 같이, 본 발명의 영상정보를 이용한 안내 메시지 방송방법은, 먼저 각 녹화 사이트의 특성에 따라 참조모델을 생성하고 녹화 및 안내 메시지 방송장치에 참조모델을 입력한다(S101). 또한, 카메라를 통해 촬영하는 영상 중 녹화 및 안내 메시지 방송장치가 특정 객체 및 관심영역을 인식하는 룰을 설정한다(S102). 그 후, 녹화 및 안내 메시지 방송장치에서 설정되어 있는 참조모델, 객체 인식 룰 및 관심영역을 기반으로 각 녹화 사이트의 영상을 촬영한다(S103). 녹화 및 안내 메시지 방송장치는 촬영되는 영상정보에서 안내 메시지를 제공받을 객체를 인식하고(S104) 안내 메시지를 제공하기 위해 객체와의 인터랙션이 필요한지 판단한다(S105). 객체와의 인터랙션이 필요 없는 경우에는 참조모델을 기반으로 안내 메시지를 생성 및 출력한다(S106). 인터랙션이 필요한 경우로 판단되면 상기 참조모델을 기반으로 영상, 그래픽 및 음성 또는 이들의 조합을 포함한 방법을 이용하여 해당 객체와 인터랙션을 수행한다(S107). 인터랙션 결과에 따라 객체가 필요로 하는 안내 메시지를 파악한 후 참조모델을 기반으로 적합한 안내 메시지를 생성 및 출력한다(S108). 4, in the guidance message broadcasting method using video information according to the present invention, a reference model is generated according to the characteristics of each recording site, and a reference model is input to the recording and guidance message broadcasting apparatus (S101) . In addition, among the images shot through the camera, a recording and guidance message broadcasting apparatus sets a rule for recognizing a specific object and a region of interest (S102). Thereafter, the images of the respective recording sites are captured based on the reference model, the object recognition rule, and the ROI set in the recording and guidance message broadcasting apparatus (S103). The recording and guidance message broadcasting apparatus recognizes the object to receive the guidance message from the image information to be photographed (S104) and determines whether it is necessary to interact with the object to provide the guidance message (S105). If no interaction with the object is required, the guidance message is generated and output based on the reference model (S106). If it is determined that the interaction is necessary, the interaction with the object is performed using a method including an image, a graphic, and a voice or a combination thereof based on the reference model (S107). After receiving the guidance message required by the object according to the result of the interaction, an appropriate guidance message is generated and output based on the reference model (S108).

이상으로 본 발명은 첨부된 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation. I will understand that. Accordingly, the technical scope of the present invention should be defined by the following claims.

10 : 카메라 50 : 출력기기
100 : 녹화 및 안내 메시지 방송장치 110 : 카메라 인터페이스
120 : 입출력 인터페이스 130 : 통신 인터페이스
140 : 저장 인터페이스 150 : 설정부
160 : 제어부 161 : 객체 인식모듈
162 : 참조모델 적용모듈 163 : 안내 메시지 생성모듈
200 : 데이터 베이스 300 : 서버
400 : 참조모델 10: camera 50: output device
100: a recording and guidance message broadcasting device 110: a camera interface
120: input / output interface 130: communication interface
140: storage interface 150: setting unit
160: control unit 161: object recognition module
162: reference model applying module 163: guidance message generating module
200: database 300: server
400: reference model

Claims (13)

적어도 하나 이상의 카메라로부터 영상정보를 수신하는 카메라 인터페이스;
스피커 및 영상 디스플레이를 포함한 출력기기와 연결되어 안내 메시지를 출력하는 출력 인터페이스; 및
제어부;를 포함하며,
각 녹화 사이트의 특성에 따른 녹화조건, 안내조건, 알람조건 및 환경정보를 포함하는 참조모델에 따라 상기 카메라로부터 획득한 영상정보를 분석하여 객체의 정보를 추출하고, 해당 객체가 처한 상황, 객체의 행위 또는 이들의 조합을 인식하여 해당 객체의 특징을 추출하고, 상기 추출된 특징과 해당 녹화 사이트의 참조모델을 매칭시켜서 상기 객체에게 안내 메시지를 생성하여 출력하는 것을 특징으로 하는 영상정보를 이용한 안내 메시지 방송장치.A camera interface for receiving image information from at least one camera;
An output interface connected to an output device including a speaker and an image display to output a guidance message; And
And a control unit,
The information of the object is extracted by analyzing the image information acquired from the camera according to the reference model including the recording condition, the guide condition, the alarm condition, and the environment information according to the characteristics of each recording site, Or a combination thereof and extracts a feature of the corresponding object and generates a guidance message to the object by matching the extracted feature with a reference model of the corresponding recording site and outputs the generated guidance message. Broadcasting device. 청구항 1에 있어서,
적어도 하나 이상의 카메라, 서버 또는 이들의 조합과 양방향 통신이 가능하도록 인터페이스를 제공하는 통신 인터페이스;
상기 영상정보를 저장하는 데이터베이스와의 인터페이스를 수행하는 저장 인터페이스; 및
참조모델, 관심영역, 객체 인식 룰을 포함한 영상정보 분석 및 안내 메시지 생성을 위해 필요한 정보를 설정하는 설정부;를 더 포함하는 것을 특징으로 하는 영상정보를 이용한 안내 메시지 방송장치.The method according to claim 1,
A communication interface for providing an interface for bidirectional communication with at least one camera, a server, or a combination thereof;
A storage interface for performing an interface with a database for storing the image information; And
Further comprising: a setting unit configured to set information necessary for analyzing image information including a reference model, a region of interest, and an object recognition rule and generating a guidance message. 청구항 1에 있어서,
상기 카메라 인터페이스는,
녹화 사이트의 구조, 참조모델 및 객체의 위치나 방향에 따라 팬, 틸트, 줌, 포커스, 회전 또는 이들의 조합을 통해서 카메라의 광축 및 조사축의 조정이 가능하도록 제어 인터페이스를 지원하는 것을 특징으로 하는 영상정보를 이용한 안내 메시지 방송장치.The method according to claim 1,
Wherein the camera interface comprises:
A control interface is provided such that the optical axis and the irradiation axis of the camera can be adjusted through pan, tilt, zoom, focus, rotation, or a combination thereof according to the structure of the recording site, the reference model and the position and direction of the object. Information message broadcasting device using information. 청구항 1에 있어서,
상기 제어부는,
영상정보에서 관심영역, 안내가 필요한 객체, 객체의 제스처 및 모션을 인식하는 객체 인식모듈;
해당 녹화 사이트의 참조모델에 상기 객체 인식모듈에서 인식한 객체정보를 적용하는 참조모델 적용모듈; 및
상기 참조모델 적용모듈에서 참조모델에 객체정보를 적용한 결과에 따라 안내 메시지를 생성하는 안내 메시지 생성모듈;을 더 포함하는 것을 특징으로 하는 영상정보를 이용한 안내 메시지 방송장치.The method according to claim 1,
Wherein,
An object recognition module for recognizing a region of interest, an object requiring guidance, a gesture of an object, and motion in image information;
A reference model application module for applying object information recognized by the object recognition module to a reference model of the recording site; And
And a guide message generation module for generating a guide message according to a result of applying the object information to the reference model in the reference model application module. 청구항 1에 있어서,
상기 참조모델은,
녹화 사이트의 명칭, 위치, 구조, 녹화시간, 녹화목적, 녹화대상, 녹화방법, 상황정보, 객체 인식 룰, 안내 메시지 생성 형식 또는 이들의 조합을 포함한 정보로 구성되는 데이터 구조인 것을 특징으로 하는 영상정보를 이용한 안내 메시지 방송장치.The method according to claim 1,
In the reference model,
Wherein the data structure is composed of information including name, location, structure, recording time, recording purpose, recording object, recording method, situation information, object recognition rule, guidance message generation form, Information message broadcasting device using information. 청구항 1에 있어서,
상기 안내 메시지 방송장치는,
객체와 상호 인터랙션 하여 객체가 원하는 안내 메시지가 무엇인지 파악할 수 있으며,
상기 인터랙션은 영상, 그래픽, 음성 또는 이들의 조합을 포함한 방법을 통해 수행되는 것을 특징으로 하는 영상정보를 이용한 안내 메시지 방송장치.The method according to claim 1,
The guidance message broadcasting apparatus includes:
Interaction with objects allows you to understand what the object wants to see.
Wherein the interaction is performed through a method including video, graphic, voice, or a combination thereof. 청구항 1에 있어서,
상기 안내 메시지 방송장치는,
특정 녹화 사이트에서 자체적으로 영상정보를 분석하여 안내 메시지를 생성하지 못할 경우, 서버로 영상정보를 전송한 후 서버에서 처리한 객체 인식 결과 또는 이에 따른 처리 결과를 전송받아 안내 메시지를 생성하여 출력할 수 있는 것을 특징으로 하는 영상정보를 이용한 안내 메시지 방송장치.The method according to claim 1,
The guidance message broadcasting apparatus includes:
If the video information can not be generated by analyzing the video information by a specific recording site, the video information may be transmitted to the server, and the server may receive the object recognition result or the processing result, Wherein the guide message broadcasting apparatus comprises: 미리 정의된 각 녹화 사이트의 특성에 따른 녹화조건, 안내조건, 알람조건 및 환경정보를 포함하는 참조모델을 생성하는 단계;
상기 생성된 참조모델과 미리 설정된 소정의 룰과 미리 설정되거나 추출된 관심영역에 따라 카메라로부터 획득한 영상정보를 분석하여 객체의 정보를 추출하는 단계;
상기 영상정보, 상기 추출한 객체의 정보, 상기 관심영역에 포함된 객체의 정보 또는 이들의 조합을 저장하는 단계;
해당 객체가 처한 상황, 객체의 행위 또는 이들의 조합을 인식하여 해당 객체의 특징을 추출하는 단계; 및
상기 추출된 특징과 해당 녹화 사이트의 참조모델을 매칭시켜서 상기 객체에게 안내 메시지를 생성하여 출력하는 단계;를 포함하는 것을 특징으로 하는 영상정보를 이용한 안내 메시지 방송 방법.Generating a reference model including a recording condition, a guide condition, an alarm condition, and environment information according to characteristics of each of the predetermined recording sites;
Extracting information of an object by analyzing image information acquired from a camera according to a predetermined reference rule, a preset rule, and a predetermined or extracted region of interest;
Storing the image information, the extracted object information, the object information included in the ROI, or a combination thereof;
Extracting a feature of the object by recognizing a state of the object, an action of the object, or a combination thereof; And
And generating and outputting a guide message to the object by matching the extracted feature with a reference model of the corresponding recording site. 청구항 8에 있어서,
상기 참조모델은,
녹화 사이트의 명칭, 위치, 구조, 녹화시간, 녹화목적, 녹화대상, 녹화방법, 상황정보, 객체 인식 룰, 안내 메시지 생성 형식 또는 이들의 조합을 포함한 정보로 구성되는 데이터 구조인 것을 특징으로 하는 영상정보를 이용한 안내 메시지 방송 방법.The method of claim 8,
In the reference model,
Wherein the data structure is composed of information including name, location, structure, recording time, recording purpose, recording object, recording method, situation information, object recognition rule, guidance message generation form, Information Broadcasting Method. 청구항 8에 있어서,
영상, 그래픽, 음성 또는 이들의 조합을 포함한 방법을 통해 객체와 인터랙션을 수행하여 객체가 원하는 안내 메시지를 생성 및 출력하는 단계;를 더 포함하는 것을 특징으로 하는 영상정보를 이용한 안내 메시지 방송 방법.The method of claim 8,
And generating and outputting a desired guidance message by performing an interaction with the object through a method including video, graphic, voice, or a combination thereof. 청구항 8에 있어서,
특정 녹화 사이트에서 자체적으로 영상정보를 분석하여 안내 메시지를 생성하지 못할 경우, 서버로 영상정보를 전송한 후 서버에서 처리한 객체 인식 결과 또는 이에 따른 처리 결과를 전송받아 안내 메시지를 생성하여 출력할 수 있는 것을 특징으로 하는 영상정보를 이용한 안내 메시지 방송 방법.The method of claim 8,
If the video information can not be generated by analyzing the video information by a specific recording site, the video information may be transmitted to the server, and the server may receive the object recognition result or the processing result, Wherein the guide message is broadcasted by the user. 청구항 8에 있어서,
상기 카메라로부터 영상정보를 획득하는 것은,
녹화 사이트의 구조, 참조모델 및 객체의 위치나 방향에 따라 팬, 틸트, 줌, 포커스, 회전 또는 이들의 조합을 통해서 카메라의 광축 및 조사축의 조정을 통해서 원하는 영상정보를 획득하는 것이 가능한 것을 특징으로 하는 영상정보를 이용한 안내 메시지 방송 방법.The method of claim 8,
Obtaining the image information from the camera comprises:
It is possible to acquire the desired image information through adjustment of the optical axis and the irradiation axis of the camera through the pan, tilt, zoom, focus, rotation, or a combination thereof according to the structure of the recording site, the reference model and the position and direction of the object A method of broadcasting a guidance message using video information. 청구항 8에 있어서,
상기 안내 메시지를 생성하여 출력하는 단계는,
영상, 그래픽, 음성 또는 이들의 조합을 포함한 메시지 형태가 가능하며, 해당 녹화 사이트의 특성 및 인식된 객체정보에 따라 언어, 호칭, 표현법, 출력기기를 선택하여 안내 메시지를 생성 및 출력하는 것을 특징으로 하는 영상정보를 이용한 안내 메시지 방송 방법.The method of claim 8,
Wherein the step of generating and outputting the guide message comprises:
A message including a video, a graphic, a voice, or a combination thereof is possible, and a language, a title, a presentation method, and an output device are selected according to the characteristics of the recording site and the recognized object information, A method of broadcasting a guidance message using video information.
KR1020130169164A 2013-12-31 2013-12-31 An apparatus for broadcasting announcement message by using images information and the method thereof KR101442005B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130169164A KR101442005B1 (en) 2013-12-31 2013-12-31 An apparatus for broadcasting announcement message by using images information and the method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130169164A KR101442005B1 (en) 2013-12-31 2013-12-31 An apparatus for broadcasting announcement message by using images information and the method thereof

Publications (1)

Publication Number Publication Date
KR101442005B1 true KR101442005B1 (en) 2014-09-24

Family

ID=51760538

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130169164A KR101442005B1 (en) 2013-12-31 2013-12-31 An apparatus for broadcasting announcement message by using images information and the method thereof

Country Status (1)

Country Link
KR (1) KR101442005B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161102A (en) * 1995-12-04 1997-06-20 Nippon Signal Co Ltd:The Action recognizing type automatic ticket issuing device
JP2009263065A (en) * 2008-04-24 2009-11-12 Mitsubishi Electric Building Techno Service Co Ltd Guide broadcast system for passenger conveyor
KR100956114B1 (en) * 2009-06-16 2010-05-07 김한준 Image information apparatus and method using image pick up apparatus
KR20110075796A (en) * 2009-12-29 2011-07-06 한국철도기술연구원 System for monitoring in passenger car

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161102A (en) * 1995-12-04 1997-06-20 Nippon Signal Co Ltd:The Action recognizing type automatic ticket issuing device
JP2009263065A (en) * 2008-04-24 2009-11-12 Mitsubishi Electric Building Techno Service Co Ltd Guide broadcast system for passenger conveyor
KR100956114B1 (en) * 2009-06-16 2010-05-07 김한준 Image information apparatus and method using image pick up apparatus
KR20110075796A (en) * 2009-12-29 2011-07-06 한국철도기술연구원 System for monitoring in passenger car

Similar Documents

Publication Publication Date Title
US9613274B2 (en) Identifying an obstacle in a route
Saha et al. Closing the gap: Designing for the last-few-meters wayfinding problem for people with visual impairments
US11397462B2 (en) Real-time human-machine collaboration using big data driven augmented reality technologies
CN109141451B (en) Shopping positioning system and method, intelligent shopping cart and electronic equipment
US20180349708A1 (en) Methods and Systems for Presenting Image Data for Detected Regions of Interest
KR101983852B1 (en) System for providing exhibition service based on exhibition space analysis considering visitor's viewpoint
CN105980975B (en) Information processing apparatus, information processing method, and program
US10996831B2 (en) Augmented reality cursors
KR20160048708A (en) Recognition method and apparatus for communication message
KR20180079116A (en) System and method for providing information service for people with visually impairment
KR101929875B1 (en) Method for providing voice guidance service for vision impairment using stream live broadcast in real time
US9679032B2 (en) Device information providing system and device information providing method
US20140223327A1 (en) Apparatus and methods for co-located social integration and interactions
CN111599021A (en) Virtual space roaming guiding method and device and electronic equipment
US11057673B2 (en) Personalized content aggregation and delivery
KR20160016579A (en) Mobile device and method for executing an application based on a specific zone
US20120242860A1 (en) Arrangement and method relating to audio recognition
Kim et al. Mobile applications for assisting mobility for the visually impaired using IoT infrastructure
Xie et al. Iterative Design and Prototyping of Computer Vision Mediated Remote Sighted Assistance
US11804154B2 (en) Smart interactive display device, smart interactive display system, and interactive display method thereof
KR102339553B1 (en) Apparatus for enlarging screen and relaying screen in real time and operating method therof
JP4632362B2 (en) Information output system, information output method and program
KR101442005B1 (en) An apparatus for broadcasting announcement message by using images information and the method thereof
US10862997B2 (en) Information processing device, information processing method, and information processing system
US11425339B2 (en) Artificial intelligence device and method thereof

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170912

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180912

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190916

Year of fee payment: 6