WO2017135490A1 - 시각적 콘텐츠의 객체 인식 장치 및 방법 - Google Patents

시각적 콘텐츠의 객체 인식 장치 및 방법 Download PDF

Info

Publication number
WO2017135490A1
WO2017135490A1 PCT/KR2016/001492 KR2016001492W WO2017135490A1 WO 2017135490 A1 WO2017135490 A1 WO 2017135490A1 KR 2016001492 W KR2016001492 W KR 2016001492W WO 2017135490 A1 WO2017135490 A1 WO 2017135490A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
visual content
beacon signal
content
visual
Prior art date
Application number
PCT/KR2016/001492
Other languages
English (en)
French (fr)
Inventor
김성민
윤경용
Original Assignee
주식회사 얍컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 얍컴퍼니 filed Critical 주식회사 얍컴퍼니
Publication of WO2017135490A1 publication Critical patent/WO2017135490A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition

Definitions

  • the present invention relates to an apparatus and method for object recognition of visual content.
  • Patent Document 1 Republic of Korea Patent No. 10-1570117 (Nov. 12, 2015 registration)
  • the structure information about the object is obtained through interworking with the content providing server based on the received beacon signal, and the recognition of the object is performed based on this, thereby enabling the visual content within the visual content.
  • the present invention after receiving the beacon signal at the location where the visual content is obtained, and based on this to obtain the content information by interworking with the content providing server and related to the visual content using the frame data in the surrounding beacon signal An object recognition apparatus and method for visual content that can provide additional information on an object in visual content by obtaining and providing information.
  • the apparatus for recognizing an object of visual content is a visual content acquisition unit for acquiring visual content by capturing an image, and activating as the visual content is acquired.
  • a beacon signal receiving unit for receiving at least one beacon signal generated within a predetermined radius, and when the beacon signal includes location information, transmitting the location information to a content providing server to receive the location information from the content providing server.
  • An object information acquisition unit for acquiring structure information about an object on which an beacon transmitter is configured to transmit a beacon signal, and an object existing in a region of visual content corresponding to the location information based on the structure information on the object Visual content in addition to performing recognition Object recognition to recognize the objects existing in the other region by applying the object recognition algorithm set up in the other region may comprise part.
  • the object information acquisition unit receives the content information mapped to the location information from the content providing server, and obtains the related information of the visual content by analyzing the beacon signal in which the frame data exists At least one or more of the content information and the related information of the visual content may be displayed as additional information of the visual content through a display unit.
  • the object recognition apparatus generates search information using at least one or more of the received content information and the related information of the visual content, and the obtained search information is external to the search database.
  • the apparatus may further include a search unit which transmits a request for a search to a server and receives a search result corresponding to the search and displays the search result on the display unit.
  • the visual content acquisition unit acquires an image by capturing the image
  • the visual content acquisition unit executes a visual browser stored in a recording medium in an executable form in a mobile terminal to set the acquired image as visual content.
  • the display may be displayed on a visual browser, but may be displayed by adding a control interface for controlling the operation of the beacon signal receiver on the executed visual browser.
  • the object recognition apparatus further includes an image capturing unit for capturing the image and generating image capturing range information based on a camera manipulation state, wherein the object information obtaining unit is configured by the beacon signal receiving unit.
  • the structure information of the object may be obtained using only the beacon signal included in the image capturing range information among the beacon signals having the received position information.
  • the object recognition method of the visual content comprises the steps of acquiring the visual content by photographing the image, and the beacon signal receiving unit as the visual content is obtained Activating, receiving at least one beacon signal generated within a predetermined radius according to activation of the beacon signal receiving unit, extracting location information through analysis of the beacon signal, and extracting the extracted location information.
  • Step and for performing may comprise the step of recognizing objects existing in the other region by applying the object recognition algorithm set up in the other region of the visual content.
  • the object recognition method may further include receiving content information mapped to the location information from the content providing server and analyzing related information of the visual content through analysis of a beacon signal in which frame data exists.
  • the method may further include setting the at least one or more of the content information and the related information of the visual content as additional information of the visual content and displaying the overlapped content on the visual content.
  • the object recognition method comprises the steps of generating search information using at least one of the received content information and the related information of the visual content, and the external search for the generated search information
  • the method may further include requesting a search by transmitting the same to a database server for receiving the search result, and receiving a search result in response to the request and displaying the search result by overlapping the visual content.
  • the acquiring of the visual content may include executing a visual browser stored in a recording medium in an executable form in a mobile terminal as the image is acquired through the image capturing, and obtaining the obtained image.
  • the object recognition method further includes the step of photographing the image in the image capturing unit and generating image capturing range information based on a camera operating state.
  • the structure information of the object may be received using only the beacon signal included in the image capturing range information among the beacon signals having the position information received by the beacon signal receiver.
  • any one of the above-described problem solving means of the present invention after receiving the beacon signal at the position where the visual content is obtained, based on this, by obtaining the structural information on the object through the interworking with the content providing server, based on this By performing the recognition on the object, it is possible to improve the object recognition rate and the recognition speed in the visual content.
  • any one of the above-described problem solving means of the present invention after receiving the beacon signal at the position where the visual content is obtained, based on this to acquire the content information by interworking with the content providing server and the surrounding beacons By obtaining and providing the related information of the visual content using the frame data in the signal, it is possible to provide additional information closely related to the visual content.
  • 1 is an overall network configuration to which the object recognition apparatus of visual content is applied according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a detailed configuration of an apparatus for recognizing an object of visual content according to an embodiment of the present invention.
  • FIG. 3 is a diagram for describing a visual browser provided by an apparatus for recognizing visual content according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a process of recognizing an object in visual content by an object recognition apparatus of visual content according to an exemplary embodiment of the present invention.
  • a "part" includes the unit realized by hardware, the unit implemented by software, and the unit implemented using both.
  • one unit may be realized using two or more pieces of hardware, or two or more units may be realized by one piece of hardware.
  • 1 is an overall network configuration to which the object recognition apparatus of visual content is applied according to an embodiment of the present invention.
  • the entire network includes a mobile terminal 100 including an object recognition apparatus 110 for visual content, a plurality of beacon transmitters 130 connected to a local area network 120, and a mobile device.
  • the terminal 100 may include a content providing server 150 and a search database server 160 connected through the mobile communication network 140.
  • the short range wireless communication network 120 may include any one of Wi-Fi, Bluetooth LE communication, and infrared communication, but is not limited thereto.
  • the mobile terminal 100 receives the beacon signal broadcast from the beacon transmitter 130 through the local area network 120, and transmits the content to the content providing server 150 through the mobile communication network 140 based on the data in the beacon signal.
  • the mobile terminal 100 receives the beacon signal including the location information broadcast from the beacon transmitter 130 through the local area network 120 and transmits the location information in the beacon signal to the content providing server 150.
  • the structural information of the object may be structural information of a building in which the beacon transmitter 130 is installed.
  • the mobile terminal 100 may transmit the location information to the content providing server 150 to receive content information, that is, content information matched with the location information.
  • the mobile terminal 100 is connected to the short-range wireless communication network 120 for the mobile terminal 100 to interwork with the beacon transmitter 130 and the content providing server 150, for example, Bluetooth LE,
  • a communication module such as Wi-Fi, infrared communication, Zigbee, Bluetooth, etc. may be provided, and a mobile communication module connectable to the mobile communication network 140 may be provided, for example, a mobile communication module connectable to the mobile communication network 140 such as LTE and 3G. .
  • the mobile terminal 120 displays the content information mapped to the frame data and the location information of the beacon signal by overlapping the visual content or generates the search information based on the frame data and the content information, and then uses the search database server ( A request for a search is transmitted to the 160, and a search result received from the search database server 160 may be displayed according to the search request.
  • the mobile terminal 100 is a mobile communication device that ensures portability and mobility.
  • the mobile terminal 100 is a personal communication system (PCS), a global system for mobile communication (GSM), a personal digital cellular (PDC), or a PHS (PHS).
  • PCS personal communication system
  • GSM global system for mobile communication
  • PDC personal digital cellular
  • PHS PHS
  • PDA Personal Handyphone System
  • PDA Personal Digital Assistant
  • IMT International Mobile Telecommunication
  • CDMA Code Division Multiple Access
  • W-CDMA W-Code Division Multiple Access
  • WBRO Wireless Broadband Internet
  • It may include all kinds of handheld based wireless communication devices such as smart phones, smart pads, tablet PCs, and the like.
  • the content providing server 150 stores a variety of contents mapped to location information, for example, a content database 152 in which various content information such as restaurant information, discount information, and food information provided by a company corresponding to location information is stored.
  • a content database 152 in which various content information such as restaurant information, discount information, and food information provided by a company corresponding to location information is stored.
  • the content mapped to the location information may be searched in the content database 152 and provided to the mobile terminal 100 in response thereto.
  • the content providing server 150 includes a building structure database 154 stored by mapping an object in which the beacon transmitter 130 is installed, that is, building structure information to location information, and receiving location information from the mobile terminal 100.
  • a building structure database 154 stored by mapping an object in which the beacon transmitter 130 is installed, that is, building structure information to location information, and receiving location information from the mobile terminal 100.
  • the structure information of the building mapped to the location information may be retrieved from the building structure database 154 and provided to the mobile terminal 100.
  • the plurality of beacon transmitters 130 may be connected to the short range wireless communication network 120 to broadcast a beacon signal including frame data or a beacon signal including location information.
  • the plurality of beacon transmitters 130 according to an embodiment of the present invention is installed in a specific building to have a unique identification information for the location information and to generate a sound signal of a high frequency band, for example sound waves in a predetermined variation pattern
  • the beacon signal corresponding to the signal may be broadcast.
  • the object recognition apparatus 110 of the visual content of the mobile terminal 100 that has received the beacon signal corresponding to the sound signal as described above provides unique identification information and the unique information of the mobile terminal 100 corresponding to the beacon signal.
  • the content providing server 150 may provide the content to the mobile terminal 100 based on the location information corresponding to the unique identification information.
  • FIG. 2 is a block diagram illustrating a detailed configuration of an object recognition apparatus 110 for visual content according to an embodiment of the present invention
  • FIG. 3 is an object recognition apparatus 110 for visual content according to an embodiment of the present invention. It is a figure for explaining the visual browser provided.
  • the object recognition apparatus 110 for visual content may include an image capturing unit 200, a visual content obtaining unit 210, a beacon signal receiving unit 220, an object information obtaining unit 230, and object recognition.
  • the unit 240 may include a search unit 250, a display unit 260, and a display unit 260.
  • the image capturing unit 200 may provide the object information obtaining unit 230 with image capturing range information generated based on the operation state information of the camera according to the image capturing.
  • the image capturing unit 200 may generate the image capturing range information, which is the area information on which the image is captured, based on the zoom, tilt, and the like of the camera operating state, and provide the image capturing range information to the object information obtaining unit 230. .
  • the operation state of the camera may be a function of the camera used by the user in capturing an image, for example, zoom information and shooting mode information.
  • the visual content acquisition unit 210 may obtain visual content from the mobile terminal 100 and then display it on the display unit 260 of the mobile terminal 100, for example, a touch screen.
  • the visual content acquisition unit 210 may display the visual content on the display unit 260 through execution of a visual browser stored in a recording medium in an executable form in the mobile terminal 100.
  • the visual browser may be executed in conjunction with the image capturing unit 200 of the mobile terminal 100, for example, a camera.
  • the visual browser may set the captured image as visual content and display it on the display unit 260 of the mobile terminal 100. .
  • the beacon signal receiver 220 may receive the beacon signal that is activated as the visual content is acquired or the visual browser is operated and broadcasted to a preset radius, and may provide the beacon signal to the object information acquirer 230.
  • the beacon signal receiver 220 may be any one of a Bluetooth LE, an infrared communication module, and a Wi-Fi module.
  • the visual browser executed in conjunction with the image capturing unit 200 may further provide a control interface 310 for controlling the operation of the beacon signal receiving unit 220 as shown in FIG. 3.
  • the control interface 310 may provide an operation interface for activating the operation of the beacon signal receiver 220, and may activate (operate) the beacon signal receiver 220 according to a user's manipulation, for example, a touch.
  • the beacon signal receiver 220 may receive a beacon signal from the outside, extract a beacon signal having a signal strength of a predetermined threshold value or more, and provide the beacon signal to the object information acquirer 230.
  • the object information acquisition unit 230 extracts the location information through signal processing of the beacon signal having the location information among the beacon signals, and transmits the extracted location information to the content providing server 150 connected through the mobile communication network 140.
  • the structural information of the object may be received, for example, structural information of a building in which the beacon transmitter 130 that transmits a beacon signal is installed.
  • the structural information about the object thus received may be provided to the object recognition unit 240.
  • the object recognizer 240 recognizes an object at a location where the beacon transmitter 130 is installed, that is, a building in visual content, based on the structural information about the object, and applies an object recognition algorithm to another area of the visual content except the recognized object. Apply to recognize objects in other areas.
  • the object recognizer 240 may recognize an object in another area by applying an object recognition algorithm such as feature structuring, occlusion area extraction, and matching with a repeating pattern.
  • the object information acquirer 230 may transmit the location information to the content providing server 150 to receive the content information, and provide the received content information to the searcher 250.
  • the object information acquisition unit 230 extracts the frame data from the beacon signal, generates the related information of the visual content through analysis of the extracted frame data, and provides the search unit 250 with the related information of the generated visual content. Can be.
  • the object information acquirer 230 may display at least one or more of content information and related information of the visual content by overlapping the visual content displayed on the visual browser.
  • the object information acquisition unit 230 may select a beacon signal having location information based on the image capturing range information provided from the image capturing unit 200.
  • the object information acquirer 230 may obtain object information by analyzing only a beacon signal having location information included in the image capturing range information.
  • the search unit 250 generates search information using at least one of content information and related information of visual content, and transmits the generated search information to the search database server 160 to request a search and then You can receive the search results in response.
  • the search unit 250 may display the received search result by overlapping the visual content displayed on the visual browser.
  • FIG. 4 is a flowchart illustrating a process of recognizing an object in visual content by the apparatus 110 for recognizing object of visual content according to an exemplary embodiment of the present invention.
  • the visual content obtaining unit 210 uses the image captured through the execution of the visual browser as visual content, and the control interface 310. Displays a screen including the on the display unit 260 (S400, S402).
  • the beacon signal receiver 220 receives a beacon signal broadcast within a predetermined radius (S406). At this time, the beacon signal receiving unit 220 receives only the beacon signal having a signal strength of a predetermined value or more and provides it to the object information obtaining unit 230.
  • the object information acquisition unit 230 extracts the location information through signal processing for the beacon signal, and transmits the extracted location information to the content providing server 150 connected through the mobile communication network 140 to structure information on the object. After receiving the request, in response to this, structure information about the object is received from the content providing server 150 (S408).
  • the object recognizer 240 recognizes an object existing in an area of visual content corresponding to a location where the beacon transmitter 130 is installed based on the structure information of the object, that is, an object in the visual content based on the structure information of the building.
  • an object recognition algorithm is applied to another region of visual content to recognize an object in another region (S412).
  • the object recognition method to extract the frame data in the beacon signal through the object information acquisition unit 230 to obtain the relevant information of the visual content, from the content providing server 150
  • the content providing server 150 After receiving the content information corresponding to the location information, by using at least one or more of the related information and the content information of the visual content may be set as the additional information of the visual content, it may be displayed by overlapping the visual content.
  • the object recognition method generates the information for the search for the visual content using at least one or more of the related information of the visual content and the additional information of the object and then connected through the mobile communication network 140
  • the search request may be sent to the database server 160 for searching, and the search result may be received and displayed on the visual browser in response to the request.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transmission mechanism, and includes any information delivery media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 비콘 신호를 기반으로 시각적 콘텐츠 내 객체를 인식할 수 있는 장치 및 방법에 관한 것으로, 이를 위하여 영상의 촬영을 통해 시각적 콘텐츠를 획득하는 시각적 콘텐츠 획득부와, 상기 시각적 콘텐츠가 획득됨에 따라 활성화되어 기 설정된 반경 내에서 발생되는 적어도 하나 이상의 비콘 신호를 수신하는 비콘 신호 수신부와, 상기 비콘 신호에 위치 정보가 포함된 경우 상기 위치 정보를 콘텐츠 제공 서버에 전송하여 상기 콘텐츠 제공 서버로부터 상기 위치 정보를 포함한 비콘 신호를 송신하는 비콘 송신기가 설치된 객체에 대한 구조 정보를 획득하는 객체 정보 획득부와, 상기 객체에 대한 구조 정보를 기반으로 상기 위치 정보에 해당하는 시각적 콘텐츠의 일 영역에 존재하는 객체에 대한 인식을 수행함과 더불어 상기 시각적 콘텐츠의 다른 영역에 기 설정된 객체 인식 알고리즘을 적용하여 상기 다른 영역에 존재하는 객체를 인식하는 객체 인식부를 포함하는 시각적 콘텐츠의 객체 인식 장치를 제공한다.

Description

시각적 콘텐츠의 객체 인식 장치 및 방법
본 발명은 시각적 콘텐츠의 객체 인식 장치 및 방법에 관한 것이다.
최근 스마트 폰의 등장과 함께 그 사용이 증가함으로써, 유통되는 멀티미디어 콘텐츠의 양이 급격히 증가하였으며, 이것을 효과적으로 검색하기 위하여 이미지를 사용하여 검색을 하는 내용 기반 영상 검색 기술, 즉 비주얼 검색 기술의 필요성이 증대되고 있다.
이러한 비주얼 검색 기술을 실제 적용하기 위해서, 시각적 콘텐츠 특징의 비주얼 검색 기술의 필요성이 증대되고 있다. 즉, 도시 환경의 대규모 객체 검색을 위해 실외 환경에 적응적으로 특징으로 추출하고, 건물 등의 반복 패턴을 지능적으로 정합하여 궁금한 장소를 현장 또는 콘텐츠 시청 중 즉시적으로 검색할 수 있는 기술의 필요성이 증대되고 있다.
또한, 시각적 콘텐츠 속성 기반의 비주얼 검색 기술의 필요성이 증대되고 있다. 즉, 콘텐츠 내의 객체를 검출 및 객체를 설명할 수 있는 단어들로 묘시하여 시각적 정보를 손쉽게 검색할 수 있는 기술의 필요성이 증대되고 있다.
스마트 폰에 상기와 같은 기술을 적용하기 위해 실시간 콘텐츠 비주얼 검색 기술의 필요성이 증대되고 있다. 즉, 초고속 특징 추출과 고속 객체 인식 및 속성 추출을 지원하여 스마트 기기를 통해 언제 어디서나 비주얼 정보를 검색할 수 있는 기술의 필요성이 증대되고 있다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 대한민국 등록특허10-1570117호(2015.11.12. 등록)
본 발명은 시각적 콘텐츠를 획득한 위치에서 비콘 신호를 수신한 후 이를 기반으로 콘텐츠 제공 서버와의 연동을 통해 객체에 대한 구조 정보를 획득하고, 이를 기반으로 객체에 대한 인식을 수행함으로써, 시각적 콘텐츠 내 객체 인식율과 인식 속도를 향상시킬 수 있는 시각적 콘텐츠의 객체 인식 장치 및 방법을 제공한다.
또한, 본 발명은 시각적 콘텐츠를 획득한 위치에서 비콘 신호를 수신한 후 이를 기반으로 콘텐츠 제공 서버와의 연동을 통해 콘텐츠 정보를 획득함과 더불어 주변의 비콘 신호 내 프레임 데이터를 이용하여 시각적 콘텐츠의 관련 정보를 획득하여 제공함으로써, 시각적 콘텐츠 내 객체에 대한 부가 정보를 제공할 수 있는 시각적 콘텐츠의 객체 인식 장치 및 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시예에 따른 시각적 콘텐츠의 객체 인식 장치는 영상의 촬영을 통해 시각적 콘텐츠를 획득하는 시각적 콘텐츠 획득부와, 상기 시각적 콘텐츠가 획득됨에 따라 활성화되어 기 설정된 반경 내에서 발생되는 적어도 하나 이상의 비콘 신호를 수신하는 비콘 신호 수신부와, 상기 비콘 신호에 위치 정보가 포함된 경우 상기 위치 정보를 콘텐츠 제공 서버에 전송하여 상기 콘텐츠 제공 서버로부터 상기 위치 정보를 포함한 비콘 신호를 송신하는 비콘 송신기가 설치된 객체에 대한 구조 정보를 획득하는 객체 정보 획득부와, 상기 객체에 대한 구조 정보를 기반으로 상기 위치 정보에 해당하는 시각적 콘텐츠의 일 영역에 존재하는 객체에 대한 인식을 수행함과 더불어 상기 시각적 콘텐츠의 다른 영역에 기 설정된 객체 인식 알고리즘을 적용하여 상기 다른 영역에 존재하는 객체를 인식하는 객체 인식부를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 객제 정보 획득부는 상기 콘텐츠 제공 서버로부터 상기 위치 정보에 매핑된 콘텐츠 정보를 수신하며, 프레임 데이터가 존재하는 비콘 신호의 분석을 통해 상기 시각적 콘텐츠의 관련 정보를 획득하여 상기 콘텐츠 정보 및 상기 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 상기 시각적 콘텐츠의 부가 정보로 표시부를 통해 디스플레이할 수 있다.
본 발명의 실시예에 따르면, 상기 객체 인식 장치는 상기 수신한 콘텐츠 정보 및 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 이용하여 검색용 정보를 생성하며, 상기 획득한 검색용 정보를 외부의 검색용 데이터베이스 서버에 전송하여 검색을 요청한 후 이에 대응하는 검색 결과를 수신하여 표시부에 디스플레이하는 검색부를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 시각적 콘텐츠 획득부는 상기 영상 촬영을 통해 영상이 획득됨에 따라 모바일 단말 내 실행 가능한 형태로 기록매체에 저장된 비주얼 브라우저를 실행시켜 상기 획득한 영상을 시각적 콘텐츠로 설정하여 상기 비주얼 브라우저 상에 표시하되, 상기 실행된 비주얼 브라우저 상에 비콘 신호 수신부의 동작을 제어하기 위한 제어 인터페이스를 추가하여 표시할 수 있다.
본 발명의 실시예에 따르면, 상기 객체 인식 장치는 상기 영상을 촬영함과 더불어 카메라 조작 상태를 기초로 영상 촬영 범위 정보를 생성하는 영상 촬영부를 더 포함하며, 상기 객체 정보 획득부는 상기 비콘 신호 수신부에서 수신한 위치 정보를 갖는 비콘 신호 중 상기 영상 촬영 범위 정보에 포함된 비콘 신호만을 이용하여 객체의 구조 정보를 획득할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시예에 따른 시각적 콘텐츠의 객체 인식 방법은 영상의 촬영을 통해 시각적 콘텐츠를 획득하는 단계와, 상기 시각적 콘텐츠가 획득됨에 따라 비콘 신호 수신부를 활성화시키는 단계와, 상기 비콘 신호 수신부의 활성화에 따라 기 설정된 반경 내에서 발생되는 적어도 하나 이상의 비콘 신호를 수신하는 단계와, 상기 비콘 신호에 대한 분석을 통해 위치 정보를 추출하고, 상기 추출한 위치 정보를 통신망을 통해 연결된 콘텐츠 제공 서버에 전송하여 상기 위치 정보를 포함한 비콘 신호를 송신하는 비콘 송신기가 설치된 객체에 대한 구조 정보를 수신하는 단계와, 상기 수신한 객체에 대한 구조 정보를 상기 위치 정보에 해당하는 시각적 콘텐츠의 일 영역에 존재하는 객체에 대한 인식을 수행하는 단계와, 상기 시각적 콘텐츠의 다른 영역에 기 설정된 객체 인식 알고리즘을 적용하여 상기 다른 영역에 존재하는 객체를 인식하는 단계를 포함할 수 있다.
본 발명의 실시예에 다르면, 상기 객체 인식 방법은 상기 콘텐츠 제공 서버로부터 상기 위치 정보에 매핑된 콘텐츠 정보를 수신하는 단계와, 프레임 데이터가 존재하는 비콘 신호의 분석을 통해 상기 시각적 콘텐츠의 관련 정보를 획득하는 단계와, 상기 콘텐츠 정보 및 상기 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 상기 시각적 콘텐츠의 부가 정보로 설정하여 시각적 콘텐츠에 오버랩시켜 표시하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 객체 인식 방법은 상기 수신한 콘텐츠 정보 및 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 이용하여 검색용 정보를 생성하는 단계와, 상기 생성한 검색용 정보를 외부의 검색용 데이터베이스 서버에 전송하여 검색을 요청하는 단계와, 상기 요청에 대한 응답으로 검색 결과를 수신하여 상기 시각적 콘텐츠에 오버랩시켜 디스플레이하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 시각적 콘텐츠를 획득하는 단계는 상기 영상 촬영을 통해 영상이 획득됨에 따라 모바일 단말 내 실행 가능한 형태로 기록매체에 저장된 비주얼 브라우저를 실행시키는 단계와, 상기 획득한 영상을 시각적 콘텐츠로 설정하고, 상기 비콘 신호 수신부의 동작을 제어하기 위한 제어 인터페이스를 상기 시각적 콘텐츠에 포함시켜 상기 비주얼 브라우저를 통해 디스플레이하는 단계를 포함하며, 상기 비콘 신호 수신부를 활성화시키는 단계는 상기 제어 인터페이스에 대한 조작이 있을 경우 수행될 수 있다.
본 발명의 실시예에 따르면, 상기 객체 인식 방법은 영상 촬영부에서 상기 영상을 촬영함과 더불어 카메라 조작 상태를 기초로 영상 촬영 범위 정보를 생성하는 단계를 더 포함하며, 상기 객체에 대한 구조 정보를 수신하는 단계는 상기 비콘 신호 수신부에서 수신한 위치 정보를 갖는 비콘 신호 중 상기 영상 촬영 범위 정보에 포함된 비콘 신호만을 이용하여 객체에 대한 구조 정보를 수신할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 시각적 콘텐츠를 획득한 위치에서 비콘 신호를 수신한 후 이를 기반으로 콘텐츠 제공 서버와의 연동을 통해 객체에 대한 구조 정보를 획득하고, 이를 기반으로 객체에 대한 인식을 수행함으로써, 시각적 콘텐츠 내 객체 인식율과 인식 속도를 향상시킬 수 있다.
또한, 전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 시각적 콘텐츠를 획득한 위치에서 비콘 신호를 수신한 후 이를 기반으로 콘텐츠 제공 서버와의 연동을 통해 콘텐츠 정보를 획득함과 더불어 주변의 비콘 신호 내 프레임 데이터를 이용하여 시각적 콘텐츠의 관련 정보를 획득하여 제공함으로써, 시각적 콘텐츠에 밀접한 부가 정보를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 시각적 콘텐츠의 객체 인식 장치가 적용된 전체 네트워크 구성도이다.
도 2는 본 발명의 실시예에 따른 시각적 콘텐츠의 객체 인식 장치의 세부 구성을 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 시각적 콘텐츠의 객체 인식 장치에 의해 제공되는 비주얼 브라우저를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 시각적 콘텐츠의 객체 인식 장치가 시각적 콘텐츠 내 객체를 인식하는 과정을 도시한 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 발명 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
*본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다. 본 명세서 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다. 이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 시각적 콘텐츠의 객체 인식 장치가 적용된 전체 네트워크 구성도이다.
도 1에 도시된 바와 같이, 전체 네트워크는 전체 네트워크는 시각적 콘텐츠의 객체 인식 장치(110)를 포함한 모바일 단말(100)과, 근거리 무선 통신망(120)에 연결된 복수의 비콘 송신기(130)와, 모바일 단말(100)과 이동 통신망(140)을 통해 연결된 콘텐츠 제공 서버(150) 및 검색용 데이터베이스 서버(160) 등을 포함할 수 있다.
본 발명의 실시예에서 근거리 무선 통신망(120)은 와이파이, 블루투스 LE 통신 및 적외선 통신 중 어느 하나를 들 수 있으나, 이에 한정하지는 않는다.
모바일 단말(100)은 근거리 무선 통신망(120)을 통해 비콘 송신기(130)로부터 브로드캐스팅되는 비콘 신호를 수신하며, 비콘 신호 내 데이터를 기반으로 이동 통신망(140)을 통해 콘텐츠 제공 서버(150)에 접속하여 객체에 대한 구조 정보를 수신할 수 있다. 구체적으로, 모바일 단말(100)은 근거리 무선 통신망(120)을 통해 비콘 송신기(130)에서 브로드캐스팅되는 위치 정보를 포함한 비콘 신호를 수신한 후 비콘 신호 내 위치 정보를 콘텐츠 제공 서버(150)에 전송하여 객체의 구조 정보를 요청하여 수신할 수 있다. 이때, 객체의 구조 정보는 비콘 송신기(130)가 설치된 건물의 구조 정보일 수 있다.
또한, 모바일 단말(100)은 위치 정보를 콘텐츠 제공 서버(150)에 전송하여 콘텐츠 정보, 즉 위치 정보에 매칭된 콘텐츠 정보를 수신할 수 있다.
상술한 바와 같이, 모바일 단말(100)이 비콘 송신기(130) 및 콘텐츠 제공 서버(150)과의 연동을 위해 모바일 단말(100)은 근거리 무선 통신망(120)에 접속 가능한 통신 모듈, 예컨대 블루투스 LE, 와이파이, 적외선 통신, 지그비, 블루투스 등과 같은 통신 모듈을 구비하고, 이동 통신망(140)에 접속 가능한 이동 통신 모듈, 예컨대 LTE, 3G 등과 같은 이동 통신망(140)에 접속 가능한 이동 통신 모듈을 구비할 수 있다.
또한, 모바일 단말(120)은 비콘 신호의 프레임 데이터 및 위치 정보에 매핑된 콘텐츠 정보를 시각적 콘텐츠에 오버랩시켜 표시하거나 프레임 데이터 및 콘텐츠 정보를 기반으로 검색용 정보를 생성한 후 이를 검색용 데이터베이스 서버(160)에 전송하여 검색을 요청하며, 검색 요청에 따라 검색용 데이터베이스 서버(160)로부터 수신한 검색 결과를 표시할 수 있다.
상술한 바와 같은 모바일 단말(100)은 휴대성과 이동성이 보장되는 이동 통신 장치로서, 예를 들면, PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
콘텐츠 제공 서버(150)는 위치 정보에 매핑된 다양한 콘텐츠, 예컨대 위치 정보에 해당하는 맛집 정보, 할인 정보, 위치 정보에 해당하는 업체에서 제공하는 음식 정보 등과 같은 다양한 콘텐츠 정보가 저장된 콘텐츠 데이터베이스(152)를 구비하며, 위치 정보를 이용한 모바일 단말(100)의 콘텐츠 요청에 따라 이에 대한 응답으로 위치 정보에 매핑된 콘텐츠를 콘텐츠 데이터베이스(152)에서 검색하여 모바일 단말(100)에 제공할 수 있다.
또한, 콘텐츠 제공 서버(150)는 위치 정보에 비콘 송신기(130)가 설치된 객체, 즉 건물의 구조 정보를 매핑시켜 저장된 건물 구조 데이터베이스(154)를 구비하며, 모바일 단말(100)로부터 위치 정보가 수신됨에 따라 위치 정보에 매핑된 건물의 구조 정보를 건물 구조 데이터베이스(154)에서 검색하여 모바일 단말(100)에 제공할 수 있다.
복수의 비콘 송신기(130)는 근거리 무선 통신망(120)에 연결되어 프레임 데이터를 포함한 비콘 신호 또는 위치 정보를 포함한 비콘 신호를 브로드캐스팅할 수 있다. 특히, 본 발명의 실시예에 따른 복수의 비콘 송신기(130)는 특정 건물에 설치되어 위치 정보에 대한 고유 식별 정보를 갖고 미리 설정된 변동 패턴으로 고주파 대역의 사운드 신호, 예컨대 음파를 발생시키는 방식으로 사운드 신호에 해당하는 비콘 신호를 브로드캐스팅할 수 있다.
상기와 같은 사운드 신호에 해당하는 비콘 신호를 수신한 모바일 단말(100)의 시각적 콘텐츠의 객체 인식 장치(110)는 비콘 신호에 대응하는 고유 식별 정보 및 모바일 단말(100)의 고유 정보를 콘텐츠 제공 서버(150)에 전송하며, 콘텐츠 제공 서버(150)는 고유 식별 정보에 해당하는 위치 정보를 기반으로 콘텐츠를 모바일 단말(100)에 제공할 수 있다.
상기와 같은 모바일 단말(100) 내 시각적 콘텐츠의 객체 인식 장치(110)의 세부 구성 및 동작에 대해 도 2 및 도 3을 참조하여 설명한다.
도 2는 본 발명의 실시예에 따른 시각적 콘텐츠의 객체 인식 장치(110)의 세부 구성을 도시한 블록도이며, 도 3은 본 발명의 실시예에 따른 시각적 콘텐츠의 객체 인식 장치(110)에 의해 제공되는 비주얼 브라우저를 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 시각적 콘텐츠의 객체 인식 장치(110)는 영상 촬영부(200), 시각적 콘텐츠 획득부(210), 비콘 신호 수신부(220), 객체 정보 획득부(230), 객체 인식부(240), 검색부(250) 및 표시부(260) 등을 포함할 수 있다.
영상 촬영부(200)는 영상 촬영에 따른 카메라의 조작 상태 정보를 기초로 생성한 영상 촬영 범위 정보를 객체 정보 획득부(230)에 제공할 수 있다. 구체적으로, 영상 촬영부(200)는 카메라의 조작 상태인 줌, 틸트 등을 기초하여 영상이 촬영된 영역 정보인 영상 촬영 범위 정보를 생성한 후 이를 객체 정보 획득부(230)에 제공할 수 있다.
본 발명의 실시예에서 카메라의 조작 상태는 사용자가 영상 촬영 시 이용하는 카메라의 기능, 예컨대 줌 정보, 촬영 모드 정보 등이 될 수 있다.
*시각적 콘텐츠 획득부(210)는 모바일 단말(100)에서 시각적 콘텐츠를 획득한 후 이를 모바일 단말(100)의 표시부(260), 예컨대 터치스크린 상에 디스플레이할 수 있다. 구체적으로, 시각적 콘텐츠 획득부(210)는 모바일 단말(100) 내 실행 가능한 형태로 기록매체에 저장된 비주얼 브라우저의 실행을 통해 시각적 콘텐츠를 표시부(260) 상에 디스플레이할 수 있다.
본 발명의 실시예에 따른 비주얼 브라우저는 모바일 단말(100)의 영상 촬영부(200), 예컨대 카메라와 연동되어 실행될 수 있다. 구체적으로, 모바일 단말(100)의 영상 촬영부(200)에서 특정 영상이 촬영됨에 따라 비주얼 브라우저는 촬영된 영상을 시각적 콘텐츠로 설정하여 모바일 단말(100)의 표시부(260) 상에 디스플레이할 수 있다.
비콘 신호 수신부(220)는 시각적 콘텐츠가 획득 또는 비주얼 브라우저가 동작됨에 따라 활성화되어 기 설정된 반경에 브로드캐스팅되는 비콘 신호를 수신하여 객체 정보 획득부(230)에 제공할 수 있다.
본 발명의 실시예에서 비콘 신호 수신부(220)는 블루투스 LE, 적외선 통신 모듈 및 와이파이 모듈 중 어느 하나일 수 있다.
한편, 영상 촬영부(200)과 연동되어 실행되는 비주얼 브라우저는, 도 3에 도시된 바와 같이, 비콘 신호 수신부(220)의 동작을 제어하기 위한 제어 인터페이스(310)를 더 제공할 수 있다.
이러한 제어 인터페이스(310)는 비콘 신호 수신부(220)의 동작을 활성화시키기 위한 조작 인터페이스를 제공하며, 사용자의 조작, 예컨대 터치에 따라 비콘 신호 수신부(220)를 활성화(동작)시킬 수 있다. 이러한 활성화에 따라 비콘 신호 수신부(220)는 외부로부터 비콘 신호를 수신한 후 기 설정된 임계 값 이상의 신호 세기를 갖는 비콘 신호를 추출하여 객체 정보 획득부(230)에 제공할 수 있다.
객체 정보 획득부(230)는 비콘 신호 중 위치 정보를 갖는 비콘 신호에 대한 신호 처리를 통해 위치 정보를 추출하며, 추출한 위치 정보를 이동 통신망(140)을 통해 연결된 콘텐츠 제공 서버(150)에 전송하여 객체에 대한 구조 정보, 예컨대 비콘 신호를 송출하는 비콘 송신기(130)가 설치된 건물의 구조 정보를 수신할 수 있다. 이렇게 수신한 객체에 대한 구조 정보는 객체 인식부(240)에 제공될 수 있다.
객체 인식부(240)는 객체에 대한 구조 정보를 기반으로 비콘 송신기(130)가 설치된 위치의 객체, 즉 시각적 콘텐츠 내 건물을 인식하고, 인식한 객체를 제외한 시각적 콘텐츠의 다른 영역에 객체 인식 알고리즘을 적용하여 다른 영역 내 객체를 인식할 수 있다. 구체적으로, 객체 인식부(240)는 특징 구조화, 가려짐 영역 추출, 반복 패턴에 대한 정합 등의 객체 인식 알고리즘을 적용하여 다른 영역 내 객체를 인식할 수 있다.
한편, 객체 정보 획득부(230)는 위치 정보를 콘텐츠 제공 서버(150)에 전송하여 콘텐츠 정보 수신하며, 수신한 콘텐츠 정보를 검색부(250)에 제공할 수 있다.
또한, 객체 정보 획득부(230)는 비콘 신호에서 프레임 데이터를 추출한 후 추출한 프레임 데이터의 분석을 통해 시각적 콘텐츠의 관련 정보를 생성하며, 생성한 시각적 콘텐츠의 관련 정보를 검색부(250)에 제공할 수 있다.
한편, 객체 정보 획득부(230)는 콘텐츠 정보 및 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 비주얼 브라우저 상에 디스플레이된 시각적 콘텐츠에 오버랩시켜 디스플레이할 수 있다.
본 발명의 실시예에서 객체 정보 획득부(230)는 영상 촬영부(200)로부터 제공받은 영상 촬영 범위 정보를 기초하여 위치 정보를 갖는 비콘 신호를 선택할 수 있다. 구체적으로, 객체 정보 획득부(230)는 영상 촬영 범위 정보 내에 포함된 위치 정보를 갖는 비콘 신호만을 분석하여 객체 정보를 획득할 수 있다.
검색부(250)는 콘텐츠 정보 및 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 이용하여 검색용 정보를 생성하며, 생성한 검색용 정보를 검색용 데이터베이스 서버(160)에 전송하여 검색을 요청한 후 이에 대한 응답으로 검색 결과를 수신할 수 있다.
검색부(250)는 수신한 검색 결과를 비주얼 브라우저 상에 디스플레이된 시각적 콘텐츠에 오버랩시켜 디스플레이할 수 있다.
상기와 같은 구성을 갖는 시각적 콘텐츠의 객체 인식 장치(110)가 시각적 콘텐츠 내 객체를 인식하는 과정에 대해 도 4를 참조하여 설명한다.
도 4는 본 발명의 실시예에 따른 시각적 콘텐츠의 객체 인식 장치(110)가 시각적 콘텐츠 내 객체를 인식하는 과정을 도시한 흐름도이다.
도 4에 도시된 바와 같이, 먼저 영상 촬영부(200)에 의해 영상이 촬영됨에 따라 시각적 콘텐츠 획득부(210)는 비주얼 브라우저의 실행을 통해 촬영된 영상을 시각적 콘텐츠로 하며, 제어 인터페이스(310)를 포함한 화면을 표시부(260) 상에 디스플레이한다(S400, S402).
그런 다음, 제어 인터페이스(310)가 조작되면(S404), 비콘 신호 수신부(220)는 기 설정된 반경 내로 브로드캐스팅되는 비콘 신호를 수신한다(S406). 이때, 비콘 신호 수신부(220)는 기 설정된 값 이상의 신호 세기를 갖는 비콘 신호만을 수신하여 객체 정보 획득부(230)에 제공한다.
이후, 객체 정보 획득부(230)는 비콘 신호에 대한 신호 처리를 통해 위치 정보를 추출하고, 추출한 위치 정보를 이동 통신망(140)을 통해 연결된 콘텐츠 제공 서버(150)에 전송하여 객체에 대한 구조 정보를 요청한 후 이에 대한 응답으로 콘텐츠 제공 서버(150)로부터 객체에 대한 구조 정보를 수신한다(S408).
객체 인식부(240)는 객체에 대한 구조 정보를 기초하여 비콘 송신기(130)가 설치된 위치에 해당하는 시각적 콘텐츠의 영역에 존재하는 객체, 즉 건물의 구조 정보를 기초하여 시각적 콘텐츠 내 객체를 인식하고(S410), 시각적 콘텐츠의 다른 영역에 객체 인식 알고리즘을 적용하여 다른 영역 내 객체를 인식한다(S412).
한편, 도시 생략되었지만, 본 발명의 실시예에 따른 객체 인식 방법은 객체 정보 획득부(230)를 통해 비콘 신호 내 프레임 데이터를 추출하여 시각적 콘텐츠의 관련 정보를 획득하고, 콘텐츠 제공 서버(150)로부터 위치 정보에 대응하는 콘텐츠 정보를 수신한 후 시각적 콘텐츠의 관련 정보 및 콘텐츠 정보 중 적어도 하나 이상을 이용하여 시각적 콘텐츠의 부가 정보로 설정하여 시각적 콘텐츠에 오버랩시켜 디스플레이해줄 수 있다.
또한, 본 발명의 실시예에 따른 객체 인식 방법은 시각적 콘텐츠의 관련 정보 및 객체의 부가 정보 중 적어도 하나 이상을 이용하여 시각적 콘텐츠에 대한 검색용 정보를 생성한 후 이를 이동 통신망(140)을 통해 연결된 검색용 데이터베이스 서버(160)에 전송하여 검색을 요청하며, 요청에 대한 응답으로 검색 결과를 수신하여 비주얼 브라우저 상에 디스플레이해줄 수 있다.
상술한 바와 같은 시각적 콘텐츠의 객체 인식 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
[부호의 설명]
100 : 모바일 단말
110 : 객체 인식 장치
120 : 근거리 무선 통신망
130 : 비콘 송신기
140 : 이동 통신망
150 : 콘텐츠 제공 서버
160 : 검색용 데이터베이스 서버
200 : 영상 촬영부
210 : 시각적 콘텐츠 획득부
220 : 비콘 신호 수신부
230 : 객체 정보 획득부
240 : 객체 인식부
250 : 검색부
260 : 표시부
무

Claims (10)

  1. 영상의 촬영을 통해 시각적 콘텐츠를 획득하는 시각적 콘텐츠 획득부와,
    상기 시각적 콘텐츠가 획득됨에 따라 활성화되어 기 설정된 반경 내에서 발생되는 적어도 하나 이상의 비콘 신호를 수신하는 비콘 신호 수신부와,
    상기 비콘 신호에 위치 정보가 포함된 경우 상기 위치 정보를 콘텐츠 제공 서버에 전송하여 상기 콘텐츠 제공 서버로부터 상기 위치 정보를 포함한 비콘 신호를 송신하는 비콘 송신기가 설치된 객체에 대한 구조 정보를 획득하는 객체 정보 획득부와,
    상기 객체에 대한 구조 정보를 기반으로 상기 위치 정보에 해당하는 시각적 콘텐츠의 일 영역에 존재하는 객체에 대한 인식을 수행함과 더불어 상기 시각적 콘텐츠의 다른 영역에 기 설정된 객체 인식 알고리즘을 적용하여 상기 다른 영역에 존재하는 객체를 인식하는 객체 인식부를 포함하는 시각적 콘텐츠의 객체 인식 장치.
  2. 제1항에 있어서,
    상기 객제 정보 획득부는,
    상기 콘텐츠 제공 서버로부터 상기 위치 정보에 매핑된 콘텐츠 정보를 수신하며, 프레임 데이터가 존재하는 비콘 신호의 분석을 통해 상기 시각적 콘텐츠의 관련 정보를 획득하여 상기 콘텐츠 정보 및 상기 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 상기 시각적 콘텐츠의 부가 정보로 표시부를 통해 디스플레이하는 시각적 콘텐츠의 객체 인식 장치.
  3. 제2항에 있어서,
    상기 객체 인식 장치는,
    상기 수신한 콘텐츠 정보 및 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 이용하여 검색용 정보를 생성하며, 상기 획득한 검색용 정보를 외부의 검색용 데이터베이스 서버에 전송하여 검색을 요청한 후 이에 대응하는 검색 결과를 수신하여 표시부에 디스플레이하는 검색부를 더 포함하는 시각적 콘텐츠의 객체 인식 장치.
  4. 제1항에 있어서,
    상기 시각적 콘텐츠 획득부는 상기 영상 촬영을 통해 영상이 획득됨에 따라 모바일 단말 내 실행 가능한 형태로 기록매체에 저장된 비주얼 브라우저를 실행시켜 상기 획득한 영상을 시각적 콘텐츠로 설정하여 상기 비주얼 브라우저 상에 표시하되, 상기 실행된 비주얼 브라우저 상에 비콘 신호 수신부의 동작을 제어하기 위한 제어 인터페이스를 추가하여 표시하는 시각적 콘텐츠의 객체 인식 장치.
  5. 제1항에 있어서,
    상기 객체 인식 장치는,
    상기 영상을 촬영함과 더불어 카메라 조작 상태를 기초로 영상 촬영 범위 정보를 생성하는 영상 촬영부를 더 포함하며,
    상기 객체 정보 획득부는,
    상기 비콘 신호 수신부에서 수신한 위치 정보를 갖는 비콘 신호 중 상기 영상 촬영 범위 정보에 포함된 비콘 신호만을 이용하여 객체의 구조 정보를 획득하는 시각적 콘텐츠의 객체 인식 장치.
  6. 영상의 촬영을 통해 시각적 콘텐츠를 획득하는 단계와,
    상기 시각적 콘텐츠가 획득됨에 따라 비콘 신호 수신부를 활성화시키는 단계와,
    상기 비콘 신호 수신부의 활성화에 따라 기 설정된 반경 내에서 발생되는 적어도 하나 이상의 비콘 신호를 수신하는 단계와,
    상기 비콘 신호에 대한 분석을 통해 위치 정보를 추출하고, 상기 추출한 위치 정보를 통신망을 통해 연결된 콘텐츠 제공 서버에 전송하여 상기 위치 정보를 포함한 비콘 신호를 송신하는 비콘 송신기가 설치된 객체에 대한 구조 정보를 수신하는 단계와,
    상기 수신한 객체에 대한 구조 정보를 상기 위치 정보에 해당하는 시각적 콘텐츠의 일 영역에 존재하는 객체에 대한 인식을 수행하는 단계와,
    상기 시각적 콘텐츠의 다른 영역에 기 설정된 객체 인식 알고리즘을 적용하여 상기 다른 영역에 존재하는 객체를 인식하는 단계를 포함하는 시각적 콘텐츠의 객체 인식 방법.
  7. 제6항에 있어서,
    상기 객체 인식 방법은,
    상기 콘텐츠 제공 서버로부터 상기 위치 정보에 매핑된 콘텐츠 정보를 수신하는 단계와,
    프레임 데이터가 존재하는 비콘 신호의 분석을 통해 상기 시각적 콘텐츠의 관련 정보를 획득하는 단계와,
    상기 콘텐츠 정보 및 상기 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 상기 시각적 콘텐츠의 부가 정보로 설정하여 시각적 콘텐츠에 오버랩시켜 표시하는 단계를 더 포함하는 시각적 콘텐츠의 객체 인식 방법.
  8. 제7항에 있어서,
    상기 객체 인식 방법은,
    상기 수신한 콘텐츠 정보 및 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 이용하여 검색용 정보를 생성하는 단계와,
    상기 생성한 검색용 정보를 외부의 검색용 데이터베이스 서버에 전송하여 검색을 요청하는 단계와,
    상기 요청에 대한 응답으로 검색 결과를 수신하여 상기 시각적 콘텐츠에 오버랩시켜 디스플레이하는 단계를 더 포함하는 시각적 콘텐츠의 객체 인식 방법.
  9. 제6항에 있어서,
    상기 시각적 콘텐츠를 획득하는 단계는,
    상기 영상 촬영을 통해 영상이 획득됨에 따라 모바일 단말 내 실행 가능한 형태로 기록매체에 저장된 비주얼 브라우저를 실행시키는 단계와,
    상기 획득한 영상을 시각적 콘텐츠로 설정하고, 상기 비콘 신호 수신부의 동작을 제어하기 위한 제어 인터페이스를 상기 시각적 콘텐츠에 포함시켜 상기 비주얼 브라우저를 통해 디스플레이하는 단계를 포함하며,
    상기 비콘 신호 수신부를 활성화시키는 단계는, 상기 제어 인터페이스에 대한 조작이 있을 경우 수행되는 시각적 콘텐츠의 객체 인식 방법.
  10. 제7항에 있어서,
    상기 객체 인식 방법은
    영상 촬영부에서 상기 영상을 촬영함과 더불어 카메라 조작 상태를 기초로 영상 촬영 범위 정보를 생성하는 단계를 더 포함하며,
    상기 객체에 대한 구조 정보를 수신하는 단계는,
    상기 비콘 신호 수신부에서 수신한 위치 정보를 갖는 비콘 신호 중 상기 영상 촬영 범위 정보에 포함된 비콘 신호만을 이용하여 객체에 대한 구조 정보를 수신하는 시각적 콘텐츠의 객체 인식 방법.
PCT/KR2016/001492 2016-02-02 2016-02-15 시각적 콘텐츠의 객체 인식 장치 및 방법 WO2017135490A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0012690 2016-02-02
KR1020160012690A KR101885741B1 (ko) 2016-02-02 2016-02-02 시각적 콘텐츠의 객체 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2017135490A1 true WO2017135490A1 (ko) 2017-08-10

Family

ID=59499787

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/001492 WO2017135490A1 (ko) 2016-02-02 2016-02-15 시각적 콘텐츠의 객체 인식 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101885741B1 (ko)
WO (1) WO2017135490A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039799A1 (ko) * 2017-08-20 2019-02-28 네이버 주식회사 시각적 입력의 처리
KR102369341B1 (ko) 2021-10-14 2022-03-07 동양정보서비스(주) 상호 영상 촬영과 인공지능을 이용한 가축 모니터링 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120014480A (ko) * 2010-08-09 2012-02-17 에스케이플래닛 주식회사 통합 영상 검색 시스템 및 그 서비스 방법
KR20140121513A (ko) * 2013-04-05 2014-10-16 홍익대학교 산학협력단 정보처리 시스템 및 정보처리 방법
KR20140144377A (ko) * 2013-06-10 2014-12-19 에스케이텔레콤 주식회사 오프라인 매장 정보 및 영상 정보를 이용한 상품 정보 제공장치 및 그 방법
KR20150018264A (ko) * 2013-08-09 2015-02-23 엘지전자 주식회사 안경형 단말기의 정보 제공 장치 및 그 방법
KR20150059377A (ko) * 2013-11-22 2015-06-01 엔그램테크놀로지(주) 영상내 동작 및 객체인식 기술 기반의 자기 결제 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101176743B1 (ko) * 2011-02-23 2012-08-23 숭실대학교산학협력단 객체 인식 장치 및 방법과 이를 이용한 정보 컨텐츠 제공 장치 및 정보 컨텐츠 관리 서버
US9161168B2 (en) * 2013-03-15 2015-10-13 Intel Corporation Personal information communicator
KR101570117B1 (ko) 2014-06-03 2015-11-18 한승훈 시각적 콘텐츠 기반 정보 입력 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120014480A (ko) * 2010-08-09 2012-02-17 에스케이플래닛 주식회사 통합 영상 검색 시스템 및 그 서비스 방법
KR20140121513A (ko) * 2013-04-05 2014-10-16 홍익대학교 산학협력단 정보처리 시스템 및 정보처리 방법
KR20140144377A (ko) * 2013-06-10 2014-12-19 에스케이텔레콤 주식회사 오프라인 매장 정보 및 영상 정보를 이용한 상품 정보 제공장치 및 그 방법
KR20150018264A (ko) * 2013-08-09 2015-02-23 엘지전자 주식회사 안경형 단말기의 정보 제공 장치 및 그 방법
KR20150059377A (ko) * 2013-11-22 2015-06-01 엔그램테크놀로지(주) 영상내 동작 및 객체인식 기술 기반의 자기 결제 시스템 및 방법

Also Published As

Publication number Publication date
KR20170091878A (ko) 2017-08-10
KR101885741B1 (ko) 2018-08-06

Similar Documents

Publication Publication Date Title
WO2016204428A1 (ko) 전자 장치 및 이의 제어 방법
KR20160089270A (ko) 연결방법, 장치, 프로그램 및 기록매체
CN104219785A (zh) 实时视频提供方法、装置及服务器、终端设备
WO2014119975A1 (en) Method and system for sharing part of web page
US10318408B2 (en) Data processing method, data processing device, terminal and smart device
WO2016013767A1 (ko) 근거리 무선 장치를 이용한 이동 단말기들 사이의 커뮤니케이션 서비스 제공 방법
KR101099838B1 (ko) 컴퓨터와 휴대단말기 간 영상통신을 이용한 원격 에프터 서비스방법
WO2015167236A1 (en) Electronic device and method for providing emergency video call service
WO2015147437A1 (ko) 모바일 서비스 시스템, 그 시스템에서의 위치 기반 앨범 생성 방법 및 장치
CN105808181A (zh) 图像中介装置、交互式显示系统及其操作方法
WO2012081777A1 (ko) 스마트 로봇 장치 및 스마트 로봇 장치를 이용한 동적 서비스 제공 방법
WO2013047967A1 (en) Apparatus and method for generating and retrieving location-tagged content in computing device
WO2017135490A1 (ko) 시각적 콘텐츠의 객체 인식 장치 및 방법
CN111641857A (zh) 受控设备的交互方法及装置、主控设备的交互方法及装置、终端和存储介质
WO2014061905A1 (ko) 동작 및 음성 기반 북마크 제공 시스템 과 그 방법
WO2020235740A1 (ko) 이미지 기반 실내 측위 서비스 시스템 및 방법
WO2017030285A1 (ko) Ui 제공 방법 및 이를 적용한 디스플레이 장치
US20120169638A1 (en) Device and method for transmitting data in portable terminal
CN113099513B (zh) 基站选择方法、电子终端及计算机可读存储介质
US20160323542A1 (en) User terminal device and method for providing interaction service therefor
CN114328451A (zh) 一种基于机器学习的敏感信息库构建方法、装置及计算机可读存储介质
CN110764852B (zh) 一种截图方法、终端及计算机可读存储介质
WO2017135489A1 (ko) 시각적 콘텐츠의 애노테이션 장치 및 방법
CN109710576B (zh) 文件展示的方法、终端及存储介质
WO2019112127A1 (en) Electronic device and method for controlling the electronic device for joint transmission thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16889469

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16889469

Country of ref document: EP

Kind code of ref document: A1