KR20200124002A - Method for identifying communication object using visual information and apparatus using the same - Google Patents

Method for identifying communication object using visual information and apparatus using the same Download PDF

Info

Publication number
KR20200124002A
KR20200124002A KR1020190047301A KR20190047301A KR20200124002A KR 20200124002 A KR20200124002 A KR 20200124002A KR 1020190047301 A KR1020190047301 A KR 1020190047301A KR 20190047301 A KR20190047301 A KR 20190047301A KR 20200124002 A KR20200124002 A KR 20200124002A
Authority
KR
South Korea
Prior art keywords
communication
information
filter
object recognition
communication target
Prior art date
Application number
KR1020190047301A
Other languages
Korean (ko)
Inventor
류철
김도형
김영훈
이재호
이형석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190047301A priority Critical patent/KR20200124002A/en
Publication of KR20200124002A publication Critical patent/KR20200124002A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)

Abstract

Disclosed are a method for identifying a communication target using visual information and an apparatus therefor. According to an embodiment of the present invention, a method for identifying a communication target comprises the steps of: providing, by a user terminal, a visual interface to intuitively select a communication target; collecting prior information of a plurality of communication candidate devices located nearby based on short-range wireless communication; selecting at least one object recognition filter for identifying a communication target from visual information input through the visual interface in consideration of the prior information; and inputting the visual information to the at least one object recognition filter according to the filter application order considering the recognition rate, and identifying a communication target among the plurality of communication candidate devices in consideration of a filtering result by the at least one object recognition filter.

Description

시각적 정보를 이용한 통신대상 식별 방법 및 이를 위한 장치 {METHOD FOR IDENTIFYING COMMUNICATION OBJECT USING VISUAL INFORMATION AND APPARATUS USING THE SAME}Communication target identification method using visual information and device therefor {METHOD FOR IDENTIFYING COMMUNICATION OBJECT USING VISUAL INFORMATION AND APPARATUS USING THE SAME}

본 발명은 무선통신시스템에서 통신대상을 식별하는 기술에 관한 것으로, 특히 가시거리에 위치하는 통신대상에 대해 전화번호, 바코드, IP주소, MAC 주소, 장치 이름 등의 정보 없이 대상을 직관적으로 선택할 수 있는 인터페이스를 통해 통신 대상을 식별하는 기술에 관한 것이다.The present invention relates to a technology for identifying a communication target in a wireless communication system, and in particular, for a communication target located at a visible distance, the target can be intuitively selected without information such as phone number, barcode, IP address, MAC address, and device name. It relates to a technology for identifying a communication target through an interface.

블루투스(BLUETOOTH), WiFi P2P 및 셀룰라 통신시스템과 같은 무선통신 시스템에서는 통신 디바이스들 사이에 통신을 위해 먼저 상대 디바이스의 통신 식별자 (전화번호, SSID, MAC주소, IP주소, 장치이름 등)를 이용하여 디바이스 페어링(Pairing) 또는 링크 설정(Link Setup)을 수행하는 과정이 필요하다. 이러한 과정을 통해 통신 링크가 설정된 이후에 데이터를 주고 받을 수 있는 통신 서비스를 제공할 수 있게 된다.In wireless communication systems such as Bluetooth, WiFi P2P, and cellular communication systems, the communication identifier (telephone number, SSID, MAC address, IP address, device name, etc.) of the other device is first used for communication between communication devices. A process of performing device pairing or link setup is required. Through this process, it is possible to provide a communication service capable of sending and receiving data after a communication link is established.

이와 같은 페어링 또는 링크 설정 과정은 보통 블루투스나 WiFi 같은 직접 무선통신 시스템을 이용하는 것으로, 스마트폰이나 Head-Mounted Display 장치와 같은 모바일 사용자가 통신상대의 디바이스에 접속하기 위해서는 일반적으로 SCAN-AND-SELECT 방식을 사용할 수 있다. 이 때, 사용자의 디바이스는 상대의 디바이스로 접속하기 위해서 장치탐색(Device Discovery) 도중에 프로브 요청 프레임(Probe-Request-Frame)을 통해 주변의 모든 디바이스들에게 통신식별자(예, SSID(Service Set Identifier)와 같은 장치 정보를 요청할 수 있다. 이러한 요청을 받은 디바이스들은 해당 정보를 사용자의 디바이스로 보내게 된다. 이 후, 사용자의 디바이스는 수집된 정보를 통해 사용자가 연결할 장치를 선택할 수 있도록 목록을 만들어 제공하고, 사용자가 목록에서 최종 연결할 장치를 직접 선택함으로써 사용자의 다바이스와 선택된 디바이스 사이의 연결이 완료될 수 있다. This pairing or link setup process is usually done by using a direct wireless communication system such as Bluetooth or WiFi. In order for a mobile user such as a smartphone or a head-mounted display device to access the communication partner device, it is generally a SCAN-AND-SELECT method. You can use At this time, the user's device sends a communication identifier (e.g., SSID (Service Set Identifier)) to all nearby devices through a probe-request frame (Probe-Request-Frame) during device discovery in order to access the other device. Device information can be requested, such as device information, such as the device that receives the request, sends the information to the user's device, and then the user's device creates a list and provides a list so that the user can select a device to connect to through the collected information. In addition, the connection between the user's device and the selected device may be completed by directly selecting the device to be connected from the list.

이 때, 사용자가 목록에서 연결할 디바이스를 직접 선택하는 과정은, 스마트폰 화면에 출력되는 리스트에서 해당 디바이스를 골라 터치하거나 또는 헤드 마운트 디스플레이(HEAD-MOUNTED-DISPLAY, HMD) 장치의 화면에 출력되는 리스트에서 별도의 리모콘을 통해 해당 디바이스를 클릭하는 동작을 포함할 수 있다. 특히, 안경형태에 해당하는 HMD 장치는 스마트폰보다 디바이스 선택 과정에서 더 많은 불편함을 초래할 수 있다.In this case, the process of directly selecting the device to be connected by the user from the list is to select the device from the list displayed on the smartphone screen and touch it, or the list displayed on the screen of the head-mounted display (HEAD-MOUNTED-DISPLAY, HMD) device. In may include an operation of clicking a corresponding device through a separate remote control. In particular, the HMD device corresponding to the glasses type may cause more inconvenience in the device selection process than a smartphone.

즉, 이러한 방법은 사용자에게 많은 불편함을 초래할 뿐만 아니라 긴 접속 시간을 요구하게 된다. 또한, 사용자 입장에서는 연결할 디바이스의 통신식별자를 미리 알고 있어야 하므로 통신 식별자를 알지 못하는 디바이스에 의한 근접 모바일 서비스를 이용하는 것에 제약이 발생한다.That is, this method not only causes a lot of inconvenience to the user, but also requires a long access time. In addition, since the user must know the communication identifier of the device to be connected in advance, there is a limitation in using the proximity mobile service by a device that does not know the communication identifier.

이런 제약을 극복하기 위해, IrDA나 NFC(Near Field Communication)등의 기술을 이용하여 블루투스나 WiFi P2P의 통신 식별자를 빠르고 간편하게 획득하여 통신링크를 설정하는 기술이 존재한다. 이러한 기술들은 페어링 절차에서 사용자 관여를 최소화 하거나 상대 디바이스의 통신 식별자를 사용자가 모르고 있어도 디바이스들 사이에 무선통신을 연결할 수 있는 장점이 있다. In order to overcome this limitation, there is a technology for establishing a communication link by quickly and simply obtaining a communication identifier of Bluetooth or WiFi P2P using technologies such as IrDA or NFC (Near Field Communication). These technologies have the advantage of minimizing user involvement in a pairing procedure or enabling wireless communication between devices even if the user does not know the communication identifier of the opposite device.

이 때, IrDA는 대상 디바이스에 부착되어 있는 IrDA 수신기를 향해 포인팅함으로써 포인팅된 디바이스만 수신된다고 가정하고, 수신된 대상에게만 반응하여 송신측에 통신 식별자를 알려주는 방식으로 서로 통신링크를 설정할 수 있다. In this case, the IrDA can establish communication links with each other by pointing toward the IrDA receiver attached to the target device, assuming that only the pointed device is received, and informing the transmitting side of the communication identifier by reacting only to the received target.

또한, NFC(Near Field Communication)는 별도의 채널을 이용하여 블루투스나 Wi-Fi Direct의 통신식별자를 직관적이고 손쉽게 획득할 수 있다. OUT OF BAND(OOB) 접속 모델이라고 불리는 이 방법은 NFC 통신 장치와 블루투스 통신 장치를 가지고 있는 통신 대상을 사용자가 터치하면, 통신 거리가 10cm 이내라는 NFC의 특성을 이용하여 터치된 디바이스의 블루투스 식별자를 기반으로 해당 블루투스 통신 디바이스에 접속할 수 있다. 이러한 방식은 SCAN-AND-SELECT 접속 모델에 비해 통신링크를 설정하는데 필요한 사용자 관여를 최소화시킴으로써 보다 자연스러운 사용자 인터페이스를 제공할 수 있다. 또한, 사용자가 통신대상 디바이스의 블루투스 식별자를 모르고 있어도 통신 연결을 수행할 수 있는 장점이 있다. In addition, NFC (Near Field Communication) can intuitively and easily acquire a communication identifier of Bluetooth or Wi-Fi Direct using a separate channel. This method, called the OUT OF BAND (OOB) connection model, uses the NFC characteristic that the communication distance is within 10cm when a user touches a communication object having an NFC communication device and a Bluetooth communication device, and uses the NFC characteristic of the touched device. Based on this, you can connect to the Bluetooth communication device. Compared to the SCAN-AND-SELECT connection model, this method can provide a more natural user interface by minimizing user involvement required to set up a communication link. In addition, there is an advantage in that a communication connection can be performed even if the user does not know the Bluetooth identifier of the communication target device.

그러나, NFC를 이용하는 OOB 방식은 NFC의 짧은 통신로 인해 사용 거리의 제한을 가진다. 한편 IrDA의 경우, 사용 거리가 수 미터로 확장가능 하지만 여전히 사용거리가 제한되며, 적외선의 특성으로 인해 야외에서의 사용이 어렵다는 문제점이 존재한다. 또한, 일정 수신레벨을 갖는 영역 내에서 여러 후보 대상들이 존재하는 경우, 특정 대상을 인식하거나 대상 디바이스의 통신 식별자를 획득하기 위한 별도의 기술을 제공해야만 한다.However, the OOB method using NFC has a limitation on the use distance due to the short communication of NFC. Meanwhile, in the case of IrDA, although the use distance can be extended to several meters, the use distance is still limited, and there is a problem that it is difficult to use outdoors due to the characteristics of infrared rays. In addition, when there are several candidate targets in an area having a certain reception level, a separate technique for recognizing a specific target or obtaining a communication identifier of the target device must be provided.

한국 공개 특허 제10-2013-0090800호, 2013년 8월 14일 공개(명칭: 가시 범위 내 통신대상 인식을 위한 단말 및 그 방법)Korean Patent Publication No. 10-2013-0090800, published on August 14, 2013 (Name: terminal and method for recognizing communication target within visible range)

본 발명의 목적은 사용자가 보다 직관적으로 근거리 무선통신 기반의 통신대상을 선택할 수 있도록 하는 것이다.An object of the present invention is to allow a user to more intuitively select a communication target based on short-range wireless communication.

또한, 본 발명의 목적은 통신대상 기기의 식별자와 통신 대상 기기의 종류와 그 기기가 제공되는 서비스를 시각적으로 미리 알 수 있도록 제공함으로써 미리 해당 기기의 식별자를 별도의 방법으로 획득하는 과정을 생략하거나 식별자를 추측한 후 해당 기기에 접속하여 최종적으로 의도한 기기인지 또는 제공하는 서비스가 무엇인지 확인하는 과정을 줄이기 위한 것이다.In addition, an object of the present invention is to omit the process of obtaining the identifier of the corresponding device in a separate method by providing the identifier of the communication target device, the type of the communication target device, and the service provided by the device to be visually known in advance. This is to reduce the process of determining whether the device is the intended device or the service to be provided by accessing the device after guessing the identifier.

또한, 본 발명의 목적은 모바일 기기 또는 웨어러블 기기의 사용자가 근거리 무선통신을 이용한 주변장치 연결 시 시각적으로 대상 기기를 특정하여 선택 과정을 보다 편리하게 제공하는 것이다.In addition, an object of the present invention is to provide a more convenient selection process by visually specifying a target device when a user of a mobile device or a wearable device connects a peripheral device using short-range wireless communication.

또한, 본 발명의 목적은 근거리 무선통신의 사용거리를 유지하면서도 접속을 시도할 기기의 수는 줄여줄 수 있는 새로운 통신대상 식별 방법을 제공하는 것이다.In addition, an object of the present invention is to provide a new communication target identification method capable of reducing the number of devices to attempt access while maintaining a use distance of short-range wireless communication.

또한, 본 발명의 목적은 통신은 가능하지 않지만 특정한 서비스를 제공하기 위해 마커로 사용되는 물건을 시각적으로 쉽게 탐지함으로써 서비스를 제공하는 것이다.Further, an object of the present invention is to provide a service by visually easily detecting an object used as a marker to provide a specific service although communication is not possible.

상기한 목적을 달성하기 위한 본 발명에 따른 통신대상 식별 방법은 사용자 단말이, 통신대상을 직관적으로 선택하기 위한 시각 인터페이스를 제공하는 단계; 상기 사용자 단말이, 근거리 무선통신을 기반으로 주변에 위치하는 복수개의 통신 후보 디바이스들의 사전 정보를 수집하는 단계; 상기 사용자 단말이, 상기 사전 정보를 고려하여 상기 시각 인터페이스를 통해 입력되는 시각적 정보에서 통신대상을 식별하기 위한 적어도 하나의 객체 인식 필터를 선정하는 단계; 및 상기 사용자 단말이, 인식률을 고려한 필터 적용 순서에 따라 상기 적어도 하나의 객체 인식 필터에 상기 시각적 정보를 입력하고, 상기 적어도 하나의 객체 인식 필터에 의한 필터링 결과를 고려하여 상기 복수개의 통신 후보 디바이스들 중 통신대상을 식별하는 단계를 포함한다.A communication object identification method according to the present invention for achieving the above object comprises the steps of: providing, by a user terminal, a visual interface for intuitively selecting a communication object; Collecting, by the user terminal, dictionary information of a plurality of communication candidate devices located nearby based on short-range wireless communication; Selecting, by the user terminal, at least one object recognition filter for identifying a communication target from visual information input through the visual interface in consideration of the dictionary information; And the user terminal inputs the visual information to the at least one object recognition filter according to a filter application order considering a recognition rate, and the plurality of communication candidate devices in consideration of a filtering result by the at least one object recognition filter. It includes the step of identifying the communication target.

이 때, 적어도 하나의 객체 인식 필터는 공간정보를 기반으로 방향, 위치 및 거리 중 적어도 하나를 고려하여 통신대상을 식별하는 공간 필터 및 상기 시각적 정보에 포함된 이미지를 분석하여 통신대상을 식별하는 이미지 필터 중 적어도 하나를 포함할 수 있다.At this time, the at least one object recognition filter is a spatial filter that identifies a communication target by considering at least one of a direction, a location, and a distance based on spatial information, and an image that identifies a communication target by analyzing an image included in the visual information. It may include at least one of the filters.

이 때, 식별하는 단계는 상기 필터링 결과에 상기 필터 적용 순서에 따른 가중치를 적용할 수 있다.In this case, the step of identifying may apply a weight according to the filter application order to the filtering result.

이 때, 식별하는 단계는 상기 복수개의 통신 후보 디바이스들 중 상기 사전 정보가 상기 필터링 결과와 기설정된 매칭율 이상인 적어도 하나의 디바이스를 상기 통신대상으로 식별할 수 있다.In this case, in the identifying step, at least one of the plurality of communication candidate devices in which the dictionary information is equal to or greater than the filtering result and a preset matching rate may be identified as the communication target.

이 때, 식별하는 단계는 상기 복수개의 통신 후보 디바이스들 중 상기 필터링 결과와 가장 높은 매칭율의 사전 정보를 갖는 어느 하나의 디바이스를 상기 통신대상으로 식별할 수 있다.In this case, the step of identifying may identify any one of the plurality of communication candidate devices having prior information of the filtering result and the highest matching rate as the communication target.

이 때, 사전 정보는 상기 복수개의 통신 후보 디바이스들 각각에 대한 식별자(UUID), 장치 클래스, 맥 주소(MAC ADDRESS), 디바이스가 설치된 장소 및 디바이스가 등록된 서버 주소 중 적어도 하나를 포함할 수 있다.In this case, the dictionary information may include at least one of an identifier (UUID), a device class, a MAC address (MAC ADDRESS) for each of the plurality of communication candidate devices, a place where the device is installed, and a server address in which the device is registered. .

이 때, 시각 인터페이스는 상기 시각적 정보를 생성하기 위한 디스플레이 화면 내에 사용자가 목표하는 대상을 포함시킬 수 있도록 가이드라인을 제공할 수 있다.In this case, the visual interface may provide a guideline to include a target object targeted by the user in the display screen for generating the visual information.

이 때, 적어도 하나의 객체 인식 필터는 필터링 과정에서 적어도 한번 이상 사용될 수 있다.In this case, at least one object recognition filter may be used at least once in the filtering process.

이 때, 식별하는 단계는 상기 필터 적용 순서에 따라 상기 적어도 하나의 객체 인식 필터를 직렬 또는 병렬로 적용할 수 있다.In this case, the step of identifying may apply the at least one object recognition filter in series or in parallel according to the filter application order.

또한, 본 발명의 일실시예에 따른 사용자 단말은, 통신대상을 직관적으로 선택하기 위한 시각 인터페이스를 제공하고, 근거리 무선통신을 기반으로 주변에 위치하는 복수개의 통신 후보 디바이스들의 사전 정보를 수집하고, 상기 사전 정보를 고려하여 상기 시각 인터페이스를 통해 입력되는 시각적 정보에서 통신대상을 식별하기 위한 적어도 하나의 객체 인식 필터를 선정하고, 인식률을 고려한 필터 적용 순서에 따라 상기 적어도 하나의 객체 인식 필터에 상기 시각적 정보를 입력하고, 상기 적어도 하나의 객체 인식 필터에 의한 필터링 결과를 고려하여 상기 복수개의 통신 후보 디바이스들 중 통신대상을 식별하는 프로세서; 및 상기 사전 정보 및 상기 적어도 하나의 객체 인식 필터를 저장하는 메모리를 포함한다.In addition, the user terminal according to an embodiment of the present invention provides a visual interface for intuitively selecting a communication target, collects prior information of a plurality of communication candidate devices located nearby based on short-range wireless communication, In consideration of the prior information, at least one object recognition filter for identifying a communication target is selected from the visual information input through the visual interface, and the visual information is applied to the at least one object recognition filter according to a filter application order considering a recognition rate. A processor for inputting information and identifying a communication target among the plurality of communication candidate devices in consideration of a filtering result by the at least one object recognition filter; And a memory for storing the dictionary information and the at least one object recognition filter.

이 때, 적어도 하나의 객체 인식 필터는 공간정보를 기반으로 방향, 위치 및 거리 중 적어도 하나를 고려하여 통신대상을 식별하는 공간 필터 및 상기 시각적 정보에 포함된 이미지를 분석하여 통신대상을 식별하는 이미지 필터 중 적어도 하나를 포함할 수 있다.At this time, the at least one object recognition filter is a spatial filter that identifies a communication target by considering at least one of a direction, a location, and a distance based on spatial information, and an image that identifies a communication target by analyzing an image included in the visual information. It may include at least one of the filters.

이 때, 프로세서는 상기 필터링 결과에 상기 필터 적용 순서에 따른 가중치를 적용할 수 있다.In this case, the processor may apply a weight according to the filter application order to the filtering result.

이 때, 프로세서는 상기 복수개의 통신 후보 디바이스들 중 상기 사전 정보가 상기 필터링 결과와 기설정된 매칭율 이상인 적어도 하나의 디바이스를 상기 통신대상으로 식별할 수 있다.In this case, the processor may identify as the communication target at least one of the plurality of communication candidate devices in which the dictionary information is equal to or greater than the filtering result and a preset matching rate.

이 때, 프로세서는 상기 복수개의 통신 후보 디바이스들 중 상기 필터링 결과와 가장 높은 매칭율의 사전 정보를 갖는 어느 하나의 디바이스를 상기 통신대상으로 식별할 수 있다.In this case, the processor may identify any one of the plurality of communication candidate devices having prior information of the filtering result and the highest matching rate as the communication target.

이 때, 사전 정보는 상기 복수개의 통신 후보 디바이스들 각각에 대한 식별자(UUID), 장치 클래스, 맥 주소(MAC ADDRESS), 디바이스가 설치된 장소 및 디바이스가 등록된 서버 주소 중 적어도 하나를 포함할 수 있다.In this case, the dictionary information may include at least one of an identifier (UUID), a device class, a MAC address (MAC ADDRESS) for each of the plurality of communication candidate devices, a place where the device is installed, and a server address in which the device is registered. .

이 때, 시각 인터페이스는 상기 시각적 정보를 생성하기 위한 디스플레이 화면 내에 사용자가 목표하는 대상을 포함시킬 수 있도록 가이드라인을 제공할 수 있다.In this case, the visual interface may provide a guideline to include a target object targeted by the user in the display screen for generating the visual information.

이 때, 적어도 하나의 객체 인식 필터는 필터링 과정에서 적어도 한번 이상 사용될 수 있다.In this case, at least one object recognition filter may be used at least once in the filtering process.

이 때, 프로세서는 상기 필터 적용 순서에 따라 상기 적어도 하나의 객체 인식 필터를 직렬 또는 병렬로 적용할 수 있다.In this case, the processor may apply the at least one object recognition filter in series or in parallel according to the filter application order.

본 발명에 따르면, 사용자가 보다 직관적으로 근거리 무선통신 기반의 통신대상을 선택할 수 있도록 할 수 있다.According to the present invention, a user can more intuitively select a communication target based on short-range wireless communication.

또한, 본 발명은 통신대상 기기의 식별자와 통신 대상 기기의 종류와 그 기기가 제공되는 서비스를 시각적으로 미리 알 수 있도록 제공함으로써 미리 해당 기기의 식별자를 별도의 방법으로 획득하는 과정을 생략하거나 식별자를 추측한 후 해당 기기에 접속하여 최종적으로 의도한 기기인지 또는 제공하는 서비스가 무엇인지 확인하는 과정을 줄일 수 있다.In addition, the present invention eliminates the process of obtaining the identifier of the corresponding device by a separate method or by providing the identifier of the communication target device, the type of the communication target device, and the service provided by the device to be visually known in advance. After guessing, it is possible to reduce the process of checking whether the device is the intended device or what service is provided by accessing the device.

또한, 본 발명은 모바일 기기 또는 웨어러블 기기의 사용자가 근거리 무선통신을 이용한 주변장치 연결 시 시각적으로 대상 기기를 특정하여 선택 과정을 보다 편리하게 제공할 수 있다.In addition, the present invention can provide a more convenient selection process by visually specifying a target device when a user of a mobile device or a wearable device connects a peripheral device using short-range wireless communication.

또한, 본 발명은 근거리 무선통신의 사용거리를 유지하면서도 접속을 시도할 기기의 수는 줄여줄 수 있는 새로운 통신대상 식별 방법을 제공할 수 있다.In addition, the present invention can provide a new communication target identification method capable of reducing the number of devices to attempt access while maintaining a use distance of short-range wireless communication.

또한, 본 발명은 통신은 가능하지 않지만 특정한 서비스를 제공하기 위해 마커로 사용되는 물건을 시각적으로 쉽게 탐지함으로써 서비스를 제공할 수 있다.In addition, although communication is not possible, the present invention can provide a service by visually easily detecting an object used as a marker to provide a specific service.

도 1은 본 발명의 일실시예에 따른 통신대상 식별 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 시각적 정보를 이용한 통신대상 식별 방법을 나타낸 동작 흐름도이다.
도 3은 본 발명에 따른 통신대상을 인식하는 과정의 일 예를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 필터링 과정을 상세하게 나타낸 동작 흐름도이다.
도 5는 본 발명의 일실시예에 따른 통신대상 식별 방법을 상세하게 나타낸 동작흐름도이다.
도 6은 본 발명의 일실시예에 따른 사용자 단말을 나타낸 블록도이다.
도 7은 본 발명의 다른 실시예에 따른 사용자 단말을 나타낸 블록도이다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.1 is a diagram showing a communication target identification system according to an embodiment of the present invention.
2 is a flowchart illustrating a method of identifying a communication target using visual information according to an embodiment of the present invention.
3 is a diagram showing an example of a process of recognizing a communication target according to the present invention.
4 is an operation flowchart showing in detail a filtering process according to an embodiment of the present invention.
5 is an operation flow diagram showing in detail a method of identifying a communication target according to an embodiment of the present invention.
6 is a block diagram showing a user terminal according to an embodiment of the present invention.
7 is a block diagram showing a user terminal according to another embodiment of the present invention.
8 is a diagram showing a computer system according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will be described in detail with reference to the accompanying drawings as follows. Here, repeated descriptions, well-known functions that may unnecessarily obscure the subject matter of the present invention, and detailed descriptions of configurations are omitted. Embodiments of the present invention are provided to more completely explain the present invention to those with average knowledge in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clearer explanation.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 통신대상 식별 시스템을 나타낸 도면이다.1 is a diagram showing a communication target identification system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 통신대상 식별 시스템은 통신대상을 직관적으로 선택하기 위한 시각 인터페이스를 제공하는 사용자 단말(100)과 복수개의 통신 후보 디바이스들(110, 120, 130)을 포함한다.Referring to FIG. 1, a communication target identification system according to an embodiment of the present invention includes a user terminal 100 providing a visual interface for intuitively selecting a communication target and a plurality of communication candidate devices 110, 120, 130. ).

이 때, 사용자 단말(100)은 통신주체 단말에 해당할 수 있으며, 복수개의 통신 후보 디바이스들(110, 120, 130)과 마찬가지로 통신기능이 탑재될 수 있다. At this time, the user terminal 100 may correspond to a communication subject terminal, and, like the plurality of communication candidate devices 110, 120, 130, may be equipped with a communication function.

이 때, 도 1에 도시된 것처럼, 사용자가 사용자 단말(100)을 이용하여 복수개의 통신 후보 디바이스들(110, 120, 130) 중 통신하기를 희망하는 통신대상을 겨냥하면, 사용자 단말(100)에서는 가이드라인(111)을 출력하여 사용자가 통신대상을 쉽게 선택할 수 있도록 할 수 있다. In this case, as shown in FIG. 1, when a user aims at a communication target to be communicated with among a plurality of communication candidate devices 110, 120, 130 using the user terminal 100, the user terminal 100 In may output the guideline 111 so that the user can easily select a communication target.

이 때, 가이드라인(111)은 사용자 단말(100)의 디스플레이에 표시되는 대상 디바이스의 크기에 따라 영역이 조정될 수 있다. In this case, the area of the guideline 111 may be adjusted according to the size of the target device displayed on the display of the user terminal 100.

이 때, 사용자 단말(100)의 주변에는 동일한 이미지를 가지는 통신 후보 디바이스가 존재할 수도 있다. 또한, 도 1에서는 표현되지 아니하였으나, 복수개의 통신 후보 디바이스들은 사용자 단말(100)의 디스플레이 공간상에서 상하좌우로 중첩하게 배치될 수도 있다.At this time, communication candidate devices having the same image may exist around the user terminal 100. In addition, although not represented in FIG. 1, a plurality of communication candidate devices may be arranged to overlap vertically, left and right on the display space of the user terminal 100.

도 2는 본 발명의 일실시예에 따른 시각적 정보를 이용한 통신대상 식별 방법을 나타낸 동작 흐름도이다.2 is a flowchart illustrating a method of identifying a communication target using visual information according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 시각적 정보를 이용한 통신대상 식별 방법은 사용자 단말이 통신대상을 직관적으로 선택하기 위한 시각 인터페이스를 제공한다(S210).Referring to FIG. 2, a method for identifying a communication target using visual information according to an embodiment of the present invention provides a visual interface for a user terminal to intuitively select a communication target (S210).

이 때, 시각 인터페이스는 사용자 단말의 형태에 따라 그에 상응하는 방식으로 제공될 수 있다. 예를 들어, 사용자 단말이 스마트폰일 경우에는 스마트폰 어플의 형식으로 제공될 수 있고, 사용자 단말이 안경형의 HMD 장치일 경우에는 HMD 장치에 적용 가능한 프로그램의 형식으로 제공될 수 있다. In this case, the visual interface may be provided in a manner corresponding thereto according to the shape of the user terminal. For example, if the user terminal is a smartphone, it may be provided in the form of a smartphone application, and if the user terminal is a glasses-type HMD device, it may be provided in the form of a program applicable to the HMD device.

이 때, 시각 인터페이스는 시각적 정보를 생성하기 위한 디스플레이 화면 내에 사용자가 목표하는 대상을 포함시킬 수 있도록 가이드라인을 제공할 수 있다.In this case, the visual interface may provide a guideline so that the target object of the user can be included in the display screen for generating visual information.

이 때, 가이드 라인은 사용자가 볼 수 있도록 사용자 단말의 디스플레이상에 출력될 수 있고, 사용자가 목표하는 대상의 크기에 따라 모양이나 크기가 조절될 수 있다. In this case, the guide line may be output on the display of the user terminal so that the user can see it, and the shape or size may be adjusted according to the size of the object targeted by the user.

또한, 본 발명의 일실시예에 따른 시각적 정보를 이용한 통신대상 식별 방법은 사용자 단말이 근거리 무선통신을 기반으로 주변에 위치하는 복수개의 통신 후보 디바이스들의 사전 정보를 수집한다(S220).In addition, in the method of identifying a communication target using visual information according to an embodiment of the present invention, a user terminal collects prior information of a plurality of communication candidate devices located nearby based on short-range wireless communication (S220).

예를 들어, 사전 정보는 무선비콘(BEACON)이나 블루투스(BLUETOOTH), 와이파이(WI-FI) 또는 다른 무선 통신 방법을 통해 복수개의 통신 후보 디바이스들 또는 해당 디바이스를 인식할 수 있는 서버로부터 획득할 수 있다. For example, the dictionary information may be obtained from a plurality of communication candidate devices or a server capable of recognizing the corresponding device through a wireless beacon (BEACON), Bluetooth, WiFi, or other wireless communication method. have.

이 때, 사전 정보는 복수개의 통신 후보 디바이스들 각각에 대한 식별자(UUID), 장치 클래스, 맥 주소(MAC ADDRESS), 디바이스가 설치된 장소 및 디바이스가 등록된 서버 주소 중 적어도 하나를 포함할 수 있다.In this case, the dictionary information may include at least one of an identifier (UUID), a device class, a MAC address (MAC ADDRESS) for each of the plurality of communication candidate devices, a place where the device is installed, and a server address in which the device is registered.

이 때, 사전 정보는 표준규격 IEEE 802.11 WLAN에서 규정한 Beacon frame에 포함되는 시선 인터페이스를 위한 Information Element의 형태로 구현될 수 있고, Bluetooth Low Energy에서 규정한 Beacon에 포함되는 시선 인터페이스를 위한 정보로 구현될 수 있으며, Beacon 신호를 발생하는 무선기기에서 시선 인터페이스를 위해서 상기의 정보를 직접 포함할 수 있다. In this case, the advance information may be implemented in the form of an information element for the gaze interface included in the Beacon frame specified in the standard IEEE 802.11 WLAN, and implemented as information for the gaze interface included in the Beacon defined in Bluetooth Low Energy. In the wireless device that generates the Beacon signal, the above information may be directly included for the gaze interface.

예를 들어, 식별자는 IETF RFC4122에서 제시한 UUID를 포함하여 해당 디바이스의 고유성을 담보한 식별자를 의미할 수 있다. 장치 클래스는 블루투스 규격에서 제시한 Class of Device/Service를 포함하고, WordNet의 Synset과 Wikidata의 QID 등 사물의 의미정보를 체계화한 온톨리지의 한 단위가 될 수 있다. 디바이스가 설치된 장소는 위도와 경도를 이용한 지리적인 표시, 텍스트 형태의 주소, 우편번호와 같이 공간을 분할하는 숫자, 건물 안에서의 한 공간을 나타내는 식별자 등을 의미할 수 있으며, 대상 디바이스의 정보를 제공하는 서버의 주소를 포함할 수도 있다. For example, the identifier may mean an identifier that guarantees the uniqueness of a corresponding device, including the UUID presented in IETF RFC4122. The device class includes the Class of Device/Service suggested by the Bluetooth standard, and can be a unit of ontology that organizes semantic information of objects such as Synset of WordNet and QID of Wikidata. The location where the device is installed can mean a geographical indication using latitude and longitude, an address in text format, a number that divides the space such as a zip code, an identifier representing a space in a building, etc., and provides information on the target device. You can also include the address of the server to be used.

이와 같은 사전 정보는 Beacon 형태의 Unsolicited 방법이 아닌 Probe request/response 방식의 적극적인 방법으로도 수집될 수 있으며, 사용자 단말 자신에게 전달되는 무선 패킷이 아니라 다른 디바이스에게 전달되는 패킷 중 암호화 되어 있지 않아 공개된 정보를 overhear할 수도 있다.Such pre-information can be collected not by the Beacon type of Unsolicited method but by the Probe request/response method as an active method, and among the packets transmitted to other devices rather than the wireless packets transmitted to the user terminal itself, it is not encrypted. You can also overhear information.

또한, 본 발명의 일실시예에 따른 시각적 정보를 이용한 통신대상 식별 방법은 사용자 단말이 사전 정보를 고려하여 시각 인터페이스를 통해 입력되는 시각적 정보에서 통신대상을 식별하기 위한 적어도 하나의 객체 인식 필터를 선정한다(S230).In addition, the communication target identification method using visual information according to an embodiment of the present invention selects at least one object recognition filter for identifying the communication target from the visual information input through the visual interface by the user terminal in consideration of prior information. Do (S230).

이 때, 사전 정보와 함께 사용자 단말의 능력(capacity) 및 사용자 설정을 더 고려하여 가장 효과적인 객체 인식 필터를 선정할 수도 있다. In this case, the most effective object recognition filter may be selected by further considering the user terminal's capacity and user settings along with the prior information.

예를 들어, 사용자 단말의 능력(capacity)은 지원하는 통신방식이나 깊이 카메라, 스테레오 카메라, 방향/위치 측정 센서 등의 특정 센서 보유 유무등에 해당할 수 있다. 또한, 사용자 설정 예는, 사용자 단말과 통신 후보 디바이스들 간의 상대각 범위(예: 매우 정확: 15도 이내, 보통: 30도 이내, 낮음: 60도), 통신대상 식별 성공 시 UI 표시 방법(1등 디바이스만 표시, 3개의 후보 디바이스들을 모두 표시) 및 배터리 절약을 위한 특정센서 활용 여부 등을 포함할 수 있다.For example, the capacity of the user terminal may correspond to a supported communication method or whether or not a specific sensor such as a depth camera, a stereo camera, or a direction/position measurement sensor is possessed. In addition, examples of user setting include the relative angle range between the user terminal and communication candidate devices (e.g., very accurate: within 15 degrees, normal: within 30 degrees, low: 60 degrees), and the UI display method (1 The display may include only display devices, display all three candidate devices), and whether to use a specific sensor to save battery.

이 때, 적어도 하나의 객체 인식 필터는 공간정보를 기반으로 방향, 위치 및 거리 중 적어도 하나를 고려하여 통신대상을 식별하는 공간 필터 및 상기 시각적 정보에 포함된 이미지를 분석하여 통신대상을 식별하는 이미지 필터 중 적어도 하나를 포함할 수 있다. At this time, the at least one object recognition filter is a spatial filter that identifies a communication target by considering at least one of a direction, a location, and a distance based on spatial information, and an image that identifies a communication target by analyzing an image included in the visual information. It may include at least one of the filters.

예를 들어, 공간 필터는 블루투스 AoA(Angle of Arrival) 기능을 활용하여 도 3에 도시된 것과 같이 사용자 단말(300)과 복수개의 통신 후보 디바이스들(310, 320, 330) 사이의 상대각도(311, 321, 331)을 수집하고, 기설정된 시야각을 고려하여 통신대상을 필터링할 수 있다.For example, the spatial filter utilizes the Bluetooth Angle of Arrival (AoA) function, as shown in FIG. 3, and the relative angle 311 between the user terminal 300 and the plurality of communication candidate devices 310, 320, 330 , 321, 331) may be collected, and the communication target may be filtered in consideration of a preset viewing angle.

또 다른 예를 들어, Bluetooth나 802.11 WLAN을 활용하여 무선통신을 하는 디바이스들이 전달하는 신호의 세기(RSSI)를 이용하여 복수개의 통신 후보 디바이스들 과의 상대 거리를 계산하고, 계산된 거리를 사용자 단말의 깊이 카메라를 기반으로 측정한 거리와 비교하여 필터링할 수 있다.As another example, by using the signal strength (RSSI) transmitted by devices that perform wireless communication using Bluetooth or 802.11 WLAN, the relative distance between the plurality of communication candidate devices is calculated, and the calculated distance is calculated from the user terminal. The depth of the camera can be compared with the measured distance and filtered.

또 다른 예를 들어, 사용자 단말이 복수개의 통신 후보 디바이스들로부터 설치 정보를 직접 수신 받아 해당 디바이스의 위치정보를 판단하거나, 복수개의 통신 후보 디바이스들이 등록된 서버를 통해 사용자가 통신을 목표로 하는 디바이스인지 확인할 수도 있다.For another example, a user terminal directly receives installation information from a plurality of communication candidate devices to determine the location information of the corresponding device, or a device for which the user targets communication through a server in which a plurality of communication candidate devices are registered. You can also check if it is.

또한, 이미지 필터의 예를 들면, 사용자 단말의 시선 인터페이스를 통해 촬영한 디바이스의 이미지를 딥러닝 등의 영상분석 기술을 통해 대상장치의 장치 클래스 (TV, 스피커, 프로젝트, 오디오 등)를 분류해내고, 단계 100에서 무선비콘 등을 통해 추출한 장치 클래스 정보와 비교하여 대상장치인지를 판별할 수 있다.In addition, for example, the device class (TV, speaker, project, audio, etc.) of the target device is classified through image analysis technology such as deep learning for the image of the device captured through the gaze interface of the user terminal. In step 100, it is possible to determine whether the device is a target device by comparing it with the device class information extracted through a wireless beacon.

또한, 본 발명의 일실시예에 따른 시각적 정보를 이용한 통신대상 식별 방법은 사용자 단말이 인식률을 고려한 필터 적용 순서에 따라 적어도 하나의 객체 인식 필터에 시각적 정보를 입력하고, 적어도 하나의 객체 인식 필터에 의한 필터링 결과를 고려하여 복수개의 통신 후보 디바이스들 중 통신대상을 식별한다(S240).In addition, in the method for identifying communication targets using visual information according to an embodiment of the present invention, the user terminal inputs visual information to at least one object recognition filter according to the filter application order considering the recognition rate, and the at least one object recognition filter In consideration of the filtering result, a communication target is identified among a plurality of communication candidate devices (S240).

예를 들어, 객체 인식 필터의 하나의 Bluetooth AOA를 통해 사용자 단말과 통신 후보 디바이스의 상대 각도가 일정한 범위에 들어 있는지 확인한 결과를 필터링 결과로 도출하여 통신대상을 식별하는데 사용할 수 있다.For example, a result of checking whether a relative angle between a user terminal and a communication candidate device is within a certain range through one Bluetooth AOA of an object recognition filter may be derived as a filtering result and used to identify a communication target.

이 때, 필터 적용 순서에 따라 적어도 하나의 객체 인식 필터를 조합하여 사용할 수 있으며, 사용되는 객체 인식 필터의 개수는 한정되지 않을 수 있다.In this case, at least one object recognition filter may be used in combination according to the filter application order, and the number of object recognition filters used may not be limited.

예를 들어, 대상 객체와의 상대 각도를 측정하기 위한 AoA 필터와 이미지 정보 분석 필터 사용하고, AoA 필터의 우선 순위를 높게 설정한 경우에는 AoA 필터와 이미지 정보 분석 필터를 순차적으로 조합하여 사용할 수 있다.For example, if an AoA filter and an image information analysis filter are used to measure the relative angle with the target object, and the priority of the AoA filter is set high, the AoA filter and the image information analysis filter can be sequentially combined and used. .

이 때, 필터 적용 순서는 복수개의 통신 후보 디바이스들로부터 수집된 사전 정보를 고려하여 설정될 수도 있다. In this case, the order of applying the filter may be set in consideration of dictionary information collected from a plurality of communication candidate devices.

예를 들어, 사전 정보를 통해 사용자 단말 주변에 많은 수(10개이상)의 통신 후보 디바이스들이 존재한다고 분석하였다면, 객체와의 상대 거리를 측정하기 위한 필터, AoA 필터, 이미지 정보 분석 필터 등을 선택하고, 선택된 객체 인식 필터들을 순차적으로 사용할 수도 있다.For example, if it is analyzed that there are a large number (more than 10) of communication candidate devices around the user terminal through the prior information, select a filter to measure the relative distance to the object, AoA filter, image information analysis filter, etc. In addition, the selected object recognition filters may be sequentially used.

다른 예를 들어, 사용자 단말의 주변에 디바이스가 복잡하게 존재하는 환경에서 AoA 필터와 이미지 정보 분석 필터의 조합이 높은 인식률을 나타냈으면, 이와 유사한 환경에 대해서는 AoA 필터와 이미지 정보 분석 필터를 우선적으로 적용되도록 설정될 수도 있다.For another example, if the combination of the AoA filter and the image information analysis filter shows a high recognition rate in an environment where devices are complex around the user terminal, the AoA filter and the image information analysis filter are given priority for similar environments. It can also be set to apply.

이 때, 적어도 하나의 객체 인식 필터를 이용한 필터링은 한 번이 아니라 다른 시간에 여러 번에 걸쳐 수행될 수도 있다.In this case, filtering using at least one object recognition filter may be performed several times at different times instead of once.

예를 들어, 도 4를 참조하면, 이전 단계들을 통해 선정된 객체 인식 필터들을 순차적으로 적용하여 통신대상을 식별하는 과정을 나타내고 있다.For example, referring to FIG. 4, a process of identifying a communication target by sequentially applying object recognition filters selected through previous steps is shown.

먼저, 첫 번째 객체 인식 필터를 적용하여(S410) 필터링을 수행하고(S420), 식별된 통신대상의 개수가 기설정된 기준 식별 개수(M)이하인지 여부를 판단할 수 있다(S425).First, the first object recognition filter is applied (S410) to perform filtering (S420), and it may be determined whether the number of identified communication targets is equal to or less than a preset reference identification number (M) (S425).

단계(S425)의 판단결과 기설정된 기준 식별 개수(M)이하이면, 식별된 M개 이하의 통신대상의 정보를 사용자에게 제공할 수 있다.If the determination result in step S425 is less than or equal to the predetermined reference identification number (M), information on the identified M or less communication targets may be provided to the user.

만약, 단계(S425)의 판단결과 기설정된 기준 식별 개수(M)이하가 아니면, 선정된 모든 객체 인식 필터를 적용하였는지 여부를 판단할 수 있다(S435).If, as a result of the determination in step S425, it is not less than the preset reference identification number M, it may be determined whether all selected object recognition filters have been applied (S435).

단계(S435)의 판단결과 모든 객체 인식 필터를 적용하였으면, 이전에 식별된 통신대상 개수인 M을 기준으로 (M+1)개 이상의 통신대상의 정보를 사용자에게 제공할 수 있다.As a result of the determination in step S435, if all object recognition filters are applied, information on (M+1) or more communication targets may be provided to the user based on the previously identified number of communication targets M.

또한, 단계(S435)의 판단결과 아직 모든 객체 인식 필터를 적용하지 않았으면, 다음 차례의 객체 인식 필터를 적용한 뒤(S440) 필터링을 수행할 수 있다(S420).In addition, as a result of the determination in step S435, if all object recognition filters have not yet been applied, filtering may be performed after applying the next object recognition filter (S440).

이 때, 필터링 결과에 필터 적용 순서에 따른 가중치를 적용할 수 있다.In this case, a weight according to a filter application order may be applied to the filtering result.

예를 들어, 적어도 하나의 객체 인식 필터가 도출하는 값을 통신대상을 식별하기 위한 값에 더하거나 곱하는 방법으로 가중치를 적용할 수 있다.For example, a weight may be applied by adding or multiplying a value derived from at least one object recognition filter with a value for identifying a communication target.

이 때, 복수개의 통신 후보 디바이스들 중 사전 정보가 상기 필터링 결과와 기설정된 매칭율 이상인 적어도 하나의 디바이스를 통신대상으로 식별할 수 있다.In this case, at least one of the plurality of communication candidate devices in which dictionary information is equal to or greater than the filtering result and a preset matching rate may be identified as a communication target.

예를 들어, 사전 정보에 포함된 통신 후보 디바이스의 클래스 정보와 객체 인식 필터를 통해 판단된 대상기기의 장치 클래스의 매칭율을 판단하여 통신대상인지 여부로 식별할 수 있다. For example, the matching rate of the class information of the communication candidate device included in the dictionary information and the device class of the target device determined through the object recognition filter may be determined to identify whether the communication target is a communication target.

이 때, 대상기기의 장치 클래스는 대상기기가 블루투스 비콘(Bluetooth Beacon)이나 무선랜 기기의 비콘(Beacon) 혹은 누구든지 수신 받을 수 있는 암호화되어 있지 않은 무선 패킷 안에서 클래스 이름이나 의미를 추론할 수 있는 표지를 통해 획득할 수 있다. 예를 들어, WikiData의 QID, WordNet의 Synset 및 온톨로지의 한 노드 등에 해당할 수 있으며, 특성상 의미정보의 체계나 추론 방법을 사용하여 범위를 확대하거나 한정할 수 있다. At this time, the device class of the target device is that the target device can infer the class name or meaning in the Bluetooth beacon, the beacon of the wireless LAN device, or in an unencrypted wireless packet that anyone can receive. Can be obtained through the cover. For example, it may correspond to a QID of WikiData, a Synset of WordNet, and a node of an ontology, and due to its characteristics, the scope can be expanded or limited using a system of semantic information or an inference method.

따라서, 이와 같이 획득한 클래스 정보를 이미지 필터를 통해 판단된 대상기기의 장치 클래스와 매칭하여 그 값이 일정한 수준 이상이면 통신대상으로 식별할 수 있다.Accordingly, the obtained class information can be matched with the device class of the target device determined through the image filter, and if the value is higher than a certain level, it can be identified as a communication target.

이 때, 복수개의 통신 후보 디바이스들이 통신대상으로 식별되는 경우, 사용자에게 목록 형식으로 제공하여 선택하도록 할 수 있다. In this case, when a plurality of communication candidate devices are identified as communication targets, they may be provided to the user in a list format to be selected.

이 때, 복수개의 통신 후보 디바이스들 중 필터링 결과와 가장 높은 매칭율의 사전 정보를 갖는 어느 하나의 디바이스를 통신대상으로 식별할 수 있다.In this case, one of the plurality of communication candidate devices, which has a filtering result and prior information of the highest matching rate, may be identified as a communication target.

즉, 본 발명의 일실시예에 따른 통신대상 식별 방식은 설정에 따라 매칭율이 가장 높은 하나의 디바이스만을 식별하거나 또는 기설정된 매칭율 이상인 여러 디바이스들을 식별하여 제공할 수도 있다. That is, the communication target identification method according to an embodiment of the present invention may identify only one device having the highest matching rate or may identify and provide multiple devices having a predetermined matching rate or higher according to a setting.

이 때, 적어도 하나의 객체 인식 필터는 필터링 과정에서 적어도 한번 이상 사용될 수 있다. In this case, at least one object recognition filter may be used at least once in the filtering process.

이 때, 필터 적용 순서에 따라 적어도 하나의 객체 인식 필터를 직렬 또는 병렬로 적용할 수 있다.In this case, at least one object recognition filter may be applied in series or in parallel according to the filter application order.

이 때, 복수개의 객체 인식 필터들을 직렬로 적용하는 경우 이전 필터 적용 결과를 활용할 수도 있고 활용하지 않을 수도 있다. In this case, when applying a plurality of object recognition filters in series, the previous filter application result may or may not be utilized.

예를 들어, 이전 필터 적용 결과를 활용하지 않는 경우에는 새로운 객체 인식 필터 적용 시, 사용자 단말 주변의 모든 통신 후보 디바이스들 중에서 통신대상을 식별할 수 있다.For example, when the previous filter application result is not used, a communication target can be identified among all communication candidate devices around the user terminal when a new object recognition filter is applied.

다른 예를 들어, 이전 필터 적용 결과를 활용하는 경우에는 새로운 객체 인식 필터를 적용하는 단계에서 이전 객체 인식 필터를 통해 압축된 경우의 수 중에서 통신대상을 식별할 수 있다. 즉, 객체 인식 필터 1을 적용하여 (M+1)개의 통신대상이 식별되었다면, 객체 인식 필터 2를 적용할 때는 객체 인식 필터1의 결과인 (M+1)개의 통신대상을 대상으로 식별을 시도하여 연산횟수를 감소시킬 수 있다.For another example, when the result of applying the previous filter is used, the communication target may be identified from the number of cases compressed through the previous object recognition filter in the step of applying a new object recognition filter. That is, if (M+1) communication targets are identified by applying object recognition filter 1, when applying object recognition filter 2, attempt to identify (M+1) communication targets as a result of object recognition filter 1. Thus, the number of operations can be reduced.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 시각적 정보를 이용한 통신대상 식별 방법은 사용자 단말이 식별된 통신대상과 통신을 수행하기 위한 통신 ID를 획득할 수 있다. In addition, although not shown in FIG. 2, in the method for identifying a communication target using visual information according to an embodiment of the present invention, a user terminal may obtain a communication ID for performing communication with the identified communication target.

이 때, 통신ID는 사전에 수집한 사전 정보인 MAC 주소나 디바이스 고유 식별자(UUID)가 될 수 있으며, 만약 이 단계에서 통신대상이 이미 인터넷에 연결되어 있는 경우라면 IP주소를 추가적으로 획득할 수도 있다.At this time, the communication ID may be a MAC address or a device unique identifier (UUID), which is pre-collected information, and an IP address may be additionally obtained if the communication target is already connected to the Internet at this stage. .

이 후, 사용자 단말은 통신대상 식별결과를 사용자가 인지할 수 있도록 사용자 단말의 디스플레이 화면에 출력할 수 있다. Thereafter, the user terminal may output the communication target identification result on the display screen of the user terminal so that the user can recognize it.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 시각적 정보를 이용한 통신대상 식별 방법은 상술한 바와 같이 본 발명의 일실시예에 따른 통신대상 식별 과정에서 발생되는 다양한 정보를 별도의 저장 모듈에 저장할 수 있다. In addition, although not shown in FIG. 2, the communication target identification method using visual information according to an embodiment of the present invention separates various information generated in the communication target identification process according to an embodiment of the present invention as described above. Can be saved in the storage module of

이와 같은 통신대상 식별 방법을 통해 종래에 전자기기들의 고유 주소나 공지된 암호 및 부호를 이용하여 무선통신을 수행하는 것과 달리 시각적인 방식으로 통신대상 기기를 발견하여 무선통신을 가능하게 할 수 있다.Unlike the conventional wireless communication using unique addresses or known passwords and codes of electronic devices through such a communication target identification method, a communication target device can be discovered in a visual manner to enable wireless communication.

또한, 상대 기기의 존재를 알지 못하는 상태에서도 시선 인터페이스의 도움으로 어느 곳에 어떤 서비스를 제공하는 기기가 존재하는지 직관적으로 발견할 수 있으며, 이후 본격적인 서비스를 제공받기 위하여 발견한 대상기기의 식별자를 이용하여 통신을 수행할 수 있다.In addition, even without knowing the existence of the other device, it is possible to intuitively discover where and where a device that provides a service exists with the help of the gaze interface, and then by using the identifier of the target device found to receive full-fledged service. Communication can be performed.

또한, 안경과 같은 웨어러블 디바이스를 이용하거나 카메라가 부착된 스마트폰으로 주변을 바라보면 그 중에 존재하는 통신 가능한 디바이스 혹은 통신이 가능하지는 않지만 특정 서비스를 제공하는 마커를 발견하여 보여줌으로써 그 존재를 쉽게 탐지하고 서비스를 제공할 수 있다. In addition, if you use a wearable device such as glasses or look around with a smartphone with a camera attached to it, you can easily detect the existence of a device that can communicate or not be able to communicate, but finds and shows a marker that provides a specific service. And provide services.

또한, 대상기기에 접속하거나 또는 정보를 가지고 있는 정보제공 서버에 접속하지 않더라도, 사용자가 대상기기의 종류와 제공하는 서비스를 시각적으로 미리 파악할 수 있도록 할 수 있으며, 순차적으로 접속하여 서비스를 발견하는 시간을 절약할 수도 있다.In addition, even if the user does not access the target device or the information providing server that has the information, the user can visually grasp the type of the target device and the service provided, and the time to connect sequentially and discover the service. You can also save.

도 5는 본 발명의 일실시예에 따른 통신대상 식별 방법을 상세하게 나타낸 동작흐름도이다.5 is an operation flow diagram showing in detail a communication target identification method according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일실시예에 따른 통신대상 식별 과정은 먼저 시각 인터페이스를 제공한 뒤에 근거리 무선통신을 기반으로 주변에 위치하는 복수개의 통신 후보 디바이스들의 사전 정보를 수집할 수 있다(S510).Referring to FIG. 5, in the process of identifying a communication target according to an embodiment of the present invention, a visual interface may be provided first, and then prior information of a plurality of communication candidate devices located nearby may be collected based on short-range wireless communication ( S510).

이 때, 사전 정보는 복수개의 통신 후보 디바이스들 각각에 대한 식별자(UUID), 장치 클래스, 맥 주소(MAC ADDRESS), 디바이스가 설치된 장소 및 디바이스가 등록된 서버 주소 중 적어도 하나를 포함할 수 있다.In this case, the dictionary information may include at least one of an identifier (UUID), a device class, a MAC address (MAC ADDRESS) for each of the plurality of communication candidate devices, a place where the device is installed, and a server address in which the device is registered.

이 후, 사전 정보를 고려하여 시각 인터페이스를 통해 입력되는 시각적 정보에서 통신대상을 식별하기 위한 적어도 하나의 객체 인식 필터를 선정할 수 있다(S520).Thereafter, at least one object recognition filter for identifying a communication target may be selected from visual information input through the visual interface in consideration of prior information (S520).

이 때, 사전 정보와 함께 사용자 단말의 능력(capacity) 및 사용자 설정을 더 고려하여 가장 효과적인 객체 인식 필터를 선정할 수도 있다. In this case, the most effective object recognition filter may be selected by further considering the user terminal's capacity and user settings along with the prior information.

이 때, 적어도 하나의 객체 인식 필터는 공간정보를 기반으로 방향, 위치 및 거리 중 적어도 하나를 고려하여 통신대상을 식별하는 공간 필터 및 상기 시각적 정보에 포함된 이미지를 분석하여 통신대상을 식별하는 이미지 필터 중 적어도 하나를 포함할 수 있다. At this time, the at least one object recognition filter is a spatial filter that identifies a communication target by considering at least one of a direction, a location, and a distance based on spatial information, and an image that identifies a communication target by analyzing an image included in the visual information. It may include at least one of the filters.

이 후, 객체 인식 필터의 인식률을 고려하여 필터 적용 순서를 결정할 수 있다(S530).Thereafter, a filter application order may be determined in consideration of the recognition rate of the object recognition filter (S530).

이 때, 필터 적용 순서는 복수개의 통신 후보 디바이스들로부터 수집된 사전 정보를 고려하여 설정될 수도 있다. In this case, the order of applying the filter may be set in consideration of dictionary information collected from a plurality of communication candidate devices.

이 후, 선정된 적어도 하나의 객체 인식 필터를 필터 적용 순서에 따라 적용하여 필터링을 수행할 수 있다(S540).Thereafter, filtering may be performed by applying at least one selected object recognition filter according to the filter application order (S540).

이 후, 필터링 결과 통신대상 식별에 성공하였는지 여부를 판단하고(S545), 판단결과 통신대상 식별에 성공하였으면 식별된 통신대상의 식별정보를 획득할 수 있다(S550).Thereafter, as a result of filtering, it is determined whether or not communication target identification is successful (S545), and if the communication target identification is successful, identification information of the identified communication target may be obtained (S550).

이 때, 통신대상 식별의 성공여부는 최종적으로 식별된 통신대상의 개수를 고려하여 판단할 수 있다. 예를 들어, 사용자에게 단 한 개의 통신대상을 제공하고자 하는 경우에는 필터링을 통해 하나의 통신대상이 식별될 경우에 식별이 성공한 것으로 판단할 수 있다.At this time, whether or not the communication target identification is successful may be determined in consideration of the number of finally identified communication targets. For example, when it is desired to provide only one communication target to a user, when one communication target is identified through filtering, it may be determined that the identification is successful.

이 후, 획득된 통신대상의 식별정보를 사용자 단말에 사용자가 확인할 수 있도록 출력할 수 있다(S560).After that, the acquired identification information of the communication target may be output to the user terminal so that the user can check it (S560).

또한, 단계(S545)의 판단결과 통신대상 식별에 실패하였으면, 다시 객체 인식 필터 선정을 수행하여(S520) 필터링을 통해 식별되는 통신대상의 개수가 줄어들도록 할 수 있다.In addition, as a result of the determination in step S545, if the communication target identification has failed, the object recognition filter may be selected again (S520) to reduce the number of communication targets identified through filtering.

도 6은 본 발명의 일실시예에 따른 사용자 단말을 나타낸 블록도이다.6 is a block diagram showing a user terminal according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일실시예에 따른 사용자 단말은 통신부(610), 프로세서(620) 및 메모리(630)를 포함한다.Referring to FIG. 6, a user terminal according to an embodiment of the present invention includes a communication unit 610, a processor 620, and a memory 630.

통신부(610)는 네트워크와 같은 통신망을 통해 통신대상 식별을 위해 필요한 정보를 송수신하는 역할을 할 수 있다. 특히, 본 발명의 일실시예에 따른 통신부(610)는 주변에 위치하는 통신 후보 디바이스들로부터 사전 정보를 수집하기 위한 패킷을 송수신할 수 있다.The communication unit 610 may serve to transmit and receive information necessary for identifying a communication target through a communication network such as a network. In particular, the communication unit 610 according to an embodiment of the present invention may transmit/receive a packet for collecting dictionary information from communication candidate devices located nearby.

프로세서(620)는 통신대상을 직관적으로 선택하기 위한 시각 인터페이스를 제공한다.The processor 620 provides a visual interface for intuitively selecting a communication target.

이 때, 시각 인터페이스는 사용자 단말의 형태에 따라 그에 상응하는 방식으로 제공될 수 있다. 예를 들어, 사용자 단말이 스마트폰일 경우에는 스마트폰 어플의 형식으로 제공될 수 있고, 사용자 단말이 안경형의 HMD 장치일 경우에는 HMD 장치에 적용 가능한 프로그램의 형식으로 제공될 수 있다. In this case, the visual interface may be provided in a manner corresponding thereto according to the shape of the user terminal. For example, if the user terminal is a smartphone, it may be provided in the form of a smartphone application, and if the user terminal is a glasses-type HMD device, it may be provided in the form of a program applicable to the HMD device.

이 때, 시각 인터페이스는 시각적 정보를 생성하기 위한 디스플레이 화면 내에 사용자가 목표하는 대상을 포함시킬 수 있도록 가이드라인을 제공할 수 있다.In this case, the visual interface may provide a guideline so that the target object of the user can be included in the display screen for generating visual information.

이 때, 가이드 라인은 사용자가 볼 수 있도록 사용자 단말의 디스플레이상에 출력될 수 있고, 사용자가 목표하는 대상의 크기에 따라 모양이나 크기가 조절될 수 있다. In this case, the guide line may be output on the display of the user terminal so that the user can see it, and the shape or size may be adjusted according to the size of the object targeted by the user.

또한, 프로세서(620)는 근거리 무선통신을 기반으로 주변에 위치하는 복수개의 통신 후보 디바이스들의 사전 정보를 수집한다.Further, the processor 620 collects advance information of a plurality of communication candidate devices located in the vicinity based on short-range wireless communication.

예를 들어, 사전 정보는 무선비콘(BEACON)이나 블루투스(BLUETOOTH), 와이파이(WI-FI) 또는 다른 무선 통신 방법을 통해 복수개의 통신 후보 디바이스들 또는 해당 디바이스를 인식할 수 있는 서버로부터 획득할 수 있다. For example, the dictionary information may be obtained from a plurality of communication candidate devices or a server capable of recognizing the corresponding device through a wireless beacon (BEACON), Bluetooth, WiFi, or other wireless communication method. have.

이 때, 사전 정보는 복수개의 통신 후보 디바이스들 각각에 대한 식별자(UUID), 장치 클래스, 맥 주소(MAC ADDRESS), 디바이스가 설치된 장소 및 디바이스가 등록된 서버 주소 중 적어도 하나를 포함할 수 있다.In this case, the dictionary information may include at least one of an identifier (UUID), a device class, a MAC address (MAC ADDRESS) for each of the plurality of communication candidate devices, a place where the device is installed, and a server address in which the device is registered.

이 때, 사전 정보는 표준규격 IEEE 802.11 WLAN에서 규정한 Beacon frame에 포함되는 시선 인터페이스를 위한 Information Element의 형태로 구현될 수 있고, Bluetooth Low Energy에서 규정한 Beacon에 포함되는 시선 인터페이스를 위한 정보로 구현될 수 있으며, Beacon 신호를 발생하는 무선기기에서 시선 인터페이스를 위해서 상기의 정보를 직접 포함할 수 있다. In this case, the advance information may be implemented in the form of an information element for the gaze interface included in the Beacon frame specified in the standard IEEE 802.11 WLAN, and implemented as information for the gaze interface included in the Beacon defined in Bluetooth Low Energy. In the wireless device that generates the Beacon signal, the above information may be directly included for the gaze interface.

예를 들어, 식별자는 IETF RFC4122에서 제시한 UUID를 포함하여 해당 디바이스의 고유성을 담보한 식별자를 의미할 수 있다. 장치 클래스는 블루투스 규격에서 제시한 Class of Device/Service를 포함하고, WordNet의 Synset과 Wikidata의 QID 등 사물의 의미정보를 체계화한 온톨리지의 한 단위가 될 수 있다. 디바이스가 설치된 장소는 위도와 경도를 이용한 지리적인 표시, 텍스트 형태의 주소, 우편번호와 같이 공간을 분할하는 숫자, 건물 안에서의 한 공간을 나타내는 식별자 등을 의미할 수 있으며, 대상 디바이스의 정보를 제공하는 서버의 주소를 포함할 수도 있다. For example, the identifier may mean an identifier that guarantees the uniqueness of a corresponding device, including the UUID presented in IETF RFC4122. The device class includes the Class of Device/Service suggested by the Bluetooth standard, and can be a unit of ontology that organizes semantic information of objects such as Synset of WordNet and QID of Wikidata. The location where the device is installed can mean a geographical indication using latitude and longitude, an address in text format, a number that divides the space such as a zip code, an identifier representing a space in a building, etc., and provides information on the target device. You can also include the address of the server to be used.

이와 같은 사전 정보는 Beacon 형태의 Unsolicited 방법이 아닌 Probe request/response 방식의 적극적인 방법으로도 수집될 수 있으며, 사용자 단말 자신에게 전달되는 무선 패킷이 아니라 다른 디바이스에게 전달되는 패킷 중 암호화 되어 있지 않아 공개된 정보를 overhear할 수도 있다.Such pre-information can be collected not by the Beacon type of Unsolicited method but by the Probe request/response method as an active method, and among the packets transmitted to other devices rather than the wireless packets transmitted to the user terminal itself, it is not encrypted. You can also overhear information.

또한, 프로세서(620)는 사전 정보를 고려하여 시각 인터페이스를 통해 입력되는 시각적 정보에서 통신대상을 식별하기 위한 적어도 하나의 객체 인식 필터를 선정한다.In addition, the processor 620 selects at least one object recognition filter for identifying a communication target from visual information input through a visual interface in consideration of prior information.

이 때, 사전 정보와 함께 사용자 단말의 능력(capacity) 및 사용자 설정을 더 고려하여 가장 효과적인 객체 인식 필터를 선정할 수도 있다. In this case, the most effective object recognition filter may be selected by further considering the user terminal's capacity and user settings along with the prior information.

예를 들어, 사용자 단말의 능력(capacity)은 지원하는 통신방식이나 깊이 카메라, 스테레오 카메라, 방향/위치 측정 센서 등의 특정 센서 보유 유무등에 해당할 수 있다. 또한, 사용자 설정 예는, 사용자 단말과 통신 후보 디바이스들 간의 상대각 범위(예: 매우 정확: 15도 이내, 보통: 30도 이내, 낮음: 60도), 통신대상 식별 성공 시 UI 표시 방법(1등 디바이스만 표시, 3개의 후보 디바이스들을 모두 표시) 및 배터리 절약을 위한 특정센서 활용 여부 등을 포함할 수 있다.For example, the capacity of the user terminal may correspond to a supported communication method or whether or not a specific sensor such as a depth camera, a stereo camera, or a direction/position measurement sensor is possessed. In addition, examples of user setting include the relative angle range between the user terminal and communication candidate devices (e.g., very accurate: within 15 degrees, normal: within 30 degrees, low: 60 degrees), and the UI display method (1 The display may include only display devices, display all three candidate devices), and whether to use a specific sensor to save battery.

이 때, 적어도 하나의 객체 인식 필터는 공간정보를 기반으로 방향, 위치 및 거리 중 적어도 하나를 고려하여 통신대상을 식별하는 공간 필터 및 상기 시각적 정보에 포함된 이미지를 분석하여 통신대상을 식별하는 이미지 필터 중 적어도 하나를 포함할 수 있다. At this time, the at least one object recognition filter is a spatial filter that identifies a communication target by considering at least one of a direction, a location, and a distance based on spatial information, and an image that identifies a communication target by analyzing an image included in the visual information. It may include at least one of the filters.

예를 들어, 공간 필터는 블루투스 AoA(Angle of Arrival) 기능을 활용하여 도 3에 도시된 것과 같이 사용자 단말(300)과 복수개의 통신 후보 디바이스들(310, 320, 330) 사이의 상대각도(311, 321, 331)을 수집하고, 기설정된 시야각을 고려하여 통신대상을 필터링할 수 있다.For example, the spatial filter utilizes the Bluetooth Angle of Arrival (AoA) function, as shown in FIG. 3, and the relative angle 311 between the user terminal 300 and the plurality of communication candidate devices 310, 320, 330 , 321, 331) may be collected, and the communication target may be filtered in consideration of a preset viewing angle.

또 다른 예를 들어, Bluetooth나 802.11 WLAN을 활용하여 무선통신을 하는 디바이스들이 전달하는 신호의 세기(RSSI)를 이용하여 복수개의 통신 후보 디바이스들 과의 상대 거리를 계산하고, 계산된 거리를 사용자 단말의 깊이 카메라를 기반으로 측정한 거리와 비교하여 필터링할 수 있다.As another example, by using the signal strength (RSSI) transmitted by devices that perform wireless communication using Bluetooth or 802.11 WLAN, the relative distance between the plurality of communication candidate devices is calculated, and the calculated distance is calculated from the user terminal. The depth of the camera can be compared with the measured distance and filtered.

또 다른 예를 들어, 사용자 단말이 복수개의 통신 후보 디바이스들로부터 설치 정보를 직접 수신 받아 해당 디바이스의 위치정보를 판단하거나, 복수개의 통신 후보 디바이스들이 등록된 서버를 통해 사용자가 통신을 목표로 하는 디바이스인지 확인할 수도 있다.For another example, a user terminal directly receives installation information from a plurality of communication candidate devices to determine the location information of the corresponding device, or a device for which the user targets communication through a server in which a plurality of communication candidate devices are registered. You can also check if it is.

또한, 이미지 필터의 예를 들면, 사용자 단말의 시선 인터페이스를 통해 촬영한 디바이스의 이미지를 딥러닝 등의 영상분석 기술을 통해 대상장치의 장치 클래스 (TV, 스피커, 프로젝트, 오디오 등)를 분류해내고, 단계 100에서 무선비콘 등을 통해 추출한 장치 클래스 정보와 비교하여 대상장치인지를 판별할 수 있다.In addition, for example, the device class (TV, speaker, project, audio, etc.) of the target device is classified through image analysis technology such as deep learning for the image of the device captured through the gaze interface of the user terminal. In step 100, it is possible to determine whether the device is a target device by comparing it with the device class information extracted through a wireless beacon.

또한, 프로세서(620)는 인식률을 고려한 필터 적용 순서에 따라 적어도 하나의 객체 인식 필터에 시각적 정보를 입력하고, 적어도 하나의 객체 인식 필터에 의한 필터링 결과를 고려하여 복수개의 통신 후보 디바이스들 중 통신대상을 식별한다.In addition, the processor 620 inputs visual information to at least one object recognition filter according to a filter application order taking into account the recognition rate, and considers the filtering result by the at least one object recognition filter to determine a communication target among the plurality of communication candidate devices. To identify.

예를 들어, 객체 인식 필터의 하나의 Bluetooth AOA를 통해 사용자 단말과 통신 후보 디바이스의 상대 각도가 일정한 범위에 들어 있는지 확인한 결과를 필터링 결과로 도출하여 통신대상을 식별하는데 사용할 수 있다.For example, a result of checking whether a relative angle between a user terminal and a communication candidate device is within a certain range through one Bluetooth AOA of an object recognition filter may be derived as a filtering result and used to identify a communication target.

이 때, 필터 적용 순서에 따라 적어도 하나의 객체 인식 필터를 조합하여 사용할 수 있으며, 사용되는 객체 인식 필터의 개수는 한정되지 않을 수 있다.In this case, at least one object recognition filter may be used in combination according to the filter application order, and the number of object recognition filters used may not be limited.

예를 들어, 대상 객체와의 상대 각도를 측정하기 위한 AoA 필터와 이미지 정보 분석 필터 사용하고, AoA 필터의 우선 순위를 높게 설정한 경우에는 AoA 필터와 이미지 정보 분석 필터를 순차적으로 조합하여 사용할 수 있다.For example, if an AoA filter and an image information analysis filter are used to measure the relative angle with the target object, and the priority of the AoA filter is set high, the AoA filter and the image information analysis filter can be sequentially combined and used. .

이 때, 필터 적용 순서는 복수개의 통신 후보 디바이스들로부터 수집된 사전 정보를 고려하여 설정될 수도 있다. In this case, the order of applying the filter may be set in consideration of dictionary information collected from a plurality of communication candidate devices.

예를 들어, 사전 정보를 통해 사용자 단말 주변에 많은 수(10개이상)의 통신 후보 디바이스들이 존재한다고 분석하였다면, 객체와의 상대 거리를 측정하기 위한 필터, AoA 필터, 이미지 정보 분석 필터 등을 선택하고, 선택된 객체 인식 필터들을 순차적으로 사용할 수도 있다.For example, if it is analyzed that there are a large number (more than 10) of communication candidate devices around the user terminal through the prior information, select a filter to measure the relative distance to the object, AoA filter, image information analysis filter, etc. In addition, the selected object recognition filters may be sequentially used.

다른 예를 들어, 사용자 단말의 주변에 디바이스가 복잡하게 존재하는 환경에서 AoA 필터와 이미지 정보 분석 필터의 조합이 높은 인식률을 나타냈으면, 이와 유사한 환경에 대해서는 AoA 필터와 이미지 정보 분석 필터를 우선적으로 적용되도록 설정될 수도 있다.For another example, if the combination of the AoA filter and the image information analysis filter shows a high recognition rate in an environment where devices are complex around the user terminal, the AoA filter and the image information analysis filter are given priority for similar environments. It can also be set to apply.

이 때, 적어도 하나의 객체 인식 필터를 이용한 필터링은 한 번이 아니라 다른 시간에 여러 번에 걸쳐 수행될 수도 있다.In this case, filtering using at least one object recognition filter may be performed several times at different times instead of once.

예를 들어, 도 4를 참조하면, 이전 단계들을 통해 선정된 객체 인식 필터들을 순차적으로 적용하여 통신대상을 식별하는 과정을 나타내고 있다.For example, referring to FIG. 4, a process of identifying a communication target by sequentially applying object recognition filters selected through previous steps is shown.

먼저, 첫 번째 객체 인식 필터를 적용하여(S410) 필터링을 수행하고(S420), 식별된 통신대상의 개수가 기설정된 기준 식별 개수(M)이하인지 여부를 판단할 수 있다(S425).First, the first object recognition filter is applied (S410) to perform filtering (S420), and it may be determined whether the number of identified communication targets is equal to or less than a preset reference identification number (M) (S425).

단계(S425)의 판단결과 기설정된 기준 식별 개수(M)이하이면, 식별된 M개 이하의 통신대상의 정보를 사용자에게 제공할 수 있다.If the determination result in step S425 is less than or equal to the predetermined reference identification number (M), information on the identified M or less communication targets may be provided to the user.

만약, 단계(S425)의 판단결과 기설정된 기준 식별 개수(M)이하가 아니면, 선정된 모든 객체 인식 필터를 적용하였는지 여부를 판단할 수 있다(S435).If, as a result of the determination in step S425, it is not less than the preset reference identification number M, it may be determined whether all selected object recognition filters have been applied (S435).

단계(S435)의 판단결과 모든 객체 인식 필터를 적용하였으면, 이전에 식별된 통신대상 개수인 M을 기준으로 (M+1)개 이상의 통신대상의 정보를 사용자에게 제공할 수 있다.As a result of the determination in step S435, if all object recognition filters are applied, information on (M+1) or more communication targets may be provided to the user based on the previously identified number of communication targets M.

또한, 단계(S435)의 판단결과 아직 모든 객체 인식 필터를 적용하지 않았으면, 다음 차례의 객체 인식 필터를 적용한 뒤(S440) 필터링을 수행할 수 있다(S420).In addition, as a result of the determination in step S435, if all object recognition filters have not yet been applied, filtering may be performed after applying the next object recognition filter (S440).

이 때, 필터링 결과에 필터 적용 순서에 따른 가중치를 적용할 수 있다.In this case, a weight according to a filter application order may be applied to the filtering result.

예를 들어, 적어도 하나의 객체 인식 필터가 도출하는 값을 통신대상을 식별하기 위한 값에 더하거나 곱하는 방법으로 가중치를 적용할 수 있다.For example, a weight may be applied by adding or multiplying a value derived from at least one object recognition filter with a value for identifying a communication target.

이 때, 복수개의 통신 후보 디바이스들 중 사전 정보가 상기 필터링 결과와 기설정된 매칭율 이상인 적어도 하나의 디바이스를 통신대상으로 식별할 수 있다.In this case, at least one of the plurality of communication candidate devices in which dictionary information is equal to or greater than the filtering result and a preset matching rate may be identified as a communication target.

예를 들어, 사전 정보에 포함된 통신 후보 디바이스의 클래스 정보와 객체 인식 필터를 통해 판단된 대상기기의 장치 클래스의 매칭율을 판단하여 통신대상인지 여부로 식별할 수 있다. For example, the matching rate of the class information of the communication candidate device included in the dictionary information and the device class of the target device determined through the object recognition filter may be determined to identify whether the communication target is a communication target.

이 때, 대상기기의 장치 클래스는 대상기기가 블루투스 비콘(Bluetooth Beacon)이나 무선랜 기기의 비콘(Beacon) 혹은 누구든지 수신 받을 수 있는 암호화되어 있지 않은 무선 패킷 안에서 클래스 이름이나 의미를 추론할 수 있는 표지를 통해 획득할 수 있다. 예를 들어, WikiData의 QID, WordNet의 Synset 및 온톨로지의 한 노드 등에 해당할 수 있으며, 특성상 의미정보의 체계나 추론 방법을 사용하여 범위를 확대하거나 한정할 수 있다. At this time, the device class of the target device is that the target device can infer the class name or meaning in the Bluetooth beacon, the beacon of the wireless LAN device, or in an unencrypted wireless packet that anyone can receive. Can be obtained through the cover. For example, it may correspond to a QID of WikiData, a Synset of WordNet, and a node of an ontology, and due to its characteristics, the scope can be expanded or limited using a system of semantic information or an inference method.

따라서, 이와 같이 획득한 클래스 정보를 이미지 필터를 통해 판단된 대상기기의 장치 클래스와 매칭하여 그 값이 일정한 수준 이상이면 통신대상으로 식별할 수 있다.Accordingly, the obtained class information can be matched with the device class of the target device determined through the image filter, and if the value is higher than a certain level, it can be identified as a communication target.

이 때, 복수개의 통신 후보 디바이스들이 통신대상으로 식별되는 경우, 사용자에게 목록 형식으로 제공하여 선택하도록 할 수 있다. In this case, when a plurality of communication candidate devices are identified as communication targets, they may be provided to the user in a list format to be selected.

이 때, 복수개의 통신 후보 디바이스들 중 필터링 결과와 가장 높은 매칭율의 사전 정보를 갖는 어느 하나의 디바이스를 통신대상으로 식별할 수 있다.In this case, one of the plurality of communication candidate devices, which has a filtering result and prior information of the highest matching rate, may be identified as a communication target.

즉, 본 발명의 일실시예에 따른 통신대상 식별 방식은 설정에 따라 매칭율이 가장 높은 하나의 디바이스만을 식별하거나 또는 기설정된 매칭율 이상인 여러 디바이스들을 식별하여 제공할 수도 있다. That is, the communication target identification method according to an embodiment of the present invention may identify only one device having the highest matching rate or may identify and provide multiple devices having a predetermined matching rate or higher according to a setting.

이 때, 적어도 하나의 객체 인식 필터는 필터링 과정에서 적어도 한번 이상 사용될 수 있다. In this case, at least one object recognition filter may be used at least once in the filtering process.

이 때, 필터 적용 순서에 따라 적어도 하나의 객체 인식 필터를 직렬 또는 병렬로 적용할 수 있다.In this case, at least one object recognition filter may be applied in series or in parallel according to the filter application order.

이 때, 복수개의 객체 인식 필터들을 직렬로 적용하는 경우 이전 필터 적용 결과를 활용할 수도 있고 활용하지 않을 수도 있다. In this case, when applying a plurality of object recognition filters in series, the previous filter application result may or may not be utilized.

예를 들어, 이전 필터 적용 결과를 활용하지 않는 경우에는 새로운 객체 인식 필터 적용 시, 사용자 단말 주변의 모든 통신 후보 디바이스들 중에서 통신대상을 식별할 수 있다.For example, when the previous filter application result is not used, a communication target can be identified among all communication candidate devices around the user terminal when a new object recognition filter is applied.

다른 예를 들어, 이전 필터 적용 결과를 활용하는 경우에는 새로운 객체 인식 필터를 적용하는 단계에서 이전 객체 인식 필터를 통해 압축된 경우의 수 중에서 통신대상을 식별할 수 있다. 즉, 객체 인식 필터 1을 적용하여 (M+1)개의 통신대상이 식별되었다면, 객체 인식 필터 2를 적용할 때는 객체 인식 필터1의 결과인 (M+1)개의 통신대상을 대상으로 식별을 시도하여 연산횟수를 감소시킬 수 있다.For another example, when the result of applying the previous filter is used, the communication target may be identified from the number of cases compressed through the previous object recognition filter in the step of applying a new object recognition filter. That is, if (M+1) communication targets are identified by applying object recognition filter 1, when applying object recognition filter 2, attempt to identify (M+1) communication targets as a result of object recognition filter 1. Thus, the number of operations can be reduced.

또한, 프로세서(620)는 식별된 통신대상과 통신을 수행하기 위한 통신 ID를 획득할 수 있다. In addition, the processor 620 may obtain a communication ID for performing communication with the identified communication target.

이 때, 통신ID는 사전에 수집한 사전 정보인 MAC 주소나 디바이스 고유 식별자(UUID)가 될 수 있으며, 만약 이 단계에서 통신대상이 이미 인터넷에 연결되어 있는 경우라면 IP주소를 추가적으로 획득할 수도 있다.At this time, the communication ID may be a MAC address or a device unique identifier (UUID), which is pre-collected information, and an IP address may be additionally obtained if the communication target is already connected to the Internet at this stage. .

이 후, 프로세서(620)는 통신대상 식별결과를 사용자가 인지할 수 있도록 사용자 단말의 디스플레이 화면에 출력할 수 있다. Thereafter, the processor 620 may output the communication target identification result on the display screen of the user terminal so that the user can recognize it.

메모리(630)는 사전 정보 및 적어도 하나의 객체 인식 필터를 저장한다.The memory 630 stores dictionary information and at least one object recognition filter.

또한, 메모리(630)는 상술한 바와 같이 본 발명의 일실시예에 따른 통신대상 식별 과정에서 발생되는 다양한 정보를 저장한다.In addition, the memory 630 stores various pieces of information generated in the process of identifying a communication target according to an embodiment of the present invention as described above.

실시예에 따라, 메모리(630)는 사용자 단말과 독립적으로 구성되어 통신대상 식별을 위한 기능을 지원할 수 있다. 이 때, 메모리(630)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다.According to an embodiment, the memory 630 may be configured independently of the user terminal to support a function for identifying a communication target. In this case, the memory 630 may operate as a separate mass storage, and may include a control function for performing the operation.

한편, 사용자 단말은 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.Meanwhile, the user terminal is equipped with a memory and can store information in the device. In one implementation, the memory is a computer-readable medium. In one implementation, the memory may be a volatile memory unit, and in another implementation, the memory may be a non-volatile memory unit. In one implementation, the storage device is a computer-readable medium. In various different implementations, the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.

이와 같은 사용자 단말을 이용함으로써 종래에 전자기기들의 고유 주소나 공지된 암호 및 부호를 이용하여 무선통신을 수행하는 것과 달리 시각적인 방식으로 통신대상 기기를 발견하여 무선통신을 가능하게 할 수 있다.Using such a user terminal enables wireless communication by discovering a communication target device in a visual manner, unlike conventionally performing wireless communication using unique addresses or known passwords and codes of electronic devices.

또한, 상대 기기의 존재를 알지 못하는 상태에서도 시선 인터페이스의 도움으로 어느 곳에 어떤 서비스를 제공하는 기기가 존재하는지 직관적으로 발견할 수 있으며, 이후 본격적인 서비스를 제공받기 위하여 발견한 대상기기의 식별자를 이용하여 통신을 수행할 수 있다.In addition, even without knowing the existence of the other device, it is possible to intuitively discover where and where a device that provides a service exists with the help of the gaze interface, and then by using the identifier of the target device found to receive full-fledged service. Communication can be performed.

또한, 안경과 같은 웨어러블 디바이스를 이용하거나 카메라가 부착된 스마트폰으로 주변을 바라보면 그 중에 존재하는 통신 가능한 디바이스 혹은 통신이 가능하지는 않지만 특정 서비스를 제공하는 마커를 발견하여 보여줌으로써 그 존재를 쉽게 탐지하고 서비스를 제공할 수 있다. In addition, if you use a wearable device such as glasses or look around with a smartphone with a camera attached to it, you can easily detect the existence of a device that can communicate or not be able to communicate, but finds and shows a marker that provides a specific service. And provide services.

또한, 대상기기에 접속하거나 또는 정보를 가지고 있는 정보제공 서버에 접속하지 않더라도, 사용자가 대상기기의 종류와 제공하는 서비스를 시각적으로 미리 파악할 수 있도록 할 수 있으며, 순차적으로 접속하여 서비스를 발견하는 시간을 절약할 수도 있다.In addition, even if the user does not access the target device or the information providing server that has the information, the user can visually grasp the type of the target device and the service provided, and the time to connect sequentially and discover the service. You can also save.

도 7은 본 발명의 다른 실시예에 따른 사용자 단말을 나타낸 블록도이다.7 is a block diagram showing a user terminal according to another embodiment of the present invention.

도 7을 참조하면, 본 발명의 다른 실시예에 따른 사용자 단말(700)은 센서 모듈(710), 통신 모듈(720), 수집 및 분석 모듈(730), 로컬 메모리(740) 및 대상 식별 모듈(750)을 포함한다. Referring to FIG. 7, a user terminal 700 according to another embodiment of the present invention includes a sensor module 710, a communication module 720, a collection and analysis module 730, a local memory 740, and a target identification module ( 750).

사용자 단말(700)은 통신 모듈(720)을 통해 사용자 단말(700) 주변에 존재하는 장치들, 즉 통신후보 대상들에 대한 정보를 무선비콘을 스캔하거나, 센서 모듈(720)을 통해 위치, 방향, 거리 등의 정보를 얻어 통신대상 식별 및 통신링크 구성에 도움이 될만한 정보를 획득할 수 있다. The user terminal 700 scans a wireless beacon for information on devices existing around the user terminal 700, that is, communication candidate targets through the communication module 720, or the location and direction through the sensor module 720. It is possible to obtain information useful for identification of communication targets and configuration of communication links by obtaining information such as distance, etc.

이 때, 로컬 메모리(740) 또는 사용자 단말(700)의 외부에 존재하는 외부 메모리(760)에는 통신후보 대상들에 대한 고유식별정보 및 능력(capacity) 정보가 저장되어 보관될 수 있다. In this case, in the local memory 740 or the external memory 760 existing outside the user terminal 700, unique identification information and capacity information for communication candidates may be stored and stored.

따라서, 사용자 단말(700)은 수집 및 분석 모듈(730)을 통해 사용자 단말(700)의 주변에 위치하는 통신후보 대상 장치들의 정보를 수집 및 분석할 수 있다.Accordingly, the user terminal 700 may collect and analyze information on communication candidate target devices located around the user terminal 700 through the collection and analysis module 730.

이 후, 대상 식별 모듈(750)에서는 통신대상을 식별하기 위한 다양한 정보를 미리 설정할 수 있는 기능을 제공한다. Thereafter, the target identification module 750 provides a function of presetting various pieces of information for identifying the communication target.

예를 들어, 통신대상에 상응하는 객체 인식 성공 판단을 위해 대상 후보 개수, 사용자 단말(700)과 대상 객체의 상대 각도를 측정하기 위한 AoA 필터의 허용 오차 범위, 객체 인식 필터들의 적용 순서, 복수개의 객체 인식 결과들에 대한 처리 방식 등의 다양한 정보를 설정하고 저장할 수 있다. 이와 같이 설정된 정보는 객체 인식에 사용되는 필터들의 종류나 통신대상 인식 기능 구현 방식에 따라서 다양하게 정의될 수 있다. For example, the number of target candidates to determine the success of object recognition corresponding to the communication target, the allowable error range of the AoA filter for measuring the relative angle between the user terminal 700 and the target object, the application order of object recognition filters, a plurality of Various information such as processing method for object recognition results can be set and stored. The information set as described above may be variously defined according to the type of filters used for object recognition or a communication target recognition function implementation method.

또한, 대상 식별 모듈(750)은 수집 및 분석 모듈(730)을 통해 인식된 통신후보 대상과 통신대상을 식별하기 위해 설정된 정보를 기반으로 통신대상 객체를 인식하기 위한 객체 인식 필터들을 선정하여 적용 순서를 결정할 수 있다. 따라서, 대상 식별 모듈(750)은 다양한 필터 조합을 기반으로 식별된 통신대상을 디스플레이 하여 사용자에게 전달할 수 있다. In addition, the target identification module 750 selects and applies object recognition filters for recognizing the communication target object based on the information set to identify the communication candidate target and the communication target recognized through the collection and analysis module 730. Can be determined. Accordingly, the target identification module 750 may display and transmit the communication target identified based on various filter combinations to the user.

도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.8 is a diagram showing a computer system according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 8에 도시된 바와 같이, 컴퓨터 시스템(800)은 버스(820)를 통하여 서로 통신하는 하나 이상의 프로세서(810), 메모리(830), 사용자 입력 장치(840), 사용자 출력 장치(850) 및 스토리지(860)를 포함할 수 있다. 또한, 컴퓨터 시스템(800)은 네트워크(880)에 연결되는 네트워크 인터페이스(870)를 더 포함할 수 있다. 프로세서(810)는 중앙 처리 장치 또는 메모리(830)나 스토리지(860)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(830) 및 스토리지(860)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(831)이나 RAM(832)을 포함할 수 있다.Referring to FIG. 8, an embodiment of the present invention may be implemented in a computer system such as a computer-readable recording medium. As shown in FIG. 8, the computer system 800 includes one or more processors 810, memory 830, user input devices 840, user output devices 850, and storage that communicate with each other through a bus 820. It may include 860. Further, the computer system 800 may further include a network interface 870 connected to the network 880. The processor 810 may be a central processing unit or a semiconductor device that executes processing instructions stored in the memory 830 or the storage 860. The memory 830 and the storage 860 may be various types of volatile or nonvolatile storage media. For example, the memory may include a ROM 831 or a RAM 832.

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.Accordingly, an embodiment of the present invention may be implemented as a computer-implemented method or a non-transitory computer-readable medium in which instructions executable in a computer are recorded. When computer-readable instructions are executed by a processor, the computer-readable instructions may perform a method according to at least one aspect of the present invention.

이상에서와 같이 본 발명에 따른 시각적 정보를 이용한 통신대상 식별 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the method for identifying a communication target using visual information according to the present invention and an apparatus therefor are not limitedly applicable to the configuration and method of the embodiments described above, but various modifications may be made to the embodiments. All or part of each of the embodiments may be selectively combined to be configured.

100, 300, 700: 사용자 단말 111: 가이드 라인
110, 120, 130, 310, 320, 330: 통신 후보 디바이스
311, 321, 331: 상대 각도 610: 통신부
620, 810: 프로세서 630, 830: 메모리
710: 센서 모듈 720: 통신 모듈
730: 수집 및 분석 모듈 740: 로컬 메모리
750: 대상 식별 모듈 760: 외부 메모리
800: 컴퓨터 시스템 820: 버스
831: 롬 832: 램
840: 사용자 입력 장치 850: 사용자 출력 장치
860: 스토리지 870: 네트워크 인터페이스
880: 네트워크100, 300, 700: user terminal 111: guideline
110, 120, 130, 310, 320, 330: communication candidate device
311, 321, 331: relative angle 610: communication unit
620, 810: processor 630, 830: memory
710: sensor module 720: communication module
730: acquisition and analysis module 740: local memory
750: target identification module 760: external memory
800: computer system 820: bus
831: ROM 832: RAM
840: user input device 850: user output device
860: storage 870: network interface
880: network

Claims (18)

사용자 단말이, 통신대상을 직관적으로 선택하기 위한 시각 인터페이스를 제공하는 단계;
상기 사용자 단말이, 근거리 무선통신을 기반으로 주변에 위치하는 복수개의 통신 후보 디바이스들의 사전 정보를 수집하는 단계;
상기 사용자 단말이, 상기 사전 정보를 고려하여 상기 시각 인터페이스를 통해 입력되는 시각적 정보에서 통신대상을 식별하기 위한 적어도 하나의 객체 인식 필터를 선정하는 단계; 및
상기 사용자 단말이, 인식률을 고려한 필터 적용 순서에 따라 상기 적어도 하나의 객체 인식 필터에 상기 시각적 정보를 입력하고, 상기 적어도 하나의 객체 인식 필터에 의한 필터링 결과를 고려하여 상기 복수개의 통신 후보 디바이스들 중 통신대상을 식별하는 단계
를 포함하는 것을 특징으로 하는 통신대상 식별 방법.Providing, by the user terminal, a visual interface for intuitively selecting a communication target;
Collecting, by the user terminal, dictionary information of a plurality of communication candidate devices located nearby based on short-range wireless communication;
Selecting, by the user terminal, at least one object recognition filter for identifying a communication target from visual information input through the visual interface in consideration of the dictionary information; And
The user terminal inputs the visual information to the at least one object recognition filter according to a filter application order taking into account a recognition rate, and considers a filtering result by the at least one object recognition filter, among the plurality of communication candidate devices. Steps to identify the communication target
Communication target identification method comprising a. 청구항 1에 있어서,
상기 적어도 하나의 객체 인식 필터는
공간정보를 기반으로 방향, 위치 및 거리 중 적어도 하나를 고려하여 통신대상을 식별하는 공간 필터 및 상기 시각적 정보에 포함된 이미지를 분석하여 통신대상을 식별하는 이미지 필터 중 적어도 하나를 포함하는 것을 특징으로 하는 통신대상 식별 방법.The method according to claim 1,
The at least one object recognition filter
It characterized in that it comprises at least one of a spatial filter for identifying a communication target in consideration of at least one of a direction, a location, and a distance based on spatial information, and an image filter for identifying a communication target by analyzing an image included in the visual information. How to identify the communication target. 청구항 1에 있어서,
상기 식별하는 단계는
상기 필터링 결과에 상기 필터 적용 순서에 따른 가중치를 적용하는 것을 특징으로 하는 통신대상 식별 방법.The method according to claim 1,
The identifying step
And applying a weight according to the filter application order to the filtering result. 청구항 1에 있어서,
상기 식별하는 단계는
상기 복수개의 통신 후보 디바이스들 중 상기 사전 정보가 상기 필터링 결과와 기설정된 매칭율 이상인 적어도 하나의 디바이스를 상기 통신대상으로 식별하는 것을 특징으로 하는 통신대상 식별 방법.The method according to claim 1,
The identifying step
And at least one of the plurality of communication candidate devices whose dictionary information is equal to or greater than a predetermined matching rate with the filtering result is identified as the communication target. 청구항 1에 있어서,
상기 식별하는 단계는
상기 복수개의 통신 후보 디바이스들 중 상기 필터링 결과와 가장 높은 매칭율의 사전 정보를 갖는 어느 하나의 디바이스를 상기 통신대상으로 식별하는 것을 특징으로 하는 통신대상 식별 방법.The method according to claim 1,
The identifying step
And identifying as the communication target any one of the plurality of communication candidate devices having prior information of the filtering result and the highest matching rate. 청구항 1에 있어서,
상기 사전 정보는
상기 복수개의 통신 후보 디바이스들 각각에 대한 식별자(UUID), 장치 클래스, 맥 주소(MAC ADDRESS), 디바이스가 설치된 장소 및 디바이스가 등록된 서버 주소 중 적어도 하나를 포함하는 것을 특징으로 하는 통신대상 식별 방법.The method according to claim 1,
The prior information is
A communication target identification method comprising at least one of an identifier (UUID), a device class, a MAC address (MAC ADDRESS) for each of the plurality of communication candidate devices, a location where the device is installed, and a server address in which the device is registered. . 청구항 1에 있어서,
상기 시각 인터페이스는
상기 시각적 정보를 생성하기 위한 디스플레이 화면 내에 사용자가 목표하는 대상을 포함시킬 수 있도록 가이드라인을 제공하는 것을 특징으로 하는 통신대상 식별 방법.The method according to claim 1,
The visual interface is
A communication target identification method, characterized in that providing a guideline to include a target target by a user in a display screen for generating the visual information. 청구항 1에 있어서,
상기 적어도 하나의 객체 인식 필터는 필터링 과정에서 적어도 한번 이상 사용되는 것을 특징으로 하는 통신대상 식별 방법.The method according to claim 1,
And the at least one object recognition filter is used at least once in a filtering process. 청구항 1에 있어서,
상기 식별하는 단계는
상기 필터 적용 순서에 따라 상기 적어도 하나의 객체 인식 필터를 직렬 또는 병렬로 적용하는 것을 특징으로 하는 통신대상 식별 방법.The method according to claim 1,
The identifying step
And applying the at least one object recognition filter in series or in parallel according to the filter application order. 통신대상을 직관적으로 선택하기 위한 시각 인터페이스를 제공하고, 근거리 무선통신을 기반으로 주변에 위치하는 복수개의 통신 후보 디바이스들의 사전 정보를 수집하고, 상기 사전 정보를 고려하여 상기 시각 인터페이스를 통해 입력되는 시각적 정보에서 통신대상을 식별하기 위한 적어도 하나의 객체 인식 필터를 선정하고, 인식률을 고려한 필터 적용 순서에 따라 상기 적어도 하나의 객체 인식 필터에 상기 시각적 정보를 입력하고, 상기 적어도 하나의 객체 인식 필터에 의한 필터링 결과를 고려하여 상기 복수개의 통신 후보 디바이스들 중 통신대상을 식별하는 프로세서; 및
상기 사전 정보 및 상기 적어도 하나의 객체 인식 필터를 저장하는 메모리
를 포함하는 것을 특징으로 하는 사용자 단말.Provides a visual interface for intuitively selecting a communication target, collects pre-information of a plurality of communication candidate devices located nearby based on short-range wireless communication, and considers the pre-information, and is input through the visual interface. Selecting at least one object recognition filter for identifying a communication target from information, inputting the visual information to the at least one object recognition filter according to a filter application order considering a recognition rate, and using the at least one object recognition filter A processor for identifying a communication target among the plurality of communication candidate devices in consideration of a filtering result; And
A memory for storing the dictionary information and the at least one object recognition filter
User terminal comprising a. 청구항 10에 있어서,
상기 적어도 하나의 객체 인식 필터는
공간정보를 기반으로 방향, 위치 및 거리 중 적어도 하나를 고려하여 통신대상을 식별하는 공간 필터 및 상기 시각적 정보에 포함된 이미지를 분석하여 통신대상을 식별하는 이미지 필터 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 단말.The method of claim 10,
The at least one object recognition filter
It characterized in that it comprises at least one of a spatial filter for identifying a communication target in consideration of at least one of a direction, a location, and a distance based on spatial information, and an image filter for identifying a communication target by analyzing an image included in the visual information. User terminal. 청구항 10에 있어서,
상기 프로세서는
상기 필터링 결과에 상기 필터 적용 순서에 따른 가중치를 적용하는 것을 특징으로 하는 사용자 단말.The method of claim 10,
The processor is
The user terminal, characterized in that the weight according to the filter application order is applied to the filtering result. 청구항 10에 있어서,
상기 프로세서는
상기 복수개의 통신 후보 디바이스들 중 상기 사전 정보가 상기 필터링 결과와 기설정된 매칭율 이상인 적어도 하나의 디바이스를 상기 통신대상으로 식별하는 것을 특징으로 하는 사용자 단말.The method of claim 10,
The processor is
And at least one of the plurality of communication candidate devices in which the dictionary information is equal to or greater than the filtering result and a preset matching rate is identified as the communication target. 청구항 10에 있어서,
상기 프로세서는
상기 복수개의 통신 후보 디바이스들 중 상기 필터링 결과와 가장 높은 매칭율의 사전 정보를 갖는 어느 하나의 디바이스를 상기 통신대상으로 식별하는 것을 특징으로 하는 사용자 단말.The method of claim 10,
The processor is
A user terminal, characterized in that, among the plurality of communication candidate devices, any one device having prior information of the filtering result and the highest matching rate is identified as the communication target. 청구항 10에 있어서,
상기 사전 정보는
상기 복수개의 통신 후보 디바이스들 각각에 대한 식별자(UUID), 장치 클래스, 맥 주소(MAC ADDRESS), 디바이스가 설치된 장소 및 디바이스가 등록된 서버 주소 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 단말.The method of claim 10,
The prior information is
And at least one of an identifier (UUID), a device class, a MAC address (MAC ADDRESS) for each of the plurality of communication candidate devices, a location where the device is installed, and a server address in which the device is registered. 청구항 10에 있어서,
상기 시각 인터페이스는
상기 시각적 정보를 생성하기 위한 디스플레이 화면 내에 사용자가 목표하는 대상을 포함시킬 수 있도록 가이드라인을 제공하는 것을 특징으로 하는 사용자 단말.The method of claim 10,
The visual interface is
A user terminal, characterized in that it provides a guideline to include an object targeted by the user in the display screen for generating the visual information. 청구항 10에 있어서,
상기 적어도 하나의 객체 인식 필터는 필터링 과정에서 적어도 한번 이상 사용되는 것을 특징으로 하는 사용자 단말.The method of claim 10,
The at least one object recognition filter is used at least once in a filtering process. 청구항 10에 있어서,
상기 프로세서는
상기 필터 적용 순서에 따라 상기 적어도 하나의 객체 인식 필터를 직렬 또는 병렬로 적용하는 것을 특징으로 하는 사용자 단말.The method of claim 10,
The processor is
And applying the at least one object recognition filter in series or in parallel according to the filter application order.
KR1020190047301A 2019-04-23 2019-04-23 Method for identifying communication object using visual information and apparatus using the same KR20200124002A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190047301A KR20200124002A (en) 2019-04-23 2019-04-23 Method for identifying communication object using visual information and apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190047301A KR20200124002A (en) 2019-04-23 2019-04-23 Method for identifying communication object using visual information and apparatus using the same

Publications (1)

Publication Number Publication Date
KR20200124002A true KR20200124002A (en) 2020-11-02

Family

ID=73397864

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190047301A KR20200124002A (en) 2019-04-23 2019-04-23 Method for identifying communication object using visual information and apparatus using the same

Country Status (1)

Country Link
KR (1) KR20200124002A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130090800A (en) 2012-02-06 2013-08-14 한국전자통신연구원 Terminal for recognizing communication target and method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130090800A (en) 2012-02-06 2013-08-14 한국전자통신연구원 Terminal for recognizing communication target and method thereof

Similar Documents

Publication Publication Date Title
US8886118B2 (en) Information exchange via bluetooth service discovery protocol service records
WO2017173858A1 (en) Method and device for establishing wireless connection
US10660024B2 (en) Wireless network access method and apparatus
JP7204792B2 (en) WI-FI hotspot connection method and terminal
KR102521922B1 (en) An elelctronic device and method for operating access point information of the same
EP3516854B1 (en) System and method of providing sensing data to electronic device
US9386400B2 (en) Automatic implementation of preferences based on detection of a mobile device
EP2830286A1 (en) Method, device and system for recommending application program
KR102005164B1 (en) Method and device for obtaining content of service information
KR20120100514A (en) Method for grouping a device and server applying the same
US9781559B2 (en) Apparatus and method for establishing communication link
US20110136441A1 (en) Portable terminal and a control method of peripheral device using the same
CN104038261A (en) Multi device position information managing and sharing method and relevant device
JP2012199921A (en) Radio terminal system, radio communication system, service provision method, and connection method for selecting network through access point quality information for each position
JP2017118489A (en) System and method using machine readable code for testing communication network
KR102310027B1 (en) Determination method and corresponding terminal, computer program product and storage medium
CN108289290B (en) Method and equipment for connecting intelligent wearable equipment and wireless access point
US20080279164A1 (en) Method for connecting to a wireless network
US20180255446A1 (en) Remote access to an accessory device
KR20200124002A (en) Method for identifying communication object using visual information and apparatus using the same
KR101748387B1 (en) Method, device, program and recording medium for positioning
KR20150006289A (en) Portable Terminal
KR20200026052A (en) Electronic device for providing ap list and method for the same
KR102430136B1 (en) Access point registration system using user mobile terminal and method thereof
KR20130057638A (en) System and method for managing communication network