KR102295226B1 - Apparatus and method for identifying object in crowd of objects using augmented reality - Google Patents

Apparatus and method for identifying object in crowd of objects using augmented reality Download PDF

Info

Publication number
KR102295226B1
KR102295226B1 KR1020200031015A KR20200031015A KR102295226B1 KR 102295226 B1 KR102295226 B1 KR 102295226B1 KR 1020200031015 A KR1020200031015 A KR 1020200031015A KR 20200031015 A KR20200031015 A KR 20200031015A KR 102295226 B1 KR102295226 B1 KR 102295226B1
Authority
KR
South Korea
Prior art keywords
information
image
display
radio signal
movement
Prior art date
Application number
KR1020200031015A
Other languages
Korean (ko)
Inventor
류지훈
김호영
Original Assignee
수니코리아 엘엘씨(한국뉴욕주립대학교)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 수니코리아 엘엘씨(한국뉴욕주립대학교) filed Critical 수니코리아 엘엘씨(한국뉴욕주립대학교)
Priority to KR1020200031015A priority Critical patent/KR102295226B1/en
Application granted granted Critical
Publication of KR102295226B1 publication Critical patent/KR102295226B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06K9/62—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information

Abstract

A mobile terminal according to one embodiment of the present invention includes an imaging unit, a display for displaying an image photographed by the imaging unit, at least one processor, and a memory for storing instructions executed by the processor. A command stored in the memory recognizes one or more second objects on the image photographed by the imaging unit, specifies one object of the second objects as a first object by using the information of the second object and the information of the first object to be specified, and synchronizes the augmented reality image for the object specified as the first object on the image being photographed by the imaging unit to display the image on the display.

Description

증강현실을 이용한 다수의 오브젝트 중 특정 오브젝트를 특정하는 장치 및 방법 {Apparatus and method for identifying object in crowd of objects using augmented reality}Apparatus and method for identifying object in crowd of objects using augmented reality}

본 발명은 오브젝트를 특정하는 장치 및 방법에 관한 것으로, 보다 구체적으로 오브젝트의 특징을 이용하여 다수의 오브젝트 중 특정 오브젝트를 특정하는 장치 및 그 방법에 관한 발명이다.The present invention relates to an apparatus and method for specifying an object, and more particularly, to an apparatus and method for specifying a specific object among a plurality of objects by using the characteristics of the object.

택시 등을 이용하는 경우, 지나가는 차량을 수신호를 통해 호출하는 기존 방식과 달리, 최근에는 어플리케이션을 이용하여 차량을 호출하여 이용하는 경우가 많아지고 있다. 또한, 차량 공유 서비스가 보편화되면서, 차량을 잠시 빌려 이용하는 경우가 많아지고 있다.In the case of using a taxi or the like, unlike the existing method of calling a passing vehicle through a hand signal, recently, there are more cases of using an application to call a vehicle. In addition, as car-sharing services are becoming more common, there are more cases of renting a car for a while.

차량 공유 서비스를 이용하거나, 차량을 호출하여 이용하는 경우, 자신이 선택하거나 호출한 차량에 대한 정보를 알고 있으나, 공항과 같이, 많은 수의 차량이 있는 경우, 어떤 차량이 자신이 이용할 차량인지를 알기 어렵다. 특히, 택시의 경우, 대부분의 차량의 외형이 유사하여, 다수의 차량이 군집해있는 상황에서 특정차량을 찾기 어려우며, 운전자의 입장에서도 다수의 승객이 군집해있는 상황세서 자신이 태워야 하는 승객이 누구인지 찾기 어려운 문제가 있다.When using a ride sharing service or calling a vehicle, you know information about the vehicle you have selected or called, but if there are a large number of vehicles, such as at an airport, know which vehicle will be used by you difficult. In particular, in the case of taxis, the appearance of most vehicles is similar, so it is difficult to find a specific vehicle in a situation where a large number of vehicles are crowded. There is a problem that is difficult to recognize.

본 발명이 해결하고자 하는 기술적 과제는, 오브젝트의 특징을 이용하여 다수의 오브젝트 중 특정 오브젝트를 특정하는 장치 및 그 방법을 제공하는 것이다.SUMMARY The technical problem to be solved by the present invention is to provide an apparatus and method for specifying a specific object among a plurality of objects by using the characteristics of the object.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 이동 단말은 촬상부; 상기 촬상부가 촬영한 이미지를 표시하는 디스플레이; 적어도 하나의 프로세서; 및 상기 프로세서에서 수행되는 명령어를 저장하는 메모리를 포함하고, 상기 메모리에 저장되는 명령어는, 상기 촬상부가 촬영한 이미지 상에서 하나 이상의 제2 오브젝트를 인식하고, 상기 제2 오브젝트의 정보 및 특정하고자 하는 제1 오브젝트의 정보를 이용하여 상기 제2 오브젝트 중 하나의 오브젝트를 상기 제1 오브젝트로 특정하며, 상기 제1 오브젝트로 특정된 오브젝트에 대한 증강현실 이미지를 상기 촬상부가 촬영하고 있는 이미지 상에 동기화하여 디스플레이에 표시하는 명령어를 포함하는 것을 특징으로 한다.In order to solve the above technical problem, a mobile terminal according to an embodiment of the present invention includes an imaging unit; a display for displaying the image captured by the imaging unit; at least one processor; and a memory for storing a command executed by the processor, wherein the command stored in the memory recognizes one or more second objects on the image captured by the imaging unit, information of the second object, and a second object to be specified One object among the second objects is specified as the first object by using the information of the first object, and an augmented reality image of the object specified as the first object is displayed in synchronization with the image being photographed by the imaging unit. It is characterized in that it includes a command displayed in .

또한, 상기 메모리에 저장되는 명령어는, 상기 이미지 상에서 오브젝트 정보표시를 인식하여 상기 제2 오브젝트의 정보를 인식하는 명령어를 포함할 수 있다.Also, the command stored in the memory may include a command for recognizing the information of the second object by recognizing the object information display on the image.

또한, 상기 오브젝트 정보표시는, 제2 오브젝트 장치의 정보표시부에 표시되거나, 상기 제2 오브젝트 장치의 디스플레이에 표시되는 표시일 수 있다.Also, the object information display may be a display displayed on an information display unit of the second object device or displayed on a display of the second object device.

또한, 상기 메모리는, 제1 오브젝트로 특정될 수 있는 하나 이상의 오브젝트에 대한 정보를 저장할 수 있다.Also, the memory may store information on one or more objects that may be specified as the first object.

또한, 상기 제1 오브젝트로부터 무선 신호를 수신하는 통신부를 더 포함하고, 상기 메모리에 저장되는 명령어는, 상기 수신한 무선 신호를 분석하여 상기 제1 오브젝트의 이동정보를 생성하고, 상기 촬상부가 촬영한 이미지를 이용하여 상기 제2 오브젝트의 이동정보를 생성하고, 상기 제2 오브젝트의 이동정보 및 상기 제1 오브젝트의 이동정보를 비교하여, 상기 제2 오브젝트 중 하나의 오브젝트를 상기 제1 오브젝트로 특정하는 명령어를 포함할 수 있다.In addition, further comprising a communication unit for receiving a radio signal from the first object, the command stored in the memory, by analyzing the received radio signal to generate movement information of the first object, the imaging unit generating movement information of the second object using an image, comparing movement information of the second object with movement information of the first object, and specifying one of the second objects as the first object It may contain instructions.

또한, 상기 제1 오브젝트의 이동정보는, 상기 제1 오브젝트의 움직임에 따른 무선 신호의 특성을 이용하여 생성될 수 있다.Also, the movement information of the first object may be generated using characteristics of a radio signal according to the movement of the first object.

또한, 상기 제1 오브젝트의 움직임에 따른 무선 신호의 특성은, 상기 무선 신호의 세기의 변화, 상기 무선 신호의 수신 시간차 또는 도플러 편이 주파수의 변화 중 적어도 하나를 포함할 수 있다.In addition, the characteristic of the radio signal according to the movement of the first object may include at least one of a change in strength of the radio signal, a reception time difference of the radio signal, or a change in a Doppler shift frequency.

또한, 상기 제1 오브젝트의 이동정보 또는 상기 제2 오브젝트의 이동정보는, 해당 오브젝트까지의 거리, 이동 속도, 및 이동 방향 중 적어도 하나를 포함할 수 있다.In addition, the movement information of the first object or the movement information of the second object may include at least one of a distance to the corresponding object, a movement speed, and a movement direction.

또한, 상기 제2 오브젝트의 이동정보는, 이전 프레임에서의 제2 오브젝트의 위치와 현재 프레임에서의 제2 오브젝트의 위치의 변화를 이용하여 생성될 수 있다.Also, the movement information of the second object may be generated using a change in the position of the second object in the previous frame and the position of the second object in the current frame.

또한, 상기 이동단말은 사용자 단말 또는 차량 단말일 수 있다.In addition, the mobile terminal may be a user terminal or a vehicle terminal.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 오브젝트를 특정하는 방법은, 특정하고자 하는 제1 오브젝트의 정보를 수신하는 단계; 촬상부가 이미지를 촬영하는 단계; 상기 이미지 상에서 하나 이상의 제2 오브젝트를 인식하는 단계; 상기 제2 오브젝트의 정보와 상기 제1 오브젝트의 정보를 비교하여, 상기 제2 오브젝트 중 하나의 오브젝트를 상기 제1 오브젝트로 특정하는 단계; 및 상기 제1 오브젝트로 특정된 오브젝트에 대한 증강현실 이미지를 상기 촬상부가 촬영하고 있는 이미지 상에 동기화하여 디스플레이에 표시하는 단계를 포함한다.In order to solve the above technical problem, a method for specifying an object according to an embodiment of the present invention includes: receiving information on a first object to be specified; capturing an image by the imaging unit; recognizing one or more second objects on the image; comparing the information of the second object with the information of the first object, and specifying one of the second objects as the first object; and synchronizing the augmented reality image for the object specified as the first object on the image being photographed by the imaging unit and displaying on a display.

또한, 상기 이미지 상에서 하나 이상의 제2 오브젝트를 인식하는 단계는, 상기 이미지 상에서 오브젝트 정보표시를 인식하여 상기 제2 오브젝트의 정보를 인식할 수 있다.In addition, the step of recognizing one or more second objects on the image may include recognizing object information display on the image to recognize information on the second object.

또한, 상기 오브젝트 정보표시는, 제2 오브젝트 장치의 정보표시부에 표시되거나, 상기 제2 오브젝트 장치의 디스플레이에 표시되는 표시일 수 있다.Also, the object information display may be a display displayed on an information display unit of the second object device or displayed on a display of the second object device.

상기 기술적 과제를 해결하기 위하여, 본 발명의 다른 실시예에 따른 오브젝트를 특정하는 방법은, 특정하고자 하는 제1 오브젝트로부터 무선 신호를 수신하는 단계; 상기 수신한 무선 신호를 분석하여 상기 제1 오브젝트의 이동정보를 생성하는 단계; 촬상부가 이미지를 촬영하는 단계; 상기 이미지 상에서 하나 이상의 제2 오브젝트를 인식하는 단계; 상기 촬상부가 촬영한 이미지를 이용하여 상기 제2 오브젝트의 이동정보를 생성하는 단계; 상기 제2 오브젝트의 이동정보 및 상기 제1 오브젝트의 이동정보를 비교하여, 상기 제2 오브젝트 중 하나의 오브젝트를 상기 제1 오브젝트로 특정하는 단계; 및 상기 제1 오브젝트로 특정된 오브젝트에 대한 증강현실 이미지를 상기 촬상부가 촬영하고 있는 이미지 상에 동기화하여 디스플레이에 표시하는 단계를 포함한다.In order to solve the above technical problem, a method for specifying an object according to another embodiment of the present invention includes: receiving a radio signal from a first object to be specified; generating movement information of the first object by analyzing the received radio signal; capturing an image by the imaging unit; recognizing one or more second objects on the image; generating movement information of the second object using the image captured by the imaging unit; comparing the movement information of the second object with the movement information of the first object, and specifying one of the second objects as the first object; and synchronizing the augmented reality image for the object specified as the first object on the image being photographed by the imaging unit and displaying the synchronized image on the display.

또한, 상기 제1 오브젝트의 이동정보를 생성하는 단계는, 상기 제1 오브젝트의 움직임에 따른 무선 신호의 특성을 이용하여 상기 제1 오브젝트의 이동정보를 생성할 수 있다.In addition, the generating of the movement information of the first object may include generating the movement information of the first object by using a characteristic of a radio signal according to the movement of the first object.

또한, 상기 제1 오브젝트의 움직임에 따른 무선 신호의 특성은, 상기 무선 신호의 세기의 변화, 상기 무선 신호의 수신 시간차 또는 도플러 편이 주파수의 변화 중 적어도 하나를 포함할 수 있다.In addition, the characteristic of the radio signal according to the movement of the first object may include at least one of a change in strength of the radio signal, a reception time difference of the radio signal, or a change in a Doppler shift frequency.

또한, 상기 제1 오브젝트의 이동정보 또는 상기 제2 오브젝트의 이동정보는, 해당 오브젝트까지의 거리, 이동 속도, 및 이동 방향 중 적어도 하나를 포함할 수 있다.In addition, the movement information of the first object or the movement information of the second object may include at least one of a distance to the corresponding object, a movement speed, and a movement direction.

또한, 상기 제2 오브젝트의 이동정보를 생성하는 단계는, 이전 프레임에서의 제2 오브젝트의 위치와 현재 프레임에서의 제2 오브젝트의 위치의 변화를 이용하여 상기 제2 오브젝트의 이동정보를 생성할 수 있다.In addition, the generating of the movement information of the second object may include generating movement information of the second object by using a change in the position of the second object in the previous frame and the position of the second object in the current frame. have.

본 발명의 실시예들에 따르면, 차량 군집과 인물 군집 속에서도 증강현실을 활용해 특정 차량 및 특정 인물 찾기가 용이해지며 이를 통해 서비스 이용 시간 단축, 편의성 증대의 효과가 있다.According to embodiments of the present invention, it is easy to find a specific vehicle and a specific person by using augmented reality even in a vehicle group and a person group, thereby reducing service use time and increasing convenience.

도 1은 본 발명의 일 실시예에 따른 이동 단말의 블록도이다.
도 2 내지 도 8은 본 발명의 일 실시예에 따른 이동 단말이 오브젝트를 특정하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 이동 단말의 블록도이다.
도 10 및 도 11은 본 발명의 다른 실시예에 따른 이동 단말이 오브젝트를 특정하는 과정을 설명하기 위한 도면이다.
도 12는 본 발명의 본 발명의 일 실시예에 따른 이미지 상 오브젝트를 특정하는 방법의 흐름도이다.
도 13 내지 도 16은 본 발명의 다른 실시예에 따른 이미지 상 오브젝트를 특정하는 방법의 흐름도이다.1 is a block diagram of a mobile terminal according to an embodiment of the present invention.
2 to 8 are diagrams for explaining a process in which a mobile terminal specifies an object according to an embodiment of the present invention.
9 is a block diagram of a mobile terminal according to another embodiment of the present invention.
10 and 11 are diagrams for explaining a process in which a mobile terminal specifies an object according to another embodiment of the present invention.
12 is a flowchart of a method for specifying an object on an image according to an embodiment of the present invention.
13 to 16 are flowcharts of a method of specifying an object on an image according to another embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합 또는 치환하여 사용할 수 있다.However, the technical spirit of the present invention is not limited to some embodiments described, but may be implemented in various different forms, and within the scope of the technical spirit of the present invention, one or more of the components may be selected among the embodiments. It can be used by combining or substituted with

또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.In addition, terms (including technical and scientific terms) used in the embodiments of the present invention may be generally understood by those of ordinary skill in the art to which the present invention pertains, unless specifically defined and described explicitly. It may be interpreted as a meaning, and generally used terms such as terms defined in advance may be interpreted in consideration of the contextual meaning of the related art.

또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. In addition, the terms used in the embodiments of the present invention are for describing the embodiments and are not intended to limit the present invention.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.In the present specification, the singular form may also include the plural form unless otherwise specified in the phrase, and when it is described as "at least one (or one or more) of A and (and) B, C", it is combined with A, B, C It may include one or more of all possible combinations.

또한, 본 발명의 실시 예의 구성 요소를 설명하는데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.In addition, in describing the components of the embodiment of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the component from other components, and are not limited to the essence, order, or order of the component by the term.

그리고, 어떤 구성 요소가 다른 구성 요소에 '연결', '결합', 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 '연결', '결합', 또는 '접속'되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합', 또는 '접속'되는 경우도 포함할 수 있다.And, when it is described that a component is 'connected', 'coupled', or 'connected' to another component, the component is directly 'connected', 'coupled', or 'connected' to the other component. In addition to the case, it may include a case of 'connected', 'coupled', or 'connected' by another element between the element and the other element.

또한, 각 구성 요소의 "상(위)" 또는 "하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, "상(위)" 또는 "하(아래)"는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라, 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위)" 또는 "하(아래)"로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함될 수 있다. In addition, when it is described as being formed or disposed on "above (above)" or "below (below)" of each component, "above (above)" or "below (below)" means that two components are directly connected to each other. It includes not only the case of contact, but also the case where one or more other components are formed or disposed between two components. In addition, when expressed as "upper (upper)" or "lower (lower)", the meaning of not only an upper direction but also a lower direction based on one component may be included.

도 1은 본 발명의 일 실시예에 따른 이동 단말의 블록도이다.1 is a block diagram of a mobile terminal according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 이동 단말(100)은 촬상부(110), 디스플레이(120), 프로세서(130), 및 메모리(140)로 구성되고, 통신부(150), 사용자 인터페이스(미도시) 등을 더 포함할 수 있다.The mobile terminal 100 according to an embodiment of the present invention includes an imaging unit 110 , a display 120 , a processor 130 , and a memory 140 , a communication unit 150 , and a user interface (not shown). and the like may be further included.

이동 단말(100)은 사용자 단말 또는 차량 단말일 수 있고, 오브젝트(object)는 특정하고자 대상 또는 이미지에 포함되는 피사체를 의미하며, 사람 또는 차량 등일 수 있다. 예를 들어, 사용자가 택시 등 차량을 호출하는 경우, 많은 차량 중에서 어떤 차량이 자신이 호출한 차량인지를 알기 어렵다. 이때, 복수의 차량을 촬영한 이지를 디스플레이 상에 표시함과 동시에 복수의 차량들의 정보를 이용하여 자신이 호출한 차량을 특정하여 증강현실로 디스플레이상에 해당 차량을 특정하여 표시함으로써 사용자에게 어떤 차량이 호출된 차량인지를 특정해줄 수 있다. 이와 반대로, 택시 등 차량을 운전하는 운전자 또한 복수의 사람 중 자신의 차량을 호출한 고객이 누구인지 특정하는데 본 발명의 일 실시예에 따른 이동 단말(100)을 이용할 수 있다. 즉, 이동 단말(100)은 복수의 오브젝트(200) 중 특정하고자 하는 오브젝트가 어떤 오브젝트인지를 특정함에 있어서, 오브젝트의 정보를 이용하여 해당 오브젝트를 특정하고, 디스플레이상에 표시되는 복수의 오브젝트 중 특정된 오브젝트를 증강현실을 이용하여 표시함으로써 해당 오브젝트를 특정하여 제공할 수 있다.The mobile terminal 100 may be a user terminal or a vehicle terminal, and the object means an object to be specified or a subject included in an image, and may be a person or a vehicle. For example, when a user calls a vehicle, such as a taxi, it is difficult to know which vehicle is the called vehicle among many vehicles. At this time, by displaying an easy-to-follow photograph of a plurality of vehicles on the display and at the same time specifying the vehicle called by the user using the information of the plurality of vehicles, specifying and displaying the vehicle on the display in augmented reality to give the user a certain vehicle You can specify whether this is the called vehicle. Conversely, a driver who drives a vehicle such as a taxi may also use the mobile terminal 100 according to an embodiment of the present invention to specify who is a customer who has called his/her vehicle among a plurality of people. That is, when specifying which object among the plurality of objects 200 is, the mobile terminal 100 specifies the object by using the object information, and specifies the object among the plurality of objects displayed on the display. The object can be specified and provided by displaying the object using augmented reality.

촬상부(110)는 이미지 센서를 포함하는 카메라 모듈일 수 있다. 하나 이상의 오브젝트가 위치하는 방향으로 촬영을 통해 오브젝트가 포함되는 이미지를 생성할 수 있다.The imaging unit 110 may be a camera module including an image sensor. An image including an object may be generated by photographing in a direction in which one or more objects are located.

디스플레이(120)는 촬상부(110)가 촬영한 이미지를 표시한다. 디스플레이(120)는 촬상부(110)와 유무선으로 연결되어, 촬상부(110)가 동작시, 촬상부(110)가 촬영하여 생성하는 이미지를 바로 표시할 수 있다.The display 120 displays an image captured by the imaging unit 110 . The display 120 is connected to the imaging unit 110 by wire or wireless, so that when the imaging unit 110 operates, an image generated by the imaging unit 110 may be immediately displayed.

적어도 하나의 프로세서(130)는 이동 단말(100)을 구성하는 촬상부(110), 디스플레이(120), 메모리(140)를 포함하는 다양한 구성들에 대한 제어를 수행하며, 각 구성에 생성되는 데이터에 대한 처리를 수행한다. 프로세서(130)는 하나 또는 복수의 프로세서를 포함할 수 있고, 복수의 프로세서는 각각 독립적으로 동작하거나 종속적으로 동작할 수도 있다. 프로세서(130)는 촬상부(110)의 촬영기능을 제어하고, 디스플레이(120)가 촬상부(110)가 촬영한 이미지를 표시하도록 제어할 수 있다. 또한, 메모리(140) 상에 저장된 명령어를 독출하여 해당 명령어에 따른 동작을 처리할 수 있다. The at least one processor 130 controls various components including the imaging unit 110 , the display 120 , and the memory 140 constituting the mobile terminal 100 , and data generated in each component perform processing for The processor 130 may include one or a plurality of processors, and each of the plurality of processors may operate independently or dependently. The processor 130 may control a photographing function of the imaging unit 110 , and may control the display 120 to display an image photographed by the imaging unit 110 . Also, by reading a command stored in the memory 140 , an operation according to the corresponding command may be processed.

메모리(140)는 프로세서(130)에서 수행되는 명령어를 저장한다. 메모리(140)에 저장되는 명령어는 복수의 오브젝트 중 특정하고자 하는 오브젝트를 특정하는 명령어를 포함한다.The memory 140 stores instructions executed by the processor 130 . The command stored in the memory 140 includes a command for specifying an object to be specified among a plurality of objects.

보다 구체적으로, 메모리(140)에 저장되는 명령어는 촬상부(110)가 촬영한 이미지 상에서 하나 이상의 제2 오브젝트를 인식하고, 제2 오브젝트의 정보 및 특정하고자 하는 제1 오브젝트의 정보를 이용하여 제2 오브젝트 중 하나의 오브젝트를 제1 오브젝트로 특정하며, 제1 오브젝트로 특정된 오브젝트에 대한 증강현실 이미지를 촬상부(110)가 촬영하고 있는 이미지 상에 동기화하여 디스플레이(120)에 표시하는 명령어를 포함한다. 여기서, 제2 오브젝트는 촬상부(110)가 촬영한 이미지에 포함되는 오브젝트이고, 제1 오브젝트는 특정하고자 하는 오브젝트이다. 제2 오브젝트는 하나 이상일 수 있고, 제1 오브젝트는 제2 오브젝트 중 하나일 수 있다. 예를 들어, 촬영된 이미지에 포함된 복수의 차량이 제2 오브젝트일 수 있고, 사용자가 호출한 차량이 제1 오브젝트일 수 있다. 사용자가 호출한 차량이 해당 위치에 도착하여 촬영된 경우, 호출한 차량인 제1 오브젝트는 제2 오브젝트 중 하나일 수 있다. 복수의 제2 오브젝트는 동일 종류의 오브젝트일 수 있으나, 다른 종류의 오브젝트일 수도 있다. More specifically, the command stored in the memory 140 recognizes one or more second objects on the image captured by the imaging unit 110, and uses the information of the second object and the information of the first object to be specified. A command for specifying one of the two objects as the first object, and displaying the augmented reality image for the object specified as the first object in synchronization with the image being photographed by the imaging unit 110 on the display 120 include Here, the second object is an object included in the image captured by the imaging unit 110 , and the first object is an object to be specified. The second object may be one or more, and the first object may be one of the second objects. For example, the plurality of vehicles included in the photographed image may be the second object, and the vehicle called by the user may be the first object. When the vehicle called by the user arrives at the location and is photographed, the first object that is the called vehicle may be one of the second objects. The plurality of second objects may be the same type of object or different types of objects.

제1 오브젝트가 이미지상 복수의 제2 오브젝트 중에 존재하는 경우, 제1 오브젝트의 정보 및 제2 오브젝트의 정보를 이용하여 제2 오브젝트 중 제1 오브젝트에 해당하는 오브젝트가 어떤 오브젝트인지를 판단한다. 이를 위하여, 상기 이미지 상에서 오브젝트 정보표시를 인식하여 상기 제2 오브젝트의 정보를 인식할 수 있다. 여기서, 오브젝트 정보표시는 제2 오브젝트 장치의 정보표시부에 표시되거나, 상기 제2 오브젝트 장치의 디스플레이에 표시되는 표시일 수 있다. When the first object exists among the plurality of second objects on the image, it is determined which object corresponds to the first object among the second objects by using the information of the first object and the information of the second object. To this end, the information of the second object may be recognized by recognizing the object information display on the image. Here, the object information display may be a display displayed on the information display unit of the second object device or a display displayed on the display of the second object device.

오브젝트 정보표시는 도 2와 같이 차량의 정보표시부에 형성될 수 있고, 이동 단말(은 촬상부(110)가 복수의 차량(200)을 촬영시, 각 차량의 정보표시부에 표시된 오브젝트 정보표시(210)를 인식할 수 있다. 정보표시부는 도 2와 같이, 차량의 상부에 위치하거나 차량의 옆면 등 다양한 위치에 형성될 수 있다. 오브젝트 정보표시는 AR(Augmented Reality) 마커일 수 있다. AR 마커는 촬상부(110)에서 촬영되어 인식되면, AR 마커는 프레임 내 위치 표시뿐만 아니라 마커에 포함된 정보를 도출하거나, 그에 따른 기능을 수행하도록 하는 마커이다. AR 마커에는 오브젝트의 고유한 식별정보인 ID 정보 등이 저장 및 할당되어 포함할 수 있다. 식별정보는 AR 마커를 이용하여 서비스를 제공하는 업체 또는 서버에서 할당될 수 있다. 이외에도 QR 코드, 바코드 등 정보를 표시하는 다양한 정보표시 수단을 이용할 수 있다. 상기와 같이, 촬상부(110)에 의해 촬영되어 인식되는 오브젝트 정보표시로부터 각 제2 오브젝트의 정보를 도출할 수 있다.The object information display may be formed in the information display unit of the vehicle as shown in FIG. 2 , and when the image capturing unit 110 captures a plurality of vehicles 200 , the object information display 210 displayed on the information display unit of each vehicle ) The information display unit may be located on the top of the vehicle or formed in various positions such as the side of the vehicle, as shown in Fig. 2. The object information display may be an AR (Augmented Reality) marker. When captured and recognized by the imaging unit 110, the AR marker is a marker that not only displays the location in the frame, but also derives information included in the marker or performs a function accordingly. Information can be stored and allocated, etc. Identification information can be assigned by a service provider or server using AR markers. In addition, various information display means such as QR codes and barcodes can be used. As described above, information of each second object may be derived from the object information display recognized and photographed by the imaging unit 110 .

오브젝트 정보표시를 표시하는 정보표시부는, 앞서 설명한 바와 같이, 고정된 이미지를 부착할 수 있고, LED로 구성되는 정보표시부일 수 있다. 복수의 LED 배열로 형성되어, 복수의 LED의 점멸에 따라 오브젝트 정보표시를 표시할 수 있다. 4 x 4 배열의 경우, 2^16 = 65536 개의 서로 다른 정보를 표시할 수 있다. 또는 디스플레이 상에 AR 마커 등의 오브젝트 정보표시를 표시할 수도 있다.As described above, the information display unit for displaying object information may attach a fixed image and may be an information display unit composed of LEDs. It is formed in a plurality of LED arrays, so that object information can be displayed according to the blinking of the plurality of LEDs. In the case of a 4 x 4 array, 2^16 = 65536 pieces of different information can be displayed. Alternatively, object information such as an AR marker may be displayed on the display.

제1 오브젝트의 정보는 특정하고자 하는 오브젝트의 정보로, 제1 오브젝트의 정보는 이동 단말이 제1 오브젝트 또는 제1 오브젝트를 특정해주는 서비스를 제공하는 서버 또는 장치로부터 수신할 수 있다. 예를 들어, 사용자가 차량을 호출하는 서비스를 이용시, 해당 서비스를 제공하는 서버 내지 장치에서 연결하여 호출해준 차량의 식별정보 등일 수 있다. 메모리(140)는 제1 오브젝트로 특정될 수 있는 하나 이상의 오브젝트에 대한 정보를 저장할 수 있다. 서버 또는 제1 오브젝트로부터 제1 오브젝트에 대한 정보를 수신하는 경우, 메모리(140)는 해당 정보를 저장할 수 있다.The information on the first object may be information on the object to be specified, and the information on the first object may be received from the mobile terminal from the server or device providing the first object or a service for specifying the first object. For example, when a user uses a service for calling a vehicle, it may be identification information of a vehicle that is connected and called by a server or device that provides the corresponding service. The memory 140 may store information on one or more objects that may be specified as the first object. When information on the first object is received from the server or the first object, the memory 140 may store the corresponding information.

여기서, 차량을 호출하는 서비스는 차량 공유 서비스 또는 차량 호출 서비스일 수 있다. 공항과 같이, 다수의 차량과 다수의 사람이 있는 장소에서 이용시, 차량번호나 전화번호 등 서로의 정보를 알고 있더라도 사람 개개인의 시력차 또는 호출한 차량과 서비스 이용자간의 거리 등의 다양한 이유로 인해 다수의 차량 중 어떤 차량이 자신이 호출한 차량인지 특정하기 어렵고, 반대로 다수의 사람 중 어떤 사람이 자신을 호출한 고객인지 특정하기 어렵다. Here, the service for calling a vehicle may be a vehicle sharing service or a vehicle calling service. When using in a place with multiple vehicles and multiple people, such as an airport, even if you know each other's information, such as a vehicle number or phone number, there are multiple It is difficult to specify which vehicle among the vehicles is the vehicle that the user calls, and conversely, it is difficult to specify which person among a plurality of people is the customer who called the vehicle.

촬상부(110)가 촬영한 이미지 상 포함된 복수의 제2 오브젝트에 표시된 오브젝트 정보표시 인식을 통해 제2 오브젝트 각각의 정보를 도출하고, 특정하고자 하는 제1 오브젝트의 정보와의 비교를 통해, 제2 오브젝트 중 제1 오브젝트의 정보에 대응되는 오브젝트를 제1 오브젝트로 특정한다. Information of each of the second objects is derived through object information display recognition displayed on a plurality of second objects included in the image captured by the imaging unit 110, and information of the first object to be specified is compared with the information of the first object. An object corresponding to the information of the first object among the two objects is specified as the first object.

제2 오브젝트 중 제1 오브젝트로 특정되는 오브젝트가 포함되는 경우, 해당 오브젝트에 대한 증강현실 이미지를 촬상부(110)가 촬영하고 있는 이미지 상에 동기화하여 디스플레이에 표시한다. 제1 오브젝트로 특정된 오브젝트를 다른 제2 오브젝트와 구분하기 위하여, 제1 오브젝트로 특정된 오브젝트에 이를 표시하는 증간현실 이미지를 표시할 수 있다. When the object specified as the first object among the second objects is included, the augmented reality image for the object is displayed on the display in synchronization with the image being photographed by the imaging unit 110 . In order to distinguish the object specified as the first object from other second objects, an augmented reality image for displaying the object specified as the first object may be displayed.

도 3과 같이, 촬상부(110)가 촬영하여 생성된 이미지 데이터(310)를 이용하여 프로세서(130)에서 상기 이미지 데이터(310)에 포함된 제2 오브젝트 중 식별정보 등을 포함하는 제2 오브젝트의 정보를 도출하고, 특정하고자 하는 제1 오브젝트의 정보와 비교하여 제1 오브젝트와의 일치여부를 판단하고, 제1 오브젝트 정보와 일치하는 오브젝트에 대한 증간현실 이미지(340)를 동기화하여 디스플레이(120)에 표시한다. As shown in FIG. 3 , the processor 130 uses the image data 310 captured by the imaging unit 110 , and a second object including identification information among the second objects included in the image data 310 . derives the information of , compares it with the information of the first object to be specified, determines whether it matches the first object, synchronizes the augmented reality image 340 for the object that matches the first object information, and displays the 120 ) is indicated in

프로세서(130)는 제2 오브젝트의 정보와 제1 오브젝트의 정보를 비교함에 있어서, 서버(300)를 이용할 수 있다. 도 3과 같이, 프로세서(130)는 디코딩된 식별정보(ID)를 포함하는 제2 오브젝트의 정보를 제1 오브젝트의 정보를 저장하고 있는 서버(300)로 송신하고, 서버(300)는 제2 오브젝트의 정보와 일치하는 제1 오브젝트의 정보를 파단하고, 제1 오브젝트를 특정하여 표시할 수 있는 증간현실에 필요한 증강현실 데이터(330)를 프로세서(130)로 송신한다. 프로세서(130)는 증강현실 데이터를 이용하여 증강현실 이미지(340)를 생성하여 디스플레이(120)에 표시할 수 있다.The processor 130 may use the server 300 to compare the information of the second object with the information of the first object. 3, the processor 130 transmits the information of the second object including the decoded identification information (ID) to the server 300 storing the information of the first object, and the server 300 is the second The information of the first object that matches the information of the object is broken, and the augmented reality data 330 necessary for augmented reality capable of specifying and displaying the first object is transmitted to the processor 130 . The processor 130 may generate an augmented reality image 340 by using the augmented reality data and display it on the display 120 .

차량 호출 서비스를 제공함에 있어서, 사용자의 이동 단말에 호출된 차량을 특정하여 제공하기 위하여, 이동 단말은 도 4와 같이 구현될 수 있다. 여기서, 이동 단말은 승객 이동 단말(430)일 수 있다. 사용자는 차량 공유 서비스 또는 차량 호출 서비스를 제공하는 업체의 서버를 통해 호출된 운전자 이동 단말(410)과 연결될 수 있다. 호출된 차량의 단말(410)은 서버(420)로부터 고유한 ID 정보와 AR 마커 패턴 정보, 고객의 호출 위치 등의 정보를 송수신할 수 있다. 사용자 단말(430) 또한 고유번호(또는 ID), 호출 위치, 호출된 차량 정보 등을 서버와 송수신할 수 있다. 서버(420)는 정보들이 저장된 메모리부, 프로세서, 통신을 위한 시스템들로 구성되고, 사용자의 이동 단말(430)은 프로세서(441), 유저 인터페이스(442), 카메라(443), 디스플레이(444), 통신 시스템(445) 등으로 하드웨어 구성이 되어 있다. 사용자의 이동 단말(430)에는 OS(438) 외에 본 발명을 위한 어플리케이션(432)이 포함될 수 있다. 어플리케이션은 AR 마커 패턴을 인식하고 화면에 표기하기 위한 엔진(432 내지 437)들로 구성된다. 호출된 차량을 사용자의 이동 단말에서 특정하기 위하여, 먼저, 차량의 AR 마커를 띄우는 디스플레이의 마커 패턴 정보를 업데이트하고, 사용자의 이동 단말은 카메라를 통한 증강현실 모드를 활성화한다. 카메라로 인식한 이미지 내에서 차량의 디스플레이 영역을 검출, 패턴 분석하여 차량의 고유 ID를 알아내고, 이 정보와 호출된 차량 정보와 대조하여 인식하고, 이동 단말의 디스플레이에 차량의 위치를 표시할 증강현실 이미지를 투영한다.In providing the vehicle call service, in order to provide a specific vehicle called to the user's mobile terminal, the mobile terminal may be implemented as shown in FIG. 4 . Here, the mobile terminal may be the passenger mobile terminal 430 . The user may be connected to the called driver mobile terminal 410 through a server of a company that provides a vehicle sharing service or a vehicle calling service. The terminal 410 of the called vehicle may transmit/receive information such as unique ID information, AR marker pattern information, and a customer's call location from the server 420 . The user terminal 430 may also transmit/receive a unique number (or ID), call location, and call vehicle information to and from the server. The server 420 includes a memory unit in which information is stored, a processor, and systems for communication, and the user's mobile terminal 430 includes a processor 441 , a user interface 442 , a camera 443 , and a display 444 . , a communication system 445, and the like have a hardware configuration. The user's mobile terminal 430 may include an application 432 for the present invention in addition to the OS 438 . The application consists of engines 432 to 437 for recognizing the AR marker pattern and displaying it on the screen. In order to specify the called vehicle in the user's mobile terminal, first, the marker pattern information of the display that floats the AR marker of the vehicle is updated, and the user's mobile terminal activates the augmented reality mode through the camera. The vehicle's unique ID is found by detecting and pattern analysis of the vehicle's display area within the image recognized by the camera, and it is recognized by collating this information with the called vehicle information, and augmented to display the location of the vehicle on the display of the mobile terminal. Project a real image.

도 5와 같이, 사용자가 호출 차량을 특정하고자 할 때, 사용자가 다수의 차량들을 스캔하는 과정(510)에서 호출된 차량(530)을 특정하여 증강현실 이미지(540)를 표시(520)할 수 있다. As shown in FIG. 5 , when the user wants to specify the calling vehicle, the user can specify the called vehicle 530 in the process 510 of scanning a plurality of vehicles and display 520 the augmented reality image 540 . have.

차량 호출 서비스를 제공함에 있어서, 사용자의 이동 단말에서 차량을 특정할 뿐만 아니라, 차량의 이동 단말에서 승객을 특정할 수도 있다. 이를 위하여, 차량 단말은 도 6과 같이 구현될 수 있다. 여기서 차량의 이동 단말은 운전자 이동 단말(630)일 수 있다. 차량이 승객을 특정하고자 할 때의 필요한 차량 이동 단말(630)은 프로세서(640), 유저 인터페이스 장치(641), 카메라(642), 디스플레이(643), 통신 시스템(644)을 최소한의 구성으로 하고 있는 하드웨어를 갖추고 있어야 한다. 차량 내 장치의 소프트웨어에는 OS(638)와 승객을 특정하기 위한 어플리케이션(632)이 구동되고 있으며, 어플리케이션은 AR 마커 패턴 분석을 위한 이미지 처리, 이미지 분석, 패턴 정보 요청 엔진과 증강현실 엔진, 증강현실 이미지 생성 엔진(633 내지 637))으로 구성된다. 서버(620)는 정보들(622)이 저장된 메모리부(621), 프로세서(623), 통신을 위한 시스템(624)들로 구성된다.In providing the vehicle call service, not only the vehicle may be specified in the user's mobile terminal, but also the passenger may be specified in the mobile terminal of the vehicle. To this end, the vehicle terminal may be implemented as shown in FIG. 6 . Here, the mobile terminal of the vehicle may be the driver's mobile terminal 630 . The vehicle mobile terminal 630 necessary when the vehicle wants to specify a passenger has a processor 640, a user interface device 641, a camera 642, a display 643, and a communication system 644 with a minimum configuration and You must have the hardware available. In the software of the in-vehicle device, an OS 638 and an application 632 for specifying a passenger are driven, and the applications are image processing for AR marker pattern analysis, image analysis, pattern information request engine and augmented reality engine, augmented reality. image generation engines 633 to 637). The server 620 includes a memory unit 621 in which information 622 is stored, a processor 623 , and a communication system 624 .

차량에서 승객을 특정할 때, 차량의 이동 단말은 호출 정보를 받고, 이어 승객의 정보와 AR 패턴 정보를 수신하며, 카메라를 통한 증강현실 모드를 활성화한다. 카메라로부터 입력된 이미지는 AR 마커를 인식하고 패턴분석을 통해 승객의 정보를 분석한다. 호출한 이용객 정보와 일치하면 해당 정보 및 증강현실 이미지를 디스플레이에 출력하여 이용객의 위치를 특정한다. 차량의 이동 단말에서 승객을 특정하는 경우, 승객은 자신의 이동 단말의 디스플레이에 AR 마커를 표시(710)하고, 이를 차량의 이동 단말이 촬영하여 인식한다. 다수의 사람 중에서 승객 정보와 일치하는 정보를 저장하는 승객(730)의 AR 마커 위치와 패턴 분석을 통해 증강현실 이미지(740)를 투영하여 이용객의 위치를 특정하여 디스플레이(720)에 표시한다.When specifying a passenger in the vehicle, the mobile terminal of the vehicle receives the call information, then receives the passenger information and AR pattern information, and activates the augmented reality mode through the camera. The image input from the camera recognizes the AR marker and analyzes the passenger information through pattern analysis. If it matches the calling user information, the user's location is specified by outputting the information and the augmented reality image on the display. When a passenger is specified in the mobile terminal of the vehicle, the passenger displays an AR marker 710 on the display of his/her mobile terminal, and the mobile terminal of the vehicle captures and recognizes this. The augmented reality image 740 is projected through the AR marker position and pattern analysis of the passenger 730 that stores information matching the passenger information among a plurality of people, and the user's location is specified and displayed on the display 720 .

서버의 개입없이, 도 8과 같이, 사용자의 이동 단말(830)과 차량의 이동 단말(810)이 서로 정보를 송수신하여 서로를 특정할 수 있다. 이때, 사용자의 이동 단말(830)과 차량의 이동 단말(810)은 서로를 인식하기 위한, 근접 감지 엔진(813, 833)을 더 포함할 수 있다. 서로 근접했다는 정보를 주고 받으면, 다수의 차량 또는 다수의 사람 중 서로 특정하는 과정을 수행할 수 있다.Without the intervention of the server, as shown in FIG. 8 , the user's mobile terminal 830 and the vehicle's mobile terminal 810 may specify each other by transmitting and receiving information. In this case, the user's mobile terminal 830 and the vehicle's mobile terminal 810 may further include proximity detection engines 813 and 833 for recognizing each other. When information indicating proximity to each other is exchanged, a process of specifying each other among a plurality of vehicles or a plurality of people may be performed.

AR 마커 등의 오브젝트 정보표시를 인식하여 오브젝트를 특정하는 방법 이외에 무선 신호를 이용하여 오브젝트를 특정할 수 있다. 또는 오브젝트 정보표시 및 무선 신호를 이용하여 오브젝트를 특정할 수도 있다.In addition to the method of specifying the object by recognizing the display of object information such as AR marker, it is possible to specify the object using a radio signal. Alternatively, the object may be specified using the object information display and the radio signal.

무선 신호를 이용하여 오브젝트를 특정하기 위하여, 본 발명의 다른 실시예에 따른 이동 단말(100)은 도 9와 같이, 제1 오브젝트(900)로부터 무선 신호를 수신하는 통신부(150)를 더 포함할 수 있다. In order to specify an object using a radio signal, the mobile terminal 100 according to another embodiment of the present invention may further include a communication unit 150 for receiving a radio signal from the first object 900 as shown in FIG. 9 . can

메모리(140)에 저장되는 명령어는 상기 통신부(150)가 수신한 무선 신호를 분석하여 상기 제1 오브젝트의 이동정보를 생성하고, 촬상부(110)가 촬영한 이미지를 이용하여 상기 제2 오브젝트의 이동정보를 생성하고, 상기 제2 오브젝트의 이동정보 및 상기 제1 오브젝트의 이동정보를 비교하여, 상기 제2 오브젝트 중 하나의 오브젝트를 상기 제1 오브젝트로 특정할 수 있다.The command stored in the memory 140 analyzes the radio signal received by the communication unit 150 to generate movement information of the first object, and uses the image photographed by the imaging unit 110 to determine the second object. One object among the second objects may be specified as the first object by generating movement information and comparing the movement information of the second object with the movement information of the first object.

제1 오브젝트의 이동정보를 생성하기 위하여, 이동 단말(100)은 제1 오브젝트(900)와 무선 통신을 수행할 수 있다. 서로 간의 정보를 송수신하기 위하여, 무선 통신을 수행하는 과정에서, 해당 무선 통신을 이용하여 제1 오브젝트의 이동정보를 생성할 수 있다. 또는, 제1 오브젝트의 이동정보를 생성하기 위한 목적으로 제1 오브젝트(900)와 통신을 수행할 수도 있다. 이때, 이동 단말(100)은 제1 오브젝트와 Long-range bluetooth 등과 같은 다양한 무선 통신 방식을 이용할 수 있다. In order to generate movement information of the first object, the mobile terminal 100 may perform wireless communication with the first object 900 . In order to transmit and receive information between each other, in the process of performing wireless communication, movement information of the first object may be generated using the corresponding wireless communication. Alternatively, communication with the first object 900 may be performed for the purpose of generating movement information of the first object. In this case, the mobile terminal 100 may use various wireless communication methods such as long-range bluetooth with the first object.

상기 제1 오브젝트의 이동정보는 상기 제1 오브젝트의 움직임에 따른 무선 신호의 특성을 이용하여 생성될 수 있다. 움직임이 있는 대상과의 통신시 송수신하는 무선 신호에는 변화가 생길 수 있다. 따라서, 무선 신호의 특성을 이용하여 무선 통신 중인 대상의 움직임을 판단할 수 있다. 이를 이용하여 제1 오브젝트의 움직임에 따른 무선 신호의 특성을 알 수 있고, 이를 통해 제1 오브젝트의 이동정보를 생성할 수 있다.The movement information of the first object may be generated using a characteristic of a radio signal according to the movement of the first object. When communicating with a moving object, a change may occur in a wireless signal transmitted and received. Accordingly, it is possible to determine the movement of the target in wireless communication by using the characteristics of the wireless signal. By using this, the characteristics of the radio signal according to the movement of the first object may be known, and movement information of the first object may be generated through this.

제1 오브젝트의 움직임에 따른 무선 신호의 특성은 상기 무선 신호의 세기의 변화, 상기 무선신호의 수신 시간차 변화 또는 도플러 편이 주파수의 변화 중 적어도 하나를 포함할 수 있다. 무선 신호의 세기가 커지는 경우, 제1 오브젝트가 가까워지는 것으로 판단할 수 있고, 반대로 무선 신호의 세기가 작아지는 경우, 제1 오브젝트가 멀어지는 것으로 판단할 수 있으며, 무선 신호의 세기가 유지되는 경우, 거리를 유지하는 것으로 판단할 수 있다. 또한, 무선 신호의 수신 시간차가 짧아지는 경우 제1 오브젝트가 가까워지는 것으로 판단할 수 있고, 무선 신호의 수신 시간차가 길어지는 경우 제1 오브젝트가 멀어지는 것으로 판단 할 수 있으며, 무선 신호의 시간차가 유지되는 경우, 거리를 유지하는 것으로 판단할 수 있다. 통신부(150)가 좌우 2 개 이상이 형성되는 경우, 각각 수신하는 무선 신호의 세기 또는 신호간의 시간차를 비교하여, 제1 오브젝트의 이동 방향을 판단할 수도 있다.The characteristic of the radio signal according to the movement of the first object may include at least one of a change in the strength of the radio signal, a change in a reception time difference of the radio signal, or a change in a Doppler shift frequency. When the strength of the wireless signal increases, it can be determined that the first object is approaching, and when the strength of the wireless signal decreases, it can be determined that the first object is moving away, and when the strength of the wireless signal is maintained, It can be judged by maintaining a distance. In addition, when the reception time difference of the wireless signal is shortened, it can be determined that the first object is getting closer, and when the reception time difference of the wireless signal is increased, it can be determined that the first object is moving away, and the time difference of the wireless signal is maintained. In this case, it may be determined that the distance is maintained. When two or more communication units 150 are formed on the left and right, the movement direction of the first object may be determined by comparing the strength of each received radio signal or a time difference between the signals.

무선신호의 수신 시간차 변화는 TDOA(Time Difference Of Arrival)를 이용하여 도출할 수 있다. TDOA는 여러 신호 패킷이 순차적으로 들어올 때 패킷에 발신되는 순간의 시간정보를 기입하여 발신함으로써, 수신단에서 해당 패킷의 발신시간과 수신시간의 차이, 즉 해당 패킷이 얼마만큼의 시간동안 날아서 왔나를 산출할 수 있도록 하는 방식이다. 이를 통해, 무선신호의 수신 시간차를 알 수 있고, 무선신호의 수신 시간차 변화를 이용하여 제1 오브젝트의 움직임을 판단할 수 있다.A change in the reception time difference of a radio signal may be derived using a Time Difference Of Arrival (TDOA). TDOA calculates the difference between the sending and receiving times of the corresponding packet at the receiving end, that is, how long the packet has flown, by writing the time information at the moment of sending the packet when several signal packets arrive sequentially. way to make it happen. Through this, the reception time difference of the radio signal may be known, and the movement of the first object may be determined using the change in the reception time difference of the radio signal.

또한, 이동하는 물체의 경우, 도플러 효과가 발생할 수 있다. 따라서, 무선 신호의 도플러 편이 주파수의 변화를 이용하여 제1 오브젝트의 움직임을 판단할 수 있다. Also, in the case of a moving object, a Doppler effect may occur. Accordingly, the movement of the first object may be determined using the change in the Doppler shift frequency of the radio signal.

상기 무선 신호의 세기의 변화, 상기 무선신호의 수신 시간차 변화 또는 도플러 편이 주파수의 변화 중 둘 이상의 복수의 특성을 이용하여 제1 오브젝트의 움직임을 판단할 수 있음은 당연하다.It goes without saying that the movement of the first object may be determined by using two or more characteristics of a change in the strength of the radio signal, a change in the reception time difference of the radio signal, or a change in a Doppler shift frequency.

상기와 같이, 무선 신호의 특성을 이용하여 제1 오브젝트까지의 거리, 이동 속도, 및 이동 방향 중 적어도 하나를 포함하는 제1 오브젝트의 이동정보를 생성할 수 있다.As described above, movement information of the first object including at least one of a distance to the first object, a movement speed, and a movement direction may be generated by using the characteristics of the wireless signal.

제1 오브젝트의 이동정보와 비교를 통해 오브젝트를 특정하기 위하여, 촬상부가 촬영한 이미지에 포함된 제2 오브젝트의 이동정보를 생성한다. 제2 오브젝트의 이동정보는 오브젝트까지의 거리, 이동 속도, 및 이동 방향 중 적어도 하나를 포함할 수 있다.In order to specify the object through comparison with the movement information of the first object, movement information of the second object included in the image captured by the imaging unit is generated. The movement information of the second object may include at least one of a distance to the object, a movement speed, and a movement direction.

제2 오브젝트의 이동정보는 이전 프레임에서의 제2 오브젝트의 위치와 현재 프레임에서의 제2 오브젝트의 위치의 변화를 이용하여 생성될 수 있다. 촬상부(110)에 촬영하는 이미지 상에서 프레임간 변화를 이용하여 이미지에 포함된 제2 오브젝트의 이동정보를 생성할 수 있다. 프레임간 위치의 변화 및 크기의 변화를 이용하여 제2 오브젝트가 이동중인지 이동중이라면 어느 방향으로 이동하는지를 판단할 수 있다.The movement information of the second object may be generated using a change in the position of the second object in the previous frame and the position of the second object in the current frame. Movement information of the second object included in the image may be generated by using inter-frame changes on the image captured by the imaging unit 110 . It is possible to determine whether the second object is moving or in which direction if it is moving, by using the change in the position and the change in size between frames.

상기와 같이, 생성된 제1 오브젝트의 이동정보와 제2 오브젝트의 이동정보를 비교하여, 제1 오브젝트의 이동정보에 대응되는 이동정보를 가지는 제2 오브젝트를 제1 오브젝트로 특정할 수 있다. 제1 오브젝트로 특정된 제2 오브젝트에 대한 증강현실 이미지를 촬상부(110)가 촬영하고 있는 이미지 상에 동기화하여 디스플레이(120)에 표시함으로써 오브젝트를 특정하여 제공할 수 있다.As described above, by comparing the generated movement information of the first object with the movement information of the second object, the second object having movement information corresponding to the movement information of the first object may be specified as the first object. By synchronizing the augmented reality image for the second object specified as the first object on the image being photographed by the imaging unit 110 and displaying it on the display 120 , the object may be specified and provided.

도 10과 같이, 특정하고자 하는 오브젝트로 무선 신호를 송신하는 제1 오브젝트는 사용자의 이동 단말(1010) 또는 차량의 이동 단말(1030)일 수 있다. 제1 오브젝트(1010, 1030)가 송신하는 무선 신호의 특성을 이용하여 생성되는 제1 오브젝트의 이동정보에 대응되는 이동정보를 가지는 제2 오브젝트(1020, 1040)를 특정하여, 해당 오브젝트에 대한 증강 현실 이미지를 디스플레이상에 표시할 수 있다.As shown in FIG. 10 , a first object that transmits a radio signal to an object to be specified may be a user's mobile terminal 1010 or a vehicle's mobile terminal 1030 . By specifying the second objects 1020 and 1040 having movement information corresponding to the movement information of the first object generated by using the characteristics of the radio signals transmitted by the first objects 1010 and 1030, the enhancement of the object A real image can be displayed on the display.

사용자의 이동 단말(1010) 또는 차량의 이동 단말(1030)이 제1 오브젝트에서 생성된 무선 신호를 수신하면, 수신한 무선 신호를 분석하여, 무선 신호의 세기의 변화, 무선 신호의 수신 시간차 또는 도플러 편이 주파수의 변화를 이용하여 움직임에 따른 이동정보를 생성한다. 이후, 촬상부를 이용한 증간현실 모드를 활성화하여, 촬상부로부터 이미지 데이터를 수신하고, 이미지 데이터를 분석하여 이미지에 포함된 제2 오브젝트의 이동정보를 생성하고, 제1 오브젝트의 이동정보와의 매칭을 통해 제1 오브젝트에 대응되는 오브젝트를 특정하고, 제1 오브젝트로 특정된 오브젝트의 위치를 나타내는 증강현실 이미지를 디스플레이에 표시할 수 있다. When the user's mobile terminal 1010 or the vehicle's mobile terminal 1030 receives the radio signal generated from the first object, it analyzes the received radio signal, and changes the strength of the radio signal, the radio signal reception time difference, or Doppler. The movement information according to the movement is generated by using the change in the shift frequency. Thereafter, by activating the augmented reality mode using the imaging unit, image data is received from the imaging unit, the image data is analyzed to generate movement information of the second object included in the image, and matching with the movement information of the first object is performed. Through this, an object corresponding to the first object may be specified, and an augmented reality image indicating the position of the object specified as the first object may be displayed on the display.

무선 신호를 이용하여 오브젝트를 특정하기 위하여, 차량의 이동 단말(1110) 및 사용자의 이동 단말(1130)은 도 11과 같이 구현될 수 있다. 각 단말의 하드웨어는 프로세서(1119, 1140), 인터페이스 장치(1120, 1141), 카메라(1121, 1142), 디스플레이(1122, 1143), 통신 시스템(1123, 1144) 이외에 무선 신호 송수신 장치(1124, 1125, 1145, 1146)로 구성되어 있으며, 소프트웨어는 OS(1117, 1138)와 어플리케이션으로 구성되어 있다. 어플리케이션은 카메라로부터 입력된 이미지를 분석하기 위한 이미지 처리 엔진, 이미지 분석 엔진이 있고, 증강현실 이미지 처리를 위한 증강현실 엔진, 신호 분석을 위한 신호 처리 엔진, 신호 분석 엔진 등(1112 내지 1116, 1133 내지 1137)으로 구성될 수 있다.In order to specify an object using a radio signal, the mobile terminal 1110 of the vehicle and the mobile terminal 1130 of the user may be implemented as shown in FIG. 11 . The hardware of each terminal includes wireless signal transceivers 1124 and 1125 in addition to processors 1119 and 1140, interface devices 1120 and 1141, cameras 1121 and 1142, displays 1122 and 1143, and communication systems 1123 and 1144. , 1145, 1146), and the software consists of OS (1117, 1138) and applications. Applications include an image processing engine and an image analysis engine for analyzing an image input from a camera, an augmented reality engine for augmented reality image processing, a signal processing engine for signal analysis, a signal analysis engine, etc. (1112 to 1116, 1133 to 1137).

도 12는 본 발명의 본 발명의 일 실시예에 따른 이미지 상 오브젝트를 특정하는 방법의 흐름도이고, 도 13 내지 도 16은 본 발명의 다른 실시예에 따른 이미지 상 오브젝트를 특정하는 방법의 흐름도이다. 도 12 내지 도 16의 각 단계에 대한 상세한 설명은 도 1 내지 도 11의 이동 단말에 대한 상세한 설명에 대응되는바, 이하 중복되는 설명은 생략하도록 한다.12 is a flowchart of a method for specifying an object on an image according to an embodiment of the present invention, and FIGS. 13 to 16 are flowcharts of a method for specifying an object on an image according to another embodiment of the present invention. The detailed description of each step of FIGS. 12 to 16 corresponds to the detailed description of the mobile terminal of FIGS. 1 to 11 , and the overlapping description will be omitted below.

본 발명의 일 실시예에 따른 오브젝트를 특정하는 방법은 먼저, S11 단계에서 특정하고자 하는 제1 오브젝트의 정보를 수신하고, S12 단계에서 촬상부가 이미지를 촬영하고, S13 단계에서 상기 이미지 상에서 하나 이상의 제2 오브젝트를 인식한다. 이후, S14 단계에서 상기 제2 오브젝트의 정보와 상기 제1 오브젝트의 정보를 비교하여, 상기 제2 오브젝트 중 하나의 오브젝트를 상기 제1 오브젝트로 특정하고, S15 단계에서 상기 제1 오브젝트로 특정된 오브젝트에 대한 증강현실 이미지를 상기 촬상부가 촬영하고 있는 이미지 상에 동기화하여 디스플레이에 표한다.In the method of specifying an object according to an embodiment of the present invention, first, information on a first object to be specified is received in step S11, the imaging unit takes an image in step S12, and one or more second objects on the image in step S13. 2 Recognize the object. Thereafter, by comparing the information of the second object with the information of the first object in step S14, one of the second objects is specified as the first object, and the object specified as the first object in step S15 The augmented reality image for is displayed on the display in synchronization with the image being photographed by the imaging unit.

상기 이미지 상에서 하나 이상의 제2 오브젝트를 인식하는 S13 단계는 상기 이미지 상에서 오브젝트 정보표시를 인식하여 상기 제2 오브젝트의 정보를 인식하는 S21 단계를 통해 수행될 수 있다. 여기서, 상기 오브젝트 정보표시는, 제2 오브젝트 장치의 정보표시부에 표시되거나, 상기 제2 오브젝트 장치의 디스플레이에 표시되는 표시일 수 있다.Step S13 of recognizing one or more second objects on the image may be performed through step S21 of recognizing information on the second object by recognizing object information display on the image. Here, the object information display may be a display displayed on the information display unit of the second object device or displayed on the display of the second object device.

본 발명의 다른 실시예에 따른 오브젝트를 특정하는 방법은 먼저, S31 단계에서 특정하고자 하는 제1 오브젝트로부터 무선 신호를 수신하고, S32 단계에서 상기 수신한 무선 신호를 분석하여 상기 제1 오브젝트의 이동정보를 생성한다. 이후, S33 단계에서 촬상부가 이미지를 촬영하고, S34 단계에서 상기 이미지 상에서 하나 이상의 제2 오브젝트를 인식하고, S35 단게에서 상기 촬상부가 촬영한 이미지를 이용하여 상기 제2 오브젝트의 이동정보를 생성한다. 이후, S36 단계에서 상기 제2 오브젝트의 이동정보 및 상기 제1 오브젝트의 이동정보를 비교하여, 상기 제2 오브젝트 중 하나의 오브젝트를 상기 제1 오브젝트로 특정하고, S37 단계에서 상기 제1 오브젝트로 특정된 오브젝트에 대한 증강현실 이미지를 상기 촬상부가 촬영하고 있는 이미지 상에 동기화하여 디스플레이에 표시한다.In the method of specifying an object according to another embodiment of the present invention, first, a radio signal is received from a first object to be specified in step S31, and the received radio signal is analyzed in step S32 to obtain movement information of the first object. create Thereafter, the imaging unit captures an image in step S33, recognizes one or more second objects on the image in step S34, and generates movement information of the second object using the image captured by the imaging unit in step S35. Thereafter, by comparing the movement information of the second object and the movement information of the first object in step S36, one of the second objects is specified as the first object, and in step S37, the movement information is specified as the first object. The augmented reality image of the object is synchronized with the image being photographed by the imaging unit and displayed on the display.

상기 제1 오브젝트의 이동정보를 생성하는 S32 단계는 상기 제1 오브젝트의 움직임에 따른 무선 신호의 특성을 이용하여 상기 제1 오브젝트의 이동정보를 생성하는 S41 단계를 통해 수행될 수 있다, 여기서, 상기 제1 오브젝트의 움직임에 따른 무선 신호의 특성은, 상기 무선 신호의 세기의 변화, 상기 무선 신호의 수신 시간차, 또는 도플러 편이 주파수의 변화 중 적어도 하나를 포함할 수 있다.The step S32 of generating the movement information of the first object may be performed through the step S41 of generating the movement information of the first object by using a characteristic of a radio signal according to the movement of the first object. The characteristic of the radio signal according to the movement of the first object may include at least one of a change in strength of the radio signal, a reception time difference of the radio signal, or a change in a Doppler shift frequency.

상기 제2 오브젝트의 이동정보를 생성하는 S35 단계는 이전 프레임에서의 제2 오브젝트의 위치와 현재 프레임에서의 제2 오브젝트의 위치의 변화를 이용하여 상기 제2 오브젝트의 이동정보를 생성하는 S51 단계를 통해 수행될 수 있다.The step S35 of generating the movement information of the second object includes the step S51 of generating the movement information of the second object using a change in the position of the second object in the previous frame and the position of the second object in the current frame. can be done through

상기 제1 오브젝트의 이동정보 또는 상기 제2 오브젝트의 이동정보는, 해당 오브젝트까지의 거리, 이동 속도, 및 이동 방향 중 적어도 하나를 포함할 수 있다.The movement information of the first object or the movement information of the second object may include at least one of a distance to the corresponding object, a movement speed, and a movement direction.

한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. Meanwhile, the embodiments of the present invention can be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. Also, computer-readable recording media are distributed in networked computer systems. , computer-readable code can be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention pertains.

본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.A person of ordinary skill in the art related to this embodiment will understand that it can be implemented in a modified form within a range that does not deviate from the essential characteristics of the above description. Therefore, the disclosed methods are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

100: 이동 단말
110: 촬상부
120: 디스플레이
130: 프로세서
140: 메모리
150: 통신부
200: 오브젝트
900: 제1 오브젝트100: mobile terminal
110: imaging unit
120: display
130: processor
140: memory
150: communication department
200: object
900: first object

Claims (18)

촬상부;
상기 촬상부가 촬영한 이미지를 표시하는 디스플레이;
적어도 하나의 프로세서; 및
상기 프로세서에서 수행되는 명령어를 저장하는 메모리를 포함하고,
상기 메모리에 저장되는 명령어는,
상기 촬상부가 촬영한 이미지 상에서 하나 이상의 제2 오브젝트를 인식하고, 상기 이미지 상에서 오브젝트 정보표시를 인식하여 상기 제2 오브젝트의 정보를 인식하고, 상기 제2 오브젝트의 정보 및 특정하고자 하는 제1 오브젝트의 정보를 이용하여 상기 제2 오브젝트 중 하나의 오브젝트를 상기 제1 오브젝트로 특정하며, 상기 제1 오브젝트로 특정된 오브젝트에 대한 증강현실 이미지를 상기 촬상부가 촬영하고 있는 이미지 상에 동기화하여 상기 디스플레이에 표시하는 명령어를 포함하고,
상기 오브젝트 정보표시는,
제2 오브젝트 장치의 정보표시부에 표시되거나, 상기 제2 오브젝트 장치의 디스플레이에 표시되는 표시인 것을 특징으로 하는 이동 단말.imaging unit;
a display for displaying the image captured by the imaging unit;
at least one processor; and
and a memory for storing instructions executed by the processor;
The command stored in the memory is
Recognizes one or more second objects on the image captured by the imaging unit, recognizes object information display on the image to recognize information on the second object, and information on the second object and information on a first object to be specified to specify one of the second objects as the first object using contains commands;
The object information display is
A mobile terminal, characterized in that the display is displayed on the information display unit of the second object device or displayed on the display of the second object device. 삭제delete 삭제delete 제1항에 있어서,
상기 메모리는,
제1 오브젝트로 특정될 수 있는 하나 이상의 오브젝트에 대한 정보를 저장하는 것을 특징으로 하는 이동 단말.According to claim 1,
The memory is
A mobile terminal, characterized in that it stores information on one or more objects that can be specified as the first object. 제1항에 있어서,
상기 제1 오브젝트로부터 무선 신호를 수신하는 통신부를 더 포함하고,
상기 메모리에 저장되는 명령어는,
상기 수신한 무선 신호를 분석하여 상기 제1 오브젝트의 이동정보를 생성하고, 상기 촬상부가 촬영한 이미지를 이용하여 상기 제2 오브젝트의 이동정보를 생성하고, 상기 제2 오브젝트의 이동정보 및 상기 제1 오브젝트의 이동정보를 비교하여, 상기 제2 오브젝트 중 하나의 오브젝트를 상기 제1 오브젝트로 특정하는 명령어를 포함하는 것을 특징으로 하는 이동 단말.According to claim 1,
Further comprising a communication unit for receiving a radio signal from the first object,
The command stored in the memory is
The movement information of the first object is generated by analyzing the received radio signal, the movement information of the second object is generated using the image photographed by the imaging unit, and the movement information of the second object and the first object are generated. and a command for comparing the movement information of the object and specifying one of the second objects as the first object. 제5항에 있어서,
상기 제1 오브젝트의 이동정보는,
상기 제1 오브젝트의 움직임에 따른 무선 신호의 특성을 이용하여 생성되는 것을 특징으로 하는 이동 단말.6. The method of claim 5,
The movement information of the first object,
The mobile terminal, characterized in that it is generated using the characteristics of the radio signal according to the movement of the first object. 제6항에 있어서,
상기 제1 오브젝트의 움직임에 따른 무선 신호의 특성은,
상기 무선 신호의 세기의 변화, 상기 무선 신호의 수신 시간차 또는 도플러 편이 주파수의 변화 중 적어도 하나를 포함하는 것을 특징으로 하는 이동 단말.7. The method of claim 6,
The characteristics of the radio signal according to the movement of the first object are,
A mobile terminal comprising at least one of a change in the strength of the radio signal, a time difference in reception of the radio signal, or a change in a Doppler shift frequency. 제5항에 있어서,
상기 제1 오브젝트의 이동정보 또는 상기 제2 오브젝트의 이동정보는,
해당 오브젝트까지의 거리, 이동 속도, 및 이동 방향 중 적어도 하나를 포함하는 것을 특징으로 하는 이동 단말.6. The method of claim 5,
The movement information of the first object or the movement information of the second object,
A mobile terminal comprising at least one of a distance to a corresponding object, a moving speed, and a moving direction. 제5항에 있어서,
상기 제2 오브젝트의 이동정보는,
이전 프레임에서의 제2 오브젝트의 위치와 현재 프레임에서의 제2 오브젝트의 위치의 변화를 이용하여 생성되는 것을 특징으로 하는 이동 단말.6. The method of claim 5,
The movement information of the second object,
A mobile terminal, characterized in that it is generated using a change in the position of the second object in the previous frame and the position of the second object in the current frame. 제1항에 있어서,
상기 이동단말은 사용자 단말 또는 차량 단말인 것을 특징으로 하는 이동 단말.According to claim 1,
The mobile terminal is a user terminal or a vehicle terminal, characterized in that the mobile terminal. 오브젝트를 특정하는 방법에 있어서,
특정하고자 하는 제1 오브젝트의 정보를 수신하는 단계;
촬상부가 이미지를 촬영하는 단계;
상기 이미지 상에서 하나 이상의 제2 오브젝트를 인식하는 단계;
상기 제2 오브젝트의 정보와 상기 제1 오브젝트의 정보를 비교하여, 상기 제2 오브젝트 중 하나의 오브젝트를 상기 제1 오브젝트로 특정하는 단계; 및
상기 제1 오브젝트로 특정된 오브젝트에 대한 증강현실 이미지를 상기 촬상부가 촬영하고 있는 이미지 상에 동기화하여 디스플레이에 표시하는 단계를 포함하고,
상기 이미지 상에서 하나 이상의 제2 오브젝트를 인식하는 단계는,
상기 이미지 상에서 오브젝트 정보표시를 인식하여 상기 제2 오브젝트의 정보를 인식하며,
상기 오브젝트 정보표시는,
제2 오브젝트 장치의 정보표시부에 표시되거나, 상기 제2 오브젝트 장치의 디스플레이에 표시되는 표시인 것을 특징으로 하는 방법.In the method of specifying an object,
receiving information on a first object to be specified;
capturing an image by the imaging unit;
recognizing one or more second objects on the image;
comparing the information of the second object with the information of the first object, and specifying one of the second objects as the first object; and
Comprising the step of synchronizing the augmented reality image for the object specified as the first object on the image being photographed by the imaging unit and displaying on a display,
Recognizing one or more second objects on the image comprises:
Recognizing the object information display on the image to recognize the information of the second object,
The object information display is
The method of claim 1, wherein the display is displayed on an information display unit of the second object device or displayed on a display of the second object device. 삭제delete 삭제delete 오브젝트를 특정하는 방법에 있어서,
특정하고자 하는 제1 오브젝트로부터 무선 신호를 수신하는 단계;
상기 수신한 무선 신호를 분석하여 상기 제1 오브젝트의 이동정보를 생성하는 단계;
촬상부가 이미지를 촬영하는 단계;
상기 이미지 상에서 하나 이상의 제2 오브젝트를 인식하는 단계;
상기 촬상부가 촬영한 이미지를 이용하여 상기 제2 오브젝트의 이동정보를 생성하는 단계;
상기 제2 오브젝트의 이동정보 및 상기 제1 오브젝트의 이동정보를 비교하여, 상기 제2 오브젝트 중 하나의 오브젝트를 상기 제1 오브젝트로 특정하는 단계; 및
상기 제1 오브젝트로 특정된 오브젝트에 대한 증강현실 이미지를 상기 촬상부가 촬영하고 있는 이미지 상에 동기화하여 디스플레이에 표시하는 단계를 포함하고,
상기 제1 오브젝트의 이동정보를 생성하는 단계는,
상기 제1 오브젝트의 움직임에 따른 무선 신호의 특성을 이용하여 상기 제1 오브젝트의 이동정보를 생성하는 방법. In the method of specifying an object,
Receiving a radio signal from a first object to be specified;
generating movement information of the first object by analyzing the received radio signal;
capturing an image by the imaging unit;
recognizing one or more second objects on the image;
generating movement information of the second object using the image captured by the imaging unit;
comparing the movement information of the second object with the movement information of the first object, and specifying one of the second objects as the first object; and
Comprising the step of synchronizing the augmented reality image for the object specified as the first object on the image being photographed by the imaging unit and displaying on a display,
The step of generating movement information of the first object comprises:
A method of generating movement information of the first object by using a characteristic of a radio signal according to the movement of the first object. 삭제delete 제14항에 있어서,
상기 제1 오브젝트의 움직임에 따른 무선 신호의 특성은,
상기 무선 신호의 세기의 변화, 상기 무선 신호의 수신 시간차 또는 도플러 편이 주파수의 변화 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.15. The method of claim 14,
The characteristics of the radio signal according to the movement of the first object are,
The method of claim 1, comprising at least one of a change in the strength of the radio signal, a time difference in reception of the radio signal, or a change in a Doppler shift frequency. 제14항에 있어서,
상기 제1 오브젝트의 이동정보 또는 상기 제2 오브젝트의 이동정보는,
해당 오브젝트까지의 거리, 이동 속도, 및 이동 방향 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.15. The method of claim 14,
The movement information of the first object or the movement information of the second object,
A method comprising at least one of a distance to a corresponding object, a moving speed, and a moving direction. 제14항에 있어서,
상기 제2 오브젝트의 이동정보를 생성하는 단계는,
이전 프레임에서의 제2 오브젝트의 위치와 현재 프레임에서의 제2 오브젝트의 위치의 변화를 이용하여 상기 제2 오브젝트의 이동정보를 생성하는 것을 특징으로 하는 방법.


15. The method of claim 14,
The step of generating the movement information of the second object comprises:
A method of generating the movement information of the second object by using a change in the position of the second object in the previous frame and the position of the second object in the current frame.
KR1020200031015A 2020-03-12 2020-03-12 Apparatus and method for identifying object in crowd of objects using augmented reality KR102295226B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200031015A KR102295226B1 (en) 2020-03-12 2020-03-12 Apparatus and method for identifying object in crowd of objects using augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200031015A KR102295226B1 (en) 2020-03-12 2020-03-12 Apparatus and method for identifying object in crowd of objects using augmented reality

Publications (1)

Publication Number Publication Date
KR102295226B1 true KR102295226B1 (en) 2021-08-27

Family

ID=77504701

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200031015A KR102295226B1 (en) 2020-03-12 2020-03-12 Apparatus and method for identifying object in crowd of objects using augmented reality

Country Status (1)

Country Link
KR (1) KR102295226B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160007473A (en) * 2015-12-31 2016-01-20 네이버 주식회사 Method, system and recording medium for providing augmented reality service and file distribution system
KR20190081177A (en) * 2017-12-29 2019-07-09 엘에스산전 주식회사 Device and method for providing augmented reality user interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160007473A (en) * 2015-12-31 2016-01-20 네이버 주식회사 Method, system and recording medium for providing augmented reality service and file distribution system
KR20190081177A (en) * 2017-12-29 2019-07-09 엘에스산전 주식회사 Device and method for providing augmented reality user interface

Similar Documents

Publication Publication Date Title
AU2018336999B2 (en) Adaptable interface for retrieving available electronic digital assistant services
US10740863B2 (en) Location signaling with respect to an autonomous vehicle and a rider
US20140176348A1 (en) Location based parking management system
US20150009327A1 (en) Image capture device for moving vehicles
US10528794B2 (en) System and method for tailoring an electronic digital assistant inquiry response as a function of previously detected user ingestion of related video information
US20170205889A1 (en) Individually interactive multi-view display system for non-stationary viewing locations and methods therefor
EP3848674B1 (en) Location signaling with respect to an autonomous vehicle and a rider
US10531048B2 (en) System and method for identifying a person, object, or entity (POE) of interest outside of a moving vehicle
CN100382074C (en) Position tracking system and method based on digital video processing technique
US20190171740A1 (en) Method and system for modifying a search request corresponding to a person, object, or entity (poe) of interest
CN102375867A (en) Apparatus and method for recognizing objects using filter information
US11164028B2 (en) License plate detection system
US11587442B2 (en) System, program, and method for detecting information on a person from a video of an on-vehicle camera
US11520033B2 (en) Techniques for determining a location of a mobile object
US11741705B1 (en) Location tracking system using a plurality of cameras
JP2005136665A (en) Method and device for transmitting and receiving data signal, system, program and recording medium
Iizuka Image sensor communication—Current status and future perspectives
KR102295226B1 (en) Apparatus and method for identifying object in crowd of objects using augmented reality
US20140169628A1 (en) Method and Device for Detecting the Gait of a Pedestrian for a Portable Terminal
US20220295017A1 (en) Rendezvous assistance apparatus, rendezvous assistance system, and rendezvous assistance method
JPWO2020039897A1 (en) Station monitoring system and station monitoring method
JP2017096635A (en) Destination setting system, method and program
KR102009396B1 (en) Apparatus for recognizing target and apparatus for providing access information using human-friendly information and communication method thereof
CN111050039A (en) Image pickup method, image pickup apparatus, and computer-readable storage medium
Mahalanobis et al. Network video image processing for security, surveillance, and situational awareness

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant