KR102316720B1 - Apparatus and method for determinating driving information of vehicle using position and pattern of road sign - Google Patents

Apparatus and method for determinating driving information of vehicle using position and pattern of road sign Download PDF

Info

Publication number
KR102316720B1
KR102316720B1 KR1020190177429A KR20190177429A KR102316720B1 KR 102316720 B1 KR102316720 B1 KR 102316720B1 KR 1020190177429 A KR1020190177429 A KR 1020190177429A KR 20190177429 A KR20190177429 A KR 20190177429A KR 102316720 B1 KR102316720 B1 KR 102316720B1
Authority
KR
South Korea
Prior art keywords
sign
information
road
image
road sign
Prior art date
Application number
KR1020190177429A
Other languages
Korean (ko)
Other versions
KR20210084912A (en
Inventor
김상태
김대영
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020190177429A priority Critical patent/KR102316720B1/en
Publication of KR20210084912A publication Critical patent/KR20210084912A/en
Application granted granted Critical
Publication of KR102316720B1 publication Critical patent/KR102316720B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/30—Transportation; Communications
    • G06Q50/40—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

다양한 실시예들에 따른 전자 장치 및 그의 동작 방법은, 차량 주행 중 영상을 획득하고, 영상 내의 도로 표지판의 패턴 및 위치를 포함하는 표지판 정보를 검출하고, 표지판 정보를 이용하여, 차량에 대한 주행 정보를 결정하도록 구성될 수 있다. An electronic device and an operating method thereof, according to various embodiments of the present disclosure, obtain an image while driving a vehicle, detect sign information including a pattern and a location of a road sign in the image, and use the sign information to obtain driving information on a vehicle can be configured to determine

Description

도로 표지판의 패턴과 위치를 이용한 차량의 주행 정보 인식 방법 및 장치{APPARATUS AND METHOD FOR DETERMINATING DRIVING INFORMATION OF VEHICLE USING POSITION AND PATTERN OF ROAD SIGN}Method and apparatus for recognizing driving information of a vehicle using patterns and positions of road signs

다양한 실시예들은 도로 표지판의 패턴과 위치를 이용한 차량의 주행 정보 인식 방법 및 장치에 관한 것이다. Various embodiments relate to a method and apparatus for recognizing driving information of a vehicle using a pattern and a location of a road sign.

일반적으로 차량은 사람 또는 화물을 운송할 목적으로 차륜을 구동시켜 도로 위를 주행하는 운송 기계를 나타낸다. 최근, 자율 주행이 가능한 차량이 개발되고 있다. 즉 차량은, 운전자가 직접 운전하지 않고, 자율 주행을 통해 스스로 도로 위를 달릴 수 있다. 이러한 차량은 주변 정보를 수집하고, 이를 자율 주행에 이용하고 있다. 따라서, 차량의 안전한 자율 주행을 위해서는, 차량이 많은 정보를 수집하고, 이를 이용할 수 있어야 한다.BACKGROUND ART In general, a vehicle refers to a transportation machine that drives on a road by driving wheels for the purpose of transporting people or cargo. Recently, a vehicle capable of autonomous driving has been developed. That is, the vehicle may run on the road by itself through autonomous driving, without the driver directly driving it. These vehicles collect surrounding information and use it for autonomous driving. Therefore, for safe autonomous driving of the vehicle, the vehicle must collect a lot of information and be able to use it.

다양한 실시예들은, 차량의 안전한 주행을 위해 추가적인 정보를 이용할 수 있는 전자 장치 및 그의 동작 방법을 제공한다. Various embodiments provide an electronic device capable of using additional information for safe driving of a vehicle and an operating method thereof.

다양한 실시예들은, 도로 표지판과 관련된 정보를 이용하여 차량을 제어할 수 있는 전자 장치 및 그의 동작 방법을 제공한다. Various embodiments provide an electronic device capable of controlling a vehicle using information related to a road sign and an operating method thereof.

다양한 실시예들에 따른 전자 장치의 동작 방법은, 차량 주행 중 영상을 획득하는 동작, 상기 영상 내의 도로 표지판의 패턴 및 위치를 포함하는 표지판 정보를 검출하는 동작, 및 상기 표지판 정보를 이용하여, 상기 차량에 대한 주행 정보를 결정하는 동작을 포함할 수 있다. The method of operating an electronic device according to various embodiments includes an operation of acquiring an image while driving a vehicle, an operation of detecting sign information including a pattern and a location of a road sign in the image, and an operation of using the sign information to provide the It may include an operation of determining driving information for the vehicle.

다양한 실시예들에 따른 전자 장치는, 카메라 모듈, 및 상기 카메라 모듈과 연결되고, 상기 영상을 기반으로 동작하도록 구성되는 프로세서를 포함하고, 상기 프로세서는, 상기 카메라 모듈을 통해, 차량 주행 중 영상을 획득하고, 상기 영상 내의 도로 표지판의 패턴 및 위치를 포함하는 표지판 정보를 검출하고, 상기 표지판 정보를 이용하여, 상기 차량에 대한 주행 정보를 결정하도록 구성될 수 있다. An electronic device according to various embodiments includes a camera module and a processor connected to the camera module and configured to operate based on the image, wherein the processor captures an image while driving a vehicle through the camera module obtain, detect sign information including a pattern and a position of a road sign in the image, and use the sign information to determine driving information for the vehicle.

다양한 실시예들에 따른 비-일시적(non-transitory) 컴퓨터-판독 가능(computer-readable) 저장(storage) 매체(medium)는, 차량 주행 중 영상을 획득하는 동작, 상기 영상 내의 도로 표지판의 패턴 및 위치를 포함하는 표지판 정보를 검출하는 동작, 및 상기 표지판 정보를 이용하여, 상기 차량에 대한 주행 정보를 결정하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장할 수 있다.A non-transitory computer-readable storage medium according to various embodiments includes an operation of acquiring an image while driving a vehicle, a pattern of a road sign in the image, and One or more programs for executing an operation of detecting sign information including a location and an operation of determining driving information for the vehicle by using the sign information may be stored.

다양한 실시예들에 따르면, 전자 장치는 도로 표지판을 기반으로, 차량을 제어할 수 있다. 이 때 전자 장치는 도로 표지판과 관련된 주행 정보를 추가적으로 이용하여, 차량의 주행을 제어할 수 있다. 이를 통해, 차량의 주행에 있어서, 안정성이 향상될 수 있다. 즉 전자 장치는 도로 표지판의 패턴 및 위치를 포함하는 표지판 정보를 기반으로, 서버로부터 주행 정보를 획득할 수 있다. 이를 통해, 전자 장치가 도로 표지판의 종류 및 내용을 정확하게 인식하지 않더라도, 주행 정보를 획득할 수 있다. 따라서, 전자 장치가 용이하게 도로 표지판과 관련된 주행 정보를 획득할 수 있으며, 차량을 제어하는 데 있어서 향상된 정확도를 가질 수 있다.According to various embodiments, the electronic device may control a vehicle based on a road sign. In this case, the electronic device may control the driving of the vehicle by additionally using driving information related to the road sign. Through this, in driving of the vehicle, stability may be improved. That is, the electronic device may acquire driving information from the server based on sign information including the pattern and location of the road sign. Through this, even if the electronic device does not accurately recognize the type and content of the road sign, driving information may be acquired. Accordingly, the electronic device may easily obtain driving information related to the road sign, and may have improved accuracy in controlling the vehicle.

도 1은 다양한 실시예들에 따른 시스템을 도시하는 도면이다.
도 2는 다양한 실시예들에 따른 시스템의 신호 흐름을 도시하는 도면이다.
도 3은 다양한 실시예들에 따른 전자 장치 및 서버의 내부 구성을 도시하는 도면이다.
도 4a, 도 4b 및 도 4c는 도로 표지판들의 예시들을 나타내는 도면들이다.
도 5는 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시하는 도면이다.
도 6은 다양한 실시예들에 따른 서버의 동작 방법을 도시하는 도면이다. 1 is a diagram illustrating a system according to various embodiments.
2 is a diagram illustrating a signal flow of a system according to various embodiments.
3 is a diagram illustrating an internal configuration of an electronic device and a server according to various embodiments of the present disclosure;
4A, 4B and 4C are diagrams illustrating examples of road signs.
5 is a diagram illustrating a method of operating an electronic device according to various embodiments of the present disclosure;
6 is a diagram illustrating a method of operating a server according to various embodiments of the present disclosure;

이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다. Hereinafter, various embodiments of the present document will be described with reference to the accompanying drawings.

도 1은 다양한 실시예들에 따른 시스템(100)을 도시하는 도면이다. 1 is a diagram illustrating a system 100 in accordance with various embodiments.

도 1을 참조하면, 다양한 실시예들에 따른 시스템(100)은 도로 표지판(110)과 관련되며, 차량(120)과 서버(130)를 포함할 수 있다. 이러한 시스템(100)은 도로 표지판(110)을 기반으로, 차량(120)의 주행을 제어하기 위한 것이다. 이 때 차량(120)은 전자 장치(도 2의 220)를 포함하며, 실질적으로 전자 장치(220)가 차량(120)을 제어할 수 있다. 전자 장치(220)는 차량(120)의 주행 중 도로 표지판(110)을 기반으로, 서버(130)로부터 주행 정보를 검출할 수 있다. 그리고 전자 장치(220)는 주행 정보를 기반으로, 차량(120)을 제어할 수 있다. Referring to FIG. 1 , a system 100 according to various embodiments is related to a road sign 110 , and may include a vehicle 120 and a server 130 . This system 100 is for controlling the driving of the vehicle 120 based on the road sign 110 . In this case, the vehicle 120 includes an electronic device ( 220 in FIG. 2 ), and the electronic device 220 may substantially control the vehicle 120 . The electronic device 220 may detect driving information from the server 130 based on the road sign 110 while the vehicle 120 is driving. In addition, the electronic device 220 may control the vehicle 120 based on the driving information.

도 2는 다양한 실시예들에 따른 시스템(100)의 신호 흐름을 도시하는 도면이다. 2 is a diagram illustrating a signal flow of the system 100 in accordance with various embodiments.

도 2를 참조하면, 전자 장치(220)는 241 동작에서 차량(120)의 주행을 감지할 수 있다. 이 때 전자 장치(220)가 차량(120)의 주행을 제어하고 있을 수 있다. 전자 장치(220)는 243 동작에서 차량(120) 주변의 영상을 획득할 수 있다. 즉 차량(120)의 주행 중, 전자 장치(220)가 영상을 획득할 수 있다. 이 때 전자 장치(220)는 차량(120)의 주행 방향에 대해 실시간으로 영상을 획득할 수 있다. 전자 장치(220)는 245 동작에서 영상을 기반으로, 표지판 정보를 검출할 수 있다. 전자 장치(220)는 영상 내에서 도로 표지판(110)을 감지하고, 도로 표지판(110)과 관련된 표지판 정보를 검출할 수 있다. 여기서, 표지판 정보는 도로 표지판(110)의 패턴과 위치를 포함할 수 있다. 도로 표지판(110)의 패턴은 영상 내에서 도로 표지판(110)을 나타내는 영역의 이미지 또는 영상 내에서 검출되는 도로 표지판(110)에 부착된 바코드 중 적어도 어느 하나를 기반으로, 검출될 수 있다. 도로 표지판(110)의 종류 또는 내용에 따라, 도로 표지판(110)의 형태, 가로세로 비(aspect ratio), 색상 또는 내부 콘텐트(content) 중 적어도 어느 하나가 다르게 나타날 수 있다. 도로 표지판(110)의 형태는, 예컨대 방패 모양, 타원 모양, 직사각형, 육각형 등을 포함할 수 있다. 도로 표지판(110)의 색상은 배경 색상과 내부 콘텐트의 색상으로 결정될 수 있다. 도로 표지판(110)의 내부 콘텐트는 화살표 또는 텍스트 중 적어도 어느 하나를 포함할 수 있다. 위치는 도로 표지판(110)의 위치 또는 전자 장치(220)의 위치 중 적어도 어느 하나를 포함할 수 있으며, 예컨대 GPS 좌표를 포함할 수 있다. 전자 장치(220)는 247 동작에서 서버(130)에 표지판 정보를 전송할 수 있다. Referring to FIG. 2 , the electronic device 220 may detect the driving of the vehicle 120 in operation 241 . At this time, the electronic device 220 may be controlling the driving of the vehicle 120 . The electronic device 220 may acquire an image around the vehicle 120 in operation 243 . That is, while the vehicle 120 is driving, the electronic device 220 may acquire an image. In this case, the electronic device 220 may acquire an image of the driving direction of the vehicle 120 in real time. The electronic device 220 may detect sign information based on the image in operation 245 . The electronic device 220 may detect the road sign 110 in the image and detect sign information related to the road sign 110 . Here, the sign information may include a pattern and a location of the road sign 110 . The pattern of the road sign 110 may be detected based on at least one of an image of a region representing the road sign 110 in the image or a barcode attached to the road sign 110 detected in the image. According to the type or content of the road sign 110 , at least one of a shape, an aspect ratio, a color, or internal content of the road sign 110 may appear differently. The shape of the road sign 110 may include, for example, a shield shape, an oval shape, a rectangle, a hexagon, and the like. The color of the road sign 110 may be determined by the background color and the color of the internal content. The internal content of the road sign 110 may include at least one of arrows and text. The location may include at least one of the location of the road sign 110 and the location of the electronic device 220 , and may include, for example, GPS coordinates. The electronic device 220 may transmit sign information to the server 130 in operation 247 .

서버(130)는 247 동작에서 전자 장치(220)로부터 표지판 정보를 수신할 수 있다. 서버(130)는 249 동작에서 표지판 정보를 기반으로, 주행 정보를 확인할 수 있다. 이를 위해, 서버(130)는, 복수 개의 도로 표지판(110)들과 도로 표지판(110)들 각각에 대한 주행 정보가 매핑된 표지판 관련 데이터베이스(도 3의 335)를 저장하고 있을 수 있다. 그리고, 서버(130)는 표지판 정보를 기반으로, 표지판 관련 데이터베이스(335)로부터 주행 정보를 확인할 수 있다. 즉 서버(130)는 도로 표지판(110)의 패턴 및 위치를 기반으로, 주행 정보를 확인할 수 있다. 이를 위해, 서버(130)가 도로 표지판(110)의 패턴을 분석할 수 있다. 일 실시예에 따르면, 서버(130)가 도로 표지판(110)의 패턴에서 적어도 하나의 특징점을 추출하고, 특징점을 기반으로, 도로 표지판(110)을 식별할 수 있다. 이를 통해, 서버(130)가 도로 표지판(110)과 관련된 주행 정보를 확인할 수 있다. 예를 들면, 주행 정보는 도로 노선에 대한 노선 표지 정보, 주행 방향과 관련된 방향 표지 정보, 목적지 관련 거리를 나타내는 이정 표지 정보, 교차점이나 공사 구간, 도로의 굴곡, 차선폭 감소, 노면 상태 등에 대해 경고하는 경계 표지 정보 또는 단속 일정을 안내하는 것 등의 보조 표지 정보 중 적어도 어느 하나를 포함할 수 있다. 서버(130)는 251 동작에서 전자 장치(220)에 주행 정보를 전송할 수 있다. The server 130 may receive sign information from the electronic device 220 in operation 247 . The server 130 may check driving information based on the sign information in operation 249 . To this end, the server 130 may store a plurality of road signs 110 and a sign-related database ( 335 of FIG. 3 ) in which driving information for each of the road signs 110 is mapped. Then, the server 130 may check the driving information from the sign-related database 335 based on the sign information. That is, the server 130 may check the driving information based on the pattern and location of the road sign 110 . To this end, the server 130 may analyze the pattern of the road sign 110 . According to an embodiment, the server 130 may extract at least one feature point from the pattern of the road sign 110 and identify the road sign 110 based on the feature point. Through this, the server 130 may check driving information related to the road sign 110 . For example, driving information may include route sign information for road routes, direction sign information related to driving directions, milestone information indicating distances related to destinations, intersections or construction sections, curvature of roads, reduced lane widths, and road surface conditions. It may include at least one of boundary sign information and auxiliary sign information such as guiding a crackdown schedule. The server 130 may transmit driving information to the electronic device 220 in operation 251 .

전자 장치(220)는 251 동작에서 서버(130)로부터 주행 정보를 수신할 수 있다. 전자 장치(220)는 253 동작에서 주행 정보를 기반으로, 차량(120)을 제어할 수 있다. 이를 통해, 전자 장치(220)는 차량(120)의 주행 중 도로 표지판(110)을 기반으로, 차량(120)을 제어할 수 있다. The electronic device 220 may receive driving information from the server 130 in operation 251 . The electronic device 220 may control the vehicle 120 based on the driving information in operation 253 . Through this, the electronic device 220 may control the vehicle 120 based on the road sign 110 while the vehicle 120 is driving.

도 3은 다양한 실시예들에 따른 전자 장치(220) 및 서버(130)의 내부 구성을 도시하는 도면이다. 도 4a, 도 4b 및 도 4c는 도로 표지판(110)들의 예시들을 나타내는 도면들이다. 3 is a diagram illustrating internal configurations of the electronic device 220 and the server 130 according to various embodiments of the present disclosure. 4A, 4B and 4C are diagrams illustrating examples of road signs 110 .

도 3을 참조하면, 다양한 실시예들에 따른 전자 장치(220)는 차량(120)에 장착될 수 있으며, 인터페이스 모듈(321), 카메라 모듈(322), 통신 모듈(323), 입력 모듈(324), 센서 모듈(325), 출력 모듈(326), 메모리(327) 또는 프로세서(328) 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(220)의 구성 요소들 중 적어도 어느 하나가 생략되거나, 전자 장치(220)에 하나 이상의 다른 구성 요소가 추가될 수 있다.Referring to FIG. 3 , the electronic device 220 according to various embodiments may be mounted on a vehicle 120 , and may include an interface module 321 , a camera module 322 , a communication module 323 , and an input module 324 . ), a sensor module 325 , an output module 326 , a memory 327 , or a processor 328 . In some embodiments, at least one of the components of the electronic device 220 may be omitted or one or more other components may be added to the electronic device 220 .

인터페이스 모듈(321)은 전자 장치(220)에서 차량(120)과 인터페이스를 지원할 수 있다. 전자 장치(220)가 차량(120)에 장착되면, 인터페이스 모듈(321)이 차량의 구성 부품들 중 적어도 어느 하나와 접속할 수 있다. 그리고, 인터페이스 모듈(321)은 차량(120)의 구성 부품들 중 적어도 어느 하나와 인터페이스를 수행할 수 있다. The interface module 321 may support an interface with the vehicle 120 in the electronic device 220 . When the electronic device 220 is mounted on the vehicle 120 , the interface module 321 may connect to at least one of the components of the vehicle. In addition, the interface module 321 may interface with at least one of the components of the vehicle 120 .

카메라 모듈(322)은 영상을 촬영할 수 있다. 전자 장치(220)가 차량(120)에 장착되면, 카메라 모듈(322)이 차량(120) 주변의 영상을 촬영할 수 있다. 예를 들면, 카메라 모듈(322)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들 또는 플래시들 중 적어도 어느 하나를 포함할 수 있다.The camera module 322 may capture an image. When the electronic device 220 is mounted on the vehicle 120 , the camera module 322 may capture an image around the vehicle 120 . For example, the camera module 322 may include at least one of one or more lenses, image sensors, image signal processors, or flashes.

통신 모듈(323)은 전자 장치(220)에서 외부 장치(예: 서버(130))와 통신을 지원할 수 있다. 통신 모듈(323)은 외부 장치와의 유선 통신 또는 무선 통신 중 적어도 어느 하나를 지원할 수 있다. 이를 위해, 통신 모듈(323)은 무선 통신 모듈 또는 유선 통신 모듈 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 무선 통신 모듈은 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 위성 통신 모듈 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 외부 장치는, 다른 전자 장치 또는 서버(130) 중 적어도 어느 하나를 포함할 수 있다. The communication module 323 may support communication with an external device (eg, the server 130 ) in the electronic device 220 . The communication module 323 may support at least one of wired communication or wireless communication with an external device. To this end, the communication module 323 may include at least one of a wireless communication module and a wired communication module. For example, the wireless communication module may include at least one of a cellular communication module, a short-range wireless communication module, and a satellite communication module. For example, the external device may include at least one of another electronic device or the server 130 .

입력 모듈(324)은 전자 장치(220)의 구성요소들 중 적어도 어느 하나에 사용될 명령 또는 데이터를 전자 장치(220)의 외부, 예컨대 사용자로부터 수신할 수 있다. 입력 모듈(324)은 마이크, 마우스 또는 키(또는 버튼)을 포함할 수 있다. 어떤 실시예에서, 입력 모듈(324)은 터치를 감지하도록 설정된 터치 회로(touch circuitry) 또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로 중 적어도 어느 하나를 포함할 수 있다. The input module 324 may receive a command or data to be used in at least one of the components of the electronic device 220 from the outside of the electronic device 220 , for example, from a user. The input module 324 may include a microphone, a mouse, or a key (or button). In some embodiments, the input module 324 may include at least one of a touch circuitry configured to sense a touch or a sensor circuit configured to measure the intensity of a force generated by the touch.

센서 모듈(325)은 전자 장치(220)의 상태, 차량(120)의 상태 또는 전자 장치(220)의 외부 환경을 감지할 수 있다. 그리고 센서 모듈(325)은 전자 장치(220)의 상태, 차량(120)의 상태 또는 전자 장치(220)의 외부 환경에 대한 센싱 데이터를 생성할 수 있다.The sensor module 325 may sense the state of the electronic device 220 , the state of the vehicle 120 , or the external environment of the electronic device 220 . In addition, the sensor module 325 may generate sensing data for the state of the electronic device 220 , the state of the vehicle 120 , or the external environment of the electronic device 220 .

출력 모듈(326)은 전자 장치(220)의 외부로 정보를 출력하도록 제공될 수 있다. 출력 모듈(326)은 시각적으로 정보를 표시하기 위한 표시 모듈 또는 정보를 오디오 신호로 출력하기 위한 오디오 출력 모듈 중 적어도 어느 하나를 포함할 수 있다. 표시 모듈은, 예컨대 디스플레이, 홀로그램 장치 또는 프로젝터 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서, 표시 모듈은 입력 모듈(324)의 터치 회로 또는 센서 회로 중 적어도 어느 하나와 조립되어, 터치 스크린으로 구현될 수 있다. 오디오 출력 모듈은, 예컨대 스피커 또는 리시버 중 적어도 어느 하나를 포함할 수 있다.The output module 326 may be provided to output information to the outside of the electronic device 220 . The output module 326 may include at least one of a display module for visually displaying information and an audio output module for outputting information as an audio signal. The display module may include, for example, at least one of a display, a hologram device, and a projector. In some embodiments, the display module may be implemented as a touch screen by being assembled with at least one of a touch circuit and a sensor circuit of the input module 324 . The audio output module may include, for example, at least one of a speaker and a receiver.

메모리(327)는 전자 장치(220)의 적어도 하나의 구성 요소에 의해 사용되는 다양한 데이터를 저장할 수 있다. 예를 들면, 메모리(327)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 어느 하나를 포함할 수 있다. 데이터는 프로그램 또는 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 프로그램은 메모리(327)에 소프트웨어로서 저장될 수 있으며, 운영 체제, 미들 웨어 또는 어플리케이션 중 적어도 어느 하나를 포함할 수 있다. 이 때 어플리케이션은 차량(120)을 제어하기 위한 것일 수 있다. The memory 327 may store various data used by at least one component of the electronic device 220 . For example, the memory 327 may include at least one of a volatile memory and a non-volatile memory. The data may include input data or output data for a program or instructions related thereto. The program may be stored as software in the memory 327 and may include at least one of an operating system, middleware, or an application. In this case, the application may be for controlling the vehicle 120 .

프로세서(328)는 메모리(327)의 프로그램을 실행하여, 전자 장치(220)의 적어도 하나의 구성 요소를 제어할 수 있고, 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(328)는 어플리케이션을 실행할 수 있다. 이 때 어플리케이션은 차량(120)을 제어하기 위한 것일 수 있다. 전자 장치(220)가 차량(120)에 장착되면, 프로세서(328)는 차량(120)을 제어할 수 있다. 프로세서(328)는 차량(120)의 주행 중 도로 표지판(110)을 기반으로, 차량(120)을 제어할 수 있다. The processor 328 executes a program in the memory 327 to control at least one component of the electronic device 220 and to process data or perform an operation. The processor 328 may execute an application. In this case, the application may be for controlling the vehicle 120 . When the electronic device 220 is mounted on the vehicle 120 , the processor 328 may control the vehicle 120 . The processor 328 may control the vehicle 120 based on the road sign 110 while the vehicle 120 is driving.

프로세서(328)는 차량(120)의 주행을 감지할 수 있다. 프로세서(328)는 카메라 모듈(322)을 통해, 차량(120) 주변의 영상을 획득할 수 있다. 이 때 차량(120)의 주행 중, 프로세서(328)가 카메라 모듈(322)을 통해, 차량(120)의 주행 방향에 대해 실시간으로 영상을 획득할 수 있다. The processor 328 may detect driving of the vehicle 120 . The processor 328 may acquire an image around the vehicle 120 through the camera module 322 . In this case, while the vehicle 120 is driving, the processor 328 may acquire an image of the driving direction of the vehicle 120 in real time through the camera module 322 .

프로세서(328)는 영상을 기반으로, 표지판 정보를 검출할 수 있다. 프로세서(328)는 영상 내에서 도로 표지판(110)을 감지하고, 도로 표지판(110)과 관련된 표지판 정보를 검출할 수 있다. 여기서, 표지판 정보는 도로 표지판(110)의 패턴과 위치를 포함할 수 있다. 도로 표지판(110)의 패턴은 이미지, 바코드 또는 이미지로부터 패턴화된 정보 중 적어도 어느 하나를 포함할 수 있다. 일 실시예에 따르면, 프로세서(328)는 도로 표지판(110)의 패턴은 영상 내에서 도로 표지판(110)을 나타내는 영역의 이미지를 도로 표지판(110)의 패턴으로 검출할 수 있다. 다른 실시예에 따르면, 프로세서(328)는 영상 내에서 검출되는 도로 표지판(110)에 부착된 바코드를 도로 표지판(110)의 패턴으로 검출할 수 있다. 또 다른 실시예에 따르면, 프로세서(328)는 영상 내에서 도로 표지판(110)을 나타내는 영역의 이미지를 추출하고, 컴퓨터 비전 알고리즘을 이용하여 이미지를 패턴화하여 도로 표지판(110)의 패턴으로 검출할 수 있다. 위치는 도로 표지판(110)의 위치 또는 전자 장치(220)의 위치 중 적어도 어느 하나를 포함할 수 있다. 프로세서(328)는 통신 모듈(323)을 통해, 서버(130)에 표지판 정보를 전송할 수 있다. 프로세서(328)는 통신 모듈(323)을 통해, 서버(130)로부터 주행 정보를 수신할 수 있다. 이를 통해, 프로세서(328)는 주행 정보를 기반으로, 인터페이스 모듈(321)을 통해, 차량(120)을 제어할 수 있다. The processor 328 may detect sign information based on the image. The processor 328 may detect the road sign 110 in the image and detect sign information related to the road sign 110 . Here, the sign information may include a pattern and a location of the road sign 110 . The pattern of the road sign 110 may include at least one of an image, a barcode, or information patterned from the image. According to an embodiment, the processor 328 may detect an image of a region representing the road sign 110 in the image of the pattern of the road sign 110 as the pattern of the road sign 110 . According to another embodiment, the processor 328 may detect a barcode attached to the road sign 110 detected in the image as a pattern of the road sign 110 . According to another embodiment, the processor 328 extracts an image of a region representing the road sign 110 from within the image, and uses a computer vision algorithm to pattern the image to detect as a pattern of the road sign 110 . can The location may include at least one of a location of the road sign 110 and a location of the electronic device 220 . The processor 328 may transmit sign information to the server 130 through the communication module 323 . The processor 328 may receive driving information from the server 130 through the communication module 323 . Through this, the processor 328 may control the vehicle 120 through the interface module 321 based on the driving information.

한편, 도 3을 참조하면, 다양한 실시예들에 따른 서버(130)는 통신 모듈(331), 입력 모듈(332), 출력 모듈(333), 메모리(334) 또는 프로세서(336) 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서는 서버(130)의 구성 요소들 중 적어도 어느 하나가 생략되거나, 서버(130)에 하나 이상의 다른 구성 요소가 추가될 수 있다.Meanwhile, referring to FIG. 3 , the server 130 according to various embodiments may include at least one of a communication module 331 , an input module 332 , an output module 333 , a memory 334 , and a processor 336 . may include. In some embodiments, at least one of the components of the server 130 may be omitted or one or more other components may be added to the server 130 .

통신 모듈(331)은 서버(130)에서 외부 장치(예: 전자 장치(220))와 통신을 지원할 수 있다. 통신 모듈(331)은 외부 장치와의 유선 통신 또는 무선 통신 중 적어도 어느 하나를 지원할 수 있다. 이를 위해, 통신 모듈(331)은 무선 통신 모듈 또는 유선 통신 모듈 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 무선 통신 모듈은 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 위성 통신 모듈 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 외부 장치는, 전자 장치(220) 또는 다른 서버 중 적어도 어느 하나를 포함할 수 있다. The communication module 331 may support communication with an external device (eg, the electronic device 220 ) in the server 130 . The communication module 331 may support at least one of wired communication or wireless communication with an external device. To this end, the communication module 331 may include at least one of a wireless communication module and a wired communication module. For example, the wireless communication module may include at least one of a cellular communication module, a short-range wireless communication module, and a satellite communication module. For example, the external device may include at least one of the electronic device 220 and another server.

입력 모듈(332)은 서버(130)의 구성요소들 중 적어도 어느 하나에 사용될 명령 또는 데이터를 서버(130)의 외부, 예컨대 사용자로부터 수신할 수 있다. 입력 모듈(332)은 마이크, 마우스 또는 키(또는 버튼)을 포함할 수 있다. 어떤 실시예에서, 입력 모듈(332)은 터치를 감지하도록 설정된 터치 회로(touch circuitry) 또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로 중 적어도 어느 하나를 포함할 수 있다. The input module 332 may receive a command or data to be used for at least one of the components of the server 130 from the outside of the server 130 , for example, from a user. The input module 332 may include a microphone, a mouse, or a key (or button). In some embodiments, the input module 332 may include at least one of a touch circuitry configured to sense a touch or a sensor circuit configured to measure the intensity of a force generated by the touch.

출력 모듈(333)은 서버(130)의 외부로 정보를 출력하도록 제공될 수 있다. 출력 모듈(333)은 시각적으로 정보를 표시하기 위한 표시 모듈 또는 정보를 오디오 신호로 출력하기 위한 오디오 출력 모듈 중 적어도 어느 하나를 포함할 수 있다. 표시 모듈은, 예컨대 디스플레이, 홀로그램 장치 또는 프로젝터 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서, 표시 모듈은 입력 모듈(332)의 터치 회로 또는 센서 회로 중 적어도 어느 하나와 조립되어, 터치 스크린으로 구현될 수 있다. 오디오 출력 모듈은, 예컨대 스피커 또는 리시버 중 적어도 어느 하나를 포함할 수 있다.The output module 333 may be provided to output information to the outside of the server 130 . The output module 333 may include at least one of a display module for visually displaying information and an audio output module for outputting information as an audio signal. The display module may include, for example, at least one of a display, a hologram device, and a projector. In some embodiments, the display module may be implemented as a touch screen by being assembled with at least one of a touch circuit and a sensor circuit of the input module 332 . The audio output module may include, for example, at least one of a speaker and a receiver.

메모리(334)는 서버(130)의 적어도 하나의 구성 요소에 의해 사용되는 다양한 데이터를 저장할 수 있다. 예를 들면, 메모리(334)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 어느 하나를 포함할 수 있다. 데이터는 프로그램 또는 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 프로그램은 메모리(334)에 소프트웨어로서 저장될 수 있으며, 운영 체제, 미들 웨어 또는 어플리케이션 중 적어도 어느 하나를 포함할 수 있다. 이 때 메모리(334)는, 복수 개의 도로 표지판(110)들과 도로 표지판(110)들 각각에 대한 주행 정보가 매핑된 표지판 관련 데이터베이스(335)를 저장하고 있을 수 있다. 예를 들면, 주행 정보는 도로 노선에 대한 노선 표지 정보, 주행 방향과 관련된 방향 표지 정보, 목적지 관련 거리를 나타내는 이정 표지 정보, 교차점이나 공사 구간, 도로의 굴곡, 차선폭 감소, 노면 상태 등에 대해 경고하는 경계 표지 정보 또는 단속 일정을 안내하는 것 등의 보조 표지 정보 중 적어도 어느 하나를 포함할 수 있다. 여기서, 메모리(334)는, 하기 [표 1]과 같이 표지판 관련 데이터베이스(335)를 저장하고 있을 수 있다. The memory 334 may store various data used by at least one component of the server 130 . For example, the memory 334 may include at least one of a volatile memory and a non-volatile memory. The data may include input data or output data for a program or instructions related thereto. The program may be stored as software in the memory 334 and may include at least one of an operating system, middleware, or an application. At this time, the memory 334 may store a plurality of road signs 110 and a sign-related database 335 to which driving information for each of the road signs 110 is mapped. For example, driving information may include route sign information for road routes, direction sign information related to driving directions, milestone information indicating distances related to destinations, intersections or construction sections, curvature of roads, reduced lane widths, and road surface conditions. It may include at least one of boundary sign information and auxiliary sign information such as guiding a crackdown schedule. Here, the memory 334 may store a sign-related database 335 as shown in Table 1 below.

식별자identifier 표지판 정보sign information 주행 정보driving information 위치location 도로 표지판의 패턴pattern of road signs 1One x1, y1x1, y1 제 1 이미지first image 방향 표지 정보 #23Directional Sign Information #23 22 x2, y2x2, y2 제 2 이미지2nd image 보조 표지 정보 #41Supplemental Cover Information #41 33 x3, y3x3, y3 제 3 이미지3rd image 이정 표지 정보 #37Milestone Information #37 --
---
- -
-
--
-
- -
-
--
-
- -
-
--
-
-

일 예로, 도 4a에 도시된 바와 같은 도로 표지판(110)과 관련하여, 주행 정보는 주행 방향과 관련된 방향 표지 정보를 나타낼 수 있다. 다른 예로, 도 4b에 도시된 바와 같은 도로 표지판(110)과 관련하여, 주행 정보는 버스 전용차선 단속 시간과 같은 보조 표지 정보를 나타낼 수 있다. 또 다른 예로, 도 4c에 도시된 바와 같은 도로 표지판(110)과 관련하여, 주행 정보는 목적지 관련 거리를 나타내는 이정 표지 정보를 나타낼 수 있다. 프로세서(336)는 메모리(335)의 프로그램을 실행하여, 서버(130)의 적어도 하나의 구성 요소를 제어할 수 있고, 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(336)는 통신 모듈(331)을 통해, 전자 장치(220)로부터 표지판 정보를 수신할 수 있다. 프로세서(336)는 표지판 정보를 기반으로, 표지판 관련 데이터베이스(335)로부터 주행 정보를 확인할 수 있다. 즉 프로세서(336)는 도로 표지판(110)의 패턴 및 위치를 기반으로, 주행 정보를 확인할 수 있다. 이를 위해, 프로세서(336)가 도로 표지판(110)의 패턴을 분석할 수 있다. 일 실시예에 따르면, 프로세서(336)가 도로 표지판(110)의 패턴에서 적어도 하나의 특징점을 추출하고, 특징점을 기반으로, 도로 표지판(110)을 식별할 수 있다. 이를 통해, 프로세서(336)가 표지판 관련 데이터베이스(335)로부터 도로 표지판(110)과 관련된 주행 정보를 확인할 수 있다. 프로세서(336)는 통신 모듈(331)을 통해, 전자 장치(220)에 주행 정보를 전송할 수 있다. For example, with respect to the road sign 110 as shown in FIG. 4A , the driving information may indicate direction sign information related to a driving direction. As another example, with respect to the road sign 110 as shown in FIG. 4B , the driving information may indicate auxiliary sign information such as a bus-only lane enforcement time. As another example, in relation to the road sign 110 as shown in FIG. 4C , the driving information may indicate milestone information indicating a destination-related distance. The processor 336 may execute a program in the memory 335 to control at least one component of the server 130 and perform data processing or operation. The processor 336 may receive sign information from the electronic device 220 through the communication module 331 . The processor 336 may check driving information from the sign related database 335 based on the sign information. That is, the processor 336 may check the driving information based on the pattern and location of the road sign 110 . To this end, the processor 336 may analyze the pattern of the road sign 110 . According to an embodiment, the processor 336 may extract at least one feature point from the pattern of the road sign 110 and identify the road sign 110 based on the feature point. Through this, the processor 336 may check driving information related to the road sign 110 from the sign related database 335 . The processor 336 may transmit driving information to the electronic device 220 through the communication module 331 .

다양한 실시예들에 따른 전자 장치(220)는 차량(120)에 장착될 수 있다. The electronic device 220 according to various embodiments may be mounted on the vehicle 120 .

다양한 실시예들에 따르면, 전자 장치(220)는, 카메라 모듈(322), 및 카메라 모듈(322)과 연결되고, 영상을 기반으로 동작하도록 구성되는 프로세서(328)를 포함할 수 있다. According to various embodiments, the electronic device 220 may include a camera module 322 and a processor 328 connected to the camera module 322 and configured to operate based on an image.

다양한 실시예들에 따르면, 프로세서(328)는, 카메라 모듈(322)을 통해, 영상을 획득하고, 영상 내의 도로 표지판(110)의 패턴 및 위치를 포함하는 표지판 정보를 검출하고, 표지판 정보를 이용하여, 차량(120)에 대한 주행 정보를 결정하도록 구성될 수 있다. According to various embodiments, the processor 328 obtains an image through the camera module 322 , detects sign information including a pattern and a position of the road sign 110 in the image, and uses the sign information Thus, it may be configured to determine driving information for the vehicle 120 .

다양한 실시예들에 따르면, 전자 장치(220)는, 서버(130)와 통신하도록 구성되는 통신 모듈(323)을 더 포함할 수 있다. According to various embodiments, the electronic device 220 may further include a communication module 323 configured to communicate with the server 130 .

다양한 실시예들에 따르면, 프로세서(328)는, 통신 모듈(323)을 통해, 표지판 정보를 서버(130)에 전송하고, 통신 모듈(323)을 통해, 서버(130)로부터 표지판 정보에 매핑된 주행 정보를 수신하도록 구성될 수 있다. According to various embodiments, the processor 328 transmits, through the communication module 323 , the sign information to the server 130 , and through the communication module 323 , the mapped sign information from the server 130 . may be configured to receive driving information.

다양한 실시예들에 따르면, 위치는, 도로 표지판(110)의 위치 또는 전자 장치(220)의 위치 중 적어도 어느 하나를 포함할 수 있다. According to various embodiments, the location may include at least one of the location of the road sign 110 and the location of the electronic device 220 .

다양한 실시예들에 따르면, 프로세서(328)는, 영상 내에서 도로 표지판(110)을 감지하고, 위치를 확인하고, 도로 표지판(110)의 표지판 패턴을 검출하도록 구성될 수 있다. According to various embodiments, the processor 328 may be configured to detect the road sign 110 in an image, determine a location, and detect a sign pattern of the road sign 110 .

다양한 실시예들에 따르면, 서버(130)는, 복수 개의 도로 표지판(110)들과 복수 개의 도로 표지판(110)들 각각에 대한 주행 정보가 매핑된 표지판 관련 데이터베이스(335)를 저장하고 있을 수 있다. According to various embodiments, the server 130 may store a plurality of road signs 110 and a sign related database 335 to which driving information for each of the plurality of road signs 110 is mapped. .

다양한 실시예들에 따르면, 프로세서(328)는, 주행 정보를 기반으로, 차량(120)을 제어하도록 구성될 수 있다. According to various embodiments, the processor 328 may be configured to control the vehicle 120 based on the driving information.

도 5는 다양한 실시예들에 따른 전자 장치(220)의 동작 방법을 도시하는 도면이다. 5 is a diagram illustrating a method of operating the electronic device 220 according to various embodiments of the present disclosure.

도 5를 참조하면, 전자 장치(220)는 511 동작에서 차량(120)의 주행을 감지할 수 있다. 이 때 프로세서(328)가 인터페이스 모듈(321)을 통해, 차량(120)의 주행을 제어하고 있을 수 있다. 일 실시예에 따르면, 차량(120)의 주행 중, 프로세서(328)는 전자 장치(220)의 위치를 확인할 수 있다. 이 때 프로세서(328)는 통신 모듈(323)을 통해, 전자 장치(220)의 위치를 확인할 수 있다. 일 예로, 프로세서(328)는 위성으로부터 전자 장치(220)의 위치를 확인할 수 있다. 다른 예로, 프로세서(328)는 적어도 하나의 주변 기지국으로부터 전자 장치(220)의 위치를 확인할 수 있다. 여기서, 전자 장치(220)의 위치가 차량(120)의 위치를 나타낼 수 있다. Referring to FIG. 5 , the electronic device 220 may detect the driving of the vehicle 120 in operation 511 . In this case, the processor 328 may control the driving of the vehicle 120 through the interface module 321 . According to an embodiment, while the vehicle 120 is driving, the processor 328 may identify the location of the electronic device 220 . In this case, the processor 328 may identify the location of the electronic device 220 through the communication module 323 . For example, the processor 328 may determine the location of the electronic device 220 from the satellite. As another example, the processor 328 may identify the location of the electronic device 220 from at least one neighboring base station. Here, the location of the electronic device 220 may indicate the location of the vehicle 120 .

전자 장치(220)는 513 동작에서 차량(120) 주변의 영상을 획득할 수 있다. 프로세서(328)는 카메라 모듈(322)을 통해, 차량(120) 주변의 영상을 획득할 수 있다. 이 때 차량(120)의 주행 중, 프로세서(328)가 카메라 모듈(322)을 통해, 차량(120)의 주행 방향에 대해 실시간으로 영상을 획득할 수 있다.The electronic device 220 may acquire an image around the vehicle 120 in operation 513 . The processor 328 may acquire an image around the vehicle 120 through the camera module 322 . In this case, while the vehicle 120 is driving, the processor 328 may acquire an image of the driving direction of the vehicle 120 in real time through the camera module 322 .

전자 장치(220)는, 515 동작에서 영상 내에 도로 표지판(110)이 존재하는 지의 여부를 판단할 수 있다. The electronic device 220 may determine whether the road sign 110 is present in the image in operation 515 .

515 동작에서 영상 내에 도로 표지판(110)이 존재하는 것으로 판단되면, 전자 장치(220)는 517 동작에서 위치를 확인할 수 있다. 일 실시예에 따르면, 프로세서(328)는 전자 장치(220)의 위치를 도로 표지판(110)과 관련된 위치로 결정할 수 있다. 다른 실시예에 따르면, 프로세서(328)는 영상 내에서 적어도 하나의 특징점을 추출하고, 특징점을 기반으로, 미리 저장된 지형 정보로부터 도로 표지판(110)의 위치를 확인할 수 있다. 위치는 도로 표지판(110)의 위치 또는 전자 장치(220)의 위치 중 적어도 어느 하나를 포함할 수 있다. If it is determined that the road sign 110 is present in the image in operation 515 , the electronic device 220 may determine the location in operation 517 . According to an embodiment, the processor 328 may determine the location of the electronic device 220 as a location related to the road sign 110 . According to another embodiment, the processor 328 may extract at least one feature point from within the image, and based on the feature point, determine the location of the road sign 110 from pre-stored topographic information. The location may include at least one of a location of the road sign 110 and a location of the electronic device 220 .

전자 장치(220)는 519 동작에서 도로 표지판(110)의 표지판 패턴을 검출할 수 있다. 프로세서(328)는 영상 내에서 표지판 패턴을 검출할 수 있다. 일 실시예에 따르면, 프로세서(328)는 도로 표지판(110)의 패턴은 영상 내에서 도로 표지판(110)을 나타내는 영역의 이미지를 도로 표지판(110)의 패턴으로 검출할 수 있다. 다른 실시예에 따르면, 프로세서(328)는 영상 내에서 검출되는 도로 표지판(110)에 부착된 바코드를 도로 표지판(110)의 패턴으로 검출할 수 있다. 또 다른 실시예에 따르면, 프로세서(328)는 영상 내에서 도로 표지판(110)을 나타내는 영역의 이미지를 추출하고, 컴퓨터 비전 알고리즘을 이용하여 이미지를 패턴화하여 도로 표지판(110)의 패턴으로 검출할 수 있다. 도로 표지판(110)의 종류 또는 내용에 따라, 도로 표지판(110)의 형태, 가로세로 비, 색상 또는 내부 콘텐트 중 적어도 어느 하나가 다르게 나타날 수 있다. 도로 표지판(110)의 형태는, 예컨대 방패 모양, 타원 모양, 직사각형, 육각형 등을 포함할 수 있다. 도로 표지판(110)의 색상은 배경 색상과 내부 콘텐트의 색상으로 결정될 수 있다. 도로 표지판(110)의 내부 콘텐트는 화살표 또는 텍스트 중 적어도 어느 하나를 포함할 수 있다.The electronic device 220 may detect a sign pattern of the road sign 110 in operation 519 . The processor 328 may detect a sign pattern in the image. According to an embodiment, the processor 328 may detect an image of a region representing the road sign 110 in the image of the pattern of the road sign 110 as the pattern of the road sign 110 . According to another embodiment, the processor 328 may detect a barcode attached to the road sign 110 detected in the image as a pattern of the road sign 110 . According to another embodiment, the processor 328 extracts an image of a region representing the road sign 110 from within the image, and uses a computer vision algorithm to pattern the image to detect as a pattern of the road sign 110 . can According to the type or content of the road sign 110 , at least one of a shape, an aspect ratio, a color, and internal content of the road sign 110 may appear differently. The shape of the road sign 110 may include, for example, a shield shape, an oval shape, a rectangle, a hexagon, and the like. The color of the road sign 110 may be determined by the background color and the color of the internal content. The internal content of the road sign 110 may include at least one of arrows and text.

전자 장치(220)는 521 동작에서 서버(130)에 표지판 정보를 전송할 수 있다. 프로세서(328)는 통신 모듈(323)을 통해, 서버(130)에 표지판 정보를 전송할 수 있다. 이를 위해, 프로세서(328)는 도로 표지판(110)의 패턴 및 위치를 기반으로, 표지판 정보를 생성할 수 있다. The electronic device 220 may transmit sign information to the server 130 in operation 521 . The processor 328 may transmit sign information to the server 130 through the communication module 323 . To this end, the processor 328 may generate sign information based on the pattern and location of the road sign 110 .

전자 장치(220)는 523 동작에서 서버(130)로부터 주행 정보를 전송할 수 있다. 프로세서(328)는 통신 모듈(323)을 통해, 서버(130)로부터 표지판 정보에 대응하는 주행 정보를 수신할 수 있다. 서버(130)는, 복수 개의 도로 표지판(110)들과 도로 표지판(110)들 각각에 대한 주행 정보가 매핑된 표지판 관련 데이터베이스(도 3의 335)를 저장하고 있을 수 있다. 그리고, 서버(130)는 표지판 정보를 기반으로, 표지판 관련 데이터베이스(335)로부터 주행 정보를 확인할 수 있다. 즉 서버(130)는 도로 표지판(110)의 패턴 및 위치를 기반으로, 주행 정보를 확인할 수 있다. 예를 들면, 주행 정보는 도로 노선에 대한 노선 표지 정보, 주행 방향과 관련된 방향 표지 정보, 목적지 관련 거리를 나타내는 이정 표지 정보, 교차점이나 공사 구간, 도로의 굴곡, 차선폭 감소, 노면 상태 등에 대해 경고하는 경계 표지 정보 또는 단속 일정을 안내하는 것 등의 보조 표지 정보 중 적어도 어느 하나를 포함할 수 있다. The electronic device 220 may transmit driving information from the server 130 in operation 523 . The processor 328 may receive driving information corresponding to the sign information from the server 130 through the communication module 323 . The server 130 may store a plurality of road signs 110 and a sign related database ( 335 of FIG. 3 ) to which driving information for each of the road signs 110 is mapped. Then, the server 130 may check the driving information from the sign-related database 335 based on the sign information. That is, the server 130 may check the driving information based on the pattern and location of the road sign 110 . For example, driving information may include route sign information for road routes, direction sign information related to driving directions, milestone information indicating distances related to destinations, intersections or construction sections, curvature of roads, reduced lane widths, and road surface conditions. It may include at least one of boundary sign information and auxiliary sign information such as guiding a crackdown schedule.

전자 장치(220)는 525 동작에서 주행 정보를 기반으로, 차량(120)을 제어할 수 있다. 프로세서(328)는 인터페이스 모듈(321)을 통해, 차량(120)을 제어할 수 있다. The electronic device 220 may control the vehicle 120 based on the driving information in operation 525 . The processor 328 may control the vehicle 120 through the interface module 321 .

도 6은 다양한 실시예들에 따른 서버(130)의 동작 방법을 도시하는 도면이다. 6 is a diagram illustrating an operation method of the server 130 according to various embodiments.

도 6을 참조하면, 서버(130)는 611 동작에서 표지판 관련 데이터베이스(335)를 저장하고 있을 수 있다. 표지판 관련 데이터베이스(335)에는, 복수 개의 도로 표지판(110)들과 도로 표지판(110)들 각각에 대한 주행 정보가 매핑되어 있을 수 있다. 예를 들면, 주행 정보는 도로 노선에 대한 노선 표지 정보, 주행 방향과 관련된 방향 표지 정보, 목적지 관련 거리를 나타내는 이정 표지 정보, 교차점이나 공사 구간, 도로의 굴곡, 차선폭 감소, 노면 상태 등에 대해 경고하는 경계 표지 정보 또는 단속 일정을 안내하는 것 등의 보조 표지 정보 중 적어도 어느 하나를 포함할 수 있다. Referring to FIG. 6 , the server 130 may store the sign-related database 335 in operation 611 . In the sign-related database 335 , a plurality of road signs 110 and driving information for each of the road signs 110 may be mapped. For example, driving information may include route sign information for road routes, direction sign information related to driving directions, milestone information indicating distances related to destinations, intersections or construction sections, curvature of roads, reduced lane widths, and road surface conditions. It may include at least one of boundary sign information and auxiliary sign information such as guiding a crackdown schedule.

일 예로, 도 4a에 도시된 바와 같은 도로 표지판(110)과 관련하여, 주행 정보는 주행 방향과 관련된 방향 표지 정보를 나타낼 수 있다. 다른 예로, 도 4b에 도시된 바와 같은 도로 표지판(110)과 관련하여, 주행 정보는 버스 전용차선 단속 시간과 같은 보조 표지 정보를 나타낼 수 있다. 또 다른 예로, 도 4c에 도시된 바와 같은 도로 표지판(110)과 관련하여, 주행 정보는 목적지 관련 거리를 나타내는 이정 표지 정보를 나타낼 수 있다.For example, with respect to the road sign 110 as shown in FIG. 4A , the driving information may indicate direction sign information related to a driving direction. As another example, with respect to the road sign 110 as shown in FIG. 4B , the driving information may indicate auxiliary sign information such as a bus-only lane enforcement time. As another example, in relation to the road sign 110 as shown in FIG. 4C , the driving information may indicate milestone information indicating a destination-related distance.

서버(130)는 613 동작에서 전자 장치(220)로부터 표지판 정보를 수신할 수 있다. 프로세서(336)는 통신 모듈(331)을 통해, 전자 장치(220)로부터 표지판 정보를 수신할 수 있다. 여기서, 표지판 정보는 도로 표지판(110)의 패턴과 위치를 포함할 수 있다. 도로 표지판(110)의 패턴은 이미지, 바코드 또는 이미지로부터 패턴화된 정보 중 적어도 어느 하나를 포함할 수 있다. 도로 표지판(110)의 종류 또는 내용에 따라, 도로 표지판(110)의 형태, 가로세로 비, 색상 또는 내부 콘텐트 중 적어도 어느 하나가 다르게 나타날 수 있다. 도로 표지판(110)의 형태는, 예컨대 방패 모양, 타원 모양, 직사각형, 육각형 등을 포함할 수 있다. 도로 표지판(110)의 색상은 배경 색상과 내부 콘텐트의 색상으로 결정될 수 있다. 도로 표지판(110)의 내부 콘텐트는 화살표 또는 텍스트 중 적어도 어느 하나를 포함할 수 있다. 위치는 도로 표지판(110)의 위치 또는 전자 장치(220)의 위치 중 적어도 어느 하나를 포함할 수 있다. The server 130 may receive sign information from the electronic device 220 in operation 613 . The processor 336 may receive sign information from the electronic device 220 through the communication module 331 . Here, the sign information may include a pattern and a location of the road sign 110 . The pattern of the road sign 110 may include at least one of an image, a barcode, or information patterned from the image. According to the type or content of the road sign 110 , at least one of a shape, an aspect ratio, a color, and internal content of the road sign 110 may appear differently. The shape of the road sign 110 may include, for example, a shield shape, an oval shape, a rectangle, a hexagon, and the like. The color of the road sign 110 may be determined by the background color and the color of the internal content. The internal content of the road sign 110 may include at least one of arrows and text. The location may include at least one of a location of the road sign 110 and a location of the electronic device 220 .

서버(130)는 615 동작에서 표지판 정보를 기반으로, 표지판 관련 데이터베이스(335)로부터 주행 정보를 확인할 수 있다. 프로세서(336)는 도로 표지판(110)의 패턴 및 위치를 기반으로, 주행 정보를 확인할 수 있다. 이를 위해, 프로세서(336)가 도로 표지판(110)의 패턴을 분석할 수 있다. 일 실시예에 따르면, 프로세서(336)가 도로 표지판(110)의 패턴에서 적어도 하나의 특징점을 추출하고, 특징점을 기반으로, 도로 표지판(110)을 식별할 수 있다. 이를 통해, 프로세서(336)가 표지판 관련 데이터베이스(335)로부터 도로 표지판(110)과 관련된 주행 정보를 확인할 수 있다. 예를 들면, 주행 정보는 도로 노선에 대한 노선 표지 정보, 주행 방향과 관련된 방향 표지 정보, 목적지 관련 거리를 나타내는 이정 표지 정보, 교차점이나 공사 구간, 도로의 굴곡, 차선폭 감소, 노면 상태 등에 대해 경고하는 경계 표지 정보 또는 단속 일정을 안내하는 것 등의 보조 표지 정보 중 적어도 어느 하나를 포함할 수 있다.The server 130 may check the driving information from the sign related database 335 based on the sign information in operation 615 . The processor 336 may check driving information based on the pattern and location of the road sign 110 . To this end, the processor 336 may analyze the pattern of the road sign 110 . According to an embodiment, the processor 336 may extract at least one feature point from the pattern of the road sign 110 and identify the road sign 110 based on the feature point. Through this, the processor 336 may check driving information related to the road sign 110 from the sign related database 335 . For example, driving information may include route sign information for road routes, direction sign information related to driving directions, milestone information indicating distances related to destinations, intersections or construction sections, curvature of roads, reduced lane widths, and road surface conditions. It may include at least one of boundary sign information and auxiliary sign information such as guiding a crackdown schedule.

서버(130)는 617 동작에서 전자 장치(110)에 주행 정보를 전송할 수 있다. 프로세서(336)는 통신 모듈(331)을 통해, 전자 장치(220)에 주행 정보를 전송할 수 있다. The server 130 may transmit driving information to the electronic device 110 in operation 617 . The processor 336 may transmit driving information to the electronic device 220 through the communication module 331 .

다양한 실시예들에 따른 전자 장치(220)의 동작 방법은, 차량(120)의 주행 중 영상을 획득하는 동작, 영상 내의 도로 표지판(110)의 패턴 및 위치를 포함하는 표지판 정보를 검출하는 동작, 및 표지판 정보를 이용하여, 차량(120)에 대한 주행 정보를 결정하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장할 수 있다. The operating method of the electronic device 220 according to various embodiments may include an operation of acquiring an image while the vehicle 120 is driving, an operation of detecting sign information including a pattern and a location of the road sign 110 in the image, and one or more programs for executing an operation of determining driving information for the vehicle 120 by using the sign information.

다양한 실시예들에 따르면, 주행 정보를 결정하는 동작은, 표지판 정보를 서버에 전송하는 동작, 및 서버(130)로부터 표지판 정보에 매핑된 주행 정보를 수신하는 동작을 포함할 수 있다. According to various embodiments, the operation of determining the driving information may include transmitting the sign information to the server and receiving the driving information mapped to the sign information from the server 130 .

다양한 실시예들에 따르면, 위치는, 도로 표지판(110)의 위치 또는 전자 장치(220)의 위치 중 적어도 어느 하나를 포함할 수 있다. According to various embodiments, the location may include at least one of the location of the road sign 110 and the location of the electronic device 220 .

다양한 실시예들에 따르면, 표지판 정보를 검출하는 동작은, 영상 내에서 도로 표지판(110)을 감지하는 동작, 위치를 확인하는 동작, 및 도로 표지판(110)의 표지판 패턴을 검출하는 동작을 포함할 수 있다. According to various embodiments, the operation of detecting the sign information may include an operation of detecting the road sign 110 in an image, an operation of confirming a location, and an operation of detecting a sign pattern of the road sign 110 . can

다양한 실시예들에 따르면, 서버(130)는, 복수 개의 도로 표지판(110)들과 도로 표지판(110)들 각각에 대한 주행 정보가 매핑된 표지판 관련 데이터베이스(335)를 저장하고 있을 수 있다. According to various embodiments, the server 130 may store a plurality of road signs 110 and a sign related database 335 to which driving information for each of the road signs 110 is mapped.

다양한 실시예들에 따르면, 프로그램들은, 주행 정보를 기반으로, 상기 차량을 제어하는 동작을 더 실행할 수 있다. According to various embodiments, the programs may further execute an operation of controlling the vehicle based on the driving information.

본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(220))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리(327))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서(예: 프로세서(328))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of the present document are implemented as software including one or more instructions stored in a storage medium (eg, memory 327) readable by a machine (eg, electronic device 220). can be For example, the processor (eg, the processor 328 ) of the device may call at least one of the one or more instructions stored from the storage medium and execute it. This enables the device to be operated to perform at least one function according to at least one command called. The one or more instructions may include code generated by a compiler or code executable by an interpreter. The device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.

다양한 실시예들에 따른 비-일시적 컴퓨터-판독 가능(computer-readable) 저장 매체는, 영상을 획득하는 동작, 영상 내의 도로 표지판(110)의 패턴 및 위치를 포함하는 표지판 정보를 검출하는 동작, 및 표지판 정보를 이용하여, 차량(120)에 대한 주행 정보를 결정하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장할 수 있다. A non-transitory computer-readable storage medium according to various embodiments may include an operation of acquiring an image, an operation of detecting sign information including a pattern and a position of the road sign 110 in the image, and One or more programs for executing an operation of determining driving information for the vehicle 120 may be stored using the sign information.

다양한 실시예들에 따르면, 주행 정보를 결정하는 동작은, 표지판 정보를 서버에 전송하는 동작, 및 서버(130)로부터 표지판 정보에 매핑된 주행 정보를 수신하는 동작을 포함할 수 있다. According to various embodiments, the operation of determining the driving information may include transmitting the sign information to the server and receiving the driving information mapped to the sign information from the server 130 .

다양한 실시예들에 따르면, 위치는, 도로 표지판(110)의 위치 또는 전자 장치(220)의 위치 중 적어도 어느 하나를 포함할 수 있다. According to various embodiments, the location may include at least one of the location of the road sign 110 and the location of the electronic device 220 .

다양한 실시예들에 따르면, 표지판 정보를 검출하는 동작은, 영상 내에서 도로 표지판(110)을 감지하는 동작, 위치를 확인하는 동작, 및 도로 표지판(110)의 표지판 패턴을 검출하는 동작을 포함할 수 있다. According to various embodiments, the operation of detecting the sign information may include an operation of detecting the road sign 110 in an image, an operation of confirming a location, and an operation of detecting a sign pattern of the road sign 110 . can

다양한 실시예들에 따르면, 서버(130)는, 복수 개의 도로 표지판(110)들과 도로 표지판(110)들 각각에 대한 주행 정보가 매핑된 표지판 관련 데이터베이스(335)를 저장하고 있을 수 있다. According to various embodiments, the server 130 may store a plurality of road signs 110 and a sign related database 335 to which driving information for each of the road signs 110 is mapped.

다양한 실시예들에 따르면, 프로그램들은, 주행 정보를 기반으로, 상기 차량을 제어하는 동작을 더 실행할 수 있다. According to various embodiments, the programs may further execute an operation of controlling the vehicle based on the driving information.

다양한 실시예들에 따르면, 전자 장치(220)는 도로 표지판(110)을 기반으로, 차량(120)을 제어할 수 있다. 이 때 전자 장치(220)는 도로 표지판(110)과 관련된 주행 정보를 추가적으로 이용하여, 차량(120)의 주행을 제어할 수 있다. 이를 통해, 차량(120)의 주행에 있어서, 안정성이 향상될 수 있다. 즉 전자 장치(220)는 도로 표지판(110)의 패턴 및 위치를 포함하는 표지판 정보를 기반으로, 서버(130)로부터 주행 정보를 획득할 수 있다. 이를 통해, 전자 장치(220)가 도로 표지판(110)의 종류 및 내용을 정확하게 인식하지 않더라도, 주행 정보를 획득할 수 있다. 따라서, 전자 장치(220)가 용이하게 도로 표지판(110)과 관련된 주행 정보를 획득할 수 있으며, 차량(120)을 제어하는 데 있어서 향상된 정확도를 가질 수 있다. According to various embodiments, the electronic device 220 may control the vehicle 120 based on the road sign 110 . In this case, the electronic device 220 may control the driving of the vehicle 120 by additionally using driving information related to the road sign 110 . Through this, in driving of the vehicle 120 , stability may be improved. That is, the electronic device 220 may acquire driving information from the server 130 based on sign information including the pattern and location of the road sign 110 . Through this, even if the electronic device 220 does not accurately recognize the type and content of the road sign 110 , driving information may be acquired. Accordingly, the electronic device 220 may easily obtain driving information related to the road sign 110 , and may have improved accuracy in controlling the vehicle 120 .

본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성 요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성 요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성 요소를 다른 구성 요소와 구분하기 위해 사용될 뿐 해당 구성 요소들을 한정하지 않는다. 어떤(예: 제 1) 구성 요소가 다른(예: 제 2) 구성 요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성 요소가 상기 다른 구성 요소에 직접적으로 연결되거나, 다른 구성 요소(예: 제 3 구성 요소)를 통하여 연결될 수 있다.It should be understood that the various embodiments of this document and the terms used therein are not intended to limit the technology described in this document to a specific embodiment, and include various modifications, equivalents, and/or substitutions of the embodiments. In connection with the description of the drawings, like reference numerals may be used for like components. The singular expression may include the plural expression unless the context clearly dictates otherwise. In this document, expressions such as “A or B”, “at least one of A and/or B”, “A, B or C” or “at least one of A, B and/or C” refer to all of the items listed together. Possible combinations may be included. Expressions such as “first”, “second”, “first” or “second” can modify the corresponding components regardless of order or importance, and are only used to distinguish one component from another. It does not limit the corresponding components. When an (eg, first) component is referred to as being “connected (functionally or communicatively)” or “connected” to another (eg, second) component, that component is It may be directly connected to the component, or may be connected through another component (eg, a third component).

본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다. As used herein, the term “module” includes a unit composed of hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic block, component, or circuit. A module may be an integrally formed part or a minimum unit or a part of one or more functions. For example, the module may be configured as an application-specific integrated circuit (ASIC).

다양한 실시예들에 따르면, 기술한 구성 요소들의 각각의 구성 요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성 요소들 중 하나 이상의 구성 요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성 요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성 요소들(예: 모듈 또는 프로그램)은 하나의 구성 요소로 통합될 수 있다. 이런 경우, 통합된 구성 요소는 복수의 구성 요소들 각각의 구성 요소의 하나 이상의 기능들을 통합 이전에 복수의 구성 요소들 중 해당 구성 요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다. According to various embodiments, each component (eg, a module or a program) of the described components may include a singular or a plurality of entities. According to various embodiments, one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added. Alternatively or additionally, a plurality of components (eg, a module or a program) may be integrated into one component. In this case, the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to integration. According to various embodiments, operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, omitted, or , or one or more other operations may be added.

Claims (15)

차량에 장착된 전자 장치의 동작 방법에 있어서,
영상을 획득하는 동작;
상기 영상 내의 도로 표지판의 패턴 및 위치를 포함하는 표지판 정보를 검출하는 동작;
상기 표지판 정보를 이용하여, 상기 차량에 대한 주행 정보를 결정하는 동작; 및
상기 주행 정보를 기반으로, 상기 차량을 제어하는 동작을 포함하고,
상기 표지판 정보를 검출하는 동작은,
상기 영상 내에서 도로 표지판을 감지하는 동작;
상기 위치를 확인하는 동작; 및
상기 도로 표지판의 형태, 가로세로 비, 색상 및 내부 콘텐트로부터 상기 도로 표지판의 패턴을 검출하는 동작을 포함하고,
상기 도로 표지판의 패턴을 검출하는 동작은,
상기 영상 내에서 상기 도로 표지판을 나타내는 영역의 이미지 또는 상기 도로 표지판에 부착된 바코드를 기반으로 상기 도로 표지판의 패턴을 검출하고,
상기 주행 정보를 결정하는 동작은,
상기 표지판 정보를 서버에 전송하는 동작; 및
상기 서버로부터 상기 표지판 정보에 매핑된 상기 주행 정보를 수신하는 동작을 포함하고,
상기 서버는,
상기 도로 표지판의 패턴에서 적어도 하나의 특징점을 추출하여 상기 특징점을 기반으로 상기 도로 표지판을 식별한 후, 복수 개의 도로 표지판들과 상기 복수 개의 도로 표지판들 각각에 대한 주행 정보가 매핑된 표지판 관련 데이터베이스로부터 상기 도로 표지판과 관련된 상기 주행 정보를 확인하고,
상기 주행 정보는,
도로 노선에 대한 노선 표지 정보,
주행 방향과 관련된 방향 표지 정보,
목적지 관련 거리를 나타내는 이정 표지 정보,
교차점이나 공사 구간, 도로의 굴곡, 차선폭 감소, 또는 노면 상태 중 적어도 어느 하나에 대해 경고하는 경계 표지 정보, 및
단속 일정을 안내하는 보조 표지 정보
를 포함하는 방법.
A method of operating an electronic device mounted on a vehicle, the method comprising:
acquiring an image;
detecting sign information including patterns and positions of road signs in the image;
determining driving information for the vehicle by using the sign information; and
Based on the driving information, comprising the operation of controlling the vehicle,
The operation of detecting the sign information is,
detecting a road sign in the image;
confirming the location; and
detecting the pattern of the road sign from the shape, aspect ratio, color and internal content of the road sign,
The operation of detecting the pattern of the road sign is,
detecting the pattern of the road sign based on an image of a region representing the road sign in the image or a barcode attached to the road sign,
The operation of determining the driving information includes:
transmitting the sign information to a server; and
Receiving the driving information mapped to the sign information from the server,
The server is
After extracting at least one feature point from the pattern of the road sign and identifying the road sign based on the feature point, a plurality of road signs and driving information for each of the plurality of road signs are mapped from a sign related database check the driving information related to the road sign,
The driving information is
route sign information for road routes;
direction sign information related to the driving direction;
milestone information indicating the distance to the destination;
boundary sign information warning of at least any one of intersections or construction sections, curvatures of roads, reduced lane widths, or road surface conditions; and
Supplementary sign information to guide the crackdown schedule
How to include.
 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 차량에 장착된 전자 장치에 있어서,
카메라 모듈; 및
상기 카메라 모듈과 연결되고, 영상을 기반으로 동작하도록 구성되는 프로세서를 포함하고,
상기 프로세서는,
상기 카메라 모듈을 통해, 영상을 획득하고,
상기 영상 내의 도로 표지판의 패턴 및 위치를 포함하는 표지판 정보를 검출하고,
상기 표지판 정보를 이용하여, 상기 차량에 대한 주행 정보를 결정하고,
상기 주행 정보를 기반으로, 상기 차량을 제어하도록 구성되고,
상기 프로세서는,
상기 영상 내에서 도로 표지판을 감지하고,
상기 위치를 확인하고,
상기 도로 표지판의 형태, 가로세로 비, 색상 및 내부 콘텐트로부터 상기 도로 표지판의 패턴을 검출하도록 구성되고,
상기 프로세서는,
상기 영상 내에서 상기 도로 표지판을 나타내는 영역의 이미지 또는 상기 도로 표지판에 부착된 바코드를 기반으로 상기 도로 표지판의 패턴을 검출하도록 구성되고,
상기 전자 장치는,
서버와 통신하도록 구성되는 통신 모듈을 더 포함하고,
상기 프로세서는,
상기 통신 모듈을 통해, 상기 표지판 정보를 서버에 전송하고,
상기 통신 모듈을 통해, 상기 서버로부터 상기 표지판 정보에 매핑된 상기 주행 정보를 수신하도록 구성되고,
상기 서버는,
상기 도로 표지판의 패턴에서 적어도 하나의 특징점을 추출하여 상기 특징점을 기반으로 상기 도로 표지판을 식별한 후, 복수 개의 도로 표지판들과 상기 복수 개의 도로 표지판들 각각에 대한 주행 정보가 매핑된 표지판 관련 데이터베이스로부터 상기 도로 표지판과 관련된 상기 주행 정보를 확인하고,
상기 주행 정보는,
도로 노선에 대한 노선 표지 정보,
주행 방향과 관련된 방향 표지 정보,
목적지 관련 거리를 나타내는 이정 표지 정보,
교차점이나 공사 구간, 도로의 굴곡, 차선폭 감소, 또는 노면 상태 중 적어도 어느 하나에 대해 경고하는 경계 표지 정보, 및
단속 일정을 안내하는 보조 표지 정보
를 포함하는 전자 장치.
In an electronic device mounted on a vehicle,
camera module; and
A processor connected to the camera module and configured to operate based on an image,
The processor is
Acquire an image through the camera module,
Detecting sign information including a pattern and a location of a road sign in the image,
Using the sign information, determining driving information for the vehicle,
Based on the driving information, configured to control the vehicle,
The processor is
Detecting a road sign in the image,
check the location,
configured to detect the pattern of the road sign from the shape, aspect ratio, color and internal content of the road sign,
The processor is
configured to detect a pattern of the road sign based on an image of a region representing the road sign within the image or a barcode attached to the road sign,
The electronic device is
a communication module configured to communicate with the server;
The processor is
Transmitting the sign information to the server through the communication module,
configured to receive the driving information mapped to the sign information from the server through the communication module,
The server is
After extracting at least one feature point from the pattern of the road sign and identifying the road sign based on the feature point, a plurality of road signs and driving information for each of the plurality of road signs are mapped from a sign related database check the driving information related to the road sign,
The driving information is
route sign information for road routes;
direction sign information related to the driving direction;
milestone information indicating the distance to the destination;
boundary sign information warning of at least any one of intersections or construction sections, curvatures of roads, reduced lane widths, or road surface conditions; and
Supplementary sign information to guide the crackdown schedule
An electronic device comprising a.
 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 비-일시적(non-transitory) 컴퓨터-판독 가능(computer-readable) 저장(storage) 매체(medium)에 있어서,
영상을 획득하는 동작;
상기 영상 내의 도로 표지판의 패턴 및 위치를 포함하는 표지판 정보를 검출하는 동작;
상기 표지판 정보를 이용하여, 차량에 대한 주행 정보를 결정하는 동작; 및
상기 주행 정보를 기반으로, 상기 차량을 제어하는 동작을 실행하기 위한 하나 이상의 프로그램들을 저장하고,
상기 표지판 정보를 검출하는 동작은,
상기 영상 내에서 도로 표지판을 감지하는 동작;
상기 위치를 확인하는 동작; 및
상기 도로 표지판의 형태, 가로세로 비, 색상 및 내부 콘텐트로부터 상기 도로 표지판의 패턴을 검출하는 동작을 포함하고,
상기 도로 표지판의 패턴을 검출하는 동작은,
상기 영상 내에서 상기 도로 표지판을 나타내는 영역의 이미지 또는 상기 도로 표지판에 부착된 바코드를 기반으로 상기 도로 표지판의 패턴을 검출하고,
상기 주행 정보를 결정하는 동작은,
상기 표지판 정보를 서버에 전송하는 동작; 및
상기 서버로부터 상기 표지판 정보에 매핑된 상기 주행 정보를 수신하는 동작을 포함하고,
상기 서버는,
상기 도로 표지판의 패턴에서 적어도 하나의 특징점을 추출하여 상기 특징점을 기반으로 상기 도로 표지판을 식별한 후, 복수 개의 도로 표지판들과 상기 복수 개의 도로 표지판들 각각에 대한 주행 정보가 매핑된 표지판 관련 데이터베이스로부터 상기 도로 표지판과 관련된 상기 주행 정보를 확인하고,
상기 주행 정보는,
도로 노선에 대한 노선 표지 정보,
주행 방향과 관련된 방향 표지 정보,
목적지 관련 거리를 나타내는 이정 표지 정보,
교차점이나 공사 구간, 도로의 굴곡, 차선폭 감소, 또는 노면 상태 중 적어도 어느 하나에 대해 경고하는 경계 표지 정보, 및
단속 일정을 안내하는 보조 표지 정보
를 포함하는 저장 매체.

A non-transitory computer-readable storage medium comprising:
acquiring an image;
detecting sign information including patterns and positions of road signs in the image;
determining driving information about the vehicle by using the sign information; and
store one or more programs for executing an operation to control the vehicle based on the driving information;
The operation of detecting the sign information is,
detecting a road sign in the image;
confirming the location; and
detecting the pattern of the road sign from the shape, aspect ratio, color and internal content of the road sign,
The operation of detecting the pattern of the road sign is,
detecting the pattern of the road sign based on an image of a region representing the road sign in the image or a barcode attached to the road sign,
The operation of determining the driving information includes:
transmitting the sign information to a server; and
Receiving the driving information mapped to the sign information from the server,
The server is
After extracting at least one feature point from the pattern of the road sign and identifying the road sign based on the feature point, a plurality of road signs and driving information for each of the plurality of road signs are mapped from a sign related database check the driving information related to the road sign,
The driving information is
route sign information for road routes;
direction sign information related to the driving direction;
milestone information indicating the distance to the destination;
boundary sign information warning of at least any one of intersections or construction sections, curvatures of roads, reduced lane widths, or road surface conditions; and
Supplementary sign information to guide the crackdown schedule
A storage medium comprising a.

 삭제delete 삭제delete
KR1020190177429A 2019-12-30 2019-12-30 Apparatus and method for determinating driving information of vehicle using position and pattern of road sign KR102316720B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190177429A KR102316720B1 (en) 2019-12-30 2019-12-30 Apparatus and method for determinating driving information of vehicle using position and pattern of road sign

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190177429A KR102316720B1 (en) 2019-12-30 2019-12-30 Apparatus and method for determinating driving information of vehicle using position and pattern of road sign

Publications (2)

Publication Number Publication Date
KR20210084912A KR20210084912A (en) 2021-07-08
KR102316720B1 true KR102316720B1 (en) 2021-10-25

Family

ID=76893617

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190177429A KR102316720B1 (en) 2019-12-30 2019-12-30 Apparatus and method for determinating driving information of vehicle using position and pattern of road sign

Country Status (1)

Country Link
KR (1) KR102316720B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005076751A1 (en) 2004-01-26 2005-08-25 Nec Corporation Video type judgment system, video processing system, video processing method, and video processing program
KR101673433B1 (en) 2016-06-29 2016-11-07 한국건설기술연구원 Apparatus and Method that Automatically Recognizes The Route Information Using a Road Sign Image
JP2017117041A (en) 2015-12-22 2017-06-29 本田技研工業株式会社 Device and method of displaying signs for vehicle
JP2019095388A (en) 2017-11-27 2019-06-20 株式会社Ｊｖｃケンウッド Vehicle display controller, vehicle display system, method for controlling display for vehicle, and program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100801827B1 (en) 2004-01-26 2008-02-11 닛본 덴끼 가부시끼가이샤 VlDEO TYPE JUDGMENT SYSTEM, VlDEO PROCESSlNG SYSTEM, VIDEO PROCESSING METHOD, AND VIDEO PROCESSING PROGRAM
KR20120072020A (en) * 2010-12-23 2012-07-03 한국전자통신연구원 Method and apparatus for detecting run and road information of autonomous driving system
KR20150054282A (en) * 2013-11-11 2015-05-20 주식회사 케이티 System for providing navigation video, method for providing navigation video and device for playing navigation video
KR102156017B1 (en) * 2014-04-30 2020-09-16 현대엠엔소프트 주식회사 Apparatus and method for voice guidance of the navigation system
KR102158169B1 (en) * 2016-01-06 2020-09-22 주식회사 디젠 Lane detection apparatus
CN112923930B (en) * 2016-07-21 2022-06-28 御眼视觉技术有限公司 Crowd-sourcing and distributing sparse maps and lane measurements for autonomous vehicle navigation
KR20180067372A (en) * 2016-12-12 2018-06-20 이현지 Smart vehicle control system using field programmable gate array and raspberry pi
KR102356259B1 (en) * 2017-03-03 2022-01-27 삼성전자 주식회사 Electronic apparatus and controlling method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005076751A1 (en) 2004-01-26 2005-08-25 Nec Corporation Video type judgment system, video processing system, video processing method, and video processing program
JP2017117041A (en) 2015-12-22 2017-06-29 本田技研工業株式会社 Device and method of displaying signs for vehicle
KR101673433B1 (en) 2016-06-29 2016-11-07 한국건설기술연구원 Apparatus and Method that Automatically Recognizes The Route Information Using a Road Sign Image
JP2019095388A (en) 2017-11-27 2019-06-20 株式会社Ｊｖｃケンウッド Vehicle display controller, vehicle display system, method for controlling display for vehicle, and program

Also Published As

Publication number Publication date
KR20210084912A (en) 2021-07-08

Similar Documents

Publication Publication Date Title
EP2598842B1 (en) Guidance device, guidance method, and guidance program
US9123242B2 (en) Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
US20200318975A1 (en) Map data update apparatus, map data update method, and computer readable medium
US20180045516A1 (en) Information processing device and vehicle position detecting method
US9196161B2 (en) Method of guiding parking space and related device
KR102168753B1 (en) Electronic device for obtaining three-dimension object based on camera and radar sensor fusion, and operaing method thereof
JP5760696B2 (en) Image recognition device
US9410818B2 (en) Navigation device
JP6421355B2 (en) Travel information acquisition system, communication terminal device, server device, computer program, travel information acquisition method, and meter panel
KR20150140449A (en) Electronic apparatus, control method of electronic apparatus and computer readable recording medium
JP2017215653A (en) Detailed route creation device, automatic drive system for vehicle and detailed route creation program
WO2012086054A1 (en) Navigation device, control method, program, and storage medium
JP2020038632A (en) Sign recognition system and sign recognition method
US9286689B2 (en) Method and device for detecting the gait of a pedestrian for a portable terminal
KR102316720B1 (en) Apparatus and method for determinating driving information of vehicle using position and pattern of road sign
KR102263695B1 (en) Apparatus and control method for mobile device using multiple cameras
JP2017054408A (en) Vehicle type determination device, vehicle type determination method, vehicle type determination program
JP2007212418A (en) On-vehicle radar device
JP6962365B2 (en) Object detection system and program
JP2013106238A (en) Marker detection and tracking device
JP5962442B2 (en) Sign recognition system, sign recognition method, and sign recognition program
TWI451990B (en) System and method for lane localization and markings
US20170132925A1 (en) Method for operating an assistance system of a motor vehicle and assistance system
JP2005216200A (en) Other vehicle detecting apparatus and method
US11380000B2 (en) Operation detection device and operation detection method

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant