KR20180017606A - 차량의 주차 위치 정보를 제공하기 위한 방법 및 그 전자 장치 - Google Patents

차량의 주차 위치 정보를 제공하기 위한 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR20180017606A
KR20180017606A KR1020160101684A KR20160101684A KR20180017606A KR 20180017606 A KR20180017606 A KR 20180017606A KR 1020160101684 A KR1020160101684 A KR 1020160101684A KR 20160101684 A KR20160101684 A KR 20160101684A KR 20180017606 A KR20180017606 A KR 20180017606A
Authority
KR
South Korea
Prior art keywords
information
vehicle
electronic device
processor
image information
Prior art date
Application number
KR1020160101684A
Other languages
English (en)
Inventor
김두석
박현철
장지훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160101684A priority Critical patent/KR20180017606A/ko
Priority to US15/672,224 priority patent/US10520329B2/en
Priority to PCT/KR2017/008656 priority patent/WO2018030799A1/en
Publication of KR20180017606A publication Critical patent/KR20180017606A/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3685Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities the POI's being parking facilities
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/144Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces on portable or mobile units, e.g. personal digital assistant [PDA]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G06K9/3258
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/005Traffic control systems for road vehicles including pedestrian guidance indicator
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/20Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/205Indicating the location of the monitored vehicles as destination, e.g. accidents, stolen, rental
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Abstract

전자 장치의 동작 방법은, 차량의 주차장 진입이 감지되면, 영상 정보를 획득하는 과정과, 상기 영상 정보에 기초하여 주차 구역을 나타내는 정보를 포함하는 객체의 영상 정보를 생성하는 과정과, 상기 객체의 영상 정보에 기초하여 상기 차량의 주차 위치와 관련된 정보를 식별하는 과정과, 상기 차량의 주차 위치와 관련된 정보를 출력하는 과정을 포함한다. 상기 전자 장치는, 주차장에 미리 설치된 장치 없이, 상기 차량의 주차 위치를 제공할 수 있다.

Description

차량의 주차 위치 정보를 제공하기 위한 방법 및 그 전자 장치{METHOD FOR PROVIDING PARKING LOCATION INFORMATION OF A VEHICLE AND ELECTRONIC DEVICE THEREOF}
본 발명의 실시 예들은 주차 위치를 인식할 수 있는 방법 및 그 전자 장치에 관한 것으로, 보다 구체적으로 주차장 등에 미리 설치된 인프라(infra)의 도움 없이 주차한 차량의 위치를 제공하기 위한 방법 및 그 전자 장치에 관한 것이다.
백화점, 문화시설, 아파트 단지 등 대다수의 차량이 밀집되는 장소의 경우, 자신의 차량을 주차한 위치를 파악하는 것은 쉽지 않을 수 있다. 특히, 대형 주차장의 경우, 층(예: B2, 지하2층)과 구역(예: 075)으로 주차 위치를 구분하고 있으므로 차량 소유자가 주차 위치를 기억하기 어려울 수 있다.
따라서, 차량 소유자는, 차량이 주차한 위치를 알기 위해서, 주차장 내에 미리 설치되어 있는 카메라를 이용한 기술을 이용하고 있다. 예를 들어, 광학적 문자 판독(optical character reader, OCR) 장치는 주차장에 진입한 차량을 카메라로 촬영하고 광학적 문자 판독 분석을 통해 차량의 번호판을 인식한다. 상기 광학적 문자 판독 장치는 차량의 주차 위치를 파악하고 이를 사용자에게 제공한다.
상기한 예는 센서나 카메라가 미리 설치되어 있는 주차장에서 적용될 수 있으므로, 별도의 시스템 및 서비스가 요구될 수 있다. 또한, 개인의 차량이 주차장의 카메라를 통해 지속적으로 관찰됨에 따라, 개인 프라이버시(privacy)가 침해될 우려가 있다.
상술한 바와 같은 논의를 바탕으로, 본 개시(disclosure)는, 사용자의 프라이버시(privacy)를 보호하면서, 사용자에게 주차한 차량의 위치를 제공하는 장치 및 방법을 제공한다.
또한, 본 개시는, 주차장에 별도의 센서 및 카메라 등을 설치하지 않고 사용자에게 주차한 차량의 위치를 제공하는 장치 및 방법을 제공한다.
또한, 본 개시는, 주차한 차량의 위치를 판단하기 위하여 차량에 장착된 외부 카메라 기기 또는 스마트폰(smartphone)과 같은 모바일 단말(mobile device)을 이용하여, 주차 장소를 촬영하고 이를 분석함으로써 사용자에게 주차한 차량의 위치를 제공하는 장치 및 방법을 제공한다.
또한, 본 개시는, 전자 장치 및 외부 서버의 연동을 통해 사용자에게 주차한 차량의 위치를 제공하는 장치 및 방법을 제공한다.
또한, 본 개시는, 차량이 주차장에 진입한 이후에 획득된 영상 정보에서 추출된 문자 정보를 층(floor)을 나타내는 정보와 구역(section)을 나타내는 정보로 구분하여 식별하는 장치 및 방법을 제공한다.
본 개시의 다양한 실시 예들에 따르면, 전자 장치는 차량의 주차장 진입이 감지되면, 영상 정보를 획득하고, 상기 영상 정보에 기초하여 주차 구역을 나타내는 정보를 포함하는 객체의 영상 정보를 생성하고, 상기 객체의 영상 정보에 기초하여 상기 차량의 주차 위치와 관련된 정보를 식별하고, 상기 차량의 주차 위치와 관련된 정보를 출력하는 프로세서와, 상기 영상 정보, 상기 객체의 영상 정보 및 상기 차량의 주차 위치와 관련된 정보 중 적어도 하나를 저장하는 메모리를 포함한다.
본 개시의 다양한 실시 예들에 따르면, 전자 장치의 동작 방법은 차량의 주차장 진입이 감지되면, 영상 정보를 획득하는 과정과, 상기 영상 정보에 기초하여 주차 구역을 나타내는 정보를 포함하는 객체의 영상 정보를 생성하는 과정과, 상기 객체의 영상 정보에 기초하여 상기 차량의 주차 위치와 관련된 정보를 식별하는 과정과, 상기 차량의 주차 위치와 관련된 정보를 출력하는 과정을 포함한다.
본 개시의 다양한 실시 예들에 따르면, 전자 장치는 상기 차량의 주차장 진입이 감지되면, 적어도 하나의 영상 정보를 획득하는 프로세서와, 상기 적어도 하나의 영상 정보를 서버로 송신하고, 상기 서버로부터 상기 적어도 하나의 영상 정보에 대한 분석 결과를 포함하는 정보를 수신하는 통신부를 포함하고, 상기 프로세서는, 상기 분석 결과를 포함하는 정보에 기초하여 상기 차량의 주차 위치와 관련된 정보를 식별하고, 상기 차량의 주차 위치와 관련된 정보를 더 출력하고, 상기 적어도 하나의 영상 정보, 상기 분석 결과를 포함하는 정보 및 차량의 주차 위치와 관련된 정보 중 적어도 하나를 저장하는 메모리를 더 포함한다.
본 개시의 다양한 실시 예들에 따른 장치 및 방법은, 주차장에 미리 설치된 센서 및 카메라 등 없이, 사용자의 차량에 설치된 블랙박스(blackbox) 또는 사용자의 스마트폰(smartphone)과 같은 모바일 단말을 이용하여, 사용자의 프라이버시(privacy)를 보호하면서, 사용자의 주차한 차량의 위치를 정확하게 제공할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 다양한 실시 예들에 따른 전자 장치를 포함하는 네트워크 환경의 예를 도시한다.
도 2는 본 개시의 다양한 실시 예들에 따른 전자 장치의 블록도의 예를 도시한다.
도 3은 본 개시의 다양한 실시 예들에 따른 프로그램 모듈의 블록도의 예를 도시한다.
도 4a는 본 개시의 다양한 실시 예들에 따른 전자 장치의 기능적 구성의 예를 도시한다.
도 4b는 본 개시의 다양한 실시 예들에 따른 영상 분석부의 기능적 구성의 예를 도시한다.
도 5는 본 개시의 다양한 실시 예들에 따른 차량의 주차 위치 정보를 제공하는 절차의 예를 도시한다.
도 6은 본 개시의 다양한 실시 예들에 따른 전자 장치의 동작 프로세스의 일 예를 도시한다.
도 7은 본 개시의 다양한 실시 예들에 따른 전자 장치의 동작 프로세스의 다른 예를 도시한다.
도 8은 본 개시의 다양한 실시 예들에 따른 전자 장치에서 영상을 분석하는 프로세스의 예를 도시한다.
도 9는 본 개시의 다양한 실시 예들에 따른 전자 장치에서 기둥 정보를 추출하는 프로세스의 예를 도시한다.
도 10은 본 개시의 다양한 실시 예들에 따른 전자 장치에서 후보 기둥 영역을 검출하는 프로세스의 예를 도시한다.
도 11은 본 개시의 다양한 실시 예들에 따른 전자 장치에서 후보 기둥 영역이 기둥을 포함하는지 여부를 결정하는 프로세스의 예를 도시한다.
도 12는 본 개시의 다양한 실시 예들에 따른 전자 장치에서 기둥 영역을 결정하는 프로세스의 예를 도시한다.
도 13은 본 개시의 다양한 실시 예들에 따른 문자 추출 및 분석 알고리즘의 예를 도시한다.
도 14는 본 개시의 다양한 실시 예들에 따른 문자 추출 모듈의 동작 프로세스의 예를 도시한다.
도 15는 본 개시의 다양한 실시 예들에 따른 문자 분석 모듈의 동작 프로세스의 예를 도시한다.
도 16은 본 개시의 다양한 실시 예들에 따른 차량의 주차 위치 정보를 제공하는 절차의 예를 도시한다.
도 17은 본 개시의 다양한 실시 예들에 따른 서버의 기능적 구성의 예를 도시한다.
도 18은 본 개시의 다양한 실시 예들에 따른 전자 장치와 서버 간 신호 흐름의 예를 도시한다.
도 19는 본 개시의 다양한 실시 예들에 따른 전자 장치의 동작 프로세스의 예를 도시한다.
도 20은 본 개시의 다양한 실시 예들에 따른 서버의 동작 프로세스의 예를 도시한다.
도 21 본 개시의 다양한 실시 예들에 따른 차량의 주차 위치 정보를 제공하는 절차의 예를 도시한다.
도 22는 본 개시의 다양한 실시 예들에 따른 전자 장치에서 주차 위치를 표시하기 위한 화면의 예를 도시한다.
이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다. 실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어(hardware)적 또는 소프트웨어(software)적으로 "~에 적합한", "~하는 능력을 가지는", "~하도록 변경된", "~하도록 만들어진", "~를 할 수 있는", 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU(central processing unit) 또는 AP(application processor))를 의미할 수 있다.
본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC(personal computer), 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(HMD(head-mounted-device), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 회로(implantable circuit) 중 적어도 하나를 포함할 수 있다. 어떤 실시 예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(예: 혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM(automated teller machine), 상점의 POS(point of sales), 또는 사물 인터넷(IoT(internet of things)) 장치(예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시 예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예들에서, 전자 장치는 플렉서블(flexible)하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 개시의 다양한 실시 예들에 따른 전자 장치를 포함하는 네트워크 환경의 예를 도시한다.
도 1을 참조하여, 다양한 실시 예들에서의, 네트워크 환경(100) 내의 전자 장치(101)가 기재된다. 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 및 통신 인터페이스(170)를 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
버스(110)는 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다.
프로세서(120)는, 중앙처리장치(CPU), 어플리케이션 프로세서(AP), 또는 커뮤니케이션 프로세서(CP(communication processor)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 다양한 실시 예들에 따른 프로세서(120)의 처리(또는 제어) 동작은 후술하는 도면들을 참조하여 구체적으로 설명된다. 프로세서(120)는 도 2의 프로세서(210) 및 도 4a의 프로세서(402)에 대응될 수 있다.
메모리(130)는, 휘발성 메모리(volatile memory) 및/또는 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시 예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(kernel)(141), 미들웨어(middleware)(143), 어플리케이션 프로그래밍 인터페이스(API(application programming interface))(145), 및/또는 어플리케이션 프로그램(application program)(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(141), 미들웨어(143), 또는 API(145)의 적어도 일부는, 운영 시스템(OS(operating system))으로 지칭될 수 있다.
메모리(130)는, 프로세서(120)에 의해 실행되는 하나 또는 그 이상의 프로그램들(one or more programs)을 저장할 수 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다. 다양한 실시 예들에 따라, 메모리(130)는 획득된 데이터를 저장하는 역할을 담당하며, 실시간으로 획득된 데이터는 일시적인 저장 장치에 저장할 수 있고, 저장하기로 확정된 데이터는 오래 보관 가능한 저장 장치에 저장할 수 있다. 메모리(130)는, 다양한 실시 예들에 따른 방법을 프로세서(120)에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
또한, 메모리(130)는 사용자가 차량의 주차 위치 정보와 관련된 데이터들을 저장할 수 있다.
커널(141)은, 예를 들면, 다른 프로그램들(예: 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(141)은 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147)에서 전자 장치(101)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(143)는, 예를 들면, API(145) 또는 어플리케이션 프로그램(147)이 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(143)는 어플리케이션 프로그램(147)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(143)는 어플리케이션 프로그램(147) 중 적어도 하나에 전자 장치(101)의 시스템 리소스(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API(145)는 어플리케이션(147)이 커널(141) 또는 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(function)(예: 명령어)를 포함할 수 있다.
입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(101)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다. 예를 들면, 유/무선 헤드폰 포트(port), 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 오디오 입/출력(input/output) 포트, 비디오 입/출력 포트, 이어폰 포트 등이 입출력 인터페이스(150)에 포함될 수 있다.
디스플레이(160)는, 예를 들면, 액정 디스플레이(LCD(liquid crystal display)), 발광 다이오드(LED(light emitting diode)) 디스플레이, 유기 발광 다이오드(OLED(organic LED)) 디스플레이, 또는 마이크로 전자기계 시스템(MEMS(micro-electromechanical systems)) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(160)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(160)는, 터치 스크린(touchscreen)을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스처, 근접, 또는 호버링 입력을 수신할 수 있다.
디스플레이(160)는, 예를 들면, 사용자에게 시각적인 출력(visual output)을 보여줄 수 있다. 시각적 출력은 텍스트(text), 그래픽(graphic), 비디오(video)와 이들의 조합의 형태로 나타날 수 있다. 디스플레이(160)는 전자 장치에서 처리되는 다양한 정보를 표시(출력)할 수 있다. 예를 들면, 디스플레이(160)는 전자 장치의 사용과 관련된 유저 인터페이스(UI(user interface)) 또는 그래픽 유저 인터페이스(GUI(graphical UI))를 표시할 수 있다.
또한, 디스플레이(160)는 전자 장치 또는 서버에서 분석된 데이터에 기초하여 사용자가 주차한 차량의 위치를 표시할 수 있다.
통신 인터페이스(170)는, 예를 들면, 전자 장치(101)와 외부 장치(예: 제1 외부 전자 장치(102), 제2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치(예: 제2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다.
무선 통신은, 예를 들면, LTE(long term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(wireless broadband), 또는 GSM(global system for mobile communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시 예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스(Bluetooth), 블루투스 저전력(BLE(Bluetooth low energy)), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(magnetic secure transmission), 라디오 프리퀀시(RF(radio frequency)), 또는 보디 에어리어 네트워크(BAN(body area network)) 중 적어도 하나를 포함할 수 있다. 한 실시 예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(global positioning system), Glonass(global navigation satellite system), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신(power line communication), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다.
또한, 통신 인터페이스(170)는, 영상 획득을 위하여, 전자 장치(101)와 차량에 설치된 외부기기(예: 블랙박스(black box)) 간의 통신을 설정할 수 있다.
또한, 통신 인터페이스(170)는, 차량의 운행 모드 감지, 차량의 주차장 진입 감지 및 차량의 주차 모드 감지를 위하여, 전자 장치(101)와 차량의 내부 전자 장치 간의 통신을 설정할 수 있다.
또한, 통신 인터페이스(170)는, 차량의 주차 위치를 출력하기 위하여, 전자 장치(101)와 웨어러블 장치(wearable device) 간의 통신을 설정할 수 있다.
네트워크(162)는 텔레커뮤니케이션 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(예: LAN(local area network) 또는 WAN(wide area network)), 인터넷, 또는 텔레폰 네트워크(telephone network) 중 적어도 하나를 포함할 수 있다.
제1 및 제2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))에서 실행될 수 있다. 한 실시 예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅(cloud computing), 분산 컴퓨팅(distributed computing), 또는 클라이언트-서버 컴퓨팅(client-server computing) 기술이 이용될 수 있다.
도 2는 본 개시의 다양한 실시 예들에 따른 전자 장치의 블록도의 예를 도시한다.
전자 장치(201)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 전자 장치(201)는 하나 이상의 프로세서(예: AP)(210), 통신 모듈(220), 가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다.
프로세서(210)는, 예를 들면, 운영 체제 또는 어플리케이션 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시 예에 따르면, 프로세서(210)는 GPU(graphic processing unit) 및/또는 이미지 시그널 프로세서(ISP(image signal processor))를 더 포함할 수 있다. 프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210)는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. 프로세서(210)는 도4a의 프로세서(402)에 대응될 수 있다.
또한, 프로세서(210)는 카메라 모듈(291) 또는 차량에 설치된 블랙박스 등 외부 카메라 장치를 이용하여 획득된 영상을 분석하고, 분석된 결과에 기초하여 차량의 최종 주차 위치를 식별할 수 있다.
또한, 프로세서(210)는 차량의 운행 모드 관련 데이터, 차량의 주차장 진입 관련 데이터 및 차량의 주차 모드 관련 데이터를 처리할 수 있다.
통신 모듈(220)은, 예를 들면, 도 1에 도시된 통신 인터페이스(170)와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227), NFC 모듈(228) 및 RF 모듈(229)을 포함할 수 있다.
셀룰러 모듈(221)은, 예를 들면, 통신 네트워크를 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(221)은 가입자 식별 모듈(예: SIM(subscriber identification module) 카드)(224)을 이용하여 통신 네트워크 내에서 전자 장치(201)의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(221)은 프로세서(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(221)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시 예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부(예: 두 개 이상)는 하나의 IC(integrated chip) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈(229)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(229)은, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나(antenna) 등을 포함할 수 있다. 다른 실시 예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
WiFi 모듈(223)은, 예를 들면, 무선 인터넷 접속 및 다른 외부 장치(예: 다른 전자 장치(102) 또는 서버(106) 등)와 무선 랜 링크(link)를 형성하기 위한 모듈을 나타낼 수 있다. WiFi 모듈(223)은 전자 장치(400)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WiFi, Wibro, WiMax(world interoperability for microwave access), HSDPA(high speed downlink packet access), 또는 mmWave(millimeter Wave) 등이 이용될 수 있다. WiFi 모듈(223)은 전자 장치와 네트워크(예: 무선 인터넷 네트워크)(예: 네트워크(162))를 통해 연결되어 있는 다른 외부 장치(예: 다른 전자 장치(104) 등)와 연동하여, 전자 장치의 다양한 데이터들을 외부로 전송하거나, 또는 외부로부터 수신할 수 있다. WiFi 모듈(223)은 상시 온(on) 상태를 유지하거나, 전자 장치의 설정 또는 사용자 입력에 따라 턴-온(turn-on)/턴-오프(turn-off) 될 수 있다.
블루투스 모듈(225) 및 NFC 모듈(228)은, 예를 들면, 근거리 통신(short range communication)을 수행하기 위한 근거리 통신 모듈을 나타낼 수 있다. 근거리 통신 기술로 블루투스, 저전력 블루투스(BLE), RFID(radio frequency identification), 적외선 통신(IrDA), UWB(ultra wideband), 지그비(Zigbee), 또는 NFC 등이 이용될 수 있다. 근거리 통신 모듈은 전자 장치와 네트워크(예: 근거리 통신 네트워크)를 통해 연결되어 있는 다른 외부 장치(예: 다른 전자 장치(102) 등)와 연동하여, 전자 장치의 다양한 데이터들을 외부 장치로 전송하거나 수신 받을 수 있다. 근거리 통신 모듈은 상시 온 상태를 유지하거나, 전자 장치의 설정 또는 사용자 입력에 따라 턴-온/턴-오프 될 수 있다.
가입자 식별 모듈(224)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(230)(예: 메모리(130))는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM(random access memory)), SRAM(synchronous RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM(read only memory)), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically EPROM), mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브(SSD(solid state drive)) 중 적어도 하나를 포함할 수 있다. 외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치(201)와 기능적으로 또는 물리적으로 연결될 수 있다.
또한, 메모리(230)는 차량의 주차 위치를 식별하기 위하여 획득된 영상 정보, 획득된 영상 정보를 분석한 데이터 및 최종 판단된 차량의 주차 위치를 저장할 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 전자 장치(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(gesture sensor)(240A), 자이로 센서(gyro sensor)(240B), 기압 센서(barometer sensor)(240C), 마그네틱 센서(magnetic sensor)(240D), 가속도 센서(acceleration sensor)(240E), 그립 센서(grip sensor)(240F), 근접 센서(proximity sensor)(240G), 컬러 센서(color sensor)(240H)(예: RGB(red, green, blue) 센서), 생체 센서(medical sensor)(240I), 온/습도 센서(temperature-humidity sensor)(240J), 조도 센서(illuminance sensor)(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally or alternatively), 센서 모듈(240)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG(electromyography)) 센서, 일렉트로엔씨팔로그램 센서(EEG(electroencephalogram) sensor), 일렉트로카디오그램 센서(ECG(electrocardiogram) sensor), IR(infrared) 센서, 홍채 센서(iris scan sensor) 및/또는 지문 센서(finger scan sensor)를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(201)는 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널(252), (디지털) 펜 센서(254), 키(256), 또는 초음파 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(288)를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 프로젝터(266), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다.
패널(262)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나 이상의 모듈로 구성될 수 있다. 한 실시 예에 따르면, 패널(262)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널(252)과 일체형으로 구현되거나, 또는 터치 패널(252)과는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(201)의 내부 또는 외부에 위치할 수 있다.
인터페이스(270)는, 예를 들면, HDMI(272), USB(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다. 인터페이스(270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(280)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(145)에 포함될 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 오디오 모듈(280)은 프로세서(210)로부터 입력 받은 오디오 신호를 출력 장치(예: 스피커(282), 리시버(284) 또는 이어폰(286))로 전송하고, 입력 장치(예: 마이크(288))로부터 입력 받은 음성 등의 오디오 신호를 프로세서(210)에 전달하는 기능을 수행할 수 있다. 오디오 모듈(280)은 음성/음향 데이터를 프로세서(210)의 제어에 따라 출력 장치를 통해 가청음으로 변환하여 출력하고, 입력 장치로부터 수신되는 음성 등의 오디오 신호를 디지털 신호로 변환하여 프로세서(210)에게 전달할 수 있다.
스피커(282) 또는 리시버(284)는 통신 모듈(220)로부터 수신되거나, 또는 메모리(230)에 저장된 오디오 데이터를 출력할 수 있다. 스피커(282) 또는 리시버(284)는 전자 장치에서 수행되는 다양한 동작(기능)과 관련된 음향 신호를 출력할 수도 있다. 마이크(288)는 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리할 수 있다. 마이크(288)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘(noise reduction algorithm)이 구현될 수 있다. 마이크(288)는 음성 명령 등과 같은 오디오 스트리밍의 입력을 담당할 수 있다.
카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 카메라 모듈(291)은 도 4a의 카메라 모듈(422)에 대응될 수 있다.
전력 관리 모듈(295)은, 예를 들면, 전자 장치(201)의 전력을 관리할 수 있다. 한 실시 예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC, 배터리 또는 연료 게이지(fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(296)는, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
인디케이터(297)는 전자 장치(201) 또는 그 일부(예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(201)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시 예들에서, 전자 장치(예: 전자 장치(101, 201))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 본 개시의 다양한 실시 예들에 따른 프로그램 모듈의 블록도의 예를 도시한다.
한 실시 예에 따르면, 프로그램 모듈(310)(예: 프로그램(140))은 전자 장치(예: 전자 장치(101, 201))에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다.
도 3을 참조하면, 프로그램 모듈(310)은 커널(320)(예: 커널(141)), 미들웨어(330)(예: 미들웨어(143)), API(360)(예: API(145)), 및/또는 어플리케이션(370)(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 전자 장치 상에 프리로드(preload) 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버(106) 등)로부터 다운로드(download) 가능하다.
커널(320)은, 예를 들면, 시스템 리소스 매니저(321) 및/또는 디바이스 드라이버(323)를 포함할 수 있다. 시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시 예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. 미들웨어(330)는, 예를 들면, 어플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다.
한 실시 예에 따르면, 미들웨어(330)는 런타임 라이브러리(runtime library)(335), 어플리케이션 매니저(application manager)(341), 윈도우 매니저(window manager)(342), 멀티미디어 매니저(multimedia manager)(343), 리소스 매니저(resource manager)(344), 파워 매니저(power manager)(345), 데이터베이스 매니저(database manager)(346), 패키지 매니저(package manager)(347), 커넥티비티 매니저(connectivity manager)(348), 노티피케이션 매니저(notification manager)(349), 로케이션 매니저(location manager)(350), 그래픽 매니저(graphic manager)(351), 또는 시큐리티 매니저(security manager)(352) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(335)는, 예를 들면, 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어(programming language)를 통해 새로운 기능을 추가하기 위해 컴파일러(compiler)가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(335)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다.
어플리케이션 매니저(341)는, 예를 들면, 어플리케이션(370)의 생명 주기(life cycle)를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용되는 GUI(graphical user interface) 자원을 관리할 수 있다. 멀티미디어 매니저(343)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(344)는 어플리케이션(370)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(345)는, 예를 들면, 배터리의 용량 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보를 제공할 수 있다. 한 실시 예에 따르면, 파워 매니저(345)는 바이오스(BIOS(basic input/output system))와 연동할 수 있다. 데이터베이스 매니저(346)는, 예를 들면, 어플리케이션(370)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다.
커넥티비티 매니저(348)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(349)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저(350)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 시큐리티 매니저(352)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다.
한 실시 예에 따르면, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시 예에 따르면, 미들웨어(330)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다.
API(360)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(370)은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 와치(384), 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다.
한 실시 예에 따르면, 어플리케이션(370)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이(notification relay) 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다. 예를 들면, 노티피케이션 릴레이 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온(turn-on)/턴-오프(turn-off) 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 한 실시 예에 따르면, 어플리케이션(370)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다.
한 실시 예에 따르면, 어플리케이션(370)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(210)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛(unit)을 포함하며, 예를 들면, 로직(logic), 논리 블록(logic block), 부품(component), 또는 회로(circuit) 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시 예들에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical recording media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시 예들에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다.
다양한 실시 예들에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치는, 통신 기능을 지원하며, AP, CP, GPU, 및 CPU 등의 다양한 프로세서 중 하나 또는 그 이상을 사용하는 모든 장치를 포함할 수 있다. 예를 들면, 다양한 실시 예들에 따른 전자 장치는, 통신 기능 지원하는 모든 정보통신기기, 멀티미디어기기, 웨어러블 장치(wearable device), IoT 기기, 또는 그에 대한 응용기기를 포함할 수 있다.
이하에서, 첨부 도면을 참조하여 본 발명의 다양한 실시 예들에 따른 동작 방법 및 장치에 대하여 살펴보기로 한다. 하지만, 본 발명의 다양한 실시 예들이 하기에서 기술하는 내용에 의해 제한되거나 한정되는 것은 아니므로, 하기의 실시 예에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다. 이하에서 설명되는 본 발명의 다양한 실시 예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 발명의 다양한 실시 예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 발명의 다양한 실시 예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
도 4a는 본 개시의 다양한 실시 예들에 따른 전자 장치(400)의 기능적 구성의 예를 도시한다.
다양한 실시 예들에서, 전자 장치(400)는 프로세서(402), 표시부(408), 제1 통신부(410), 제2 통신부(412), 메모리부(414), 센서부(416) 및 카메라 모듈(418), 입출력부(420)을 포함하여 구성될 수 있다. 어떤 실시 예에서는, 전자 장치(400)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
프로세서(402)는 전자 장치(400)의 전반적인 동작을 제어할 수 있다. 프로세서(402)는 도 1의 프로세서(120) 및 도 2의 프로세서(210)에 대응될 수 있다. 또한, 프로세서(402)는 중앙처리장치(CPU), 어플리케이션 프로세서(AP), 또는 커뮤니케이션 프로세서(CP) 중 하나 또는 그 이상을 포함할 수 있다. 여기에서, 프로세서(402)는 전자 장치(400)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
프로세서(402)는 상태 감지부(404) 및 영상 분석부(406)를 포함할 수 있다. 상태 감지부(404)는 차량의 상태(예: 차량의 운행, 주차 및 주차장 진입 여부)를 감지할 수 있다. 영상 분석부(406)는 카메라 모듈(418) 또는 차량에 설치된 외부기기(예: 블랙박스) 등을 이용하여 획득된 영상을 분석할 수 있다. 영상 분석부(406)는 이하 도 4b를 참고하여 보다 상세하게 설명된다.
표시부(408)는 도 1의 디스플레이(160) 및 도 2의 디스플레이(260)에 대응될 수 있다. 여기에서, 표시부(408)는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 본 개시의 다양한 실시 예들에 따라, 표시부(408)는 차량의 주차 위치 정보를 표시할 수 있다.
전자 장치(400)는 제1 통신부(410) 또는 제2 통신부(412)를 이용하여 외부 장치들(예: 서버, 웨어러블 장치 등)과 통신할 수 있다. 제1 통신부(410) 및 제2 통신부(412)는 도 1의 통신 인터페이스(170) 및 도 2의 통신 모듈(220)에 대응될 수 있다.
다양한 실시 예들에서, 제1 통신부(410)는 근거리 무선 통신부로, 블루투스, 저전력 블루투스, 와이파이, 와이기그 등의 통신을 수행할 수 있다. 여기에서, 제1 통신부(410)는 WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227), NFC 모듈(228)을 포함할 수 있다. 예를 들어, 전자 장치(400)는 제1 통신부(410)를 이용하여, 차량 또는 웨어러블 디바이스와 연결될 수 있다. 또는, 전자 장치(400)는 제1 통신부(410)를 이용하여 웨어러블 디바이스로 차량의 주차 위치와 관련된 정보를 송신할 수 있다.
다양한 실시 예들에서, 전자 장치(400)는 제2 통신부(412)를 이용하여 무선 인터넷 접속 및 서버(106)와의 무선 랜 링크를 형성할 수 있다. 여기에서, 제2 통신부(412)는 RF 모듈(229), WiFi 모듈(223) 및 셀룰러 모듈(221)을 포함할 수 있다. 예를 들어, 전자 장치(400)는 제2 통신부(412)를 이용하여 서버(106)로 영상 정보를 송신하고, 서버(106)로부터 영상 정보를 분석한 결과 또는 차량의 주차 위치와 관련된 정보를 수신할 수 있다.
메모리부(414)는 차량의 주차 위치와 관련된 정보를 저장할 수 있다. 메모리부(414)는 도 1의 메모리(130) 및 도 2의 메모리(230)에 대응될 수 있다. 예를 들어, 상기 차량의 주차 위치와 관련된 정보는 카메라 모듈(418)을 이용하여 획득된 영상 또는 차량에 설치된 외부 기기로부터 수신된 영상과 같은 영상 정보일 수 있다. 또는, 상기 차량의 주차 위치와 관련된 정보는 영상 분석부(406)에서 처리된 주차장의 기둥 정보, 기둥에 포함된 문자와 관련된 정보, 또는 서버(106)로부터 수신된 영상 분석 결과일 수 있다.
센서부(416)는 전자 장치(400)의 동작 상태 또는 주변 상황을 감지하여, 감지된 정보를 전기 신호로 변환할 수 있다. 센서부(416)는 도 2의 센서 모듈(240)에 대응될 수 있다. 예를 들어, 센서부(416)는 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E) 및 조도 센서(240K)를 포함할 수 있다. 본 개시의 다양한 실시 예들에서, 센서부(416)는 상기 센서들을 이용하여, 차량의 위치, 차량이 운행되는 환경의 조도 또는 마그네틱 값의 변화를 감지할 수 있다.
카메라 모듈(418)은 정지 영상 및 동영상을 촬영할 수 있는 장치이다. 예를 들어, 차량이 주차장에 진입한 것으로 판단되는 경우, 프로세서(402)는 카메라 모듈(418)을 이용하여 주차장의 동영상을 촬영할 수 있다. 또는, 차량이 주차된 것으로 판단되는 경우, 프로세서(402)는 카메라 모듈(418)을 이용하여 주차장의 정지 영상을 촬영할 수 있다.
입출력부(420)는 사용자 또는 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(400)의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 여기에서, 입출력부(420)는 도 1의 입출력 인터페이스(150)에 대응될 수 있으며, 도 2의 오디오 모듈(280), 스피커(282), 리시버(284), 이어폰(286), 또는 마이크 등을 포함할 수 있다.
다양한 실시 예들에서, 프로세서(402)는 차량이 주차장에 진입하는지 여부를 감지할 수 있다. 이 경우, 프로세서(402)는 제1 통신부(410)에 포함된 GNSS 모듈(예: GNSS 모듈(227)) 또는 센서부(416)에 포함된 조도 센서, 마그네틱 센서 등 다양한 센서를 이용할 수 있다.
다양한 실시 예들에서, 프로세서(402)는 영상 정보를 획득할 수 있다. 이 경우, 프로세서(402)는 카메라 모듈(418) 또는 차량에 설치된 외부기기(예: 블랙박스) 등을 이용할 수 있다. 여기에서, 차량에 설치된 외부기기 등을 이용하여 주차장의 영상 정보를 획득하는 경우, 프로세서(402)는 제1 통신부(410) 또는 제2 통신부(412)를 통해 차량에 설치된 외부기기로부터 영상 정보를 수신할 수 있다.
다양한 실시 예들에서, 프로세서(402)는 차량의 주차 여부를 감지할 수 있다. 이 경우, 프로세서(402)는 제1 통신부(410)에 포함된 블루투스 모듈 또는 센서부(416)에 포함된 가속도 센서를 이용할 수 있다.
다양한 실시 예들에서, 프로세서(402)는 차량의 최종 주차 위치 정보를 식별할 수 있다. 이때, 프로세서(402)는 차량이 주차장에 진입한 후 획득된 영상 및 차량이 주차된 시점 또는 그 이후에 획득된 영상에 대한 분석 결과에 기초하여 주차 위치 정보를 식별할 수 있다. 이를 위해, 프로세서(402)는 영상 획득 및 분석을 동시에 수행할 수 있다. 예를 들어, 프로세서(402)는 주차장에 차량이 진입한 후 획득된 영상 정보를 실시간으로 분석할 수 있다. 또는, 프로세서(402)는 모든 영상들을 획득한 후 분석을 수행할 수 있다. 예를 들어, 주차한 시점 또는 그 이후의 영상을 획득한 경우, 프로세서(402)는 차량이 주차장에 진입한 후 획득된 영상, 주차한 시점에 획득된 영상 또는 그 이후의 영상을 분석할 수 있다.
다양한 실시 예들에서, 프로세서(402)는 차량의 주차 위치 정보를 출력할 수 있다. 예를 들어, 프로세서(402)는 디스플레이(260)을 이용하여 차량의 주차 위치 정보를 표시할 수 있다. 또는, 프로세서(402)는 제1 통신부(410)에 포함된 블루투스 모듈 또는 NFC 모듈을 이용하여 다른 장치(예: 웨어러블 장치)로 주차 위치 정보를 송신할 수 있다. 이와 달리, 음성 출력을 요청하는 사용자 입력이 검출되는 경우, 프로세서(402)는 오디오부(420)에 포함된 오디오 모듈을 이용하여 차량의 위치 정보를 소리의 형태로 출력할 수도 있다.
다양한 실시 예들에서, 프로세서(402)는 서버(106)로 영상 정보를 송신할 수 있다. 이 경우, 프로세서(402)는 제2 통신부(412)를 이용할 수 있다. 여기에서, 서버(106)로 영상 정보가 송신된 경우, 프로세서(402)는 서버(106)로부터 영상 분석 결과를 수신할 수 있다. 서버(106)로부터 영상 분석 결과가 수신된 후에, 프로세서(402)는 수신된 영상 분석 결과에 기초하여 차량의 최종 주차 위치 정보를 식별하고, 식별된 차량의 최종 주차 위치 정보를 출력할 수 있다.
다양한 실시 예들에서, 프로세서(402)는 차량이 주차된 것으로 판단되면, 카메라(376)을 실행시킬 수 있다. 여기에서, 카메라(376)를 이용하여 영상이 획득되는 경우, 프로세서(402)는 획득된 영상에서 문자 정보를 추출하고 분석할 수 있다. 그 후, 프로세서(402)는 분석된 문자 정보를 이용하여 차량의 주차 위치 정보를 출력할 수 있다.
도 4b는 본 개시의 다양한 실시 예들에 따른 영상 분석부(406)의 구성의 예를 도시한다. 도 4b를 참고하면, 영상 분석부(406)은 객체 추출 모듈(432), 문자 추출 모듈(434) 및 문자 분석 모듈(436)을 포함할 수 있다.
객체 추출 모듈(432)은 영상 정보에서 주차장의 구역에 대한 정보를 포함하는 객체 정보를 생성할 수 있다. 예를 들어, 영상 정보에서 주차장의 기둥 정보를 추출할 수 있다. 이 경우, 상기 주차장의 기둥 정보는 기둥에 대한 영상을 의미할 수 있다. 구체적으로, 객체 추출 모듈(432)은 영상 정보에서 후보 기둥 영역을 판단하고, 후보 기둥 영역이 기둥을 포함하고 있는지 여부를 판단하고, 대상 영역을 기둥으로 최종 판단할 수 있다.
문자 추출 모듈(434)은 영상 정보에서 문자를 추출할 수 있다. 이 경우, 문자 추출 모듈(434)는 입력된 영상을 이진화하여 윤곽선을 인식한 후, 문자 인식 알고리즘(예: 회선 신경망 기술(Convolutional Neural Network, CNN))을 이용할 수 있다.
문자 분석 모듈(436)은 추출된 문자를 패턴에 따라 분류할 수 있다. 예를 들어, 문자 분석 모듈(436)은 추출된 문자들을 주차장의 층(floor) 정보를 나타내는 문자와 구역(section) 정보를 나타내는 문자로 분류할 수 있다. 여기에서, 구역은 하나의 층을 물리적인 공간으로 구분하는 단위로서, 하나의 층은 다수의 구역들을 포함할 수 있다.
도 5는 본 개시의 다양한 실시 예들에 따른 차량의 주차 위치 정보를 제공하는 절차의 예를 도시한다. 도 5에서, 전자 장치(400)는 주차장에 차량이 진입한 경우, 영상을 수집하는 것이 가정된다. 또한, 전자 장치(400)가 기둥 추출, 문자 추출 및 문자 분석 동작을 수행하는 것이 가정된다.
전자 장치(400)는 차량의 운행 여부를 감지할 수 있다(단계 505). 예를 들어, 전자 장치(400)는 차량과의 블루투스의 연결 상태에 기초하여 차량의 운행 여부를 판단할 수 있다. 이 경우, 전자 장치(400)는 차량과의 블루투스 연결 시간 또는 연결 패턴을 이용할 수 있다. 다양한 실시 예들에서, 전자 장치(400)는 차량과의 블루투스 연결의 패턴을 분석하여 사용자의 차량으로 판단하는 경우에만, 차량의 주차 위치를 제공하는 알고리즘을 수행할 수도 있다. 다른 예를 들어, 전자 장치(400)는 차량의 진동 패턴 분석을 이용할 수 있다. 예컨대, 전자 장치(400)는 가속도 센서(240E)를 이용하여 차량의 지속적인 진동을 검출하여, 검출된 진동의 패턴을 분석할 수 있다.
전자 장치(400)는 차량의 주차장 진입 여부를 감지할 수 있다(단계 510). 여기에서, 주차장은 실내 또는 실외 주차장일 수 있다. 즉, 실내 주차장이라도, 구역에 대한 표식(sign)(예: 문자)를 표시한 기둥 또는 이에 대체 가능한 객체가 존재하면, 본 개시의 다양한 실시 예들이 적용될 수 있다. 예를 들어, 실내 주차장인 경우, 전자 장치(400)는 GPS 신호의 측정, 조도 측정 또는 지자기 변화 값의 측정을 통하여 차량의 주차장 진입 여부를 판단할 수 있다. 다른 예를 들어, 실외 주차장인 경우, 전자 장치(400)는 GPS 신호 측정에 의한 차량의 위치 측정에 의해 차량의 주차장 진입 여부를 판단할 수 있다.
차량이 주차장에 진입한 것으로 판단되면, 전자 장치(400)는 영상을 수집할 수 있다(단계 515). 이 경우, 전자 장치(400)는 카메라 모듈(418)을 이용할 수 있다. 또는, 전자 장치(400)는 차량에 설치된 외부기기(예: 블랙박스 등)에서 촬영된 주차장에 대한 영상을 획득할 수 있다. 다양한 실시 예들에서, 영상 수집은 차량이 주차를 하거나 주차하지 않고 주차장을 나갈 때까지 계속 될 수 있다.
전자 장치(400)는 차량의 주차 상태를 인식할 수 있다(단계 520). 예를 들어, 전자 장치(400)는 블루투스의 연결이 해제된 것을 감지하여 차량이 주차된 것으로 판단할 수 있다. 또는, 전자 장치(400)는 가속도 센서를 이용하여 차량의 진동이 일정 시간 동안 발생하지 않는 것으로 판단하는 경우, 차량이 주차된 것으로 판단할 수 있다. 또는, 전자 장치(400)는 차량에 설치된 외부기기(예: 블랙박스, OBD(On-board diagnostics))-2 등)를 이용하여 차량의 시동이 꺼지거나, 주차 모드(P(parking) mode)로 차량 상태가 변화된 것을 감지할 수 있다.
전자 장치(400)는 수집된 영상들에서 기둥 정보를 추출할 수 있다(단계 525). 여기에서, 기둥 정보는 주차 위치와 관련된 정보를 포함할 수 있다. 예를 들어, 전자 장치(400)는 가장자리(edge) 또는 색(color) 특성을 이용하여 영상 정보에서 기둥 정보를 인식할 수 있으며, 다양한 기둥 영상으로부터 학습된 모델을 이용하는 머신 러닝(Machine Learning) 기법을 통해 기둥 정보를 인식할 수 있다. 도 5에 도시된 것과 같이, 전자 장치(400)는 수집된 영상들에서 제1 기둥 정보(B2 010), 제2 기둥 정보(B2 040), 제3 기둥 정보(B2 055) 및 제4 기둥 정보(B2 075)를 추출할 수 있다. 여기에서, B2는 지하 2층을 의미하고, 010, 040, 055 및 075는 주차 구역을 의미할 수 있다. 다양한 실시 예에서, 전자 장치(400)는 기둥 이외에 주차장에서 차량의 주차 위치를 표시할 수 있는 식별 정보를 검출할 수 있다.
전자 장치(400)는 단계 525에서 추출된 기둥 정보에서 문자 정보를 추출할 수 있다(단계 530). 여기에서, 문자 정보는 주차 위치와 관련된 문자 정보일 수 있다. 이 경우, 전자 장치(400)는 윤곽선 인식과 영상 잡음(image noise) 제거 기법을 이용할 수 있다.
전자 장치(400)는 단계 530에서 추출된 문자 정보를 분석할 수 있다(단계 535). 예를 들어, 전자 장치(400)는 추출된 각각의 문자 정보의 빈도 수에 기초하여 문자 정보를 분류할 수 있다. 도 5에 도시된 것과 같이, 전자 장치(400)는 최종 주차 위치에 대한 문자 정보(B2 075)를 층(floor)을 나타내는 정보(B2) 및 구역(section)을 나타내는 정보(075)로 분류할 수 있다.
전자 장치(400)는 단계 535에서 분석된 주차 위치 정보를 출력할 수 있다(단계 540). 예를 들어, 전자 장치(400)는 차량의 주차 위치 정보를 표시부(408)를 이용하여 표시할 수 있다. 또는, 전자 장치(400)는 차량의 주차 위치 정보를 입출력부(420)에 포함된 오디오 모듈을 이용하여 음성 정보로 출력할 수 있다. 이 외에도, 전자 장치(400)는 차량의 주차 위치 정보를 다른 장치(예: 웨어러블 장치, 갤럭시 기어 등)로 송신할 수 있다.
도 5을 참고하면, 전자 장치(400)는 차량이 주차된 것이 인식(단계 520)된 후에 기둥 정보 추출(단계 525), 문자 정보 추출(단계 530) 및 문자 정보 분석(단계 535)을 수행하는 것으로 도시되어 있다. 그러나, 다양한 실시 예들에서, 전자 장치(400)는 차량이 주차장에 진입한 후, 영상이 수집될 때마다 실시간으로 기둥 정보 추출, 문자 정보 추출 및 문자 정보 분석을 수행할 수도 있다.
도 5를 참고하여 설명한 주차 위치 식별 절차에 따르면, 영상들에서 기둥 정보가 추출된다. 여기서, 기둥은 주차 위치에 관한 정보가 표시된 객체를 의미한다. 즉, 도 5의 설명에서 기둥은 일 예시로서, 다양한 실시 예에 따라 영상에서 추출되는 객체는 기둥이 아닌 다른 대상으로 대체될 수 있다. 예를 들어, 주차 위치에 대한 정보를 포함하는 적어도 하나의 객체는 주차장을 구성하는 구조물 또는 구조물의 일부(예: 기둥, 벽, 바닥), 주차장에 설치된 설치물(예: 표지판, 전광판, 인쇄물 등), 또는 이와 유사한 주차 구역에 대한 정보를 포함하는 물리적인 객체일 수 있다.
객체에 대한 정보는, 적어도 하나의 객체가 지닌 형태적 특성(예: 수직선을 포함하는 형태, 수평선을 포함하는 형태, 곡선을 포함하는 형태 등)에 기초하여, 추출될 수 있다. 따라서, 객체는 일정한 패턴의 형태, 모양 또는 색채를 가지는 대상으로 정의되는 것이 바람직하다. 예를 들어, 적어도 하나의 객체가 기둥인 경우, 프로세서(402)는 수직선의 형태를 포함하는 기둥의 형태적 특성에 기초하여, 획득된 영상 정보에서 주차장의 기둥에 대한 영상 정보를 추출할 수 있다.
영상에서 추출되는 객체는 주차 위치에 대한 정보를 가질 확률이 높은 영상의 일부를 의미한다. 따라서, 영상에서 객체의 정보를 추출함은, 영상에서 주차장에서 위치 정보를 포함하는 영역을 추출하는 것을 의미한다. 즉, 영상에서 객체에 대한 정보를 추출함은, 위치 정보를 포함하는 부분 이미지를 생성하는 것과 동등한 의미로 해석될 수 있다.
도 6은 본 개시의 다양한 실시 예들에 따른 전자 장치(400)의 동작 프로세스의 일 예를 도시한다. 도 6에서, 전자 장치(400)가 영상 정보를 획득하여 획득된 영상 정보를 실시간으로 분석하는 경우가 가정된다.
도 6을 참고하면, 프로세서(402)는 차량의 주차장 진입 여부를 감지할 수 있다(단계 605). 예를 들어, 프로세서(402)는 제1 통신부(410)를 이용한 GPS 신호 측정을 통하여 차량이 주차장에 진입하는 것을 판단할 수 있다. GPS 신호 측정을 통하여 주차장 진입 여부를 판단하는 경우, 프로세서(402)는 GPS 신호 감도의 저하를 인식하여 차량의 주차장 진입을 판단할 수 있다. 다른 예를 들어, 프로세서(402)는 센서부(416)를 이용한 조도 값의 변화, 마그네틱 값의 변화 또는 주차장 내의 특정 위치(예: 입구)에 설치된 전자 장치에서 송신되는 비콘(beacon) 신호를 검출함으로써 차량이 주차장에 진입하는지 여부를 판단할 수 있다.
프로세서(402)는 영상 정보를 획득할 수 있다(단계 610). 예를 들어, 프로세서(402)는 센서부(416)에 포함되는 가속도 센서(예: 가속도 센서(240E))를 이용한 측정에 기초하여 전자 장치(400)가 차량에 거치되어 있는 것으로 판단하는 경우, 영상 정보를 획득하기 위하여 카메라 모듈(418)을 이용할 수 있다. 다른 예를 들어, 프로세서(402)는 차량에 설치된 외부기기(예: 블랙박스)에서 촬영된 영상 정보를 제1 통신부(410)를 이용하여 수신함으로써 영상 정보를 획득할 수도 있다.
프로세서(402)는 획득된 영상을 분석할 수 있다(단계 615). 구체적으로, 프로세서(402)는 획득한 영상을 분석하기 위하여 기둥 정보의 검출, 문자 정보의 추출 및 문자를 패턴에 기초한 분석을 수행할 수 있다. 영상 분석의 절차는 이하 도 9 내지 도 15에서 상세하게 설명된다.
영상 정보를 분석한 후, 프로세서(402)는 차량이 주차되었는지 여부를 판단할 수 있다(단계 620). 여기에서, 차량이 주차되었는지 여부는 차량이 주차되었음을 나타내는 신호의 검출을 통해 결정될 수 있다. 예를 들어, 프로세서(402)는 제1 통신부(410)에 포함된 블루투스 모듈(예: BT 모듈(225))을 이용하여 블루투스의 연결이 해제된 것을 감지함으로써 차량이 주차된 것을 판단할 수 있다. 또는, 프로세서(402)는 센서부(416)에 포함된 가속도 센서(예: 가속도 센서(240E))를 이용하여 차량에서 진동이 발생되지 않는 것을 감지함으로써 차량이 주차된 것을 판단할 수 있다. 이 외에도, 차량의 주차 여부 판단을 위하여, 프로세서(402)는 차량에 설치된 외부기기(예: OBD-2, 블랙박스 등)를 이용할 수 있다.
만일, 차량이 주차되지 않은 것으로 판단되는 경우, 프로세서(402)는 단계 610으로 되돌아가 영상 정보를 획득할 수 있다. 따라서, 프로세서(402)는 차량이 주차되기 전까지 영상 정보를 지속적으로 획득할 수 있다.
반면, 차량이 주차되어 있는 것으로 판단되는 경우, 프로세서(402)는 차량이 주차된 시점의 영상 정보를 획득할 수 있다(단계 625). 이 경우, 프로세서(402)는 카메라 모듈(418) 또는 차량에 설치된 외부기기(예: 블랙박스 등)을 이용하여 차량이 주차된 시점의 영상 정보를 획득할 수 있다.
프로세서(402)는 차량이 주차된 시점의 영상 정보가 획득되면, 주차 시 획득된 영상 정보를 분석할 수 있다(단계 630). 여기에서, 프로세서(402)는 영상 분석부(406)에 포함된 객체 추출 모듈(432), 문자 추출 모듈(434), 문자 분석 모듈(436)을 이용할 수 있다. 영상 정보의 분석의 절차는 이하 도 9 내지 도 15에서 상세하게 설명된다. 또는, 다른 실시 예들에서 프로세서(402)는 광학적 문자 판독(optical character reader, OCR) 기법을 이용할 수도 있다.
차량의 주차 전에 획득된 적어도 하나의 영상 및 차량의 주차 후에 획득된 영상 정보를 분석한 후에, 프로세서(402)는 분석된 결과에 기초하여 차량의 주차 위치 정보를 식별하고, 식별된 주차 위치 정보를 출력할 수 있다(단계 635).
여기에서, 프로세서(402)는 획득된 영상 정보에서 주차 구역에 대한 정보를 포함하는 적어도 하나의 객체의 영상 정보를 생성한 후, 생성된 적어도 하나의 객체의 영상 정보에 기초하여 차량의 최종 주차 위치 정보를 식별할 수 있다. 예컨대, 프로세서(402)는 차량이 주차된 위치의 층을 나타내는 정보와 구역을 나타내는 정보를 식별할 수 있다. 또는, 주차 시 획득된 영상 정보에서 OCR 기법을 이용하여 문자 정보가 추출된 경우, 프로세서(402)는 추출된 문자 정보와 주차 전에 획득된 영상 정보의 분석 결과 간의 대응 관계를 확인함에 따라 차량이 주차된 위치의 층을 나타내는 정보와 구역을 나타내는 정보를 식별할 수도 있다.
차량의 최종 주차 위치 정보를 식별한 후, 프로세서(402)는 차량의 주차 위치 정보를 출력할 수 있다. 이 경우, 프로세서(402)는 표시부(408)를 이용할 수 있다. 예를 들어, 프로세서(402)는 차량의 최종 주차 위치와 관련된 영상 및 차량의 최종 주차 위치와 관련된 문자 정보를 표시부(408)를 이용하여 표시할 수 있다. 또는, 프로세서(402)는 최종 주차 위치와 관련된 문자 정보만을 표시할 수도 있다. 이 외에도, 프로세서(402)는 입출력부(420)에 포함된 오디오 모듈을 이용하여 최종 주차 위치와 관련된 음성 정보를 출력할 수 있다.
다양한 실시 예들에서, 프로세서(402)는 최종 주차 위치 정보를 식별하는 경우, 알림창(notification window) 또는 주차 위치와 관련된 어플리케이션을 이용하여 차량의 주차 위치 정보를 출력할 수 있다.
도 6에 도시된 실시 예에서, 단계 620 이후, 특별한 조건 없이, 단계 625가 수행되는 것으로 설명되었다. 그러나, 다른 실시 예들에서, 단계 625에 추가적 또는 대체적으로, 프로세서(402)는 사용자의 요청을 감지한 경우, 차량의 주차 위치 정보를 출력할 수 있다. 예를 들어, 사용자가 음성으로 차량의 주차 위치 정보를 요청하는 경우, 프로세서(402)는 차량의 주차 위치와 관련된 문자 정보, 사진, 음성 중 적어도 어느 하나를 출력할 수 있다. 또는, 사용자가 어플리케이션을 실행하여 차량의 주차 위치 정보를 요청하는 경우, 프로세서(402)는 사용자의 입력에 대응하여 어플리케이션을 이용하여 차량의 주차 위치와 관련된 문자 정보, 사진, 음성 중 적어도 어느 하나를 출력할 수 있다.
다양한 실시 예들에서, 프로세서(402)는 차량이 주차된 위치 정보를 다른 장치(예: 웨어러블 장치, 갤럭시 기어 등)로 송신할 수 있다. 예를 들어, 프로세서(402)는 제1 통신부(410)를 이용하여 외부의 웨어러블 장치로 차량이 주차된 위치 정보를 송신할 수 있다. 이러한 경우, 차량이 주차된 위치 정보는 웨어러블 장치에서 표시될 수 있다.
도 7은 본 개시의 다양한 실시 예들에 따른 전자 장치(400)의 동작 프로세스의 다른 예를 도시한다. 도 7에서, 전자 장치(400)는 모든 영상 정보들을 획득한 경우에, 획득된 영상 정보들을 분석하는 것이 가정된다.
도 7을 참고하면, 프로세서(402)는 차량의 주차장 진입 여부를 감지할 수 있다(단계 705). 여기에서, 프로세서(402)는 제1 통신부(410)에 포함된 GNSS 모듈(예: GNSS 모듈(227)) 또는 센서부(416)에 포함된 조도 센서(예: 조도 센서(240K)) 또는 마그네틱 센서(예: 마그네틱 센서(240D))를 이용할 수 있다. 또는, 프로세서(402)는 주차장 내의 특정 위치에 설치된 전자 장치에서 송신되는 비콘(beacon) 신호를 수신함에 따라 차량의 주차장 진입 여부를 감지할 수 있다.
프로세서(402)는 영상 정보를 획득할 수 있다(단계 710). 여기에서, 프로세서(402)는 영상 정보를 획득하기 위하여, 카메라 모듈(418)을 이용하거나 제1 통신부(410)를 이용하여 차량에 설치된 외부기기(예: 블랙박스)에서 촬영된 영상 정보를 수신할 수 있다. 단계 710에서의 동작은 도 6의 단계 610의 영상 획득 동작과 유사할 수 있다.
영상 정보를 획득한 후, 프로세서(402)는 차량이 주차되었는지 여부를 판단할 수 있다(단계 715). 여기에서, 차량이 주차되었는지 여부는 차량이 주차되었음을 나타내는 신호의 검출을 통해 결정될 수 있다. 예를 들어, 프로세서(402)는 제1 통신부(410)에 포함된 블루투스 모듈(예: BT 모듈(225)), 센서부(416)에 포함된 가속도 센서(예: 가속도 센서(240E)), 또는 차량에 설치된 외부기기(예: OBD-2, 블랙박스 등)를 이용하여 차량이 주차되었음을 나타내는 신호를 검출할 수 있다.
만일, 차량이 주차되지 않은 것으로 판단되는 경우, 프로세서(402)는 단계 710으로 되돌아가 영상 정보를 획득할 수 있다. 즉, 프로세서(402)는 차량이 주차되기 전까지 영상 정보를 지속적으로 획득할 수 있다.
반면, 차량이 주차되어 있는 것으로 판단되는 경우, 프로세서(402)는 차량이 주차된 시점의 영상 정보를 획득할 수 있다(단계 720). 예를 들어, 프로세서(402)는 카메라 모듈(418)을 이용하여 주차된 차량 및 그 주변을 촬영하거나 차량에 설치된 외부기기(예: 블랙박스 등)로부터 차량이 주차된 시점의 영상 정보를 수신할 수 있다.
프로세서(402)는 차량이 주차된 시점의 영상 정보가 획득되면, 획득된 모든 영상 정보를 분석할 수 있다(단계 725). 여기에서, 프로세서(402)는 영상 분석부(406)에 포함된 객체 추출 모듈(432), 문자 추출 모듈(434), 문자 분석 모듈(436)을 이용할 수 있다. 기둥 추출, 문자 추출 및 문자 분석과 관련된 내용은 이하 도 9 내지 도 15에서 상세하게 설명된다. 또는, 프로세서(402)는 광학적 문자 판독(optical character reader, OCR) 기법을 이용할 수도 있다.
획득된 모든 영상 정보가 분석된 후, 프로세서(402)는 분석된 결과에 기초하여 차량의 주차 위치 정보를 식별하고, 식별된 주차 위치 정보를 출력할 수 있다(단계 730).
여기에서, 프로세서(402)는 획득된 영상 정보에서 주차 구역에 대한 정보를 포함하는 적어도 하나의 객체의 영상 정보를 생성한 후, 생성된 적어도 하나의 객체의 영상 정보에 기초하여 차량의 최종 주차 위치 정보를 식별할 수 있다.
단계 730의 차량의 주차 위치 정보를 식별 및 출력하는 동작은 도 6의 단계 635에서 설명된 동작 및 실시 예들과 유사할 수 있다.
도 8은 본 개시의 다양한 실시 예들에 따른 전자 장치(400)에서 영상을 분석하는 프로세스의 예를 도시한다. 도 8를 참고하면, 전자 장치(400)는 도 6의 단계 615, 단계 630 또는 도 7의 단계 725에서 영상을 분석하는 경우, 이하 설명과 같은 프로세스를 수행할 수 있다.
프로세서(402)는 영상 정보를 획득하는 경우, 획득된 영상 정보에서 기둥 정보를 추출할 수 있다(단계 805). 여기에서, 기둥 정보는 기둥에 대한 영상을 의미할 수 있다. 예를 들어, 프로세서(402)는 객체 추출 모듈(432)를 이용하여 획득된 영상 정보에서 주차 구역이 표시되어 있는 기둥 정보를 추출할 수 있다. 이러한 경우, 프로세서(402)는 획득된 영상 정보에서 후보 기둥 영역을 검출하고, 검출된 후보 기둥 영역이 기둥을 포함하는지 여부를 판단하고, 기둥을 포함하는 경우 대상 영역을 기둥으로서 추출하는 절차를 수행할 수 있다. 예를 들어, 프로세서(402)는 영상 정보의 가장자리(edge) 또는 색(color) 특성에 기초하여 기둥 정보를 인식할 수 있다. 가장자리 특성에 기초하여 기둥 정보를 추출하는 동작의 절차는 이하 도 10 내지 도 12에서 보다 상세하게 설명된다. 또한, 프로세서(402)는 다양한 기둥 이미지로부터 학습된 모델을 이용하는 머신 러닝 기법으로 기둥 정보를 인식할 수도 있다.
다양한 실시 예들에서, 프로세서(402)는 영상을 획득하는 경우, 획득된 영상에서 주차 구역과 관련된 정보가 포함된 영역을 추출할 수 있다. 예를 들어, 프로세서(402)는 획득된 영상에서 MSER(Maximally Stable Extermal Region) 컴퓨터 비전(computer vision) 알고리즘을 이용할 수 있다. 구체적으로, 프로세서(402)는 획득된 영상에 포함된 다수의 MSER들에서 복수의 객체들이 수평적으로(horizontally) 근접한 경우, 이러한 객체들이 주차장의 위치 정보를 나타내는 것으로 결정할 수 있다. 예컨대, 프로세서(402)는 주차 구역과 관련된 정보가 포함된 표지판, 바닥 면 등에 대한 정보를 추출할 수 있다.
획득된 영상 정보에서 기둥 정보가 추출된 경우, 프로세서(402)는 추출된 기둥 정보에 포함된 문자 정보를 추출할 수 있다(단계 810). 여기에서, 프로세서(402)는 문자 추출 모듈(434)을 이용할 수 있다. 보다 상세하게는, 프로세서(402)는 추출된 기둥 정보를 이진화(binarization) 처리하고, 이진화 처리된 기둥 정보에서 윤곽선들을 인식한 후, 인식된 윤곽선들을 회선 신경망 기법에 기초하여 처리함으로써 문자 정보를 추출할 수 있다. 문자 정보를 추출하는 동작에 대한 내용은 이하 도 14에서 보다 상세하게 설명된다.
기둥 정보에 포함된 문자 정보가 추출된 경우, 프로세서(402)는 추출된 문자 정보를 분석할 수 있다(단계 815). 이 경우, 문자 정보를 분석하기 위하여, 프로세서(402)는 반복적인 연산을 통하여 문자 정보의 패턴 검출할 수 있다. 이를 통해, 프로세서(402)는 추출된 주차 위치와 관련된 문자 정보를 층을 지시하는 문자 정보와 구역을 지시하는 문자 정보로 분류할 수 있다. 문자 정보를 분석하는 절차는 이하 도 15에서 상세하게 설명된다.
이하 도 9 내지 도 12에 대한 설명에서, 본 개시의 다양한 실시 예들에 따른 전자 장치에서 기둥 정보를 검출하는 프로세스가 설명된다. 도 9는 본 개시의 다양한 실시 예들에 따른 전자 장치(400)에서 기둥 정보를 추출하는 프로세스의 예를 도시한다. 또한, 도 10, 도 11 및 도 12는 각각 본 개시의 다양한 실시 예들에 따른 전자 장치(400)에서 후보 기둥 영역을 검출하는 프로세스, 후보 기둥 영역이 기둥을 포함하는지 여부를 결정하는 프로세스, 기둥 영역을 결정하는 프로세스의 예를 도시한다.
여기에서, 전자 장치(400)는 도 8의 단계 805에서 기둥 정보를 추출하는 경우, 이하 설명과 같은 프로세스를 수행할 수 있다.
프로세서(402)는 획득된 영상 정보에서 후보 기둥 영역을 검출할 수 있다(단계 905). 이 경우, 프로세서(402)는 가장자리(edge) 기법을 이용할 수 있는데, 이에 대한 구체적인 프로세스는 도 10을 참고하여 이하 설명된다.
도 10에 도시된 입력 영상(1002)이 전자 장치(400)에 입력되면, 프로세서(402)는 입력된 영상에 기초하여 도 10에 도시된 것과 같이, 가장자리 정보(1004)를 생성할 수 있다. 이 경우, 프로세서(402)는 다양한 알고리즘들(예: Canny 가장자리 검출 알고리즘 또는 Sobel 가장자리 검출 알고리즘)을 이용하여 입력 영상으로부터 가장자리 성분들을 검출할 수 있다.
가장자리 정보(1004)가 생성된 경우, 프로세서(402)는 검출된 가장자리 정보에 기초하여, 도 10에 도시된 것과 같이, 수직선 정보(1006)를 생성할 수 있다. 여기에서, 프로세서(402)는 다양한 변환 기법들(예: 허브 변환(Hough Transform))을 이용하여 검출된 가장자리들로부터 수직 성분을 검출할 수 있다.
입력 영상에 대한 수직선들이 검출된 경우, 프로세서(402)는 도 10에 도시된 것과 같이, 후보 기둥 영역 정보(1008)를 생성할 수 있다. 여기에서, 후보 기둥 영역은 검출된 수직선을 기준으로 일정 범위의 좌우 영역을 의미할 수 있다.
획득된 영상 정보에서 후보 기둥 영역이 검출된 경우, 프로세서(402)는 후보 기둥 영역이 기둥을 포함하는지 여부를 판단할 수 있다(단계 910). 이 경우, 프로세서(402)는 다양한 영상 처리 기법들을 이용할 수 있는데, 이에 대한 구체적인 프로세스는 도 11을 참고하여 이하 설명된다.
후보 기둥 영역 정보가 생성된 경우, 프로세서(402)는 검출된 후보 기둥 영역에 대하여 도 11에 도시된 것과 같이, 관심 영역(region of interest, ROI) 정보(1102)를 생성할 수 있다. 예를 들어, 프로세서(402)는 후보 기둥 영역 정보(1008)을 여러 단계로 스케일링(scaling)한 후, 미리 정해진 크기로 나눔으로써 ROI를 검출할 수 있다. 검출된 ROI를 이용하여, 프로세서(402)는 주차 구역 정보와 관련된 특정 영역들에 대한 분석을 수행할 수 있다.
ROI가 검출된 경우, 프로세서(402)는 해당 ROI에 대한 특성(feature)을 검출할 수 있다. 예를 들어, 상기 특성은 HOG(Histogram of Oriented Gradients) 특성일 수 있다. 구체적으로, 프로세서(402)는 ROI에 대하여 픽셀 단위로 도 11에 도시된 것과 같이, 기울기들(1104)을 측정한 후, 측정된 기울기를 이용하여 히스토그램(histogram)의 방향(1106)을 검출할 수 있다.
추출된 HOG 특성에 기초하여, 프로세서(402)는 후보 기둥 영역이 기둥을 포함하는지 여부를 결정할 수 있다. 일 실시 예에 따라, 프로세서(402)는 아다부스트 분류(adaptive boost)를 통해 해당 영역의 기둥 스코어(score)를 결정함에 따라 기둥 포함 여부를 판단할 수 있다. 또한, 다른 실시 예에 따라, 프로세서(402)는 학습된 기둥 형상에 관련된 모델을 이용한 머신 러닝 기법을 이용할 수도 있다.
만일, 후보 기둥 영역이 기둥을 포함하지 않는 것으로 판단되면, 프로세서(402)는 기둥을 포함하지 않는 것으로 판단된 후보 기둥 영역에 대한 정보를 삭제할 수 있다(단계 915). 해당 영역에 대한 정보가 삭제된 경우, 프로세서(402)는 단계 905로 되돌아가, 다시 후보 기둥 영역을 검출할 수 있다. 여기에서, 해당 영역은 기둥을 포함하지 않는 것으로 판단된 후보 기둥 영역을 의미한다.
도 9에 기둥을 포함하지 않는 것으로 판단되는 경우, 해당 영역에 대한 정보가 반드시 삭제되는 것처럼 도시되어 있지만, 전자 장치(400)의 부하(load)량에 따라 해당 영역에 대한 정보를 삭제하는 절차를 생략할 수 있다. 이 경우, 프로세서(402)는 단계 905로 되돌아가, 다시 후보 기둥 영역을 검출할 수 있다.
반면, 후보 기둥 영역을 포함하는 것으로 판단되면, 프로세서(402)는 도 11에 도시된 것과 같이, 해당 후보 기둥 영역이 포함된 기둥을 포함하는 영역 정보(1108)를 생성할 수 있다. 이 경우, 프로세서(402)는 기둥을 포함하는 영역을 추적(tracking) 대상으로 결정할 수 있다.
기둥을 포함하는 영역 정보(1108)이 생성된 경우, 프로세서(402)는 기둥 영역을 결정할 수 있다. 이 경우, 프로세서(402)는 추적 및 스코어링(scoring) 기법을 이용할 수 있는데, 이에 대한 구체적인 프로세스는 도 12를 참고하여 이하 설명된다.
도 12에 도시된 것과 같이, 기둥을 포함하는 영역 정보(1108)에 포함된 영역들에 대한 지속적인 추적(1202)을 수행할 수 있다. 이 경우, 추적(1202)은 프레임의 역순(reverse)으로 추적의 대상 영역들의 위치와 크기를 갱신하여 대상 영역들을 업데이트함으로써 수행될 수 있다. 예를 들어, 프로세서(402)는 프레임 n, 프레임 n-1, 프레임 n-2 순으로 추적의 대상 영역들을 검출할 수 있다.
대상 영역들의 업데이트가 수행됨에 따라, 프로세서(402)는 각각의 대상 영역들에 해당하는 스코어를 갱신할 수 있다. 여기에서, 스코어는 최종 기둥 영역을 결정하는데 사용되는 지표(metric)일 수 있다.
도 12에 도시된 것과 같이, 프로세서(402)는 대상 영역들에 대한 추적 및 스코어를 갱신함에 따라 기둥 영역(1206)을 결정할 수 있다. 여기에서, 기둥 영역은 미리 결정된 스코어 임계 값을 초과하는 영역을 의미할 수 있다. 또한, 프로세서(402)는 주차 시점에 획득된 마지막 프레임(1204)을 기준으로 스코어링 한 경우, 스코어가 가장 높은 영역을 최종 주차한 기둥 영역으로 판단할 수 있다.
도 13은 본 개시의 다양한 실시 예들에 따른 문자 추출 및 분석 알고리즘의 예를 도시한다. 도 13에서, 전자 장치(400)는 문자 추출 모듈(434) 및 문자 분석 모듈(436)을 이용하여 문자 추출 및 분석을 수행할 수 있다.
도 13을 참고하면, 기둥이 포함된 것으로 결정된 기둥 영상들(1302)이 문자 추출 모듈(1304)에 입력될 수 있다. 여기에서, 기둥 영상들(1302)은 기둥에 대한 정보를 포함하는 영상을 의미할 수 있다. 기둥 영상들(1302)이 문자 추출 모듈(434)로 입력되는 경우, 문자 추출 모듈(434)은 기둥 영상들(1302)에 포함된 문자 정보(1306)를 추출한다. 이 경우, 문자 추출 모듈(434)은 윤곽선 판별 및 회선 신경망 기법을 이용할 수 있다.
문자 정보(1306)가 추출된 후, 문자 정보(1306)는 문자 분석 모듈(436)에 입력될 수 있다. 문자 정보(1306)가 문자 분석 모듈(436)에 입력되는 경우, 문자 분석 모듈(436)은 문자 정보(1306)를 분석할 수 있다. 예컨대, 문자 분석 모듈(436)은 문자 정보(1306)를 분석함으로써, 층(floor)을 나타내는 문자 정보인 B3(1310)와 구역(section)을 나타내는 문자 정보 A1(1312)로 분류할 수 있다.
도 14는 본 개시의 다양한 실시 예들에 따른 문자 추출 모듈(434)의 동작 프로세스의 예를 도시한다.
도 14를 참고하면, 기둥 영상들(1402)의 입력을 감지하는 경우, 전자 장치(400)는 임계 모듈(Thresholding module)을 이용하여 기둥 영상들(1402)을 이진화 처리하여 이진화된 영상들(1406)을 생성할 수 있다. 예를 들어, 전자 장치(400)는 임계값(threshold value)을 '135'로 지정한 경우, '135' 이하의 값들은 배경으로 판단하고, '135'초과의 값들은 문자 정보로 판단할 수 있다.
전자 장치(400)는 이진화된 영상들(1406)에 대하여 윤곽선(contour) 인식(1408)을 수행하여 윤곽선이 인식된 영상들을 생성할 수 있다. 예를 들어, 전자 장치(400)는 이진화된 영상들(1406)에 포함된 'B3'에 대한 윤곽선을 인식하여 윤곽선이 인식된 영상을 생성할 수 있다.
윤곽선이 인식된 영상들이 생성된 후, 전자 장치(400)는 회선 신경망(Convolutional Neural Network, CNN) 기법(1410)을 이용하여 각각의 윤곽선이 인식된 영상들에 대한 문자 정보(1412)를 생성할 수 있다. 이 경우, 전자 장치(400)는 각각의 윤곽선이 인식된 영상들에 대한 반복적인 연산에 기초하여 윤곽선을 문자로 인식하는 기법을 이용할 수 있다. 이 외에도, 다양한 실시 예들에서, 회선 신경망 기법 이외의 광학적 문자 인식(OCR), 딥러닝(deep learning), 침식(erosion) 연산, 팽창(dilation) 연산 등과 같은 문자 인식 알고리즘들이 사용될 수 있다. 또한, 생성된 각각의 문자 정보(1412)는 유효한 정보(예: B3, C13) 뿐만 아니라 문자 인식의 오류에 의한 정보(예: 2, 7)도 포함할 수 있다.
도 15는 본 개시의 다양한 실시 예들에 따른 문자 분석 모듈(436, 1308)의 동작 프로세스의 예를 도시한다.
도 15를 참고하면, 전자 장치(400)는 기둥 영상들(1402)의 입력을 감지하는 경우, 문자 분석 모듈(436)을 이용하여, 고 신뢰성(high confidence)의 숫자를 포함하는 기둥 영상들을 선택할 수 있다. 여기에서, 고 신뢰성의 숫자는, 인식된 윤곽선과 그에 대응하는 숫자에 대한 연산을 통하여 신뢰도가 높은 것으로 판단된 숫자를 의미할 수 있다. 예컨대, 숫자에 대한 신뢰도가 0인 경우, 해당 문자는 숫자가 아닌 것으로 판단되고, 숫자에 대한 신뢰도가 100인 경우, 해당 문자는 숫자인 것으로 판단될 수 있다.
고 신뢰성의 숫자를 포함하는 기둥 영상이 선택된 후, 전자 장치(400)는 선택된 기둥 영상에 포함된 각각의 글자(letter)를 숫자들과 연결할 수 있다. 예를 들어, 전자 장치(400)는 선택된 기둥 영상에 글자 'B'가 포함되어 있는 경우, 숫자 '3'과 연결하여 'B3'을 생성할 수 있다.
전자 장치(400)는 숫자와 글자가 연결된 정보들 중에서 층 정보만을 고려할 수 있다. 예를 들어, 전자 장치(400)는 숫자와 연결된 글자가 '층', 'floor'의 'F'또는 'basement'의 'B'인 경우, 해당 문자 정보를 층 정보로 고려할 수 있다. 이와 달리, 전자 장치(400)는 센서부(416)에 포함된 기압 센서(pressure sensor)를 이용하여 미리 정해진 값에 기초하여 하나의 층 정보만을 고려할 수도 있다.
층 정보가 고려된 경우, 전자 장치(400)는 연속되는 영상에서 주기적으로 검출되는 문자 정보를 추출할 수 있다. 이에 따라, 전자 장치(400)는 층 문자(1512)와 구역 문자(1514)를 구분할 수 있다. 예를 들어, 'B3'가 연속되는 영상에서 최대 빈도로 검출되는 경우, 'B3'는 층 문자(1512)를 의미할 수 있다. 이 경우, 연속되는 영상에서 검출되는 나머지 문자 정보들(예: A1, C13)은 구역 문자(1514)를 의미할 수 있다.
도 16은 본 개시의 다양한 실시 예들에 따른 차량의 주차 위치 정보를 제공하는 절차의 예를 도시한다. 도 16에서, 전자 장치(400)가 주차장에 차량이 진입한 경우에 영상을 수집하는 것이 가정된다. 또한, 전자 장치(400)와 서버(106)가 협력하여 차량의 주차한 위치에 대한 정보를 제공하는 것이 가정된다. 예컨대, 전자 장치(400)는 서버(106)와 네트워크(162)를 이용하여 차량의 주차 위치를 제공하는 것과 관련된 정보를 송신 또는 수신할 수 있다.
전자 장치(400)는 차량의 운행 여부를 감지할 수 있다(단계 1605). 예를 들어, 전자 장치(400)는 차량과의 블루투스 연결 상태 또는 차량의 진동 패턴 분석, 또는 차량에 설치된 외부기기(예: OBD-2, 블랙박스 등)로부터의 차량 상태 정보 수신을 통하여 차량의 운행 여부를 감지할 수 있다. 차량 운행 감지(단계 1605)와 관련된 동작은 도 5의 단계 505에서의 동작과 유사할 수 있다.
전자 장치(400)는 차량의 주차장 진입 여부를 감지할 수 있다(단계 1610). 예를 들어, 전자 장치(400)는 GPS 신호의 측정, 조도 측정 또는 지자기 변화 값의 측정을 통하여 차량의 주차장 진입 여부를 감지할 수 있다. 차량의 주차장 진입 감지(단계 1610)와 관련된 동작은 도 5의 단계 510, 도 6의 단계 605 및 도 7의 단계 705에서의 동작과 유사할 수 있다.
차량이 주차장에 진입한 것이 판단되면, 전자 장치(400)는 영상을 수집할 수 있다(단계 1615). 예를 들어, 전자 장치(400)는 차량이 주차장에 진입한 것으로 판단되면, 카메라 모듈(418) 또는 차량에 설치된 외부기기(예: 블랙박스 등)를 이용하여 주차장에 대한 영상을 획득할 수 있다. 다양한 실시 예들에서, 영상 수집은 차량이 주차를 하거나 주차를 하지 않고 주차장을 나갈 때까지 계속 될 수 있다. 영상 수집(단계 1615)과 관련된 동작은 도 5의 단계 515, 도 6의 610 및 도 7의 단계 710에서의 동작과 유사할 수 있다.
전자 장치(400)는 차량의 주차 상태를 인식할 수 있다(단계 1620). 예를 들어, 전자 장치(400)는 블루투스의 연결 상태, 차량의 진동 상태 또는 차량에 설치된 외부기기(예: OBD-2, 블랙박스 등)로부터의 차량 상태 정보 수신을 통하여 차량의 주차 상태를 인식할 수 있다. 차량의 주차 상태 인식(단계 1620)과 관련된 동작은 도 5의 단계 520, 도 6의 단계 620 및 도 7의 단계 715에서의 동작과 유사할 수 있다.
전자 장치(400)는 단계 1615에서 수집된 영상들을 서버(106)로 송신할 수 있다. 이에 따라, 서버(106)는 수신된 영상들을 이용하여 기둥 정보를 추출할 수 있다(단계 1625). 여기에서, 상기 기둥 정보는 주차 위치와 관련된 정보를 포함하는 기둥 정보일 수 있다. 이 경우, 서버(106)는 가장자리 또는 색 특성을 이용하여 영상 정보에서 기둥 정보를 인식할 수 있으며, 또는 다양한 기둥 영상으로부터 학습된 모델을 이용하는 머신 러닝 기법을 통해 기둥 정보를 인식할 수도 있다. 예컨대, 서버(106)는 수집된 영상들에서 제1 기둥 정보(B2 010), 제2 기둥(B2 040), 제3 기둥(B2 055) 및 제4 기둥(B2 075) 정보를 추출할 수 있다. 여기에서, B2는 지하 2층을 의미하고, 010, 040, 055 및 075는 주차 구역을 의미할 수 있다. 다양한 실시 예에서, 서버(106)는 기둥 이외에 주차장에서 차량의 주차 위치를 표시할 수 있는 식별 정보를 검출할 수 있다. 또한, 다양한 실시 예에서, 서버(106)는 도 9 내지 도 12에서 설명된 기둥 정보 추출 기법을 이용하여 기둥 정보를 추출할 수 있다.
서버(106)는 단계 1625에서 추출된 기둥 정보에서 문자 정보를 추출할 수 있다(단계 1630). 다양한 실시 예에서, 서버(106)는 도 14에서 설명된 문자 정보 추출 알고리즘을 이용하여 문자 정보를 추출할 수 있다.
서버(106)는 단계 1630에서 추출된 문자 정보를 분석할 수 있다(단계 1635). 예를 들어, 서버(106)는 추출된 각각의 문자 정보의 빈도 수에 기초하여 추출된 문자 정보를 분류할 수 있다. 구체적으로, 서버(106)는 문자 정보가 추출되는 빈도 수에 기초하여 최종 주차 위치에 대한 문자 정보(B2 075)를 층 정보(B2) 및 구역 정보(075)로 분류할 수 있다. 다양한 실시 예에서, 서버(106)는 도 15에서 설명된 문자 정보 분석 알고리즘을 이용하여 문자 정보를 분석할 수 있다.
서버(106)는 단계 1635에서 생성된 문자 분석 정보를 전자 장치(400)로 송신할 수 있다. 이에 따라, 전자 장치(400)는 수신된 문자 분석 정보에 기초하여 생성된 주차 위치 정보를 출력할 수 있다(단계 1640). 예를 들어, 전자 장치(400)는 표시부(408) 또는 입출력부(420)를 이용하여 차량의 주차 위치 정보를 시각 정보 또는 음성 정보로 출력할 수 있다. 이와 달리, 전자 장치(400)는 차량의 주차 위치 정보를 다른 장치(예: 웨어러블 장치, 갤럭시 기어 등)로 송신할 수 있다. 주차 위치 정보 출력(단계 1640)과 관련된 동작은 도 5의 단계 540, 도 6의 단계 635 및 도 7의 단계 730에서의 동작과 유사할 수 있다.
도 16에서, 전자 장치(400)로부터 획득된 모든 영상을 수신한 후, 서버(106)는 기둥 정보 추출(단계 1625), 문자 정보 추출(단계 1630) 및 문자 정보 분석(단계 1635)을 수행하는 경우가 도시되어 있다. 그러나, 다양한 실시 예들에서, 서버(106)는 차량이 주차장에 진입한 후, 영상이 수집될 때마다 전자 장치(400)로부터 영상을 수신하여 실시간으로 기둥 정보 추출, 문자 정보 추출 및 문자 정보 분석을 수행할 수 있다. 이러한 경우, 서버(106)는 분석이 끝날 때마다 전자 장치(400)로 분석 결과를 송신할 수 있다.
또한, 도 16에서, 서버(106)가 기둥 정보 추출(단계 1625), 문자 정보 추출(단계 1630) 및 문자 정보 분석(단계 1635)을 모두 수행하는 경우가 도시되어 있다. 그러나, 다양한 실시 예들에서, 전자 장치(400)는 획득된 영상들에 대하여 기둥 정보 추출(단계 1625)을 수행한 후, 추출된 결과를 서버(106)로 송신할 수 있다. 이러한 경우, 서버(106)는 추출된 결과를 전자 장치(400)로부터 수신하여 문자 정보 추출(단계 1630) 및 문자 정보 분석(단계 1635)을 수행할 수 있다.
또한, 다양한 실시 예들에서, 전자 장치(400)는 획득된 영상들에 대하여 기둥 정보 추출(단계 1625) 및 문자 정보 추출(단계 1630)을 수행한 후, 추출된 결과를 서버(106)로 송신할 수 있다. 이러한 경우, 서버(106)는 추출된 결과를 전자 장치(400)로부터 수신하여 문자 정보 분석(단계 1635)을 수행할 수 있다.
도 16을 참고하여 설명한 주차 위치 식별 절차에 따르면, 영상들에서 기둥 정보가 추출된다. 여기서, 기둥은 주차 위치에 관한 정보가 표시된 객체를 의미한다. 즉, 도 16의 설명에서 기둥은 일 예시로서, 다양한 실시 예에 따라 영상에서 추출되는 객체는 기둥이 아닌 다른 대상으로 대체될 수 있다. 예를 들어, 주차 위치에 대한 정보를 포함하는 적어도 하나의 객체는 주차장을 구성하는 구조물 또는 구조물의 일부(예: 기둥, 벽, 바닥), 주차장에 설치된 설치물(예: 표지판, 전광판, 인쇄물 등), 또는 이와 유사한 주차 구역에 대한 정보를 포함하는 물리적인 객체일 수 있다.
객체에 대한 정보는, 적어도 하나의 객체가 지닌 형태적 특성(예: 수직선을 포함하는 형태, 수평선을 포함하는 형태, 곡선을 포함하는 형태 등)에 기초하여, 추출될 수 있다. 따라서, 객체는 일정한 패턴의 형태, 모양 또는 색채를 가지는 대상으로 정의되는 것이 바람직하다. 예를 들어, 적어도 하나의 객체가 기둥인 경우, 프로세서(1704)는 수직선의 형태를 포함하는 기둥의 형태적 특성에 기초하여, 획득된 영상 정보에서 주차장의 기둥에 대한 영상 정보를 추출할 수 있다.
영상에서 추출되는 객체는 주차 위치에 대한 정보를 가질 확률이 높은 영상의 일부를 의미한다. 따라서, 영상에서 객체의 정보를 추출함은, 영상에서 주차장에서 위치 정보를 포함하는 영역을 추출하는 것을 의미한다. 즉, 영상에서 객체에 대한 정보를 추출함은, 위치 정보를 포함하는 부분 이미지를 생성하는 것과 동등한 의미로 해석될 수 있다.
도 17은 본 개시의 다양한 실시 예들에 따른 서버(106)의 기능적 구성의 예를 도시한다. 도 17을 참고하면, 서버(106)는 전자 장치(400)와 데이터 통신을 수행할 수 있다.
다양한 실시 예들에서, 서버(106)는 메모리부(1702), 프로세서(1704) 및 통신 인터페이스(1708)를 포함할 수 있다. 또한, 프로세서(1704)는 영상 분석부(1706)를 포함할 수 있다. 어떤 실시 예에서는, 서버(106)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
메모리부(1702)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리부(1702)는 서버(106)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 메모리부(1702)는, 프로세서(1704)에 의해 실행되는 하나 또는 그 이상의 프로그램들(one or more programs)을 저장할 수 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다. 다양한 실시 예들에 따라, 메모리부(1702)는 획득된 데이터를 저장하는 역할을 담당하며, 실시간으로 획득된 데이터는 일시적인 저장 장치에 저장할 수 있고, 저장하기로 확정된 데이터는 오래 보관 가능한 저장 장치에 저장할 수 있다. 메모리부(1702)는, 다양한 실시 예들에 따른 방법을 프로세서(1704)에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
다양한 실시 예들에서, 메모리부(1702)는 전자 장치(400)로부터 수신된 차량의 주차 위치와 관련된 정보를 저장할 수 있다. 예를 들어, 메모리부(1702)는 전자 장치(400)로부터 수신된 영상, 주차 위치와 관련된 기둥 정보, 주차 위치와 관련된 문자 정보 또는 주차 위치를 제공하기 위한 분석 결과가 포함된 정보를 저장할 수 있다.
다양한 실시 예들에서, 메모리부(1702)는 주차장의 주차 구역과 관련된 데이터를 저장할 수 있다. 예를 들어, 메모리부(1702)는 주차장의 주차 구역과 관련된 정보를 포함하는 데이터베이스(database, DB) 정보를 포함할 수 있다. 또한, 상기 데이터베이스 정보는 층 정보에 대한 입력과 구역 정보에 대한 입력을 구분하여 포함할 수 있다.
프로세서(1704)는 서버(106)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 다양한 실시 예들에 따른 프로세서(1704)의 처리(또는 제어) 동작은 후술하는 도면들을 참조하여 구체적으로 설명된다.
프로세서(1704)는 영상 분석부(1706)를 포함할 수 있다. 영상 분석부(1706)의 구성은 도 4b의 영상 분석부(406)의 구성과 유사할 수 있다. 예를 들어, 영상 분석부(1706)는 객체 추출 모듈, 문자 추출 모듈 및 문자 분석 모듈을 포함할 수 있다.
다양한 실시 예들에서, 프로세서(1704)는 전자 장치(400)로부터 영상 정보를 수신할 수 있다. 여기에서, 상기 영상 정보는 차량이 주차장에 진입한 후에 전자 장치(400)에서 획득된 영상 정보일 수 있다.
다양한 실시 예들에서, 프로세서(1704)는 전자 장치(400)로부터 수신된 영상 정보를 분석할 수 있다. 구체적으로, 프로세서(1704)는 전자 장치(400)로부터 수신된 영상 정보에서 기둥 정보를 추출하고, 추출된 기둥 정보에서 문자 정보를 추출하고, 추출된 문자 정보를 분석할 수 있다.
다양한 실시 예들에서, 프로세서(1704)는 통신 인터페이스(1708)를 이용하여 전자 장치(400)로부터 주차장에서 획득된 영상들, 획득된 영상들에서 추출된 기둥 정보 및 추출된 기둥 정보로부터 추출된 문자 정보 중 적어도 하나를 수신할 수 있다. 또한, 프로세서(1704)는 통신 인터페이스(1708)를 이용하여 전자 장치(400)로 차량의 주차 위치와 관련된 분석 결과가 포함된 정보를 송신할 수도 있다.
통신 인터페이스(1708)는 전자 장치(400)와 다른 외부 장치 간의 통신을 설정할 수 있다. 이 경우, 통신 인터페이스(1780)는 무선 통신 또는 유선 통신으로 연결된 네트워크(162)를 이용할 수 있다.
도 18은 본 개시의 다양한 실시 예들에 따른 전자 장치(400)와 서버(106) 간 신호 흐름의 예를 도시한다. 도 18에서, 서버(106)가 전자 장치(400)로부터 차량이 주차된 시점까지의 영상 정보를 수신한 후, 수신한 영상 정보들을 분석하는 것이 가정된다.
전자 장치(400)는 차량이 주차장에 진입하는 것을 감지할 수 있다(단계 1805). 이 경우, 전자 장치(400)는 제1 통신부(410)에 포함된 GNSS 모듈(예: GNSS 모듈(227))과 센서부(416)에 포함된 조도 센서(예: 240K)), 가속도 센서(예: 240E)) 등을 이용할 수 있다.
전자 장치(400)는 주차장에서 획득된 영상 정보를 서버(106)로 송신할 수 있다(단계 1810). 예를 들어, 전자 장치(400)는 차량이 주차장에 진입하는 경우, 카메라 모듈(418) 또는 차량에 설치된 외부기기(예: 블랙박스 등)를 이용하여 획득된 영상 정보를 송신할 수 있다. 예컨대, 전자 장치(400)는 영상 A 정보, 영상 B 정보 내지 영상 N 정보, 즉 N개의 영상 정보를 서버(106)로 송신할 수 있다. 여기에서, N개의 영상 정보는 차량이 주차장에 진입한 시점부터 차량이 주차되기 전까지 시계열(time series)적으로 획득되는 영상 정보일 수 있다.
전자 장치(400)는 차량의 주차 여부를 감지할 수 있다(단계 1815). 이 경우, 차량의 주차 여부를 감지하기 위하여, 전자 장치(400)는 블루투스의 연결 해제 여부 또는 차량의 진동 존재 여부를 결정할 수 있다.
차량의 주차가 감지된 경우, 전자 장치(400)는 차량이 주차된 시점의 영상 정보를 서버(106)로 송신할 수 있다(단계 1820). 예를 들어, 전자 장치(400)는 차량이 주차된 것을 감지하는 경우, 카메라 모듈(418) 또는 차량에 설치된 외부기기(예: 블랙박스 등)를 이용하여 차량이 주차된 시점의 영상을 획득할 수 있다.
서버(106)는 전자 장치(400)로부터 차량이 주차된 시점의 영상 정보를 수신하는 경우, 수신된 영상 정보를 분석할 수 있다(단계 1825). 구체적으로, 서버(106)는 전자 장치(400)로부터 수신된 영상 정보에서 기둥 정보를 추출하고, 추출된 기둥 정보에서 주차 위치와 관련된 문자 정보를 추출하고, 추출된 문자 정보를 분석할 수 있다. 예컨대, 서버(106)는 추출된 문자 정보를 분석함으로써, 차량이 주차된 위치에 대한 층 정보와 구역 정보를 구분하여 생성할 수 있다. 다양한 실시 예들에서, 서버(106)는 도 9 내지 도 15에서 설명되는 분석 기법을 이용하여 수신된 영상 정보를 분석할 수 있다.
수신된 영상에 대한 분석이 종료된 후, 서버(106)는 전자 장치(400)로 분석 결과를 송신할 수 있다. 이 경우, 분석 결과는 차량이 주차된 위치에 대한 층 정보 및 구역 정보를 포함할 수 있다.
전자 장치(400)는 서버(106)로부터 분석 결과를 수신하는 경우, 수신된 분석 결과에 기초하여 차량의 최종 주차 위치 정보를 식별할 수 있다(단계 1835). 여기에서, 상기 최종 주차 위치 정보는 차량이 주차된 위치에 대한 층을 나타내는 정보 및 구역을 나타내는 정보를 의미할 수 있다. 구체적으로, 전자 장치(400)는 서버(106)로부터 '층: B2' 및 '구역: 075' 같은 분석 결과를 수신한 경우, 차량이 주차된 위치가 'B2 075'임을 식별한 후, 'B2 075'에 해당하는 지시자(indicator)를 설정할 수 있다.
차량의 최종 주차 위치 정보가 식별된 경우, 전자 장치(400)는 차량의 최종 주차 위치 정보를 출력할 수 있다(단계 1840). 예를 들어, 전자 장치(400)는 표시부(408)를 이용하여 차량의 주차 위지 정보를 표시할 수 있다. 또는, 전자 장치(400)는 입출력부(420)에 포함된 오디오 모듈(예: 오디오 모듈(280))을 이용하여 최종 주차 위치와 관련된 음성 정보를 출력할 수 있다. 이 외에도, 전자 장치(400)는 음성 관련 어플리케이션(예: S 보이스)을 이용하여 음성 정보를 출력할 수 있다.
다양한 실시 예들에서, 최종 주차 위치 정보가 식별되는 경우, 전자 장치(400)는 알림창(notification window) 또는 주차 위치와 관련된 어플리케이션을 이용하여 차량의 주차 위치 정보를 출력할 수 있다. 또는, 사용자의 요청(예: 음성 입력, 터치 입력, 문자 입력 등)을 감지한 경우에만, 전자 장치(400)가 차량의 주차 위치 정보를 출력할 수도 있다.
도 18에서, 서버(106)는 전자 장치(400)로부터 모든 영상 정보를 수신한 후, 분석하는 것으로 설명되었다. 그러나, 다양한 실시 예들에 따라, 서버(106)는 전자 장치(400)로부터 영상 정보를 수신할 때마다 영상 정보를 분석할 수 있다. 예를 들어, 서버(106)는 전자 장치(400)로부터 영상 A 정보를 수신하는 경우, 영상 A 정보에 대한 분석을 수행할 수 있다. 이러한 경우, 서버(106)는 영상 A 정보에 대한 분석 결과를 메모리부(1702)에 저장할 수 있다. 또한, 서버(106)는 영상 A 정보에 대한 분석 결과를 전자 장치(400)로 송신할 수 있다. 즉, 서버(106)는 전자 장치(400)로부터 수신되는 영상 정보를 실시간으로 분석한 후, 전자 장치(400)로 분석 결과를 송신할 수 있다.
도 18에서, 전자 장치(400)는 획득된 영상 정보를 송신하는 것으로 설명되었다. 그러나, 다양한 실시 예들에서, 전자 장치(400)는 주차장에 진입한 후 획득된 영상 정보에서 추출된 기둥 정보를 서버(106)로 송신할 수 있다. 예를 들어, 전자 장치(400)는 주차장에 진입한 후 영상 정보를 획득하고, 획득된 영상 정보에서, 도 9 내지 도 12에서 설명된 기둥 추출 알고리즘을 이용하여 기둥 정보를 추출할 수 있다. 기둥 정보를 추출한 후, 전자 장치(400)는 추출된 기둥 정보를 서버(106)로 송신할 수 있다. 이러한 경우, 서버(106)는 단계 1825에서 기둥 정보를 추출하는 동작을 수행하지 않을 수 있다.
또한, 다양한 실시 예들에서, 전자 장치(400)는 기둥 정보에서 추출된 문자 정보를 서버(106)로 송신할 수 있다. 전자 장치(400)는 획득된 영상 정보에서 기둥 정보를 추출하고, 추출된 기둥 정보에서, 도 14에서 설명된 문자 추출 알고리즘을 이용하여 문자 정보를 추출할 수 있다. 문자 정보를 추출한 후, 전자 장치(400)는 추출된 문자 정보를 서버(106)로 송신할 수 있다. 이러한 경우, 서버(106)는 단계 1825에서 기둥 정보를 추출하는 동작 및 문자 정보를 추출하는 동작을 수행하지 않을 수 있다.
도 19는 본 개시의 다양한 실시 예들에 따른 전자 장치(400)의 동작 프로세스의 예를 도시한다. 도 19에서, 전자 장치(400)가 차량이 주차장에 진입한 후, 영상 정보를 획득할 때마다 서버(106)로 영상 정보를 송신하는 경우가 가정된다. 또한, 전자 장치(400)가 서버(106)로 차량이 주차된 시점까지의 영상 정보를 송신한 후, 영상 정보들에 대한 분석 결과를 수신하는 경우가 가정된다.
프로세서(402)는 차량이 주차장에 진입하는 것을 감지할 수 있다(단계 1905). 이 경우, 프로세서(402)는 제1 통신부에 포함된 GNSS 모듈(예: GNSS 모듈(227)), 센서부(416)에 포함된 조도 센서(예: 조도 센서(240K)) 또는 마그네틱 센서(예: 마그네틱 센서(240D))를 이용할 수 있다. 이 외에도, 차량의 주차장 진입 여부를 판단하기 위하여, 프로세서(402)는 주차장의 특정 위치에 설치된 전자 장치에서 송신되는 비콘 신호를 수신할 수 있다. 차량의 주차장 진입 감지(단계 1905)와 관련된 동작은 도 6의 단계 605 및 도 7의 단계 705에서의 동작과 유사할 수 있다.
차량이 주차장에 진입한 것으로 판단되는 경우, 프로세서(402)는 영상 정보를 획득할 수 있다(단계 1910). 이 경우, 영상 정보를 획득하기 위하여, 프로세서(402)는 카메라 모듈(418)을 이용하거나 제1 통신부(410)를 통해 차량에 설치된 외부기기(예: 블랙박스 등)로부터 영상 정보를 수신할 수 있다. 영상 정보 획득(단계 1910)과 관련된 동작은 도 6의 단계 610 및 도 7의 단계 710에서의 동작과 유사할 수 있다.
프로세서(402)는 영상 정보가 획득되는 경우, 획득된 영상 정보를 서버(106)로 송신할 수 있다(단계 1915). 이 경우, 프로세서(402)는 제2 통신부(412)를 이용할 수 있다.
영상 정보가 송신된 후, 프로세서(402)는 차량의 주차 여부를 결정할 수 있다(단계 1920). 예를 들어, 프로세서(402)는 제1 통신부(410)에 포함된 블루투스 모듈(예: BT 모듈(225)), 센서부(416)에 포함된 가속도 센서(예: 가속도 센서(240E)) 또는 차량에 설치된 외부기기(예: 블랙박스, OBD-2 등)를 이용하여 차량의 주차 여부를 결정할 수 있다. 차량의 주차 여부 결정(단계 1920)과 관련된 동작은 도 6의 단계 620 및 단계 715에서의 동작과 유사할 수 있다.
만일, 차량이 주차되지 않은 것으로 판단된 경우, 프로세서(402)는 단계 1910으로 되돌아가 영상 정보를 획득할 수 있다. 이 경우, 프로세서(402)는 차량이 주차되기 전까지 영상 정보 획득(단계 1910) 및 영상 정보 송신(단계 1915) 절차를 반복적으로 수행할 수 있다.
반면, 차량이 주차된 것으로 판단된 경우, 프로세서(402)는 주차된 시점의 영상 정보를 서버(106)로 송신할 수 있다(단계 1925). 이 경우, 프로세서(402)는 제2 통신부(412)를 이용하여 영상 정보를 송신할 수 있다. 또한, 상기 주차된 시점의 영상 정보뿐만 아니라, 추가적으로 차량이 주차한 시점 이후에 획득된 복수의 영상 정보를 송신할 수도 있다. 여기에서, 영상 정보를 획득하기 위하여, 프로세서(402)는 카메라 모듈(418) 또는 차량에 설치된 외부기기(예: 블랙박스 등)를 이용할 수 있다.
또한, 다양한 실시 예들에서, 프로세서(402)는 서버(106)로 차량이 주차되었음을 알리는 지시자(indicator)를 송신할 수 있다. 예를 들어, 프로세서(402)는 제2 통신부(412)를 이용하여, 서버(106)로 차량이 주차되었음을 알리는 지시자와 차량이 주차된 시점에 획득된 영상을 함께 송신할 수 있다. 이러한 경우, 서버(106)는 차량이 주차되었음을 알리는 지시자에 기초하여, 획득된 영상이 차량이 주차된 시점에 획득된 영상임을 인식할 수 있다.
프로세서(402)는 차량이 주차된 시점의 영상 정보를 송신한 후, 서버(106)로부터 영상 정보를 분석한 결과를 수신할 수 있다(단계 1930). 예를 들어, 프로세서(402)는 제2 통신부(412)를 이용하여 분석 결과를 수신할 수 있다. 여기에서, 상기 분석 결과는 차량이 주차된 위치에 대한 층 정보 및 구역 정보를 포함할 수 있다. 또는, 다양한 실시 예들에 따라, 프로세서(402)는 서버(106)로부터 차량이 주차된 위치에 대한 식별자를 수신할 수도 있다.
프로세서(402)는 차량의 최종 주차 위치 정보를 식별할 수 있다(단계 1935). 구체적으로, 프로세서(402)는 서버(106)로부터 영상 정보에 대한 분석 결과를 수신한 경우, 분석 결과에 기초하여 최종 주차 위치 정보를 식별할 수 있다. 예컨대, 프로세서(402)는 서버(106)로부터 수신한 분석 결과에 기초하여, 차량이 최종 주차한 위치에 대한 주차장의 층 정보에 대한 식별자(또는 지시자) 및 구역 정보에 대한 식별자(또는 지시자)를 결정할 수 있다.
차량의 최종 주차 위치 정보가 식별된 경우, 프로세서(402)는 차량의 주차 위치에 대한 정보를 출력할 수 있다(단계 1940). 이 경우, 프로세서(402)는 표시부(408)를 이용하여 차량의 주차 위지 정보를 표시할 수 있다. 상기 차량의 주차 위치 정보는 차량의 최종 주차 위치와 관련된 영상, 문자 정보 중 적어도 하나일 수 있다. 또는, 프로세서(402)는 입출력부(420)에 포함된 오디오 모듈(예: 오디오 모듈(280))을 이용하여 최종 주차 위치와 관련된 음성 정보를 출력할 수도 있다. 차량의 주차 위치 정보를 출력(단계 1940)하는 동작은 도 6의 단계 635 및 도 7의 730에서의 동작과 유사할 수 있다.
또한, 다양한 실시 예들에서, 최종 주차 위치가 식별되는 경우, 프로세서(402)는 알림창 또는 어플리케이션을 이용하여 차량의 주차 위치 정보를 표시할 수 있다. 여기에서, 상기 표시되는 차량의 주차 위치 정보는 최종 주차 위치와 관련된 문자 정보, 영상 정보 중 적어도 하나를 포함할 수 있다.
도 19에 도시된 실시 예에서, 단계 1935 이후, 특별한 조건 없이, 단계 1940가 수행되는 것으로 설명되었다. 그러나, 다른 실시 예들에서, 단계 1935에 추가적 또는 대체적으로, 주차 위치 출력에 대한 사용자의 요청이 감지된 경우, 프로세서(402)는 사용자의 요청에 대응하여 차량의 주차 위치 정보를 출력할 수 있다. 예를 들어, 사용자가 음성으로 차량의 주차 위치를 요청한 경우, 프로세서(402)는 차량의 주차 위치와 관련된 정보를 출력할 수 있다. 예컨대, 프로세서(402)는 사용자가 음성으로 차량의 주차 위치를 요청한 경우, 음성 어플리케이션을 이용하여 음성으로 주차 위치를 출력할 수 있다.
또한, 도 19에 도시되지 않았지만, 다양한 실시 예들에서, 프로세서(402)는 차량이 주차된 위치 정보를 외부기기를 통해 표시할 수 있다. 예를 들어, 프로세서(402)는 차량이 주차된 위치 정보를 다른 장치(예: 웨어러블 장치, 갤럭시 기어 등)로 송신하여, 상기 다른 장치를 이용하여 차량이 주차된 위치 정보를 표시할 수 있다.
도 20은 본 개시의 다양한 실시 예들에 따른 서버(106)의 동작 프로세스의 예를 도시한다. 도 20에서, 서버(106)가 전자 장치(400)로부터 차량이 주차된 시점까지의 영상 정보를 수신한 후 영상 정보를 분석하는 경우가 가정된다.
프로세서(1704)는 전자 장치(400)로부터 영상 정보를 수신할 수 있다(단계 2005). 예를 들어, 프로세서(1704)는 통신 인터페이스(1708)를 이용하여, 차량이 주차장에 진입한 이후의 영상 정보를 전자 장치(400)로부터 수신할 수 있다.
프로세서(1704)는 전자 장치(400)로부터 차량이 주차된 시점의 영상을 수신하였는지 여부를 결정할 수 있다(단계 2010). 예를 들어, 미리 정해진 시간이 경과하여도 전자 장치(400)로부터 추가적인 영상 정보가 수신되지 않는 경우, 프로세서(1704)는 차량이 주차한 시점의 영상을 수신한 것으로 결정할 수 있다. 이 경우, 추가적으로, 프로세서(1704)는 전자 장치(400)로부터 최종 수신된 영상 정보를 차량이 주차된 시점의 영상 정보로 인식할 수 있다. 또는, 프로세서(1704)는 전자 장치(400)로부터 수신된 차량이 주차되었음을 나타내는 지시자를 수신함에 따라 차량이 주차된 시점의 영상을 수신 여부를 판단할 수도 있다.
만일, 차량이 주차된 시점의 영상 정보가 수신되지 않은 경우, 프로세서(1704)는 단계 2005로 되돌아가 지속적으로 전자 장치(400)로부터 영상 정보를 수신할 수 있다.
반면, 차량이 주차된 시점의 영상 정보가 수신된 경우, 프로세서(1704)는 수신된 영상 정보를 분석할 수 있다(단계 2015). 예를 들어, 프로세서(1704)는 영상 분석부(1706)를 이용하여, 전자 장치(400)로부터 수신된 영상 정보를 분석할 수 있다.
이 경우, 프로세서(1704)는 전자 장치(400)로부터 수신된 영상 정보에서 주차 구역에 대한 정보를 포함하는 적어도 하나의 객체의 영상 정보를 추출할 수 있다. 적어도 하나의 객체의 영상 정보를 추출하는 것은 수신된 영상 정보에서 적어도 하나의 객체의 영상 정보를 생성하는 것을 의미할 수 있다.
여기에서, 프로세서(1704)는, 적어도 하나의 객체가 지닌 형태적 특성(예: 수직선을 포함하는 형태, 수평선을 포함하는 형태, 곡선을 포함하는 형태 등)에 기초하여, 획득된 영상 정보에서 주차 구역에 대한 정보를 포함하는 적어도 하나의 객체의 영상 정보를 추출할 수 있다. 이 경우, 주차 구역에 대한 정보를 포함하는 적어도 하나의 객체는 주차장의 기둥, 주차장의 바닥에 설치된 표지판, 주차장의 천장에 설치된 표지판, 또는 이와 유사한 주차 구역에 대한 정보를 포함하는 물리적인 객체일 수 있다. 예를 들어, 적어도 하나의 객체가 기둥인 경우, 프로세서(1704)는 수직선의 형태를 포함하는 기둥의 형태적 특성에 기초하여, 주차장의 기둥에 대한 영상 정보를 추출할 수 있다.
또한, 주차 구역에 대한 정보를 포함하는 적어도 하나의 객체의 영상 정보가 추출된 후, 프로세서(1704)는 추출된 적어도 하나의 객체의 영상 정보에서 문자 정보를 추출할 수 있다. 또한, 문자 정보를 추출한 후, 프로세서(1704)는 추출된 문자 정보를 분석할 수 있다. 이에 따라, 프로세서(1704)는 전자 장치(400)로부터 수신된 영상 정보에 기초하여, 차량이 주차된 위치에 대한 층을 나타내는 정보 및 구역을 나타내는 정보 중 적어도 하나를 생성할 수 있다.
다양한 실시 예들에서, 프로세서(1704)는 도 10 내지 도 15에 설명된 알고리즘들을 이용하여, 수신된 영상 정보에서 기둥 정보 추출, 문자 정보 추출 및 문자 정보 분석을 수행할 수 있다. 구체적으로, 프로세서(1704)는 가장자리를 검출하는 알고리즘에 기초하여 기둥에 대한 영상 정보를 추출할 수 있고, 윤곽선 인식 기법 및 회선 신경망 기법에 기초하여 문자 정보를 추출할 수 있으며, 숫자와 글자가 연결된 정보의 고려 및 영상 정보에서 검출되는 문자 정보의 빈도 수에 기초하여 추출된 문자 정보를 분석할 수 있다.
영상 정보에 대한 분석이 종료된 경우, 프로세서(1704)는 분석된 결과를 전자 장치(400)로 송신할 수 있다. 이 경우, 프로세서(1704)는 통신 인터페이스(1708)를 이용하여 차량이 주차된 위치 정보를 제공하기 위한 분석 결과를 포함하는 정보를 송신할 수 있다.
도 19 및 도 20에 도시된 실시 예에서, 전자 장치(400)가 차량이 주차된 시점의 영상을 서버(106)로 송신한 후, 서버(106)로부터 영상 정보에 대한 분석 결과를 수신하는 경우가 설명되었다. 그러나, 다양한 실시 예들에서, 전자 장치(400)는 영상 정보를 송신할 때마다, 서버(106)로부터 영상 정보에 대한 분석 결과를 수신할 수 있다. 다시 말해, 전자 장치(400)는 영상 정보에 대한 분석 결과를 서버(106)로부터 실시간으로 수신할 수 있다. 이러한 경우, 서버(106)는 전자 장치(400)로부터 영상 정보를 수신하는 경우, 곧바로 수신된 영상 정보에 대한 분석을 수행하여 분석된 결과를 전자 장치(400)로 송신할 수 있다.
또한, 도 19 및 도 20에 도시된 실시 예에서, 전자 장치(400)는 영상 정보를 송신하는 것으로 설명되었다. 그러나, 다양한 실시 예들에서, 전자 장치(400)는 영상 정보를 처리(process)한 결과를 서버(106)로 송신할 수 있다. 일 실시 예에 따라, 전자 장치(400)는 영상 정보에서 추출된 기둥 정보 또는 기둥 정보에서 추출된 문자 정보를 서버(106)로 송신할 수 있다. 이러한 경우, 서버(106)는 전자 장치(400)로부터 수신된 정보에 대하여 분석한 결과를 전자 장치(400)로 송신할 수 있다. 예를 들어, 서버(106)는 전자 장치(400)로부터 기둥 정보를 수신하는 경우, 기둥 정보에 대한 문자 정보 추출 및 추출된 문자 정보에 대한 분석을 통해 생성된 분석 결과를 포함하는 정보를 전자 장치(400)로 송신할 수 있다.
또한, 도 19 및 도 20에 도시되지 않았지만, 다양한 실시 예들에서, 전자 장치(400)는 주차된 시점의 영상과 서버(106)에 저장된 주차장과 관련된 데이터베이스 정보에 기초하여 차량의 주차 위치를 식별할 수 있다. 예를 들어, 전자 장치(400)는 주차된 시점의 영상에서 문자 정보를 추출하고, 서버(106)로부터 주차장과 관련된 데이터베이스 정보를 수신할 수 있다. 이러한 경우, 전자 장치(400)는 도 10 내지 도 14에서 설명된 알고리즘, OCR 기법, 또는 이와 유사한 다양한 문자 인식 기법들을 이용하여 문자 정보 추출할 수 있다. 그 후에, 전자 장치(400)는 추출된 문자 정보와 데이터베이스 정보에 기초하여 차량의 주차 위치를 식별할 수 있다. 예컨대, 전자 장치(400)는 데이터베이스 정보에 포함된 층을 나타내는 정보 및 구역을 나타내는 정보에 추출된 문자 정보의 각각의 구성요소들을 대응시킴으로써 차량이 주차된 위치에 대한 층 정보 및 구역 정보를 식별할 수 있다. 구체적으로, 추출된 문자 정보에 'B3'가 포함되어 있고, 데이터베이스 정보의 층 정보가 'B1', 'B2', 'B3'를 포함하는 경우, 전자 장치(400)는 문자 정보에 포함된 'B3'를 데이터베이스 정보에 포함된 'B3'에 매핑(mapping)하여 차량이 주차된 층이 'B3'임을 식별할 수 있다.
도 21은 본 개시의 다양한 실시 예들에 따른 차량의 주차 위치 정보를 제공하는 절차의 예를 도시한다. 도 22는 도 21의 차량의 주차 위치 정보를 제공하는 절차에 따라, 전자 장치(400)에 표시되는 화면의 예를 도시한다. 도 21 및 도 22에서, 차량이 주차된 후, 전자 장치(400)가 사용자에 의해 주차 구역과 관련된 영상을 획득하는 경우가 가정된다.
전자 장치(400)는 차량이 주차되는 것을 감지할 수 있다(단계 2105). 이 경우, 앞서 설명한 것과 같이 전자 장치(400)는 차량과의 블루투스 연결 여부 또는 가속도 센서를 이용하여 검출된 차량의 진동 패턴을 이용할 수 있다.
차량의 주차가 감지된 경우, 전자 장치(400)는 카메라 어플리케이션을 자동으로 실행할 수 있다(단계 2110). 이 경우, 전자 장치(400)는 도 22의 단계 2202와 같이, 카메라 어플리케이션 실행 화면을 표시할 수 있다. 예를 들어, 전자 장치(400)는 블루투스 연결 패턴에 대한 분석에 기초하여 차량과의 블루투스 연결이 해제되는 경우, 차량이 주차된 것으로 인식함으로써 카메라 어플리케이션을 자동으로 실행할 수 있다. 뿐만 아니라, 다양한 실시 예들에서, 전자 장치(400)는 카메라 어플리케이션이 자동으로 실행되는 경우에, 사용자를 위한 알림 신호를 생성할 수 있다. 구체적으로, 전자 장치(400)는 카메라 어플리케이션이 자동으로 실행되는 경우, 점등 신호, 진동 신호, 소리 신호 등 사용자가 인식할 수 있는 신호를 생성할 수 있다.
카메라 어플리케이션이 실행된 후, 전자 장치(400)는 카메라 어플리케이션을 이용하여 차량이 주차된 구역을 나타내는 표시에 대한 영상을 획득할 수 있다(단계 2115). 예를 들어, 전자 장치(400)는 연속 촬영(continuous shooting) 기능을 통하여 차량이 주차된 구역을 나타내는 표시에 대한 복수의 영상을 획득할 수 있다. 상기 연속 촬영 기능을 이용하여 복수의 영상이 획득된 경우에, 전자 장치(400)는 문자 인식 동작을 보다 정확하게 수행할 수 있다.
사용자는 카메라 어플리케이션이 실행되는 경우, 차량이 주차된 구역을 나타내는 표시에 대한 영상을 촬영할 수 있다(단계 2115).
카메라 어플리케이션을 이용하여 영상이 획득되는 경우, 전자 장치(400)는 획득된 영상에 포함된 문자 정보를 추출하고 추출된 문자 정보를 분석할 수 있다(단계 2120). 이 경우, 문자 정초 추출을 위하여, 전자 장치(400)는 OCR 기법을 이용하거나, 도 14에서 설명된 문자 정보 추출 알고리즘을 이용할 수 있다. 여기에서, 문자 정보가 추출된 경우, 전자 장치(400)는 도 22의 단계 2204와 같이, 획득된 영상에서 추출된 문자 부분을 표시할 수 있다. 예를 들어, 전자 장치(400)는 문자로 인식되는 부분인 'B', '2', '0', '7' 및 '5'를 박스 형태로 표시할 수 있다.
문자 정보가 추출된 경우, 전자 장치(400)는 차량의 주차 위치 정보를 생성하기 위하여, 추출된 문자 정보를 분석할 수 있다. 이 경우, 전자 장치(400)는 도 15에서 설명된 문자 정보 분석 알고리즘을 이용할 수 있다. 구체적으로, 전자 장치(400)는 추출된 문자 정보에서 차량이 주차된 위치에 대한 층을 나타내는 정보 및 구역을 나타내는 정보 중 적어도 하나를 생성할 수 있다. 또한, 문자 정보가 추출되는 동안, 전자 장치(400) 는 도 22의 단계 2206과 같이, 문자 정보를 추출하는 동작이 수행되고 있음을 알리는 화면을 표시할 수 있다.
전자 장치(400)는 영상에 포함된 문자 정보의 분석이 완료된 경우, 차량의 주차 위치와 관련된 정보를 표시할 수 있다(단계 2125). 이 경우, 전자 장치(400)는 표시부(408)를 이용할 수 있다. 여기에서, 차량의 주차 위치와 관련된 정보는 차량이 주차된 구역 정보가 포함된 영상, 차량의 주차 위치를 나타내는 문자 정보, 차량의 주차 시간 중 적어도 하나를 포함할 수 있다. 예컨대, 영상에 포함된 문자 정보의 분석이 완료된 경우, 전자 장치(400) 는 도 22의 단계 2208과 같이, 문자 부분이 표시된 영상, 차량의 주차 위치를 나타내는 문자 정보 및 차량의 주차 시간을 표시할 수 있다.
다양한 실시 예들에서, 도 21 및 도 22에서 설명된 절차는, 앞서 설명된 주차장에 차량이 진입한 후 영상을 촬영하는 경우의 절차와 병합될 수 있다. 예를 들어, 전자 장치(400)는 차량이 주차장에 진입한 이후 영상을 지속적으로 촬영하고, 차량이 주차된 경우에 카메라 어플리케이션을 실행할 수 있다.
또한 도 21 및 도 22에 도시되지 않았지만, 다양한 실시 예들에서, 전자 장치(400)는, 차량이 주차된 이후에 실행된 카메라 어플리케이션을 이용하여 영상을 획득한 경우, 획득된 영상에서 문자를 추출하여, 추출된 문자 정보를 서버(106)로부터 수신된 데이터베이스 정보에 매핑함으로써 차량의 주차 위치 정보를 식별할 수 있다. 예를 들어, 전자 장치(400)는 카메라 어플리케이션을 이용하여 획득한 영상에서 문자 정보 'B3'를 추출하여, 추출된 'B3'를 서버(106)로부터 수신된 데이터베이스 정보에 포함된 층 정보('B1', 'B2', 'B3')에 매핑함으로써 차량이 주차된 층이 'B3'임을 식별할 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
그리고 본 명세서와 도면에 개시된 실시 예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (27)

  1. 전자 장치의 동작 방법에 있어서,
    차량의 주차장 진입이 감지되면, 영상 정보를 획득하는 과정과,
    상기 영상 정보에 기초하여 주차 구역을 나타내는 정보를 포함하는 객체의 영상 정보를 생성하는 과정과,
    상기 객체의 영상 정보에 기초하여 상기 차량의 주차 위치와 관련된 정보를 식별하는 과정과,
    상기 차량의 주차 위치와 관련된 정보를 출력하는 과정을 포함하는 방법.
  2. 제 1항에 있어서,
    상기 영상 정보에 기초하여 주차 구역을 나타내는 정보를 포함하는 객체의 영상 정보를 생성하는 과정은,
    상기 영상 정보에서 상기 객체에 대한 후보 영역을 결정하는 과정과,
    상기 후보 영역이 상기 객체를 포함하는지 여부를 결정하는 과정과,
    상기 후보 영역이 상기 객체를 포함하는 경우, 상기 후보 영역을 상기 객체의 영상 정보로 결정하는 과정을 포함하는 방법.
  3. 제 2항에 있어서,
    상기 영상 정보에서 상기 객체에 대한 후보 영역을 결정하는 과정은,
    상기 영상 정보에서 적어도 하나의 가장자리를 추출하는 과정과,
    상기 추출된 적어도 하나의 가장자리 중에서 상기 객체의 형태적 특성과 관련이 있는 적어도 하나의 가장자리를 선택하는 과정과,
    상기 선택된 적어도 하나의 가장자리로부터 미리 결정된 값 이내의 영역을 상기 객체에 대한 후보 영역으로 결정하는 과정을 포함하는 방법.
  4. 제 1항에 있어서,
    상기 객체의 영상 정보에 기초하여 상기 차량의 주차 위치와 관련된 정보를 식별하는 과정은,
    상기 객체의 영상 정보에서 문자 정보를 추출하는 과정과,
    상기 추출된 문자 정보의 패턴에 기초하여 상기 차량의 주차 위치와 관련된 정보를 식별하는 과정을 포함하는 방법.
  5. 제 1항에 있어서,
    상기 객체의 영상 정보에 기초하여 상기 차량의 주차 위치와 관련된 정보를 식별하는 과정은,
    상기 차량의 주차 위치에 대한 층(floor)을 나타내는 정보와 구역(section)을 나타내는 정보를 식별하는 과정을 포함하는 방법.
  6. 제 1항에 있어서,
    상기 차량의 주차 위치와 관련된 정보를 출력하는 과정은,
    사용자의 요청을 획득하는 과정과,
    상기 사용자의 요청에 대응하여 상기 차량의 주차 위치와 관련된 정보를 출력하는 과정을 포함하는 방법.
  7. 제 1항에 있어서,
    상기 차량의 주차 위치와 관련된 정보를 출력하는 과정은,
    상기 차량의 주차 위치와 관련된 정보를 표시하기 위한 웨어러블 장치(wearable device)로 송신하는 과정을 포함하는 방법.
  8. 제 1항에 있어서,
    상기 영상 정보를 획득하는 과정은,
    외부 기기로부터 상기 영상 정보를 수신하는 과정을 포함하는 방법.
  9. 제 1항에 있어서,
    상기 차량의 주차 위치와 관련된 정보를 서버로 송신하는 과정을 더 포함하는 방법.
  10. 제 1항에 있어서,
    상기 차량의 주차 위치와 관련된 정보는 문자 정보, 음성 정보 및 영상 정보 중 적어도 하나를 포함하는 방법.
  11. 전자 장치에 있어서,
    차량의 주차장 진입이 감지되면, 영상 정보를 획득하고, 상기 영상 정보에 기초하여 주차 구역을 나타내는 정보를 포함하는 객체의 영상 정보를 생성하고, 상기 객체의 영상 정보에 기초하여 상기 차량의 주차 위치와 관련된 정보를 식별하고, 상기 차량의 주차 위치와 관련된 정보를 출력하는 프로세서와,
    상기 영상 정보, 상기 객체의 영상 정보 및 상기 차량의 주차 위치와 관련된 정보 중 적어도 하나를 저장하는 메모리를 포함하는 장치.
  12. 제 11항에 있어서,
    상기 프로세서는,
    상기 영상 정보에서 상기 객체에 대한 후보 영역을 결정하고, 상기 후보 영역이 상기 객체를 포함하는지 여부를 결정하고, 상기 후보 영역이 상기 객체를 포함하는 경우, 상기 후보 영역을 상기 객체의 영상 정보로 결정하는 장치.
  13. 제 12항에 있어서,
    상기 프로세서는,
    상기 영상 정보에서 적어도 하나의 가장자리를 추출하고, 상기 추출된 적어도 하나의 가장자리 중에서 상기 객체의 형태적 특성과 관련이 있는 적어도 하나의 가장자리를 선택하고, 상기 선택된 적어도 하나의 가장자리로부터 미리 결정된 값 이내의 영역을 상기 객체에 대한 후보 영역으로 결정하는 장치.
  14. 제 11항에 있어서,
    상기 프로세서는,
    상기 객체의 영상 정보에서 문자 정보를 추출하고, 상기 추출된 문자 정보의 패턴에 기초하여 상기 차량의 주차 위치와 관련된 정보를 식별하는 장치.
  15. 제 11항에 있어서,
    상기 프로세서는,
    상기 차량의 주차 위치에 대한 층(floor)을 나타내는 정보와 구역(section)을 나타내는 정보를 식별하는 장치.
  16. 제 11항에 있어서,
    사용자의 요청을 획득하는 입출력부를 더 포함하고,
    상기 프로세서는, 상기 사용자의 요청이 획득되는 경우, 상기 사용자의 요청에 대응하여 상기 차량의 주차 위치와 관련된 정보를 출력하는 장치.
  17. 제 11항에 있어서,
    상기 차량의 주차 위치와 관련된 정보를 표시하기 위한 웨어러블 장치(wearable device)로 송신하는 통신부를 더 포함하는 장치.
  18. 제 11항에 있어서,
    상기 영상 정보를 획득하기 위한 카메라 모듈을 더 포함하는 장치.
  19. 제 11항에 있어서,
    외부 기기로부터 상기 영상 정보를 수신하는 통신부를 더 포함하는 장치.
  20. 제 11항에 있어서,
    상기 차량의 주차 위치와 관련된 정보를 서버로 송신하는 통신부를 더 포함하는 장치.
  21. 제 11항에 있어서,
    상기 차량의 주차 위치와 관련된 정보는 문자 정보, 음성 정보 및 영상 정보 중 적어도 하나를 포함하는 장치.
  22. 제 11항에 있어서,
    상기 프로세서는,
    상기 차량의 주차장 진입 여부 및 상기 차량의 주차 여부 중 적어도 하나를 감지하는 상태 감지부와,
    상기 획득된 영상 정보를 분석하는 영상 분석부를 포함하는 장치.
  23. 제 22항에 있어서,
    상기 영상 분석부는,
    상기 영상 정보에 기초하여 주차 구역을 나타내는 정보를 포함하는 객체의 영상 정보를 생성하는 객체 추출 모듈과,
    상기 생성된 객체의 영상 정보에서 문자 정보를 추출하는 문자 추출 모듈과,
    상기 추출된 문자 정보의 패턴에 기초하여 상기 차량의 주차 위치와 관련된 정보를 식별하는 문자 분석 모듈을 포함하는 장치.
  24. 전자 장치에 있어서,
    차량의 주차장 진입이 감지되면, 적어도 하나의 영상 정보를 획득하는 프로세서와,
    상기 적어도 하나의 영상 정보를 서버로 송신하고, 상기 서버로부터 상기 적어도 하나의 영상 정보에 대한 분석 결과를 포함하는 정보를 수신하는 통신부를 포함하고,
    상기 프로세서는, 상기 분석 결과를 포함하는 정보에 기초하여 상기 차량의 주차 위치와 관련된 정보를 식별하고, 상기 차량의 주차 위치와 관련된 정보를 더 출력하고,
    상기 적어도 하나의 영상 정보, 상기 분석 결과를 포함하는 정보 및 차량의 주차 위치와 관련된 정보 중 적어도 하나를 저장하는 메모리를 더 포함하는 장치.
  25. 제 24항에 있어서,
    상기 통신부는,
    각각의 상기 적어도 하나의 영상 정보에 대한 분석 결과를 수신하는 장치.
  26. 제 24항에 있어서,
    상기 통신부는,
    상기 차량의 주차 위치와 관련된 정보를 서버로 더 송신하는 장치.
  27. 제 24항에 있어서,
    상기 프로세서는,
    상기 차량의 주차 위치에 대한 층(floor)을 나타내는 정보와 구역(section)을 나타내는 정보를 더 식별하는 장치.

KR1020160101684A 2016-08-10 2016-08-10 차량의 주차 위치 정보를 제공하기 위한 방법 및 그 전자 장치 KR20180017606A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160101684A KR20180017606A (ko) 2016-08-10 2016-08-10 차량의 주차 위치 정보를 제공하기 위한 방법 및 그 전자 장치
US15/672,224 US10520329B2 (en) 2016-08-10 2017-08-08 Method for providing parking location information of vehicle and electronic device thereof
PCT/KR2017/008656 WO2018030799A1 (en) 2016-08-10 2017-08-10 Method for providing parking location information of vehicle and electronic device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160101684A KR20180017606A (ko) 2016-08-10 2016-08-10 차량의 주차 위치 정보를 제공하기 위한 방법 및 그 전자 장치

Publications (1)

Publication Number Publication Date
KR20180017606A true KR20180017606A (ko) 2018-02-21

Family

ID=61158758

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160101684A KR20180017606A (ko) 2016-08-10 2016-08-10 차량의 주차 위치 정보를 제공하기 위한 방법 및 그 전자 장치

Country Status (3)

Country Link
US (1) US10520329B2 (ko)
KR (1) KR20180017606A (ko)
WO (1) WO2018030799A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087524A (zh) * 2018-07-30 2018-12-25 西安艾润物联网技术服务有限责任公司 车位分配方法及装置
KR102253434B1 (ko) 2019-11-29 2021-05-20 한국산업기술대학교산학협력단 드론 이용 주차 차량 위치 인식 방법 및 시스템
KR20220032679A (ko) * 2020-09-08 2022-03-15 김광남 차량의 주차 위치 확인을 위한 장치 및 방법
KR20230045923A (ko) 2021-09-29 2023-04-05 주식회사 피플카 실내 차량 위치 산출 장치 및 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180144622A1 (en) * 2016-11-18 2018-05-24 Toyota Motor Engineering & Manufacturing North America,Inc. Parking Notification Systems And Methods For Identifying Locations Of Vehicles
JP7060334B2 (ja) * 2017-03-30 2022-04-26 株式会社デンソーテン 学習データ収集装置、学習データ収集システムおよび学習データ収集方法
JP6852604B2 (ja) * 2017-07-12 2021-03-31 住友電気工業株式会社 車載装置、管理方法および管理プログラム
CN108521638B (zh) * 2018-03-23 2021-07-30 西安艾润物联网技术服务有限责任公司 停车管理系统通话实现方法、系统及存储介质
CN108847053A (zh) * 2018-08-28 2018-11-20 龙荟智能科技(上海)有限责任公司 一种室内导航方法
US10733891B2 (en) * 2018-11-05 2020-08-04 Toyota Motor Engineering & Manufacturing North America, Inc. Parking lot assistant
US11346685B2 (en) * 2018-11-09 2022-05-31 Toyota Motor North America, Inc. Parking exit coordination systems and methods
JP7147513B2 (ja) * 2018-11-29 2022-10-05 トヨタ自動車株式会社 情報提供システム、サーバ、車載装置及び情報提供方法
US10745002B2 (en) * 2018-12-31 2020-08-18 Robert Bosch Gmbh Autonomously guiding a vehicle to a desired parking location selected with a remote device
US10971012B2 (en) 2019-01-24 2021-04-06 Here Global B.V. Dual mode indoor parking data delivery and map integration
WO2019147111A2 (ko) * 2019-02-21 2019-08-01 엘지전자 주식회사 주차 위치를 기록하기 위한 방법 및 디바이스
CN110779533B (zh) * 2019-09-16 2022-04-12 腾讯科技(深圳)有限公司 导航方法、系统和电子设备
EP3809313A1 (en) * 2019-10-16 2021-04-21 Ningbo Geely Automobile Research & Development Co. Ltd. A vehicle parking finder support system, method and computer program product for determining if a vehicle is at a reference parking location
DE102019128010A1 (de) * 2019-10-17 2021-04-22 Audi Ag Verfahren zur Ermittlung einer Position, Verfahren zur Steuerung einer Position und Computerprogrammprodukt
DE102019132623A1 (de) * 2019-12-02 2021-06-02 Audi Ag Verfahren zur ermittlung einer position eines nutzers eines fahrzeugs nach verlassen des fahrzeugs und computerprogrammprodukt
JP2021140410A (ja) * 2020-03-04 2021-09-16 日本システムバンク株式会社 駐車場の駐車料金の電子決済方法
KR20220020515A (ko) * 2020-08-12 2022-02-21 현대자동차주식회사 차량 및 그 제어 방법
CN114463246A (zh) * 2020-11-06 2022-05-10 广达电脑股份有限公司 圈选系统及圈选方法
CN112818895A (zh) * 2021-02-18 2021-05-18 重庆长安汽车股份有限公司 基于图像识别的记录停车位置系统及方法
CN117373276A (zh) * 2022-07-01 2024-01-09 华为技术有限公司 一种停车交互的方法、装置及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4178154B2 (ja) 2005-08-30 2008-11-12 松下電器産業株式会社 駐車位置探索支援装置、方法およびプログラム
CA2633114A1 (en) * 2005-12-06 2007-06-14 Key-Chang Khim System for parking management
JP4940168B2 (ja) 2008-02-26 2012-05-30 日立オートモティブシステムズ株式会社 駐車スペース認識装置
US20110002230A1 (en) * 2009-07-02 2011-01-06 Research In Motion Limited Quality of Service Parameter Relaxation for Non-Conversational Voice Calls Over a Packet-Switched Network
US20110022301A1 (en) 2009-07-27 2011-01-27 Htc Corporation Method, mobile device and recording medium for recording parking information
DE102010018332A1 (de) * 2010-04-27 2011-10-27 Gm Global Technology Operations Llc (N.D.Ges.D. Staates Delaware) Verfahren zur Ortung eines geparkten Fahrzeuges und tragbares Lokalisierungsgerät zum Orten eines geparkten Fahrzeuges
US20120316774A1 (en) 2011-06-09 2012-12-13 Microsoft Corporation Automatic navigation to a prior known location
US8625853B2 (en) * 2011-08-11 2014-01-07 International Business Machines Corporation Parking lot information system using image technology for identifying available parking spaces
KR101585442B1 (ko) 2012-08-16 2016-01-15 주식회사 만도 주차 보조 장치 및 그 주차 보조 방법
JP6106073B2 (ja) * 2013-12-10 2017-03-29 株式会社ニフコ フラップ弁装置及びフラップ弁装置を備えた気液分離装置
KR20150093065A (ko) 2014-02-06 2015-08-17 옥은호 현재 위치 확인을 위한 카메라 시스템과 그 방법
KR101509596B1 (ko) * 2014-05-08 2015-04-08 경북대학교 산학협력단 차량 원격 시동 및 관리용 이동 단말 시스템
KR101570432B1 (ko) * 2014-08-18 2015-11-27 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
KR101596762B1 (ko) * 2014-12-15 2016-02-23 현대자동차주식회사 스마트 안경을 이용한 차량 위치 안내 방법 및 이를 수행하는 장치
KR101493353B1 (ko) 2014-12-31 2015-02-23 연세대학교 산학협력단 주차 구역 안내 시스템 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087524A (zh) * 2018-07-30 2018-12-25 西安艾润物联网技术服务有限责任公司 车位分配方法及装置
KR102253434B1 (ko) 2019-11-29 2021-05-20 한국산업기술대학교산학협력단 드론 이용 주차 차량 위치 인식 방법 및 시스템
KR20220032679A (ko) * 2020-09-08 2022-03-15 김광남 차량의 주차 위치 확인을 위한 장치 및 방법
KR20230045923A (ko) 2021-09-29 2023-04-05 주식회사 피플카 실내 차량 위치 산출 장치 및 방법

Also Published As

Publication number Publication date
WO2018030799A1 (en) 2018-02-15
US10520329B2 (en) 2019-12-31
US20180045535A1 (en) 2018-02-15

Similar Documents

Publication Publication Date Title
US10520329B2 (en) Method for providing parking location information of vehicle and electronic device thereof
US10511932B2 (en) Method and apparatus for operating electronic device based on environmental information
EP3457268B1 (en) Screen output method and electronic device supporting same
KR102319803B1 (ko) 전자 장치, 그 동작 방법 및 기록 매체
US20160321494A1 (en) Fingerprint information processing method and electronic device supporting the same
US10831792B2 (en) Sensor information using method and electronic device using the same
US11172450B2 (en) Electronic device and method for controlling operation thereof
KR20170116818A (ko) 전자 장치 및 그의 동작 방법
KR20160072705A (ko) 생채 특징 패턴을 업데이트하는 방법 및 이를 위한 전자 장치
KR20160123892A (ko) 전자 장치 및 전자 장치에서 적어도 하나의 페어링 대상을 식별하는 방법
US10360468B2 (en) Method for identifying location of electronic apparatus, electronic apparatus, and operating method of server
US10504560B2 (en) Electronic device and operation method thereof
KR20170077730A (ko) 컨텐트 인식 장치 및 그 동작 방법
KR20180097360A (ko) 복수의 생체 센서를 이용하여 인증을 수행하기 위한 전자 장치 및 그의 동작 방법
KR102368847B1 (ko) 객체에 대응하는 콘텐트를 출력하기 위한 방법 및 그 전자 장치
US11059438B2 (en) Vehicle on-boarding recognition method and electronic device implementing same
KR20170043404A (ko) 전자 장치 및 전자 장치에서의 지문 인증을 위한 방법
KR20180029365A (ko) 개인 정보를 보호하기 위한 방법 및 그 전자 장치
KR20180013156A (ko) 전자 장치 및 이를 이용하여 유사한 어플리케이션을 검출하는 방법
KR102457247B1 (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
EP3446240B1 (en) Electronic device and method for outputting thumbnail corresponding to user input
US10198828B2 (en) Image processing method and electronic device supporting the same
KR102369319B1 (ko) 전자 장치 및 전자 장치의 핸드오프 기능 제공 방법
US20160337601A1 (en) Electronic device for processing image and method for controlling the same
KR102315341B1 (ko) 객체의 구성 정보에 대응하는 그래픽 효과를 제공하기 위한 방법 및 그 전자 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal