KR20120140486A - 휴대용 단말기에서 보행 안내 서비스를 제공하기 위한 장치 및 방법 - Google Patents

휴대용 단말기에서 보행 안내 서비스를 제공하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20120140486A
KR20120140486A KR1020110060245A KR20110060245A KR20120140486A KR 20120140486 A KR20120140486 A KR 20120140486A KR 1020110060245 A KR1020110060245 A KR 1020110060245A KR 20110060245 A KR20110060245 A KR 20110060245A KR 20120140486 A KR20120140486 A KR 20120140486A
Authority
KR
South Korea
Prior art keywords
portable terminal
risk
risk factor
location
pedestrian
Prior art date
Application number
KR1020110060245A
Other languages
English (en)
Inventor
오상훈
최인용
방경호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110060245A priority Critical patent/KR20120140486A/ko
Priority to US13/466,667 priority patent/US20120327203A1/en
Publication of KR20120140486A publication Critical patent/KR20120140486A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F4/00—Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5092—Optical sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72481—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for visually impaired users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Rehabilitation Therapy (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Tourism & Hospitality (AREA)
  • Navigation (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Economics (AREA)

Abstract

본 발명은 휴대용 단말기에서 보행 보조 서비스를 제공하기 위한 장치 및 방법에 관한 것이다. 이때, 보행 보조 서비스를 제공하기 위한 방법은, 보행자의 보행 경로의 영상을 획득하는 과정과, 상기 영상에서 적어도 하나의 후보 위험 요소 성분을 추출하는 과정과, 상기 휴대용 단말기의 위치에 따른 위험 요소 데이터를 확인하는 과정과, 상기 적어도 하나의 후보 위험 요소 성분과 상기 위험 요소 데이터를 매칭하여 상기 보행자의 보행 경로에 존재하는 위험 요소를 검출하는 과정을 포함한다.

Description

휴대용 단말기에서 보행 안내 서비스를 제공하기 위한 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING GUIDING SERVICE IN PORTABLE TERMINAL}
본 발명은 휴대용 단말기에서 보행 안내 서비스를 제공하기 위한 장치 및 방법에 관한 것으로서, 특히, 상기 휴대용 단말기에서 시각 장애인이 안전하게 보행할 수 있도록 보행 안내 서비스를 제공하기 위한 장치 및 방법에 관한 것이다.
시각 장애인은 외부 환경에 대한 정보를 획득하기 어렵기 때문에 장애물과 같은 위험 요소에 적절히 대응하지 못해 보행이 매우 제한되어 있다. 이에 따라, 시각 장애인은 보행 시, 지팡이, 안내견 및 보조 인력의 도움을 받는다.
하지만, 시각 장애인은 지팡이의 거리만큼 근접해야만 위험 요소를 파악할 수 있고, 외출 때마다 안내견 또는 보조인력이 동행해야 하는 단점이 있다.
휴대용 단말기는 휴대의 용이성으로 인하여 현대인의 필수품이 되었다. 더욱이, 휴대용 단말기는 시각장애인의 편의를 위한 다양한 서비스를 제공하면서 시각 장애인도 손쉽게 사용할 수 있다.
이에 따라, 시각 장애인이 항상 휴대하는 휴대용 단말기에서 보행 보조 서비스를 제공하기 위한 방안을 필요로 한다.
따라서, 본 발명의 목적은 휴대용 단말기에서 보행 보조 서비스를 제공하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은 휴대용 단말기에서 시각 장애인을 위한 보행 보조 서비스를 제공하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 휴대용 단말기의 카메라를 이용하여 시각 장애인을 위한 보행 보조 서비스를 제공하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 또 다른 목적은 휴대용 단말기에서 시각 장애인의 위치 정보에 따라 보행 보조 서비스를 적응적으로 제공하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 휴대용 단말기에서 보행 보조 서비스를 제공하기 위한 방법은, 보행자의 보행 경로의 영상을 획득하는 과정과, 상기 영상에서 적어도 하나의 후보 위험 요소 성분을 추출하는 과정과, 상기 휴대용 단말기의 위치에 따른 위험 요소 데이터를 확인하는 과정과, 상기 적어도 하나의 후보 위험 요소 성분과 상기 위험 요소 데이터를 매칭하여 상기 보행자의 보행 경로에 존재하는 위험 요소를 검출하는 과정을 포함하는 것을 특징으로 한다.
본 발명의 제 2 견지에 따르면, 휴대용 단말기에서 보행 보조 서비스를 제공하기 위한 장치는, 보행자의 보행 경로의 영상을 획득하는 카메라 모듈과, 상기 휴대용 단말기의 위치를 확인하는 위치 확인부와, 상기 카메라 모듈에서 획득한 영상 내에서 적어도 하나의 후보 위험 요소 성분을 추출하고, 상기 적어도 하나의 후보 위험 요소 성분과 상기 휴대용 단말기의 위치에 따른 위험 요소 데이터를 매칭하여 상기 보행자의 보행 경로에 존재하는 위험 요소를 검출하는 제어부를 포함하여 구성되는 것을 특징으로 한다.
상술한 바와 같이 휴대용 단말기에서 보행 보조 서비스를 제공함으로써, 시각 장애인이 보행 시, 상기 휴대용 단말기 이외의 보행 보조 기구를 소지하지 않고도 위험 요소에 대처할 수 있는 이점이 있다.
또한, 상기 휴대용 단말기에서 시각 장애인의 위치에 따라 보행 보조 서비스를 적응적으로 제공함으로써, 보행 보조 서비스에 따른 전력 소모를 줄일 수 있는 이점이 있다.
도 1은 본 발명에 따른 휴대용 단말기의 블록 구성을 도시하는 도면,
도 2는 본 발명에 따른 휴대용 단말기의 제어부에 대한 상세 블록 구성을 도시하는 도면,
도 3은 본 발명의 실시 예에 따른 휴대용 단말기에서 보행 보조 서비스를 제공하기 위한 절차를 도시하는 도면,
도 4는 본 발명의 다른 실시 예에 따른 휴대용 단말기에서 보행 보조 서비스를 제공하기 위한 절차를 도시하는 도면,
도 5는 본 발명의 또 다른 실시 예에 따른 휴대용 단말기에서 보행 보조 서비스를 제공하기 위한 절차를 도시하는 도면,
도 6은 본 발명의 실시 예에 따른 휴대용 단말기에서 ROI를 생성하기 위한 절차를 도시하는 도면,
도 7은 본 발명의 다른 실시 예에 따른 휴대용 단말기에서 ROI를 생성하기 위한 절차를 도시하는 도면,
도 8은 본 발명의 또 다른 실시 예에 따른 휴대용 단말기에서 ROI를 생성하기 위한 절차를 도시하는 도면, 및
도 9는 본 발명의 실시 예에 따른 휴대용 단말기에서 분류 정보를 결정하기 위한 구성을 도시하는 도면.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 본 발명은 휴대용 단말기에서 보행 안내 서비스를 제공하기 위한 기술에 대해 설명한다.
이하 설명에서 상기 휴대용 단말기는 카메라를 구비하는 PDA(Personal Digital Assistant), 랩탑(Laptop), 스마트폰(Smart Phone), 넷북(Netbook), 휴대 인터넷 장치(MID: Mobile Internet Device), 울트라 모바일 PC(UMPC: Ultra Mobile PC), 태블릿 PC(Tablet Personal Computer) 및 이동통신단말기 등을 포함한다.
도 1은 본 발명에 따른 휴대용 단말기의 블록 구성을 도시하고 있다.
상기 도 1에 도시된 바와 같이 상기 휴대용 단말기는 제어부(100), 카메라 모듈(102), 저장부(104), 표시부(106), 오디오 처리부(108), 위치 확인부(110) 및 입력부(112)를 포함하여 구성된다.
상기 제어부(100)는 상기 휴대용 단말기의 전체적인 동작 제어를 수행한다.
상기 제어부(100)는 상기 카메라 모듈(102)로부터 제공받은 영상 데이터를 이용하여 시각 장애인이 보행 시 발생하는 위험 요소를 감지한다. 만일, 위험 요소가 감지된 경우, 상기 제어부(100)는 사용자가 위험 요소를 인지할 수 있도록 경고 이벤트를 발생시킨다. 예를 들어, 상기 제어부(100)는 하기 도 3에 도시된 바와 같이 상기 카메라 모듈(102)로부터 제공받은 영상 데이터를 이용하여 위험 요소를 감지하고, 위험 요소가 감지되면 경고 이벤트를 발생시킨다. 다른 예를 들어, 상기 제어부(100)는 하기 도 4에 도시된 바와 같이 상기 위치 확인부(110)로부터 제공받은 상기 휴대용 단말기의 위치 정보를 고려하여 위험 요소 확인 주기를 결정한다. 이후, 상기 제어부(100)는 상기 위험 요소 확인 주기에 따라 상기 영상 데이터 및 상기 휴대용 단말기의 위치 정보를 이용하여 위험 요소를 감지하고, 위험 요소가 감지되면 경고 이벤트를 발생시킨다. 또 다른 예를 들어, 상기 제어부(100)는 하기 도 5에 도시된 바와 같이 상기 위험 요소 확인 주기에 따라 상기 영상 데이터 및 상기 휴대용 단말기의 위치 정보를 이용하여 위험 요소를 감지하고, 위험 요소가 감지되면 경고 이벤트를 발생시킨다. 이후, 상기 제어부(100)는 상기 위치 확인부(110)로부터 제공받은 상기 휴대용 단말기의 위치 정보를 고려하여 위험 요소 확인 주기를 갱신한다.
상기 카메라 모듈(102)은 피사체를 촬영한 화상데이터를 디지털데이터로 변환하고, 상기 디지털데이터로부터 획득한 정지영상을 상기 제어부(100)로 출력한다.
상기 저장부(104)는 상기 휴대용 단말기의 동작을 제어하기 위한 프로그램을 저장하는 프로그램 저장부 및 프로그램 수행 중에 발생되는 데이터를 저장하는 데이터 저장부로 구성될 수 있다. 예를 들어, 상기 저장부(104)는 상기 제어부(100)에서 위험 요소를 인지하는데 필요한 위험 요소 데이터를 저장한다. 이때, 상기 저장부(104)는 상기 휴대용 단말기에서 감지하기 위한 모든 위험 요소들의 대한 위험 요소 데이터를 저장하거나, 상기 휴대용 단말기가 위치한 지역에 대한 위험 요소 데이터만을 저장할 수 있다. 만일, 상기 휴대용 단말기가 위치한 지역에 대한 위험 요소 데이터만을 저장하는 경우, 상기 저장부(104)는 상기 휴대용 단말기의 위치가 변경되면, 상기 제어부(100)의 제어에 따라 별도의 서버로부터 해당 지역의 위험 요소 데이터를 제공받아 저장된 위험 요소 데이터를 갱신한다.
상기 표시부(106)는 상기 제어부(100)의 제어에 따라 상기 휴대용 단말기의 상태 정보, 사용자가 입력하는 문자, 동화상(moving picture) 및 정화상(still picture) 등을 표시한다. 예를 들어, 상기 표시부(106)는 정보의 표시 및 입력 수단의 기능을 함께 수행하는 터치 스크린으로 구성될 수 있다. 이 경우, 상기 표시부(106)는 사용자의 터치에 대한 정보를 상기 제어부(100)로 제공한다.
상기 오디오 처리부(108)는 오디오 신호의 입출력을 제어한다. 예를 들어, 상기 오디오 처리부(108)는 상기 제어부(100)에서 감지한 위험 요소에 대한 경고 메시지를 출력한다.
상기 위치 확인부(110)는 상기 휴대용 단말기의 위치를 추정한다. 예를 들어, 상기 위치 확인부(110)는 GPS(Global Positioning System) 방식, 삼각 측량 방식 및 비컨(beacon)을 통해 위치 인식 방법 중 적어도 하나를 이용하여 상기 휴대용 단말기의 위치를 추정한다.
상기 입력부(112)는 사용자의 선택에 의해 발생하는 입력 데이터를 상기 제어부(100)로 제공한다. 예를 들어, 상기 입력부(112)는 사용자로부터 입력 데이터를 제공받기 위한 키패드로 구성된다. 다른 예를 들어, 상기 표시부(106)가 터치 스크린으로 구성되는 경우, 상기 입력부(112)는 상기 터치 스크린을 구비하는 기기의 제어를 위한 제어 버튼만을 포함하여 구성될 수도 있다.
미 도시되었지만, 상기 휴대용 단말기는 무선 자원을 통해 송수신되는 신호를 처리하는 통신부를 더 포함하여 구성될 수도 있다.
도 2는 본 발명에 따른 휴대용 단말기의 제어부에 대한 상세 블록 구성을 도시하고 있다.
상기 도 2에 도시된 바와 같이 상기 제어부(100)는 영상 처리부(201), 저장 제어부(203), 분류부(205) 및 정보 생성부(207)를 포함하여 구성된다.
상기 영상 처리부(201)는 상기 카메라 모듈(102)로부터 제공받은 프레임 단위의 영상 데이터를 이용하여 적어도 하나의 ROI(Region of Interest)를 결정한다. 예를 들어, 상기 카메라 모듈(102)이 하나의 카메라로 구성된 경우, 상기 영상 처리부(201)는 하기 도 6 또는 하기 도 7에 도시된 바와 같이 위험 요소를 인식하기 위한 적어도 하나의 ROI를 결정한다. 다른 예를 들어, 상기 카메라 모듈(102)이 적어도 두 개의 카메라들로 구성된 경우, 상기 영상 처리부(201)는 하기 도 8에 도시된 바와 같이 위험 요소를 인식하기 위한 적어도 하나의 ROI를 결정할 수도 있다.
상기 저장 제어부(203)는 상기 저장부(106)에 저장된 위험 요소 데이터들 중 상기 휴대용 단말기의 위치 정보에 해당하는 위험 요소 데이터를 추출하여 상기 분류부(205)로 제공한다.
상기 분류부(205)는 상기 저장 제어부(106)로부터 제공받은 위험 요소 데이터에서 상기 영상 처리부(201)에서 결정한 ROI에 해당하는 위험 요소를 추출한다.
상기 정보 생성부(207)는 상기 분류부(205)에서 확인한 위험 요소에 대한 경고 이벤트를 발생시킬 메시지를 생성한다. 예를 들어, 상기 정보 생성부(207)는 상기 오디오 처리부(108)에서 재생할 경고 메시지를 생성한다.
상술한 실시 예에서 상기 저장 제어부(203)는 상기 저장부(106)에 저장된 위험 요소 데이터들 중 상기 휴대용 단말기의 위치 정보에 해당하는 위험 요소 데이터를 추출하여 상기 분류부(205)로 제공한다. 하지만, 상기 저장부(104)에 휴대용 단말기가 위치한 지역의 위험 요소 데이터를 저장하지 않은 경우, 상기 저장 제어부(203)는 별도의 서버로부터 해당 지역의 위험 요소 데이터를 제공받아 상기 저장부(106)에 저장하고, 해당 위험 요소 데이터를 상기 분류부(205)로 제공할 수도 있다.
이하 설명은 휴대용 단말기에서 보행 보조 서비스를 제공하기 위한 방법에 대해 설명한다.
도 3은 본 발명의 실시 예에 따른 휴대용 단말기에서 보행 보조 서비스를 제공하기 위한 절차를 도시하고 있다.
상기 도 3을 참조하면 상기 휴대용 단말기는 보행 보조 서비스를 제공하는 경우, 301단계에서 상기 카메라 모듈(102)을 통해 보행자의 보행 경로에 대한 영상을 획득한다. 예를 들어, 상기 휴대용 단말기는 상기 카메라 모듈(102)을 통해 획득한 영상에서 프레임 단위의 영상을 획득한다.
이후, 상기 휴대용 단말기는 303단계로 진행하여 상기 프레임 단위의 영상에서 위험 요소에 대한 ROI를 추출한다. 예를 들어, 상기 카메라 모듈(102)이 하나의 카메라로 구성된 경우, 상기 휴대용 단말기는 하기 도 6 또는 하기 도 7에 도시된 바와 같이 위험 요소를 인식하기 위한 적어도 하나의 ROI를 결정한다. 다른 예를 들어, 상기 카메라 모듈(102)이 적어도 두 개의 카메라들로 구성된 경우, 상기 휴대용 단말기는 하기 도 8에 도시된 바와 같이 위험 요소를 인식하기 위한 적어도 하나의 ROI를 결정할 수도 있다.
또한, 보행 보조 서비스를 제공하는 경우, 상기 휴대용 단말기는 305단계에서 상기 휴대용 단말기의 위치를 확인한다. 예를 들어, 상기 휴대용 단말기는 GPS 방식, 삼각 측량 방식 및 비컨(beacon)을 통해 위치 인식 방법 중 적어도 하나를 이용하여 상기 휴대용 단말기의 위치를 추정한다.
이후, 상기 휴대용 단말기는 307단계로 진행하여 상기 휴대용 단말기의 위치에 따라 상기 분류부(205)의 위치 요소 데이터를 갱신한다. 예를 들어, 상기 휴대용 단말기는 보행자가 보행할 수 있는 장소를 하기 <표 1>과 같이 4가지로 설정하는 것으로 가정한다.
장소 큰길 가 주택 가 지하철/기차역 건물 내부 공통조건
DB 구성 요소
(장애물)		 가로수
자동차
이륜 자동차
신호등
표지판
건널목
도로 경계턱		 화분
가로수
가로등
2륜 자동차		 플랫폼
엘리베이터
에스컬레이터
pass gate		 엘리베이터
에스컬레이터
문
의자/책상		 보행자
건물
계단
동물
이에 따라, 상기 휴대용 단말기는 상기 휴대용 단말기의 위치 정보에 해당하는 위험 요소의 데이터를 포함하도록 분류부(205)의 DB(database)를 갱신한다. 이때, 상기 휴대용 단말기는 별도의 서버로부터 해당 지역의 위치 요소 데이터를 제공받아 상기 분류부(205)의 위험 요소 데이터를 갱신할 수 있다. 또한, 상기 휴대용 단말기는 상기 저장부(104)에 저장된 각 지역의 위험 요소 데이터 중 상기 휴대용 단말기가 위치한 지역의 위험 요소 데이터를 추출하여 상기 분류부(205)의 위험 요소 데이터를 갱신할 수도 있다.
이후, 상기 휴대용 단말기는 309단계로 진행하여 상기 303단계에서 결정한 ROI와 상기 307단계에서 갱신한 위험 요소 데이터를 매칭하여 상기 보행자의 보행 경로에 장애물과 같은 위험 요소가 존재하는지 확인한다. 예를 들어, 상기 휴대용 단말기는 도 9에 도시된 바와 같이 프레임 영상(910)에서 위험 요소를 확인하기 위한 ROI(920)를 추출한다. 또한, 상기 휴대용 단말기는 상기 휴대용 단말기의 위치 정보에 따른 위험 요소 데이터(932, 934, 936)를 갱신한다. 이때, 상기 휴대용 단말기는 상기 위험 요소 데이터(932, 934, 936)에서 상기 ROI(920)와 매칭되는 영상(940)을 보행자가 주의해야할 위험 요소로 인식한다. 한편, 상기 위험 요소 데이터(932, 934, 936)에서 상기 ROI(920)와 매칭되는 영상이 없는 경우, 상기 휴대용 단말기는 위험 요소가 없는 것으로 인식할 수 있다.
상기 보행자의 보행 경로에 위험 요소가 존재하지 않는 경우, 상기 휴대용 단말기는 본 알고리즘을 종료한다. 이때, 상기 휴대용 단말기는 상기 301단계로 되돌아가 상기 보행자의 보행 경로의 영상을 다시 획득한다.
한편, 상기 보행자의 보행 경로에 위험 요소가 존재하는 경우, 상기 휴대용 단말기는 311단계로 진행하여 해당 위험 요소에 대한 경고 이벤트를 발생시킨다. 예를 들어, 상기 휴대용 단말기는 해당 위험 요소에 대한 충돌 위험성, 위험 요소와의 거리, 충돌 예상 시간 및 상기 위험 요소의 방향 등의 정보를 포함하는 경고 메시지를 생성한다. 이후, 상기 휴대용 단말기는 상기 경고 메시지를 상기 오디오 처리부(108)를 통해 보행자에게 출력한다.
이후, 상기 휴대용 단말기는 본 알고리즘을 종료한다. 이때, 상기 휴대용 단말기는 상기 301단계로 되돌아가 상기 보행자의 보행 경로의 영상을 다시 획득한다.
상술한 실시 예에서 휴대용 단말기는 상기 휴대용 단말기의 위치에 해당하는 위험 요소 데이터를 이용하여 보행자의 보행 경로에 대한 위험 요소를 인식한다. 이때, 상기 휴대용 단말기는 하기 도 4 또는 도 5에 도시된 바와 같이 위험 요소가 존재하는지 확인하기 위한 주기를 조절할 수도 있다.
도 4는 본 발명의 다른 실시 예에 따른 휴대용 단말기에서 보행 보조 서비스를 제공하기 위한 절차를 도시하고 있다.
상기 도 4를 참조하면 상기 휴대용 단말기는 보행 보조 서비스를 제공하는 경우, 401단계에서 상기 휴대용 단말기의 위치를 확인한다. 예를 들어, 상기 휴대용 단말기는 GPS 방식, 삼각 측량 방식 및 비컨을 통해 위치 인식 방법 중 적어도 하나를 이용하여 상기 휴대용 단말기의 위치를 추정한다.
이후, 상기 휴대용 단말기는 403단계로 진행하여 상기 휴대용 단말기의 위치 정보를 고려하여 위험 요소 확인 주기를 결정한다. 예를 들어, 상기 휴대용 단말기는 상기 휴대용 단말기의 위치 정보를 고려하여 보행자의 보행 시 위험도를 추정한다. 이후, 상기 휴대용 단말기는 상기 추정한 위험도에 따라 위험 요소 확인 주기를 결정한다. 이때, 상기 휴대용 단말기는 보행자의 보행에 따라 위험도가 높을수록 위험 요소 확인 주기를 짧게 결정한다.
상기 위험 요소 확인 주기를 결정한 후, 상기 휴대용 단말기는 405단계로 진행하여 위험 요소 확인 주기가 도래하는지 확인한다.
상기 위험 요소 확인 주기가 도래한 경우, 상기 휴대용 단말기는 407단계로 진행하여 상기 카메라 모듈(102)을 통해 보행자의 보행 경로에 대한 영상을 획득한다. 예를 들어, 상기 휴대용 단말기는 상기 카메라 모듈(102)을 통해 획득한 영상에서 프레임 단위의 영상을 획득한다.
이후, 상기 휴대용 단말기는 409단계로 진행하여 상기 프레임 단위의 영상에서 위험 요소에 대한 ROI를 추출한다. 예를 들어, 상기 카메라 모듈(102)이 하나의 카메라로 구성된 경우, 상기 휴대용 단말기는 하기 도 6 또는 하기 도 7에 도시된 바와 같이 위험 요소를 인식하기 위한 적어도 하나의 ROI를 결정한다. 다른 예를 들어, 상기 카메라 모듈(102)이 적어도 두 개의 카메라들로 구성된 경우, 상기 휴대용 단말기는 하기 도 8에 도시된 바와 같이 위험 요소를 인식하기 위한 적어도 하나의 ROI를 결정할 수도 있다.
또한, 상기 위험 요소 확인 주기가 도래한 경우, 상기 휴대용 단말기는 411단계로 진행하여 상기 휴대용 단말기의 위치에 따라 상기 분류부(205)의 위치 요소 데이터를 갱신한다. 예를 들어, 상기 <표 1>과 같이 는 보행자가 보행할 수 있는 장소를 4가지로 설정한 경우, 상기 휴대용 단말기는 상기 휴대용 단말기의 위치 정보에 해당하는 위험 요소의 데이터를 포함하도록 분류부(205)의 DB(database)를 갱신한다. 이때, 상기 휴대용 단말기는 별도의 서버로부터 해당 지역의 위치 요소 데이터를 제공받아 상기 분류부(205)의 위험 요소 데이터를 갱신할 수 있다. 또한, 상기 휴대용 단말기는 상기 저장부(104)에 저장된 각 지역의 위험 요소 데이터 중 상기 휴대용 단말기가 위치한 지역의 위험 요소 데이터를 추출하여 상기 분류부(205)의 위험 요소 데이터를 갱신할 수도 있다.
이후, 상기 휴대용 단말기는 413단계로 진행하여 상기 409단계에서 결정한 ROI와 상기 411단계에서 갱신한 위험 요소 데이터를 매칭하여 상기 보행자의 보행 경로에 장애물과 같은 위험 요소가 존재하는지 확인한다. 예를 들어, 상기 휴대용 단말기는 상기 도 9에 도시된 바와 같이 프레임 영상(910)에서 위험 요소를 확인하기 위한 ROI(920)를 추출한다. 또한, 상기 휴대용 단말기는 상기 휴대용 단말기의 위치 정보에 따른 위험 요소 데이터(932, 934, 936)를 갱신한다. 이때, 상기 휴대용 단말기는 상기 위험 요소 데이터(932, 934, 936)에서 상기 ROI(920)와 매칭되는 영상(940)을 보행자가 주의해야할 위험 요소로 인식한다. 한편, 상기 위험 요소 데이터(932, 934, 936)에서 상기 ROI(920)와 매칭되는 영상이 없는 경우, 상기 휴대용 단말기는 위험 요소가 없는 것으로 인식할 수 있다.
상기 보행자의 보행 경로에 위험 요소가 존재하지 않는 경우, 상기 휴대용 단말기는 417단계로 진행하여 상기 휴대용 단말기의 위치를 다시 확인한다.
한편, 상기 보행자의 보행 경로에 위험 요소가 존재하는 경우, 상기 휴대용 단말기는 415단계로 진행하여 해당 위험 요소에 대한 경고 이벤트를 발생시킨다. 예를 들어, 상기 휴대용 단말기는 해당 위험 요소에 대한 충돌 위험성, 위험 요소와의 거리 및 충돌 예상 시간 등의 정보를 포함하는 경고 메시지를 생성한다. 이후, 상기 휴대용 단말기는 상기 경고 메시지를 상기 오디오 처리부(108)를 통해 보행자에게 출력한다.
이후, 상기 휴대용 단말기는 상기 417단계로 진행하여 상기 휴대용 단말기의 위치를 다시 확인한다.
상기 휴대용 단말기의 위치를 다시 확인한 후, 상기 휴대용 단말기는 419단계로 진행하여 상기 휴대용 단말기의 위치가 변경되었는지 확인한다.
상기 휴대용 단말기의 위치가 변경되지 않은 경우, 상기 휴대용 단말기는 상기 405단계로 진행하여 위험 요소 확인 주기가 도래하는지 확인한다. 여기서, 상기 위험 요소 확인 주기는 상기 403단계에서 결정한 위험 요소 확인 주기를 나타낸다.
한편, 상기 휴대용 단말기의 위치가 변경된 경우, 상기 휴대용 단말기는 상기 403단계로 진행하여 변경된 휴대용 단말기의 위치 정보를 고려하여 위험 요소 확인 주기를 다시 결정한다.
상술한 실시 예에서 상기 휴대용 단말기는 위험 요소 확인 주기가 도래한 경우, 상기 휴대용 단말기의 위치 정보에 따라 상기 분류부(205)의 위험 요소 데이터를 갱신한다.
다른 실시 예에서 상기 휴대용 단말기는 상기 휴대용 단말기의 위치를 확인하는 과정(401단계)과 위험 요소 검출여부를 확인하는 과정(413단계) 사이에 어느 시점에서든 상기 분류부(205)의 위험 요소 데이터를 갱신할 수 있다.
도 5는 본 발명의 또 다른 실시 예에 따른 휴대용 단말기에서 보행 보조 서비스를 제공하기 위한 절차를 도시하고 있다.
상기 도 5를 참조하면 상기 휴대용 단말기는 보행 보조 서비스를 제공하는 경우, 501단계로 진행하여 위험 요소 확인 주기가 도래하는지 확인한다. 여기서, 상기 휴대용 단말기는 보행 보조 서비스를 초기 수행하는 경우, 기 설정된 기본 위험 요소 확인 주기가 도래하는지 확인한다.
위험 요소 확인 주기가 도래한 경우, 상기 휴대용 단말기는 503단계로 진행하여 상기 카메라 모듈(102)을 통해 보행자의 보행 경로에 대한 영상을 획득한다. 예를 들어, 상기 휴대용 단말기는 상기 카메라 모듈(102)을 통해 획득한 영상에서 프레임 단위의 영상을 획득한다.
이후, 상기 휴대용 단말기는 505단계로 진행하여 상기 프레임 단위의 영상에서 위험 요소에 대한 ROI를 추출한다. 예를 들어, 상기 카메라 모듈(102)이 하나의 카메라로 구성된 경우, 상기 휴대용 단말기는 하기 도 6 또는 하기 도 7에 도시된 바와 같이 위험 요소를 인식하기 위한 적어도 하나의 ROI를 결정한다. 다른 예를 들어, 상기 카메라 모듈(102)이 적어도 두 개의 카메라들로 구성된 경우, 상기 휴대용 단말기는 하기 도 8에 도시된 바와 같이 위험 요소를 인식하기 위한 적어도 하나의 ROI를 결정할 수도 있다.
또한, 위험 요소 확인 주기가 도래한 경우, 상기 휴대용 단말기는 507단계에서 상기 휴대용 단말기의 위치를 확인한다. 예를 들어, 상기 휴대용 단말기는 GPS 방식, 삼각 측량 방식 및 비컨을 통해 위치 인식 방법 중 적어도 하나를 이용하여 상기 휴대용 단말기의 위치를 추정한다.
이후, 상기 휴대용 단말기는 509단계로 진행하여 상기 휴대용 단말기의 위치에 따라 상기 분류부(205)의 위치 요소 데이터를 갱신한다. 예를 들어, 상기 <표 1>과 같이 는 보행자가 보행할 수 있는 장소를 4가지로 설정한 경우, 상기 휴대용 단말기는 상기 휴대용 단말기의 위치 정보에 해당하는 위험 요소의 데이터를 포함하도록 분류부(205)의 DB를 갱신한다. 이때, 상기 휴대용 단말기는 별도의 서버로부터 해당 지역의 위치 요소 데이터를 제공받아 상기 분류부(205)의 위험 요소 데이터를 갱신할 수 있다. 또한, 상기 휴대용 단말기는 상기 저장부(104)에 저장된 각 지역의 위험 요소 데이터 중 상기 휴대용 단말기가 위치한 지역의 위험 요소 데이터를 추출하여 상기 분류부(205)의 위험 요소 데이터를 갱신할 수도 있다.
이후, 상기 휴대용 단말기는 511단계로 진행하여 상기 505단계에서 결정한 ROI와 상기 509단계에서 갱신한 위험 요소 데이터를 매칭하여 상기 보행자의 보행 경로에 장애물과 같은 위험 요소가 존재하는지 확인한다. 예를 들어, 상기 휴대용 단말기는 상기 도 9에 도시된 바와 같이 프레임 영상(910)에서 위험 요소를 확인하기 위한 ROI(920)를 추출한다. 또한, 상기 휴대용 단말기는 상기 휴대용 단말기의 위치 정보에 따른 위험 요소 데이터(932, 934, 936)를 갱신한다. 이때, 상기 휴대용 단말기는 상기 위험 요소 데이터(932, 934, 936)에서 상기 ROI(920)와 매칭되는 영상(940)을 보행자가 주의해야할 위험 요소로 인식한다. 한편, 상기 위험 요소 데이터(932, 934, 936)에서 상기 ROI(920)와 매칭되는 영상이 없는 경우, 상기 휴대용 단말기는 위험 요소가 없는 것으로 인식할 수 있다.
보행자의 보행 경로에 위험 요소가 존재하지 않는 경우, 상기 휴대용 단말기는 515단계로 진행하여 상기 507단계에서 확인한 휴대용 단말기의 위치 정보를 고려하여 위험 요소 확인 주기를 결정한다. 예를 들어, 상기 휴대용 단말기는 상기 휴대용 단말기의 위치 정보를 고려하여 보행자의 보행 시 위험도를 추정한다. 이후, 상기 휴대용 단말기는 상기 추정한 위험도에 따라 위험 요소 확인 주기를 결정한다. 이때, 상기 휴대용 단말기는 보행자의 보행에 따라 위험도가 높을수록 위험 요소 확인 주기를 짧게 결정한다.
한편, 상기 보행자의 보행 경로에 위험 요소가 존재하는 경우, 상기 휴대용 단말기는 513단계로 진행하여 해당 위험 요소에 대한 경고 이벤트를 발생시킨다. 예를 들어, 상기 휴대용 단말기는 해당 위험 요소에 대한 충돌 위험성, 위험 요소와의 거리 및 충돌 예상 시간 등의 정보를 포함하는 경고 메시지를 생성한다. 이후, 상기 휴대용 단말기는 상기 경고 메시지를 상기 오디오 처리부(108)를 통해 보행자에게 출력한다.
이후, 상기 휴대용 단말기는 상기 515단계로 진행하여 상기 507단계에서 확인한 휴대용 단말기의 위치 정보를 고려하여 위험 요소 확인 주기를 결정한다. 예를 들어, 상기 휴대용 단말기는 상기 휴대용 단말기의 위치 정보를 고려하여 보행자의 보행 시 위험도를 추정한다. 이후, 상기 휴대용 단말기는 상기 추정한 위험도에 따라 위험 요소 확인 주기를 결정한다. 이때, 상기 휴대용 단말기는 보행자의 보행에 따라 위험도가 높을수록 위험 요소 확인 주기를 짧게 결정한다.
상기 위험 요소 확인 주기를 결정한 후, 상기 휴대용 단말기는 상기 501단계로 진행하여 상기 515단계에서 결정한 위험 요소 확인 주기가 도래하는지 확인한다.
상술한 실시 예에서 상기 휴대용 단말기는 위치 정보를 고려하여 보행자의 보행에 따른 위험도를 추정한다.
다른 실시 예에서 상기 휴대용 단말기는 외부로부터 유입되는 소리를 분석하여 보행자의 보행에 따른 위험도를 추정할 수도 있다. 예를 들어, 상기 휴대용 단말기는 외부로부터 유입되는 소리의 주파수를 분석하여 자동차의 소리가 많은 경우, 보행자의 보행에 따른 위험도가 높은 것으로 추정한다.
상술한 바와 같이 휴대용 단말기는 보행자의 보행 경로에 존재하는 위험 요소를 검출한다. 이때, 상기 휴대용 단말기는 상기 검출한 위험 요소를 토대로 해당 지역의 위험 요소 데이터를 갱신할 수도 있다.
이하 설명은 상기 도 3, 4 및 5에서 ROI를 획득하기 위한 방법에 대해 설명한다. 만일, 상기 카메라 모듈(102)이 하나의 카메라로 구성된 경우, 상기 휴대용 단말기는 하기 도 6 또는 도 7과 같이 ROI를 추출한다. 이하 설명에서 상기 휴대용 단말기는 상기 도 3의 303단계를 구체화한 것으로 가정하여 설명하지만 상기 도 4 및 도 5에도 동일하게 적용할 수 있다.
도 6은 본 발명의 실시 예에 따른 휴대용 단말기에서 ROI를 생성하기 위한 절차를 도시하고 있다.
상기 도 6을 참조하면, 상기 휴대용 단말기는 상기 도 3에서 연속된 두 개의 프레임 영상들을 획득한다(301단계).
이후, 상기 휴대용 단말기는 601단계로 진행하여 각각의 프레임 영상에서 코너 특징점들을 추출한다.
각 프레임 영상에서 코너 특징점들을 추출한 후, 상기 휴대용 단말기는 603단계로 진행하여 상기 연속된 두 프레임 영상들에서 같은 위치의 특징점들을 일대일 매칭하여 각 특징점의 광류(optical flow)를 획득한다.
이후, 상기 휴대용 단말기는 605단계로 진행하여 각 특징점의 광류를 통해 보행자의 움직임에 대한 모션 펙터를 추정한다.
상기 모션 펙터를 추정한 후, 상기 휴대용 단말기는 607단계로 진행하여 상기 모션 펙터를 이용하여 전체 특징점들을 고정된 피사체의 특징점과 움직이는 피사체의 특징점을 분류한다.
또한, 상기 휴대용 단말기는 상기 도 3에서 연속된 두 개의 프레임 영상들을 획득한 후(301단계), 609단계로 진행하여 상기 연속된 두 개의 프레임 영상들에서 수직 외곽선 성분을 추출한다. 예를 들어, 장애물은 지면과 다른 높이를 갖기 때문에 지면으로부터 수직인 외곽선을 갖는다. 이에 따라, 상기 휴대용 단말기는 상기 연속된 두 프레임 영상들에서 수직 외곽선 성분을 추출한다. 이때, 상기 휴대용 단말기는 상기 605단계에서 추출한 모션 펙터에 IPT(Inverse Perspective Transform) 행렬을 적용하여 영상의 지면을 확인할 수 있다.
이후, 상기 휴대용 단말기는 611단계로 진행하여 상기 607단계에서 분리한 움직이는 피사체의 특징점과 상기 609단계에서 추출한 수직 외곽선 성분을 클러스터링(clusering)하여 위험 요소에 대한 후보군인 ROI를 생성한다.
상술한 실시 예에서 상기 휴대용 단말기는 각 특징점의 광류를 통해 보행자의 움직임에 대한 모션 펙터를 추정한다. 이때, 상기 휴대용 단말기는 기하학 센서(Geometry sensor)를 이용하여 보행자의 행동 패턴에 의해 발생하는 에러 성분을 보정하여 상기 모션 펙터를 추정하는 과정에서 보행자의 보행 방향과 다른 성분을 제거할 수 있다.
상술한 바와 같이 휴대용 단말기는 연속된 두 프레임 영상들의 특징점들을 매칭하여 움직이는 피사체의 ROI를 획득하고, 상기 두 프레임 영상들의 외곽선 성분을 이용하여 고정된 피사체의 ROI를 획득한다.
도 7은 본 발명의 다른 실시 예에 따른 휴대용 단말기에서 ROI를 생성하기 위한 절차를 도시하고 있다.
상기 도 7을 참조하면, 상기 휴대용 단말기는 상기 도 3에서 연속된 두 개의 프레임 영상들을 획득한다(301단계).
이후, 상기 휴대용 단말기는 701단계로 진행하여 각각의 프레임 영상에서 코너 특징점들을 추출한다.
각 프레임 영상에서 코너 특징점들을 추출한 후, 상기 휴대용 단말기는 703단계로 진행하여 상기 연속된 두 프레임 영상들에서 같은 위치의 특징점들을 일대일 매칭하여 각 특징점의 광류(optical flow)를 획득한다.
이후, 상기 휴대용 단말기는 705단계로 진행하여 각 특징점의 광류를 통해 보행자의 움직임에 대한 모션 펙터를 추정한다.
상기 모션 펙터를 추정한 후, 상기 휴대용 단말기는 707단계로 진행하여 상기 모션 펙터를 이용하여 전체 특징점들을 고정된 피사체의 특징점과 움직이는 피사체의 특징점을 분류한다.
이후, 상기 휴대용 단말기는 709단계로 진행하여 상기 움직이는 피사체의 특징점과 상기 고정된 피사체의 특징점을 클러스터링(clusering)하여 위험 요소에 대한 후보군인 ROI를 생성한다.
상술한 실시 예에서 상기 휴대용 단말기는 각 특징점의 광류를 통해 보행자의 움직임에 대한 모션 펙터를 추정한다. 이때, 상기 휴대용 단말기는 기하학 센서(Geometry sensor)를 이용하여 보행자의 행동 패턴에 의해 발생하는 에러 성분을 보정하여 상기 모션 펙터를 추정하는 과정에서 보행자의 보행 방향과 다른 성분을 제거할 수 있다.
상술한 바와 같이 카메라 모듈(102)이 하나의 카메라로 구성된 경우, 상기 휴대용 단말기는 하나의 카메라를 통해 촬영한 연속된 두 프레임 영상들을 이용하여 위험 요소에 대한 후보군인 ROI를 생성한다.
만일, 상기 카메라 모듈이 두 개의 카메라로 구성된 경우, 상기 휴대용 단말기는 하기 도 8에 도시된 바와 같이 위험 요소에 대한 후보군인 ROI를 생성할 수 있다.
도 8은 본 발명의 또 다른 실시 예에 따른 휴대용 단말기에서 ROI를 생성하기 위한 절차를 도시하고 있다.
상기 도 8을 참조하면, 상기 휴대용 단말기는 상기 도 3에서 각각의 카메라를 통해 동일한 시점에 촬영된 두 개의 프레임 영상들을 획득한다(301단계).
이후, 상기 휴대용 단말기는 801단계로 진행하여 각각의 프레임 영상에서 코너 특징점들을 추출한다.
각 프레임 영상에서 코너 특징점들을 추출한 후, 상기 휴대용 단말기는 803단계로 진행하여 상기 연속된 두 프레임 영상들에서 같은 위치의 특징점들을 일대일 매칭하여 각 특징점의 거리 차이를 나타내는 변이 지도(disparity MAP)를 생성한다.
이후, 상기 휴대용 단말기는 805단계로 진행하여 상기 변이 지도를 이용하여 깊이(depth)를 산출하여 깊이 지도(Depth MAP)를 생성한다.
상기 깊이 지도를 생성한 후, 상기 휴대용 단말기는 807단계로 진행하여 상기 깊이 지도에 따라 깊이가 주변과 다른 영상과 다른 영역의 특징점들을 클러스터링하여 위험 요소에 대한 후보군인 ROI를 생성한다.
상술한 실시 예에서 휴대용 단말기는 하나의 카메라 또는 두 개의 카메라를 구비하는 것으로 가정하여 위험 요소에 대한 후보군인 ROI를 생성한다.
다른 실시 예에서 휴대용 단말기의 카메라 모듈(102)이 적외선 카메라를 구비하는 경우, 상기 휴대용 단말기는 상기 적외선 카메라를 통해 촬영한 연속된 두 프레임 영상들을 이용하여 상기 도 6 또는 도 7과 같이 위험 요소에 대한 후보군인 ROI를 생성할 수 있다.
또 다른 실시 예에서 휴대용 단말기는 카메라가 아닌 음파 송수신 장치를 이용하여 위험 요소에 대한 후보군인 ROI를 생성할 수도 있다. 예를 들어, 상기 휴대용 단말기가 음파 송수신 모듈을 구비하는 경우, 상기 휴대용 단말기는 상기 음파 송수신 모듈에서 전송한 신호가 피사체에서 반사하여 수신되는 시간 차를 고려하여 보행자의 보행 방향에 위치한 후보 위험 요소 성분을 감지할 수 있다. 이 경우, 상기 휴대용 단말기는 상기 도 3 또는 도 4 또는 도 5와 ROI를 획득하는 과정(301~303, 407~409, 503~505)만 다를 뿐 상기 반사된 신호로 확인한 후보 위험 요소 성분과 상기 휴대용 단말기가 위치한 지역의 위험요소 데이터를 매칭하여 보행자의 보행 경로에 존재하는 위험 요소를 검출하는 방식을 동일하게 적용할 수 있다.
또 다른 실시 예에서 휴대용 단말기는 음파 송수신 장치를 이용하여 보행자의 보행 경로에 위험 요소가 존재하는지 여부만을 확인할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 휴대용 단말기에서 보행 보조 서비스를 제공하기 위한 방법에 있어서,
    보행자의 보행 경로의 영상을 획득하는 과정과,
    상기 영상에서 적어도 하나의 후보 위험 요소 성분을 추출하는 과정과,
    상기 휴대용 단말기의 위치에 따른 위험 요소 데이터를 확인하는 과정과,
    상기 적어도 하나의 후보 위험 요소 성분과 상기 위험 요소 데이터를 매칭하여 상기 보행자의 보행 경로에 존재하는 위험 요소를 검출하는 과정을 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 후보 위험 요소 성분을 추출하는 과정은,
    상기 영상에서 검출된 코너점 및 에지 정보를 이용하여 특징점 및 피사체의 외곽선 정보 중 적어도 하나를 추출하는 과정과,
    상기 특징점과 상기 외곽선 중 적어도 하나에 대한 클러스터링을 통해 적어도 하나의 후보 위험 요소 성분을 추출하는 과정을 포함하는 것을 특징으로 하는 방법.
  3. 제 1항에 있어서,
    상기 위험 요소 데이터를 확인하는 과정은,
    상기 휴대용 단말기의 위치를 추정하는 과정과,
    서버로부터 상기 휴대용 단말기의 위치에 해당하는 위치 요소 데이터를 제공받는 과정을 포함하는 것을 특징으로 하는 방법.
  4. 제 1항에 있어서,
    상기 위험 요소 데이터를 확인하는 과정은,
    상기 휴대용 단말기의 위치를 추정하는 과정과,
    저장부에서 상기 휴대용 단말기의 위치에 해당하는 위치 요소 데이터를 추출하는 과정을 포함하는 것을 특징으로 하는 방법.
  5. 제 1항에 있어서,
    상기 위험 요소를 검출하는 과정은,
    상기 위험 요소 데이터에 상기 후보 위험 요소 성분에 매칭되는 영상이 존재하는지 확인하는 과정과,
    상기 후보 위험 요소 성분에 매칭되는 영상이 존재하는 경우, 상기 매칭되는 영상을 위험 요소로 검출하는 과정을 포함하는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서,
    상기 보행자의 보행 경로의 위험도를 추정하는 과정과,
    상기 보행 경로의 위험도에 따라 위험 요소 확인 주기를 결정하는 과정을 더 포함하여,
    상기 위험 요소 확인 주기가 도래하는 경우, 상기 보행 경로의 영상을 획득하는 과정으로 진행하는 것을 특징으로 하는 방법.
  7. 제 6항에 있어서,
    상기 위험도를 추정하는 과정은,
    상기 휴대용 단말기의 위치 정보를 추정하는 과정과,
    상기 휴대용 단말기의 위치에 따라 상기 보행 경로의 위험도를 결정하는 과정을 포함하는 것을 특징으로 하는 방법.
  8. 제 6항에 있어서,
    상기 위험도를 추정하는 과정은,
    상기 휴대용 단말기의 주변 소리를 고려하여 상기 보행 경로의 위험도를 결정하는 과정을 포함하는 것을 특징으로 하는 방법.
  9. 제 1항에 있어서,
    상기 검출한 위험 요소에 대한 경고 이벤트를 발생시키는 과정을 더 포함하는 것을 특징으로 하는 방법.
  10. 제 9항에 있어서,
    상기 경고 이벤트를 발생시키는 과정은,
    상기 검출한 위험 요소와 보행자의 충돌 위험성, 상기 위험 요소와 보행자와의 거리, 상기 위험 요소와 상기 보행자의 충돌 예상 시간 및 상기 위험 요소의 방향 중 적어도 하나의 정보를 포함하는 경고 메시지를 음성으로 출력하는 과정을 포함하는 것을 특징으로 하는 방법.
  11. 휴대용 단말기에서 보행 보조 서비스를 제공하기 위한 장치에 있어서,
    보행자의 보행 경로의 영상을 획득하는 카메라 모듈과,
    상기 휴대용 단말기의 위치를 확인하는 위치 확인부와,
    상기 카메라 모듈에서 획득한 영상 내에서 적어도 하나의 후보 위험 요소 성분을 추출하고, 상기 적어도 하나의 후보 위험 요소 성분과 상기 휴대용 단말기의 위치에 따른 위험 요소 데이터를 매칭하여 상기 보행자의 보행 경로에 존재하는 위험 요소를 검출하는 제어부를 포함하여 구성되는 것을 특징으로 하는 장치.
  12. 제 11항에 있어서,
    상기 제어부는,
    상기 카메라 모듈에서 획득한 영상에서 적어도 하나의 후보 위험 요소 성분을 추출하는 영상 처리부와,
    상기 위치 확인부에서 확인한 상기 휴대용 단말기의 위치에 따른 위험 요소 데이터를 확인하는 저장 제어부와,
    상기 적어도 하나의 후보 위험 요소 성분과 상기 휴대용 단말기의 위치에 따른 위험 요소 데이터를 매칭하여 상기 보행자의 보행 경로에 존재하는 위험 요소를 검출하는 분류부를 포함하여 구성되는 것을 특징으로 하는 장치.
  13. 제 12항에 있어서,
    상기 영상 처리부는, 상기 카메라 모듈에서 획득한 영상에서 검출된 코너점 및 에지 정보를 이용하여 특징점 및 피사체의 외곽선 정보 중 적어도 하나를 추출하고, 상기 특징점과 상기 외곽선 중 적어도 하나에 대한 클러스터링을 통해 적어도 하나의 후보 위험 요소 성분을 추출하는 것을 특징으로 하는 장치.
  14. 제 12항에 있어서,
    상기 저장 제어부는, 서버로부터 상기 휴대용 단말기의 위치에 해당하는 위치 요소 데이터를 제공받는 것을 특징으로 하는 장치.
  15. 제 12항에 있어서,
    상기 저장 제어부는, 적어도 하나의 지역에 대한 위치 요소 데이터를 포함하는 저장부에서 상기 휴대용 단말기의 위치에 해당하는 위치 요소 데이터를 추출하는 것을 특징으로 하는 장치.
  16. 제 12항에 있어서,
    상기 분류부는, 상기 위험 요소 데이터에 포함되는 영상 중 상기 후보 위험 요소 성분에 매칭되는 영상을 위험 요소로 검출하는 것을 특징으로 하는 장치.
  17. 제 12항에 있어서,
    상기 검출한 위험 요소와 보행자의 충돌 위험성, 상기 위험 요소와 보행자와의 거리, 상기 위험 요소와 상기 보행자의 충돌 예상 시간 및 상기 위험 요소의 방향 중 적어도 하나의 정보를 포함하는 경고 메시지를 생성하는 정보 생성부를 더 포함하여 구성되는 것을 특징으로 하는 방법.
  18. 제 11항에 있어서,
    상기 제어부는, 상기 보행 경로의 위험도에 따라 위험 요소 확인 주기를 결정하여, 상기 위험 요소 확인 주기가 도래하는 경우, 상기 보행 경로의 영상을 획득하도록 상기 카메라 모듈을 제어하는 것을 특징으로 하는 장치.
  19. 제 18항에 있어서,
    상기 제어부는, 상기 휴대용 단말기의 위치와 상기 휴대용 단말기의 주변 소리 중 적어도 하나를 고려하여 상기 보행 경로의 위험도를 결정하는 것을 특징으로 하는 장치.
  20. 제 11항에 있어서,
    상기 검출한 위험 요소에 대한 경고 메시지를 출력하는 오디오 처리부를 더 포함하여 구성되는 것을 특징으로 하는 장치.
KR1020110060245A 2011-06-21 2011-06-21 휴대용 단말기에서 보행 안내 서비스를 제공하기 위한 장치 및 방법 KR20120140486A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110060245A KR20120140486A (ko) 2011-06-21 2011-06-21 휴대용 단말기에서 보행 안내 서비스를 제공하기 위한 장치 및 방법
US13/466,667 US20120327203A1 (en) 2011-06-21 2012-05-08 Apparatus and method for providing guiding service in portable terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110060245A KR20120140486A (ko) 2011-06-21 2011-06-21 휴대용 단말기에서 보행 안내 서비스를 제공하기 위한 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120140486A true KR20120140486A (ko) 2012-12-31

Family

ID=47361473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110060245A KR20120140486A (ko) 2011-06-21 2011-06-21 휴대용 단말기에서 보행 안내 서비스를 제공하기 위한 장치 및 방법

Country Status (2)

Country Link
US (1) US20120327203A1 (ko)
KR (1) KR20120140486A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140120618A (ko) * 2013-04-04 2014-10-14 삼성전자주식회사 휴대단말장치의 사고 방지 방법 및 장치
KR20220061854A (ko) 2020-11-06 2022-05-13 카페24 주식회사 이탈 방지를 위한 인공 지능 기반의 보행 안내 장치 및 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682091A (zh) * 2012-04-25 2012-09-19 腾讯科技（深圳）有限公司 基于云服务的视觉搜索方法和系统
GB2510586A (en) * 2013-02-07 2014-08-13 Spiral Scratch Ltd Navigational aid for visually impaired people
US9460635B2 (en) 2013-09-06 2016-10-04 At&T Mobility Ii Llc Obstacle avoidance using mobile devices
CN105012118B (zh) * 2014-04-22 2017-08-25 上海斐讯数据通信技术有限公司 一种智能导盲的方法及智能导盲杆
CN104535059A (zh) * 2014-12-04 2015-04-22 上海交通大学 针对全盲人群的室内定位系统
CN105030491B (zh) * 2015-07-17 2017-09-19 上海斐讯数据通信技术有限公司 一种导盲方法及导盲系统
CN105362048B (zh) * 2015-10-15 2018-01-19 广东欧珀移动通信有限公司 基于移动设备的障碍物信息提示方法、装置及移动设备
WO2018025531A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018103024A1 (zh) 2016-12-07 2018-06-14 深圳前海达闼云端智能科技有限公司 智能导盲方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003079685A (ja) * 2001-09-17 2003-03-18 Seiko Epson Corp 視覚障害者歩行用補助具
EP2784722A1 (en) * 2004-07-26 2014-10-01 Automotive Systems Laboratory, Inc. Vulnerable road user protection system
US8588464B2 (en) * 2007-01-12 2013-11-19 International Business Machines Corporation Assisting a vision-impaired user with navigation based on a 3D captured image stream
US8749343B2 (en) * 2007-03-14 2014-06-10 Seth Cirker Selectively enabled threat based information system
JP4371153B2 (ja) * 2007-06-15 2009-11-25 トヨタ自動車株式会社 自律移動装置
KR101401848B1 (ko) * 2007-12-12 2014-05-30 두산인프라코어 주식회사 공작기계의 주축헤드 변위 보정방법
US8559914B2 (en) * 2008-01-16 2013-10-15 M. Kelly Jones Interactive personal surveillance and security (IPSS) system
US9201143B2 (en) * 2009-08-29 2015-12-01 Echo-Sense Inc. Assisted guidance navigation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140120618A (ko) * 2013-04-04 2014-10-14 삼성전자주식회사 휴대단말장치의 사고 방지 방법 및 장치
KR20220061854A (ko) 2020-11-06 2022-05-13 카페24 주식회사 이탈 방지를 위한 인공 지능 기반의 보행 안내 장치 및 방법

Also Published As

Publication number Publication date
US20120327203A1 (en) 2012-12-27

Similar Documents

Publication Publication Date Title
KR20120140486A (ko) 휴대용 단말기에서 보행 안내 서비스를 제공하기 위한 장치 및 방법
US7598976B2 (en) Method and apparatus for a multisensor imaging and scene interpretation system to aid the visually impaired
US8606316B2 (en) Portable blind aid device
US6690451B1 (en) Locating object using stereo vision
CN108921894B (zh) 对象定位方法、装置、设备和计算机可读存储介质
US10900790B2 (en) Interior building navigation system
JP2006251596A (ja) 視覚障害者支援装置
JPWO2018025531A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR101373854B1 (ko) 센서 기반 영상 개선방법을 이용한 주차유도 시스템
CN110647797B (zh) 一种访客检测方法及装置
Khaled et al. In-door assistant mobile application using cnn and tensorflow
Rajendran et al. Design and implementation of voice assisted smart glasses for visually impaired people using google vision api
KR20190118965A (ko) 시선 추적 시스템 및 방법
JP2005037181A (ja) ナビゲーション装置、サーバ装置、ナビゲーションシステム、及びナビゲーション方法
KR102284744B1 (ko) 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기
KR20180050892A (ko) 이미지 인식을 이용한 보행자 보조 신호 제공 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
Ebrahim et al. Proposing a hybrid tag-camera-based identification and navigation aid for the visually impaired
Khan et al. Outdoor mobility aid for people with visual impairment: Obstacle detection and responsive framework for the scene perception during the outdoor mobility of people with visual impairment
JPWO2019021973A1 (ja) 端末装置、危険予測方法、プログラム
KR101827557B1 (ko) 보행 안전 서비스 제공 방법
US11436827B1 (en) Location tracking system using a plurality of cameras
KR102225456B1 (ko) 로드 메이트 시스템 및 로드 메이트 서비스 제공 방법
JP2001318594A (ja) 視覚障害者用歩行支援システムおよび情報記録媒体
KR101983496B1 (ko) 캐릭터 위치 및 사물 위치를 반영한 증강현실 대화 시스템 및 방법
Skulimowski et al. Door detection in images of 3d scenes in an electronic travel aid for the blind

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid