KR102009448B1 - 사물정보제공장치 및 그 장치의 구동방법 - Google Patents

사물정보제공장치 및 그 장치의 구동방법 Download PDF

Info

Publication number
KR102009448B1
KR102009448B1 KR1020180068565A KR20180068565A KR102009448B1 KR 102009448 B1 KR102009448 B1 KR 102009448B1 KR 1020180068565 A KR1020180068565 A KR 1020180068565A KR 20180068565 A KR20180068565 A KR 20180068565A KR 102009448 B1 KR102009448 B1 KR 102009448B1
Authority
KR
South Korea
Prior art keywords
information
user device
thing
name
user
Prior art date
Application number
KR1020180068565A
Other languages
English (en)
Inventor
신종우
Original Assignee
신한대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 신한대학교 산학협력단 filed Critical 신한대학교 산학협력단
Priority to KR1020180068565A priority Critical patent/KR102009448B1/ko
Application granted granted Critical
Publication of KR102009448B1 publication Critical patent/KR102009448B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/005—Details of specially-adapted software to access information, e.g. to browse through hyperlinked information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/007—Teaching or communicating with blind persons using both tactile and audible presentation of the information

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Business, Economics & Management (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Economics (AREA)
  • Vascular Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 사물정보제공장치 및 그 장치의 구동방법에 관한 것으로서, 본 발명의 실시예에 따른 사물정보제공장치는, 사용자장치에서 서비스 요청시 제공하는 사용자장치의 장치 정보 또는 사용자장치에 의해 촬영된 촬영 영상을 수신하는 통신 인터페이스부, 및 수신한 장치 정보 또는 촬영 영상을 근거로 사용자장치의 주변 사물에 대한 사물 명칭을 판단하고, 판단한 사물 명칭이 포함되는 안내 정보를 사용자장치로 제공하도록 통신 인터페이스부를 제어하는 제어부를 포함할 수 있다.

Description

사물정보제공장치 및 그 장치의 구동방법{Apparatus for Providing Information of Things and Driving Method Thereof}
본 발명은 사물정보제공장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 가령 시각장애인에게 보행로의 주변에 위치하는 사물의 명칭을 알려주어 보행에 안정감을 주려는 사물정보제공장치 및 그 장치의 구동방법에 관한 것이다.
일반적으로 시각장애인들은 시각적인 장애를 극복하기 위해 맹인견이나 지팡이에 의지하여 바닥면에 설치된 점자블록을 인식함으로써, 실외로 외출을 행하게 된다. 즉, 시각장애인들은 다수의 점자블록으로 이루어진 점자블록 유도라인을 따라 보행함에 있어서, 각 점자블록의 에지성분을 지팡이로 여러번 접촉시키거나 또는 발바닥 느낌을 통해 인식함으로써 보행하게 된다.
그러나, 시각장애인들이 지팡이나 발바닥을 통한 자신의 감각만으로 점자블록을 인지하여 보행을 하기에는 많은 시간이 소요됨은 물론, 점자블록이 파손되는 등의 이유로 이동상황 판단에 따른 스트레스가 발생되는 문제가 있게 된다.
이에, 종래에는 시각장애인의 주변을 카메라로 촬영하고, 그 촬영정보를 분석하여 점자블록에 대응되는 보행정보를 음성으로 제공해 주는 장치가 제안되었다. 그러나 이러한 종래의 보행정보 안내시스템은 통상적으로 카메라를 통해 촬영된 바닥면에 형성된 점자블록을 근거로 보행방향만을 음성으로 제공하여 주는 것으로, 주변에 고정되거나 또는 근접하게 이동하는 장애물에 대한 정보를 제공하지 않기 때문에 시각장애인이 자유롭게 보행하기에 위험성이 뒤따르고 있다.
또한, 종래 시각장애인용 인지 시스템의 경우 물체를 인지하고 시각장애인에 물체가 있음을 알려주고 그 물체를 회피하여 보행할 수 있는 시스템이 대부분이다. 그런데, 이러한 시스템의 경우 단순히 물체를 인지하는 정도에 불과하여 시각장애인에게는 어떠한 물체가 있는지 전혀 알 수가 없으므로 보행시 불안함은 여전히 해소되고 있지 않은 상태이며, 또한 카메라의 위치(예: 보행자의 시선)에 따라 감지를 못하는 경우도 있어 새로운 시각장애인용 보행 시스템이 절실히 요구되고 있다.
한국공개특허공보 제10-2016-0074736호(2016.06.29) 한국공개특허공보 제10-2012-0088320호(2016.08.08)
본 발명의 실시예는 가령 시각장애인에게 보행로의 주변에 위치하는 사물의 명칭을 알려주어 보행에 안정감을 주려는 사물정보제공장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.
본 발명의 실시예에 따른 사물정보제공장치는, 사용자장치에서 서비스 요청시 제공하는 상기 사용자장치의 장치 정보 또는 상기 사용자장치에 의해 촬영된 촬영 영상을 수신하는 통신 인터페이스부, 및 상기 수신한 장치 정보 또는 상기 촬영 영상을 근거로 상기 사용자장치의 주변 사물에 대한 사물 명칭을 판단하고, 상기 판단한 사물 명칭이 포함되는 안내 정보를 상기 사용자장치로 제공하도록 상기 통신 인터페이스부를 제어하는 제어부를 포함한다.
상기 제어부는, 상기 사물 명칭을 포함하는 안내 정보를 상기 사용자장치로 음성 정보 및 햅틱 정보 중 적어도 하나의 형태로 제공할 수 있다.
상기 제어부는, 제1 장소를 선행하는 제1 사용자장치로부터 수신되는 촬영 영상을 근거로 상기 주변 사물의 변경을 판단하고, 상기 판단에 따라 갱신한 안내 정보를 상기 제1 장소를 후행하는 제2 사용자장치로 제공할 수 있다.
상기 제어부는, 상기 장치 정보로서 상기 사용자장치의 식별 정보 및 위치 정보 중 적어도 하나의 정보를 이용할 수 있다.
상기 제어부는, 상기 수신한 촬영 영상에서 상기 주변 사물을 구분하여 상기 구분한 주변 사물의 속성을 파악하고, 상기 파악한 속성의 속성 정보를 기저장된 사물 명칭 정보와 비교하여 상기 사물 명칭을 판단할 수 있다.
또한, 본 발명의 실시예에 따른 사물정보제공장치의 구동방법은, 통신 인터페이스부 및 제어부를 포함하는 사물정보제공장치로서, 상기 통신 인터페이스부가, 사용자장치에서 서비스 요청시 제공하는 상기 사용자장치의 장치 정보 또는 상기 사용자장치에 의해 촬영된 촬영 영상을 수신하는 단계, 및 상기 제어부가, 상기 수신한 장치 정보 또는 상기 촬영 영상을 근거로 상기 사용자장치의 주변 사물에 대한 사물 명칭을 판단하고, 상기 판단한 사물 명칭이 포함되는 안내 정보를 상기 사용자장치로 제공하도록 상기 통신 인터페이스부를 제어하는 단계를 포함한다.
상기 제어부는, 상기 사물 명칭을 포함하는 안내 정보를 상기 사용자장치로 음성 정보 및 햅틱 정보 중 적어도 하나의 형태로 제공할 수 있다.
상기 제어부는, 제1 장소를 선행하는 제1 사용자장치로부터 수신되는 촬영 영상을 근거로 상기 주변 사물의 변경을 판단하고, 상기 판단에 따라 갱신한 안내 정보를 상기 제1 장소를 후행하는 제2 사용자장치로 제공할 수 있다.
상기 제어부는, 상기 장치 정보로서 상기 사용자장치의 식별 정보 및 위치 정보 중 적어도 하나의 정보를 이용할 수 있다.
상기 제어부는, 상기 수신한 촬영 영상에서 상기 주변 사물을 구분하여 상기 구분한 주변 사물의 속성을 파악하고, 상기 파악한 속성의 속성 정보를 기저장된 사물 명칭 정보와 비교하여 상기 사물 명칭을 판단할 수 있다.
본 발명의 실시예에 따르면, 최근 들어 무한히 발전하고 있는 사물인지 기술을 이용하여 감지된 물체의 구체적인 명칭을 보행자(예: 시각장애인)에게 알려주어 보다 안정감을 줄 수 있을 것이다.
또한, 특정 시각장애인의 GPS 정보를 통해 얻은 사물의 위치 정보 및 해당 명칭 사항을 관리서버에 누적하여 빅데이터로 저장할 수 있게 하여 제3의 시각장애인이 해당 지역을 보행하는 경우 관련 데이터를 통해 보다 정확한 사물위치 및 명칭에 대한 정보를 제공할 수 있으므로 카메라의 위치에 상관없이 시각장애인이 위치한 도로상의 사물의 위치 정보를 알려줄 수 있으며, 만약 새로운 사물이 있는 경우 이를 감지하여 실시간으로 사물 위치 및 명칭을 갱신(update)함으로써 보다 정확한 정보를 시각장애인에게 제공해 줄 수 있을 것이다.
나아가, 시각장애인이 전송해오는 영상 중 도로표지판 또는 간판 등과 같은 영상 정보를 통해 사물 위치를 보다 정확하게 확인할 수 있도록 하여 사물에 대한 위치 정보를 보다 정밀하게 파악할 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 사물명칭안내시스템을 나타내는 도면,
도 2는 도 1의 사물정보제공장치의 구조를 나타낸 블록다이어그램,
도 3은 도 1의 사물정보제공장치의 다른 구조를 나타낸 블록다이어그램,
도 4는 본 발명의 실시예에 따른 사물명칭안내과정을 나타내는 도면, 그리고
도 5는 본 발명의 실시예에 따른 사물정보제공장치의 구동과정을 나타내는 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 사물명칭안내시스템을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 사물명칭안내시스템(95)은 사용자장치(101, 103), 통신망(110) 및 사물정보제공장치(120)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 사물정보제공장치(120)와 같은 일부 구성요소가 생략되어 사물명칭안내시스템(95)이 구성되거나 통신망(110) 내의 네트워크장치에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
사용자장치 1(101) 및 사용자장치 2(103)는 스마트폰과 같은 단말장치를 포함하며, 반드시 영상표시가 가능한 영상표시장치일 필요는 없다. 다시 말해, 본 발명의 실시예에 따른 사용자장치 1(101) 및 사용자장치 2(103)는 안경이나 몸에 착용하는 웨어러블장치(예: 갤*시기어 등) 등과 같이 시각장애인을 위해 특별히 제작된 단말장치이어도 무관하다. 본 발명의 실시예에 따른 사용자장치 1(101) 및 사용자장치 2(103)는 카메라와 같은 촬영수단을 포함하는 것이 바람직하다. 여기서, 카메라라 지칭하지 않고 촬영수단이라 명명한 것은 사용자장치 1(101) 및 사용자장치 2(103)가 카메라를 직접 탑재하지 않고 잭(jack)과 같은 커넥터를 통해 카메라를 연결하여 작동시키는 것도 얼마든지 가능하기 때문이다.
본 발명의 실시예에 따른 사용자장치 1(101) 및 사용자장치 2(103)는 다양한 형태의 동작이 가능하겠지만 대략 2가지 형태로 요약해 볼 수 있다. 이는 어디까지나 시스템 설계자의 의도에 따라 결정되는 것이므로, 어느 하나에 특별히 한정하지는 않을 것이다. 첫째는, 사용자장치 1(101)을 소지하는 사용자, 가령 시각장애인이 인도를 보행하고 있을 때, 보행 장소를 촬영하면서 제공되는 촬영 영상을 근거로 사물의 명칭을 안내하는 것이다. 물론 사물의 명칭이란 사물의 구체적인 유형 정보를 의미한다고 볼 수 있다. 현재 보행 중인 보행 장소의 주변에 구체적으로 어떠한 사물이 있는지를 음성 및/또는 햅틱으로 시각장애인에게 알려주는 것이다.
가령, 시각장애인이 오른손에 지팡이를 들고 거리의 바닥면에 형성된 점자블록을 근거로 보행방향을 인식한다면, 왼손에는 사용자장치 1(101)을 통해 보행방향의 보행로를 촬영하여 보행 방향의 사물에 대한 구체적인 명칭을 알 수 있다고 가정해 보자. 이의 경우 시각장애인의 보행은 매우 안정감을 줄 수 있게 될 것이다. 구체적으로 사람이 지나가는지, 가로수가 있는지, 표지판이 있는지, 또 쓰레기통이나 차량이 있는지를 알려줌으로써 시각장애인은 보행에 안정감을 느낄 수 있게 된다. 이는 현재 해당 장소를 지나는 시각장애인 자신이 제공하는 촬영 영상을 근거로 서비스가 제공된다는 점에 있다. 따라서, 현 장소의 지형 변화와 관계없이 정보 서비스를 제공받을 수 있기 때문에 많은 이점이 있을 것이다.
둘째는, 만약 통신망(110)의 통신 트래픽이 증가하거나 의도하지 않은 서비스 중단이 있는 경우를 가정해 보자. 물론 5G 통신망에서는 지하로 광 선로가 매설되어 해당 광 선로를 통해서도 통신이 이루어지기 때문에 그 가능성은 아주 희박하다. 그렇다 해도 만일의 하나 위의 예기치 못한 상황이 발생할 수 있으므로, 이의 경우에는 사용자장치 1(101)의 위치 추적을 통해, 기저장되어 있는 사물정보를 안내하는 것이 더욱 바람직할 수 있다. 다시 말해, 사용자장치 1(101)이 사용자장치 2(103)에 선행하여 동일 장소를 지난 경우, 앞선 사용자의 사용자장치, 가령 사용자장치 1(101)의 촬영 영상을 근거로 사물정보를 갱신한 후, 사용자장치 2(103)가 해당 장소를 지날 대 갱신된 사물정보를 근거로 안내를 하는 것이다. 이에 따라, 첫째의 경우보다는 서비스가 더욱 신속하고 정확하게 이루어질 수 있을 것이다.
자세한 이유는 이후에 사물정보제공장치(120)의 부분에서 설명하겠지만, 간략히 언급하면 하나는 통신 트래픽의 문제이고, 다른 하나는 수신된 촬영 영상의 분석 속도에 있다고 볼 수 있다. 이 두가지 요인은 시간 지연에 관계되기 때문에 전자보다는 가급적 후자의 서비스가 더욱 바람직할 수 있다. 다시 말해, 사물정보의 갱신은 가령 공공기관과의 제휴에 따라 공공기관의 서버에 연동함으로써 관련 정보를 제공받아 갱신을 하는 것이 얼마든지 가능할 수 있기 때문이다.
물론 이의 경우가 아니라 하더라도 사용자장치(101, 103)에서 촬영된 촬영 영상을 직접 분석하여 분석 결과만을 통신망(110)을 경유하여 사물정보제공장치(120)로 제공되도록 하는 방법도 얼마든지 가능하다. 이의 경우도 통신 트래픽을 아주 많이 줄일 수 있는 방법 중 하나이다. 다시 말해, 사용자장치(101, 103)에서 촬영 영상을 복수의 블록 단위로 분할하고 분할된 블록 단위의 영상을 분석하여 객체, 즉 사물을 구분하고, 구분한 사물의 특성 혹은 속성을 알 수 있는 속성 정보를 생성하여 제공하는 것이다. 이때 속성 정보는 특징점 등이 사용될 수 있을 것이다.
또한, 사용자장치 1(101)이 사물정보제공장치(120)로 서비스를 요청하면, 이는 음성 명령어 혹은 스마트폰의 경우에는 특정 버튼 혹은 아이콘을 선택하여 어플리케이션을 실행시키는 것에 의해 가능할 수 있는데, 이와 같은 서비스 요청시 제공되는 위치 정보를 근거로 DB(120a)에 저장되어 있는 해당 지역의 관련 데이터를 사물정보제공장치(120)가 사용자장치 1(101)로 제공해 주는 것이다. 이의 경우, 사용자장치 1(101)은 촬영된 영상을 자체 분석하고 분석결과를 초기 동작시 사물정보제공장치(120)로부터 제공받은 데이터와 비교하여 사물정보를 안내할 수 있게 되는 것이다. 이는 본 발명의 실시예에 따른 4번째 동작 방법이 될 수 있다.
상기한 바와 같이, 사용자장치 1(101) 및 사용자장치 2(103)는 그 동작 방법이 아주 다양할 수 있다. 따라서, 본 발명의 실시예에서는 어느 하나의 방법에 특별히 한정하지는 않을 것이다. 무엇보다 사용자장치 1(101) 및 사용자장치 2(103)는 위의 경우라 하더라도 불시의 상황에 대처하는 것이 불가능할 수 있다. 다시 말해, 골목에서 급작스럽게 자전거가 돌진한다든가 웅덩이가 감지되지 않는 상황을 가정해 보자. 따라서, 이러한 갑작스러운 상황을 미연에 방지하기 위하여 사물정보제공장치(120)는 수집되는 데이터를 시각장애인들이 제공하는 데이터에 국한하는 것이 아니라, 일반 사용자들의 동태를 파악할 수 있는 데이터도 함께 확보하여 빅데이터를 통해 사고를 미연에 방지할 수 있을 것이다. 다시 말해, 사물정보제공장치(120)는 수집되는 데이터에 의한 기계적인 학습과, 빅데이터를 이용하여 딥러닝 등의 인공지능(AI) 동작을 통해 상황을 정확히 예측해 낼 수 있게 되며, 이를 통해 사고를 미연에 방지할 수 있을 것이다.
예를 들어, 특정 장소에서 자전거를 거칠게 타는 아이의 행동패턴이 감지되었다고 가정해 보자. 그리고, 그 아이가 현재 자전거를 타고 있는 그 곳(예: 골목)을 시각장애인이 지나고 있다면, 시각장애인이 현재 촬영 중인 사용자장치 1(101)의 카메라 앵글(angle)에는 그 아이가 촬영되지 않을 수 있다. 따라서 사물정보제공장치(120)는 누적된 데이터의 분석 등을 통해 이를 감지하고, 일정 거리가 감지되면 시각장애인에게 이의 사실을 알릴 수 있다. 사실 본 발명의 실시예는 단순히 사물의 명칭을 안내한다기보다는 사물의 명칭을 포함하여 안내함과 동시에 상황을 알린다고 볼 수 있다. 예컨대, "우측에 쓰레기통이 있습니다"보다는 "우측 1mm 거리에 쓰레기통이 있습니다". 그리고 "우측 골목에서 자전거를 탄 아이가 빠르게 접근하고 있습니다. 주의하세요" 등이다. 물론 "전방에 지하철역이 있습니다", "우측에 가로수가 있습니다"과 같이 사물의 명칭을 포함하여 안내하는 것은 분명하다.
통신망(110)은 유무선 통신망을 모두 포함한다. 가령 통신망(110)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 향후 구현될 차세대 이동통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G 통신망 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망(110) 내의 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS SupportNode)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.
통신망(110)은 액세스포인트(AP)를 포함한다. 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 사용자장치(101, 103) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 사용자장치(101, 103)와 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리통신 모듈을 포함한다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 사물정보제공장치(120)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함될 수 있다.
사물정보제공장치(120)는 사용자장치 1(101) 및 사용자장치 2(103)로 사물명칭이 포함되는 안내 정보를 제공한다. 이러한 사물명칭을 포함한 안내 정보는 음성 정보의 형태일 수 있고, 햅틱 정보의 형태일 수 있으며 이의 조합된 형태일 수 있다. 이것은 사물정보제공장치(120)와 사용자장치(101, 103)와의 규약에 해당되기 때문에 다양한 방식으로 이루어질 수 있다. 다시 말해, 사용자장치(101, 103)는 사물정보제공장치(120)에서 제공한 정보(예: 비트정보의 기계어)를 인터프리터나 컴파일러 등을 통해 분석 혹은 해석하여 음성출력부를 통해 음성 정보 즉 음성 내용을 출력하고, 햅틱을 통해서는 진동 패턴을 출력할 수 있다. 여기서, 진동 패턴이란 모스 부호와 같이 일정한 패턴으로 모터를 진동시켜 정보를 출력하는 것이다.
사물정보제공장치(120)는 사용자장치(101, 103)를 설명하면서 이미 다룬 바 있지만, 다양한 형태로 동작이 가능할 수 있으며 이는 시스템 설계자의 의도에 따라 결정될 수 있다. 바람직하게는 일반인들과 시각장애인들에 관련된 데이터를 수집하고 이를 활용하는 것이다. 이를 통해 시각장애인들에게 사물명칭을 안내하는 것을 넘어 사고를 미연에 방지할 수 있게 될 것이다.
사물정보제공장치(120)는 사용자장치(101, 103)에서 제공하는 촬영 영상을 수신하여 수신한 촬영 영상을 분석한다. 물론 그렇게 시스템이 설계된 경우에 한정될 것이다. 이의 과정에서 사물정보제공장치(120)는 매크로 블록 단위로 수신된 영상을 분할하여 분할한 영상을 분석할 수 있다. 해당 영상에서 객체 즉 사물을 구분하고, 구분한 사물의 속성을 파악한다. 이를 위하여 사물정보제공장치(120)는 특징점 정보를 이용하거나 색상 등 다양한 정보를 이용하여 속성을 파악할 수 있을 것이다. 예를 들어, DB(120a)에는 다양한 유형의 사물에 대한 속성 정보가 기저장되어 있을 수 있다. 4륜 바퀴가 객체 분석을 통해 판단되면 어떠한 차량인지를 더 파악해 볼 수도 있을 것이다. 따라서, 사물정보제공장치(120)는 구분한 객체에서 4륜 바퀴가 감지되면 우선 자동차로 분류하고, 트럭인지 자가용인지 등을 더 파악할 수 있다. 이를 위하여 차량의 형태에 관련되는 정보를 더 이용할 수 있을 것이다. 이와 같이 사물정보제공장치(120)가 사물의 유형을 특별히 구분할 필요가 있을 경우에는, 다시 말해 시각장애인에게 해당 유형을 구분하여 정보를 제공할 필요가 있다고 판단되는 경우에는 데이터 구축시 이를 반영하여 데이터를 저장하게 될 것이다. 만약, 쓰레기통의 경우에는 어떠한 유형의 쓰레기통인지까지 굳이 알릴 필요는 없을 것이기 때문이다.
다시 말해, 사물정보제공장치(120)는 영상 분석을 통해 객체 즉 사물을 분류하여 분류한 객체의 속성 정보를 얻고, 얻은 속성 정보를 이용하여 DB(120a)에서 일치하는 정보가 있는지를 검색하게 된다. 그리고, 검색한 정보에 매칭되어 있는 음성 정보 또는 햅틱 정보를 사물명칭을 포함하는 안내 정보로 제공하게 된다. 만약, 영상 분석을 통해 거리 정보를 더 획득하였다면 거리 정보를 음성 정보 또는 햅틱 정보에 조합하여 문장을 생성하여 시각장애인에게 전달하도록 한다. 예를 들어, 객체 분석을 통해 지하철역이라는 것이 감지되었고, 거리가 1mm 이내라면, 사물정보제공장치(120)는 "1mm 이내에 지하철이 있습니다"라고 문장을 만들어 음성 정보 또는 햅틱 정보의 형태로 사용자장치(101, 103)로 제공할 수 있다. 이에 따라, 사용자장치(101, 103)는 수신된 정보를 해석하여 해석대로 동작을 수행한다.
또한, 사물정보제공장치(120)는 현재의 임의 장소를 지나는 사용자장치 1(101)에서 제공하는 촬영영상을 근거로 사물명칭 정보를 안내하는 것이 아니라, 카메라의 위치와 상관없이 이전에 해당 장소를 지난 사용자장치 2(103)의 촬영 영상을 근거로 갱신된 사물명칭 정보를 사용자장치 1(101)의 진행방향에 따라 안내할 수 있다는 것은 이미 설명한 바 있다. 따라서, 더 이상의 설명은 생략한다.
이에 더하여 사물정보제공장치(120)는 시각장애인으로부터 음성 명령어를 수신하여 수신한 음성 명령어를 근거로 동작을 더 수행할 수 있다. 예를 들어, 사용자장치 1(101)이 "1mm 이내에 지하철역이 있습니다"라고 안내를 했는데, 시각장애인이 사용자장치 1(101)로 "분식점이 있는지 찾아봐줘"라고 음성 명령어를 발화하면, 사물정보제공장치(120)는 DB(120a)를 검색하여 진입하는 지하철역을 조금 더 지나면 분식점이, 더 정확히 어떠한 분식점이 있는지도 안내해 줄 수 있을 것이다. 음성 인식은 사용자장치(101, 103)에서 이루어지는지 사물정보제공장치(120)에서 이루어지는지 한정하지는 않을 것이며, 마이크로폰에 의해 취득된 음성 신호를 분석하고, 분석을 통해 음성 명령어를 인식하는 것은 자명하므로 더 이상의 설명은 생략하도록 한다. 통상 분석을 통해 가령 음성 명령어에 대응하는 비트 정보를 얻고 해당 비트정보를 통해 음성 내용이 무엇인지 파악하는 방법이 사용될 수 있다.
상기의 구성결과, 가령 시각장애인들은 스마트폰이나 별도로 제작된 안경, 또는 웨어러블장치를 통해 보행 중에 주변의 사물에 대한 구체적인 명칭 정보를 제공받게 됨으로써 안정감있게 거리를 보행할 수 있으며, 또 불의의 사고도 예방할 수 있을 뿐 아니라, 대화를 통해 주변 정보를 더 얻을 수 있어 보행이 더욱 자유로워질 수 있을 것이다.
도 2는 도 1의 사물정보제공장치의 구조를 나타낸 블록다이어그램이다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 사물정보제공장치(120)는 통신 인터페이스부(200) 및 사물정보처리부(210)의 일부 또는 전부를 포함하며, 여기서 "일부 또는 전부를 포함"한다는 것은 앞서서의 의미와 동일하다.
통신 인터페이스부(200)는 사용자장치(101, 103)로부터의 서비스 요청에 따라 사용자장치(101, 103)에서 제공하는 장치정보(예: 장치식별ID, 위치정보 등) 및 촬영영상 중 적어도 하나를 수신한다. 여기서, 장치정보는 어떠한 사용자장치(101, 103)에서 서비스를 요청하였는지 판단하기 위한 일환이라 볼 수 있다. 또한, 통신 인터페이스부(200)는 기제공된 안내 정보에 대한 응답으로서 가령 시각장애인이 제공하는 음성 신호도 수신하여 사물정보처리부(210)로 제공할 수도 있을 것이다.
사물정보처리부(210)는 사용자장치 1(101)이 촬영영상을 제공하든, 사용자장치 2(103)가 촬영영상을 제공하든 수신된 촬영영상을 수신하여 단위 프레임 영상을 복수의 매크로블록 단위의 영상으로 분할할 수 있고, 분할된 매크로블록 단위의 영상을 분석할 수 있다. 가령, 객체 즉 사물을 분리하고 분리한 객체의 분석을 통해 [표 1]에서와 같이, 특징정보를 도출하고 도출한 특징정보를 도 1의 DB(120a)에 저장되어 있는 비트정보와 비교하여 서로 일치하는지 여부를 판단할 수 있다.
[표 1]
Figure 112018058464303-pat00001
그리고, 사물정보처리부(210)는 그 비트정보에 매칭되어 있는 음성 정보 및/또는 햅틱 정보를 통신 인터페이스부(200)를 통해 사용자장치(101, 103)에 제공하게 된다. 여기서, 물론 음성 정보 및/또는 햅틱 정보는 "전방에 쓰레기통이 있습니다", "전방에 지하철역이 있습니다" 및 "우측에 가로수가 있습니다"와 같이 하나의 문장으로 형성된 정보를 외부로 표출할 때 비로소 안내 정보가 된다고 볼 수 있다. 따라서, 사용자장치(101, 103)는 사용자의 안내장치가 되는 것이다.
또한, 이의 과정에서 사물정보처리부(210)는 영상분석 과정에서 사용자의 현 위치를 중심으로 사물과의 거리를 측정하여 거리 정보도 함께 제공할 수 있다. 이 거리 정보는 픽셀(R, G, B의 서브픽셀의 합)마다 거리를 지정하여 전체 거리를 계산하는 방식으로 이루어질 수 있을 것이다. 예컨대, 사선 방향에 사물이 있는 경우에는 직선 방향의 픽셀을 통해 거리(d1)를 계산한 뒤 피타고라스의 정리를 적용한 연산 등을 통해 그 거리(d2)를 정확히 측정한 후 안내할 수 있을 것이다.
나아가, 사물정보처리부(210)는 사용자가 촬영 영상에서 분석된 사물 정보 이외에 음성 명령어를 통해 촬영 영상에서 감지되지 않는 다른 정보를 요청하는 경우, 가령 "역 주변에 분식점을 찾아봐줘"라는 요청이 있는 경우에는 위치 추적과 같이 GPS 좌표정보를 더 이용하여 해당 정보를 안내할 수도 있을 것이다. 다시 말해, 사물정보처리부(210)는 해당 지역의 맵데이터를 저장할 수 있고, 그 맵데이터의 특정 지점에 분식점이 위치하면, 사용자의 현 위치와 분식점의 위치를 맵데이터 상에서 계산하여 거리를 측정하는 것이다. 이와 같이 다양한 방식으로 사물명칭 정보 이외에 사용자가 부수적으로 요구하는 명령에도 응답할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방식에 특별히 한정하지는 않을 것이다.
상기의 내용에 근거해 볼 때, 사물정보처리부(210)는 사물정보생성부와 음성인식부를 포함할 수 있다. 물론 상기의 구성은 소프트웨어 모듈로 구분되거나 하드웨어적으로 구분되어도 무관하다. 음성인식부를 통해 음성명령어가 인식되면 해당 정보를 이용하여 새로운 안내정보를 생성하고, 사물정보생성부는 음성명령어에 대한 응답으로서 생성된 안내정보를 제공해 줄 수 있을 것이다.
도 3은 도 1의 사물정보제공장치의 다른 구조를 나타낸 블록다이어그램이다.
도 3에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 사물정보제공장치(120')는 통신 인터페이스부(300), 제어부(310), 사물정보실행부(320) 및 저장부(330)의 일부 또는 전부를 포함하며, 여기서 "일부 또는 전부를 포함"한다는 것은 앞서서의 의미와 동일하다.
도 2의 사물정보제공장치(120)와 비교해 볼 때, 도 3의 사물정보제공장치(120')는 제어부(310)와 사물정보실행부(320)가 제어 기능과 사물정보생성 및 안내 등의 기능을 이원화하여 수행한다는 데에 차이가 있다고 볼 수 있다. 다시 말해, 제어부(310)는 사물정보제공장치(120')의 구성요소들에 대한 전반적인 동작을 제어하며, 사물정보실행부(320)는 가령 사용자장치(101, 103)에서 제공한 촬영 영상을 수신하여 분석하고 분석 결과를 토대로 사용자장치(101, 103)로 다시 사물명칭을 포함하는 안내정보를 제공한다고 볼 수 있다. 더 정확하게는 사물정보실행부(320)는 영상 분석을 통해 객체의 속성 정보를 생성해 낼 수 있다.
그러면, 제어부(310)는 해당 속성 정보(예: 비트정보 등)를 도 1의 DB(120a)에 저장되어 있는 비트정보와 비교하여 어떠한 사물인지를 판단하고, 판단된 사물에 매칭되어 있는 음성 정보 및/또는 햅틱 정보를 검색하여 사용자장치(101, 103)로 제공하도록 통신 인터페이스부(300)를 제어한다. 실제로는 어떠한 사물인지 판단한다기보다는 비트 정보가 일치할 때 해당 비트 정보에 매칭되어 있는 음성 정보나 햅틱 정보를 사용자장치(101, 103)로 제공한다고 보는 것이 더욱 바람직하다.
이의 과정에서, 제어부(310)는 통신 인터페이스부(300)를 통해, 도 2의 통신 인터페이스부(200)의 경우도 마찬가지지만, 촬영 영상을 수신하여 복조 및 복호화하고, 부가정보와 영상데이터를 분리하는 등의 동작을 수행하도록 통신 인터페이스부(300)를 제어할 수 있으며, 반대로 데이터를 전송시에는 변조, 인코딩, 영상데이터와 부가정보의 믹싱 등의 동작을 수행하도록 제어할 수도 있을 것이다. 이러한 동작은 통신 인터페이스부(300)에서 수행하느냐 제어부(310)에서 수행하느냐와 관련해서는 본 발명의 실시예는 어느 하나에 특별히 한정하지 않을 것이다.
저장부(330)는 제어부(310)의 요청에 따라 데이터나 부가정보 등을 저장한 후 제어부(310)의 요청이 있을 때 다시 제공해 줄 수 있다. 가령 제어부(310)가 사용자장치(101, 103)로부터 촬영 영상을 수신한 경우, 저장부(330)에 임시 저장한 후 저장한 영상 데이터를 다시 사물정보실행부(320)에 제공할 수 있을 것이다.
그 이외에 도 3의 통신 인터페이스부(300), 제어부(310) 및 사물정보실행부(320) 등과 관련한 자세한 내용은 도 2의 통신 인터페이스부(200) 및 사물정보처리부(210)와 크게 다르지 않으므로 그 내용들로 대신하고자 한다.
한편, 도 3의 제어부(310)는 본 발명의 또 다른 실시예에 따라 CPU와 메모리를 포함하도록 구성될 수 있다. 여기서 CPU는 제어회로, 레지스트리, 연산회로(ALU), 명령 해석부(예: 인터프리터, 컴파일러 등) 등을 포함할 수 있고 메모리는 램(RAM)을 포함할 수 있다. 이에 따라, CPU는 사물정보제공장치(120')의 초기 구동시 사물정보실행부(320)에 저장되어 있는 프로그램을 메모리에 복사한 후 해당 프로그램을 실행시킴으로써 본 발명의 실시예에 따른 처리 속도를 더욱 증가시킬 수 있게 된다. 이에 따라 사물정보실행부(320)는 EEPROM 등의 롬(ROM)을 포함할 수 있고, 이에 따라 프로그램의 읽기나 쓰기가 자유롭게 이루어질 수 있을 것이다.
도 4는 본 발명의 실시예에 따른 사물명칭안내과정을 나타내는 도면이다.
설명의 편의상 도 4를 도 1과 함께 참조하면, 본 발명의 실시예에 따른 사용자장치 1(101)은 서비스 요청에 따라 제1 장소의 이동시 장치 정보 및 해당 장소의 촬영 영상을 실시간으로 전송할 수 있다(S400). 여기서, 사용자장치 1(101)의 사용자는 사용자장치 2(103)의 경우도 마찬가지지만, 시각장애인일 수 있고, 일반인이어도 무관한다.
물론 본 발명의 실시예에서는 수신된 촬영 영상을 분석하여 사용자장치 1(101)로 바로 사물명칭이 포함된 안내 정보를 제공하는 것이 가능할 수 있지만, 앞서 언급한 대로 영상 분석의 처리 시간이나 통신 트래픽과 같이 다양한 상황때문에 서비스에 지연이 초래될 수 있기 때문에 이전 사용자가 제공해준 촬영 영상 등을 기준으로 생성된 안내 정보를 검색하여 사용자장치 1(101)로 제공해 줄 수 있다(S410, S420).
이를 위하여 사용자장치 1(101)은 기저장된 안내 정보를 장치 정보를 근거로 검색하여 제공하고(S420), 촬영 영상은 다음 사용자에게 제공하기 위한 갱신된 사물 정보가 있는지를 판단하기 위해 사용될 수 있다(S430). 만약 사물의 위치 변경 등의 상황이 발생하면 해당 정보를 최신 정보로 갱신할 수 있다. 다시 말해, 없는 사물에 대하여는 저장된 정보를 삭제하고, 새로이 추가된 사물에 대하여는 관련 정보를 추가하는 것이다.
또한, 사용자장치 2(103)가 제1 장소를 이동하면서 장치 정보와 촬영 영상을 제공하게 되면, 사물정보제공장치(120)는 사용자장치 1(101)에 의해 갱신된 사물의 명칭이 포함된 안내 정보를 사용자장치 2(103)로 전송할 수 있다(S440, S450).
이와 동시에 사물정보제공장치(120)는 사용자장치 2(103)로부터 수신된 촬영 영상을 근거로 해당 장소에 사물 변경이 있는지를 판단하여 사물 변경이 있다고 판단되면 저장된 안내 정보를 갱신하게 된다(S460).
사물정보제공장치(120)는 실제로 다수의 사용자장치로부터 촬영 영상을 수신할 수 있기 때문에 이의 경우에는 일정 시간을 간격으로 랜덤하게 촬영 영상을 선정하여 안내 정보의 갱신에 활용할 수 있을 것이다.
이의 과정에서 또한 사물정보제공장치(120)는 수신된 안내 정보에 대하여 사용자가 별도의 음성 명령어를 발화한 경우, 예컨대 "지하철역 주변에 분식점이 있는지 찾아봐줘"라고 발화하여 자신의 원하는 정보를 추가로 더 얻을 수 있을 것이다. 이는 물론 수신된 촬영 영상과는 직간접적으로 관계가 있다고 볼 수 있다.
또한, 앞서 언급한 대로 카메라 앵글에 들어오는 영역 이외에 갑작스럽게 발생하는 상황(예: 자전거 충돌 등)에 대비하기 위하여 딥러닝과 같은 인공지능 동작에 의해 빅데이터를 분석하여 사고를 미리 예측하여 이를 알림으로써 사고를 미연에 방지할 수 있게 될 것이다.
도 5는 본 발명의 실시예에 따른 사물정보제공장치의 구동과정을 나타내는 흐름도이다.
설명의 편의상 도 5를 도 1과 함께 참조하면, 본 발명의 실시예에 따른 사물정보제공장치(120)는 사용자장치(101, 103)에서 서비스 요청시 제공하는 사용자장치의 장치정보 또는 사용자장치에 의해 촬영된 촬영 영상을 수신한다(S500). 물론 장치 정보와 촬영 영상을 모두 수신하는 것도 가능하다. 이는 도 4에서 이미 살펴본 바 있으므로 더 이상의 설명은 생략하도록 한다.
사물정보제공장치(120)는 수신한 장치 정보 또는 촬영 영상을 근거로 사용자장치(101, 103)의 주변 사물에 대한 사물 명칭을 판단하고, 판단한 사물 명칭을 포함하는 안내 정보를 사용자장치(101, 103)로 제공한다(S510). 여기서, "사물 명칭을 판단"한다는 것은 객체 즉 사물의 속성 정보를 통해 해당 사물과 매칭되는 안내 정보를 찾는 과정이라 이해하면 좋을 것이다.
그 이외에도 사물정보제공장치(120)는 앞서 언급한 다양한 동작을 수행할 수 있으므로, 자세한 내용은 그 내용들로 대신하고자 한다.
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
101, 103: 사용자장치 110: 통신망
120, 120': 사물정보제공장치 200, 300: 통신 인터페이스부
210: 사물정보처리부 310: 제어부
320: 사물정보실행부 330: 저장부

Claims (6)

  1. 사용자장치에서 서비스 요청시 제공하는 상기 사용자장치의 장치 정보 또는 상기 사용자장치에 의해 촬영된 촬영 영상을 수신하는 통신 인터페이스부; 및
    상기 수신한 장치 정보 또는 상기 촬영 영상을 근거로 상기 사용자장치의 주변 사물에 대한 사물 명칭을 판단하고, 상기 판단한 사물 명칭이 포함되는 안내 정보를 상기 사용자장치로 제공하도록 상기 통신 인터페이스부를 제어하는 제어부;를 포함하며,
    상기 제어부는,
    제1 장소를 선행하는 제1 사용자장치로부터 수신되는 촬영 영상을 근거로 상기 주변 사물의 변경을 판단하고, 상기 판단에 따라 갱신한 안내 정보를 상기 제1 장소를 후행하는 제2 사용자장치로 제공하는 사물정보제공장치.
  2. 제1항에 있어서,
    상기 제어부는, 상기 사물 명칭을 포함하는 안내 정보를 상기 사용자장치로 음성 정보 및 햅틱 정보 중 적어도 하나의 형태로 제공하는 사물정보제공장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 제어부는, 상기 장치 정보로서 상기 사용자장치의 식별 정보 및 위치 정보 중 적어도 하나의 정보를 이용하는 사물정보제공장치.
  5. 제1항에 있어서,
    상기 제어부는, 상기 수신한 촬영 영상에서 상기 주변 사물을 구분하여 상기 구분한 주변 사물의 속성을 파악하고, 상기 파악한 속성의 속성 정보를 기저장된 사물 명칭 정보와 비교하여 상기 사물 명칭을 판단하는 사물정보제공장치.
  6. 통신 인터페이스부 및 제어부를 포함하는 사물정보제공장치로서,
    상기 통신 인터페이스부가, 사용자장치에서 서비스 요청시 제공하는 상기 사용자장치의 장치 정보 또는 상기 사용자장치에 의해 촬영된 촬영 영상을 수신하는 단계; 및
    상기 제어부가, 상기 수신한 장치 정보 또는 상기 촬영 영상을 근거로 상기 사용자장치의 주변 사물에 대한 사물 명칭을 판단하고, 상기 판단한 사물 명칭이 포함되는 안내 정보를 상기 사용자장치로 제공하도록 상기 통신 인터페이스부를 제어하는 단계;를 포함하며,
    상기 제어부는,
    제1 장소를 선행하는 제1 사용자장치로부터 수신되는 촬영 영상을 근거로 상기 주변 사물의 변경을 판단하고, 상기 판단에 따라 갱신한 안내 정보를 상기 제1 장소를 후행하는 제2 사용자장치로 제공하는 사물정보제공장치의 구동방법.
KR1020180068565A 2018-06-15 2018-06-15 사물정보제공장치 및 그 장치의 구동방법 KR102009448B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180068565A KR102009448B1 (ko) 2018-06-15 2018-06-15 사물정보제공장치 및 그 장치의 구동방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180068565A KR102009448B1 (ko) 2018-06-15 2018-06-15 사물정보제공장치 및 그 장치의 구동방법

Publications (1)

Publication Number Publication Date
KR102009448B1 true KR102009448B1 (ko) 2019-08-09

Family

ID=67613567

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180068565A KR102009448B1 (ko) 2018-06-15 2018-06-15 사물정보제공장치 및 그 장치의 구동방법

Country Status (1)

Country Link
KR (1) KR102009448B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113576854A (zh) * 2020-04-30 2021-11-02 丰田自动车株式会社 信息处理器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120088320A (ko) 2011-01-31 2012-08-08 한상진 시각장애인을 위한 사물인식 및 보행안내 장치
KR101575776B1 (ko) * 2015-05-20 2015-12-08 명도시스템(주) 시각장애인용 사물인식 지팡이
KR20160074736A (ko) 2014-12-17 2016-06-29 경북대학교 산학협력단 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법
KR20160093530A (ko) * 2015-01-29 2016-08-08 유퍼스트(주) 시각 장애인을 위한 착용형 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120088320A (ko) 2011-01-31 2012-08-08 한상진 시각장애인을 위한 사물인식 및 보행안내 장치
KR20160074736A (ko) 2014-12-17 2016-06-29 경북대학교 산학협력단 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법
KR20160093530A (ko) * 2015-01-29 2016-08-08 유퍼스트(주) 시각 장애인을 위한 착용형 장치
KR101575776B1 (ko) * 2015-05-20 2015-12-08 명도시스템(주) 시각장애인용 사물인식 지팡이

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113576854A (zh) * 2020-04-30 2021-11-02 丰田自动车株式会社 信息处理器

Similar Documents

Publication Publication Date Title
EP3502963A1 (en) Method and apparatus for providing unknown moving object detection
KR102618445B1 (ko) 도로 상황 예측 방법, 도로 상황 예측 모델을 구축하는 방법, 대응되는 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 제품
KR102652023B1 (ko) 실시간 교통 정보 제공 방법 및 장치
KR20190115040A (ko) 운전 거동 결정 방법, 디바이스, 장비 및 저장 매체
US20150186426A1 (en) Searching information using smart glasses
KR101652300B1 (ko) 웨어러블 디바이스와 마커 인식을 활용한 시각장애인용 실내 내비게이션 시스템
US20180222486A1 (en) Method and apparatus for determining a presently existing driving situation
KR20190064109A (ko) 정보 제공을 위한 시스템, 서버 및 방법
JP2014228526A (ja) 情報告知装置、情報告知システム、情報告知方法、及び、情報告知装置用プログラム
KR102155379B1 (ko) 시각 장애인을 위한 음파통신 기반 보행 안내 서비스 제공 방법, 장치 및 컴퓨터 프로그램
JP6224344B2 (ja) 情報処理装置、情報処理方法並びに情報処理システム及び情報処理プログラム
US10260899B2 (en) Navigation system and bypass route setting method
US11210951B2 (en) System and method for location data fusion and filtering
JP6857211B2 (ja) 情報処理方法およびサーバ装置
KR102009448B1 (ko) 사물정보제공장치 및 그 장치의 구동방법
JP2023099864A (ja) 経路探索装置、制御方法、プログラム及び記憶媒体
JP2019096186A (ja) 走行難易度判定装置、地図データ、走行難易度判定方法およびプログラム
KR20200071655A (ko) 교통상황 정보 제공 장치 및 방법
CN112800153A (zh) 隔离带信息的挖掘方法、装置、设备和计算机存储介质
KR101939096B1 (ko) 궤적서비스제공장치 및 그 장치의 구동방법
KR102225456B1 (ko) 로드 메이트 시스템 및 로드 메이트 서비스 제공 방법
JP2014020989A (ja) 経路案内システム、経路案内方法、および、コンピュータプログラム
JP2009092586A (ja) 駐車場検索システム及びプログラム
KR20190093963A (ko) 경로 정보 제공 방법 및 이를 위한 장치
KR101956008B1 (ko) 궤적서비스제공장치 및 그 장치의 데이터구축방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant