KR101636235B1 - Voice guide device for braille block and method for recognition of braille block - Google Patents

Voice guide device for braille block and method for recognition of braille block Download PDF

Info

Publication number
KR101636235B1
KR101636235B1 KR1020140101433A KR20140101433A KR101636235B1 KR 101636235 B1 KR101636235 B1 KR 101636235B1 KR 1020140101433 A KR1020140101433 A KR 1020140101433A KR 20140101433 A KR20140101433 A KR 20140101433A KR 101636235 B1 KR101636235 B1 KR 101636235B1
Authority
KR
South Korea
Prior art keywords
braille block
image
braille
block
subbands
Prior art date
Application number
KR1020140101433A
Other languages
Korean (ko)
Other versions
KR20160018889A (en
Inventor
양승한
송영철
박성령
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020140101433A priority Critical patent/KR101636235B1/en
Publication of KR20160018889A publication Critical patent/KR20160018889A/en
Application granted granted Critical
Publication of KR101636235B1 publication Critical patent/KR101636235B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Educational Technology (AREA)
  • Vascular Medicine (AREA)
  • Educational Administration (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 바닥면 촬영영상에서 점자블럭을 감지하여 해당 점자블럭에 대응되는 안내정보를 음성출력하도록 함으로써, 시각장애인의 보행을 보다 용이하게 해 주는 점자블럭 음성안내장치 및 촬영영상에서의 점자블럭 인식방법에 관한 것이다.
본 발명에 따른 점자블럭 음성안내장치 및 촬영영상에서의 점자블럭 인식방법은 바닥면을 촬영하기 위한 촬영수단과, 상기 촬영수단으로부터 상기 촬영수단으로부터 제공되는 바닥면 촬영영상에서 점자블럭을 인식하여 해당 점자블럭에 대응되는 안내정보를 음성출력하는 음성안내수단을 포함하여 구성되고, 상기 음성안내수단은 상기 촬영영상에 점자블럭 색상에 대응되는 대표 색상값을 기준으로 파티클 필터를 적용하여 영상에 분포된 파티클들의 위치값에 따른 점자블럭 라인을 생성함으로써 점자블럭 영역을 판단함과 더불어, 점자블럭 영역으로 판단된 영역에 방향성 필터 뱅크를 적용하여 다수의 서브밴드를 생성하되, 기 설정된 에지 기준값 이상을 갖는 서브밴드를 근거로 해당 점자블럭의 종류를 판단하는 점자분석블럭을 포함하여 구성되는 것을 특징으로 한다.
The present invention relates to a braille block voice guidance apparatus for detecting a braille block in a bottom surface photographing image and outputting guidance information corresponding to the braille block by voice, ≪ / RTI >
A method for recognizing a braille block in a braille block voice guidance apparatus and a photographed image according to the present invention comprises a photographing means for photographing a floor surface and a braille block recognizing means for recognizing a braille block in the bottom photographing image provided from the photographing means, And a voice guidance means for voice-outputting guidance information corresponding to the braille block, wherein the voice guidance means applies a particle filter to the photographed image on the basis of a representative color value corresponding to a braille block color, A directional filter bank is applied to a region determined as a braille block region to generate a plurality of subbands, and a predetermined number of subbands having a predetermined edge reference value or more And a braille analysis block for determining the type of the corresponding braille block based on the subbands And that is characterized.

Description

점자블럭 음성안내장치 및 촬영영상에서의 점자블럭 인식방법{Voice guide device for braille block and method for recognition of braille block} Technical Field [0001] The present invention relates to a braille block voice guidance apparatus and a method for recognizing braille blocks in a photographed image,

본 발명은 바닥면 촬영영상에서 점자블럭을 감지하여 해당 점자블럭에 대응되는 안내정보를 음성출력하도록 함으로써, 시각장애인의 보행을 보다 용이하게 해 주는 점자블럭 음성안내장치 및 촬영영상에서의 점자블럭 인식방법에 관한 것이다.The present invention relates to a braille block voice guidance apparatus for detecting a braille block in a bottom surface photographing image and outputting guidance information corresponding to the braille block by voice, ≪ / RTI >

일반적으로 시각장애인들은 시각적인 장애를 극복하기 위해 맹인견이나 지팡이에 의지하여 바닥면에 설치된 점자블럭을 인식함으로써, 실외로 외출을 행하게 된다.In general, visually impaired people go outdoors by recognizing a braille block installed on the floor by relying on a guide dog or a cane to overcome a visual obstacle.

상기한 점자블럭은 통상 노랑색의 판형상으로, 그 상면에 점 또는 선 형태의 돌출면, 즉 에지성분을 형성하도록 구성된다. 이때, 점자블럭은 상면의 에지성분에 따라 직진 또는 방향전환 등의 의미를 갖는다. 예컨대, 선형 점자블럭은 직진을, 점형 점자블럭은 방향전환을 의미한다.The above-mentioned braille block is generally in the form of a yellow plate, and is configured to form a pointed or line-shaped protruding surface, that is, an edge component on its upper surface. At this time, the braille block has a meaning such as a straight line change or a direction change according to the edge component of the upper surface. For example, a linear braille block means a straight line, and a pointed braille block means a direction change.

즉, 시각장애인들은 다수의 점자블럭으로 이루어진 점자블럭 유도라인을 따라 보행하되, 각 점자블럭의 에지성분을 지팡이로 여러번 접촉시키거나 또는 발바닥 느낌을 통해 인식함으로써 보행하게 된다.In other words, the blind people walk along the braille block guidance line made up of a plurality of braille blocks, and walk by walking the edge component of each braille block several times with the staff or by recognizing through the sole feel.

그러나, 시각장애인들이 지팡이나 발바닥을 통한 자신의 감각만으로 점자블럭을 인지하여 보행을 하기에는 많은 시간이 소요됨은 물론, 점자블럭상의 의미 판단에 따른 스트레스가 있게 되고, 지팡이를 이용하는 경우, 일정 시간 이상 동안 지팡이를 이용함에 따라 체력소모가 많아지게 된다.However, it takes a long time for the visually impaired to recognize the braille block by only the sensation of the user through the cane or the sole of the foot, so that it takes much time to understand the meaning on the braille block. In the case of using the stick, Using a cane increases the amount of physical power consumed.

이에, 최근에는 시각장애인의 주변을 카메라를 통해 촬영하고, 그 촬영정보를 분석하여 점자블럭에 대응되는 보행정보를 음성으로 제공해주는 장치가 제안되었다. 즉, 상기한 보행정보 음성제공장치는 점자블럭의 연속성을 근거로 유도라인을 판단하여 이에 따른 보행경로에 이에 대응되는 보행정보를 음성출력하게 된다.In recent years, a device has been proposed in which the vicinity of the visually impaired person is photographed through a camera, and analysis of the photographing information is performed to provide walking information corresponding to the braille block by voice. That is, the gait information providing apparatus judges the guidance line based on the continuity of the braille block, and outputs the gait information corresponding to the guided route.

그런데, 상기한 점자블럭은 실외의 인도 뿐 아니라 건물내의 바닥면에도 설치된다. 특히, 건물내 바닥면은 도1에 도시된 바와 같이 천정에 설치된 조명등에 의해 점자블럭 유도라인(1)과 조명등 반사라인(2)이 서로 다른 라인으로 바닥면에 형성된다. However, the braille block is installed not only on the outside of the room but also on the floor in the building. In particular, as shown in Fig. 1, the bottom surface of the building is formed by a lighting lamp installed on the ceiling, and the braille block guiding line 1 and the illuminating light reflecting line 2 are formed on the bottom surface in different lines.

따라서, 점자블럭의 연속성을 근거로 유도라인을 판단하여 보행정보를 제공함에 있어서는, 조명등 반사라인(2)을 유도라인으로 판단하여 보행정보를 잘못 안내하는 문제가 발생될 수 있다. 이는 시각장애인에게 치명적인 위험을 가져다 줄 수 있게 된다.Therefore, when determining the guidance line based on the continuity of the braille blocks and providing the walking information, it may be a problem that the illumination light reflection line 2 is judged to be a guidance line and the walking information is misdirected. This can lead to a fatal danger to the visually impaired.

또한, 상기한 문제점을 해결하기 위한 최근에는 점자블럭의 색상을 근거로 점자블럭을 인식하는 방법이 제안되어 있으나, 이는 점자블럭 고유색에 대응되는 고정 설정값을 기준으로 하기 때문에, 날씨가 흐리거나 실내 바닥면에 설치되는 등 주변 환경에 따라 촬영영상에서 분석되는 점자블럭의 고유색 변화로 인해 점자블럭을 정확하게 인식하지 못하는 문제가 있게 된다. In order to solve the above-mentioned problem, a method of recognizing a braille block based on the color of a braille block has been proposed. However, since a fixed set value corresponding to a braille block unique color is used as a reference, There is a problem that the braille block can not be accurately recognized due to the unique color change of the braille block analyzed in the shot image depending on the surrounding environment such as being installed on the floor surface.

[특허문헌][Patent Literature]

1.한국등록특허 제1294347호 (발명의 명칭 : 영상의 형태 패턴과 텍스처 특징을 이용한 보도블록의 인식방법)1. Korean Patent No. 1294347 (entitled " Method of Recognizing Press Block Using Image Pattern Pattern and Texture Feature)

2. 한국공개특허 제2011-0120626호 (발명의 명칭 : 시각장애인용 실외 장소인식 및 보행유도 시스템과 그 방법)2. Korean Patent Laid-Open No. 2011-0120626 (Title of the Invention: Outdoor Area Recognition and Walking Guidance System for the Blind and Its Method)

이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 점자블럭의 연속성 및 대표 색상을 근거로 점자블럭 영역을 판단하되, 일정 주기 단위로 점자블럭 판단을 위한 대표 색상을 이전 점자블럭으로 판단된 색상으로 업데이트하여 점자블럭영역을 판단하고, 점자블럭영역에 방향성 필터 뱅크를 적용하여 점자블럭 종류를 판단함으로써, 보다 정확한 점자블럭 인식에 따른 보행정보의 음성제공을 가능하도록 해 주는 점자블럭 음성안내장치 및 촬영영상에서의 점자블럭 인식방법을 제공함에 기술적 목적이 있다.Accordingly, the present invention has been made in view of the above circumstances, and it is an object of the present invention to provide a method and apparatus for determining a braille block area based on continuity of a braille block and a representative color, The braille block voice area is updated to determine the braille block area and the directional filter bank is applied to the braille block area to determine the type of the braille block, And a method of recognizing a braille block in a photographed image.

상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 바닥면을 촬영하기 위한 촬영수단과, 상기 촬영수단으로부터 제공되는 바닥면 촬영영상에서 점자블럭을 인식하여 해당 점자블럭 종류에 대응되는 안내메시지를 음성출력하는 음성안내수단을 포함하여 구성되고, 상기 음성안내수단은 상기 촬영영상을 촬영영상의 수평 중심선을 기준으로 하측영역의 유효영상과, 상측영역의 무효영상으로 분할한 후, 유효영상에 대해 점자블럭 색상에 대응되는 대표 색상값을 기준으로 파티클 필터를 적용하여 영상에 분포된 파티클들의 위치값에 따른 점자블럭 라인을 생성함으로써 점자블럭 영역을 판단함과 더불어, 점자블럭 영역으로 판단된 영역에 방향성 필터 뱅크를 적용하여 다수의 서브밴드를 생성하되, 기 설정된 에지 기준값 이상을 갖는 서브밴드를 근거로 해당 점자블럭의 종류를 판단하는 점자분석블럭을 포함하여 구성되는 것을 특징으로 하는 점자블럭 음성안내장치가 제공된다.According to an aspect of the present invention, there is provided an image processing apparatus including a photographing unit for photographing a bottom surface, a recognition unit for recognizing a braille block in a bottom surface photographing image provided from the photographing unit, Wherein the voice guidance means divides the photographed image into an effective image of a lower region and an invalid image of an upper region on the basis of a horizontal center line of an image to be photographed, A particle block filter is applied based on a representative color value corresponding to the braille block color to generate a braille block line corresponding to the position value of the particles distributed in the image to determine the braille block area, A directional filter bank is applied to generate a plurality of subbands, wherein subbands having a predetermined edge reference value or more The Braille blocks voice guidance device characterized in that the base comprises a Braille analysis block for judging the kind of the braille block to be provided.

또한, 상기 음성안내수단은 초기 구동시에는 기 설정된 점자블럭 고유 색상값을 대표 색상값으로하여 파티클 필터를 적용하고, 이후 일정 주기 단위로 점자블럭 영역으로 판단된 색상값을 파티클 생성기준값으로 업데이트하여 파티클 필터를 적용하도록 구성되는 것을 특징으로 하는 점자블럭 음성안내장치가 제공된다.In addition, the voice guidance unit applies a particle filter with the predetermined braille block inherent color value as a representative color value at the initial driving, updates the color value judged as a braille block area to a particle generation reference value And a particle filter is applied to the braille block voice guidance device.

또한, 상기 음성안내수단은 촬영영상의 수평 중심선을 기준으로 하측영역의 유효영상과, 상측영역의 무효영상으로 분할한 후, 유효영상에서 점자블럭 인식처리를 수행하도록 구성되는 것을 특징으로 하는 점자블럭 음성안내장치가 제공된다.The audio guidance unit is configured to perform a braille block recognition process on the valid image after dividing the valid image of the lower region and the invalid image of the upper region on the basis of the horizontal center line of the photographed image. A voice guidance apparatus is provided.

또한, 상기 음성안내수단은 상기 촬영수단으로부터 제공되는 촬영영상의 유효영상을 유효영상의 수평중심선을 기준으로 상측영상과 하측영상으로 분할하고, 상측영상과 하측영상에 파티클 필터를 적용하여 영상의 점자블럭상에 파티클을 형성하며, 파티클들에 대한 위치좌표의 평균값을 근거로 중심점을 산출한 후, 상측영상에 대해 산출된 상측 중심점과 하측영상에 대해 산출된 하측 중심점을 연결함으로써, 점자블럭 라인을 생성하는 것을 특징으로 하는 점자블럭 음성안내장치가 제공된다.The audio guidance means divides the effective image of the photographed image provided from the photographing means into an upper image and a lower image based on the horizontal center line of the effective image and applies a particle filter to the upper image and the lower image, A particle is formed on the block, a center point is calculated based on the average value of the position coordinates of the particles, and then the upper center point calculated for the upper image is connected to the lower center point calculated for the lower image, A braille block voice guidance device is provided.

또한, 상기 음성안내수단은 상측영상과 하측영상에 대해 파티클 필터를 적용함에 있어서 기 설정된 파티클 갯수에 대응되는 수의 파티클이 형성되도록 구성되는 것을 특징으로 하는 점자블럭 음성안내장치가 제공된다.In addition, the voice guidance unit may be configured to form particles corresponding to a predetermined number of particles when the particle filter is applied to the upper side image and the lower side image.

또한, 상기 음성안내수단은 점자블럭 라인 영역을 중심으로 일정 영역을 갖는 다수의 서브블럭을 설정하고, 각각의 서브블럭의 RGB 컬러를 CMY(Cyan Magenda Yellow) 컬러로 변환하여, 산출된 "Y"값이 기준값보다 큰 서브블럭이 일정 개수 이상인 경우, 점자블럭 영역으로 판단하도록 구성되는 것을 특징으로 하는 점자블럭 음성안내장치가 제공된다.The audio guidance means sets a plurality of sub-blocks having a certain area around the braille block line region, converts the RGB colors of the respective sub-blocks into CMY (Cyan Magenta Yellow) color, Block is determined to be a braille block area when a number of sub-blocks having a value greater than a reference value is greater than or equal to a predetermined number.

또한, 상기 음성안내수단은 산출된 "Y"값이 기준값보다 큰 서브블럭이 일정 개수 미만인 경우, 다수 서브블럭 중 임의 개수의 서브블럭을 선택하고, 선택된 서브블럭 영역에 대해 방향성 필터 뱅크를 적용하여 에지성분을 분석함으로써, 점자블럭 영역 여부를 판단하도록 구성되는 것을 특징으로 하는 점자블럭 음성안내 장치가 제공된다.When the calculated value of the Y-value is less than a predetermined number of sub-blocks, the voice guidance unit selects any number of sub-blocks among the plurality of sub-blocks and applies a directional filter bank to the selected sub- And determining the presence or absence of the braille block area by analyzing the edge component.

또한, 상기 음성안내수단은 점자블럭 영역으로 판단된 영역에 대해 방향성 필터 뱅크처리를 통해 서로 다른 8개 방향에 대응되는 제1 내지 제8 서브밴드로 분할하되, 상기 제1 내지 제8 서브밴드는

Figure 112014074640897-pat00001
형태로 형성되고, In addition, the audio guidance means divides the region determined as a braille block region into first through eighth subbands corresponding to eight different directions through directional filter bank processing,
Figure 112014074640897-pat00001
Lt; / RTI >

상기 음성안내수단은 상기 제2 및 제3 서브밴드의 값이 기 설정된 에지 기준값 이상인 경우 해당 점자블럭을 선형 점자블럭으로 판단하는 것을 특징으로 하는 점자블럭 음성안내장치가 제공된다.Wherein the voice guidance unit determines that the braille block is a linear braille block when the values of the second and third subbands are equal to or greater than a predetermined edge reference value.

또한, 상기 음성안내수단은 점자블럭 영역으로 판단된 영역에 대해 방향성 필터 뱅크처리를 통해 서로 다른 8개 방향에 대응되는 제1 내지 제8 서브밴드로 분할하되, 상기 제1 내지 제8 서브밴드는

Figure 112014074640897-pat00002
형태로 형성되고, 상기 음성안내수단은 상기 제6 및 제7 서브밴드의 값이 기 설정된 에지 기준값 이상인 경우 해당 점자블럭을 점형 점자블럭으로 판단하는 것을 특징으로 하는 점자블럭 음성안내장치가 제공된다.In addition, the audio guidance means divides the region determined as a braille block region into first through eighth subbands corresponding to eight different directions through directional filter bank processing,
Figure 112014074640897-pat00002
Wherein the voice guidance unit determines that the braille block is a pointed block if the value of the sixth and seventh subbands is equal to or greater than a predetermined edge reference value.

또한, 상기 음성안내수단은 상기 제6 및 제7 서브밴드의 값이 에지 기준값 이상이면서 상기 제2 및 제3 서브밴드의 값도 에지 기준값 이상인 경우 해당 점자블럭을 점형 점자블럭으로 판단하는 것을 특징으로 하는 점자블럭 음성안내장치가 제공된다.If the values of the sixth and seventh subbands are equal to or greater than the edge reference value and the values of the second and third subbands are equal to or greater than the edge reference value, the voice guidance unit determines the corresponding braille block as a pointed block. A braille block voice guidance device is provided.

또한, 상기 촬영수단과 음성안내수단은 일체로 구성되는 것을 특징으로 하는 점자블럭 음성안내장치가 제공된다.The braille block audio guidance apparatus is characterized in that the photographing means and the voice guidance means are integrally formed.

또한, 상기 촬영수단과 음성안내수단은 별개 모듈로 구성되어 무선 또는 유선을 통해 결합되어 구성되는 것을 특징으로 하는 점자블럭 음성안내장치가 제공된다.In addition, the photographing means and the voice guidance means are constituted by separate modules and are configured to be coupled through wireless or wired lines.

또한, 상기 촬영수단은 카메라를 포함하여 구성되고, 상기 카메라는 사용자의 착용물에 장착되는 형태로 구성되는 것을 특징으로 하는 점자블럭 음성안내장치가 제공된다.In addition, the photographing means may include a camera, and the camera may be mounted on a wearer's body.

또한, 상기 카메라는 사용자의 모자 또는 안경에 장착되는 것을 특징으로 하는 점자블럭 음성안내장치가 제공된다.Further, the present invention provides a braille block voice guidance apparatus characterized in that the camera is mounted on a user's hat or glasses.

또한, 상기 음성안내수단은 점자블럭 안내메시지를 음성출력하기 위한 음성출력부를 포함하여 구성되고, 상기 음성출력부는 무선 또는 유선형태의 이어폰으로 구성되는 것을 특징으로 하는 점자블럭 음성안내장치가 제공된다.In addition, the voice guidance unit may include a voice output unit for outputting a braille block guidance message, and the voice output unit may be a wireless or wired type earphone.

또한, 본 발명의 목적을 달성하기 위한 또 다른 측면에 의하면, 바닥면을 포함하는 촬영영상에서 점자블럭을 인식하기 위한 방법에 있어서, 촬영영상을 수평중심선을 기준으로 상측의 무효영상과 하측의 유효영상으로 분리하고, 유효영상에 대해 점자블럭 색상에 대응되는 파티클 생성기준값을 기준으로 파티클 필터를 적용하여 영상에 분포된 파티클들의 위치값에 따른 점자블럭 라인을 생성함으로써 점자블럭 라인을 점자블럭영역으로 판단하는 제1 단계와, 상기 제1 단계에서 점자블럭영역으로 판단된 영역에 방향성 필터 뱅크를 적용하여 방향성에 따른 다수의 서브밴드를 생성하되, 기 설정된 에지 기준값 이상인 서브밴드를 근거로 해당 점자블럭의 종류를 판단하는 제2 단계를 포함하여 구성되는 것을 특징으로 하는 촬영영상에서의 점자블럭 인식방법이 제공된다.According to another aspect of the present invention, there is provided a method for recognizing a braille block in an image including a bottom surface, the method comprising the steps of: And generates a braille block line corresponding to the positional value of the particles distributed in the image by applying a particle filter based on the particle generation reference value corresponding to the braille block color for the effective image so that the braille block line is divided into the braille block area And generating a plurality of subbands according to a direction by applying a directional filter bank to a region determined to be a braille block region in the first step, And a second step of determining a type of the braille block in the photographed image, The expression method is provided.

또한, 상기 제1 단계에서 초기에는 점자블럭 영역에 기 설정된 점자블럭 고유 색상값을 기준으로하여 파티클 필터를 적용하고, 이후 일정 주기 단위로 이전 점자블럭 영역으로 판단된 색상값을 파티클 생성기준값으로 업데이트하여 파티클 필터에 적용하도록 구성되는 것을 특징으로 하는 촬영영상에서의 점자블럭 인식방법이 제공된다.In the first step, the particle filter is applied on the basis of the braille block unique color value preliminarily set in the braille block region, and then the color value determined as the previous braille block region is updated to the particle creation reference value And a particle filter is applied to the particle filter. A method of recognizing a braille block in a photographed image is provided.

삭제delete

또한, 상기 제1 단계는 유효영상의 수평중심선을 기준으로 상측영상과 하측영상으로 분할하고, 상측영상과 하측영상에 파티클 필터를 적용하여 영상의 점자블럭상에 파티클을 형성하며, 파티클들에 대한 위치좌표의 평균값을 근거로 중심점을 산출한 후, 상측영상에 대해 산출된 상측 중심점과 하측영상에 대해 산출된 하측 중심점을 연결함으로써, 점자블럭 라인을 생성하는 것을 특징으로 하는 촬영영상에서의 점자블럭 인식방법이 제공된다.The first step may include dividing the image into an upper image and a lower image based on a horizontal center line of the effective image, applying a particle filter to the upper image and the lower image to form particles on the braille block of the image, A braille block line is generated by connecting the upper center point calculated for the upper image and the lower center point calculated for the lower image after calculating the center point based on the average value of the position coordinates, A recognition method is provided.

또한, 상기 제1 단계에서 점자블럭 라인 영역을 중심으로 일정 영역을 갖는 다수의 서브블럭을 설정하고, 각각의 서브블럭의 RGB 컬러를 CMY(Cyan Magenda Yellow) 컬러로 변환하여, 산출된 "Y"값이 기준값보다 큰 서브블럭이 일정 개수 이상인 경우, 점자블럭 영역으로 판단하는 것을 특징으로 하는 촬영영상에서의 점자블럭 인식방법이 제공된다.In the first step, a plurality of sub-blocks having a certain area centered on the braille block line region are set, and the RGB colors of the respective sub-blocks are converted into CMY (Cyan Magenta Yellow) And determining that the braille block area is a braille block area when the number of subblocks having a value larger than the reference value is greater than or equal to a predetermined number.

또한, 상기 제1 단계에서 산출된 "Y"값이 기준값보다 큰 서브블럭이 일정 개수 미만인 경우, 다수 서브블럭 중 임의 개수의 서브블럭을 선택하고, 선택된 서브블럭 영역에 대해 방향성 필터 뱅크를 적용하여 에지성분을 분석함으로써, 점자블럭 영역 여부를 판단하는 것을 특징으로 하는 촬영영상에서의 점자블럭 인식방법이 제공된다.If the number of sub-blocks having a value greater than the reference value calculated in the first step is less than a predetermined number, an arbitrary number of sub-blocks are selected from among the plurality of sub-blocks, and a directional filter bank is applied to the selected sub- And the edge component is analyzed to determine whether or not the area is a braille block area.

또한, 상기 제2 단계는 제1 단계에서 점자블럭 영역으로 판단된 영역에 대해 방향성 필터 뱅크처리를 이용하여 서로 다른 8개 방향에 대응되는 제1 내지 제8 서브밴드로 분할하되, 상기 제1 내지 제8 서브밴드는

Figure 112014074640897-pat00003
형태로 형성되고, 상기 제2 및 제3 서브밴드의 값이 기 설정된 에지 기준값 이상인 경우 해당 점자블럭을 선형 점자블럭으로 인식하는 것을 특징으로 하는 촬영영상에서의 점자블럭 인식방법이 제공된다.In the second step, the region determined as the braille block region in the first step is divided into first to eighth subbands corresponding to eight different directions using directional filter bank processing, The eighth subband
Figure 112014074640897-pat00003
And when the values of the second and third subbands are equal to or greater than a predetermined edge reference value, the braille block is recognized as a linear block of braille.

또한, 상기 제2 단계는 제1 단계에서 점자블럭 영역으로 판단된 영역에 대해 방향성 필터 뱅크처리를 이용하여 서로 다른 8개 방향에 대응되는 제1 내지 제8 서브밴드로 분할하되, 상기 제1 내지 제8 서브밴드는

Figure 112014074640897-pat00004
형태로 형성되고, 상기 제6 및 제7 서브밴드의 값이 기 설정된 에지 기준값 이상인 경우 해당 점자블럭을 점형 점자블럭으로 인식하는 것을 특징으로 하는 촬영영상에서의 점자블럭 인식방법이 제공된다.In the second step, the region determined as the braille block region in the first step is divided into first to eighth subbands corresponding to eight different directions using directional filter bank processing, The eighth subband
Figure 112014074640897-pat00004
And the braille block is recognized as a pointed block if the values of the sixth and seventh subbands are equal to or greater than a predetermined edge reference value.

또한, 상기 제2 단계에서 상기 제6 및 제7 서브밴드의 값이 에지 기준값 이상이면서 상기 제2 및 제3 서브밴드의 값도 에지 기준값 이상인 경우 해당 점자블럭을 점형 점자블럭으로 인식하는 것을 특징으로 하는 촬영영상에서의 점자블럭 인식방법이 제공된다.If the values of the sixth and seventh subbands are equal to or greater than the edge reference value and the values of the second and third subbands are equal to or greater than the edge reference value in the second step, the corresponding braille block is recognized as a pointed braille block. A method of recognizing a braille block in a photographed image is provided.

본 발명에 의하면 바닥면 촬영영상에서 점자블럭의 대표 색상을 근거로 점자블럭영역을 판단하되, 일정 주기 단위로 점자블럭 영역을 판단하기 위한 기준 색상을 업데이트시켜 주변 환경변화에 적응적으로 점자블럭을 인식하도록 함으로써, 사용자에게 보다 향상된 신뢰성을 갖는 보행안내 서비스를 제공하는 것이 가능하게 된다.According to the present invention, a braille block area is determined based on a representative color of a braille block in a bottom surface photographing image, and a reference color for determining a braille block area is updated in a predetermined period unit, It is possible to provide a walking guidance service with improved reliability to the user.

또한, 본 발명에 의하면 실내 바닥면에 일정 거리 이격되게 반사 출력되는 조명등을 점자블럭으로 오인하는 문제를 해결하여 보다 안전한 보행안내 서비스를 제공하는 것이 가능하게 된다. In addition, according to the present invention, it is possible to provide a safer walking guidance service by solving the problem of misinterpreting the illumination light reflected and reflected from the floor surface of the room to a braille block.

도1은 조명등 반사라인과 점자블럭 유도라인이 포함된 실내 바닥면 촬영영상을 예시한 도면.
도2는 본 발명의 제1 실시예에 따른 점자블럭 음성안내장치의 구성을 개략적으로 도시한 도면.
도3은 도2에 도시된 음성안내장치의 설치상태를 예시한 도면.
도4는 도2에 도시된 제어부(230)의 점자블럭 음성안내처리과정을 설명하기 위한 도면.
도5는 도4에 도시된 점자라인 판단처리(232) 과정에서의 파티클 필터를 통한 점자라인 추출과정을 설명하기 위한 도면.
도6은 도4에 도시된 점자영역 확인처리(233) 과정에서의 CMY 컬러변환을 통한 점자영역 확인과정을 설명하기 위한 도면.
도7은 도4에 도시된 점자 분석처리(234) 과정에서의 방향성 필터 뱅크를 통한 점자블럭 종류 분석과정을 설명하기 위한 도면.
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a view illustrating an indoor floor image including an illuminating light reflection line and a braille block guidance line. FIG.
2 is a view schematically showing a configuration of a braille block voice guidance device according to a first embodiment of the present invention.
3 is a diagram illustrating an installation state of the voice guidance apparatus shown in FIG. 2;
FIG. 4 is a diagram for explaining a braille block audio guidance process of the controller 230 shown in FIG. 2. FIG.
5 is a diagram for explaining a process of extracting a braille line through a particle filter in the braille line determination process 232 shown in FIG.
FIG. 6 is a diagram for explaining a process of checking a braille area through CMY color conversion in the braille area confirmation process 233 shown in FIG. 4. FIG.
FIG. 7 is a diagram for explaining a process of analyzing a braille block type through a directional filter bank in the braille analysis process 234 shown in FIG. 4; FIG.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다.Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도2는 본 발명의 제1 실시예에 따른 점자블럭 음성안내장치의 개략적인 구성을 나타낸 도면이다.FIG. 2 is a view showing a schematic configuration of a braille block voice guidance device according to a first embodiment of the present invention.

도2에 도시된 바와 같이 본 발명에 따른 점자블럭 음성안내장치는 바닥면을 촬영하기 위한 촬영수단(100)과, 이 촬영수단(100)으로부터 제공되는 촬영영상에서 점자블럭을 인식하여 해당 점자블럭에 대응되는 안내정보를 음성출력하는 음성안내수단(200) 및 전원수단(300)을 포함하여 구성된다.2, the braille block audio guidance apparatus according to the present invention includes a photographing means 100 for photographing a floor surface, a recognition unit 120 for recognizing a braille block in the photographed image provided from the photographing means 100, And a power supply means 300 for outputting voice guidance information corresponding to the voice guidance information.

여기서, 상기 촬영수단(100)과 음성안내수단(200) 및 전원수단(300)은 일체형으로 구성되거나 또는 전원수단(300)이 음성안내수단(200)과 하나의 모듈로 구성되고, 촬영수단(100)은 분리된 별개 모듈형태로 구성될 수 있다. 이때, 상기 촬영수단(100)과 음성안내수단(200)/전원수단(300)이 분리된 형태로 구성되는 경우, 촬영수단(100)과 음성안내수단(200)/전원수단(300)은 유선 또는 무선으로 상호 결합될 수 있다. 예컨대, 상기 촬영수단(100)은 모자나 안경 등에 장착되고, 음성안내수단(200)은 사용자가 착용한 의복의 주머니속에 수납되어질 수 있다.Here, the photographing means 100, the voice guidance means 200 and the power source means 300 may be integrally formed or the power source means 300 may be composed of a voice guidance means 200 and one module, 100 may be configured in a separate, separate module form. In this case, when the photographing means 100 and the voice guidance means 200 / power source means 300 are separated from each other, the photographing means 100 and the voice guidance means 200 / Or wirelessly. For example, the photographing means 100 may be mounted on a hat or glasses, and the voice guidance means 200 may be housed in a pocket of a garment worn by a user.

즉, 상기 점자블럭 음성안내장치는 도3에 도시된 바와 같이 사용자, 예컨대 시각장애인이 착용하는 모자나 안경 등의 착용물(101)에 장착되어 사용되어질 수 있다. 이때, 상기 점자블럭 음성안내장치는 모자나 안경 등의 착용물(101)에 탈부착이 가능한 형태로 결합될 수 있으며, 그 결합방법은 착용물(101)의 소재 등에 따라 다양한 형태의 결합부재를 통해 이루어질 수 있음은 물론이다. That is, the braille block voice guidance apparatus can be used by being worn by a wearer 101 such as a hat or glasses worn by a user, for example, a visually impaired person, as shown in FIG. At this time, the braille block voice guiding apparatus can be detachably attached to the wearing object 101 such as a hat or a pair of glasses. Of course.

이때, 상기 촬영수단(100)은 바닥면을 촬영하기 위한 카메라를 포함하여 구성된다. 또한, 상기 촬영수단(100)은 도3에 도시된 바와 같이 특정 착용물(101)에 결합된 형태로 배치되는 바, 촬영수단(100)이 착용물에 결합된 상태에서 카메라가 바닥면을 촬영될 수 있도록 카메라의 촬영각도가 적절하게 설정되는 것이 바람직하다. 이때, 도시되지는 않았지만 상기 촬영수단(100)은 카메라의 촬영각도를 검출하기 위한 센서 및, 상기 음성안내수단(200)으로부터 제공되는 제어신호를 근거로 카메라의 촬영각도를 조절하기 위한 각도조절부재를 추가로 포함하여 구성되는 것이 가능하다. At this time, the photographing means 100 includes a camera for photographing a floor surface. 3, the photographing means 100 is arranged in a state of being coupled to the specific wearing material 101, and in a state where the photographing means 100 is coupled to the wearing material, It is preferable that the photographing angle of the camera is appropriately set. Although not shown, the photographing means 100 includes a sensor for detecting the photographing angle of the camera, and an angle adjusting member (not shown) for adjusting the photographing angle of the camera based on the control signal provided from the voice guiding means 200. [ As shown in Fig.

또한, 상기 전원수단(300)은 상기 촬영수단(100) 및 음성안내수단(200)을 동작시키기 위한 공급전원(Vcc)을 제공한다. 이때, 상기 전원수단(300)은 휴대 가능한 배터리 형태로 구성되는 것이 바람직하다.The power supply means 300 provides a power supply Vcc for operating the photographing means 100 and the voice guidance means 200. At this time, it is preferable that the power source means 300 is configured as a portable battery.

한편, 상기 음성안내수단(200)은 도2에 도시된 바와 같이, 음성출력부(210)와, 데이터메모리(220), 제어부(230) 및, 정보입력부(240)를 포함하여 구성된다.2, the voice guidance unit 200 includes an audio output unit 210, a data memory 220, a control unit 230, and an information input unit 240. [

상기 음성출력부(210)는 점자블럭에 대응되는 안내정보를 음성으로 출력하기 위한 것으로, 예컨대 스피커 또는 이어폰 등으로 구성될 수 있다. 이때, 상기 음성출력부(210)는 사용자가 안내음성을 보다 명확하게 청취할 수 있도록 하기 위해 상기 제어부(230)와 무선 또는 유선으로 결합되어 일정 거리 이격되게 배치될 수 있다. 예컨대, 사용자는 유선 또는 무선 이어폰을 자신의 귀에 꽂은 상태로 용이하게 점자블럭 안내음성을 청취할 수 있게 된다. 이는 대로변 소음으로 인해 사용자가 안내음성을 정확하게 청취하지 못하게 되는 문제를 해결할 수 있다. The voice output unit 210 is for outputting voice guidance information corresponding to the braille block, and may be composed of, for example, a speaker or an earphone. The voice output unit 210 may be connected to the controller 230 in a wireless or wired manner and spaced apart from the controller 230 so that the user can more clearly hear the announcement voice. For example, the user can easily listen to the braille block guidance voice while wired or wireless earphone is plugged into the ear. This can solve the problem that the user can not correctly hear the announcement voice due to the roadside noise.

상기 데이터메모리(220)는 점자블럭 음성안내 관련 각종 정보가 저장된다. 상기 데이터메모리(220)는 점자블럭에 대응되는 음성안내메시지와, 점자블럭 인식을 위한 기준 설정값 및, 상기 제어부(230)에서 처리되는 각종 처리정보를 포함하는 정보가 저장된다. 여기서, 기준 설정값정보는 파티클 필터에 적용되는 파티클 생성기준값 및 파티클 갯수, 점자블럭 영역 판단을 위한 "Y" 기준값, 점자블럭 종류 판단을 위한 서브밴드 기준값을 포함한다. 또한, 상기 제어부(230)의 처리정보는 현재 볼륨레벨과, 온/오프 구동상태정보를 포함할 수 있다. The data memory 220 stores various information related to braille block voice guidance. The data memory 220 stores information including a voice guidance message corresponding to the braille block, a reference setting value for recognizing the braille block, and various processing information processed by the controller 230. Here, the reference set value information includes a particle creation reference value and particle number applied to the particle filter, a "Y" reference value for determining a braille block area, and a subband reference value for determining a braille block type. In addition, the processing information of the controller 230 may include current volume level and on / off driving status information.

상기 제어부(230)는 사용자가 외출을 하면서 정보입력부(240)를 통해 구동요구를 하게 되면, 이를 근거로 전원수단(300)을 제어하여 공급전원을 각 장치로 제공하도록 함과 더불어, 상기 촬영수단(100)으로부터 제공되는 촬영영상에서 점자블럭을 인식하여, 상기 데이터메모리(220)에서 해당 점자블럭 종류에 대응되는 안내메시지를 독출하여 상기 음성출력부(210)를 통해 음성출력하도록 제어한다. When the user makes a request for driving through the information input unit 240 while the user goes out, the control unit 230 controls the power source unit 300 to provide the power source to each device, Recognizes the braille block in the photographed image provided from the image memory 100 and controls the data memory 220 to read the guidance message corresponding to the braille block type and output the voice message through the voice output unit 210.

상기 정보입력부(240)는 점자블럭 음성안내장치의 환경 설정정보를 입력하기 위한 것으로, 예컨대, 사용자가 상기 음성출력부(210)의 볼륨레벨을 업/다운(UP/DOWN) 하거나, 온/오프(ON/OFF) 키를 이용하여 동작상태를 설정할 수 있도록 구성된다. The information input unit 240 is for inputting environment setting information of the braille block audio guidance apparatus. For example, when the user sets the volume level of the audio output unit 210 up / down (UP / DOWN) (ON / OFF) key to set the operation state.

도4는 도2에 도시된 제어부(230)의 점자블럭 음성안내처리 과정을 도시한 도면이다. 이때, 상기 제어부(230)는 촬영영상에서 점자블럭을 인식하고, 그 점자블럭 인식결과에 대응되도록 음성안내처리를 수행하게 된다.4 is a diagram illustrating a braille block audio guidance process of the controller 230 shown in FIG. At this time, the controller 230 recognizes a braille block in the photographed image and performs a voice guidance process so as to correspond to the braille block recognition result.

도4에 도시된 바와 같이 제어부(230)는 촬영영상 분할처리(231)와, 점자라인 판단처리(232), 점자영역 확인처리(233), 점자 분석처리(234) 및 음성안내처리(235)를 수행한다.4, the control unit 230 includes a photographed image dividing process 231, a braille line determination process 232, a braille area confirmation process 233, a braille analysis process 234, and a voice guidance process 235, .

1. 촬영영상 분할처리(231)1. Photographed image dividing processing (231)

제어부(230)는 상기 촬영수단(100)으로부터 제공되는 촬영영상을 먼저 유효 영상과 무효 영상으로 분할한다. 이때, 유효영상은 촬영영상의 수평 중심선(미도시)을 기준으로 하측영역이고, 무효영상은 촬영영상의 수평 중심선을 기준으로 상측영역으로 설정된다. 이는 본 발명은 사용자, 예컨대 시각장애인과 근접한 위치에 대한 정보의 제공이 우선하므로, 이를 고려하여 촬영영상의 상측영상을 무효 영상으로 분리하여 이후의 영상처리를 수행하지 않도록 함으로써, 신호처리 속도를 보다 향상시킬 수 있다. The control unit 230 first divides the photographed image provided from the photographing means 100 into an effective image and an invalid image. At this time, the effective image is the lower region based on the horizontal center line (not shown) of the photographed image, and the invalid image is set to the upper region based on the horizontal center line of the photographed image. This is because, in the present invention, provision of information about a position close to a user, for example, a blind person, is prioritized, so that the upper side image of the photographed image is separated into the invalid image to avoid the subsequent image processing, Can be improved.

이어, 제어부(230)는 상기 촬영영상의 하측영역에 해당하는 유효영상을 해당 유효영상의 수평 중심선(미도시)을 기준으로 상/하로 분할하여 상측영상(UP)과 하측영상(LP)으로 분할한다. 이하에서 제어부(230)는 유효영상에 대해 점자블럭 인식처리 및 점자블럭 인식에 따른 음성안내처리를 수행하게 된다.Then, the control unit 230 divides the effective image corresponding to the lower region of the captured image into upper and lower images UP and LP by dividing the effective image into upper and lower regions based on the horizontal center line (not shown) do. Hereinafter, the controller 230 performs a braille block recognition process on the valid image and a voice guidance process based on the braille block recognition.

한편, 상기 제어부(230)는 상기 촬영영상의 무효영상에서 예컨대, 이전 영상과의 비교를 통해 움직임 등이 검출되는 경우, 이를 근거로 사람이 있음을 판단하여 이에 대한 안내정보를 음성출력하도록 구성하는 것도 가능하다. 예컨대, 제어부(230)는 촬영영상의 무효영상에서 사람이 감지되었다고 판단되는 경우, "전면에 사람이 있습니다" 라는 안내메시지를 음성출력할 수 있다. On the other hand, when the controller 230 detects motion or the like through comparison with a previous image in the invalid image of the photographed image, the control unit 230 determines that there is a person based on the motion, It is also possible. For example, when the control unit 230 determines that a person is detected from the invalid image of the photographed image, the control unit 230 can output a voice message of "There is a person in front ".

2. 점자라인 판단처리(232)2. Braille line determination processing (232)

제어부(230)는 도5에 도시된 바와 같이 분할된 촬영영상에 파티클 필터(Particle Filter)를 적용하고, 이로 인해 생성된 파티클의 분포를 근거로 상기 상측영상(UP)과 하측영상(LP)에서 점자블럭 유도라인(BL)의 각 중심점(CU,CL)을 산출하며, 이 중심점(CU,CL)을 연결함으로써, 점자블럭이 형성된 영역에 대응되도록 점자라인(L)을 생성한다. 즉, 상기 제어부(230)은 점자블럭 유도라인(BL)상에 점자라인(L)을 생성함으로써, 점자블럭 영역을 1차적으로 판단하게 된다.5, the controller 230 applies a particle filter to the divided photographed images, and calculates a difference between the upper image UP and the lower image LP based on the distribution of the generated particles The center points CU and CL of the braille block lead lines BL are calculated and the center points CU and CL are connected to generate the braille lines L so as to correspond to the regions where the braille blocks are formed. That is, the controller 230 firstly determines the braille block area by generating the braille line L on the braille block guide line BL.

이때, 상측영상(UP)과 하측영상(LP)에 파티클 필터 적용을 위한 파티클 생성기준값과 파티클 갯수는 미리 설정된다. 상기 파티클 생성기준값은 점자블럭의 고유색상 예컨대, 노랑색에 대응되는 값으로 설정될 수 있다.  At this time, the particle generation reference value and the number of particles for applying the particle filter to the upper image UP and the lower image LP are set in advance. The particle generation reference value may be set to a value corresponding to an intrinsic color of the braille block, for example, yellow.

즉, 상측영상(UP)과 하측영상(LP)에 파티클 필터를 적용하게 되면 도5에 도시된 바와 같이, 대표 색상값을 갖는 위치, 즉, 점자블럭 유도라인(BL)상에 다수의 파티클(P)이 기 설정된 파티클 갯수만큼 형성된다. 그리고, 제어부(230)는 상측영상(UP)과 하측영상(LP)에서 파티클(P)들의 위치좌표에 대한 평균값을 근거로 중심점(CU,CL)을 산출하여 점자라인(L)을 생성한다. That is, when a particle filter is applied to the upper image UP and the lower image LP, as shown in FIG. 5, the particles having a representative color value, that is, a plurality of particles P are formed by the number of predetermined particles. The control unit 230 calculates the center point CU and CL based on the average value of the position coordinates of the particles P in the upper image UP and the lower image LP to generate the braille line L. [

또한, 상기 제어부(230)는 상측영상(UP)과 하측영상(LP)에 대해 파티클이 넓은 범위로 분산되어 생성되거나, 파티클이 일정 수 이하로 생성되는 등의 이유로 각 중심점이 산출되지 않는 경우, 하측영상(LP)에서의 하측 중심점(DC)이 산출되는지를 다시 확인하고, 하측 중심점(DC)이 산출된 경우에는 "현재 인도상에 있습니다" 라는 음성메시지를 음성출력부(210)를 통해 음성출력하고, 하측 중심점(DC)이 산출되지 않은 경우에는 "인식할 수 없습니다"라는 안내메시지를 음성출력부(210)를 통해 음성출력한다. If the center point is not calculated because the particles are dispersed over a wide range with respect to the upper image UP and the lower image LP or particles are generated under a certain number, It is checked again whether the lower center point DC of the lower image LP is calculated. When the lower center point DC is calculated, the voice message of " When the lower center point DC is not calculated, the voice output unit 210 outputs a voice message of "Unrecognizable" through the voice output unit 210.

또한, 상기 제어부(230)는 초기에는 기등록된 점자블럭 고유색상값, 예컨대 노랑색에 대응되는 파티클 생성기준값을 근거로 파티클 필터를 적용하고, 이후 일정 주기, 예컨대 1분 단위로 파티클 생성기준값을 업데이트하여 업데이트 된 대표색상값을 근거로 파티클 필터를 적용하게 된다. 이는, 상기 업데이트 되는 파티클 생성기준값이 사용자의 현재 위치나 기상 등의 주변 환경에 의해 동일한 고유색상의 점자블럭이라도 그 고유색상의 명도 및 채도에 의한 수치값이 달라지는 것을 고려하여 최대한 주변 환경 변화에 적응적으로 점자블럭 영역을 판단하기 위함이다. 이는 또한, 점자블럭의 고유색상과는 현저한 수치값의 차이를 갖는 조명등의 반사라인을 차단시키는 효과도 있게 된다.The controller 230 initially applies a particle filter based on a particle generation reference value corresponding to a previously registered braille block unique color value, for example, a yellow color, and then updates a particle generation reference value in a predetermined cycle, for example, And the particle filter is applied based on the updated representative color value. This is because, even if the updated particle generation reference value is a braille block of the same color by the surrounding environment such as the user's current position or weather, it is possible to adapt to the change of the surrounding environment as much as possible considering that the numerical value by the brightness and chroma of the intrinsic color is changed. This is to determine the braille block area. This also has the effect of blocking the reflection line of the illumination lamp having a difference between the inherent color of the braille block and a remarkable numerical value.

3. 점자영역 확인처리(233) 3. Braille area confirmation processing (233)

제어부(230)는 도6a에 도시된 바와 같이 점자블럭 유도라인(BL)상에 생성된 점자라인(L, 미도시) 중심으로 일정 영역을 갖는 다수의 서브블럭(SB)을 설정하고, 각 서브블럭(SB)의 컬러를 근거로 점자블럭 영역을 2차적으로 확인한다. 이때, 점자영역 확인처리는 점자블럭 영역을 추가적으로 확인하는 처리로서, 상술한 점자라인 판단처리(232) 이후 선택적으로 수행하는 것이 가능하다. The controller 230 sets a plurality of subblocks SB having a certain area centered on a braille line L (not shown) formed on the braille block guide line BL as shown in FIG. 6A, And secondarily confirms the braille block area based on the color of the block SB. At this time, the braille area confirmation process is a process of additionally confirming the braille block area, and it can be selectively performed after the braille line determination process 232 described above.

또한, 상기 제어부(230)는 각 서브블럭(SB)의 "RGB" 컬러를 CMY(Cyan Magenda Yellow) 컬러변환 알고리즘을 통해 "CMY" 컬러로 변환하여 각 서브블럭(SB)에 대한 "Y(Yellow)" 값을 구하고, 일정 수 이상의 서브블럭(SB)에 대한 "Y" 값이 기 설정된 기준값 이상인 경우 해당 영역을 점자블럭 영역으로 판단한다. 이때, 상기 제어부(230)는 점자블럭 영역으로 판단된 상기 서브블럭(SB)의 "RGB"값을 업데이트 파티클 생성기준값으로 제공할 수 있다. In addition, the controller 230 converts the RGB color of each sub-block SB into a CMY color through a CMY (Cyan Magenta Yellow) color conversion algorithm and outputs "Y (Yellow ), And when the value of "Y" for a predetermined number of subblocks (SB) is equal to or greater than a preset reference value, the area is determined as a braille block area. At this time, the controller 230 may provide the 'RGB' value of the sub-block SB determined as the braille block area as the update particle generation reference value.

또한, 상기 제어부(230)는 "Y" 값이 기 설정된 기준값 이상인 서브블럭(SB)의 수가 일정 수 미만이라고 판단되는 경우, 다수 서브블럭(SB) 중 임의 서브블럭(SB), 보다 상세하게는 하측영상(LP)에 설정된 서브블럭(SB)을 선택하고, 선택된 서브블럭(SB)에 이후 설명할 방향성 필터 뱅크를 적용함으로써, 변환된 서브밴드 값을 근거로 현재 사용자가 점자블럭상에 위치하는지를 판단한다. 예컨대, 상기 제어부(230)는 하측영상(LP)에 설정된 10개의 서브블럭(SB) 중 3,6,9번째에 해당하는 3개 서브블럭(SB)에 대한 방향성 필터 뱅크를 적용하여 점자블럭의 에지성분을 분석함으로써, 점자블럭 영역여부를 판단한다. 이때, 선택된 서브블럭(SB) 중 에지성분 분석결과 해당 영역이 점자블럭 영역이 아니라고 판단되면, "인식할 수 없습니다"라는 안내메시지를 음성출력한다. 한편, 상기 선택된 서브블럭(SB) 중 적어도 하나 이상의 서브블럭(SB)의 에지성분 분석결과 해당 영역이 점자블럭 영역으로 판단되면, 제어부(230)는 현재 사용자가 점자블럭상에 있다고 판단한다. 이는 사용자가 점자블럭이 끝나는 위치에 서 있어 전체 서브블럭(SB)의 "Y" 합산값은 기준값 미만이더라도 현재 위치는 서브블럭상에 있음을 인식할 수 있도록 하기 위함이다. 또한, 이는 실내 조명등으로 인해 촬영영상에서 점자블럭의 색상이 변화됨으로 인해 서브블럭(SB) "Y" 합산값이 기준값 미만으로 산출될 수 있는 바, 방향성 필터 뱅크 적용을 통한 에지성분 분석을 수행하여 다시 한번 현재 영역이 점자블럭 영역인지를 확인함으로써, 점자블럭 인식에 따른 오차를 최소화하기 위함이다. If it is determined that the number of subblocks SB having a value of Y equal to or greater than the preset reference value is less than a predetermined number, the controller 230 controls the subblocks SB among the multiple subblocks SB, The subblock SB set in the lower image LP is selected and a directional filter bank to be described later is applied to the selected subblock SB to determine whether the current user is located on the braille block based on the converted subband value . For example, the controller 230 applies a directional filter bank to three sub-blocks SB corresponding to the third, sixth and ninth sub-blocks SB among the ten sub-blocks SB set to the lower image LP, By analyzing the edge component, it is judged whether or not it is a braille block area. At this time, if it is determined that the corresponding area is not the braille block area as a result of the edge component analysis among the selected sub-blocks SB, a voice message "Unrecognizable" On the other hand, if it is determined that the corresponding area is a braille block area as a result of edge component analysis of at least one sub-block SB among the selected sub-blocks SB, the controller 230 determines that the current user is on the braille block. This is to allow the user to recognize that the current position is on the sub-block even though the "Y" sum value of the entire sub-block (SB) is below the reference value because the user is at the end of the braille block. In addition, since the color of the braille block changes in the photographed image due to the indoor illumination, the sum value of the sub-block SB can be calculated to be less than the reference value, and the edge component analysis is performed through application of the directional filter bank It is again confirmed that the current area is the braille block area, thereby minimizing the error due to the braille block recognition.

상기 도6b는 CMY(Cyan Magenda Yellow) 컬러변환 알고리즘을 이용하여 점자블럭 영역으로 판단된 "Y" 이미지 변환상태를 예시한 도면이다.6B is a diagram illustrating a "Y" image conversion state determined to be a braille block area using a CMY (Cyan Magenta Yellow) color conversion algorithm.

4. 점자 분석처리(234) 4. Braille analysis processing (234)

상기 제어부(230)는 점자라인 판단처리(232) 또는 점자영역 확인처리(233) 에 의해 점자블럭 영역으로 판단된 영역, 보다 상세하게는 하측영상(LP)에 설정된 점자블럭 영역에 대해 방향성 필터 뱅크(DFB, Directional Filter Bank)를 이용하여 해당 점자블럭의 에지성분을 판단함으로써, 점자블럭 종류를 분석한다. The controller 230 controls the directional filter bank 240 to be set to a region determined to be a braille block region by the braille line determination process 232 or the braille region confirmation process 233 and more specifically to a braille block region set to the lower image LP. (DFB, Directional Filter Bank) to determine the edge component of the corresponding braille block, thereby analyzing the type of braille block.

상기 방향성 필터 뱅크는 입력 영상을 여러개의 방향별 영상대역으로 효율적으로 분해해주는 필터 뱅크로서, 방향성 필터 뱅크를 통해 생성되는 영상의 서브밴드는 도7에 도시된 바와 같은 형태로 형성된다. 여기서, 상기 방향성 필터 뱅크를 통한 영상분석처리시 도7a과 같은 형태의 서브밴드를 생성하는 기술은 공지의 기술이므로 그 상세한 설명은 생략한다.The directional filter bank is a filter bank for efficiently decomposing an input image into image bands for a plurality of directions, and a subband of an image generated through the directional filter bank is formed as shown in FIG. Here, in the image analysis processing through the directional filter bank, a technique of generating a subband of the type as shown in FIG. 7A is a well-known technique, and a detailed description thereof will be omitted.

즉, 점자블럭 영역은 방향성 필터 뱅크를 적용하는 경우 서로 다른 8개 방향에 대응되는 제1 내지 제8 서브밴드로 분할되되, 도7a에 도시된 바와 같이, 그 방향성에 따라 가로 중심선을 기준으로 상측은 "+"로 분할되어 가로로 긴 형태의 제1 내지 제4 서브밴드(1,2,3,4)가 배치되고, 하측은 세로로 긴 형태의 제5 내지 제8 서브밴드(5,6,7,8)가 배치된다. 한편, 일반적으로 점자블럭은 선형(Line Type) 블럭과, 점형(Point Type) 블럭으로 구분되고, 본 발명자가 실험한 결과 도7b에 도시된 바와 같이 선형 블럭은 도7a의 서브밴드영역에서 수직방향 성분의 크기를 대표하는 제2 및 제3 서브밴드의 값이 기 설정된 에지 기준값보다 높게 나타되고, 점형 블럭은 도7a의 서브밴드영역에서 수평방향 성분의 크기를 대표하는 제6 및 제7 서브밴드의 값이 기 설정된 에지 기준값보다 높게 나타나는 특성을 갖는 바, 상기 제어부(230)는 제2 및 제3 서브밴드값이 에지 기준값 이상인 점자블럭 영역에 대해서는 해당 점자블럭을 선형 점자블럭으로 판단하고, 제6 및 제7 서브밴드값이 에지 기준값 이상인 점자블럭 영역에 대해서는 해당 점자블럭을 점형 점자블럭으로 판단한다. That is, when the directional filter bank is applied, the braille block area is divided into first to eighth subbands corresponding to eight different directions, and as shown in FIG. 7A, The first through fourth subbands 1, 2, 3 and 4 are arranged in a transversely long shape and the lower side is divided into fifth through eighth subbands 5, 6 , 7, 8) are disposed. In general, the braille block is divided into a line type block and a point type block. As a result of experiments by the present inventors, as shown in FIG. 7B, a linear block has a vertical direction in the sub- The values of the second and third subbands representing the magnitude of the component are higher than the predetermined edge reference value, and the dotted block is the sixth and seventh subbands representing the magnitude of the horizontal component in the subband region of FIG. The controller 230 determines that the corresponding braille block is a linear block in the braille block area where the second and third subband values are equal to or greater than the edge reference value, 6 and the seventh sub-band value is equal to or greater than the edge reference value, the corresponding braille block is determined to be a pointed block.

여기서, 상기 점형 점자블럭은 점형 특성상 여러 방향의 성분이 다양하게 크게 나타날 수 있으나, 제6 및 제7 서브밴드값은 환경이 변하는 조건하에서도 거의 변화되지 않고 크게 나타나므로 점형 점자블럭의 판단기준으로 설정하였다. 즉, 상기 제어부(230)는 제6 및 제7 서브밴드값이 에지 기준값 이상이면서 제2 및 제3 서브밴드값도 에지 기준값 이상인 경우 해당 점자블럭을 점형 점자블럭으로 판단한다.Here, since the pointed braille block has a variety of components in various directions due to its point characteristic, the sixth and seventh sub-band values are largely unchanged even under changing conditions, Respectively. That is, when the sixth and seventh subband values are greater than or equal to the edge reference value and the second and third subband values are greater than or equal to the edge reference value, the controller 230 determines the corresponding braille block as a pointed block.

5. 음성안내처리(235) 5. Voice guidance processing (235)

상기 제어부(230)는 상기 점자 분석처리(234)에 의해 판단된 점자블럭 종류에 대응되는 안내메시지를 음성출력부(210)를 통해 출력한다. 예컨대, 상기 제어부(230)는 선형 점자블럭에 대해서는 "직진 하십시오"라는 음성메시지를 출력하고, 점형 점자블럭에 대해서는 "분기점 입니다. 방향을 선택하십시오" 라는 안내메시지를 음성출력하도록 제어한다. 이때, 상기 제어부(230)는 기 설정된 볼륨레벨에 대응되는 레벨로 안내메시지를 음성출력하도록 제어한다.The control unit 230 outputs a guidance message corresponding to the braille block type determined by the braille analysis process 234 through the voice output unit 210. [ For example, the control unit 230 outputs a voice message "Go Straight" for the linear braille block, and controls to output the announcement message "Please select a direction. At this time, the controller 230 controls to output a voice message to a level corresponding to a predetermined volume level.

즉, 상기 실시예에 의하면, 촬영영상에서 파티클 필터를 이용하여 점자블럭 라인을 생성하여 1차적으로 점자블럭 영역을 판단하고, 점자블럭 라인 중심으로 일정 영역을 갖는 다수의 설정하여 각각의 설정된 서브블럭을 CMY 컬러변환하여 그 "Y"값을 근거로 추가적으로 점자블럭영역을 판단하며, 점자블럭영역으로 판단된 서브블럭에 방향성 필터 뱅크를 적용하여 해당 점자블럭의 종류를 판단하도록 함으로써, 촬영영상으로부터 보다 정확한 점자블럭의 인식을 수행하여 사용자에게 안전한 보행안내 서비스를 제공하는 것이 가능하게 된다.That is, according to the embodiment, a braille block line is generated by using a particle filter in the photographed image to primarily determine a braille block area, and a plurality of sets having a certain area centered on the braille block line are set, And a directional filter bank is applied to the sub-block determined to be the braille block area to determine the type of the corresponding braille block. Thus, It is possible to provide a safe walking guidance service to the user by performing accurate recognition of the braille block.

또한, 본 발명에 의하면, 촬영영상에서 점자블럭영역 판단에 기준이 되는 점자블럭 대표 색상값을 일정 주기단위로 이전 점자블럭영역으로 판단된 RGB값으로 업데이트하여 점자블럭영역을 판단함으로써, 주변 환경변화에 적응적으로 점자블럭을 인식하는 것이 가능하게 된다.In addition, according to the present invention, the braille block representative color value, which is a reference for the determination of the braille block area in the photographed image, is updated to the RGB value determined as the previous braille block area on a predetermined cycle basis to determine the braille block area, It is possible to adaptively recognize the Braille block.

비록, 본 발명이 상기 언급된 바람직한 실시예와 관련하여 설명되어졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허등록청구의 범위는 본 발명의 요지에서 속하는 이러한 수정이나 변형을 포함할 것이다.Although the present invention has been described in connection with the above-mentioned preferred embodiments, it is possible to make various modifications and variations without departing from the spirit and scope of the invention. Accordingly, the scope of the appended claims should include all such modifications and changes as fall within the scope of the present invention.

100 : 촬영수단, 200 : 음성안내수단,
300 : 전원수단, 210 : 음성출력부, 220 : 데이터메모리, 230 : 제어부, 240 : 정보입력부, 231 : 촬영영상 분할처리,
232 : 점자라인 판단처리, 233 : 점자영역 확인처리,
234 : 점자 분석처리, 300 : 전원수단,
UP : 상측영상, LP : 하측영상,
BL : 점자블럭 유도라인, L : 점자라인,
P : 파티클, SB : 서브블럭.
100: photographing means, 200: voice guidance means,
The present invention relates to an image processing apparatus and a method thereof, and more particularly,
232: Braille line determination processing, 233: Braille area confirmation processing,
234: braille analysis processing, 300: power source means,
UP: upper image, LP: lower image,
BL: Braille block induction line, L: Braille line,
P: Particle, SB: Sub-block.

Claims (24)

바닥면을 촬영하기 위한 촬영수단과,
상기 촬영수단으로부터 제공되는 바닥면 촬영영상에서 점자블럭을 인식하여 해당 점자블럭 종류에 대응되는 안내메시지를 음성출력하는 음성안내수단을 포함하여 구성되고,
상기 음성안내수단은 상기 촬영영상을 촬영영상의 수평 중심선을 기준으로 하측영역의 유효영상과, 상측영역의 무효영상으로 분할한 후, 유효영상에 대해 점자블럭 색상에 대응되는 대표 색상값을 기준으로 파티클 필터를 적용하여 영상에 분포된 파티클들의 위치값에 따른 점자블럭 라인을 생성함으로써 점자블럭 영역을 판단함과 더불어, 점자블럭 영역으로 판단된 영역에 방향성 필터 뱅크를 적용하여 다수의 서브밴드를 생성하되, 기 설정된 에지 기준값 이상을 갖는 서브밴드를 근거로 해당 점자블럭의 종류를 판단하는 점자분석블럭을 포함하여 구성되는 것을 특징으로 하는 점자블럭 음성안내장치.
A photographing means for photographing the bottom surface,
And voice guidance means for recognizing a braille block in the bottom surface photographing image provided from the photographing means and outputting a guidance message corresponding to the braille block type,
The voice guidance means divides the photographed image into a valid image of a lower region and an invalid image of an upper region on the basis of a horizontal center line of the photographed image, and then, based on the representative color value corresponding to the braille block color, A particle filter is applied to generate a braille block line corresponding to the position of the particles distributed in the image to determine a braille block area and a directional filter bank is applied to a region determined to be a braille block area to generate a plurality of subbands And a braille analysis block for determining a type of the corresponding braille block based on a subband having a predetermined edge reference value or more.
제1항에 있어서,
상기 음성안내수단은 초기 구동시에는 기 설정된 점자블럭 고유 색상값을 대표 색상값으로하여 파티클 필터를 적용하고, 이후 일정 주기 단위로 점자블럭 영역으로 판단된 색상값을 파티클 생성기준값으로 업데이트하여 파티클 필터를 적용하도록 구성되는 것을 특징으로 하는 점자블럭 음성안내장치.
The method according to claim 1,
The audio guidance means applies the particle filter with the predetermined color value of the braille block as a representative color value at the initial driving, updates the color value determined as the braille block region to the particle generation reference value, Is applied to the braille block voice guidance device.
삭제delete 제1항에 있어서,
상기 음성안내수단은 상기 촬영수단으로부터 제공되는 촬영영상의 유효영상을 유효영상의 수평중심선을 기준으로 상측영상과 하측영상으로 분할하고, 상측영상과 하측영상에 파티클 필터를 적용하여 영상의 점자블럭상에 파티클을 형성하며, 파티클들에 대한 위치좌표의 평균값을 근거로 중심점을 산출한 후, 상측영상에 대해 산출된 상측 중심점과 하측영상에 대해 산출된 하측 중심점을 연결함으로써, 점자블럭 라인을 생성하는 것을 특징으로 하는 점자블럭 음성안내장치.
The method according to claim 1,
Wherein the voice guidance means divides the effective image of the photographed image provided from the photographing means into an upper image and a lower image based on a horizontal center line of the effective image and applies a particle filter to the upper image and the lower image, The center point is calculated on the basis of the average value of the position coordinates of the particles and then the upper center point calculated for the upper image and the lower center point calculated for the lower image are connected to generate a braille block line Wherein the braille block voice guidance apparatus comprises:
제4항에 있어서,
상기 음성안내수단은 상측영상과 하측영상에 대해 파티클 필터를 적용함에 있어서 기 설정된 파티클 갯수에 대응되는 수의 파티클이 형성되도록 구성되는 것을 특징으로 하는 점자블럭 음성안내장치.
5. The method of claim 4,
Wherein the voice guiding means is configured to form a number of particles corresponding to a predetermined number of particles when the particle filter is applied to the upper side image and the lower side image.
제1항에 있어서,
상기 음성안내수단은 점자블럭 라인 영역을 중심으로 일정 영역을 갖는 다수의 서브블럭을 설정하고, 각각의 서브블럭의 RGB 컬러를 CMY(Cyan Magenda Yellow) 컬러로 변환하여, 산출된 "Y"값이 기준값보다 큰 서브블럭이 일정 개수 이상인 경우, 점자블럭 영역으로 판단하도록 구성되는 것을 특징으로 하는 점자블럭 음성안내장치.
The method according to claim 1,
The audio guidance means sets a plurality of sub-blocks having a certain area around the braille block line region, converts the RGB color of each sub-block into Cyan Magenta Yellow (CMY) color, and outputs the calculated "Y & And determines that the braille block area is a braille block area if the number of subblocks larger than the reference value is greater than a predetermined number.
제6항에 있어서,
상기 음성안내수단은 산출된 "Y"값이 기준값보다 큰 서브블럭이 일정 개수 미만인 경우, 다수 서브블럭 중 임의 개수의 서브블럭을 선택하고, 선택된 서브블럭 영역에 대해 방향성 필터 뱅크를 적용하여 에지성분을 분석함으로써, 점자블럭 영역 여부를 판단하도록 구성되는 것을 특징으로 하는 점자블럭 음성안내 장치.
The method according to claim 6,
The audio guidance means selects any number of sub-blocks among the plurality of sub-blocks when the calculated "Y" value is less than a predetermined number, and applies a directional filter bank to the selected sub- To determine whether or not the area is the braille block area.
제1항에 있어서,
상기 음성안내수단은 점자블럭 영역으로 판단된 영역에 대해 방향성 필터 뱅크처리를 통해 서로 다른 8개 방향에 대응되는 제1 내지 제8 서브밴드로 분할하되,
상기 제1 내지 제8 서브밴드는
Figure 112014074640897-pat00005

형태로 형성되고,
상기 음성안내수단은 상기 제2 및 제3 서브밴드의 값이 기 설정된 에지 기준값 이상인 경우 해당 점자블럭을 선형 점자블럭으로 판단하는 것을 특징으로 하는 점자블럭 음성안내장치.
The method according to claim 1,
Wherein the voice guidance unit divides the area determined as a braille block area into first through eighth subbands corresponding to eight different directions through a directional filter bank process,
The first through eighth subbands are
Figure 112014074640897-pat00005

Lt; / RTI >
Wherein the voice guidance unit judges that the braille block is a linear braille block if the values of the second and third subbands are equal to or greater than a predetermined edge reference value.
제1항에 있어서,
상기 음성안내수단은 점자블럭 영역으로 판단된 영역에 대해 방향성 필터 뱅크처리를 통해 서로 다른 8개 방향에 대응되는 제1 내지 제8 서브밴드로 분할하되,
상기 제1 내지 제8 서브밴드는
Figure 112014074640897-pat00006

형태로 형성되고,
상기 음성안내수단은 상기 제6 및 제7 서브밴드의 값이 기 설정된 에지 기준값 이상인 경우 해당 점자블럭을 점형 점자블럭으로 판단하는 것을 특징으로 하는 점자블럭 음성안내장치.
The method according to claim 1,
Wherein the voice guidance unit divides the area determined as a braille block area into first through eighth subbands corresponding to eight different directions through a directional filter bank process,
The first through eighth subbands are
Figure 112014074640897-pat00006

Lt; / RTI >
Wherein the voice guidance unit determines the corresponding braille block to be a pointed braille block when the values of the sixth and seventh subbands are equal to or greater than a predetermined edge reference value.
제9항에 있어서,
상기 음성안내수단은 상기 제6 및 제7 서브밴드의 값이 에지 기준값 이상이면서 상기 제2 및 제3 서브밴드의 값도 에지 기준값 이상인 경우 해당 점자블럭을 점형 점자블럭으로 판단하는 것을 특징으로 하는 점자블럭 음성안내장치.
10. The method of claim 9,
Wherein the voice guidance unit determines that the braille block is a pointed block if the values of the sixth and seventh subbands are equal to or greater than the edge reference value and the values of the second and third subbands are equal to or greater than the edge reference value. Block voice prompting device.
제1항에 있어서,
상기 촬영수단과 음성안내수단은 일체로 구성되는 것을 특징으로 하는 점자블럭 음성안내장치.
The method according to claim 1,
Wherein the photographing means and the voice guidance means are integrally formed.
제1항에 있어서,
상기 촬영수단과 음성안내수단은 별개 모듈로 구성되어 무선 또는 유선을 통해 결합되어 구성되는 것을 특징으로 하는 점자블럭 음성안내장치.
The method according to claim 1,
Wherein the photographing means and the voice guidance means are composed of separate modules and are coupled through wireless or wired lines.
제1항에 있어서,
상기 촬영수단은 카메라를 포함하여 구성되고,
상기 카메라는 사용자의 착용물에 장착되는 형태로 구성되는 것을 특징으로 하는 점자블럭 음성안내장치.
The method according to claim 1,
Wherein the photographing means comprises a camera,
Wherein the camera is mounted on a wearer's body.
제13항에 있어서,
상기 카메라는 사용자의 모자 또는 안경에 장착되는 것을 특징으로 하는 점자블럭 음성안내장치.
14. The method of claim 13,
Wherein the camera is mounted on a user's hat or glasses.
제1항에 있어서,
상기 음성안내수단은 점자블럭 안내메시지를 음성출력하기 위한 음성출력부를 포함하여 구성되고,
상기 음성출력부는 무선 또는 유선형태의 이어폰으로 구성되는 것을 특징으로 하는 점자블럭 음성안내장치.
The method according to claim 1,
Wherein the voice guidance unit comprises a voice output unit for voice output of the braille block guidance message,
Wherein the voice output unit comprises a wireless or wired earphone.
바닥면을 포함하는 촬영영상에서 점자블럭을 인식하기 위한 방법에 있어서,
촬영영상을 수평중심선을 기준으로 상측의 무효영상과 하측의 유효영상으로 분리하고, 유효영상에 대해 점자블럭 색상에 대응되는 파티클 생성기준값을 기준으로 파티클 필터를 적용하여 영상에 분포된 파티클들의 위치값에 따른 점자블럭 라인을 생성함으로써 점자블럭 라인을 점자블럭영역으로 판단하는 제1 단계와,
상기 제1 단계에서 점자블럭영역으로 판단된 영역에 방향성 필터 뱅크를 적용하여 방향성에 따른 다수의 서브밴드를 생성하되, 기 설정된 에지 기준값 이상인 서브밴드를 근거로 해당 점자블럭의 종류를 판단하는 제2 단계를 포함하여 구성되는 것을 특징으로 하는 촬영영상에서의 점자블럭 인식방법.
A method for recognizing a braille block in an image including a floor surface,
The captured image is divided into an invalid image on the upper side and an effective image on the lower side based on the horizontal center line and a particle filter is applied based on the particle generation reference value corresponding to the braille block color with respect to the effective image, A first step of determining a braille block line as a braille block area by generating a braille block line according to the first step,
A method of generating a plurality of subbands according to a direction by applying a directional filter bank to a region determined to be a braille block region in the first step and determining a type of the corresponding braille block based on a subband having a predetermined edge reference value or more, The method of claim 1, further comprising the steps of:
제16항에 있어서,
상기 제1 단계에서 초기에는 점자블럭 영역에 기 설정된 점자블럭 고유 색상값을 기준으로하여 파티클 필터를 적용하고, 이후 일정 주기 단위로 이전 점자블럭 영역으로 판단된 색상값을 파티클 생성기준값으로 업데이트하여 파티클 필터에 적용하도록 구성되는 것을 특징으로 하는 촬영영상에서의 점자블럭 인식방법.
17. The method of claim 16,
In the first step, the particle filter is applied on the basis of the braille block unique color value set in the braille block area at the initial stage, and the color value determined as the previous braille block area is updated to the particle creation reference value in a predetermined cycle unit, Wherein the image is applied to a filter.
삭제delete 제16항에 있어서,
상기 제1 단계는 유효영상의 수평중심선을 기준으로 상측영상과 하측영상으로 분할하고, 상측영상과 하측영상에 파티클 필터를 적용하여 영상의 점자블럭상에 파티클을 형성하며, 파티클들에 대한 위치좌표의 평균값을 근거로 중심점을 산출한 후, 상측영상에 대해 산출된 상측 중심점과 하측영상에 대해 산출된 하측 중심점을 연결함으로써, 점자블럭 라인을 생성하는 것을 특징으로 하는 촬영영상에서의 점자블럭 인식방법.
17. The method of claim 16,
The first step divides the image into an upper image and a lower image based on a horizontal center line of an effective image, forms a particle on a braille block of the image by applying a particle filter to the upper image and the lower image, And a braille block line is generated by connecting the upper center point calculated for the upper side image and the lower center point calculated for the lower side image by calculating the center point based on the average value of the braille block line .
제16항에 있어서,
상기 제1 단계에서 점자블럭 라인 영역을 중심으로 일정 영역을 갖는 다수의 서브블럭을 설정하고, 각각의 서브블럭의 RGB 컬러를 CMY(Cyan Magenda Yellow) 컬러로 변환하여, 산출된 "Y"값이 기준값보다 큰 서브블럭이 일정 개수 이상인 경우, 점자블럭 영역으로 판단하는 것을 특징으로 하는 촬영영상에서의 점자블럭 인식방법.
17. The method of claim 16,
In the first step, a plurality of sub-blocks having a certain area centered on the braille block line region are set, and the RGB colors of the respective sub-blocks are converted into CMY (Cyan Magenta Yellow) And when the number of subblocks larger than the reference value is greater than or equal to a predetermined number, it is determined to be a braille block area.
제16항에 있어서,
상기 제1 단계에서 산출된 "Y"값이 기준값보다 큰 서브블럭이 일정 개수 미만인 경우, 다수 서브블럭 중 임의 개수의 서브블럭을 선택하고, 선택된 서브블럭 영역에 대해 방향성 필터 뱅크를 적용하여 에지성분을 분석함으로써, 점자블럭 영역 여부를 판단하는 것을 특징으로 하는 촬영영상에서의 점자블럭 인식방법.
17. The method of claim 16,
If a number of subblocks having a value of "Y" calculated in the first step is less than a predetermined number, a certain number of subblocks are selected from among the plurality of subblocks, and a directional filter bank is applied to the selected subblock areas, And determining whether or not the area is the braille block area by analyzing the braille block area.
제16항에 있어서,
상기 제2 단계는 제1 단계에서 점자블럭 영역으로 판단된 영역에 대해 방향성 필터 뱅크처리를 이용하여 서로 다른 8개 방향에 대응되는 제1 내지 제8 서브밴드로 분할하되,
상기 제1 내지 제8 서브밴드는
Figure 112014074640897-pat00007

형태로 형성되고,
상기 제2 및 제3 서브밴드의 값이 기 설정된 에지 기준값 이상인 경우 해당 점자블럭을 선형 점자블럭으로 인식하는 것을 특징으로 하는 촬영영상에서의 점자블럭 인식방법.
17. The method of claim 16,
The second step divides the region determined as the braille block region into the first through eighth subbands corresponding to the eight different directions using the directional filter bank processing in the first step,
The first through eighth subbands are
Figure 112014074640897-pat00007

Lt; / RTI >
If the values of the second and third subbands are greater than or equal to a predetermined edge reference value, recognizing the braille block as a linear block of braille.
제16항에 있어서,
상기 제2 단계는 제1 단계에서 점자블럭 영역으로 판단된 영역에 대해 방향성 필터 뱅크처리를 이용하여 서로 다른 8개 방향에 대응되는 제1 내지 제8 서브밴드로 분할하되,
상기 제1 내지 제8 서브밴드는
Figure 112014074640897-pat00008

형태로 형성되고,
상기 제6 및 제7 서브밴드의 값이 기 설정된 에지 기준값 이상인 경우 해당 점자블럭을 점형 점자블럭으로 인식하는 것을 특징으로 하는 촬영영상에서의 점자블럭 인식방법.
17. The method of claim 16,
The second step divides the region determined as the braille block region into the first through eighth subbands corresponding to the eight different directions using the directional filter bank processing in the first step,
The first through eighth subbands are
Figure 112014074640897-pat00008

Lt; / RTI >
And when the values of the sixth and seventh subbands are greater than or equal to a predetermined edge reference value, recognizing the braille block as a pointed block of braille.
제23항에 있어서,
상기 제2 단계에서 상기 제6 및 제7 서브밴드의 값이 에지 기준값 이상이면서 상기 제2 및 제3 서브밴드의 값도 에지 기준값 이상인 경우 해당 점자블럭을 점형 점자블럭으로 인식하는 것을 특징으로 하는 촬영영상에서의 점자블럭 인식방법.
24. The method of claim 23,
Wherein when the values of the sixth and seventh subbands are equal to or greater than an edge reference value and the values of the second and third subbands are equal to or greater than an edge reference value in the second step, the corresponding braille block is recognized as a pointed block of braille Braille Block Recognition Method in Image.
KR1020140101433A 2014-08-07 2014-08-07 Voice guide device for braille block and method for recognition of braille block KR101636235B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140101433A KR101636235B1 (en) 2014-08-07 2014-08-07 Voice guide device for braille block and method for recognition of braille block

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140101433A KR101636235B1 (en) 2014-08-07 2014-08-07 Voice guide device for braille block and method for recognition of braille block

Publications (2)

Publication Number Publication Date
KR20160018889A KR20160018889A (en) 2016-02-18
KR101636235B1 true KR101636235B1 (en) 2016-07-06

Family

ID=55457847

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140101433A KR101636235B1 (en) 2014-08-07 2014-08-07 Voice guide device for braille block and method for recognition of braille block

Country Status (1)

Country Link
KR (1) KR101636235B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102644647B1 (en) * 2022-02-22 2024-03-07 국민대학교산학협력단 Path guidance device for visually impaired based on braille block detection and method of operating the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101257438B1 (en) * 2011-12-26 2013-04-23 건국대학교 산학협력단 System for guiding a indoor waking-path of situation-based using a color-code and method thereof

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070008772A (en) * 2005-07-12 2007-01-18 박상준 A stick with vision recognition for the blind
KR101115415B1 (en) * 2010-01-11 2012-02-15 한국표준과학연구원 System for announce blind persons and method for announce using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101257438B1 (en) * 2011-12-26 2013-04-23 건국대학교 산학협력단 System for guiding a indoor waking-path of situation-based using a color-code and method thereof

Also Published As

Publication number Publication date
KR20160018889A (en) 2016-02-18

Similar Documents

Publication Publication Date Title
US20190070064A1 (en) Object detection, analysis, and alert system for use in providing visual information to the blind
US12002350B2 (en) System for detecting pedestrian at crosswalk and preventing accident on basis of artificial intelligence
US20190294909A1 (en) Apparatus and method for using background change to determine context
US20180189567A1 (en) Method and device for visually impaired assistance
KR102284744B1 (en) Wearable device using stereo camera and infrared sensor for the visually impaired
JP2006251596A (en) Support device for visually handicapped person
WO2010142689A2 (en) An object detection device
CN103839054A (en) Multi-functional mobile intelligent terminal sensor supporting iris recognition
KR102256721B1 (en) Wearable device for independent living of visual disabled people
JP2010080993A (en) Intercom system
CN107272902A (en) Smart home service end, control system and control method based on body feeling interaction
JP7403783B2 (en) Behavior support device for visually impaired people
KR101636235B1 (en) Voice guide device for braille block and method for recognition of braille block
KR100647069B1 (en) Sight obstacle personal use walk guidance system
JP2014078398A (en) Illumination control device, illumination control system and program
KR20200067549A (en) Braille block guidance system and device
KR101196203B1 (en) Location Guiding Apparatus and Control method thereof
KR20100010981A (en) Apparatus and method for converting image information into haptic sensible signal
JP2015213620A (en) Walking assist device
WO2017156021A1 (en) Object detection, analysis, and alert system for use in providing visual information to the blind
KR101632169B1 (en) Voice road guide system for a person who is visually handicapped
KR101748777B1 (en) Guide service system for blind person and method for providing guide service using the same
CN112351561A (en) Corridor induction lamp control system and control method thereof
KR102012719B1 (en) System and method for speech recognition in video conference based on 360 omni-directional
KR102067587B1 (en) Voice guidance apparatus recognizing pedestrians

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190529

Year of fee payment: 4