KR101430573B1 - 시각 장애인용 점자 마커 및 점자 마커 인식 방법 - Google Patents

시각 장애인용 점자 마커 및 점자 마커 인식 방법 Download PDF

Info

Publication number
KR101430573B1
KR101430573B1 KR1020130033168A KR20130033168A KR101430573B1 KR 101430573 B1 KR101430573 B1 KR 101430573B1 KR 1020130033168 A KR1020130033168 A KR 1020130033168A KR 20130033168 A KR20130033168 A KR 20130033168A KR 101430573 B1 KR101430573 B1 KR 101430573B1
Authority
KR
South Korea
Prior art keywords
marker
braille
pattern
character
image
Prior art date
Application number
KR1020130033168A
Other languages
English (en)
Inventor
김석수
정성모
김동현
김태수
장광현
강민균
Original Assignee
한남대학교 산학협력단
(주)이공감
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한남대학교 산학협력단, (주)이공감 filed Critical 한남대학교 산학협력단
Priority to KR1020130033168A priority Critical patent/KR101430573B1/ko
Application granted granted Critical
Publication of KR101430573B1 publication Critical patent/KR101430573B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/58—Means for facilitating use, e.g. by people with impaired vision
    • A61M2205/582—Means for facilitating use, e.g. by people with impaired vision by tactile feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Educational Technology (AREA)
  • Toxicology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 점자를 이용한 증강현실 마커에 있어서, 시각 장애인이 손으로 점을 인식하는 사각형의 돌기인 심벌돌기(Symbol Prominence)(161)와 이진화된 영상에서 패턴을 검출하기 위한 검정색 사각형 영역인 심벌셀(Symbol Cell)(162)로 구성된 점(160)을 포함하여 이루어지는 것을 특징으로 하는 시각 장애인용 점자 마커 및 점자 마커 인식 방법을 제공한다.
본 발명에 의한 오디오 증강현실을 위한 시각 장애인용 점자 마커 및 마커 인식 방법은, 한글 점자 표준에 따라 6개의 점자로 이루어진 문자 패턴을 가지고 있는 점자 기반의 증강현실 마커를 통해 시각 장애인들이 종래의 증강현실 시스템들이 사용하는 평면적인 마커의 패턴을 인식하지 못하여 원하는 콘텐츠를 제공 받을 수 없었던 문제점을 해결할 수 있으며, 상기 마커를 인식하는 방법을 통해 점자를 읽을 줄 아는 장애인은 마커에 매칭되는 내용이 증강현실 되어 보여질 수 있어 장애인, 비장애인과의 의사표현이 가능하며, 점자의 패턴을 영어로 변환할 경우 외국인과의 의사표현을 하는데 있어서도 효과적일 수 있다.

Description

시각 장애인용 점자 마커 및 점자 마커 인식 방법{A Braille Point Marker for Visual Disturbance Person and A Marker Recognition Method Thereof}
본 발명은 점자 기반의 문자 패턴을 가지고 있는 증강현실 마커와 상기 마커를 인식하는 방법에 관한 것으로,
더욱 상세하게는 종래 마커 기반의 증강현실 서비스에서 시각 장애인들이 원하는 콘텐츠를 제공받을 수 있도록 한글 점자 표준에 따라 6개의 점자로 이루어진 2개의 문자 패턴을 포함하는 증강현실 마커와 상기 마커를 인식하는 방법에 관한 것이다.
증강현실(Augmented Reality)은 가상의 객체 또는 정보를 현실세계에 존재하는 사물처럼 보이도록 합성하는 컴퓨터 그래픽 기법으로 자연적으로 발생하는 점, 선, 에지, 그리고 텍스쳐 등과 같은 특징들로부터 카메라의 방향을 결정하는 비(非)마커 기반과, 흰 바탕에 검은색 사각형과 그 안에 다양한 패턴을 적용한 평면 마커를 이용하여 카메라의 방향을 결정하는 마커 기반으로 구분된다.
이와 관련하여 한국 HCI학회 2012년도 학술대회 논문 '실감 입체음향 재현을 위한 HMD를 이용한 오디오 증강현실'은 영상 디바이스를 통해 입력된 영상에서 평면 마커의 패턴을 인식하여 출력된 영상에 가상의 콘텐츠를 증강하여 제공하고 마커의 좌표에 따라 입체음향을 생성하고 이를 바이노럴 이어폰을 통해 사용자에게 제공한다.
이와 같은 시스템들은 콘텐츠를 제공받기 위해서 상기 콘텐츠를 제공하기 위한 마커의 패턴을 알아야 한다. 그러나 종래 기술에 의한 상기 마커의 패턴은 2차원적인 이미지이기 때문에 시각 장애인의 경우 상기 패턴을 분류할 수 없어 자신이 원하는 콘텐츠를 정확하게 제공받지 못한다는 한계점을 가지고 있었다.
참고로, 도 1은 종래의 마커기반 증강현실 시스템에서 사용되는 마커의 구조도로, 종래의 마커기반 증강현실에서 사용되는 마커의 구조는 하얀색 바탕 영역인 클러스트(Crust)(310), QR 코드(Quick Response Code)의 파인더 패턴과 같이 마커를 인식하는데 사용되는 맨틀(Mantle)(320), 상기 맨틀(Mantle)(320)안의 흰색 바탕 영역인 코어(Core)(331), 각기 고유 패턴을 가지는 정사각형 이미지 심벌(Symbol)(332)로 구성된 마커 알오아이(ROI : Region of Interest)(330)를 포함하여 이루어진다.
따라서, 본 발명은 상술한 종래기술의 한계점을 해결하기 위하여 안출된 것으로서, 입체음향이 적용된 음원을 제공하는 오디오 증강현실 서비스 등을 통해 시각 장애인에게 콘텐츠를 제공함에 있어서, 시각 장애인들이 원하는 콘텐츠의 마커 패턴을 쉽게 구분할 수 있도록 점자로 구성된 마커를 제공하는 것을 목적으로 하며, 또한, 상기 마커의 점자 돌기로 인해 발생되는 입력영상내 마커 패턴의 변조에 따른 오인식을 줄이는 마커의 인식 방법을 제공하는 것을 목적으로 한다.
본 발명은 상기 목적을 달성하기 위해 안출된 것으로서, 시각 장애인이 손으로 점을 인식하는 사각형의 돌기인 심벌돌기(Symbol Prominence)와 이진화된 영상에서 패턴을 검출하기 위한 검정색 사각형 영역인 심벌셀(Symbol Cell)로 구성된 점으로 이루어진 것을 특징으로 하는 점자를 이용한 증강현실 마커에 관한 것으로,
종래 증강현실의 마커 크러스트(Crust), 맨틀(Mantle), 코어(Core)와 자음초성 점자, 모음 점자, 자음 종성 점자로 구성되어 있으며, 한글 글자 표준에 의해 상기 초성 점자, 모음 점자, 자음 종성 점자 순서로 배열되어 1개의 문자패턴을 구성하고 증강현실에서 증강되는 객체를 구분하는 상단 문자 패턴, 상기 상단 문자 패턴과 같은 방식으로 한글 글자 표준에 의해 상기 초성 점자, 모음 점자, 자음 종성 점자 순서로 배열되어 1개의 문자패턴을 구성하고 증강현실에서 증강되는 객체를 구분하는 하단 문자 패턴, 한글 표준 점자 일람표에 따라서 6개의 점을 2X3 배열로 구성하여 한글의 자음(초성)과 모음, 자음(종성)을 표현하는 자음 초성 점자, 모음 점자, 자음 종성 점자를 포함하여 이루어진 것을 특징으로 하는 점자를 이용한 증강현실 마커에 관한 것이다.
또한 상기 점자를 이용한 증강현실 마커를 인식하는 방법에 있어서, 웹캠과 같은 영상 디바이스로부터 영상을 입력받는 영상입력 단계, 상기 영상입력 단계에서 영상이 입력되면 그레이 영상의 지역적 이진화 방법을 통해 영상을 이진화하여 영상을 전처리하는 영상전처리 단계, 상기 영상전처리 단계에서 전처리된 영상에서 모서리 점을 추출하고 이를 이용하여 마커의 후보영역을 설정하는 마커인식 단계, 상기 마커인식 단계에서 마커의 후보 영역을 지정하면 상기 지정된 후보 영역에서 1차 라벨링 작업을 수행하여 검정색 사각형 영역들을 추출하여 알오아이(ROI:Region of Interest)로 지정하고 상기 지정된 알오아이(ROI) 영역을 반전(검정색 영역은 백색으로 백색 영역은 검정색 영역으로 변환)시킨후 상기 반전된 영상에서 2차 라벨링 작업을 수행하여 검정색으로부터 변환된 백색 영역을 추출하여 상기 1차 라벨링 작업을 통해 지정된 알오아이(ROI) 영역에서 2차 라벨링 과정을 통해 추출된 백색 영역을 가지고 있는 영역을 상기 점으로 판단하여 상기 점으로 판단된 영역들의 배열을 패턴으로 생성하는 검출패턴 생성 단계, 상기 검출패턴에서 생성된 패턴과 마커 정보 데이터베이스에 저장되어 있는 마커의 패턴 정보를 기반으로 템플릿 매칭기법을 통해 마커를 검출하는 마커검출 단계, 상기 마커검출 단계에서 검출된 마커의 좌표를 가상공간상의 좌표계로 정규화하는 마커정합 단계를 포함하여 이루어진 것을 특징으로 하는 점자 마커 인식방법을 제공한다.
본 발명에 의한 오디오 증강현실을 위한 시각 장애인용 점자 마커 및 점자 마커 인식 방법은 시각 장애인들이 종래의 증강현실 시스템들에서 사용하는 평면적인 마커의 패턴을 인식하지 못해서 원하는 콘텐츠를 제공받을 수 없었던 문제점을 해결할 수 있으며, 장애인들이 상기 마커를 인식하는 방법을 통해 마커를 인식하고, 상기 인식되는 마커에 대한 객체를 출력하는 영상에서 마커에 매칭되는 내용이 증강현실 되어 보여질 수 있어 장애인, 비장애인과의 의사표현이 가능하며, 점자의 패턴을 영어로 변환할 경우 외국인과의 의사표현을 하는데 있어서도 효과적일 수 있다.
도 1은 종래의 마커기반 증강현실 시스템에서 사용되는 마커의 구조도
도 2는 본 발명의 일실시예에 의한 점자를 이용한 증강현실 마커의 구조도
도 3은 본 발명의 일실시예에 의한 점자 마커 인식 방법에 대한 순서도
이하, 첨부된 도면을 참조하여 본 발명에 의한 시각 장애인용 점자 마커 및 점자 마커 인식 방법을 상세히 설명한다.
도 2는 본 발명의 일실시예에 의한 점자를 이용한 증강현실 마커의 구조도이다. 도 2에 도시한 바와 같이, 본 발명에 의한 점자를 이용한 증강현실 마커는 종래 증강현실 마커의 크러스트(Crust)(110), 맨틀(Mantle)(120), 코어(Core)(130)와 점(160)을 이용하여 이루어진, 자음 초성 점자(141), 모음 점자(142), 자음 종성 점자(143)로 구성된 상단 문자 패턴(140), 상기 상단 문자 패턴(140)과 동일한 방식으로 자음 초성 점자(151), 모음 점자(152), 자음 종성 점자(153)로 구성된 하단 문자 패턴(150)을 포함하여 이루어진다.
상기 상단 문자 패턴(140)은 자음 초성 점자(141), 모음 점자(142), 자음 종성 점자(143)로 구성되어 있으며, 상기 점자들은 한글 글자 표준에 의해 수평 방향으로 상기 초성 점자(141), 모음 점자(142), 자음 종성 점자(143)순서로 배열되어 1개의 문자패턴을 구성한다.
상기 하단 문자 패턴(150)은 상기 상단 문자 패턴(140)과 같은 방식으로 초성 점자(151), 모음 점자(152), 자음 종성 점자(153) 순으로 배열되어 1개의 문자 패턴을 구성하며, 상기 상단 문자 패턴(140)과 하단 문자 패턴(150)은 증강현실에서 증강되는 객체를 구분하는 패턴으로 사용된다.
즉, 본 발명에 의한 점자를 이용한 증강현실 마커는 시각 장애인이 손으로 점을 인식하는 사각형의 돌기인 심벌돌기(Symbol Prominence)(161)와 이진화된 영상에서 패턴을 검출하기 위한 검정색 사각형 영역인 심벌셀(Symbol Cell)(162)로 구성된 점을 포함하여 이루어진 것을 특징으로 한다.
상기 초성 점자(141), 모음 점자(142), 자음 종성 점자(143)는 각각 상기 점(160)들이 2X3 배열의 패턴으로 구성되어 있으며 상기 점자의 패턴 배열은 종래에 사용되는 한글 표준 점자 일람표(170)에 따라서 한글의 자음(초성), 모음, 자음(종성)을 표현한다. 즉, 자음 초성 점자(141)는 한글 표준 점자 일람표(170)에 따라서 2X3 배열로 상기 점(160) 패턴을 구성하여 한글의 자음(초성)을 표현하고, 모음 점자(142)는 한글 표준 점자 일람표(170)에 따라서 2X3 배열로 상기 점(160) 패턴을 구성하여 한글의 모음을 표현하며, 자음 종성 점자(143)는 한글 표준 점자 일람표(170)에 따라서 2X3 배열로 상기 점(160) 패턴을 구성하여 한글의 자음(종성)을 표현한다.
도 3은 본 발명의 일실시예에 의한 점자 마커 인식 방법에 대한 순서도이다. 도 3에 도시한 바와 같이, 본 발명에 의한 점자 마커 인식 방법은,
영상을 입력받는 영상입력 단계(S201), 상기 영상입력 단계(S201)에서 입력받은 영상을 전처리하는 영상전처리 단계(S202), 상기 영상전처리 단계(S202)에서 전처리된 영상에서 마커 후보영역을 설정하는 마커인식 단계(S203), 상기 마커인식 단계(S203)에서 설정된 마커 후보 영역에서 상기 점(160)을 인식하여 마커 검출을 위한 패턴을 확인하는 검출패턴 생성 단계(S204), 상기 검출패턴 생성 단계(S204)에서 생성된 패턴을 마커 정보 데이터베이스(200)의 마커 패턴과 비교하여 마커를 검출하는 마커검출 단계(S205), 상기 마커검출 단계(S205)에서 검출된 마커의 좌표를 가상의 3D 좌표로 변환하는 마커정합 단계(S206)를 포함하여 이루어진다.
상기 영상 입력 단계(S201)는 웹캠과 같은 영상 디바이스로부터 영상을 입력받는다. 상기 영상전처리 단계(S202)는 상기 영상 입력 단계(S201)에서 영상이 입력되면 그레이 영상의 지역적 이진화 방법 중 하나인 버니슨(Bernsen) 이진화 방법을 통해 영상을 이진화하여 영상을 전처리한다. 상기 마커 인식 단계(S203)는 상기 영상 전처리 단계(S202)에서 전처리 된 영상에서 선분근사화 함수와 진보된 확률적 허프변환(PPHT: Progressive Probabilistic Hough Transform)를 통해 모서리 점을 추출하고 이를 이용하여 마커의 후보영역을 설정한다.
상기 검출패턴 생성 단계(S204)는 점(160)의 심벌돌기(Symbol Prominence)(161)로 인한 음영 및 조명의 변화 때문에 이진화된 영상에서 상기 심벌돌기(161)영역이 백색으로 인식되어 패턴의 변조가 발생하는 문제점을 해결하기 위해서 상기 마커 인식 단계(S203)에서 마커의 후보 영역을 지정하면 상기 지정된 후보 영역에서 1차 라벨링 작업을 수행하여 검정색 사각형 영역들을 추출하여 알오아이(ROI : Region of Interest)로 지정하고 상기 지정된 알오이(ROI) 영역을 반전(검정색 영역은 백색으로 백색 영역은 검정색 영역으로 변환)시킨다. 이후, 상기 반전된 영상에서 2차 라벨링 작업을 수행하여 검정색으로부터 변환된 백색 영역을 추출한다. 이때, 상기 점(160)은 검은색 영역심벌셀(Symbol Cell)(162)안에 심벌돌기(Symbol Prominence)(161)있다는 특성에 따라서 상기 1차 라벨링 작업을 통해 지정된 알오아이(ROI) 영역에서 2차 라벨링 과정을 통해 추출된 백색 영역을 가지고 있는 영역을 상기 점(160)으로 판단하여 상기 점(160)으로 판단된 영역들의 배열을 패턴으로 생성한다.
상기 마커검출 단계(S205)는 상기 검출패턴(S204)에서 생성된 패턴과 상기 마커 정보 데이터베이스(200)에 저장되어 있는 상기 마커의 패턴 정보를 기반으로 템플릿 매칭기법을 통해 마커를 검출한다.
상기 마커정합 단계(S206)는 상기 마커검출 단계(S205)에서 검출된 마커에 카메라와 일정거리에 존재하는 물체의 크기를 초기화하는 캘리브레이션(Calibration) 기법을 적용하여 영상내의 마커와 카메라간의 거리, 포즈 변화를 추정하고 마커의 중심 위치 및 크기 편차를 줄이기 위해 와핑변환 행렬과 와핑에 의한 크기 차이율(Sdiff : Scale difference ratio)을 적용하여 영상내 마커의 좌표를 가상공간상의 좌표계로 정규화한다.
본 발명에 의한 오디오 증강현실을 위한 시각 장애인용 점자 마커 및 마커 인식 방법은, 한글 점자 표준에 따라 6개의 점자로 이루어진 2개의 문자 패턴을 가지고 있는 점자 기반의 증강현실 마커를 통해 시각 장애인들이 종래의 증강현실 시스템들이 사용하는 평면적인 마커의 패턴을 인식하지 못하여 원하는 콘텐츠를 제공 받을 수 없었던 문제점을 해결할 수 있으며, 장애인들이 상기 마커를 인식하는 방법을 통해 마커를 인식하고, 상기 인식되는 마커에 대한 객체를 출력하는 영상에서 마커에 매칭되는 내용이 증강현실 되어 보여질 수 있어 장애인, 비장애인과의 의사표현이 가능하며, 점자의 패턴을 영어로 변환할 경우 외국인과의 의사표현을 하는데 있어서도 효과적일 수 있다.
상기한 바와 같은 구성 및 작용은 하나의 실시예로서 본 발명의 청구범위를 제한하는 것은 아니며, 본 발명의 기술적 사상을 변경하지 아니하는 범위 내에서 다양한 변경과 수정이 가능함은 본 발명이 속하는 분야에 종사하는 자에게는 자명한 것이다.
110 : Crust 120 : Mantle
130 : Core 140 : 상단 문자 패턴
141 : 자음 초성 점자 142 : 모음 점자
143 : 자음 종성 점자 150 : 하단 문자 패턴
151 : 자음 초성 점자 152 : 모음 점자
153 : 자음 종성 점자 160 : 점
161 : Symbol Prominence 162 : Symbol Cell

Claims (4)

  1. 점자를 이용한 증강현실 마커에 있어서,
    증강현실 마커의 크러스트(Crust)(110), 맨틀(Mantle)(120), 코어(Core)(130)와, 상기 코어(Core)(130)에 시각 장애인이 손으로 점을 인식하는 사각형의 돌기인 심벌돌기(Symbol Prominence)(161)와 이진화된 영상에서 패턴을 검출하기 위한 검정색 사각형 영역인 심벌셀(Symbol Cell)(162)로 구성된 점(160)을 포함하여 이루어지는 것을 특징으로 하는 시각 장애인용 점자 마커
  2. 제 1 항에 있어서,
    상기 점(160)을 이용하여 이루어진, 자음 초성 점자(141), 모음 점자(142), 자음 종성 점자(143)로 구성된 상단 문자 패턴(140), 상기 상단 문자 패턴(140)과 동일한 방식으로 자음 초성 점자(151), 모음 점자(152), 자음 종성 점자(153)로 구성된 하단 문자 패턴(150)을 포함하여 이루어지는 것을 특징으로 하는 시각 장애인용 점자 마커
  3. 제 2 항에 있어서,
    상기 자음 초성 점자(141), 모음 점자(142), 자음 종성 점자(143)는 각각 한글 표준 점자 일람표(170)에 따라서 2X3 배열로 상기 점(160) 패턴을 구성하여 표현하는 것을 특징으로 하는 시각 장애인용 점자 마커
  4. 증강현실 마커의 크러스트(Crust)(110), 맨틀(Mantle)(120), 코어(Core)(130)와, 상기 코어(Core)(130)에 시각 장애인이 손으로 점을 인식하는 사각형의 돌기인 심벌돌기(Symbol Prominence)(161)와 이진화된 영상에서 패턴을 검출하기 위한 검정색 사각형 영역인 심벌셀(Symbol Cell)(162)로 구성된 점(160)을 포함하는 시각 장애인용 점자 마커를 인식하는 방법에 있어서,
    영상 디바이스로부터 영상을 입력받는 영상입력 단계(S201), 상기 영상입력 단계(S201)에서 영상이 입력되면 이진화 방법을 통해 영상을 이진화하여 영상을 전처리하는 영상전처리 단계(S202), 상기 영상전처리 단계(S202)에서 전처리된 영상에서 모서리 점을 추출하여 마커의 후보영역을 설정하는 마커인식 단계(S203). 상기 마커인식 단계(S203)에서 마커의 후보 영역을 지정하면 상기 지정된 후보 영역에서 1차 라벨링 작업을 수행하여 검정색 사각형 영역들을 추출하여 알오아이(ROI : Region of Interest)로 지정하고, 상기 지정된 알오아이(ROI) 영역을 반전시킨후 상기 반전된 영상에서 2차 라벨링 작업을 수행하여 검정색으로부터 변환된 백색 영역을 추출하여 상기 1차 라벨링 작업을 통해 지정된 알오아이(ROI) 영역에서 2차 라벨링 과정을 통해 추출된 백색 영역을 가지고 있는 영역을 상기 점(160)으로 판단하여 상기 점(160)으로 판단된 영역들의 배열을 패턴으로 생성하는 검출패턴생성 단계(S204), 상기 검출패턴(S204)에서 생성된 패턴과 마커 정보 데이터베이스(200)에 저장되어 있는 상기 마커의 패턴 정보를 기반으로 마커를 검출하는 마커검출 단계(S205), 상기 마커검출 단계(S205)에서 영상내의 마커와 카메라간의 거리, 포즈 변화를 추정하고 마커의 중심 위치 및 크기 편차를 줄이기 위해 와핑 변환 행렬과 와핑에 의한 크기 차이율(Sdiff : Scale difference ratio)을 적용하여 영상내 마커의 좌표를 가상공간상의 좌표계로 정규화하는 마커정합 단계(S206)를 포함하여 이루어지는 것을 특징으로 하는 점자 마커 인식 방법
KR1020130033168A 2013-03-28 2013-03-28 시각 장애인용 점자 마커 및 점자 마커 인식 방법 KR101430573B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130033168A KR101430573B1 (ko) 2013-03-28 2013-03-28 시각 장애인용 점자 마커 및 점자 마커 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130033168A KR101430573B1 (ko) 2013-03-28 2013-03-28 시각 장애인용 점자 마커 및 점자 마커 인식 방법

Publications (1)

Publication Number Publication Date
KR101430573B1 true KR101430573B1 (ko) 2014-08-18

Family

ID=51750505

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130033168A KR101430573B1 (ko) 2013-03-28 2013-03-28 시각 장애인용 점자 마커 및 점자 마커 인식 방법

Country Status (1)

Country Link
KR (1) KR101430573B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101577146B1 (ko) * 2014-09-30 2015-12-14 한남대학교 산학협력단 태양광 추적을 이용한 증강 객체의 쉐이더 적용방법
KR101855419B1 (ko) * 2016-01-27 2018-05-10 (주)몬도미오 증강현실을 이용한 언어학습장치 및 이를 이용한 언어학습방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100697625B1 (ko) * 2005-09-12 2007-03-22 삼성전자주식회사 이동통신단말기에 있어서 점자인식 및 변환방법과 그시스템
KR20110130309A (ko) * 2010-05-27 2011-12-05 한국항공대학교산학협력단 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100697625B1 (ko) * 2005-09-12 2007-03-22 삼성전자주식회사 이동통신단말기에 있어서 점자인식 및 변환방법과 그시스템
KR20110130309A (ko) * 2010-05-27 2011-12-05 한국항공대학교산학협력단 증강현실을 위한 실시간 마커리스 3차원 객체추적 시스템 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101577146B1 (ko) * 2014-09-30 2015-12-14 한남대학교 산학협력단 태양광 추적을 이용한 증강 객체의 쉐이더 적용방법
KR101855419B1 (ko) * 2016-01-27 2018-05-10 (주)몬도미오 증강현실을 이용한 언어학습장치 및 이를 이용한 언어학습방법

Similar Documents

Publication Publication Date Title
Kulkarni et al. Appearance based recognition of american sign language using gesture segmentation
Modanwal et al. Towards hand gesture based writing support system for blinds
Mousa et al. Smart braille system recognizer
Pramada et al. Intelligent sign language recognition using image processing
Tripathy et al. Voice for the mute
KR101017598B1 (ko) 증강 현실을 이용한 한글 교습 시스템 및 한글 정보 제공 방법
Hagargund et al. Image to speech conversion for visually impaired
US20190138117A1 (en) Information processing device, information processing method, and program
Bohra et al. Real-time two way communication system for speech and hearing impaired using computer vision and deep learning
KR101430573B1 (ko) 시각 장애인용 점자 마커 및 점자 마커 인식 방법
Hai et al. Automatic feature extraction for Vietnamese sign language recognition using support vector machine
Hashim et al. Kurdish sign language recognition system
Hanif et al. Texture based Text Detection in Natural Scene Images-A Help to Blind and Visually Impaired Persons.
KR102374280B1 (ko) 이미지로부터 추출한 텍스트의 블록화 시스템 및 그 방법
Zhang et al. A braille recognition system by the mobile phone with embedded camera
KR101277737B1 (ko) 다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법
KR101160968B1 (ko) 색상 정보 및 외곽선 정보를 이용한 문자열 인식 시스템 및 그 방법
Modanwal et al. Development of a new dactylology and writing support system especially for blinds
KR101012101B1 (ko) 한글 인식 방법 및 장치
Naseem et al. Developing a prototype to translate pakistan sign language into text and speech while using convolutional neural networking
Beglov Object information based on marker recognition
Thanneru et al. Image to audio, text to audio, text to speech, video to text conversion using, NLP techniques
Kagalkar et al. New methodology for translation of static sign symbol to words in Kannada Language
Arko et al. Bangla sign language interpretation using image processing
Tian et al. Improving computer vision-based indoor wayfinding for blind persons with context information

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170712

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180710

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190808

Year of fee payment: 6