KR20160046802A - 암점을 야기하는 망막 질환을 겪는 개인을 위한 시각적 탐색을 돕기 위한 방법 - Google Patents
암점을 야기하는 망막 질환을 겪는 개인을 위한 시각적 탐색을 돕기 위한 방법 Download PDFInfo
- Publication number
- KR20160046802A KR20160046802A KR1020167004201A KR20167004201A KR20160046802A KR 20160046802 A KR20160046802 A KR 20160046802A KR 1020167004201 A KR1020167004201 A KR 1020167004201A KR 20167004201 A KR20167004201 A KR 20167004201A KR 20160046802 A KR20160046802 A KR 20160046802A
- Authority
- KR
- South Korea
- Prior art keywords
- zone
- interest
- display device
- blind
- vision
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 164
- 230000000007 visual effect Effects 0.000 title claims abstract description 49
- 206010039729 Scotoma Diseases 0.000 title description 5
- 230000002207 retinal effect Effects 0.000 title description 2
- 238000012545 processing Methods 0.000 claims abstract description 15
- 208000017442 Retinal disease Diseases 0.000 claims abstract description 8
- 230000004438 eyesight Effects 0.000 claims description 62
- 230000004287 retinal location Effects 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 15
- 230000001965 increasing effect Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000002093 peripheral effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000003416 augmentation Effects 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000008929 regeneration Effects 0.000 claims description 3
- 238000011069 regeneration method Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 230000003190 augmentative effect Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000012360 testing method Methods 0.000 description 9
- 210000000887 face Anatomy 0.000 description 7
- 206010064930 age-related macular degeneration Diseases 0.000 description 6
- 230000004424 eye movement Effects 0.000 description 6
- 208000002780 macular degeneration Diseases 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 210000001525 retina Anatomy 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000004304 visual acuity Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 208000027073 Stargardt disease Diseases 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000013095 identification testing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004286 retinal pathology Effects 0.000 description 1
- 238000005204 segregation Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0091—Fixation targets for viewing direction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Business, Economics & Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은, 암점을 야기하는 망막 질환을 겪는 개인을 위한 시각적 탐색을 돕는 것에 관한 것이고, 보다 특별하게는 디스플레이 장치상의 디지털 이미지의 개인에 의한 시각적 탐색을 돕기 위한 방법(S)에 관한 것이며, 상기 방법은: - 형상 인식 소프트웨어를 사용하여, 디지털 이미지의 물체 구역(ZO)에 포함된 적어도 하나의 물체를 인식하는 단계 S10, - 이미지를 응시하는 사용자의 시야에 있어서 암점의 위치에 대응하는 이미지 내의 블라인드 구역(Z1)을 결정하는 단계 S30, 및 - 물체 구역 및 블라인드 구역이 서로 근접하는 것으로 검출된 경우에, 이미지의 처리를 적용하여 사용자를 위한 물체 구역을 강조하는 단계 S70 및 S90을 포함한다.
Description
본 발명은 연령 관련 황반 변성(age related macular degeneration; ARMD), 스타르가르트병(Stargardt's disease) 또는 황반병증(maculapthy)과 같은, 암점(scotoma)에 의해 나타나는 망막 병상(retinal pathology)으로 고통받는 개인을 위한 시각적 탐색(visual exploration)을 돕기 위한 방법의 분야에 관한 것이다.
보다 특별하게는, 본 발명은 암점에 의해 나타나는 망막 병상으로 고통받는 개인에 의한 디스플레이 장치상의 디지털 이미지의 시각적 탐색을 돕기 위한 방법에 관한 것이다.
ARMD, 스타르가르트병 또는 황반병증은 중심시(central vision)의 점진적 파괴, 및 중심와 영역에 도달하는 정보를 삭제하는 "암점"으로 불리는 맹점(blind spot)의 발전에 의해 나타나는 시각적 결점을 유발할 수 있다. 이러한 정보는 읽기 또는 보다 일반적으로는 이미지 내의 물체의 인식과 같은 특정 일과를 수행하는데 필수적이다. 이러한 고통을 확실하게 제거할 수 있는 치료의 부존재는 개인이 흔히 광학적 성질의 도움 방법을 선택하게 한다.
그러므로, 개인의 병상에 적합할 수 있고, 시각적 신경 과학 원리를 사용하여 개인을 최상으로 돕거나 실제로 읽기 수행능력을 증대시키는, 예를 들어 텍스트 내에서의 검색과 같은 이미지의 시각적 탐색을 용이하게 하는 방법을 제공할 필요성이 존재한다.
공지된 해결책이 특허 문헌 US 2012/0200595호에 개시되어 있다. 이러한 시스템은 안구계(oculometer)가 설치된 스마트 안경으로 구성되어 있다. 사용자가 ARMD로 고통받는 개인이라면, 그러한 시스템은 반상 암점(macular scotoma)에 의해 가려진 개인 시야의 구역을 고려한다. 우선, 안경은 장면의 이미지를 캡처하여 안과용 렌즈 상에 투사한다. 그 후에, 이러한 안경 상에 설치된 안구계는 투사된 이미지상에서의 시선의 위치를 측정할 수 있게 한다. 사용자는 암점에 의해 가려진 이미지 구역의 증강을 활성화할 수 있다. 이러한 이미지 구역의 증강은 크기의 증대, 또는 선의 증대 및 시프팅, 또는 암점 주위의 선의 변위 및 변형일 수 있다.
이러한 시스템에 따르면, 시선의 위치 및 암점의 크기는 암점 근처의 증강된 정보를 규정하는데 사용된다. 따라서, 이것은 각 개인의 암점의 특성에 적합화될 수 있다. 그러나 이러한 시스템에 의해 제안된 이미지 처리가 개인의 망막 병상을 고려하고 있지만, 수행된 증강은 반상 암점의 존재시에 읽기의 기본적인 측면을 고려하지 않고 있다. 실제로, 이러한 시스템은 암점에 의해 가려진 정보를 변위시키기 위해 이미지 구역의 픽셀 상에만 작용한다. 결과적으로, 이것은 시선의 위치, 암점의 크기와 텍스트의 엔티티 "단어(word)" 및 "글자(letter)" 사이의 상호작용을 최적화할 수 없게 한다. 또한, 이러한 시스템은 중심시의 부존재시에 안구운동 이벤트를 고려하는 시선에 대한 연동을 제안하고 있지 않지만, 이것은 망막 병상으로 고통받는 개인의 안구 운동을 최적화하기 위해 필요하다. 그러므로, 이러한 시스템은 편안함의 면에서, 또한 특히 읽기 수행능력의 면에서 유효성이 부족할 위험이 있다.
이러한 맥락에서, 본 발명은, 암점에 의해 나타나는 망막 병상으로 고통받는 개인에 의한 디스플레이 장치상의 디지털 이미지의 시각적 탐색을 돕기 위한 방법을 제안함으로써, 상기에 언급된 결점 중 하나 이상을 경감하는 것을 목적으로 하며, 디지털 이미지는 구역들로 분할할 수 있는 점의 매트릭스로 이루어진다.
이러한 목적을 위해, 본 발명의 방법은 본질적으로:
- 형상 인식 소프트웨어의 도움으로, 디지털 이미지의 물체 구역에 포함된 적어도 하나의 물체를 인식하는 단계,
- 이미지를 응시하는 사용자의 시야에 있어서 암점의 위치에 대응하는 이미지 내의 블라인드 구역을 결정하는 단계, 및
- 블라인드 구역 및 물체 구역의 근접의 검출의 경우에, 이미지의 처리를 적용하여 사용자를 위한 물체 구역을 강조하는 단계로 구성되는 단계들을 포함하는 것이다.
따라서, 본 방법은, 유리하게는, 시선의 위치 및 암점의 크기를 사용하여 증강된 방식으로 재생될 정보를 규정할 뿐만 아니라, 이미지의 다양한 물체를 검출하여, 개인이 시각적으로 탐색하고 있거나 탐색하고자 하는 물체를 명확하게 식별하고 또한 이러한 물체의 증강된 디스플레이를 최적화하여 그의 시력을 제한하는 요인을 보상할 수 있게 한다.
상기에서 사용된 바와 같은 단어 "형상(shape)" 및 "물체(object)"는 매우 일반적인 의미로 고려되어야 한다. 기하학적 형상을 단독으로 처리하지 않고, 디지털 이미지의 임의의 타입의 전체, 국소 또는 반국소 추출 가능한 시각적 특성을 처리한다. 인식될 형상 또는 패턴은 매우 다양한 성질을 가질 수 있다. 이들은 동시에 물체, 얼굴, 단어 라인, 단어, 글자 등으로 구성될 수도 있다.
본 방법의 특별한 특징에 따르면, 본 방법은:
- 디지털 이미지상에서의 블라인드 구역의 위치설정의 기준에 따라, 적어도 하나의 물체 구역을 포함하는 관심 구역을 결정하는 단계로서, 블라인드 구역이 포인팅 장치(pointing device)에 연동함으로써 디스플레이 장치상에 위치설정 가능한, 단계, 및
- 결정된 관심 구역을 볼 수 있게 하는 마킹(marking)을 디스플레이 장치상에 표시하는 단계로 구성되는 단계들을 추가로 포함하며,
물체 구역의 강조 단계는, 적어도 하나의 사전결정된 처리에 따라 결정된 관심 구역을 변경하는 단계 및 비전 구역에 결정된 관심 구역을 재생하는 단계에 의해 결정된 관심 구역을 증강시키는 단계로 구성된다.
따라서, 본 방법은 유리하게는 자동 마킹에 의해 인식된 물체를 증강할 수 있다는 것을 개인에게 시각적으로 알릴 수 있게 한다.
본 방법의 특별한 특징에 따르면, 관심 구역을 결정하는, 디지털 이미지상에서의 블라인드 구역의 위치설정의 기준은:
- 블라인드 구역에 의한 관심 구역의 오버랩의 기준, 및
- 각 개인에 대해 결정된 선호 망막 위치 구역에 의한 관심 구역의 오버랩의 기준 중에서 선택되며, 디스플레이 장치상에서의 이러한 선호 망막 위치 구역의 위치설정은 이러한 동일한 장치 상에서의 블라인드 구역의 위치설정과 관련된다.
이전의 특별한 특징에 따르면, 상기 오버랩의 기준은:
- 블라인드 구역 또는 관심 구역 상의 선호 망막 위치 구역의 특정 지점의 위치설정, 또는
- 블라인드 구역 또는 선호 망막 위치 구역에 의한 관심 구역의 보다 큰 오버랩 영역을 결정하는 것으로 구성된다.
본 방법의 다른 특별한 특징에 따르면, 비전 구역이 상기 사전결정된 처리에 따라 디스플레이 장치상에 부분적으로만 재생되도록 관심 구역이 디스플레이 장치의 에지에 근접하게 위치되는 경우에, 관심 구역의 증강은, 또한, 디스플레이 장치상에 완전하게 재생되고, 상기 사전결정된 처리에 따라 디스플레이 장치상에 부분적으로만 재생되는 비전 구역과 실질적인 최대 오버랩을 나타내도록 하는 방식으로 비전 구역을 변위시키는 것으로 구성된다.
본 방법의 다른 특별한 특징에 따르면, 물체 구역의 강조 단계는 액추에이터를 작동시킴으로써, 또한 선택적으로 액추에이터를 작동 상태로 유지함으로써 개인에 의해 제어되고, 상기 방법은 증강 전의 디지털 이미지로의 복귀 단계를 추가로 포함하며, 이러한 복귀는 액추에이터의 작동에 의해서, 및 선택적으로 액추에이터의 해제에 의해서 개인에 의해 제어된다.
따라서, 이러한 특별한 특징에 따른 방법은 유리하게는 개인이 증강의 지속시간을 제어할 수 있게 한다.
본 방법의 다른 특별한 특징에 따르면, 블라인드 구역 및 비전 구역 중 적어도 하나의 구역은 디스플레이 장치상의 가시적 마킹을 포함한다.
따라서, 이러한 특별한 특징에 따른 방법은 유리하게는 개인이 자신의 암점의 범위를 인식하여 개인이 안구 운동을 최적화할 수 있게 하는 것을 돕는 것을 가능하게 한다. 또한, 본 방법은 또한 디스플레이 장치상에서 텍스트의 읽기를 돕기 위한 방법인 경우에, 이러한 특별한 특징에 따른 방법은 또한 유리하게는 개인이 읽기 처리 중인 라인 상에 수직으로 안정화시키는 것을 돕는 것을 가능하게 한다.
본 방법의 제1 실시예에 따르면, 형상 인식 소프트웨어는 자동 이미지 처리에 이용되는 전경-배경 분리의 원리에 기초하는, 배경에 대해 물체를 분할하기 위한 알고리즘을 포함한다.
따라서, 이러한 제1 실시예에 따른 방법은 유리하게는 물체, 얼굴 또는 기하학적 형상의 국소 또는 반국소 인식에 맞춰진다.
본 방법의 제1 실시예의 특별한 특징에 따르면, 관심 구역의 사전결정된 처리는, 디스플레이 장치상에서 비전 구역을 차지할 때까지, 크기의 점진적인 확대, 및 선택적으로 디지털 이미지 내의 초기 위치로부터의 점진적인 시프팅으로 구성되며, 상기 방법은, 증강 전의 크기 및 위치로 복귀할 때까지, 증강된 관심 구역의 크기의 점진적인 축소, 및 선택적으로 위치의 점진적인 시프팅으로 구성되는, 증강 전의 디지털 이미지로의 복귀 단계를 추가로 포함한다.
따라서, 제1 실시예의 이러한 특별한 특징에 따른 방법은, 유리하게는, 특히 디지털 이미지의 나머지의 후속적인 시각적 탐색을 용이하게 하기 위해, 개인이 디지털 이미지 내의 관심 구역의 초기 위치의 기억을 유지할 수 있게 한다. 또한, 증강된 관심 구역의 위치를 시프팅하는 것은 비전 구역이 유리하게 각 개인에 대해 결정된 선호 망막 위치 구역과 가장 잘 일치하게 하는 것을 가능하게 한다.
본 방법의 제2 실시예에 따르면, 시각적 탐색을 돕기 위한 방법은 읽기를 돕기 위한 방법이며; 디지털 이미지는 읽도록 의도된 텍스트를 포함하고; 형상 인식 소프트웨어는 문자 인식 소프트웨어를 포함하여, 라인 구역으로의 분할에 의해, 그리고 그 후에 단어 구역으로의 각 라인 구역의 분할에 의해 적어도 하나의 텍스트 부분을 인식할 수 있게 하며; 물체 구역은 단어 구역이고; 비전 구역은 블라인드 구역의 주변에 위치된다.
따라서, 제2 실시예에 따른 방법은, 유리하게는, 시선의 위치 및 암점의 크기를 사용하여 증강된 방식으로 암점에 근접하게 재생될 정보를 규정할 뿐만 아니라, 이미지의 다양한 단어를 검출하여, 개인이 읽고자 하는 단어의 그룹을 명확하게 식별하고, 자동 마킹에 의해 이러한 단어의 그룹을 증강할 수 있다는 것을 개인에게 시각적으로 알리고, 또한 이러한 단어의 그룹의 증강된 디스플레이를 최적화하여 자신의 읽기 능력을 제한하는 요인을 보상하는 것을 가능하게 한다. 또한, 단어 구역으로 이미지를 분할하는 것은 완전한 단어를 비전 구역에 재현할 수 있게 한다는 것에 주목해야 한다.
제2 실시예의 특별한 특징에 따르면, 상기 방법은, 관심 구역의 결정 단계 이전에, 문자의 크기, 라인의 길이 및/또는 개수, 디스플레이 장치의 크기, 및/또는 블라인드 구역의 크기의 함수로서 텍스트의 이미지의 크기 조정에 의해 및/또는 라인 간격의 변경에 의해, 텍스트의 이미지를 변경하는 것으로 구성된 단계를 추가로 포함한다.
따라서, 본 방법은 유리하게는, 개인이 이미지를 영구적으로 변위하게 하지 않고서 용이하게 자신의 위치를 알 수 있게 하도록, 텍스트에 대한 최대의 전체 정보를 디스플레이에 유지할 수 있게 한다.
제2 실시예의 다른 특별한 특징에 따르면, 상기 적어도 하나의 텍스트 부분의 인식 단계는 글자 구역으로의 각 단어 구역의 분할을 추가로 포함한다.
따라서, 제2 실시예에 따른 방법은 유리하게는 관심 구역에 위치된 단어의 보다 미세하게 제어된 변경 및 재생을 허용한다.
본 방법의 제2 실시예의 다른 특별한 특징에 따르면, 관심 구역은, 상기 적어도 하나의 단어 구역에 부가하여, 동일한 라인 구역에 속하는 적어도 2개의 다른 단어 구역을 포함하며, 관심 구역의 각 단어 구역은 관심 구역의 다른 단어 구역과 병치된다.
따라서, 본 방법은 유리하게는 개인에게 제공된 도움을 자신의 시각 폭에 맞추는 것을 가능하게 한다.
본 방법의 제2 실시예의 다른 특별한 특징에 따르면, 관심 구역의 상기 적어도 하나의 사전결정된 처리는:
- 문자 구역으로의 각 단어 구역의 분할, 및/또는
- 블라인드 구역의 크기의 함수로서, 문자의 크기의 증대, 및/또는
- 문자 폰트의 변경, 및/또는
- 몇 개의 라인에 걸친 단어의 레이아웃, 및/또는
- 단어의 분해, 및/또는
- 문자들 사이의 간격의 증대, 및/또는
- 콘트라스트(contrast)의 변경, 및/또는
- 극성 반전(polarity inversion), 및/또는
- 관심 구역에 포함된 단어의 음성 합성(voice synthesis)으로 구성된다.
따라서, 제2 실시예에 따른 방법은 유리하게는 관심 구역의 단어 각각을 상이하게 변경하는 것을 가능하게 한다.
이전의 특별한 특징의 변형예에 따르면, 문자가 블라인드 구역으로부터 멀리 있는 비전 구역의 라인 상에 재생되도록 의도될 때 문자의 크기 및/또는 문자들 사이의 간격이 더욱 증대된다.
따라서, 본 방법은 유리하게는 시각적 군집 현상을 제한하거나, 또는 실제로 제거하는 것을 가능하게 한다.
본 방법의 제2 실시예의 다른 특별한 특징에 따르면, 현재의 관심 구역의 양쪽에 각각 위치된 이전의 관심 구역 및/또는 이후의 관심 구역이 추가로 결정되며, 이들 구역 중 적어도 하나는 디스플레이 장치상의 가시적 마킹을 포함한다.
따라서, 제2 실시예에 따른 방법은, 유리하게는 동일한 단어 그룹이 여러 번 증강되는 것을 방지하고 및/또는 연속적인 관심 구역이 공통의 단어 구역을 나타내는 것을 방지하는 것을 가능하게 하거나, 적어도 이러한 것의 발생을 개인에게 표시하는 것을 가능하게 한다. 따라서, 또한 본 방법은 유리하게는 증강될 다음 단어 그룹을 개인에게 표시하는 것을 가능하게 할 수 있다.
제2 실시예의 다른 특별한 특징에 따르면, 상기 방법은 관심 구역을 포함하는 라인 구역 바로 아래에 위치된 라인 구역의 좌측의 프레임을 디스플레이 장치상에 표시하는 것으로 구성된 단계를 추가로 포함한다.
따라서, 제2 실시예에 따른 방법은 유리하게는 다음 라인으로의 이동시에 판독자(reader)를 돕는 것을 가능하게 하며, 이러한 이동은 편심시(eccentric vision) 하에서 읽을 때 특히 어렵다.
제1 및 제2 실시예의 특별한 특징에 따르면, 상기 방법은, 처리된 관심 구역의 비전 구역에의 재생 단계 이전에, 또는 상기 위치설정 기준의 선택에 따른 관심 구역의 결정 단계 이전에, 각 개인에 대해 결정된 선호 망막 위치 구역의 위치에 대응하는 것으로서 블라인드 구역에 대한 비전 구역의 주변 위치를 결정하는 것으로 구성된 단계를 포함한다.
따라서, 본 방법은 유리하게는 각 개인에게 맞춰진 방식으로 반상 시력의 부존재시에 시선에 대한 연동의 유효성을 최적화하는 것을 가능하게 한다.
이전의 특별한 특징에 따르면, 블라인드 구역에 대한 비전 구역의 주변 위치의 결정 단계는:
- 디스플레이 장치상에 복수의 목표물을 표시하는 단계,
- 각각의 목표물에 대하여, 안구계를 이용하여, 개인이 목표물을 주시할 때 목표물에 대한 개인의 암점의 상대 위치를 검출하는 단계, 및
- 선호 망막 위치 구역의 위치를, 암점의 위치에 대한 목표물의 상대 위치인 것으로서 교정하는 단계, 및
- 목표물의 위치에 대한 암점의 상대 위치가 고정된 목표물의 함수로서 변하는 경우에는,
- 이전 검출에 따라 수행된 교정의 함수로서, 디스플레이 장치상에 표시된 형상 윤곽선의 위치설정을 안구계에 의해 검출된 암점의 위치설정에 연동시키는 단계,
- 디스플레이 장치상에 고정된 목표물 심볼을 표시하는 단계,
- 개인이 목표물 심볼을 포함하도록 연동된 형상 윤곽선을 위치시킬 때, 연동된 형상 윤곽선과 목표물 심볼 사이의 시프트를 측정하는 단계, 및
- 이러한 측정값의 함수로서, 이전 검출에 따라 수행된 교정을 수정하는 단계로 구성된 교정 단계를 포함한다.
본 방법의 제1 및 제2 실시예의 다른 특별한 특징에 따르면, 비전 구역은 블라인드 구역 아래 또는 위에 병치 및 중심설정 방식으로 위치된다.
따라서, 제1 및 제2 실시예에 따른 방법은, 유리하게는 개인이 단일 주시에서 가장 많은 개수의 시각적 특성, 예를 들어 글자를 식별하여 자신의 시각 폭을 증대시키는 것을 가능하게 한다. 또한, 이러한 다른 특별한 특징에 따른 방법은 개인이, 심지어 비전 구역의 디스플레이 동안에, 자신의 지각 폭을 그대로 유지할 수 있게 한다.
본 방법의 제1 및 제2 실시예의 다른 특별한 특징에 따르면, 블라인드 구역의 위치설정을 연동시키는 포인팅 장치는 컴퓨터 키보드, 마우스 및 안구계 중에서 선택된다.
다른 양태에 따르면, 본 발명은, 프로그램이 프로세서에 의해 실행될 때, 이전의 청구항 중 어느 한 항에 청구된 방법을 구현하기 위한 명령어를 포함하는 컴퓨터 프로그램에 관한 것이다.
상기에서 간결하게 기재된 바와 같은 컴퓨터 프로그램에 의해 제공된 장점은 본 발명의 제1 양태에 따른 방법과 관련하여 상기에 기재된 것과 적어도 동일하다.
본 발명의 내용에 포함됨.
본 발명의 다른 특징 및 이점은, 전적으로 비제한적인 예시로서, 첨부된 도면을 참조하여 하기에 주어진 설명으로부터 명백하게 드러날 것이다:
도 1은 읽혀지는 문자의 크기의 함수로서 중심시 및 주변시 하에서의 최대 읽기 속도의 변화를 도시하고,
도 2는 시각 폭(좌측) 및 읽기 속도에 대한 시각 폭의 크기의 영향(우측)을 도시하고,
도 3a 및 도 3b 각각은 시각적 군집 현상 및 본 발명에 따른 이러한 현상 억제 방법을 도시하고,
도 4a, 도 4b, 도 4c 및 도 4d는 본 발명에 따른 방법의 제2 실시예의 몇 개의 변형예를 도시하고,
도 5는 본 발명에 따른 방법의 제2 실시예의 특별한 특징을 도시하고,
도 6은 본 발명에 따른 방법의 제2 실시예의 다른 특별한 특징을 도시하고,
도 7a 및 도 7b는 맹점에 대한 비전 구역의 주변 위치의 결정의 일 실시예를 도시하고,
도 8은 제1 및 제2 실시예에 따른 방법의 단계의 흐름도를 나타내고,
도 9a 및 도 9b는 제2 실시예에 있어서의 본 발명에 따른 방법의 특별한 특징을 도시하며,
도 10은 본 발명에 따른 제1 실시예를 도시한다.
도 1은 읽혀지는 문자의 크기의 함수로서 중심시 및 주변시 하에서의 최대 읽기 속도의 변화를 도시하고,
도 2는 시각 폭(좌측) 및 읽기 속도에 대한 시각 폭의 크기의 영향(우측)을 도시하고,
도 3a 및 도 3b 각각은 시각적 군집 현상 및 본 발명에 따른 이러한 현상 억제 방법을 도시하고,
도 4a, 도 4b, 도 4c 및 도 4d는 본 발명에 따른 방법의 제2 실시예의 몇 개의 변형예를 도시하고,
도 5는 본 발명에 따른 방법의 제2 실시예의 특별한 특징을 도시하고,
도 6은 본 발명에 따른 방법의 제2 실시예의 다른 특별한 특징을 도시하고,
도 7a 및 도 7b는 맹점에 대한 비전 구역의 주변 위치의 결정의 일 실시예를 도시하고,
도 8은 제1 및 제2 실시예에 따른 방법의 단계의 흐름도를 나타내고,
도 9a 및 도 9b는 제2 실시예에 있어서의 본 발명에 따른 방법의 특별한 특징을 도시하며,
도 10은 본 발명에 따른 제1 실시예를 도시한다.
가장 광범위한 관점에서, 본 발명은 암점에 의해 나타나는 망막 병상으로 고통받는 개인에 의한 디스플레이 장치(D) 상의 디지털 이미지(I)의 시각적 탐색을 돕기 위한 방법(S)에 관한 것이다. 디지털 이미지(I)는 구역들로 분할할 수 있는 점의 매트릭스로 이루어져 있다.
본 방법(S)은:
- 형상 인식 소프트웨어의 도움으로, 디지털 이미지의 물체 구역(ZO)에 포함된 적어도 하나의 물체를 인식하는 단계 S10,
- 이미지를 응시하는 사용자의 시야에 있어서 암점의 위치에 대응하는 이미지 내의 블라인드 구역(blind zone)(Z1)을 결정하는 단계 S30, 및
- 블라인드 구역 및 물체 구역의 근접의 검출의 경우에, 이미지의 처리를 적용하여 사용자를 위한 물체 구역을 강조하는 단계 S70 및 S90으로 이루어지는 단계들을 포함한다.
따라서, 본 방법(S)은, 유리하게는, 시선의 위치 및 암점의 크기를 사용하여 증강된 방식으로 재생될 정보를 규정할 뿐만 아니라, 이미지(I)의 다양한 물체를 검출하여, 개인이 시각적으로 탐색하고 있거나 탐색하고자 하는 물체를 명확하게 식별하고 또한 이러한 물체의 증강된 디스플레이를 최적화하여 그의 시력을 제한하는 요인을 보상할 수 있게 한다.
본 방법(S)은 또한:
- 디지털 이미지상에서의 블라인드 구역(Z1)의 위치설정의 기준에 따라, 적어도 하나의 물체 구역(ZO)을 포함하는 관심 구역(Z2)을 결정하는 단계 S50, 및
- 결정된 관심 구역(Z2)을 볼 수 있게 하는 마킹(MZ2)을 디스플레이 장치상에 표시하는 단계 S60으로 구성되는 단계들을 포함한다.
더욱이, 물체 구역의 강조 단계 S70 및 S90은, 결정된 관심 구역(Z2)을 변경하는 단계 S70에 의해 그리고 적어도 하나의 사전결정된 처리에 따라 비전 구역(vision zone)(Z3)에 결정된 관심 구역(Z2)을 재생하는 단계 S90에 의해 결정된 관심 구역(Z2)을 증강시키는 것으로 구성된다.
개인의 시선이 디지털 이미지(I)를 가로지르는 것과 동일한 방식으로, 블라인드 구역(Z1)은 디스플레이 장치(D) 및 보다 특별하게는 디지털 이미지(I)상에 판독자에 의해 자유롭게 위치설정 가능할 수 있어야 한다. 이것은 컴퓨터 키보드, 마우스 또는 바람직하게는 안구계와 같은 포인팅 장치(pointing device)에 대해 블라인드 구역(Z1)의 위치설정을 연동시킴으로써 수행된다.
따라서, 본 방법은, 유리하게는, 자신이 자동 마킹에 의해 인식된 물체를 증강할 수 있다는 것을 개인에게 시각적으로 알릴 수 있게 한다. 실제로, 관심 구역(Z2)의 마킹(MZ2)은 자신이 증강할 수 있는 인식된 물체를 개인이 인식할 수 있게 한다.
어떠한 구역, 및 특히 관심 구역(Z2)의 마킹은, 시각적 속성을 변경함으로써 이러한 구역을 구성하는 그래픽 요소(또는 보다 특별하게는 하기에 설명되는 제2 실시예에 따른 텍스트 부분)를 강조하는 동작인 것이다. 예로서, 마킹은 윤곽선(outline) 및/또는 구역의 오버라이닝(overlining)으로 구성될 수 있다.
본 방법(S)의 특별한 특징에 따르면, 관심 구역(Z2)을 결정하는, 디지털 이미지(I)상에서의 블라인드 구역(Z1)의 위치설정의 기준은:
- 블라인드 구역(Z1)에 의한 관심 구역(Z2)의 오버랩의 기준, 및
- 각 개인에 대해 결정된 선호 망막 위치(preferred retinal locus) 구역(PRL)에 의한 관심 구역(Z2)의 오버랩의 기준 중에서 선택되며, 디스플레이 장치(D)상에서의 이러한 선호 망막 위치 구역(PRL)의 위치설정은 이러한 동일한 장치상에서의 블라인드 구역(Z1)의 위치설정과 관련된다.
상기의 특별한 특징에 따르면, 상기 오버랩의 기준은:
- 블라인드 구역(Z1) 또는 관심 구역(Z2) 상의 선호 망막 위치(PRL) 구역의 특정 지점, 예를 들어 고려되는 구역의 중심 또는 우하측 코너의 위치설정, 또는
- 블라인드 구역(Z1) 또는 선호 망막 위치(PRL) 구역에 의한 관심 구역(Z2)의 보다 큰 오버랩 영역을 결정하는 것으로 구성된다.
보다 큰 오버랩 영역을 결정하는 것에 기초한 오버랩의 기준은, 아마도, 예를 들어 각각의 인식된 물체의 좌표에 기초한 약간의 간단한 기하학적 계산을 필요로 한다. 이들 계산은 본 기술분야에 숙련된 자의 능력의 범위 내인 것으로 추정된다.
본 발명의 제2 실시예와 관련되지만, 도시된 특별한 특징이 이러한 실시예에 한정되지는 않는 도 9a 및 도 9b에 도시된 바와 같이, 비전 구역(Z3)이 상기 사전결정된 처리에 따라 디스플레이 장치(D)상에 부분적으로만 재생되도록 관심 구역(Z2)이 디스플레이 장치(D)의 에지에 근접하게 위치되는 것을 제공할 수 있다. 다음에, 본 방법(S)의 특별한 특징에 따르면, 관심 구역(Z2)의 증강은, 관심 구역(Z2)의 변경(S70) 및 재생(S90)에 부가하여, 디스플레이 장치(D)상에 완전하게 재생되도록 하는 방식으로 비전 구역(Z3)을 변위시키는 것이다. 이러한 변위는, 바람직하게는, 그에 따라 변위된 비전 구역(Z3)이 상기 사전결정된 처리에 따라 디스플레이 장치(D)상에 부분적으로만 재생되는 비전 구역(Z3)과 실질적인 최대 오버랩을 나타내도록 하는 방식으로 수행된다. 바람직하게는, 이것은 블라인드 구역(Z1)에 대한 비전 구역(Z3)의 위치가 예를 들어 후술하는 시험에 따라 각 개인에 대해 결정된 선호 망막 위치 구역의 위치에 대응하는 것으로서 선택될 때 한층 더 현저하다.
본 방법(S)의 다른 특별한 특징에 따르면, 물체 구역의 강조 또는 결정된 관심 구역(Z2)의 증강은 액추에이터(actuator)를 작동시킴으로써 개인에 의해 제어되고, 본 방법은 증강 전의 디지털 이미지(I)로의 복귀 단계를 추가로 포함할 수 있으며, 이러한 복귀는 또한 액추에이터를 작동시킴으로써 개인에 의해 제어된다. 선택적으로, 액추에이터의 작동은 개인에 의해 유지될 수 있으며, 선택적으로 증강 전의 디지털 이미지(I)로의 복귀 단계는 액추에이터의 해제에 의해 제어된다.
따라서, 이러한 특별한 특징에 따른 본 방법(S)은 유리하게는 개인이 증강의 개시 및 지속시간(duration)을 제어할 수 있게 한다.
본 방법(S)의 다른 특별한 특징에 따르면, 관심 구역(Z2)의 필요한 마킹(MZ2)에 부가하여, 블라인드 구역(Z1) 및 비전 구역(Z3) 중 적어도 하나의 구역은 디스플레이 장치상의 가시적 마킹을 포함한다.
따라서, 본 방법은, 개인이, 증강하고자 하는 인식된 물체를 안정화시킬 뿐만 아니라, 암점의 범위를 인식하여 개인이 안구 운동을 최적화할 수 있게 하는 것을 가능하게 한다.
도 10에 도시된 제1 실시예에 따른 방법은, 본질적으로, 형상 인식 소프트웨어가 자동 이미지 처리에 이용되는 전경-배경 분리(figure-background segregation)의 원리에 기초하는, 배경에 대해 물체를 분할하기 위한 알고리즘을 포함하도록 한다.
따라서, 이러한 제1 실시예에 따른 방법은 유리하게는 물체, 얼굴 또는 기하학적 형상의 국소 또는 반국소(semi-local) 인식에 맞춰진다.
도 10은 개인의 암점을 나타내는 블라인드 구역(Z1)과 함께 3명의 사람의 동일한 사진을 나타내는 도면을 도시한다. 3명 중 한 사람의 적어도 하나의 얼굴은 강조될 물체로서 인식되었다. 도 10의 중앙에 있는 사진에 도시된 바와 같이, 전술한 위치설정 기준에 따라 블라인드 구역을 이러한 얼굴로 가져가는 개인은 얼굴 주위에 나타난 (검정색) 윤곽선을 보고서, 예를 들어 도 10의 우측 도면에 도시된 방식으로 인식된 얼굴을 증강하는 가능성이 자신에게 제공된 것을 안다.
본 방법(S)의 제1 실시예의 특별한 특징에 따르면, 관심 구역(Z2)의 사전결정된 처리는 도 10의 우측 사진에 나타낸 바와 같이 인식된 물체를 포함하는 관심 구역(Z2), 또는 동등하게 물체 구역(ZO)의 크기의 확대로 구성되어 있다. 또한, 이러한 실시예에 따르면, 이러한 확대는 디스플레이 장치(D)상에서 비전 구역(Z3)을 차지할 때까지 점진적으로 커지게 하는 것이 제안된다. 또한, 이러한 확대는 예를 들어 마우스의 썸휠(thumbwheel)을 통해 개인에 의해 직접적으로 구동될 수 있다.
선택적으로, 디지털 이미지(I) 내의 초기 위치로부터 물체 구역(ZO)의 점진적인 시프팅은 유리하게는, 무엇보다도 블라인드 구역(Z1)에 대한 비전 구역(Z3)의 위치가 선호 망막 위치(PRL) 구역에 대응하는 것으로서 선택되는 경우에, 증강된 물체가 비전 구역의 중심에 위치되도록 수행될 수 있다.
제1 실시예의 이러한 특별한 특징에 따르면, 본 방법(S)은, 증강 전의 크기 및 위치로 복귀할 때까지, 증강된 관심 구역(Z2)의 크기의 반대의 점진적인 축소, 및 선택적으로는 위치의 반대의 점진적인 시프팅으로 구성되는, 증강 전의 디지털 이미지(I)로의 복귀 단계를 추가로 포함할 수 있다.
따라서, 제1 실시예의 이러한 특별한 특징에 따른 방법은, 유리하게는, 특히 디지털 이미지의 나머지의 후속적인 시각적 탐색을 용이하게 하기 위해, 개인이 디지털 이미지 내의 관심 구역의 초기 위치의 기억을 유지할 수 있게 한다. 또한, 증강된 관심 구역(Z2)의 위치를 시프팅하는 것은 비전 구역(Z3)이 유리하게 각 개인에 대해 결정된 선호 망막 위치(PRL) 구역과 가장 잘 일치하게 하는 것을 가능하게 한다.
제2 실시예에 따르면, 본 방법(S)은, 암점에 의해 나타나는 망막 병상으로 고통받는 개인에 의해 읽혀지도록 의도된 텍스트의 디스플레이 장치상에서의 읽기를 돕기 위한 방법에 관한 것이며, 도 1 내지 도 9를 참조하여 하기에서 설명된다.
텍스트는 점의 매트릭스로 이루어진 디지털 이미지(I)의 일부를 형성한다. 점의 임의의 매트릭스와 같이, 텍스트의 이미지를 구성하는 매트릭스는 구역으로 분할가능하다. 각각의 구역은 우선적으로는 일체로 구성되어 있다.
본 발명에 따른 방법이 판독자를 가장 잘 도울 수 있게 하기 위해서, 특히 개인이 예를 들어 스크롤바(scrollbar)의 도움으로, 이미지를 영구적으로 변위하게 하지 않고서 용이하게 자신의 위치를 알 수 있게 하도록, 우선 텍스트에 대한 최대의 전체 정보를 디스플레이 장치(D)에 유지하는 것이 제안될 수도 있다.
이러한 목적을 위해, 본 방법은 텍스트의 이미지를 변경하는 것으로 구성된 단계를 포함한다. 이러한 변경은 디지털 이미지(I)의 크기 조정(redimensioning)으로 구성될 수 있다. 예를 들면, 텍스트의 이미지는, 텍스트의 라인이 텍스트의 이미지를 표시하는 디스플레이 장치(D)의 에지에서 시작하고 디스플레이 장치의 대향 에지 앞에서 종료하도록 다시 크기 조정되고, 그에 따라 판독자가 그 읽기의 과정에 있어서 텍스트의 각 라인의 종료부 및 개시부에서 대응하는 스크롤바에 의해 이미지를 변위시키는 것을 불필요하게 한다.
그러한 크기 조정은 라인 간격의 변경을 자동적으로 유발할 수 있지만, 라인 간격의 변경이 독립적으로 실행될 수 있는 것이 또한 제안된다.
이미지를 변경하는 이러한 단계는, 우선적으로는, 문자의 크기, 라인의 길이 및/또는 개수, 디스플레이 장치의 크기, 및/또는 디스플레이 장치상에서 개인의 암점을 나타내는 소위 블라인드 구역(Z1)의 크기 중의 적어도 하나의 파라미터를 고려함으로써 수행된다. 예를 들면, 텍스트의 이미지는 블라인드 구역이 3개 이상의 연속하는 라인 부분과 오버랩하지 않도록 크기 조정된다.
도 8을 참조하면, 본 발명에 따른 방법은, 문자 인식 소프트웨어의 도움으로, 라인 구역(LZ)으로의 분할에 의해, 그리고 그 후에 단어 구역(WZ)으로의 각 라인 구역의 분할에 의해 적어도 하나의 텍스트 부분을 인식하는 것으로 구성된 단계 S10을 포함한다. 인식 소프트웨어는 광학식 문자 인식(OCR) 소프트웨어와 같은, 인쇄 또는 타이핑된 텍스트의 이미지를 텍스트 파일로 변환하기 위한 컴퓨터 방법을 지정한다. 이미지의 단어 구역 분할이 수행되는 경우, 각 단어의 좌표가 검출되어 사용될 수 있다.
도 8을 참조하면, 본 발명에 따른 방법은 블라인드 구역(Z1)을 결정하는 것으로 구성된 단계 S30을 추가로 포함한다. 이러한 블라인드 구역은 디스플레이 장치(D) 상의 개인의 암점을 나타낸다. 바람직하게는, 이러한 블라인드 구역은 암점을 완전히 포함한다. 예를 들면, 이러한 구역의 형상은, 개인의 암점의 형상, 일반적으로 대략 디스크의 형상에 맞춰질 수 있거나, 예를 들어 직사각형 형상으로 디폴트로 규정될 수도 있다.
제2 실시예에 따른 방법은 적어도 하나의 단어 구역(WZ)을 포함하는 관심 구역(Z2)을 결정하는 것으로 구성된 단계 S50을 추가로 포함한다.
본 방법의 제2 실시예에 따르면, 위치설정 및 오버랩 기준은 전술한 바와 같다. 따라서, 개인에 의해 채택된 전략의 함수로서, 관심 구역(Z2) 내에 포함된 단어는 예를 들어 블라인드 구역(Z1)의 에지 아래에 또는 그에 근접하게 위치될 수도 있다.
본 방법의 제2 실시예에 따르면, 보다 큰 오버랩 영역의 결정에 필요한 약간의 간단한 기하학적 계산은 각 단어 구역 및 선택적으로는 각 글자 구역의 좌표의 검출에 기초한다. 도 4c 및 도 4d의 비교 분석에 의해 나타낸 바와 같이, 연속적인 라인 구역 및 단어 구역은, 예를 들어 모든 구역의 합이 텍스트의 이미지를 완전히 덮도록 하는 방식으로 반드시 병치될 필요가 없으며, 반대로 빈 텍스트 구역에 의해 약간 이격될 수도 있다는 것에 주목해야 한다.
본 방법의 제1 실시예에서와 같이, 전술한 위치설정 또는 오버랩 기준 중 하나에 따라 결정된 관심 구역(Z2)은 그것의 시각화를 허용하는 마킹(MZ2)을 통해 디스플레이 장치상에 표시된다(S60).
도 8을 참조하면, 본 발명에 따른 방법은 적어도 하나의 사전결정된 처리에 따라 관심 구역(Z2)을 변경하는 것으로 구성된 단계 S70, 및 블라인드 구역(Z1)의 주변에 위치된 비전 구역(Z3)에 처리된 관심 구역(Z2)을 재생하는 것으로 구성된 단계 S90을 추가로 포함한다. 변경 단계 S70 및 재생 단계 S90, 또는 재생 단계 S90 단독은 예를 들어 마우스의 버튼 또는 키보드의 키를 누름으로써 개인에 의해 제어된다.
본 방법의 제2 실시예에 따르면, 상기 적어도 하나의 텍스트 부분의 인식(S10)은 글자 구역으로의 각 단어 구역의 분할을 추가로 포함한다. 따라서, 본 방법은 유리하게는, 예를 들어 증강될 단어 그룹의 글자의 와인딩(winding)에 의한 변형에 의해, 또는 암점의 중심에 가장 근접한 글자의 크기보다 상당한, 암점의 중심으로부터 멀리 떨어진 글자의 크기의 증대에 의해, 관심 구역 내에 위치된 단어의 보다 미세하게 제어된 변경(S70) 및 재생(S90)을 허용한다. 글자 구역으로의 이미지의 분할이 수행되는 경우, 각 글자 구역의 좌표가 검출되어 사용될 수 있다.
본 방법의 제2 실시예에 따라 수행된 증강은 유리하게는 반상 암점의 존재시에 읽기 훈련에 의해 얻어진 기본적인 측면을 고려한다. 실제로, 이러한 증강은, 암점에 의해 가려진 정보를 변위시키는 것(텍스트의 이미지의 크기 조정 또는 변형)으로 만족하지 않고, 이미지의 단어를 인식하고, 개인이 읽고자 하는 것을 명확하게 식별할 수 있게 하고, 암점의 존재시에 읽기를 제한하는 요인을 보상하도록 이들 단어의 표시를 최적화한다. 그러나 단어로의 이미지의 분할 없이, 액세스할 수 없는 상태로 있는 동안에 이러한 이점은 판독자를 지능적 및 효과적으로 돕기 위해 본 방법의 제2 실시예에 따른 방법의 단계 S50, S70 및 S90과 조합되어야 하는 이러한 특성 단독으로 달성될 수 없다.
이것을 보다 잘 이해하기 위해서, 선호 망막 위치 구역(PRL), 시각적 군집(visual crowding), 시력(acuity) 및 시각 폭(visual span)과 같은 시각 신경과학의 특정 개념을 설명하는 것이 필요하다. 이러한 개념은 지각 관점 및 안구운동 관점 모두에서 역할을 할 수 있게 한다.
도 1을 참조하면, 편심시 하에서의 시력은 텍스트의 문자의 크기가 증대되는 경우에 읽기 속도의 면에서 이득을 얻는다는 것이 밝혀졌다. 그러나 연속적인 시각적 물체의 고속 제시 또는 RSVP(Rapid Serial Visual Presentation; 신속 순차 시각 제시)의 상태하에서 건강한 개인에 있어서 주변시(b)에서의 문자의 크기를 단순히 증대시키는 것은 중심시(a)에서 얻어진 속도 임계값을 달성할 수 없게 한다. 도 1의 그래프(Legge 외. 1985a; Legge 외 1985b)는 가로축에 나타낸 읽혀진 문자의 크기의 함수로서, 세로축에 나타낸 읽기 속도 측정값을 나타낸다. 그러므로, 도 1은 자신의 정상 시력(a)을 이용하는 개인 및 자신의 주변시(b)를 이용하는 개인에 대한 문자의 크기의 함수로서 읽기 수행능력을 도시하고 있다.
도 2를 참조하면, 시각 폭은 읽기에 대한 연구의 관점에서 중요한 개념으로서 정의된다. 이 시각 폭은 글자가 어떠한 언어 정보 없이 식별될 수 있는 시야의 범위에 대응한다. 이러한 시각 폭은 문맥에 의하지 않고서 주시(fixation)에 근거하여 식별될 수 있는 글자의 개수를 정량화한다. 도 2의 좌측의 이미지는 시각 폭(VS)의 개념을 도시하고 있다. 개인의 시선이 단어를 포함하는 원의 중심을 주시하면, 그 시각 폭은 단어 "this must"에 대응한다. 도 2의 우측의 이미지(O'Regan 1979 and O'Regan 외, 1983)는 읽기 속도(세로축)에 대한 시각 폭(가로축)의 크기의 영향을 나타낸다. 이러한 이미지는 하기의 현상을 나타낸다: 읽기 속도가 시각 폭의 크기와 함께 증가함.
도 3a를 참조하면, 시각적 군집은 단어의 인접한 글자들 사이, 또는 단어들 자체 사이의 공간적 상호작용의 산물이다. 식별되어야 할 글자(또는 단어)가 분리하기에 충분히 큰 공간적 구역을 가지면, 군집은 식별에 영향을 미치지 않는다. 반대로, 다른 글자(또는 단어)가 이러한 구역 내에 존재하는 경우, 해당 글자의 식별은 방해를 받는다. 시각적 군집 현상을 회피하는데 필요한 공간적 구역(분리 구역으로 불림)의 크기는 편심률(eccentricity)에 비례하여 증대한다. 도 3a는 이것을 입증할 수 있게 한다. 중간 십자기호를 주시하는 경우에, 좌측의 글자 "r"을 식별하는 것이 용이하다. 그러나 우측의 글자 "r"은 식별하기 불가능하며; 그것을 식별하기 위해서는, 글자 "a"의 좌측에 위치된 작은 십자기호를 주시할 필요가 있다(Pelli and Tillman, 2007).
선호 망막 위치(PRL) 구역은 암점의 존재시에 주의가 분산되는 비전 구역으로서 정의된다. 실제로, 중심 암점이 존재하는 경우, 망막의 중심은 목표물을 식별하는데 사용될 수 없으며, 그에 따라 개인은 주의 분산 구역과 자신의 시선을 분리함으로써 고통 영역 외측으로 부득이하게 주의를 분산하게 된다. 그러므로, 선호 망막 위치 구역은, 암점의 존재시에, 중심와 외 망막(extrafoveal retina)의 하나 이상의 비전 구역(Z3)을 향해 자연적으로 변위된다. 개인에 의한 목표물의 주시의 일 동안에, 이러한 선호 망막 위치 구역은 예를 들어 안구계의 도움으로, 검출가능하고 위치설정가능하다.
따라서, 관심 구역(Z2)의 결정(S50) 이전에, 텍스트의 이미지를 변경하는 것으로 구성된 단계는 암점의 크기의 함수로서 단어 시력 임계값에 자신을 배치함으로써 개인이 각각의 단어를 읽을 수 있게 하는 크기로 텍스트의 문자를 설정하는 것을 가능하게 한다. 텍스트의 문자의 이러한 크기는 개인이 자신의 암점으로 정확하게 읽을 수 있게 하기에 충분히 크지만, 텍스트에 대한 전체 정보의 손실을 회피하도록 너무 크지 않다. 텍스트의 라인 간격은 암점의 크기의 함수로서 증대될 수 있고, 그에 따라 개인은 읽을 때에 라인 상에 자신의 암점을 보다 잘 위치시킬 수 있다.
도 3b를 참조하면, 본 방법의 제2 실시예의 특별한 특징에 따르면, 관심 구역(Z2)의 상기 적어도 하나의 사전결정된 처리는 문자 구역(또는 글자 구역)으로의 각 단어 구역의 분할, 및 문자들 사이의 간격의 증대로 구성되어, 시각적 군집 현상을 제한하거나, 실제로는 회피할 수 있게 한다. 이러한 것이 도 3b에 도시되어 있는데, 좌측에는 글자들 사이의 간격이 정상이어서 (좌측의 십자기호를 응시할 때) 편심시에서의 식별을 어렵게 하는 단어를 나타내고, 우측에는 글자들 사이의 간격이 증대되어서 (우측의 십자기호를 응시할 때) 편심시에서의 식별을 보다 용이하게 하는 단어를 나타낸다.
본 방법의 제2 실시예의 다른 특별한 특징에 따르면, 관심 구역(Z2)은, 상기 적어도 하나의 중첩된 단어 구역에 부가하여, 동일한 라인 구역에 속하는 적어도 2개의 다른 단어 구역을 포함할 수 있으며, 관심 구역(Z2)의 각 단어 구역은 바람직하게는 관심 구역(Z2)의 다른 단어 구역과 병치된다. 따라서, 본 방법은 우선적으로는 각 단어 구역의 크기를 고려하고 개인에게 제공된 도움을 자신의 시각 폭에 맞추는 것을 가능하게 한다.
또한, 본 방법의 제1 실시예를 참조하여 상기에서 이미 도입된 본 방법의 제2 실시예의 다른 특별한 특징에 따르면, 블라인드 구역(Z1) 및 비전 구역(Z3) 중 적어도 하나의 구역은 디스플레이 장치상의 가시적 마킹을 포함한다. 따라서, 이러한 특별한 특징에 따른 방법은 개인이 읽기 처리중인 라인 상에 수직으로 안정화시키는 것을 추가로 돕는 것을 가능하게 한다. 또한, 도 4a 내지 도 4b에 도시된 바와 같이, 블라인드 구역(Z1)은 윤곽선에 의해 경계 지어지고, 이러한 윤곽선의 존재는 개인이 자신의 맹점의 경계를 인식하여 자신의 안구 운동을 최적화할 수 있게 하는 것을 돕는다.
도 4a에 도시된 예에 있어서, 텍스트의 문장에 대해 높은 위치로부터, 블라인드 구역(Z1)은 포인팅 장치에 의해서 개인에 의해 자신이 증강하고자 하는 단어의 그룹상으로 옮겨진다. 관심 구역(Z2)은 개인이 목표물 상에 자신을 위치시키는 것을 돕도록 표시된다. 이러한 예에 따르면, 관심 구역(Z2)의 사전결정된 처리 또는 증강은, 그 크기의 증대, 및 예를 들어 아마도 블라인드 구역(Z1)의 크기에 따른 증대의 폭으로 구성된다.
도 4a에서는, 도 4b와 마찬가지로, 블라인드 구역(Z1)은 오버랩하는 단어가 보이도록 투명하게 되어 있는 반면, 실제 상황에서는, 도 4c 및 도 4d에 도시된 바와 같이, 블라인드 구역에 의해 오버랩된 단어는 자신의 암점에 의해 개인에게 가려지고 따라서 보이지 않는다는 것에 주목해야 한다.
도 4b에 도시된 예에 있어서, 제2 실시예에 따른 방법(S)은, 관심 구역(Z2)의 증강이 그 크기의 증대뿐만 아니라, 비전 구역(Z3)의 몇 개의 라인, 본 예시에서는 2개의 라인에 걸쳐서 포함하는 단어의 분포로 구성되는 것을 제외하고는, 도 4a를 참조하여 상기에서 논의된 예와 동일한 방식으로 구현된다.
도 4c에 도시된 예에 있어서, 본 방법(S)은, 문자가 블라인드 구역(Z1)으로부터 멀리 있는 비전 구역(Z3)의 라인 상에 재생(S90)될 때 문자의 크기 및/또는 문자들 사이의 간격이 더욱 증가하는 것으로 관심 구역(Z2)의 증강이 추가로 구성되는 것을 제외하고는, 도 4b를 참조하여 상기에서 논의된 예와 동일한 방식으로 구현된다.
도 4d에 도시된 예에 있어서, 본 방법(S)은, 관심 구역(Z2)이 긴 단어 구역(WZ)을 포함하고 이러한 관심 구역의 증강이 긴 단어의 분해(breaking)로 구성되는 것을 제외하고는, 도 4c를 참조하여 상기에서 논의된 예와 동일한 방식으로 구현된다.
본 방법의 하나의 실시예에 따르면, 또한 도 5에 도시된 바와 같이, 현재의 관심 구역(Z21)(단계 S50에서 결정됨)의 양쪽에 각각 위치된 이전의 관심 구역(Z20) 및/또는 이후의 관심 구역(Z22)이 추가로 결정된다. 도 5에 도시된 예에서, 각 구역(Z20, Z21 및 Z22)은 디스플레이 장치 상에 보이는 윤곽선을 포함한다.
제2 실시예의 특별한 특징에 따르면, 또한 도 6을 참조하면, 본 방법은 관심 구역(Z2)을 포함하는 라인 구역 바로 아래에 위치된 라인 구역의 좌측의 프레임(Z4)을 디스플레이 장치상에 표시하는 것으로 구성된 단계를 추가로 포함한다. 라인 바꿈(line transfer)은 편심시에서 텍스트를 읽을 때 상당한 문제가 된다. 도 6은 텍스트의 좌측에 있는 프레임(Z4), 여기서는 검정색 직사각형이 다음 라인 구역(LZ)의 시작 위치를 찾는 것을 어떻게 도울 수 있는지를 도시한다. 이러한 예에 있어서, 본 방법(S)은 암점의 하측 에지 아래에 위치된 단어를 선택하는 것을 가능하게 한다. 검정색 직사각형은, 개인이 바로 위에 위치되는 라인 구역(LZ)의 관심 구역(Z2) 상에 자신의 암점의 에지를 배치하는 경우에 표시되고, 예를 들어 몇 초 동안, 예컨대 3초 동안에 표시된 상태로 유지된다. 따라서, 개인이 하나의 라인으로부터 다른 라인으로 넘어가는 경우에(우측 이미지), 관심 구역(Z2)은 검정색 직사각형(Z4) 바로 옆에 있다. 개인이 라인을 지나치면, 검정색 직사각형(Z4)은 관심 구역(Z2)과 동일한 라인 상에 있지 않고, 그에 따라 개인은 자신이 바로 다음 라인에 위치되어 있지 않다는 것을 지각한다.
본 방법(S)의 제1 및 제2 실시예의 특별한 특징에 따르면, 개인의 선호 망막 위치(PRL) 구역, 선택적으로는 수직 구역을 선택하는 것을 목적으로 하는 시험은 개인의 시야의 최적 위치에 증강된 단어를 표시하도록 수행된다.
따라서, 이러한 실시예에 따르면, 본 방법(S)은, 처리된 관심 구역(Z2)의 비전 구역(Z3)에의 재생(S90) 이전에, 예를 들어 암점의 위치 및 크기를 고려함으로써, 각 개인에 대해 결정된 선호 망막 위치 구역의 위치에 대응하는 것으로서 블라인드 구역(Z1)에 대한 비전 구역(Z3)의 주변 위치를 결정하는 것으로 구성된 단계를 포함한다.
보다 특별하게는, 이러한 실시예에 따르면, 또한 도 7a의 좌측의 2개의 이미지를 참조하면, 블라인드 구역(Z1)에 대한 비전 구역(Z3)의 주변 위치의 결정은:
- 디스플레이 장치상에 복수의 목표물(F)을 표시하는 단계,
- 각각의 목표물(F)에 대하여, 안구계를 이용하여, 개인이 목표물을 주시할 때 목표물에 대한 개인의 암점(S)의 상대 위치를 검출하는 단계, 및
- 선호 망막 위치(PRL) 구역의 위치를, 암점(S)의 위치에 대한 목표물(F)의 상대 위치인 것으로서 교정하는 단계로 구성된 교정 단계를 포함한다.
이러한 교정은, 각 목표물(F)에 대해서, 목표물에 대한 암점(S)의 상대 위치가 동일한 경우에 충분하다. 반대의 경우에는, 하기의 변형예에 따를 수도 있는 교정의 수정이 우선적으로 고려되어야 한다.
이러한 변형예에 따르면, 또한 도 7a의 우측의 이미지 및 도 7b를 참조하면, 목표물(F)의 위치에 대한 암점(S)의 상대 위치가 목표물의 함수로서 변하면, 블라인드 구역(Z1)에 대한 비전 구역(Z3)의 주변 위치의 결정은:
- 디스플레이 장치상에 복수의 목표물(F)을 표시하는 단계,
- 각각의 목표물(F)에 대하여, 안구계를 이용하여, 개인이 목표물을 주시할 때 목표물에 대한 개인의 암점(S)의 상대 위치를 검출하는 단계,
- 선호 망막 위치(PRL) 구역의 위치를, 암점(S)의 위치에 대한 목표물의 상대 위치인 것으로서 교정하는 단계,
- 이전 검출에 따라 수행된 교정의 함수로서, 디스플레이 장치상에 표시된 형상 윤곽선(SO)의 위치설정을 안구계에 의해 검출된 암점(S)의 위치설정에 연동시키는 단계,
- 디스플레이 장치상에 고정된 목표물 심볼(T)을 표시하는 단계,
- 개인이 목표물 심볼(T)을 그 내에 포함하도록 연동된 형상 윤곽선(SO)을 위치시킬 때, 연동된 형상 윤곽선과 목표물 심볼 사이의 시프트(d)를 측정하는 단계, 및
- 이러한 측정값의 함수로서, 이전 검출에 따라 수행된 교정을 수정하여, 암점의 위치에 대한 선호 망막 위치 구역의 상대 위치를 교정하는 단계로 구성된 교정 단계를 포함한다.
개인의 선호 망막 위치 구역을 선택하는 것을 목적으로 하는 시험의 다른 변형예에 따르면, 개인 자신은 사용의 편안함을 최적화하기 위해 비전 구역(Z3)을 수동으로 조정할 수 있다.
그리고 비전 구역(Z3) 또는 RAV(Region of Augmented Vision; 증강현실 비전 영역)는 우선적으로는 개인의 선호 망막 위치(PRL) 구역 상에 표시된다.
본 방법의 제2 실시예에 관해 상기에 개시된 모든 예에 있어서, 개인의 선호 망막 위치(PRL) 구역은 수직이고 암점 아래에 위치된 것으로서 전술한 시험에 따라 결정된 것으로 가정되고, 그에 따라, 나타낸 바와 같이, 비전 구역(Z3)은 블라인드 구역(Z1)과 일렬로 수직하게 그리고 암점 아래에 위치된다.
본 방법의 제2 실시예의 특별한 특징에 따르면, 비전 구역(Z3)의 중심은 우선적으로는 블라인드 구역(Z1)의 중심과 정렬되고, 이에 의해 개인이 단일 주시에서 가장 많은 개수의 글자를 식별하여 자신의 시각 폭을 증대시킬 수 있게 한다.
본 방법의 제2 실시예에 따르면, 관심 영역(Z2)이 우선적으로는 가시적인 상태로 유지되는 한편, 비전 구역(Z3)이 표시된다는 것에 주목해야 한다.
본 방법의 제2 실시예에 따르면, 관심 구역(Z2)이 디스플레이 장치(D)의 에지에 근접하게 위치되어, 비전 구역(Z3)이 상기 사전결정된 처리에 따라 디스플레이 장치(D) 상에 부분적으로만 재생되는 것은 또한 디스플레이 장치의 에지에 가능한 한 근접하여 있는 단어 구역에 대한 관심 구역의 제한을 유발할 수도 있다. 그러한 경우에 있어서, 본 방법은, 유리하게는, 동일한 라인 구역에서 디스플레이 장치의 에지와 반대 측에 위치된 다른 단어 구역이 이러한 상황에서도 개인의 시각 폭으로부터 계속해서 충분히 이득을 얻게 하기 위해 관심 구역 내에 놓이는 것으로 또한 선택되는 것을 제공한다.
본 방법의 제2 실시예에 따르면, 이미지의 텍스트를 단어 구역으로 분할하는 것은 완전한 단어를 비전 구역(Z3)에 재생(S90)하는 것을 가능하게 한다는 것에 또한 주목해야 한다.
더욱이, 본 방법의 제2 실시예에 따르면, 이미지의 텍스트는 문자 인식 소프트웨어에 의해 한꺼번에 완전히 인식(S10)될 수도 있다는 것에 주목해야 한다. 그러나 비제한적인 방식으로, 예를 들어 마우스의 좌측 버튼을 누름과 동시에 마우스 이동에 의해 이미지상에서 판독자에 의해 선택되는 텍스트의 일부만이 인식될 수도 있다. 그 후에, 텍스트의 다른 부분이 동일한 방식으로 선택될 수 있다. 다른 예로서, 블라인드 구역에 의해 오버랩된 텍스트 라인의 일부만 또는 블라인드 구역 주위에 위치된 텍스트 부분만이 인식(S10)된다. 또한, 본 방법의 인식(S10) 및 다른 단계 S30 내지 S90은 마우스의 버튼 또는 키보드의 키를 누름으로써 개인에 의해 개시될 수도 있다.
본 발명에 따른 방법은 본 방법의 구현을 위한 명령어를 포함하는 컴퓨터 프로그램을 실행하기에 적합한 적어도 하나의 프로세서를 포함하는 컴퓨터상에서 구현된다.
텍스트 라인에 대한 임의의 언급이 주어진 언어의 쓰기 및 읽기에 대해서 고려될 것이라는 것이 당업자에게 자명할 것이다. 따라서, 고려된 언어에 따라서, 청구된 본 발명으로부터 벗어남이 없이, 라인 대신에 칼럼(column)을 고려하는 것이 가능하다. 마찬가지로, 도 5에 도시된 바와 같은 이전의 관심 구역(Z20), 현재의 관심 구역(Z21) 및 이후의 관심 구역(Z22)은 좌측에서 우측으로의 읽기 방향을 나타내는 반면, 아랍어와 같은 특정 다른 언어는 쓰기 및 읽기의 반대 방향을 사용한다.
본 발명은 또한, 프로그램이 프로세서에 의해 실행될 때, 전술한 방법을 구현하기 위한 명령어를 포함하는 컴퓨터 프로그램을 제공한다. 또한, 본 발명은 그러한 프로그램을 저장하는 매체(특히, 비일시적인 매체)를 제공한다. 컴퓨터 프로그램은 예를 들어 PythonTM 언어와 같은 다양한 프로그래밍 언어로 기록될 수도 있다. 더욱이, 이러한 프로그램은 그 개발을 용이하게 하도록 의도된 프로그래밍 애플리케이션 및/또는 인터페이스에 기초할 수 있으며; 이러한 타입의 애플리케이션은 예를 들어 상품명 PsychoPyTM에 의해 알려져 있고, 이러한 타입의 프로그래밍 인터페이스는 예를 들어 OpenGLTM 인터페이스이다.
전술한 바와 같이, 본 발명에 따른 방법은 다양한 디지털 콘텐츠의 시각적 탐색을 용이하게 하기 위해 다양한 품목의 하드웨어를 사용하여 구현될 수 있다.
비제한적인 예시로서 주어진 제1 예로서, 디스플레이 장치는 컴퓨터 스크린 또는 태블릿 스크린으로 구성될 수 있으며, 고려된 콘텐츠는 디지털 북 또는 가상 방문(virtual visit)으로 구성될 수 있다. 그리고 콘텐츠는 시각적 탐색과 동시에 또는 하나 또는 임의의 시각적 탐색의 상류에서 본 방법에 따라 처리될 수 있다. 보다 특별하게는, 예를 들어 미술관의 가상 방문의 디지털 콘텐츠는 물체 구역에 포함된 물체로서 전시된 예술 작품을 인식함으로써 사전처리될 수 있으며, 그에 따라 상기 구역은 임의의 사용자가 전시된 예술 작품의 시각적 탐색을 용이하게 하도록 모든 예정된 시각적 탐색 동안에 본 발명의 방법에 따라 증강될 수 있다.
비제한적인 예시로서 주어진 제2 예로서, 디스플레이 장치는 인터넷과 같은 통신 네트워크에 접속될 수도 있는 비디오 또는 멀티미디어 안경의 렌즈로서 구성될 수 있으며, 또한 안경 렌즈 상에 표시된 디지털 이미지(I)는 안경 착용자의 시야의 화상(picture)의 일부 또는 전부로 구성될 수 있다. 이러한 화상은 안경 상에 배치된 카메라에 의해 캡처되고 각 순간마다 착용자가 안경을 통해 보는 것을 나타내도록 연속적으로 리프레시될 수 있다. 그리고 이러한 화상에서의 물체의 인식도 연속적으로 수행될 수 있으며, 예를 들면 착용자의 시야에 위치된 사람의 얼굴이 물체 구역에 포함된 물체로서 인식될 수도 있고, 그에 따라 상기 구역은, 적어도 착용자가 상기 사람의 식별을 용이하게 하도록, 본 발명의 방법에 따라 증강될 수도 있다. 이러한 관점에서, 증강된 물체 구역은 또한 인식된 물체의 움직임 및 보다 일반적으로는 시간 경과에 따른 임의의 변화를 나타내도록 연속적으로 리프레시될 수도 있다. 물체, 보다 특별하게는 착용자의 시야에 위치된 사람의 얼굴의 인식에 대한 제1 결과가 얻어졌다.
ARMD로 고통받는 20명 정도의 착용자에 대해 하기의 얼굴 식별 시험을 실시했다. 9명의 얼굴이 착용자에게 제시된 이미지상에 표시되었다: 중앙의 1명의 얼굴 및 주위의 8명의 얼굴. 과제는 주위에 있는 얼굴 중에서 중간의 얼굴에 대응하는 얼굴을 찾는 것, 및 선택된 얼굴에 쓰인 숫자를 읽는 것이다. 이미지 내에 존재하는 8명의 얼굴은 테스트 전체에 걸쳐서 동일하며, 배향만이 변하고, 얼굴 표정 및 중앙에 위치된 얼굴이 시험마다 변한다. 이러한 얼굴 인식은 시각적 보조 없이, 그리고 본 발명에 따른 시각적 탐색을 돕기 위한 방법에 의해 수행되었다.
파라메트릭 시험(스튜던트 시험(Student's test))은, 본 발명에 따른 시각적 탐색을 돕기 위한 방법을 지지하기 위해, 시각적 보조 없는 인식과 상기 본 발명의 방법에 의한 인식 사이에, 후자를 지지하는 방향으로 약 31%의 상당한 차이를 입증했다. 이러한 결과는, ARMD로 고통받는 착용자가 본 발명에 따른 시각적 탐색을 돕기 위한 방법을 사용하는 경우에, 자신의 시야 내의 사람의 얼굴의 인식 동안 이러한 착용자의 수행 능력에서 상당한 향상을 나타내므로 매우 고무적이다.
Claims (22)
- 암점에 의해 나타나는 망막 병상으로 고통받는 사용자에 의한 디스플레이 장치상의 디지털 이미지(I)의 시각적 탐색을 돕기 위한 방법(S)으로서, 상기 디지털 이미지는 구역들로 분할할 수 있는 점의 매트릭스로 이루어지는, 방법에 있어서,
- 형상 인식 소프트웨어의 도움으로, 디지털 이미지의 물체 구역(ZO)에 포함된 적어도 하나의 물체를 인식하는 단계 S10,
- 이미지를 응시하는 사용자의 시야에 있어서 암점의 위치에 대응하는 이미지 내의 블라인드 구역(Z1)을 결정하는 단계 S30, 및
- 상기 블라인드 구역 및 상기 물체 구역의 근접의 검출의 경우에, 이미지의 처리를 적용하여 사용자를 위한 물체 구역을 강조하는 단계 S70 및 S90으로 구성되는 단계들을 포함하는, 방법. - 제1항에 있어서,
- 디지털 이미지상에서의 블라인드 구역(Z1)의 위치설정의 기준에 따라, 적어도 하나의 물체 구역(ZO)을 포함하는 관심 구역(Z2)을 결정하는 단계 S50으로서, 상기 블라인드 구역이 포인팅 장치에 연동함으로써 상기 디스플레이 장치상에 위치설정 가능한, 단계, 및
- 결정된 관심 구역(Z2)을 볼 수 있게 하는 마킹(MZ2)을 상기 디스플레이 장치상에 표시하는 단계 S60으로 구성되는 단계들을 추가로 포함하며,
상기 물체 구역의 강조 단계 S70 및 S90은,
- 적어도 하나의 사전결정된 처리에 따라 상기 결정된 관심 구역(Z2)을 변경하는 단계 S70 및 비전 구역(Z3)에 상기 결정된 관심 구역(Z2)을 재생하는 단계 S90에 의해 상기 결정된 관심 구역(Z2)을 증강시키는 단계로 구성되는 것을 특징으로 하는, 방법. - 제2항에 있어서,
상기 관심 구역(Z2)을 결정하는, 상기 디지털 이미지(I) 상에서의 블라인드 구역(Z1)의 위치설정의 기준은,
- 상기 블라인드 구역(Z1)에 의한 관심 구역(Z2)의 오버랩의 기준, 및
- 각 개인에 대해 결정된 선호 망막 위치 구역(PRL)에 의한 상기 관심 구역(Z2)의 오버랩의 기준 중에서 선택되며, 상기 디스플레이 장치(D) 상에서의 상기 선호 망막 위치 구역(PRL)의 위치설정은 이러한 동일한 장치상에서의 블라인드 구역(Z1)의 위치설정과 관련되는 것을 특징으로 하는, 방법. - 제3항에 있어서,
상기 오버랩의 기준은,
- 상기 블라인드 구역(Z1) 또는 상기 관심 구역(Z2) 상의 선호 망막 위치 구역(PRL)의 특정 지점의 위치설정, 또는
- 상기 블라인드 구역(Z1) 또는 상기 선호 망막 위치 구역(PRL)에 의한 상기 관심 구역(Z2)의 보다 큰 오버랩 영역을 결정하는 것으로 구성되는 것을 특징으로 하는, 방법. - 제2항 내지 제4항 중 어느 한 항에 있어서,
상기 비전 구역(Z3)이 상기 사전결정된 처리에 따라 디스플레이 장치(D) 상에 부분적으로만 재생되도록 상기 관심 구역(Z2)이 디스플레이 장치(D)의 에지에 근접하게 위치되는 경우에, 상기 관심 구역(Z2)의 증강은, 또한, 디스플레이 장치(D) 상에 완전하게 재생되고, 상기 사전결정된 처리에 따라 디스플레이 장치(D) 상에 부분적으로만 재생되는 상기 비전 구역(Z3)과 실질적인 최대 오버랩을 나타내도록 하는 방식으로 상기 비전 구역(Z3)을 변위시키는 것으로 구성되는 것을 특징으로 하는, 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 물체 구역의 강조 단계 S70 및 S90은 액추에이터를 작동시킴으로써, 또한 선택적으로 액추에이터를 작동 상태로 유지함으로써 개인에 의해 제어되고, 상기 방법은 증강 전의 디지털 이미지(I)로의 복귀 단계를 추가로 포함하며, 이러한 복귀는 액추에이터의 작동에 의해서, 및 선택적으로 액추에이터의 해제에 의해서 개인에 의해 제어되는 것을 특징으로 하는, 방법. - 제2항 내지 제6항 중 어느 한 항에 있어서,
상기 블라인드 구역(Z1) 및 상기 비전 구역(Z3) 중 적어도 하나의 구역은 디스플레이 장치상의 가시적 마킹을 포함하는 것을 특징으로 하는, 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 형상 인식 소프트웨어는 자동 이미지 처리에 이용되는 전경-배경 분리의 원리에 기초하는, 배경에 대해 물체를 분할하기 위한 알고리즘을 포함하는 것을 특징으로 하는, 방법. - 제2항 내지 제8항 중 어느 한 항에 있어서,
상기 관심 구역(Z2)의 사전결정된 처리는, 디스플레이 장치(D) 상에서 비전 구역(Z3)을 차지할 때까지, 크기의 점진적인 확대, 및 선택적으로 상기 디지털 이미지(I) 내의 초기 위치로부터의 점진적인 시프팅으로 구성되며, 상기 방법은, 증강 전의 크기 및 위치로 복귀할 때까지, 증강된 관심 구역(Z2)의 크기의 점진적인 축소, 및 선택적으로 위치의 점진적인 시프팅으로 구성되는, 증강 전의 디지털 이미지(I)로의 복귀 단계를 추가로 포함하는 것을 특징으로 하는, 방법. - 제2항 내지 제7항 중 어느 한 항에 있어서,
시각적 탐색을 돕기 위한 방법(S)은 읽기를 돕기 위한 방법이며; 상기 디지털 이미지(I)는 읽도록 의도된 텍스트를 포함하고; 상기 형상 인식 소프트웨어는 문자 인식 소프트웨어를 포함하여, 라인 구역(LZ)으로의 분할에 의해, 그리고 그 후에 단어 구역(WZ)으로의 각 라인 구역(LZ)의 분할에 의해 적어도 하나의 텍스트 부분을 인식할 수 있게 하며; 상기 물체 구역(ZO)은 단어 구역(WZ)이고; 상기 비전 구역(Z3)은 블라인드 구역(Z1)의 주변에 위치되는 것을 특징으로 하는, 방법. - 제10항에 있어서,
상기 관심 구역(Z2)의 결정 단계 S50 이전에, 문자의 크기, 라인의 길이 및/또는 개수, 디스플레이 장치의 크기, 및/또는 블라인드 구역의 크기의 함수로서 텍스트의 이미지의 크기 조정에 의해 및/또는 라인 간격의 변경에 의해, 텍스트의 이미지를 변경하는 것으로 구성된 단계를 추가로 포함하는 것을 특징으로 하는, 방법. - 제10항 또는 제11항에 있어서,
상기 적어도 하나의 텍스트 부분의 인식 단계 S10은 글자 구역으로의 각 단어 구역(WZ)의 분할을 추가로 포함하는 것을 특징으로 하는, 방법. - 제10항 내지 제12항 중 어느 한 항에 있어서,
상기 관심 구역(Z2)은, 상기 적어도 하나의 단어 구역에 부가하여, 동일한 라인 구역(LZ)에 속하는 적어도 2개의 다른 단어 구역을 포함하며, 상기 관심 구역(Z2)의 각 단어 구역은 상기 관심 구역(Z2)의 다른 단어 구역과 병치되는 것을 특징으로 하는, 방법. - 제10항 내지 제13항 중 어느 한 항에 있어서,
상기 관심 구역(Z2)의 상기 적어도 하나의 사전결정된 처리는,
- 문자 구역으로의 각 단어 구역(WZ)의 분할, 및/또는
- 선택적으로 상기 블라인드 구역(Z1)의 크기의 함수로서, 문자의 크기의 증대, 및/또는
- 문자 폰트의 변경, 및/또는
- 몇 개의 라인에 걸친 단어의 레이아웃, 및/또는
- 단어의 분해, 및/또는
- 문자들 사이의 간격의 증대, 및/또는
- 콘트라스트의 변경, 및/또는
- 극성 반전, 및/또는
- 상기 관심 구역(Z2)에 포함된 단어의 음성 합성으로 구성되는 것을 특징으로 하는, 방법. - 제14항에 있어서,
문자가 상기 블라인드 구역(Z1)으로부터 멀리 있는 비전 구역(Z3)의 라인 상에 재생(S90)되도록 의도될 때 문자의 크기 및/또는 문자들 사이의 간격이 더욱 증대되는 것을 특징으로 하는, 방법. - 제10항 내지 제15항 중 어느 한 항에 있어서,
현재의 관심 구역(Z21)의 양쪽에 각각 위치된 이전의 관심 구역(Z20) 및/또는 이후의 관심 구역(Z22)이 추가로 결정(S50)되며, 이들 구역 중 적어도 하나는 상기 디스플레이 장치상의 가시적 마킹을 포함하는 것을 특징으로 하는, 방법. - 제10항 내지 제16항 중 어느 한 항에 있어서,
상기 관심 구역(Z2)을 포함하는 라인 구역 바로 아래에 위치된 라인 구역(LZ)의 좌측의 프레임(Z4)을 상기 디스플레이 장치(D) 상에 표시하는 것으로 구성된 단계를 추가로 포함하는 것을 특징으로 하는, 방법. - 제2항 내지 제17항 중 어느 한 항에 있어서,
처리된 관심 구역(Z2)의 비전 구역(Z3)에의 재생 단계 S90 이전에, 또는 위치설정 기준의 선택에 따른 상기 관심 구역(Z2)의 결정 단계 S50 이전에, 각 개인에 대해 결정된 선호 망막 위치 구역(PRL)의 위치에 대응하는 것으로서 상기 블라인드 구역(Z1)에 대한 비전 구역(Z3)의 주변 위치를 결정하는 것으로 구성된 단계를 포함하는 것을 특징으로 하는, 방법. - 제18항에 있어서,
상기 블라인드 구역(Z1)에 대한 비전 구역(Z3)의 주변 위치의 결정 단계는,
- 상기 디스플레이 장치상에 복수의 목표물(F)을 표시하는 단계,
- 각각의 목표물에 대하여, 안구계를 이용하여, 개인이 목표물을 주시할 때 목표물(F)에 대한 개인의 암점(S)의 상대 위치를 검출하는 단계, 및
- 선호 망막 위치 구역(PRL)의 위치를, 암점의 위치에 대한 목표물(F)의 상대 위치인 것으로서 교정하는 단계, 및
- 상기 목표물(F)의 위치에 대한 암점(S)의 상대 위치가 고정된 목표물(F)의 함수로서 변하는 경우에는,
- 이전 검출에 따라 수행된 교정의 함수로서, 상기 디스플레이 장치상에 표시된 형상 윤곽선(SO)의 위치설정을 상기 안구계에 의해 검출된 암점의 위치설정에 연동시키는 단계,
- 상기 디스플레이 장치상에 고정된 목표물 심볼(T)을 표시하는 단계,
- 개인이 목표물 심볼(T)을 포함하도록 연동된 형상 윤곽선을 위치시킬 때, 연동된 형상 윤곽선(SO)과 목표물 심볼 사이의 시프트(d)를 측정하는 단계, 및
- 이러한 측정값의 함수로서, 이전 검출에 따라 수행된 교정을 수정하는 단계로 구성된 교정 단계를 포함하는 것을 특징으로 하는, 방법. - 제10항 내지 제19항 중 어느 한 항에 있어서,
상기 비전 구역(Z3)은 상기 블라인드 구역 아래 또는 위에 병치 및 중심설정 방식으로 위치되는 것을 특징으로 하는, 방법. - 제2항 내지 제20항 중 어느 한 항에 있어서,
상기 블라인드 구역(Z1)의 위치설정을 연동시키는 포인팅 장치는 컴퓨터 키보드, 마우스 및 안구계 중에서 선택되는 것을 특징으로 하는, 방법. - 프로그램이 프로세서에 의해 실행될 때, 제1항 내지 제21항 중 어느 한 항에 청구된 방법을 구현하기 위한 명령어를 포함하는, 컴퓨터 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP13306159 | 2013-08-21 | ||
| EP13306159.8 | 2013-08-21 | ||
| PCT/EP2014/067017 WO2015024790A1 (fr) | 2013-08-21 | 2014-08-07 | Procede d'assistance a l'exploration visuelle pour un individu atteint d'une pathologie retinienne se traduisant par un scotome |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160046802A true KR20160046802A (ko) | 2016-04-29 |
| KR102306768B1 KR102306768B1 (ko) | 2021-09-30 |
Family
ID=49054480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167004201A KR102306768B1 (ko) | 2013-08-21 | 2014-08-07 | 암점을 야기하는 망막 질환을 겪는 개인을 위한 시각적 탐색을 돕기 위한 방법 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US9861274B2 (ko) |
| EP (1) | EP3036733A1 (ko) |
| JP (1) | JP6502351B2 (ko) |
| KR (1) | KR102306768B1 (ko) |
| CN (1) | CN105637570B (ko) |
| BR (1) | BR112016003520B1 (ko) |
| CA (1) | CA2921476C (ko) |
| WO (1) | WO2015024790A1 (ko) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3039978A1 (fr) | 2015-08-14 | 2017-02-17 | Essilor Int | Procede de determination de moyens d'aide visuelle par rapport au comportement d'un individu soumis a un test |
| CN109219386B (zh) * | 2016-05-29 | 2021-06-22 | 诺瓦赛特有限公司 | 显示系统和方法 |
| US10347050B1 (en) | 2016-09-22 | 2019-07-09 | Apple Inc. | Augmented reality device to warp images |
| JP6805733B2 (ja) * | 2016-10-31 | 2020-12-23 | オムロン株式会社 | 制御システム、その制御方法およびそのコンピュータ読取可能な記憶媒体 |
| CN106943116B (zh) * | 2017-03-13 | 2018-10-12 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种婴幼儿视力自动检测方法 |
| US10805676B2 (en) * | 2017-07-10 | 2020-10-13 | Sony Corporation | Modifying display region for people with macular degeneration |
| US10650702B2 (en) * | 2017-07-10 | 2020-05-12 | Sony Corporation | Modifying display region for people with loss of peripheral vision |
| US10303427B2 (en) | 2017-07-11 | 2019-05-28 | Sony Corporation | Moving audio from center speaker to peripheral speaker of display device for macular degeneration accessibility |
| US10845954B2 (en) | 2017-07-11 | 2020-11-24 | Sony Corporation | Presenting audio video display options as list or matrix |
| US11113985B2 (en) * | 2017-08-30 | 2021-09-07 | Focus Reading Technology Inc. | Visual acuity measurement apparatus |
| DE102018106125B4 (de) * | 2018-03-16 | 2019-09-26 | Carl Zeiss Vision International Gmbh | Vorrichtung und Verfahren zum Erfassen eines Gesichtsfelds einer ein Skotom aufweisenden Person |
| CN110584587A (zh) * | 2019-09-03 | 2019-12-20 | 北京爱博同心医学科技有限公司 | 补偿视野缺损的方法及装置 |
| CN115457574B (zh) * | 2022-09-02 | 2024-04-09 | 郭列维 | 一种基于预设距离的视觉信息处理方法及视觉信息的载体 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1996034555A1 (en) * | 1995-05-01 | 1996-11-07 | Sinclair, Stephen, H. | Method and apparatus for central visual field mapping and optimization of image presentation based upon mapped parameters |
| FR2846120A1 (fr) * | 2002-10-21 | 2004-04-23 | Inst Sciences De La Vision | Procede de demasquage de l'information visuelle presente sous une zone visuelle peu ou pas fonctionnelle et le dispositif de mise en oeuvre |
| WO2008119187A1 (en) * | 2007-04-02 | 2008-10-09 | Esight Corp. | An apparatus and method for augmenting sight |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1259635C (zh) * | 2003-06-18 | 2006-06-14 | 摩托罗拉公司 | 用于识别文本行的方法 |
| EP2002322B1 (en) * | 2006-03-23 | 2009-07-15 | Koninklijke Philips Electronics N.V. | Hotspots for eye track control of image manipulation |
| US8197065B2 (en) * | 2009-08-03 | 2012-06-12 | Nike, Inc. | Vision testing and/or training using adaptable visual indicia |
| CN103065521B (zh) * | 2011-10-19 | 2015-03-18 | 北京奥美达科技有限公司 | 助视器和智能标记方法 |
-
2014
- 2014-08-07 CN CN201480045875.1A patent/CN105637570B/zh active Active
- 2014-08-07 JP JP2016535402A patent/JP6502351B2/ja active Active
- 2014-08-07 BR BR112016003520-8A patent/BR112016003520B1/pt active IP Right Grant
- 2014-08-07 KR KR1020167004201A patent/KR102306768B1/ko active IP Right Grant
- 2014-08-07 EP EP14750203.3A patent/EP3036733A1/fr not_active Ceased
- 2014-08-07 WO PCT/EP2014/067017 patent/WO2015024790A1/fr active Application Filing
- 2014-08-07 CA CA2921476A patent/CA2921476C/fr active Active
- 2014-08-07 US US14/912,452 patent/US9861274B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1996034555A1 (en) * | 1995-05-01 | 1996-11-07 | Sinclair, Stephen, H. | Method and apparatus for central visual field mapping and optimization of image presentation based upon mapped parameters |
| FR2846120A1 (fr) * | 2002-10-21 | 2004-04-23 | Inst Sciences De La Vision | Procede de demasquage de l'information visuelle presente sous une zone visuelle peu ou pas fonctionnelle et le dispositif de mise en oeuvre |
| WO2004038662A1 (fr) * | 2002-10-21 | 2004-05-06 | Institut Des Sciences De La Vision | Procede de demasquage de l'information visuelle presente sous une zone visuelle peu ou pas fonctionnelle de l’oeil d’un sujet et dispositif de mise en oeuvre du procede |
| WO2008119187A1 (en) * | 2007-04-02 | 2008-10-09 | Esight Corp. | An apparatus and method for augmenting sight |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016530562A (ja) | 2016-09-29 |
| JP6502351B2 (ja) | 2019-04-17 |
| BR112016003520A8 (pt) | 2018-08-14 |
| CN105637570B (zh) | 2019-07-02 |
| BR112016003520B1 (pt) | 2021-04-27 |
| WO2015024790A1 (fr) | 2015-02-26 |
| US20160198941A1 (en) | 2016-07-14 |
| CA2921476C (fr) | 2022-01-04 |
| BR112016003520A2 (ko) | 2017-08-22 |
| CN105637570A (zh) | 2016-06-01 |
| CA2921476A1 (fr) | 2015-02-26 |
| EP3036733A1 (fr) | 2016-06-29 |
| US9861274B2 (en) | 2018-01-09 |
| KR102306768B1 (ko) | 2021-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20160046802A (ko) | 암점을 야기하는 망막 질환을 겪는 개인을 위한 시각적 탐색을 돕기 위한 방법 | |
| CA3069173C (en) | Language element vision augmentation methods and devices | |
| CN105164576B (zh) | 对适配于佩戴者的头戴式电光设备进行控制的方法 | |
| US20170360295A1 (en) | System and method for improved display | |
| EP2842479B1 (en) | Means and method for demonstrating the effects of low cylinder astigmatism correction | |
| US20180104106A1 (en) | A system and method for displaying a video image | |
| US11808940B2 (en) | Eye tracking system for smart glasses and method therefor | |
| US20230244307A1 (en) | Visual assistance | |
| JP2021124520A (ja) | 画像表示装置、画像表示用プログラム及び画像表示方法 | |
| US11568832B2 (en) | System and method for ocular assistance | |
| CN113256661A (zh) | 图像处理方法、装置、设备、介质及程序产品 | |
| Harvey et al. | This is a preprint of an article whose final and definitive form was published in |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |