KR101117543B1 - 표지판 평가 시스템 - Google Patents
표지판 평가 시스템 Download PDFInfo
- Publication number
- KR101117543B1 KR101117543B1 KR1020100029534A KR20100029534A KR101117543B1 KR 101117543 B1 KR101117543 B1 KR 101117543B1 KR 1020100029534 A KR1020100029534 A KR 1020100029534A KR 20100029534 A KR20100029534 A KR 20100029534A KR 101117543 B1 KR101117543 B1 KR 101117543B1
- Authority
- KR
- South Korea
- Prior art keywords
- gaze path
- image
- sign
- map
- protrusion
- Prior art date
Links
- 238000012937 correction Methods 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 26
- 230000010332 selective attention Effects 0.000 claims description 18
- 230000007613 environmental effect Effects 0.000 claims description 6
- 230000000295 complement effect Effects 0.000 claims description 5
- 230000002787 reinforcement Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 230000002194 synthesizing effect Effects 0.000 abstract description 2
- 241000282414 Homo sapiens Species 0.000 description 26
- 230000000007 visual effect Effects 0.000 description 21
- 238000012545 processing Methods 0.000 description 13
- 230000001629 suppression Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012880 independent component analysis Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- APHFXDBDLKPMTA-UHFFFAOYSA-N 2-(3-decanoyl-4,5,7-trihydroxynaphthalen-2-yl)acetic acid Chemical compound CCCCCCCCCC(=O)c1c(CC(O)=O)cc2cc(O)cc(O)c2c1O APHFXDBDLKPMTA-UHFFFAOYSA-N 0.000 description 2
- 102100024405 GPI-linked NAD(P)(+)-arginine ADP-ribosyltransferase 1 Human genes 0.000 description 2
- 101000981252 Homo sapiens GPI-linked NAD(P)(+)-arginine ADP-ribosyltransferase 1 Proteins 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
표지판 평가 시스템이 개시된다. 본 표지판 평가 시스템은, 설치될 장소의 적어도 하나의 이미지를 입력받는 이미지 입력부, 입력받은 이미지와 표지판 이미지를 합성하는 이미지 합성부, 합성된 이미지를 이용하여 돌출맵(salient map)을 생성하는 돌출맵 생성부, 생성된 돌출맵을 이용하여 시선 경로를 생성하는 시선 경로 생성부, 기저장된 사람의 객체 특성 선호도를 반영하기 위한 선호 대상의 특징이 학습된 학습망 알고리즘의 가중치를 이용하여, 상기 생성된 시선 경로를 수정하는 시선 경로 수정부, 및 시선 경로가 수정된 이미지를 디스플레이하는 출력부를 포함한다. 이에 따라, 수정된 시선 경로에 기초하여 표지판을 배치시킬 수 있으므로, 정보 전달 또는 광고 효과를 높일 수 있다.
Description
본 발명은 표지판 평가 시스템에 관한 것으로서, 보다 상세하게는 선택적 주의 집중 모델과 fuzzy ART 알고리즘을 이용한 표지판 평가 시스템에 관한 것이다.
센서기술의 출발은 인간의 감각기관을 모방하는 것으로부터 시작하였다. 이러한 인간의 감각기관을 모방한 센서기술 중에 시각 센서 시스템은 인간이 오감 중에서 시각에 가장 많이 의존하는 것처럼 오감을 갖춘 센서시스템의 주된 부분을 차지할 것이다. 이처럼 시각센서인 카메라를 이용한 인공지능 시각시스템의 중요성이 오늘날 부각되고 있다. 카메라를 이용한 인공 시각시스템의 영상처리 방법은 카메라로부터 입력된 영상을 한꺼번에 처리하기 때문에 많은 계산량이 필요하고, 따라서 고속 또는 고가의 영상처리 하드웨어들이 사용되었다. 또한, 복잡한 알고리즘에도 불구하고 실제 적용 시 배경 잡음이나 조도 변화 등에 따라 그 성능에 상당한 한계가 있다.
한편, 지금까지 개발된 많은 인공 시각시스템은 입력 영상에 대해 특정 대상 검출 및 인식에 중점을 두고 있기 때문에 높은 복잡도를 갖는 임의의 자연 영상에서 인간의 시각시스템처럼 어떻게 효과적으로 필요한 정보를 선택할 것인가 하는 시각시스템의 시작 단계의 문제에 대한 해결책을 갖지 못하는 단점이 있다.
반면, 인간의 시각시스템은 다양하고 복잡한 환경 인자의 변화에 강건한 시각 처리 성능을 갖는다. 인간의 시각시스템은 복잡한 시각계에서의 정보를 일괄적으로 처리하는 대신에, 필요한 정보를 선별적으로 또는 순차적으로 처리하는 효율적인 정보처리 메커니즘이다. 이는 단순한 기능만을 갖는 시각 세포들이 복잡한 영상 정보를 실시간으로 빠르고 신속하게 처리할 수 있게 하는 선택적 주의집중 기능과 대상 물체로 시선을 자유롭게 이동할 수 있는 능동 시각 기능에 의해 이루어진다. 따라서 최근에는 기존의 인공 시각시스템이 갖는 한계를 극복하고 복잡한 실세계의 시각 정보를 효율적으로 처리하기 위해 인간 시각 시스템에서의 뇌 정보처리와 생물학적 정보처리 메커니즘을 기반으로 한 시각 시스템 모델 개발의 중요성이 부각되고 있다.
최근, 이러한 인간의 시각 시스템에 선택적 주의 집중 모델을 적용하여, 인간의 시선을 결정하기 위한 시도가 있다. 이와 함께, 결정된 시선을 응용하여 실생활에 적용하고자 하는 시도가 있다.
본 발명은 선택적 주의 집중 모델과 fuzzy ART 알고리즘을 이용한 표지판 평가 시스템을 제공하는데 그 목적이 있다.
본 발명의 일 실시 예에 따른 표지판 평가 시스템은, 설치될 장소의 적어도 하나의 이미지를 입력받는 이미지 입력부, 상기 입력받은 이미지와 표지판 이미지를 합성하는 이미지 합성부, 상기 합성된 이미지를 이용하여 돌출맵(salient map)을 생성하는 돌출맵 생성부, 상기 생성된 돌출맵을 이용하여 시선 경로를 생성하는 시선 경로 생성부, 기저장된 사람의 객체 특성 선호도를 반영하기 위한 선호 대상의 특징이 학습된 학습망 알고리즘의 가중치를 이용하여, 상기 생성된 시선 경로를 수정하는 시선 경로 수정부, 및 상기 시선 경로가 수정된 이미지를 디스플레이하는 출력부를 포함한다.
복수 개의 유형에 따라 상기 시선 경로를 결정하는 가중치를 구분하여 저장하는 저장부를 더 포함한다.
상기 돌출맵 생성부는, 상기 합성된 이미지의 밝기, 윤곽(edge), 대칭성, 보색 중 적어도 하나의 정보를 이용하여 돌출맵을 생성할 수 있다.
상기 시선 경로 생성부는, 상기 생성된 돌출맵에 포함된 복수 개의 돌출 포인트(salient point)에 대한 우선 순위를 부여하며, 상기 우선 순위에 따라 시선 경로가 설정될 수 있다.
상기 수정된 시선 경로를 기초로, 상기 돌출맵 중 우선 순위가 가장 높은 돌출 포인트에 상기 표지판을 배치시키도록 상기 출력부를 제어하는 제어부를 더 포함할 수 있다.
상기 시선 경로 수정부는, 기저장된 학습망 가중치에 기초하여, 상기 생성된 돌출맵에 포함된 복수 개의 돌출 포인트(salient point)를 보강(reinforce) 처리 또는 억제(inhibition) 처리함으로써, 상기 생성된 시선 경로를 수정할 수 있다.
상기 표지판 평가 시스템은, 상향식(bottom-up) 선택적 주의 집중 모델을 이용하여 상기 돌출맵 및 상기 시선 경로를 생성하고, 하향식(top-down) 선택적 주의 집중 모델을 이용하여 상기 시선 경로를 수정할 수 있다.
상기 하향식 선택적 주의 집중 모델은, fuzzy-ART(Adaptive Resonance Theory) 알고리즘이 적용된 것일 수 있다.
환경 정보를 입력받는 사용자 인터페이스부를 더 포함하며, 상기 시선 경로 수정부는, 상기 환경 정보에 따라 상기 기저장된 시선 경로에 대한 정보를 로딩하여, 상기 생성된 시선 경로를 수정할 수 있다.
상기 환경 정보는, 표지판이 설치될 장소에 대한 정모 및 표지판 대상자들이 선호하는 색상 또는 모양에 대한 정보를 포함할 수 있다.
본 발명에 따르면, 환경 정보에 따라 시선 경로가 수정될 수 있으며, 수정된 시선 경로를 기초로 표지판을 배치시킬 수 있으므로, 표지판이 인간의 시각에 두드러지도록 할 수 있다. 이에 따라, 표지판의 정보 전달 또는 광고 효과를 높일 수 있다.
도 1은 본 발명의 일 실시 예에 따른 표지판 평가 시스템을 나타내는 도면.
도 2는 인간의 뇌에서 시각 정보를 처리하는 방법을 나타내는 도면.
도 3은 본 표지판 평가 시스템의 동작 원리를 설명하기 위한 도면.
도 4는 돌출맵에 표지판이 배치되는 일 예를 나타내는 도면.
도 5는 돌출맵 생성부를 구체적으로 설명하기 위한 도면.
도 6은 시선 경로 수정부의 동작을 설명하기 위한 도면.
도 7은 저장부에서 수행되는 트레이닝 모드를 설명하기 위한 도면.
도 8은 시선 경로 수정부에서 수행되는 테스팅 모드를 설명하기 위한 도면.
도 2는 인간의 뇌에서 시각 정보를 처리하는 방법을 나타내는 도면.
도 3은 본 표지판 평가 시스템의 동작 원리를 설명하기 위한 도면.
도 4는 돌출맵에 표지판이 배치되는 일 예를 나타내는 도면.
도 5는 돌출맵 생성부를 구체적으로 설명하기 위한 도면.
도 6은 시선 경로 수정부의 동작을 설명하기 위한 도면.
도 7은 저장부에서 수행되는 트레이닝 모드를 설명하기 위한 도면.
도 8은 시선 경로 수정부에서 수행되는 테스팅 모드를 설명하기 위한 도면.
도 1은 본 발명의 일 실시 예에 따른 표지판 평가 시스템을 나타내는 도면이다.
도 1을 참조하면, 표지판 평가 시스템(100)은 이미지 입력부(110), 이미지 합성부(120), 돌출맵 생성부(130), 시선 경로 생성부(140), 시선 경로 수정부(150), 저장부(160), 출력부(170), 제어부(180), 및 사용자 인터페이스부(190)를 포함한다.
이미지 입력부(110)는 설치될 장소의 적어도 하나의 이미지를 입력받는다. 일 예로서, 이미지 입력부(110)는 스캐너와 같은 화상독취장치를 이용하여 입력받을 수 있다. 또는, 카메라와 같은 촬상장치를 이용하여 생성된 이미지를 유무선 통신을 이용하여 입력받을 수 있다.
이미지 합성부(120)는 입력받은 이미지와 표지판의 이미지를 합성한다.
여기서, 표지판은, 도로 정보를 나타내기 위한 도로 안내 표지판, 상점 또는 음식점 등에 사용되는 광고판 등을 포함할 수 있으며, 이에 한정되지 않는다.
표지판 이미지는 주지의 다양한 이미지 생성 툴을 이용하여 디자이너에 의해 디자인될 수 있다. 이미지 합성부(120)는 입력된 이미지와 표지판 이미지를 합성할 수 있다. 여기서, 이미지 합성은 컴퓨터와 같은 사용자 단말 장치에서 실행될 수 있는 주지의 어플리케이션을 이용하여 수행될 수 있다.
돌출맵 생성부(130) 합성된 이미지를 이용하여 돌출맵(salient map)을 생성한다. 구체적으로, 돌출맵 생성부(130)는 합성된 이미지의 밝기, 윤곽(edge), 대칭성, 보색 중 적어도 하나의 정보를 이용하여 돌출맵을 생성한다.
시선 경로 생성부(140)는 생성된 돌출맵을 이용하여 시선 경로를 생성한다. 시선 경로 생성부(140)는, 생성된 돌출맵에 포함된 복수 개의 돌출 포인트(salient point)에 대한 우선 순위를 부여하며, 우선 순위에 따라 시선 경로가 설정될 수 있다.
돌출맵 생성부(130) 및 시선 경로 생성부(140)의 동작은 함께 수행될 수 있다.
시선 경로 수정부(150)는 기저장된 사람의 객체 특성 선호도를 반영하기 위한 선호 대상의 특징이 학습된 학습망 알고리즘의 가중치를 이용하여, 상기 생성된 시선 경로를 수정한다. 구체적으로, 시선 경로 수정부(150)는 기저장된 학습망 가중치에 기초하여, 상기 생성된 돌출맵에 포함된 복수 개의 돌출 포인트(salient point)를 보강(reinforce) 처리 또는 억제(inhibition) 처리함으로써, 상기 생성된 시선 경로를 수정할 수 있다.
여기서, 사람의 객체 특성 선호도란, 일 예로서, 어린 아이의 경우 파란색을 더 선호하여, 동일한 모양의 서로 다른 객체(대상)가 색상만을 달리할 경우에는 파란색을 다른 색상에 비하여 선호하는 것과 같은 선호도에 대한 정보를 나타낸다. 객체 특성 선호도는, 정신적 질환이 있는 사람인 경우에는 다른 조건이 같은 경우, 사각형 모양의 객체 보다는 원형 모양의 객체를 더 선호하는 것과 같은 선호도에 대한 정보를 나타낸다.
여기서, 학습망 알고리즘은 fuzzy ART 알고리즘일 수 있다.
저장부(160)는 복수 개의 유형에 따라 시선 경로를 결정하는 가중치를 구분하여 저장한다. 구체적으로, 저장부(160)는 이미지가 입력되면, 입력된 이미지를 후술할 fuzzy ART(Adaptive Resonance Theory) 알고리즘의 트레이닝 모드에 따라 다양한 데이터를 미리 저장할 수 있다. 여기서, 데이터마다 서로 상이한 가중치가 할당되는 형태로 저장될 수 있다.
일 예로서, 저장부(160)는 남자 또는 여자와 같은 카테고리(또는 유형)에 따라 시선 경로를 결정하는 가중치를 구분하여 저장할 수 있다. 또한, 저장부(160)는 남자의 나이에 따라 시선 경로를 결정하는 가중치를 구분하여 저장할 수 있다. 또한, 저장부(160)는 사람의 성격에 따라 온순한 사람인 경우의 일반적인 시선 경로와 다혈질인 사람의 일반적인 시선 경로를 결정하는 가중치를 구분하여 저장할 수 있다. 이러한 가중치는, 후술할 트레이닝 모드에 따라 fuzzy ART 알고리즘을 이용하여 저장될 수 있다. 다만, 저장부(160)에 저장되는 가중치는 일 예로서, 다혈질인 사람의 평균적인 값과 같이, 통계적으로 평균적인 값을 갖는 가중치일 수 있다.
출력부(170)는 시선 경로가 수정된 이미지를 디스플레이한다. 출력부(170)는 모니터 등으로 구현될 수 있다.
제어부(180)는 전반적인 제어 동작을 수행한다. 도 1에서는, 제어부(180)가 시선 경로 생성부(140), 시선 경로 수정부(150), 출력부(170), 및 사용자 인터페이스부(190)를 제어하는 것으로 도시되어 있으나, 나머지 구성들(110, 120, 130, 및 160)을 제어할 수도 있다. 구체적으로, 제어부(180)는, 수정된 시선 경로를 기초로, 우선 순위가 가장 높은 돌출 포인트에 표지판을 배치시키도록 출력부(170)를 제어할 수 있다.
사용자 인터페이스부(190)는 환경 정보를 입력받는다. 여기서, 환경 정보는 표지판이 설치될 장소, 및 표지판 대상자들이 선호하는 색상 또는 모양에 대한 정보를 포함할 수 있다.
본 표지판 평가 시스템은, 상향식(bottom-up) 선택적 주의 집중 모델을 이용하여 돌출맵 및 시선 경로를 생성하고, 하향식(top-down) 선택적 주의 집중 모델을 이용하여 시선 경로를 수정할 수 있다. 이 경우, 하향식 선택적 주의 집중 모델은, fuzzy-ART 알고리즘이 적용될 수 있다.
본 표지판 평가 시스템에 따르면, 이미지 합성을 통해 배치된 표지판이 돌출맵의 돌출 포인트 중에서 가장 우선 순위가 높은지 확인 또는 평가할 수 있다. 또한, 본 표지판 평가 시스템은 환경 정보에 따라 시선 경로가 수정될 수 있으며, 수정된 시선 경로를 기초로 표지판을 배치시킬 수 있으므로, 표지판이 인간의 시각에 두드러지도록 할 수 있다. 이에 따라, 표지판의 정보 전달 또는 광고 효과를 높일 수 있다.
도 2는 인간의 뇌에서 시각 정보를 처리하는 방법을 나타내는 도면이다. 도 2를 참조하면, 인간 시각의 선택적 주의집중은 입력된 이미지에 대하여 즉각적으로 반응하는 자료 주도적 처리에 기인한 상향식(bottom-up) 과정(도시된 실선)과, 사전에 학습된 정보를 이용하여 개념 주도적 처리를 하는 하향식(top-down) 과정(도시된 점선)으로 나누어 처리한다. 이와 같이 인간의 시각 정보 시스템은 상향식 처리 후 하향식 처리를 한다.
인간의 선택적 주의집중이 상향식뿐만 아니라 하향식의 과정을 모두 사용하여 선택적 주의집중을 하기 때문에, 원하지 않는 영역을 돌출 영역으로 선택할 수 있을 뿐만 아니라, 사용자가 원하는 영역인 곳을 이미지에서 두드러진 영역으로 선택하지 않는 수도 있다.
도 3은 본 표지판 평가 시스템의 동작 원리를 설명하기 위한 도면이다.
돌출맵 생성부(130)는, 도 3의 (a)에서 도시된 것과 같이, 입력된 이미지에 대하여 상향식(bottom-up) 선택적 주의 집중 모델을 이용하여 돌출맵을 생성한다.
그 후, 시선 경로 생성부(140)는, 도 3의 (b)에서 도시된 것과 같이, 생성된 돌출맵에 포함된 돌출 포인트를 이용하여 시선 경로를 생성한다.
도 3의 (b)에서 도시된 것처럼, 숫자로 표시된 영역이 가장 돌출되어(또는 드러나) 보일 수 있다. 또한, 숫자의 우선 순위, 즉, 1부터 5 순서로 사람의 시선이 이동되는 시선 경로가 생성될 수 있다.
여기서, 돌출된 영역이란, 일 예로서, 다른 영역보다 밝기 때문에, 눈이 잘 보이는 영역일 수 있다. 돌출된 영역은 돌출 포인트일 수 있다. 여기서, 포인트는 한 픽셀 또는 복수 개의 픽셀을 포함하는 영역일 수 있다.
도 3의 (b)에서는 상향식 선택적 주의 집중 모델에 따라 시선 경로 생성부(140)에서 생성된 일반적인 사람의 시선 경로를 나타내고 있으나, 이러한 시선 경로는 장소 및 시선 정보를 갖는 사람의 유형에 따라 수정될 수 있다.
구체적으로, 도 3의 (c)를 참조하면, 시선 경로 수정부(150)는 fuzzy ART 알고리즘의 억제 처리에 따라 특정 돌출 포인트(도 3의 (b)에서 도시된 4, 5)에 대해서는 억제 처리를 수행할 수 있다.
또한, 도 3의 (d)를 참조하면, 시선 경로 수정부(150)는 fuzzy ART 알고리즘의 강화 처리 및 억제 처리에 따라 특정 돌출 포인트(도 3의 (b)에서 도시된 2)에 대해서는 강화 처리를 수행하고, 특정 돌출 포인트(도 3의 (b)에서 도시된 4, 5)에 대해서는 억제 처리를 수행할 수 있다.
이에 따라, 도 3의 (d)에서와 같이, 시선 경로 수정부(150)에서 시선 경로가 수정될 수 있다. 이러한 시선 경로는 장소 및 시선 정보를 갖는 사람의 유형에 따라 달라질 수 있다.
도 4는 돌출맵에 표지판이 배치되는 일 예를 나타내는 도면이다.
도 4를 참조하면, 시선 경로 수정부(150)에서 도 4의 상측 그림에서 도시된 것과 같이 시선 경로가 수정된 경우, 제어부(180)는 우선 순위가 가장 높은(즉, 가장 돌출된) A 영역에 "인공지능연구소"와 같은 표지판을 자동으로 배치시키도록 출력부(170)를 제어할 수 있다.
또는, 도 4에서 도시된 것과 달리, 제어부(180)는 두 번째 우선 순위를 갖는 영역(돌출 포인트) B에 "인공지능연구소"와 같은 표지판을 자동으로 배치시키도록 출력부(170)를 제어할 수도 있다.
도 5는 돌출맵 생성부를 구체적으로 설명하기 위한 도면이다.
도 5를 참조하면, 돌출맵 생성부(130)는 이미지 정보 추출부(510), CSD 처리부(520), 및 ICA 처리부(530)를 포함한다.
이미지 정보 추출부(510)는 입력된 이미지의 R(Red), G(Green), B(Blue) 값을 기초로, 입력된 이미지에 대한 밝기, 에지, 대칭성 및 보색 중 적어도 하나의 이미지 정보를 추출한다.
CSD 처리부(520)는 추출된 이미지 정보에 대한 중앙-주변 차(Center-surround Difference: CSD) 및 정규화 처리를 수행하여, 밝기 특징맵, 방향 특징맵, 대칭성 특징맵, 칼라 특징맵 중 적어도 하나의 특징맵을 출력한다.
ICA 처리부(530)는 출력된 특징맵에 대한 독립성분해석(Independent component analysis)을 수행하여 돌출맵(SM : Salient Map)을 생성한다.
도 6은 시선 경로 수정부의 동작을 설명하기 위한 도면이다.
앞서 서술한 상향식 돌출맵 모델이 인간의 선택적 주의 집중 기능과 유사한 돌출맵을 만들어 낼지라도, 선택된 돌출 영역은 인간에게 관심없는 영역이 될 수도 있고, 보다 관심을 갖는 될 영역일 수도 있다. 왜냐하면, 돌출맵에 보색성과 밝기, 에지, 대칭성 정보와 같은 원시적인 특징들만을 사용했기 때문이다. 이러한 점을 해결하기 위하여 인간의 하향식 시각처리 과정 중 기억에 의한 즉각적인 억제/강화 신호를 내는 저 수준 하향식 과정을 이용하여 인간의 시선 경로를 수정할 수 있다.
ART 신경망은 경쟁학습(competitive learning)의 약점인 안정성을 보강하기 위하여 제안한 모델이다. 인간의 기억 메커니즘과 유사한 ART 신경망은 추가적인 입력패턴에 쉽게 훈련되어질 수 있고, 다른 신경망 모델에 없는 안정성-적응성 딜레마를 풀 수 있다. 그리고 기존에 학습된 데이터가 새로운 학습에 의해 지워지지 않도록 새로운 지식을 자동적으로 전체 지식에 일관성 있는 방법으로 통합하며, 따라서 끊임없이 변화하는 환경에서 자신의 기억용량 전부를 소모할 때까지 제한 없는 입력에 대해 실시간으로 빠르고 안정되게 학습할 수 있는 구조이다. 이는 인간의 뇌의 기억형태와 유사하다고 할 수 있지만, 모든 입력에 대하여 인간의 뇌는 학습하지 않는다. 즉, 필요에 따라서 학습을 한다는 것이다. 따라서 감독자에게 학습 여부를 묻고 허락을 얻어 학습을 수행할 수 있는 ART 모델이 필요한 것이다.
도 6을 참조하면, Fuzzy ART 신경망은 실수 값을 입력 값으로 받아들인다. 여기서, 입력 값은 이미지의 픽셀 값을 0 ~ 1 사이의 값으로 정규화된 값이다. 일 예로서, 호제정규화법(Euclidean normalization)이 적용될 수 있다.
여기서, 시선 경로 수정부(150)는 ART1 알고리즘을 이용할 수도 있다. 다만, 정수 입력값을 이용하는 ART1 알고리즘과 달리, 실수 입력 값을 이용하는 fuzzy ART 알고리즘은 입력된 이미지와 기저장된 이미지를 비교할 때 유사도 검증(testing) 능력이 높아질 수 있다.
도 6을 참조하면, 시선 경로 수정부(150)는 단기 기억 메모리(STM에 관한 F1 계층과 F2 계층, 장기 기억 메모리(LTM), 입력과의 공진 여부(유사도)를 판단하는 공진 블록 등을 포함한다.
도 7은 저장부에서 수행되는 트레이닝 모드를 설명하기 위한 도면이다.
도 7을 참조하면, 트레이닝 모드에 따른 트레이닝 상태(즉, 훈련 상태)는 다음과 같다. 입력 이미지에 대하여 상향식 돌출맵 모델은 돌출 포인트와 시선 경로를 정하게 되고 정해진 돌출 포인트에 관한 정보를 이용하여, 해당 특징맵에서 돌출 이미지를 추출하여 0에서 1 사이로 정규화하여 시선 경로 수정부(150)의 입력으로 사용한다. 공진이 발생하는 클래스가 없으면, 인간 감독자에게 X1, X2, ...Y1, Y2, ... 등과 같은 클래스의 추가 여부 즉, 억제 또는 강화 영역인지를 묻는다. 인간 감독자가 억제 또는 강화 영역이라고 학습을 시키면, 클래스를 추가하고 입력된 값을 학습시키게 된다. 억제 처리 또는 강화 처리는 도 7에서 도시된 것과 같이 각각의 블록으로 분리될 수 있다.
도 8은 시선 경로 수정부에서 수행되는 테스팅 모드를 설명하기 위한 도면이다.
도 8을 참조하면, 입력된 특징 영역들을 우선 억제 fuzzy ART에서 이미 기억되어 있는 억제 이미지와 공진 여부를 판단한다. 공진이 발생하지 않으면 억제 fuzzy ART는 아무런 수행을 하지 않지만, 공진이 발생하면 발생한 공진이 일어난 가중치들을 학습하게 된다. 억제 처리가 끝난 후 돌출맵을 다시 구한 다음, IOR 처리 후 시선 집중 위치를 결정하고, 억제 처리 후의 새로운 돌출 포인트의 특징맵을 강화 fuzzy ART의 입력으로 하여 강화 fuzzy ART가 구동되고, 공진이 발생하면 그 해당영역을 강화시키며 공진이 발생하지 않으면 강화 fuzzy ART는 아무런 일도 수행하지 않는다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 누구든지 본 발명의 기술적 사상 및 범위를 벗어나지 않는 범주 내에서 본 발명의 바람직한 실시 예를 다양하게 변경할 수 있음은 물론이다. 따라서 본 발명은 특허청구범위에서 청구하는 본 발명의 요지를 벗어나지 않는다면 다양한 변형 실시가 가능할 것이며, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 표지판 평가 시스템 110 : 이미지 입력부
120 : 이미지 합성부 130 : 돌출맵 생성부
140 : 시선 경로 생성부 150 : 시선 경로 수정부
160 : 저장부 170 : 출력부
180 : 제어부 190 : 사용자 인터페이스부
120 : 이미지 합성부 130 : 돌출맵 생성부
140 : 시선 경로 생성부 150 : 시선 경로 수정부
160 : 저장부 170 : 출력부
180 : 제어부 190 : 사용자 인터페이스부
Claims (10)
- 표지판이 설치될 장소의 적어도 하나의 이미지를 입력받는 이미지 입력부;
상기 입력받은 이미지와 표지판 이미지를 합성하는 이미지 합성부;
상기 합성된 이미지를 이용하여 돌출맵(salient map)을 생성하는 돌출맵 생성부;
상기 생성된 돌출맵에 포함된 복수 개의 돌출 포인트를 이용하여 시선 경로를 생성하는 시선 경로 생성부;
기저장된 사람의 객체 특성 선호도를 반영하기 위한 선호 대상의 특징이 학습된 학습망 알고리즘의 가중치를 이용하여, 상기 생성된 시선 경로를 수정하는 시선 경로 수정부; 및
상기 시선 경로가 수정된 이미지를 디스플레이하는 출력부;를 포함하고,
상기 시선 경로 생성부는, 상기 생성된 돌출맵에 포함된 복수 개의 돌출 포인트(salient point)에 대한 밝기를 기준으로 우선 순위를 부여하며, 상기 우선 순위에 따라 시선 경로가 설정되는 것을 특징으로 하는 표지판 평가 시스템. - 표지판이 설치될 장소의 적어도 하나의 이미지를 입력받는 이미지 입력부;
상기 입력받은 이미지와 표지판 이미지를 합성하는 이미지 합성부;
상기 합성된 이미지를 이용하여 돌출맵(salient map)을 생성하는 돌출맵 생성부;
상기 생성된 돌출맵에 포함된 복수 개의 돌출 포인트를 이용하여 시선 경로를 생성하는 시선 경로 생성부;
기저장된 사람의 객체 특성 선호도를 반영하기 위한 선호 대상의 특징이 학습된 학습망 알고리즘의 가중치를 이용하여, 상기 생성된 시선 경로를 수정하는 시선 경로 수정부; 및
상기 시선 경로가 수정된 이미지를 디스플레이하는 출력부; 및
복수 개의 이미지의 유형에 따라 상기 시선 경로를 결정하는 가중치를 구분하여 저장하는 저장부;를 더 포함하는 것을 특징으로 하는 표지판 평가 시스템. - 제1항에 있어서,
상기 돌출맵 생성부는,
상기 합성된 이미지의 밝기, 윤곽(edge), 대칭성, 보색 중 적어도 하나의 정보를 이용하여 돌출맵을 생성하는 것을 특징으로 하는 표지판 평가 시스템. - 삭제
- 제1항에 있어서,
상기 수정된 시선 경로를 기초로, 상기 돌출맵 중 우선 순위가 가장 높은 돌출 포인트에 상기 표지판을 배치시키도록 상기 출력부를 제어하는 제어부;를 더 포함하는 것을 특징으로 하는 표지판 평가 시스템. - 제2항에 있어서,
상기 시선 경로 수정부는,
기저장된 학습망 가중치에 기초하여, 상기 생성된 돌출맵에 포함된 복수 개의 돌출 포인트(salient point)를 보강(reinforce) 처리 또는 억제(inhibition) 처리함으로써, 상기 생성된 시선 경로를 수정하는 것을 특징으로 하는 표지판 평가 시스템. - 제1항에 있어서,
상기 표지판 평가 시스템은,
상향식(bottom-up) 선택적 주의 집중 모델을 이용하여 상기 돌출맵 및 상기 시선 경로를 생성하고, 하향식(top-down) 선택적 주의 집중 모델을 이용하여 상기 시선 경로를 수정하는 것을 특징으로 하는 표지판 평가 시스템. - 제7항에 있어서,
상기 하향식 선택적 주의 집중 모델은, fuzzy-ART(Adaptive Resonance Theory) 알고리즘이 적용된 것임을 특징으로 하는 표지판 평가 시스템. - 제2항에 있어서,
환경 정보를 입력받는 사용자 인터페이스부;를 더 포함하며,
상기 시선 경로 수정부는, 상기 환경 정보에 따라 상기 기저장된 시선 경로에 대한 정보를 로딩하여, 상기 생성된 시선 경로를 수정하는 것을 특징으로 하는 표지판 평가 시스템. - 제9항에 있어서,
상기 환경 정보는, 표지판이 설치될 장소에 대한 정보 및 표지판을 바라보는 대상자들이 선호하는 색상 또는 모양에 대한 정보를 포함하는 것을 특징으로 하는 표지판 평가 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100029534A KR101117543B1 (ko) | 2010-03-31 | 2010-03-31 | 표지판 평가 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100029534A KR101117543B1 (ko) | 2010-03-31 | 2010-03-31 | 표지판 평가 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110109696A KR20110109696A (ko) | 2011-10-06 |
| KR101117543B1 true KR101117543B1 (ko) | 2012-03-07 |
Family
ID=45026820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100029534A KR101117543B1 (ko) | 2010-03-31 | 2010-03-31 | 표지판 평가 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101117543B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230102322A (ko) | 2021-12-30 | 2023-07-07 | 광주과학기술원 | 표지판 시인성 평가 시스템 |
-
2010
- 2010-03-31 KR KR1020100029534A patent/KR101117543B1/ko active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| 논문1:전자공학회* |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230102322A (ko) | 2021-12-30 | 2023-07-07 | 광주과학기술원 | 표지판 시인성 평가 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110109696A (ko) | 2011-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230351663A1 (en) | System and method for generating an avatar that expresses a state of a user | |
| US10832069B2 (en) | Living body detection method, electronic device and computer readable medium | |
| CN109960974A (zh) | 人脸关键点检测方法、装置、电子设备及存储介质 | |
| CN109409994A (zh) | 模拟用户穿戴服装饰品的方法、装置和系统 | |
| CN112164002B (zh) | 人脸矫正模型的训练方法、装置、电子设备及存储介质 | |
| CN106326857A (zh) | 基于人脸图像的性别识别方法及装置 | |
| US20210312523A1 (en) | Analyzing facial features for augmented reality experiences of physical products in a messaging system | |
| US11922661B2 (en) | Augmented reality experiences of color palettes in a messaging system | |
| CN106295591A (zh) | 基于人脸图像的性别识别方法及装置 | |
| JP2005242567A (ja) | 動作評価装置及び方法 | |
| CN106897659A (zh) | 眨眼运动的识别方法和装置 | |
| US11915305B2 (en) | Identification of physical products for augmented reality experiences in a messaging system | |
| WO2024001095A1 (zh) | 面部表情识别方法、终端设备及存储介质 | |
| CN110059607A (zh) | 活体多重检测方法、装置、计算机设备及存储介质 | |
| KR102430743B1 (ko) | 데이터 증강 기반 사물 분석 모델 학습 장치 및 방법 | |
| KR20230028481A (ko) | 공간 인식 조건부 gan들을 이용하는 고해상도 제어가능한 얼굴 노화 | |
| CN113361459A (zh) | 基于注视点识别的广告展示方法、装置、设备及存储介质 | |
| JP2019128842A (ja) | コンピュータプログラム、識別装置及び識別方法 | |
| KR101117543B1 (ko) | 표지판 평가 시스템 | |
| CN105354833B (zh) | 一种阴影检测的方法和装置 | |
| KR102430742B1 (ko) | 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법 | |
| JP2015125543A (ja) | 視線予測システム、視線予測方法、および視線予測プログラム | |
| JP2007286923A (ja) | 顔パーツの位置の検出方法及び検出システム | |
| CN108229514A (zh) | 物体检测方法、装置和电子设备 | |
| Leng et al. | An automated object detection method for the attention of classroom and conference participants |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150130 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160126 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20170119 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20180109 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20190201 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20200203 Year of fee payment: 9 |