KR100974831B1 - 영상의 초점 값 변화를 이용한 보행 수 검출장치 및 방법 - Google Patents

영상의 초점 값 변화를 이용한 보행 수 검출장치 및 방법 Download PDF

Info

Publication number
KR100974831B1
KR100974831B1 KR1020080086049A KR20080086049A KR100974831B1 KR 100974831 B1 KR100974831 B1 KR 100974831B1 KR 1020080086049 A KR1020080086049 A KR 1020080086049A KR 20080086049 A KR20080086049 A KR 20080086049A KR 100974831 B1 KR100974831 B1 KR 100974831B1
Authority
KR
South Korea
Prior art keywords
focus value
counting
frame
walks
floors
Prior art date
Application number
KR1020080086049A
Other languages
English (en)
Other versions
KR20100026879A (ko
Inventor
도용태
박수우
송병섭
Original Assignee
학교법인 영광학원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인 영광학원 filed Critical 학교법인 영광학원
Priority to KR1020080086049A priority Critical patent/KR100974831B1/ko
Publication of KR20100026879A publication Critical patent/KR20100026879A/ko
Application granted granted Critical
Publication of KR100974831B1 publication Critical patent/KR100974831B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

영상의 초점 값 변화를 이용한 보행수 검출장치 및 방법이 개시된다. 본 발명은 보행 중인 사용자에게 장착된 카메라를 통해 획득한 영상의 초점 값(Focus Value)이 보행에 의해 주기적으로 변한다는 점을 확인하고, 이러한 초점 값의 변화를 기초로 사용자의 보행 수를 계산한다. 또한, 본 발명의 검출장치 및 방법은, 보행에 의하지 아니하고 발생할 수 있는 초점 값의 변화를 검출하고 제거할 수 있다.
보행 수, 초점 값, 시각 장애인

Description

영상의 초점 값 변화를 이용한 보행 수 검출장치 및 방법{Apparatus and Method for Counting Walking Steps Using the Variation of Image Focus Values}
본 발명은, 보행 중인 사용자에게 장착된 카메라를 통해 획득한 영상의 초점 값(Focus Value)의 변화를 기초로 사용자의 보행 수를 계산하는, 영상의 초점 값 변화를 이용한 보행수 검출장치 및 방법에 관한 것이다.
인간에게 있어 시각은 생활 중 약 85%에 해당하는 정보를 획득할 수 있는 중요한 수단이다. 그러나 시각 장애인의 경우 이러한 시각정보의 획득이 불가능하므로 어려운 생활환경에 직면하게 된다. 이러한 문제를 극복하기 위해 첨단기술을 활용한 다양한 보조기들이 연구되고 있다. 특히 시각장애인의 보행을 위해서는 보행 폭, 보행거리, 발바닥의 감촉, 소리 등의 정보가 적절하게 제공되어야 하며, 이와 관련된 연구들이 다음과 같이 활발히 이루어지고 있다.
시각 장애인의 보행 보조기로는 흰 지팡이가 널리 사용되고 있으나, 너무 단 순하여 획득할 수 있는 정보에는 한계가 있다. 흰 지팡이의 대용품으로 소닉 가이드(Sonic Guide), 레이저(Laser) 지팡이 등의 기술이 연구되고 있다. 그러나 기능의 한계와 가격 등의 이유로 실용화가 어려움이 있다.
이러한 일련의 연구 개발의 하나로 시각 장애인이 보행 중일 때, 그 보행거리 내지 보행 횟수를 계측하는 방법에 관한 연구가 진행되고 있다. 이 분야에 알려진 보행 횟수 측정방법으로, 스텝 카운터(Step Counter)나 MEMS(Micro Electro Mechanical System) 기술에 기반하고 소형 가속도 센서를 이용한 장치 등이 있다. 스텝 카운터는 소위 '만보기'라 불리는 기계적 관성 장치이다.
그러나 이러한 종래의 장치들은 고정된 착용위치, 불필요한 동작에 의한 센서의 오차, 제한된 정보 제공 등의 여러 기능상의 제약이 따른다. 또한, 이러한 장치들이 사용자의 실질적인 보행거리의 계산에 적용하는 데는 한계가 있어서, 이러한 연구의 목적 중 하나인 보행 거리의 측정에는 한계가 있다. 따라서 새로운 접근에 의한 사용자의 보행 횟수 내지 보행 거리를 계측할 수 있는 장치가 절실히 필요한 상태이다.
본 발명의 목적은, 보행 중인 사용자에게 장착된 카메라를 통해 획득한 영상의 초점 값의 변화를 기초로 사용자의 보행 수를 계산하는, 영상의 초점 값 변화를 이용한 보행수 검출장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은, 보행에 의하지 아니하고 발생할 수 있는 초점 값의 변화를 검출하고 제거함으로써 신뢰성 있는 보행 수의 검출을 가능하게 하는, 영상의 초점 값 변화를 이용한 보행 수 검출장치 및 방법을 제공함에 있다.
상기 목적을 달성하기 위해 본 발명에 따른 보행 수 검출방법은, 보행자에게 장착된 카메라로부터 영상을 획득하는 단계와 상기 획득한 영상에 대하여 프레임별 초점 값을 계산하는 단계를 포함하고, 상기 프레임별 초점 값의 변화 그래프에서 골의 개수 또는 마루의 개수를 상기 보행자의 보행 수로서 카운팅하는 단계를 포함한다.
실시 예에 따라, 본 발명의 검출방법은, 상기 보행 수로 카운팅하는 단계 전에 초점 값의 정규화를 위한 단계인, 상기 프레임의 전체 또는 일정 부분의 에지를 검출하고 검출된 에지 화소의 수를 계산하는 단계와 상기 계산된 에지 화소의 수로 상기 계산된 초점 값을 나눔으로써 상기 프레임별 초점 값을 정규화하는 단계를 더 포함할 수 있다. 초점 값의 정규화는 보행과 관계없이, 영상의 복잡도에 따른 초점 값의 차이가 보행 수로 카운팅되는 것을 차단한다.
다른 실시 예에 따라, 본 발명의 상기 카운팅하는 단계는, 상기 프레임별 초점 값의 변화 그래프에서 연속하여 나타나는 골과 마루를 검출하는 단계와 상기 검출된 골에 대한 마루의 초점 값의 비가 소정 기준값 이하인지 판단하는 단계를 더 포함할 수 있다.
이에 따라, 상기 보행자의 보행 수로서 골(또는 마루)의 개수를 카운팅하는 경우라면, 상기 초점 값의 비가 기준값 이하에 해당하는 골(또는 마루)을 상기 보행 수로 카운팅하지 아니하여, 보행에 의하지 아니하고 발생하는 초점 값의 변화를 무시할 수 있다.
더 나아가, 본 발명의 카운팅하는 단계는, 상기 보행자의 보행 수로서 골(또는 마루)의 개수를 카운팅하는 경우, 타임 필터로 설정된 프레임의 개수 이전에 다시 나타나는 골(또는 마루)을 상기 보행 수로 카운팅하지 아니할 수 있다.
본 발명의 또 다른 실시 예에 따른 보행 수 검출장치는, 카메라, 초점값계산부 및 카운터를 포함한다. 카메라는 보행자에게 장착된다.
초점값계산부는 상기 카메라가 획득한 영상에 대하여 프레임별 초점 값을 계산한다.
카운터는, 상기 초점값계산부가 계산한 상기 프레임별 초점 값을 기초로, 프레임별 초점 값의 변화 그래프 상 골의 개수 또는 마루의 개수를 카운팅하여 상기 보행자의 보행 수를 계산한다.
본 발명에 따른 보행 수 검출방법은, 보행자에 장착된 카메라로부터 획득한 영상, 특히 그 초점 값의 변화를 이용하여 보행자의 보행 수를 계산할 수 있으며, 계산된 보행 수는 보행 거리의 계산에 적용될 수 있다.
본 발명의 방법은, 초점 값의 변화를 이용함에 있어, 초점 값이 영상의 복잡한 정도에 무관하도록 정규화함으로써, 영상의 복잡한 정도에 따른 보행 수의 오류를 제거할 수 있다.
나아가, 본 발명의 방법은, 사용자의 보행에 의하지 아니하고 발생하는 잡음과 같은 초점 값의 변화를 검출함으로써, 이러한 잡음에 의해 보행 수가 카운팅되는 것을 방지할 수 있다.
이하 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 보행 수 검출장치의 블록도이다.
검출장치(100)는 카메라(110)와 제어부(130)를 포함하여, 보행 중에 카메라(110)로부터 입력되는 영상의 초점 값(Focus Value)의 변화에 기초하여 보행(步行) 수를 계산한다.
카메라(110)는 사용자의 몸에 장착하여 사용자 외부에 대한 영상을 촬영하여 제어부(130)로 제공한다.
제어부(130)는 카메라(110)로부터 제공되는 영상의 초점 값의 변화를 기초로 사용자의 보행 수를 계산한다.
사람이 카메라를 장착하고 걸어갈 때, 발을 내딛거나 팔을 흔드는 등의 동작으로 인한 흔들림이 발생한다. 이러한 흔들림은 주기적 특성이 있으며, 카메라 영상에서 초점 및 초점 값의 변화를 유발한다.
도 2는 사용자의 보행에 따라 초점이 변하는 카메라 영상의 예를 보이는 것으로, 초당 15 프레임의 속도로 획득된 단위 영상들이다.
도 2를 참조하면, 보행이 진행됨에 따라(시간이 T에서 T+7로 진행) 초점 값이 변화됨을 보인다. 다시 말해, T 또는 T+7 시점의 영상의 초점은 다른 영상에 비해 상대적으로 좋은 상태이고, T+3 또는 T+5 시점의 영상의 초점은 다른 영상에 비해 상대적으로 나쁜 상태임을 알 수 있다. 초점이 맞는 영상(예컨대, T+7)은 그렇지 않은 영상(예컨대, T+5)보다 많은 고주파 성분을 포함하고 있다.
또한, 보행 중, 카메라(110)가 대체로 일정한 방향을 유지한다면, 특정 프레임의 영상과 전후 3~4 프레임의 영상의 장면 변화가 크지 않음도 알 수 있다. 3~4 프레임이라면, 초당 15 프레임 기준으로 0.25 ~ 0.34 초로서 현실적으로 급격한 변화가 불가능한 시간이기 때문이다. 결국 초점 값의 급격한 변화는 사용자의 보행에 의한 것임을 알 수 있다.
제어부(130)는 보행이 진행됨에 따라, 유발되는 도 2와 같은 초점 내지 초점 값의 변화를 관측하여 정량적으로 나타냄으로써 보행 수를 측정한다. 여기서, 초점 값은 초점이 맞추어진 정도를 나타낸다.
제어부(130)는 초점값계산부(131), 에지검출부(133), 초점값처리부(135), 및 카운터(137)를 포함한다.
초점값계산부(131)는 카메라(110)로부터 전달받은 영상에 대해 프레임 단위로 초점 값을 계산한다.
초점 값의 계산은 카메라의 자동 초점을 위해서 널리 사용되고 있는 것으로, 다양한 방법들이 연구되어 있다. 예컨대, 영상처리 분야에서 일반적으로 소벨 연산자(Sobel Operator)로 알려져 있는 테닌그라드(Tenengrad) 기법을 이용하여 초점 값을 계산할 수 있다. 소벌 연산자는 에지 검출(Edge Detection) 알고리즘에 의한 이미지 처리에 사용되는 것으며, 테닌그라드 기법은 초점이 맞는 정도에 따라 얻어지는 영상의 에지(Edge) 크기가 차이를 보이는 것을 이용한 방법이다.
초점값계산부(131)의 초점 값 계산은 한 개 프레임의 영상 전체를 대상으로 할 수도 있으나, 프레임의 일부인 소정 관심영역을 대상으로 함으로써 계산 및 처리속도를 향상시키고 보행자의 존재 등 가변 상황에 둔감하도록 하는 것이 바람직하다. 이하에서는, 초점값계산부(131)가 기 설정된 관심영역에 대한 초점 값을 계산하는 것으로 가정하고 설명한다.
도 3은 도 2와 같이 복도에서 보행중일 때 획득한 영상의 초점 값의 변화 예를 도시한 그래프로서, 불연속적인(Discrete) 초점 값을 연속적인 그래프로 도시한 것이다. 도 3은, 초당 15 프레임의 속도로 획득된 영상을 기초로 하였으며, 각 프레임의 50%(가운데를 중심으로 상하로 나눈 상측)에 대하여만 영상처리에 따른 초점 값을 구한 것이다. 그래프의 가로축은 프레임의 번호이고, 세로 축은 초점 값이다.
도 2에서 살핀 바와 같이, 특정 프레임의 영상과 전후 3~4 프레임의 영상의 장면 변화는 크지 않으므로, 장면의 변화에 따른 에지 값의 변화보다 움직임(보행)에 의한 에지 값의 변화, 즉 초점 값의 변화가 두드러진다고 할 수 있다.
초점 값은 장면이 복잡한 정도에 따라 다르게 나타난다. 도 4는 장면의 복잡한 정도에 따른 초점 값의 차이의 설명에 제공되는 영상이며, 도 5는 도 4의 영상의 초점 값을 나타낸 그래프이다. 도 4의 (a-1)와 (a-2)는 단순한 장면의 영상이고, (b-1)과 (b-2)는 복잡한 장면의 영상이다. 도 5를 참조하면, (a-1)의 초점 정도가 (b-1)에 비해 나쁘지 않음에도, (b-1) 또는 (b-2)와 같이 복잡한 장면(즉, 에지 영역이 상대적으로 많은 장면)이 상대적으로 큰 초점 값을 보이고, (a-1) 또는 (a-2)와 같이 단순한 장면(즉, 에지 영역이 상대적으로 작은 장면)이 상대적으로 작은 초점 값을 나타낸다. 즉, 장면의 복잡도가 높을수록 초점 값이 큼을 알 수 있다.
장면의 복잡도에 따른 초점 값의 차이는, 초점 값의 변화에 기초한 보행 수의 계산에도 영향을 줄 수 있다. 따라서 초점 값을 정규화(Normalization)하여 사용하는 것이 필요하며, 본 발명에서는 에지(Edge)영역의 화소(Pixel)당 초점 값의 수를 계산함으로써 초점 값을 정규화한다. 에지검출부(133) 및 초점값처리부(135)는 초점값계산부(131)에서 계산된 영상 프레임의 초점 값을 정규화한다.
다만, 실시 예에 따라, 초점값계산부(131)의 초점 값 계산 방식에 따라 별도의 정규화 과정이 불필요할 수 있을 것이다. 예를 들어, 초점 값 계산이 에지 영역의 크기에 영향을 받지 않는다면 정규화는 불필요하다.
에지검출부(133)는 관심영역에 포함된 에지 영역을 검출하고, 해당 에지 영역의 화소(이하 '에지 화소'라 함)의 수를 계산한다. 에지검출부(133)의 에지 검출은 다양한 방법이 사용될 수 있으며, 예컨대, 캐니 에지 검출기법(Canny Edge Detection)은 그 일 예가 된다. 캐니 에지 검출방법은 존 캐니(John F. Canny)에 의해 1986년 개발된 에지 검출 알고리즘으로서, 이미지상의 광범위 에지들을 검출하기 위한 다단계 알고리즘을 사용한다.
초점값처리부(135)는 에지검출부(133)가 계산한 에지 화소의 수, 및 초점값계산부(131)가 계산한 초점 값을 기초로 다음의 수학식 1을 이용하여 각 프레임의 초점 값을 정규화한다. 수학식 1은 특정 프레임의 초점 값을 정규화하는데 사용되는 방정식으로서, 해당 프레임(또는 관심영역)의 초점 값을 에지 픽셀의 수로 나누어 정규화된 초점 값을 구한다.
Figure 112008062298683-pat00001
여기서, fN은 해당 프레임(또는 그 관심영역)의 정규화된 초점 값, fT는 초점값계산부(131)에서 계산한 초점 값, 그리고 Pi는 해당 프레임(또는 그 관심영역)의 에지 화소(Edge Pixel)의 수를 나타낸다. 도 6은 도 5의 초점 값을 수학식 1을 이용하여 정규화한 것이다.
초점값처리부(135)는 연속적으로 제공되는 프레임의 초점 값을 정규화하여 카운터(137)로 제공한다.
카운터(137)는 초점값처리부(135)로부터 제공되는 프레임들의 정규화된 초점 값을 기초로 보행이 발생했는지 여부를 판단한다. 보행 시 초점 값의 변화에 주기적 특성, 다시 말해 한 번의 보행에 초점 값 변화 그래프 상의 골과 마루가 한 번씩 나타나는 점에 기초하여, 카운터(137)는 1 주기를 한 걸음(One Step)으로 카운팅한다.
따라서 카운터(137)는 초점 값의 변화상 골(또는 마루)이 되는 프레임의 개수를 계산하여 보행의 수를 카운팅한다. 단, 여기서 골은 연속적으로 이어진 전후 프레임의 초점 값보다 작은 초점 값을 가지는 프레임을 의미하고, 마루는 연속적으로 이어진 전후 프레임의 초점 값보다 큰 초점 값을 가지는 프레임을 의미한다.
예컨대, 도 7은 보행에 따른 정규화된 초점 값의 변화 및 그에 따른 보행 판정의 예를 도시한 그래프로서, 정규화되고 불연속적인(Discrete) 초점 값을 연속적인 그래프로 도시한 것이다. 도 7의 그래프의 하단에는, 카운터(137)가 초점 값의 변화상 골이 나타날 때마다 보행이 있는 것으로 판단한 결과를 보인다.
다만, 초점값처리부(135)가 제공하는 초점 값의 변화는, 정상적이고 정형의 보행에 의한 초점 값의 변화뿐만 아니라, 보행에 의하지 않고 사용자의 비정형적인 행동 등에 의해 발생하는 초점 값의 변화를 포함할 수 있다. 따라서 카운터(137)는 이러한 잡음 성분을 제거하기 위하여 아래의 실시 예에 따른 추가적인 처리를 수행할 수 있다.
<실시 예 1>
보행에 의하지 않고 발생하는 초점 값의 비정상적인 변화, 즉 노이즈를 제거하기 위한 전처리로서, 카운터(137)는 소정 개수의 프레임 단위로 평균 필터(Mean Filter) 및/또는 중간값 필터(Median Filter)를 적용할 수 있다.
각 프레임은 1/15초에 해당하는 아주 짧은 순간에 해당하므로, 한 개 프레임에서만 발생하는 급격한 초점의 변화는 노이즈로 판단하고 제거하는 것이다.
평균 필터는 단순 이동 평균(Simple Moving Average)에 의해 시계열자료의 불규칙한 변동을 제거하는 방법으로 해당 초점 값을 평활하게 함으로써, 노이즈를 제거한다. 예를 들어, 초당 15 프레임의 영상에서 5 프레임의 윈도우를 설정하여, 단순 이동 평균을 구함으로써 노이즈를 제거한다. 이를 통해, 카운터(137)는 비정상적인 초점 값의 변화인 잡음을 제거한다.
<실시 예 2>
도 8은 보행에 의하지 않은 초점 값의 변화로 골이나 마루가 형성된 예를 도시한 도면으로서, 보행이 아닌 사용자의 비정형적인 행동에 의해 카메라(110) 시점이 변경되는 경우이다.
도 8은 골에서 다음 골까지를 1 보행으로, 즉 첫 번째 골만 보행으로 카운팅하는 경우에 해당한다. 문제는 도 8의 두 번째 골과 세 번째 마루에 의해 2 보행으로 카운팅 될 수 있는 것이다.
이러한 잡음의 제거를 위해, 카운터(137)는 연속하여 나타나는 골과 마루에 대해, 골에 대한 마루의 초점 값의 비가 기준 값(Threshold) 이하인 경우 해당 골과 마루를 무시할 수 있다. 이것은 다음의 수학식 2로 표현된다.
Figure 112008062298683-pat00002
여기서, fmin과 fmax는 서로 연속하여 발생하는 골과 마루에서의 초점 값을 나타낸다. 반대로, 마루에 대한 골의 초점 값의 비가 기준 값(Threshold) 이상인 경우 해당 마루와 골을 무시할 수 있을 것이다.
<실시 예 3>
추가로, 카운터(137)는 보행에 소요되는 최소 시간을 실험적으로 구하고, 해당 최소 시간에 대응되는 프레임의 수의 타임 필터(Time Filter)를 적용할 수 있다. 다시 말해, 타임 필터의 프레임 수 이전에 검출되는 골(또는 마루)을 무시할 수 있다. 이러한 방법도 마찬가지로 보행에 의하지 아니하는 초점 값의 변화를 제거할 수 있다. 나아가 상기 수학식 2를 만족하는 형태의 잡음도 제거할 수 있는 것이다.
도 7에 도시된 그래프는, 상기 수학식 2에 의해 제거되지 아니한 잡음이 삽입된 두 곳을 도시하고 있다. 이러한 부분은 과잉검출 상태에 해당하는 것으로, 타임 필터에 의해 제거될 수 있다.
도 9는 본 발명의 보행 수 검출방법의 설명에 제공되는 흐름도로서, 실시 예 1 내지 3을 모두 포함하는 예이다. 이하 도 1 내지 도 9를 참조하여, 본 발명의 보행 수 검출방법을 설명한다.
카메라(110)로부터 영상이 입력되면(S901), 초점값계산부(131)는 프레임별 초점 값을 계산한다(S903).
초점값계산부(131)가 계산한 프레임별 초점 값을 정규화하기 위해, 에지검출부(133)는 해당 프레임(또는 관심영역)의 에지 화소를 검출하고, 초점값처리부(135)는 수학식 1과 같이 해당 프레임(또는 관심영역)의 초점 값을 에지검출부(133)가 구한 에지 픽셀의 수로 나누어 정규화된 초점 값을 구한다. 앞서 설명한 바와 같이, 초점 값의 정규화는 초점 값 계산 방법에 따라 적용하지 아니할 수 있다(S905).
이후에, 카운터(137)는 소정 개수의 프레임 단위로 평균 필터(Mean Filter) 및/또는 중간값 필터(Median Filter)를 적용하여 비정상적인 초점 값의 변화인 잡음을 제거한다.
카운터(137)는 연속하여 나타나는 골과 마루(또는 마루와 골)의 초점 값의 비를 구한 다음(S907), 수학식 2와 같이 그 비(γ)가 기준 값(Threshold)보다 큰 값인지 여부를 판단한다(S909).
S909 단계의 판단결과, 초점 값의 비 γ가 기준값 이하인 경우, 카운터(137)는 골(마루)의 수로 보행 수를 카운팅함에 있어, 해당 골(또는 마루)을 보행 수로 카운팅하지 않고 무시한다(S911).
S909 단계의 판단결과, 초점 값의 비 γ가 기준값보다 큰 경우, 카운터(137)는 골(마루)의 수로 보행 수를 카운팅함에 있어 타임 필터를 적용한다. 다시 말해, 이전에 카운팅된 골(또는 마루)로부터 타임 필터의 프레임 수 이전에 다시 검출되는 골(또는 마루)을 무시한다(S913).
카운터(137)는 S911 및 S913 단계에서 제거된 골(또는 마루)의 수를 카운팅함으로써 보행자의 보행 수를 계산한다(S915).
이상의 방법으로 본 발명의 보행수 검출장치(100)의 보행 수 카운팅 방법이 수행될 수 있다.
본 발명은 방법, 디바이스 및 시스템으로 구현될 수 있다. 또한, 본 발명이 컴퓨터 소프트웨어로 구현될 때는, 본 발명의 구성요소는 필요한 동작의 수행에 필요한 코드 세그먼트(code segment)로 대치될 수 있다. 프로그램이나 코드 세그먼트는 마이크로프로세서에 의해 처리될 수 있는 매체에 저장될 수 있으며, 전송매체나 통신 네트워크를 통하여 반송파(carrier waves)와 결합한 컴퓨터 데이터로서 전송될 수 있다.
마이크로프로세서에 의해 처리될 수 있는 매체는 전자회로, 반도체 메모리 소자, 롬(ROM), 플래시(Flash) 메모리, EEPROM(Electrically Erasable Programmable Read-Only Memory), 플로피 디스크(Floppy Disk), 광학적 디스크, 하드(Hard) 디스크, 광섬유, 무선 네트워크 등과 같이 정보를 전달하고 저장할 수 있 는 것을 포함한다. 또한, 컴퓨터 데이터는 전기적 네트워크 채널, 광섬유, 전자기장, 무선 네트워크 등을 통해 전송될 수 있는 데이터를 포함한다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
도 1은 본 발명의 일 실시 예에 따른 보행수 검출장치의 블록도,
도 2는 사용자의 보행에 따라 초점이 변하는 카메라 이미지의 예,
도 3은 복도에서 보행중일 때 획득한 영상의 초점 값의 변화 예를 도시한 그래프,
도 4는 장면의 복잡한 정도에 따른 초점 값의 차이에 대한 설명에 제공되는 이미지,
도 5는 도 4의 영상의 초점 값을 나타낸 그래프,
도 6은 도 5의 초점 값을 정규화하여 나타낸 그래프,
도 7은 보행에 따른 정규화된 초점 값의 변화 및 그에 따른 보행 판정의 예를 도시한 그래프,
도 8은 보행에 의하지 않은 초점 값의 변화로 골이나 마루가 형성된 예를 도시한 도면, 그리고
도 9는 본 발명의 보행수 검출방법의 설명에 제공되는 흐름도이다.

Claims (8)

  1. 보행자에게 장착된 카메라로부터 영상을 획득하는 단계;
    상기 획득한 영상에 대하여 프레임별 초점 값을 계산하는 단계; 및
    상기 프레임별 초점 값의 변화 그래프에서 골의 개수 또는 마루의 개수를, 상기 보행자의 보행 수로서 카운팅하는 단계를 포함하는 것을 특징으로 하는 보행 수 검출방법.
  2. 제1항에 있어서,
    상기 보행 수로 카운팅하는 단계 전에,
    상기 프레임의 전체 또는 일부에 대해 에지 화소를 검출하고, 검출된 에지 화소의 수를 계산하는 단계; 및
    상기 계산된 에지 화소의 수로 상기 계산된 초점 값을 나눔으로써 상기 프레임별 초점 값을 정규화하는 단계를 더 포함하는 것을 특징으로 하는 보행 수 검출방법.
  3. 제1항 또는 제2항에 있어서,
    상기 카운팅하는 단계는,
    상기 프레임별 초점 값의 변화 그래프에서 연속하여 나타나는 골과 마루를 검출하는 단계; 및
    상기 검출된 골에 대한 마루의 초점 값의 비가, 비보행 구분용 기준 값 이하인지 판단하는 단계를 더 포함하고,
    상기 보행자의 보행 수로서 골의 개수를 카운팅하는 경우, 상기 초점 값의 비가 상기 기준값 이하에 해당하는 골을 상기 보행 수로 카운팅하지 아니하고,
    상기 보행자의 보행 수로서 마루의 개수를 카운팅하는 경우, 상기 초점 값의 비가 상기 기준값 이하에 해당하는 마루를 상기 보행 수로 카운팅하지 아니하는 것을 특징으로 하는 보행 수 검출방법.
  4. 제3항에 있어서,
    상기 카운팅하는 단계는,
    상기 보행자의 보행 수로서 골의 개수를 카운팅하는 경우, 타임 필터로 설정된 프레임의 개수 이전에 다시 나타나는 골을 상기 보행 수로 카운팅하지 아니하고,
    상기 보행자의 보행 수로서 마루의 개수를 카운팅하는 경우, 타임 필터로 설정된 프레임의 개수 이전에 다시 나타나는 마루를 상기 보행 수로 카운팅하지 아니하는 것을 특징으로 하는 보행 수 검출방법.
  5. 보행자에게 장착되어 영상을 획득하는 카메라;
    상기 카메라가 획득한 영상에 대하여 프레임별 초점 값을 계산하는 초점값계산부; 및
    상기 프레임별 초점 값을 기초로, 프레임별 초점 값의 변화 그래프상 골의 개수 또는 마루의 개수를, 상기 보행자의 보행 수로서 카운팅하는 카운터를 포함하는 것을 특징으로 하는 보행 수 검출장치.
  6. 제5항에 있어서,
    상기 프레임의 전체 또는 일부에 대해 에지 화소를 검출하고, 검출된 에지 화소의 수를 계산하는 에지검출부; 및
    상기 에지검출부가 계산한 에지 화소의 수로, 상기 초점값계산부가 계산한 프레임별 초점 값을 나눔으로써 상기 프레임별 초점 값을 정규화하여 상기 카운터에 제공하는 초점값처리부를 더 포함하는 것을 특징으로 하는 보행 수 검출장치.
  7. 제5항 또는 제6항에 있어서,
    상기 카운터는,
    상기 프레임별 초점 값의 변화 그래프에서 연속하여 나타나는 골과 마루를 검출하여, 검출된 골에 대한 마루의 초점 값의 비가 기준값 이하인지 판단하며,
    상기 보행자의 보행 수로서 골의 개수를 카운팅하는 경우, 상기 초점 값의 비가 기준값 이하에 해당하는 골을 상기 보행 수로 카운팅하지 아니하고,
    상기 보행자의 보행 수로서 마루의 개수를 카운팅하는 경우, 상기 초점 값의 비가 기준값 이하에 해당하는 마루를 상기 보행 수로 카운팅하지 아니하는 것을 특징으로 하는 보행 수 검출장치.
  8. 제7항에 있어서,
    상기 카운터는,
    상기 보행자의 보행 수로서 골의 개수를 카운팅하는 경우, 타임 필터로 설정된 프레임의 개수 이전에 다시 나타나는 골을 상기 보행 수로 카운팅하지 아니하고,
    상기 보행자의 보행 수로서 마루의 개수를 카운팅하는 경우, 타임 필터로 설정된 프레임의 개수 이전에 다시 나타나는 마루를 상기 보행 수로 카운팅하지 아니하는 것을 특징으로 하는 보행 수 검출장치.
KR1020080086049A 2008-09-01 2008-09-01 영상의 초점 값 변화를 이용한 보행 수 검출장치 및 방법 KR100974831B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080086049A KR100974831B1 (ko) 2008-09-01 2008-09-01 영상의 초점 값 변화를 이용한 보행 수 검출장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080086049A KR100974831B1 (ko) 2008-09-01 2008-09-01 영상의 초점 값 변화를 이용한 보행 수 검출장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100026879A KR20100026879A (ko) 2010-03-10
KR100974831B1 true KR100974831B1 (ko) 2010-08-11

Family

ID=42178153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080086049A KR100974831B1 (ko) 2008-09-01 2008-09-01 영상의 초점 값 변화를 이용한 보행 수 검출장치 및 방법

Country Status (1)

Country Link
KR (1) KR100974831B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003329481A (ja) 2002-05-15 2003-11-19 Casio Comput Co Ltd 画像表示システム、画像表示プログラム、記憶媒体及び歩数計測装置
JP2006005737A (ja) 2004-06-18 2006-01-05 Casio Comput Co Ltd 撮像装置、撮像制御方法及びプログラム
JP2007144107A (ja) 2005-10-25 2007-06-14 Vr Sports:Kk 運動補助システム
JP2008288840A (ja) 2007-05-17 2008-11-27 Nikon Corp カメラ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003329481A (ja) 2002-05-15 2003-11-19 Casio Comput Co Ltd 画像表示システム、画像表示プログラム、記憶媒体及び歩数計測装置
JP2006005737A (ja) 2004-06-18 2006-01-05 Casio Comput Co Ltd 撮像装置、撮像制御方法及びプログラム
JP2007144107A (ja) 2005-10-25 2007-06-14 Vr Sports:Kk 運動補助システム
JP2008288840A (ja) 2007-05-17 2008-11-27 Nikon Corp カメラ

Also Published As

Publication number Publication date
KR20100026879A (ko) 2010-03-10

Similar Documents

Publication Publication Date Title
EP3656302B1 (en) System and method for human gait analysis
US9993182B2 (en) Computer vision system for ambient long-term gait assessment
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
US8203602B2 (en) Depth-aware blur kernel estimation method for iris deblurring
JP6529208B2 (ja) 鑑賞者の着用メガネの補正レンズの屈折力を推定する方法及び装置
EP3205084B1 (en) Image processing method
JP5958716B2 (ja) 最適カメラ設定装置及び最適カメラ設定方法
CN105556539A (zh) 检测兴趣区域的检测装置和方法
JP2008146356A (ja) 視線方向推定装置及び視線方向推定方法
US20160232399A1 (en) System and method of detecting a gaze of a viewer
JP2009237993A (ja) 画像監視装置
CN102024263A (zh) 用于检测运动的装置和方法
JP2008217184A (ja) 混雑レベル判別システム
Chan et al. An edge detection framework conjoining with IMU data for assisting indoor navigation of visually impaired persons
KR101605168B1 (ko) 이미지 처리 장치 및 방법
JP7266599B2 (ja) 患者の身体運動を検知するためのデバイス、システム及び方法
JP5478520B2 (ja) 人数計測装置、人数計測方法、プログラム
JP6336935B2 (ja) 移動物体追跡装置
JP2006318064A (ja) 画像センサ
KR100974831B1 (ko) 영상의 초점 값 변화를 이용한 보행 수 검출장치 및 방법
KR20080079506A (ko) 촬영장치 및 이의 대상 추적방법
JP6369058B2 (ja) 画像処理装置
JP2018161258A (ja) 認知機能評価支援装置、認知機能評価支援方法及びプログラム
US10554955B2 (en) Method and apparatus for depth-fill algorithm for low-complexity stereo vision
JP6405651B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130620

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140801

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160808

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190801

Year of fee payment: 10