KR20150107581A - 화상 처리 장치 및 화상 처리 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR20150107581A
KR20150107581A KR1020140186649A KR20140186649A KR20150107581A KR 20150107581 A KR20150107581 A KR 20150107581A KR 1020140186649 A KR1020140186649 A KR 1020140186649A KR 20140186649 A KR20140186649 A KR 20140186649A KR 20150107581 A KR20150107581 A KR 20150107581A
Authority
KR
South Korea
Prior art keywords
image
value
feature
image processing
feature amount
Prior art date
Application number
KR1020140186649A
Other languages
English (en)
Inventor
아츠시 이리에
무츠키 타카기와
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20150107581A publication Critical patent/KR20150107581A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

화상을 취득하는 화상 취득 수단과, 취득한 화상에 대해 소정의 연산을 행하여, 상기 화상에 대응하는 특징량을 산출하고, 상기 산출한 특징량을 출력하는 특징량 취득 수단을 가지며, 상기 특징량 취득 수단은, 산출한 특징량에 부의 값이 포함되는 경우에, 당해 값을, 당해 값의 절대치에 의해 치환한다.

Description

화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}
본 발명은, 화상 인식을 행하는 화상 처리 장치에 관한 것이다.
화상에 포함되어 있는 오브젝트를 색이나 형상이라는 당해 화상으로부터 얻어지는 고유한 정보에 의거하여 식별하는 화상 인식 기술이 널리 보급되어 있다.
화상 인식을 행하는 장치에 많이 사용되고 있는 것이, 화소의 휘도 정보를 이용하여, 화상에 대응하는 특징량을 구하고, 당해 특징량에 의거하여 오브젝트를 식별한다는 방법이다. 특징량이란, 오브젝트를 식별하기 위한 고유한 특징을 수치로 나타낸 것이다.
특징량을 이용하여 오브젝트의 인식을 행하는 기술의 하나로, 예를 들면, 특허 문헌 1에 기재된 화상 인식 장치가 있다. 당해 화상 인식 장치에서는, 화상으로부터 쌍이 되는 2개의 특징량을 구하여 부호화하고, 복수의 개소에서 연산한 결과를 결합하여, 화상 전체의 특징량을 산출하고 있다.
특허 문헌 1 : 일본 특개2009-080522호 공보
종래 기술에 관한 화상 인식 장치가 이용하고 있는 대표적인 특징량으로서, 예를 들면, 오브젝트의 윤곽(에지)을 나타내는 값이나, 영역 사이의 명암의 차를 나타내는 값이 있다. 이들의 값은, 대상 개소의 휘도에 의거하여 산출되기 때문에, 참조하는 오브젝트의 휘도가 변화하면, 다른 값이 되어 버린다는 성질을 갖고 있다.
이 성질에 기인하는 문제에 관해, 화상으로부터 사람의 얼굴을 검출하는 장치를 예로 들면서 상세하게 설명한다. 일반적인 화상 인식 방법의 하나로, 화상에 포함되는 영역마다의 명암의 차를 특징량으로서 추출하고, 당해 특징량과 템플레이트를 비교한다는 방법이 있다. 예를 들면, 눈과 뺨에 대응하는 각 영역에서 취득한 특징량과, 「눈이 있는 영역은 뺨이 있는 영역보다도 어둡다」는 정보를 정의한 템플레이트를 비교함으로써, 사람의 얼굴과의 일치도를 산출할 수 있다.
그러나, 대상자의 피부의 색이나 조명의 상태에 의해서는, 영역 사이의 명암이 역전되어 버리는 일이 있다. 즉, 눈이 있는 영역이, 뺨이 있는 영역보다도 밝게 되어 버리는 것 같은 경우이다. 이와 같은 경우, 취득한 특징량이 템플레이트와 일치하지 않게 되기 때문에, 얼굴을 올바르게 검출할 수 없게 된다는 문제가 발생한다.
특허 문헌 1에 기재된 발명을 비롯하여 종래의 기술에서는, 이 문제에 대응할 수가 없다.
본 발명은 상기한 과제를 고려하여 이루어진 것으로, 동일한 카테고리에 속하는 오브젝트에 관해, 휘도치의 대소 관계가 반전한 경우라도, 당해 오브젝트가 동일한 카테고리라고 인식할 수 있을 정도로 유사한 특징량을 취득할 수 있는 화상 처리 장치를 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위해, 본 발명의 제1의 양태에 관한 화상 처리 장치는,
화상을 취득하는 화상 취득 수단과, 취득한 화상에 대해 소정의 연산을 행하여, 상기 화상에 대응하는 특징량을 산출하고, 출력하는 특징량 취득 수단을 가지며, 상기 특징량 취득 수단은, 산출한 특징량에 부(負)의 값이 포함되는 경우에, 당해 값을, 당해 값의 절대치에 의해 치환하는 것을 특징으로 한다.
본 발명에 관한 화상 처리 장치는, 취득한 화상에 대해 연산을 행함으로써, 당해 화상에 대응하는 특징량을 취득하는 장치이다. 화상에 대응하는 특징량은, 복수 값의 집합으로 이루어지고, 예를 들면, 화소에 대응하는 특징량의 집합이라도 좋고, 국소 영역에 대응하는 특징량의 집합이라도 좋다.
또한, 특징량 취득 수단은, 산출한 특징량에 부의 값이 포함되는 경우에, 당해 값의 절대치에 의해 당해 값을 치환한다. 이와 같이 함으로써, 식별 대상물(이하, 오브젝트)의 암부와 명부가 반전한 경우라도, 동일한 특징량을 얻을 수 있게 된다.
또한, 상기 특징량 취득 수단은, 취득한 화상에 포함되는 복수의 주목 화소에 대응하는 특징량을 각각 산출하고, 상기 산출한 복수의 특징량을, 화상에 대응하는 특징량으로서 출력하는 것을 특징으로 하여도 좋다.
주목 화소란, 오브젝트의 식별에 이용하는 특징량이 대응시켜져 있는 화소이다. 주목 화소는, 오브젝트의 에지나 코너에 있는 화소 등, 오브젝트의 특징을 잘 나타내고 있는 화소인 것이 바람직하다. 화상에 대응하는 특징량은, 이와 같은 복수의 주목 화소에 대응하는 특징량의 집합에 의해 구성하도록 하여도 좋다.
또한, 상기 주목 화소에 대응하는 특징량은, 상기 주목 화소의 휘도치와, 당해 화소의 부근에 있는 화소의 휘도치에 대해 소정의 연산을 행한 결과의 값이라도 좋고, 상기 주목 화소에 대응하는 특징량은, 상기 주목 화소의 휘도치와, 당해 화소의 부근에 있는 화소의 휘도치와의 차분을 나타내는 값이라도 좋다.
이와 같이, 주목 화소에 대해 필터링이나 픽셀 차분(差分) 등의 연산을 행함으로써, 오브젝트의 특징을 잘 나타내는 특징량을 얻을 수 있다.
또한, 상기 특징량 취득 수단은, 취득한 화상에 포함되는 복수의 국소 영역에 대응하는 특징량을 각각 산출하고, 상기 산출한 복수의 특징량을, 화상에 대응하는 특징량으로서 출력하는 것을 특징으로 하여도 좋다.
국소 영역은, 주변 영역에 비하여 휘도의 차이가 명확하게 나타나는 영역 등, 오브젝트의 특징을 잘 나타내고 있는 영역인 것이 바람직하다. 화상에 대응하는 특징량은, 이와 같은 복수의 국소 영역에 대응하는 특징량의 집합에 의해 구성하도록 하여도 좋다.
또한, 상기 국소 영역에 대응하는 특징량은, 상기 국소 영역에 대응하는 휘도치와, 당해 국소 영역의 부근에 있는 영역에 대응하는 휘도치와의 차분을 나타내는 값인 것을 특징으로 하여도 좋다.
이와 같이, 영역끼리의 휘도치의 차분을 특징량으로 함으로써, 오브젝트의 명암을 나타내는 패턴과의 대조를 할 수 있게 된다.
또한, 본 발명에 관한 식별 장치는, 상기 화상 처리 장치와, 상기 화상 처리 장치가 출력한 특징량에 의거하여, 화상에 포함되는 얼굴, 인체, 문자, 동물, 차량, 또는 미리 정의된 소정의 물체 중의 어느 하나를 식별하는 식별 수단으로 이루어지는 것을 특징으로 하여도 좋다.
이와 같이, 본 발명에 관한 화상 처리 장치는, 취득한 특징량에 의거하여, 화상에 포함되는 오브젝트를 식별하는 장치에 대해 적용할 수 있다. 예를 들면, 얼굴 검출 기능을 갖는 디지털 카메라 등에 적용할 수도 있다. 또한, 미리 정의된 소정의 물체란, 전형적으로는 건축물, 도로표지, 상품, 상품의 패키지, 기업이나 서비스를 나타내는 로고마크 등이지만, 이것으로 한정되지 않는다.
또한, 본 발명의 제2의 양태에 관한 화상 처리 장치는,
화상을 취득하는 화상 취득 수단과, 취득한 화상에 포함되는 복수의 화소의 휘도치끼리를 비교한 결과를 부호화함으로써, 상기 화상에 대응하는 특징량을 산출하고, 출력하는 특징량 취득 수단을 가지며, 상기 특징량 취득 수단은, 휘도치끼리의 비교를 행할 때에, 비교 대상의 휘도치에 차가 있는지의 여부를 나타내는 값을 결정되고, 당해 값을 이용하여, 화상에 대응하는 특징량을 생성하는 것을 특징으로 하여도 좋다.
「밝은」 「동등」 「어두운」 등, 휘도치끼리를 비교한 결과를 부호화하는 것을 특징량으로 하는 경우, 휘도의 대소 관계가 반전하면, 부호화된 특징량도 변화하여 버린다. 그래서, 비교 대상의 휘도치에 차가 있는지의 여부만을 부호에 의해 나타내고, 특징량으로 하도록 하여도 좋다. 이와 같이 함으로써, 오브젝트의 휘도가 반전한 경우라도, 동일한 특징량을 얻을 수 있도록 된다.
또한, 본 발명은, 상기 수단의 적어도 일부를 포함하는 화상 처리 장치로서 특정할 수 있다. 또한, 본 발명은, 화상 표시방법으로서 특정할 수도 있다. 또한, 본 발명은, 컴퓨터에 상기 화상 표시방법을 실행시키는 프로그램으로서 특정할 수도 있다. 상기 처리나 수단은, 기술적인 모순이 생기지 않는 한에 있어서, 자유롭게 조합시켜서 실시할 수 있다.
본 발명에 의하면, 동일한 카테고리에 속하는 오브젝트에 관해, 휘도치의 대소 관계가 반전한 경우라도, 당해 오브젝트가 동일한 카테고리라고 인식할 수 있을 정도로 유사한 특징량을 취득할 수 있는 화상 처리 장치를 제공할 수 있다.
도 1은 제1의 실시 형태에 관한 화상 처리 장치의 시스템 구성도.
도 2는 필터 행렬을 예시하는 도면.
도 3은 필터의 적용 방법을 설명하는 도면.
도 4는 휘도치의 차분을 이용한 특징량을 설명하는 도면.
도 5는 제1의 실시 형태에서의 특징량의 산출 방법을 설명하는 도면.
도 6은 제1의 실시 형태에 관한 화상 처리 장치의 처리 플로 차트.
도 7은 제2의 실시 형태에서의 특징량의 산출 방법을 설명하는 도면.
도 8은 제2의 실시 형태에서 해결하는 과제를 설명하는 도면.
도 9는 제2의 실시 형태에 의해 구하여진 특징량을 설명하는 도면.
(제1의 실시 형태)
<시스템 구성>
이하, 본 발명이 바람직한 실시 형태에 관해 도면을 참조하면서 설명한다.
제1의 실시 형태에 관한 화상 처리 장치는, 사진 등의 화상을 취득하고, 당해 화상에 대응하는 특징량을 취득한 다음, 화상에 포함되는 오브젝트를 인식하는 장치이다. 도 1은, 본 실시 형태에 관한 화상 처리 장치(10)의 시스템 구성도이다.
화상 처리 장치(10)는, 화상 취득부(11), 특징량 취득부(12), 특징량 보정부(13), 화상 인식부(14), 입출력부(15)로 구성된다.
화상 취득부(11)는, 처리 대상의 화상을 취득하는 수단이고, 본 실시 형태에서는, 고정 디스크 드라이브나 플래시 메모리라는 기억 장치이다. 또한, 화상 취득부(11)는, 장치의 외부로부터 화상을 취득하는 수단(예를 들면 통신 장치)라도 좋고, 렌즈와 촬상 소자를 통하여 화상을 촬상하는 수단이라도 좋다.
또한, 특징량 취득부(12)는, 화상 취득부(11)가 취득한 화상에 대응하는 특징량을 취득하는 수단이다. 사용하는 특징량과 그 구하는 방식에 관해서는, 추후에 예를 들어 설명한다.
또한, 특징량 보정부(13)는, 특징량 취득부(12)가 취득한 특징량을 보정하는 수단이다. 구체적인 보정 방법에 관해서는 후술한다.
화상 인식부(14)는, 특징량 보정부(13)가 보정한 특징량에 의거하여, 화상에 포함되는 오브젝트를 인식하는 수단이다. 본 실시 형태에서는, 오브젝트란 사람의 얼굴이다. 화상 인식부(14)는, 취득한 특징량과, 미리 유지하고 있는 템플레이트를 대비함으로써, 화상에 포함되어 있는 얼굴을 검출할 수 있다. 화상으로부터 취득한 특징량에 의거하여, 당해 화상에 포함되는 얼굴을 검출하는 방법은 공지의 것이기 때문에, 상세한 설명은 생략한다.
또한, 입출력부(15)는, 유저가 행한 입력 조작을 접수하여, 유저에 대해 정보를 제시하는 수단이다. 구체적으로는, 터치 패널과 그 제어 수단, 액정 디스플레이와 그 제어 수단으로 구성된다. 터치 패널 및 액정 디스플레이는, 본 실시 형태에서는 하나의 터치 패널 디스플레이로 이루어진다.
화상 취득부(11), 특징량 취득부(12), 특징량 보정부(13), 화상 인식부(14)의 기능은, 제어 프로그램을 CPU 등의 처리 장치가 실행함에 의해 실현된다. 또한, 당해 기능은, ASIC(Application Specific Integrated Circuit) 등에 의해 실현되어도 좋고, 이들의 조합에 의해 실현되어도 좋다.
(특징량 취득 처리)
다음에, 화상 처리 장치(10)가, 취득한 화상에 대응하는 특징량을 취득하는 처리에 관해 설명한다. 또한, 특징량의 취득 방법에는 수많은 방법이 있기 때문에, 여기서는, 대표적인 것을 예로 들어 설명한다.
<필터링>
필터링은, 어느 화소를 중심으로 하는 국소 영역에 대해, 소정의 필터 행렬을 중첩하여 넣고, 얻어진 값을, 당해 화소에 대응하는 특징량으로 하는 방법이다. 도 2(A)는, Sobel 필터라고 불리는 3×3의 필터 행렬이다. Sobel 필터는, 특정한 방향에 대응하는 공간 1차 미분을 구하는 필터이고, 오브젝트의 윤곽을 검출하기 위해 많이 사용된다. 윤곽을 검출하기 위한 필터에는, 이 밖에도, Prewitt 필터(도 2(B))나, Kirsch 필터(도 2(C))라는 것이 자주 이용된다.
도 2는, 횡방향(좌→우)에 대응하는 필터와, 종방향(상→하)에 대응하는 필터를 각각 도시한 것이다. 이들의 필터를 이용하여 특징량을 취득하는 경우, 복수의 필터를 조합시킴으로써, 복수의 방향에 대응시킨다는 수법이 자주 이용된다.
이와 같은 3×3의 크기를 갖는 필터를, 예를 들면, 도 3의 영역(301)에 대해 중첩시켜 넣으면, 화소(302)에 대응하는 특징량을 얻을 수 있다. 따라서 화상에 포함된 전 화소에 대해 연산을 행함으로써, 화상 전체의 특징량(즉, 오브젝트의 윤곽에 관한 정보가 포함된 특징량)을 얻을 수 있다.
<픽셀 차분>
픽셀 차분이란, 어느 2개의 국소 영역의 휘도치의 차를 특징량으로 하는 방법이다.
예를 들면, 도 4(A)에 도시한 영역(401)과 영역(402)에 관해, 각 영역에 포함되는 화소의 휘도치를 정규화해 각각 합을 구하고, 영역 사이의 차분을 구한다. 본 예의 경우, 영역(401)에 포함되는 화소의 휘도치의 합을 I1로 하고, 영역(402)에 포함되는 화소의 휘도치의 합을 I2로 하면, 당해 2개의 영역에 대응하는 특징량은 I1-I2가 된다. 이에 의해, 오브젝트의 농도차를 나타내는 패턴 정보를 얻을 수 있다.
픽셀 차분과 유사한 특징량에, Haar-like 특징량이 있다.
도 4(B)를 참조하면서 설명한다. Haar-like 특징량은, 대상인 사각형 영역 중의 흑색 영역에 포함되는 화소의 휘도치의 합으로부터, 백색 영역에 포함되는 화소의 휘도치의 합을 뺌으로써 구하여지는 특징량이다. 또한, 흑색 영역과 백색 영역의 배치는, 임의의 패턴으로 할 수 있지만, 각 영역에 포함되는 화소의 휘도치의 합을 비교하는 것이면, 각 영역의 면적비를 같게 하는지, 면적비가 다른 경우는, 면적비에 응하여 무게를 걸 필요가 있다.
예를 들면, 부호 403에서는, 눈의 중심에 대응하는 영역을 흑색 영역, 눈의 주변에 대응하는 영역을 백색 영역으로 하고, 각 영역의 면적을 동등하게 하고 있다. 이와 같은 특징량을 이용함으로써, 「눈의 중심 영역은 눈의 주변 영역보다도 어둡다」는 패턴과 대조시킬 수 있도록 된다. Haar-like 특징량을, 화상 중의 복수의 장소에서 구하고, 복수의 패턴과 대조함으로써, 화상 중에 대상의 오브젝트가 존재하는 확실함을 산출할 수 있다.
또한, 여기서는 흑색 영역에 포함되는 화소의 휘도치의 합으로부터, 백색 영역에 포함되는 화소의 휘도치의 합을 빼는 예에 관해 말하였지만, 백색 영역과 흑색 영역의 휘도치의 평균의 차분을 구하여도 좋다. 이 경우, 각 영역의 면적비를 같게 할 필요는 없다.
화상에 대응하는 특징량을 산출하는 방법으로, 다른 임의의 방법을 이용할 수 있다. 예를 들면, BRIEF(Binary Robust Independent Elementary Features)나 BRISK(Binary Robust Invariant Scalable Keypoints)라는, 휘도치의 차분을 바이너리열(列)로 한 특징량을 이용하여도 좋다.
본 실시 형태에 관한 특징량 취득부(12)는, 이상에 설명한 수법 등에 의해, 화소이나 국소 영역에 대응하는 특징량을 구하고, 당해 특징량의 집합을, 취득한 화상에 대응하는 특징량으로 한다. 특징량 취득부(12)가 구하는 특징량은, 하나 이상의 값의 집합(벡터)이다.
여기서, 종래의 기술에 의한 문제점에 관해, 도 5를 참조하면서 설명한다. 도 5(A)는, 도형(500)이 포함되는 화상과, 당해 화상의 일부로서, 3×3의 화소로 이루어지는 영역(501)을 확대한 것이다. 본 예에서는, 영역(501)의 중심에 위치하는 화소(502)에 대해, 수평 방향의 방향을 갖는 Sobel 필터(503)를 적용하는 것으로 한다. 이 결과, 화소(502)에 대응하는 특징량으로서, 「765」라는 값이 얻어진다.
한편, 도 5(B)는, 도 5(A)에 도시한 화상의 명암이 반전한 경우의 예이다. 이와 같은 화상에 대해 Sobel 필터를 적용하면, 특징량으로서 「-765」라는 값이 얻어진다. 즉, 오브젝트의 형상이 같음에도 불구하고, 화소에 대응하는 특징량이 다른 값으로 되어 버린다.
다만, 명암이 반전하였다고 하여도, 그것이 다른 오브젝트이라면 문제는 생기지 않는다. 그러나, 대상의 화상이, 인물을 촬영한 화상인 경우, 조명의 상태나, 대상 인물의 피부의 색 등에 의해, 얻어져야 할 명암이 반전하여 버리는 경우가 있고, 이와 같은 경우, 얼굴의 존재를 올바르게 인식할 수가 없게 되어 버린다.
그래서, 본 실시 형태에 관한 화상 처리 장치는, 특징량 취득부(12)가 화상에 대응하는 특징량을 취득한 후에, 특징량 보정부(13)가, 당해 특징량을 보정한다는 구성을 취하였다. 구체적으로는, 벡터로 표시된 특징량에 부의 값이 포함되는 경우, 당해 값의 절대치를 이용하여 당해 값을 갱신한다. 즉, 부의 값을 정의 값으로 보정한다.
예를 들면, 도 5(B)의 경우, 화소(512)에 대응하는 특징량이 부의 값이기 때문에, 절대치를 취하여, 「765」라는 값으로 보정한다.
화상 인식부(14)는, 이와 같이 하여 보정된 특징량에 의거하여, 오브젝트의 인식을 행한다. 이에 의해, 오브젝트의 명암이 반전한 경우라도, 동일한 오브젝트에 관해서는, 동일한 인식 결과를 얻을 수 있다. 또한, 오브젝트를 인식하는 방법은, 특징량에 의거하여 행하는 것이면, 어떤 방법을 이용하여도 좋다. 예를 들면, 패턴 매칭에 의해 행하여도 좋고, 서포트 벡터 머신(SVM) 등을 이용하여 행하여도 좋다.
또한, 본 실시 형태에서는, 필터링에 의해 화소에 대응하는 특징량을 구하고, 화소에 대응하는 특징량의 집합을 화상에 대응하는 특징량으로 하는 예를 들었지만, 픽셀 차분, Haar-like 특징량 등, 다른 수법에 의해 얻어진 특징량도, 마찬가지 방법으로 보정할 수 있다.
(처리 플로 차트)
다음에, 이상에 설명한 기능을 실현하기 위한 처리 플로 차트에 관해 설명한다.
도 6은, 본 실시 형태에 관한 화상 처리 장치(10)의 처리 플로 차트이다. 당해 처리는, 유저의 조작(예를 들면, 기억된 화상을 판독하는 조작)에 의해 시작된다.
우선, 스탭 S11에서, 화상 취득부(11)가 화상을 취득한다. 본 실시 형태에서는, 미리 기억되어 있는 화상을 기억 장치로부터 취득하지만, 통신 수단이나 촬상 수단을 통하여 화상을 취득하여도 좋다.
다음에, 스탭 S12에서, 특징량 취득부(12)가, 취득한 화상에 포함되는 특징점을 하나 추출한 다음, 당해 특징점에 대응하는 특징량을 취득한다. 특징점이란, 화상 인식부(14)가 화상 인식을 행할 때에 이용하는 화소이다. 특징점은, 화상에 포함되는 전(全) 화소라도 좋고, 소정의 조건을 충족시키는 화소라도 좋다. 또한, 특징량을 취득하는 방법으로는, 어떤 방법을 이용하여도 좋다.
스탭 S13에서는, 특징량 보정부(13)가, 스탭 S12에서 취득한 특징량에 부의 값이 포함되는지를 판정하고, 포함되어 있는 경우, 당해 값을 정(正)의 값으로 보정한다.
다음에, 스탭 S14로, 특징량 취득부(12)가, 화상에 포함되는 특징점이 다른 곳에 있는지를 판정하고, 있는 경우, 처리를 스탭 S12로 천이시킨다. 이에 의해, 화상에 포함되는 모든 특징점에 대해, 특징량의 취득 처리 및 보정 처리가 행하여진다.
스탭 S14에서, 화상에 포함되는 특징점이 다른 곳에 없다고 판정된 경우, 처리는 스탭 S15로 천이하고, 화상 인식부(14)에 의해, 보정 후의 특징량을 이용하여 화상 인식이 행하여진다.
이상 설명한 바와 같이, 본 실시 형태에 관한 화상 처리 장치에서는, 화상에 대응하는 특징량(벡터로 표시된 특징량)을 취득할 때에, 당해 특징량을 구성하는 값의 부호를 참조하고, 부의 값이라면 정의 값으로 보정한다. 이와 같이 함으로써, 오브젝트의 명암이 반전하고 있는 경우라도, 당해 오브젝트가 동일한 카테고리라고 인식할 수 있을 정도로 유사한 특징량을 취득할 수 있고, 화상에 포함되는 오브젝트를 정밀도 좋게 식별할 수 있다.
(제2의 실시 형태)
제1의 실시 형태에서는, 화소의 휘도치에 의거하여 연산한 값을 그대로 특징량으로서 이용하였다. 이에 대해, 제2의 실시 형태는, 화소의 휘도치에 의거하여 부호화한 값을 특징량으로서 이용하는 실시 형태이다. 제2의 실시 형태에 관한 화상 처리 장치의 구성은, 제1의 실시 형태와 마찬가지이기 때문에, 상세한 설명은 생략하고, 상위점 만을 설명한다.
우선, 부호화한 값을 특징량으로서 이용하는 케이스에 관해 설명한다. 여기서는, FAST라고 불리는 수법을 이용하여 특징량을 산출하는 방법을 든다.
FAST(Features from Accelerated Segment Test)란, 오브젝트의 코너를 검출하는 수법이다. FAST에서는, 주목 화소를 둘러싸는 원주상의 화소가, 주목 화소에 대해 밝는지 어두운지를 판정하고, 같은 판정이 소정의 개수 이상 계속된 경우에, 주목 화소가 코너에 있다고 판정한다. 예를 들면, 도 7의 ×표로 나타낸 화소가 주목 화소였던 경우, 1 내지 16의 라벨을 붙인 화소가, 주목 화소보다도 밝는지 어두운지를 판정한다. 여기서는, 밝은 경우에 1, 동등한 경우에 0, 어두운 경우에 -1이라는 값을 줌으로써 부호화를 행하는 것으로 한다. 도 7의 예의 경우, 비교 대상의 화소가 백색인 경우에 「밝은」, 회색인 경우에 「동등」, 흑색인 경우에 「어두운」으로 판정한다.
이와 같이 하여 취득한 16차원의 특징량은, 주목 화소가 코너에 있는지의 여부를 나타내는 특징량이 된다. 예를 들면, 같은 값이 n개 이상(예를 들면 8개 이상) 계속된 경우, 주목 화소는 코너에 있다고 판정할 수 있다.
제2의 실시 형태에서는, 도 6의 스탭 S12에서, 특징점에 대응하는 특징량으로서, 전술한 16차원의 특징량을 산출한다.
도 7의 예에서도, 제1의 실시 형태에서 설명한 것과 같은 문제가 발생한다. 즉, 오브젝트의 명암이 반전하면, 주목 화소에 대한 명암의 관계도 반전하기 때문에, 얻어지는 특징량이 다른 값으로 되어 버린다. 구체적으로는, 도 8에 도시한 바와 같이, 부호가 완전히 역으로 되어 버린다.
그래서, 제2의 실시 형태에서는, 「어두운」 「동등」 「밝은」의 3개로 부호화된, 주목 화소에 대한 명암의 비교 결과를, 「동등」 「비동등」의 2개로 보정한다. 동등이란, 차가 0인 경우로 하여도 좋고, 차가 임계치 이하인 경우로 하여도 좋다. 각각의 조건은, 이하와 같이 나타낼 수 있다. (I1 및 I2는 비교 대상의 화소의 휘도치이고, t는 임계치)
(1) I1-I2=0의 경우는 동등으로 하고, 그 이외의 경우는 비동등으로 한다
(2) -t<I1-I2<t의 경우는 동등으로 하고, 그 이외의 경우는 비동등으로 한다
또한, I1 및 I2는, 국소 영역에 포함되는 화소의 휘도치의 합이라도 좋다.
구체적으로는, 스탭 S12에서 부호화된 값이 「어두운(-1)」이였던 경우에, 스탭 S13로, 「비동등(1)」로 치환하는 보정을 행한다. 또한, 「밝은(1)」에 관해서는, 「비동등(1)」과 같은 값이기 때문에 치환은 행하지 않는다.
이 결과, 보정 후의 특징량은 각각, 도 9(A) 및 , 도 9(B)와 같이 된다. 즉, 오브젝트의 명암이 반전하고 있는 경우라도, 제1의 실시 형태와 마찬가지로, 동일한 특징량을 취득할 수 있다. 또한, 그 결과, 화상에 포함되는 오브젝트를 정밀도 좋게 식별할 수 있다.
또한, 제2의 실시 형태에서는, 특징량을 산출하는 수법으로서 FAST를 들었지만, 값의 대소 관계를 부호화한 수법이라면, 다른 수법에도 적용할 수 있다. 예를 들면, 픽셀 차분에 의해 구한 값이 정의 값인지 부의 값인지를 판정하여, 부호화하는 수법에 적용하여도 좋다.
(변형례)
상기한 실시 형태는 어디까지나 한 예이고, 본 발명은 그 요지를 일탈하지 않는 범위 내에서 적절히 변경하여 실시할 수 있다.
예를 들면, 제1의 실시 형태의 설명에서는, 특징량 보정부(13)가, 부의 특징량을 검출하여 당해 특징량을 보정하였지만, 보정하기 전의 특징량과, 보정한 후의 특징량의 2개를 특징량으로서 이용하여도 좋다. 예를 들면, 도 5(B)의 예의 경우, 「-765」라는 값과, 「765」라는 값의 쌍방을, 화소(512)에 대응하는 특징량으로 하여도 좋다.
또한, 실시 형태의 설명에서는, 단일한 수법을 이용하여 특징량을 구하였지만, 복수의 수법에 의해 복수조의 특징량을 구하고, 그들 복수의 특징량을 결합한 것을 전체의 특징량으로서 이용하여도 좋다. 또한, 도 6의 처리에서, 특징점이 되는 화소를 하나씩 추출하면서 특징량의 산출을 행하였지만, 복수의 국소 영역을 하나씩 추출하면서 처리를 행하도록 하여도 좋다. 또한, 복수의 수법을 이용하여 특징량을 구하는 경우, 스탭 S12 내지 S13의 처리를, 수법마다 복수회 실행하도록 하여도 좋다.
10 : 화상 처리 장치
11 : 화상 취득부
12 : 특징량 취득부
13 : 특징량 보정부
14 : 화상 인식부
15 : 입출력부

Claims (10)

  1. 화상을 취득하는 화상 취득 수단과,
    취득한 화상에 대해 소정의 연산을 행하여, 상기 화상에 대응하는 특징량을 산출하고, 출력하는 특징량 취득 수단을 가지며,
    상기 특징량 취득 수단은, 산출한 특징량에 부의 값이 포함되는 경우에, 당해 값을, 당해 값의 절대치에 의해 치환하는 것을 특징으로 하는 화상 처리 장치.
  2. 제 1항에 있어서,
    상기 특징량 취득 수단은, 취득한 화상에 포함되는 복수의 주목 화소에 대응하는 특징량을 각각 산출하고, 상기 산출한 복수의 특징량을, 화상에 대응하는 특징량으로서 출력하는 것을 특징으로 하는 화상 처리 장치.
  3. 제 2항에 있어서,
    상기 주목 화소에 대응하는 특징량은, 상기 주목 화소의 휘도치와, 당해 화소의 부근에 있는 화소의 휘도치에 대해 소정의 연산을 행한 결과의 값인 것을 특징으로 하는 화상 처리 장치.
  4. 제 2항에 있어서,
    상기 주목 화소에 대응하는 특징량은, 상기 주목 화소의 휘도치와, 당해 화소의 부근에 있는 화소의 휘도치와의 차분을 나타내는 값인 것을 특징으로 하는 화상 처리 장치.
  5. 제 1항에 있어서,
    상기 특징량 취득 수단은, 취득한 화상에 포함되는 복수의 국소 영역에 대응하는 특징량을 각각 산출하고, 상기 산출한 복수의 특징량을, 화상에 대응하는 특징량으로서 출력하는 것을 특징으로 하는 화상 처리 장치.
  6. 제 5항에 있어서,
    상기 국소 영역에 대응하는 특징량은, 상기 국소 영역에 대응하는 휘도치와, 당해 국소 영역의 부근에 있는 영역에 대응하는 휘도치와의 차분을 나타내는 값인 것을 특징으로 하는 화상 처리 장치.
  7. 제 1항 내지 제 6항 중 어느 한 항에 기재된 화상 처리 장치와,
    상기 화상 처리 장치가 출력한 특징량에 의거하여, 화상에 포함되는 얼굴, 인체, 문자, 동물, 차량, 또는 미리 정의된 소정의 물체 중의 어느 하나를 식별하는 식별 수단으로 이루어지는 것을 특징으로 하는 식별 장치.
  8. 화상을 취득하는 화상 취득 수단과,
    취득한 화상에 포함되는 복수의 화소의 휘도치끼리를 비교한 결과를 부호화함으로써, 상기 화상에 대응하는 특징량을 산출하고, 출력하는 특징량 취득 수단을 가지며,
    상기 특징량 취득 수단은, 휘도치끼리의 비교를 행할 때에, 비교 대상의 휘도치에 차가 있는지의 여부를 나타내는 값을 결정하고, 당해 값을 이용하여, 화상에 대응하는 특징량을 생성하는 것을 특징으로 하는 화상 처리 장치.
  9. 취득한 화상에 대응하는 특징량을 출력하는 화상 처리 장치가 행하는 화상 처리 방법으로서,
    화상을 취득하는 화상 취득 스탭과,
    취득한 화상에 대해 소정의 연산을 행하여, 상기 화상에 대응하는 특징량을 산출하고, 출력하는 특징량 취득 스탭을 포함하고,
    상기 특징량 취득 스탭에서는, 산출한 특징량에 부의 값이 포함되는 경우에, 당해 값을, 당해 값의 절대치에 의해 치환하는 것을 특징으로 하는 화상 처리 방법.
  10. 취득한 화상에 대응하는 특징량을 출력하는 컴퓨터가 실행하는 화상 처리 프로그램이 저장된 기록매체로서,
    화상을 취득하는 화상 취득 스탭과,
    취득한 화상에 대해 소정의 연산을 행하여, 상기 화상에 대응하는 특징량을 산출하고, 출력하는 특징량 취득 스탭을 포함하고,
    상기 특징량 취득 스탭에서는, 산출한 특징량에 부의 값이 포함되는 경우에, 당해 값을, 당해 값의 절대치에 의해 치환하는 것을 특징으로 하는 화상 처리 프로그램이 저장된 기록매체.
KR1020140186649A 2014-03-13 2014-12-23 화상 처리 장치 및 화상 처리 방법 KR20150107581A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2014-050721 2014-03-13
JP2014050721A JP2015176252A (ja) 2014-03-13 2014-03-13 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
KR20150107581A true KR20150107581A (ko) 2015-09-23

Family

ID=52146362

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140186649A KR20150107581A (ko) 2014-03-13 2014-12-23 화상 처리 장치 및 화상 처리 방법

Country Status (5)

Country Link
US (1) US20150262382A1 (ko)
EP (1) EP2919149A3 (ko)
JP (1) JP2015176252A (ko)
KR (1) KR20150107581A (ko)
CN (1) CN104915629A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6891808B2 (ja) * 2015-08-19 2021-06-18 日本電気株式会社 画像位置合わせシステム、方法およびプログラム
JP6465215B2 (ja) * 2015-10-02 2019-02-06 富士通株式会社 画像処理プログラムおよび画像処理装置
CN111526366B (zh) * 2020-04-28 2021-08-06 深圳市思坦科技有限公司 图像处理方法、装置、摄像设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0158038B1 (ko) * 1993-03-29 1998-12-15 모리시다 요오이찌 개인식별장치
JP3534551B2 (ja) * 1996-09-20 2004-06-07 シャープ株式会社 動き検出装置
JPH10243402A (ja) * 1997-02-27 1998-09-11 Toshiba Corp 画像処理装置及び画像処理方法
JP3990375B2 (ja) * 2004-03-30 2007-10-10 東芝ソリューション株式会社 画像処理装置および画像処理方法
JP4683294B2 (ja) * 2006-03-16 2011-05-18 ソニー株式会社 画像処理装置および方法、プログラム記録媒体、並びにプログラム
JP2009080522A (ja) 2007-09-25 2009-04-16 Mitsubishi Electric Corp 物体画像認識装置
US8064653B2 (en) * 2007-11-29 2011-11-22 Viewdle, Inc. Method and system of person identification by facial image

Also Published As

Publication number Publication date
US20150262382A1 (en) 2015-09-17
EP2919149A3 (en) 2015-12-09
CN104915629A (zh) 2015-09-16
EP2919149A2 (en) 2015-09-16
JP2015176252A (ja) 2015-10-05

Similar Documents

Publication Publication Date Title
CN111028213A (zh) 图像缺陷检测方法、装置、电子设备及存储介质
US9652855B2 (en) Image processing apparatus that identifies image area, and image processing method
US20170323465A1 (en) Image processing apparatus, image processing method, and storage medium
US9262690B2 (en) Method and device for detecting glare pixels of image
CN107633237B (zh) 图像背景分割方法、装置、设备及介质
JP4739870B2 (ja) サングラス検出装置及び顔中心位置検出装置
CN108830184B (zh) 黑眼圈识别方法及装置
US20150146991A1 (en) Image processing apparatus and image processing method of identifying object in image
US11341739B2 (en) Image processing device, image processing method, and program recording medium
US20190191078A1 (en) Information processing apparatus, a non-transitory computer readable storage medium and information processing method
US10713793B2 (en) Image processing apparatus, image processing method, and recording medium
JP2015232746A (ja) 皺検出装置および皺検出方法
WO2019061659A1 (zh) 人脸图像眼镜去除方法、装置及存储介质
CN112396050B (zh) 图像的处理方法、设备以及存储介质
US10593044B2 (en) Information processing apparatus, information processing method, and storage medium
KR20160115663A (ko) 화상 처리 장치 및 화상 처리 방법
JPWO2013008304A1 (ja) 瞼検出装置
JP6922399B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR20150107581A (ko) 화상 처리 장치 및 화상 처리 방법
US20190266392A1 (en) Image processing apparatus, image processing method, and storage medium
JP2018109824A (ja) 電子制御装置、電子制御システムおよび電子制御方法
KR102026410B1 (ko) 마커 인식 시스템 및 방법
US9122935B2 (en) Object detection method, storage medium, integrated circuit, and object detection apparatus
US9842406B2 (en) System and method for determining colors of foreground, and computer readable recording medium therefor
KR20190072643A (ko) 얼굴 검출 장치 및 그 제어 방법, 그리고 프로그램

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application