KR101957610B1 - 히스토그램을 이용한 영상 처리 방법 및 이를 수행하기 위한 기록매체 - Google Patents

히스토그램을 이용한 영상 처리 방법 및 이를 수행하기 위한 기록매체 Download PDF

Info

Publication number
KR101957610B1
KR101957610B1 KR1020170173938A KR20170173938A KR101957610B1 KR 101957610 B1 KR101957610 B1 KR 101957610B1 KR 1020170173938 A KR1020170173938 A KR 1020170173938A KR 20170173938 A KR20170173938 A KR 20170173938A KR 101957610 B1 KR101957610 B1 KR 101957610B1
Authority
KR
South Korea
Prior art keywords
image
interest
histogram
subsequent
search area
Prior art date
Application number
KR1020170173938A
Other languages
English (en)
Inventor
김명호
오영섭
손한기
장성일
권재환
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020170173938A priority Critical patent/KR101957610B1/ko
Application granted granted Critical
Publication of KR101957610B1 publication Critical patent/KR101957610B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

히스토그램을 이용한 영상 처리 방법 및 이를 수행하기 위한 기록매체가 제공된다. 본 발명에 따른 히스토그램을 이용한 영상 처리 방법은, 동영상 내의 관심 영역에 포함된 관심 객체를 추출하여 상기 관심 객체에 대한 히스토그램을 생성하고, 상기 히스토그램을 이용하여 후속 출력되는 동영상 내의 관심 객체를 추출하며, 추출된 관심 객체의 색상을 변경시켜 상기 관심 객체의 색상이 변경된 후속 영상을 출력하는 단계를 포함한다.

Description

히스토그램을 이용한 영상 처리 방법 및 이를 수행하기 위한 기록매체 {METHOD FOR IMAGE PROCESSING USING HISTOGRAMS AND COMPUTER READABLE MEDIUM FOR PERFORMING THE METHOD}
본 발명은 히스토그램을 이용한 영상 처리 방법 및 이를 수행하기 위한 기록매체에 관한 것으로서, 더욱 상세하게는 출력되는 영상의 히스토그램을 이용하여 영상 처리 속도를 향상시킬 수 있는 히스토그램을 이용한 영상 처리 방법 및 이를 수행하기 위한 기록매체에 관한 것이다.
초연결(hyperconnectivity)과 초지능(superintelligence)을 골자로 하는 4차 산업혁명 시대가 도래하면서, 서로 다른 기술 분야의 두 개 이상의 기술을 하나로 융합하는 시도가 활발하게 이루어지고 있다. 그 일환으로, 디스플레이 장치를 통해 출력되는 영상에 다양한 기술을 접목시키는 서비스가 개발되고 있다. 이를테면, CCTV 영상 내에서 이동하는 사람 또는 사물과 같은 특정 객체를 컴퓨팅 장치가 스스로 인식하여 자동으로 객체를 추적하는 기술이 공지된 바 있다. 더 나아가, 원본 동영상 내의 이동하는 객체를 지속적으로 추적하면서 해당 객체의 색상을 사용자에 의해 설정된 색상으로 변경시키거나 객체를 배경과 구분하기 위해 강조 처리하여, 원본 동영상을 사용자가 원하는 객체로 표현된 영상으로 출력하는 기술이 개발되고 있다. 특히, 사용자가 색상을 변환시키고자 하는 객체는 일반적으로 동영상 내에서 지속적으로 이동하기 때문에, 정적인 이미지 내에서 객체를 감지하는 것과 다르게 동영상을 구성하는 각각의 프레임 마다 객체를 검출해야 될 필요가 있다.
하지만, 종래의 동영상 내의 특정 오브젝트를 검출하는 기술은 고해상도를 지원하는 그래픽 카드와 영상 처리에 대량의 리소스가 할당되며, 이에 따라 특정 객체를 찾아 해당 객체에 색상을 변화시키는 과정을 초당 프레임에서 모두 처리 하는 과정에서 영상이 끊기거나 영상 처리속도가 늦어지는 문제점이 있다. 이에, 동영상 내의 관심 객체를 정확하게 검출하면서도 프레임별 객체 검출에 소요되는 리소스를 감소시킬 수 있는 기술이 필요한 상황이다.
한국등록특허 제10-1034117호 한국등록특허 제10-0450793호
본 발명의 일측면은 디스플레이 장치로 출력되는 영상의 히스토그램을 이용하여 영상 내의 움직이는 특정 객체를 빠르게 인식하여 해당 객체에 대한 다양한 영상 처리 기술을 제공하는 히스토그램을 이용한 영상 처리 방법 및 이를 수행하기 위한 기록매체를 제공한다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 히스토그램을 이용한 영상 처리 방법은, 디스플레이 장치를 통해 송출되는 동영상 내의 관심 영역에 대한 선택신호를 수신하면, 상기 관심 영역에 포함된 관심 객체를 추출하고, 상기 관심 객체에 대한 히스토그램을 생성하는 단계, 상기 히스토그램을 이용하여 후속 출력되는 동영상 내의 관심 객체를 추출하는 단계 및 추출된 관심 객체를 백프로젝션(backprojection) 이미지로 나타내고, 상기 백프로젝션 이미지의 색상을 변경시켜 상기 관심 객체의 색상이 변경된 후속 영상을 출력하는 단계를 포함한다.
상기 관심 객체에 대한 히스토그램을 생성하는 것은, 상기 동영상을 구성하는 복수의 프레임 중 상기 선택신호를 수신한 시점의 프레임을 기준 프레임으로 설정하고, 상기 기준 프레임에 포함된 상기 관심 영역의 이미지를 기준 이미지로 설정하며, 상기 기준 이미지에 대한 히스토그램을 함께 생성하는 것으로 특징으로 할 수 있다.
상기 관심 객체에 대한 히스토그램을 생성하는 것은, 상기 기준 이미지와 미리 저장된 복수의 컨벌루션(convolution) 필터 중 어느 하나의 컨벌루션 필터 간의 컨벌루션 연산을 통해 출력 이미지를 생성하고, 상기 출력 이미지에 미리 정해진 크기를 갖는 풀링(pooling) 필터를 적용하여 풀링 이미지를 생성하며, 상기 풀링 이미지에 대한 히스토그램을 생성하는 것을 포함할 수 있다.
상기 관심 객체에 대한 히스토그램을 생성하는 것은, 상기 풀링 이미지에 대한 히스토그램을 상기 관심 객체에 대한 히스토그램과 비교하여 차이값을 산출하고, 상기 차이값이 최소값을 갖는 컨벌루션 필터를 후속 동영상을 처리할 영상 처리 필터로 결정하는 것을 더 포함할 수 있다.
후속 출력되는 동영상 내의 관심 객체를 추출하는 것은, 영상 처리 필터를 이용하여 상기 기준 프레임 이후에 출력되는 후속 프레임에 대한 이미지를 컨벌루션 연산하여 출력 이미지를 생성하고, 상기 출력 이미지의 크기가 축소된 풀링 이미지를 생성하는 전처리 과정을 수행하는 것을 특징으로 할 수 있다.
후속 출력되는 동영상 내의 관심 객체를 추출하는 것은, 상기 후속 프레임에 대한 풀링 이미지 내에서 상기 관심 객체를 탐색하기 위한 탐색 영역을 설정하는 것을 특징으로 할 수 있다.
후속 출력되는 동영상 내의 관심 객체를 추출하는 것은, 현재 출력되는 후속 프레임을 n번째 프레임이라고 할 때, n-1번째 프레임에서 검출된 상기 관심 객체의 위치 정보를 검색하고, 상기 위치 정보를 기준으로 일정 반경 내의 영역을 후보 탐색 영역을 설정하고, 상기 후보 탐색 영역에 대한 히스토그램을 생성하여 상기 관심 객체에 대한 히스토그램과 비교하여 차이값을 산출하고, 상기 차이값이 미리 정해진 임계값 이하인 경우 상기 후보 탐색 영역을 상기 탐색 영역으로 설정하며, 상기 탐색 영역에 대한 이미지를 분석하여 상기 n번째 프레임에서의 상기 관심 객체를 추출하는 것을 특징으로 할 수 있다.
상기 탐색 영역을 설정하는 것은, 상기 차이값이 미리 정해진 임계값을 초과하면, 상기 후보 탐색 영역을 미리 정해진 간격만큼 이동시키고, 이동된 위치에서의 히스토그램을 생성하여 상기 차이값을 산출하는 과정을 상기 차이값이 상기 임계값 이하가 될 때 까지 반복 수행하여 상기 탐색 영역을 설정하는 것을 특징으로 할 수 있다.
상기 탐색 영역을 설정하는 것은, 상기 차이값이 미리 정해진 임계값을 초과하면, 상기 n번째 프레임에 대한 풀링 이미지를 복수의 영역을 분할하고, 분할된 영역 각각에 대한 히스토그램을 생성하며, 상기 분할된 영역에 대한 히스토그램을 상기 관심 객체에 대한 히스토그램과 비교하여 차이값이 최소값을 갖는 어느 하나의 영역을 선택하는 화면 분할 과정을 소정 횟수만큼 반복 수행한 후, 최종적으로 선택된 영역 내에서 상기 탐색 영역을 설정하는 것을 특징으로 할 수 있다.
상기 관심 객체의 색상이 변경된 후속 영상을 출력하는 것은, 후속 프레임의 전체 이미지에 대한 히스토그램을 생성하고, 상기 후속 프레임의 전체 이미지에 대한 히스토그램과 상기 관심 객체 대한 히스토그램을 비교하여 상기 관심 객체의 명도 또는 채도를 자동으로 변경시키는 것을 특징으로 할 수 있다.
또한, 본 발명에 따른 히스토그램을 이용한 영상 처리 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체일 수 있다.
상술한 본 발명의 일측면에 따르면, 사용자에 의해 선택된 관심 객체에 대한 히스토그램을 이용하여 동영상 속에서 이동하는 관심 객체를 신속하게 검출할 수 있으며, 검출된 관심 객체를 사용자가 설정한 색상으로 변환시키거나 다른 이미지로 변경시킬 수 있다. 또한, 영상 전체의 히스토그램을 이용하여 동영상의 분위기에 맞도록 변환된 색상의 채도 혹은 명도를 자동으로 수정할 수 있다.
도 1은 본 발명에 따른 영상 처리 장치를 이용한 영상 처리 시스템의 개략적인 구성이 도시된 개념도이다.
도 2는 도 1의 영상 처리 장치의 구체적인 구성이 도시된 블록도이다.
도 3 내지 도 7은 영상 처리 장치에서 이미지를 처리하는 구체적인 실시예들이 도시된 도면이다.
도 8은 본 발명의 일 실시예에 따른 히스토그램을 이용한 영상 처리 방법의 개략적인 흐름이 도시된 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 히스토그램을 이용한 영상 처리 방법을 수행하기 위한 영상 처리 장치의 개략적인 구성이 도시된 블록도이다.
본 발명에 따른 영상 처리 장치(100)는 디스플레이 장치(200)와 연결되어 디스플레이 장치로 출력될 영상을 전송하는 장치일 수 있다. 예를 들어, 디스플레이 장치(200)가 TV인 경우, 영상 처리 장치(100)는 셋톱박스 또는 이와 유사한 기능을 수행하는 별도의 장치일 수 있다. 하지만, 영상 처리 장치(100)는 이에 한정되지 않으며 디스플레이 장치(200)의 내부에 설치되어 디스플레이 장치(200)를 구성하는 구성요소로 구현되거나 영상 처리 장치(100) 자체에 별도의 디스플레이 모듈이 구비 될 수도 있다. 또는, 영상 처리 장치(100)는 별도의 장치로 구현되지 않되, 후술하는 영상 처리 장치(100)의 기능들을 수행할 수 있는 소프트웨어 또는 응용 프로그램 형태로 디스플레이 장치(100) 또는 셋톱박스에 구현될 수 있다. 이하에서는, 설명의 편의를 위해 영상 처리 장치(100)가 디스플레이 장치와 연결된 별도의 장치인 것으로 가정하여 설명하기로 한다.
영상 처리 장치(100)는 본 발명에 따른 히스토그램을 이용한 영상 처리 방법을 이용하여 영상을 처리하기 위한 소프트웨어 또는 애플리케이션이 미리 설치될 수 있다. 영상 처리 장치(100)는 실행되는 소프트웨어를 통해 원본 영상을 영상처리하여 변경된 영상이 디스플레이 장치(200)를 통해 출력되도록 제어할 수 있다. 이와 관련하여, 도 2를 함께 참조하여 설명하기로 한다.
도 2는 도 1의 영상 처리 장치(100)의 구체적인 구성이 도시된 도면이다.
구체적으로, 본 발명의 일 실시예에 따른 영상 처리 장치(100)는 통신부(110) 및 제어부(120)를 포함한다. 이때, 영상 처리 장치(100)는 도 2에 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있고, 그보다 적은 구성요소에 의해 구현될 수 있다. 예를 들어, 영상 처리 장치(100)는 외부 장치로부터 수신되는 데이터 또는 자체적으로 생성되거나 처리되는 데이터를 저장하는 메모리부(미도시)와, 사용자의 제어신호를 입력받아 처리된 결과를 음성, 영상, 불빛 등으로 출력하는 입출력부(미도시)와 같은 구성요소들이 더 포함될 수 있다. 또는, 영상 처리 장치(100)는 통신부(110) 및 제어부(120) 가 하나의 구성요소로 통합되어 하나의 구성요소가 복합적인 기능을 수행할 수도 있다. 이하, 상술한 구성요소들에 대하여 구체적으로 설명하기로 한다.
통신부(110)는 외부 장치와 통신하여 디스플레이 장치(200)로 제공할 영상 신호를 수신할 수 있다. 일 예로, 통신부(110)는 방송국 서버로부터 방송 신호를 수신할 수 있다. 또는, 통신부(110)는 사용자 단말과 통신하여 사용자 단말에 저장된 영상 정보를 수신할 수 있다. 이를 위해, 통신부(110)는 다양한 통신 기법을 이용하여 외부 장치와 통신할 수 있다.
또한, 통신부(110)는 영상 처리 장치(100)와 연결된 디스플레이 장치(200)와 유선 또는 무선 통신으로 통신을 더 수행할 수 있다. 통신부(110)는 디스플레이 장치(200)와 통신하여 데이터를 송수신할 수 있다. 구체적으로, 통신부(110)는 외부 장치로부터 수신된 영상 신호를 디스플레이 장치(200)로 전송함으로써, 디스플레이 장치(200)에서 영상이 출력될 수 있도록 할 수 있다.
제어부(120)는 영상 처리 장치(100)의 전반적인 동작을 제어할 수 있다. 제어부(120)는 통신부(110)로 입력되는 영상 신호를 디스플레이 장치(200)로 전달되도록 제어할 수 있다. 특히, 제어부(120)는 디스플레이 장치(200)로 출력되는 영상 내의 특정 객체를 인식하고, 인식된 객체의 색상을 변경시키거나 다른 이미지로 변환시킬 수 있다. 이를 위해, 제어부(120)는 영상 제공부(121), 기준 프레임 처리부(122) 및 후속 프레임 처리부(123)를 포함한다.
영상 제공부(121)는 외부 장치로부터 수신된 영상 신호를 디스플레이 장치(200)로 전송할 수 있다. 일반적인 상황에서, 영상 제공부(121)는 외부 장치로부터 수신된 영상인 원본 영상을 그대로 디스플레이 장치(200)로 전달할 수 있다. 이때, 영상 제공부(121)는 후술하는 객체 변환부(123)에 의해 원본 영상 중 특정 객체가 변환된 백프로젝션(backprojection) 이미지가 생성되면, 백프로젝션 이미지를 함께 전송함으로써, 디스플레이 장치(200)에서 송출되는 영상에서 특정 객체의 색상이 변경되는 효과를 제공할 수 있다.
이를 위해, 기준 프레임 처리부(122)는 디스플레이 장치(200)를 통해 송출되는 영상 내의 소정 영역이 선택되면, 선택된 영역에 포함된 객체를 검출할 수 있다. 구체적으로, 기준 프레임 처리부(122)는 디스플레이 장치(200)를 시청하는 사용자로부터 관심 영역에 대한 선택신호를 수신할 수 있다.
여기서, 선택신호는 다양한 방법으로 생성될 수 있다. 일 예로, 디스플레이 장치(200)가 터치스크린인 경우, 사용자가 터치스크린을 터치하여 입력되는 입력신호를 이용하여 화면 내의 어느 영역을 선택하는지에 대한 정보인 관심 영역을 확인할 수 있다. 다른 예로, 사용자는 디스플레이 장치(200)에 실행되는 소프트웨어의 GUI(Graphic User Interface)를 조작하여 특정 프레임에서의 관심 영역을 선택함으로써, 이에 대한 선택신호를 생성할 수 있다.
기준 프레임 처리부(122) 선택신호를 수신하면, 수신된 시점의 프레임에 대한 관심 영역을 확인하고, 관심 영역에 포함된 특정 개체를 검출할 수 있다. 기준 프레임 처리부(122) 기 공지된 다양한 이미지 객체 인식 기술을 이용하여 선택신호를 수신한 시점의 프레임의 관심 영역에 포함된 객체를 검출할 수 있다. 이하에서는, 설명의 편의를 위해 디스플레이 장치(200)에서 출력되는 영상 중 사용자에 의해 선택된 특정 객체를 관심 객체로 정의하고, 동영상을 구성하는 복수의 이미지 프레임들 중에서 선택신호를 수신한 시점의 이미지를 기준 프레임으로 정의하여 설명하기로 한다.
기준 프레임 처리부(122)는 기준 프레임의 관심 영역을 구성하는 픽셀들에 대한 전체 히스토그램(histogram)과, 관심 객체를 구성하는 픽셀들에 대한 부분 히스토그램을 생성할 수 있다. 히스토그램은 영상의 픽셀들에 대한 명암값의 분포를 나타내는 정보이다. 기준 프레임 처리부(122)는 기준 프레임을 R, G, B 채널로 분리하고, 분리된 각각의 채널에 대하여 가로축을 256의 밝기 편차를 갖는 256 gray level 영상의 명암 값을 나타내고, 세로축을 각 명암 값의 빈도 수를 나타내는 히스토그램을 생성할 수 있다. 히스토그램을 생성하는 구체적인 방법은 기 공지된 기술이므로, 더 이상의 구체적인 설명은 생략하기로 한다.
기준 프레임 처리부(122)는 기준 프레임에 대한 전체 히스토그램 및 부분 히스토그램을 이용하여 기준 프레임 이후의 후속 프레임에서의 관심 객체를 추출하기 위하여, 후속 프레임을 처리하기 위한 컨벌루션 필터를 선택할 수 있다. 이와 관련하여, 도 3을 함께 참조하여 설명하기로 한다.
도 3은 기준 프레임 처리부(122)가 기준 프레임의 관심 영역에 해당하는 이미지에 영상 처리 장치(100)에 저장된 복수의 컨벌루션 필터 중 어느 하나의 컨벌루션 필터를 적용하는 일 예가 도시된 도면이다.
컨벌루션 필터는 기준 프레임의 관심 영역에 해당되는 이미지인 기준 이미지를 다양한 효과로 처리하기 위하여 사용되는 임의의 픽셀 사이즈로 구성된 행렬이며, 이미지 커널(image kernel) 또는 컨벌루션 커널(convolution kernel)로도 불리운다. 영상 처리 장치(100)는 다양한 종류의 컨벌루션 필터가 저장되어 있으며, 예를 들어 블러링(blurring), 샤프닝(sharpening), 윤곽선 처리(outlining) 및 엠보싱(embossing) 컨벌루션 필터를 포함할 수 있다. 이 외에도, 영상 처리 장치(100)는 사용자로부터 설정되거나 외부 장치로부터 수집된 다양한 형태의 컨벌루션 필터를 더 포함할 수 있다.
기준 프레임 처리부(122)는 기준 이미지와 영상 처리 장치(100)에 저장된 임의의 컨벌루션 필터를 적용하여 출력 이미지를 생성할 수 있다. 도시된 실시예를 참조하면, 영상 처리 장치(100)는 3X3 행렬로 구성된 컨벌루션 필터들이 저장될 수 있으며, 각각의 컨벌루션 필터는 행렬 요소별로 수치값이 설정될 수 있다. 예시에 사용된 컨벌루션 필터는 도시된 바와 같이 왼쪽 상단부터 순차적으로 1, 0, 1, 0, 1, 0, 1, 0, 1의 값이 설정될 수 있다.
기준 프레임 처리부(122)는 기준 이미지를 구성하는 어느 하나의 픽셀 및 해당 픽셀의 주변 픽셀들과 컨벌루션 필터를 컨벌루션 연산하여 해당 픽셀의 출력값을 산출할 수 있다. 예를 들어, 기준 프레임 처리부(122)가 기준 이미지의 한가운데에 위치한 픽셀을 컨벌루션 필터를 이용하여 처리하고자 하면, 한가운데에 위치한 픽셀과 해당 픽셀과 근접한 픽셀들을 제1 처리 영역(A)으로 설정할 수 있다. 이때, 컨벌루션 필터의 크기가 3X3인 경우, 제1 처리 영역(A)의 크기 또한 3X3으로 설정될 수 있다. 기준 프레임 처리부(122)는 제1 처리 영역(A)의 어느 하나의 픽셀의 밝기값과, 제1 처리 영역(A)의 어느 하나의 픽셀의 위치에 대응되는 컨벌루션 필터의 밝기값을 곱하여 요소 값을 산출할 수 있다. 예를 들어, 좌측 최상단에 위치한 픽셀에 대하여, 기준 프레임 처리부(122)는 1*1=1의 요소 값을 산출할 수 있다. 이와 같은 방법으로, 기준 프레임 처리부(122)는 제1 처리 영역(A)의 모든 픽셀에 대한 요소값을 산출하고, 산출된 요소값을 합산한 출력값(5)을 산출할 수 있다.
상술한 방법을 이용하여, 기준 프레임 처리부(122)는 기준 이미지를 구성하는 모든 픽셀에 대한 출력값을 산출할 수 있다. 이때, 기준 프레임 처리부(122)는 기준 이미지의 외곽에 위치한 픽셀들에 대한 출력값을 산출하기 위한 패딩(padding) 이미지를 생성할 수 있다. 패딩 이미지가 없는 경우, 기준 이미지의 최외곽에 위치한 픽셀들은 다른 픽셀들의 결과값을 산출하기 위한 참조 데이터로만 사용될 수 있다. 즉, 컨벌루션 필터가 1칸씩 이동하며 결과값을 산출하는 경우 5X5의 기준 이미지는 3X3의 출력 이미지로 출력될 수 있다. 이와 같은 문제점을 방지하기 위해, 기준 프레임 처리부(122)는 기준 이미지의 외곽에 하나의 픽셀을 추가적으로 배치하여 기준 이미지의 최외각 픽셀에 대한 출력값을 산출할 수 있도록 할 수 있다. 이때, 패딩 이미지의 각 픽셀(padding pixel)은 모두 0의 밝기값을 갖도록 설정될 수 있다. 이에 따라, 기준 프레임 처리부(122)는 기준 이미지의 좌측 최상단 픽셀에 대한 출력값을 산출할 때, 패딩 픽셀을 포함하는 제2 처리 영역(B)을 설정하는 것이 가능하다.
도 4는 기준 프레임 처리부(122)가 다양한 컨벌루션 필터를 이용하여 기준 이미지에 대한 출력 이미지를 생성하는 일 예가 도시된 도면이다.
도 4a는 기준 이미지의 일 예를 나타낸 것이다. 기준 프레임 처리부(122)가 도 3에 도시된 컨벌루션 필터를 이용하여 도 4a의 기준 이미지를 컨벌루션 연산하면 도 4b와 같은 출력 이미지를 생성할 수 있다. 다시 도 3을 참조하면, 기준 이미지에서 0의 밝기 값을 가진 어두운 픽셀은 1의 밝기 값을 가진 밝은 픽셀과 1의 차이를 보인다. 하지만, 도 3에 도시된 특성을 가진 컨벌루션 필터를 사용하는 경우, 어두운 픽셀과 밝은 픽셀간의 차이가 많게는 4까지의 편차를 가지는 것으로 확인할 수 있다. 즉, 기준 프레임 처리부(122)가 도 3에 도시된 특성을 가진 컨벌루션 필터를 사용하는 경우, 도 4a와 도 4b의 차이에서 알 수 있듯이, 검은색으로 표현된 픽셀들 외의 픽셀이 밝게 처리되어 영상 처리 장치(100)가 기준 이미지 내에서 비교적 어두운 밝기를 가진 객체를 용이하게 검출할 수 있다.
다른 예로, 기준 프레임 처리부(122)는 -1, -1, -1, -1, 8, -1, -1, -1, -1의 특성을 가진 윤곽선 처리 컨벌루션 필터를 기준 영상에 적용하는 경우 도 4c와 같은 출력 이미지를 획득할 수 있다. 이와 같은 방법으로, 기준 프레임 처리부(122)는 영상 처리 장치(100)에 저장된 모든 컨벌루션 필터를 이용하여 각각의 출력 이미지를 생성할 수 있다. 또한, 기준 프레임 처리부(122)는 사용자로부터 설정되는 임의의 설정값을 갖는 컨벌루션 필터를 이용하여 기준 이미지에 대한 출력 이미지를 생성할 수 있다.
기준 프레임 처리부(122)는 생성된 출력 이미지에 대한 풀링(pooling) 이미지를 생성할 수 있다. 이와 관련하여, 도 5를 함께 참조하여 설명하기로 한다.
도 5는 기준 프레임 처리부(122)에서 풀링 이미지를 생성하는 일 예가 도시된 도면이다.
기준 프레임 처리부(122)는 미리 정해진 크기를 갖는 풀링 필터를 이용하여 출력 이미지를 풀링 이미지로 변환할 수 있다. 예를 들어, 풀링 필터가 2X2의 크기인 경우, 기준 프레임 처리부(122)는 출력 이미지의 2X2로 구성된 네 개의 픽셀 영역(C)을 하나의 픽셀로 축소시킬 수 있다.
기준 프레임 처리부(122)는 축소시킨 픽셀의 밝기값을 상술한 픽셀 영역(C)을 구성하는 픽셀들의 밝기값을 이용하여 결정할 수 있다. 일 예로, 기준 프레임 처리부(122)는 픽셀 영역(C)을 구성하는 밝기값 중 가장 큰 값을 축소시킨 픽셀의 밝기값으로 결정할 수 있다. 다른 예로, 도시되지는 않았으나 기준 프레임 처리부(122)는 픽셀 영역(C)을 구성하는 밝기값들의 평균값을 축소시킨 픽셀의 밝기값으로 결정할 수 있다.
이와 같은 방법으로, 기준 프레임 처리부(122)는 기준 프레임에 대한 기준 이미지에 영상 처리 장치(100)에 저장된 컨벌루션 필터를 적용하여 출력 이미지를 생성하고, 출력 이미지의 사이즈를 줄이면서 출력 이미지의 픽셀 특징이 반영된 풀링 이미지를 생성할 수 있다. 이 과정에서, 기준 프레임 처리부(122)는 풀링 이미지에 대한 히스토그램을 생성할 수 있다.
기준 프레임 처리부(122)는 풀링 이미지에 대한 히스토그램을 관심 객체에 대한 히스토그램인 부분 히스토그램과 비교할 수 있다. 상술한 바와 같이, 기준 프레임 처리부(122)는 영상 처리 장치(100)에 저장된 컨벌루션 필터 각각에 대응되는 풀링 이미지를 생성할 수 있으며, 이에 따라 풀링 이미지에 대한 히스토그램은 복수 개로 생성될 수 있다. 기준 프레임 처리부(122)는 복수 개로 생성된 풀링 이미지에 대한 히스토그램 중 어느 하나와 부분 히스토그램의 차이값을 산출할 수 있다. 기준 프레임 처리부(122)는 산출된 차이값이 최소값을 갖는 어느 하나의 풀링 이미지에 대한 히스토그램을 선택할 수 있다. 기준 프레임 처리부(122)는 선택된 풀링 이미지의 생성 시 사용된 컨벌루션 필터를 후속 프레임의 이미지를 변환시키는 영상 처리 필터로 결정할 수 있다.
후속 프레임 처리부(122)는 기준 프레임 이후로 출력되는 후속 프레임을 처리하여 후속 프레임 내의 관심 객체를 추적하고, 검출된 관심 객체를 변형시킬 수 있다.
이를 위해, 후속 프레임 처리부(122)는 전처리 과정의 일환으로 현재 처리할 후속 프레임에 대한 이미지인 후속 이미지에 기준 프레임 처리부(122)에 의해 결정된 영상 처리 필터를 적용할 수 있다. 후속 프레임 처리부(122)는 후속 이미지를 구성하는 각각의 픽셀의 밝기 값과 영상 처리 필터를 구성하는 픽셀의 설정값을 컨벌루션 연산하여 후속 이미지에 대한 출력 이미지를 생성할 수 있다. 또한, 후속 프레임 처리부(122)는 미리 정해진 크기를 가진 풀링 필터를 이용하여 생성된 출력 이미지에 대한 풀링 이미지를 생성할 수 있다.
이러한 전처리 과정 이후에, 후속 프레임 처리부(122)는 처리할 후속 프레임에 대한 풀링 이미지 내에서 관심 객체를 탐색하기 위한 탐색 영역의 위치를 결정할 수 있다. 이를 위해, 후속 프레임 처리부(122)는 처리할 후속 프레임의 바로 전에 출력된 프레임을 분석하여, 관심 객체의 위치를 획득할 수 있다. 즉, 후속 프레임 처리부(122)는 n번째 프레임을 처리하기 위하여 n-1번째 프레임에서의 관심 객체의 위치를 검색할 수 있다. 이때, n-1번째 프레임이 기준 프레임이라고 가정하면, 후속 프레임 처리부(122)는 사용자에 의해 최초로 선택된 관심 영역에 포함된 관심 객체의 위치에 대한 정보를 획득할 수 있다. 후속 프레임 처리부(122)는 n-1번째 프레임의 관심 영역의 위치 정보를 기준으로 n번째 프레임의 후보 탐색 영역을 생성할 수 있다. 후보 탐색 영역의 크기는 관심 영역의 크기와 동일한 크기로 설정될 수 있다.
후속 프레임 처리부(122)는 생성된 후보 탐색 영역에 대한 히스토그램을 생성하고, 이를 관심 객체에 대한 히스토그램과 비교할 수 있다. 후속 프레임 처리부(122)는 후보 탐색 영역에 대한 히스토그램과 관심 객체에 대한 히스토그램의 차이값이 미리 설정된 임계값 이하인 경우, 후보 탐색 영역을 탐색 영역으로 설정할 수 있다. 일반적으로, 연속된 영상 프레임에서 특정 객체의 위치 변화는 크지 않으므로, 프레임 전체 이미지에서 관심 객체를 찾는 것 보다는 이전 프레임에서의 관심 객체의 위치를 기준으로 일정 반경 내의 영역을 후보 탐색 영역으로 설정하고, 후보 탐색 영역을 기초로 설정되는 탐색 영역에 대하여 관심 객체를 탐색하는 것이 효율적일 수 있다.
한편, 동영상의 화면이 전환되는 등 관심 객체의 갑작스러운 이동이 발생하는 경우, 후속 프레임 처리부(122)는 후보 탐색 영역을 이동시키면서 탐색 영역을 설정할 수 있다. 구체적으로, 후속 프레임 처리부(122)는 도 6에 도시된 바와 같이, 산출된 차이값이 임계값을 초과하는 경우, 후보 탐색 영역을 시프트(shift)시킬 수 있다. 예를 들어, 후속 프레임 처리부(122)는 후보 탐색 영역을 현재 위치를 기준으로 좌측에서 우측으로 후보 탐색 영역의 너비에 해당되는 픽셀의 개수만큼 이동시킨 후, 이동된 영역에서의 히스토그램을 생성할 수 있다. 또한, 후속 프레임 처리부(122)는 후보 탐색 영역을 우측으로 이동시키는 과정에서 탐색 영역이 풀링 영상의 우측 가장자리까지 이동하면, 후보 탐색 영역의 높이에 해당되는 픽셀의 개수만큼 아래로 이동시키면서, 풀링 영상의 좌측 가장자리에 위치시킬 수 있다. 후속 프레임 처리부(122)는 이동된 후보 탐색 영역의 히스토그램을 관심 객체에 대한 히스토그램과 비교하여 차이값이 임계값 이하가 될 때까지 후보 탐색 영역을 일정 간격만큼 이동시킬 수 있다.
몇몇 다른 실시예에서, 후속 프레임 처리부(122)는 산출된 차이값이 임계값을 초과하는 경우, 풀링 영상을 복수의 영역으로 분할하고, 분할된 각 영역에 대한 요소 히스토그램을 생성할 수 있다. 이와 관련하여, 도 7을 함께 참조하여 설명하기로 한다.
도 7은 후속 프레임 처리부(122)가 탐색 영역을 설정하는 다른 실시예가 도시된 도면이다.
후속 프레임 처리부(122)는 후보 탐색 영역의 히스토그램과 관심 객체의 히스토그램과의 차이값이 임계값을 초과하는 경우, 관심 객체의 위치가 급격히 변경된 것으로 판단할 수 있다. 또는, 후속 프레임 처리부(122)는 후보 탐색 영역을 시프트 시키는 과정에서 산출된 차이값이 임계값을 초과하는 횟수가 연속적으로 소정 횟수 이상으로 카운팅되는 경우, 관심 객체의 위치가 급격히 변경된 것으로 판단할 수 있다. 이러한 경우, 후속 프레임 처리부(122)는 후속 프레임의 풀링 영상으로부터 관심 객체가 배치된 위치를 추정하기 위하여 풀링 영상을 복수의 영역을 분할할 수 있다. 예를 들어, 도시된 바와 같이 후속 프레임 처리부(122)는 풀링 영상을 4분할 할 수 있다. 하지만, 후속 프레임 처리부(122)에 의해 분할되는 개수는 이에 한정되지 않으며, 영상 처리 장치(100)의 성능과 동영상의 품질 등에 따라 다양한 개수로 설정될 수 있음은 물론이다.
후속 프레임 처리부(122)는 제1 영역 내지 제4 영역 각각에 대한 히스토그램을 생성하여 관심 객체에 대한 히스토그램인 부분 히스토그램과 비교할 수 있다. 후속 프레임 처리부(122)는 부분 히스토그램과 가장 유사한 히스토그램으로 표현되는 어느 하나의 영역(도시된 실시예에서는 제1 영역인 것으로 가정)을 선택할 수 있다. 후속 프레임 처리부(122)는 제1 영역을 다시 4분할 하여 상술한 과정을 반복하여 수행하여 제1-4영역이 부분 히스토그램과 가장 유사한 것으로 판단할 수 있다. 후속 프레임 처리부(122)는 이러한 과정을 소정 횟수 반복 수행하여 관심 객체의 대략적인 위치를 추정할 수 있다. 도시된 실시예에서는 후속 프레임 처리부(122)가 두 번의 화면 분할 과정을 수행한 것으로 도시되어 있으나, 반복 수행되는 횟수는 다양하게 설정될 수 있다.
후속 프레임 처리부(122)는 미리 정해진 반복 횟수만큼 화면 분할 및 특정 영역 선택 과정을 반복한 후, 최종적으로 선택된 영역 내에서 탐색 영역을 설정할 수 있다. 예를 들어, 후속 프레임 처리부(122)는 최종적으로 선택된 제1-4 영역의 좌측 최상단에 후보 탐색 영역을 배치시킨 후, 해당 위치에서의 히스토그램을 생성할 수 있다. 후속 프레임 처리부(122)는 생성된 히스토그램과 부분 히스토그램의 차이값이 임계값 이하이면 해당 영역을 탐색 영역으로 설정할 수 있다. 반면, 후속 프레임 처리부(122)는 산출된 차이값이 임계값을 초과하면 후보 탐색 영역을 시프트하여 차이값을 임계값과 비교하는 과정을 재수행할 수 있다. 이와 같은 방법을 통하여, 후속 프레임 처리부(122)는 최종적인 탐색 영역을 설정할 수 있다.
후속 프레임 처리부(122)는 탐색 영역으로부터 관심 객체를 추출할 수 있다. 후속 프레임 처리부(122)는 기준 프레임 처리부(122)와 유사하게 기 공지된 다양한 이미지 객체 인식 기술을 이용하여 탐색 영역에 포함된 객체를 검출할 수 있다.
후속 프레임 처리부(122)는 탐색 영역에서 검출된 객체에 대한 백프로젝션 이미지를 생성할 수 있다. 후속 프레임 처리부(122)는 백프로젝션 이미지의 색상을 사용자에 의해 설정된 색상으로 변경시키거나, 백프로젝션 이미지를 사용자에 의해 설정된 이미지로 변환시킬 수 있다. 후속 프레임 처리부(122)는 변환된 백프로젝션 이미지를 해당 프레임의 이미지에 반영함으로써, 디스플레이 장치(200)에서 관심 객체의 색상 또는 형태가 변환된 동영상이 출력될 수 있도록 제어할 수 있다.
이때, 후속 프레임 처리부(122)는 후속 프레임의 전체 이미지에 대한 히스토그램을 생성하고, 생성된 히스토그램을 이용하여 색상 또는 형태가 변환된 관심 객체의 명도 또는 채도를 자동으로 변경시킬 수 있다. 예를 들어, 후속 프레임 처리부(122)는 후속 프레임의 전체 이미지에 대한 히스토그램을 분석하여 영상이 전반적으로 어두운 것으로 확인되면 관심 객체의 명도를 기준 명도보다 낮아지도록 설정할 수 있다. 또한, 후속 프레임 처리부(122)는 후속 프레임의 전체 이미지에 대한 히스토그램을 관심 객체의 부분 히스토그램과 비교하여, 두 히스토그램이 차이값이 기준값보다 작은 경우 관심 객체를 배경으로부터 선명하게 처리할 수 있도록 관심 객체의 채도값을 기준 채도보다 높도록 설정할 수 있다. 이와 같은 방법으로, 후속 프레임 처리부(122)는 히스토그램을 이용하여 관심 객체의 채도 또는 명도를 자동으로 설정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 히스토그램을 이용한 영상 처리 방법의 개략적인 흐름이 도시된 순서도이다.
상술한 바와 같이, 본 발명에 따른 영상 처리 장치(100)는 히스토그램을 이용한 영상 처리 방법을 이용하여 동영상을 처리하는 소프트웨어가 설치될 수 있다.
영상 처리 장치(100)는 사용자로부터 선택된 관심 객체에 대한 히스토그램을 생성할 수 있다(810). 영상 처리 장치(100)는 디스플레이 장치를 통해 출력되는 동영상 내의 관심 영역에 대한 선택신호를 수신하면, 관심 영역 내에 포함된 관심 객체를 추출하고, 추출된 관심 객체에 대한 부분 히스토그램을 생성할 수 있다.
영상 처리 장치(100)는 부분 히스토그램을 이용하여 후속 출력되는 동영상 내의 관심 객체를 검출할 수 있다(820). 영상 처리 장치(100)는 동영상을 구성하는 복수의 프레임들 중 선택신호를 수신한 시점의 프레임을 기준 프레임으로 설정하고, 기준 프레임의 관심 영역에 대한 기준 이미지에 컨벌루션 필터를 적용하여 출력 이미지를 생성할 수 있다. 영상 처리 장치(100)는 풀링 필터를 이용하여 출력 이미지에 대한 풀링 이미지를 생성할 수 있다. 영상 처리 장치(100)는 풀링 이미지에 대한 히스토그램을 이용하여 후속 프레임의 이미지를 처리할 영상 처리 필터를 결정할 수 있다. 영상 처리 장치(100)는 영상 처리 필터를 이용하여 후속 프레임의 영상 처리 시간을 단축시키기 위한 과정들(컨벌루션 연산 및 풀링 이미지 생성)을 수행하고, 풀링 이미지 내의 탐색 영역을 설정하여 관심 객체를 검출할 수 있다.
영상 처리 장치(100)는 후속 프레임의 관심 객체의 색상 또는 형태를 사용자가 설정된 색상 또는 이미지로 변환할 수 있다(830). 영상 처리 장치(100)는 후속 프레임의 관심 객체를 백프로젝션 이미지로 나타내고, 백프로젝션 이미지의 색상을 변경시키거나, 다른 이미지로 변환시킬 수 있다. 이 과정에서, 영상 처리 장치(100)는 후속 프레임의 전체 이미지에 대한 히스토그램과 관심 객체에 대한 히스토그램을 이용하여 관심 객체의 명도 또는 채도의 설정값을 자동으로 변경시킬 수 있다.
이와 같은, 히스토그램을 이용한 영상 처리 방법을 제공하는 기술은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 영상 처리 장치
200: 디스플레이 장치

Claims (11)

  1. 디스플레이 장치를 통해 송출되는 동영상 내의 관심 영역에 대한 선택신호를 수신하면, 상기 관심 영역에 포함된 관심 객체를 추출하고, 상기 관심 객체에 대한 히스토그램을 생성하는 단계;
    상기 히스토그램을 이용하여 후속 출력되는 동영상 내의 관심 객체를 추출하는 단계; 및
    추출된 관심 객체를 백프로젝션(backprojection) 이미지로 나타내고, 상기 백프로젝션 이미지의 색상을 변경시켜 상기 관심 객체의 색상이 변경된 후속 영상을 출력하는 단계를 포함하고,
    상기 관심 객체에 대한 히스토그램을 생성하는 것은,
    상기 동영상을 구성하는 복수의 프레임 중 상기 선택신호를 수신한 시점의 프레임을 기준 프레임으로 설정하고, 상기 기준 프레임에 포함된 상기 관심 영역의 이미지를 기준 이미지로 설정하며, 상기 기준 이미지에 대한 히스토그램을 함께 생성하고,
    상기 기준 이미지와 미리 저장된 복수의 컨벌루션(convolution) 필터 중 어느 하나의 컨벌루션 필터 간의 컨벌루션 연산을 통해 출력 이미지를 생성하고, 상기 출력 이미지에 미리 정해진 크기를 갖는 풀링(pooling) 필터를 적용하여 풀링 이미지를 생성하며, 상기 풀링 이미지에 대한 히스토그램을 생성하는 것을 더 포함하는 히스토그램을 이용한 영상 처리 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 관심 객체에 대한 히스토그램을 생성하는 것은,
    상기 풀링 이미지에 대한 히스토그램을 상기 관심 객체에 대한 히스토그램과 비교하여 차이값을 산출하고, 상기 차이값이 최소값을 갖는 컨벌루션 필터를 후속 동영상을 처리할 영상 처리 필터로 결정하는 것을 더 포함하는, 히스토그램을 이용한 영상 처리 방법.
  5. 제1항에 있어서,
    후속 출력되는 동영상 내의 관심 객체를 추출하는 것은,
    영상 처리 필터를 이용하여 상기 기준 프레임 이후에 출력되는 후속 프레임에 대한 이미지를 컨벌루션 연산하여 출력 이미지를 생성하고, 상기 출력 이미지의 크기가 축소된 풀링 이미지를 생성하는 전처리 과정을 수행하는 것을 특징으로 하는, 히스토그램을 이용한 영상 처리 방법.
  6. 제5항에 있어서,
    후속 출력되는 동영상 내의 관심 객체를 추출하는 것은,
    상기 후속 프레임에 대한 풀링 이미지 내에서 상기 관심 객체를 탐색하기 위한 탐색 영역을 설정하는 것을 특징으로 하는, 히스토그램을 이용한 영상 처리 방법.
  7. 제6항에 있어서,
    후속 출력되는 동영상 내의 관심 객체를 추출하는 것은,
    현재 출력되는 후속 프레임을 n번째 프레임이라고 할 때, n-1번째 프레임에서 검출된 상기 관심 객체의 위치 정보를 검색하고, 상기 위치 정보를 기준으로 일정 반경 내의 영역을 후보 탐색 영역을 설정하고, 상기 후보 탐색 영역에 대한 히스토그램을 생성하여 상기 관심 객체에 대한 히스토그램과 비교하여 차이값을 산출하고, 상기 차이값이 미리 정해진 임계값 이하인 경우 상기 후보 탐색 영역을 상기 탐색 영역으로 설정하며, 상기 탐색 영역에 대한 이미지를 분석하여 상기 n번째 프레임에서의 상기 관심 객체를 추출하는 것을 특징으로 하는, 히스토그램을 이용한 영상 처리 방법.
  8. 제7항에 있어서,
    상기 탐색 영역을 설정하는 것은,
    상기 차이값이 미리 정해진 임계값을 초과하면, 상기 후보 탐색 영역을 미리 정해진 간격만큼 이동시키고, 이동된 위치에서의 히스토그램을 생성하여 상기 차이값을 산출하는 과정을 상기 차이값이 상기 임계값 이하가 될 때 까지 반복 수행하여 상기 탐색 영역을 설정하는 것을 특징으로 하는, 히스토그램을 이용한 영상 처리 방법.
  9. 제7항에 있어서,
    상기 탐색 영역을 설정하는 것은,
    상기 차이값이 미리 정해진 임계값을 초과하면, 상기 n번째 프레임에 대한 풀링 이미지를 복수의 영역을 분할하고, 분할된 영역 각각에 대한 히스토그램을 생성하며, 상기 분할된 영역에 대한 히스토그램을 상기 관심 객체에 대한 히스토그램과 비교하여 차이값이 최소값을 갖는 어느 하나의 영역을 선택하는 화면 분할 과정을 소정 횟수만큼 반복 수행한 후, 최종적으로 선택된 영역 내에서 상기 탐색 영역을 설정하는 것을 특징으로 하는, 히스토그램을 이용한 영상 처리 방법.
  10. 제1항에 있어서,
    상기 관심 객체의 색상이 변경된 후속 영상을 출력하는 것은,
    후속 프레임의 전체 이미지에 대한 히스토그램을 생성하고, 상기 후속 프레임의 전체 이미지에 대한 히스토그램과 상기 관심 객체 대한 히스토그램을 비교하여 상기 관심 객체의 명도 또는 채도를 자동으로 변경시키는 것을 특징으로 하는, 히스토그램을 이용한 영상 처리 방법.
  11. 제1항 및 제4항 내지 제10항 중 어느 하나의 항에 따른 히스토그램을 이용한 영상 처리 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
KR1020170173938A 2017-12-18 2017-12-18 히스토그램을 이용한 영상 처리 방법 및 이를 수행하기 위한 기록매체 KR101957610B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170173938A KR101957610B1 (ko) 2017-12-18 2017-12-18 히스토그램을 이용한 영상 처리 방법 및 이를 수행하기 위한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170173938A KR101957610B1 (ko) 2017-12-18 2017-12-18 히스토그램을 이용한 영상 처리 방법 및 이를 수행하기 위한 기록매체

Publications (1)

Publication Number Publication Date
KR101957610B1 true KR101957610B1 (ko) 2019-03-12

Family

ID=65800216

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170173938A KR101957610B1 (ko) 2017-12-18 2017-12-18 히스토그램을 이용한 영상 처리 방법 및 이를 수행하기 위한 기록매체

Country Status (1)

Country Link
KR (1) KR101957610B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030060328A (ko) * 2002-01-08 2003-07-16 삼성전자주식회사 동영상에서 칼라 기반의 객체를 추적하는 방법 및 그 장치
KR100450793B1 (ko) 2001-01-20 2004-10-01 삼성전자주식회사 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법
JP2007043225A (ja) * 2005-07-29 2007-02-15 Univ Of Electro-Communications 撮像画像処理装置及び撮像画像処理方法
KR101034117B1 (ko) 2009-11-13 2011-05-13 성균관대학교산학협력단 영상에서 관심 영역 지정 및 윤곽선 영상을 이용한 객체 인식 방법 및 장치
JP2016115248A (ja) * 2014-12-17 2016-06-23 株式会社デンソー 演算処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100450793B1 (ko) 2001-01-20 2004-10-01 삼성전자주식회사 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법
KR20030060328A (ko) * 2002-01-08 2003-07-16 삼성전자주식회사 동영상에서 칼라 기반의 객체를 추적하는 방법 및 그 장치
JP2007043225A (ja) * 2005-07-29 2007-02-15 Univ Of Electro-Communications 撮像画像処理装置及び撮像画像処理方法
KR101034117B1 (ko) 2009-11-13 2011-05-13 성균관대학교산학협력단 영상에서 관심 영역 지정 및 윤곽선 영상을 이용한 객체 인식 방법 및 장치
JP2016115248A (ja) * 2014-12-17 2016-06-23 株式会社デンソー 演算処理装置

Similar Documents

Publication Publication Date Title
US11551435B2 (en) Recurrent deep neural network system for detecting overlays in images
US9569695B2 (en) Adaptive search window control for visual search
RU2637989C2 (ru) Способ и устройство для идентификации целевого объекта на изображении
US9179092B2 (en) System and method producing high definition video from low definition video
Yildirim et al. FASA: fast, accurate, and size-aware salient object detection
CN103198311B (zh) 基于拍摄的图像来识别字符的方法及装置
CN109977952B (zh) 基于局部最大值的候选目标检测方法
KR102218608B1 (ko) 증강 현실 응용들을 위한 비디오들 내의 실 시간 오버레이 배치
CN111723634B (zh) 一种图像检测方法、装置、电子设备及存储介质
Lamba et al. Towards fast and light-weight restoration of dark images
KR20140038436A (ko) 3d 컨텐츠를 리타깃팅하기 위한 방법 및 디바이스
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
KR101805018B1 (ko) 컴팩트 비디오 생성 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR101957610B1 (ko) 히스토그램을 이용한 영상 처리 방법 및 이를 수행하기 위한 기록매체
CN111914682A (zh) 一种包含演示文稿的教学视频分割方法、装置及设备
US11657608B1 (en) Method and system for video content analysis
CN111444834A (zh) 图像文本行检测方法、装置、设备及存储介质
JPWO2019150649A1 (ja) 画像処理装置および画像処理方法
CN112085025B (zh) 物体分割方法、装置、设备
US20210342633A1 (en) Method of merging images and data processing device
CN115134677A (zh) 视频封面选择方法、装置、电子设备以及计算机存储介质
US11037311B2 (en) Method and apparatus for augmenting data in monitoring video
JP2001076094A (ja) 文字列情報抽出装置及び方法及びその方法を記録した記録媒体
CN113362351A (zh) 一种图像处理方法、装置、电子设备以及存储介质
CN113743219B (zh) 运动目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant