KR101260817B1 - 강인한 인식/추적을 지원하기 위한 디지털 컨텐츠 영상의 피쳐포인트 보강 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 - Google Patents

강인한 인식/추적을 지원하기 위한 디지털 컨텐츠 영상의 피쳐포인트 보강 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 Download PDF

Info

Publication number
KR101260817B1
KR101260817B1 KR1020110065748A KR20110065748A KR101260817B1 KR 101260817 B1 KR101260817 B1 KR 101260817B1 KR 1020110065748 A KR1020110065748 A KR 1020110065748A KR 20110065748 A KR20110065748 A KR 20110065748A KR 101260817 B1 KR101260817 B1 KR 101260817B1
Authority
KR
South Korea
Prior art keywords
image
feature point
reinforcement
original image
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020110065748A
Other languages
English (en)
Other versions
KR20130004620A (ko
Inventor
이일구
우운택
Original Assignee
광주과학기술원
주식회사 인프라웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원, 주식회사 인프라웨어 filed Critical 광주과학기술원
Priority to KR1020110065748A priority Critical patent/KR101260817B1/ko
Publication of KR20130004620A publication Critical patent/KR20130004620A/ko
Application granted granted Critical
Publication of KR101260817B1 publication Critical patent/KR101260817B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3245—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of image modifying data, e.g. handwritten addenda, highlights or augmented reality information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 강인한 인식/추적을 지원하기 위한 디지털 컨텐츠 영상의 피쳐포인트 보강 기술로서, 원본영상을 입력받아 피쳐포인트 탐색 및 분석을 수행하고, 피쳐포인트를 보강하여 보강영상을 생성한 뒤, 보강영상을 원본영상과의 시각적 감지의 변화를 최소화하는 과정을 거쳐 보정영상을 생성하여 저장하여 외부에서 열람하도록 제공한다. 이를 통해, 영상을 인식/추적하기 전에 원본영상에 대한 피쳐포인트를 보강한 보강영상을 먼저 생성하고, 보강영상과 원본영상 간의 시각적 감지의 변화를 최소화함으로써, 피쳐포인트에 대한 인식/추적이 용이한 영상으로 변환해서 사용할 수 있으며, 피쳐포인트가 명확해진 영상이 시각적으로 원본영상과 가장 흡사하게 사용자에게 인식되도록 할 수 있다.

Description

강인한 인식/추적을 지원하기 위한 디지털 컨텐츠 영상의 피쳐포인트 보강 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체{METHOD FOR ENHANCING FEATURE POINTS OF DIGITAL CONTENTS FOR SUPPORTING ROBUST DETECTION AND TRACKING, AND COMPUTER READABLE RECORDING MEDIUM FOR THE SAME}
본 발명은 강인한 인식/추적을 지원하기 위하여 영상의 피쳐포인트를 보강하는 영상처리 기술에 관한 것이다. 특히, 본 발명은 영상을 인식/추적하기 전에 영상처리(image processing) 기술을 이용하여 영상을 미리 보강함으로써, 임의의 영상을 원본보다 추적하기 용이한 영상으로 변환해서 사용가능하도록 할 수 있는 영상의 피쳐포인트 보강을 위한 인식/추적 지원 기술에 관한 것이다.
최근들어 스마트폰이나 스마트패드에서 실행하는 카메라 활용 어플리케이션이 널리 보급되면서 증강현실(Augmented Reality - AR)을 이용한 기술이 중요하게 인식되고 있다. 증강현실은 가상현실의 한 분야로 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 기법이다. 증강현실은 현실세계의 기반위에 가상의 사물을 합성하여 현실세계 만으로는 얻기 어려운 정보들을 보강해 제공할 수 있는 특징을 가지고 있다.
즉, 증강현실 기술에서는 사용자가 실제 환경을 볼 수 있으며, 실제 환경과 가상의 객체가 혼합된 형태를 띤다. 다시 말하면, 증강현실은 현실세계에 가상의 물체를 중첩함으로서 현실세계를 보충하여 사용자에게 보여주는 점이 특징이며 사용자에게 현실감을 제공한다는 것이 장점이다. 이러한 특징 때문에 증강현실 기술은 다양한 현실환경에 응용이 가능하며 특히 유비쿼터스 환경에 적합한 차세대 영상처리 기술로 각광받고 있다.
증강현실에서는 실제 영상으로부터 자신이 원하는 목표를 찾아내어 가상의 정보를 부가해야 하는 것이므로, 스마트폰에서 촬영한 영상에서 특정의 객체를 찾아내고 이어서 지속적으로 추적해야 한다. 실제 물체의 그림 또는 무늬와 같은 자체적 텍스쳐(texture)를 인식과 추적에 이용하는 것으로, 실제 객체의 자연스러운 특징(natural feature)을 이용하므로 객체의 일부가 가려지더라도 추적에 강하고 사용자에게 몰입감을 제공한다.
증강현실 기술에서는 객체의 피쳐포인트(feature points)를 인식하고 이를 지속적으로 추적하는 것이 중요하다. 이러한 피쳐포인트 기반의 인식/추적 기술에 사용되는 목표영상은 피쳐포인트가 잘 나타날 뿐만 아니라 이들 피쳐포인트가 영상 전체에 고르게 분포될 필요가 있다. 왜냐하면 피쳐포인트 기반 인식/추적 기술에서는 입력영상과 기학습한 참조영상을 대비할 때, 피쳐포인트를 추출해내고 이것을 맞춰가면서 인식/추적(트래킹)을 하기 때문이다.
그러나 임의의 영상에서 피쳐포인트가 불분명할 경우나 추출이 안 될 경우에는 응용 분야에 따라 목표영상을 인식 내지 추적하기에 적합하지 않아 문제가 발생한다. 이를 해결하기 위해 종래에는 증강현실 개발도구를 배포하면서 참조영상을 미리 검증받는 시스템을 만들었다. 예컨대 증강현실 개발도구를 사용하는 컨텐츠 개발자는 자기가 사용할 영상을 미리 웹사이트에 올려보고 피쳐포인트가 잘 나오는지 검증받을 수 있다.
그러나 이 경우에도 컨텐츠 개발자가 사용하고 싶어하는 영상에서 피쳐포인트가 잘 나오지 않을 경우에 수작업으로 직접 영상을 보정하여 쓸 수밖에 없어, 보정 작업을 하는 작업자의 능력차에 의해 보정영상의 퀄리티가 다르게 되는 문제점이 발생한다.
또 다른 문제점을 살펴보자면, 앞으로 디지털 컨텐츠 시장이 커짐에 따라 증강현실 컨텐츠가 들어있는 디지털 컨텐츠가 시장을 장악할 것이나, 예술가나 작가들이 만든 그림(영상)을 그대로 증강현실 컨텐츠로 사용하기에는 아무래도 무리가 있기 마련이다. 디지털 출판물에서 증강현실을 구현하려면, 영상을 인식/추적하는 것이 필수적인데, 일반적인 출판물은 인식/추적하기에는 바람직하지 않은 표면을 갖고 있기 때문이다.
이에 따라, 종래의 일반적인 출판물을 디지털 컨텐츠로 변환하는 경우에는 피쳐포인트를 부정확하게 인식하거나 때로는 전혀 인식하지 못하는 문제점도 종종 발생하고 있다. 이러한 문제들로 인하여 증강현실에 적합한 디지털 컨텐츠를 작성한다는 것은 매우 어려운 작업으로 인식되고 있고, 결국 증강현실 디지털 컨텐츠의 저변 확대에도 불리한 환경이 조성되었다.
본 발명의 목적은 증강현실 디지털 컨텐츠를 용이하고 편리하게 작성할 수 있도록 해주는 기술을 제공하는 것이다. 특히, 원본영상에 대한 피쳐포인트를 보강하여 보강영상을 생성한 뒤, 보강영상과 원본영상 간의 시각적 감지의 변화를 최소화함으로써, 영상에 보다 피쳐포인트가 명확하게 나타나도록 할 뿐만 아니라, 피쳐포인트가 명확해진 영상이 시각적으로 원본영상과 유사하게 나타나도록 할 수 있는 영상처리 기술을 제공하는 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이러한 과제를 달성하기 위한 본 발명에 따른 영상의 피쳐포인트 보강 방법은, 원본영상을 입력받아 피쳐포인트 탐색과 분석을 수행하는 제 1 단계; 피쳐포인트를 보강하여 보강영상을 생성하는 제 2 단계;를 포함하여 구성된다. 이때, 영상의 피쳐포인트 보강 방법은, 보강영상을 원본영상과의 시각적 감지의 변화를 최소화하는 과정을 거쳐 보정영상을 생성하여 저장하여 외부에서 열람하도록 하는 제 3 단계;를 더 포함하여 구성될 수 있다.
본 발명에 따른 영상의 피쳐포인트 보강 방법은, 제 3 단계 이후에 수행되는 단계로서, 원본영상으로부터 보정영상으로의 생성 과정을 미리 설정된 횟수만큼 반복 수행되지 않은 경우, 미리 설정된 횟수 이상이 될 때까지 생성 과정을 반복하여 수행하는 단계를 더 포함할 수 있다.
본 발명에 따른 영상의 피쳐포인트 보강 방법은, 제 3 단계 이후에 수행하는 단계로, 원본영상으로부터 보정영상으로의 생성 과정을 미리 설정된 횟수만큼 반복 수행된 경우, 그 생성된 보정영상들을 하나의 후보그룹으로 형성하여, 영상제공단말이 액세스하여 열람할 수 있도록 하는 제 4 단계; 그리고 영상제공단말로부터 선택신호를 수신하여 후보그룹 중 선택된 보정영상을 반환하여 인식/추적 용도로 사용되도록 하는 제 5 단계를 더 포함할 수 있다.
본 발명에 따른 영상의 피쳐포인트 보강 방법에서 제 1 단계는, 원본영상에서 피쳐포인트가 명확한 영역과 불명확한 영역을 구분한 뒤, 원본영상의 영상프레임에서 채도, 명도, 색상 중 적어도 하나 이상의 변화를 기준으로 피쳐포인트가 불명확한 영역에서의 원인을 추출하는 것이 바람직하다.
본 발명에 따른 영상의 피쳐포인트 보강 방법에서 제 2 단계는, 불명확한 영역에 대하여 피쳐포인트를 강조하는 이미지 처리를 수행하거나 피쳐포인트를 새로이 추가하여 원본영상에 적용한 보강영상을 생성하는 것이 바람직하다. 이때, 제 2 단계는, 원본영상의 부분적으로 동일한 채도값, 명도값 또는 색상값을 갖는 픽셀군을 구분하는 단계, 그 구분된 픽셀군 각각이 갖는 채도값, 명도값, 색상값 중 적어도 하나의 값을 증가 또는 감소시켜 원본영상과는 콘트라스트와 밝기의 면에서 구분되도록 하는 단계, 그리고 새로이 피쳐포인트를 추출하여 원본영상에 적용시켜 보강영상을 생성하는 단계를 포함하여 구성될 수 있다.
본 발명에 따른 영상의 피쳐포인트 보강 방법에서 제 3 단계는, 원본영상과 보강영상 간의 움직임 보상을 통해 원본화면에서의 피쳐포인트와 보강영상에서의 피쳐포인트 간의 움직임 벡터의 변화를 최소하는 방식으로 수행하거나, 컬러모델 변환 또는 저역필터링을 통한 스무딩화 과정을 통해 시각적 감지의 변화를 최소화하는 것이 바람직하다.
한편, 본 발명에서 원본영상은 압축된 영상으로 H.261, H.263, H.264(MPEG-4 AVC), MPEG-1, MPEG-2, MPEG-4 중 어느 하나의 방식으로 압축된 동영상, 또는 JPEP, JBIG, JPEG2000 방식 중 어느 하나의 방식으로 압축된 정지영상의 하나 이상을 포함하여 구성되는 것이 바람직하다.
본 발명에 따르면, 영상을 인식/추적하기 전에 원본영상에 대한 피쳐포인트를 보강한 보강영상을 미리 생성함으로써 피쳐포인트에 대한 인식/추적이 효과적으로 달성할 수 있다는 장점을 얻을 수 있다.
또한, 본 발명에 따르면 보강영상과 원본영상 간의 시각적 감지의 변화를 최소화함으로써 피쳐포인트가 명확해진 영상이 시각적으로 원본영상과 가장 흡사하게 인식되도록 할 수 있다.
[도 1]은 본 발명에 따라 강인한 인식/추적을 지원하기 위한 영상의 피쳐포인트 보강 방법이 구현되는 시스템을 나타내는 도면.
[도 2]는 [도 1]의 영상변환서버의 구성을 나타내는 도면.
[도 3]은 영상변환서버의 이미지 처리의 개념을 나타내는 도면.
[도 4]는 시각적 감지변화의 최소화 개념을 설명하기 위한 영상의 픽셀 배치를 나타내는 도면.
[도 5]는 본 발명에 따라 강인한 인식/추적을 지원하기 위한 영상의 피쳐포인트 보강 방법을 나타내는 흐름도.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 1]은 본 발명에 따라 강인한 인식/추적을 지원하기 위한 디지털 컨텐츠 영상의 피쳐포인트 보강 방법이 구현되는 시스템을 도시한다.
먼저, 영상변환서버(30)는 원본영상(1)으로부터 피쳐포인트(feature point)를 추출하는 알고리즘과 피쳐포인트를 분석/보강/보정하는 알고리즘을 구현하는 수단을 포함하는 영상검증 및 영상보정 시스템이다. 영상변환서버(30)는 예컨대 컨텐츠 개발자가 소지하는 영상제공단말(10)과 유무선 네트워크(20)을 통해 연결되어 이로부터 원본영상(1)을 제공받는다. 영상제공단말(10)을 소지하는 컨텐츠 개발자는 사용하려는 영상(원본영상)이 예컨대 증강현실 컨텐츠에 사용하기에 적합할 수 있도록, 즉 증강현실 분야 등에서 인식/추적 기능에 사용하기에 적합하도록 원본영상(1)을 영상변환서버(30)로 전송한다.
영상변환서버(30)는 원본영상(1)의 피쳐포인트를 분석하여 추적하기 용이한 영상으로 보정을 바람직하게는 두 번 이상 반복한 뒤, 영상제공단말(10)로 복수의 보정영상(2)을 포함하는 후보 그룹을 전송한다. 여기서 보정영상(2)은 피쳐포인트 기반 인식/추적 알고리즘에는 구별하기 용이한 영상이면서, 컨텐츠 개발자에게는 원본영상(1)과 비교할 경우 차이를 느끼지 못하는 영상이다.
[도 2]는 본 발명에서 영상변환서버(30)의 상세 구성을 나타내고, [도 3]은 영상변환서버의 이미지 처리의 개념을 나타낸다. [도 1] 내지 [도 3]을 참조하면, 영상변환서버(30)는 영상제공단말(10)로부터 원본영상(1)을 입력받아, 영상처리를 거쳐 복수의 보정영상(2)을 포함하는 후보 그룹을 전송한다.
이에 따라, 영상변환서버(30)는 피쳐포인트 분석/보강/보정 알고리즘을 구비하여 영상제공단말(10)로부터 선택신호를 입력받으면, 그 선택된 보정영상(2)을 영상제공단말(10)로 전송한다.
영상변환서버(30)는 송수신부(31), 보정영상생성부(32), 데이터베이스(33)를 포함하여 이루어진다.
송수신부(31)는 유무선 네트워크(20)을 통해 영상제공단말(10)과 신호 및 데이터 송수신을 수행한다. 송수신부(31)는 보정영상생성부(32)의 제어에 따라 영상제공단말(10)로부터 원본영상(1)을 수신하여, 영상처리를 거쳐 복수의 보정영상(2)을 포함하는 후보 그룹을 반환한다. 이때, 원본영상(1)은 압축된 영상으로 H.261, H.263, H.264(MPEG-4 AVC), MPEG-1, MPEG-2, MPEG-4 방식으로 압축된 동영상, 그리고 JPEP, JBIG, JPEG2000 방식등으로 압축된 정지영상의 하나 이상을 포함하여 구성되는 것이 바람직하다.
보정영상생성부(32)는 영상분석모듈(32a), 특징보강모듈(32b), 영상복원모듈(32c)을 포함하여 이루어지며, 바람직하게는 평가모듈(32d)를 더 포함하여 구성된다.
먼저, 영상분석모듈(32a)은 피쳐포인트 추출 알고리즘을 구비하여 원본영상(1)으로부터 피쳐포인트가 명확한 영역과 불명확한 영역을 구분한 뒤, 피쳐포인트가 불명확한 영역에 대하여 그 원인을 평가한다. 일 실시예로, 영상분석모듈(32a)는 영상프레임에서 채도, 명도, 색상의 변화를 기준으로 피쳐포인트가 불명확한 영역에서의 원인을 추출한다.
한편, 영상분석모듈(32a)은 피쳐포인트 분석/보강/보정 알고리즘이 1차로 수행되면, 이를 기반으로 1차 보정영상, 즉 중간영상(3)이 생성된다. 중간영상(3)에 대해서는 평가모듈(32d)에서 한번 더 피쳐포인트가 불명확한 영역에 대한 원인을 평가한다.
특징보강모듈(32b)은 영상분석모듈(32a)에서 제공하는 피쳐포인트가 불명확한 영역에 대한 원인 평가에 대응하여 해당 불명확한 영역에 대한 피쳐포인트를 강조하는 이미지 처리를 수행하거나 혹은 원본영상(1)에 피쳐포인트를 새로이 추가함으로써 원본영상(1)을 보강하여 향상시킨다. 한편, 본 명세서에서는 원본영상(1)에서 이처럼 피쳐포인트를 강조하는 이미지 처리를 수행하거나 새로이 피쳐포인트를 추가하여 생성한 영상을 보강영상이라고 정의한다.
특징보강모듈(32b)에서 사용되는 피쳐포인트를 보강하여 향상시키는 방식의 일 실시예를 살펴본다. 원본영상(1)의 부분적으로 동일한 채도값, 명도값, 색상값을 갖는 픽셀군을 구분한다. 이후, 특징보강모듈(32b)은 그 구분된 픽셀군 각각이 갖는 채도값, 명도값, 색상값 중 적어도 하나의 값을 증가 또는 감소시킴으로써 보강영상이 원본영상(1)과는 콘트라스트(contrast)와 밝기(brightness)의 면에서 명확하게 구분되도록 한 상태에서 피쳐포인트를 추출하여 원본영상(1)에 추가하는 방식을 사용하는 것이 가능하다.
본 발명에서는 보정영상생성부(32)에서 특징보강모듈(32b)을 통해 보강영상을 생성하는 과정을 바람직하게는 두 번 이상 반복한 뒤 영상복원모듈(32c)로 제공하며, 이를 통해 각각의 과정에 따른 보정영상(2)이 영상복원모듈(32c)에 의해 생성되도록 하는 것이 바람직하다.
영상복원모듈(32c)은 특징보강모듈(32b)에 의해 생성된 보강영상에 대해 원본영상(1)과 비교하여 사람의 눈으로 볼 때 시각적 변화의 인지가 최소화되도록 처리하는 과정을 거쳐 최종적으로 보정영상(2)을 생성한다. 이러한 이미지 처리의 일 실시예로 "영상복원방식"은 컬러모델 변환 또는 저역필터링을 통한 스무딩화 과정을 통해 수행될 수 있다.
다른 실시예로는 "영상복원방식"은 원본영상(1)과 피쳐포인트가 보강된 영상 간의 움직임 보상(motion compensation)을 통해 수행될 수 있다. 움직임 보상은 원본화면에서의 피쳐포인트와 보강영상에서의 피쳐포인트 간의 움직임 벡터의 변화를 최소하도록 하는 알고리즘을 통해 수행될 수 있다.
한편, 전술하였던 보강영상에 대해 원본영상(1)과 비교하여 사람의 눈으로 볼 때 시각적 변화의 인지가 최소화되도록 처리하는 것의 개념을 [도 4]를 참조하여 설명한다. 보강영상에서 보강한 피쳐포인트 주변의 픽셀 값이 위치에 따른 색변화 경향이 자연스럽게 변화하도록 유지시킴으로써 사람의 눈으로 볼 때 특별한 차이점이 드러나지 않도록 하는 방법이다.
[도 4]를 참조하면 포인트(33)이 피쳐포인트일 때, 포인트(24)의 색을 변화시켜서 보강했을 경우, 포인트(33, 24, 15)로 이어지는 선에 대한 밝기 변화가 갑자기 달라져서 어색해질 수 있다. 이때, 포인트(15)까지 밝기를 변화시키거나 포인트(24)의 색상을 변화시킴으로써 변화를 최소화할 수 있다. 예를 들어, 사람의 눈은 녹색을 더 잘 인식하는 반면, 피쳐포인트 기반 영상인식 알고리즘은 밝기 영상만을 사용할 수도 있다.
한편, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다.
데이터베이스(33)는 피쳐포인트 분석/보강/보정 알고리즘이 1차로 또는 2차로 수행된 1차 보정영상(중간영상; 3)과 2차 보정영상(2)을 영상복원모듈(32c)로부터 수신하여 저장한다.
본 명세서에서 데이터베이스라 함은 각각의 데이터베이스에 대응되는 정보를 저장하는 소프트웨어 및 하드웨어의 기능적 구조적 결합을 의미할 수 있다. 데이터베이스(33)는 적어도 하나의 테이블로 구현될 수도 있으며, 데이터베이스에 저장된 정보를 검색, 저장, 관리하기 위한 별도의 DBMS(Database Management System)을 더 포함할 수도 있다.
이에 따라, 영상복원모듈(32c)은 1차 보정영상(중간영상; 3)과 2차 보정영상(2)을 데이터베이스(33)에 저장하며, 유무선 네트워크(20)을 통해 영상제공단말(10)로 전송하도록 송수신부(31)을 제어한다.
[도 5]는 본 발명에 따라 강인한 인식/추적을 지원하기 위한 디지털 컨텐츠 영상의 피쳐포인트 보강 방법을 나타내는 흐름도이다. 기술적 구성의 대부분은 [도 1]과 [도 2]를 참조하여 이미 상세하게 설명하였으므로, 이하에서는 프로세스의 흐름에 대해서만 간략히 설명한다. 프로세스 순서는 [도 5]에 도시된 것에 한정되지 않으며, 본 발명의 목적을 달성하는 범위 내에서 일부 단계가 서로 순서를 바꾸거나 등가적으로 치환되어 구성될 수 있다.
(S11) 단계 : 먼저, 영상변환서버(30)는 영상제공단말(10)으로부터 유무선 네트워크(20)을 통해 원본영상(1)을 제공받는다.
(S12) 단계 : 영상변환서버(30)는 위 제공된 원본영상(1)에 대새서 피쳐포인트 탐색 및 분석을 수행한다. 보다 구체적으로, 영상변환서버(30)는 원본영상(1)에서 피쳐포인트가 명확한 영역과 불명확한 영역을 구분한 뒤, 불명확한 영역에 대하여 그 불명확한 원인을 평가한다.
(S13) 단계 : 영상변환서버(30)는 피쳐포인트를 보강하여 보강영상을 생성한다. 영상변환서버(30)는 피쳐포인트가 불명확한 영역에 대한 원인 평가에 따라, 해당 불명확한 영역에 대한 피쳐포인트를 강조하는 이미지 처리를 수행하거나 피쳐포인트를 새로이 추가하여 적용한 보강영상을 생성한다.
(S14) 단계 : 영상변환서버(30)는 보강영상을 원본영상(1)과의 시각적 감지의 변화를 최소화하는 과정을 거쳐 최종적으로 보정영상(2)을 생성한다.
(S15) 단계 : 영상변환서버(30)는 단계(S12) 내지 단계(S14)가 반복 수행되었는지 여부를 판단한다.
(S16) 단계 : 단계(S15)의 판단결과 반복되지 않은 경우, 영상변환서버(30)는 1차 보정영상(중간영상; 3)으로 지정하여 데이터베이스(33)에 저장한 뒤, 단계(S12) 내지 단계(S15)를 반복수행한다.
(S17) 단계 : 단계(S15)의 판단결과 이미 반복 수행된 경우, 영상변환서버(30)는 2차 보정영상(2)으로 지정하여 데이터베이스(33)에 저장한 뒤(S16), 기존에 저장된 1차 보정영상(중간영상; 3)과 함께 후보그룹을 형성하여, 영상제공단말(10)이 액세스하여 열람할 수 있도록 한다.
(S18) 단계 : 이후, 영상제공단말(10)로부터 선택신호를 수신하여 후보그룹 중 선택된 보정영상(2)을 영상제공단말(10)로 전송함으로써, 보정영상(2)이 인식/추적 용도로 사용되도록 한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드, 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상에서 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 영상제공단말 20: 유무선 네트워크
30: 영상변환서버 31: 송수신부
32: 보정영상생성부 32a: 영상분석모듈
32b: 특징보강모듈 32c: 영상복원모듈
32d: 평가모듈 33: 데이터베이스

Claims (10)

  1. 디지털 컨텐츠의 원본영상을 제공받는 제 1 단계;
    상기 원본영상에 대해 피쳐포인트의 탐색 및 분석을 수행하여 상기 원본영상에서 피쳐포인트가 불명확한 영역을 구분하는 제 2 단계;
    상기 원본영상에서 상기 불명확한 영역에 속하는 피쳐포인트에 대해 부분적으로 동일한 채도값, 명도값, 색상값을 갖는 픽셀군을 구분하고 상기 구분된 픽셀군 각각이 갖는 채도값, 명도값, 색상값 중 하나 이상을 변경시켜 상기 원본영상과는 콘트라스트와 밝기 면에서 구분되도록 이미지 처리함으로써 상기 피쳐포인트가 보강된 보강영상을 생성하는 제 3 단계;
    컬러모델 변환 및 저역필터링 스무딩화의 하나 이상을 통해 상기 보강영상을 상기 원본영상과의 시각적 감지 변화를 최소화하는 영상복원 과정을 거쳐 보정영상을 생성하는 제 4 단계;
    를 포함하여 구성되는 디지털 컨텐츠 영상의 피쳐포인트 보강 방법.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 제 2 단계 내지 제 4 단계를 반복 수행하는 경우, 상기 생성된 하나 이상의 보정영상을 하나의 후보그룹으로 형성하여 상기 원본영상을 제공한 단말('영상제공단말')이 액세스하여 열람할 수 있도록 제공하는 제 5 단계;
    상기 영상제공단말의 선택신호에 대응하여 상기 후보그룹 중 최종 보정영상을 선택하는 제 6 단계;
    를 더 포함하여 구성되는 디지털 컨텐츠 영상의 피쳐포인트 보강 방법.
  5. 삭제
  6. 청구항 4에 있어서,
    상기 제 3 단계는 상기 원본영상에 피쳐포인트를 새로이 추출하여 상기 원본영상에 적용하는 제 2 보강처리를 더 수행하여 상기 보강영상을 생성하는 것을 특징으로 하는 디지털 컨텐츠 영상의 피쳐포인트 보강 방법.
  7. 삭제
  8. 청구항 4에 있어서,
    상기 제 4 단계는 상기 원본영상과 상기 보강영상 간의 움직임 보상을 통해 상기 원본영상과 상기 보강영상 간의 피쳐포인트의 움직임 벡터 변화를 최소화하는 과정을 더 거쳐 상기 보정영상을 생성하는 것을 특징으로 하는 디지털 컨텐츠 영상의 피쳐포인트 보강 방법.
  9. 삭제
  10. 청구항 1, 4, 6, 8 중 어느 하나의 항에 따른 디지털 컨텐츠 영상의 피쳐포인트 보강 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
KR1020110065748A 2011-07-04 2011-07-04 강인한 인식/추적을 지원하기 위한 디지털 컨텐츠 영상의 피쳐포인트 보강 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 Expired - Fee Related KR101260817B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110065748A KR101260817B1 (ko) 2011-07-04 2011-07-04 강인한 인식/추적을 지원하기 위한 디지털 컨텐츠 영상의 피쳐포인트 보강 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110065748A KR101260817B1 (ko) 2011-07-04 2011-07-04 강인한 인식/추적을 지원하기 위한 디지털 컨텐츠 영상의 피쳐포인트 보강 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Publications (2)

Publication Number Publication Date
KR20130004620A KR20130004620A (ko) 2013-01-14
KR101260817B1 true KR101260817B1 (ko) 2013-05-21

Family

ID=47836163

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110065748A Expired - Fee Related KR101260817B1 (ko) 2011-07-04 2011-07-04 강인한 인식/추적을 지원하기 위한 디지털 컨텐츠 영상의 피쳐포인트 보강 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Country Status (1)

Country Link
KR (1) KR101260817B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021172633A1 (ko) * 2020-02-28 2021-09-02 (주)뉴빌리티 동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템
CN111783535B (zh) * 2020-05-28 2024-06-18 北京沃东天骏信息技术有限公司 关键点数据增强方法和装置、以及关键点检测方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007304733A (ja) * 2006-05-09 2007-11-22 Nippon Telegr & Teleph Corp <Ntt> 画像検出装置および画像検出方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007304733A (ja) * 2006-05-09 2007-11-22 Nippon Telegr & Teleph Corp <Ntt> 画像検出装置および画像検出方法

Also Published As

Publication number Publication date
KR20130004620A (ko) 2013-01-14

Similar Documents

Publication Publication Date Title
CN106254933B (zh) 字幕提取方法及装置
CN108322788B (zh) 一种视频直播中的广告展示方法及装置
US10469701B2 (en) Image processing method that obtains special data from an external apparatus based on information multiplexed in image data and apparatus therefor
EP2587826A1 (en) Extraction and association method and system for objects of interest in video
US20120287233A1 (en) Personalizing 3dtv viewing experience
US8520967B2 (en) Methods and apparatuses for facilitating generation images and editing of multiframe images
JP2018505582A (ja) 特定のディスプレイに対する高ダイナミックレンジ画像の最適化
US20200302664A1 (en) Creating and displaying multi-layered augemented reality
CN105373938A (zh) 识别视频图像中的商品和展示其信息的方法、装置及系统
CN103686344A (zh) 增强视频系统及方法
US10171785B2 (en) Color balancing based on reference points
US9786076B2 (en) Image combining apparatus, image combining method and non-transitory computer readable medium for storing image combining program
US20170013309A1 (en) System and method for product placement
CN105095362A (zh) 一种基于目标对象的图像显示方法和装置
WO2022171978A1 (en) A system for accessing a web page
JP6340675B1 (ja) オブジェクト抽出装置、オブジェクト認識システム及びメタデータ作成システム
JP2011517226A (ja) デジタルピクチャにおいて対象の鮮明度を高めるシステム及び方法
KR101260817B1 (ko) 강인한 인식/추적을 지원하기 위한 디지털 컨텐츠 영상의 피쳐포인트 보강 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
JP2016081225A (ja) 情報提示システム
CN111383289A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
KR101359286B1 (ko) 동영상 정보 제공 방법 및 서버
KR20190028046A (ko) 증강현실을 이용한 역사 공부 방법
CN112822539A (zh) 信息显示方法、装置、服务器及存储介质
US9678991B2 (en) Apparatus and method for processing image
JP6341540B2 (ja) 情報端末装置、方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110704

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120808

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20130122

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130429

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130429

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20160425

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20160425

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20170410

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20170410

Start annual number: 5

End annual number: 5

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20190210