KR20180042728A - 영상 특징맵 생성 장치 및 방법 - Google Patents

영상 특징맵 생성 장치 및 방법 Download PDF

Info

Publication number
KR20180042728A
KR20180042728A KR1020160135248A KR20160135248A KR20180042728A KR 20180042728 A KR20180042728 A KR 20180042728A KR 1020160135248 A KR1020160135248 A KR 1020160135248A KR 20160135248 A KR20160135248 A KR 20160135248A KR 20180042728 A KR20180042728 A KR 20180042728A
Authority
KR
South Korea
Prior art keywords
image
feature map
corner
pixels
block
Prior art date
Application number
KR1020160135248A
Other languages
English (en)
Other versions
KR102013372B1 (ko
Inventor
원치선
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020160135248A priority Critical patent/KR102013372B1/ko
Publication of KR20180042728A publication Critical patent/KR20180042728A/ko
Application granted granted Critical
Publication of KR102013372B1 publication Critical patent/KR102013372B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • G06T3/0012—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시예에 따른 영상 특징맵 생성 장치는 영상 센서로부터 획득한 영상을 입력받아 상기 영상에 존재하는 코너(corner)의 특징점을 검출하는 코너 검출부; 상기 영상에 존재하는 블럽(blob)의 특징점을 검출하는 블럽 검출부; 상기 코너의 특징점 및 상기 코너의 특징점을 둘러싼 영역으로 정의되는 제1 영상 패치에 기초하여 상기 영상의 코너 기반 특징맵을 생성하는 코너 기반 특징맵 산출부; 상기 블럽의 특징점 및 상기 블럽의 특징점을 둘러싼 영역으로 정의되는 제2 영상 패치에 기초하여 상기 영상의 블럽 기반 특징맵을 생성하는 블럽 기반 특징맵 산출부; 및 상기 코너 기반 특징맵 및 상기 블럽 기반 특징맵을 각각 정규화한 후 결합하여 하나의 통합 특징맵을 생성하는 코너-블럽 통합 특징맵 산출부;를 포함한다.

Description

영상 특징맵 생성 장치 및 방법{APPARATUS AND METHOD OF IMAGE SALIENCY MAP}
본 발명은 영상 특징맵 생성 장치 및 방법에 관한 것으로써, 보다 상세하게는 영상 내에 존재하는 코너(corner)와 블럽(blob)의 특징 정보를 보존하기 위한 영상 특징맵 생성 장치 및 방법에 관한 것이다.
IOT (Internet of things)의 환경이나 스마트 폰과 같이 모바일 디바이스에서 취득한 영상 정보를 서버에 전송하고, 서버에서는 수신된 영상정보를 활용하여 영상인식이나 영상 검색을 수행하는 요구가 증대하고 있다.
이 경우 서버가 수신한 영상정보의 최종 소비자는 인간이 아닌 컴퓨터(기계)이며, 따라서 컴퓨터 영상 처리 및 인식을 위해 컴퓨터가 요구하는 영상 정보가 잘 보존되어 서버에 전달될 필요가 있다.
이전과 같이 영상의 최종 소비자가 인간임을 고려할 경우, 영상의 전체적인 구조나 화질의 보존에 중점을 둔 영상 특징맵(saliency map)을 작성하고, 이 맵의 각 픽셀에 부여된 중요도에 따라 차별적 영상 전송 및 처리를 적용할 수 있었으나 영상의 최종 소비자가 컴퓨터임을 고려할 경우, 영상 특징맵은 영상의 최종 소비자가 인간인 점을 고려한 기존의 영상 특징맵과는 그 기준이 달라야 한다.
이와 같은 점에 착안하여 최근에 SIFT (Scale Invariant Feature Transform)에 한정한 영상 특징맵을 생성하고 이를 영상의 크기를 변환하는 응용에 활용한 사례가 발표되었다(W. Tan, B. Yan, K. Li, and Q. Tian, Image retargeting for preserving robust local feature: application to mobile visual search, IEEE Tr. On Multimedia, vol.18, no.1, pp.128-137, Jan. 2016).
그러나 SIFT는 영상의 특징 정보 중에 블럽(blob)에 해당되는 특징만을 고려하므로, SIFT를 기반으로 작성된 특징맵은 코너(corner)와 같은 영상의 다른 특징은 충분히 반영하지 못하는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위하여 영상에 존재하는 코너(corner)와 블럽(blob) 특징 정보를 모두 반영할 수 있는 영상 특징맵을 생성함으로써, 컴퓨터 기반의 영상 인식 및 영상 처리의 효율을 향상시킬 수 있는 영상 특징맵 생성 장치 및 방법을 제공하는 것으로 해결하고자 하는 과제로 한다.
본 발명의 일 실시예에 따른 영상 특징맵 생성 장치는 영상 센서로부터 획득한 영상을 입력받아 상기 영상에 존재하는 코너(corner)의 특징점을 검출하는 코너 검출부; 상기 영상에 존재하는 블럽(blob)의 특징점을 검출하는 블럽 검출부; 상기 코너의 특징점 및 상기 코너의 특징점을 둘러싼 영역으로 정의되는 제1 영상 패치에 기초하여 상기 영상의 코너 기반 특징맵을 생성하는 코너 기반 특징맵 산출부; 상기 블럽의 특징점 및 상기 블럽의 특징점을 둘러싼 영역으로 정의되는 제2 영상 패치에 기초하여 상기 영상의 블럽 기반 특징맵을 생성하는 블럽 기반 특징맵 산출부; 및 상기 코너 기반 특징맵 및 상기 블럽 기반 특징맵을 각각 정규화한 후 결합하여 하나의 통합 특징맵을 생성하는 코너-블럽 통합 특징맵 산출부;를 포함한다.
상기 코너 기반 특징맵 산출부는 상기 영상의 해당 픽셀을 포함하는 상기 제1 영상 패치의 개수에 기초하여 픽셀들의 중요도를 산정하고, 상기 산정된 픽셀들의 중요도 기초하여 상기 코너 기반 특징맵을 생성하는 것이 바람직하다.
상기 블럽 기반 특징맵 산출부는 상기 영상의 해당 픽셀을 포함하는 상기 제2 영상 패치의 개수에 기초하여 픽셀들의 중요도를 산정하고, 상기 산정된 픽셀들의 중요도에 기초하여 상기 블럽 기반 특징맵을 생성하는 것이 바람직하다.
상기 통합 특징맵은 상기 영상에 포함된 각각의 픽셀들의 중요도 정보를 포함하고, 상기 각각의 픽셀들의 중요도 정보에 기초하여 각각의 픽셀들의 압축 강도를 결정하는 압축부;를 더 포함하는 것이 바람직하다.
상기 통합 특징맵은 상기 영상에 포함된 각각의 픽셀들의 중요도 정보를 포함하고, 상기 픽셀들 중 중요도가 미리 설정된 값 미만인 픽셀들은 삭제하여 상기 영상의 데이터 크기를 줄이는 영상 사이즈 감축부;를 더 포함하는 것이 바람직하다.
본 발명의 일 실시예에 따른 영상 특징맵 생성 방법은 영상 센서로부터 획득한 영상을 입력받고, 상기 영상에 존재하는 코너의 특징점 및 블럽의 특징점을 각각 검출하는 제1 단계; 상기 코너의 특징점을 둘러싼 영역으로 정의되는 제1 영상 패치 및 상기 블럽의 특징점을 둘러싼 영역으로 정의되는 제2 영상 패치를 생성하는 제2 단계; 상기 코너의 특징점 및 상기 제1 영역 패치에 기초하여 상기 영상의 코너 기반 특징맵을 생성하고, 상기 블럽의 특징점 및 상기 제2 영역 패치에 기초하여 상기 영상의 블럽 기반 특징맵을 생성하는 제3 단계; 및 상기 코너 기반 특징맵 및 상기 블럽 기반 특징맵을 각각 정규화한 후 결합하여 하나의 통합 특징맵을 생성하는 제4 단계;를 포함한다.
상기 제3 단계에서, 상기 영상의 해당 픽셀을 포함하는 상기 제1 영상 패치의 개수 및 상기 제2 영상 패치의 개수 중 적어도 하나에 기초하여 픽셀들의 중요도가 산정되고, 상기 코너 기반 특징맵 및 상기 블럽 기반 특징맵 중 적어도 하나는 산정된 상기 픽셀들의 중요도에 기초하여 생성되는 것이 바람직하다.
상기 통합 특징맵은 상기 영상에 포함된 각각의 픽셀들의 중요도 정보를 포함하고, 상기 제4 단계 이후에는, 압축부가 상기 각각의 픽셀들의 중요도 정보에 기초하여 각각의 픽셀들의 압축 강도를 결정하는 단계를 더 포함하는 것이 바람직하다.
상기 통합 특징맵은 상기 영상에 포함된 각각의 픽셀들의 중요도 정보를 포함하고, 상기 제4 단계 이후에는, 영상 사이즈 감축부가 상기 픽셀들 중 중요도가 미리 설정된 값 미만인 픽셀들을 삭제하여 상기 영상의 데이터 크기를 줄이는 단계를 더 포함하는 것이 바람직하다.
본 발명의 다른 실시예에 따른 영상 특징맵 생성 장치는 영상 센서로부터 획득한 영상을 입력받아 상기 영상에 존재하는 블럽(blob)의 특징점을 MSER(Maximally Stable Extremal Region) 알고리즘을 적용하여 검출하는 MSER 블럽 검출부; 상기 블럽의 특징점을 둘러싼 타원형 영역으로 정의되는 영상 패치를 생성하는 영상 패치 생성부; 상기 영상 패치 생성부에서 생성된 영상 패치의 영역을 확장하는 영상 패치 확장부; 및 상기 블럽의 특징점 및 상기 영상 패치 확장부에 의하여 확장된 영상 패치에 기초하여 상기 영상의 특징맵을 생성하는 특징맵 산출부;를 포함한다.
상기 특징맵 산출부는 상기 영상의 해당 픽셀을 포함하는 상기 확장된 영상 패치의 개수에 기초하여 픽셀들의 중요도를 산정하고, 산정된 상기 픽셀들의 중요도 기초하여 상기 특징맵을 생성하는 것이 바람직하다.
상기 영상 패치 확장부는 상기 영상 패치 생성부에서 생성된 타원형 영상 패치의 단축 및 장축의 길이를 미리 설정된 수치만큼 증가시키는 것이 바람직하다.
상기 수치는 상기 영상 패치가 상기 영상에 포함된 코너를 포함할 수 있도록 설정되는 것이 바람직하다.
본 발명의 다른 실시예에 따른 영상 특징맵 생성 방법은 영상 센서로부터 획득한 영상을 입력받아 상기 영상에 존재하는 블럽(blob)의 특징점을 MSER(Maximally Stable Extremal Region) 알고리즘을 적용하여 검출하는 제1 단계; 상기 블럽의 특징점을 둘러싼 타원형 영역으로 정의되는 영상 패치를 생성하는 제2 단계; 상기 생성된 영상 패치의 영역을 확장하는 제3 단계; 및 상기 블럽의 특징점 및 상기 확장된 영상 패치에 기초하여 상기 영상의 특징맵을 생성하는 제4 단계;를 포함한다.
상기 제3 단계는, 상기 영상 패치의 단축 및 장축의 길이를 미리 설정된 수치만큼 증가시킴으로써 상기 영상 패치의 영역을 확장하되, 상기 수치는 상기 영상 패치가 상기 영상에 포함된 코너를 포함할 수 있도록 설정되는 것이 바람직하다.
상기 제4 단계는, 상기 영상의 해당 픽셀을 포함하는 상기 영상 패치의 개수에 기초하여 픽셀들의 중요도가 산정되고, 상기 특징맵은 산정된 상기 픽셀들의 중요도에 기초하여 생성되는 것이 바람직하다.
본 발명에 따른 영상 특징맵 생성 장치 및 방법은, 영상데이터의 특징을 규정하는 블럽(blob) 특징과 코너(corner) 특징, 그리고 이들의 영상 패치를 모두 포함할 수 있는 영상 특징맵을 생성함으로써, 특정의 특징점 검출 방법에만 그 적용이 한정되지 않고 다양한 특징점을 검출할 수 있으며, 이를 통하여 일반성 및 호환성을 향상시킬 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해되어질 수 있을 것이다.
도 1은 클라이언트 및 서버를 포함하는 영상 처리 시스템을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 특징맵 생성 장치를 간략히 도시한 블록도이다.
도 3은 도 2에 의한 영상 특징맵 생성 예시도이다.
도 4는 본 발명의 일 실시예에 따른 영상 특징맵 생성 방법을 시계열적으로 도시한 플로우차트이다.
도 5는 본 발명의 다른 실시예에 따른 영상 특징맵 생성 장치를 간략히 도시한 블록도이다.
도 6은 도 5에 의한 영상 특징맵 생성 예시도이다.
도 7은 MSER 블럽의 타원 영상 패치와 코너(녹색점)의 분포도이다.
도 8은 본 발명의 다른 실시예에 따른 영상 특징맵 생성 장치에서의 MSER 블럽의 타원에 대한 확장 예시도이다.
도 9는 본 발명의 다른 실시예에 따른 영상 특징맵 생성 방법을 시계열적으로 도시한 플로우차트이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하나 이상의 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있음을 의미한다.
본 발명의 실시예들을 설명하기 전에, 클라이언트 및 서버를 포함하는 영상 처리 시스템에 대하여 먼저 설명하도록 한다. 도 1은 클라이언트 및 서버를 포함하는 영상 처리 시스템을 도시한 블록도이다.
영상 처리 시스템은 도 1에 도시된 바와 같이 크게 클라이언트(1), 영상 특징맵 생성 장치(2), 영상 압축/전송 부호화부(3), 전송 채널(4), 영상 압축/전송 복호화부(5) 및 서버(6)를 포함하여 구성된다.
영상 데이터를 취득하여 제공하는 클라이언트(1)는 유무선의 여러 형태의 영상 센서 단말기가 될 수 있고, 이들 단말기에서 얻은 영상 데이터의 최종 소비자가 인간이 아닌 컴퓨터, 즉 서버(6)인 경우에 적용할 수 있다.
이 경우 클라이언트(1)에서 취득한 영상의 모든 정보를 전송하거나 저장하는 것은 한정된 대역의 전송채널(4)에 의하여 불가능할 수 있다.
따라서 영상 데이터의 중요도에 따라 보존되어 전송/저장할 데이터와 삭제해도 무리가 없는 데이터로 구분하는 것이 중요하며 이를 위해 우선 서버(6)의 컴퓨터가 필요로 하는 데이터를 중심으로 영상 특징맵 생성 장치(2)가 영상의 특징맵을 생성하여 이를 기반으로 영상 압축 및 부호화(3)에 활용할 수 있다.
이때 영상 특징 맵에 의해 결정되는 각 픽셀의 중요도에 따라 중요하지 않은 픽셀들을 삭제하여 전체적인 영상 데이터(사이즈)를 줄이는 방법도 적용될 수 있다.
본 발명에서는 영상 특징맵을 생성하기 위해 고려해야 할 영상 특징 정보에 코너(corner)와 블럽(blob)을 모두 포함시킴으로써, 서버(6)에서 특정 특징(코너 혹은 블럽)에 한정되지 않고 코너나 블럽 등 다양한 특징 검출 방법을 적용할 수 있도록 일반화하였다.
이하, 도 2 및 도 3을 참조하여 본 발명의 일 실시예에 따른 영상 특징맵 생성 장치에 대하여 구체적으로 설명하도록 한다. 도 2는 본 발명의 일 실시예에 따른 영상 특정맵 생성 장치를 간략히 도시한 블록도이고, 도 3은 도 2에 의한 영상 특징맵 생성 예시도이다.
본 발명의 일 실시예에 따른 영상 특징맵 생성 장치(120)는, 도 2에 도시된 바와 같이 크게 코너 검출부(121), 블럽 검출부(122), 코너 기반 특징맵 산출부(123), 블럽 기반 특징맵 산출부(124) 및 코너-블럽 통합 특징맵 산출부(125)를 포함하도록 구성된다.
코너 검출부(121) 및 블럽 검출부(122)는 영상 센서로부터 획득한 영상을 입력받아 영상 내에 존재하는 코너의 특징점 및 블럽의 특징점을 각각 독립적으로 검출하는 기능을 수행하는 구성이다.
코너 기반 특징맵 산출부(123)는 코너 검출부(121)에서 검출된 영상 내의 코너 특징점 및 코너의 특징점을 둘러싼 영역으로 정의되는 제1 영상 패치(image patch)에 기초하여 영상의 코너 기반 특징맵을 생성하는 기능을 수행한다.
특히, 코너 기반 특징맵 산출부(123)는 영상의 해당 픽셀을 포함하는 제1 영상 패치의 개수에 기초하여 픽셀들의 중요도를 산정하고, 산정된 픽셀들의 중요도에 기초하여 코너 기반 특징맵을 생성한다.
구체적으로, 영상의 코너 특징점을 둘런싼 영역의 제1 영상 패치들에 중요도, 즉 특징 강도를 부과하고, 이러한 제1 영상 패치들이 영상 내의 특정 픽셀에서 중복되는 경우 그 픽셀의 중요도는 제1 영상 패치가 중복된 빈도를 누적하여 최종적인 중요도, 즉 특징 강도를 산정함으로써, 코너 기반 특징맵을 생성한다.
상술한 내용을, 도 3을 참조하여 설명해보면, 영상 센서(110)로부터 획득한 최초 영상(11)은 코너 검출부(121)에 의하여 코너의 특징점이 도출된 후, 코너 기반 특징맵 산출부(123)에 의하여 코너 기반 특징맵 영상(12)이 생성된다.
이러한 코너 기반 특징맵 영상(12)에서는 상술한 바와 같이 코너 및 이들을 둘러싼 제1 영상 패치의 중첩 빈도에 따라 특징 강도가 산정되고, 이러한 특징 강도가 높을 수록 밝은 색으로 표현된다.
블럽 기반 특징맵 산출부(124)는 블럽 검출부(122)에서 검출된 영상 내의 블럽 특징점 및 블럽의 특징점을 둘러싼 영역으로 정의되는 제2 영상 패치(image patch)에 기초하여 영상의 블럽 기반 특징맵을 생성하는 기능을 수행한다.
특히, 블럽 기반 특징맵 산출부(124)는 영상의 해당 픽셀을 포함하는 제2 영상 패치의 개수에 기초하여 픽셀들의 중요도를 산정하고, 산정된 픽셀들의 중요도에 기초하여 코너 기반 특징맵을 생성한다.
구체적으로, 영상의 블럽 특징점을 둘런싼 영역의 제2 영상 패치들에 중요도, 즉 특징 강도를 부과하고, 이러한 제2 영상 패치들이 영상 내의 특정 픽셀에서 중복되는 경우 그 픽셀의 중요도는 제2 영상 패치가 중복된 빈도를 누적하여 최종적인 중요도, 즉 특징 강도를 산정함으로써, 코너 기반 특징맵을 생성한다.
이러한 제2 영상 패치는 검출된 블럽의 스케일에 비례한 타원의 영상 패치로 정의되고, 각 픽셀에 대한 제2 영상 패치의 발생 및 중복 여부에 비례하여 중요도, 즉 특징 강도가 산출된다.
상술한 내용을, 도 3을 참조하여 설명해보면, 영상 센서(110)로부터 획득한 최초 영상(11)은 블럽 검출부(122)에 의하여 블럽의 특징점이 도출된 후, 블럽 기반 특징맵 산출부(124)에 의하여 블럽 기반 특징맵 영상(13)이 생성된다.
이러한 블럽 기반 특징맵 영상(13)에서는 상술한 바와 같이 블럽 및 이들을 둘러싼 제2 영상 패치의 중첩 빈도에 의하여 통하여 블럽 및 제2 영상 패치의 중첩 빈도에 따라 특징 강도가 산정되고, 이러한 특징 강도가 높을수록 밝은 색으로 표현된다.
또한, 본 발명의 일 실시예에 따른 영상 특징맵 생성 장치에서의 코너-블럽 통합 특징맵 산출부(125)는 상술한 코너 기반 특징맵(123) 및 블럽 기반 특징맵(125)을 각각 정규화한 후 결합하여 하나의 통합 특징맵을 생성하는 기능을 수행하는 구성이다.
즉, 이러한 코너-블럽 통합 특징맵 산출부(125)는 코너 기반 특정맵 및 블럽 기반 특정맵을 통하여 각각 독립적으로 산정된 픽셀의 특정 강도가 반영되어 있으며, 도 3에 도시된 바와 같이 코너-블럽 통합 특징맵 영상(14)에서의 상대적으로 밝은 색으로 표현된 부분은 특징의 강도가 높은 부분. 즉 중요도가 높은 픽셀로 선정된다.
한편, 본 발명의 일 실시예에 따른 영상 특징맵 생성 장치를 좀 더 확장하여 구성해 볼 경우, 압축부(131) 및 영상 사이즈 감축부(132)를 더 포함하도록 구성될 수도 있다.
압축부(131)는 영상 내의 픽셀들 중 코너-블럽 통합 특징맵 산출부(125)에 의하여 산정된 각각의 픽셀들의 중요도 정보에 기초하여 각각의 픽셀들의 압축 강도를 결정하는 기능을 수행한다.
영상 사이즈 감축부(132)는 영상에 포함된 픽셀들 중 중요도가 미리 설정된 값 미만인 픽셀들은 버리고, 미리 설정된 값 이상인 픽셀들만으로 영상을 재구성함으로써 영상 데이터의 사이즈를 줄이는 기능을 수행한다.
결국, 코너-블럽 통합 특징맵에 의하여 영상에 포함된 픽셀들의 중요도가 산정되고, 이러한 중요도에 기초하여 압축부(131) 및 영상 사이즈 감축부(132)가 해당 영상의 데이터 크기를 줄이도록 함으로써, 컴퓨터 기반의 영상 인식 및 영상 처리의 효율을 향상시킬 수 있게 된다.
이하에서는, 도 4를 참조하여, 본 발명의 일 실시예에 따른 영상 특징맵 생성 방법에 대하여 설명하되, 앞서 설명한 본 발명의 일 실시예에 따른 영상 특징맵 생성 장치의 내용과 중복되는 부분은 그 자세한 설명을 생략하도록 한다. 도 4는 본 발명의 일 실시예에 따른 영상 특징맵 생성 방법을 시계열적으로 도시한 플로우차트이다.
본 발명의 일 실시예에 따른 영상 특징맵 생성 방법은, 상술한 본 발명의 일 실시예에 따른 영상 특징맵 생성 장치를 이용한 영상 특징맵 생성 방법에 관한 것으로써, 크게 4개의 단계로 구분될 수 있다.
먼저, 영상에 존재하는 코너의 특징점 및 블럽의 특징점을 각각 검출하는 제1 단계(S110), 제1 영상 패치 및 제2 영상 패치를 생성하는 제2 단계(S120) 및 코너 기반 특징맵 및 블럽 기반 특징맵을 생성하는 제3 단계(S130)가 수행된다.
구체적으로, 제1 단계(S110)에서의 코너의 특징점 및 블럽의 특징점은 코너 검출부(121) 및 블럽 검출부(122)에 의하여 각각 독립적으로 검출하게 된다.
제2 단계(S120)는 구체적으로 검출된 코너의 특징점을 둘러싼 영역으로 정의되는 제1 영상 패치를 생성하는 단계와 검출된 블럽의 특징점을 둘러싼 영역으로 정의되는 제2 영상 패치를 생성하는 단계로 구분되는데, 이러한 두 단계 또한 각각 독립적으로 수행된다.
제3 단계(S130)는 구체적으로 코너의 특징점 및 제1 영역 패치에 기초하여 영상의 코너 기반 특징맵을 생성하는 단계 및 블럽의 특징점 및 제2 영역 패치에 기초하여 영상의 블럽 기반 특징맵을 생성하는 단계로 구분되며, 이러한 두 개의 단계 또한 각각 독립적으로 수행된다.
특히, 영상의 해당 픽셀을 포함하는 제1 영상 패치의 개수에 기초하여 픽셀들의 중요도가 산정되는데, 코너 기반 특징맵은 산정된 픽셀들의 중요도에 기초하여 생성된다.
마찬가지로, 영상의 해당 픽셀을 포함하는 제2 영상 패치의 개수에 기초하여 픽셀들의 중요도가 산정되고, 블럽 기반 특징맵은 산정된 픽셀들의 중요도에 기초하여 생성되게 된다.
상술한 제3 단계(S130) 이후에는, 코너 기반 특징맵 및 블럽 기반 특징맵을 각각 정규화한 후 결합하여 하나의 통합 특징맵을 생성하는 제4 단계(S140)가 수행되고, 생성된 통합 특징맵은 영상에 포함된 각각의 픽셀들의 중요도 정보를 포함하고 있게 된다.
한편, 본 발명의 일 실시예에 따른 영상 특징맵 생성 방법을 데이터 전송 이전까지 좀 더 확장하여 생각해 볼 경우, 상술한 제4 단계(S140) 이후에는 픽셀의 중요도 정보에 기초하여 영상의 데이터 크기를 줄이는 단계를 더 포함할 수도 있을 것이다.
이하에서는 도 5 내지 도 8을 참조하여 본 발명의 다른 실시예에 따른 영상 특징맵 생성 장치에 대하여 설명하도록 한다. 도 5는 본 발명의 다른 실시예에 따른 영상 특징맵 생성 장치를 간략히 도시한 블록도이고, 도 6은 도 5에 의한 특징맵 생성 예시도이고, 도 7은 MSER 블럽의 타원 영상 패치와 코너(녹색점)의 분포도이고, 도 8은 본 발명의 다른 실시예에 따른 영상 특징맵 생성 장치에서의 MSER 블럽의 타원에 대한 확장 예시도이다.
본 발명의 다른 실시예에 따른 영상 특징맵 생성 장치는, 도 5에 도시된 바와 같이 MSER 블럽 검출부(221), 영상 패치 생성부(222), 영상 패치 확장부(223) 및 특징맵 산출부(224)를 포함하도록 구성된다.
MSER 블럽 검출부(221)는 영상 센서(210)로부터 획득한 영상(21)을 입력받아 영상에 존재하는 블럽의 특징점을 검출하되, MSER(Maximally Stable Extremal Region) 알고리즘을 적용하여 검출하는 기능을 수행하는 구성으로, 이를 통하여 도 6의 블럽 검출 영상(22)을 획득할 수 있게 된다.
영상 패치 생성부(222)는 MSER의 알고리즘을 적용하여 검출된 블럽의 중심점 및 해당 블럽 영역을 포함하는 타원형 영역의 영상 패치를 생성하는 기능을 수행한다.
타원형 영역의 영상 패치는 블럽의 밀집 영역에서 서로 중첩될 수 있으며, 영상 내에 포함된 픽셀들 중 각각의 픽셀의 중요도, 즉 특징의 강도는 중첩되는 영상 패치의 개수에 비례하도록 산정함으로써 후술할 특징맵 산출부(224)는 MSER 블럽 기반 특징맵(23)을 생성할 수 있게 되며, 이때의 특징맵은 코너의 특징은 배제된 영상 특징맵에 해당한다.
한편, 도 7(a)의 원영상에 대한 블럽 타원 형상의 영상 패치(흰색) 및 코너의 특징점(녹색)을 중첩한 영상은 도 7(b)이며, 도 7(b)에 도시된 바와 같이 대부분의 코너점들은 영상 패치의 가장자리에 존재함을 확인할 수 있다.
도 7(c)와 같이 영상 패치의 영역을 확장하게 될 경우, 영상 패치가 블럽뿐만 아니라 코너의 영역까지 포함할 수 있게 되므로, 블럽 및 코너를 모두 고려하여 특징맵을 산출하는 것이 가능하게 된다.
따라서, 본 발명의 다른 실시예에 따른 영상 특징맵 생성 장치는 블럽 및 코너가 모두 고려된 영상 특징맵의 산출을 위하여 영상 패치 생성부(222)에서 생성한 영상 패치의 영역을 확장하는 영상 패치 확장부(223)를 구비한다.
특히, 영상 패치 확장부(223)는 영상 패치 생성부(222)에서 생성된 타원형 영상 패치의 단축 및 장축의 길이를 미리 설정된 수치만큼 증가시켜서 영상 패치의 영역을 확장시키도록 하는 것이 바람직하다.
도 8을 참조하여 더욱 구체적으로 설명해보면, 블럽의 특징점을 둘러싼 타원형 영역으로 정의되는 영상 패치의 장축의 길이가 a, 단축의 길이가 b인 경우, 영상 패치 확장부(223)는 상기 장축의 길이 및 단축의 길이를 각각 Δa 및 Δb 만큼 증가시킴으로써, 영상 패치의 영역을 확장할 수 있다.
다만, Δa 및 Δb는 영상에 포함된 코너 특징점을 포함할 수 있도록 설정되어야 할 것이며, 이를 통하여 특징맵 산출부에 의하여 산출된 특징맵은 영상 내의 블럽 및 코너의 특징들을 모두 고려할 수 있게 된다.
한편, 본 발명의 다른 실시예에 따른 영상 특징맵 생성 장치를 좀 더 확장하여 구성해 볼 경우, 압축부(231) 및 영상 사이즈 감축부(232)를 더 포함하도록 구성될 수도 있다.
압축부(231)는 영상 내의 픽셀들 중 특징맵 산출부(224)에 의하여 산정된 각각의 픽셀들의 중요도 정보에 기초하여 각각의 픽셀들의 압축 강도를 결정하는 기능을 수행한다.
영상 사이즈 감축부(232)는 영상에 포함된 픽셀들 중 중요도가 미리 설정된 값 미만인 픽셀들은 버리고, 미리 설정된 값 이상인 픽셀들만으로 영상을 재구성함으로써 영상 데이터의 사이즈를 줄이는 기능을 수행한다.
결국, 특징맵에 의하여 영상에 포함된 픽셀들의 중요도가 산정되고, 이러한 중요도에 기초하여 압축부(231) 및 영상 사이즈 감축부(232)가 해당 영상의 데이터 크기를 줄이도록 함으로써, 컴퓨터 기반의 영상 인식 및 영상 처리의 효율을 향상시킬 수 있게 된다.
이하에서는, 도 9를 참조하여, 본 발명의 다른 실시예에 따른 영상 특징맵 생성 방법에 대하여 설명하되, 앞서 설명한 본 발명의 다른 실시예에 따른 영상 특징맵 생성 장치의 내용과 중복되는 부분은 그 자세한 설명을 생략하도록 한다. 도 9는 본 발명의 다른 실시예에 따른 영상 특징맵 생성 방법을 시계열적으로 도시한 플로우차트이다.
본 발명의 다른 실시예에 따른 영상 특징맵 생성 방법은, 상술한 본 발명의 다른 실시예에 따른 영상 특징맵 생성 장치를 이용한 영상 특징맵 생성 방법에 관한 것으로써, 크게 4개의 단계로 구분될 수 있다.
먼저, 영상 센서(210)로부터 획득한 영상을 입력받아 영상에 존재하는 블럽의 특징점을 MSER 알고리즘을 적용하여 검출하는 제1 단계(S210)가 수행된다.
이후, 제1 단계(S210)에서 검출된 블럽의 특징점을 둘러싼 타원형 영역으로 정의되는 영상 패치를 생성하는 제2 단계(S220)가 수행된다.
이후, 제2 단계(S220)에서 생성된 영상 패치의 영역을 확장하는 제3 단계(S230)가 수행되는데, 구체적으로 영상 패치의 단축 및 장축의 길이를 미리 설정된 수치만큼 증가시킴으로써 영상 패치의 영역을 확장하는 것이 바람직하다.
아울러, 상술한 수치는 영상 패치가 영상에 포함된 코너 특징점을 포함할 수 있도록 설정함으로써 최종 특징맵이 블럽 특징점 뿐만 아니라 코너 특징점을 모두 고려할 수 있도록 함이 바람직하다.
이후, 블럽의 특징점 및 확장된 영상 패치에 기초하여 영상의 특징맵을 생성하는 제4 단계(S240)가 수행된다.
특히, 제4 단계(S240)에서는 영상의 해당 픽셀을 포함하는 영상 패치의 개수에 기초하여 픽셀들의 중요도가 산정되고, 이러한 픽셀들의 중요도에 기초하여 특징맵이 생성되게 된다.
한편, 본 발명의 일 실시예에 따른 영상 특징맵 생성 방법을 데이터 전송 이전까지 좀 더 확장하여 생각해 볼 경우, 상술한 제4 단계(S140) 이후에는 픽셀의 중요도 정보에 기초하여 영상의 데이터 크기를 줄이는 단계를 더 포함할 수도 있을 것이다.
상술한 본 발명에 따른 영상 특징맵 생성 장치 및 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.
110, 210: 영상 센서
121: 코너 검출부
122: 블럽 검출부
123: 코너 기반 특정맵 산출부
124: 블럽 기반 특정맵 산출부
125: 코너-블럽 통합 특정맵 산출부
221: MSER 블럽 검출부
222: 영상 패치 생성부
223: 영상 패치 확장부
224: 특징맵 산출부

Claims (16)

  1. 영상 센서로부터 획득한 영상을 입력받아 상기 영상에 존재하는 코너(corner)의 특징점을 검출하는 코너 검출부;
    상기 영상에 존재하는 블럽(blob)의 특징점을 검출하는 블럽 검출부;
    상기 코너의 특징점 및 상기 코너의 특징점을 둘러싼 영역으로 정의되는 제1 영상 패치에 기초하여 상기 영상의 코너 기반 특징맵을 생성하는 코너 기반 특징맵 산출부;
    상기 블럽의 특징점 및 상기 블럽의 특징점을 둘러싼 영역으로 정의되는 제2 영상 패치에 기초하여 상기 영상의 블럽 기반 특징맵을 생성하는 블럽 기반 특징맵 산출부; 및
    상기 코너 기반 특징맵 및 상기 블럽 기반 특징맵을 각각 정규화한 후 결합하여 하나의 통합 특징맵을 생성하는 코너-블럽 통합 특징맵 산출부;
    를 포함하는 영상 특징맵 생성 장치.
  2. 제1항에 있어서,
    상기 코너 기반 특징맵 산출부는 상기 영상의 해당 픽셀을 포함하는 상기 제1 영상 패치의 개수에 기초하여 픽셀들의 중요도를 산정하고,
    상기 산정된 픽셀들의 중요도에 기초하여 상기 코너 기반 특징맵을 생성하는 영상 특징맵 생성 장치.
  3. 제1항에 있어서,
    상기 블럽 기반 특징맵 산출부는 상기 영상의 해당 픽셀을 포함하는 상기 제2 영상 패치의 개수에 기초하여 픽셀들의 중요도를 산정하고,
    상기 산정된 픽셀들의 중요도에 기초하여 상기 블럽 기반 특징맵을 생성하는 영상 특징맵 생성 장치.
  4. 제1항에 있어서,
    상기 통합 특징맵은 상기 영상에 포함된 각각의 픽셀들의 중요도 정보를 포함하고,
    상기 각각의 픽셀들의 중요도 정보에 기초하여 각각의 픽셀들의 압축 강도를 결정하는 압축부;
    를 더 포함하는 영상 특징맵 생성 장치.
  5. 제 1항에 있어서,
    상기 통합 특징맵은 상기 영상에 포함된 각각의 픽셀들의 중요도 정보를 포함하고,
    상기 픽셀들 중 중요도가 미리 설정된 값 미만인 픽셀들은 삭제하여 상기 영상의 데이터 크기를 줄이는 영상 사이즈 감축부;
    를 더 포함하는 영상 특징맵 생성 장치.
  6. 영상 센서로부터 획득한 영상을 입력받고, 상기 영상에 존재하는 코너의 특징점 및 블럽의 특징점을 각각 검출하는 제1 단계;
    상기 코너의 특징점을 둘러싼 영역으로 정의되는 제1 영상 패치 및 상기 블럽의 특징점을 둘러싼 영역으로 정의되는 제2 영상 패치를 생성하는 제2 단계;
    상기 코너의 특징점 및 상기 제1 영역 패치에 기초하여 상기 영상의 코너 기반 특징맵을 생성하고, 상기 블럽의 특징점 및 상기 제2 영역 패치에 기초하여 상기 영상의 블럽 기반 특징맵을 생성하는 제3 단계; 및
    상기 코너 기반 특징맵 및 상기 블럽 기반 특징맵을 각각 정규화한 후 결합하여 하나의 통합 특징맵을 생성하는 제4 단계;
    를 포함하는 영상 특징맵 생성 방법.
  7. 제6항에 있어서, 상기 제3 단계에서,
    상기 영상의 해당 픽셀을 포함하는 상기 제1 영상 패치의 개수 및 상기 제2 영상 패치의 개수 중 적어도 하나에 기초하여 픽셀들의 중요도가 산정되고,
    상기 코너 기반 특징맵 및 상기 블럽 기반 특징맵 중 적어도 하나는 산정된 상기 픽셀들의 중요도에 기초하여 생성되는 영상 특징맵 생성 방법.
  8. 제6항에 있어서,
    상기 통합 특징맵은 상기 영상에 포함된 각각의 픽셀들의 중요도 정보를 포함하고,
    상기 제4 단계 이후에는,
    압축부가 상기 각각의 픽셀들의 중요도 정보에 기초하여 각각의 픽셀들의 압축 강도를 결정하는 단계를 더 포함하는 영상 특징맵 생성 방법.
  9. 제6항에 있어서,
    상기 통합 특징맵은 상기 영상에 포함된 각각의 픽셀들의 중요도 정보를 포함하고,
    상기 제4 단계 이후에는,
    영상 사이즈 감축부가 상기 픽셀들 중 중요도가 미리 설정된 값 미만인 픽셀들을 삭제하여 상기 영상의 데이터 크기를 줄이는 단계를 더 포함하는 영상 특징맵 생성 방법.
  10. 영상 센서로부터 획득한 영상을 입력받아 상기 영상에 존재하는 블럽(blob)의 특징점을 MSER(Maximally Stable Extremal Region) 알고리즘을 적용하여 검출하는 MSER 블럽 검출부;
    상기 블럽의 특징점을 둘러싼 타원형 영역으로 정의되는 영상 패치를 생성하는 영상 패치 생성부;
    상기 영상 패치 생성부에서 생성된 영상 패치의 영역을 확장하는 영상 패치 확장부; 및
    상기 블럽의 특징점 및 상기 영상 패치 확장부에 의하여 확장된 영상 패치에 기초하여 상기 영상의 특징맵을 생성하는 특징맵 산출부;
    를 포함하는 영상 특징맵 생성 장치.
  11. 제10항에 있어서,
    상기 특징맵 산출부는 상기 영상의 해당 픽셀을 포함하는 상기 확장된 영상 패치의 개수에 기초하여 픽셀들의 중요도를 산정하고,
    상기 산정된 픽셀들의 중요도 기초하여 상기 특징맵을 생성하는 영상 특징맵 생성 장치.
  12. 제10항에 있어서,
    상기 영상 패치 확장부는 상기 영상 패치 생성부에서 생성된 타원형 영상 패치의 단축 및 장축의 길이를 미리 설정된 수치만큼 증가시키는 영상 특징맵 생성 장치.
  13. 제12항에 있어서,
    상기 수치는 상기 영상 패치가 상기 영상에 포함된 코너를 포함할 수 있도록 설정되는 영상 특징맵 생성 장치.
  14. 영상 센서로부터 획득한 영상을 입력받아 상기 영상에 존재하는 블럽(blob)의 특징점을 MSER(Maximally Stable Extremal Region) 알고리즘을 적용하여 검출하는 제1 단계;
    상기 블럽의 특징점을 둘러싼 타원형 영역으로 정의되는 영상 패치를 생성하는 제2 단계;
    상기 생성된 영상 패치의 영역을 확장하는 제3 단계; 및
    상기 블럽의 특징점 및 상기 확장된 영상 패치에 기초하여 상기 영상의 특징맵을 생성하는 제4 단계;
    를 포함하는 영상 특징맵 생성 방법.
  15. 제14항에 있어서, 상기 제3 단계는,
    상기 영상 패치의 단축 및 장축의 길이를 미리 설정된 수치만큼 증가시킴으로써 상기 영상 패치의 영역을 확장하되, 상기 수치는 상기 영상 패치가 상기 영상에 포함된 코너를 포함할 수 있도록 설정되는 영상 특징맵 생성 방법.
  16. 제14항에 있어서, 상기 제4 단계는,
    상기 영상의 해당 픽셀을 포함하는 상기 영상 패치의 개수에 기초하여 픽셀들의 중요도가 산정되고,
    상기 특징맵은 산정된 상기 픽셀들의 중요도에 기초하여 생성되는 영상 특징맵 생성 방법.
KR1020160135248A 2016-10-18 2016-10-18 영상 특징맵 생성 장치 및 방법 KR102013372B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160135248A KR102013372B1 (ko) 2016-10-18 2016-10-18 영상 특징맵 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160135248A KR102013372B1 (ko) 2016-10-18 2016-10-18 영상 특징맵 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180042728A true KR20180042728A (ko) 2018-04-26
KR102013372B1 KR102013372B1 (ko) 2019-08-23

Family

ID=62082318

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160135248A KR102013372B1 (ko) 2016-10-18 2016-10-18 영상 특징맵 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102013372B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190131206A (ko) * 2018-05-16 2019-11-26 한양대학교 산학협력단 영상의 전역 문맥 정보를 활용하는 딥러닝 기반 물체 검출 방법 및 시스템
KR102074406B1 (ko) * 2019-07-25 2020-02-06 주식회사 딥노이드 영상 랜드마크 분류 장치 및 방법
KR20210049655A (ko) * 2019-10-25 2021-05-06 네이버 주식회사 특징맵 생성방법 및 특징맵 생성장치
US11200639B1 (en) 2020-06-11 2021-12-14 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and decoding on image by using low-complexity neural network
US11550326B2 (en) 2018-10-15 2023-01-10 Samsung Electronics Co., Ltd. Method and apparatus for controlling vehicle
WO2023163357A1 (ko) * 2022-02-25 2023-08-31 광운대학교 산학협력단 스케일러블 구조 기반 하이브리드 태스크 목적 부/복호화 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101279484B1 (ko) * 2012-04-18 2013-06-27 한국항공우주연구원 영상 처리 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101279484B1 (ko) * 2012-04-18 2013-06-27 한국항공우주연구원 영상 처리 장치 및 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190131206A (ko) * 2018-05-16 2019-11-26 한양대학교 산학협력단 영상의 전역 문맥 정보를 활용하는 딥러닝 기반 물체 검출 방법 및 시스템
US11550326B2 (en) 2018-10-15 2023-01-10 Samsung Electronics Co., Ltd. Method and apparatus for controlling vehicle
KR102074406B1 (ko) * 2019-07-25 2020-02-06 주식회사 딥노이드 영상 랜드마크 분류 장치 및 방법
KR20210049655A (ko) * 2019-10-25 2021-05-06 네이버 주식회사 특징맵 생성방법 및 특징맵 생성장치
US11200639B1 (en) 2020-06-11 2021-12-14 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and decoding on image by using low-complexity neural network
WO2021251611A1 (en) * 2020-06-11 2021-12-16 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and decoding on image by using low-complexity neural network
WO2023163357A1 (ko) * 2022-02-25 2023-08-31 광운대학교 산학협력단 스케일러블 구조 기반 하이브리드 태스크 목적 부/복호화 방법

Also Published As

Publication number Publication date
KR102013372B1 (ko) 2019-08-23

Similar Documents

Publication Publication Date Title
KR20180042728A (ko) 영상 특징맵 생성 장치 및 방법
US11423634B2 (en) Object detection model training method, apparatus, and device
CN108156519B (zh) 图像分类方法、电视设备及计算机可读存储介质
US8712154B2 (en) Image processing system and method
US9600744B2 (en) Adaptive interest rate control for visual search
US10970824B2 (en) Method and apparatus for removing turbid objects in an image
CN109064504B (zh) 图像处理方法、装置和计算机存储介质
US9767378B2 (en) Method and system to adaptively track objects
US9025868B2 (en) Method and system for image processing to determine a region of interest
WO2017190691A1 (zh) 图片压缩方法和装置
US11373449B1 (en) Systems and methods for passive-subject liveness verification in digital media
US9740932B2 (en) Cross-sensor iris matching
CN113033524B (zh) 遮挡预测模型训练方法、装置、电子设备及存储介质
JP5832656B2 (ja) 画像中のテキストの検出を容易にする方法及び装置
US20230232026A1 (en) Device for processing image and method for operating same
US9276986B2 (en) Systems, methods, and apparatuses for facilitating remote data processing
CN113705426A (zh) 人脸校验方法、装置、服务器及可读存储介质
JP6138706B2 (ja) 電子透かし埋め込み方法または電子透かし検出方法
KR101904125B1 (ko) 오목면 모델링을 통한 깊이 영상의 처리 방법 및 장치
US9202108B2 (en) Methods and apparatuses for facilitating face image analysis
CN110930287B (zh) 一种图像隐写检测方法、装置及计算机设备、存储介质
KR102106468B1 (ko) 영상 처리 장치 및 방법
KR101904108B1 (ko) 평면 모델링을 통한 깊이 영상의 가변적 블록 부호화 방법 및 장치
US10937177B2 (en) Non-transitory computer readable recording medium, method, and device for determining moving state
US20230082229A1 (en) Method, apparatus and non-transitory computer readable medium for determining acontextual threshold

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right