KR101367673B1 - 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템 - Google Patents

깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템 Download PDF

Info

Publication number
KR101367673B1
KR101367673B1 KR1020120072012A KR20120072012A KR101367673B1 KR 101367673 B1 KR101367673 B1 KR 101367673B1 KR 1020120072012 A KR1020120072012 A KR 1020120072012A KR 20120072012 A KR20120072012 A KR 20120072012A KR 101367673 B1 KR101367673 B1 KR 101367673B1
Authority
KR
South Korea
Prior art keywords
area
motion estimation
motion
block
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020120072012A
Other languages
English (en)
Other versions
KR20140007092A (ko
Inventor
김진수
Original Assignee
한밭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한밭대학교 산학협력단 filed Critical 한밭대학교 산학협력단
Priority to KR1020120072012A priority Critical patent/KR101367673B1/ko
Publication of KR20140007092A publication Critical patent/KR20140007092A/ko
Application granted granted Critical
Publication of KR101367673B1 publication Critical patent/KR101367673B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직인 추정 영역 설정 방법 및 그 설정 시스템에 관한 것으로, 더욱 상세하게는 제 1 카메라를 통해서, 객체까지의 거리 정보를 포함하는 깊이 영상을 획득하는 영상 획득 단계(S100), 상기 영상 획득 단계(S100)에서 획득한 상기 깊이 영상을 블록 단위로 분할하고, 분할한 블록들을 배경영역, 객체내부영역 및 경계영역으로 그룹화 및 라벨링하는 영상 가공 단계(S200), 상기 객체의 움직임 추정 블록 및 움직임 탐색 블록을 추출하고, 상기 움직임 추정 블록 및 움직임 탐색 블록의 배경영역, 객체내부영역 및 경계영역을 판단하는 영역 판단 단계(S300), 상기 영역 판단 단계(S300)에서 판단된 결과에 따라, 상기 블록들이 객체내부영역 또는 경계영역일 경우, 움직임 추정 영역을 설정하는 영역 설정 단계(S400) 및 상기 영역 설정 단계(S400)에서 설정된 상기 움직임 추정 블록 및 움직임 탐색 블록의 움직임 추정 영역을 이용하여, 움직임 벡터를 설정하는 움직임 벡터 설정 단계(S500)를 포함하여 이루어지는 것을 특징으로 하는 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법에 관한 것이다.

Description

깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템 {Method and System for Selecting Motion Search Region for Image Sequences using Depth Camera Information}
본 발명은 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템에 관한 것으로, 더욱 상세하게는 깊이 카메라와 색상 카메라를 동시에 이용하여 움직임 추정을 위한 탐색 영역을 제한시켜줌으로써, 움직임 추정 탐색수를 효율적으로 감소시키는 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템에 관한 것이다.
최근들어 스마트폰, 스마트 TV 등의 다양한 컴퓨터 및 단말기의 보급으로 동영상 등의 멀티미디어 서비스가 활발히 진행되고 있다. 이러한 동영상 압축 표준으로는 ISO/IEC와 ITU-T에서 MPEG-1, 2, 4와 H.261, H.262, H.263, H.264 표준을 제정하였다. 또한, 차세대 비디오 부호화 표준으로 HEVC(High Efficiency Video Coding)에 대한 표준화 작업이 진행 중에 있다. 이러한 여러 동영상 압축 표준에는 시간 방향의 중복성을 제거하기 위해서, 움직임 추정 부호화 기법을 사용하고 있다. 움직임 추정이란, 현재 화면 내의 블록(공간 방향으로 이웃한 화소들의 묶음)과 시간 방향으로 이웃한 참조 화면 내에서 가장 가까운 블록을 찾는 과정을 의미하며, 이러한 움직임 추정 과정에는 블록을 찾는 평가척도, 참조 화면 내 탐색 영역의 크기 및 현재 화면 내 블록의 크기 등이 고려되어야 한다.
블록을 찾는 평가척도로는, 현재 블록과 참조 블록 사이의 절대오차 신호의 합, 제곱오차 신호의 합 등이 사용되며, 구현의 복잡도 측면을 고려하자면, 절대오차가 제곱오차에 비하여 더 간단하지만, 추정의 정확도 측면을 고려하자면, 제곱오차가 절대오차에 비하여 더 정확하다. 이러한, 움직임 추정의 복잡도는 참조 화면 내 탐색 영역의 크기에 비례하여 증가한다. 즉, 움직임 추정의 복잡도와 관련되는 탐색수는 현재 화면 내 각 블록과 가장 가까운 블록을 참조 화면에서 찾기 위해서 탐색하는 총 횟수를 의미하며, 탐색수는 수평방향의 탐색 영역 크기와 수직 방향의 탐색 영역 크기의 곱에 정비례한다. 참조 화면 내 탐색 영역의 크기가 커질수록 움직임 추정의 복잡도가 증가될 수 밖에 없으나, 탐색 영역의 크기가 너무 작으면 추정의 정확도가 떨어질 수 있다. 이에 따라, 동영상 부호화마다 적절한 탐색 영역 크기 설정이 필요하다. 움직임 추정을 위한 현재 화면 내 블록의 크기는 작을수록 추정의 정확도가 커지지만, 움직임 추정의 복잡도가 증가되며, 추가적으로 전송되는 움직임 벡터가 증가되는 단점이 있다. 상기 H.264에서는, 16×16, 8×8 및 4×4 등으로 블록 크기를 가변적으로 선택할 수 있도록 하고 있다.
움직임 추정은 동영상 부호화에서 구현의 복잡도의 70% 이상을 차지하고 있으므로, 동영상 부호화 초창기부터 복잡도를 줄이는 고속 움직임 추정 방법에 대한 연구가 진행되어져 왔다.
종래의 고속 움직임 추정 방법은 탐색 패턴 방법, 탐색 시작 위치 설정 방법 및 탐색 조기 종료 방법 등이 있다.
상기 탐색 패턴 방법은 3단계, 다이아몬드, 헥사곤 탐색 등으로 탐색 영역을 모두 탐색하는 전역 탐색 방법을 사용하지 않고, 움직임 벡터 분포 특성을 고려하여, 국한된 패턴에 따라 탐색하는 것으로서, 탐색수는 크게 줄일 수 있으나, 추정의 정확도가 떨어질 수 있는 단점이 있다.
또한, 상기 탐색 시작 위치 설정 방법은 동영상 내 블록들 사이의 공간적 및 시간적 상관관계를 고려하여 탐색하는 시작 위치를 효율적으로 설정하여 시작 위치 주위의 일부 영역에 대해서만 탐색함으로써, 추정의 복잡도를 줄이기 위한 것이며, 상기 탐색 조기 종료 방법은 탐색시 평가척도의 기준치를 정해놓고, 그 기준치를 초과할 경우에는 그 당시의 참조 블록의 비교를 조기에 종료하는 방법이다.
이러한 종래의 방법들은 색상 카메라만을 이용하여 밝기 정보를 얻고, 밝기 정보 간 움직임 추정 과정을 수행한다. 그러나, 최근에는 색상 카메라 뿐만 아니라, 깊이 카메라를 동시에 이용하는 다양한 응용 분야가 대두되고 있다.
더불어, 한국 공개 특허 2011-0022133호("영상의 움직임 추정 방법 및 영상 처리 장치", 이하 선행문헌 1)에서는 연속적으로 입력되는 제 1 영상 및 제 2 영상 중 어느 하나에서 추출한 기준 블록과, 나머지 하나에서 추출한 탐색 영역으로부터 전방향 움직임 추정 또는 후방향 움직임 추정 중 어느 하나를 이용하여 후보 움직임 벡터를 연산하는 후보 움직임 벡터 연산 단계와 나머지 방향 추정에 대응하는 가상 움직임 벡터를 연산하는 가상 움직임 벡터 연산 단계 및 상기 가상 움직임 벡터 중 적어도 어느 하나를 이용하여, 상기 제 1 영상 및 제 2 영상을 보간하는 움직임 보상 단계로 이루어지는 움직임 추정 방법을 개시하고 있다. 그러나, 모든 영역에 움직임 추정을 위한 탐색을 수행해야하는 불편함이 있다.
한국공개특허 10-2011-0022133호 (공개일자 2011.03.07.)
본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 깊이 카메라와 색상 카메라를 동시에 이용하여 움직임 추정을 위한 탐색 영역을 제한시켜줌으로써, 움직임 추정 탐색수를 효율적으로 감소시키는 움직임 추정 영역 설정 방법을 제공함에 있다.
본 발명의 일 실시예에 따른 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법은, 제 1 카메라를 통해서, 객체까지의 거리 정보를 포함하는 깊이 영상을 획득하는 영상 획득 단계(S100), 상기 영상 획득 단계(S100)에서 획득한 상기 깊이 영상을 블록 단위로 분할하고, 분할한 블록들을 배경영역, 객체내부영역 및 경계영역으로 그룹화 및 라벨링하는 영상 가공 단계(S200), 상기 객체의 움직임 추정 블록 및 움직임 탐색 블록을 추출하고, 상기 움직임 추정 블록 및 움직임 탐색 블록의 배경영역, 객체내부영역 및 경계영역을 판단하는 영역 판단 단계(S300), 상기 영역 판단 단계(S300)에서 판단된 결과에 따라, 상기 블록들이 객체내부영역 또는 경계영역일 경우, 움직임 추정 영역을 설정하는 영역 설정 단계(S400) 및 상기 영역 설정 단계(S400)에서 설정된 상기 움직임 추정 블록 및 움직임 탐색 블록의 움직임 추정 영역을 이용하여, 움직임 벡터를 설정하는 움직임 벡터 설정 단계(S500)를 포함하여 이루어지는 것을 특징으로 한다.
바람직하게는, 상기 영상 가공 단계(S200)는 분할한 블록들을 상기 영상 획득 단계(S100)에서 획득한 상기 객체까지의 거리 정보를 이용하여 그룹화 및 라벨링하는 것을 특징으로 한다.
바람직하게는, 상기 영역 판단 단계(S300)는 제 2 카메라를 이용하여 상기 객체의 색상 정보를 포함하는 컬러 영상를 획득하고, 획득한 상기 컬러 영상과 상기 영상 가공 단계(S200)에서 라벨링한 영상을 매칭하여 상기 움직임 추정 블록과 움직임 탐색 블록을 추출하는 것을 특징으로 한다.
바람직하게는, 상기 영역 판단 단계(S300)는
Figure 112012052982946-pat00001
(여기서,
Figure 112012052982946-pat00002
는 상기 움직임 추정 블록과 움직임 탐색 블록의 수평방향으로
Figure 112012052982946-pat00003
위치, 수직 방향으로
Figure 112012052982946-pat00004
위치에 있는 상기 제 1 카메라의 라벨링된 값, Bx, By 는 상기 움직임 추정 블록과 움직임 탐색 블록의 수평 및 수직 방향의 크기)를 이용하여 상기 움직임 추정 블록과 움직임 탐색 블록을 배경영역으로 판단하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 시스템은, 제 1 카메라(10)를 통해서, 객체까지의 거리 정보를 포함하는 깊이 영상을 획득하는 제 1 영상 산출부(100), 제 2 카메라(20)를 통해서, 객체의 색상 정보를 포함하는 컬러 영상을 획득하는 제 2 영상 산출부(200), 상기 제 1 영상 산출부(100)에서 획득한 상기 깊이 영상을 블록 단위로 분할하는 영역 분할부(300), 상기 영역 분할부(300)에서 분할된 블록들을 상기 제 1 영상 산출부(100)에서 획득한 상기 거리 정보를 토대로, 배경영역, 객체내부영역 및 경계영역으로 그룹화 및 라벨링하는 객체 추출부(400), 상기 객체의 움직임 추정 블록 및 움직임 탐색 블록의 배경영역, 객체내부영역 및 경계영역을 판단하는 영역 판단부(500), 상기 영역 판단부(500)의 판단 결과에 따라, 상기 움직임 추청 블록 및 움직임 탐색 블록들이 객체내부영역 또는 경계영역인 경우, 움직임 추정 영역을 설정하는 영역 설정부(600) 및 상기 영역 설정부(600)에서 설정된 움직임 추정 영역을 이용하여, 움직임 벡터를 설정하는 움직임 벡터 설정부(700)를 포함하여 구성되는 것을 특징으로 한다.
바람직하게는, 상기 영역 판단부(500)는 상기 제 2 영상 산출부(200)에서 획득한 상기 컬러 영상과, 상기 객체 추출부(400)에서 라벨링한 영상을 매칭하여 상기 움직임 추정 블록과 움직임 탐색 블록을 추출하는 것을 특징으로 한다.
바람직하게는, 상기 영역 판단부(500)는
Figure 112012052982946-pat00005
(여기서,
Figure 112012052982946-pat00006
는 상기 움직임 추정 블록과 움직임 탐색 블록의 수평방향으로
Figure 112012052982946-pat00007
위치, 수직 방향으로
Figure 112012052982946-pat00008
위치에 있는 상기 제 1 카메라의 라벨링된 값, Bx, By 는 상기 움직임 추정 블록과 움직임 탐색 블록의 수평 및 수직 방향의 크기)를 이용하여 상기 움직임 추정 블록과 움직임 탐색 블록을 배경영역으로 판단하는 것을 특징으로 한다.
상기와 같은 구성에 의한 본 발명의 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템은 기존의 색상 카메라에서 얻어지는 색상 정보 외에도, 깊이 카메라에서 얻어지는 깊이 정보를 이용하여, 움직임 추정 영역을 설정함으로서, 움직임 탐색에 대한 실행 시간을 단축할 수 있는 효과가 있다.
또한, 저전력 환경에 사용할 수 있으며, 간단한 프로세스를 사용하여 영상 시퀀스에 대한 압축 부호화기를 구현할 수 있는 효과도 있다.
더불어, 줌인과 줌아웃이 있는 영상에서도 적용할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법에 대해서 나타낸 순서도이다.
도 2는 본 발명의 일 실시예에 따른 영역 판단 단계(S300)에 의해서 판단된 영역에 대해서 나타낸 예시도이다.
도 3은 본 발명의 일 실시예에 따른 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 시스템에 대해서 간략하게 나타낸 도면이다.
이하 첨부한 도면들을 참조하여 본 발명의 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.
이때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법에 대해 간략하게 도시한 도면이다. 도 1을 참조로 하여 본 발명의 일 실시예에 따른 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법에 대해서 상세히 설명한다.
본 발명의 일 실시예에 따른 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법은 영상 획득 단계(S100), 영상 가공 단계(S200), 영역 판단 단계(S300), 영역 설정 단계(S400) 및 움직임 벡터 설정 단계(S500)를 포함하여 이루어질 수 있다.
상기 영상 획득 단계(S100)는 제 1 카메라(10)를 통해서, 상기 제 1 카메라(10)에서 객체까지의 거리 정보를 포함하는 깊이 영상을 획득한다. 여기서, 상기 제 1 카메라(10)는 깊이 카메라(10)를 의미하며, 상기 깊이 카메라(10)는 비행시간(TOF, Time-Of-Flight)방식으로 작동하는 적외선 펄스 레이저로 구현되고 있다. 즉, 상기 적외선 펄스 레이저는 적외선 레이저 다이오드를 포함하여 구성될 수 있으며, 상기 적외선 레이저 다이오드에서 방출되는 펄스광이 공간으로 조사되고, 피사체의 표면에서 산란된 후에, 상기 적외선 펄스 레이저의 광검출기에서 검출된다. 이 때, 상기 적외선 펄스 레이저의 광검출기에서 검출할 때까지의 시간이 측정되며, 측정된 시간을 이용하여, 상기 깊이 카메라(10)와 상기 객체와의 거리를 측정한다. 획득된 상기 거리 정보를 화면으로 구성되며, 화면은 각 화소(Pixel) 별로 구성된다.
상기 영상 가공 단계(S200)는 상기 영상 획득 단계(S100)에서 획득한 상기 깊이 영상을 블록 단위로 분할하고, 분할한 블록들을 획득한 상기 거리 정보를 토대로, 배경영역, 객체내부영역 및 경계영역으로 그룹화 및 라벨링한다. 상기 객체내부영역 및 경계영역을 포함하여 객체영역이라고도 하며, 상기 객체 영역은 1개 이상으로 구분할 수도 있다. 즉, 다시 말하자면, 상기 배경영역은 고정된 것으로서, 상기 깊이 영상 내에서 화면의 변화가 없는 부분이며, 다시 말하자면, 움직임 추정이 필요없는 부분이다. 이에 따라, 상기 배경영역은 현재 화면과 이전 화면의 같은 공간 위치에 있는 화소의 차이 값을 토대로, 움직임 추정 차신호를 산출할 수 있다.
상기 객체 영역, 즉, 객체만으로 구성되는 객체내부영역 및 배경과 객체가 같이 포함되어 있는 경계영역으로 구분되어 진다. 상기 거리 정보, 즉, 깊이 영상의 화면 내 같은 객체는 비슷한 거리에 존재하기 때문에, 수십cm 이내 거리에 있는 화소들을 그룹화 및 라벨링할 수 있다. 라벨링은 배경영역에는 '0', 첫 번째 객체영역에는 '1', 두 번째 객체영역에는 '2' 등으로, 객체 수만큼의 크기 값으로 라벨링할 수 있다.
상기 영역 판단 단계(S300)는 제 2 카메라(20)를 통해서, 객체의 색상 정보를 포함하는 컬러 영상과, 상기 영상 가공 단계(S200)에서 라벨링한 영상을 매칭하여 움직임 추정 블록과 움직임 탐색 블록을 추출한다. 또한, 도 2에 도시된 바와 같이, 추출된 상기 움직임 추정 블록과 움직임 탐색 블록의 배경영역, 객체내부영역 및 경계영역을 판단한다.
이 때, 상기 제 2 카메라(20)는 색상 카메라(20)를 의미하며, 상기 색상 카메라로부터 객체의 색상 정보를 포함하는 YUV 신호를 얻을 수 있다. YUV 신호란, 일반적으로 Y는 휘도 신호, U는 휘도 신호와 청색 성분의 차 및 V는 휘도 신호와 적색 성분의 차를 의미하여, Y, U 및 V의 3가지 정보로 색을 나타내는 형식이다. Y 성분은 오차에 민감하므로 색상 선부의 U와 V보다 많은 비트를 코딩하며, Y:U:V의 비율은 보통 4:2:2이다. RGB 값을 YUV로 변환하는 식은, Y=0.3R + 0.59G + 0.11B이고, U=(B-Y) * 0.493이며, V=(R-Y) * 0.877이다. 반대로, YUV값을 RGB로 변환하는 식은, R=Y + 0.956U + 0.621V이며, G=Y + 0.272U + 0.647V이고, B=Y + 1.1061U + 1.703V이다. 즉, 빛에 둔감한 컬러 정보라고 판단되어, YUV 신호로 변환하여 사용하고 있다. 이러한 YUV 신호와, 라벨링한 영상을 매칭하여 움직임 추정 블록과 움직임 탐색 블록을 추출한다. 상기 움직임 추정 블록과 움직임 탐색 블록은 움직임 추정시 필요하며, 움직임 추정 블록은 현재 라벨링 화면의 블록으로서, 움직임 추정하는 현재 색상 화면과 일치하는 것이고, 움직임 탐색 블록은 참조 라벨링 화면의 블록으로서, 움직임 탐색이 필요되는 이전 또는 이후 시간에 존재하는 색상 화면과 일치하는 것이다. 이러한 영역 판단은 하기의 수학식 1을 통해서 판단할 수 있다.
Figure 112012052982946-pat00009
여기서,
Figure 112012052982946-pat00010
는 상기 움직임 추정 블록과 움직임 탐색 블록의 수평방향으로
Figure 112012052982946-pat00011
위치, 수직 방향으로
Figure 112012052982946-pat00012
위치에 있는 상기 제 1 카메라, 즉, 깊이 카메라의 라벨링된 값,
Bx, By는 상기 움직임 추정 블록과 움직임 탐색 블록의 수평 및 수직 방향의 크기이며,
상기 수학식 1과 같이 상기 움직임 추정 블록과 움직임 탐색 블록의 화소 값이 '0'이 되는 경우에는, 상기 움직임 추정 블록과 움직임 탐색 블록의 배경영역으로 판단하여 움직임 추정 영역을 설정하지 않는다.
이에 반면에, 상기 영역 설정 단계(S400)는 상기 영역 판단 단계(S300)에서 판단된 결과에 따라, 상기 블록들이 배경영역이 아닌, 객체내부영역 또는 경계영역인 경우에는, 움직임 추정 영역을 설정한다. 다시 말하자면, 상기 영역 판단 단계(S300)에서 판단 결과가 배경영역이 아닌 경우, 라벨링된 화소값들이 모두 같은 경우에는 상기 객체내부영역이며, 라벨링된 화소값들이 모두 같지 않은 경우이면서, 상기 배경영역과 객체내부영역으로 판단되지 않은 경우의 모든 블록을 경계영역으로 판단한다. 상기 블록들이 배경영역인 경우, 객체내부영역인 경우, 경계영역인 경우마다 각각 다르게 움직임 추정 영역을 설정할 수 있다.
즉, 상기 영역 판단 단계(S300)에서 판단 결과가 배경영역인 경우에는, 두가지 경우가 있을 수 있으며, 움직임 추정 블록과 움직임 탐색 블록, 모두 배경영역으로 판단된 경우에는, 움직임 추정은 이루어지지 않고, 움직임 추정치 신호를 공간적으로 같은 위치에 있는 화소값의 차이를 통해서, 하기의 수학식 2와 같이 구해진다.
Figure 112012052982946-pat00013
여기서, Ic(x,y)는 움직임 추정 블록의 수평 x, 수직 y 위치에 있는 휘도 신호의 밝기 화소값,
IR(x,y)는 움직임 탐색 블록의 수평 x, 수직 y 위치에 있는 휘도 신호의 밝기 화소값이다.
또한, 상기 움직임 추정 블록은 배경영역이지만, 상기 움직임 탐색 블록이 배경영역이 아닌 경우에는, 모든 상기 움직임 탐색 블록에 대하여 배경영역인지 판단한다. 이에 따라, 배경영역으로 판단되는 상기 움직임 탐색 블록에 대해서는 움직임 추정이 이루어지고, 그렇지 않은 경우에는, 움직임 추정이 이루어지지 않는다.
상기 영역 판단 단계(S300)에서 판단 결과가 객체내부영역인 경우에는, 두가지 경우가 있을 수 있으며, 상기 움직임 추정 블록은 객체내부영역으로 판단되고, 상기 움직임 탐색 블록은 배경영역 또는 경계영역으로 판단될 경우, 움직임 추정은 이루어지지 않는다. 반면에, 상기 움직임 탐색 블록 또한, 객체내부영역으로 판단되면 움직임 추정이 이루어지게 된다. 이러한 움직임 추정을 통해서, 상기 움직임 벡터 설정 단계(S500)는 현재 색상 화면내 블록, 즉, 움직임 추정 블록과 참조 색상 화면내 탐색블록, 즉, 움직임 탐색 블록에 대하여 평가척도를 최소로 하는 움직임 벡터(수평방향 Vx, 수직방향 Vy)를 산출할 수 있다. 하기의 수학식 3은 절대오차의 합을 최소로 하는 평가척도에 대한 것이며, 절대오차 대신에 제곱오차를 사용하는 평가척도도 사용될 수 있다.
Figure 112012052982946-pat00014
여기서, Tx, Ty는 수평 및 수직 방향의 최대 탐색 크기값이고,
Figure 112012052982946-pat00015
는 움직임 탐색 블록에서 객체내부영역에 속하는 부분을 의미한다.
상기의 수학식 3으로부터 얻어진 움직임 벡터를 통해서, 객체내부영역에서의 움직임 추정 차신호가 하기의 수학식 4와 같이 구해진다.
Figure 112012052982946-pat00016
상기 영역 판단 단계(S300)에서 판단 결과가 경계영역인 경우에는, 두가지 경우가 있을 수 있으며, 상기 움직임 추정 블록은 경계영역으로 판단되고, 상기 움직임 탐색 블록은 배경영역 또는 객체내부영역으로 판단될 경우, 움직임 추정은 이루어지지 않는다. 반면에, 상기 움직임 탐색 블록 또한, 경계영역으로 판단되면 움직임 추정이 이루어지게 된다. 이러한 움직임 추정을 통해서, 상기 움직임 벡터 설정 단계(S500)는 현재 색상 화면내 블록, 즉, 움직임 추정 블록과 참조 색상 화면내 탐색블록, 즉, 움직임 탐색 블록에 대하여 평가척도를 최소로 하는 움직임 벡터(수평방향 Vx, 수직방향 Vy)를 산출할 수 있다. 하기의 수학식 5은 절대오차의 합을 최소로 하는 평가척도에 대한 것이며, 절대오차 대신에 제곱오차를 사용하는 평가척도도 사용될 수 있다.
Figure 112012052982946-pat00017
여기서,
Figure 112012052982946-pat00018
는 움직임 탐색 블록에서 경계영역에 속하는 부분을 의미한다.
본 발명의 일 실시예에 따른 깊이 카메라 정보를 이용한 색상 움직임 추정 영역 설정 방법은, 상기 깊이 카메라와 객체간의 거리 정보를 획득할 수 있으며, 비슷한 거리에 존재하는 화소들을 그룹화하고 라벨링하여 객체를 추출할 수 있다. 이러한 라벨링 화면으로부터 배경영역, 객체내부영역 및 경계영역을 판단할 수 있으며, 이 때, 배경영역은 움직임 추정이 이루어지지 않고, 객체내부영역에 대해서는 움직임 탐색 블록에서 객체내부영역만, 경계영역에 대해서는 움직임 탐색 블록에서 경계영역만을 움직임 추정 영역으로 설정함으로써, 움직임 벡터를 설정하기 위한 움직임 추정 탐색수를 효과적으로 줄일 수 있다.
도 3은 본 발명의 일 실시예에 따른 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 시스템에 대해 간략하게 도시한 도면이다. 도 3을 참조로 하여 본 발명의 일 실시예에 따른 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 시스템에 대해서 상세히 설명한다.
본 발명의 일 실시예에 따른 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 시스템은 제 1 영상 산출부(100), 제 2 영상 산출부(200), 영역 분할부(300), 객체 추출부(400), 영역 판단부(500), 영역 설정부(600) 및 움직임 벡터 설정부(700)를 포함하여 구성될 수 있다.
상기 제 1 영상 산출부(100)는 제 1 카메라(10)를 통해서, 상기 제 1 카메라(10)에서 객체까지의 거리 정보를 포함하는 깊이 영상을 획득한다. 여기서, 상기 제 1 카메라(10)는 깊이 카메라(10)를 의미하며, 상기 깊이 카메라(10)는 비행시간(TOF, Time-Of-Flight)방식으로 작동하는 적외선 펄스 레이저로 구현되고 있다. 즉, 상기 적외선 펄스 레이저는 적외선 레이저 다이오드를 포함하여 구성될 수 있으며, 상기 적외선 레이저 다이오드에서 방출되는 펄스광이 공간으로 조사되고, 피사체의 표면에서 산란된 후에, 상기 적외선 펄스 레이저의 광검출기에서 검출된다. 이 때, 상기 적외선 펄스 레이저의 광검출기에서 검출할 때까지의 시간이 측정되며, 측정된 시간을 이용하여, 상기 깊이 카메라(10)와 상기 객체와의 거리를 측정한다. 획득된 상기 거리 정보를 화면으로 구성되며, 화면은 각 화소(Pixel) 별로 구성된다.
상기 제 2 영상 산출부(200)는 제 2 카메라(20)를 통해서, 객체의 색상 정보를 포함하는 컬러 영상을 획득한다. 이 때, 상기 제 2 카메라(20)는 색상 카메라(20)를 의미하며, 상기 색상 카메라로부터 객체의 색상 정보를 포함하는 YUV 신호를 얻을 수 있다. YUV 신호란, 일반적으로 Y는 휘도 신호, U는 휘도 신호와 청색 성분의 차 및 V는 휘도 신호와 적색 성분의 차를 의미하여, Y, U 및 V의 3가지 정보로 색을 나타내는 형식이다. Y 성분은 오차에 민감하므로 색상 선부의 U와 V보다 많은 비트를 코딩하며, Y:U:V의 비율은 보통 4:2:2이다. RGB 값을 YUV로 변환하는 식은, Y=0.3R + 0.59G + 0.11B이고, U=(B-Y) * 0.493이며, V=(R-Y) * 0.877이다. 반대로, YUV값을 RGB로 변환하는 식은, R=Y + 0.956U + 0.621V이며, G=Y + 0.272U + 0.647V이고, B=Y + 1.1061U + 1.703V이다. 즉, 빛에 둔감한 컬러 정보라고 판단되어, YUV 신호로 변환하여 사용하고 있다.
상기 영역 분할부(300)는 상기 제 1 영상 산출부(100)에서 획득한 상기 깊이 영상을 블록 단위로 분할하며, 상기 객체 추출부(400)는 상기 영역 분할부(300)에서 분할된 블록들을 상기 제 1 영상 산출부(100)에서 획득한 상기 거리 정보를 토대로, 배경영역, 객체내부영역 및 경계영역으로 그룹화 및 라벨링한다. 상기 객체내부영역 및 경계영역을 포함하여 객체영역이라고도 하며, 상기 객체 영역은 1개 이상으로 구분할 수도 있다. 즉, 다시 말하자면, 상기 배경영역은 고정된 것으로서, 상기 깊이 영상 내에서 화면의 변화가 없는 부분이며, 다시 말하자면, 움직임 추정이 필요없는 부분이다. 이에 따라, 상기 배경영역은 현재 화면과 이전 화면의 같은 공간 위치에 있는 화소의 차이 값을 토대로, 움직임 추정 차신호를 산출할 수 있다.
상기 객체 영역, 즉, 객체만으로 구성되는 객체내부영역 및 배경과 객체가 같이 포함되어 있는 경계영역으로 구분되어 진다. 상기 거리 정보, 즉, 깊이 영상의 화면 내 같은 객체는 비슷한 거리에 존재하기 때문에, 수십cm 이내 거리에 있는 화소들을 그룹화 및 라벨링할 수 있다. 라벨링은 배경영역에는 '0', 첫 번째 객체영역에는 '1', 두 번째 객체영역에는 '2' 등으로, 객체 수만큼의 크기 값으로 라벨링할 수 있다.
상기 영역 판단부(500)는 상기 제 2 영상 산출부(200)에서 획득한 상기 컬러 영상과, 상기 상기 객체 추출부(400)에서 라벨링한 영상을 매칭하여 움직임 추정 블록과 움직임 탐색 블록을 추출한다. 또한, 도 2에 도시된 바와 같이, 추출된 상기 움직임 추정 블록과 움직임 탐색 블록의 배경영역, 객체내부영역 및 경계영역을 판단한다. 이러한 YUV 신호와, 라벨링한 영상을 매칭하여 움직임 추정 블록과 움직임 탐색 블록을 추출한다. 상기 움직임 추정 블록과 움직임 탐색 블록은 움직임 추정시 필요하며, 움직임 추정 블록은 현재 라벨링 화면의 블록으로서, 움직임 추정하는 현재 색상 화면과 일치하는 것이고, 움직임 탐색 블록은 참조 라벨링 화면의 블록으로서, 움직임 탐색이 필요되는 이전 또는 이후 시간에 존재하는 색상 화면과 일치하는 것이다. 이러한 영역 판단은 상기의 수학식 1을 통해서 판단할 수 있으며, 상기 수학식 1과 같이 상기 움직임 추정 블록과 움직임 탐색 블록의 화소값이 '0'이 되는 경우에는, 상기 움직임 추정 블록과 움직임 탐색 블록의 배경영역으로 판단하여 움직임 추정 영역을 설정하지 않는다.
상기 수학식 1과 같이 상기 움직임 추정 블록과 움직임 탐색 블록의 화소 값이 '0'이 되는 경우에는, 상기 움직임 추정 블록과 움직임 탐색 블록의 배경영역으로 판단하여 움직임 추정 영역을 설정하지 않는다.
영역 설정부(600)는 상기 영역 판단부(500)에서 판단된 결과에 따라, 상기 블록들이 배경영역이 아닌, 객체내부영역 또는 경계영역인 경우에는, 움직임 추정 영역을 설정한다. 다시 말하자면, 상기 영역 판단부(500)에서 판단 결과가 배경영역이 아닌 경우, 라벨링된 화소값들이 모두 같은 경우에는 상기 객체내부영역이며, 라벨링된 화소값들이 모두 같지 않은 경우이면서, 상기 배경영역과 객체내부영역으로 판단되지 않은 경우의 모든 블록을 경계영역으로 판단한다. 상기 블록들이 배경영역인 경우, 객체내부영역인 경우, 경계영역인 경우마다 각각 다르게 움직임 추정 영역을 설정할 수 있다.
즉, 상기 영역 판단부(500)에서 판단 결과가 배경영역인 경우에는, 두가지 경우가 있을 수 있으며, 움직임 추정 블록과 움직임 탐색 블록, 모두 배경영역으로 판단된 경우에는, 움직임 추정은 이루어지지 않고, 움직임 추정치 신호를 공간적으로 같은 위치에 있는 화소값의 차이를 통해서, 상기의 수학식 2와 같이 구해진다.
또한, 상기 움직임 추정 블록은 배경영역이지만, 상기 움직임 탐색 블록이 배경영역이 아닌 경우에는, 모든 상기 움직임 탐색 블록에 대하여 배경영역인지 판단한다. 이에 따라, 배경영역으로 판단되는 상기 움직임 탐색 블록에 대해서는 움직임 추정이 이루어지고, 그렇지 않은 경우에는, 움직임 추정이 이루어지지 않는다.
상기 영역 설정부(600)는 상기 영역 판단부(500)에서 판단 결과가 객체내부영역인 경우에는, 두가지 경우가 있을 수 있으며, 상기 움직임 추정 블록은 객체내부영역으로 판단되고, 상기 움직임 탐색 블록은 배경영역 또는 경계영역으로 판단될 경우, 움직임 추정은 이루어지지 않는다. 반면에, 상기 움직임 탐색 블록 또한, 객체내부영역으로 판단되면 움직임 추정이 이루어지게 된다. 이러한 움직임 추정을 통해서, 상기 움직임 벡터 설정부(700)에서 현재 색상 화면내 블록, 즉, 움직임 추정 블록과 참조 색상 화면내 탐색블록, 즉, 움직임 탐색 블록에 대하여 평가척도를 최소로 하는 움직임 벡터(수평방향 Vx, 수직방향 Vy)를 산출할 수 있다. 상기의 수학식 3은 절대오차의 합을 최소로 하는 평가척도에 대한 것이며, 절대오차 대신에 제곱오차를 사용하는 평가척도도 사용될 수 있다. 상기의 수학식 3으로부터 얻어진 움직임 벡터를 통해서, 객체내부영역에서의 움직임 추정 차신호가 상기의 수학식 4와 같이 구해진다.
상기 영역 설정부(600)는 상기 영역 판단부(500)에서 판단 결과가 경계영역인 경우에는, 두가지 경우가 있을 수 있으며, 상기 움직임 추정 블록은 경계영역으로 판단되고, 상기 움직임 탐색 블록은 배경영역 또는 객체내부영역으로 판단될 경우, 움직임 추정은 이루어지지 않는다. 반면에, 상기 움직임 탐색 블록 또한, 경계영역으로 판단되면 움직임 추정이 이루어지게 된다. 이러한 움직임 추정을 통해서, 상기 움직임 벡터 설정부(700)에서 현재 색상 화면내 블록, 즉, 움직임 추정 블록과 참조 색상 화면내 탐색블록, 즉, 움직임 탐색 블록에 대하여 평가척도를 최소로 하는 움직임 벡터(수평방향 Vx, 수직방향 Vy)를 산출할 수 있다. 상기의 수학식 5은 절대오차의 합을 최소로 하는 평가척도에 대한 것이며, 절대오차 대신에 제곱오차를 사용하는 평가척도도 사용될 수 있다.
다시 말하자면, 본 발명의 일 실시예에 따른 깊이 카메라 정보를 이용한 색상 움직임 추정 영역 설정 시스템은, 상기 깊이 카메라와 객체간의 거리 정보를 획득할 수 있으며, 비슷한 거리에 존재하는 화소들을 그룹화하고 라벨링하여 객체를 추출할 수 있다. 이러한 라벨링 화면으로부터 배경영역, 객체내부영역 및 경계영역을 판단할 수 있으며, 이 때, 배경영역은 움직임 추정이 이루어지지 않고, 객체내부영역에 대해서는 움직임 탐색 블록에서 객체내부영역만, 경계영역에 대해서는 움직임 탐색 블록에서 경계영역만을 움직임 추정 영역으로 설정함으로써, 움직임 벡터를 설정하기 위한 움직임 추정 탐색수를 효과적으로 줄일 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
S100 내지 S500 : 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법
10 : 제 1 카메라 100 : 제 1 영상 산출부
20 : 제 2 카메라 200 : 제 2 영상 산출부
300 : 영역 분할부
400 : 객체 추출부
500 : 영역 판단부
600 : 영역 설정부
700 : 움직임 벡터 설정부

Claims (7)

  1. 제 1 카메라를 통해서, 객체까지의 거리 정보를 포함하는 깊이 영상을 획득하는 영상 획득 단계(S100);
    상기 영상 획득 단계(S100)에서 획득한 상기 깊이 영상을 블록 단위로 분할하고, 분할한 블록들을 배경영역, 객체내부영역 및 경계영역으로 그룹화 및 라벨링하는 영상 가공 단계(S200);
    상기 객체에 대한 움직임 추정 블록과, 상기 객체에 대한 움직임 탐색 블록을 추출하고, 상기 움직임 추정 블록과, 상기 움직임 탐색 블록의 배경영역, 객체내부영역 및 경계영역을 판단하는 영역 판단 단계(S300);
    상기 영역 판단 단계(S300)에서 판단된 결과에 따라, 상기 움직임 추정 블록과, 상기 움직임 탐색 블록들이 객체내부영역 또는 경계영역일 경우, 움직임 추정 영역을 설정하는 영역 설정 단계(S400); 및
    상기 영역 설정 단계(S400)에서 설정된 상기 움직임 추정 블록과, 상기 움직임 탐색 블록의 움직임 추정 영역을 이용하여, 움직임 벡터를 설정하는 움직임 벡터 설정 단계(S500);
    를 포함하여 이루어지는 것을 특징으로 하는 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법.
  2. 제 1항에 있어서,
    상기 영상 가공 단계(S200)는
    분할한 블록들을 상기 영상 획득 단계(S100)에서 획득한 상기 객체까지의 거리 정보를 이용하여 그룹화 및 라벨링하는 것을 특징으로 하는 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법.
  3. 제 1항에 있어서,
    상기 영역 판단 단계(S300)는
    제 2 카메라를 이용하여 상기 객체의 색상 정보를 포함하는 컬러 영상를 획득하고, 획득한 상기 컬러 영상과 상기 영상 가공 단계(S200)에서 라벨링한 영상을 매칭하여 상기 움직임 추정 블록과 움직임 탐색 블록을 추출하는 것을 특징으로 하는 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법.
  4. 제 1항에 있어서,
    상기 영역 판단 단계(S300)는
    Figure 112012052982946-pat00019

    (여기서,
    Figure 112012052982946-pat00020
    는 상기 움직임 추정 블록과 움직임 탐색 블록의 수평방향으로
    Figure 112012052982946-pat00021
    위치, 수직 방향으로
    Figure 112012052982946-pat00022
    위치에 있는 상기 제 1 카메라의 라벨링된 값,
    Bx, By는 상기 움직임 추정 블록과 움직임 탐색 블록의 수평 및 수직 방향의 크기)
    를 이용하여 상기 움직임 추정 블록과 움직임 탐색 블록을 배경영역으로 판단하는 것을 특징으로 하는 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법.
  5. 제 1 카메라(10)를 통해서, 객체까지의 거리 정보를 포함하는 깊이 영상을 획득하는 제 1 영상 산출부(100);
    제 2 카메라(20)를 통해서, 객체의 색상 정보를 포함하는 컬러 영상을 획득하는 제 2 영상 산출부(200);
    상기 제 1 영상 산출부(100)에서 획득한 상기 깊이 영상을 블록 단위로 분할하는 영역 분할부(300);
    상기 영역 분할부(300)에서 분할된 블록들을 상기 제 1 영상 산출부(100)에서 획득한 상기 거리 정보를 토대로, 배경영역, 객체내부영역 및 경계영역으로 그룹화 및 라벨링하는 객체 추출부(400);
    상기 객체에 대한 움직임 추정 블록과, 상기 객체에 대한 움직임 탐색 블록의 배경영역, 객체내부영역 및 경계영역을 판단하는 영역 판단부(500);
    상기 영역 판단부(500)의 판단 결과에 따라, 상기 움직임 추청 블록과, 상기 움직임 탐색 블록들이 객체내부영역 또는 경계영역인 경우, 움직임 추정 영역을 설정하는 영역 설정부(600); 및
    상기 영역 설정부(600)에서 설정된 움직임 추정 영역을 이용하여, 움직임 벡터를 설정하는 움직임 벡터 설정부(700);
    를 포함하여 구성되는 것을 특징으로 하는 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 시스템..
  6. 제 5항에 있어서,
    상기 영역 판단부(500)는
    상기 제 2 영상 산출부(200)에서 획득한 상기 컬러 영상과, 상기 객체 추출부(400)에서 라벨링한 영상을 매칭하여 상기 움직임 추정 블록과 움직임 탐색 블록을 추출하는 것을 특징으로 하는 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 시스템.
  7. 제 5항에 있어서,
    상기 영역 판단부(500)는
    Figure 112012052982946-pat00023

    (여기서,
    Figure 112012052982946-pat00024
    는 상기 움직임 추정 블록과 움직임 탐색 블록의 수평방향으로
    Figure 112012052982946-pat00025
    위치, 수직 방향으로
    Figure 112012052982946-pat00026
    위치에 있는 상기 제 1 카메라의 라벨링된 값,
    Bx, By는 상기 움직임 추정 블록과 움직임 탐색 블록의 수평 및 수직 방향의 크기)
    를 이용하여 상기 움직임 추정 블록과 움직임 탐색 블록을 배경영역으로 판단하는 것을 특징으로 하는 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 시스템.
KR1020120072012A 2012-07-03 2012-07-03 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템 Expired - Fee Related KR101367673B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120072012A KR101367673B1 (ko) 2012-07-03 2012-07-03 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120072012A KR101367673B1 (ko) 2012-07-03 2012-07-03 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템

Publications (2)

Publication Number Publication Date
KR20140007092A KR20140007092A (ko) 2014-01-17
KR101367673B1 true KR101367673B1 (ko) 2014-03-03

Family

ID=50141670

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120072012A Expired - Fee Related KR101367673B1 (ko) 2012-07-03 2012-07-03 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템

Country Status (1)

Country Link
KR (1) KR101367673B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102359083B1 (ko) 2015-06-02 2022-02-08 에스케이하이닉스 주식회사 움직이는 객체 검출 장치 및 방법
KR101709751B1 (ko) * 2015-11-24 2017-02-24 주식회사 지오멕스소프트 해변의 입수자에 대한 자동 위험 감시 시스템
KR102507248B1 (ko) 2015-12-02 2023-03-06 에스케이하이닉스 주식회사 에고모션 추정 시스템 및 방법
CN113537097B (zh) * 2021-07-21 2023-08-22 泰康保险集团股份有限公司 针对图像的信息提取方法、装置、介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000049031A (ko) * 1996-10-09 2000-07-25 더 트러스티스 오브 컬럼비아 유니버시티 인 더 시티 오브 뉴욕 3차원 깊이 정보를 이용한 디지털 이미지와 비디오 세그먼테이션과 압축을 수행하기 위한 방법 및 장치
KR100327952B1 (ko) 1998-12-15 2002-05-09 안재기 영역분할기반동영상압축부호화방법및장치
KR100544677B1 (ko) 2003-12-26 2006-01-23 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000049031A (ko) * 1996-10-09 2000-07-25 더 트러스티스 오브 컬럼비아 유니버시티 인 더 시티 오브 뉴욕 3차원 깊이 정보를 이용한 디지털 이미지와 비디오 세그먼테이션과 압축을 수행하기 위한 방법 및 장치
KR100327952B1 (ko) 1998-12-15 2002-05-09 안재기 영역분할기반동영상압축부호화방법및장치
KR100544677B1 (ko) 2003-12-26 2006-01-23 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법

Also Published As

Publication number Publication date
KR20140007092A (ko) 2014-01-17

Similar Documents

Publication Publication Date Title
KR101336139B1 (ko) 깊이 카메라를 이용한 움직임 추정 시스템 및 방법
KR101310213B1 (ko) 깊이 영상의 품질 개선 방법 및 장치
US10867166B2 (en) Image processing apparatus, image processing system, and image processing method
CN110036258B (zh) 信息处理装置和信息处理方法
TWI670684B (zh) 運動目標即時檢測與跟蹤方法及目標檢測裝置
US9652855B2 (en) Image processing apparatus that identifies image area, and image processing method
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
US20110243383A1 (en) Image processing device, image processing method, and program
US11132538B2 (en) Image processing apparatus, image processing system, and image processing method
TWI425445B (zh) 用於判斷一移動平台之自我運動量的方法以及偵測系統
CN104685513A (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
KR20190060774A (ko) 블록의 모션 벡터에 기초한 이미지의 블록의 분산 결정
KR101367673B1 (ko) 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템
KR101624801B1 (ko) 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치
CN110598795A (zh) 图像差异检测方法及装置、存储介质、终端
CN102088539A (zh) 一种预拍照画质评价方法和系统
JP5173549B2 (ja) 画像処理装置及び撮像装置
KR20130064556A (ko) 다중 검출 방식을 이용한 얼굴 검출 장치 및 방법
CN110188640B (zh) 人脸识别方法、装置、服务器和计算机可读介质
TWI503790B (zh) 多重目標影像辨識與追蹤方法
KR20150033047A (ko) 객체를 검출하기 위한 전처리 장치 및 방법
KR101371826B1 (ko) 신축 움직임 추정장치 및 그 추정방법
KR101521269B1 (ko) 영상에서 눈 또는 비를 검출하는 방법
JP5754931B2 (ja) 画像解析装置、画像解析方法及びプログラム
KR101328564B1 (ko) 깊이 카메라 정보를 이용한 양자화 계단 크기 제어 방법 및 그 제어 시스템

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120703

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130808

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140217

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140220

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140221

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20170206

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20170206

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20180202

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180202

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20190131

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20190131

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20210127

Start annual number: 8

End annual number: 8

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20231203