KR101315301B1 - 영상 처리 방법 및 영상 처리 장치 - Google Patents

영상 처리 방법 및 영상 처리 장치 Download PDF

Info

Publication number
KR101315301B1
KR101315301B1 KR1020080104785A KR20080104785A KR101315301B1 KR 101315301 B1 KR101315301 B1 KR 101315301B1 KR 1020080104785 A KR1020080104785 A KR 1020080104785A KR 20080104785 A KR20080104785 A KR 20080104785A KR 101315301 B1 KR101315301 B1 KR 101315301B1
Authority
KR
South Korea
Prior art keywords
motion information
input signal
interest
resolution
true
Prior art date
Application number
KR1020080104785A
Other languages
English (en)
Other versions
KR20100045711A (ko
Inventor
이재훈
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020080104785A priority Critical patent/KR101315301B1/ko
Priority to US12/573,954 priority patent/US8355445B2/en
Publication of KR20100045711A publication Critical patent/KR20100045711A/ko
Application granted granted Critical
Publication of KR101315301B1 publication Critical patent/KR101315301B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data

Abstract

본 발명에 따른 영상 처리 방법은, 입력 신호의 움직임 정보를 추출하는 단계; 관심 객체가 움직이는지 여부를 나타내고, 상기 관심 객체가 움직인 영역을 나타내는 트루 모션 정보를 상기 움직임 정보로부터 산출하는 단계; 및 트루 모션이 있는 것으로 판단된 영역에 대하여 상기 움직임 정보를 이용하여 상기 입력 신호를 디인터레이스(deinterlace)하는 단계를 포함한다. 또한 디인터레이스 된 상기 입력 신호의 해상도를 변환하는 단계를 더 포함할 수 있다. 상기 해상도를 변환하는 단계는, 상기 트루 모션 정보 및 움직임 정보를 이용하여 해상도를 변환할 수 있다.

Description

영상 처리 방법 및 영상 처리 장치{A method and a device for image processing}
본 발명은 영상 및 음성 신호를 입력받고, 이를 압축하는 영상 처리 장치 및 영상 처리 방법에 관련된다.
네트워크 기술이 발전함에 따라, 다양한 기능을 제공하는 네트워크 장치들이 등장하고 있다. 종래의 IP 네트워크 장치들에 사용되는 코덱은 하드웨어 또는 소프트웨어로 구현하여 1 채널 입력에 대하여 1채널 출력을 내보내는 구조로 구성되었다. 또한 다채널 입력이 존재하더라도 각 채널에 대해 1개씩의 출력을 제공한다. 즉, 종래의 IP 네트워크 장치들은 1:1 입출력만이 가능하다.
IP 네트워크 기반의 영상 감시 시스템에서는 입력 영상 신호에 대하여 최소한 D1, CIF, QCIF 크기의 3가지 스트림을 사용자별로 독립적으로 요구한다. 그러나 종래의 IP 네트워크 장치들은 기본적으로 1:1 입출력만이 가능하기 때문에 이러한 3가지 스트림을 저비용으로 그리고 실시간으로 제공하는 시스템 및 구현방법이 존재하지 않는다.
즉 한 개의 코덱이 존재하는 경우, 어떠한 사용자의 요청에 의하여 코덱의 출력 해상도를 변경하면, 상기 코덱으로부터 데이터를 전송받는 사용자는 모두 변경된 해상도로 데이터를 전송받아야한다. 따라서 각각의 사용자의 요구에 부합할 수 없다. 또한 코덱의 해상도가 고해상도로 변경된 경우, 고해상도의 코덱 출력 스트림을 충분히 받아들일 수 있는 네트워크 대역폭의 접속자는 문제가 없지만, 저속 네트워크를 이용하는 클라이언트 접속자들을 코덱 출력 스트림을 원활하게 이용할 수 없는 문제가 있다.
만약 3가지 스트림을 실시간으로 각각 제공하기 위하여 코덱을 3개로 늘리는 경우, 비용이 증가되고, 결국 출력 해상도의 수는 코덱의 개수에 의하여 제한되는 문제점이 있다.
한편, IP 네트워크 장치에서 촬영된 영상은 인터레이스 방식으로 입력될 수있다. 이때 인터레이스 방식으로 입력된 신호를 압축하여 이를 요청하는 클라이언트 또는 다른 네트워크 장치로 전송하면, 수신받은 클라이언트 또는 다른 네트워크 장치에서 이를 재생하기 위해서는 디인터레이스(deinterlace) 처리를 거쳐야한다.
본 발명의 목적은 입력 영상을 디인터레이스하여 이를 요청한 클라이언트 또는 다른 네트워크 장치로 송신하는 영상 처리 장치 및 영상 처리 방법을 제공하는데 있다. 또한 본 발명의 목적은 입력 영상을 디인터레이스할 때, 입력 신호의 움직임 정보 및 영상 내의 관심 객체의 움직임이 있는지 여부를 나타내는 트루 모션 정보를 이용하여, 입력 영상을 디인터레이스하는 영상 처리 장치 및 영상 처리 방법을 제공하는데 있다.
본 발명의 다른 목적은 하나의 코덱으로 복수의 해상도의 출력을 생성하는 영상 처리 장치 및 영상 처리 방법을 제공하는데 있다.
본 발명에 따른 영상 처리 방법은, 입력 신호의 움직임 정보를 추출하는 단계; 관심 객체가 움직이는지 여부를 나타내고, 상기 관심 객체가 움직인 영역을 나타내는 트루 모션 정보를 상기 움직임 정보로부터 산출하는 단계; 및 트루 모션이 있는 것으로 판단된 영역에 대하여 상기 움직임 정보를 이용하여 상기 입력 신호를 디인터레이스(deinterlace)하는 단계를 포함한다. 또한 디인터레이스 된 상기 입력 신호의 해상도를 변환하는 단계를 더 포함할 수 있다. 상기 해상도를 변환하는 단계는, 상기 트루 모션 정보 및 움직임 정보를 이용하여 해상도를 변환할 수 있다.
본 발명에 따른 영상 처리 장치는, 관심 객체가 움직이는지 여부를 나타내고, 상기 관심 객체가 움직인 영역을 나타내는 트루 모션 정보를 입력 신호의 움직 임 정보로부터 추출하는 트루 모션 추출부; 및 상기 트루 모션 정보에 나타난 상기 관심 객체가 움직인 영역에 대해 상기 움직임 정보를 이용하여 상기 입력 신호에 대해 디인터레이스 처리를 수행하는 디인터레이스부를 포함하고, 상기 입력 신호는 전송을 위하여 압축되기 전의 형태의 신호이다. 또한 상기 트루 모션 정보 및 움직임 정보를 이용하여 상기 디인터레이스 된 입력 신호의 해상도를 변환하는 해상도 변환부를 더 포함할 수 있다.
본 발명에 따른 영상 처리 방법은, 입력 신호를 주파수 영역의 신호로 변환하는 단계; 상기 입력 신호로부터 움직임 정보를 추출하는 단계; 관심 객체가 움직이는지 여부를 나타내고, 상기 관심 객체가 움직인 영역을 나타내는 트루 모션 정보를 입력 신호의 움직임 정보로부터 추출하는 단계; 상기 트루 모션 정보 및 상기 움직임 정보를 이용하여 해상도 변환을 위해 주파수 영역의 입력 신호의 각 주파수 성분에 곱할 인자값을 결정하는 단계; 및 상기 인자값을 각 주파수 성분에 곱하여 상기 주파수 영역의 입력 신호의 해상도를 변환하는 단계를 포함한다. 상기 인자값을 결정하는 단계는, 트루 모션 정보에서 상기 관심 객체가 움직인 것으로 나타난 경우에, 그 관심 객체가 움직인 영역 내에서의 움직임 정보만을 이용하여 상기 인자값을 결정할 수 있다. 또한 상기 인자값을 결정하는 단계는, 복수의 해상도에 대하여 각각 인자값을 결정하고, 상기 해상도를 변환하는 단계는, 상기 복수의 해상도에 대한 각각의 인자값을 상기 주파수 영역의 입력 신호에 곱하여, 복수의 해상도로 상기 주파수 영역의 입력 신호를 각각 변환할 수 있다.
본 발명에 따른 영상 처리 장치는, 입력 신호를 주파수 영역의 신호로 변환 하는 입력 신호 변환부; 상기 입력 신호로부터 움직임 정보를 추출하는 움직임 정보 추출부; 관심 객체가 움직이는지 여부를 나타내고, 상기 관심 객체가 움직인 영역을 나타내는 트루 모션 정보를 입력 신호의 움직임 정보로부터 추출하는 트루 모션 추출부; 상기 트루 모션 정보 및 상기 움직임 정보를 이용하여 해상도 변환을 위해 주파수 영역의 입력 신호의 각 주파수 성분에 곱할 인자값을 결정하는 해상도 변환 인자 결정부; 및 상기 인자값을 각 주파수 성분에 곱하여 상기 주파수 영역의 입력 신호의 해상도를 변환하는 해상도 변환부를 포함한다.
본 발명은 영상 신호가 압축되기 전에 디인터레이스 처리를 미리 해줌으로써, 이러한 영상 신호를 수신받는 네트워크 장치 또는 클라이언트가 디인터레이스 처리를 하지 않아도 되고, 이로 인해 처리량을 감소시키는 효과를 갖는다.
또한 본 발명은 트루 모션 정보 및 움직임 정보를 이용하여 디인터레이스 처리를 수행함으로써, 객체의 움직임을 보다 정확하게 표현하고 디인터레이스 처리의 성능을 보다 향상시키는 효과를 갖는다.
나아가 본 발명은 하나의 코덱으로부터 복수의 해상도의 신호를 각각 출력함으로써, 적은 처리량으로 사용자의 요구에 따라 복수의 해상도의 신호를 출력할 수 있는 효과를 갖는다.
이하 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명한다. 하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야 의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다.
도 1은 본 발명에 따라 입력 신호를 디인터레이스하기 위한 영상 처리 방법을 도시한 도면이다.
본 발명에 따른 영상 처리 방법은 움직임 정보 및 트루 모션 정보를 이용하여 입력 신호를 디인터레이스하고, 복수의 해상도의 디인터레이스 된 영상 신호를 출력한다.
본 발명에 따른 영상 처리 방법은, 영상 신호가 입력되면 그로부터 움직임 정보를 추출한다(S102). 움직임 정보는 예를 들면 프레임의 변화에 따른 객체의 움직임을 나타내는 움직임 벡터일 수 있다.
움직임 정보가 추출되면, 상기 영상 처리 방법은 트루 모션 정보를 추출한다(S104). 본 명세서에서 트루 모션은 입력 영상이 시간에 따라 변할 때, 그 변화가 관심 객체의 움직임에 의한 것인 경우를 의미한다. 또한 트루 모션 정보는 관심 객체가 움직이는지 여부를 나타내고, 상기 관심 객체가 움직인 영역을 나타내는 정보를 지칭한다. 본 발명은 트루 모션을 고려하여 입력 영상을 디인터레이스하고 해상도를 변환함으로써, 관심 객체의 움직임과 관련된 영역의 정보를 보다 정확하게 전달할 수 있는 장점이 있다.
본 발명에서 트루 모션 정보는 움직임 정보로부터 추출될 수 있다. 예를 들면 입력 신호에서 움직임이 있을 때, 그 움직임이 관심 객체의 움직임인지(트루 모션), 영상 처리 장치의 영상 신호 입력부가 비정상적으로 그 촬영 방향이 변경됨에 따른 움직임(트루 모션이 아님)인지 등을 판단한다. 따라서 본 발명은 입력 영상에서 관심 객체의 수의 변화 있는 경우, 입력 영상에서 검출된 움직임 정보가 관심 객체의 움직임인 경우에는 등에는 입력 영상에서의 움직임이 트루 모션인 것으로 판단할 수 있다. 트루 모션에 대한 정보는 트루 모션 DB(360)에 계속해서 축적될 수 있다.
트루 모션 정보가 추출되면, 상기 영상 처리 방법은 트루 모션이 있는 부분에 대해서 트루 모션 정보 및 움직임 정보를 이용하여 입력 영상을 디인터레이스 한다(S106).
본 발명은 입력 영상 중 트루 모션이 있는 영역에 대해서만 움직임 정보를 이용하여 디인터레이스처리를 한다. 움직임 정보를 이용한 디인터페이스 처리는 입력 영상을 보다 정확하게 표현할 수 있는 장점이 있지만, 많은 시간과 자원을 소모하게 된다. 따라서 본 발명은 관심 객체의 움직임이 있는 영역에 대해서만 움직임 정보를 이용하여 디인터레이스를 수행함에 의하여, 관심 있는 영역에 대해서 보다 정확한 정보를 전달하면서, 처리 시간은 과도하게 증가되지 않는 영상 처리 방법 및 영상 처리 장치를 제공한다.
움직임 정보를 이용한 디인터레이스는 움직임 벡터를 이용하여 움직임에 대 한 방향을 예측하여 움직임으로 인한 값의 변화를 미리 보상하는 움직임 보상 메커니즘을 디인터레이스에 반영한 것이다.
다음으로 디인터레이스 된 입력 신호의 해상도를 변환하여, 여러 해상도의 디인터레이스 된 영상 신호를 출력한다(S108). 본 발명은 해상도 변환시에도 트루 모션 정보 및 움직임 정보를 이용할 수 있다. 즉 해상도를 변환할 때 트루 모션이 있는 영역에 대하여 움직임 벡터를 고려하여 픽셀값을 변경할 수 있다.
또한 본 발명에 따른 영상 처리 방법은 추가적으로 디인터레이스 된 입력 신호를 저역 통과 필터로 통과시키고, 선명도(sharpness)를 증가시키는 후처리 단계를 거칠 수 있다.
도 2는 본 발명에 따라 입력 신호를 디인터레이스하기 위한 다른 실시예에 따른 영상 처리 방법을 나타내는 흐름도이다.
본 발명의 다른 실시예에 따른 영상 처리 방법은, 도 1에서 도시된 영상 처리 방법과 달리, 해상도 변환을 먼저하고, 각각의 해상도의 입력 신호에 대하여 디인터레이스 처리를 할 수 있다. 즉, 입력 신호의 해상도를 변환하여 복수의 해상도의 신호를 생성한 후(S206), 각각의 해상도의 신호에 대하여 트루 모션 정보 및 움직임 정보를 이용하여 디인터레이스 처리를할 수 있다(S208).
도 3은 본 발명에 따라 입력 신호를 디인터레이스하기 위한 영상 처리 장치를 도시한 도면이다.
본 발명에 따른 영상 처리 장치는 트루 모션 추출(350), 및 디인터레이스부(326)를 포함한다. 또한 상기 영상 처리 장치는 다중 출력 인코더(330), 움직임 정보 DB(340), 임시 저장부(370), 트루 모션 갱신부(322), 해상도 변환부(324), 후처리부(328), 및 영상 신호 입력부(310)를 더 포함할 수 있다.
영상 신호 입력부(310)는 촬영된 영상 신호를 입력받는 장치이다. 영상 신호는 아날로그 신호의 형태로 입력되어 디지털 형태로 변환될 수 있다. 영상 신호 입력부(310)는 영상 신호를 입력받을 수 있는 형태라면 어떠한 형태라도 가능하며, 예를 들면 카메라, 캠코더 등일 수 있다.
트루 모션 추출부(350)는 움직임 정보 DB(340)에 저장된 움직임 정보를 이용하여 트루 모션 정보를 추출한다. 또한 본 발명은 트루 모션 DB(360)를 더 포함할 수 있으며, 트루 모션 추출부(350)는 트루 모션 정보를 추출하여 트루 모션 DB(360)에 저장할 수 있다.
트루 모션 추출부(350)에서 추출된 트루 모션 정보는 디인터레이스부(326)에서 입력 신호를 디인터레이스할 때 및 해상도 변환부(324)에서 입력 신호의 해상도를 변환할 때 사용될 수 있다. 트루 모션 정보는 임시 저장부(370)에 임시로 저장되었다가 트루 모션 갱신부(322)에 의하여 계속해서 갱신되고, 해상도 변환부(324) 및 디인터레이스부(326)에서 이용될 수 있다.
해상도 변환부(324)는 입력 신호의 해상도를 변환하여 복수의 해상도의 신호를 출력한다. 디인터레이스부(326)는 트루 모션 정보 및 움직임 정보를 이용하여 입력 신호를 디인터레이스한다. 본 발명은 디인터레이스부(326)에서 입력 신호를 디인터레이스한 후 해상도 변환부(324)로 전달하여 입력 신호의 해상도를 변경하도록 구성될 수 있다. 본 발명은 다른 실시예로 해상도 변환부(324)에서 입력 신호의 해상도를 변경하여 복수의 해상도의 신호를 생성한 후, 각각의 해상도의 신호에 대하여 디인터레이스부(326)에서 디인터레이스 처리를 하도록 구성될 수 있다.
후처리부(328)는 디인터레이스 된 입력 신호를 저역 통과 필터로 통과시키고, 선명도(sharpness)를 증가시키는 후처리를 수행한다.
디인터레이스 된 입력 신호는 영상 압축을 위한 다중 출력 인코더(330)로 전달된다. 여기서 다중 출력 인코더(330)는 움직임 정보를 추출하도록 구성된 구성요소이다. 따라서 다중 출력 인코더는 입력 신호에 대하여 계속해서 움직임 정보를 추출하고 이를 움직임 정보 DB(340)에 저장한다.
도 4는 본 발명에 따라 하나의 코덱에서 복수의 해상도의 출력을 생성하기 위한 영상 처리 방법을 도시한 도면이다.
우선 본 발명은 입력 신호를 주파수 영역의 신호로 변환한다. 이때 영상 처리 장치에서 출력될 복수의 해상도 중 중간 해상도에 해당하는 입력 신호를 이용하여 입력 신호를 주파수 영역의 신호로 변환할 수 있다.
본 발명의 영상 처리 방법은 입력 신호로부터 움직임 정보를 추출한다(S402). 여기서 움직인 정보는 움직임 벡터일 수 있다.
움직임 정보가 추출되면, 움직임 정보를 이용하여 트루 모션 정보를 추출한다(S404). 트루 모션 정보를 추출하는 과정은 도 1 내지 3에서 설명한 바와 같다.
다음으로 트루 모션 정보 및 움직임 정보를 이용해서, 해상도 변환을 위해 이산 코사인 변환 출력의 각 주파수 성분의 계수에 곱할 인자값을 결정한다(S406). 본 발명은 입력 신호를 주파수 영역의 신호로 변환하고, 이에 대해 복수의 해상도 의 신호를 생성함으로써, 하나의 코덱으로부터 복수의 해상도의 신호를 얻을 수 있다. 또한 처리량이 많은 주파수 영역의 신호로의 변환 및 움직임 정보 추출 과정을 한 번만 수행하고, 이로부터 복수의 해상도의 출력을 얻음으로써, 복수의 해상도의 신호에 대해 각각 주파수 영역의 신호로의 변환 및 움직임 정보 추출 과정을 거치는 시스템에 비하여, 처리 시간 및 작업량을 현저하게 감소시킬 수 있는 효과가 있다.
입력 신호를 주파수 영역의 신호로 변환하는 처리의 예로는 이산 코사인 변환(DCT)이 있다. 이러한 예에서 본 발명은 하나의 해상도의 입력 신호에 대해서만 이산 코사인 변환을 하고 움직임 정보를 추출한 후, 이산 코사인 변환된 입력 신호에 대해 해상도 변환을 위한 인자값을 곱하여 다른 해상도의 이산 코사인 변환된 입력 신호를 얻을 수 있다. 상기 인자값은 해상도 별로 따로 결정될 수 있다. 상기 인자값은 이산 코사인 변환의 결과값의 각각의 주파수 성분에 대한 계수에 각각 곱해질 것이다. 상기 인자값은 트루 모션 정보 및 움직임 정보를 고려하여 정해지므로 상기 인자값을 곱하여 구해진 다른 해상도의 이산 코사인 변환된 입력 신호는 객체의 움직임에 대해 보다 정확한 정보를 보유할 수 있다.
상기 인자값은 트루 모션 정보 및 움직임 정보의 값에 따라 미리 저장된 정보를 검색하여 결정될 수 있다.
다음으로 복수의 해상도의 주파수 영역의 신호로 변환된 입력 신호를 각각 동영상 인코딩하고 이미지 인코딩하여, 압축된 동영상 신호 및 이미지 신호를 얻는다(S410). 또한 복수의 해상도의 압축된 동영상 신호 및 이미지 신호를 출력한 다(S412).
도 5는 본 발명에 따라 하나의 코덱에서 복수의 해상도의 출력을 생성하기 위한 영상 처리 장치를 도시한 도면이다.
본 발명에 따른 영상 처리 장치는 움직임 정보 추정 보상부(520), 트루 모션 추출부(530), 해상도 변환 인자 결정부(540), 해상도 변환부(550), 움직임 정보 DB(525), 트루 모션 DB(535), 동영상 인코더(560), 및 이미지 인코더(570)를 포함할 수 있다.
도 5에서는 입력 신호를 주파수 영역의 신호로 변환하기 위한 변환의 예로서 이산 코사인 변환을 이용하여 본 발명을 설명한다.
우선 신호가 입력되면 이산 코사인 변환부(510)로 입력되어, 주파수 영역의 신호로 변환된다. 이때 움직임 추정 보상부(520)에서 움직임 정보, 예를 들면 움직임 벡터를 추출하고, 이를 이용하여 움직임 보상을 수행한다. 움직임 추정 보상부(520)에서 추출된 움직임 정보는 움직임 정보 DB(525)에 저장된다. 이산 코사인 변환부(510)는 영상 처리 장치에서 출력될 복수의 해상도 중 중간 해상도에 해당하는 입력 신호를 이용하여 입력 신호를 주파수 영역의 신호로 변환할 수 있다.
트루 모션 추출부(530)는 움직임 정보 DB(525)에 저장된 움직임 정보를 이용하여 트루 모션 정보를 추출한다. 트루 모션 정보를 추출하기 위한 정보 및 추출된 트루 모션 정보는 트루 모션 DB(535)에 저장된다.
행상도 변환 인자 결정부(540)는 움직임 정보 및 트루 모션 정보를 이용하여 해상도 변환 인자값을 결정한다. 또한 해상도 변환부(550)는 해상도 변환 인자값을 이산 코사인 변환된 입력 신호의 각 주파수 성분의 계수에 곱하여 복수의 해상도의 이산 코사인 변환된 입력 신호를 얻는다.
각각의 해상도의 이산 코사인 변환된 입력 신호는 각각 동영상 인코더(560) 및 이미지 인코더(570)로 전달되어, 각각 압축된 동영상 신호 및 압축된 이미지 신호로 생성된다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
도 1은 본 발명에 따라 입력 신호를 디인터레이스하기 위한 영상 처리 방법을 도시한 도면이다.
도 2는 본 발명에 따라 입력 신호를 디인터레이스하기 위한 다른 실시예에 따른 영상 처리 방법을 나타내는 흐름도이다.
도 3은 본 발명에 따라 입력 신호를 디인터레이스하기 위한 영상 처리 장치를 도시한 도면이다.
도 4는 본 발명에 따라 하나의 코덱에서 복수의 해상도의 출력을 생성하기 위한 영상 처리 방법을 도시한 도면이다.
도 5는 본 발명에 따라 하나의 코덱에서 복수의 해상도의 출력을 생성하기 위한 영상 처리 장치를 도시한 도면이다.

Claims (21)

  1. 입력 신호의 움직임 정보를 추출하는 단계;
    관심 객체가 움직이는지 여부를 나타내고, 상기 관심 객체가 움직인 영역을 나타내는 트루 모션 정보를 상기 움직임 정보로부터 산출하는 단계;
    트루 모션이 있는 것으로 판단된 영역에 대하여 상기 움직임 정보를 이용하여 상기 입력 신호를 디인터레이스(deinterlace)하는 단계; 및
    상기 트루 모션 정보에서 상기 관심 객체가 움직인 것으로 나타난 경우에, 상기 관심 객체가 움직인 영역 내에서의 움직임 정보를 이용하여 상기 디인터레이스 된 입력 신호의 해상도를 변환하는 단계;를 포함하고,
    상기 입력 신호는 전송을 위하여 압축되기 전의 형태의 신호인, 영상 처리 방법.
  2. 삭제
  3. 삭제
  4. 청구항 4은(는) 설정등록료 납부시 포기되었습니다.
    제1항에 있어서, 상기 움직임 정보는 움직임 벡터인, 영상 처리 방법.
  5. 제1항에 있어서, 상기 트루 모션 정보를 산출하는 단계는, 영상 내의 객체의 수가 변경된 경우, 또는 상기 관심 객체의 움직임이 있는 경우에 트루 모션이 있는 것으로 판단하는, 영상 처리 방법.
  6. 관심 객체가 움직이는지 여부를 나타내고, 상기 관심 객체가 움직인 영역을 나타내는 트루 모션 정보를 입력 신호의 움직임 정보로부터 추출하는 트루 모션 추출부;
    상기 트루 모션 정보에 나타난 상기 관심 객체가 움직인 영역에 대해 상기 움직임 정보를 이용하여 상기 입력 신호에 대해 디인터레이스 처리를 수행하는 디인터레이스부; 및
    상기 트루 모션 정보에서 상기 관심 객체가 움직인 것으로 나타난 경우에, 상기 관심 객체가 움직인 영역 내에서의 움직임 정보를 이용하여 상기 디인터레이스 된 입력 신호의 해상도를 변환하는 해상도 변환부;를 포함하고,
    상기 입력 신호는 전송을 위하여 압축되기 전의 형태의 신호인, 영상 처리 장치.
  7. 삭제
  8. 제6항에 있어서,
    상기 입력 신호의 움직임 정보를 추출하는 움직임 정보 추출부; 및
    상기 움직임 정보를 저장하는 움직임 정보 데이터베이스를 더 포함하는, 영상 처리 장치.
  9. 청구항 9은(는) 설정등록료 납부시 포기되었습니다.
    제6항에 있어서, 상기 움직임 정보는 움직임 벡터인, 영상 처리 장치.
  10. 청구항 10은(는) 설정등록료 납부시 포기되었습니다.
    제6항에 있어서, 상기 트루 모션 추출부는, 영상 내의 객체의 수가 변경된 경우, 또는 상기 관심 객체의 움직임이 있는 경우에 트루 모션이 있는 것으로 판단하는, 영상 처리 장치.
  11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.
    제6항에 있어서,
    상기 디인터레이스 된 입력 신호의 고역 주파수 성분을 제거하고, 선명도를 증가시키는 후처리부를 더 포함하는, 영상 처리 장치.
  12. 입력 신호를 주파수 영역의 신호로 변환하는 단계;
    상기 입력 신호로부터 움직임 정보를 추출하는 단계;
    관심 객체가 움직이는지 여부를 나타내고, 상기 관심 객체가 움직인 영역을 나타내는 트루 모션 정보를 입력 신호의 움직임 정보로부터 추출하는 단계;
    상기 트루 모션 정보에서 상기 관심 객체가 움직인 것으로 나타난 경우에, 그 관심 객체가 움직인 영역 내에서의 움직임 정보를 이용하여, 해상도 변환을 위해 주파수 영역의 입력 신호의 각 주파수 성분에 곱할 인자값을 결정하는 단계; 및
    상기 인자값을 각 주파수 성분에 곱하여 상기 주파수 영역의 입력 신호의 해상도를 변환하는 단계를 포함하는, 영상 처리 방법.
  13. 청구항 13은(는) 설정등록료 납부시 포기되었습니다.
    상기 인자값을 결정하는 단계는, 트루 모션 정보에서 상기 관심 객체가 움직인 것으로 나타난 경우에, 그 관심 객체가 움직인 영역 내에서의 움직임 정보만을 이용하여 상기 인자값을 결정하는, 영상 처리 방법.
  14. 청구항 14은(는) 설정등록료 납부시 포기되었습니다.
    제12항에 있어서,
    상기 인자값을 결정하는 단계는, 복수의 해상도에 대하여 각각 인자값을 결정하고,
    상기 해상도를 변환하는 단계는, 상기 복수의 해상도에 대한 각각의 인자값을 상기 주파수 영역의 입력 신호에 곱하여, 복수의 해상도로 상기 주파수 영역의 입력 신호를 각각 변환하는, 영상 처리 방법.
  15. 청구항 15은(는) 설정등록료 납부시 포기되었습니다.
    제14항에 있어서,
    상기 복수의 해상도의 주파수 영역의 입력 신호를 각각 동영상 압축하는 단계; 및
    상기 복수의 해상도의 주파수 영역의 입력 신호를 각각 이미지 압축하는 단계를 더 포함하는, 영상 처리 방법.
  16. 청구항 16은(는) 설정등록료 납부시 포기되었습니다.
    제12항에 있어서,
    상기 주파수 영역의 신호로 변환하는 단계는, 상기 서로 다른 해상도를 갖는 복수의 입력 신호 중 중간 해상도에 해당하는 신호를 주파수 영역의 신호로 변환하는, 영상 처리 방법.
  17. 입력 신호를 주파수 영역의 신호로 변환하는 입력 신호 변환부;
    상기 입력 신호로부터 움직임 정보를 추출하는 움직임 정보 추출부;
    관심 객체가 움직이는지 여부를 나타내고, 상기 관심 객체가 움직인 영역을 나타내는 트루 모션 정보를 입력 신호의 움직임 정보로부터 추출하는 트루 모션 추출부;
    상기 트루 모션 정보에서 상기 관심 객체가 움직인 것으로 나타난 경우에, 상기 관심 객체가 움직인 영역 내에서의 움직임 정보를 이용하여, 해상도 변환을 위해 주파수 영역의 입력 신호의 각 주파수 성분에 곱할 인자값을 결정하는 해상도 변환 인자 결정부; 및
    상기 인자값을 각 주파수 성분에 곱하여 상기 주파수 영역의 입력 신호의 해상도를 변환하는 해상도 변환부를 포함하는 영상 처리 장치.
  18. 제17항에 있어서, 상기 해상도 변환 인자 결정부는, 트루 모션 정보에서 상기 관심 객체가 움직인 것으로 나타난 경우에, 그 관심 객체가 움직인 영역 내에서의 움직임 정보만을 이용하여 상기 인자값을 결정하는, 영상 처리 장치.
  19. 청구항 19은(는) 설정등록료 납부시 포기되었습니다.
    제17항에 있어서,
    상기 해상도 변환 인자 결정부는, 복수의 해상도에 대하여 각각 인자값을 결정하고,
  20. 청구항 20은(는) 설정등록료 납부시 포기되었습니다.
    제19항에 있어서,
    상기 복수의 해상도의 주파수 영역의 입력 신호를 각각 동영상 압축하는 동영상 인코더; 및
    상기 복수의 해상도의 주파수 영역의 입력 신호를 각각 이미지 압축하는 이미지 인코더를 더 포함하는, 영상 처리 장치.
  21. 청구항 21은(는) 설정등록료 납부시 포기되었습니다.
    제17항에 있어서,
    상기 입력 신호 변환부는, 서로 다른 해상도를 갖는 복수의 입력 신호 중 중간 해상도에 해당하는 신호를 주파수 영역의 신호로 변환하는, 영상 처리 장치.
KR1020080104785A 2008-10-24 2008-10-24 영상 처리 방법 및 영상 처리 장치 KR101315301B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080104785A KR101315301B1 (ko) 2008-10-24 2008-10-24 영상 처리 방법 및 영상 처리 장치
US12/573,954 US8355445B2 (en) 2008-10-24 2009-10-06 Method and apparatus for processing an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080104785A KR101315301B1 (ko) 2008-10-24 2008-10-24 영상 처리 방법 및 영상 처리 장치

Publications (2)

Publication Number Publication Date
KR20100045711A KR20100045711A (ko) 2010-05-04
KR101315301B1 true KR101315301B1 (ko) 2013-10-14

Family

ID=42117477

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080104785A KR101315301B1 (ko) 2008-10-24 2008-10-24 영상 처리 방법 및 영상 처리 장치

Country Status (2)

Country Link
US (1) US8355445B2 (ko)
KR (1) KR101315301B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886743A (en) * 1994-12-28 1999-03-23 Hyundai Electronics Industries Co. Ltd. Object-by information coding apparatus and method thereof for MPEG-4 picture instrument
US6104434A (en) * 1996-10-24 2000-08-15 Fujitsu Limited Video coding apparatus and decoding apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886743A (en) * 1994-12-28 1999-03-23 Hyundai Electronics Industries Co. Ltd. Object-by information coding apparatus and method thereof for MPEG-4 picture instrument
US6104434A (en) * 1996-10-24 2000-08-15 Fujitsu Limited Video coding apparatus and decoding apparatus

Also Published As

Publication number Publication date
KR20100045711A (ko) 2010-05-04
US8355445B2 (en) 2013-01-15
US20100104019A1 (en) 2010-04-29

Similar Documents

Publication Publication Date Title
US8804832B2 (en) Image processing apparatus, image processing method, and program
AU2005202313B2 (en) Method and apparatus for generating compact transcoding hints metadata
US8315481B2 (en) Image transmitting apparatus, image receiving apparatus, image transmitting and receiving system, recording medium recording image transmitting program, and recording medium recording image receiving program
US20130202273A1 (en) Method and device for transitioning between an image of a first video sequence and an image of a second video sequence
US8744218B2 (en) Device, method and program for generation and compression of super resolution video
TWI578757B (zh) 場景形式之視訊串流編碼
TWI586177B (zh) 基於場景之適應性位元率控制
US8571106B2 (en) Digital video compression acceleration based on motion vectors produced by cameras
US8265168B1 (en) Providing trick mode for video stream transmitted over network
JP3241653B2 (ja) エネルギー補償／逆補償機能を改善するスケラブル符号化器およびその方法
US10587892B2 (en) Image processing apparatus, image processing method, and program for generating motion compensated image data
US20110249181A1 (en) Transmitting device, receiving device, control method, and communication system
JP2006109418A (ja) トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ
WO2011162168A1 (ja) 情報処理装置および情報処理方法
KR20110052933A (ko) 촬영장치 및 촬영영상 제공방법
JP5113479B2 (ja) 画像信号処理装置及び画像信号処理方法
CN113132686A (zh) 一种基于国产linux系统的局域网视频监控的实现方法
KR101315301B1 (ko) 영상 처리 방법 및 영상 처리 장치
Nguyen et al. Adaptive home surveillance system using HTTP streaming
JP2013030852A (ja) スケーラブル映像符号化装置及び方法及びプログラム
JP3131181B2 (ja) 移動ベクトルスケーリング機能を改善するスケラブル符号化器およびその方法
JPH07298270A (ja) 動き補償フレーム間予測符号化装置
WO2010035378A1 (ja) 画像符号化装置、画像符号化方法及び撮像システム
Tan et al. A unified transcoding approach to fast forward and reverse playback of compressed video
KR20230075872A (ko) 시각 지능 기반 영상 관련 이벤트 동기화 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160830

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180829

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190826

Year of fee payment: 7