KR20050063724A - 화상처리장치 - Google Patents

화상처리장치 Download PDF

Info

Publication number
KR20050063724A
KR20050063724A KR1020040110026A KR20040110026A KR20050063724A KR 20050063724 A KR20050063724 A KR 20050063724A KR 1020040110026 A KR1020040110026 A KR 1020040110026A KR 20040110026 A KR20040110026 A KR 20040110026A KR 20050063724 A KR20050063724 A KR 20050063724A
Authority
KR
South Korea
Prior art keywords
frame
encoding
input
image signal
image
Prior art date
Application number
KR1020040110026A
Other languages
English (en)
Other versions
KR100675387B1 (ko
Inventor
후쿠시마노부오
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20050063724A publication Critical patent/KR20050063724A/ko
Application granted granted Critical
Publication of KR100675387B1 publication Critical patent/KR100675387B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

본 발명에 따른 화상처리장치는, 동화상 신호를 입력하는 입력부와, 상기 입력부에 의해 입력된 복수의 프레임에 대한 동화상 신호의 일부를 추출하는 추출부와, 상기 추출부에 의해 추출된 동화상 신호의 일부를 프레임내 부호화 및 프레임간 예측 부호화를 이용하여 부호화하는 부호화부와, 상기 입력부에 의해 입력된 동화상 신호의 일부의 외부의 영역에서의 화상의 움직임을 검출하고, 상기 움직임 검출결과에 따라, 상기 부호화부에 의해 수행되는 프레임내 부호화를 이용한 부호화 수행 타이밍을 제어하는 제어부를 구비한다.

Description

화상처리장치{IMAGE PROCESSING APPARATUS}
본 발명은 화상처리장치에 관한 것으로, 더욱 상세하게는, 화상신호의 부호화 처리에 관한 것이다.
화상신호의 부호화 방식으로서 MPEG(Moving Picture Expert Group) 방식이 알려져 있고, 예를 들어, 일본 특허출원공개 제2002-199408호와, 일본 특개평9-163379호에 설명되어 있다.
MPEG 부호화 방식에서는, 화상신호를 I 프레임, P 프레임 및 B 프레임으로 분류하여 부호화 처리를 행한다. I 프레임에 대해서는, 동일한 프레임 내의 화상신호만을 이용하여 부호화한다. P 프레임에 대해서는, 선행하는 I 프레임 혹은 P 프레임의 화상신호를 이용하여 움직임 보상 예측 부호화를 수행한다. B 프레임에 대해서는, 그 전의 I 프레임 또는 P 프레임과, 그 후의 I 프레임 또는 P 프레임의 화상신호를 이용하여 움직임 보상 예측 부호화를 수행한다.
MPEG 방식으로 부호화된 화상신호를 한정된 전송률의 전송로를 이용하여 송신하거나, MPEG 방식으로 부호화된 화상신호를 기록매체에 기록하기 위해서는, 단위시간 당의 데이터량(데이터 전송률)을 일정하게 유지하는 것이 바람직하다. 데이터 전송률을 일정하게 유지하는 방식을 일정 비트 전송률(CBR : Contstant Bit Rate) 모드라고 부른다.
MPEG 방식에서는, P 프레임과 B 프레임은 다른 프레임의 화상신호를 이용하여 움직임 보상 예측 부호화를 수행한다. 따라서, 화면에 큰 변화가 있으면, 예를 들어, P 프레임의 화면 내에 갑자기 새로운 피사체가 나타나면, 예측 오차가 증가하게 된다.
그리고, CBR 모드에서는, 데이터 전송률이 일정하게 유지되어야 하므로, 이러한 큰 움직임에 의해 예측 오차가 증가하게 되면, 데이터량을 줄이기 위하여 양자화 스텝의 폭이 증가되어야 한다.
따라서, 큰 변화를 포함하는 부분에서의 화질이 다른 프레임에 비해 감소하게 된다.
본 발명은 화면에서 큰 변화가 발생하는 경우에도 화질의 감소를 방지한다.
본 발명의 국면에 따른 화상처리장치는, 동화상 신호를 입력하는 입력부와, 상기 입력부에 의해 입력된 복수의 프레임에 대한 동화상 신호의 일부를 추출하는 추출부와, 상기 추출부에 의해 추출된 동화상 신호의 일부를 프레임내 부호화 및 프레임간 예측 부호화를 이용하여 부호화하는 부호화부와, 상기 입력부에 의해 입력된 동화상 신호의 일부 외부의 영역에서 화상의 움직임을 검출하고, 상기 움직임 검출결과에 따라, 상기 부호화부에 의해 수행되는 프레임내 부호화를 이용한 부호화 수행 타이밍을 제어하는 제어부를 구비한다.
본 발명의 다른 특징 및 이점은 첨부한 도면을 참조하여 이루어지는 아래의 설명으로부터 명백해진다.
도 1은 본 발명의 실시예에 따른 촬상장치(100)의 구성을 도시하는 블록도이다.
본 실시예에 따른 촬상장치(100)는 동화상의 촬영기능에 더하여, 정지화상을 촬영하는 기능을 가지고 있다.
전하결합소자(CCD : Charge-Coupled Device)(101)는 정지화상 촬영에 적합한 화소수를 가지고 있다.
예를 들어, 일반적인 NTSC(National Television System Committee) 시스템에 의해 동화상을 얻기 위해서는, 720+Y(수평 방향) ×480+X(수직 방향)(X 및 Y는 신호처리에 필요한 몇 개의 화소를 나타냄)를 포함하는 약 35만 개의 화소면 충분하지만, 본 실시예에서는, 정지화상 촬영을 위하여, 1600+Y(수평 방향) ×1200+X(수직 방향)를 포함하는 약 200만 개의 화소를 갖는 CCD가 구비된다.
신호처리부(102)는 CCD(101)로부터 출력된 화상신호를 디지털 신호로 변환한다. 화상신호에 대해 그 외의 필요한 처리를 수행한 후, 상기 신호처리부(102)는 처리된 화상신호를 메모리(103)에 출력한다. 메모리(103)는 신호처리부(102)로부터 출력된 복수의 프레임에 대한 화상신호를 기억한다. 절단부(104)는 촬영모드에 따라 메모리(103)에 기억된 화상신호로부터 절단 영역을 추출하고, 절단 영역의 화상신호를 사이즈 조정부(105)에 출력한다. 사이즈 조정부(105)는 절단부(104)로부터 출력된 화상신호의 화소수를 촬영모드에 의거한 기록 포맷에 적합한 화소수로 감소시켜서, 상기 처리된 화상신호를 부호화부(106)에 출력한다.
부호화부(106)는 제어부(110)로부터의 지시에 따라 화상신호를 MPEG 또는 JPEG(Joint Picture Expert Group) 포맷으로 부호화하고, 부호화된 화상신호를 기록부(107)에 출력한다. 기록부(107)는 부호화된 화상데이터를 기록매체(108)에 기록한다. 본 실시예에서는 기록매체로서 예를 들어, 디스크 매체가 사용되고 있다.
움직임 검출부(109)는 메모리(103)에 기억된 복수의 프레임에 대한 화상신호로부터, 절단부(104)에 의해 판독된 절단 영역과 그 이외의 영역간의 움직임 벡터를 검출하여, 상기 움직임 벡터를 제어부(110)에 출력한다.
제어부(110)는 조작부(111)로부터의 지시에 따라 정지화상에 대한 촬영모드와, 동화상에 대한 촬영모드 사이에서 전환한다. 동화상에 대한 촬영모드에서, 제어부(110)는 움직임 검출부(109)로부터의 출력에 따라 부호화부(106)에 의한 MPEG 부호화 처리를 제어한다.
도 2는 본 실시예에서 사용되는 화상신호를 도시한 것이다.
도 2를 참조하면, CCD(101)로부터 판독된 화상 화면(201)은 신호처리부(102)에 의해 처리된다. 절단 영역(202)은 절단부(104)에 의해 추출된다. 사이즈 조정된 화면(203)은 동화상에 대한 촬영모드에서 사이즈 조정부(105)에 의해 감소된 화상의 사이즈를 가진다. 사이즈 조정된 화면(203)의 사이즈는 임의로 설정될 수 있다.
상기 촬상장치에 따르면, 정지화상에 대한 촬영모드에서는, 조작부(111)로부터 촬영 지시가 있으면, 제어부(110)는 신호처리부(102)를 제어하여 1 프레임에 대한 화상신호를 메모리(103)에 기억한다. 또한, 제어부(110)는 절단부(104)와 사이즈 조정부(105)를 제어하여, 메모리(103)에 기억된 화상신호의 사이즈를 지정된 사이즈로 감소시켜서, 상기 처리된 화상신호를 부호화부(106)에 출력한다.
본 실시예에서, 정지화상에 대한 촬영모드에서는, 촬영할 정지화상의 크기(화소수)가 도 2에 도시된 화상 화면(201)의 사이즈 내에서 원하는 사이즈로 설정될 수 있다.
부호화부(106)는 사이즈 조정부(105)로부터 출력된 화상신호를 JPEG 방식으로 부호화하여, 부호화된 화상신호를 기록부(107)에 출력한다. 기록부(107)는 부호화된 정지화상 신호를 기록매체(108)에 기록한다.
동화상에 대한 촬영모드에서 수행되는 처리에 대해 설명한다.
조작부(111)로부터 동화상 촬영을 시작하기 위한 지시가 있으면, 제어부(110)는 신호처리부(102)를 제어하여, CCD(101)로부터 출력된 화상신호를 각 프레임에 대해 순차적으로 메모리(103)에 기록한다. 동화상에 대한 촬영모드에서는, 메모리(103)에 기억된 도 2에 도시된 화상 화면(201)으로부터, 화상신호의 소정의 절단 영역(화소수)(202)이 절단부(104)에 의해 추출되어, 사이즈 조정부(105)에 출력된다. 전술한 것과 같이 순차적으로 화상신호를 처리한 후, 상기 처리된 화상신호는 부호화부(106)에 출력된다. 부호화부(106)는 상기 처리된 동화상 데이터를 부호화하고, 기록부(107)는 부호화된 동화상 데이터를 기록매체(108)에 기록한다. 이상 설명한 것과 같이, 동화상에 대한 촬영모드에서는, CCD(101)로부터 출력된 화상의 일부가 추출되어 기록된다.
동화상에 대한 촬영모드에서, 제어부(110)는 움직임 검출부(109)에 의한 검출 출력에 따라 부호화부(106)를 제어한다.
다음으로, 제어부(110)에 의한 제어 동작에 대하여 설명한다.
도 3a 내지 3c는 어느 촬영 장면에서의 화상을 도시한 것이다. 도 3a, 3b 및 3c는 각각 시각 Ta, Tb 및 Tc에서의 화상을 도시한 것이다.
도 3a 내지 3c를 참조하면, 화상 화면(301)의 사이즈는 도 2에 도시된 화상 화면(201)과 같이, CCD(101)로부터 출력된 화상의 사이즈와 동일하다. 또한, 기록 영역(302)은 도 2에 도시된 절단 영역(202)과 같이, 동화상에 대한 촬영모드에서 절단부(104)에 의해 추출되는 영역을 나타내고 있다. 피사체 303 및 304가 구비되어 있다.
도 3a에 도시된 시각 Ta에서는, 피사체 303이 기록 영역(302) 내에 존재한다. 도 3b 및 3c에 도시한 것과 같이, 피사체 304가 시각 Tb로부터 Tc까지의 시간 경과에 따라 이동하여, 시각 Tc에서는 기록 영역(302) 내부로 이동한다.
도 4는 도 3a 내지 3c에 도시된 것과 같은 장면이 MPEG 방식으로 부호화될 경우의 데이터량을 도시한 것이다.
도 4를 참조하면, I는 I 프레임을 나타내고, P는 P 프레임을 나타낸다. 더 간략하게 설명하기 위하여, B 프레임이 없는 예가 도시되어 있다. 또한, 프레임 번호의 축에는 순차적으로 프레임을 표현하기 위하여 프레임 번호가 추가되어 있다.
여기서, I 프레임은 5 프레임마다 삽입된다.
프레임의 형태 아래에는 시각 Ta, Tb 및 Tc가 도시되어 있다. 각 프레임에 대한 데이터량은 각각 데이터량의 축 상에 상대적으로 도시되어 있다. 더 간략하게 설명하기 위하여, 데이터량은 근사값으로서 4단계로 분류되어 있다. 여기서, 수가 클수록 데이터량이 더 커지는 것을 나타낸다.
CBR 모드에서는, 평균 데이터량이 12/5가 되도록 데이터량이 제어된다.
시각 Ta에서의 프레임 1은 큰 데이터량을 갖는 I 프레임이므로, 레벨이 4이다. 그리고, 프레임 2 내지 5는 상대적으로 작은 데이터량을 갖는 P 프레임이므로, 레벨이 2이다.
시각 Tb에서의 프레임 6은 이전의 I 프레임 다음에 5개의 프레임을 경과하였으므로, 프레임 6은 I 프레임이고, 프레임 6의 레벨은 4이다.
시각 Tb에서의 프레임 다음에 나오는 프레임 7은 P 프레임이지만, 시각 Tc에서 피사체(304)가 기록 영역(302) 내부로 이동하므로, 프레임 6 및 7간의 차이는 증가한다. 따라서, 데이터량의 레벨은 3이다.
프레임 7 및 8 사이에서는 차이가 작으므로, 프레임 8의 데이터량의 레벨은 2이어야 한다. 그러나, 이전 프레임인 프레임 7의 레벨이 3이므로, 프레임 8의 레벨이 2로 설정되면, 소정의 시각에서의 평균 데이터량은 기준량을 초과한다. 따라서, 프레임 8의 데이터량의 레벨은 어쩔 수 없이 1로 설정된다. 그 다음, 프레임 9 및 10의 레벨은 2이다. 프레임 11에서는, I 프레임이 삽입되어 데이터량의 레벨은 4이다. 따라서, 프레임 6 내지 10의 평균 데이터량은 12/5이다.
위에서 설명한 것과 같이, 소정의 주기로 I 프레임을 삽입하여 부호화가 수행되면, 도 3c에 도시한 것과 같이, 새로운 피사체가 갑자기 화면 내부에 이동할 경우, 부호량이 증가하게 되어 화질이 감소하게 된다.
본 실시예에서는, 동화상에 대한 촬영모드에서, 도 3b 및 3c에 도시한 것과 같이, 기록 영역(302) 외부에서의 피사체의 움직임이 검출되고, 상기 움직임의 검출결과에 따라 부호화 처리가 변경된다.
즉, 도 1에 도시된 움직임 검출부(109)는 메모리(103)에 기억된 연속하는 2개의 프레임에 대한 화상으로부터 기록 영역(302) 외부에서의 화상의 움직임 벡터를 검출하여, 그 결과를 제어부(110)에 출력한다.
보다 구체적으로, 도 3b에 도시된 화면에서는, 피사체(304)의 움직임 벡터가 그 직전의 화면의 화상신호를 이용하여 검출된다. 이 경우, 피사체(304)가 화면 좌측 방향으로 향하는 움직임이 검출되므로, 피사체의 위치와, 검출된 움직임 벡터에 대한 정보는 제어부(110)에 출력된다.
예를 들어, 움직임 검출부(109)로부터의 출력에 따라 시각 Tb에서의 프레임이 I 프레임이면, 제어부(110)는 I 프레임을 삽입하기 위한 타이밍을 지연시키고, 시각 Tb에서의 화면을 P 프레임으로서 부호화하도록, 부호화부(106)를 제어한다.
다음으로, 부호화 처리가 수행될 경우에 제어부(110)에 의해 수행되는 처리에 대해 도 5에 도시된 순서도를 참조하여 설명한다.
부호화 처리가 시작되면, I 프레임의 삽입 간격을 나타내는 I_CNT가 4로 설정되고, 처리된 프레임 수를 계수하기 위한 변수를 나타내는 F_CNT가 0으로 설정된다(단계 S501). 즉, 0에서 계수하여 프레임 수가 4로 되면, I 프레임이 삽입된다. 그 다음, F_CNT가 I_CNT 이상인지 아닌지가 판별된다(단계 S502). F_CNT가 I_CNT 이상이면, 즉, F_CNT가 4 이상이면, 이 타이밍에 I 프레임이 삽입되어야 한다고 판단된다. 단계 S503에서는, 움직임 검출부(109)로부터의 출력에 따라 I 프레임의 삽입 타이밍이 지연되어야 하는 것인지 아닌지가 판별된다.
움직임 검출부(109)는 도 3a 내지 3c에 도시된 화상 화면(301)에서 기록 영역(302) 외부에서의 화상의 움직임 벡터를 검출한다. 특정 매크로 블록 내의 피사체는 동일한 속도로 이동한다는 가정 하에서, 움직임 검출부(109)는 피사체가 기록 영역(302) 내부에서 이동하는 시각을 예측한다.
기록 영역(302) 외부의 피사체가 다음의 프레임에 상응하는 시각에 기록 영역(302) 내부에서 이동한다고 예측되면, 지연신호가 출력된다.
움직임 검출부(109)로부터 지연신호가 출력되지 않으면, 제어부(110)는 그 프레임을 I 프레임으로서 부호화하도록 부호화부(106)를 제어하고(단계 S504), F_CNT를 0으로 설정한다(단계 S505). 그 다음, 처리는 단계 S502로 돌아간다.
단계 S503에서, 움직임 검출부(109)로부터 I 프레임에 대한 지연신호가 출력되면, 부호화부(106)는 그 프레임을 P 프레임으로서 부호화하도록 제어되고(단계 S506), F_CNT에 1이 가산된다(단계 S507). 그 다음, 처리는 단계 S502로 돌아간다.
또한, 단계 S502에서 F_CNT가 I_CNT(4)에 도달하지 않으면, I 프레임의 삽입 타이밍이 아닌 것으로 판단되고, 그 프레임은 P 프레임으로서 부호화되며(단계 S506), F_CNT에 1이 가산된다(단계 S507). 그 다음, 처리는 단계 S502로 돌아간다.
도 6은 도 3a 내지 3c에 도시된 장면이 위에서 설명된 것과 같이 부호화될 경우의 데이터량을 도시한 것이다.
시각 Ta에서의 프레임 1은 많은 데이터량을 갖는 I 프레임이므로, 레벨이 4이다. 그리고, 프레임 2 내지 5는 상대적으로 작은 데이터량을 갖는 P 프레임이므로, 레벨이 2이다.
프레임 6이 이전의 I 프레임 후에 5개의 프레임을 경과하였으므로, 시각 Tb에서의 프레임 6은 I 프레임이어야 하지만, 움직임 검출부(109)에 의한 검출결과가 여기서 반영된다.
여기서, 움직임 검출부(109)는 메모리(103)에 기억된 복수의 프레임에 대한 화상신호의 기록 영역(302) 외부에서의 움직임을 검출한다. 도 3b에서는, 피사체(304)가 기록 영역(302)의 외부에 위치하지만, 피사체(304)가 다음 프레임에 상응하는 시각에서 기록 영역(302)의 내부에 이동하는 것으로 예측된다.
움직임 검출부(109)는 I 프레임의 삽입을 지연시키기 위한 지연신호를 제어부(110)에 출력한다.
제어부(110)는 이 지연신호를 수신하여, 부호화부(106)가 I 프레임의 삽입을 지연시키는 것을 제어한다.
따라서, 부호화부(106)는 프레임 6을 I 프레임이 아니라 P 프레임으로서 부호화한다. 그래서, 데이터량의 레벨은 2이다. 피사체(304)는 시각 Tc에서 화면 내부로 이동하며, 프레임 6 및 7간의 화상 차분이 증가한다. 그러나, 제어부(110)는 미리 지연신호를 수신하므로, 제어부(110)는 부호화부(106)가 프레임 7을 I 프레임으로서 부호화하도록 지시한다. 따라서, 프레임 7의 데이터량의 레벨은 4이다.
다음의 프레임들은 프레임 7을 기준으로 하여 I 프레임의 삽입을 위해 계수된다.
즉, 프레임 8 내지 11은 P 프레임으로서 부호화된다. 각각의 이전 프레임에서는 화상 차이가 작으므로, 데이터량은 2이다. 프레임 12에 대해서는, 기록 영역(302)으로 이동하는 화상이 없으면, 지연신호가 출력되지 않고, I 프레임이 삽입된다. 따라서, 데이터량은 4이다.
이 경우, 프레임 1 내지 5의 평균과, 프레임 7 내지 11의 평균은 각각 12/5이다. 그러나, 프레임 2 내지 6의 평균은 10/5이고, 이것은 원하는 데이터 전송률 12/5를 하회한다.
이것은 엄밀하게 CBR로서 정의되지 않지만, 작은 화상 변화만을 포함하는 영역에서 데이터량을 증가시킬 필요가 없다. 즉, 화질을 감소시키지 않으면서 데이터량을 감소시키는 것은 실제적인 문제를 일으키지 않는다.
위에서 설명한 것과 같이, 본 실시예에 따르면, 촬영된 화상의 일부가 추출되고, 동화상으로 부호화되어 기록될 경우, 기록 영역 외부에서의 피사체의 움직임이 검출된다. 새로운 피사체가 기록 영역 내부로 이동하는 것으로 판단되면, I 프레임의 삽입 타이밍이 변경된다. 따라서, 예측 오차의 증가로 인한 화질의 저하가 방지될 수 있다.
상기 설명된 실시예에서는, 동화상 촬영보다 정지화상 촬영을 위해 더 많은 화소를 갖는 CCD를 사용하여 동화상 신호가 촬영 및 부호화되는 경우에 대해 설명되고 있지만, 본 발명은 이것에 한정되지 않는다. 또한, 본 발명은 동화상을 촬영할 경우의 흐려짐(blurring)을 보상하기 위하여 기록 영역에 상응하는 화소보다 더 많은 화소를 갖는 CCD를 구비한 촬상장치에도 적용될 수 있다.
보다 구체적으로, 흐려짐을 보상하기 위하여, 예를 들어, 도 2에 도시된 화상의 절단 영역(202)은 전체 화상의 움직임 벡터에 의거하여 이동하게 된다. 이러한 구성에서, 절단 영역 외부의 영역으로부터의 피사체의 이동이 예측되고, I 프레임의 삽입 타이밍이 변경된다. 따라서, 부호량의 증가로 인한 화질의 감소가 방지될 수 있다.
또한, 상기 설명된 실시예에서는 5 프레임마다 하나의 I 프레임이 삽입되는 것이 원칙이지만, I 프레임의 삽입이 지연되면, 상기 지연은 상기 원칙으로부터 어긋나게 된다. 또한, 데이터량도 일시적으로 평균을 하회하게 된다.
상기 설명된 실시예에서는 이것이 중요시되고 있지 않지만, 시스템에 따라서는 불편함이 초래될 수도 있다.
이 경우, I 프레임의 삽입이 지연되더라도, 다음의 I 프레임은 원래 예정된 삽입 타이밍에 삽입되도록 제어될 수도 있다.
예를 들어, 도 6에서, I 프레임은 5 프레임마다 즉, 프레임 1, 프레임 6 및 프레임 11에 원래 삽입되어야 한다. 이 경우, 프레임 6에서의 I 프레임의 삽입이 지연되더라도, 다음 I 프레임이 프레임 12에 삽입된다.
이 구성은 5 프레임마다 I 프레임이 삽입되는 구성과, 일정한 비트 전송률의 원칙을 준수할 수 있다. 이 구성은 제어부(110)의 제어 프로그램을 변경함으로써 이루어질 수 있다.
또한, 사용자는 동화상에 대한 촬영모드에서 추출될 화상의 영역을 임의로 변경할 수 있다.
본 발명은 실시예인 것으로 현재 생각되는 것을 참조하여 설명되었지만, 본 발명은 상기 개시된 실시예에 한정되지 않음을 이해해야 한다. 오히려, 본 발명은 후속하는 청구범위의 취지 및 범위 내에 포함된 다양한 변형 및 등가의 구성을 포함하도록 한 것이다. 아래의 청구범위는 그러한 모든 변형 및 등가의 구성과 작용을 포함하도록 가장 넓게 해석되어야 한다.
이상 설명된 본 발명에 따르면, 입력된 동화상 신호의 일부 외부의 영역에서 화상의 움직임을 검출하고, 상기 움직임 검출결과에 따라, 상기 부호화부에 의해 수행되는 프레임내 부호화를 이용한 부호화 수행 타이밍을 제어함으로써, 화면에서 큰 변화가 발생하는 경우에도 화질의 감소를 방지할 수 있는 효과가 있다.
도 1은 본 발명에 따른 촬상장치의 구성을 도시한 도면이고,
도 2는 본 발명의 실시예에서 사용되는 화상을 도시한 도면이고,
도 3a 내지 3c는 본 실시예에서의 움직임 검출동작을 예시한 도면이고,
도 4는 부호량의 변화를 도시한 도면이고,
도 5는 본 실시예에서의 부호화 처리를 제어하는 처리를 도시한 도시한 순서도이고,
도 6은 본 실시예에서의 부호량의 변화를 도시한 예시도이다.
*도면의 주요 부분에 대한 부호의 설명*
101 : CCD 102 : 신호처리부
103 : 메모리 104 : 절단부
105 : 사이즈 조정부 106 : 부호화부
107 : 기록부 108 : 기록매체
109 : 움직임 검출부 110 : 제어부
111 : 조작부

Claims (10)

  1. 동화상 신호를 입력하는 입력수단과,
    상기 입력수단에 의해 입력된 복수의 프레임에 대한 동화상 신호의 일부를 추출하는 추출수단과,
    상기 추출수단에 의해 추출된 동화상 신호의 일부를 프레임내 부호화 및 프레임간 예측 부호화를 이용하여 부호화하는 부호화수단과,
    상기 입력수단에 의해 입력된 동화상 신호의 일부의 외부의 영역에서의 화상의 움직임을 검출하고, 상기 움직임 검출결과에 따라, 상기 부호화수단에 의해 수행되는 프레임내 부호화를 이용한 부호화 수행 타이밍을 제어하는 제어수단을 구비하는 것을 특징으로 하는 화상처리장치.
  2. 제1항에 있어서,
    상기 제어수단은, 현재 프레임의 상기 일부의 외부의 영역의 화상이 연속적으로 뒤따르는 프레임의 일부의 내부로 이동하는 것을 검출하고,
    상기 제어수단은, 현재 프레임의 화상신호를 상기 프레임간 예측 부호화를 이용하여 부호화하고, 연속적으로 뒤따르는 프레임의 화상신호를 상기 프레임내 부호화를 이용하여 부호화하도록 상기 부호화수단을 제어하는 것을 특징으로 하는 화상처리장치.
  3. 제1항에 있어서,
    상기 부호화수단은, 소정의 프레임 간격으로 모든 프레임에 대해 프레임내 부호화를 이용하여 부호화를 수행하고,
    각각의 현재 프레임이 상기 프레임내 부호화를 이용하여 부호화하여야만 하더라도, 각각의 현재 프레임의 일부의 외부의 영역의 화상이 연속적으로 뒤따르는 프레임의 일부의 내부로 이동하는 것으로 검출될 경우, 상기 제어수단은 프레임간 예측 부호화를 이용하여 현재 프레임을 부호화하도록 상기 부호화수단을 제어하는 것을 특징으로 하는 화상처리장치.
  4. 제1항에 있어서,
    상기 추출수단에 의해 추출된 상기 일부의 사이즈는 변경 가능한 것을 특징으로 하는 화상처리장치.
  5. 제1항에 있어서,
    상기 부호화수단이 상기 입력수단에 의해 입력된 동화상 신호를 부호화하는 동화상 모드와, 상기 입력수단에 의해 입력된 동화상 신호의 1프레임이 선택되어 상기 부호화수단이 상기 선택된 프레임의 화상신호를 부호화하는 정지화상 모드를 설정하는 설정수단을 더 구비하고,
    상기 정지화상 모드에서 상기 추출수단에 의해 추출된 영역은, 상기 동화상 모드에서 상기 추출수단에 의해 추출된 부분보다 더 큰 것을 특징으로 하는 화상처리장치.
  6. 제1항에 있어서,
    상기 입력수단은 복수의 프레임에 대한 동화상 신호를 기억하는 메모리를 포함하고,
    상기 제어수단은 상기 메모리에 기억된 복수의 프레임에 대한 동화상 신호를 이용하여 움직임을 검출하는 것을 특징으로 하는 화상처리장치.
  7. 제1항에 있어서,
    상기 입력수단은 피사체를 촬영하여 상기 동화상 신호를 출력하는 촬상부를 포함하는 것을 특징으로 하는 화상처리장치.
  8. 제7항에 있어서,
    상기 추출수단은 상기 촬상부에 의해 얻어진 동화상 신호를 기억하는 메모리를 포함하고,
    상기 동화상 신호에 의한 화상의 흐려짐은, 동화상 신호에 의한 화상의 이동량에 따라 상기 메모리에 기억된 동화상 신호의 일부의 위치를 변경함으로써 보상되는 것을 특징으로 하는 화상처리장치.
  9. 제1항에 있어서,
    상기 부호화수단에 의해 부호화된 동화상 신호의 일부를 기록매체에 기록하는 기록수단을 더 구비하는 것을 특징으로 하는 화상처리장치.
  10. 동화상 신호를 입력하는 입력수단과,
    상기 입력수단에 의해 입력된 복수의 프레임에 대한 동화상 신호의 일부를 추출하는 추출수단과,
    상기 추출수단에 의해 추출된 동화상 신호의 일부를 부호화하는 부호화수단과,
    상기 입력수단에 의해 입력된 동화상 신호의 일부의 외부의 영역에서의 화상의 움직임을 검출하고, 상기 움직임 검출결과에 따라 상기 부호화수단에 의해 수행되는 부호화 처리를 제어하는 제어수단을 구비하는 것을 특징으로 하는 화상처리장치.
KR20040110026A 2003-12-22 2004-12-22 화상처리장치 KR100675387B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003424743A JP2005184626A (ja) 2003-12-22 2003-12-22 画像処理装置
JPJP-P-2003-00424743 2003-12-22

Publications (2)

Publication Number Publication Date
KR20050063724A true KR20050063724A (ko) 2005-06-28
KR100675387B1 KR100675387B1 (ko) 2007-01-29

Family

ID=34544931

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20040110026A KR100675387B1 (ko) 2003-12-22 2004-12-22 화상처리장치

Country Status (5)

Country Link
US (1) US7412079B2 (ko)
EP (1) EP1549078A3 (ko)
JP (1) JP2005184626A (ko)
KR (1) KR100675387B1 (ko)
CN (1) CN100369490C (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4726577B2 (ja) * 2005-08-25 2011-07-20 富士フイルム株式会社 スライドショー生成装置およびスライドショー用データ生成装置ならびにそれらの制御方法ならびにそれらを制御するプログラム
KR101532610B1 (ko) * 2009-01-22 2015-06-30 삼성전자주식회사 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 컴퓨터판독가능 저장매체
CN103891285A (zh) * 2011-10-20 2014-06-25 索尼公司 图像处理装置和方法
JP6066561B2 (ja) * 2012-01-26 2017-01-25 キヤノン株式会社 映像処理装置、映像処理方法およびプログラム
US10536702B1 (en) * 2016-11-16 2020-01-14 Gopro, Inc. Adjusting the image of an object to search for during video encoding due to changes in appearance caused by camera movement

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969039A (en) * 1987-07-01 1990-11-06 Nec Corporation Image processing system operable in cooperation with a recording medium
JPH05111008A (ja) * 1991-10-15 1993-04-30 Sony Corp 情報伝送装置及び情報受信装置
EP1139672B1 (en) * 1994-03-25 2010-08-18 Nec Corporation Image reproducing device
US5802211A (en) * 1994-12-30 1998-09-01 Harris Corporation Method and apparatus for transmitting and utilizing analog encoded information
US5682204A (en) * 1995-12-26 1997-10-28 C Cube Microsystems, Inc. Video encoder which uses intra-coding when an activity level of a current macro-block is smaller than a threshold level
US5852565A (en) * 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
KR100215451B1 (ko) * 1996-05-29 1999-08-16 윤종용 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템
EP0822724A3 (en) * 1996-07-03 1999-06-02 Victor Company Of Japan, Limited Digital video signal recording and/or reproducing apparatus
KR100504416B1 (ko) * 1997-03-19 2005-10-21 소니 가부시끼 가이샤 화상부호화방법및장치
EP0868085B2 (en) * 1997-03-26 2006-09-27 Matsushita Electric Industrial Co., Ltd. Image decoding apparatus
JP3604864B2 (ja) * 1997-04-25 2004-12-22 シャープ株式会社 動画像符号化装置
JP3860323B2 (ja) * 1997-10-27 2006-12-20 三菱電機株式会社 画像復号化装置、画像復号化方法
US6512793B1 (en) * 1998-04-28 2003-01-28 Canon Kabushiki Kaisha Data processing apparatus and method
JP3794529B2 (ja) 1998-12-24 2006-07-05 カシオ計算機株式会社 動画像記録装置、及び、動画像符号化方法
US6956971B1 (en) * 1999-07-20 2005-10-18 Lg Electronics Inc. Terminal and method for transporting still picture
JP3917363B2 (ja) * 2000-12-12 2007-05-23 株式会社東芝 画像復号化装置及び画像復号化方法
EP1244311A3 (en) * 2001-03-22 2004-10-06 Sony Corporation Picture encoding
US6804301B2 (en) * 2001-08-15 2004-10-12 General Instrument Corporation First pass encoding of I and P-frame complexity for compressed digital video
US6954544B2 (en) * 2002-05-23 2005-10-11 Xerox Corporation Visual motion analysis method for detecting arbitrary numbers of moving objects in image sequences
JP2004096557A (ja) * 2002-09-02 2004-03-25 Canon Inc 画像処理装置及び画像処理方法
KR100615397B1 (ko) * 2003-03-20 2006-08-25 실리콤텍(주) 움직임 검출기능이 내장된 ｃｍｏｓ 이미지 센서 및 움직임 검출방법

Also Published As

Publication number Publication date
US7412079B2 (en) 2008-08-12
JP2005184626A (ja) 2005-07-07
EP1549078A2 (en) 2005-06-29
EP1549078A3 (en) 2009-04-22
KR100675387B1 (ko) 2007-01-29
CN100369490C (zh) 2008-02-13
CN1638485A (zh) 2005-07-13
US20050135686A1 (en) 2005-06-23

Similar Documents

Publication Publication Date Title
KR100820528B1 (ko) 디지털 카메라와, 그것에 이용 가능한 메모리 제어 장치,화상 처리 장치 및 화상 처리 방법
US8102436B2 (en) Image-capturing apparatus and method, recording apparatus and method, and reproducing apparatus and method
JP4687404B2 (ja) 画像信号処理装置、撮像装置、および画像信号処理方法
EP0520741B1 (en) Image compression associated with camera shake correction
JP3221785B2 (ja) 撮像装置
US20030031469A1 (en) Video recording device having portrait photographing mode
JP3592025B2 (ja) 撮影画像記録装置
CN113556462B (zh) 用于控制平移倾斜变焦相机的方法和系统以及存储介质
KR100675387B1 (ko) 화상처리장치
JP4497761B2 (ja) 画像処理装置及びインデックス作成方法
KR100452097B1 (ko) 영상데이터의 변화값 추출을 이용한 영상데이터 저장방법
JP2005175974A (ja) 撮像装置
JPH0918828A (ja) ディジタル画像データの記録装置および方法ならびに再生装置および方法
JP2004180345A (ja) 撮影画像記録装置
JP2000197004A (ja) 動画像記録装置
JP2005217493A (ja) 撮像装置
JP2000278641A (ja) 動画処理装置及び動画処理方法
JP2000197003A (ja) 動画像記録装置
JP4484719B2 (ja) ビデオカメラ
JPH03272289A (ja) 電子スチルカメラ
JP3645254B2 (ja) 画像データ記録システムおよび画像データ記録方法
JP2005175891A (ja) 記録装置
JP2006166255A (ja) 画像符号化装置、撮像装置、画像記録方法、画像記録装置、画像記録媒体及び画像再生装置
KR19980085461A (ko) 디지탈 비디오 디스크 시스템의 멀티 앵글 재생 방법
KR19980075477A (ko) 디브이디 시스템의 앵글 재생 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121221

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131226

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141226

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee