KR101238227B1 - 동화상 부호화장치 및 동화상 부호화방법 - Google Patents

동화상 부호화장치 및 동화상 부호화방법 Download PDF

Info

Publication number
KR101238227B1
KR101238227B1 KR1020107020707A KR20107020707A KR101238227B1 KR 101238227 B1 KR101238227 B1 KR 101238227B1 KR 1020107020707 A KR1020107020707 A KR 1020107020707A KR 20107020707 A KR20107020707 A KR 20107020707A KR 101238227 B1 KR101238227 B1 KR 101238227B1
Authority
KR
South Korea
Prior art keywords
setting information
encoding
unit
setting
imaging device
Prior art date
Application number
KR1020107020707A
Other languages
English (en)
Other versions
KR20100126395A (ko
Inventor
사토루 코바야시
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20100126395A publication Critical patent/KR20100126395A/ko
Application granted granted Critical
Publication of KR101238227B1 publication Critical patent/KR101238227B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

피사체 상을 촬상하는 촬상부에서 입력되는 동화상 데이터를, 프레임간 예측을 사용해서 부호화하고, 부호화 비트스트림을 생성하는 부호화부; 상기 부호화부에서 행해진 부호화 처리에 대한 설정을 행하는 설정부; 상기 설정부에 의해 작성된 설정 정보를 외부의 동화상 부호화장치에 송신하는 송신부; 상기 외부의 동화상 부호화장치로부터 송신된 부호화처리에 대한 설정 정보를 수신하는 수신부; 및 상기 설정부에 의해 이루어진 제1의 설정과, 상기 수신부에 의해 수신한 설정 정보에 근거한 제2의 설정에 따라서, 상기 부호화부에서 행해진 부호화처리를 제어하는 부호화 제어부를 구비한 동화상 부호화장치를 제공한다.

Description

동화상 부호화장치 및 동화상 부호화방법{MOVING IMAGE ENCODING APPARATUS AND MOVING IMAGE ENCODING METHOD}
본 발명은 동화상 부호화장치 및 방법에 관한 것으로, 특히, 부호화 비트스트림을 기록, 재생, 및 편집하기 위해서 사용된 적합한 기술에 관한 것이다.
화상 데이터를 고능률로 부호화하기 위한 기술로서, 정지화상을 압축 부호화하는 JPEG표준안과, 화상간의 움직임 예측/움직임 보상 기술을 사용해서 동화상을 압축 부호화하는 MPEGl 및 MPEG2 표준안이 확립되어 있다. 여러 가지의 메이커는, 이러한 부호화 기술들을 이용해서 화상 데이터를 기억 매체에 기록 가능한 디지탈 카메라나 디지털 비디오카메라라고 한 촬상장치, DVD레코더등을 개발해 제품화하고 있다.
이러한 제품들 중에는, 복수의 촬상장치간에 있어서, 촬영한 정지화상 데이터를 무선통신 등의 시스템을 사용하는 그 촬상장치간의 그 화상 데이터를 송수신 함에 의해, 실시간으로 공유할 수 있는 제품도 있다. 유저는, 이러한 장치를 사용하여, 원하는 피사체를 촬영하고 기록할 수 있다.
한편, 이러한 제품들 중에는, 촬상장치에 의해 촬상된 동화상에 대하여, 원하는 구간의 동화상을 잘라내거나, 일 동화상을 다른 동화상과 합성하는 등의 편집기능을 구비한 촬상장치도 있다. 예를 들면, 복수의 촬상장치로 촬상된 동화상을 소재로서 편집을 함으로써, 다른 촬상장치에 의해 기록된 동화상을 합성시켜 새로운 동화상을 작성할 수 있다.
그런데, 디지탈화된 동화상 데이터는 방대한 크기다. 이에 따라서, 전술한 M P E Gl 및 M P E G2등보다도 더 높은 압축율을 이루도록 설계된 동화상 데이터의 부호화 표준안이 계속 연구되고 있다. 최근, ITU-T(국제전기통신연합- 전기 통신 표준화부문)와 ISO(국제 표준화 기구)에 의하여, H.264/MPEG-4 Part lO이라고 하는 부호화방식(이하, 간단히 "H.264"라고 칭한다)이 표준화되었다.
이후, H.264표준안을 사용하여 부호화된 데이터의 구조를, 도 11a 내지 11c 및 도 12a, 12b를 참조하여 설명한다.
또한, 도 11a 내지 11c 및 도 12a, 12b는, 부호화되는 동화상 데이터를 의미하는 픽처(picture) 군(화상 시퀀스) 및 각 픽처의 픽처 타입을 나타내고, 상단이 표시 순서(왼쪽으로부터 순차적으로 표시)를 나타내고, 하단이 부호화 순서(왼쪽으로부터 순차적으로 부호화)를 나타낸다.
H.264표준안에 따른 화상 프레임의 픽처 타입은, 동일 프레임내의 데이터로부터만 부호화하는 I픽처와, 그 프레임과 시간적으로 이전의 프레임과의 차분을 이용해서 부호화하는 P픽처가 있다. 한층 더, 그 프레임과 시간적으로 이전의 프레임과의 차분과 아울러, 그 프레임과 시간적으로 이후의 프레임과의 차분도 이용할 수 있는 B픽처도 있다.
예를 들면, 도 11a는, 픽처P8은 9번째로 표시되는 P픽처의 프레임인 것을 보이고 있다. 도 11a의 화살표는 참조 관계를 나타내고 있고, 도 11a에 나타낸 예에서는, 픽처P8이 픽처B0를 참조하고 있는 것을 나타낸다. 또한, 도 11b에 나타낸 예에서는, 픽처BO가 픽처P2와 픽처B7을 참조한다.
H.264표준안에 있어서는, 프레임간 예측을 행할 때에, 화상 시퀀스내의 임의의 프레임 및 픽처 타입을 참조 화상으로서 이용하는 것이 가능하다. 예를 들면, 도 11a에 나타나 있는 바와 같이, P픽처인 픽처P8은, I픽처를 건너뛸 뿐만아니라, I픽처를 건너뛰고 다른 프레임들을 참조하는 것이 가능하다. 마찬가지로, 도 11b에 나타나 있는 바와 같이, B픽처인 픽처BO도 I픽처를 참조할 뿐만아니라, I픽처를 건너뛰어 다른 프레임들을 참조하는 것이 가능하다.
이와 같이, H.264표준안에서는 유연하게 참조 화상이 허용되고 있다. 따라서, H.264표준안은, P픽처가 P픽처 직전의 I픽처 혹은 또 다른 P픽처만을 참조할 수 있는 MPEG2 등의 표준안과 비교하고, 프레임간 예측 정밀도가 향상하고, 부호화 효율을 향상시킬 수 있다.
그렇지만, H.264표준안에서는 전술한 바와 같이 유연하게 참조 화상이 허용되기 때문에, H.264표준안에 있어서는, 랜덤 액세스를 신속히 행할 수 없는 경우들이 있다. 예로서, 도 11c는, 랜덤 액세스를 사용하여, 화상 시퀀스의 도중의 프레임인 픽처 I5로부터 재생하는 경우를 설명한다.
화상 시퀀스중의 픽처 I5로부터 재생을 시작하고, 그 후 픽처P8를 복호할 경우에는, 픽처P8이 픽처B0를 참조하기 때문에, 이 픽처B0을 미리 복호해 놓을 필요가 있다. 한층 더, 픽처B0은 픽처P2와 픽처B7을 참조하고 있으므로, 픽처B0를 복호하기 위해서는, 이것들 픽처P2 및 픽처B7을 미리 복호할 필요도 있다. 마찬가지로, 도 11c에 도시되지 않았지만, 픽처P2 및 픽처B7도 각각 다른 픽처를 참조하고 있으므로, 픽처P2 및 픽처B7을 복호하기 위해서는, 다른 픽처를 미리 복호해 놓을 필요도 있다.
이와 같이, 픽처 I5로부터 재생을 시작하는 경우에도, 픽처 I5를 건너뛰는 참조를 허용하고 있기 때문에, 픽처 I5 이전의 데이터에서 거슬러 올라가서 복호처리를 시작할 필요가 생기고, 신속히 픽처 I5로부터 재생을 시작하는 것이 곤란해진다. 또한, 유저가 부호화후의 비트스트림을 픽처 I5를 커트(cut) 프레임으로 사용하여 커트 편집을 행하고 싶은 경우이여도, 픽처 I5를 건너뛰는 참조를 허용하고 있기 때문에, 픽처 I5 이전의 데이터에 거슬러 올라가서 복호처리를 시작할 필요가 있다. 따라서, 픽처 I5를 커트 프레임으로서 사용하여 상기 비트스트림을 커트하는 커트 편집을 행하는 것이 곤란하다.
이에 따라서, 이 문제를 해소해 신속한 랜덤 액세스를 실현 가능하게 하기 위해서, 정기적으로 I픽처에 제한을 하는 방법이, 예를 들면 일본국 공개특허공보 특개2003-199112에 제안되어 있다. 이 제한된 I픽처는, H.264표준안에서는 "IDR픽처"라고 부르고 있다. 이제, 도 12a 및 도 12b를 참조하면서, IDR픽처에 관하여 설명한다. 또한, 도 12a 및 도 12b에 나타낸 화상 시퀀스는, 도 11a 및 도 11b에서와 같은 화상 시퀀스에 대하여, 픽처 I5를 IDR픽처에 설정한 화상 시퀀스다.
픽처 I5를 IDR픽처에 설정하면, IDR픽처를 부호화할 때에 동화상의 참조 화상을 기록하고 있는 프레임 메모리가 클리어된다. 따라서, IDR픽처 이후에 부호화된 픽처는, 그 IDR픽처 이전에 부호화된 픽처를 참조할 수 없다. 마찬가지로, IDR픽처 이전에 부호화된 픽처는, 그 IDR픽처 이후에 부호화된 픽처를 참조할 수 없다.
도 12a에 나타낸 예에서는, IDR픽처인 IDR5픽처 이후에 부호화되는 P픽처와 B픽처는, 그 IDR픽처 이전에 부호화된 P픽처와 B픽처를 참조할 수 없다. 구체적으로는, 픽처IDR5 이후에 부호화된 픽처P8과 픽처B7등의 픽처는, 픽처IDR5 이전에 부호화된 픽처P2와 픽처B0등의 픽처를 참조할 수 없다.
반대로, 도 12b에 나타낸 예에서는, IDR픽처인 IDR5픽처 이전에 부호화된 P픽처와 B픽처는, 그 IDR픽처 이후에 부호화된 P픽처와 B픽처를 참조할 수 없다. 구체적으로는, 픽처IDR5 이전에 부호화된 픽처P2와 픽처B0등의 픽처는, 픽처IDR5 이후에 부호화된 픽처P8과 픽처B7등의 픽처를 참조할 수 없다.
이에 따라, H.264표준안의 경우, 부호화 데이터 중, IDR픽처로부터 재생을 시작하면, IDR픽처 이전으로부터 거슬러 올라가서 화상 데이터를 복호할 필요가 없고, 신속한 랜덤 액세스를 실현해서 재생할 수 있다. 또한, IDR픽처를 건너뛰고 다른 픽처를 참조하는 것이 금지되므로, IDR픽처를 커트 프레임으로서 사용하는 편집도 가능하다.
다음에, H.264표준안에 있어서의 부호화 데이터 양의 제어에 관하여 설명한다. 가변 비트 레이트(VBR)방식은, 그 부호화 데이터 양을 제어하기 위한 하나의 기술이다. 이후, VBR 방식에 따른 부호화 데이터 양 제어를 간단하게 설명한다.
VBR 방식은, 부호화 비트 레이트를 평균 목표 부호화 비트 레이트에 가능한 가까이 하려고 하면서, 국소적인 영상의 특징에 의거하여 목표 부호화 비트 레이트를 가변하는 부호화 데이터 양을 제어하는 방식이다. 이 방식은 그 영상의 특징에 근거한 목표 부호화 비트 레이트를 사용하여 그 영상신호를 부호화하기 때문에, 영상품질의 변동이 작다고 하는 특징이 있다. 즉, 부호화가 어렵고 화질이 낮아질 것 같은 프레임을, 보다 높은 목표 부호화 비트 레이트로 부호화하고, 부호화하기 쉽고 화질이 충분히 높은 프레임들을 보다 낮은 목표 부호화 비트 레이트로 부호화한다.
이러한, 부호화 데이터 양 제어 기술을 사용하여서, 최근의 디지털 비디오 카메라에는, 고화질 녹화 또는 장시간 녹화를 가능하게 하기 위한, 다수의 기록 모드(부호화 모드)가 구비되어 있다. 예를 들면, 평균 목표 부호화 비트 레이트에 따라 데이터를 부호화하는 L P(Long Play)모드, S P(Standard Play)모드 및 ⅩP(Excellent Play)모드의 3개의 기록 모드를 갖는 비디오카메라가 있다. 모든 기록 모드에서, V B R방식을 사용하는 것이 일반적이다. L P 모드에서 평균 목표 부호화 비트 레이트가 가장 낮고, ⅩP모드에서 평균 목표 부호화 비트 레이트가 가장 높다. S P 모드에서의 평균 목표 부호화 비트 레이트는, L P모드와 ⅩP모드의 사이다.
L P 모드에서는, 부호화 비트 레이트가 낮으므로, 화질이 저하해버리지만, 그 결과로 얻어진 파일은 작아서, 대량이 영상이 기록될 수 있다. 한편, ⅩP모드에서는, 부호화 비트 레이트가 높으므로, 화질은 좋아지지만, 그 결과로 얻어진 파일은 크고, 작은 양의 영상만 기록될 수 있다. 유저는, 기록 영상의 화질과 기억 매체에 남은 공간 등을 고려하여, 원하는 기록 모드로 촬영을 행할 수 있다.
V B R 방식을 사용하는 화상 부호화 장치에 관해서는 일본국 공개특허공보 특개2001-346201에 기재되어 있다. 이 문헌에는, 입력 화상을 저해상도 화상으로 분할하고, 다수의 화상 부호화장치를 사용하여 부호화하는 경우가 기재되어 있고, 이러한 경우에는, 각 화상 부호화장치에 의한 저 해상도 화상의 화질이 동등하도록, 부호화 데이터 양을 각 부호화장치에 할당한다.
전술한 H.264표준안에서는, 프레임간 예측의 참조 관계를 제한하는 IDR픽처를 이용 함에 의해, 신속한 랜덤 액세스, 용이한 편집등을 행할 수 있다. 그 때문에, 부호화 비트스트림의 임의의 위치로부터 신속한 재생이나, 부호화 비트스트림을 소재로서 사용한 용이한 편집을 행하기 위해서는, 적절한 위치에 IDR픽처가 설정되어 있을 필요가 있다.
그렇지만, IDR픽처를 설정 함에 의해 전술한 방식으로 참조 관계가 제한되기 때문에, 수많은 IDR픽처를 설정하는 것은 부호화 효율이 저하할 가능성이 있다. 즉, 부호화 효율에 우선도를 두면, 가능한 적은 IDR픽처를 설정하는 것이 바람직하다. 종래기술과 같이, 주기적으로 IDR픽처를 설정하는 방법에서는, 랜덤 액세스나 편집 등에 필요하지 않은 프레임도 IDR픽처 로 설정되어, 부호화 효율이 저하해버린다고 하는 문제점이 있었다.
또한, 다수의 유저가 각각의 촬상장치를 사용해서 촬영한 다수의 동화상(부호화 비트스트림)을 편집하는 경우에, 각각의 부호화 비트스트림에서 설정되는 IDR픽처의 간격과 타이밍은 서로 다른 경우가 많다. 이 때문에, 부호화 효율이 저하하지 않도록 설정된 IDR픽처의 수를 적게 하여서, 유저가 다른 다수의 부호화 비트스트림을 편집할 경우에, 원하는 구간의 영상을 함께 연결시키는 것이 곤란해진다.
한층 더, 다른 장치를 사용하여 기록된 다수의 동화상(부호화 비트스트림)을 편집하는 것을 상술한 경우에는, 상기 영상중에서 균일한 화질을 유지하는 것도 중요한 과제다. 개개의 부호화 비트스트림이 화질이 서로 다른 경우, 그 영상을 편집함으로써, 스트림이 함께 연결된 영역에서 시각적으로 명백한 화질에서 차이가 생길 것이다.
도 21a 내지 21c는, 유저A가 씬(scene)A를 S P모드에 근거하는 목표 부호화 비트 레이트로 녹화하고, 유저B가 씬B를 ⅩP모드에 근거하는 목표 부호화 비트 레이트로 녹화한 예들을 나타낸다. 도 21a는, 유저A에 의한 씬A의 녹화의 평균 목표 부호화 비트 레이트의 변화를 가리키고, 유저A가 시각 t2에 씬A의 촬영을 시작하고, 시각 t3에 씬A의 촬영을 종료하는 것을 나타낸다. 한편, 도 21b는, 유저B에 의한 씬B의 녹화의 평균 목표 부호화 비트 레이트의 변화를 가리키고, 유저B가 시각 tl에 씬B의 촬영을 시작하고, 시각 t2에 촬영을 종료하는 것을 나타낸다. 그리고, 도 21c는, 씬B에 씬A를 커트 편집에 의해 함께 연결시킨(spliced) 경우의 부호화 비트스트림의 평균 목표 부호화 비트 레이트의 변화를 나타내고 있다.
도 21c에서, 시각 t2에 있어서의 씬B와 씬A의 이음매에서는, SP모드와 ⅩP모드간의 평균 목표 부호화 비트 레이트의 차이로 인해, 부호화 비트 레이트가 급격하게 저하한다. 즉, 도 21c에서, 시각 t2이후의 구간(section)은, 시각 t2이전의 구간과 비교하게, 급격하게 화질이 저하한 것처럼 보인다. 그 때문에, 이러한 부호화 비트스트림의 영상을 재생하는 시청자는, 시각 t2의 직후에 위화감을 느껴버린다.
본 발명의 국면들은, 다수의 장치로 동화상 데이터를 부호화할 때에, 편집에 적합한 부호화 화상 데이터를 생성하는 것에 관한 것이다.
본 발명의 제 1 국면에서는, 프레임간 예측을 사용해서 촬상된 화상을 부호화하여, 제 1 부호화 비트스트림을 생성하는 부호화 수단; IDR 픽처를 설정하기 위한 제 1 설정정보를 생성하는 설정정보 생성수단; 상기 설정정보 생성수단에 의해 생성된 상기 제 1 설정정보를 외부장치에 송신하는 송신수단으로서, 상기 외부장치는 프레임간 예측을 사용해서 촬상된 화상을 부호하여 제 2 부호화 비트스트림을 생성하고, IDR 픽처를 설정하기 위한 제 2 설정정보를 생성하는 송신수단; 상기 외부장치에 의해 생성된 상기 제 2 설정정보를 상기 외부장치로부터 수신하는 수신수단; 및 상기 설정정보 생성수단에 의해 생성된 상기 제 1 설정정보에 따라서 IDR 픽처를 설정하도록 상기 부호화 수단을 제어하고, 상기 수신수단에 의해 수신된 상기 제 2 설정정보에 따라서 또 다른 IDR 픽처를 설정하도록 상기 부호화 수단을 제어하는 부호화 제어수단을 구비한, 동화상 부호화 장치를 제공한다.
본 발명의 제 2 국면에서는, 피사체 상을 촬상하는 촬상부에서 입력되는 동화상 데이터를, 프레임간 예측을 사용해서 부호화하고, 부호화 비트스트림을 생성하는 부호화부; 네트워크를 거쳐서 그룹화된 외부의 동화상 부호화장치에/로부터 부호화 설정 정보를 송/수신하는 송/수신부; 및 상기 송/수신부에 의해 송/수신된 상기 부호화 설정 정보에 의거하여, 상기 외부의 동화상 부호화 장치에서 행해진 기준 프레임의 설정에 따라, 상기 부호화부에서 생성된 부호화 비트스트림중에 기준 프레임을 설정하도록 제어하는 부호화 제어부를 구비한, 동화상 부호화장치를 제공한다.
본 발명의 제 3 국면에서는, 피사체 상을 촬상하는 촬상부에서 입력되는 동화상 데이터를, 프레임간 예측을 사용해서 부호화하고, 부호화 비트스트림을 생성하는 부호화부; 네트워크를 거쳐서 그룹화된 외부의 동화상 부호화장치에/로부터 부호화 설정 정보를 송/수신하는 송/수신부; 및 상기 송/수신부에 의해 송수신된 상기 부호화 설정 정보에 의거하여, 상기 외부의 동화상 부호화 장치에서 설정된 화질에 따라, 상기 부호화부에서 생성된 상기 부호화 비트스트림의 화질을 조정하는 부호화 제어부를 구비한, 동화상 부호화장치를 제공한다.
본 발명의 제 4 국면에서는, 동화상 부호화방법으로서, 프레임간 예측을 사용해서 촬상된 화상을 부호화하여, 제 1 부호화 비트스트림을 생성하는 부호화 단계; IDR 픽처를 설정하기 위한 제 1 설정정보를 생성하는 설정정보 생성단계; 상기 설정정보 생성단계에서 생성된 상기 제 1 설정정보를 외부장치에 송신하는 송신단계로서, 상기 외부장치는 프레임간 예측을 사용해서 촬상된 화상을 부호하여 제 2 부호화 비트스트림을 생성하고, IDR 픽처를 설정하기 위한 제 2 설정 정보를 생성하는 송신단계; 상기 외부장치에 의해 생성된 상기 제 2 설정정보를 상기 외부장치로부터 수신하는 수신단계; 및 상기 설정정보 생성단계에서 생성된 상기 제 1 설정정보에 따라서 IDR 픽처를 설정하도록 상기 부호화 단계를 제어하고, 상기 수신단계에서 수신된 상기 제 2 설정정보에 따라서 또 다른 IDR 픽처를 설정하도록 상기 부호화 단계를 제어하는 부호화 제어단계를 구비한, 동화상 부호화 방법을 제공한다.
본 발명의 제 5 국면에서는, 동화상 부호화장치의 동화상 부호화방법으로서, 피사체 상을 촬상하는 촬상부에서 입력되는 동화상 데이터를, 프레임간 예측을 사용해서 부호화하고, 부호화 비트스트림을 생성하는 단계; 네트워크를 거쳐서 그룹화된 외부의 동화상 부호화장치에/로부터 부호화 설정 정보를 송/수신하는 단계; 및 상기 송/수신하는 단계에서 송/수신된 상기 부호화 설정 정보에 의거하여, 상기 외부의 동화상 부호화 장치에서 행해진 기준 프레임의 설정에 따라, 상기 부호화하는 단계에서 생성된 상기 부호화 비트스트림중에 기준 프레임을 설정하도록 제어하는 단계를 포함하는, 동화상 부호화방법을 제공한다.
본 발명의 제 6 국면에서는, 동화상 부호화장치의 동화상 부호화방법으로서, 피사체 상을 촬상하는 촬상부에서 입력되는 동화상 데이터를, 프레임간 예측을 사용해서 부호화하고, 부호화 비트스트림을 생성하는 단계; 네트워크를 거쳐서 그룹화된 외부의 동화상 부호화장치에/로부터 부호화 설정 정보를 송/수신하는 단계; 및 상기 송/수신하는 단계에서 송/수신된 상기 부호화 설정 정보에 의거하여, 상기 외부의 동화상 부호화 장치에서 설정된 화질에 따라, 상기 부호화 하는 단계에서 생성된 상기 부호화 비트스트림의 화질을 조정하는 단계를 포함하는, 동화상 부호화방법을 제공한다.
본 발명의 제 7 국면에서는, 동화상 부호화장치의 컴퓨터를, 피사체 상을 촬상하는 촬상부에서 입력되는 동화상 데이터를, 프레임간 예측을 사용해서 부호화하고, 부호화 비트스트림을 생성하는 부호화부; 상기 부호화부에서 행해진 부호화 처리에 대한 설정을 행하는 설정부; 상기 설정부에 의해 작성된 설정 정보를 외부의 동화상 부호화장치에 송신하는 송신부; 상기 외부의 동화상 부호화장치로부터 송신된 부호화처리에 대한 설정 정보를 수신하는 수신부; 및 상기 설정부에 의해 이루어진 제1의 설정과, 상기 수신부에 의해 수신한 설정 정보에 근거한 제2의 설정에 따라서, 상기 부호화부에서 행해진 부호화처리를 제어하는 부호화 제어부로서 기능시키기 위한 컴퓨터 실행 가능한 명령어들을 갖는, 컴퓨터 판독 가능한 기억 매체를 제공한다.
본 발명의 제 8 국면에서는, 동화상 부호화장치의 컴퓨터를, 피사체 상을 촬상하는 촬상부에서 입력되는 동화상 데이터를, 프레임간 예측을 사용해서 부호화하고, 부호화 비트스트림을 생성하는 부호화부; 네트워크를 거쳐서 그룹화된 외부의 동화상 부호화장치에/로부터 부호화 설정 정보를 송/수신하는 송/수신부; 및 상기 송/수신부에 의해 송/수신된 상기 부호화 설정 정보에 의거하여, 상기 외부의 동화상 부호화 장치에서 행해진 기준 프레임의 설정에 따라, 상기 부호화부에서 생성된 부호화 비트스트림중에 기준 프레임을 설정하도록 제어하는 부호화 제어부로서 기능시키기 위한 컴퓨터 실행 가능한 명령어들을 갖는, 컴퓨터 판독 가능한 기억 매체를 제공한다.
본 발명의 제 9 국면에서는, 동화상 부호화장치의 컴퓨터를, 피사체 상을 촬상하는 촬상부에서 입력되는 동화상 데이터를, 프레임간 예측을 사용해서 부호화하고, 부호화 비트스트림을 생성하는 부호화부; 네트워크를 거쳐서 그룹화된 외부의 동화상 부호화장치에/로부터 부호화 설정 정보를 송/수신하는 송/수신부; 및 상기 송/수신부에 의해 송수신된 상기 부호화 설정 정보에 의거하여, 상기 외부의 동화상 부호화 장치에서 설정된 화질에 따라, 상기 부호화부에서 생성된 상기 부호화 비트스트림의 화질을 조정하는 부호화 제어부로서 기능시키기 위한 컴퓨터 실행 가능한 명령어들을 갖는, 컴퓨터 판독 가능한 기억 매체를 제공한다.
본 발명의 또 다른 특징들은 (첨부된 도면들을 참조하여) 아래의 예시적 실시예들의 설명으로부터 명백해질 것이다.
도 1은 본 발명의 제1의 실시예에 따른 촬상장치의 구성 예를 나타내는 블럭도다.
도 2는 본 발명의 제1의 실시예에 따른 촬상장치의 카메라부의 구성 예를 나타내는 블럭도다.
도 3은 본 발명의 제1의 실시예에 따른 촬상장치의 부호화부의 구성 예를 나타내는 블럭도다.
도 4는 본 발명의 실시예에 따른 촬상장치의 기준 프레임 설정 판정부의 구성 예를 나타내는 블럭도다.
도 5는 그룹 촬영의 일례를 도시한 도면이다.
도 6a 및 6b는 촬영 시작, 종료, 및 기준 프레임 설정 버튼 가압에 의한 기준 프레임의 설정의 일례를 도시한 도면이다.
도 7a 및 7b는 카메라 제어 정보 및 씬 체인지에 따른 기준 프레임의 설정의 일례를 나타내는 도면이다.
도 8a 및 8b는 카메라 제어 정보 및 씬 체인지에 따른 기준 프레임의 설정의 다른 예를 도시한 도면이다.
도 9a 및 9b는 피사체 정보에 따른 기준 프레임의 설정의 일례를 도시한 도면이다.
도 10은 본 발명의 제1의 실시예에 따른 촬상장치에 의한 기준 프레임을 설정하는 동작 순서의 일례를 나타내는 흐름도다.
도 11a 내지 11c는 참조 화상의 선택의 예들을 설명하는 도면이다.
도 12a 및 12b는 IDR픽처를 설명하는 도면이다.
도 13은 본 발명의 제2의 실시예에 따른 촬상장치의 구성 예를 나타내는 블럭도다.
도 14는 본 발명의 제2의 실시예에 따른 촬상장치의 카메라부의 구성 예를 나타내는 블럭도다.
도 15는 본 발명의 제2의 실시예에 따른 촬상장치의 부호화부의 구성 예를 나타내는 블럭도다.
도 16은 그룹 촬영의 일례를 도시한 도면이다.
도 17a 내지 17c는 화질 설정 예를 도시한 도면이다.
도 18a 내지 18c는 사전설정(preset) 모드에서의 촬영 씬과 커트 편집의 평균 목표 부호화 비트 레이트의 변화 예를 도시한 도면이다.
도 19a 내지 19d는 동적설정 모드에서의 촬영 씬과 커트 편집의 평균 목표 부호화 비트 레이트의 변화 예를 도시한 도면이다.
도 20은 본 발명의 제2의 실시예에 따른 촬상장치에 의한 화질을 동등하게 하는 동작 순서의 일례를 나타내는 흐름도다.
도 21a 내지 21c는 촬영 씬과 커트 편집의 스트림의 부호화 비트 레이트의 변화 예를 도시한 도면이다.
도 22는 본 발명의 제3의 실시예에 따른 촬상장치의 구성 예를 나타내는 블럭도다.
도 23은 본 발명의 제3의 실시예에 따른 촬상장치의 부호화부의 구성 예를 나타내는 블럭도다.
도 24a 내지 24c는 화질 설정 예를 도시한 도면이다.
도 25a 내지 25c는 사전설정 모드에서의 촬영 씬과 커트 편집의 평균 목표 PSNR의 변화 예를 도시한 도면이다.
도 26a 내지 26d는 동적 설정 모드에서의 촬영 씬과 커트 편집의 평균 목표 PSNR의 변화 예를 도시한 도면이다.
도 27은 본 발명의 제3의 실시예에 따른 촬상장치에 의한 화질을 동등하게 하는 동작 순서의 일례를 나타내는 흐름도다.
(제1의 실시예)
이하, 도면을 참조하여 본 발명의 적합한 실시예들에 관하여 설명한다.
도 1은, 제1의 실시예로서, 본 발명을 실시하는 동화상 부호화장치를 적용한 촬상장치의 기능 구성 예를 나타내는 블록도다. 본 실시예에 따른 촬상장치는, 카메라 제어 정보, 씬 체인지, 피사체정보, 기준 프레임 설정 버튼 등의 가압 등에 따라 기준 프레임이 되는 픽처 타입을 사용하여 부호화하는 장치다. 이하, 본 실시예에 따른 촬상장치의 구성 예에 대해서 도 1을 참조하여 설명한다.
본 실시예에 따른 촬상장치(100)는, 카메라부(101), 부호화부(102), 부호화 스트림 기록부(103), 기준 프레임 설정 판정부(104) 및 기준 프레임 설정 정보 송/수신부(105)를 구비한다.
카메라부(101)는, 피사체 광을 촬상하고, 영상신호와 카메라 제어 정보를 출력한다. 부호화부(102)는, 카메라부(101)로부터 출력된 영상신호를 압축 부호화하고, 부호화 비트스트림을 부호화 스트림 기록부(103)에 출력한다. 부호화 스트림 기록부(103)는, 부호화부(102)로부터 출력된 부호화 비트스트림을 (도면에 나타나 있지 않은) 기억 매체에 기록한다.
또한, 여기서 사용된 부호화 표준안은, H.264표준안등의 프레임간 예측 방식을 이용한 부호화 표준안이며, 이하, H.264표준안을 예로서 설명한다. 보다 상세한 설명에 관해서는 후술하지만, 기준 프레임 설정 판정부(104)는, 부호화부(102)에서 부호화된 프레임을 기준 프레임으로서 부호화하는 것이라고 판정했을 경우에, 기준 프레임 설정 정보를 부호화부(102) 및 기준 프레임 설정 정보 송/수신부(105)에 출력한다. 여기에서, "기준 프레임"이란, 상기 기준 프레임을 뛰어넘는 참조를 금지 함에 의해, 신속히 랜덤 액세스가 가능한 픽처 타입으로 설정된 프레임이다. H.264부호화 표준안에 있어서, "기준 프레임"이란, IDR픽처의 프레임을 말한다.
기준 프레임 설정 정보 송/수신부(105)는, 본 실시예의 촬상장치(100)와 같은 기능을 구비한 것 외의 촬상장치(외부장치)에 및 로부터, 전술한 기준 프레임 설정 정보를 송수신 한다. 구체적으로는, 기준 프레임 설정 정보 송/수신부(105)는, 송신부로서 기능하고, 기준 프레임 설정 판정부(104)로부터 출력되는 기준 프레임 설정 정보를 다른 촬상장치에 대하여 송신한다. 또한, 기준 프레임 설정 정보 송/수신부(105)는, 수신부로서 기능하고, 외부의 다른 촬상장치가 송신한 기준 프레임 설정 정보를 수신하고, 기준 프레임 설정 판정부(104)에 출력한다.
또한, 촬상장치(100)는 (도면에 나타나 있지 않은) 촬영 시작/종료 버튼을 구비하고, 유저는 촬영 시작/종료 버튼을 가압함에 의해 촬영 시작 및 종료를 지시할 수 있다. 또한, 이 촬영 시작/종료 정보는, 전술한 카메라 제어 정보에 포함되는 것으로 한다.
다음에, 카메라부(101), 부호화부(102) 및 기준 프레임 설정 판정부(104)의 구성에 대해서 자세하게 설명한다.
[카메라부(101)]
우선, 카메라부(101)의 구성 예에 대해서, 도 2를 참조하여 상세하게 설명한다. 도 2는, 카메라부(101)의 구성 예를 나타내는 블록도다.
도 2에 나타나 있는 바와 같이, 카메라부(101)는, 렌즈(201), 촬상부(202), A/D(아날로그 대 디지털)변환기(203), 카메라 신호 처리부(204), 진동 검출부(205) 및 카메라 제어부(206)를 가지고 있다. 전술한 바와 같이, 카메라부(101)는, 피사체 광이 입력되면, 영상신호와 카메라 제어 정보를 출력한다.
다음에, 카메라부(101)에서 행해진 동작에 관하여 설명한다.
도 2에 있어서, 렌즈(201)는, 피사체 광을 촬상부(202)에 이끈다. 또한, 렌즈(201)는, 후술하는 카메라 제어부(206)로부터 출력되는 제어신호에 따라서 줌 동작이나 초점 조정 동작등을 행한다. 촬상부(202)는, CCD, CMOS등을 사용해서 피사체를 촬상하고, 그 얻어진 피사체 상(image)을 전기신호로 변환해서 A/D변환기(203)에 출력한다. A/D변환기(203)는, 아날로그 신호를 디지털 신호로 변환한다.
카메라 신호 처리부(204)는, A/D변환기(203)에서 출력된 디지털 신호에 대하여, γ보정, 화이트 밸런스 보정 등의 처리를 행하고, 그 결과 얻어진 영상신호를 부호화부(102)에 출력한다. 진동 검출부(205)는, 자이로(gyro) 센서 등을 사용한 기지의 시스템을 이용해서 촬상장치(100)의 진동을 검출 함에 의해, 촬상장치(100) 본체의 팬(pan)/틸트뿐만 아니라 움직임 블러(blur)도 검출한다. 카메라 제어부(206)는, 카메라부(101) 전체를 제어해서, 카메라 제어 정보를 기준 프레임 설정 판정부(104)에 출력한다. 이 카메라 제어 정보에는, 전술한 카메라부(101)를 구성하는 모듈의 제어 데이터가 포함된다. 또한, 움직임 블러와 촬상장치(100) 본체의 팬/틸트는, 카메라 신호 처리부(204)에 의해 특정 프레임과 그 직전 프레임과의 화소 차분값을 평가 함에 의해 검출하여도 좋다.
[부호화부(102)]
다음에, 부호화부(102)의 구성 예에 대해서, 도 3을 참조하여 상세하게 설명한다. 도 3은, 부호화부(102)의 구성 예를 나타내는 블럭도다.
도 3에 나타나 있는 바와 같이, 부호화부(102)는, 프레임 재배열부(301), 감산기(302), 정수변환부(303), 양자화부(304), 엔트로피 부호화부(305), 역양자화부(306), 역정수변환부(307) 및 가산기(308)를 가지고 있다. 또한, 부호화부(102)는, 제1의 프레임 메모리(309), 제2의 프레임 메모리(313), 인트라(intra) 예측부(310), 제1의 스위치(311) 및 제2의 스위치(317)를 가지고 있다. 추가로, 부호화부(102)는, 디블록킹 필터(312), 인터(inter) 예측부(314), 움직임 검출부(315) 및 픽처 타입 제어부(316)를 가지고 있다. 부호화부(102)는, 입력된 영상신호를 분할 함에 의해 블록을 생성하고, 블록 단위로 부호화 처리를 행해서, 그 결과로 얻어진 부호화 비트스트림을 부호화 스트림 기록부(103)에 출력한다.
다음에, 부호화부(102)에서 행해진 부호화처리에 관하여 설명한다.
도 3에 있어서, 프레임 재배열부(301)는, 표시순으로 입력된 영상신호를 부호화순으로 재배열한다. 감산기(302)는, 입력 화상 데이터로부터 예측 화상 데이터를 감산해서 잔상 데이터를 정수변환부(303)에 출력한다. 또한, 예측 화상 데이터의 생성에 관해서는 후술한다.
정수변환부(303)는, 감산기(302)로부터 출력된 잔상 데이터를 직교변환해서 그 결과 얻어진 변환 계수를 양자화부(304)에 출력한다. 양자화부(304)는, 정수변환부(303)에서 출력된 변환 계수를 소정의 양자화 파라미터를 사용해서 양자화한다. 엔트로피 부호화부(305)는, 양자화부(304)에서 양자화된 변환 계수를 입력하고, 이것을 엔트로피 부호화해서 그 결과를 부호화 비트스트림으로서 출력한다.
양자화부(304)에서 양자화된 변환 계수는, 전술한 예측 화상 데이터의 생성에 사용된다. 역양자화부(306)는, 양자화부(304)에서 양자화된 변환 계수를 역양자화한다. 역정수변환부(307)는, 역양자화부(306)에서 역양자화된 변환 계수를 역정수변환하고, 복호 잔상 데이터로서 가산기(308)에 출력한다. 가산기(308)는, 역정수변환부(307)에서 출력된 복호 잔상 데이터와, 예측 화상 데이터를 가산하고, 그 결과로 얻어진 재구성 화상 데이터를 출력한다.
가산기(308)로부터 출력된 재구성 화상 데이터는, 제1의 프레임 메모리(309)에 기록된다. 한편, 재구성 화상 데이터에 대하여 디블록킹 필터 처리를 실시하는 경우에는, 디블록킹 필터(312)를 거쳐서 제2의 프레임 메모리(313)에 재구성 화상 데이터가 기록된다. 그렇지만, 디블록킹 필터 처리를 실시하지 않는 경우에는, 디블록킹 필터(312)를 거치지 않고 제2의 프레임 메모리(313)에 재구성 화상 데이터가 기록된다.
제1의 스위치(311)는, 가산기(308)에서 출력된 재구성 화상 데이터에 대하여 디블록킹 필터 처리를 실시하는 것인가 아닌가를 선택하는 선택부로서 기능한다. 재구성 화상 데이터 중에서, 이후의 예측으로 참조되는 가능성이 있는 데이터는, 제1의 프레임 메모리(309) 또는 제2의 프레임 메모리(313)에 임시 기간동안 보존된다.
인트라 예측부(310)는, 제1의 프레임 메모리(309)에 기록된 재구성 화상 데이터를 사용해서 프레임내 예측 처리를 행하여서, 예측 화상 데이터를 생성한다. 한편, 인터 예측부(314)는, 제2의 프레임 메모리(313)에 기록된 재구성 화상 데이터를 사용해서 움직임 검출부(315)에 의해 추정된 움직임 벡터 정보에 근거하는 프레임간 예측 처리를 행하여서, 예측 화상 데이터를 생성한다. 여기에서, 움직임 검출부(315)는, 입력 화상 데이터에 있어서의 움직임 벡터를 추정하고, 그 추정된 움직임 벡터 정보를 엔트로피 부호화부(305) 및 인터 예측부(314)에 각각 출력한다.
픽처 타입 제어부(316)는, 정보의 취득부로서 기능하고, 후술하는 기준 프레임 설정 판정부(104)에 의해 부호화 프레임을 기준 프레임으로 한 것으로 판정되었을 경우에는, 기준 프레임 설정 정보를 취득한다. 그리고, 프레임 설정 정보에 포함된 지시에 따라 프레임의 픽처 타입을 IDR픽처로서 설정한다. 그렇지만, 다른 경우에는, 프레임의 픽처 타입을 부호화 표준안에 따른 픽처 타입(I픽처, P픽처 또는 B픽처)으로 설정한다.
또한, 픽처 타입 제어부(316)는, 부호화 프레임이 기준 프레임이라고 판정되었을 경우에, 해당하는 프레임에 기준 프레임 플래그를 부가하고, 그 프레임의 픽처 타입을 부호화 표준안에 따른 픽처 타입으로 설정해도 좋다. 또한, 부호화 프레임이 기준 프레임이라고 판정되었을 경우에, 해당하는 프레임의 픽처 타입을 I픽처로 설정하고, 해당하는 프레임에 건너뛰기 참조 금지 플래그를 부가해도 좋다. 그 후, 인터 예측부(314)가 해당하는 I픽처를 건너뛰지 않게 하는 참조 관계를 설정해도 된다.
제2의 스위치(317)는, 예측 화상 데이터로서 인트라 예측부(310)에서 생성된 예측 화상 데이터 또는 인터 예측부(314)에서 생성된 예측 화상 데이터의 어느 쪽을 사용하는지를 선택하기 위한 스위치다. 즉, 제2의 스위치(317)는, 인트라 예측 또는 인터 예측의 어느 쪽을 사용하는지를 선택하기 위한 선택부로서 기능한다. 픽처 타입 제어부(316)는, 상기 설정한 픽처 타입에 따라 제2의 스위치(317)를 제어하여서, 인트라 예측부(310)로부터의 출력, 또는 인터 예측부(314)로부터의 출력을 선택한다. 그리고, 선택된 예측 화상 데이터는, 감산기(302) 및 가산기(308)에 출력된다.
[기준 프레임 설정 판정부(104)]
다음에, 기준 프레임 설정 판정부(104)의 구성 예에 대해서, 도 4를 참조하여 상세하게 설명한다. 도 4에 나타나 있는 바와 같이, 기준 프레임 설정 판정부(104)는, 씬 체인지 검출부(401), 피사체 판정부(402), 기준 프레임 설정 버튼(403) 및 기준 프레임 정보 작성 판정부(404)를 가지고 있다. 기준 프레임 설정 판정부(104)는, 예를 들면, 이하의 (1)∼(7)의 정보에 따라, 프레임을 건너뛰는 움직임 참조를 금지하는 건너뛰기 참조 금지 정보(기준 프레임 설정 정보)를 출력한다:
(1) 촬영(기록)의 시작 및 종료;
(2) 촬상장치 자체의 이동(움직임 블러, 팬, 틸트)의 시작 및 종료;
(3) 촬영 조건(화이트 밸런스, 노출, 포커스, 줌 비율)의 변경;
(4) 씬 체인지;
(5) 피사체 정보의 변화;
(6) 기준 프레임 설정 버튼(403)의 가압
(7) 기준 프레임 설정 정보 송/수신부(105)에 있어서의 기준 프레임 설정 정보의 수신 유무.
씬 체인지 검출부(401)는, 카메라부(101)에서 출력된 영상신호의 프레임간의 상관성을 판정함에 의해, 씬 체인지를 검출한다. 그리고, 검출 결과를 기준 프레임 정보 작성 판정부(404)에 전달한다. 프레임간의 상관성은, 예를 들면 프레임간의 화소 차분값에 근거하여 판정된다. 피사체 판정부(402)는, 카메라부(101)에서 출력된 영상신호에 포함된 피사체를 화상인식에 의해 식별한다. 그리고, 이 해석 결과를 기준 프레임 정보 작성 판정부(404)에 전달한다. 화상 인식은, 예를 들면 형상 인식 등의 기지의 방법을 사용해서 피사체를 식별하여, 그 상세한 설명은 생략한다. 이상과 같이, 씬 체인지 검출부(401) 및 피사체 판정부(402)는, 화상해석부로서 기능한다.
기준 프레임 설정 버튼(403)은, 후술하는 기준 프레임의 설정을 유저가 기준 프레임 설정 버튼(403)을 가압 함에 의해, 유저가 원하는 시간에서 기준 프레임의 설정을 행하기 위한 버튼이다. 기준 프레임 정보 작성 판정부(404)는, 기준 프레임을 설정할 것인가 아닌가를 판정하고, 기준 프레임을 설정한다고 판정한 경우에는, 부호화부(102)에서 부호화한 프레임을 기준 프레임으로서 부호화하기 위한 기준 프레임 설정 정보를 작성한다. 그리고, 기준 프레임 설정 정보를 부호화부(102) 및 기준 프레임 설정 정보 송/수신부(105)에 출력한다.
다음에, 기준 프레임 설정 판정부(104)의 동작에 대해서, 도 5∼도 9b를 참조하여 상세하게 설명한다. 도 5는, 세사람의 유저가 각각 본 실시예의 촬상장치(100)를 사용하여, 그룹 촬영을 행하고 있는 상황을 설명하는 도면이다.
도 5에 있어서, 유저중의 한 사람인 유저A는 제1의 촬상장치(100A)를 사용해서 촬영을 행하고, 유저B는 제2의 촬상장치(100B)를 사용해서 촬영을 행하고, 유저C는 제3의 촬상장치(100C)를 사용해서 촬영을 행한다. 제1의 촬상장치(100A), 제2의 촬상장치(100B) 및 제3의 촬상장치(100C)는, 각각의 기준 프레임 설정 정보 송/수신부(105)에 의해, 예를 들면 IE E E 802.11g규격등의 무선통신 네트워크를 거쳐서 기준 프레임 설정 정보를 송/수신한다.
도 6a∼도 9b는, 도 5에 나타나 있는 바와 같은 그룹 촬영을 하고 있는 경우에 행해진 기준 프레임의 설정을 설명하는 도면이다. 우선, 그룹 촬영시에 있어서, 다른 촬상장치의 촬영 시작 및 종료 제어 정보에 따라 기준 프레임을 설정하는 예에 대해서, 도 6a 및 6b를 참조하여 설명한다. 또한, 촬영 시작은, 기록 시작을 바탕으로 판단해도 좋다.
도 6a 및 6b에 나타낸 예에서는, 유저A의 제1의 촬상장치(100A)는, 시각 t1에 촬영을 시작하고, 시각 t6에 촬영을 종료하고 있다. 한편, 유저B의 제2의 촬상장치(100B)는, 시각 t2에 촬영을 시작하고, 시각 t4에 촬영을 종료하고 있다. 끝으로, 유저C의 제3의 촬상장치(100C)는, 시각 t3에 촬영을 시작하고, 시각 t7에 촬영을 종료하고 있다. 한층 더, 유저A의 제1의 촬상장치(100A)의 기준 프레임 설정 버튼(403)은, 시각 t5에서 눌러진다.
우선, 유저A의 제1의 촬상장치(100A)에 있어서의 부호화부(102)가 시각 t2에 있어서 기준 프레임을 설정하는 예에 대해서 도 6a를 참조하여 설명한다.
시각 t2에 있어서, 유저B에 의해 촬영 시작/종료 버튼이 눌러져서 촬영을 시작하면, 유저B의 제2의 촬상장치(100B)에 있어서의 기준 프레임 정보 작성 판정부(404)는, 촬영 시작/종료 버튼이 눌려지는 것에 의거하여 기준 프레임을 설정한다고 판정한다. 그리고, 기준 프레임 설정 정보를, 제2의 촬상장치(100B)의 기준 프레임 설정 정보 송/수신부(105)에 출력한다.
다음에, 기준 프레임 설정 정보 송/수신부(105)에 의해, 유저A의 제1의 촬상장치(100A) 및 유저C의 제3의 촬상장치(100C)에 기준 프레임 설정 정보를 송신한다. 시각 t2에 있어서, 현재 촬영중인 유저A의 제1의 촬상장치(100A)는, 유저B의 제2의 촬상장치(100B)에 의해 송신된 기준 프레임 설정 정보를 기준 프레임 설정 정보 송/수신부(105)에 의해 수신한다.
그리고, 수신한 기준 프레임 설정 정보를 유저A의 제1의 촬상장치(100A)의 기준 프레임 정보 작성 판정부(404)가 입력 함에 의해, 기준 프레임 정보 작성 판정부(404)는 기준 프레임을 설정한다고 판정한다. 그리고, 기준 프레임 설정 정보를 제1의 촬상장치(100A)에 있어서의 부호화부(102)에 출력한다. 그렇게 하면, 유저A의 제1의 촬상장치(100A)에 있어서의 부호화부(102)는, 픽처 타입을 IDR픽처에 설정하여서, 기준 프레임을 설정한다.
한편, 시각 t4에 있어서, 유저B에 의해 촬영 시작/종료 버튼이 눌러져서 촬영을 종료하면, 유저B의 제2의 촬상장치(100B)에 있어서의 기준 프레임 정보 작성 판정부(404)는, 촬영 시작/종료 버튼이 눌러진 것에 의거해 기준 프레임을 설정한다고 판정한다. 그리고, 기준 프레임 설정 정보를 제2의 촬상장치(100B)의 기준 프레임 설정 정보 송/수신부(105)에 출력한다.
그리고, 기준 프레임 설정 정보를 기준 프레임 설정 정보 송/수신부(105)에 의해, 유저A의 제1의 촬상장치(100A) 및 유저C의 제3의 촬상장치(100C)에 기준 프레임 설정 정보를 송신한다. 한편, 시각 t4에 있어서, 현재 촬영중인 유저A의 제1의 촬상장치(100A) 및 유저C의 제3의 촬상장치(100C)는, 유저B의 제2의 촬상장치(100B)에 의해 송신된 기준 프레임 설정 정보를 그들의 각각의 기준 프레임 설정 정보 송/수신부(105)를 거쳐 수신한다.
그리고, 수신한 기준 프레임 설정 정보를 유저A의 제1의 촬상장치(100A) 및 유저C의 제3의 촬상장치(100C)에 있어서의 기준 프레임 정보 작성 판정부(404)가 입력 함에 의해, 기준 프레임 정보 작성 판정부(404)는 기준 프레임을 설정한다고 판정한다. 그리고, 기준 프레임 설정 정보를 각각의 부호화부(102)에 출력한다. 그러면, 유저A의 제1의 촬상장치(100A) 및 유저C의 제3의 촬상장치(100C)에 있어서의 부호화부(102)는, 픽처 타입을 IDR픽처에 설정하여, 기준 프레임을 설정한다.
마찬가지로, 시각 t3에 있어서, 유저C의 제3의 촬상장치(100C)가 촬영을 시작하면, 시각 t3에 있어서 현재 촬영중인 유저A의 제1의 촬상장치(100A) 및 유저B의 제2의 촬상장치(100B)에 있어서의 부호화부(102)가 기준 프레임을 설정한다. 아울러, 시각 t6에 있어서, 유저A의 제1의 촬상장치(100A)가 촬영을 종료하면, 시각 t6에 있어서 현재 촬영중인 유저C의 제3의 촬상장치(100C)에 있어서의 부호화부(102)가 기준 프레임을 설정한다.
다음에, 시각 t5에 있어서, 유저A의 제1의 촬상장치(100A) 및 유저C의 제3의 촬상장치(100C)에 있어서의 부호화부(102)가 기준 프레임을 설정하는 예에 대해서 도 6a를 참조하여 설명한다.
유저A의 제1의 촬상장치(100A)의 기준 프레임 정보 작성 판정부(404)는, 시각 t5에 있어서, 기준 프레임 설정 버튼(403)이 눌러지는 것에 의해 기준 프레임을 설정한다고 판정한다. 그리고, 기준 프레임 설정 정보를 출력한다. 그러면, 유저A의 제1의 촬상장치(100A)에 있어서의 부호화부(102)는, 픽처 타입을 IDR픽처에 설정하여서, 기준 프레임을 설정한다.
동시에, 유저A의 제1의 촬상장치(100A)의 기준 프레임 설정 정보 송/수신부(105)에 의해 유저B의 제2의 촬상장치(100B) 및 유저C의 제3의 촬상장치(100C)에 기준 프레임 설정 정보를 송신한다. 한편, 시각 t5에 있어서, 현재 촬영중인 유저C의 제3의 촬상장치(100C)는, 유저A의 제1의 촬상장치(100A)에 의해 송신된 기준 프레임 설정 정보를 그 자신의 기준 프레임 설정 정보 송/수신부(105)를 거쳐 수신한다.
그리고, 수신한 기준 프레임 설정 정보를 유저C의 제3의 촬상장치(100C)에 있어서의 기준 프레임 정보 작성 판정부(404)가 입력 함에 의해, 기준 프레임 정보 작성 판정부(404)는 기준 프레임을 설정한다고 판정한다. 그리고, 기준 프레임 설정 정보를 제3의 촬상장치(100C)에 있어서의 부호화부(102)에 출력한다. 그러면, 유저C의 제3의 촬상장치(100C)에 있어서의 부호화부(102)는, 픽처 타입을 IDR픽처에 설정하여서, 기준 프레임을 설정한다.
이상과 같이, 다른 촬상장치의 촬영 시작(기록 시작)이나 촬영 종료(기록 종료)시와, 기준 프레임 설정 버튼(403)의 누름시에 기준 프레임을 설정 함에 의해, 기준 프레임으로부터 신속히 재생하거나 기준 프레임을 커트 프레임으로서 사용한 커트 편집을 하거나 하는 것등이 가능해진다.
다음에, 커트 편집에 대해서, 도 6b를 참조하여 설명한다. 도 6b에 나타낸 예는, 유저A, 유저B 및 유저C가 각각의 촬상장치를 사용해서 그룹 촬영하여 편집 후 얻어진 부호화 비트스트림과, 편집을 위해 커트 프레임으로서 사용되는 3개의 부호화 비트스트림에 있어서 기준 프레임을 나타낸다.
도 6b에 나타낸 편집후의 부호화 비트스트림은, 도 6a에 나타낸 시각 tl∼t2의 유저A가 촬영한 영상, 시각 t2∼t4의 유저B가 촬영한 영상, 시각 t4∼t5의 유저A가 촬영한 영상 및 시각 t5∼t7의 유저C가 촬영한 영상을 서로 연결시킨 것이다. 이러한 종류의 커트 편집에 의해, 예를 들면 촬영 시작 또는 촬영 종료시에, 별도의 유저의 영상으로 전환하는 스트림을 작성하는 것이 가능해진다. 추가로, 유저가 기준 프레임 설정 버튼(403)을 가압 함에 의해, 원하는 타이밍에서 다른 유저의 영상으로 전환하는 스트림을 작성할 수 있다.
다음에, 그룹 촬영시에 있어서, 카메라 제어 정보 및 씬 체인지에 따라 기준 프레임을 설정하는 예에 대해서, 도 7a, 7b 및 도 8a, 8b를 참조하여 설명한다. 도 7a 및 도 8a에 나타낸 예에서는, 유저A의 제1의 촬상장치(100A)는, 시각 tl에 촬영을 시작하고, 시각 t9에 촬영을 종료한다. 한편, 유저B의 제2의 촬상장치(100B)는, 시각 t2에 촬영을 시작하고, 시각 t6에 촬영을 종료한다. 끝으로, 유저C의 제3의 촬상장치(100C)는, 시각 t4에 촬영을 시작하고, 시각 tlO에 촬영을 종료한다.
또한, 도 7a에 나타낸 예에서는, 유저A의 제1의 촬상장치(100A)에 있어서, 시각 t5 및 시각 t8에서 씬 체인지가 발생하고, 유저B의 제2의 촬상장치(100)에 있어서, 시각 t3에서 화이트 밸런스의 설정 값을 변경한다. 유저C의 제3의 촬상장치(100C)에 있어서, 시각 t7에서 노출의 설정 값을 변경한다. 한편, 도 8a에 나타낸 예에서는, 유저A의 제1의 촬상장치(100A)에 있어서, 시각 t3∼t5의 기간동안에 포커스 조정을 행한다. 유저C의 제3의 촬상장치(100C)에 있어서, 시각 t7∼t8에서 촬영 구도를 변경하기 위해서 제3의 촬상장치(100C)의 방향을 변경시키는 패닝(panning) 동작을 하고 있다. 또한, 포커스 조정 제어 정보, 줌 동작 제어 정보, 화이트 밸런스와 노출 설정 값 등의 화상 처리 제어 정보, 팬/틸트 동작등의 이동 정보, 움직임 블러에 관련된 진동 정보등은, 카메라 제어 정보에 포함된다.
우선, 유저A의 제1의 촬상장치(100A) 및 유저B의 제2의 촬상장치(100B)에 있어서의 부호화부(102)가 시각 t3에 있어서, 기준 프레임을 설정하는 예에 대해서, 도 7a를 참조하여 설명한다.
유저B의 제2의 촬상장치(100B)에 있어서, 시각 t3에서 화이트 밸런스의 설정 값을 변경하면, 제2의 촬상장치(100B)에 있어서의 기준 프레임 정보 작성 판정부(404)는, 화이트 밸런스의 설정 값이 변경된 것에 의거해 기준 프레임을 설정한다고 판정한다. 그리고, 유저B의 제2의 촬상장치(100B)에 있어서의 부호화부(102)는, 픽처 타입을 IDR픽처에 설정하여서, 기준 프레임을 설정한다.
한층 더, 유저B의 제2의 촬상장치(100B)의 기준 프레임 설정 정보 송/수신부(105)에 의해, 유저A의 제1의 촬상장치(100A) 및 유저C의 제3의 촬상장치(100C)에 기준 프레임 설정 정보를 송신한다. 한편, 시각 t3에 있어서, 현재 촬영중인 유저A의 제1의 촬상장치(100A)는, 유저B의 제2의 촬상장치(100B)에 의해 송신된 기준 프레임 설정 정보를 기준 프레임 설정 정보 송/수신부(105)에 의해 수신한다.
그리고, 수신한 기준 프레임 설정 정보를 유저A의 제1의 촬상장치(100A)에 있어서의 기준 프레임 정보 작성 판정부(404)가 입력 함에 의해, 기준 프레임 정보 작성 판정부(404)는 기준 프레임을 설정한다고 판정한다. 그리고, 기준 프레임 설정 정보를 제1의 촬상장치(100A)에 있어서의 부호화부(102)에 출력한다. 그러면, 유저A의 제1의 촬상장치(100A)에 있어서의 부호화부(102)는, 픽처 타입을 IDR픽처에 설정하여서, 기준 프레임을 설정한다.
마찬가지의 순서에 의해, 유저C의 제3의 촬상장치(100C)는, 시각 t7에서 노출의 설정 값을 변경 함에 의해, 유저C의 제3의 촬상장치(100C) 및 시각 t7에 있어서 현재 촬영중인 유저A의 제1의 촬상장치(100A)가 기준 프레임을 설정한다.
다음에, 유저A의 제1의 촬상장치(100A), 유저B의 제2의 촬상장치(100B) 및 유저C의 제3의 촬상장치(100C)에 있어서의 부호화부(102)가 시각 t5에 있어서, 기준 프레임을 설정하는 예에 대해서, 도 7a를 참조하여 설명한다.
우선, 유저A의 제1의 촬상장치(100A)에 있어서의 씬 체인지 검출부(401)가, 시각 t5에 있어서, 씬 체인지를 검출한다. 이에 따라, 유저A의 제1의 촬상장치(100A)에 있어서의 기준 프레임 정보 작성 판정부(404)는, 씬 체인지가 검출된 것에 의거해 기준 프레임을 설정한다고 판정한다. 그리고, 유저A의 제1의 촬상장치(100A)에 있어서의 부호화부(102)는, 픽처 타입을 IDR픽처에 설정하여서, 기준 프레임을 설정한다.
한층 더, 유저A의 제1의 촬상장치(100A)의 기준 프레임 설정 정보 송/수신부(105)에 의해, 유저B의 제2의 촬상장치(100B) 및 유저C의 제3의 촬상장치(100C)에 기준 프레임 설정 정보를 송신한다. 한편, 시각 t5에 있어서, 현재 촬영중인 유저B의 제2의 촬상장치(100B) 및 유저C의 제3의 촬상장치(100C)는, 유저A의 제1의 촬상장치(100A)에 의해 송신된 기준 프레임 설정 정보를 그들 자신의 기준 프레임 설정 정보 송/수신부(105)를 거쳐 수신한다.
그리고, 수신한 기준 프레임 설정 정보를 유저B의 제2의 촬상장치(100B) 및 유저C의 제3의 촬상장치(100C)에 있어서의 기준 프레임 정보 작성 판정부(404)가 입력 함에 의해, 기준 프레임 정보 작성 판정부(404)는 기준 프레임을 설정한다고 판정한다. 그리고, 기준 프레임 설정 정보를 각각의 부호화부(102)에 출력한다. 그러면, 유저B의 제2의 촬상장치(100B) 및 유저C의 제3의 촬상장치(100C)에 있어서의 부호화부(102)는, 픽처 타입을 IDR픽처에 설정하여서, 기준 프레임을 설정한다.
또한, 기준 프레임(IDR픽처)을 설정 함에 의해, 기준 프레임을 건너뛰어서 다른 픽처를 참조하는 것이 금지되기 때문에, 부호화 효율이 저하하는 경우들이 있다. 그 때문에, 기준 프레임을 많이 설정하면 화질이 저하해버릴 우려가 있다. 이에 따라서, 기준 프레임을 설정한 후의 소정 기간동안에는, 기준 프레임의 설정을 금지해도 좋다.
예를 들면, 유저A의 제1의 촬상장치(100A)에 있어서의 씬 체인지 검출부(401)는, 시각 t8에 있어서, 씬 체인지를 검출한다. 그렇지만, 유저A의 제1의 촬상장치(100A)에 있어서의 기준 프레임 정보 작성 판정부(404)는, 이전의 기준 프레임이 시각 t7에서 설정된 이래로 소정 시간이 경과하지 않고 있으므로, 기준 프레임을 설정하지 않는다고 판정한다. 따라서, 유저A의 제1의 촬상장치(100A)에 있어서의 부호화부(102)는, 부호화 표준안에 준거한 픽처 타입에 근거하여 부호화를 행한다. 또한, 유저A의 제1의 촬상장치(100A)에 있어서의 기준 프레임 설정 정보 송/수신부(105)는, 기준 프레임 설정 정보를 송신하지 않도록 한다.
이상과 같이, 촬영 조건의 변경이나 씬 체인지의 검출에 따라 기준 프레임을 설정 함에 의해, 기준 프레임으로부터 신속히 재생시작하거나, 기준 프레임을 커트 프레임으로서 사용하여 커트 편집을 행하거나 하는 것등이 가능해진다.
다음에, 커트 편집에 대해서, 도 7b를 참조하여 설명한다. 도 7b에 나타낸 예는, 유저A, 유저B 및 유저C가 각각의 촬상장치를 사용해서 그룹 촬영하여서 편집한 후 얻어진 부호화 비트스트림과, 편집을 위해 커트 프레임으로서 사용되는 3개의 부호화 비트스트림에서의 기준 프레임을 나타낸다.
예를 들면, 시각 t3 이전에 유저B의 제2의 촬상장치(100B)가 부적절한 화이트 밸런스 값을 설정하였지만, 그 화이트 밸런스 값을 시각 t3에서 적절한 설정 값으로 변경한 것으로 한다. 시간 t3에 있어서 설정한 기준 프레임을 커트 프레임으로 함으로써, 도 7b에 도시된 바와 같이, 적정한 화이트 밸런스를 갖는 영상부분만을 사용한 커트 편집을 행할 수 있다.
마찬가지로, 예를 들면, 시각 t7 이전에 유저C의 제3의 촬상장치(100C)가 부적절한 노출 값을 설정하였지만, 그 노출 설정 값을 시각 t7에서 적절한 설정값으로 변경한 것으로 한다. 시각 t7에 있어서 설정한 기준 프레임을 커트 프레임으로 함으로써, 도 7b에 도시하는 바와 같이, 적정한 노출을 갖는 영상부분만을 사용한 커트 편집을 행할 수 있다.
추가로, 시각 t5에 있어서, 유저A의 제1의 촬상장치(100A)에 있어서의 씬 체인지로 인해 설정한 기준 프레임을 커트 프레임으로 할 수 있다. 이에 따라, 도 7b에서 시각 tl∼t3에 있어서의 유저A의 제1의 촬상장치(100A)에 의해 촬영한 촬영 영상 씬(1)과는 다른 씬(촬영 영상 씬(2))을 도 7b의 시각 t5∼t7에서 연결될 수 있다.
다음에, 유저A의 제1의 촬상장치(100A), 유저B의 제2의 촬상장치(100B) 및 유저C의 제3의 촬상장치(100C)에 있어서의 부호화부(102)가 시각 t3 및 t5에 있어서, 기준 프레임을 설정하는 예에 대해서, 도 8a를 참조하여 설명한다.
유저A의 제1의 촬상장치(100A)에 있어서, 시각 t3에서 포커스 조정을 시작하면, 제1의 촬상장치(100A)에 있어서의 기준 프레임 정보 작성 판정부(404)는, 포커스 조정의 개시에 의거해 기준 프레임을 설정한다고 판정한다. 그리고, 유저A의 제1의 촬상장치(100A)에 있어서의 부호화부(102)는, 픽처 타입을 IDR픽처에 설정하여서, 기준 프레임을 설정한다.
한층 더, 유저A의 제1의 촬상장치(100A)의 기준 프레임 설정 정보 송/수신부(105)에 의해, 유저B의 제2의 촬상장치(100B) 및 유저C의 제3의 촬상장치(100C)에 기준 프레임 설정 정보를 송신한다. 한편, 시각 t3에 있어서, 현재 촬영중인 유저B의 제2의 촬상장치(100B)는, 유저A의 제1의 촬상장치(100A)에 의해 송신된 기준 프레임 설정 정보를 그 자신의 기준 프레임 설정 정보 송/수신부(105)를 거쳐 수신한다.
그리고, 수신한 기준 프레임 설정 정보를 유저B의 제2의 촬상장치(100B)에 있어서의 기준 프레임 정보 작성 판정부(404)가 입력 함에 의해, 기준 프레임 정보 작성 판정부(404)는 기준 프레임을 설정한다고 판정한다. 그리고, 기준 프레임 설정 정보를 제2의 촬상장치(100B)에 있어서의 부호화부(102)에 출력한다. 그러면, 유저B의 제2의 촬상장치(100B)에 있어서의 부호화부(102)는, 픽처 타입을 IDR픽처에 설정하여서, 기준 프레임을 설정한다.
한편, 유저A의 제1의 촬상장치(100A)에 있어서, 시각 t5에서 포커스조정을 종료하면, 유저A의 제1의 촬상장치(100A)에 있어서의 기준 프레임 정보 작성 판정부(404)는, 포커스 조정이 종료된 것에 의거해 기준 프레임을 설정한다고 판정한다. 그리고, 유저A의 제1의 촬상장치(100A)에 있어서의 부호화부(102)는, 픽처 타입을 IDR픽처에 설정하여서, 기준 프레임을 설정한다.
한층 더, 유저A의 제1의 촬상장치(100A)의 기준 프레임 설정 정보 송/수신부(105)에 의해, 유저B의 제2의 촬상장치(100B) 및 유저C의 제3의 촬상장치(100C)에 기준 프레임 설정 정보를 송신한다. 한편, 시각 t5에 있어서, 현재 촬영중인 유저B의 제2의 촬상장치(100B) 및 유저C의 제3의 촬상장치(100C)는, 유저A의 제1의 촬상장치(100A)에 의해 송신된 기준 프레임 설정 정보를 그 자신의 기준 프레임 설정 정보 송/수신부(105)를 거쳐 수신한다.
그리고, 수신한 기준 프레임 설정 정보를 유저B의 제2의 촬상장치(100B) 및 유저C의 제3의 촬상장치(100C)에 있어서의 기준 프레임 정보 작성 판정부(404)가 입력 함에 의해, 기준 프레임 정보 작성 판정부(404)는 기준 프레임을 설정한다고 판정한다. 그리고, 기준 프레임 설정 정보를 각각의 부호화부(102)에 출력한다. 그러면, 유저B의 제2의 촬상장치(100B) 및 유저C의 제3의 촬상장치(100C)에 있어서의 부호화부(102)는, 픽처 타입을 IDR픽처에 설정하여서, 기준 프레임을 설정한다.
마찬가지의 순서에 의해, 유저C의 제3의 촬상장치(100C)에 있어서, 시각 t7에서 팬 동작을 시작하고, 이 때문에, 유저C의 제3의 촬상장치(100C) 및 시각 t7에 있어서 현재 촬영중인 유저A의 제1의 촬상장치(100A)에서 기준 프레임을 설정한다. 또한, 유저C의 제3의 촬상장치(100C)에 있어서, 시각 t8에서 팬 동작을 종료하고, 이 때문에, 유저C의 제3의 촬상장치(100C) 및 시각 t8에 있어서 현재 촬영중인 유저A의 제1의 촬상장치(100A)에서 기준 프레임을 설정한다.
또한, 전술한 예에서는, 포커스 조정 및 팬 동작에 관하여 설명을 했지만, 포커스 조정이나 팬 동작뿐만아니라, 줌 동작, 진동 검출부(205)에서 검출하는 틸트 동작과 움직임 블러 등의 경우에서도 같다. 또한, 기준 프레임 정보 작성 판정부(404)는, 패닝 및 틸트의 이동 속도와 줌 속도가 어떤 임계값보다도 큰 경우에만, 기준 프레임을 설정하도록 판정해도 좋다.
이상과 같이, 카메라 제어 정보 및 씬 체인지에 따라 기준 프레임을 설정함에 의해, 기준 프레임으로부터 신속히 재생 시작하거나, 기준 프레임을 커트 프레임으로서 사용한 커트 편집을 하거나 하는 것등이 가능해진다.
다음에, 커트 편집에 대해서, 도 8b를 참조하여 설명한다. 도 8b에 나타낸 예는, 유저A, 유저B 및 유저C가 각각의 촬상장치를 사용해서 그룹 촬영하여서 편집한 후 얻어진 부호화 비트스트림과, 편집을 위해 커트 프레임으로서 사용되는 3개의 부호화 비트스트림에서의 기준 프레임을 나타낸다.
도 8a에 나타낸 시각 t2∼t3의 기간에서는, 유저A의 제1의 촬상장치(100A)가 포커스 조정을 행하고 있기 때문에, 시각 t2∼t3의 기간동안에 유저A의 제1의 촬상장치(100A)에서 촬영한 영상은, 합초하지 않고 흐리다. 이에 따라서, 도 8a의 시각 t3 및 시각 t5에 설정한 기준 프레임을 커트 프레임이라고 한다. 이에 따라 도 8b에 나타낸 시각 t3∼t5의 기간에서는, 유저A의 제1의 촬상장치(100A)에서 촬영한 흐린 영상과는 다른 영상(예를 들면유저B의 영상)을 연결하는 것이 가능하다.
마찬가지로, 도 8a에서의 시각 t7∼t8의 기간에서는, 유저C의 제3의 촬상장치(100C)가 팬 동작을 행하고 있다. 이 때의 팬 동작의 속도가 높으면, 촬영 영상은 불규칙하게 되어, 시청자가 피사체를 인식하는 것이 곤란한 영상이 되어버린다. 이에 따라서, 도 8a의 시각 t7 및 시각 t8에 있어서 설정한 기준 프레임을 커트 프레임이라고 한다. 이에 따라 도 8b에 나타낸 시각 t7∼t8의 기간에서는 유저C의 제3의 촬상장치(100C)에서 촬영한 불규칙한 영상과는 다른 영상(예를 들면, 유저A의 영상)을 연결하는 것이 가능하다.
다음에, 그룹 촬영시에 있어서, 피사체 정보에 따라 기준 프레임을 설정하는 예에 대해서 도 9a 및 9b를 참조하여 설명한다. 도 9a에 나타낸 예에서는, 유저A의 제1의 촬상장치(100A)가, 시각 tl에 촬영을 시작하고, 시각 t9에 촬영을 종료한다. 한편, 유저B의 제2의 촬상장치(100B)는, 시각 t2에 촬영을 시작하고, 시각 t6에 촬영을 종료한다. 끝으로, 유저C의 제3의 촬상장치(100C)는, 시각 t4에 촬영을 시작하고, 시각 tlO에 촬영을 종료한다.
한층 더, 유저A의 제1의 촬상장치(100A)는, 시각 tl∼t3의 기간동안, 피사체(1)를 촬영하고, 시각 t3∼t7의 기간동안은, 피사체(2)를 촬영하고, 시각 t7∼t9의 기간동안, 피사체(3)를 촬영한다. 또한, 유저B의 제2의 촬상장치(100B)는, 시각 t2∼t5의 기간동안, 피사체(4)를 촬영하고, 시각 t5∼t6의 기간동안에는, 피사체(1)를 촬영한다. 끝으로, 유저C의 제3의 촬상장치(100C)는, 시각 t4∼t8의 기간동안, 피사체(3)를 촬영하고, 시각 t8∼tlO의 기간동안에는, 피사체(2)를 촬영한다. 또한, 이 피사체들의 판정은, 각각의 촬상장치의 피사체 판정부(402)에 의해 실행된다.
우선, 유저A의 제1의 촬상장치(100A) 및 유저B의 제2의 촬상장치(100B)에 있어서의 부호화부(102)가, 시각 t3에 있어서 기준 프레임을 설정하는 예에 대해서 도 9a를 참조하여 설명한다.
시각 t3에 있어서, 유저A의 제1의 촬상장치(100A)에 있어서 촬영하는 피사체가 피사체(1)로부터 피사체(2)로 변화되면, 제1의 촬상장치(100A)의 기준 프레임 정보 작성 판정부(404)는, 피사체 정보의 변경에 근거한 기준 프레임을 설정한다고 판정한다. 유저A의 제1의 촬상장치(100A)에 있어서의 부호화부(102)는, 픽처 타입을 IDR픽처에 설정하여서, 그 기준 프레임을 설정한다.
한층 더, 유저A의 제1의 촬상장치(100A)의 기준 프레임 설정 정보 송/수신부(105)에 의해, 유저B의 제2의 촬상장치(100B) 및 유저C의 촬상장치(100C)에 기준 프레임 설정 정보를 송신한다. 한편, 시각 t3에 있어서, 현재 촬영중인 유저B의 제2의 촬상장치(100B)는, 유저A의 제1의 촬상장치(100A)에 의해 송신된 기준 프레임 설정 정보를 그 자신의 기준 프레임 설정 정보 송/수신부(105)를 거쳐 수신한다.
그리고, 수신한 기준 프레임 설정 정보를 유저B의 제2의 촬상장치(100B)에 있어서의 기준 프레임 정보 작성 판정부(404)가 입력 함에 의해, 기준 프레임 정보 작성 판정부(404)는 기준 프레임을 설정한다고 판정한다. 그리고, 기준 프레임 설정 정보를 제2의 촬상장치(100B)에 있어서의 부호화부(102)에 출력한다. 그러면, 유저B의 제2의 촬상장치(100B)에 있어서의 부호화부(102)는, 픽처 타입을 IDR픽처에 설정하여서, 기준 프레임을 설정한다.
시각 t5에 있어서, 유저B의 제2의 촬상장치(100B)에서 촬영한 피사체가 피사체(4)로부터 피사체(1)로 변화되는 경우도 같다. 이 경우, 유저B의 제2의 촬상장치(100B), 시각 t5에 있어서 현재 촬영중인 유저A의 제1의 촬상장치(100A) 및 유저C의 제3의 촬상장치(100C)에서는 기준 프레임을 설정한다.
한층 더, 시각 t7에 있어서, 유저A의 제1의 촬상장치(100A)에서 촬영하는 피사체가 피사체(2)로부터 피사체(3)으로 변화되면, 유저A의 제1의 촬상장치(100A) 및 현재 촬영중인 유저C의 제3의 촬상장치(100C)에서는 기준 프레임을 설정한다. 시각 t8에 있어서, 유저C의 제3의 촬상장치(100C)에서 촬영하는 피사체가 피사체(3)로부터 피사체(2)로 변화되면, 유저C의 제3의 촬상장치(100C) 및 현재 촬영중인 유저A의 제1의 촬상장치(100A)에서는 기준 프레임을 설정한다.
이상과 같이, 피사체 정보의 변화에 따라 기준 프레임을 설정 함에 의해, 기준 프레임으로부터 신속히 재생 시작하거나, 기준 프레임을 커트 프레임으로서 사용한 커트 편집을 행하거나 하는 것등이 가능해진다.
다음에, 커트 편집에 대해서, 도 9b를 참조하여 설명한다. 도 9b에 나타낸 예는, 유저A, 유저B 및 유저C가 각각의 촬상장치를 사용해서 그룹 촬영하여 편집한 후 얻어진 부호화 비트스트림과, 편집을 위해 커트 프레임으로서 사용되는 3개의 부호화 비트스트림에서의 기준 프레임을 나타낸다.
도 9b에 나타낸 편집후의 부호화 비트스트림은, 피사체 정보의 변경에 따라 설정되는 기준 프레임을 커트 프레임으로서 사용한다. 도 9b에 나타낸 예에서는, 시각 tl∼t3의 유저A에 의한 영상, 시각 t5∼t6의 유저B에 의한 영상, 시각 t4∼t7의 유저C에 의한 영상, 시각 t7∼t9의 유저A에 의한 영상 및 시각 t2∼t5의 유저B에 의한 영상을 함께 연결시킨다. 이러한 종류의 커트 편집에 의해, 예를 들면 단일의 피사체를 다른 각도로부터 촬영한 영상이 시간적으로 연속하는 부호화 비트스트림을 작성하는 것이 가능해진다.
다음에, 도 10의 흐름도를 참조하여, 그룹 촬영시에 있어서, 기준 프레임을 설정하는 처리에 관하여 설명한다. 도 10은, 본 실시예의 촬상장치(100)에 의한 기준 프레임을 설정하는 처리의 일례를 나타내는 흐름도다.
우선, 단계SlOOl에 있어서, 기준 프레임 설정 판정부(104)는, (도면에 나타나 있지 않은) 조작부재를 통한 유저의 조작에 따라, 그룹 촬영에 참가하는 다른 촬상장치를 촬영 그룹에 등록하여, 그룹을 형성한다. 이 그룹은, 예를 들면 다수의 촬상장치간에, 그룹ID를 공유하여서 형성된다.
다음에, 단계SlO02에 있어서, 기준 프레임 설정 판정부(104)는, (도면에 나타나 있지 않은) 조작부재를 통한 유저의 조작에 따라, 단계S1001에서 형성한 촬영 그룹에 있어서, 적어도 1개의 기준 프레임 설정 조건을 판정한다. 여기에서, "기준 프레임 설정 조건"이란, 기준 프레임 설정 판정부(104)가 기준 프레임의 설정여부를 판정하기 위해 사용된 조건이다. 이것은, 예를 들면, 또 다른 촬상장치의 촬영 시작 또는 종료에 따라 기준 프레임을 설정하는 것을 특정하는 조건, 기준 프레임 설정 버튼(403)의 가압에 따라 기준 프레임을 설정하는 것을 특정하는 조건등이어도 된다.
또한, 선택된 기준 프레임 설정 조건은, 촬영 그룹에 참가하는 다수의 촬상장치(100) 전체에 걸쳐 동일한 것이 바람직하지만, 서로 다른 촬상장치에 의해 서로 다른 기준 프레임 설정 조건을 선택해도 좋다. 또한, 촬영 그룹에 참가하는 다수의 촬상장치 전체에 걸쳐서 기준 프레임 설정 조건이 동일한 경우에는, 1개의 촬상장치에서 기준 프레임 설정 조건을 설정한 후 다른 촬상장치에 송신하여도 된다.
다음에, 단계SlO03에 있어서, 유저에 의한 촬영 시작/종료 버튼의 가압에 따라 카메라부(101)는, 촬영을 시작한다. 또한, 그룹 촬영에 참가하는 다수의 촬상장치가 촬영을 시작 및 종료하는 시간은 동일하거나, 서로 달라도 된다. 그리고, 단계SlO04에 있어서, 기준 프레임 설정 정보 송/수신부(105)는 수신부로서 기능하고, 다른 촬상장치로부터 기준 프레임 설정 정보를 수신한 것인가 아닌가를 판단한다. 이 판단의 결과, 기준 프레임 설정 정보를 수신했을 경우(단계SlO04에서 Y e s)는,, 단계SlO05로 진행되고, 여기서 픽처 타입 제어부(316)는 취득부로서 기능하고, 기준 프레임 설정 정보를 취득한다. 그리고, 부호화부(102)에 의해, 기준 프레임을 설정한다.
한편, 단계SlO04의 판단의 결과, 기준 프레임 설정 정보를 수신하지 않은 경우(단계SlO04에서 N o)는, 단계SlOO6으로 진행된다. 그리고, 단계SlO06에 있어서, 기준 프레임 정보 작성 판정부(404)는 판정부로서 기능하고, 카메라 제어 정보, 영상해석정보 등에 의거하여 기준 프레임을 설정할 것인가 아닌가를 판정한다. 이 판정의 결과, 기준 프레임을 설정하는 경우(단계SlO06에서 Y e s)는, 단계SlO07로 진행되고, 여기서 기준 프레임 정보 작성 판정부(404)는 생성부로서 기능하고, 기준 프레임 설정 정보를 생성한다. 그리고, 기준 프레임 설정 정보 송/수신부(105)는, 송신부로서 기능하고, 그 생성한 기준 프레임 설정 정보를 다른 촬상장치에 송신한다. 다음에, 단계SlOO5에 있어서, 부호화부(102)는, 기준 프레임을 설정한다.
한편, 단계SlO06의 판정의 결과, 기준 프레임을 설정하지 않은 경우(단계SlO06에서 N o)는, 단계SlO08로 진행되고, 여기서 부호화부(102)는, 부호화 표준안에 준거한 픽처 타입을 설정한다. 다음에, 단계SlO09에 있어서, 카메라부(101)는, 촬영이 종료한 것인가 아닌가를 판단한다. 이 판단의 결과, 촬영이 종료하지 않은 경우(단계SlO09에서 N o)는, 단계SlOO4로 되돌아가고, 전술한 단계SlO04∼SlO08의 처리를 반복한다. 그렇지만, 단계SlOO9의 판단의 결과, 촬영이 종료했을 경우(단계SlO09에서 Y e s)는, 그대로 처리를 종료한다.
또한, 상기 흐름도에는 나타내지 않았지만, 예를 들면 "촬영 종료"가 기준 프레임 설정 조건으로서 선택되어 있는 경우, 단계SlO09에서 "Y e s"라고 판정된 경우도, 단계SlO07과 마찬가지로, 기준 프레임 설정 정보가 생성되어서 송신된다.
이상과 같이 본 실시예에 의하면, 촬영/기록 동작, 카메라 제어, 영상해석 등의 촬영 상황에 따라, 자신의 장치와 다른 장치에서 생성된 부호화 비트스트림내에 프레임의 건너뛰기 참조를 금지하기 위한 기준 프레임을 설정한다. 이에 따라, 종래기술과 비교하여, 부호화 효율이 크게 저하하지 않도록 화상을 압축 부호화할 수 있고, 편집에 적합한 부호화 비트스트림을 얻을 수 있다.
(제2의 실시예)
도 13은, 제2의 실시예로서, 본 발명을 구체화하는 동화상 부호화장치를 적용한 촬상장치의 기능 구성 예를 나타내는 블록도다. 본 실시예의 촬상장치는, 또 다른 촬상장치로 촬영되는 영상의 화질과 동등한 화질로 촬영을 행할 수 있다.
촬상장치(10)는, 주된 요소로서, 카메라부(12), 부호화부(14), 부호화 비트스트림 기록부(16), 표시부(18), 화질결정부(20) 및 화질정보 송/수신부(22)를 구비한다.
카메라부(12)는 피사체를 촬상하고, 영상신호를 출력한다. 부호화부(14)는, 카메라부(12)로부터 출력된 영상신호를 압축 부호화한다. 부호화 비트스트림 기록부(16)는, 부호화부(14)에서 출력된 부호화 비트스트림을 기억 매체에 기록한다. 표시부(18)는, 카메라부(12)로부터 출력된 영상신호를 표시하고, 또한 화질의 설정 등을 행하는 메뉴 화면을 표시한다.
화질결정부(20)는, 메뉴 화면을 통해 이루어진 화질설정과, 화질정보송수신부(22)로부터의 화질정보에 따라, 부호화부(14)의 출력 부호화 비트스트림의 화질을 결정한다. 화질정보 송/수신부(22)는, 동등한 기능을 구비한 다른 촬상장치에 및 이 촬상장치로부터 화질정보를 송수신한다. 즉, 화질정보 송/수신부(22)는, 화질결정부(20)에서 출력되는 화질정보를 다른 촬상장치에 송신하고, 다른 촬상장치로부터의 화질정보를 수신하여 화질결정부(20)에 공급한다.
촬상장치(10)는, 유저가 조작 장치(24)의 촬영 시작/종료 버튼을 누를 때마다, 그 영상의 녹화를 시작 및 종료한다.
[카메라부(12)]
도 14는, 카메라부(12)의 개략적인 구성 블럭도를 나타낸다. 렌즈(30)는, 피사체의 광학상을 촬상부(32)에 결상한다. 촬상부(32)는, 렌즈(30)에 의해 형성된 광학상을 전기화상신호로 변환하는 CCD 또는 CMOS식 등의 고체 촬상 센서다. A/D변환기(34)는, 촬상부(32)로부터 출력되는 아날로그 화상신호를 디지털 화상신호로 변환한다. 카메라 신호 처리부(36)는, A/D변환기(34)로부터 출력된 화상 데이터에 노출 조정, γ보정, 화이트 밸런스 및 해상도 변환 등의 처리를 행하고, 규정 형식의 디지털 영상신호를 출력한다.
카메라 제어부(38)는, 화질결정부(20)로부터 출력되는 화상해상도를 나타내는 정보(해상도 정보)에 근거하여, 촬상부(32), A/D변환기(34) 및 카메라 신호 처리부(36)를 제어한다. 카메라 신호 처리부(36)는, 카메라 제어부(38)로부터의 해상도 정보에 근거하여, 영상신호의 해상도를 변환한다. 예를 들면, 해상도 정보가, 고화질(HD, 또는 1920×1080의 해상도) 화상을 나타낼 경우, 카메라 신호 처리부(36)는, HD해상도의 영상신호를 출력한다.
카메라 제어부(38)는, 또한 렌즈(30)의 줌을 제어하고, 카메라 신호 처리부(36)에서 얻어진 화상신호에 의거하여, 렌즈(30)의 포커스를 제어한다.
[부호화부(14)]
도 15는, 부호화부(14)의 개략적인 구성 블럭도를 나타낸다. 여기에서, 부호화 표준안으로서는, 예를 들면 MPEG표준안, H.264표준안등을 사용한다. 부호화부(14)는, 예를 들면, 고화질(HD, 또는 1920×1080해상도)과 표준화질(SD, 또는 720×480해상도)이라고 한 해상도가 다른 2종류의 영상신호를 부호화할 수 있다. 또한, H.264부호화 표준안과 MPEG부호화 표준안의 양쪽 기능을 구비한 경우에, 사용된 부호화 표준안은 해상도에 따라 변경해도 되고, 이에 따라서, 예를 들면, HD영상을 H.264부호화 표준안을 사용하여 부호화하고, SD 영상을 MPEG부호화 표준안을 사용하여 부호화한다.
다음에, 도 15에 나타낸 부호화부(14)의 구성과 동작을 설명한다. 블록 분할부(40)는, 카메라부(12)로부터의 영상신호를 프레임(화면)단위로 소정 사이즈의 블록들로 분할하고, 블록 단위로 화상 데이터를 출력한다. 감산기(42)는, 예측부호화를 적용하지 않는 블록에서는 블록 분할부(40)의 출력 화상 데이터를 그대로 출력하고, 그렇지만, 예측부호화를 적용하는 블록에서는, 감산기(42)는, 블록 분할부(40)의 출력 화상 데이터로부터 예측 값(예측 화상 데이터)을 감산해서 잔여 데이터를 출력한다. 그 예측 화상 데이터의 생성에 관해서는 후술한다.
이산 코사인 변환부(44)는, 감산기(42)로부터 출력 데이터를 이산 코사인 변환(직교변환)하고, 변환 계수를 출력한다. 양자화부(46)는, 이산 코사인 변환부(44)로부터의 변환 계수를 양자화 스케일에 근거해 양자화한다. 양자화 스케일을 변화시킴으로써 양자화 후의 변환 계수값은 크게 변화되고, 그 결과의 부호화 데이터 양이 변화된다. 즉, 양자화 스케일을 변화시킴으로써, 압축율을 제어할 수 있다. 양자화부(46)로부터 출력된 양자화 변환 계수는, 가변길이 부호화부(48)와 역양자화부(52)에 공급된다.
양자화부(46)로부터 출력된 양자화 변환 계수는, 예측 화상 데이터의 생성에 이용된다. 역양자화부(52)는, 양자화부(46)로부터의 양자화된 변환 계수를 역양자화하고, 변환 계수 대표값을 출력한다. 역 이산 코사인 변환부(54)는, 역양자화부(52)로부터의 변환 계수 대표값을 역 이산 코사인 변환한다. 역 이산 코사인 변환부(54)의 출력 데이터는, 예측 부호화를 적용하지 않는 블록에서는, 화상 데이터이며, 예측 부호화를 적용하는 블록에서는, 예측 화상 데이터로부터의 잔여 데이터다. 가산기(56)는, 예측 부호화를 적용하지 않는 블록에서는, 역 이산 코사인 변환부(54)의 출력 데이터를 그대로 출력한다. 그렇지만, 예측 부호화를 적용하는 블록에서는, 가산기(56)는, 역 이산 코사인 변환부(54)의 출력 데이터에, 감산기(42)에서 감산한 그 예측 화상 데이터를 가산한다. 가산기(56)의 출력 데이터는, 국소적으로 복호화된 화상 데이터이며, 재구성 화상 데이터라고 부른다.
프레임 메모리(58)는, 다수의 프레임 분의 화상 데이터를 기억 가능하고, 가산기(56)로부터 출력되는 재구성 화상 데이터 중, 이후의 예측으로 참조될 가능성이 있는 화상 데이터를 일시적으로 기억한다. 움직임 검출부(60)는, 블록 분할부(40)에서 출력된 부호화 대상의 현화상 데이터와, 프레임 메모리(58)에 기억된 참조 화상 데이터와를 대비하고, 현화상 데이터의 움직임 벡터를 추정한다. 움직임 검출부(60)는, 그 추정한 움직임 벡터 정보를 움직임 보상부(62)와 가변길이 부호화부(48)에 공급한다. 움직임 보상부(62)는, 움직임 검출부(60)에 의해 검출된 움직임 벡터에 의거해, 프레임 메모리(58)의 참조 화상 데이터를 움직임 보상하고, 그 결과의 예측 화상 데이터를 감산기(42) 및 가산기(56)에 공급한다.
가변길이 부호화부(48)는, 양자화부(46)로부터의 양자화된 변환 계수를 가변길이 부호화하고, 움직임 검출부(60)로부터의 움직임 벡터 정보와 함께, 부호화 비트스트림을 생성한다. 이 부호화 비트스트림은, 부호화 데이터 양을 제어하기 위해서 일시적으로 출력 버퍼(50)에 보유된 후, 부호화 비트스트림 기록부(16)에 출력된다. 부호화 비트스트림 기록부(16)는, 출력 버퍼(50)로부터의 부호화 비트스트림을 기억 매체에 기록한다.
부호화 데이터 양 제어부(64)는, 화질결정부(20)로부터의 평균 목표 부호화 비트 레이트와, 출력 버퍼(50)로부터의 부호화 데이터 양 정보에 의거하여, 부호화 비트 레이트가 평균 목표 부호화 비트 레이트에 근접하도록 양자화부(46)의 양자화 스케일을 제어한다. 본 실시예에서는, 그 부호화 데이터 양 제어방식은, 화질의 변동이 적은 가변 비트 레이트(VBR)방식으로서 설명하지만, 부호화 데이터 양 제어방식은, 이것에 한정되지 않는다. 마찬가지로, CBR 또는 일정 비트 레이트 방식을 사용하여도 된다.
이후, 도 16, 도 17a-17c, 도 18a-18c, 도 19a-19d 및 도 20을 참조하여, 화질결정부(20)의 작용을 상세하게 설명한다.
도 16에 나타나 있는 바와 같이, 유저A가 촬상장치(10A)를 사용해서 씬A를 SP모드로 녹화하고, 유저B가 촬상장치(10B)를 사용해서 씬B를 ⅩP모드로 녹화했다고 가정한다. 촬상장치(10A, 10B)는, 촬상장치(10)와 같은 구성으로 구성된다. 촬상장치(10A, 10B)는, 각각의 화질정보 송/수신부(22)에 의해, 예를 들면, IEEE 802.11g규격등의 무선통신 네트워크를 거쳐서 화질정보를 송수신한다. 본 실시예에서는 화질정보는, 카메라부(12)로부터 출력되는 영상신호의 화상해상도와, 부호화부(14)의 부호화 데이터 양 제어부(64)에서 사용된 평균 목표 부호화 비트 레이트로 이루어지지만, 화질정보는, 이 조합에 한정되지 않는다. 예를 들면, 카메라 신호 처리부(36)에 의해 행해진 처리로 얻어진, 영상의 색조를 결정하는 화이트 밸런스 정보, 또는, 영상의 밝기를 결정하는 노출 조정 등을 사용하여도 되거나, 이와는 달리, 화질정보는 이들 모든 항목을 포함하여도 된다.
도 17a-17c는, 표시부(18)에 표시된 화질설정 메뉴 화면 예를 나타낸다. 그룹 촬영을 시작하기 전에, 우선, 유저A, B는, 도 17a-17c에 나타나 있는 바와 같은 메뉴 화면으로 화질(해상도와 평균 목표 부호화 비트 레이트)을 설정한다. 본 실시예에서는, 그룹 촬영동안에 각 촬상장치의 화질을 같게 하지만, 어느 항목을 무슨 시점에서 같게 하는(동등하게 하는)가를 선택함으로써, 사전 설정 모드나 동적설정 모드의 2개의 동작 모드 중 하나를 선택하는 것이 가능하다.
사전 설정 모드에서는, 그룹에 속하는 전체 촬상장치의 해상도와 평균 목표 부호화 비트 레이트의 양쪽을 사전에 같은 설정으로 강제한다.
한편, 동적설정 모드에서는, 그룹에 속하는 전체 촬상장치의 해상도를 사전에 같은 설정으로 강제하지만, 평균 목표 부호화 비트 레이트가 자유롭게 설정가능하다. 그렇지만, 그룹에 속하는 또 다른 촬상장치의 촬영 시작(기록 시작)과 종료(기록 종료)에 의거한 일정 기간에 대해 동적으로 각 촬상장치의 평균 목표 부호화 비트 레이트를 또 다른 촬상장치의 그 평균 목표 부호화 비트 레이트로 설정한다. 예를 들면, 어떤 촬상장치가 이미 촬영을 시작하고 그후 또 다른 촬상장치가 촬영을 시작하면, 먼저 촬영을 시작한 촬상장치의 평균 목표 부호화 비트 레이트를 일정 기간, 다른 촬상장치의 평균 목표 부호화 비트 레이트로 설정한다. 또한, 다른 촬상장치가 촬영을 종료하면, 남아서 촬영하고 있는 촬상장치의 화질을 일정 기간, 촬영을 종료한 촬상장치의 화질로 설정한다.
해상도 설정메뉴(70)로 해상도를 설정한다. 카메라부(12)는, 설정된 해상도의 영상신호를 출력한다. 해상도의 설정 값의 예들로서는, HD해상도와 SD해상도가 있다. 도 17a에 나타낸 예에서는, SD해상도로서 설정한다. 도 17b 및 17c에 나타낸 예에서는, HD해상도로서 설정한다.
동등화 설정메뉴(72)에 의해, 영상정보를 그룹 촬영에 참가하는 다른 촬상장치와 동등화할 것인가 아닌가를 설정한다. 이것은, 사전설정 모드와 동적설정 모드 사이에서 선택한다. 기록 모드 설정메뉴(74)를 사용하여, 부호화부(14)의 부호화처리에 의한 압축율을 설정한다. 본 실시예에서는, ⅩP모드, S P모드 또는 L P모드를 설정할 수 있고, 여기서 XP는 가장 낮은 압축율이고, LP는 가장 높은 압축율이다.
한편, 동등화 설정메뉴(72)로 상기 기록 모드를 동등화하는 경우, 사전설정 모드가 설정된다. 예를 들면, 그룹 촬영에 참가하는 촬상장치 중 하나가 주요 촬상장치가 되고, 그 후 다른 촬상장치는, 주요 촬상장치의 화질정보를 받고, 그 화질정보와 같은 화질정보를 설정한다. 이렇게 하여, 그룹 촬영에 참가하는 전체 촬상장치의 화질조건을 사전에 같게 설정할 수 있다. 화질정보를 동등화하는 시간에서는, 촬영 시작전에 그룹 촬영에 참가하는 전체 촬상장치가 모아진 동등화가 일어나도 되거나, 통신 경로를 확보할 수 있으면, 촬영 시작전 촬상장치마다 개별적으로 동등화가 일어나도 된다.
한편, 동등화 설정메뉴(72)로 기록 모드를 동등화하지 않은 경우, 동적설정 모드를 설정한다. 다시 말해, 그룹 촬영에 참가하는 다수의 촬상장치는, 개별적으로 설정되고 일반적으로 다른 화질정보(본 실시예에서는 평균 목표 부호화 비트 레이트가 다르다)를 사용하여 촬영할 수 있다. 그러나, 상기한 바와 같이, 그룹내의 임의의 촬상장치의 촬영 시작 또는 종료에 따라, 촬영중인 다른 촬상장치의 평균 목표 부호화 비트 레이트가 동적으로, 촬영을 시작 또는 종료하는 촬상장치의 평균 목표 부호화 비트 레이트에 일치하도록, 일정 기간, 조정된다.
도 17a에 나타낸 예에서는, 기록 모드를 촬영 그룹에서 동등화하고, Ⅹ P 모드로 설정하고 있다. 도 17b에 나타낸 예에서는, 기록 모드의 동등화는 하지 않고, S P모드로 설정하고 있다. 끝으로, 도 17c에 나타낸 예에서는, 기록 모드의 동등화는 하지 않고, ⅩP모드로 설정하고 있다. 본 실시예에서 설명된 예에서는, 기록 모드가 ⅩP모드일 때의 평균 목표 부호화 비트 레이트를 15Mbps라고 가정한다. 기록 모드가 S P모드일 때의 평균 목표 부호화 비트 레이트를 9Mbps라고 가정한다. 끝으로, 기록 모드가 LP모드일 때의 평균 목표 부호화 비트 레이트를 3Mbps라고 가정한다.
기록 모드를 동등화하는 사전설정 모드에서는, 화질결정부(20)는, 동등화된 기록 모드에 의거하여 평균 목표 부호화 비트 레이트를 결정한다. 부호화부(14)는, 그 평균 목표 부호화 비트 레이트에 의거하여 부호화 비트 레이트를 제어한다. 그렇지만, 기록 모드를 동등화하지 않는 동적설정 모드에서는, 화질결정부(20)는, 촬상장치마다 설정된 기록 모드에 따라 평균 목표 부호화 비트 레이트를 결정하고, 부호화부(14)는, 그 평균 목표 부호화 비트 레이트에 의거하여 부호화 비트 레이트를 제어한다.
이제, 사전설정 모드가 선택되었을 경우에, 각 촬상장치에서의 화질을 동등하게 하는 동작을 상세하게 설명한다. 이것은, 도 17a에 나타낸 예에서 설정되는 사전설정 모드라고 한다.
같은 촬영 그룹에 속하는 촬상장치의 화질결정부(20)는, 촬영 시작전에, 촬영 그룹의 다른 촬상장치의 화질설정과 같은 설정 값이 화질설정으로서 설정되어 있는 것인가 아닌가를 판정한다. 구체적으로는, 미리 설정 화면에서 행한 해상도 및 기록 모드의 설정과 화질정보 송/수신부(22)가 수신한 다른 촬상장치의 화질정보(해상도 및 기록 모드)의 설정과 같은 것인가 아닌가를 판정한다.
만약 그룹 촬영에 참가하는 촬상장치간에 해상도 또는 기록 모드의 설정에 차이가 있으면, 화질설정의 차이를 경고하는 경고 메시지를 표시부(18)에 표시하고, 유저에게 화질설정의 변경을 재촉한다. 이 때, 촬영 그룹의 화질설정을 동시에 표시부(18)에 표시하는 것이 바람직하다. 예를 들면, 그룹 촬영에 참가하는 다수의 촬상장치 중 1대가 S D해상도로 설정되고, 다른 촬상장치가 HD해상도로 설정되어 있는 경우에, 해상도를 S D해상도로 설정하고 있는 촬상장치의 표시부(18)에 상기 경고 메시지와 해상도를 HD해상도로 설정하는 취지를 표시한다.
도 18a-18c는, 사전설정 모드에 있는 촬상장치(10A, 10B)의 촬영 씬과 함께 연결된 씬의 평균 목표 부호화 비트 레이트의 변화 예를 나타내는 모식도다. 도 18a는 촬상장치(10A)의 촬영 상황을 나타낸다. 한편, 도 18b는 촬상장치(10B)의 촬영 상황을 나타낸다. 끝으로, 도 18c는, 촬상장치(10A)에 의해 촬영한 시각 tl∼t2사이의 씬과 t3∼t4사이의 씬의 사이에, 촬상장치(10B)에 의해 촬영한 시각 t2∼t3사이의 씬을 삽입한 결과를 나타낸다. 가로축은 시간을 나타내고, 세로축은, 평균 목표 부호화 비트 레이트를 나타낸다. 예를 들면, 여기서는, 같은 피사체를 촬상장치(10A, 10B)에서 다른 방향 또는 다른 줌 비율로 촬영하고, 이것들의 촬영 씬을 같은 시간축상에서 함께 이어나가고 싶을 경우를 가정하고 있다.
사전설정 모드에서의 화질정보의 동등화에 의해, 촬상장치(10A, 10B) 모두가, S D해상도 ⅩP모드에서의 녹화가 사전에 설정되어 있다. 촬상장치(10A)는, 도 18a에 나타나 있는 바와 같이, 시각 t1으로부터 시각 t4까지, S D해상도 및 ⅩP모드로 촬영을 행한다. 한편, 촬상장치(10B)는, 도 18b에 나타나 있는 바와 같이, 시각 t2로부터 시각 t3까지, S D해상도 및 ⅩP모드로 촬영을 행한다.
촬상장치(10A, 10B)의 해상도 및 기록 모드(평균 목표 부호화 비트 레이트)가 같은 설정으로 되어 있기 때문에, 촬상장치(10A, 10B)에 의해 촬영된 영상의 화질은 필수적으로 동등하다. 따라서, 도 18c에 나타나 있는 바와 같이 접속(splice)이 일어난 후에도, 평균 목표 부호화 비트 레이트가 평탄해져, 재생동안 변환점(transition)(시각 t2의 전후와 t4의 전후)에서 화질의 변화가 분명하지 않다.
다음에, 도 17b 및 도 17c에 나타낸 설정을 달성하기 위해서, 동적설정 모드를 설정했을 경우의, 촬상장치의 화질을 동등화하는 동작을 설명한다.
동적설정 모드에서는, 촬영 그룹에 속하는 각 촬상장치의 유저는, 원하는 기록 모드를 촬상장치에 설정할 수 있다. 그렇지만, 촬영 그룹에 속하는 촬상장치가, 서로의 통신 범위내에 있는 것이 필요하여, 이하의 동작 예에서는, 도 16에 나타낸 촬상장치(10A, 10B)가, 서로의 통신 범위 내에 있다고 가정한다.
도 19a-19d는, 동적설정 모드에 있는 촬상장치(10A, 10B)의 촬영 씬과 함께 연결시킨 씬에서의 평균 부호화 비트 레이트의 변화 예를 나타내는 모식도다. 도 19a는, 촬상장치(10A)의 촬영 상황을 나타낸다. 한편, 도 19b는, 촬상장치(10B)의 촬영 상황을 나타낸다. 도 19c는, 촬상장치(10A, 10B)에 의한 촬영 씬들의 제1의 커트 편집 예를 나타내고, 도 19d는, 제2의 커트 편집 예를 나타낸다. 가로축은 시간을 나타내고, 세로축은 평균 목표 부호화 비트 레이트를 나타낸다.
촬상장치(10A)는, 도 17b에 나타나 있는 바와 같이, 해상도로서 HD해상도로 설정되고, 기록 모드로서 SP모드로 설정되어 있다. 촬상장치(10B)는, 도 17c에 나타나 있는 바와 같이, 해상도로서 HD해상도로 설정되고, 기록 모드로서 ⅩP모드로 설정되어 있다. 촬상장치(10A)는, 도 19a에 나타나 있는 바와 같이, 시각 tl에 촬영을 시작하고, 시각 t6에 촬영을 종료한다. 한편, 촬상장치(10B)는, 도 19b에 나타나 있는 바와 같이, 시각 t2에 촬영을 시작하고, 시각 t1O에 촬영을 종료한다.
도 19a에서, 시각 t1에 있어서, 유저A가 촬상장치(10A)의 촬영 시작/종료 버튼을 눌렀다고 가정한다. 촬상장치(10A)의 화질결정부(20)는, 카메라부(12)에 HD해상도를 지시하고, 부호화부(14)에 평균 목표 부호화 비트 레이트 9Mbps(즉, S P모드)를 지시하고, 그 후 촬영을 시작한다.
도 19b에서, 시각 t2에 있어서, 유저B가 촬상장치(10B)의 촬영 시작/종료 버튼을 눌렀다고 가정한다. 촬상장치(10B)의 화질결정부(20)는, 카메라부(12)에 HD해상도를 지시하고, 부호화부(14)에 평균 목표 부호화 비트 레이트 15Mbps를 지시하고, 그 후 촬영을 시작한다. 한층 더, 촬상장치(10B)의 화질정보 송/수신부(22)는, 평균 목표 부호화 비트 레이트 15Mbps를 나타내는 화질정보를, 같은 촬영 그룹의 촬상장치, 이 경우에는 촬상장치(10A)에 송신한다.
촬상장치(10A)의 화질정보 송/수신부(22)는, 촬상장치(10B)로부터 송신된 화질정보를 수신하고, 화질결정부(20)에 공급한다(도 19a의 시각 t2). 화질결정부(20)는, 촬상장치(10B)의 평균 목표 부호화 피트 레이트와 동등해지도록, 서서히 평균 목표 부호화 비트 레이트를 9Mbps로부터 15Mbps까지 증가시킨다. 도 19a의 시각 t3에, 촬상장치(10A)에 있어서의 평균 목표 부호화 비트 레이트가 15Mbps에 도달하였다고 가정한다. 이 후의 소정기간, 다시 말해, 도 19a의 시각 t3로부터 t4까지의 기간동안, 촬상장치(10A)는, 평균 목표 부호화 비트 레이트 15Mbps를 유지한다. 시각 t3로부터 t4까지의 기간동안, 촬상장치(10A)는, 평균 목표 부호화 비트 레이트 15Mbps(ⅩP모드)로 촬영을 하고 있어서, 촬상장치(10A, 10B)가 촬영한 영상의 화질이 동등해진다.
평균 목표 부호화 비트 레이트 유지 기간(도 19a의 시각 t3로부터 t4까지의 기간)의 종료 후, 촬상장치(10A)의 화질결정부(20)는, 평균 목표 부호화 비트 레이트를 서서히 원래의 평균 목표 부호화 비트 레이트로 복귀시킨다. 도 19a에 나타낸 예에서는, 시각 t5에, 평균 목표 부호화 비트 레이트를 원래의 평균 목표 부호화 비트 레이트 9Mbps로 복귀시킨다. 시각 t2∼t4 및 t4∼t5의 기간은, 평균 목표 부호화 비트 레이트의 변화에 의한 화질의 변화를 눈에 뜨이게 하지 않기 위한 완화 기간이다.
도 19a에서, 시각 t6에, 유저A가 촬상장치(10A)의 촬영 시작/종료 버튼을 누르고, 촬영을 종료했다고 가정한다. 이것에 따라, 촬상장치(10A)의 화질정보 송/수신부(22)는, 설정되어 있었던 평균 목표 부호화 비트 레이트(S P모드)를 나타내는 화질정보를 같은 촬영 그룹의 촬상장치, 이 경우에는 촬상장치(10B)에 송신한다. 도 19b에서, 시각 t6에, 촬상장치(10B)의 화질정보 송/수신부(22)는 촬상장치(10A)로부터 화질정보를 수신하여, 화질결정부(20)에 공급한다. 그리고, 촬상장치(10B)의 화질결정부(20)는, 촬상장치(10A)의 화질과 동등해지도록, 서서히 평균 목표 부호화 비트 레이트를 15Mbps로부터 9Mbps로 하강시킨다. 도 19b의 시각 t7에, 촬상장치(10B)에 있어서의 평균 목표 부호화 비트 레이트가 9Mbps가 되었다고 한다. 이 후의 소정기간, 다시 말해, 도 19b의 시각 t7로부터 t8까지의 기간, 촬상장치(10B)는, 평균 목표 부호화 비트 레이트 9Mbps를 유지한다. 시각 t7로부터 t8까지의 기간동안, 촬상장치(10B)는, 평균 목표 부호화 비트 레이트 9Mbps(S P모드)로 촬영을 하고 있어서, 촬상장치(10A, 10B)의 촬영 영상의 화질이 동등하다.
평균 목표 부호화 비트 레이트 유지 기간(도 19b의 시각 t7로부터 t8까지의 기간)의 종료 후, 촬상장치(10B)의 화질결정부(20)는, 평균 목표 부호화 비트 레이트를 서서히 원래의 평균 목표 부호화 비트 레이트로 복귀시킨다. 도 19b에 나타낸 예에서는, 시각 t9에, 평균 목표 부호화 비트 레이트를 원래의 평균 목표 부호화 비트 레이트인 15Mbps로 복귀시킨다. 시각 t6∼t7 및 t8∼t9의 기간은, 시각 t2∼t3 및 t4∼t5의 기간과 같이, 평균 목표 부호화 비트 레이트의 변화에 의한 화질의 변화를 눈에 뜨이게 하지 않기 위한 완화 기간이라고 할 수 있다.
이상과 같이, 본 실시예에서는, 촬영 그룹내의 또 다른 촬상장치가 촬영 시작/종료(또는, 기록 시작/종료)에 따라, 평균 목표 부호화 비트 레이트를 다른 촬상장치와 같은 평균 목표 부호화 비트 레이트로 유지하는 기간과, 그 기간 전후의 완화 기간이 제공된다.
도 19c는, 도 19a, 19b에 나타낸 촬영 씬의 제1의 커트 편집 예를 나타낸다. 가로축은 시간을 나타내고, 세로축은 평균 목표 부호화 비트 레이트를 나타낸다. 도 19c에 나타낸 예에서는, 도 19a에 있어서의 시각 tl∼t3의 촬상장치(10A)의 촬영 씬에, 도 19b에 있어서의 시각 t3∼tlO의 촬상장치(10B)의 촬영 씬을 함께 접속시킨다. 시각 t3에서 일어나는 촬상장치(10A)의 촬영 씬과 촬상장치(10B)의 촬영 씬 사이의 변환점에서는, 촬상장치(10A, 10B)의 화질이 같다. 따라서, 시각 t3의 전후에 있어서, 화질의 차이가 적어진다.
도 19d는, 도 19a, 19b에 나타낸 촬영 씬의 제2의 커트 편집 예를 나타낸다. 가로축은 시간을 나타내고, 세로축은 평균 목표 부호화 비트 레이트를 나타낸다. 도 19d에 나타낸 편집 예에서는, 도 19a에 있어서의 시각 tl∼t6의 촬상장치(10A)의 촬영 씬에, 도 19b에 있어서의 시각 t7∼tlO의 촬상장치(10B)의 촬영 씬을 함께 연결시키고 있다. 촬상장치(10A)의 촬영 씬의 끝(시각 t6)과 촬상장치(10B)의 촬영 씬의 시작(시각 t7)과의 사이의 변환점 또는 시각 t6, t7에 있어서, 그 화질은, 먼저 설명한 화질의 동등화 동작의 결과와 같다. 따라서, 변환점에서의 화질의 차이가 적어진다.
이렇게, 2개의 부호화 비트스트림의 화질이 동등하게 되는 시각 t3∼t4의 기간 또는 시각 t7∼t8의 기간을 커트 편집하기 위한 변환점으로 함으로써, 편집후의 부호화 비트스트림의 변환점에서의 화질의 차이가 감소된다. 이에 따라 재생시의 시청자의 일부에 위화감이 저감될 수 있다.
도 20은, 본 실시예에 따른 화질 동등화 동작을 나타낸 흐름도다. 단계Sl에서, 그룹 촬영을 행하고 싶은 다수의 촬상장치, 즉 10A 및 10B으로 촬영 그룹을 형성한다. 이 그룹은, 예를 들면 다수의 촬상장치(10A, 10B)간에 그룹ID를 공유함에 의해 형성된다. 그리고, 단계S2에서, 각 촬상장치에 있어서, 화질을 설정한다. 다음에, 단계S3에서, 상기 촬상장치들의 화질결정부(20)는, 단계Sl에서 형성한 촬영 그룹 전체에 걸쳐 화질설정이 같은 설정 값인가 아닌가를 판정한다. 이때, 그렇지만, 그 단계S3에서는, 화질설정의 설정 정보 중, 동등화한다고 설정한 것이 같은 설정 값인가 아닌가를 판정한다. 판정된 화질설정이 다르면(단계S3에서 N o), 단계S4에서 그 차이를 나타내는 경고를 하고, 그 후, 단계S2로 되돌아가고, 다시 설정을 유저에게 촉구한다.
그렇지만, 모든 촬상장치에 대한 화질설정이 같은 값이라고 판정된 경우에(단계S3에서 Y e s), 단계S5에서, 촬상장치들은 촬영 및 기록을 시작할 수 있는 상태에 있다. 촬영 시작후, 화질결정부(20)는, 단계S6에 있어서, 화질설정 중 기록 모드를 동등화되도록 설정한 것인가 아닌가를 판정한다. 그 모드들이 동등화를 설정하고 있는 경우(단계S6에서 Y e s)는 사전설정 모드에 해당하여, 촬영 그룹에 속하는 촬상장치들의 화질설정은 같다. 이 경우에, 단계S9로 진행되고, 먼저 설명한 바와 같이, 촬상장치(10)의 각 부는 설정된 기록 모드에 따라서 설정된 평균 목표 부호화 비트 레이트로 영상의 기록을 시작한다.
그렇지만, 화질설정 중 기록 모드를 동등화되게 설정하지 않고 있는 경우(단계S6에서 N o)는, 동적설정 모드를 선택한 것을 가리킨다. 이 경우, 단계S7에서, 화질결정부(20)는, 촬영 그룹에 속하는 다른 촬상장치가 촬영 시작 또는 종료했는지를 판정한다. 그 촬영 그룹에 속하는 다른 촬상장치가 촬영 시작 또는 종료를 판정했을 경우(단계S7에서 Y e s)는, 단계S8에서, 화질결정부(20)는, 먼저 설명한 바와 같이, 부호화부(14)의 평균 목표 부호화 비트 레이트를 다른 촬상장치의 평균 목표 부호화 비트 레이트에 맞춘다. 물론, 평균 목표 부호화 비트 레이트 유지 기간의 전후에 완화 기간을 설치한다. 그리고, 단계S9에서, 촬상장치(10)의 각 부는, 단계S8에서 설정된 평균 목표 부호화 비트 레이트로 영상의 기록을 시작한다. 또한, 촬영 그룹에 속하는 또 다른 촬상장치의 촬영 시작도 촬영 종료도 없으면(단계S7에서 N o), 완화 기간을 제거하고, 촬상장치(10)의 각 부는 단계S2에서 설정된 평균 목표 부호화 비트 레이트로 영상의 기록을 시작한다(단계S9).
다음에, 단계SlO에 있어서, 화질결정부(20)는, 촬영이 종료한 것인가 아닌가를 판단한다. 이 판단의 결과, 촬영이 종료하지 않은 경우(단계SlO에서 N o), 단계S6으로 되돌아가고, 전술한 단계S6∼S9의 처리를 반복한다. 그렇지만, 단계SlO의 판단의 결과, 촬영이 종료한 경우(단계SlO에서 Y e s), 그대로 처리를 종료한다.
본 실시예에 의하면, 유저가 개별적 레벨에서 수동으로 설정하지 않고서, 부호화 비트스트림의 화질을 또 다른 동화상 부호화장치의 화질과 동등하게 할 수 있다. 이에 따라 부호화 비트스트림을 커트 편집했을 경우에 있어서, 영상의 변환점의 전후 기간에 있어서의 화질의 차이가 감소하는 효과가 있다.
해상도를 사전에 공통의 설정 값으로 설정하고, 기록 모드를 사전에 또는 동적으로 설정하는 것을 설명했지만, 대신에 기록 모드를 사전에 같은 모드로 설정하고, 해상도를 사전에 또는 동적으로 설정해도 좋다. 다시 말해, 다수의 요소를 포함하는 화질정보의 1개 이상의 요소를 촬영전에 공통 설정 값으로 설정하고, 나머지의 요소를 사전에 또는 동적으로 설정하여도 좋다.
끝으로, 상기에서는 VBR방식을 이용하는 동화상 부호화장치를 설명했지만, 일정한 비트 레이트 방식의 화상 부호화 표준안을 본 실시예에서 적용하여도 된다. 이러한 경우에, 상기의 설명에 나타낸 "평균 목표 부호화 비트 레이트"를 "부호화 비트 레이트"로 대체하여도 된다.
(제3의 실시예)
도 22는, 제3의 실시예로서, 본 발명을 구체화하는 동화상 부호화장치를 적용한 촬상장치의 기능 구성 예를 나타낸 블록도다. 본 실시예의 촬상장치는, 또 다른 촬상장치에서 촬영된 영상의 화질과 동등한 화질로 영상을 촬영할 수 있다. 도 22에 있어서, 도 13(제2의 실시예)과 같은 구성요소에는 동일한 참조번호를 부착하고, 그 설명을 생략한다. 도 22와 도 13간의 차이는, 카메라부(12)와 화질결정부(20)가 접속되지 않고 있는 것과, 부호화부 14가 부호화부 26으로 대체된 것이다.
[부호화부(26)]
도 23은, 부호화부(26)의 개략적인 구성 블럭도를 나타낸다. 여기에서, 부호화 표준안으로서는, 예를 들면 MPEG 표준안, H.264 표준안을 사용한다.
다음에, 도 23에 나타낸 부호화부(26)의 구성과 동작을 설명한다. 이때, 그렇지만, 도 23에 있어서, 도 15(제2의 실시예에서의 부호화부(14))와 같은 구성요소에는 동일한 참조번호를 부착하고, 그 설명을 생략한다.
부호화부(26)는, 제3의 실시예에 있어서, 양자화부(46)의 양자화 스케일을 변경 함에 의해, 양자화 오차에 의한 화상 열화 정도가 변화된다. 그 때문에, 후술하는 부호화PSNR의 값이 변화되게 된다. 양자화부(46)로부터 출력된 양자화 변환 계수는, 가변길이 부호화부(48)와 역양자화부(52)에 공급된다.
부호화PSNR산출부(68)는, 가산기(56)로부터 출력된 재구성 화상 데이터와, 블록 분할부(40)로부터 출력된 영상신호에 있어서의 부호화PSNR(peak signal-to-noise ratio)을 산출하여, 부호화 데이터 양 제어부(64)에 출력한다. PSNR은, 화상신호와 노이즈와의 비(S/N비)를 의미한다. 그리고, 부호화PSNR은, S/N비에 관련되는 부호화의 설정 정보(파라미터)를 의미하고, 값이 높을수록 화질이 좋다는 것을 가리킨다.
8비트 화상신호의 PSNR의 산출 방법에 대해서 식1을 참조해서 설명한다. 식1에 있어서, Ci는 영상신호의 각 화소값, Di는 재구성 화상의 각 화소값을 나타낸다. N은 PSNR을 산출하는 화소값의 개수다. 본 실시예에서는, 부호화전의 영상신호와 국소적으로 복호화된 재구성 화상 데이터간의 비를 산출하고 있기 때문에, 이 부호화PSNR의 값은, 부호화에 의한 열화 정도를 나타낸다.
Figure 112010060175228-pct00001
--- 식 1
또한, PSNR의 산출에 사용하는 영상신호의 화소값들 및 재구성 화상의 화소값들은, 휘도신호, 색차신호, 또는 양쪽의 신호라고 가정한다.
부호화 데이터 양 제어부(64)는, 부호화PSNR산출부(68)로부터 출력된 부호화PSNR의 값이, 화질결정부(20)로부터의 평균 목표PSNR에 근접하도록 양자화부(46)의 양자화 스케일을 제어한다. 이에 따라, 부호화에 의한 열화 정도가 변화되어, 부호화PSNR이 변화된다.
이후, 도 16, 도 24a-24c, 도 25a-25c, 도 26a-26d 및 도 27을 참조하여, 화질결정부(20)의 동작을 상세하게 설명한다.
도 16에 나타나 있는 바와 같이, 유저A가 촬상장치(10A)를 사용해서 씬A를 녹화하고, 유저B가 촬상장치(10B)를 사용해서 씬B를 녹화한다고 가정한다. 촬상장치(10A, 10B)는, 본 실시예의 촬상장치(10)와 같은 구성으로 된다. 촬상장치(10A, 10B)는, 각각의 화질정보 송/수신부(22)에 의거해, 예를 들면 IEEE802.11g규격등의 무선통신 네트워크를 거쳐서 화질정보를 송수신한다. 본 실시예에서는, 화질정보는 평균 목표PSNR이지만, 화질정보는 이것에 한정되지 않는다. 예를 들면, 대신에, 영상신호와 재구성 화상사이에서의 고주파수 영역 성분의 차이를 사용하여도 된다.
도 24a-24c는, 표시부(18)에 표시된 화질 설정 메뉴 화면 예를 나타낸다. 그룹 촬영을 시작하기 전에, 우선, 유저A, B는, 도 24a-24c에 나타나 있는 바와 같은 메뉴 화면을 사용하여 화질(평균 목표PSNR)을 설정한다. 본 실시예에서는, 그룹 촬영시에, 각 촬상장치의 화질을 같게 하지만, 어느 항목을 어느 시점에서 같게 하는(동등화하는)가를 선택해서, 2개의 동작 모드 중 하나, 즉 사전설정 모드 또는 동적설정 모드를 선택하는 것이 가능하다.
사전설정 모드에서는, 그룹에 속하는 전체 촬상장치의 평균 목표PSNR을 사전에 같은 값으로 설정한다.
그렇지만, 동적설정 모드에서는, 그룹에 속하는 각 촬상장치의 평균 목표PSNR를 자유롭게 설정가능하다. 그렇지만, 그룹에 속하는 또 다른 촬상장치의 촬영 시작(기록 시작)과 촬영 종료(기록 종료)에 의거해 동적으로 각 촬상장치의 평균 목표PSNR를, 일정 기간 또 다른 촬상장치의 평균 목표PSNR로 설정한다. 예를 들면, 특정 촬상장치가 이미 촬영을 시작하고 이후 또 다른 촬상장치가 촬영을 시작하는 경우, 먼저 촬영을 시작한 촬상장치의 평균 목표PSNR를, 일정 기간, 다른 촬상장치의 평균 목표PSNR로 설정한다. 또한, 다른 촬상장치가 촬영을 종료하면, 계속 촬영을 하고 있는 촬상장치의 화질을 일정 기간, 촬영을 종료한 촬상장치의 화질로 설정한다.
동등화 설정메뉴(72)를 사용하여, 영상정보를 그룹에 속하는 다른 촬상장치와 동등화할 것인가 아닌가를 설정한다. 이것은, 사전설정 모드와 동적설정 모드 사이에서 선택한다. 평균 목표PSNR 설정 메뉴(78)에서는, 부호화부(26)에 있어서 부호화PSNR의 목표값을 설정한다.
한편, 동등화 설정메뉴(72)로 평균 목표PSNR를 동등화한 경우에, 사전설정 모드가 설정된다. 예를 들면, 그룹 촬영에 참가하는 촬상장치들 중 하나의 촬상장치가 주요 장치가 되고, 그 후 다른 촬상장치는, 주된 촬상장치의 화질정보를 수신하여, 그 화질정보와 같은 화질정보를 설정한다. 이렇게하여, 그룹 촬영에 참가하는 전체 촬상장치의 화질조건을 사전에 같게 설정할 수 있다. 화질정보를 동등화하는 시각에서는, 촬영 시작전에 그룹 촬영에 참가하는 전체 촬상장치가 모아진 경우에 동등화가 일어나기도 하거나, 통신 경로를 확보할 수 있으면, 촬영 시작전에 촬상장치마다 개별적으로 동등화가 일어나기도 한다.
그렇지만, 동등화 설정메뉴(72)로 평균 목표PSNR를 동등화하지 않은 경우에, 동적설정 모드가 설정된다. 다시 말해, 그룹 촬영에 참가하는 다수의 촬상장치는, 개별적으로 설정되고 일반적으로 다른 화질정보(본 실시예에서는, 평균 목표PSNR이 다르다)를 사용하여 촬영할 수 있다. 그러나, 상기한 바와 같이, 그룹내의 임의의 촬상장치의 촬영 시작 또는 종료에 따라, 촬영중의 다른 촬상장치의 평균 목표PSNR가 동적으로, 촬영을 시작 또는 종료하는 촬상장치의 평균 목표PSNR에 일치하도록, 일정 기간, 조정된다.
도 24a에 나타낸 예에서는, 평균 목표PSNR를 촬영 그룹 전체에 걸쳐 동등화하고, 50dB로 설정하고 있다. 그렇지만, 도 24b에 나타낸 예에서는, 평균 목표PSNR의 동등화는 하지 않고, 3OdB로 설정하고 있다. 끝으로, 도 24c에 나타낸 예에서는, 평균 목표PSNR의 동등화는 하지 않고, 50dB로 설정하고 있다.
평균 목표PSNR를 동등화하는 사전설정 모드에서는, 화질결정부(20)는, 동등화된 평균 목표PSNR에 근거해 평균 목표PSNR를 결정한다. 부호화부(26)는, 부호화PSNR가 그 평균 목표PSNR에 근접하도록 양자화 스케일을 제어한다. 그렇지만, 평균 목표PSNR를 동등화하지 않는 동적설정 모드에서는, 화질결정부(20)는, 촬상장치마다 설정된 평균 목표PSNR에 근거해 평균 목표PSNR를 결정하고, 부호화부(26)는, 부호화PSNR가 그 평균 목표PSNR에 근접하도록 양자화 스케일을 제어한다.
이제, 사전설정 모드가 선택되었을 경우에, 촬상장치의 화질을 동등하게 하는 동작을 상세하게 설명한다. 이것은, 도 24a에 나타낸 예에서 설정되는 사전설정 모드를 참조한다.
같은 촬영 그룹에 속하는 촬상장치들의 화질결정부(20)는, 촬영 시작전에, 촬영 그룹의 다른 촬상장치의 화질설정과 같은 설정 값이 화질 설정으로서 설정되어 있는 것인가 아닌가를 판정한다. 구체적으로는, 미리 설정 화면을 통해 행한 평균 목표PSNR의 설정과 화질정보 송/수신부(22)가 수신한 다른 촬상장치의 화질정보(평균 목표PSNR)의 설정과 같은 것인가 아닌가를 판정한다.
만약 그룹 촬영에 참가하는 촬상장치간에 평균 목표PSNR의 설정에 차이가 있으면, 화질설정의 차이를 경고하는 경고 메시지를 표시부(18)에 표시하고, 유저에게 화질설정의 변경을 재촉한다. 그 때, 촬영 그룹의 화질설정을 동시에 표시부(18)에 표시하는 것이 바람직하다. 예를 들면, 그룹 촬영에 참가하는 다수의 촬상장치 중 1대가 평균 목표PSNR 30dB로 설정되고, 다른 촬상장치가 평균 목표PSNR 50dB로 설정하고 있는 경우, 평균 목표PSNR를 30dB로 설정하고 있는 촬상장치의 표시부(18)에 상기 경고 메시지와 평균 목표PSNR를 50dB로 설정하는 취지를 표시한다.
도 25a-25c는, 사전설정 모드에 있는 촬상장치(10A, 10B)의 촬영 씬과 함께 연결시킨(spliced) 씬의 평균 목표PSNR의 변화 예를 나타낸 모식도다. 도 25a는 촬상장치(10A)의 촬영 상황을 나타낸다. 한편, 도 25b는 촬상장치(10B)의 촬영 상황을 나타낸다. 끝으로, 도 25c는, 촬상장치(10A)에 의해 촬영한 시각 tl∼t2사이의 씬과 t3∼t4사이의 씬과의 사이에, 촬상장치(10B)에 의해 촬영한 시각 t2∼t3사이의 씬을 삽입한 결과를 나타낸다. 가로축은 시간을 나타내고, 세로축은, 평균 목표PSNR을 나타낸다. 예를 들면, 같은 피사체를 촬상장치(10A, 10B)에서 다른 방향 또는 줌비율로 촬영하고, 이것들의 촬영 씬을 같은 시간축상에서 함께 연결하고 싶은 경우를 가정한다.
사전설정 모드에 의한 화질정보의 동등화에 의해, 촬상장치(10A, 10B)는 모두, 평균 목표PSNR 50dB에서의 녹화가 사전 설정되어 있다. 촬상장치(10A)는, 도 25a에 나타나 있는 바와 같이, 시각 tl으로부터 시각 t4까지, 평균 목표PSNR 50dB에서 촬영을 행한다. 또한, 촬상장치(10B)는, 도 25b에 나타나 있는 바와 같이, 시각 t2로부터 시각 t3까지, 평균 목표PSNR 50dB에서 촬영을 행한다.
촬상장치(10A, 10B)의 평균 목표PSNR가 같은 설정으로 되어 있으므로, 촬상장치(10A, 10B)에 의한 촬영 영상의 화질은 필수적으로 동등하다. 따라서, 도 25c에 나타나 있는 바와 같이, 스플라이스가 일어난 후에도 평균 목표PSNR이 평탄해서, 재생시에, 변환점(시각 t2의 전후와 t4의 전후)에서 화질의 차이가 눈에 띄지 않게 된다.
다음에, 도 24b 또는 도 24c에 나타낸 설정을 달성하도록 동적설정 모드를 설정하는 경우에, 촬상장치의 화질을 동등화하는 동작을 설명한다.
동적설정 모드에서는, 촬영 그룹에 속하는 각 촬상장치의 유저는, 원하는 평균 목표PSNR를 촬상장치에 설정할 수 있다. 그렇지만, 촬영 그룹에 속하는 촬상장치는, 서로의 통신 범위 내에 존재할 필요가 있어, 이하의 동작 예에서는, 도 16에 나타낸 촬상장치(10A, 10B)가, 서로의 통신 범위 내에 존재한다고 가정한다.
도 26a-26d는, 동적설정 모드에 있는 촬상장치(10A, 10B)의 촬영 씬과 함께 연결시킨 씬과의 평균 목표PSNR의 변화 예를 나타낸 모식도다. 도 26a는, 촬상장치(10A)의 촬영 상황을 나타낸다. 또한, 도 26b는, 촬상장치(10B)의 촬영 상황을 나타낸다. 도 26c는, 촬상장치(10A)에 의한 촬영 씬과 촬상장치(10B)에 의한 촬영 씬의 제1의 커트 편집 예를 나타내고, 도 26d는, 제2의 커트 편집 예를 나타낸다. 가로축은 시간을 나타내고, 세로축은 평균 목표 부호화 비트 레이트를 나타낸다.
촬상장치(10A)는, 도 24b에 나타나 있는 바와 같이, 30dB로 평균 목표PSNR이 설정되어 있다. 촬상장치(10B)는, 도 24c에 나타나 있는 바와 같이, 50dB로 평균 목표PSNR이 설정되어 있다. 촬상장치(10A)는, 도 26a에 나타나 있는 바와 같이, 시각 t1에 촬영을 시작하고, 시각 t6에 촬영을 종료한다. 또한, 촬상장치(10B)는, 도 26b에 나타나 있는 바와 같이, 시각 t2에 촬영을 시작하고, 시각 tlO에 촬영을 종료한다.
도 26a에서, 시각 tl에 있어서, 유저A가 촬상장치(10A)의 촬영 시작/종료 버튼을 눌렀다고 가정한다. 촬상장치(10A)의 화질결정부(20)는, 부호화부(26)에 평균 목표PSNR 30dB를 지시하고, 그 후 촬영을 시작한다.
또한, 도 26b에서, 시각 t2에 있어서, 유저B가 촬상장치(10B)의 촬영 시작/종료 버튼을 눌렀다고 가정한다. 촬상장치(10B)의 화질결정부(20)는, 부호화부(26)에 평균 목표PSNR 50dB를 지시하고, 그 후 촬영을 시작한다. 한층 더, 촬상장치(10B)의 화질정보 송/수신부(22)는, 평균 목표PSNR 50dB라고 하는 화질정보를, 같은 촬영 그룹의 촬상장치, 이 경우에는 촬상장치(10A)에 송신한다.
촬상장치(10A)의 화질정보 송/수신부(22)는, 촬상장치(10B)에서 송신된 화질정보를 수신하여, 화질결정부(20)에 공급한다(도 26a의 시각 t2). 화질결정부(20)는, 촬상장치(10B)의 평균 목표PSNR과 동등해지도록, 서서히 평균 목표PSNR를 30dB로부터 50dB까지 증가시킨다. 도 26a의 시각 t3에, 촬상장치(10A)에 있어서의 평균 목표PSNR가 50dB가 되었다고 한다. 이 후의 소정기간, 다시 말해, 도 26a의 시각 t3으로부터 t4까지의 기간, 촬상장치(10A)는, 평균 목표PSNR 50dB를 유지한다. 시각 t3으로부터 t4까지의 기간동안, 촬상장치(10A)는, 평균 목표PSNR 50dB에서 촬영을 행하므로, 촬상장치(10A, 10B)의 촬영 영상의 화질이 같다.
평균 목표PSNR 유지 기간(도 26a의 시각 t3으로부터 t4까지의 기간)의 종료 후, 촬상장치(10A)의 화질결정부(20)는, 평균 목표PSNR를 서서히 원래의 평균 목표PSNR로 복귀시킨다. 도 26a에 나타낸 예에서는, 시각 t5에, 원래의 평균 목표PSNR인 30dB로 복귀시킨다. 시각 t2∼t4 및 t4∼t5의 기간은, 평균 목표PSNR의 변화에 의한 화질의 변화를 눈에 뜨이게 하지 않기 위한 완화 기간이다.
도 26a에서, 시각 t6, 유저A가 촬상장치(10A)의 촬영 시작/종료 버튼을 눌러서, 촬영을 종료했다고 가정한다. 이것에 따라, 촬상장치(10A)의 화질정보 송/수신부(22)는, 설정된 평균 목표PSNR(30dB)을 나타낸 화질정보를 같은 촬영 그룹의 촬상장치, 이 경우에는 촬상장치(10B)에 송신한다. 도 26b에서, 시각 t6에, 촬상장치(10B)의 화질정보 송/수신부(22)는 촬상장치(10A)로부터의 화질정보를 수신하여, 화질결정부(20)에 공급한다. 촬상장치(10B)의 화질결정부(20)는, 촬상장치(10A)의 화질과 동등해지도록, 서서히 평균 목표PSNR를 50dB로부터 30dB까지 하강시킨다. 도 26b의 시각 t7에, 촬상장치(10B)에 있어서의 평균 목표PSNR가 30dB가 되었다고 가정한다. 이 후의 소정기간, 다시 말해, 도 26b의 시각 t7로부터 t8까지의 기간, 촬상장치(10B)는, 평균 목표PSNR 30dB를 유지한다. 시각 t7로부터 t8까지의 기간동안에, 촬상장치(10B)는 평균 목표PSNR 30dB에서 촬영을 하고 있으므로, 촬상장치(10A, 10B)가 촬영한 영상의 화질은 같다.
평균 목표PSNR 유지 기간(도 26b의 시각 t7로부터 t8까지의 기간)의 종료 후, 촬상장치(10B)의 화질결정부(20)는, 평균 목표PSNR를 서서히 원래의 평균 목표PSNR로 복귀시킨다. 도 26b에 나타낸 예에서는, 시각 t9에, 평균 목표PSNR를 원래의 평균 목표PSNR인 50dB로 복귀시킨다. 시각 t6∼t7 및 t8∼t9의 기간은, 시각 t2∼t3 및 t4∼t5의 기간과 같이 평균 목표PSNR의 변화에 의한 화질의 변화를 눈에 뜨이게 하지 않기 위한 완화 기간이라고 할 수 있다.
이상과 같이, 본 실시예에서는 촬영 그룹내의 또 다른 촬상장치의 촬영 시작/종료(또는, 기록 시작/종료)하는 경우, 평균 목표PSNR를 상기 다른 촬상장치와 같은 평균 목표PSNR로 유지하는 기간과, 그 기간 전후의 완화 기간이, 설치된다.
도 26c는, 도 26a 및 26b에 나타낸 촬영 씬의 제1의 커트 편집 예를 나타낸다. 가로축은 시간을 나타내고, 세로축은 평균 목표PSNR를 나타낸다. 도 26c에 나타낸 예에서는, 도 26a에 있어서의 시각 tl∼t3의 촬상장치(10A)의 촬영 씬을, 도 26b에 있어서의 시각 t3∼tlO의 촬상장치(10B)의 촬영 씬을 함께 연결시켰다. 시각 t3에 일어나는 촬상장치(10A)의 촬영 씬과 촬상장치(10B)의 촬영 씬과의 사이의 변환점에서는, 촬상장치(10A)와 촬상장치(10B)의 화질이 같다. 따라서, 시각 t3 근처에서, 화질의 차이가 적어진다.
도 26d는, 도 26a 및 26b에 나타낸 촬영 씬의 제2의 커트 편집 예를 나타낸다. 가로축은 시간을 나타내고, 세로축은 평균 목표PSNR를 나타낸다. 도 26d에 나타낸 예에서는, 도 26a에 있어서의 시각 tl∼t6의 촬상장치(10A)의 촬영 씬을, 도 26b에 있어서의 시각 t7∼tlO의 촬상장치(10B)의 촬영 씬을 함께 연결시켰다. 상기 변환점, 즉 촬상장치(10A)의 촬영 씬의 끝(시각 t6)과 촬상장치(10B)의 촬영 씬의 시작(시각 t7) 사이의 시각 t6와 t7에서는, 그 화질이, 먼저 설명한 화질의 동등화 동작의 결과와 같다. 따라서, 변환점에서 화질의 차이가 적어진다.
이렇게, 2개의 부호화 비트스트림의 화질이 동등하게 되는 시각 t3∼t4의 기간 또는 시각 t7∼t8의 기간을 커트 편집할 때의 변환점으로 함으로써, 편집후의 부호화 비트스트림의 변환점의 화질의 차이가 적어진다. 이에 따라 재생시의 일부의 시청자의 위화감이 저감될 수 있다.
도 27은, 본 실시예에 따른 화질동등화 동작을 나타낸 흐름도다. 도 27에 있어서, 도 20(제2의 실시예)과 같은 단계들이 동일한 참조번호 부착하고, 그 설명을 생략한다. 또한, 그렇지만, 단계S2에 있어서 설정된 화질설정에는, 평균 목표PSNR가 포함된다.
단계S5에 있어서의 촬영 시작후, 화질결정부(20)는, 단계S16에 있어서, 화질설정 중 평균 목표PSNR를 동등화되도록 설정한 것인가 아닌가를 결정한다. 그 모드들이 동등화를 설정하고 있는 경우(단계S16에서 Y e s)는, 사전설정 모드에 해당하여, 촬영 그룹에 속하는 촬상장치들의 화질설정은 같다. 따라서, 이 경우에, 단계S19로 진행되고, 먼저 설명한 바와 같이, 촬상장치(10)의 각 부는 설정된 평균 목표PSNR에 따라서 설정된 평균 목표PSNR에서 영상의 기록을 시작한다.
한편, 화질설정 중 평균 목표PSNR을 동등화되도록 설정하지 않고 있는 경우(단계S16에서 N o)는, 동적설정 모드를 선택한 것을 가리킨다. 이 경우, 단계S17에서, 화질결정부(20)는, 촬영 그룹에 속하는 다른 촬상장치가 촬영을 시작 또는 종료했는가를 판정한다. 촬영 그룹에 속하는 다른 촬상장치가 촬영을 시작 또는 종료했다고 판정했을 경우(단계S17에서 Yes)는, 단계S18에서, 화질결정부(20)는, 먼저 설명한 바와 같이, 부호화부(26)의 평균 목표PSNR을 다른 촬상장치의 평균 목표PSNR에 맞춘다. 물론, 평균 목표PSNR 유지 기간의 전후에 완화 기간을 설치한다. 그리고, 단계S19에서, 촬상장치(10)의 각 부는 단계S18에서 설정된 평균 목표PSNR에서 영상의 기록을 시작한다. 또한, 촬영 그룹에 속하는 또 다른 촬상장치의 촬영 시작도 촬영 종료도 없으면(단계S17에서 No), 완화 기간을 제거하고, 촬상장치(10)의 각 부는 단계S2에서 설정된 평균 목표PSNR에서 영상의 기록을 시작한다(단계S19).
다음에, 단계S20에 있어서, 화질결정부(20)는, 촬영이 종료한 것인가 아닌가를 판단한다. 이 판단의 결과, 촬영이 종료하지 않은 경우(단계S20에서 N o)는, 단계S16으로 되돌아가고, 전술한 단계S16∼S19의 처리를 반복한다. 그렇지만, 단계S20의 판단의 결과, 촬영이 종료한 경우(단계S20에서 Yes)는, 그대로 처리를 종료한다.
본 실시예에 의하면, 유저가 개별적 레벨에서 수동으로 설정하지 않고서, 부호화 비트스트림의 화질을 또 다른 동화상 부호화장치의 화질과 동등하게 할 수 있다. 이에 따라 부호화 비트스트림을 커트 편집했을 경우에 있어서, 영상의 변환점의 전후 기간에 있어서의 화질의 차이가 감소하는 효과가 있다.
본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 아주 넓게 해석해야 한다.
본 출원은, 여기서 전체적으로 참고로 포함된 2008년 2월 26일에 출원된 일본특허출원번호 2008-044921와, 2008년 6월 30일에 출원된 일본특허출원번호 2008-169788의 이점을 청구한다.

Claims (30)

  1. 프레임간 예측을 사용해서 촬상된 화상을 부호화하여, 제 1 부호화 비트스트림을 생성하는 부호화 수단;
    IDR 픽처를 설정하기 위한 제 1 설정정보를 생성하는 설정정보 생성수단;
    상기 설정정보 생성수단에 의해 생성된 상기 제 1 설정정보를 외부장치에 송신하는 송신수단으로서, 상기 외부장치는 프레임간 예측을 사용해서 촬상된 화상을 부호하여 제 2 부호화 비트스트림을 생성하고, IDR 픽처를 설정하기 위한 제 2 설정정보를 생성하는 송신수단;
    상기 외부장치에 의해 생성된 상기 제 2 설정정보를 상기 외부장치로부터 수신하는 수신수단; 및
    상기 설정정보 생성수단에 의해 생성된 상기 제 1 설정정보에 따라서 IDR 픽처를 설정하도록 상기 부호화 수단을 제어하고, 상기 수신수단에 의해 수신된 상기 제 2 설정정보에 따라서 또 다른 IDR 픽처를 설정하도록 상기 부호화 수단을 제어하는 부호화 제어수단을 구비한, 동화상 부호화 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제 1 항에 있어서,
    상기 설정정보 생성수단은 촬영 시작, 촬영 종료, 기록 시작, 및 기록 종료 중 적어도 하나가 검출되었을 경우에, 상기 제 1 설정정보를 생성하는, 동화상 부호화 장치.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 동화상 부호화 방법으로서,
    프레임간 예측을 사용해서 촬상된 화상을 부호화하여, 제 1 부호화 비트스트림을 생성하는 부호화 단계;
    IDR 픽처를 설정하기 위한 제 1 설정정보를 생성하는 설정정보 생성단계;
    상기 설정정보 생성단계에서 생성된 상기 제 1 설정정보를 외부장치에 송신하는 송신단계로서, 상기 외부장치는 프레임간 예측을 사용해서 촬상된 화상을 부호하여 제 2 부호화 비트스트림을 생성하고, IDR 픽처를 설정하기 위한 제 2 설정 정보를 생성하는 송신단계;
    상기 외부장치에 의해 생성된 상기 제 2 설정정보를 상기 외부장치로부터 수신하는 수신단계; 및
    상기 설정정보 생성단계에서 생성된 상기 제 1 설정정보에 따라서 IDR 픽처를 설정하도록 상기 부호화 단계를 제어하고, 상기 수신단계에서 수신된 상기 제 2 설정정보에 따라서 또 다른 IDR 픽처를 설정하도록 상기 부호화 단계를 제어하는 부호화 제어단계를 구비한, 동화상 부호화 방법.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 제 1 항에 있어서,
    상기 설정정보 생성수단은 씬(scene) 변화가 검출된 경우에, 상기 제 1 설정정보를 생성하는, 동화상 부호화 장치.
  23. 제 1 항에 있어서,
    상기 설정정보 생성수단은 촬영 조건이 변경된 경우에, 상기 제 1 설정정보를 생성하는, 동화상 부호화 장치.
  24. 제 1 항에 있어서,
    상기 설정정보 생성수단은 소정의 버튼이 눌러진 경우에, 상기 제 1 설정정보를 생성하는, 동화상 부호화 장치.
  25. 제1항, 제6항, 제22항 내지 제24항 중 어느 한 항에 있어서,
    기억매체에 상기 제 1 부호화 비트스트림을 기록하는 기록수단을 더 포함하는, 동화상 부호화 장치.
  26. 제 16 항에 있어서,
    상기 제 1 설정정보는 촬영 시작, 촬영 종료, 기록 시작, 및 기록 종료 중 적어도 하나가 검출되었을 경우에, 상기 설정정보 생성단계에서 생성되는, 동화상 부호화 방법.
  27. 제 16 항에 있어서,
    상기 제 1 설정정보는 씬(scene) 변화가 검출된 경우에, 상기 설정정보 생성단계에서 생성되는, 동화상 부호화 방법.
  28. 제 16 항에 있어서,
    상기 제 1 설정정보는 촬영 조건이 변경된 경우에, 상기 제 1 설정정보 생성단계에서 생성되는, 동화상 부호화 방법.
  29. 제 16 항에 있어서,
    상기 제 1 설정정보는 소정의 버튼이 눌러진 경우에, 상기 설정정보 생성단계에서 생성되는, 동화상 부호화 방법.
  30. 제16항, 제26항 내지 제29항 중 어느 한 항에 있어서,
    기억매체에 상기 제 1 부호화 비트스트림을 기록하는 기록 단계를 더 포함하는, 동화상 부호화 방법.




KR1020107020707A 2008-02-26 2009-02-25 동화상 부호화장치 및 동화상 부호화방법 KR101238227B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2008044921 2008-02-26
JPJP-P-2008-044921 2008-02-26
JPJP-P-2008-169788 2008-06-30
JP2008169788 2008-06-30
PCT/JP2009/054002 WO2009107849A1 (en) 2008-02-26 2009-02-25 Moving image encoding apparatus and moving image encoding method

Publications (2)

Publication Number Publication Date
KR20100126395A KR20100126395A (ko) 2010-12-01
KR101238227B1 true KR101238227B1 (ko) 2013-03-04

Family

ID=41016228

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107020707A KR101238227B1 (ko) 2008-02-26 2009-02-25 동화상 부호화장치 및 동화상 부호화방법

Country Status (6)

Country Link
US (2) US8437395B2 (ko)
EP (1) EP2258114B1 (ko)
JP (1) JP5153674B2 (ko)
KR (1) KR101238227B1 (ko)
CN (1) CN101960856B (ko)
WO (1) WO2009107849A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160147408A (ko) * 2015-06-15 2016-12-23 엘지전자 주식회사 프레임 간 변화량을 이용한 가변 해상도 처리 장치 및 그 제어 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5153674B2 (ja) * 2008-02-26 2013-02-27 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
US10178406B2 (en) 2009-11-06 2019-01-08 Qualcomm Incorporated Control of video encoding based on one or more video capture parameters
US8837576B2 (en) 2009-11-06 2014-09-16 Qualcomm Incorporated Camera parameter-assisted video encoding
KR101331096B1 (ko) * 2012-03-21 2013-11-19 주식회사 코아로직 차량용 영상 기록 장치 및 방법
US9154785B2 (en) * 2012-10-08 2015-10-06 Qualcomm Incorporated Sub-bitstream applicability to nested SEI messages in video coding
JP2015097382A (ja) * 2013-10-08 2015-05-21 キヤノン株式会社 情報処理装置、撮像システム、情報処理方法、及びプログラム
JP6630323B2 (ja) * 2017-08-31 2020-01-15 慎之輔 浅原 動画配信装置、方法、プログラム、動画配信システム
JP7121852B2 (ja) * 2019-02-18 2022-08-18 株式会社日立国際電気 撮像装置
JP2021132305A (ja) * 2020-02-20 2021-09-09 シャープ株式会社 画像符号化装置および画像符号化方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329787A (ja) * 2006-06-09 2007-12-20 Matsushita Electric Ind Co Ltd 画像符号化装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164827A (en) * 1991-08-22 1992-11-17 Sensormatic Electronics Corporation Surveillance system with master camera control of slave cameras
JP2001346201A (ja) * 2000-03-27 2001-12-14 Sony Corp 画像符号化装置とその方法、画像復号化装置とその方法、画像記録装置、画像伝送装置
CN101494791B (zh) * 2001-10-17 2010-12-29 松下电器产业株式会社 动态图像解码方法及装置
US7990422B2 (en) * 2004-07-19 2011-08-02 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
JP4451754B2 (ja) * 2004-10-06 2010-04-14 株式会社タイテック 画像データの記憶方法
JP2006222550A (ja) * 2005-02-08 2006-08-24 Casio Comput Co Ltd 録画システム及び動画記録装置
US8036281B2 (en) * 2005-06-01 2011-10-11 Canon Kabushiki Kaisha Image coding apparatus and image coding method
JP4585919B2 (ja) * 2005-06-01 2010-11-24 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP4795211B2 (ja) * 2005-12-05 2011-10-19 キヤノン株式会社 画像符号化装置、画像符号化装置の制御方法、プログラム並びに記憶媒体
US8155185B2 (en) * 2005-12-05 2012-04-10 Canon Kabushiki Kaisha Image coding apparatus and method
JP5153674B2 (ja) * 2008-02-26 2013-02-27 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
JP5441803B2 (ja) * 2010-04-12 2014-03-12 キヤノン株式会社 動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329787A (ja) * 2006-06-09 2007-12-20 Matsushita Electric Ind Co Ltd 画像符号化装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160147408A (ko) * 2015-06-15 2016-12-23 엘지전자 주식회사 프레임 간 변화량을 이용한 가변 해상도 처리 장치 및 그 제어 방법
KR102391680B1 (ko) * 2015-06-15 2022-04-28 엘지전자 주식회사 프레임 간 변화량을 이용한 가변 해상도 처리 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US20100278233A1 (en) 2010-11-04
US20130163665A1 (en) 2013-06-27
WO2009107849A1 (en) 2009-09-03
CN101960856A (zh) 2011-01-26
EP2258114A4 (en) 2012-06-20
US8824550B2 (en) 2014-09-02
KR20100126395A (ko) 2010-12-01
JP2010035133A (ja) 2010-02-12
US8437395B2 (en) 2013-05-07
CN101960856B (zh) 2013-04-24
EP2258114B1 (en) 2013-10-30
JP5153674B2 (ja) 2013-02-27
EP2258114A1 (en) 2010-12-08

Similar Documents

Publication Publication Date Title
KR101238227B1 (ko) 동화상 부호화장치 및 동화상 부호화방법
US8237815B2 (en) Image processing apparatus, control method therefor, for suppressing deterioration of image quality caused by a foreign substance
US8634458B2 (en) Image processing apparatus
US20100309975A1 (en) Image acquisition and transcoding system
EP1949705B1 (en) Image signal processing apparatus
JP3783238B2 (ja) 撮像システム、画像処理装置、符号化装置、符号化方法及びランダムノイズを除去する方法
US8503855B2 (en) Image processing apparatus, control method therefor, and program
JP4724639B2 (ja) 撮像装置
US20090060039A1 (en) Method and apparatus for compression-encoding moving image
US20130142258A1 (en) Image processing apparatus
US8953055B2 (en) Image pickup apparatus
JP4854580B2 (ja) 画像処理装置
JP2012124653A (ja) 符号化装置、符号化方法およびプログラム
JPH0993537A (ja) ディジタル映像信号記録再生装置及びディジタル映像信号符号化方法
JP3384910B2 (ja) 撮像装置および画像再生装置
JP2007158712A (ja) 画像符号化装置及び画像符号化方法
JP5219678B2 (ja) 撮像装置
WO2011161883A1 (ja) 画像処理装置および画像処理プログラム
JPH0865565A (ja) 撮像記録装置
JP2012178713A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2001148855A (ja) 画像情報変換装置及び画像情報変換方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160121

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180125

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190219

Year of fee payment: 7