KR20060044823A

KR20060044823A - 화상 부호화 방법, 촬상 장치 및 컴퓨터 프로그램

Info

Publication number: KR20060044823A
Application number: KR20050025353A
Authority: KR
Inventors: 세이고 후쿠시마; 마코토 야마다
Original assignee: 소니 가부시끼 가이샤
Priority date: 2004-04-02
Filing date: 2005-03-28
Publication date: 2006-05-16
Also published as: US7630567B2; JP2005295379A; JP4599080B2; KR101114205B1; CN1678075A; CN100544435C; US20050232502A1

Abstract

촬상 화상 내에서 주목 영역을 유저가 용이하게 지정할 수 있고, 지정된 주목 영역과 잔여 영역에서 부호량을 변경한다.

촬상 장치에 있어서, 표시부(102)에 표시된 촬상 화상 내에서, 주목 영역을 지정하는 주목 영역 지정 공정과, 주목 영역의 위치 정보를 획득하는 위치 정보 획득 공정과, 위치 정보에 의거하여 주목 영역의 압축률과 잔여 영역의 압축률을 바꾸어 설정하는 압축률 설정 공정과, 압축률에 의거하여 주목 영역 및 잔여 영역의 각각의 부호화를 실시하는 부호화 공정을 포함하는 화상 부호화 방법을 제공한다.

화상 부호화, 촬상 장치

Description

화상 부호화 방법, 촬상 장치 및 컴퓨터 프로그램{IMAGE CODING METHOD, IMAGING APPARATUS, AND COMPUTER PROGRAM}

도 1은 본 발명의 실시 형태에 관한 촬상 장치를 도시한 설명도.

도 2는 동 실시의 형태에 있어서의 촬상 장치의 구성을 도시한 블록도.

도 3은 동 실시의 형태에 있어서의 화상 부호화 방법을 도시한 타이밍 차트.

도 4는 동 실시의 형태에 있어서의 부호화 대상의 화상을 매크로 블록으로 분할하여 도시한 설명도.

도 5는 동 실시의 형태에 있어서의 매크로 블록의 양자화 방법을 도시한 플로우 차트.

도 6은 동 실시의 형태에 있어서의 매크로 블록의 양자화 방법의 상세를 도시한 플로우 차트.

도 7은 동 실시의 형태에 있어서의 매크로 블록의 양자화 방법의 상세를 도시한 플로우 차트.

도 8은 동 실시의 형태에 있어서의 지정 영역의 결정 방법의 예를 도시한 플로우 차트.

♣부호의 설명♣

100 : 촬상 장치

102 : 표시부

104 : 입력부

200 : 촬상부

224 : 압축부

기술분야

본 발명은 화상 부호화 방법, 촬상 장치 및 컴퓨터 프로그램에 관한 것이다.

종래의 기술

종래의 화상 부호화 방식은 화상중 모든 범위를 일률의 압축률로 압축하고 있고, 한 화상 내의 모든 범위에 있어서 부호량(符號量)은 한결같았다. 그래서, 화상상의 주목하는 범위를 다른 범위와 구별하여 부호화하는 화상 부호화 방법이 제공되었다(예를 들면, 특개평9-284620호 공보 참조).

상기 방법에 의하면, 피사체의 촬상시에 촬상자가 주시하는 범위를 파인더·유닛 등의 시선(視線) 검출 장치에 의해 검출하고, 주시(注視) 범위 내를 다른 부분보다도 저압축률로 압축하여 부호량을 보다 많이 할당할 수 있다.

그러나, 상기 방법에서는, 촬상자는 소망하는 부분의 부호량을 높게 유지하기 위해서는 촬상시에 그 부분에 시점(視點)을 고정하여야 하고, 촬상하고 있는 화 상의 다른 부분에 시선을 옮길 수 없기 때문에, 부호량을 높게 유지하여야 할 다른 부분을 찾는 것이 곤란하다는 문제가 있다.

그래서, 본 발명은 이와 같은 문제를 감안하여 이루어진 것이며, 그 목적으로 하는 바는 촬상 화상 내에서 주목 영역을 유저가 용이하게 지정할 수 있고, 지정된 주목 영역과 잔여 영역에서 부호량을 바꾸는 것이 가능한, 화상 부호화 방법, 촬상 장치 및 컴퓨터 프로그램을 제공하는 데 있다.

상기 과제를 해결하기 위해, 본 발명의 어느 관점에 의하면 표시부에 표시된 촬상 화상 내에서 주목 영역을 지정하는 주목 영역 지정 공정과, 주목 영역의 위치 정보를 획득하는 위치 정보 획득 공정과, 위치 정보에 의거하여 주목 영역의 압축률과 잔여 영역의 압축률을 바꾸어 설정하는 압축률 설정 공정과, 압축률에 의거하여 주목 영역 및 잔여 영역의 각각의 부호화를 실시하는 부호화 공정으로 이루어지는 화상 부호화 방법이 제공된다.

촬상 화상은 동화상 및 정지화상을 포함하고, 표시부는 촬상중의 화상을 거의 실시간으로 표시할 수 있다. 주목 영역은 촬상 화상 내의 잔여 영역과의 사이에서 압축률에 차가 붙여지는 영역으로서 유저가 임의로 지정하는 것이 가능하다. 주목 영역의 위치 정보는 촬상 화상 내에서 주목 영역의 위치를 특정 가능한 정보로서 구체적으로는 예를 들면 좌표 정보 등이다.

상기 발명에 의하면, 촬상중의 화상이 실시간으로 표시되는 표시부의 촬상 화상 내에서 주목 영역이 지정된다. 따라서, 촬상자 등의 유저는 피사체를 촬상하면서 실시간으로 촬상 화상을 확인하고, 주목 영역을 지정할 수 있다. 지정된 주목 영역은 위치 정보에 의해 특정되고, 특정된 주목 영역과 촬상 화상 내의 주목 영역 이외의 잔여 영역에서 다른 압축률이 설정되고, 그 압축률에 의거하여 각각의 영역이 부호화된다. 그 결과, 촬상 화상 내에서 유저가 지정한 주목 영역의 화질을 높게 또는 낮게 할 수 있다.

상기 주목 영역의 압축률은 잔여 영역의 압축률보다도 낮게 설정되어도 좋다. 이러한 구성에 의하면, 주목 영역을 잔여 영역보다도 고화질로 하여 기록, 송신 등을 할 수 있다.

상기 주목 영역의 압축률과 잔여 영역의 압축률은 목표 부호량에 따라 설정되어도 좋다. 목표 부호량은 촬상 화상을 기록 매체에 기록하는 경우나, 외부 I/F를 통하여 다른 컴퓨터 등에 송신하는 경우 등에, 기록 가능 또는 송신 가능한 포맷으로서 정해져 있는 상한 부호량에 의거하여 설정되는 것이다. 이러한 구성에 의하면, 촬상 화상 전체로서 목표 부호량 이하가 되도록 주목 영역과 잔여 영역의 압축률을 설정함에 의해 촬상 화상을 상기 포맷에 적합하게 할 수 있다.

상기 목표 부호량은 촬상 화상의 1프레임에 대해 설정되어도 좋다. 프레임이란, 동화상을 구성하고 있는 프레임 화상이다. 이러한 구성에 의하면, 각 프레임 화상이 목표 부호량 이하가 되도록 각각의 압축률이 설정되기 때문에, 동화상중의 모든 프레임 화상을 거의 같은 부호량으로 할 수 있다.

상기 목표 부호량은, 촬상 화상의 시간 단위에 대해 설정되어도 좋다. 목표 부호량을 시간 단위로 설정한다는 것은, 촬상 화상이 동화상인 경우에 소정 시간마다 목표 부호량을 정하는 것이다. 이러한 구성에 의하면, 소정 시간 내에서 목표 부호량 이하가 되면 좋기 때문에, 프레임 화상 사이에서 다른 부호량을 할당할 수 있다. 따라서, 예를 들면, 부호량을 많이 할당하여야 하는 주목 영역이 많은 프레임 화상과, 적은 프레임 화상이 같은 소정 시간 내에 존재하는 경우에는 주목 영역이 많은 프레임 화상에 보다 많은 부호량을 할당하는 것이 가능해진다.

상기 주목 영역 지정 공정에 있어서, 주목 영역의 지정은 표시부의 가압(加壓)에 의해 행하여지고, 가압력을 검지하는 가압력 검지 공정을 또한 포함하고, 상기 압축률 설정 공정에 있어서, 주목 영역의 압축률은 가압력에 따라 설정되어도 좋다. 이러한 구성에 의하면, 주목 영역의 지정을 표시부의 가압에 의해 행할 수 있기 때문에, 유저는 간편하게 지정을 행할 수가 있다. 또한, 가압력에 따라 주목 영역의 압축률이 설정됨에 의해 주목 영역 중에서도 압축률에 차이를 붙일 수 있다. 또한, 가압력의 검지는, 예를 들면 태블릿과 같이 가압력의 강약을 검지할 수 있는 것이 표시부에 구비되어 있으면 실시 가능하다.

상기 화상 부호화 방법은 상기 주목 영역에서 소정의 트래킹 대상(tracking object)을 인식하는 공정과, 트래킹 대상의 이동에 따라 주목 영역을 변경하는 주목 영역 변경 공정을 또한 포함하여도 좋다. 이러한 구성에 의하면, 항상 트래킹 대상을 주목 영역에 포함할 수 있고, 예를 들면 트래킹 대상의 압축률을 낮게 하여 고화질로 기록하는 것 등이 가능하다.

또한, 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 상기한 화상 부호화 방법을 실행 가능한 촬상 장치 및 컴퓨터로 하여금 이러한 촬상 장치로서 기능 시키는 것이 가능한 컴퓨터 프로그램이 제공된다. 촬상 장치는 촬상 화 상을 표시하는 표시부와, 주목 영역 지정 공정 및 위치 정보 획득 공정을 실시하는 입력부와, 압축률 설정 공정을 실시하는 제어부와, 부호화 공정을 실시하는 압축부를 포함하여 구성된다.

이상 설명한 바와 같이 본 발명에 의하면, 촬상 화상 내에서 주목 영역을 유저가 용이하게 지정할 수 있고, 지정된 주목 영역과 잔여 영역에서 부호량을 바꾸는 것이 가능한, 화상 부호화 방법, 촬상 장치 및 컴퓨터 프로그램을 제공할 수 있는 것이다.

이하에 첨부 도면을 참조하면서, 본 발명의 알맞는 실시의 형태에 관해 상세히 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 관해서는 동일한 부호를 붙임으로써 중복 설명을 생략한다.

본 실시 형태에서는, 본 발명에 관한 촬상 장치를, 동화상의 촬영이 가능한 디지털 비디오 카메라인 촬상 장치(100)에 적용하고, 본 발명에 관한 화상 부호화 방법을 촬상 장치(100)에 있어서 동화상을 구성하는 프레임 화상을 부호화하는 방법에 적용하여 설명한다. 또한, 본 발명은 이러한 예로는 한정되지 않고, 예를 들면 정지화를 촬영하는 디지털 카메라 등, 촬상된 아날로그의 데이터를 디지털 데이터로 변환하는 기능 및 촬상 화상을 실시간으로 표시하는 기능 등을 구비한 촬상 장치라면 본 발명을 적용할 수 있다.

우선, 도 1에 의거하여 본 실시 형태에 관한 촬상 장치(100)에 관해 간단하게 설명한다. 상술한 바와 같이, 촬상 장치(100)는 디지털 비디오 카메라로서, 피 사체를 촬상하는 촬상부와, 촬상 화상을 실시간으로 표시하는 표시부(102)와, 표시부(102)에 구비된 입력부(104) 등을 구비한다.

표시부(102)는, 예를 들면 액정 화면 등으로서 촬상 화상이 실시간으로 표시된다. 그때문에, 촬영자 등의 유저는 동화상의 촬영과 동시에, 현재 촬영되고 있는 동화상을 표시부(102)에 의해 확인할 수 있다.

입력부(104)는 터치패널 등으로서, 예를 들면 투명한 터치패널 시트 등이 표시부(102)상에 구비된다. 도시한 바와 같이, 유저가 표시부(102)를 손끝이나 펜촉 등으로 접촉된 것을 입력부(104)가 검지하고, 그 위치 정보를 검출할 수 있다. 위치 정보란, 구체적으로는 예를 들면 좌표 정보로서, 표시부(102)상에 입력부(104)가 적절하게 배치됨에 의해, 입력부(104)는 유저가 접촉한 부분의 표시부(102)에 있어서의 좌표 정보를 검출할 수 있다.

이상, 촬상 장치(100)에 관해 간단하게 설명하였다. 다음에, 도 2에 의거하여, 본 실시 형태에 관한 촬상 장치(100)의 개략적인 구성에 관해 설명한다.

촬상 장치(100)는, 크게 나누면 예를 들면 촬상부(200)와, 카메라 DSP(Digital Signal Processor)(220)와, SDRAM(Synchronous Dynamic Random Access Memory)(228)과, 매체 인터페이스(이후, 매체 I/F라고 칭한다)(258)와, 제어부(240)와, 조작부(250)와, 표시부(102)와, 입력부(104)와, 외부 인터페이스(이후, 외부 I/F라고 칭한다)(256) 등을 구비하고, 또한, 기록 매체(260)가 착탈 가능하게 되어 있다.

촬상부(200)는, 예를 들면, 광학 블록(202), CCD(Charge Coupled Device)(204), 전처리 회로(206), 광학 블록용 드라이버(208), CCD용 드라이버(210), 타이밍 생성 회로(212) 등을 구비한다. 여기서, 광학 블록(202)은 렌즈, 포커스 기구, 셔터 기구, 조리개 등을 구비한 것이다.

제어부(240)는, 예를 들면, CPU(Central Processing Unit)(242), RAM(Random Access Memory)(244), ROM(Read Only Memory)(246), 시계 회로(248)가 시스템 버스(249)를 통하여 접속되어 구성된 마이크로 컴퓨터이고, 본 촬상 장치(100)의 전체 제어를 행한다. 또한, 후술하는 바와 같이 압축부(224)가 동화상의 각 프레임 화상을 압축할 때의 압축률을 제어한다.

여기서, RAM(244)은 처리의 도중 결과를 일시 기억하는 등 주로 작업 영역으로서 이용되는 것이다. 또한, ROM(246)은 CPU(242)에 있어서 실행되는 다양한 프로그램이나, 처리에 필요하게 되는 데이터 등이 기억된 것이다. 또한, 시계 회로(248)는 현재 연월일, 현재 요일, 현재 시각을 제공할 수 있음과 함께, 촬영 일시 등을 제공할 수도 있다.

화상의 촬영시에 있어서는, 광학 블록용 드라이버(208)는 제어부(240)로부터의 제어에 따라, 광학 블록(202)을 동작시키는 구동 신호를 형성하고, 이것을 광학 블록(202)에 공급하고, 광학 블록(202)을 동작시킨다. 광학 블록(202)은 드라이버(208)로부터의 구동 신호에 따라, 포커스 기구, 셔터 기구, 조리개가 제어되고, 피사체의 화상을 받아들여서, 이것을 CCD(204)에 제공한다.

CCD(204)는, 광학 블록(202)으로부터의 화상을 광전 변환하여 출력하는 것이고, CCD 드라이버(210)로부터의 구동 신호에 따라 동작하고, 광학 블록(202)으로부 터의 피사체의 화상을 받아들임과 함께, 제어부(240)에 의해 제어되는 타이밍 생성 회로(212)로부터의 타이밍 신호에 의거하여, 받아들인 피사체의 화상(화상 정보)을 전기 신호로서 전처리 회로(206)에 공급한다.

또한, 위에서 설명한 바와 같이, 타이밍 생성 회로(212)는 제어부(240)로부터의 제어에 따라, 소정의 타이밍을 제공하는 타이밍 신호를 형성하는 것이다. 또한, CCD 드라이버(210)는 타이밍 생성 회로(212)로부터의 타이밍 신호에 의거하여 CCD(204)에 공급하는 구동 신호를 형성한다.

전처리 회로(206)는, 공급된 전기 신호의 화상 정보에 대해 CDS(Correlated Double Sampling) 처리를 행하여, S/N비를 양호하게 유지하도록 함과 함께 AGC(Automatic Gain Control) 처리를 행하여 이득을 제어하고, 그리고, A/D(Analog/Digital) 변환을 행하여 디지털 신호로 된 화상 데이터를 형성한다.

전처리 회로(206)로부터의 디지털 신호로 된 화상 데이터는, DSP(220)에 공급된다. DSP(220)는, 공급된 화상 데이터에 대해, AF(Auto Focus), AE(Auto Exposure), AWB(Auto White Balance) 등의 카메라 신호 처리를 시행한다. 이와 같이 하여 다양한 조정이 이루어지는 화상 데이터는 소정의 압축 방식으로 데이터 압축되고, 시스템 버스(249), 매체 I/F(258)를 통하여 기록 매체(260)에 공급된다. 또한, 화상 데이터는 외부 I/F를 통하여 외부의 컴퓨터 등에 송신될 수도 있다.

표시부(102)에는 상술한 바와 같이 촬상 화상이 표시된다. 입력부(104)는 상술한 바와 같이 유저에게 접촉된 부분의 좌표 정보를 검출한다. 검출된 좌표 정보는, 예를 들면 RAM(244)에 기억되고, 제어부(240)가 화상의 압축률을 제어할 때에 참조된다.

기록 매체(260)는 반도체 메모리를 이용한 메모리 카드, 기록 가능한 DVD(Digital Versatile Disk)나 기록 가능한 CD(Compact Disc) 등의 광기록 매체, 자기 디스크 등의 다양한 것을 이용할 수 있다.

이상, 촬상 장치(100)의 개략적인 구성에 대하여 설명하였다. 다음에, 도 3에 의거하여, 본 실시 형태에 관한 화상 부호화 방법에 대하여 개략적으로 설명한다.

우선, 주목 영역 지정 공정의 일례로서, 스텝 S102에서 촬상자 등의 유저가 촬상 장치(100)에 구비된 표시부(102)를 손끝 등으로 접촉하는 등으로 주목 영역을 지정한다(S102). 구체적으로는 표시부(102)상에 설치되어 있는 터치패널 등의 입력부(104)의 소망하는 부분에 접촉하는 등으로 주목 영역을 지정한다. 다음에, 위치 정보 획득 공정의 일례로서, 입력부(104)가 스텝 S104에서, 지정된 주목 영역의 위치를 검출하여 좌표 정보를 취득한다(S104). 그 후, 취득한 좌표 정보를 제어부(240)에 제공한다(S106). 또한, 주목 영역이란, 잔여 영역과의 사이에서 부호량에 차가 마련되는 영역인데, 본 실시 형태에서는 주목 영역의 부호량은 잔여 영역에 비하여 많아지도록 처리된다.

제어부(240)는, 스텝 S108에서 입력부(104)로부터 제공된 좌표 정보를 예를 들면 RAM(244)에 격납한다(S108). 그 후, 압축률 설정 공정의 일례로서, 스텝 S110에서, 압축부(224)가 화상 압축시에 사용하는 양자화 테이블 값을 결정하고(S110), 양자화 테이블 값을 압축부(224)에 제공한다(S112). 양자화 테이블 값을 바꿈에 의 해 화상의 압축률을 바꿀 수 있다.

한편, 압축부(224)에는, 스텝 S112에서 압축을 행하는 대상인 프레임 화상이 입력된다(S114). 구체적으로는 예를 들면, 상술한 바와 같이 촬상부(200)의 전처리 회로(206) 등으로부터 디지털화된 프레임 화상을 취득한다. 압축부(224)는 그 프레임 화상의 압축을 행하기 위해 우선 이산(離散) 코사인 변환(DCT)을 행한다(S116). 그 후, 부호화 공정의 일례로서 DCT 계수를 양자화하지만, 그때에 스텝 S112에서 제어부(240)로부터 취득한 양자화 테이블 값을 이용한다(S118). 그 후, 엔트로피 부호화나 하후만 부호화 등의 가변 길이 부호화를 행한다(S120). 상기 방법에 의하면, 표시부(102)에 표시된 촬상 화상 내에서 유저에게 지정된 주목 영역의 좌표 정보가, 화상의 압축률을 결정하는 양자화 테이블 값에 반영되기 때문에, 주목 영역과 잔여 영역에서 양자화 테이블 값을 변경하여 압축률을 변경하는 것이 가능해진다.

이상, 화상 부호화 방법에 관해 개략적으로 설명하였다. 다음에, 도 4 내지 도 7을 참조하여, 본 실시 형태에 관한 화상 부호화 방법을 상세히 설명한다.

도 4는 압축부(224)에 입력된 입력 화상을 매크로 블록으로 분할한 상태를 도시하고 있다. 부호 402는 하나의 매크로 블록을 나타내고 있다. 압축부(224)에서는 매크로 블록마다 양자화가 행하여지기 때문에, 양자화 테이블 값을 매크로 블록에 의해 변경함으로써 매크로 블록마다 압축률이 변경되고, 부호량을 바꿀 수 있다.

주목 영역(406)은, 유저가 표시부(102)를 손끝으로 접촉하는 등으로 지정한 주목 영역을 나타내고 있다. 구체적으로는 표시부(102)상에 적절하게 배치된 입력부(104)가 획득한 주목 영역의 좌표 정보에 의거하여, 입력 화상상에 그 주목 영역을 나타낸 것이다. 또한, 도 4에서는 지정된 주목 영역(406)은 하나이지만, 여러의 주목 영역(406)을 지정하는 것도 가능하다.

지정 영역(404)은, 주목 영역(406)이 포함되는 매크로 블록의 범위를 나타내고 있다. 위에서 설명한 바와 같이 양자화는 매크로 블록 단위로 행하여지기 때문에, 주목 영역(406)을 포함하는 매크로 블록의 범위를 다른 매크로 블록과 다른 압축률로 압축되는 매크로 블록으로서 지정 영역(404)으로 한다. 지정 영역(404)은 상기 좌표 정보에 의해 결정할 수 있다. 또한, 도 4의 예에서는 지정 영역(404)을 주목 영역(406)이 포함되는 범위로 하고 있지만, 예를 들면, 주목 영역(406)의 중심부 부근의 매크로 블록만을 지정 영역(406)으로 하거나, 보다 넓은 범위를 지정 영역(404)으로 하는 등, 적절한 설정이 가능하다.

다음에, 도 5를 참조하여, 매크로 블록마다 양자화를 행하는 방법에 관해 설명한다. 우선, 스텝 S202에서 제어부(240)는 처리 대상의 매크로 블록의 위치를 초기화한다(S202). 구체적으로는, 예를 들면 도 4의 부호 402와 같이 화상의 좌상(左上)의 매크로 블록을 양자화 대상으로 한다.

다음에, 촬영자 등의 유저가 지정한 주목 영역(406)에 의거하여 지정 영역(404)을 갱신한다(S204). 구체적으로는 예를 들면, 주목 영역(406)의 좌표 정보에 의거하여 결정되는 지정 영역(404)에 속하는 매크로 블록 번호 등을 RAM(244)에 기억한다.

그 후, 제어부(240)는 처리 대상의 매크로 블록이 지정 영역(404)에 속하는 매크로 블록인지를, 예를 들면 처리 대상의 매크로 블록의 번호와 RAM(244)에 기억되어 있는 지정 영역(404)에 속하는 매크로 블록 번호를 비교하는 등으로 판단하고(S206), 속하는 경우에는 스텝 S208로 진행한다. 스텝 S208에서는 지정 영역(404)에 속하는 매크로 블록에 대해 높은 부호량을 할당하도록, 낮은 압축률로 되는 양자화 테이블 값을 선택하고, 그 양자화 테이블 값에 의거하여 압축부(224)가 양자화를 행한다(S208). 한편, 스텝 S206에서 처리 대상의 매크로 블록이 지정 영역(404)에 속하지 않는 경우에는 스텝 S210으로 진행한다. 스텝 S210에서는 지정 영역(404)에 속하지 않는 매크로 블록에 대해 비교적 낮은 부호량을 할당하도록, 고(高)압축률로 되는 양자화 테이블 값을 선택하고, 그 양자화 테이블 값에 의거하여 압축부(224)가 양자화를 행한다. (S210). 또한, 스텝 S208 및 S210에 관해서는 각각 도 6, 도 7을 참조하여 상세히 설명한다.

처리 대상의 매크로 블록의 양자화 테이블 값을 S208 또는 S210에서 결정 후, 제어부(240)는 그 처리 대상의 매크로 블록이 화상의 가장 우하(右下)의 것이었는지를 판정한다(S212). 즉, 가장 좌상의 매크로 블록으로부터 처리를 시작하고, 가장 우하의 매크로 블록까지 처리를 마침에 의해 하나의 화상에 대한 모든 매크로 블록에 대해 양자화 테이블 값을 설정하였는지를 판정한다.

판정의 결과, 가장 우하의 매크로 블록이 아닌 경우에는 아직 처리를 하여야 할 매크로 블록이 프레임 화상중에 남아 있기 때문에, 스텝 S214에서 처리 대상의 매크로 블록을 예를 들면 래스터 스캔 방향으로 하나 진전한다. 한편, 스텝 S212의 판정에서 가장 우하인 경우에는 스텝 S216으로 진행한다. 스텝 S216에서는 예를 들면 촬상의 종료 등에 의한 종료 명령이 발행되어 있는지를 판정한다(S216). 발행되어 있지 않은 경우에는 다음의 프레임 화상에 대한 각 매크로 블록의 양자화 테이블 값을 마찬가지로 결정하기 위해 스텝 S202로 되돌아온다. 한편, 종료 명령이 발행되어 있는 경우에는 처리를 종료한다.

상기 방법에 의하면, 프레임 화상마다 스텝 S204에서 지정 영역(404)의 갱신을 행하고, 갱신된 지정 영역(404)에 의거하여 각 매크로 블록의 양자화를 행한다. 그때문에, 예를 들면 유저가 터치패널에 접촉한 채로 손끝을 움직이는 등으로 주목 영역(406)을 시시각각 변화시킨 경우라도, 프레임 화상 단위로 지정 영역(404)이 갱신되는 결과, 거의 실시간으로 변경되는 지정 영역(404)에 의거하여 양자화 처리가 실행된다. 따라서, 유저가 지정한 주목 영역(406)에 정확하게 높은 부호량을 할당할 수 있다.

다음에, 도 6을 참조하여, 도 5의 스텝 S208의 처리, 즉, 지정 영역(404)에 대해 저압축률로 되는 양자화 테이블 값을 선택하여 양자화를 행하는 처리에 관해 설명한다.

우선, 도 6 중에서 사용하는 각 변수에 관해 설명한다. 「T」는 1장의 프레임 내에서의 목표 부호량(bit)인 것으로 한다. 「N」은 지정 영역(404)에 속하는 매크로 블록의 총수이다. 「n」은 「현재 처리하고 있는 한 화상 내에서 지정 영역(404)에 속하는 매크로 블록 중에서 처리를 마친 매크로 블록의 수」이다. 「MBcnt」는 한 화상 내의 매크로 블록 총수이고, 예를 들면 720×480의 픽셀 값의 화상을 취급하는 경우, 1350(=세로30×가로45)로 된다. 「j」는 현재 처리중의 매크로 블록의 번호이다(1≤j) . Bj는 매크로 블록 번호(j)까지의 발생 부호량(bit 수)이다. mquant는 매크로 블록의 디폴트 테이블 값에 곱하는 계수이다. 또한, 계수가 작은 쪽이 양자화 테이블 값을 작게 하여 압축률을 낮게 하고, 발생 부호량이 많아진다. mquantHiPrev는 전회, 지정 영역(404) 내의 매크로 블록을 양자화한 때의 mquant의 값이다.

스텝 S302에서, 현재 처리중의 매크로 블록이 지정 영역(404)의 최초의 매크로 블록인지를 판정한다(S302). 최초의 매크로 블록인 경우에는 스텝 S306으로 진행하고, mquant로서, 지정 영역(404) 내에서의 mquant 초기치인, 「mquantHi0」을 대입한다. mquantHi0의 값은, 예를 들면「0.8」 등을 이용한다. 한편, 스텝 S302에서, 지정 영역(404)에 속하는 최초의 매크로 블록이 아닌 경우에는 스텝 S304로 진행한다. 스텝 S304에서는 전회의 매크로 블록의 양자화를 종료한 시점에서의 「실제의 발생 부호량」(좌변)이 전회의 매크로 블록의 양자화를 종료한 시점에서의 「목표 부호량의 총량」(우변)보다도 적은지를 판정한다(S304).

여기서, 목표 부호량이란, 촬영한 동화상을 기록 매체에 기록하는 경우나 외부 I/F를 통하여 다른 컴퓨터 등에 송신하는 경우 등에 기록 가능 또는 송신 가능한 포맷으로서 정해져 있는 부호량의 상한에 의거하여 설정된다. 본 실시 형태에 있어서, 동화상의 1프레임 화상마다 목표 부호량을 정하고, 동화상을 구성하는 모든 프레임 화상이 그 목표 부호량 이하가 되도록 목표 부호량에 따라 각 매크로 블록의 양자화 테이블 값을 결정하여도 좋다. 상기 방법에 의하면 각 프레임 화상의 부호량은 거의 같게 되고, 1프레임 화상 내에서 부분적으로 화질을 다르게 하면서도 전체 프레임 화상을 일정한 화질로 할 수 있다.

또한, 시간 단위로 목표 부호량을 정하여도 좋다. 그 경우에는 동화상을 구성하는 프레임 화상마다 다른 부호량을 할당하면서, 소정 시간 내의 부호량의 총량이 목표 부호량 이하가 되도록 목표 부호량에 따라 각 매크로 블록의 양자화 테이블 값을 결정한다. 상기 방법에 의하면, 예를 들면, 소정 시간 내에서 고화질로 하여야 할 지정 영역(404)이 많은 프레임 화상과 적은 프레임 화상이 있는 경우 등에, 지정 영역(404)이 많은 프레임 화상에 대해서는 보다 많은 부호량을 할당하여 지정 영역(404)을 고화질로 유지하면서, 지정 영역(404)이 적은 프레임 화상에 대해서는 배당 부호량을 적게 하여 전체로서 목표 부호량 이하로 억제할 수 있다.

도 6으로 되돌아와, 스텝 S304에서 실제의 발생 부호량이 목표 부호량의 총량보다도 적은 경우에는 스텝 S308로 진행하고, 매크로 블록의 디폴트 테이블 값에 곱하는 계수에 예를 들면 0.9를 승산하여 전회의 계수보다도 작은 값으로 한다. 즉, 전회의 매크로 블록의 처리 종료 시점에서 발생 부호량이 목표 부호량을 하회하고 있기 때문에, 금회의 매크로 블록에 관해서는 약간 많은 부호량을 발생시켜서 목표 부호량에 접근시키고자, 양자화 테이블 값을 보다 작은 값으로 하여 압축률을 내린다.

한편, 스텝 S304에서, 실제의 발생 부호량이 목표 부호량의 총량보다 많은 경우에는 스텝 S310으로 진행하고, 매크로 블록의 디폴트 테이블 값에 곱하는 계수에 예를 들면 1.1을 승산하여 전회의 계수보다도 큰 값으로 한다. 즉, 전회의 매크 로 블록의 처리 종료 시점에서 발생 부호량이 목표 부호량을 상회하고 있기 때문에, 금회의 매크로 블록에 관해서는 약간 적은 부호량을 발생시켜 목표 부호량에 접근시키고자, 양자화 테이블 값을 보다 큰 값으로 하여 압축률을 높인다.

계속해서, 스텝 S312에서 상기 스텝 S308 또는 S310에서 취득한 계수를 양자화 테이블 값의 디폴트 값에 승산하고, 승산 후의 양자화 테이블 값에 의거하여 처리 대상의 매크로 블록을 양자화하고, 그 매크로 블록의 부호량을 취득한다(S312). 그 후, 다음의 매크로 블록의 처리에 대비하여 각 변수의 값을 갱신한다(S314).

상기 방법에 의하면, 전체로서 목표 부호량을 초과하는 일 없이, 지정 영역(404)에 속하는 매크로 블록에 대해 가능한 한 많은 부호량을 할당할 수 있다.

다음에, 도 7을 참조하여, 도 5의 스텝 S210의 처리, 즉, 지정 영역(404) 이외의 부분에 대해 고압축률로 되는 양자화 테이블 값을 선택하여 양자화를 행하는 처리에 관해 설명한다.

우선, 도 7 중에서 사용하는 각 변수에 관해 설명한다. T, N, n, MBcnt, Bj는 도 6 중의 설명과 같기 때문에 생략한다. mquantLoPrev는 전회, 지정 영역(404) 외의 매크로 블록을 양자화한 때의 mquant의 값이다.

스텝 S402에서, 현재 처리중의 매크로 블록이 지정 영역(404) 외의 최초의 매크로 블록인지를 판정한다(S402). 최초의 매크로 블록인 경우에는 스텝 S406으로 진행하고, mquant로서 지정 영역(404) 밖에서의 mquant 초기치인, 「mquantLo0」을 대입한다. mquantHi0의 값은, 예를 들면 「1.2」 등을 이용한다. 한편, 스텝 S402에서, 지정 영역(404)에 속하지 않는 최초의 매크로 블록이 아닌 경우에는 스텝 S404로 진행한다. 스텝 S404에서는 전회의 매크로 블록의 양자화를 종료한 시점에서의 「실제의 발생 부호량」(좌변)이 전회의 매크로 블록의 양자화를 종료한 시점에서의 「목표 부호량의 총량」(우변)보다도 적은지를 판정한다(S404).

스텝 S404에서, 실제의 발생 부호량이 목표 부호량의 총량보다도 적은 경우에는 스텝 S408로 진행하고, 매크로 블록의 디폴트 테이블 값에 곱하는 계수에 예를 들면 0.9를 승산하여 전회의 계수보다도 작은 값으로 한다.

한편, 스텝 S404에서 실제의 발생 부호량이 목표 부호량의 총량보다도 많은 경우에는 스텝 S410로 진행하고, 매크로 블록의 디폴트 테이블 값에 곱하는 계수에 예를 들면 1.1을 승산하여 전회의 계수보다도 큰 값으로 한다.

계속해서, 스텝 S412에서 상기 스텝 S408 또는 S410에서 취득한 계수를 양자화 테이블 값의 디폴트 값에 승산하고, 승산 후의 양자화 테이블 값에 의거하여 처리 대상의 매크로 블록을 양자화하고, 그 매크로 블록의 부호량을 취득한다(S412). 그 후, 다음의 매크로 블록의 처리에 대비하여 각 변수의 값을 갱신한다(S414). 또한, 도 6과 달리, 처리를 마친 지정 영역(404)에 속하는 매크로 블록의 수인 n은 갱신하지 않는다.

이상, 도 4 내지 도 7을 참조하여 매크로 블록마다 양자화를 행하는 방법에 관해 설명하였다. 또한, 상기 예에서는 매크로 블록이 지정 영역(404)에 속하는지의 여부에 의해 높은 부호량을 할당하는지의 여부를 결정하고, 지정 영역(404)에 속하는 매크로 블록의 사이에서는 전체로서 목표 부호량을 초과하지 않도록 부호량의 조정이 행하여질 뿐이지만, 지정 영역(404)에 속한 매크로 블록 중에서도, 특정 한 매크로 블록에 대해 보다 높은 부호량을 할당하도록 하여도 좋다. 입력부(104)가, 예를 들면 태블릿 등과 같이 가압력을 검지할 수 있는 것이라면, 유저에 의해 지정된 주목 영역(406) 중에서도 강한 가압력에 의해 지정된 영역과 그 밖의 영역을 알 수 있다. 그때문에, 지정 영역(404) 중에서도, 예를 들면 강한 가압력으로 지정된 영역이 속하는 매크로 블록에는 지정 영역(404) 내의 다른 매크로 블록보다도 높은 부호량을 할당하는 것이 가능해진다.

다음에, 도 8에 의거하여 지정 영역(404)의 결정 방법의 다른 예에 관해 설명한다. 도 5에서는 스텝 S204에서 프레임 화상마다 지정 영역(404)을 갱신하고 있다. 이러한 예에 의하면, 유저가 지정한 부분이 거의 실시간으로 지정 영역(404)에 반영되는 반면, 유저는 항상 주목 영역을 손끝 등으로 지정하여야 한다. 그래서, 도 8에 도시한 예에서는, 유저가 한번 지정한 주목 영역을 소정 시간 동안 지정 영역(404)으로 하여 처리를 행한다.

우선, 스텝 S502에서, 촬상 장치(100)의 제어부(240)는 지정 영역(404)의 초기 설정으로서, 예를 들면 프레임 화상의 중심 부분 부근을 지정 영역(404)으로서 설정하고, RAM(244) 등에 기억한다(S502). 그 후, 스텝 S504에서, 예를 들면 촬상의 종료 등에 의해 종료 명령이 발행되어 있는지를 판정하고(S504), 발행되어 있는 경우에는 처리를 종료한다. 한편, 종료 명령이 발행되어 있지 않은 경우에는 처리를 속행하고, 스텝 S506으로 진행한다. 스텝 S506에서는, 촬영자가 터치패널 등의 입력부(104)에 접촉하였는지를 판정한다(S506). 구체적으로는 예를 들면, 촬영자에 의해 지정된 주목 영역의 위치 정보가 입력부(104)에 의해 획득되어 RAM(244)의 좌 표 정보가 갱신되었는지 등을 판정한다.

판정 결과, 입력부(104)가 접촉되어 있지 않은 경우, 즉 유저가 주목 영역을 지정하지 않은, 또는 전회 지정한 주목 영역에서 변경하고 있지 않은 경우에는 스텝 S508로 진행하고, 지정 영역(404)을 변경하지 않고 1프레임 화상의 양자화 처리를 행한다. 현 단계에서는 초기 설정된 중심 부분 부근의 매크로 블록에 보다 높은 부호량이 할당되도록 처리된다.

한편, 스텝 S506의 판정 결과, 촬영자가 입력부(104)에 접촉하고 있는 경우, 즉 유저가 주목 영역을 새롭게 지정한 경우에는 스텝 S510으로 진행한다. 스텝 S510에서는 유저가 지정한 주목 영역에 의거하여, 환언하면, 제어부(240)가 입력부(104)로부터 취득한 좌표 정보에 의거하여 지정 영역(404)을 결정한다(S510). 그 지정 영역(404)에 속하는 매크로 블록에 높은 부호량을 할당하기 위해 1프레임 화상을 처리하지만, 스텝 S512에서는 스텝 S510에서 결정한 지정 영역(404)을 소정 시간 동안(예를 들면 10초간 등) 변경하지 않고 그 소정 시간 내에 포함되는 프레임 화상의 처리를 행한다. 그 후, 스텝 S504로 되돌아온다.

상기 방법에 의하면, 우선, 유저가 주목 영역을 지정하지 않는 경우에도, 프레임 화상의 중앙 부분 부근의 매크로 블록이 지정 영역(404)으로 되기 때문에, 프레임 화상의 중심 부분 부근을 고화질로 할 수 있다. 일반적으로, 고화질로 하여야 할 중요한 부분은 화면의 중심 부분에 존재하는 일이 많기 때문에, 유효하다. 또한, 유저가 주목 영역을 지정한 후에, 재차 지정을 행할 때까지는 그 지정된 주목 영역이 지정 영역(404)으로 되기 때문에, 유저는 항상 입력부(104)에 접촉하고 있 을 필요가 없다. 또한, 촬영자가 입력부(104)에 접촉한 경우에는 지정 영역(404)이 변경되기 때문에, 유저가 주목 영역을 변경한 경우에는 그 변경이 화질에 반영된다.

이상, 지정 영역(404)의 결정 방법의 다른 예에 관해 설명하였다. 지정 영역(404)의 결정 방법은, 상기 예 이외에, 프레임 화상중의 대상물을 자동 트래킹하는 방법이 고려된다. 예를 들면, 유저가 입력부(104)에 의해 지정한 주목 영역의 부분 화상을 화상 인식 기술 등을 이용하여 인식하고 자동 트래킹할 수 있으면, 제어부(240)가 그 부분 화상을 지정 영역(404)으로 함에 의해, 유저가 지정한 주목 영역의 부분 화상을 트래킹하여 고화질로 하는 것이 가능해진다. 이러한 방법에 의하면, 예를 들면 유저에 의해 지정된 부분 화상이 인간의 얼굴인 경우에는, 촬상 장치(100)에서 그 부분 화상인 인간의 얼굴을 자동 트래킹하면서 고화질로 기록하는 것이 가능해지기 때문에, 감시 카메라 등에 적용할 수 있다. 또한, 부분 화상 자체를 트래킹하는 것이 아니라, 유저에 의해 지정된 주목 영역 중에서 화상 인식 기술 등을 이용하여 트래킹 대상(예를 들면 인간의 얼굴 등)을 추출하고, 그 트래킹 대상의 이동에 따라 주목 영역 및 지정 영역(404)을 변경하여 높은 부호량을 할당하도록 하여도 좋다.

또한, 상기에서는 주목 영역을 잔여 영역보다 고화질로 하기 위해 압축률을 낮게 하여 높은 부호를 할당하였지만, 본 발명은 이러한 예로는 한정되지 않는다. 상기예와는 역으로, 잔여 영역을 주목 영역보다도 고화질로 하기 위해 높은 부호량을 할당하여도 좋다. 그와 같이 하면, 예를 들면, 유저가 표시부(102)의 단부(端部)를 주목 영역으로서 지정하여 둠에 의해, 단부 이외의 잔여 영역을 보다 고화질로 하는 것이 가능하다.

이상, 첨부 도면을 참조하면서 본 발명이 알맞는 실시 형태에 관해 설명하였지만, 본 발명은 이러한 예로 한정되지 않는 것은 말할 필요도 없다. 당업자라면, 특허청구의 범위에 기재된 범주 내에서 각종의 변경예 또는 수정예를 상도할 수 있음은 분명하고, 그것들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것이라고 이해된다.

산업상의 이용 가능성

본 발명은, 화상 부호화 방법, 촬상 장치 및 컴퓨터 프로그램에 적용 가능하고, 특히 촬상 화상 내에서 주목 영역을 유저가 용이하게 지정할 수 있고, 지정된 주목 영역과 잔여 영역에서 부호량을 바꾸는 것이 가능한 화상 부호화 방법, 촬상 장치 및 컴퓨터 프로그램에 적용 가능하다.

이상 설명한 바와 같이 본 발명에 의하면, 촬상 화상 내에서 주목 영역을 유저가 용이하게 지정할 수 있고, 지정된 주목 영역과 잔여 영역에서 부호량을 바꾸는 것이 가능한, 화상 부호화 방법, 촬상 장치 및 컴퓨터 프로그램을 제공할 수 있다.

Claims

표시부에 표시된 촬상 화상 내에 있어서, 주목 영역을 지정하고;

상기 주목 영역의 위치 정보를 획득하고;

상기 위치 정보에 의거하여 상기 주목 영역의 압축률과 잔여 영역의 압축률을 변경하여 설정하고;

상기 압축률에 의거하여 상기 주목 영역 및 상기 잔여 영역의 각각의 부호화를 실시하는 것을 특징으로 하는 화상 부호화 방법.
제 1항에 있어서,

상기 주목 영역의 압축률은, 상기 잔여 영역의 압축률보다도 낮게 설정되는 것을 특징으로 하는 화상 부호화 방법.
제 1항에 있어서,

상기 주목 영역의 압축률과 상기 잔여 영역의 압축률은, 목표 부호량에 따라 설정되는 것을 특징으로 하는 화상 부호화 방법.
제 3항에 있어서,

상기 목표 부호량은, 촬상 화상의 1프레임에 대해 설정되는 것을 특징으로 하는 화상 부호화 방법.
제 3항에 있어서,

상기 목표 부호량은, 촬상 화상의 시간 단위에 대해 설정되는 것을 특징으로 하는 화상 부호화 방법.
제 1항에 있어서,

상기 주목 영역의 지정은 표시부의 가압에 의해 행하여지고, 또한 상기 가압력을 검지하고;

상기 주목 영역의 압축률은 상기 가압력에 따라 설정되는 것을 특징으로 하는 화상 부호화 방법.
제 1항에 있어서,

상기 주목 영역에서 소정의 트래킹 대상을 인식하고;

상기 트래킹 대상의 이동에 따라 상기 주목 영역을 변경하는 것을 특징으로 하는 화상 부호화 방법.
촬상 화상을 표시하는 표시부와,

상기 표시부에 표시된 촬상 화상 내에 있어서 지정된 주목 영역의 위치 정보를 획득하는 입력부와,

상기 위치 정보에 의거하여 상기 주목 영역의 압축률과 잔여 영역의 압축률 을 바꾸어 설정하는 제어부와,

상기 압축률에 의거하여 상기 주목 영역 및 상기 잔여 영역의 각각의 부호화를 실시하는 압축부를 구비하는 것을 특징으로 하는 촬상 장치.
제 8항에 있어서,

상기 주목 영역의 압축률은, 상기 잔여 영역의 압축률보다도 낮게 설정되는 것을 특징으로 하는 촬상 장치.
제 8항에 있어서,

상기 주목 영역의 압축률과 상기 잔여 영역의 압축률은, 목표 부호량에 따라 설정되는 것을 특징으로 하는 촬상 장치.
제 10항에 있어서,

상기 목표 부호량은, 촬상 화상의 1프레임에 대해 설정되는 것을 특징으로 하는 촬상 장치.
제 10항에 있어서,

상기 목표 부호량은, 촬상 화상의 시간 단위에 대해 설정되는 것을 특징으로 하는 촬상 장치.
제 8항에 있어서,

상기 입력부는, 상기 표시부의 가압에 의해 상기 주목 영역을 지정시키는 것을 특징으로 하는 촬상 장치.
제 13항에 있어서,

상기 입력부는, 상기 표시부의 가압력을 검지하고;

상기 제어부는, 상기 주목 영역의 압축률을 상기 가압력에 따라 설정하는 것을 특징으로 하는 촬상 장치.
제 8항에 있어서,

상기 제어부는, 상기 주목 영역에서 소정의 트래킹 대상을 인식하고, 상기 트래킹 대상의 이동에 따라 상기 주목 영역을 변경하는 것을 특징으로 하는 촬상 장치.
제 8항에 있어서,

상기 입력부는, 터치패널인 것을 특징으로 하는 촬상 장치.
컴퓨터로 하여금;

촬상 화상을 표시하는 표시부와;

상기 표시부에 표시된 촬상 화상 내에서 주목 영역을 지정시키고, 상기 주목 영역의 위치 정보를 획득하는 입력부와;

상기 위치 정보에 의거하여 상기 주목 영역의 압축률과 잔여 영역의 압축률을 바꾸어 설정하는 제어부와;

상기 압축률에 의거하여 상기 주목 영역 및 상기 잔여 영역의 각각의 부호화를 실시하는 압축부를 구비하는 촬상 장치로서 기능시키는 것을 특징으로 하는 컴퓨터 프로그램.
제 1항에 있어서,

주목 영역으로서 한번 지정된 영역을 소정 시간 동안 주목 영역으로서 계속 지정하는 것을 특징으로 하는 화상 부호화 방법.
제 8항에 있어서,

주목 영역으로서 한번 지정된 영역을 소정 시간의 동안 주목 영역으로서 계속 지정하는 것을 특징으로 하는 촬상 장치.