KR101295441B1

KR101295441B1 - 기록 매체, 동화상 처리 장치 및 방법, 촬상 장치, 호스트 단말기 및 촬상 시스템

Info

Publication number: KR101295441B1
Application number: KR1020127014121A
Authority: KR
Inventors: 아끼오 오바; 히로유끼 세가와; 데쯔고 이나다
Original assignee: 소니 컴퓨터 엔터테인먼트 인코포레이티드
Priority date: 2009-11-02
Filing date: 2010-07-13
Publication date: 2013-08-09
Also published as: EP2498486A4; ES2667497T3; US20120218438A1; WO2011052114A1; CA2779066C; EP2498486A1; BR112012010406B1; AU2010313042A1; EP2498486B1; BR112012010406A2; TR201808636T4; MX2012005076A; KR20120079170A; RU2012122686A; CN102598651B; CA2779066A1; AU2010313042B9; US9030569B2; CN102598651A; JP2011097521A

Abstract

본 발명의 카메라(100)는, 호스트 단말기(20)에 대하여 디스플레이에 표시하기 위한 동화상을 출력한다.
화상 취득부(102)는 촬상 소자를 사용해서 촬상된 미가공 화상을 취득한다. 간이 디모자이크 처리부(106)는 미가공 화상에 디모자이크 처리를 행한다. 피라미드 필터부(170)는 미가공 화상을 단계적으로 해상도가 상이한 복수의 축소 화상으로 변환한다. 화상 송출부(150)는 미가공 화상 중 일부를 특정 부위로서 선택함과 함께, 복수의 축소 화상 중 어느 하나를 지정 축소 화상으로서 선택하는 선택부를 포함한다. 선택된 미가공 화상의 특정 부위와 지정 축소 화상은, 새로운 화상 처리를 받기 위해서 통신부(108)에 의해 호스트 단말기에 송신된다.

Description

기록 매체, 동화상 처리 장치 및 방법, 촬상 장치, 호스트 단말기 및 촬상 시스템{RECORDING MEDIUM, VIDEO PROCESSING DEVICE AND METHOD, IMAGING DEVICE, HOST TERMINAL, AND IMAGING SYSTEM}

본 발명은 카메라 상의 촬상 소자에 의해 생성된 화상을 호스트 단말기에 송신하는 기술에 관한 것이다.

종래, 유저의 헤드부 등 몸의 일부를 비디오 카메라로 촬영해서, 눈, 입, 손 등 소정의 영역을 추출하고, 그 영역을 다른 화상으로 치환하여 디스플레이에 표시하는 게임이 알려져 있다(예를 들어, 특허문헌 1). 또한, 비디오 카메라로 촬영된 입이나 손의 움직임을 어플리케이션 조작 지시로서 수취하는 유저 인터페이스 시스템도 알려져 있다.

특허문헌 1: 유럽 특허 출원 공개 제0999518호 명세서

상기와 같은 기술에서는, 유저의 입이나 손 등 소정의 영역을 추출하기 위해서 고해상도의 화상이 필요하게 된다. 그러나, 비디오 카메라의 촬상 소자를 고성능화할수록, 비디오 카메라측에서 화상을 압축한 후에 게임기나 퍼스널 컴퓨터 등의 호스트측에 송신하려고 하면, 압축 처리에 시간이 걸려 버린다. 그로 인해, 카메라측에서의 촬상시와 호스트측에서의 영상 출력시 사이의 대기 시간이 증대해 버린다는 문제가 있다. 또한, 카메라를 유저 인터페이스로서 사용하는 경우에는, 대기 시간의 증대는 사용 편의성을 현저하게 저하시켜 버린다는 문제가 있다. 이와 같이, 비디오 카메라의 촬상 소자의 성능이 향상되어도, 시스템 전체로서의 성능이 악화되어 버릴 우려가 있다.

본 발명은 이러한 과제를 감안하여 이루어진 것이며, 그 목적은, 고성능의 촬상 소자를 사용하면서, 카메라측으로부터 호스트측으로의 화상 송신에 수반하는 대기 시간을 억제할 수 있는 화상 처리 기술을 제공하는 데 있다.

본 발명의 일 실시 형태는, 동화상 처리 프로그램이다. 이 프로그램은, 동화상 처리 장치상에서 동작하고, 촬상 소자를 사용해서 촬상된 미가공 화상을 취득하는 화상 취득 기능과, 미가공 화상에 디모자이크 처리를 행하는 디모자이크 기능과, 미가공 화상을 단계적으로 해상도가 상이한 복수의 축소 화상으로 변환하는 필터 기능과, 미가공 화상 중 일부를 특정 부위로서 선택함과 함께, 복수의 축소 화상 중 어느 하나를 지정 축소 화상으로서 선택하는 선택 기능과, 선택된 미가공 화상의 특정 부위와 지정 축소 화상을, 새로운 화상 처리를 받기 위해서 호스트 단말기에 송신하는 송신 기능을 동화상 처리 장치에 실현시킨다.

이 형태에 의하면, 동화상 처리 장치로부터 호스트 단말기에 송신되는 것은, 미가공 화상의 일부인 특정 부위와 지정 축소 화상뿐이다. 따라서, 특정 부위에 대해서는 호스트 단말기측에서 자유자재로 가공이 가능한 한편, 호스트 단말기측으로의 송신 데이터량은, 미가공 화상의 전체를 보내는 경우보다 적어진다. 따라서, 호스트 단말기에서의 화상 처리의 자유도를 유지하면서, 화상 송신에 수반하는 대기 시간을 억제할 수 있다.

본 발명의 다른 실시 형태도, 동화상 처리 프로그램이다. 이 프로그램은, 촬상 장치로 촬상된 동화상에 가공을 실시한 후에 디스플레이에 출력하는 호스트 단말기상에서 동작하고, 촬상 소자로부터 출력되는 미가공 화상의 일부인 특정 부위와, 미가공 화상에 디모자이크 처리 및 축소 처리가 실시된 축소 화상을 수취하는 기능과, 미가공 화상의 특정 부위에 디모자이크 처리를 행하는 기능과, 축소 화상을 미가공 화상과 동등한 크기까지 확대하여 등배 화상으로 변환하는 기능과, 디모자이크 처리 후의 특정 부위를 등배 화상과 합성해서 부분적으로 해상도가 상이한 합성 화상을 디스플레이에 출력하는 기능을 호스트 단말기에 실현시킨다.

이 형태에 의하면, 촬상 소자에서 촬상된 미가공 화상 중 특정 부위에 대해서는, 호스트 단말기측에서 디모자이크 처리를 실시할 수 있다. 따라서, 통상은 촬상 장치보다 처리 능력이 높은 호스트 단말기의 계산 리소스를 활용해서 고화질인 디모자이크 처리를 실행할 수 있다. 또한, 특정 부위 이외의 부분에 대해서는 축소 화상을 확대해서 사용하므로, 촬상 장치로부터의 수신 데이터량을 억제할 수 있고, 따라서 화상 통신에 수반하는 대기 시간을 억제할 수 있다.

또한, 본 발명의 구성 요소나 표현을 방법, 시스템, 컴퓨터 프로그램, 컴퓨터 프로그램을 저장한 기록 매체 등의 사이에서 서로 치환한 것도 또한, 본 발명의 형태로서 유효하다.

본 발명에 따르면, 화상 처리 장치로부터 호스트 단말기로의 화상 통신에 수반하는 대기 시간을 억제하면서, 특정 부위에 대해서는 미가공 화상을 이용한 고해상도의 부분 화상을 얻을 수 있다.

도 1은 본 발명의 일 실시 형태에 따른 저지연 카메라 시스템의 전체 구성을 도시하는 도면.
도 2는 일 실시 형태에 따른 카메라의 구성을 도시하는 도면.
도 3은 도 2의 카메라의 화상 송출부의 구성을 도시하는 도면.
도 4는 화상 송출부의 작용을 설명하는 도면.
도 5는 호스트 단말기 중 저지연 화상 출력에 관여하는 부분의 구성을 도시하는 도면.
도 6은 저지연 카메라 시스템의 동작을 설명하는 흐름도.
도 7은 저지연 카메라 시스템의 동작을 설명하는 흐름도.
도 8은 저지연 카메라 시스템을 비디오 채팅 어플리케이션에 적용한 경우의 화상 처리의 개요를 설명하는 도면.

도 1은, 본 발명의 일 실시 형태에 따른 저지연 카메라 시스템(10)의 전체 구성을 도시한다. 이 시스템에서는, 유저(6)의 동화상을 카메라(100)로 촬상하여, 호스트 단말기(20)에서 화상 처리를 실시한 다음, 디스플레이(4)에 유저의 화상을 비추거나 또는 인터넷, LAN(Local Area Network) 등의 네트워크(12)를 통해서 소정의 통신처에 송신하기도 한다.

카메라(100)는, CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상 소자를 포함한 디지털 비디오 카메라이며, 도시한 바와 같이, 디스플레이(4)의 하우징의 상부에 설치된다. 디스플레이(4)는, 예를 들어 액정 텔레비전, 플라즈마 텔레비전, PC 디스플레이 등이며, 통상 유저(6)는 디스플레이(4)의 전방에 위치하여 카메라(100)에 의해 유저의 전신 또는 일부가 촬상된다. 디스플레이(4)에 비치는 상은, 시스템(10)에서 실행되는 어플리케이션에 따라 상이하다. 예를 들어, 시스템(10)을 유저(6)의 동작이나 표정을 인식해서 어떠한 조작 지시로서 해석하는 유저 인터페이스(UI)로서 사용하는 경우, 디스플레이(4)에 비추어지는 상(8)은 유저(6)의 얼굴이나 손 등, 몸의 일부 또는 전신이다. 시스템(10)을 비디오 채팅으로 사용하는 경우, 디스플레이(4)에 비추어지는 상(8)은 채팅 상대의 얼굴이며, 유저(6) 자신의 상은 네트워크(12)를 통해서 채팅 상대의 디스플레이상에 비추어진다.

상기와 같은 사용 형태로부터, 카메라(100)는 디스플레이(4)의 상부에 설치되는 것이 가장 적절하다. 그러나, 유저(6)의 전신 또는 일부를 촬상할 수 있는 한, 디스플레이(4)의 근방 이외에도 예를 들어 호스트 단말기(20)의 근방이나 유저의 주위 등에 배치되어도 좋다. 또한, 카메라(100)는 단체(單體)의 구성이 아닌, 디스플레이(4)의 하우징 등에 매립되어 있어도 좋다. 카메라(100)에서 촬상 소자를 사용하는 대신, 아날로그 화상을 A/D 변환해서 사용해도 좋다.

호스트 단말기(20)는, 화상 처리 기능을 포함한 퍼스널 컴퓨터나 게임 장치 등의 컴퓨터 단말기다. 호스트 단말기(20)는, 유저(6)를 카메라(100)로 촬영해서 얻어진 동화상을 시계열적으로 연속해서 도입하고, 소정의 화상 처리를 실시한다. 비디오 채팅 어플리케이션의 경우에는, 화상 처리한 유저(6)의 화상을 네트워크(12)를 통해서 실시간으로 채팅 상대에게 송신한다. 유저 인터페이스 어플리케이션의 경우에는, 경면 처리를 더 실시한 후에 실시간으로 디스플레이(4)에 출력한다. 또한, 경면 처리란 화상을 좌우 반전으로 생성하는 것이며, 이것에 의해 유저는 거울을 보고 있는 것과 같은 감각으로 조작을 할 수 있다. 호스트 단말기(20)는, 상기의 화상 처리 이외에, 각종 어플리케이션을 실행하기 위한 메뉴나 커서 등의 오브젝트 화상을 합성해서 디스플레이(4)에 표시시킬 수도 있다.

종래의 카메라를 이용한 게임이나 채팅 등의 어플리케이션에서는, 카메라측이 화상의 인식 처리나 압축 처리의 기능을 담당하고 있는 경우가 많고, 일반적으로 호스트 단말기와 비교해서 빈약한 카메라의 계산 리소스로는 처리에 시간이 걸리는 경향이 있었다. 이로 인해, 유저 동작의 인식에 시간이 걸리거나 또는 디스플레이상에 비추어지는 화상에 타임래그가 발생하는 등, 실시간성을 손상시키는 경우가 많았다. 이 경향은, 카메라에 탑재되는 촬상 소자의 화소수가 증대할수록 현저해진다.

따라서, 본 실시 형태에서는, 카메라측에서 단계적으로 해상도가 상이한 복수의 화상을 준비해 두고, 시스템에서 실행되는 어플리케이션의 종류에 따라 필요한 해상도의 화상 부분만을 카메라로부터 호스트 단말기에 송신하고, 충분한 계산 리소스를 갖는 호스트 단말기에 있어서 고품질화 처리를 행하도록 하였다.

도 2는, 본 실시 형태에 따른 카메라(100)의 구성을 도시한다. 이들은, 하드웨어적으로는, CPU(Central Processing Unit), RAM(Random Access Memory), ROM(Read Only Memory), 묘화 회로 등의 구성으로 실현할 수 있고, 소프트웨어적으로는 데이터 입력 기능, 데이터 유지 기능, 화상 처리 기능, 묘화 기능 등의 여러 기능을 발휘하는 프로그램으로 실현되지만, 도 2에서는 그것들의 연계에 의해 실현되는 기능 블록을 도시하고 있다. 따라서, 이들 기능 블록은 하드웨어, 소프트웨어의 조합에 의해 여러 가지 형태로 실현할 수 있다.

또한, 도 2 중에는, 설명을 용이하게 하기 위해서 각 기능 블록에서 처리되는 화상 부분의 모식도도 포함되어 있다.

카메라(100)는, 화상 취득부(102), 디모자이크부(104), 화상 송출부(150), 피라미드 필터부(170) 및 통신부(108)를 포함한다.

화상 취득부(102)는, CCD 또는 CMOS 등의 촬상 소자에서 노광된 화상을 소정의 타이밍(예를 들어, 60회/초)으로 판독한다. 이하의 설명에서는, 이 화상은 가로 방향으로 화소 h개분의 폭을 갖는 것으로 한다. 이 화상은 소위 RAW 화상이다. 화상 취득부(102)는, RAW 화상의 가로 일렬분의 노광이 완료될 때마다, 이것을 디모자이크부(104) 및 화상 송출부(150)로 보낸다.

디모자이크부(104)는, 화소 h개분의 용량을 갖는 FIFO(First In First Out) 버퍼(105)와 간이 디모자이크 처리부(106)를 갖는다.

FIFO 버퍼(105)에는, RAW 화상의 가로 일렬분의 화소 정보가 입력되고, 다음 가로 일렬분의 화소가 디모자이크부(104)에 입력될 때까지 그것을 유지한다. 간이 디모자이크 처리부(106)는, 가로 2열분의 화소를 수취하면, 그것들을 사용하여, 각 화소에 대하여 그 주변 화소에 기초하여 색 정보를 보완해서 풀컬러 화상을 만들어 내는 디모자이크(de-mosaic) 처리를 실행한다. 당업자에게는 이미 알고 있는 바와 같이, 이 디모자이크 처리에는 다수의 방법이 존재하는데, 여기에서는 가로 2열분의 화소만을 이용하는 간이한 디모자이크 처리로 충분하다. 일례로서, 대응하는 YCbCr값을 산출해야 하는 화소가 G값만을 갖고 있는 경우에는, R값은 좌우로 인접하는 R값을 평균, G값은 당해 G값을 그대로 사용, B값은 위 또는 아래에 위치하는 B값을 사용해서 RGB값으로 하고, 이것을 소정의 변환식에 대입해서 YCbCr값을 산출하는 등이다. 이러한 디모자이크 처리는 주지된 것이므로 더 이상 상세한 설명은 생략한다.

간이한 디모자이크 처리로 충분한 이유는, 후술하는 바와 같이, 본 실시 형태에서는 고품질의 화상이 필요한 부분(이하, 「특정 부위」라고 함)에 대해서는, 호스트 단말기(20)가 RAW 화상을 카메라(100)로부터 수취해서 처리를 실시한다. 그로 인해, 특정 부위 이외의 부분에 대해서는, 화질이 중요하지 않거나 또는 화상 검출 등에 사용할 뿐이므로, 디모자이크 후의 화질이 그다지 문제가 되지 않기 때문이다. 간이한 디모자이크 처리의 변형예로서, RGB의 4화소로부터 1화소의 YCbCr값을 구성하는 방법을 사용해도 좋다. 이 경우에는, RAW 화상의 1/4 크기의 디모자이크 후 화상이 얻어지므로, 후술하는 제1 필터(110)는 불필요해진다.

간이 디모자이크 처리부(106)는, 예를 들어 도시한 바와 같이, 가로 2×세로 2의 RGB의 4화소를 YCbCr 컬러 신호로 변환한다. 그리고, 이 4화소로 이루어지는 블록은, 화상 송출부(150)에 1/1 디모자이크 화상으로서 건네짐과 함께, 피라미드 필터부(170)로 보내진다.

피라미드 필터부(170)는, 어떤 화상을 복수의 해상도로 계층화해서 출력하는 기능을 갖는다. 피라미드 필터는, 일반적으로 필요로 하는 해상도의 레벨에 따른 수의 1/4 축소 필터를 포함하는데, 본 실시 형태에서는 제1 필터(110) 내지 제4 필터(140)의 4계층 필터를 갖고 있다. 각 필터는, 서로 인접하는 4개의 화소를 바이 리니어 보간하여 4화소의 평균 화소값을 연산하는 처리를 실행한다. 따라서, 처리 후의 화상 크기는 처리 전의 화상의 1/4이 된다.

제1 필터(110)의 전단에는 Y, Cb, Cr 각각의 신호에 대응하여, 화소 h개분의 FIFO 버퍼(112)가 하나씩 배치된다. 이들 FIFO 버퍼(112)는, 가로 일렬분의 YCbCr 화소를, 다음 가로 일렬분의 화소가 간이 디모자이크 처리부(106)로부터 출력될 때까지 유지하는 역할을 갖는다. 화소의 유지 시간은, 촬상 소자의 라인 스캔 속도에 따라서 정해진다. 가로 2열분의 화소가 입력되면, 제1 필터(110)는, 가로 2×세로 2의 4화소분의 Y, Cb, Cr의 화소값을 평균한다. 이 처리를 반복함으로써, 1/1 디모자이크 후 화상은 종횡 각각 1/2의 길이가 되고, 전체적으로 1/4의 크기로 변환된다. 변환된 1/4 디모자이크 후 화상은, 화상 송출부(150)로 보내짐과 함께 다음 단의 제2 필터(120)에 건네진다.

제2 필터(120)의 전 단계에는 Y, Cb, Cr 각각의 신호에 대응하여, 화소 h/2개분의 FIFO 버퍼(122)가 하나씩 배치된다. 이들 FIFO 버퍼(114)도, 가로 일렬분의 YCbCr 화소를, 다음 가로 일렬분의 화소가 제1 필터(110)로부터 출력될 때까지 유지하는 역할을 갖는다. 가로 2열분의 화소가 입력되면, 제2 필터(120)는, 가로 2×세로 2의 4화소분의 Y, Cb, Cr의 화소값을 평균한다. 이 처리를 반복함으로써, 1/4 디모자이크 후 화상은 종횡 각각 1/2의 길이가 되어, 전체적으로 1/16의 크기로 변환된다. 변환된 1/16 디모자이크 후 화상은, 화상 송출부(150)로 보내짐과 함께, 다음 단의 제3 필터(130)에 건네진다.

제3 필터(130) 및 제4 필터(140)에 대해서도, 각각의 전단에 h/4개분의 FIFO 버퍼(132) 또는 h/8개분의 FIFO 버퍼(142)가 배치되는 것 이외는, 상기와 마찬가지의 처리를 반복한다. 그리고, 화상 송출부(150)에 1/64 및 1/256 크기의 디모자이크 후의 화상을 출력한다.

또한, 상기와 같은 피라미드 필터는, 특허문헌 1에도 기재되어 있는 바와 같이 주지된 것이므로, 본 명세서에서는 더 이상 상세한 설명을 생략한다.

이와 같이, 피라미드 필터부(170)의 각 필터로부터는, 1/4씩 축소된 화상 출력이 화상 송출부(150)에 입력된다. 이에 의해 알 수 있는 바와 같이, 피라미드 필터부(170) 내의 필터를 통과할수록, 각 필터의 전단에 필요해지는 FIFO 버퍼의 크기는 작아도 되게 된다.

화상 송출부(150)는, 화상 취득부(102)로부터 수취한 RAW 화상, 디모자이크부(104)로부터 수취한 1/1 디모자이크 후의 화상 또는 피라미드 필터부(170)로부터 수취한 1/4 내지 1/256 디모자이크 후의 화상 중, 호스트 단말기(20)로부터 통신부(108)를 통해서 받은 지시에 따라 필요한 화상을 골라낸다. 그리고, 이들 화상으로 패킷을 구성하여 통신부(108)로 보낸다.

통신부(108)는, 예를 들어 USB 1.0/2.0 등 소정의 프로토콜에 따라서, 패킷을 호스트 단말기(20)에 송출한다. 호스트 단말기(20)와의 통신은 유선에 한하지 않고, 예를 들어 IEEE 802.11a/b/g 등의 무선 LAN 통신, IrDA 등의 적외선 통신이어도 좋다.

도 3은, 카메라(100)의 화상 송출부(150)의 구성을 도시하는 도면이다. 화상 송출부(150)는, 블록 기입부(152), 버퍼(154), 블록 판독부(156), 부호화부(158), 패킷화부(160), 패킷 버퍼(162) 및 제어부(164)를 갖는다.

제어부(164)는, 호스트 단말기(20)로부터의 지시에 기초하여, 블록 기입부(152) 및 블록 판독부(156)에 각종 화상 데이터 중 어느 것을 패킷으로서 송출할지를 지시한다. 후술하는 바와 같이, 본 실시 형태에서는, 화상 송출부(150)에 입력된 RAW 화상과 디모자이크 후의 화상 중 일부만이 호스트 단말기측으로 보내진다.

블록 기입부(152)에는, 화상 취득부(102)로부터 RAW 화상이, 디모자이크부(104) 및 피라미드 필터부(170)를 경유해서 1/1 내지 1/256 크기의 디모자이크 후의 화상이 입력된다.

블록 기입부(152)의 크기 선택부(152A)는, 제어부(164)로부터의 지시에 기초하여, 디모자이크 후의 화상의 일부를 버퍼(154)에 기입한다. 블록 기입부(152)는, 도 2 중에도 도시한 바와 같이 2×2의 화소마다 화상을 수취하여, 차례로 버퍼(154)에 기입하도록 동작한다. 또한, 블록 기입부(152)의 잘라낸 블록 선택부(152B)는, RAW 화상에 대해서, 제어부(164)로부터 지시되는 특정 부위를 포함하는 블록만을 버퍼(154)에 기입한다. 이 특정 부위는, 예를 들어 유저의 얼굴이나 손 등의 고화질이면서 고해상도의 화상이 필요해지는 부위다. 잘라낸 블록 선택부(152B)에 대해서는 추가로 후술한다.

블록 판독부(156)는, 버퍼(154) 상에 1블록 분의 화소가 준비된 순서대로, 각 화상 블록을 판독해서 부호화부(158)로 보낸다. 블록 기입부(152) 및 블록 판독부(156)는, 제어부(164)에 의해 동기 동작하도록 조정되어 있다. 즉, 블록 기입부(152)에 의한 판독 기입은, 화상 취득부(102), 디모자이크부(104) 및 피라미드 필터부(170)로부터 화소가 출력될 때마다 행해지는 데 반해, 블록 판독부(156)에 의한 판독은, 버퍼(154)에 1블록 분의 화소가 축적될 때마다 행해진다. 이 동기 타이밍은 촬상 소자의 노광 속도에 따라서 정해진다. 또한, 1블록의 크기는, 후단의 JPEG 부호화에 맞춰서 8×8 화소의 블록인 것이 바람직하다. 이하의 설명에서는, RAW 화상의 블록을 Br, 1/1, 1/4, 1/16, 1/64 및 1/256 크기의 디모자이크 후 화상의 블록을 B1, B4, B16, B64, B256과 같이 표기한다.

본 실시 형태에서는, RAW 화상의 전체나 축소 화상의 전체분의 화소가 정렬되고나서 호스트 단말기로 보내는 것이 아니고, 블록 단위로 송출하므로, 버퍼(154)는 최대이더라도 RAW 화상 및 축소 화상의 모든 화상 블록을 축적할 수 있는 크기로 충분하다. 어플리케이션의 종류에 따라서는, 2 내지 3개의 화상 블록을 축적할 수 있으면 좋다. 이와 같이, 버퍼되는 데이터를 적게 하여, 블록이 생길 때마다 차례로 패킷화해서 전송하므로, 카메라 내의 처리에 수반하는 대기 시간이 삭감된다. 또한, 화상 취득부(102)로부터의 화소의 출력 및 피라미드 필터부(170)로부터는, 촬상 소자의 노광이 끝날 때마다 순차 블록 기입부(152)에 화소가 출력되어 오므로, 상이한 프레임의 블록이 버퍼(154)에 기입되거나, 블록이 상이한 순서로 패킷화해서 보내지는 것과 같은 일은, 구조상 일어날 수 없다.

잘라낸 블록 선택부(152B)는, 호스트 단말기(20)로부터 보내지는 특정 부위의 위치 정보를 수취하여, 그 영역으로부터 소정의 화소수만큼 넓은 영역을 내포하는 블록을 특정 블록으로서 선택한다.

부호화부(158)는, RAW 화상 이외의 축소 화상의 화상 블록에 대하여, JPEG 등의 주지된 압축 부호화를 실행하고, 패킷화부(160)로 보낸다. 패킷화부(160)는, RAW 화상 블록 및 부호화 후의 축소 화상의 화상 블록을, 패킷화부(160)에 도래한 순서대로 패킷화해서 패킷 버퍼(162)에 기입한다. 통신부(108)는, 패킷 버퍼(162) 내의 패킷을, 소정의 통신 프로토콜에 따라서 호스트 단말기(20)에 전송한다.

또한, LLVC, AVC 등의 다른 주지의 부호화도 사용할 수 있지만, 블록 단위로 부호화할 수 있는 것이 바람직하다. 또한, 블록 판독부(156)에서 판독되는 블록의 크기도 부호화에 맞춰서 변경할 수 있고, 예를 들어 256×256 단위의 블록으로 판독과 부호화가 행해져도 좋다.

이어서, 도 4를 사용하여 화상 송출부(150)의 작용을 설명한다. 우열(S1)은, 블록 기입부가 수취하는 RAW 화상 및 디모자이크 후의 화상을 나타내고 있다. 작은 정사각형이 하나의 화소를 나타내고 있다. 단, RAW 화상에서는 RGB 중 어느 1화소값에 대응하고, 디모자이크 후의 화상에서는 1화소가 YCbCr 신호의 전부를 포함하는 것에 주의한다. 정사각형의 조밀도는, 피라미드 필터에 의해 화소가 씨닝되고 있는 모습을 나타낸다. 블록 기입부에는, 출력되어 오는 이들 화상 중, 제어부(164)의 지시에 따라서 몇가지 화상만을 버퍼에 기입한다. 이 예에서는, RAW 화상, 1/16 및 1/64 디모자이크 후의 화상이 선택되는 것으로 한다. 또한, RAW 화상에 대해서는, 특정 부위를 포함하는 블록만을 선택한다. 이 결과, 도면 중의 중앙열(S2)에 도시하는 블록 판독부는, RAW 화상 블록(Br) 중 4블록 분과, 1/16의 디모자이크 후의 화상 블록(B16)과, 1/64 디모자이크 후의 화상 블록(B64)을 버퍼로부터 판독한다. 또한, 실제로는 블록 기입부로부터 블록 판독부에 직접 블록이 건네지는 것이 아니라, 버퍼에 소정 크기의 블록이 축적된 후에 블록 판독부가 블록 단위로 판독하는 것에 주의한다.

판독된 블록은, 디모자이크 후 화상 블록(B16, B64)에 대해서는 부호화 처리된 후에, 도면 중의 좌열(S3)에 도시한 바와 같이 RAW 화상 블록과 함께 패킷화된다.

도 5는, 호스트 단말기(20) 중, 본 실시 형태의 저지연 화상 출력에 관여하는 부분의 구성을 도시한다. 이들 구성도 하드웨어적으로는 CPU, RAM, ROM, GPU, 입출력 제어 장치 등의 구성으로 실현할 수 있고, 소프트웨어적으로는 데이터 입력 기능, 데이터 유지 기능, 화상 처리 기능, 묘화 기능 등의 여러 기능을 발휘하는 프로그램으로 실현되지만, 도 6에서는 그것들의 연계에 의해 실현되는 기능 블록을 도시하고 있다. 따라서, 이들 기능 블록은 하드웨어, 소프트웨어의 조합에 의해 여러 가지 형태로 실현할 수 있다.

호스트 단말기(20)는 통신부(22), 제어부(52), 화상 처리부(50) 및 표시 제어부(54)를 포함한다.

제어부(52)는 오퍼레이팅 시스템을 동작시켜서 화상 처리부(50)의 전체적인 동작을 제어하는 것 외, 호스트 단말기(20)에 필요한 다른 제어, 예를 들어 게임이나 채팅 등의 각종 어플리케이션의 실행이나 드라이버의 제어, 기록 매체로부터의 프로그램의 판독 등을 제어한다.

통신부(22)는 카메라(100)로부터 각종 화상 데이터를 수취하여, 화상 처리부(50)로 보낸다.

화상 처리부(50)는 배분부(24), 고화질 디모자이크부(28), 고품질 처리부(32), 복호부(34), 확대부(36), 화상 합성부(38), 화상 출력부(40) 및 특정 부위 검출부(42)를 갖는다.

배분부(24)에는 카메라(100)로부터 RAW 화상의 특정 부위 및 부호화된 축소 화상의 블록이 입력된다. 그리고, 제어부(52)로부터의 지시에 따라서, RAW 화상의 화상 블록은 고화질 디모자이크부(28)로 보내고, 다른 화상 블록은 복호부(34)로 보낸다.

고화질 디모자이크부(28)는 RAW 화상의 특정 부위에 대하여 디모자이크 처리를 실행한다. 여기에서의 디모자이크 처리는 카메라(100)의 간이 디모자이크 처리부와는 상이하고, 호스트 단말기(20)의 계산 리소스를 활용해서 고화질인 디모자이크 처리를 실행한다. 예를 들어, 1화소의 YCbCr 화상 신호를 계산하는 것에 3×3화소 이상의 RGB값을 사용하거나, 수평 방향 및/또는 수직 방향의 화소간의 상관 정도를 고려해서 보간 계수를 수정한다는 등의 기존 또는 장래에 개발되는 임의의 알고리즘을 사용할 수 있다. 이러한 디모자이크 처리는, 예를 들어 일본 특허 공개 평7-236147호 공보에 개시되어 있다.

디모자이크 후의 화상은 고품질 처리부(32)로 보내진다.

고품질 처리부(32)는 디모자이크 후의 화상을 시청에 적합한, 더욱 고정밀도의 화상으로 변환한다. 여기에서 행해지는 처리는, 어플리케이션의 종류에 따라 여러 가지인데, 예를 들어 비디오 채팅에서 얼굴을 대형 화면에 비추는 것과 같은 경우에는, 얼굴의 밝기 조정, 안색의 수정, 눈이나 입가의 수정 등의 임의의 처리를 실행한다. 고품질 화상은 화상 합성부(38)로 보내진다.

한편, 복호부(34)는, RAW 화상 이외의 축소 화상의 화상 블록을 수취하고, JPEG 등으로 압축 화상을 복호한다. 카메라(100)측에서 화상 압축이 이루어져 있지 않은 경우, 이 복호부(34)는 불필요하다.

특정 부위 검출부(42)는, 복호부(34)에서 복호된 축소 화상을 수취한다. 그리고, 주지된 화상 검출 방법에 따라서, 유저의 화상 중 어플리케이션에서 특히 중요하게 여겨지는 부위를 특정한다. 이 부위는, 예를 들어 비디오 채팅이면 유저의 얼굴이고, UI이면 눈, 입가, 손발 등이다. 특정된 부위의 위치 정보는 통신부(22)를 통해서 카메라(100)에 피드백된다. 이 위치 정보에 따라서, 카메라(100)로부터는 특정 부위 주변의 RAW 화상 블록이 보내지고, 따라서 한정된 블록만이 고화질 디모자이크부에서 디모자이크 처리되게 된다.

또한, 특정 부위의 검출은 예를 들어 이하의 방법으로 실행된다. 얼굴 검출의 경우에는, 휘도(Y) 신호만을 사용해서 화상을 20×20의 블록으로 분할하고, 비교적 휘도가 밝고 복수 블록에 걸치는 부분을 얼굴이라고 인식한다. 혹은, 도시하지 않은 기준 화상 기억부에 특정 부위(얼굴이나 손 등)의 기준 화상을 기록해 두고, 도시하지 않은 매칭부가 기준 화상과 입력 화상과의 매칭을 실행하고, 유저의 얼굴이나 손에 상당하는 영역의 화상을 특정해도 좋다. 얼굴의 영역을 특정한 후에, 그 내부에서 눈, 코, 입 등에 상당하는 영역을 각 파트의 기준 화상과의 매칭에 의해 더욱 특정해도 좋다.

확대부(36)는 복호된 축소 화상(예를 들어 1/64)을 수취하고, 이것을 1/1(등배) 크기로 확대한다. 확대된 화상 데이터는 화상 합성부(38)로 보내진다.

화상 합성부(38)는 1/1 크기의 저품질 화상과, 특정 부위의 고품질 화상 블록을 합성한다. 이 결과, 어플리케이션에서 중시되는 특정 부위에 대해서는 매우 고화질이고 고해상도이지만, 그 이외의 부분에 대해서는 저품질이고 저해상도의 화상이 생성된다. 화상 출력부(40)는 생성된 합성 화상을 프레임 버퍼(도시하지 않음)에 기입한다.

표시 제어부(54)는, 프레임 버퍼에 묘화된 화상 데이터를 디스플레이(4)에서 표시하기 위한 비디오 신호를 생성한다.

계속해서, 호스트 단말기(20)의 작용을 설명한다. 카메라(100)로부터 각종 화상 블록을 수취한 배분부(24)는 RAW 화상 블록에 대해서는 고화질 디모자이크부(28)에 건네고, 그 이외의 블록은 복호부(34)에 건넨다. 고화질 디모자이크부(28)는 특정 부위에 대응하는 RAW 화상 블록이 모이면, 고화질인 디모자이크 처리를 실시해서 YCbCr의 컬러 화상으로 변환하고, 또한 고품질 처리부(32)에서 소정의 처리를 실시해서 고품질의 특정 부위 화상을 얻는다. 한편, 축소 화상의 블록은 복호부(34)에서 복호 처리된 후에 확대부(36)에서 1/1 크기까지 확대된다. 그리고, 화상 합성부(38)가 확대된 축소 화상 중 특정 부위를, 고품질의 특정 부위 화상으로 치환한 합성 화상을 출력한다.

복호 후의 축소 화상 중 Y 신호를 이용하여, 특정 부위 검출부(42)에 의해 특정 부위가 검출된다. 이 정보는 카메라의 제어부로 보내져서, 블록 기입부(152)에서의 RAW 화상 블록의 선택에 이용된다.

이상의 일련의 처리는 프레임마다 반복된다. 이 결과, 특정 부위가 매우 고품질인 유저의 동화상이 생성된다.

도 6 및 도 7은, 본 실시 형태에 따른 저지연 카메라 시스템(10)의 전체 동작을 설명하는 흐름도다.

우선, 도 6의 카메라측 동작에 대해서 설명한다. 화상 취득부(102)가 촬상 소자로부터 화상을 수취하면, RAW 화상이 화상 송출부(150) 및 디모자이크부(104)로 보내진다(S10). 디모자이크부(104)는 RAW 화상의 화소에 비교적 저화질의 디모자이크 처리를 실행하고, 디모자이크 후의 화소를 화상 송출부(150)와 피라미드 필터부(170)로 보낸다(S12). 피라미드 필터부(170)의 각 계층의 필터에서 각각 바이 리니어 보간이 실시되어, 1/4 내지 1/256 크기의 화소열이 화상 송출부(150)에 출력된다(S14).

화상 송출부(150)의 블록 기입부(152)는, 제어부(164)로부터의 지시에 따라서, 축소 화상 중 일부를 버퍼(154)에 기입함과 함께(S16), RAW 화상에 대해서는 특정 부위를 포함하는 화상 블록만을 선택해서 버퍼(154)에 기입한다(S18). 블록 판독부(156)는, 버퍼(154) 내에 예를 들어 8×8의 블록 분의 화소가 기록될 때마다 그들 화상 블록을 판독해서 부호화부(158)로 보낸다(S20). 부호화부(158)에서 소정의 부호화가 실시된 후(S22), 패킷화되어서 호스트 단말기(20)에 송출된다(S24).

계속해서 도 7의 호스트 단말기측의 동작에 대해서 설명한다. 배분부(24)는, 카메라로부터 수취한 패킷으로부터 각종 화상 블록을 취출하고, 고화질 디모자이크부(28) 또는 복호부(34)로 보낸다(S30). RAW 화상 블록은, 고화질 디모자이크부(28)에서 디모자이크 처리된 후(S32), 고품질 처리부(32)에서 소정의 처리가 실시되어 화상 합성부(38)에 출력된다(S34). 한편, 축소 화상 블록에 대해서는, 복호부(34)에서 복호된 후(S36), 휘도 신호가 사용되어서 특정 부위 검출부(42)에 의해 특정 부위가 검출된다(S38). 이 정보는 카메라(100)로 보내져서, RAW 화상의 특정 블록의 선택에 사용된다(S40). 또한, 복호 후의 축소 화상은 확대부(36)에 의해 1/1 크기까지 확대되어서, 화상 합성부(38)에 출력된다(S42).

화상 합성부(38)는, 특정 부위의 고정밀도 화상과 그 이외의 확대 화상을 합성하고(S44), 화상 출력부(40)가 합성 화상을 프레임 버퍼에 출력한다(S46).

본 실시 형태는, 디스플레이에 비추어지는 유저의 화상 중, 얼굴이나 손 등 특정 부위에 대해서는 가능한 한 고화질이고 고해상도인 것이 바람직하지만, 그 이외의 배경 등에 대해서는 비교적 화질이 낮아도 상관없다는 인식에 기초하고 있다. 오히려, 비디오 채팅 등의 어플리케이션에서는, 배경 화상은 저화질 쪽이 바람직한 경우도 있다.

상술한 바와 같이, 얼굴 인식은 휘도 신호만 있으면 충분하므로, 고화질의 디모자이크 처리는 불필요하다. 그럼에도 불구하고, 종래의 카메라 시스템에서는, 카메라측에서 고화질인 디모자이크를 행한 화상을 더욱 데이터 압축하고, 해동 후의 화상을 사용해서 얼굴 인식한다는 상당히 비효율적인 처리를 행하고 있었다. 본 실시 형태에서는, 얼굴 인식은 간이 디모자이크 후의 화상을 더 축소한 것을 사용하여 행하기 때문에, 낭비되는 데이터가 적어질 수 있다. 한편, 얼굴 영역에 대해서는 RAW 화상을 카메라로부터 수취하고, 호스트 단말기(20)의 계산 파워를 사용해서 고화질 디모자이크를 실행할 수 있다. 이에 의해, 카메라로부터 호스트 단말기로 보내지는 데이터량이 적어 대기 시간이 짧음에도 불구하고, 얼굴 영역의 화질을 종래의 카메라 시스템보다 향상시킬 수 있다.

또한, 종래의 카메라 시스템에서는, RAW 화상을 그대로 보내느냐 또는 디모자이크 후에 JPEG 압축한 것을 보내느냐 하는 선택밖에 없었다. 전자에서는, 데이터량이 증대하므로 통신 대역이 보틀넥이 되어서 대기 시간이 발생한다. 후자에서는, 비가역 압축을 가하기 때문에, 후단에서의 화질 향상에는 한계가 있다. 일반적으로, 디모자이크는 화상의 화질을 좌우하는 것이지만, 계산 파워를 상당히 사용하는 것이므로, 계산 리소스에 여유가 있는 호스트 단말기측에서 행하는 쪽이 유리하다. 본 실시 형태에서는, RAW 화상은 얼굴이나 손 등의 특정 부위만을 호스트 단말기에 송신하므로, 송신 데이터량이 적어서 대기 시간을 억제할 수 있는 동시에, 호스트 단말기측에서의 RAW 화상을 이용한 화질 향상의 자유도가 현저하게 증대한다.

도 8은 본 실시 형태의 저지연 카메라 시스템(10)을 비디오 채팅 어플리케이션에 적용한 경우의 화상 처리의 개요를 설명하는 도면이다. 이 예에서는, 카메라와 호스트 단말기가 USB 접속되어, 비디오 채팅을 하는 유저의 얼굴 부분을 검출하고, 얼굴만을 고화질이고 고해상도인 화상으로 채팅처의 호스트 단말기에 송신하는 어플리케이션 프로그램이 동작하고 있는 것으로 한다.

이 어플리케이션에서는, 호스트 단말기(20)로부터 카메라(100)에 대하여, RAW 화상과 1/16 축소 화상만을 송신하도록 지시되어 있는 것으로 한다. 1/16 축소 화상 블록(B16)이 크기 선택부(152A)에 의해 선택되어서(S50), 부호화부(158)에 의해 부호화된다(S52). RAW 화상에 대해서는, 블록 기입부(152)가 호스트 단말기로부터 특정 부위의 위치 정보를 수취하고(S54), 잘라낸 블록 선택부(152B)는, 얼굴 인식의 위치 정보에서 특정되는 영역(D)을 상하 좌우로 소정의 화소수만큼 확장한 범위(E)를, 특정 부위 블록으로서 선택해서 출력한다(S56). 이렇게 하는 것은, 얼굴 인식에서는 피부색 부분만이 인식되는 데 반해, 채팅에는 헤드부 전체의 화상이 필요해지기 때문이다. 또한, 이 범위는 블록의 경계와 일치하도록 설정하는 것이 바람직하다. 이와 같이 하여 얻어진 RAW 화상의 특정 부위 블록과 축소 화상 블록이 패킷화되어서, 호스트 단말기(20)로 보내진다(S58).

호스트 단말기(20)에서는, RAW 화상의 특정 부위 블록은 디모자이크 처리 및 고품질 처리를 받아(S62), 고품질 화상으로서 출력된다(S64). 또한, 축소 화상에 대해서는 복호 처리되며(S66), 또한 1/1 크기로 확대된다(S68). 이 확대 화상 중, 유저의 헤드부에 상당하는 부분을 고품질 화상으로 치환하는 화상 합성이 실시되고(S70), 합성 화상이 출력된다.

동시에, 축소 화상 중 Y 신호를 사용해서 얼굴 검출이 행해지고(S72), 검출된 얼굴의 위치 정보가 카메라(100)에 피드백되어서(S74), 특정 부위 블록의 선택에서 사용된다.

또한, 얼굴 인식의 처리는 비디오 채팅의 실시 중에 항상 행해도 좋지만, 소정의 시간(예를 들어, 1초 마다)을 두고 복수 프레임마다 실행하면 실용상은 충분하다. 통상, 동화상은 매초 60 프레임 이상 출력되므로, 1 프레임 사이에 유저의 헤드부가 크게 움직이는 일은 일어나지 않기 때문이다.

이러한 예와 같이, 비디오 채팅의 어플리케이션이면, 얼굴 화상이 가장 중요하고, 그 이외의 몸 부분이나 배경 등은 중요도가 낮다. 따라서, RAW 화상으로부터 얼굴 부분에 대응하는 블록만을 잘라내어, 이것을 사용한 디모자이크 처리 및 고품위화 처리를 호스트 단말기측의 충분한 계산 리소스를 이용해서 행함으로써, 고화질 고품위의 얼굴 화상이 얻어진다. 동시에, 얼굴 이외에 대해서는 압축 화상을 사용함으로써, 카메라와 호스트 단말기 간의 트래픽을 삭감해서 대기 시간을 억제할 수 있다.

이상 설명한 바와 같이, 본 실시 형태에 따르면, 고화질, 고해상도가 필요한 부분에 대해서는 RAW 화상을 카메라로부터 수취해 호스트 단말기측에서 고화질인 디모자이크 처리를 실행함과 함께, 그 이외의 저화질, 저해상도이어도 좋은 부분에 대해서는, 카메라로부터 축소 화상을 수취해 이것을 확대해서 사용한다. 그 결과, 부분적으로 고화질인 화상을 확보하면서, 카메라 내부에서의 처리 및 카메라와 호스트 간의 통신에 있어서의 대기 시간을 억제할 수 있다.

따라서, 유저 인터페이스의 어플리케이션에서는, 종래보다 신속한 응답이 실현된다. 그로 인해, 예를 들어 유저의 제스처의 화상 인식에 기초하는 화면 상에서의 커서 이동이나 다이얼 조작 또는 게임의 플레이어 조작 등을, 높은 리스펀스로 실현할 수 있는 가능성이 있다. 또한, 비디오 채팅 어플리케이션에서는 움직임이 매끄럽고 지연이 적은 화상을 제공할 수 있다. 이와 같이, 어플리케이션 마다 요구에 맞는 화상 데이터만을 선택해서 보낼 수 있다.

최근에는, 저렴한 웹 캠이라도 화소수가 증대하고 있고, 또한 촬상 소자의 CMOS화에 의해 스캔 속도도 빨라지고 있다. 용량이 많은 화상을 보내기 위해서는, 카메라측에서 고압축 해야하지만, 그렇게 하면 카메라의 처리 시간이 증가한다. 그로 인해, 이전보다 카메라 내에서의 처리나 통신에 수반하는 대기 시간이 표면화되고 있다. 즉, 촬상 소자의 능력이나 호스트 단말기측의 능력이 향상되고 있는데도, 그 사이가 보틀넥이 되어서 그들의 능력을 다 활용하지 못하고 있다. 그러나, 높은 계산 능력을 갖는 호스트 단말기를 준비할 수 있을 경우, 카메라에서 가공되지 않는 RAW 화상을 받은 쪽이, 화질의 열화가 없고, 또한 화이트 밸런스나 노출의 후처리도 할 수 있는 등 유리하다.

본 실시 형태에서는, 카메라측에서의 디모자이크를 간이하게 해서 대기 시간을 억제함과 함께, 인식 처리를 하는 등 고화질, 고해상도가 필요한 부분에 대해서는 RAW 화상을 직접 카메라로부터 수취해 계산 능력이 높은 호스트 단말기측에서 디모자이크를 실행한다. 따라서, 대기 시간을 억제함과 함께 촬상 소자의 성능을 충분히 활용할 수 있다.

또한, 카메라측에는 피라미드 필터에 의해 계층화된 축소 화상이 항상 준비되어 있다. 그로 인해, 호스트 단말기는, 실행중인 어플리케이션에 필요해지는 크기의 축소 화상을 언제나 요구할 수 있다. 예를 들어, 유저가 완전히 정지하고 있는 것이라면, RAW 화상의 특정 부위를 처음부터 고정해 두고 항상 그것을 사용하면 좋지만, 현실에서 그러한 상황은 적다. 본 실시 형태에서는, RAW 화상의 특정 부위를 수취함과 함께, 항상 축소 화상을 사용해서 유저의 움직임을 트랙해서 얼굴이나 손 부분의 이동을 검출할 수 있으므로, 거기에 맞추어 요구하는 RAW 화상의 블록을 적절히 변경할 수 있다. 요구하는 축소 화상의 크기는, 검출해야 할 유저의 얼굴이나 손의 크기, 유저의 인원수, 유저의 움직임의 대소 등에 따라 최적인 것을 선택할 수 있다.

또한, 블록 기입부 및 블록 판독부에서는, 화상 처리에 필요해지는 버퍼를 작게 할 수 있다. 이것은, 블록 기입부는, 촬상 소자에 의한 화소 스캔이 일렬마다 행해질 때마다, 간이 디모자이크부나 피라미드 필터부로부터의 화소를 버퍼에 기입하는 한편, 1블록 분의 화소가 축적될 때마다, 블록 판독부가 버퍼로부터 그것을 판독해서 패킷 송출하기 때문이다.

또한, 본 실시 형태에 따른 화상 처리 장치에서는, 종래와 같이 카메라측에 인식 처리 장치 등을 둘 필요가 없기 때문에, 하드웨어를 작게 할 수 있다. 또한, 기존의 디지털 비디오 카메라에 피라미드 필터부와 화상 송출부를 새롭게 추가하는 것만으로, 낮은 대기 시간의 카메라 시스템을 구축할 수 있게 된다.

이상, 실시 형태를 바탕으로 본 발명을 설명하였다. 이들 실시 형태는 예시이며, 각 구성 요소 또는 프로세스의 조합에 여러 변형예가 가능한 것, 또한 그러한 변형예도 본 발명의 범위에 있는 것은 당업자에게 이해되는 바이다.

실시 형태에서 설명한 구성 요소의 임의의 조합, 본 발명의 표현을 방법, 장치, 시스템, 컴퓨터 프로그램, 기록 매체 등의 사이에서 변환한 것도 또한, 본 발명의 형태로서 유효하다. 또한, 본 명세서에 흐름도로서 기재한 방법은, 그 순서에 따라 시계열적으로 실행되는 처리의 이외에, 병렬적 또는 개별로 실행되는 처리도 포함한다.

실시 형태에서는, RAW 화상에 대해서만 특정한 블록을 선택했지만, 다른 디모자이크 후 화상에 대해서 특정한 블록을 선택해도 좋다. 예를 들어 손의 제스처를 검출하는 경우, 유저의 얼굴을 기준으로 해서 손의 부분을 특정 부위로서 결정하고, 손의 영역의 디모자이크 화상을 호스트 단말기로 보낸다. 유저의 움직임이 큰 경우에는, 거친 화상, 즉 크기가 작은 디모자이크 화상에서도 트래킹이 가능하고, 움직임이 작은 경우에는, 미세한 화상, 즉 크기가 큰 디모자이크 화상을 이용한다. 이와 같이, 피라미드 필터에 의해 항상 카메라측에서는 계층화된 화상 데이터가 준비되어 있기 때문에, 유저의 움직임의 속도나 크기에 따라서 요구하는 화상 크기를 적절히 변경할 수 있다. 마찬가지로, 예를 들어 유저의 수가 두 사람으로 증가한 경우에서도, 전체를 감시하고 있으므로 빠르게 RAW 화상 블록을 다시 선택할 수 있다. 또한, 특정 부위를 RAW 화상으로 처리하면, 종래의 카메라에 의한 인식에서는 매우 곤란했던 손끝의 움직임과 같은 미소한 동작도 검출할 수 있게 된다.

실시 형태에서는, 카메라측의 디모자이크 처리가 호스트측과 비교해서 간이한 것임을 설명했지만, 디모자이크 처리에 수반하는 대기 시간의 영향이 비교적 작으면, 호스트 단말기측과 동등한 성능의 디모자이크 처리를 행해도 좋다. 즉, 본 발명에서는, 카메라와 호스트 단말기의 상이한 알고리즘에 따라서 디모자이크 처리가 이루어지는 한, 디모자이크 처리의 알고리즘의 종류를 한정하는 것이 아니다. 이렇게 함으로써, 호스트 단말기에서는 2종류의 디모자이크 처리 후의 화상을 취급할 수 있으므로, 디스플레이에 출력하는 합성 화상의 구성의 자유도가 향상된다.

실시 형태에서는, 축소 화상의 전체가 카메라로부터 호스트 단말기로 보내지는 것을 설명했지만, 축소 화상의 일부만이 보내져도 좋다. 예를 들어, JPEG의 특성으로부터, 1/16의 축소 화상의 Y 신호와, 1/64의 축소 화상의 CbCr 신호만을 보내도록 해도 좋다.

실시 형태에서는, 호스트 단말기로서 퍼스널 컴퓨터가 거치형인 게임기를 나타냈지만, 호스트 단말기는 랩탑 컴퓨터나 휴대형 게임기 등이어도 좋다. 이 경우, 카메라는 디스플레이의 상부 등에 설치되거나 또는 내장되어 있는 것이 바람직하다.

실시 형태에서는, 유저의 얼굴이나 손 등의 검출을 호스트 단말기에서 행하는 것을 설명했지만, 카메라측에서 행해도 좋다. 예를 들어 얼굴 인식과 같이 휘도 신호를 사용하는 인식 처리이면, 증가하는 대기 시간은 비교적 적다고 생각된다. 이 경우, 호스트 단말기로부터의 지시를 기다리지 않고서, 카메라측에서 얼굴에 상당하는 RAW 화상의 블록을 선택하여 호스트 단말기로 보낼 수 있다.

어플리케이션으로서, 유저의 제스처를 인터페이스에서 사용하는 경우 및 비디오 채팅의 경우에 대해서 설명하였다. 그러나, 본 발명은 유저의 몸의 일부나 제스처를 인식하여 입력으로서 수취하는 임의의 어플리케이션 및 유저의 화상을 이용하는 임의의 어플리케이션에 필요한 수정을 가한 후에 적용할 수 있다.

4 디스플레이
6 유저
10 저지연 카메라 시스템
20 호스트 단말기
22 통신부
24 배분부
28 고화질 디모자이크부
32 고품질 처리부
34 복호부
36 확대부
38 화상 합성부
40 화상 출력부
42 특정 부위 검출부
50 화상 처리부
52 제어부
54 표시 제어부
100 카메라
102 화상 취득부
104 디모자이크부
106 간이 디모자이크 처리부
108 통신부
110 제1 필터
120 제2 필터
130 제3 필터
140 제4 필터,
150 화상 송출부
152 블록 기입부
154 버퍼
156 블록 판독부
158 부호화부
160 패킷화부
162 패킷 버퍼
164 제어부
170 피라미드 필터부

Claims

동화상 처리 장치상에서 동작하는 동화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서,
촬상 소자를 사용해서 촬상된 미가공 화상을 취득하는 화상 취득 기능과,
상기 미가공 화상에 디모자이크 처리를 행하는 디모자이크 기능과,
상기 미가공 화상을 단계적으로 해상도가 상이한 복수의 축소 화상으로 변환하는 필터 기능과,
상기 미가공 화상 중 일부를 특정 부위로서 선택함과 함께, 상기 복수의 축소 화상 중 어느 하나를 지정 축소 화상으로서 선택하는 선택 기능과,
선택된 미가공 화상의 특정 부위와 지정 축소 화상을, 새로운 화상 처리를 받기 위해서 호스트 단말기에 송신하는 송신 기능을 동화상 처리 장치에 실현시키는 것을 특징으로 하는 동화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
제1항에 있어서,
상기 선택 기능은, 화상 내에서 고화질로 설정해야 할 영역으로서 상기 호스트 단말기로부터 부여되는 지시에 따라서, 상기 미가공 화상의 특정 부위를 선택하는 것을 특징으로 하는 동화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
제1항 또는 제2항에 있어서,
상기 선택 기능은, 상기 특정 부위와 조합되는 배경 화상으로서 상기 호스트 단말기로부터 부여되는 지시에 따라서, 상기 지정 축소 화상을 선택하는 것을 특징으로 하는 동화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
제1항 또는 제2항에 있어서,
상기 선택 기능은,
상기 촬상 소자로부터 상기 미가공 화상의 화소값이 출력될 때마다 상기 특정 부위에 대응하는 화소값을 선택해서 버퍼에 기입함과 함께, 상기 필터 기능에 의해 변환된 축소 화상의 화소값을 수취할 때마다 상기 지정 축소 화상에 대응하는 화소값을 선택해서 버퍼에 기입하는 기입 기능과,
상기 버퍼 내에 저장된 화소값이 미리 정해진 크기의 화상 블록이 될 때마다 상기 버퍼로부터 판독하는 판독 기능을 갖는 것을 특징으로 하는 동화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
촬상 장치로 촬상된 동화상에 가공을 실시한 후에 디스플레이에 출력하는 호스트 단말기상에서 동작하는 동화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서,
촬상 소자로부터 출력되는 미가공 화상의 일부인 특정 부위와, 상기 미가공 화상에 디모자이크 처리 및 축소 처리가 실시된 축소 화상을 수취하는 기능과,
상기 미가공 화상의 특정 부위에 디모자이크 처리를 행하는 기능과,
상기 축소 화상을 상기 미가공 화상과 동등한 크기까지 확대해 등배 화상으로 변환하는 기능과,
디모자이크 처리 후의 특정 부위를 상기 등배 화상과 합성해서 부분적으로 해상도가 상이한 합성 화상을 디스플레이에 출력하는 기능을 상기 호스트 단말기에 실현시키는 것을 특징으로 하는 동화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
제5항에 있어서,
상기 축소 화상을 사용하여, 화상 내에서 고해상도로 설정해야 할 특정 부위를 검출하는 특정 부위 검출 기능을 더 포함하는 것을 특징으로 하는 동화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
제5항 또는 제6항에 있어서,
상기 촬상 장치에 의한 촬상 대상이 당해 호스트 단말기를 이용한 어플리케이션을 사용하는 유저이며, 상기 특정 부위는 상기 어플리케이션에 대하여 조작 지시를 내리는 유저의 몸의 일부인 것을 특징으로 하는 동화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
삭제
촬상 소자를 사용해서 촬상된 미가공 화상을 취득하는 화상 취득부와,
상기 미가공 화상에 디모자이크 처리를 행하는 디모자이크 처리부와,
상기 미가공 화상을 단계적으로 해상도가 상이한 복수의 축소 화상으로 변환하는 필터부와,
상기 미가공 화상 중 일부를 특정 부위로서 선택함과 함께, 상기 복수의 축소 화상 중 어느 하나를 지정 축소 화상으로서 선택하는 선택부와,
선택된 미가공 화상의 특정 부위와 지정 축소 화상을, 새로운 화상 처리를 받기 위해서 호스트 단말기에 송신하는 송신부를 포함하는 것을 특징으로 하는 동화상 처리 장치.
제9항에 기재된 동화상 처리 장치를 탑재한, 촬상 장치.
촬상 장치에 의해 촬상된 동화상을 디스플레이에 표시하는 호스트 단말기로서,
상기 촬상 장치로부터, 촬상 소자를 사용해서 촬상된 미가공 화상의 일부인 특정 부위와, 상기 미가공 화상에 디모자이크 처리 및 축소 처리가 실시된 축소 화상을 수취하는 수신부와,
상기 미가공 화상의 특정 부위에 디모자이크 처리를 실시하는 디모자이크부와,
상기 축소 화상을 상기 미가공 화상과 동등한 크기까지 확대해 등배 화상으로 출력하는 확대부와,
디모자이크 처리 후의 특정 부위를 상기 등배 화상과 합성해서 부분적으로 해상도가 상이한 합성 화상을 디스플레이에 출력하는 화상 합성부를 포함하는 것을 특징으로 하는 호스트 단말기.
촬상 장치로 촬상된 동화상을 호스트 단말기에서 가공을 실시한 후에 디스플레이에 출력하는 촬상 시스템으로서,
상기 촬상 장치는,
촬상 소자를 사용해서 촬상된 미가공 화상을 취득하는 화상 취득부와,
상기 미가공 화상에 디모자이크 처리를 행하는 제1 디모자이크 처리부와,
상기 미가공 화상을 단계적으로 해상도가 상이한 복수의 축소 화상으로 변환하는 필터부와,
상기 미가공 화상 중 일부를 특정 부위로서 선택함과 함께, 상기 복수의 축소 화상 중 어느 하나를 지정 축소 화상으로서 선택하는 선택부와,
선택된 미가공 화상의 특정 부위와 지정 축소 화상을, 새로운 화상 처리를 받기 위해서 호스트 단말기에 송신하는 송신부를 포함하고,
상기 호스트 단말기는,
상기 촬상 장치로부터, 촬상 소자를 사용해서 촬상된 미가공 화상의 일부인 특정 부위와, 상기 미가공 화상에 디모자이크 처리 및 축소 처리가 실시된 축소 화상을 수취하는 수신부와,
상기 미가공 화상의 특정 부위에 디모자이크 처리를 행하는 제2 디모자이크 처리부와,
상기 축소 화상을 미가공 화상과 동등한 크기까지 확대해 등배 화상으로서 출력하는 확대부와,
디모자이크 처리 후의 특정 부위를 상기 등배 화상과 합성해서 부분적으로 해상도가 상이한 합성 화상을 디스플레이에 출력하는 화상 합성부를 포함하는 것을 특징으로 하는 촬상 시스템.
제12항에 있어서, 상기 촬상 장치의 제1 디모자이크 처리부는, 상기 호스트 단말기의 제2 디모자이크 처리부보다 저성능인 것을 특징으로 하는 촬상 시스템.
촬상 소자를 사용해서 촬상된 미가공 화상을 취득해서 버퍼에 기억하고,
상기 미가공 화상에 디모자이크 처리를 행하고,
피라미드 필터를 사용해서 상기 미가공 화상을 단계적으로 해상도가 상이한 복수의 축소 화상으로 변환하고,
상기 미가공 화상 중 일부를 특정 부위로서 선택함과 함께, 상기 복수의 축소 화상 중 어느 하나를 지정 축소 화상으로서 선택하고,
선택된 미가공 화상의 특정 부위와 지정 축소 화상을, 새로운 화상 처리를 받기 위해서 호스트 단말기에 송신하는 것을 특징으로 하는 동화상 처리 방법.
촬상 장치로 촬상된 동화상을 호스트 단말기에서 가공을 실시한 후에 디스플레이에 출력하는 방법으로서,
촬상 소자로부터 출력되는 미가공 화상의 일부인 특정 부위와, 미가공 화상에 디모자이크 처리 및 축소 처리가 실시된 축소 화상을 수신하고,
상기 미가공 화상의 특정 부위에 디모자이크 처리를 실시하고,
상기 축소 화상을 미가공 화상과 동등한 크기까지 확대해서 등배 화상으로 변환하고,
디모자이크 처리 후의 특정 부위를 상기 등배 화상과 합성해서 부분적으로 해상도가 상이한 합성 화상을 디스플레이에 출력하는 것을 특징으로 하는 동화상 처리 방법.