KR101231518B1

KR101231518B1 - 카메라 제어 장치, 카메라 시스템, 전자 회의 시스템 및카메라 제어 방법

Info

Publication number: KR101231518B1
Application number: KR1020060004313A
Authority: KR
Inventors: 다께시 마쯔이
Original assignee: 소니 주식회사
Priority date: 2005-01-17
Filing date: 2006-01-16
Publication date: 2013-02-07
Also published as: CN100556079C; JP2006197505A; EP1681855A2; CN1809126A; JP4770178B2; TWI311286B; US7675539B2; US20060187306A1; TW200643806A; KR20060083883A; EP1681855A3

Abstract

인물마다의 촬상 방향의 등록 조작을 행하지 않고, 간단한 조작으로 복수 중 1명의 인물을 카메라에 의해 확실하게 촬상시킨다. 카메라(10)의 촬상 대상으로 하는 복수의 인물의 각각의 얼굴이 카메라(10)에 의한 촬상 범위의 중앙에 위치할 때의 얼굴 방향 정보를 인물마다 기억하는 얼굴 위치 데이터베이스(31)와, 카메라(10)의 촬상 화상 신호로부터 얼굴의 위치를 검출하는 얼굴 인식 모듈(32)과, 얼굴 위치 검출에 의한 검출 결과와 현재의 카메라(10)의 촬상 방향을 나타내는 정보를 기초로 얼굴 방향 정보를 산출하여 얼굴 위치 데이터베이스(31)에 등록하는 데이터베이스 갱신 모듈(33)과, 유저의 조작 입력에 의해 지정된 인접 방향의 인물에 대응하는 얼굴 방향 정보를 얼굴 위치 데이터베이스(31)로부터 판독하고, 해당 얼굴 방향 정보에 따라서 운대(20)를 제어하여 카메라(10)의 촬상 방향을 변화시키는 데이터베이스 검색 모듈(34)을 구비한다.

카메라, 운대, 얼굴 위치 데이터베이스, 얼굴 인식 모듈, CPU

Description

카메라 제어 장치, 카메라 시스템, 전자 회의 시스템 및 카메라 제어 방법{CAMERA CONTROL APPARATUS, CAMERA SYSTEM, ELECTRONIC CONFERENCE SYSTEM, AND CAMERA CONTROL METHOD}

도 1은 제1 실시 형태에 따른 카메라 시스템의 시스템 구성을 도시하는 도면.

도 2는 카메라 제어 장치 및 CPU가 구비하는 카메라 제어를 위한 기능을 도시하는 블록도.

도 3은 팬/틸트/줌 동작의 제어 정보에 대하여 설명하기 위한 도면.

도 4는 카메라 시스템의 처리 전체의 흐름을 설명하는 플로우차트.

도 5는 얼굴 위치 데이터베이스의 자동 등록 처리의 흐름을 설명하는 플로우차트.

도 6은 얼굴 위치 데이터베이스의 갱신 처리의 흐름을 설명하는 플로우차트.

도 7은 인접하는 얼굴에의 카메라 방향 이동 처리의 흐름을 설명하는 플로우차트.

도 8은 제2 실시 형태에 따른 카메라 시스템의 시스템 구성을 도시하는 도면.

도 9는 제2 실시 형태에 따른 카메라 시스템의 처리 전체의 흐름을 설명하는 플로우차트.

<도면의 주요 부분에 대한 부호의 설명>

10 : 카메라

20 : 운대

30 : 카메라 제어 장치

31 : 얼굴 위치 데이터베이스

32 : 얼굴 인식 모듈

33 : 데이터베이스 갱신 모듈

34 : 데이터베이스 검색 모듈

35 : 팬/틸트 제어부

40 : 적외선 수광부

40a : 리모트 컨트롤러

50 : CPU

51 : 줌 제어부

52 : PTZ 커맨드 제어부

53 : Move_Next 커맨드 제어부

60 : 디스플레이

70 : 화상 인코더

[특허 문헌 1] 미국 공개 특허 No.2003/0142209

[특허 문헌 2] 영국 공개 특허 No.2,343,945

본 발명은, 촬상 방향을 변화시키는 구동 장치를 구비한 카메라의 촬상 범위를 제어하는 카메라 제어 장치, 이 카메라 제어 장치를 구비한 카메라 시스템 및 전자 회의 시스템, 및 카메라 제어 방법에 관한 것으로, 특히 카메라의 촬상 방향을 바꾸는 조작의 편리성을 높인 카메라 제어 장치, 카메라 시스템, 전자 회의 시스템, 및 카메라 제어 방법에 관한 것이다.

최근, 회의에서의 집음 음성 및 촬상 화상의 신호를 통신 회선을 통하여 상호 송수신함으로써, 원격지에서 회의를 행하는 것이 가능한 텔레비전 회의 시스템이 주목받고 있다. 이러한 시스템에서는, 발언하고 있는 사람을 촬상하여 그 화상 신호를 상대측에 송신할 수 있는 것이 바람직하지만, 그를 위해서는, 사람의 조작에 의해 카메라를 절환하거나, 혹은 발언자측으로 카메라를 향할 필요가 있었다.

한편, 화상 신호로부터 인물 등을 자동 인식하는 기술이 여러가지 장치에 이용되고 있다. 예를 들면, 특허 문헌 1에 개시되어 있듯이, 카메라에 의한 촬상 신호 중, 시간적으로 인접하는 2개의 프레임 간의 차분으로부터 인물 등의 동체를 검출하고, 카메라의 촬상 방향을 움직여서 그 동체를 추적하도록 한 동체 화상 감시 장치가 있다. 또한, 특허 문헌 2에 개시되어 있듯이, 촬상 범위 내의 인물의 얼굴을 검출하여 추적함과 함께, 그 얼굴의 특징 정보를 기억해 두고, 그 후에 촬상된 인물의 특징 정보와 기억된 특징 정보를 비교하여, 위험 인물에 대하여 경보할 수 있도록 한 촬영 장치도 있다.

그런데, 전술한 텔레비전 회의 시스템에서는, 간단한 조작으로, 혹은 자동적으로 발언자를 촬상하여, 그 화상 신호를 상대측에 송신할 수 있는 것이 바람직하다. 그를 위해서는, 촬상 방향을 변화시키기 위한 기구를 구비한 카메라를 이용하여, 전자 제어에 의해 발언자의 방향으로 카메라를 향하는 시스템을 구축하면 된다. 그러나, 카메라의 촬상 방향이나 줌 배율을 서서히 변화시키는 조작 방법으로는, 촬상 방향을 신속하게 이동시켜, 발언자를 화면 중앙에 확실하게 비추기 위해서는 조작자의 부담이 크다고 하는 문제가 있었다. 또한, 발언자의 위치 정보를 미리 기억시켜 두고, 버튼 조작 등에 의해 그 위치 정보를 판독하는 것으로 각각의 발언자를 자동적으로 촬상하는 구성으로 하면, 조작이 간단해진다. 그러나 그를 위해서는, 시스템의 사용 전에 발언자의 위치를 미리 기억시킬 필요가 있어, 조작이 번거롭다고 하는 문제가 있었다.

본 발명은 이러한 점을 감안하여 이루어진 것으로, 인물마다의 촬상 방향의 등록 조작을 행하지 않고, 간단한 조작으로 복수 중 1명의 인물을 카메라에 의해 확실하게 촬상시키는 것이 가능한 카메라 제어 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명의 다른 목적은, 인물마다의 촬상 방향의 등록 조작을 행하지 않고, 간단한 조작으로 복수 중 1명의 인물을 카메라에 의해 확실하게 촬상시키는 것이 가능한 카메라 시스템을 제공하는 것이다.

또한, 본 발명의 다른 목적은, 인물마다의 촬상 방향의 등록 조작을 행하지 않고, 간단한 조작으로 복수 중 1명의 인물을 카메라에 의해 확실하게 촬상시키는 것이 가능한 카메라 시스템을 구비한 전자 회의 시스템을 제공하는 것이다.

또한, 본 발명의 다른 목적은, 인물마다의 촬상 방향의 등록 조작을 행하지 않고, 간단한 조작으로 복수 중 1명의 인물을 카메라에 의해 확실하게 촬상시키는 것이 가능한 카메라 제어 방법을 제공하는 것이다.

본 발명에서는 상기 과제를 해결하기 위해, 촬상 방향을 변화시키는 구동 장치를 구비한 카메라의 촬상 범위를 제어하는 카메라 제어 장치에 있어서, 상기 카메라의 촬상 대상으로 하는 복수의 인물의 각각의 얼굴이, 상기 카메라에 의한 촬상 범위의 중앙부에 위치할 때의 얼굴 방향 정보를, 촬상 대상의 인물마다 기억하는 기억부와, 상기 카메라의 촬상 화상 신호로부터 인물의 얼굴의 위치를 검출하는 얼굴 위치 검출부와, 상기 얼굴 위치 검출부에 의한 검출 결과와 현재의 상기 카메라의 촬상 방향을 나타내는 정보를 기초로 상기 얼굴 방향 정보를 산출하여 상기 기억부에 등록하는 등록부와, 유저의 조작 입력에 의해 지정된 인물에 대응하는 상기 얼굴 방향 정보를 상기 기억부로부터 판독하고, 해당 얼굴 방향 정보에 따라서 상기 구동 장치를 제어하여 상기 카메라의 촬상 방향을 변화시키는 구동 제어부를 갖고, 상기 얼굴 방향 정보는 수평 방향의 각도를 나타내는 각도 정보를 포함하고, 상기 구동 제어부는, 상기 카메라의 촬상 방향을 현재 촬상되고 있는 인물의 좌우 어느 하나의 인접 인물로 절환하기 위한 방향 지시 신호를 수신하면, 상기 방향 지시 신호로 지시된 방향에 대하여 상기 카메라에 의한 현재의 촬상 방향에 가장 가까운 각도 정보를 포함하는 제1 얼굴 방향 정보를 상기 기억부로부터 추출하고, 추출한 상기 제1 얼굴 방향 정보에 포함되는 각도 정보와 상기 현재의 촬상 방향에 관한 좌우 방향의 각도와의 차분과 소정의 임계값을 비교하고, 상기 차분이 상기 임계값보다 큰 경우에는, 상기 제1 얼굴 방향 정보를 이용하여 상기 구동 장치를 제어하고, 상기 차분이 상기 임계값 이하인 경우에는, 상기 방향 지시 신호로 지시된 방향에 대하여 상기 현재의 촬상 방향에 2번째로 가까운 각도 정보를 포함하는 제2 얼굴 방향 정보를 상기 기억부로부터 추출하고, 추출한 상기 제2 얼굴 방향 정보를 이용하여 상기 구동 장치를 제어하는 것을 특징으로 하는 카메라 제어 장치가 제공된다.

이러한 카메라 제어 장치에서는, 촬상 대상으로 하는 각 인물에 대응하는 얼 굴 방향 정보를 기억부가 기억하고, 구동 제어부가, 유저의 조작 입력에 의해 지정된 인물에 대응하는 얼굴 방향 정보를 기억부로부터 판독하고, 그 얼굴 방향 정보에 따라서 구동 장치를 제어한다. 이에 의해, 유저 조작에 의해 예를 들면 인물을 지정하는 것만으로, 지정된 인물의 얼굴이 화면의 중앙에 위치하도록 자동적으로 카메라의 촬상 방향이 변화한다. 또한, 얼굴 위치 검출부가 카메라의 촬상 화상 신호로부터 인물의 얼굴의 위치를 검출하고, 그 검출 결과와 현재의 카메라의 촬상 방향을 나타내는 정보를 기초로 등록부가 얼굴 방향 정보를 산출하여, 기억부에 등록한다. 이에 의해, 촬상된 인물에 대응하는 얼굴 방향 정보가 기억부에 자동적으로 등록된다.

또한, 본 발명에서는, 촬상 방향을 변화시키는 구동 장치를 구비한 카메라의 촬상 범위를 제어하기 위한 카메라 제어 방법에 있어서, 검출부가, 상기 카메라의 촬상 화상 신호로부터 인물의 얼굴의 위치를 검출하는 검출 스텝과, 등록부가, 상기 검출 스텝에 의한 검출 결과와 현재의 상기 카메라의 촬상 방향을 나타내는 정보를 기초로, 상기 카메라의 촬상 대상으로 하는 복수의 인물의 각각의 얼굴이 상기 카메라에 의한 촬상 범위의 중앙부에 위치할 때의 얼굴 방향 정보를 산출하고, 검출된 인물마다 데이터베이스에 등록하는 등록 스텝과, 구동 제어부가, 유저의 조작 입력에 의해 지정된 인물에 대응하는 상기 얼굴 방향 정보를 상기 데이터베이스로부터 판독하고, 해당 얼굴 방향 정보에 따라서 상기 구동 장치를 제어하여 상기 카메라의 촬상 방향을 변화시키는 구동 제어 스텝을 포함하고, 상기 얼굴 방향 정보는 수평 방향의 각도를 나타내는 각도 정보를 포함하고, 상기 구동 제어 스텝에서, 상기 구동 제어부는, 상기 카메라의 촬상 방향을 현재 촬상되고 있는 인물의 좌우 어느 하나의 인접 인물로 절환하기 위한 방향 지시 신호를 수신하면, 상기 방향 지시 신호로 지시된 방향에 대하여 상기 카메라에 의한 현재의 촬상 방향에 가장 가까운 각도 정보를 포함하는 제1 얼굴 방향 정보를 상기 데이터베이스로부터 추출하고, 추출한 상기 제1 얼굴 방향 정보에 포함되는 각도 정보와 상기 현재의 촬상 방향에 관한 좌우 방향의 각도와의 차분과 소정의 임계값을 비교하고, 상기 차분이 상기 임계값보다 큰 경우에는, 상기 제1 얼굴 방향 정보를 이용하여 상기 구동 장치를 제어하고, 상기 차분이 상기 임계값 이하인 경우에는, 상기 방향 지시 신호로 지시된 방향에 대하여 상기 현재의 촬상 방향에 2번째로 가까운 각도 정보를 포함하는 제2 얼굴 방향 정보를 상기 데이터베이스로부터 추출하고, 추출한 상기 제2 얼굴 방향 정보를 이용하여 상기 구동 장치를 제어하는 것을 특징으로 하는 카메라 제어 방법이 제공된다.

이러한 카메라 제어 방법에서는, 등록 스텝에 의해, 촬상 대상으로 하는 각 인물에 대응하는 얼굴 방향 정보가 데이터베이스에 기억되고, 구동 제어 스텝에 의해, 유저의 조작 입력에 의해 지정된 인물에 대응하는 얼굴 방향 정보가 데이터베이스로부터 판독되고, 그 얼굴 방향 정보에 따라서 구동 장치가 제어된다. 이에 의해, 유저 조작에 의해 예를 들면 인물을 지정하는 것만으로, 지정된 인물의 얼굴이 화면의 중앙에 위치하도록 자동적으로 카메라의 촬상 방향이 변화한다. 또한, 검출 스텝에 의해, 카메라의 촬상 화상 신호로부터 인물의 얼굴의 위치가 검출되고, 그 검출 결과와 현재의 카메라의 촬상 방향을 나타내는 정보를 기초로, 등록 스텝에서 얼굴 방향 정보가 산출되어 데이터베이스에 등록된다. 이에 의해, 촬상된 인물에 대응하는 얼굴 방향 정보가 데이터베이스에 자동적으로 등록된다.

<실시 형태>

이하, 본 발명의 실시 형태를 도면을 참조하여 상세히 설명한다. 이하의 설명에서는, 텔레비전 회의 시스템에 이용되는 카메라 시스템에 본 발명을 적용한 경우를 상정한다.

(제1 실시 형태)

도 1은 제1 실시 형태에 따른 카메라 시스템의 시스템 구성을 도시하는 도면이다.

도 1에 도시한 카메라 시스템은, 회의에 출석하고 있는 복수의 인물을 1대의 카메라(10)로 촬상하기 위한 것이다. 이 시스템은, 줌 기능을 구비한 카메라(10)와, 카메라(10)의 촬상 방향을 변화시키는 운대(20)와, 운대(20)의 동작을 제어하는 카메라 제어 장치(30)와, 리모트 컨트롤러(40a)로부터의 적외선 신호를 수신하 는 적외선 수광부(40)와, 시스템 전체를 통괄적으로 제어하는 CPU(50)와, 촬상 화상 등을 표시하는 디스플레이(60)와, 화상 신호를 압축 부호화하는 화상 인코더(70)를 구비한다.

카메라(10)는, 운대(20)에 의해 그 촬상 방향이 수평 방향/수직 방향으로 변화되고, 또한 CPU(50)로부터의 제어 신호(줌 커맨드)에 의해서 줌 렌즈의 촛점 거리가 제어되도록 되어 있다. 또한, 이 카메라(10)는, 촬상한 화상 신호를 카메라 제어 장치(30)에 공급한다. 운대(20)는, 수평 방향/수직 방향에 대한 촬상 방향을 지시하는 제어 정보(후술하는 Pdeg, Tdeg)를 카메라 제어 장치(30)로부터 받아, 이들의 값에 따라서 구동한다. 또한, 현재의 Pdeg, Tdeg의 값을 카메라 제어 장치(30)에 통지할 수 있게 되어 있다.

카메라 제어 장치(30)는, CPU(50)로부터의 팬/틸트 동작에 대한 조작 커맨드에 따라서, 운대(20)의 동작을 제어한다. 또한, 카메라(10)에 의한 촬상 화상 신호를 디스플레이(60)나 화상 인코더(70)에 공급한다.

이들 외에 카메라 제어 장치(30)는, 복수의 인물의 얼굴의 위치를 데이터베이스로서 유지하고, 조작 커맨드에 따라서 임의의 얼굴이 규정의 크기로 자동적으로 촬상되도록 운대(20)나 줌 동작을 제어하는 기능, 및 카메라(10)에 의한 촬상 화상 신호로부터 인물의 얼굴을 인식하여, 그 위치 정보를 데이터베이스에 등록/갱신하는 기능을 구비하고 있다. 그리고, 이들의 기능을 위해, 운대(20)로부터 현재의 Pdeg, Tdeg의 값을 취득하는 것이나, 또한 CPU(50)로부터 현재의 줌 동작의 제어값(후술하는 Zdeg)를 취득하는 것, CPU(50)에 Zdeg의 값을 출력하여 카메라(10) 의 줌 동작을 제어하는 것 등이 가능하게 되어 있다.

적외선 수광부(40)는, 운대(20)의 구동이나 카메라(10)의 줌 기능을 제어하기 위한 적외선 신호를 리모트 컨트롤러(40a)로부터 수신하고, 이들에 따른 키 조작 신호를 CPU(50)에 공급한다. CPU(50)는, 키 조작 신호에 따라서 카메라 제어 장치(30)에 팬/틸트 동작에 대한 조작 커맨드를 출력하고, 또한 줌 제어 신호를 카메라(10)에 출력하여, 운대(20)의 회전 동작 및 카메라(10)의 줌 동작을 제어한다. 또한, 카메라 제어 장치(30)로부터의 Zdeg에 따라서 카메라(10)의 줌 동작을 제어하는 경우도 있다.

디스플레이(60)는, 카메라(10)에 의한 촬상 화상 신호를 수신하여, 회의실 등에서의 현재의 촬상 화상 등을 표시한다. 화상 인코더(70)는, 카메라 제어 장치(30)로부터의 촬상 화상 신호를 압축 부호화하여, 화상 스트림을 생성한다. 생성된 화상 스트림은, 동시에 회의실에서 집음한 음성 스트림과 함께 도시하지 않은 송신 장치에 의해서 다중화되고, 통신 회선을 통하여 원격지의 회의실에 송신되고, 수신측의 회의실에서, 송신측의 회의실에서의 화상 및 음성이 리얼타임으로 재생된다. 또한, 원격지의 회의실에서 촬상·집음된 화상 및 음성의 스트림은, 도시하지 않은 수신 장치에 의해서 수신되고, 디코드된 화상 및 음성이 각각 디스플레이(60) 및 스피커로 동시에 재생됨으로써 원격지의 회의실끼리 화면을 보면서 회의를 행하는 것이 가능해진다.

도 2는 카메라 제어 장치(30) 및 CPU(50)가 구비하는 카메라 제어를 위한 기능을 도시하는 블록도이다.

도 2에 도시한 바와 같이, 카메라 제어 장치(30)는, 얼굴 위치 데이터베이스(31), 얼굴 인식 모듈(32), 데이터베이스 갱신 모듈(33), 데이터베이스 검색 모듈(34), 및 팬/틸트 제어부(35)를 구비하고 있다. 또한, CPU(50)는, 줌 제어부(51), PTZ(PAN, TILT, ZOOM) 커맨드 제어부(52), 및 Move_Next 커맨드 제어부(53)를 구비하고 있다.

얼굴 위치 데이터베이스(31)는, 회의의 출석자의 얼굴이 화면의 중앙에 소정의 크기로 비칠 때의 운대(20)의 회전 동작 및 카메라(10)의 줌 동작의 제어 정보를, 출석자마다 기억하는 데이터베이스이다. 이 제어 정보는 도 3에서 후술하는 바와 같이, 수평 및 수직에 대한 카메라(10)의 촬상 방향과, 카메라(10)의 줌 동작 상태를 각도 형식으로 나타낸 데이터(Pdeg, Tdeg, Zdeg)로 이루어진다.

얼굴 인식 모듈(32)은, 카메라(10)에 의해서 촬상된 디지털 화상 신호로부터, 화상 인식 기술을 이용하여 인물의 얼굴의 위치를 검출하고, 좌표 형식의 얼굴 위치 정보(Ppx, Tpx, Zpx)를 산출한다.

데이터베이스 갱신 모듈(33)은, 얼굴 인식 모듈(32)에 의해서 산출된 얼굴 위치 정보(Ppx, Tpx, Zpx)를 각도 형식으로 변환하고, 얼굴 위치 데이터베이스(31)에 등록한다. 또한, 카메라(10)에 의한 촬상 동작 중에서도, 얼굴 인식 모듈(32)로부터의 얼굴 위치 정보에 기초하여, 얼굴 위치 데이터베이스(31)의 내용을 수시로 갱신한다.

데이터베이스 검색 모듈(34)은, 얼굴 위치 데이터베이스(31)의 기억 정보를 이용하여 카메라(10)의 촬상 방향 및 줌 동작을 제어하기 위한 기능 블록이다. 이 데이터베이스 검색 모듈(34)은, Move_Next 커맨드 제어부(53)로부터의 방향 지시 정보에 따라서, 현재 촬상하고 있는 출석자의 이웃에 위치하는 출석자에 대응하는 얼굴 위치 정보(Pdeg, Tdeg, Zdeg)를 얼굴 위치 데이터베이스(31)로부터 추출하고, 그 정보에 따라서 팬/틸트 제어부(35) 및 줌 제어부(51)를 통하여 촬상 방향 및 줌 동작을 제어한다.

팬/틸트 제어부(35)는, PTZ 커맨드 제어부(52)로부터의 조작 커맨드, 혹은 데이터베이스 검색 모듈(34)로부터의 제어 정보(Pdeg, Tdeg)에 따라서, 운대(20)에 제어 신호를 출력하여 그 팬/틸트 동작을 제어한다. 마찬가지로, 줌 제어부(51)는, PTZ 커맨드 제어부(52)로부터의 조작 커맨드, 혹은 데이터베이스 검색 모듈(34)로부터의 제어 정보(Zdeg)에 따라서, 카메라(10)에 제어 커맨드를 출력하여 줌 동작을 제어한다.

PTZ 커맨드 제어부(52)는, 적외선 수광부(40)로부터의 키 조작 신호에 따라서 조작 커맨드를 생성하고, 팬/틸트 동작에 대한 커맨드를 팬/틸트 제어부(35)에, 줌 동작에 대응하는 커맨드를 줌 제어부(51)에 각각 출력한다. Move_Next 커맨드 제어부(53)는, 마찬가지로 적외선 수광부(40)로부터의 키 조작 신호에 따라서 조작 커맨드를 생성하고, 데이터베이스 검색 모듈(34)에 출력한다.

여기서, 본 실시 형태의 리모트 컨트롤러(40a)는, 팬/틸트의 방향이나 줌 배율을 서서히 변화시키기 위한 PTZ 키와, 얼굴 위치 데이터베이스(31)를 이용하여, 현재 촬상 중인 인물에 인접하는 다른 인물을 촬상하기 위한 방향을 지정하는 Move_Next 키를 구비한다.

그리고, PTZ 키에의 입력 조작에 의해, 팬/틸트의 방향 및 줌 배율의 확대/축소를 나타내는 키 조작 신호가 적외선 수광부(40)를 통하여 CPU(50)에 공급되고, PTZ 커맨드 제어부(52)는 이들의 신호에 따라서 PTZ 커맨드를 발행한다. 이에 의해, 팬/틸트 제어부(35)는, PTZ 커맨드에 따라서 카메라(10)의 방향을 서서히 변화시키도록 운대(20)를 제어하고, 또한 줌 제어부(51)는, PTZ 커맨드에 따라서 카메라(10)의 줌 배율을 서서히 확대 또는 축소시킨다.

한편, Move_Next 키에의 입력 조작에 의해, 좌우 각각의 방향을 지시하는 키 조작 신호가 적외선 수광부(40)를 통하여 CPU(50)에 공급되고, Move_Next 커맨드 제어부(53)는 이들의 신호에 따라서 좌우 중 어느 하나의 방향을 나타내는 Move_Next 커맨드를 발행한다. 이에 따라 데이터베이스 검색 모듈(34)은, 지시된 방향에 인접하는 인물에 대응하는 얼굴 위치 정보를 얼굴 위치 데이터베이스(31)로부터 추출하고, 그 정보를 팬/틸트 제어부(35) 및 줌 제어부(51)에 출력하여, 인접하는 인물의 얼굴을 자동적으로 촬상시킨다.

이와 같이 Move_Next 키를 조작함으로써, 카메라 시스템의 조작자는, 회의의 출석자의 1명을 촬상한 상태로부터 다른 출석자를 촬상한 상태로 간단한 조작으로 절환할 수 있어, 디스플레이(60)를 보면서 카메라(10)의 촬상 방향이나 줌 배율을 메뉴얼 조절할 필요가 없어진다.

도 3은 팬/틸트/줌 동작의 제어 정보(Pdeg, Tdeg, Zdeg)에 대하여 설명하기 위한 도면이다.

본 실시 형태에서는, 팬/틸트/줌 동작의 제어 정보를, 수평 및 수직에 대한 카메라(10)의 촬상 방향과, 카메라(10)의 줌 동작 상태를 각도 형식으로 나타낸 Pdeg, Tdeg, Zdeg에 의해서 나타낸다. 수평 방향의 회전 동작(팬 동작)에 대해서는, 도 3의 (a)에 도시한 바와 같이, 운대(20)의 회전 각도를 예를 들면 최대 180°로 하고, 운대(20)의 회전 중심과 촬상되는 인물의 얼굴의 중심점을 연결하는 직선의 각도(-90.0°∼+90.0°)를 팬 동작의 제어 정보(Pdeg)로 한다. 마찬가지로, 수직 방향의 회전 동작(틸트 동작)에 대해서는, 도 3의 (b)에 도시한 바와 같이, 운대(20)의 회전 각도를 예를 들면 최대 60°로 하고, 운대(20)의 회전 중심과 얼굴의 중심점을 연결하는 직선의 각도(-30.0°∼+30.0°)를 틸트 동작의 제어 정보(Tdeg)로 한다.

또한, 줌 동작의 제어 정보(Zdeg)에 대해서는, 도 3의 (a)에 도시한 바와 같이, 카메라(10)의 시야각으로서 나타낸다. 이 도면에서는 시야각을 1.0°∼45.0°의 범위로 하고 있고, 값이 작을수록 망원측의 줌 상태로 되어, 피사체가 확대된다.

이들의 제어 정보는, 팬/틸트/줌 동작을 제어하기 위한 팬/틸트 제어부(35)나 줌 제어부(51)에 공급된다. 이와 함께, 얼굴 위치 데이터베이스(31)에 기억되는 각 인물의 얼굴 위치 정보도, 이들의 각도 정보의 조(Pdeg, Tdeg, Zdeg)로 된다. 또한, 얼굴 위치 데이터베이스(31) 내의 줌 동작의 정보는, 예를 들면 인물의 얼굴이 화면 가득히 표시될 때의 시야각으로 한다.

다음으로, 이 카메라 시스템의 동작을 플로우차트를 이용하여 구체적으로 설명한다. 우선, 도 4는, 카메라 시스템의 처리 전체의 흐름을 설명하는 플로우차트 이다.

〔스텝 S101〕

얼굴 위치 데이터베이스(31)에 대한 얼굴 위치 정보의 자동 등록 처리를 실행한다. 이 처리는, 카메라 시스템의 사용을 개시할 때에, 예를 들면 CPU(50)의 제어에 의해, 카메라(10)의 촬상 방향을 변화시키면서 촬상할 수 있는 범위 내의 인물의 얼굴을 화상 인식 기술을 이용하여 자동적으로 인식하고, 이들의 얼굴 위치 정보를 얼굴 위치 데이터베이스(31)에 등록해가는 처리이다. 또한, 이 처리에 대해서는 다음 도 5에서 설명한다.

〔스텝 S102〕

카메라(10)에 의해서 1 프레임분의 촬상 화상 신호가 출력되고, 얼굴 인식 모듈(32)이 이 신호를 수신할 때까지 대기한다. 그리고, 수신한 경우에는 스텝 S103으로 진행한다.

〔스텝 S103〕

실행 대기 상태인 PTZ 커맨드가 있는 경우에는, 팬/틸트 제어부(35) 및 줌 제어부(51)가 PTZ 커맨드 제어부(52)로부터 PTZ 커맨드를 수신하고, 스텝 S104로 진행한다. PTZ 커맨드가 없는 경우에는 스텝 S105로 진행한다.

〔스텝 S104〕

수신한 PTZ 커맨드에 따라서, 팬/틸트 제어부(35)가 운대(20)를 제어하여 카메라(10)의 촬상 방향을 1 스텝분 변화시키고, 또한 줌 제어부(51)가 카메라(10)의 줌 배율을 1 스텝분 변화시킨다. 이 후, 스텝 S109로 진행한다.

〔스텝 S105〕

실행 대기 상태인 Move_Next 커맨드가 있는 경우에는, 데이터베이스 검색 모듈(34)이 Move_Next 커맨드 제어부(53)로부터 Move_Next 커맨드를 수신하고, 스텝 S106으로 진행한다. Move_Next 커맨드가 없는 경우에는 스텝 S107로 진행한다.

〔스텝 S106〕

데이터베이스 검색 모듈(34)은, 커맨드로 지정된 방향에 인접하는 인물의 얼굴을 촬상하도록, 카메라(10)의 방향을 이동시키는 처리를 실행한다. 그리고, 처리 종료 후에 스텝 S109로 진행한다. 또한, 스텝 S106의 처리에 대해서는 도 7에서 자세히 설명한다.

〔스텝 S107〕

PTZ 커맨드 및 Move_Next 커맨드 중 어느 것도 수신하지 않은 경우에는, 현재 촬상 중인 범위에 대한 화상 인식을 이용한 얼굴 위치 데이터베이스(31)의 갱신 처리를, 얼굴 인식 모듈(32) 및 데이터베이스 갱신 모듈(33)이 실행한다. 또한, 이 처리에 대해서는 도 6에서 자세히 설명한다.

〔스텝 S108〕

데이터베이스 검색 모듈(34)이, 갱신된 얼굴 위치 데이터베이스(31)로부터 현재 촬상 중인 얼굴의 얼굴 위치 정보를 다시 추출하고, 그 얼굴이 화면의 중심에 위치하도록 카메라(10)의 방향을 제어하고, 또한 화면 상의 얼굴이 소정의 크기로 되도록 줌 동작을 제어한다. 또한, 스텝 S107의 처리에서, 촬상 중인 화면 내로부터 복수의 인물의 얼굴이 인식된 경우에는, 그 중에서 Pdeg의 값이 화면 내의 중심 에 가장 가까운 얼굴을 촬상하도록 제어한다. 이상의 처리 종료 후에, 스텝 S109로 진행한다.

〔스텝 S109〕

CPU(50)는, 예를 들면 전원 절단 조작 등에 의해 처리의 종료가 요구되었는지의 여부를 판정하고, 요구되어 있지 않은 경우에는 스텝 S102로 되돌아간다.

이상의 플로우차트에 의한 처리에서는, 예로서 화상 신호의 1 프레임분의 동기 기간(수직 동기 기간)에서 1개의 조작 커맨드에 따른 처리를 실행하고 있다. PTZ 커맨드를 수신한 경우에는, 그것에 따라서 1 스텝분의 팬/틸트/줌 동작의 상태가 변경된다(스텝 S104). 또한, Move_Next 커맨드를 수신한 경우에는, 지정된 방향에 인접하는 인물의 얼굴이 촬상되도록, 팬/틸트/줌 동작이 자동적으로 제어된다(스텝 S106).

또한, 예를 들면 운대(20)의 회전 속도가 느리고, 인접하는 얼굴이 촬상되기까지 수직 동기 기간보다 긴 시간이 필요한 경우에는, 그 동작이 완료되기까지의 사이에, 다음의 커맨드 수신에 따른 처리나 스텝 S107에서의 데이터베이스 갱신 처리의 실행을 보류해 두도록 하여도 된다.

또한, 임의의 일정 시간 동안에 PTZ 커맨드 및 Move_Next 커맨드 중 어느 것도 수신하지 않은 경우, 즉 카메라(10)의 촬상 방향이나 줌 렌즈 위치가 멈추어 있는 경우에는, 그 때의 촬상 화상 신호를 기초로 화상 인식이 행해져서, 촬상되어 있는 범위에 대한 얼굴 위치 데이터베이스(31) 내의 기억 정보가 갱신된다(스텝 S107). 이에 의해, 회의의 참가자의 자리의 이동이나 참가 인원수의 증감이 있었 던 경우 등에, 얼굴 위치 데이터베이스(31)가 자동적으로 갱신된다.

또한, 갱신된 얼굴 위치 정보에 기초하여, 촬상 중인 얼굴을 화면의 중심으로 이동시키도록 카메라(10)의 방향이나 줌 배율이 수정된다(스텝 S108). 이 때문에, 회의의 참가자의 미세한 위치의 이동에 카메라(10)가 추종하여, 그 얼굴이 항상 중심에 비치게 되어, 생성되는 화상의 품질이 향상된다. 또한, 누구의 얼굴도 비치고 있지 않은 상태가 회피되어, 쓸데 없는 화상 신호가 송신되지 않게 된다.

도 5는 얼굴 위치 데이터베이스(31)의 자동 등록 처리의 흐름을 설명하는 플로우차트이다.

〔스텝 S201〕

팬/틸트 제어부(35)는, 카메라(10)의 촬상 방향을 나타내는 운대(20)의 제어값을 초기값으로 설정한다. 예를 들면, 카메라(10)가 촬상 범위의 가장 좌측 위를 향하도록 제어한다. 또한, 이 처리 중에서 줌 제어부(51)는, 가장 광각측의 줌 상태로 되도록 카메라(10)를 제어한다.

〔스텝 S202〕

현재 촬상 중인 범위에 대한 화상 인식을 이용한 얼굴 위치 데이터베이스(31)의 갱신 처리를, 얼굴 인식 모듈(32) 및 데이터베이스 갱신 모듈(33)이 실행한다. 여기서는, 대응하는 범위에 대한 얼굴 위치 정보가 신규로 등록된다. 또한, 이 스텝 S202의 처리는, 도 4의 스텝 S107과 마찬가지로, 다음의 도 6에서 자세히 설명한다.

〔스텝 S203〕

팬/틸트 제어부(35)는, 촬상 가능한 범위의 전부에 대하여, 화상 인식에 의한 얼굴 위치 검출을 행하여, 얼굴 위치 정보를 갱신하였는지의 여부를 판정한다. 화상 인식을 행하고 있지 않는 범위가 있는 경우에는 스텝 S204로 진행하여, 모든 범위에 대하여 종료한 경우에는, 초기 동작을 종료하고, 도 4의 스텝 S102로 진행하여 통상 동작을 개시한다.

〔스텝 S204〕

팬/틸트 제어부(35)는, 얼굴 위치 검출이 행해지지 않은 다음의 촬상 범위를 촬상하도록, 카메라(10)의 방향을 제어한다. 이 후, 스텝 S202로 되돌아가, 현재의 범위에 대한 얼굴 위치 검출을 행하여, 대응하는 얼굴 위치 정보를 등록한다.

이상의 플로우차트의 처리에 의해, 촬상 가능한 모든 범위 내를 카메라(10)에 의해 촬상하여, 그 범위 내에 존재하는 인물의 얼굴의 위치를 자동적으로 검출하고, 그 얼굴의 얼굴 위치 정보를 얼굴 위치 데이터베이스(31)에 등록할 수 있다.

도 6은, 얼굴 위치 데이터베이스(31)의 갱신 처리의 흐름을 설명하는 플로우차트이다.

〔스텝 S301〕

데이터베이스 갱신 모듈(33)은, 운대(20)로부터 팬/틸트 제어부(35)를 통하여 현재의 Pdeg, Tdeg를 취득하고, 줌 제어부(51)로부터 현재의 Zdeg를 취득한다. 그리고, 이들 제어 정보에 기초하여, 갱신 대상으로 하는 범위(현재 촬상 중인 범위에 대응)를 특정한다.

〔스텝 S302〕

데이터베이스 갱신 모듈(33)은, 얼굴 위치 데이터베이스(31) 중 갱신 범위 내의 기억 데이터를 클리어한다.

〔스텝 S303〕

얼굴 인식 모듈(32)은, 카메라(10)로부터 촬상 화상 신호를 수신한다. 또한, 본 스텝을 도 4에서의 스텝 S107에서 실행하는 경우에는, 전술한 스텝 S102에서 촬상 화상 신호를 이미 수신하고 있기 때문에, 본 스텝은 생략해도 상관없다.

〔스텝 S304〕

얼굴 인식 모듈(32)은, 수신한 화상 신호를 이용하여 화상 인식 처리를 행하여, 얼굴의 위치를 검출한다. 여기서, 본 실시 형태에서는 1 프레임분의 화상 신호로부터 얼굴의 위치를 검출한다. 본 실시 형태에 적용 가능한 화상 인식의 방법으로서는, 예를 들면 화상 신호의 색 정보에 기초하여 피부색 분포를 검출하여 얼굴의 윤곽을 포함하는 범위를 특정하고, 그 범위 내의 윤곽선이나 눈, 입 등의 부위의 위치 등을 미리 기억하고 있었던 복수의 얼굴 형태의 템플릿과 비교하여, 얼굴의 존재의 유무를 판정하는 방법 등을 예로 들 수 있다. 또한, 전술한 스텝 S102나 스텝 S303에서 복수 프레임분의 촬상 화상 신호를 수신함으로써, 프레임 간의 차분을 이용한 화상 인식의 방법도 사용할 수 있다.

또한, 얼굴을 1개 이상 검출한 경우에는, 각각의 얼굴을 수용 가능한 최소의 정방형 틀을 생성하여, 그 정방형 틀의 중심 위치의 화면 상에서의 좌표(화소 번호)를 수평 방향 및 수직 방향의 얼굴 위치 정보(Ppx, Tpx)로 하고, 정방형 틀의 1변의 길이(화소수)를 줌 동작에 대응하는 데이터(Zpx)로 한다. 그리고, 이 얼굴 위치 정보(Ppx, Tpx, Zpx)의 리스트를 일시적으로 기억한다.

예를 들면, 352×288 화소의 CIF(Common Intermediate Format) 사이즈의 화상이면, Ppx는 0∼351, Tpx는 0∼287의 값을 취한다. 또한, Zpx는 예를 들면 20∼200의 값으로 한다.

〔스텝 S305〕

스텝 S304에서 인물의 얼굴을 1개 이상 검출한 경우에는 스텝 S306으로 진행하고, 검출되지 않았던 경우에는 스텝 S308로 진행한다.

〔스텝 S306〕

데이터베이스 갱신 모듈(33)은, 현재의 Pdeg, Tdeg, Zdeg의 값을 기초로, 얼굴 인식 모듈(32)에 기억된 좌표 형식의 얼굴 위치 정보(Ppx, Tpx, Zpx)를, 각도 형식의 얼굴 위치 정보(Pdeg, Tdeg, Zdeg)로 변환한다.

예를 들면, 현재의 Pdeg, Tdeg, Zdeg가 각각 -30.0, +10.0, +40.0인 경우, 촬상하고 있는 화상의 좌단의 Pdeg는, -30.0-40.0/2=-50.0, 우단의 Pdeg는, -30.0+40.0/2=-10.0, 상단의 Tdeg는, +10.0+(40.0×3/4)/2=+25.0, 하단의 Tdeg는, +10.0-(40.0×3/4)/2=-5.0으로 된다. 따라서, 이들의 값과 화상의 단부의 좌표 값을 선형으로 대응시킴으로써, 좌표 형식의 얼굴 위치 정보(Ppx, Tpx, Zpx)를 각도 형식의 얼굴 위치 정보(Pdeg, Tdeg, Zdeg)로 환산할 수 있다.

〔스텝 S307〕

데이터베이스 갱신 모듈(33)은, 각도 형식으로 변환한 얼굴 위치 정보의 리스트를 얼굴 위치 데이터베이스(31)에 등록한다.

〔스텝 S308〕

얼굴 위치 데이터베이스(31)는, 기억한 얼굴 위치 정보를 Pdeg가 작은 순서로 소트한다.

이상의 플로우차트의 처리에 의해, 현재 촬상하고 있는 범위에 포함되는 얼굴 위치 정보만이 갱신된다. 예를 들면, 촬상 범위에 복수의 얼굴이 검출된 경우에는, 이들의 모든 얼굴 위치 정보가 얼굴 위치 데이터베이스(31)에 등록된다. 또한, 화상 인식에 의해 얼굴이 검출되지 않았던 경우에는, 그 범위에 대응하는 얼굴 위치 정보가 얼굴 위치 데이터베이스(31)로부터 삭제된다. 그리고, 갱신 후의 얼굴 위치 정보는 Pdeg가 작은 순서로 소트되므로, 후술하는 Move_Next 커맨드에 따른 카메라 방향 이동 처리에서, 인접하는 얼굴의 얼굴 위치 정보를 효율적으로 추출할 수 있게 된다.

도 7은, 인접하는 얼굴에의 카메라 방향 이동 처리의 흐름을 설명하는 플로우차트이다.

〔스텝 S401〕

데이터베이스 검색 모듈(34)은, 운대(20)로부터 팬/틸트 제어부(35)를 통하여 현재의 Pdeg, Tdeg를 취득하고, 줌 제어부(51)로부터 현재의 Zdeg를 취득한다.

〔스텝 S402〕

데이터베이스 검색 모듈(34)은, 얼굴 위치 데이터베이스(31)를 검색하여, Move_Next 커맨드로 지정된 좌우 중 어느 하나의 방향에 대하여, 현재의 Pdeg의 값에 가장 가까운 Pdeg를 갖는 얼굴 위치 정보를 추출한다.

〔스텝 S403〕

데이터베이스 검색 모듈(34)은, 추출한 얼굴 위치 정보의 Pdeg와, 현재의 Pdeg와의 차분을 연산한다.

〔스텝 S404〕

Pdeg의 차분의 절대값이 소정의 임계값 이하인 경우에는 스텝 S405로 진행하고, 임계값을 초과한 경우에는 스텝 S406으로 진행한다.

〔스텝 S405〕

데이터베이스 검색 모듈(34)은, Move_Next 커맨드로 지정된 방향에 대하여, 현재의 Pdeg에 2번째로 가까운 Pdeg를 갖는 얼굴 위치 정보를 추출한다.

〔스텝 S406〕

데이터베이스 검색 모듈(34)은, 스텝 S402 또는 스텝 S405에서 얼굴 위치 데이터베이스(31)로부터 추출한 Pdeg, Tdeg를 팬/틸트 제어부(35)에 출력하여 운대(20)를 제어하고, 그 얼굴 위치 정보에 대응하는 얼굴의 방향으로 카메라(10)를 향한다.

또한, 마찬가지로 추출한 Zdeg를 이용하여, 카메라(10)의 줌 동작을 제어한다. 여기서, 본 실시 형태에서는, 얼굴 위치 데이터베이스(31) 내의 Zdeg는, 화상 인식에 의해 검출된 얼굴의 크기와 거의 동일한 정방형 틀을 화면 가득히 촬상하는 값으로 되어 있다. 이 때문에, 데이터베이스 검색 모듈(34)은, 추출한 Zdeg의 값을, 대응하는 얼굴이 화면 내에서 소정의 크기로 되도록 환산하여, 줌 제어부(51)에 출력하고, 줌 배율을 제어한다. 예를 들면, 정방형 틀의 1변의 길이가 화상의 횡폭의 1/4, 세로 방향 길이의 1/3로 되도록 얼굴의 크기를 설정한 경우, 얼굴 위치 데이터베이스(31)로부터 추출한 Zdeg를 4배로 하여 줌 제어부(51)에 출력하면 된다.

이상의 플로우차트의 처리에서는, 예를 들면 그 직전의 수직 동기 기간에 PTZ 커맨드에 따른 카메라 방향이나 줌 동작의 제어가 행해진 것 등에 의해, 현재의 Pdeg, Tdeg, Zdeg가 얼굴 위치 데이터베이스(31) 내의 얼굴 위치 정보와 일치하지 않은 경우에도, Move_Next 커맨드에 의한 제어를 실행할 수 있도록 되어 있다.

즉, 인접하는 얼굴의 Pdeg와 현재의 Pdeg와의 차분값을 임계값과 비교하고(단계 S404), 이들의 차분값이 작으면 Pdeg의 어긋남량을 오차의 범위 내라고 판단하여, 지정된 방향에 가장 가까운 Pdeg를 갖는 얼굴 위치 정보를 현재의 제어량이라고 간주하고, 그 방향으로 다음에 인접하는 얼굴에 카메라(10)를 향하게 하도록 제어한다(스텝 S405 및 S406). 반대로, Pdeg의 어긋남량이 큰 경우에는, 지정된 방향에 가장 가까운 Pdeg를 갖는 얼굴 위치 정보를 이용하여 카메라 방향을 제어함으로써, 조작자가 자연스러운 감각으로 조작할 수 있게 된다.

이상 설명한 바와 같이, 제1 실시 형태에 따른 카메라 시스템에서는, 카메라(10)가 촬상 범위를 전부 스캔하여, 화상 인식 처리에 의해 회의의 출석자의 얼굴의 위치를 검출하고, 그 정보를 얼굴 위치 데이터베이스(31)에 등록한다. 이 때문에, 출석자의 얼굴의 위치 정보를 얼굴 위치 데이터베이스(31)에 사전에 등록하는 조작이 불필요해져, 유저의 수고가 줄어 편리성이 높아진다.

그리고, Move_Next 커맨드에 따라서 얼굴 위치 데이터베이스(31)에 등록된 얼굴 위치 정보를 추출하여 제어를 행함으로써, 방향을 나타내는 Move_Next 키만을 이용한 간단한 조작으로, 옆에 존재하는 인물의 얼굴을 화면 내의 정확한 위치에 적절한 크기로 비출 수 있다. 또한, 예를 들면 얼굴 위치 데이터베이스(31)의 얼굴 위치 정보에 Pdeg의 크기 순으로 번호를 부여해 두고, 리모트 컨트롤러(40a) 등에 의해 번호를 지정하는 것만으로, 임의의 인물의 얼굴을 촬상시키는 것도 가능하다.

또한, 통상 동작 시에서도 팬/틸트/줌 동작을 변화시키는 요구가 없을 때에는, 화상 인식에 의해 촬상 중인 얼굴이 항상 화면의 중심에 비치도록 자동적으로 제어되므로, 송신처의 회의실에서 자연스럽고 고품질인 화상을 표시시킬 수 있다.

(제2 실시 형태)

도 8은, 제2 실시 형태에 따른 카메라 시스템의 시스템 구성을 도시하는 도면이다. 또한, 이 도 8에서는, 도 1과 대응하는 기능에는 동일한 부호를 붙여서 나타내어, 그 설명을 생략한다.

도 8에 도시한 카메라 시스템은, 도 1에 도시한 시스템의 구성 외에 추가로, 음성 신호 해석 장치(80)와, 2개의 마이크로폰(81, 82)을 구비하고 있다. 마이크로폰(81, 82)은, 카메라(10)로 촬상하고 있는 회의실에서의 출석자의 소리를 집음하기 위한 것으로, 집음된 음성 신호는 음성 신호 해석 장치(80)에 입력된다. 음성 신호 해석 장치(80)는, 입력된 2개의 음성 신호로부터 사람의 소리를 추출하고, 그 소리가 발생된 방향을 추측하여, 방향을 나타내는 음성 방향 정보를 카메라 제어 장치(30)에 출력한다. 이에 따라 카메라 제어 장치(30)는, 음성 방향 정보에 기초하여 발언하고 있는 출석자의 방향을 특정하고, 그 방향으로 카메라(10)를 향할 수 있게 된다. 또한, 음성 방향 정보는 예를 들면 Pdeg, Tdeg의 값으로서 공급된다.

도 9는 제2 실시 형태에 따른 카메라 시스템의 처리 전체의 흐름을 설명하는 플로우차트이다.

〔스텝 S501〕

카메라(10)에 의해서 1 프레임분의 촬상 화상 신호가 출력되고, 얼굴 인식 모듈(32)이 이 신호를 수신할 때까지 대기한다. 그리고, 수신한 경우에는 스텝 S502로 진행한다.

〔스텝 S502, S503〕

이들의 스텝은, 도 4의 스텝 S103 및 S104에 각각 대응한다. 즉, 실행 대기 상태인 PTZ 커맨드가 있는 경우에만 스텝 S503으로 진행하여, 팬/틸트 제어부(35) 및 줌 제어부(51)가 PTZ 커맨드 제어부(52)로부터 PTZ 커맨드를 수신하고, 그 PTZ 커맨드에 따라서 운대(20)가 제어되어 카메라(10)의 촬상 방향이 1 스텝분 변화되고, 또한 카메라(10)의 줌 배율이 1 스텝분 변화된다. 이 후, 스텝 S510으로 진행한다.

〔스텝 S504, S505〕

이들의 스텝은, 도 4의 스텝 S105 및 S106에 대응한다. 즉, 실행 대기 상태인 Move_Next 커맨드가 있는 경우에만 스텝 S505로 진행하여, 데이터베이스 검색 모듈(34)이 Move_Next 커맨드 제어부(53)로부터 Move_Next 커맨드를 수신하고, 커 맨드로 지정된 방향에 인접하는 인물의 얼굴을 촬상하도록 카메라(10)의 방향을 이동시킨다. 이 후, 스텝 S510으로 진행한다.

〔스텝 S506〕

음성 신호 해석 장치(80)로부터 음성 방향 정보가 출력되어 있는 경우에는, 팬/틸트 제어부(35)가 이 정보(Pdeg, Tdeg)를 수신하여, 스텝 S507로 진행한다. 또한, 음성 방향 정보가 출력되어 있지 않은 경우에는 스텝 S508로 진행한다.

〔스텝 S507〕

팬/틸트 제어부(35)는, 음성 방향 정보에 의해서 지정된 방향으로 카메라(10)를 향하도록 운대(20)를 제어한다. 이 후, 스텝 S510으로 진행한다.

〔스텝 S508, S509〕

이들의 스텝은, 도 4의 스텝 S107 및 S108에 각각 대응한다. 즉, 스텝 S508에서는, 현재 촬상 중인 범위에 대한 화상 인식을 이용한 얼굴 위치 데이터베이스(31)의 갱신 처리를, 얼굴 인식 모듈(32) 및 데이터베이스 갱신 모듈(33)이 실행한다. 그리고, 스텝 S509에서는, 데이터베이스 검색 모듈(34)이, 갱신된 얼굴 위치 데이터베이스(31)로부터 현재 촬상 중인 얼굴의 얼굴 위치 정보를 다시 추출하고, 그 얼굴이 화면의 중심에 위치하도록 카메라(10)의 방향을 제어하고, 또한 화면 상의 얼굴이 소정의 크기로 되도록 줌 동작을 제어한다. 이 후, 스텝 S510으로 진행한다.

〔스텝 S510〕

CPU(50)는, 예를 들면 전원 절단 조작 등에 의해 처리의 종료가 요구되었는 지의 여부를 판정하고, 요구되어 있지 않은 경우에는 스텝 S501로 되돌아간다.

이상의 플로우차트에 의한 처리에서는, 도 4의 처리 외에 추가로, 음성 신호 해석 장치(80)로부터의 음성 방향 정보에 따라서, 발언자의 방향으로 카메라(10)를 자동적으로 향하여 촬상할 수 있다. 또한, 카메라(10)를 발언자에게 향한 후, PTZ 커맨드나 Move_Next 커맨드, 음성 방향 정보가 수신되지 않으면, 스텝 S508 및 S509의 처리가 실행된다. 이 때문에, 발언자나 그 주위에 위치하는 인물의 얼굴 위치 정보가 얼굴 위치 데이터베이스(31)에 자동적으로 등록되고, 또한 발언자의 얼굴이 화면의 중앙에 위치하도록 카메라(10)의 방향이 자동적으로 조정된다. 따라서, 유저 조작을 행하지 않고, 발언자의 얼굴을 적절한 크기로 정확하게 촬상할 수 있도록 된다. 또한, 음성 방향 정보에 따라서 발언자의 근변을 자동적으로 촬상시킨 후, Move_Next 키를 이용하여 촬상 방향을 정확하게 맞추어서, 얼굴 위치 데이터베이스(31)의 갱신 처리를 실행할 수도 있다.

또한, 상기 처리를 이용하면, 예를 들면 회의의 개시 시에 출석자 전원이 순서대로 소리를 발함으로써, 각 출석자의 얼굴 위치 정보를 얼굴 위치 데이터베이스(31)에 자동적으로 등록하고, 그 후에, Move_Next 키를 이용한 카메라 방향 절환 처리나, 번호 지정 등에 의해 임의의 출석자의 얼굴에 카메라(10)를 자동적으로 향하는 처리를 실행시킬 수도 있게 된다.

또한, 이상의 각 실시 형태의 카메라 시스템에서는, PTZ 커맨드나 Move_Next 커맨드를 원격지로부터 통신 회선을 통하여 수신하고, 그 수신 커맨드에 따라서 카메라(10)의 촬상 방향이나 줌 동작을 제어할 수 있도록 하여도 된다. 이에 의해, 한 쪽의 회의실로부터 다른 쪽의 회의실에서의 카메라 동작을 통신 회선을 통하여 간단히 제어하는 것이 가능해진다. 또한, 각 지의 회의실에서의 카메라 동작을 한곳에서 간단히 제어하는 것도 가능해진다.

또한, 상기한 각 실시 형태에서는, 본 발명을 적용한 카메라 시스템을 전자 회의 시스템에 사용한 경우에 대하여 설명했지만, 이러한 카메라 시스템은 그 외에, 예를 들면 녹화 미디어용이나 방송용 영상 콘텐츠를 작성할 때에 카메라 방향의 절환을 간단한 조작으로 행하도록 한다고 하는 용도로도 사용할 수 있다.

본 발명의 카메라 제어 장치에 따르면, 촬상 대상으로 하는 각 인물에 대응하는 얼굴 방향 정보를 기억부가 기억하고, 구동 제어부가, 유저의 조작 입력에 의해 지정된 인물에 대응하는 얼굴 방향 정보를 기억부로부터 판독하고, 그 얼굴 방향 정보에 따라서 구동 장치를 제어하도록 한 것으로, 예를 들면 인물을 지정한다고 하는 간단한 조작 입력을 행하는 것만으로, 지정된 인물의 얼굴이 화면의 중앙에 정확하게 위치하도록 카메라의 촬상 방향을 자동적으로 변화시킬 수 있다. 또한, 얼굴 위치 검출부가 카메라의 촬상 화상 신호로부터 인물의 얼굴의 위치를 검출하고, 그 검출 결과와 현재의 카메라의 촬상 방향을 나타내는 정보를 기초로 등록부가 얼굴 방향 정보를 산출하여, 기억부에 등록하도록 한 것으로, 미리 인물마다의 얼굴 방향 정보의 등록 조작을 행하지 않고, 촬상된 인물에 대응하는 얼굴 방향 정보를 기억부에 자동적으로 등록할 수 있다.

또한, 본 발명의 카메라 제어 방법에 따르면, 촬상 대상으로 하는 각 인물에 대응하는 얼굴 방향 정보를 데이터베이스에 기억하고, 구동 제어 스텝에서, 유저의 조작 입력에 의해 지정된 인물에 대응하는 얼굴 방향 정보를 데이터베이스로부터 판독하여, 그 얼굴 방향 정보에 따라서 구동 장치를 제어하도록 한 것으로, 예를 들면 인물을 지정한다고 하는 간단한 조작 입력을 행하는 것만으로, 지정된 인물의 얼굴이 화면의 중앙에 정확하게 위치하도록 카메라의 촬상 방향을 자동적으로 변화시킬 수 있다. 또한, 검출 스텝에서 카메라의 촬상 화상 신호로부터 인물의 얼굴의 위치를 검출하고, 그 검출 결과와 현재의 카메라의 촬상 방향을 나타내는 정보를 기초로 등록 스텝에서 얼굴 방향 정보를 산출하여, 데이터베이스에 등록하도록 한 것으로, 미리 인물마다의 얼굴 방향 정보의 등록 조작을 행하지 않고, 촬상된 인물에 대응하는 얼굴 방향 정보를 데이터베이스에 자동적으로 등록할 수 있다.

Claims

촬상 방향을 변화시키는 구동 장치를 구비한 카메라의 촬상 범위를 제어하는 카메라 제어 장치에 있어서,

상기 카메라의 촬상 대상으로 하는 복수의 인물의 각각의 얼굴이, 상기 카메라에 의한 촬상 범위의 중앙부에 위치할 때의 얼굴 방향 정보를, 촬상 대상의 인물마다 기억하는 기억부와,

상기 카메라의 촬상 화상 신호로부터 인물의 얼굴의 위치를 검출하는 얼굴 위치 검출부와,

상기 얼굴 위치 검출부에 의한 검출 결과와 현재의 상기 카메라의 촬상 방향을 나타내는 정보를 기초로 상기 얼굴 방향 정보를 산출하여 상기 기억부에 등록하는 등록부와,

유저의 조작 입력에 의해 지정된 인물에 대응하는 상기 얼굴 방향 정보를 상기 기억부로부터 판독하고, 해당 얼굴 방향 정보에 따라서 상기 구동 장치를 제어하여 상기 카메라의 촬상 방향을 변화시키는 구동 제어부를 갖고,

상기 얼굴 방향 정보는 수평 방향의 각도를 나타내는 각도 정보를 포함하고,

상기 구동 제어부는,

상기 카메라의 촬상 방향을 현재 촬상되고 있는 인물의 좌우 어느 하나의 인접 인물로 절환하기 위한 방향 지시 신호를 수신하면, 상기 방향 지시 신호로 지시된 방향에 대하여 상기 카메라에 의한 현재의 촬상 방향에 가장 가까운 각도 정보를 포함하는 제1 얼굴 방향 정보를 상기 기억부로부터 추출하고,

추출한 상기 제1 얼굴 방향 정보에 포함되는 각도 정보와 상기 현재의 촬상 방향에 관한 좌우 방향의 각도와의 차분과 소정의 임계값을 비교하고,

상기 차분이 상기 임계값보다 큰 경우에는, 상기 제1 얼굴 방향 정보를 이용하여 상기 구동 장치를 제어하고,

상기 차분이 상기 임계값 이하인 경우에는, 상기 방향 지시 신호로 지시된 방향에 대하여 상기 현재의 촬상 방향에 2번째로 가까운 각도 정보를 포함하는 제2 얼굴 방향 정보를 상기 기억부로부터 추출하고, 추출한 상기 제2 얼굴 방향 정보를 이용하여 상기 구동 장치를 제어하는 것을 특징으로 하는 카메라 제어 장치.
삭제
제1항에 있어서,

상기 등록부는, 상기 얼굴 위치 검출부에 의해 인물의 얼굴의 위치가 검출되면, 상기 기억부에 기억된 상기 얼굴 방향 정보 중, 현재의 상기 카메라에 의한 촬상 범위에 포함되는 상기 얼굴 방향 정보를 소거하고, 상기 얼굴 위치 검출부에 의한 검출 결과에 기초하여 상기 얼굴 방향 정보를 재차 산출하여 상기 기억부에 등록하는 카메라 제어 장치.
제1항에 있어서,

상기 카메라가 촬상 가능한 범위를 분할하여, 그 분할 범위를 상기 카메라가 순서대로 촬상하도록 상기 구동 장치를 제어하는 초기 구동 제어부를 더 갖고,

상기 얼굴 위치 검출부가, 상기 분할 범위에 대한 상기 카메라의 촬상 화상 신호로부터 인물의 위치를 검출하고, 상기 등록부가, 상기 분할 범위에서 검출된 인물의 상기 얼굴 방향 정보를 산출하여 상기 기억부에 순차적으로 등록함으로써, 촬상 가능한 전체 범위에 존재하는 인물의 상기 얼굴 방향 정보를 상기 기억부에 자동적으로 등록하는 카메라 제어 장치.
제1항에 있어서,

상기 카메라의 촬상 방향을 변화시키기 위한 유저의 조작 입력이 일정 시간행해지지 않는 경우에,

상기 얼굴 위치 검출부는, 상기 카메라에 의한 현재의 촬상 화상 신호로부터 인물의 얼굴의 위치를 검출하고,

상기 등록부는, 상기 카메라에 의한 현재의 촬상 범위에 포함되는 상기 얼굴 방향 정보를 상기 기억부로부터 소거한 후, 상기 얼굴 위치 검출부에 의해 검출된 인물의 상기 얼굴 방향 정보를 상기 기억부에 등록하고,

상기 구동 제어부는, 상기 얼굴 위치 검출부에 의해 검출된 인물의 얼굴 중, 현재의 촬상 범위의 중심에 가장 가까운 얼굴에 대응하는 얼굴 위치 정보를 상기 기억부로부터 판독하고, 해당 얼굴 위치 정보에 따라서 상기 구동 장치를 제어하여 상기 카메라의 촬상 방향을 수정하는 카메라 제어 장치.
제1항에 있어서,

상기 얼굴 방향 정보는, 상기 얼굴 위치 검출부에 의해 검출된 인물의 얼굴의 중심 위치를 나타내는 수평 방향 및 수직 방향에 대한 각도 정보로 이루어지는 카메라 제어 장치.
제1항에 있어서,

상기 카메라의 줌 배율을 제어하는 줌 제어부를 더 갖고,

상기 등록부는 상기 얼굴 위치 검출부에 의해 검출된 인물의 얼굴의 크기를 나타내는 얼굴 크기 정보를, 상기 얼굴 방향 정보에 대응시켜 상기 기억부에 등록하고,

상기 줌 제어부는, 상기 구동 제어부에 의해 판독된 상기 얼굴 방향 정보에 대응하는 상기 기억부 내의 상기 얼굴 크기 정보를 기초로, 해당 얼굴 방향 정보에 기초하여 촬상되는 인물의 얼굴이 촬상 화면 내에서 소정의 크기로 되도록 상기 카메라의 줌 배율을 제어하는 카메라 제어 장치.
제7항에 있어서,

상기 얼굴 크기 정보는, 상기 얼굴 위치 검출부에 의해 검출된 인물의 얼굴을 수용 가능한 최소의 정방형 범위를 상기 카메라가 화면 전체로 촬상할 때의 시야각 정보로 이루어지는 카메라 제어 장치.
제1항에 있어서,

상기 카메라의 촬상 대상으로 하는 인물로부터 발생하는 소리의 방향을 검출하는 음성 검출 장치로부터의 검출 신호를 수신하여, 상기 검출 신호가 나타내는 방향을 상기 카메라가 촬상하도록 상기 구동 장치를 제어하는 자동 구동 제어부를 더 갖고,

상기 자동 구동 제어부에 의해 상기 카메라의 촬상 방향이 제어된 경우에,

상기 얼굴 위치 검출부는, 상기 카메라의 촬상 화상 신호로부터 인물의 얼굴 의 위치를 검출하고,

상기 등록부는 상기 카메라에 의한 현재의 촬상 범위에 포함되는 상기 얼굴 방향 정보를 상기 기억부로부터 소거한 후, 상기 얼굴 위치 검출부에 의해 검출된 인물의 상기 얼굴 방향 정보를 상기 기억부에 등록하는 카메라 제어 장치.
복수의 인물을 촬상하기 위한 카메라와, 상기 카메라의 촬상 방향을 변화시키는 구동 장치와, 상기 구동 장치를 제어하는 카메라 제어 장치를 포함하는 카메라 시스템에 있어서,

상기 카메라 제어 장치는,

상기 카메라의 촬상 대상으로 하는 인물의 각각의 얼굴이, 상기 카메라에 의한 촬상 범위의 중앙부에 위치할 때의 얼굴 방향 정보를, 촬상 대상의 인물마다 기억하는 기억부와,

상기 카메라의 촬상 화상 신호로부터 인물의 얼굴의 위치를 검출하는 얼굴 위치 검출부와,

상기 얼굴 위치 검출부에 의한 검출 결과와 현재의 상기 카메라의 촬상 방향을 나타내는 정보를 기초로 상기 얼굴 방향 정보를 산출하여 상기 기억부에 등록하는 등록부와,

유저의 조작 입력에 의해 지정된 인물에 대응하는 상기 얼굴 방향 정보를 상기 기억부로부터 판독하고, 해당 얼굴 방향 정보에 따라서 상기 구동 장치를 제어하여 상기 카메라의 촬상 방향을 변화시키는 구동 제어부를 갖고,

상기 얼굴 방향 정보는 수평 방향의 각도를 나타내는 각도 정보를 포함하고,

상기 구동 제어부는,

상기 카메라의 촬상 방향을 현재 촬상되고 있는 인물의 좌우 어느 하나의 인접 인물로 절환하기 위한 방향 지시 신호를 수신하면, 상기 방향 지시 신호로 지시된 방향에 대하여 상기 카메라에 의한 현재의 촬상 방향에 가장 가까운 각도 정보를 포함하는 제1 얼굴 방향 정보를 상기 기억부로부터 추출하고,

추출한 상기 제1 얼굴 방향 정보에 포함되는 각도 정보와 상기 현재의 촬상 방향에 관한 좌우 방향의 각도와의 차분과 소정의 임계값을 비교하고,

상기 차분이 상기 임계값보다 큰 경우에는, 상기 제1 얼굴 방향 정보를 이용하여 상기 구동 장치를 제어하고,

상기 차분이 상기 임계값 이하인 경우에는, 상기 방향 지시 신호로 지시된 방향에 대하여 상기 현재의 촬상 방향에 2번째로 가까운 각도 정보를 포함하는 제2 얼굴 방향 정보를 상기 기억부로부터 추출하고, 추출한 상기 제2 얼굴 방향 정보를 이용하여 상기 구동 장치를 제어하는 것을 특징으로 하는 카메라 시스템.
복수의 인물을 촬상하기 위한 카메라 시스템과, 복수의 인물이 발하는 음성을 집음하는 집음 장치와, 상기 카메라 시스템으로부터의 화상 신호와 상기 집음 장치로부터의 음성 신호를 다중화하여 통신 회선을 통하여 송신하는 송신 장치를 구비한 전자 회의 시스템에 있어서,

상기 카메라 시스템은, 카메라와, 상기 카메라의 촬상 방향을 변화시키는 구동 장치와, 상기 구동 장치를 제어하는 카메라 제어 장치를 포함하고,

상기 카메라 제어 장치는,

상기 카메라의 촬상 대상으로 하는 인물의 각각의 얼굴이, 상기 카메라에 의한 촬상 범위의 중앙부에 위치할 때의 얼굴 방향 정보를, 촬상 대상의 인물마다 기억하는 기억부와,

상기 카메라의 촬상 화상 신호로부터 인물의 얼굴의 위치를 검출하는 얼굴 위치 검출부와,

상기 얼굴 위치 검출부에 의한 검출 결과와 현재의 상기 카메라의 촬상 방향을 나타내는 정보를 기초로 상기 얼굴 방향 정보를 산출하여 상기 기억부에 등록하는 등록부와,

유저의 조작 입력에 의해 지정된 인물에 대응하는 상기 얼굴 방향 정보를 상기 기억부로부터 판독하고, 해당 얼굴 방향 정보에 따라서 상기 구동 장치를 제어하여 상기 카메라의 촬상 방향을 변화시키는 구동 제어부를 갖고,

상기 얼굴 방향 정보는 수평 방향의 각도를 나타내는 각도 정보를 포함하고,

상기 구동 제어부는,

상기 카메라의 촬상 방향을 현재 촬상되고 있는 인물의 좌우 어느 하나의 인접 인물로 절환하기 위한 방향 지시 신호를 수신하면, 상기 방향 지시 신호로 지시된 방향에 대하여 상기 카메라에 의한 현재의 촬상 방향에 가장 가까운 각도 정보를 포함하는 제1 얼굴 방향 정보를 상기 기억부로부터 추출하고,

추출한 상기 제1 얼굴 방향 정보에 포함되는 각도 정보와 상기 현재의 촬상 방향에 관한 좌우 방향의 각도와의 차분과 소정의 임계값을 비교하고,

상기 차분이 상기 임계값보다 큰 경우에는, 상기 제1 얼굴 방향 정보를 이용하여 상기 구동 장치를 제어하고,

상기 차분이 상기 임계값 이하인 경우에는, 상기 방향 지시 신호로 지시된 방향에 대하여 상기 현재의 촬상 방향에 2번째로 가까운 각도 정보를 포함하는 제2 얼굴 방향 정보를 상기 기억부로부터 추출하고, 추출한 상기 제2 얼굴 방향 정보를 이용하여 상기 구동 장치를 제어하는 것을 특징으로 하는 전자 회의 시스템.
촬상 방향을 변화시키는 구동 장치를 구비한 카메라의 촬상 범위를 제어하기 위한 카메라 제어 방법에 있어서,

검출부가, 상기 카메라의 촬상 화상 신호로부터 인물의 얼굴의 위치를 검출하는 검출 스텝과,

등록부가, 상기 검출 스텝에 의한 검출 결과와 현재의 상기 카메라의 촬상 방향을 나타내는 정보를 기초로, 상기 카메라의 촬상 대상으로 하는 복수의 인물의 각각의 얼굴이 상기 카메라에 의한 촬상 범위의 중앙부에 위치할 때의 얼굴 방향 정보를 산출하고, 검출된 인물마다 데이터베이스에 등록하는 등록 스텝과,

구동 제어부가, 유저의 조작 입력에 의해 지정된 인물에 대응하는 상기 얼굴 방향 정보를 상기 데이터베이스로부터 판독하고, 해당 얼굴 방향 정보에 따라서 상기 구동 장치를 제어하여 상기 카메라의 촬상 방향을 변화시키는 구동 제어 스텝을 포함하고,

상기 얼굴 방향 정보는 수평 방향의 각도를 나타내는 각도 정보를 포함하고,

상기 구동 제어 스텝에서, 상기 구동 제어부는,

상기 카메라의 촬상 방향을 현재 촬상되고 있는 인물의 좌우 어느 하나의 인접 인물로 절환하기 위한 방향 지시 신호를 수신하면, 상기 방향 지시 신호로 지시된 방향에 대하여 상기 카메라에 의한 현재의 촬상 방향에 가장 가까운 각도 정보를 포함하는 제1 얼굴 방향 정보를 상기 데이터베이스로부터 추출하고,

추출한 상기 제1 얼굴 방향 정보에 포함되는 각도 정보와 상기 현재의 촬상 방향에 관한 좌우 방향의 각도와의 차분과 소정의 임계값을 비교하고,

상기 차분이 상기 임계값보다 큰 경우에는, 상기 제1 얼굴 방향 정보를 이용하여 상기 구동 장치를 제어하고,

상기 차분이 상기 임계값 이하인 경우에는, 상기 방향 지시 신호로 지시된 방향에 대하여 상기 현재의 촬상 방향에 2번째로 가까운 각도 정보를 포함하는 제2 얼굴 방향 정보를 상기 데이터베이스로부터 추출하고, 추출한 상기 제2 얼굴 방향 정보를 이용하여 상기 구동 장치를 제어하는 것을 특징으로 하는 카메라 제어 방법.