JPH0983856A - インテリジェントカメラ装置 - Google Patents

Abstract

(57)【要約】 【課題】 出席者あるいは専任のオペレータ等がカメラ
の構図を調整することなく、カメラ自身が被写体の動き
を検出し、自動的に被写体を撮影することが可能な技術
を提供すること。 【解決手段】 周囲の音を集音するマイクと、画像の撮
像方向あるいは撮像倍率を制御できるカメラと、前記マ
イクの集音した音および前記カメラが撮像した画像を入
力とする情報処理装置とを有するインテリジェントカメ
ラ装置において、前記マイクによって集音された音を認
識する音認識手段と、前記カメラによって撮像された画
像を認識する画像認識手段と、前記音認識手段あるいは
画像認識手段のどちらか一方、または両方の出力に基づ
いて、前記カメラの撮像方向あるいは撮像倍率を制御
し、予め定められた被写体を追従するカメラ制御手段と
を具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マイクと情報処理
装置とを備えるインテリジェントカメラ装置に関し、特
に、予め設定した被写体（物もしくは人）を自動的に追
従するインテリジェントカメラ装置に適用して有効な技
術に関するものである。

【０００２】

【従来の技術】従来、テレビ会議あるいはセキュリティ
システム等ではカメラ（特に、テレビカメラ）は広く使
用されており、たとえば、セキュリティシステムでは管
理者が遠隔操作によってカメラの視野方向を任意に変え
ることにより、広範囲の場所の監視あるいは特定の物体
を追跡し監視するカメラ装置等が使用されている。

【０００３】また、テレビ会議システムとしては、
「“テレミート１００／５０”、佐藤他、Ｎａｔｉｏｎ
ａｌ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｖｏｌ．４
０ Ｎｏ．６、Ｄｅｃ．，１９９４」等で、そのシステ
ムのカメラ装置の一例が紹介されている。

【０００４】一方、単にカメラの撮像画像を解析したり
するだけでなく、解析結果を基にカメラの視野方向や設
置場所等を変更し、新たに得られた画像から更なる解析
を行うという研究もなされている。

【０００５】この研究の一例として、「アクティブビジ
ョン−歴史と展望−、久野義徳、人工知能学会誌Ｖｏ
ｌ．１０ Ｎｏ．４，１９９５」に記載されるように、
人工知能の分野で研究されているアクティブビジョンの
分野では、撮影対象等に応じてカメラを動かし、その結
果撮影された画像情報をもとにロボット等の動作を行う
などの研究がされている。

【０００６】また、音声の認識等の研究も古くから行わ
れており、たとえば、「音声研究の現状と課題、粕谷
他、日本音響学会誌Ｖｏｌ５１ Ｎｏ．８，１９９５」
等に示されており、笑い声に反応してシャッターが自動
的にきられるカメラが過去に製品化されている。

【０００７】

【発明が解決しようとする課題】本発明者は、前記従来
技術を検討した結果、以下の問題点を見いだした。

【０００８】前述する従来のテレビ会議等に用いるカメ
ラ装置では、カメラの撮像方向や撮像倍率等のカメラの
構図を調整するために、会議の出席者自身がカメラを調
整する必要があった。

【０００９】このため、出席者が座る位置等を変更した
場合であっても、その都度、出席者自身がカメラの撮像
方向や撮像倍率等を調整する必要があり、会議に集中で
きないという問題があった。

【００１０】また、カメラが情報処理装置等と接続さ
れ、この情報処理装置に指示を行うことにより、カメラ
の構図を調整できるカメラ装置を使用した場合であって
も、情報処理装置の操作は出席者あるいは専任のオペレ
ータが行う必要があるという問題があった。

【００１１】本発明の目的は、出席者あるいは専任のオ
ペレータ等がカメラの構図を調整することなく、カメラ
自身が被写体の動きを検出し、自動的に被写体を撮影す
ることが可能な技術を提供することにある。

【００１２】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
になるであろう。

【００１３】

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記のとおりである。

【００１４】（１）周囲の音を集音するマイクと、画像
の撮像方向あるいは撮像倍率を制御できるカメラと、前
記マイクの集音した音および前記カメラが撮像した画像
を入力とする情報処理装置とを有するインテリジェント
カメラ装置において、前記マイクによって集音された音
を認識する音認識手段と、前記カメラによって撮像され
た画像を認識する画像認識手段と、前記音認識手段ある
いは画像認識手段のどちらか一方、または両方の出力に
基づいて、前記カメラの撮像方向あるいは撮像倍率を制
御し、予め定められた被写体を追従するカメラ制御手段
とを具備する。

【００１５】前述した手段によれば、例えば、画像認識
手段の出力に基づいて予め定められた物体をカメラで追
従する場合、まず、カメラで追従させる被写体となる物
体あるいは人物の輪郭線等の概略を撮像し、情報処理装
置に記憶させる。

【００１６】次に、画像認識手段は情報処理装置に記憶
された画像と次のフレームで撮像された画像とを比較す
ることにより、被写体の移動量を計算し、カメラ制御手
段に移動量を出力する。

【００１７】カメラ制御手段は被写体の移動量に基づい
て、カメラに撮影される被写体の位置（被写体の構図）
が、被写体の移動前の位置となるカメラの移動量あるい
は倍率を計算し、この計算値に基づきカメラを移動ある
いはカメラの倍率を変化させる。

【００１８】カメラの移動あるいはカメラの倍率の変化
が終了したならば、再び、画像認識手段は画像を読み込
み、この画像と移動前の画像にカメラの移動分あるいは
撮影倍率の変化分を修正した画像とを比較し、被写体に
移動がないかを調べ、移動が検出されたならば、前述す
る手順にしたがって再びカメラの移動あるいは撮影倍率
の変化を行う。

【００１９】以上に示す手順により、被写体の移動量を
検出し、カメラを検出した移動量に相当する移動量だけ
移動させることにより、カメラを被写体の動きに追従さ
せる。

【００２０】一方、被写体の移動量が速く、かつ、大き
いために、カメラが被写体の動きに追従できない場合に
は、たとえば、被写体が発する「右」あるいは「左」と
いう音声指示を音声認識手段が認識すると、音声認識手
段は音声指示にしたがった方向への移動を、カメラ制御
手段に出力する。

【００２１】カメラ制御手段では、音声認識手段の出力
に基づき、カメラの方向を予め定められた移動量だけ移
動させることにより、カメラの撮影範囲内に被写体をと
らえることができるので、再び、画像認識手段で被写体
の移動を追従することができる。

【００２２】このように、カメラに撮像される被写体の
移動量を検出する画像認識手段の出力に基づいて、カメ
ラ制御手段がカメラの撮像方向を被写体の移動量に相当
する量だけ移動させることにより、カメラは被写体の動
きに追従して被写体を撮像することができるので、被写
体となる人物（出席者）あるいは専任のオペレータ等が
カメラの撮像方向および撮像倍率を調整することなく、
自動的に被写体を撮像することができる。

【００２３】また、マイクに集音される音の中から、
「右」，「左」という音声を認識する音声認識手段の出
力に基づいて、カメラ制御手段がカメラの撮像方向を予
め定められた量だけ移動させることにより、被写体が速
くかつ大きく動いた場合でも被写体の方向にカメラを向
けさせ、再び、被写体をとらえることができるので、声
による簡単な指示だけで、被写体となる人物（出席者）
あるいは専任のオペレータ等がカメラの撮像方向および
撮像倍率を調整することなく、自動的に被写体を撮像す
ることができる。

【００２４】

【発明の実施の形態】以下、本発明について、発明の実
施形態とともに図面を参照して詳細に説明する。

【００２５】なお、発明の実施形態を説明するための全
図において、同一機能を有するものは同一符号を付け、
その繰り返しの説明は省略する。

【００２６】図１は本発明の一実施形態（実施例）のイ
ンテリジェントカメラ装置の概略構成を示すブロック図
であり、このインテリジェントカメラ装置はテレビ会議
システムに用いるものである。

【００２７】図１において、１００はキーボード、１１
０は情報処理装置、１２０はモニタ、１３０はテレビカ
メラ、１４０はマイク、１５０はカメラ取り付け台であ
り、キーボード１００は周知のキーボードであり、情報
処理装置１１０に文字情報を入力するための入力装置で
ある。

【００２８】情報処理装置１１０は、マイク１４０およ
びカメラ１５０から取り込まれた音および画像を、図示
しないＡ／Ｄ変換器で「０（Ｌｏｗ）」，「１（Ｈｉｇ
ｈ）」のデジタル信号に変換し、この変換した音情報お
よび画像情報を後述する処理手順に従って処理した後、
図示しない通信回線によって接続される図示しない他の
情報処理装置に音情報および画像情報を転送する。

【００２９】また、情報処理装置１１０は図示しない他
の情報処理装置から転送されてくる音情報および画像情
報を、Ｄ／Ａ変換器でアナログ信号に変換し、図示しな
いスピーカから転送された音を出力すると共に、モニタ
１２０から画像を出力する。

【００３０】モニタ１２０は周知のモニタであり、情報
処理装置１１０の映像出力信号を映像として表示する。

【００３１】テレビカメラ１３０は、カメラ取り付け台
１５０の移動台に取り付けられており、移動台を回転あ
るいは上下方向に調整することにより、テレビカメラ１
３０の撮影方向を任意の方向に設定することができる。

【００３２】また、テレビカメラ１３０は図示しない周
知の視野角調整装置を有しており、情報処理装置１１０
の指示により視野角調整装置は画像の撮影倍率を任意に
設定することができる。

【００３３】マイク１４０は、テレビカメラ１３０に固
定されているので、テレビカメラ１３０と共に、マイク
１４０の指向性方向を移動することができる。

【００３４】カメラ取り付け台１５０はテレビカメラ１
３０の一部であり、情報処理装置１１０の出力に基づ
き、上部の移動台に取り付けられたテレビカメラ１３０
を回転あるいは上下方向に移動させることにより、テレ
ビカメラ１３０の撮影方向を任意の方向に設定する。

【００３５】図２は情報処理装置が有する被写体の追従
制御を行うための制御部の概略構成を示すブロック図で
あり、２１０は音情報記憶回路、２２０は画像情報記憶
回路、２３０は認識部、２４０は音認識手段、２５０は
画像認識手段、２６０はカメラ制御手段、２７０は情報
処理装置制御手段を示す。

【００３６】図２において、音情報記憶回路２１０は、
マイク１４０で集音された音のデジタルデータを記憶す
るための記憶回路であり、情報処理装置１１０の記憶領
域の一部が割り当てられている。

【００３７】画像情報記憶回路２２０は、カメラ１３０
で撮像された画像のデジタルデータを記憶するための記
憶回路であり、情報処理装置１１０の記憶領域の一部が
割り当てられている。

【００３８】認識部２３０は、音認識手段２４０と画像
認識手段２５０とを有し、音認識手段２４０は公知の技
術を用いており、音情報記憶回路２１０に格納される音
のデータを解析し、「右」あるいは「左」方向への移動
指示がなされたか否かを後述する手順によって判断し、
その結果をカメラ制御手段２６０に出力する。

【００３９】なお、詳細については、「竹林、金澤、永
田、瀬戸：“不特定話者音声自由対話システムＴＯＳＢ
ＵＲＧ「−マルチモーダル応答と音声応答キャンセルの
利用−”，信学会論文誌Ａ Ｖｏｌ．Ｊ７７−Ａ Ｎ
ｏ．２，ｐｐ．２４１−ｐｐ．２５０，１９９４」を参
照されたい。

【００４０】画像認識手段２５０は、公知の画像認識技
術を用いており、画像情報記憶回路２２０に格納される
１フレーム前と現行フレームの画像のデータを後述する
手順によって解析し、その結果から、予め定められた被
写体の移動量を計算し、算出された移動量をカメラ制御
手段２６０に出力する。

【００４１】なお、詳細については、「石黒：“注視に
基づくロボットの視覚”，人工知能学会誌、Ｖｏｌ．１
０，Ｎｏ．４，ｐｐ．１０−１６，Ｊｕｌｙ １９９
５」および「日本工業技術センター編：“コンピュータ
画像処理入門”，ｐｐ．１１８−１６１，総研出版発
行」を参照されたい。

【００４２】カメラ制御手段２６０は、公知の技術を用
いており、画像認識手段２５０から出力される被写体の
移動量に基づき、被写体の移動を相殺するようにカメラ
１３０を左右方向あるいは上下方向に移動させるための
信号（制御コマンド）をＲＳ−２３２Ｃを介してカメラ
１３０に出力し、カメラ取り付け台１５０の移動ステー
ジを回転あるいは上下方向に動作させることにより、カ
メラ１３０の撮像方向を移動させる。

【００４３】あるいは、カメラ１３０の図示しない撮影
倍率調整装置を制御し、カメラ１３０の視野角を変化さ
せる。

【００４４】また、カメラ制御手段２６０は、音認識手
段２４０から出力される右移動あるいは左移動指示に基
づき、カメラ１３０を左右方向に予め定められた量だけ
移動させるための信号をカメラ１３０に出力し、カメラ
取り付け台１５０の移動ステージを回転動作させること
により、カメラ１３０の撮像方向を移動させる。

【００４５】なお、詳細については、「佐藤、太田、北
島、丸山、尾形：“新世代テレビ会議システムテレミー
ト１００／５０”，Ｎａｔｉｏｎａｌ Ｔｅｃｈｎｉｃ
ａｌＲｅｐｏｒｔ，Ｖｏｌ．４０ Ｎｏ．６，Ｄｅｃ．
１９９４」を参照されたい。

【００４６】情報処理装置制御手段（計算機システム制
御部）２７０は公知の技術を用いており、たとえば、
「佐藤、太田、北島、丸山、尾形：“新世代テレビ会議
システムテレミート１００／５０”，Ｎａｔｉｏｎａｌ
Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ，Ｖｏｌ．４０
Ｎｏ．６，Ｄｅｃ．１９９４」に記載されており、被写
体となる出席者がキーボード１００あるいは図示しない
マウス等のポインティングデバイスにより行う指示でカ
メラ１３０の制御を行う。

【００４７】次に、図１および図２に基づき、本実施例
のインテリジェントカメラ装置の動作を、たとえば、カ
メラ１０３の前に座る被写体（ユーザ、出席者）が座る
位置を図１の紙面に向かって左側に移動した場合につい
て説明する。

【００４８】まず、カメラ１３０が移動した被写体の画
像（移動後画像）を撮像すると、この画像は情報処理装
置１１０の図示しないＡ／Ｄ変換器でデジタル信号に変
換された後、画像情報記憶回路２２０に送られ、ここで
画像情報（移動後画像情報）として一時記憶されると共
に、情報処理装置制御手段２７０から図示しない通信回
線を介して接続される情報処理装置に転送される。

【００４９】一方、画像認識手段２５０は画像情報記憶
回路２２０から移動後画像情報を読み出し、この移動後
画像情報と１フレーム前に撮像した被写体が移動する前
の画像（移動前画像）の画像情報（移動前画像情報）と
を後述する手順で比較する。

【００５０】このとき、画像認識手段２５０が被写体の
移動を検出すると、画像認識手段２５０は後述する手順
に従い、カメラ１３０の撮影範囲内（構図内）での被写
体の移動量を算出し、この移動量をカメラ制御手段２６
０に出力する。

【００５１】カメラ制御手段２６０は、画像認識手段２
５０が算出した移動量に基づき、カメラ取り付け台１５
０の移動ステージを図１の紙面に向かって左方向に回転
させるための回転量を計算し、移動ステージを回転させ
る。

【００５２】この結果、カメラ１３０が撮像する被写体
の構図内での位置は、被写体が移動する前と同じ位置と
なり、カメラ１３０の撮影方向を被写体である出席者が
座る位置を移動する度に、出席者自身がカメラ１３０の
撮影方向を調整し直す必要がない。

【００５３】以上説明したように、本実施形態によれ
ば、カメラ１３０に撮像される被写体の移動量を検出す
る画像認識手段２５０の出力に基づいて、カメラ制御手
段２６０がカメラ１３０の撮像方向を被写体の移動量に
相当する量だけ移動させることにより、カメラ１３０は
被写体の動きに追従して被写体を撮像することができる
ので、出席者あるいは専任のオペレータ等がカメラ１３
０の撮像方向あるいは撮像倍率を調整することなく、自
動的に被写体を追従し撮像することができる。

【００５４】また、マイク１４０に集音される音の中か
ら、「右」，「左」という音声を認識する音認識手段２
４０の出力に基づいて、カメラ制御手段２６０がカメラ
１３０の撮像方向を予め定められた量だけ移動させるこ
とにより、被写体が速くかつ大きく動いた場合でも被写
体の方向にカメラ１３０を向けさせ、再び、被写体をと
らえることができるので、声による簡単な指示だけで、
出席者あるいは専任のオペレータ等がカメラ１３０の撮
像方向あるいは撮像倍率を調整することなく、自動的に
被写体を撮像することができる。

【００５５】なお、本実施形態においては、音認識手段
２４０によって被写体である出席者の発する「右」ある
いは「左」という音声を認識し、その結果に基づいてカ
メラ制御手段２６０がカメラ１３０を回転させる構成で
あるが、音認識手段２４０とは別に、たとえば、マイク
１４０を２本用いて、周囲の音をステレオで集音し、こ
の音の位相の差から音源方向を特定する音源方向特定手
段を設け、その出力に基づきカメラ１３０の撮像方向を
制御することにより、音がした方にカメラ１３０を向か
せることができる。

【００５６】また、前述するような音源方向特定手段
と、高速に撮像方向を移動できるカメラ１３０とを有す
るインテリジェントカメラ装置をセキュリティーシステ
ムに用いることにより、音がした方の画像をより明瞭に
撮像することができる。

【００５７】以上、本発明者によってなされた発明を、
前記発明の実施形態に基づき具体的に説明したが、本発
明は、前記発明の実施形態に限定されるものではなく、
その要旨を逸脱しない範囲において種々変更可能である
ことは勿論である。

【００５８】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、下
記の通りである。

【００５９】カメラ自身が被写体の動きを検出し、自動
的に被写体を追従して撮影することができるので、出席
者あるいは専任のオペレータ等がカメラの構図を調整す
る必要がなくなる。

【図面の簡単な説明】

【図１】本発明の一実施形態であるインテリジェントカ
メラ装置の概略構成を示すブロック図である。

【図２】情報処理装置が有する被写体の追従制御を行う
ための制御部の概略構成を示すブロック図である。

【符号の説明】

１００…キーボード、１１０…情報処理装置、１２０…
モニタ、１３０…テレビカメラ、１４０…マイク、１５
０…カメラ取り付け台、２１０…音情報記憶回路、２２
０…画像情報記憶回路、２３０…認識部、２４０…音認
識手段、２５０…画像認識手段、２６０…カメラ制御手
段、２７０…情報処理装置制御手段。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/15 Ｈ０４Ｎ 7/18 Ｅ 7/18 Ｇ０６Ｆ 15/64 ３２５Ｂ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 周囲の音を集音するマイクと、画像の撮
   像方向あるいは撮像倍率を制御できるカメラと、前記マ
   イクの集音した音および前記カメラが撮像した画像を入
   力とする情報処理装置とを有するインテリジェントカメ
   ラ装置において、 前記マイクによって集音された音を認識する音認識手段
   と、前記カメラによって撮像された画像を認識する画像
   認識手段と、前記音認識手段あるいは画像認識手段のど
   ちらか一方、または両方の出力に基づいて、前記カメラ
   の撮像方向あるいは撮像倍率を制御し、予め定められた
   被写体を追従するカメラ制御手段とを具備することを特
   徴とするインテリジェントカメラ装置。