JPH099128A

JPH099128A - 撮影装置

Info

Publication number: JPH099128A
Application number: JP7156174A
Authority: JP
Inventors: Taku Nakamura; 卓中村; Satoshi Asada; 聡浅田; Hitoshi Watanabe; 等渡邊; Yuji Koide; 裕司小出; Yasuyuki Ogawa; 康行小川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-06-22
Filing date: 1995-06-22
Publication date: 1997-01-10

Abstract

(57)【要約】【目的】テレビカメラによる撮影時に、被写体の特定
部位の拡大撮影を自動的に行うことができる撮影装置。【構成】テレビカメラ１にズームレンズ２、雲台３を
備え、被写体の顔領域部位が空間内のどこに存在するか
を検出するため赤外線カメラ５と検出手段９，１０を有
し、検出手段の出力に応じてズームレンズ２および雲台
３を制御し、被写体の顔領域部位を画面の中心にとらえ
るようにズームインする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ズームレンズ，電動雲
台，位置移動手段のいずれかを備えるテレビカメラを用
いた撮影装置に関し、特に前記のズームレンズ，電動雲
台，位置移動手段の少なくともひとつを電気的に制御可
能な撮影装置に関するものである。

【０００２】

【従来の技術】撮影中に被写体の一部分、例えば人物の
顔だけを画面いっぱいに撮影しようとする場合を想定す
る。いま、人物の半身が撮影されているとすると、現在
の画面の中心は人物の胸のあたりになる。カメラマン
は、まず人物の顔の位置と大きさを確認する。次いで人
物の顔の中心に向かってカメラの向きを変えつつ、ズー
ムレンズの焦点距離を操作して人物の顔が画面いっぱい
に撮影されるように操作する。

【０００３】

【発明が解決しようとする課題】上記の操作は従来は専
属の人手によって行われていた。

【０００４】カメラをリモートコントロールすることに
よって、カメラの台数分の人間を配置しなくてもすむよ
うにする試みはあるが、依然人手に頼っており、省力化
に大きな貢献はなされていない。

【０００５】従来の撮影は以上のように行われていたの
で人手がかかっていたし、人手を省こうとすると限られ
た映像表現しかできなかった。

【０００６】本発明は、上記従来の問題点を解消するた
めに成されたもので、テレビカメラによる撮影において
多彩な映像表現の可能性を保ちつつ省力化をはかること
ができる撮影装置の提供を目的とするものである。

【０００７】

【課題を解決するための手段】本発明の撮影装置は、次
の構成によって、前記目的を達成しようとするものであ
る。

【０００８】（１）テレビカメラと該テレビカメラによ
る撮影を制御する制御手段を備えた撮影装置であって、
前記制御手段は画像を表示する表示手段と、あらかじめ
定めた種類の被写体の特定部位が空間内で占める位置を
検出する被写体位置検出手段を有することを特徴とする
構成、（２）前記（１）に記載の構成に加えてカメラの
角度を動かす角度移動手段と、前記被写体位置検出手段
の出力に応じて前記被写体の特定部位を画面の所定の位
置にとらえるのに必要なカメラの角度移動量を求める角
度決定手段を備えたことを特徴とする構成、（３）前記
（１）または（２）に記載の構成に加えてカメラの位置
を動かす位置移動手段と、前記被写体位置検出手段の出
力に応じて前記被写体の特定部位を画面の所定の位置に
とらえるのに必要なカメラの位置移動量を求める位置決
定手段を備えたことを特徴とする構成、（４）前記
（１）ないし（３）のいずれかに記載の構成に加えてズ
ームレンズと、前記被写体位置検出手段の出力に応じて
ズームレンズの焦点距離を決定する焦点距離決定手段を
備えたことを特徴とする構成、（５）前記制御手段は、
前記角度決定手段によって決定された向きに雲台を制御
する直前のカメラの向きを記憶する方向記憶手段を有す
ることを特徴とする前記（２）記載の構成、（６）前記
制御手段は、前記位置決定手段によって決定された位置
にカメラ位置を移動する直前のカメラ位置を記憶するカ
メラ位置記憶手段を有することを特徴とする前記（３）
記載の構成、（７）前記制御手段は、前記焦点距離決定
手段によって決定された焦点距離にズームレンズを制御
する直前の焦点距離を記憶する焦点距離記憶手段を有す
ることを特徴とする前記（４）記載の構成、（８）前記
被写体位置検出手段は赤外線カメラを備えたことを特徴
とする前記（１）ないし（７）のいずれかに記載の構
成、（９）前記被写体の特定部位が人間の顔であること
を特徴とする前記（１）ないし（８）のいずれかに記載
の構成、

【０００９】

【作用】上記の構成により、被写体の特定部位を認識し
てそれが空間のどこに位置するかを検出する。そして検
出された位置に応じて雲台の向きやズームレンズの焦点
距離などを制御することによって、自動的に被写体の特
定部位を拡大撮影することができる。

【００１０】

【実施例】図１は本発明の一実施例の要部構成を示すブ
ロック図である。

【００１１】本実施例においては、対象とする被写体は
人間であり、位置を検出すべき特定部位は人間の顔であ
る。ここで言うところの顔には露出部分だけでなく、頭
髪の部分も含まれている。

【００１２】図１において、１は最終的な映像出力を得
るためのテレビカメラであり、２はズームレンズであ
る。３はテレビカメラ１の向きを変えるための雲台であ
り、脚４の上に置かれている。５は被写体の赤外線像を
撮像するための赤外線テレビカメラであり、赤外線ズー
ムレンズ６を備え、テレビカメラ１の上に置かれてい
る。ズームレンズ２と赤外線ズームレンズ６はともに外
部から焦点距離を制御可能で、両者は同期して制御され
る。ズームレンズ２と赤外線ズームレンズ６はともに自
動焦点機構を備えている。テレビカメラ１と赤外線テレ
ビカメラ５は平行かつ光軸がなるべく近づくように設置
されている。

【００１３】顔領域推定部９は赤外線カメラ５から赤外
線画像を受け取り被写体の顔の領域を推定する。顔中心
推定部１０は前記顔の推定領域の情報から顔の中心座標
を推定し、推定中心座標を雲台制御部１２に伝える。雲
台制御部１２は現在の雲台３の角度を参照し、前記推定
中心座標にテレビカメラ１を向けるのに必要な制御目標
値として雲台角度移動量と雲台角度移動方向を算出し、
雲台３に対し角度の移動方向と移動の速さを指示する。

【００１４】一方、前記顔の推定領域はズームレンズ制
御部１１に伝えられる。ズームレンズ制御部１１はズー
ムレンズ２の出力である現在の焦点距離を参照し、前記
顔の推定領域を画面いっぱいに撮像するのに必要な制御
目標値として焦点距離移動量と焦点距離移動方向を算出
し、ズームレンズ２と赤外線レンズ６に対し焦点距離の
移動方向と移動の速さを指示する。

【００１５】１４は動作状態をチェックするためのディ
スプレイであり、１３はディスプレイ１４に表示する画
像を生成するディスプレイコントローラである。

【００１６】１５はズームレンズ制御部１１と雲台制御
部１２に対して動作の開始、動作の中止、動作開始前の
状態への復帰を指示するための信号入力端子である。

【００１７】赤外線ズームレンズ６はズームレンズ２と
連動して焦点距離を変えられるが、ズームレンズ２と完
全に同じ焦点距離を保つ必要はない。ズームレンズ２が
長焦点側にズームしたとき、赤外線ズームレンズ６も同
一の焦点距離にズームすることが顔領域の推定の精度上
望ましい。しかし、そうするには非常にコストがかかる
ものである。被写体の顔の領域を視野に十分な大きさで
とらえることができれば本発明の目的は達せられる。

【００１８】顔領域推定部９と顔中心推定部１０の動作
について説明する。

【００１９】顔の領域の推定には以下の知識を用いるこ
とができる。

【００２０】１．顔の位置は画面の中心からあまりはず
れていないであろうこと、２．人間の顔というものは縦横比がおよそ１：０．７で
あり、楕円形で近似できること、３．人間の顔の横幅はおよそ２０cmから２５cmほどであ
ること、４．たいていの場合人間の顔の露出部分の上部には赤外
線を透過しない頭髪があること、５．テレビ画面は横長であるから、頭髪が横方向に広が
っていても画面からはみ出すことはほとんどありえない
こと。

【００２１】上記の知識と、ズームレンズ２から得られ
る被写体までの距離とを組み合わせることにより、被写
体の顔の領域および顔の中心位置を推定することができ
る。

【００２２】更に精度よく顔領域を推定するために以下
の情報を用いることも可能である。以下の情報は赤外線
を反射または放射する部位に関するもので、被写体とな
る人物ごとに設定可能なものである。

【００２３】１．頭髪の有無、２．頭髪の位置と分布、３．喉と首が露出しているか、４．服が赤外線を反射するものであるか。

【００２４】以上の知識と情報を用い、赤外線画像中で
きわだって明るく撮像されている顔の領域を推定する。

【００２５】顔の推定領域は、例えば楕円を表すパラメ
ータ（中心，長径，短径）として表現される。推定した
領域の情報は顔中心推定部１０とズームレンズ制御部１
１に伝えられる。顔の中心座標はズームレンズ２と赤外
線ズームレンズ６に伝えられ、焦点を合わせる場所の情
報として用いられる。

【００２６】図２は、顔領域を推定する方法の説明図で
あり、図２の（ａ）ないし（ｅ）を参照して具体的に説
明する。

【００２７】１．赤外線画像を適当なしきい値で２値化
し、図２（ａ）のような２値化画像を得る、２．孤立点消去などの手法によってノイズを除去し図２
（ｂ）のようなノイズのない画像を得る、３．ズームレンズ２内の自動焦点機構から得た被写体ま
での距離と上記で説明した一般的な顔の性質から、顔の
露出部分が撮像画面上で占める概略の大きさを求める、４．中央部付近で前記概略の大きさ程度の領域を顔の露
出部分の領域であると推定する。図２（ｂ）において領
域２０が顔の露出部分として推定された領域である、５．領域２０を囲む長方形２１を定義する図２（ｃ）、６．長方形２１を上に５０％、左右それぞれに２０％拡
大し長方形２２を得る（図２（ｄ））。これは頭髪と耳
の部分を領域に含めるようにするための操作である、７．長方形２２に内接する楕円２３を定義し、顔の推定
領域とする（図２（ｅ））、８．前記楕円の中心２４の座標を顔の推定座標中心とす
る。

【００２８】ディスプレイコントローラ１３とディスプ
レイ１４の動作について説明する。

【００２９】撮影装置によって生放送中の番組収録をす
るときには失敗が許されない。だからズームレンズが長
焦点距離側に移動しつつあるとき、どの点が顔の中心と
認識されているかをディスプレイ上に表示し、人間が確
認することが望ましい。このため、ディスプレイコント
ローラ１３およびディスプレイ１４は動作の確認の目的
のために備えたものである。

【００３０】ディスプレイコントローラ１３は、テレビ
カメラ１の出力である映像信号、ズームレンズ２の出力
である被写体までの距離および現在の焦点距離、雲台３
の出力である現在の雲台角度、顔領域推定部９の出力で
ある推定領域情報、顔中心推定部１０の出力である推定
中心座標を入力し、以下の手順でディスプレイ１４に確
認映像を出力する。

【００３１】１．自身のメモリ内に映像バッファを用意
する、２．前記推定領域を表す楕円を前記被写体までの距離だ
け離れた位置におき、前記現在の雲台角度から眺めた状
態に相当する前記映像バッファ内の位置に楕円を描く、３．前記映像バッファ内の前記推定中心座標に対応する
位置にＸ印を描く、４．テレビカメラ１の出力である映像信号に前ステップ
までに得られた図形を重ねて出力する。

【００３２】ズームレンズ２の焦点距離と雲台３の角度
を動かしている間、適当な時間間隔で上記の手順を繰り
返す必要がある。

【００３３】こうして得られた確認映像をチェックする
作業は少ない人手で可能であるから、カメラごとにカメ
ラマンがついている現状よりはるかに省力化をはかるこ
とができる。

【００３４】被写体の顔を拡大撮影した後、ズームレン
ズと雲台を拡大撮影する以前の状態に戻すということは
通常よく行われることであり、自動化することが望まし
い操作である。

【００３５】これに対応するために、ズームレンズ制御
部１１は拡大撮影を行う直前におけるズームレンズ２の
焦点距離を記憶する焦点距離メモリ（不図示）を内蔵し
ている。また雲台制御部１２は拡大撮影を行う直前の雲
台３の角度を記憶する角度メモリ（不図示）を内蔵して
いる。

【００３６】ズームレンズ制御部１１に復帰指示信号が
入力されると、ズームレンズ制御部１１は焦点距離メモ
リの内容を読みだし、読みだした値を制御目標とする。
同様に雲台制御部１２に復帰指示が入力されると雲台制
御部１２は角度メモリの内容を読みだし、読みだした値
を制御目標とする。これにより拡大撮影の前の状態への
復帰が自動的に行われる。

【００３７】テレビカメラの向きとレンズの焦点距離を
変化させつつある状態での映像をテレビ放送などで用い
る場合がある。

【００３８】この場合はズームレンズ２と雲台３の運動
を同期させる、すなわち同時に運動を開始し同時に運動
を終了するように制御することが映像表現上望ましい。
これを実現するためにはズームレンズ２と雲台２が同期
して動くような制御曲線を描き、ズームレンズ２の焦点
距離の変化と雲台３の角度の変化がこれらの曲線に沿う
ように制御すればよい。なおこれらの制御曲線は制御に
用いるコンピュータの内部で生成するものであり、制御
曲線の内部表現はどのようなものであってもかまわな
い。また特定の曲線に沿って制御対象の運動を制御する
技術は既知であるから、ここでその具体的方法について
は説明省略する。

【００３９】図３はズームレンズ２の焦点距離の制御曲
線の例で、初期値は２０mm、制御目標値は８０mmであ
る。図４は雲台３の上下方向の角度の制御曲線の例で、
初期値は＋２度、制御目標値は＋８度である。図３およ
び図４に示した制御曲線はともに時刻０に運動を開始
し、時刻Ｔに運動を終了している。雲台３の左右方向の
角度についても同様に制御できる。

【００４０】遠方からズーム比の大きなレンズを用い、
短焦点距離での撮影から超長焦点距離の撮影にいっきに
移行しようとする場合がある。

【００４１】短焦点距離で撮影しているときには、被写
体の顔が撮影画面中に占める割合が小さい。すなわち顔
の部位がデジタル画像中で少ない画素で表現されてい
る。このような場合、顔の中心座標の推定値が１画素分
だけずれたとしても実際のずれが非常に大きなものにな
ってしまうという問題がある。

【００４２】この問題は以下のようにズームレンズ２と
雲台３を段階的に制御することで解決できる。

【００４３】１．上で述べたとおりの手順で、最終的に
ズームレンズ２と雲台３がそれぞれ到達すべき焦点距離
および角度の制御目標値を計算する、２．図３および図４で示したのと同様な制御曲線を描
く、３．ズームレンズ２と雲台３に対し、前ステップで描い
た制御曲線に沿った運動をするよう指示する、運動中は
制御目標値に到達したかをチェックし続ける、４．ズームレンズ２に対する移動指示後、制御目標値に
到達する前にある値Ａだけ焦点距離を動かしたならば焦
点距離移動を停止する、同様に雲台３がある値Ｂだけ角
度を動かしたならば角度移動を停止する、５．ステップ１に戻る。

【００４４】ただし前記のステップ４において、すでに
被写体の顔が十分大きく撮像されているときには前記の
停止操作は行わない。

【００４５】前記のステップ４における値Ａは例えば次
のように定義できるＡ＝（移動開始時の焦点距離−制御目標値）／２この式の意味するところは、目標までの半分まで到達し
たらいったん停止して新たな目標を設定し直すというこ
とである。ステップ４における値Ｂについても同様に定
義できる。

【００４６】以上のように制御したとき用いる素子、例
えばマイクロプロセッサの演算速度が十分はやければ、
制御の途中でズームレンズや雲台が停止したことに人間
は気がつかない。しかし用いる素子の演算速度が遅い
と、新たな目標値を計算するたびにズームレンズ２と雲
台３が停止してしまい、映像を見る人に見苦しい印象を
与えてしまう。

【００４７】これを防ぐためには、ズームレンズ２と雲
台３の新たな制御目標値の計算中にもズームレンズ２と
雲台３を動かし続ければよい。ただしその場合、制御目
標値の計算終了時に制御目標値を通過してしまっている
ことがないようにするのは言うまでもない。

【００４８】本実施例においては、被写体の顔を画面い
っぱいにとらえるようズームレンズ２と雲台３を制御し
ているが、画面の中心から離れたところで被写体の顔を
とらえるように制御してもよい。

【００４９】本実施例においては、カメラの方向を変え
るために雲台を用いているが、被写体の顔を中心にとら
える目的を達するためには、他に例えばテレビカメラを
ワイヤなどでつり下げ、上下方向および左右方向に移動
させる方法がある。この場合は、雲台を上下左右に動か
すかわりにテレビカメラを空間中で上下左右に動かすよ
うに制御すればよい。

【００５０】また被写体の顔を拡大撮影する目的を達す
るために、ズームレンズのかわりにテレビカメラ全体を
前後に移動する機構を設けてもよい。

【００５１】本実施例では赤外線カメラを用いている
が、テレビカメラ１でとらえた可視光の映像からパター
ン認識技術を用いて被写体の顔の部分を抽出して、顔の
位置検出を行うことが可能である。これを行うために
は、赤外線カメラ５のかわりにテレビカメラ１の出力を
顔領域推定部９に入力し、顔領域推定部９に顔を認識す
るパターン認識機能を持たせればよい。

【００５２】

【発明の効果】以上説明のように本発明によれば、テレ
ビカメラにとらえた人物の顔を拡大撮影する操作および
拡大撮影前の状態に戻る操作を自動化でき、例えばテレ
ビ番組撮影の省力化をはかることができる撮影装置を提
供できる。

【図面の簡単な説明】

【図１】本発明の一実施例の要部構成を示すブロック
図である。

【図２】顔領域を推定する方法の説明図である。

【図３】ズームレンズの焦点距離を制御する制御曲線
の例の説明図である。

【図４】雲台の上下方向の角度を制御する制御曲線の
例の説明図である。

【符号の説明】

１テレビカメラ２ズームレンズ３雲台５赤外線テレビカメラ６赤外線ズームレンズ９顔領域推定部１０顔中心推定部１１ズームレンズ制御部１２雲台制御部１３ディスプレイコントローラ１４ディスプレイ１５信号入力端子２０顔の露出部分の推定領域２３顔の推定領域を表す楕円２４顔の中心の推定位置

───────────────────────────────────────────────────── フロントページの続き (72)発明者小出裕司東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者小川康行東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】テレビカメラと該テレビカメラによる撮
影を制御する制御手段を備えた撮影装置であって、前記制御手段は画像を表示する表示手段と、あらかじめ
定めた種類の被写体の特定部位が空間内で占める位置を
検出する被写体位置検出手段を有することを特徴とする
撮影装置。
【請求項２】請求項１記載の構成に加えてカメラの角
度を動かす角度移動手段と、前記被写体位置検出手段の
出力に応じて前記被写体の特定部位を画面の所定の位置
にとらえるのに必要なカメラの角度移動量を求める角度
決定手段を備えたことを特徴とする撮影装置。
【請求項３】請求項１または２記載の構成に加えてカ
メラの位置を動かす位置移動手段と、前記被写体位置検
出手段の出力に応じて前記被写体の特定部位を画面の所
定の位置にとらえるのに必要なカメラの位置移動量を求
める位置決定手段を備えたことを特徴とする撮影装置。
【請求項４】請求項１ないし３のいずれかに記載の構
成に加えてズームレンズと、前記被写体位置検出手段の
出力に応じてズームレンズの焦点距離を決定する焦点距
離決定手段を備えたことを特徴とする撮影装置。
【請求項５】前記制御手段は、前記角度決定手段によ
って決定された向きに雲台を制御する直前のカメラの向
きを記憶する方向記憶手段を有することを特徴とする請
求項２記載の撮影装置。
【請求項６】前記制御手段は、前記位置決定手段によ
って決定された位置にカメラ位置を移動する直前のカメ
ラ位置を記憶するカメラ位置記憶手段を有することを特
徴とする請求項３記載の撮影装置。
【請求項７】前記制御手段は、前記焦点距離決定手段
によって決定された焦点距離にズームレンズを制御する
直前の焦点距離を記憶する焦点距離記憶手段を有するこ
とを特徴とする請求項４記載の撮影装置。
【請求項８】前記被写体位置検出手段は赤外線カメラ
を備えたことを特徴とする請求項１ないし７のいずれか
に記載の撮影装置。
【請求項９】前記被写体の特定部位が人間の顔である
ことを特徴とする請求項１ないし８のいずれかに記載の
撮影装置。