JPH06205276A

JPH06205276A - 撮像装置

Info

Publication number: JPH06205276A
Application number: JP5001087A
Authority: JP
Inventors: Takashi Kato; 隆志加藤; Hideo Yokota; 秀夫横田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-01-07
Filing date: 1993-01-07
Publication date: 1994-07-22

Abstract

(57)【要約】【目的】ダウンコンバートの際にその出力画像の構図
に撮影者の意図を十分反映させることができるようにす
ること。さらには、従来のアスペクト変換処理や補間あ
るいは間引き処理を不要にすること。【構成】この装置は、撮像レンズ系１０１，撮像素子
１０２，Ａ／Ｄ変換器１０３，カメラ処理回路１０４お
よびＤ／Ａ変換器１０５によりＨＤＴＶのテレビ規格に
合ったテレビ映像信号１２０を得る。同時にカメラ処理
回路の出力信号はメモリ１１０に順次格納される。映像
信号はファインダ等１２２に映し出され、これを見てい
る撮影者の視野が眼球運動検出器１０７で検出される。
検出された視線データはメモリ・トリミングコントロー
ラ１０９に送られ、コントローラはＮＴＳＣ信号１２１
の有効画素数と同じ大きさのトリミング枠の位置を視線
データに基づいて設定し、このトリミング枠を用いてメ
モリ１１０の映像信号からＮＴＳＣ信号を抜き出す。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビカメラやビデオ
カメラ等の撮影装置に関し、特にダウンコンバード機能
を有する撮像装置に関する。

【０００２】

【従来の技術】従来、異なるテレビ放送方式間ではダウ
ンコンバータ等の方式変換器を用いることによりダウン
コンバート（情報量減少を伴う方式変換）することがで
きることが知られている。この方式変換器は、例えば
「昭和６０年９月ＮＨＫ技研月報ｐ．３５９〜３６
４」に記載されているように、ＨＤ信号（高精細度テレ
ビ信号）を標準放送方式であるＮＴＳＣ，ＰＡＬ，ＳＥ
ＣＡＭ等に変換するために、情報量を減少させるもので
ある。

【０００３】ＨＤ−ＮＴＳＣ方式変換を例にとると、こ
の場合の方式変換器は図１に示すような構成となる。図
１に示すように、不図示のテレビカメラで撮像したＨＤ
信号は、アスペクト比変換部８０１でアスペクト比が１
６：９から４：３に変換され、次いで走査線数変換部８
０２およびフィールド周波数変換部８０３で走査線が１
１２５本から５２５本、フィールド周波数が６０Ｈｚか
ら５９．９４Ｈｚに変換され、ＮＴＳＣエンコーダ８０
４を経てＮＴＳＣ信号として出力される。

【０００４】従来のアスペクト比変換に関する代表的な
変換モードの種類を図２に示す。図２の（Ａ）はサイド
パネル方式と呼ばれ、アスペクト比１６：９のハイビジ
ョン画像の両側を削除してアスペクト比を４：３に変換
する変換モードを表している。図２の（Ｂ）はスクイー
ズ方式またはフルモード方式と呼ばれ、ハイビジョン画
像を横方向に圧縮し、アスペクト比を４：３とする変換
モードを表しており、この場合の変換画像は縦長とな
る。図２の（Ｃ）はレターボックス方式と呼ばれ、アス
ペクト比４：３の画面中に１６：９の画像を表示するよ
うに変換する変換モードを表わしており、この場合はＮ
ＴＳＣ画像では表示画面の上下両端で画像がなく黒とな
る。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
たような従来の方式変換器では以下に述べるような問題
点を有していた。すなわち、図２の（Ａ）において、Ｈ
Ｄカメラ（高精細度テレビカメラ）の撮像領域９０１に
対する、ＮＴＳＣ方式へダウンコンバートした画像９０
２は、撮像領域９０１上の中央を中心とした画像であ
る。従って、ダウンコンバート画像９０２の構図はダウ
ンコンバート前の撮像画像９０１の構図で一義的に決定
されてしまう。そのため、撮影者の作画意図を撮像映像
に忠実に反映することができないという問題があった。

【０００６】さらにまた、図１に示すように、ダウンコ
ンバートの際にＨＤ信号に対しアスペクト変換や走査線
数変換が必要であり、特に走査線数変換部８０２での走
査線数変換の際にはダウンコバート後のテレビ規格の走
査線数に合うように、補間や間引き処理が必要となるの
で、これがダウンコンバート後の画質等にも好ましくな
い影響を与えていた。

【０００７】そこで、本発明の目的は、上述の点に鑑
み、撮影の際に撮像画像上の所望の領域を選択可能にす
ることにより、ダウンコンバートの際にその出力画像の
構図に撮影者の意図を十分反映させることができるよう
にした撮像装置を提供することにある。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、有効画素数Ｈ_H ×Ｈ_V の所定のテレビ信
号規格Ａの映像信号Ｈを出力できるとともに、該映像信
号Ｈをこれよりも有効画素数の少ない有効画素数Ｎ_H ×
Ｎ_V （ただし、Ｎ_H ＜Ｈ_H ，Ｎ_V ＜Ｈ_V ）の別のテレビ
信号規格Ｂの映像信号Ｎに変換して出力することも可能
な撮像装置において、撮像光学系を通して結像された被
写体の光学像を画像信号に変換する光電変換手段と、該
光電変換手段から出力される撮像画面全領域の前記画像
信号を前記映像信号Ｈに変換する信号処理手段と、撮影
者の意図する指定領域を検出する領域検出手段と、該領
域検出手段が検出する前記指定領域の位置の変動に応じ
て前記映像信号Ｎの有効画素数と同じ大きさのトリミン
グ枠を前記撮像画面全領域内で移動制御するトリミング
枠設定手段と、該トリミング枠設定手段で設定された前
記トリミング枠の領域で撮像画面全領域の前記映像信号
Ｈから前記映像信号Ｎを抜き出すトリミング手段とを具
備したことを特徴とする。

【０００９】また、本発明は、好ましくは、その一態様
として、前記トリミング枠設定手段は、前記トリミング
枠の移動速度の制御、および移動前のトリミング画像と
移動後のトリミング画像との間に複数のトリミング画像
が生成されるように前記トリミング枠を設定することの
すくなくともいずれか一方を行うことを特徴とすること
ができる。

【００１０】また、本発明は、好ましくは、他の態様と
して、前記領域検出手段は、前記撮像画面全領域が映し
出されているファインダまたはモニタ装置を見ている撮
影者の視線を検出する眼球運動検出手段を含むことを特
徴とすることができる。

【００１１】また、本発明は、好ましくは、他の態様と
して、前記領域検出手段は撮影者により手動操作される
座標入力手段を含むことを特徴とすることができる。

【００１２】

【作用】本発明では、撮像光学系により撮像した光学像
を光電変換し、撮像画面全領域の画像信号を所定方式の
映像信号Ｈに変換出力する。この撮像画面全領域に対
し、撮影者が意図し撮影者が指定した指定領域を検出す
る。この検出情報に基づきトリミング領域を決定し、上
記所定方式の映像信号Ｈをそれとは異なった信号方式の
映像信号Ｎに変換して出力する。すなわち、上記映像信
号Ｈによる画像をテレビ信号規格Ａ（有効画素数Ｈ_H ×
Ｈ_V ）とし、上記映像信号Ｎによる画像をテレビ信号規
格Ｂ（有効画素数Ｎ_H ×Ｎ_V ）とすると、Ｈ_H ＞Ｎ_H ，
Ｈ_V ＞Ｎ_V なる条件を満足する場合において、映像信号
Ｈのテレビ信号規格Ａの画像領域に対し、テレビ信号規
格Ｂの有効画素数（Ｎ_H ×Ｎ_V ）と同じ大きさの領域を
トリミング枠として上記指定領域に基づいてトリミング
領域を決定してトリミングし、さらにダウンコンバート
してもう１つのテレビ信号規格の映像信号Ｎを出力す
る。

【００１３】このように、本発明では、あるテレビ信号
規格Ａの映像信号Ｈの撮像画面全領域に対して、それよ
りも有効画素数の小さいテレビ信号規格Ｂの信号にダウ
ンコンバートする場合に、テレビ信号規格Ｂの有効画素
数と同じ大きさをもつ画素領域をトリミング枠として撮
影者が指定した領域情報に基づいた位置でトリミングす
る。すなわちそのトリミング枠の移動を上記領域情報に
より制御するようにしたので、ダウンコンバートされた
テレビ信号規格Ｂによる画像移動の不自然さを防止する
ことができる。また、これにより撮影者の意図する構図
でのダウンコンバート画像を得ることができる。

【００１４】さらにまた、本発明によれば、ダウンコン
バートの際に走査線数変換時の補間，間引き操作の必要
がなく、アスペクト比変換を行う必要もないという利点
がある。

【００１５】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【００１６】図３は本発明の第１実施例の撮像装置の回
路構成を示す。本実施例では、高精細度テレビカメラ
（以下、ＨＤＴＶカメラと称する）による撮影映像を電
子ビューファインダやモニタ装置で観察する撮影者の眼
球の視線運動を眼球運動検出器により連続的に検出し、
その検出情報に基づいて撮影者の注視する画面部分を含
む領域を判定し、その判定した領域を基にダウンコンバ
ートするテレビ信号規格（ここではＮＴＳＣとする）に
おける有効画素領域に対応する範囲に対してトリミング
を行う。

【００１７】図３に示すように、撮影レンズ系１０１に
より物体像を撮像素子（ＣＣＤ）１０２上に結像させ、
撮像素子１０２によりアナログ画像信号に光電変換し、
そのアナログ画像信号をＡ／Ｄ（アナログ・デジタル）
変換器１０３，カメラ処理（ＤＳＰ）回路１０４および
Ｄ／Ａ（デジタル・アナログ）変換器１０５を通すこと
によりＨＤＴＶのテレビ規格にあったテレビ映像信号
（以下、Ｈ信号と称する）１２０を得る。このＨ信号１
２０を電子ビューファインダあるいはテレビモニタ１２
２に送って撮影画像を表示させる。

【００１８】撮影者は撮影中、このファインダあるいは
モニタ１２２に映し出された画像を眼球１０６で見てい
る。ファインダあるいはモニタ１２２の画像は図４の
（Ａ）に示すように垂直走査線数１０３５本（画素数１
０３５×１８４０）のＨＤ画像２０１である。眼球運動
検出器１０７はモニタ１２２上のＨＤ画像２０１を見て
いる撮影者の眼球１０６の視線運動を検出し、ＨＤ画像
２０１上の注視領域を特定する。なお、この眼球運動検
出器１０７の視線運動検出の原理については後述する。
また、カメラ処理回路１０４の出力信号をフレームメモ
リ１１０に一時格納する。

【００１９】眼球運動検出器１０７は、撮影者がファイ
ンダあるいはモニタ１２２の画面上で注視している位置
を継続的に検出する。この眼球運動検出器１０７の視線
運動検出信号をメモリ・トリミングコントローラ１０９
へ送る。メモリ・トリミングコントローラ１０９では、
その検出信号と不図示のキー等であらかじめ指示された
トリミング条件情報１０８とに基づいて、フレームメモ
リ１１０に格納中のデジタルのＨＤ画像データに対し、
トリミングする際のアドレス制御、トリミング枠移動時
の画像移動速度制御等を行い、必要な信号のみをメモリ
１１０から取り出させてＤ／Ａ変換器１１１を経てダウ
ンコンバート信号（本実施例ではＮＴＳＣ信号、以下Ｎ
信号と称する）１２１として出力させる。

【００２０】上記メモリ・トリミングコントローラ１０
９でのトリミングは、次のように行う。例えば、図４の
（Ｂ）に示すようなＮＴＳＣ画像（垂直走査線数４８０
本〔画素数４８０×６４０〕）２０２にダウンコンバー
トする場合を考える。図４の（Ｃ）に示すようにメモリ
１１０のＨＤ画面内（有効画素数１０３５×１８４０）
２０３においてＮＴＳＣ画像のテレビ信号規格に合った
走査線数（有効画素数４８０×６４０）の画面２０４を
ちょうどトリミングする。視線運動検出信号に応じてこ
のトリミング領域枠２０４を移動することで、ＨＤ信号
をＮＴＳＣ信号にダウンコンバートする際の、ＨＤ画面
２０３上の撮影者が意図した構図の任意領域を自由にト
リミングすることが可能である。

【００２１】上述したトリミング条件情報１０８は、例
えば（１）視線運動検知のＯＮ／ＯＦＦ、（２）モニタ
１２２画面内の領域注視時間に対応したトリミング枠の
移動処理手順である。上記（１）は視線運動検知信号に
よってトリミング枠の移動を行うかどうかの設定情報で
あり、ＯＦＦ時にはモニタ１２２画面内の特定された固
定領域のみを常にＮＴＳＣ信号にダウンコンバートす
る。

【００２２】図５は上記（２）におけるトリミング枠移
動に関する説明図である。図５における３０１はモニタ
１２２画面を示し、領域Ａ３０２，Ｂ３０３はＮＴＳＣ
信号規格と同じ走査線数（有効画素）領域を示してい
る。まず、撮影者が領域Ａ３０２を注視することによ
り、その領域Ａの画像領域をＮＴＳＣ信号にそのままダ
ウンコンバートする。次に、撮影者が領域Ｂを注視した
場合は、次のようにトリミング枠を移動させる。すなわ
ち、領域Ｂに対する注視時間ｔがあらかじめ設定した設
定注視時間Ｔよりも長いときは、領域ＡからＢにトリミ
ング範囲を変更する。その注視時間ｔが設定注視時間Ｔ
よりも短い場合は引き続き領域Ａをトリミングし続け
る。

【００２３】トリミング範囲を領域Ａから領域Ｂに変更
する場合（Ｔ≦ｔ時）は、領域Ａの画像から領域Ｂの画
像への画像移動時の不自然さを防止するために、Ａ→
Ｂへの移動速度を所定値以上に規定する（瞬時切替モー
ドの場合）、あるいは図５の（Ｂ）に示すように、Ａ
画像３０２からＢ画像３０３へ画像移動する際にそのＡ
−Ｂ間にある画像のａ３０４，ｂ３０５を順次出力して
Ｂ画像３０３に至ることにより、トリミング画像の画像
変化を滑らかなものにするが、その画像Ａ３０２→Ｂ３
０３への中間画像数、各画像出力保持時間、移動速度も
任意に設定できる（円滑移動モードの場合）。

【００２４】なお、画像Ａ３０２→Ｂ３０３移動時の中
間画像は、図５の（Ｃ）に示すように滑らかな曲線上で
のトリミング移動の指示をすることも可能である。図５
の（Ｃ）においてＡ→Ｃ１→Ｃ２→…→Ｃ７→Ｂの画像
領域は全て同じ大きさである。

【００２５】次に、上記眼球運動検出器１０７における
眼球の視線運動の検出の原理について簡単に説明する。

【００２６】眼球運動を検出する原理としては種々ある
が、ここでは、日本放送協会による方式を例にとて説明
する（テレビジョン学会誌Ｖｏｌ．Ｎｏ．２（１９８
６）第４１頁以降を参照）。ＮＨＫの方式の光学系部分
を図６に示し、図３の実施例の眼球運動検出器１０７に
適用した場合の具体的回路を、ゲート制御回路４０１と
共に示した。図７に示すように、眼球に近接配置した図
８の赤外光源５００（５００Ｘ，５００Ｙ）から眼球に
赤外光を照射しその反射光を光電変換素子５０２（５０
２Ｒ，５０２Ｌ；５０２Ｕ，５０２Ｄ）で受光して、黒
目の左右および上下への移動を検出する。黒目の左右の
動きを検出する光電変換素子５０２Ｒ，５０２Ｌは、正
面を向いた状態でそれぞれ黒目の右側および左側からの
反射光を受光するように配置され、その出力は減算増幅
器５０４で減算増幅される。また、黒目の上下方向の動
きを検出する光電変換素子５０２Ｕ，５０２Ｄは共に、
正面を向いた状態で黒目の斜め下位置からの反射光を受
光するように配置され、その出力は、加算増幅器５０６
で加算増幅される。

【００２７】減算増幅器５０４の出力は、黒目の左右運
動に対し図９の（ａ）に図示する特性を示し、加算増幅
器５０６は、黒目の上下方向の運動に対し図９の（ｂ）
に図示する特性を示す。その結果、減算増幅器５０４の
出力は、水平面での黒目の向く方向（観察者の観察して
いる観察画面でいえばその水平位置）を指示し、加算増
幅器５０６の出力は、垂直面での黒目の向く方向（観察
画面でいえばその垂直位置）を指示する。しかし実際に
は、減算増幅器５０４および加算増幅器５０６の出力
は、多少の非線形性を示すので、検出精度を高めるため
に、図８のようにリニアリティ補償回路５０８，５０９
を設けるのが好ましい。

【００２８】従って、図８において、補償回路５０８の
出力は画面イメージでの水平位置ｘを示し、補償回路５
０９の出力はその垂直位置ｙを示す。被写体情報を抽出
する領域は、ある程度の広さを必要とすることから、撮
影画面を多数の単位領域または単位ブロックに分割す
る。

【００２９】例えば、図１０に示すように、ＨＤ画面６
０１上の小ブロック６０２を撮影者が注視すると、眼球
運動検出器１０７のブロック選択回路５１０により水平
位置ｘ，垂直位置ｙがどのブロックに属するかを判定
し、所属ブロックを示す信号Ｘ（水平ブロック位置）と
Ｙ（垂直ブロック位置）を出力する。比較器５１２，５
１３等はその信号Ｘ，Ｙに基づき、例えば図１０の６０
３領域（＝ＮＴＳＣ有効画素領域）の中心に小ブロック
６０２が配置されるようにトリミング領域を決定する。
図１０の場合は、小ブロック６０２の縦横比をβ：α＝
４：３とし、その小ブロック６０２と同じ大きさの複数
のブロック領域を合わせて６０３領域とすることでトリ
ミング領域を決定している。なお、この最小ブロックの
形状，大きさは自由に選択可能である。また、ＨＤ画面
６０１上をブロック分割する際は全て同じブロックの大
きさで分割する必要はない。

【００３０】（その他の実施例）図１１は本発明の第２
実施例の概略回路構成を示す。ここで、第１実施例と同
じ参照符号のものは共通の回路とする。この第２実施例
においては、第１実施例と同様に撮像光学系１０１を通
して撮像素子（ＣＣＤ）１０２上に物体像を結像させ、
この像を電気信号に変換し、この電気信号をＡ／Ｄ変換
器１０３，カメラ信号処理回路１０４，Ｄ／Ａ変換器１
０５に通すことでＨ信号（ＨＤテレビ規格信号）１２０
を得る。そして、このＨ信号１２０を基にしてファイン
ダ（またはモニタ）１２２上に撮影中の物体像を映し出
している。撮影者はファインダ（またはモニタ）１２２
上の画像に対し、操作パネル（不図示）上のバースティ
ック７０１を動かすことにより前述の図４の（Ｃ）に示
すようにトリミング枠２０４を自由に動かし、これによ
ってトリミング範囲を決定する。この際、トリミング枠
２０４はファインダ（またはモニタ）１２２に表示され
るのが好ましい。メモリ・トリミングコントローラ１０
９へ供給されるトリミング条件情報１０８は、前述の第
１実施例と同様のもので、トリミング枠の移動に関する
情報である。このように、本実施例ではトリミング領域
の決定操作をバースティック７０１により行う点が第１
実施例と異なっている。

【００３１】なお、トリミング枠移動に関する指示入力
は、上記のようなバースティックに限ったものではな
く、モニタ１２２上をタッチパネル等にしてトリミング
領域を指示したり、あるいは他の座標入力方法を用いて
も良い。

【００３２】

【発明の効果】以上説明したように、本発明によれば、
撮像画面全領域に対して、ダウンコンバートする対象の
テレビ信号規格の有効画素数分のトリミング枠を撮影者
の意図した領域に自由に移動可能にしてトリミング領域
を決定するようにしたので、撮影者の意図した構図のダ
ウンコンバート画像を得ることができ、また画像移動の
不自然さを防止できる。

【００３３】また、本発明によれば、ダウンコンバート
の際、出力するテレビ信号規格の有効画素数でトリミン
グするようにしたので、走査線数変換の際の補間や間引
き操作の必要がなく、そのため出力テレビ信号規格に対
する画質劣化が起らないという効果がある。

【００３４】さらに、本発明においては、トリミング領
域を移動させる際に、その移動速度を制御し、あるいは
その移動に伴い、移動画像間の複数画像を順次出力する
ことにより、滑らかな画像変化を達成することが可能で
ある。

【図面の簡単な説明】

【図１】従来のＨＤ−ＮＴＳＣ方式変換器（ダウンコン
バータ）の概略構成を示すブロック図である。

【図２】従来のアスペクト比変換に関する代表的な変換
モードの種類を示す説明図である。

【図３】本発明の第１実施例の撮像装置の回路構成を示
すブロック図である。

【図４】ＨＤ画面およびＮＴＳＣ画面およびトリミング
枠を示す説明図である。

【図５】本発明の第１実施例におけるトリミング枠移動
に関する説明図である。

【図６】本発明の第１実施例における眼球運動検出器を
含むトリミング枠決定回路の回路構成例を示すブロック
図である。

【図７】眼球と眼球運動検出器の各受光素子の配置関係
を示す平面図である。

【図８】図６の回路の要部構成をさらに詳細に示すブロ
ック図である。

【図９】図８の減算増幅器および加算増幅器の出力と、
眼球の黒目の左右，上下運動との関係を示すグラフであ
る。

【図１０】撮影者の注視位置に対するトリミング領域の
決定方法を示す説明図である。

【図１１】本発明の第２実施例の撮像装置の回路構成を
示すブロック図である。

【符号の説明】

１０１撮像レンズ系１０２撮像素子１０３Ａ／Ｄ変換器１０４カメラ処理回路１０５Ｄ／Ａ変換器１０６眼球１０７眼球運動検出器１０９メモリ・トリミングコントローラ１１０メモリ１１１Ｄ／Ａ変換器１２２ファインダまたはモニタ２０３ＨＤ画面２０４トリミング枠３０２，３０３トリミング枠７０１バースティック

Claims

【特許請求の範囲】

【請求項１】有効画素数Ｈ_H ×Ｈ_V の所定のテレビ信
号規格Ａの映像信号Ｈを出力できるとともに、該映像信
号Ｈをこれよりも有効画素数の少ない有効画素数Ｎ_H ×
Ｎ_V （ただし、Ｎ_H ＜Ｈ_H ，Ｎ_V ＜Ｈ_V ）の別のテレビ
信号規格Ｂの映像信号Ｎに変換して出力することも可能
な撮像装置において、撮像光学系を通して結像された被写体の光学像を画像信
号に変換する光電変換手段と、該光電変換手段から出力される撮像画面全領域の前記画
像信号を前記映像信号Ｈに変換する信号処理手段と、撮影者の意図する指定領域を検出する領域検出手段と、該領域検出手段が検出する前記指定領域の位置の変動に
応じて前記映像信号Ｎの有効画素数と同じ大きさのトリ
ミング枠を前記撮像画面全領域内で移動制御するトリミ
ング枠設定手段と、該トリミング枠設定手段で設定された前記トリミング枠
の領域で撮像画面全領域の前記映像信号Ｈから前記映像
信号Ｎを抜き出すトリミング手段とを具備したことを特
徴とする撮像装置。
【請求項２】前記トリミング枠設定手段は、前記トリ
ミング枠の移動速度の制御、および移動前のトリミング
画像と移動後のトリミング画像との間に複数のトリミン
グ画像が生成されるように前記トリミング枠を設定する
ことのすくなくともいずれか一方を行うことを特徴とす
る請求項１に記載の撮像装置。
【請求項３】前記領域検出手段は、前記撮像画面全領
域が映し出されているファインダまたはモニタ装置を見
ている撮影者の視線を検出する眼球運動検出手段を含む
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】前記領域検出手段は撮影者により手動操
作される座標入力手段を含むことを特徴とする請求項１
または２に記載の撮像装置。