JPH0564075A - ビデオ・カメラ,それを用いた撮影方法およびその動作方法,ならびに画像処理装置および方法 - Google Patents

ビデオ・カメラ,それを用いた撮影方法およびその動作方法,ならびに画像処理装置および方法

Info

Publication number
JPH0564075A
JPH0564075A JP3244090A JP24409091A JPH0564075A JP H0564075 A JPH0564075 A JP H0564075A JP 3244090 A JP3244090 A JP 3244090A JP 24409091 A JP24409091 A JP 24409091A JP H0564075 A JPH0564075 A JP H0564075A
Authority
JP
Japan
Prior art keywords
image
image data
signal
area
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3244090A
Other languages
English (en)
Other versions
JP3082971B2 (ja
Inventor
Masahiro Konishi
正弘 小西
Makoto Tsugita
誠 次田
Masashi Kantani
正史 乾谷
Kazuyuki Masukane
和行 益金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Fujifilm Microdevices Co Ltd
Original Assignee
Fujifilm Microdevices Co Ltd
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Microdevices Co Ltd, Fuji Photo Film Co Ltd filed Critical Fujifilm Microdevices Co Ltd
Priority to JP03244090A priority Critical patent/JP3082971B2/ja
Priority to US07/936,845 priority patent/US5420635A/en
Publication of JPH0564075A publication Critical patent/JPH0564075A/ja
Application granted granted Critical
Publication of JP3082971B2 publication Critical patent/JP3082971B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Circuits (AREA)

Abstract

(57)【要約】 【目的】 明るい領域と暗い領域との輝度差の非常に大
きい被写体についても適切な画像信号が得られるように
する。 【構成】 被写体の暗い領域が適正に露光されるように
露光制御を行い,撮像することにより得られる第1の画
像データを第1のメモリ21に記憶する。被写体の明るい
領域が適正に露光されるように露光制御を行い,撮像す
ることにより得られる第2の画像データを第2のメモリ
22に記憶する。第1の画像データのうち,明るい領域に
属する画像データを第2の画像データで置きかえるよう
に,両メモリ21,22から読出された画像データをマルチ
プレクサ24によって選択して合成画像データを得る。

Description

【発明の詳細な説明】
【0001】
【技術分野】この発明は,ビデオ・カメラ(ムービ・ビ
デオ・カメラ,スチル・ビデオ・カメラ,ムービ/スチ
ル・ビデオ・カメラ等を含む),ビデオ・カメラを用い
た撮影方法およびビデオ・カメラの動作方法,ならびに
画像処理装置および方法に関する。
【0002】
【従来技術】ビデオ・カメラは,撮像した被写体像を表
わす映像信号を発生するCCD等の固体電子撮像素子を
内蔵している。固体電子撮像素子のダイナミック・レン
ジは比較的狭いので,視野内に含まれる明るい部分と暗
い部分との輝度差が大きいときには両者を適正露光で撮
影することは困難である。たとえば暗い部分に露光を合
わせると明るい部分は白くとんでしまい,明るい部分に
露光を合わせると暗い部分は黒くつぶれてしまう。
【0003】たとえば,逆光時の撮影のように背景が非
常に明るく中央の主要被写体が暗い場合,窓のある室内
での撮影において主要被写体が室内にありかつ窓を通し
て外の風景が映る場合等である。このようなシーンの撮
影において,主要被写体(人物である場合が多い)が適
正に露光されるように露光調整をすると,明るい背景部
分に関しては入射光量が固体電子撮像素子のダイナミッ
ク・レンジを超え素子が飽和してしまうので,明るい背
景は撮影されずその部分の画像は単に白くなる(白と
び)。
【0004】そこで一般にはストロボ発光して主要被写
体の輝度を高める工夫がなされる(日中シンクロストロ
ボ撮影)。しかしながら,日中シンクロストロボ撮影の
ためにはストロボ装置が必要であり,カメラが大型化す
るし,その操作も煩わしい。また,暗い部分が遠方にあ
る場合,および近距離の場所から遠方まで広がっている
ような場合には日中シンクロストロボ撮影は必ずしも効
果的とはいえない。
【0005】
【発明の概要】この発明は,必ずしもストロボ発光しな
くても,明るい領域と暗い領域との輝度差の大きい被写
体について適切な画像信号が得られるようにすることを
目的とする。
【0006】上記の目的を達成するために,この発明
は,ビデオ・カメラを提供している。ここでビデオ・カ
メラとは,ムービ・ビデオ・カメラ,スチル・ビデオ・
カメラおよびムービ/スチル・ビデオ・カメラを含む。
【0007】この発明によるビデオ・カメラは,包括的
に表現すると次のように規定される。
【0008】すなわちこのビデオ・カメラは,2つの異
なる露光量で被写体を撮像し,露光量の異なる2つの画
像をそれぞれ表わす画像信号を出力する撮像手段,およ
び露光量の多い画像を表わす画像信号において,その画
像における輝度が相対的に高い領域を表わす画像信号
を,露光量の少ない画像における対応する領域を表わす
画像信号で置換する,または露光量の少ない画像を表わ
す画像信号において,その画像における輝度が相対的に
低い領域を表わす画像信号を,露光量の多い画像におけ
る対応する領域を表わす画像信号で置換することによ
り,合成された画像信号を作成する手段を備えている。
【0009】ここで画像信号とは,アナログ映像信号と
ディジタル画像データの両方を含むものとして使用され
ている。
【0010】この発明によるビデオ・カメラは,その一
実施態様においては,カメラの視野内において輝度が相
対的に低い領域に対して適正な露光量と,輝度が相対的
に高い領域に対して適正な露光量とをそれぞれ決定する
手段を備えている。上記撮像手段によって,決定された
2種類の露光量でそれぞれ被写体が2回撮影される。
【0011】この発明によるビデオ・カメラの他の実施
態様においては,上記撮像手段は,入射光をあらかじめ
定められた露光量の比に応じて分割するビーム・スプリ
ッタ手段,およびこのビーム・スプリッタ手段によって
分割された2つの入射光をそれぞれ受光し,画像信号を
出力する2つの固体電子撮像素子を備えている。この実
施態様によると,1回の撮影で露光量の異なる2つの画
像信号が得られる。
【0012】とくにムービ/スチル・ビデオ・カメラに
好適な実施態様においては,上記撮像手段は,入射光像
を表わす画像信号を出力する固体電子撮像素子,および
常時は露光時間が一定となるように上記固体電子撮像素
子を駆動し,合成画像作成指令に応答して上記一定露光
時間よりも短い露光時間となるように上記固体電子撮像
素子を駆動する手段を備えている。これにより,動画の
撮影を行いながら所望の時点で静止画のための画像信号
を得ることができる。
【0013】この発明はストロボ発光による撮影を排除
するものではない。ストロボ発光によっても,露光量の
異なる2つの画像信号を得ることができる。
【0014】この発明によるビデオ・カメラは,その一
実施態様において,カメラの視野内における距離の異な
る2つの領域に対してそれぞれ適切な露光量となる発光
量のストロボ発光を2回実行するストロボ発光手段をさ
らに備えている。
【0015】以上のようにして種々の態様において,異
なる露光量で撮影された2つの画像をそれぞれ表わす画
像信号を得ることができる。
【0016】画像信号の合成手段にもまた多くの実施態
様がある。
【0017】まずディジタル的に処理することにより画
像を合成する実施態様について説明する。
【0018】この発明の一実施態様においては,上記合
成画像信号作成手段は,露光量の多い画像を表わす第1
の画像信号を記憶する第1の記憶手段,露光量の少ない
画像を表わす第2の画像信号を記憶する第2の記憶手
段,上記第1の記憶手段に記憶されている第1の画像信
号により表わされる画像における輝度が相対的に高い領
域,または上記第2の記憶手段に記憶されている第2の
画像信号により表わされる画像における輝度が相対的に
低い領域を判定する手段,および上記第1の画像信号に
おける上記判定手段によって判定された高輝度領域以外
を表わす画像信号と上記第2の画像信号における上記高
輝度領域に対応する領域を表わす画像信号とを合成す
る,または上記第2の画像信号における上記判定手段に
よって判定された低輝度領域以外を表わす画像信号と上
記第1の画像信号における上記低輝度領域に対応する領
域を表わす画像信号とを合成する合成手段を含んでい
る。
【0019】好ましい実施態様においては,上記判定手
段は判定した領域を表わす領域指定信号を記憶する第3
の記憶手段を含む。また上記合成手段は,上記第1およ
び第2の記憶手段から同期して読出される第1および第
2の画像信号のいずれかを上記第3の記憶手段から読出
される領域指定信号にしたがって選択して出力する切換
手段を含んでいる。
【0020】上記判定手段はその一実施態様において
は,上記第1の画像信号または第2の画像信号を所定の
スレシホールド・レベルと比較する比較手段を含んでい
る。
【0021】他の実施態様においては上記判定手段は,
上記第1の画像信号または第2の画像信号をロウ・パス
・フィルタリングする手段,およびロウ・パス・フィル
タリングされた画像信号を所定のスレシホールド・レベ
ルと比較する比較手段を含んでいる。これにより,画像
上の小さな輝点等が画像合成の対象から外される。
【0022】さらに他の実施態様においては上記判定手
段は,上記第1の画像信号により表わされる画像におけ
る輝度が相対的に高くかつ所定値以上の面積もしくは長
さをもつ領域,または第2の画像信号により表わされる
画像における輝度が相対的に低くかつ所定値以上の面積
もしくは長さをもつ領域を抽出するものとして実現され
る。これによっても,小さな輝点等が画像合成の対象か
ら除外される。
【0023】好ましい実施態様においては,上記合成手
段は,第1の画像信号を部分的に第2の画像信号で置換
する,または第2の画像信号を部分的に第1の画像信号
で置換する際に生ずる境界(第1の画像信号と第2の画
像信号との境界)近傍において両画像信号の加重平均値
を表わす信号を作成する手段を含んでいる。これによ
り,合成される画像の境界線が滑らかになり,自然な感
じが実現できる。
【0024】他の実施態様においては,上記合成手段
は,第1の画像信号と第2の画像信号との境界近傍にお
いて画像信号をロウ・パス・フィルタリングする手段を
含んでいる。これによっても,合成される画像の境界線
の不自然さが解消できる。
【0025】次に,アナログ的に合成画像信号を作成す
る実施態様について説明する。
【0026】この発明の一実施態様においては,上記合
成画像信号作成手段は,露光量の多い画像を表わす第1
のアナログ映像信号と所定のスレシホールド・レベルと
を比較し,第1のアナログ映像信号のレベルが上記スレ
シホールド・レベルを超えているときに出力を発生する
比較器,ならびに上記第1のアナログ映像信号およびこ
れと同期して与えられる露光量の少ない画像を表わす第
2のアナログ映像信号を入力とし,常時は上記第1のア
ナログ映像信号を選択して出力し,上記比較器の出力が
与えられたときに上記第2のアナログ映像信号を選択し
て出力するマルチプレクサを備えている。
【0027】好ましくは,上記第1のアナログ映像信号
の高周波成分を除去する低域通過フィルタをさらに設
け,この低域通過フィルタの出力を上記比較器に与え
る。
【0028】さらに好ましくは,上記比較器の出力信号
の時間幅が所定の基準幅以上の場合に上記出力信号を上
記マルチプレクサに与える時間幅検出回路,ならびに上
記第1および第2のアナログ映像信号を上記基準幅に相
当する時間遅延させて上記マルチプレクサにそれぞれ与
える遅延回路をさらに設ける。
【0029】この発明によるビデオ・カメラを個別的に
表現すると次のように規定される。
【0030】第1の観点から規定すると,スチル・ビデ
オ・カメラの実現に適したこの発明によるビデオ・カメ
ラは,カメラの視野内において輝度が相対的に高い領域
に対して適正な露光量と,輝度が相対的に低い領域に対
して適正な露光量とをそれぞれ決定する手段,固体電子
撮像素子を含み,決定された2つの異なる露光量で被写
体を2回撮像し,この撮像により得られた画像を表わす
映像信号を上記固体電子撮像素子からそれぞれ出力する
撮像手段,上記撮像手段から出力される映像信号をそれ
に対応するディジタル画像データにそれぞれ変換するA
/D変換手段,A/D変換された露光量の多い画像を表
わす第1のディジタル画像データを記憶する第1の記憶
手段,A/D変換された露光量の少ない画像を表わす第
2のディジタル画像データを記憶する第2の記憶手段,
上記第1の記憶手段に記憶されている第1の画像データ
により表わされる画像における輝度が相対的に高い領域
を抽出する手段,および上記第1の画像データにおい
て,上記抽出手段により抽出された高輝度領域の画像デ
ータを,上記第2の記憶手段に記憶されている上記第2
の画像データの対応する領域の画像データによって置換
することにより合成画像データを作成する画像合成手段
を備えているものである。
【0031】第2の観点から規定すると,スチル・ビデ
オ・カメラの実現に適したこの発明によるビデオ・カメ
ラは,カメラの視野内における距離の異なる2つの領域
に対してそれぞれ適切な露光量となる発光量のストロボ
発光を2回実行するストロボ発光手段,上記ストロボ発
光手段によるストロボ発光に同期して被写体を2回撮像
し,この撮像により得られた画像を表わす映像信号をそ
れぞれ出力する撮像手段,上記撮像手段から出力される
映像信号をそれに対応するディジタル画像データにそれ
ぞれ変換するA/D変換手段,A/D変換された一方の
画像を表わす第1のディジタル画像データを記憶する第
1の記憶手段,A/D変換された他方の画像を表わす第
2のディジタル画像データを記憶する第2の記憶手段,
上記第1の記憶手段に記憶されている第1の画像データ
により表わされる画像における輝度が相対的に高い領域
を抽出する手段,および上記第1の画像データにおい
て,上記抽出手段により抽出された高輝度領域の画像デ
ータを,上記第2の記憶手段に記憶されている上記第2
の画像データの対応する領域の画像データによって置換
することにより合成画像データを作成する画像合成手段
を備えているものである。
【0032】第3の観点から規定すると,この発明によ
るビデオ・カメラは,入射光をあらかじめ定められた露
光量の比に応じて分割するビーム・スプリッタ手段,お
よびこのビーム・スプリッタ手段によって分割された2
つの入射光をそれぞれ受光し,アナログ映像信号を出力
する2つの固体電子撮像素子を備えているものである。
このビデオ・カメラによると1回の撮影で露光量の異な
る2つのアナログ映像信号を得ることができる。
【0033】第4の観点から規定すると,映像信号のリ
アル・タイム処理が可能で,特にムービ・ビデオ・カメ
ラの実現に適したこの発明によるビデオ・カメラは,入
射光をあらかじめ定められた露光量の比に応じて分割す
るビーム・スプリッタ手段,このビーム・スプリッタ手
段によって分割された2つの入射光をそれぞれ受光し,
アナログ映像信号を出力する2つの固体電子撮像素子,
露光量の多い固体電子撮像素子から出力される第1のア
ナログ映像信号と所定のスレシホールド・レベルとを比
較し,第1のアナログ映像信号のレベルが上記スレシホ
ールド・レベルを超えているときに出力を発生する比較
器,ならびに上記第1のアナログ映像信号およびこれと
同期して与えられる露光量の少ない固体電子撮像素子か
ら出力される第2のアナログ映像信号を入力とし,常時
は上記第1のアナログ映像信号を選択して出力し,上記
比較器の出力が与えられたときに上記第2のアナログ映
像信号を選択して出力するマルチプレクサを備えてい
る。
【0034】好ましい実施態様では,上記第2のアナロ
グ映像信号のレベルを調整する自動ゲイン制御増幅回路
が設けられる。
【0035】第5の観点から規定すると,ムービ/スチ
ル・ビデオ・カメラの実現に適したこの発明によるビデ
オ・カメラは,固体電子撮像素子を含み,一定周期で被
写体像を表わす映像信号を出力する撮像手段,合成静止
画像の撮像要求を入力するシャッタ・レリーズ・ボタ
ン,常時は露光時間が一定となるように上記固体電子撮
像素子を駆動し,上記シャッタ・レリーズ・ボタンから
の入力に応答して,上記一定露光時間よりも短い露光時
間となるように上記固体電子撮像素子を駆動する手段,
および上記固体電子撮像素子から出力される映像信号を
順次磁気テープに記録する手段を備えている。
【0036】第6の観点から規定すると,同じようにム
ービ/スチル・ビデオ・カメラの実現に適したこの発明
によるビデオ・カメラは,固体電子撮像素子を含み,一
定周期で被写体像を表わす映像信号を出力する撮像手
段,合成静止画像の撮像要求を入力するシャッタ・レリ
ーズ・ボタン,常時は露光時間が一定となるように上記
固体電子撮像素子を駆動し,上記シャッタ・レリーズ・
ボタンからの入力があったときに,その直後の第1の一
画像の撮像については上記一定露光時間となり,それに
続く第2の一画像の撮像については上記一定露光時間よ
りも短い露光時間となるように上記固体電子撮像素子を
駆動する手段,上記固体電子撮像素子から出力される映
像信号をそれに対応するディジタル画像データに変換す
るA/D変換手段,A/D変換された上記第1の画像の
画像データを記憶する第1の記憶手段,A/D変換され
た上記第2の画像の画像データを記憶する第2の記憶手
段,上記第1の記憶手段に記憶された第1の画像データ
において,その画像における輝度が相対的に高い領域を
表わす画像データを,第2の記憶手段に記憶された第2
の画像データにおける対応する領域を表わす画像データ
で置換することにより合成された画像データを出力する
画像合成手段,上記固体電子撮像素子から出力される映
像信号を変調(一般には輝度信号に対してFM変調さ
れ,色差信号に対して低域変換が施される)する第1の
変調手段,上記画像合成手段から得られる合成画像デー
タをPCM変調する第2の変調手段,ならびに上記第1
の変調手段から出力される信号を磁気テープのビデオ・
トラックに,上記第2の変調手段から出力される信号を
所定長ずつ磁気テープのPCMトラックにそれぞれ記録
する手段を備えている。
【0037】第7の観点から規定すると,ムービ・ビデ
オ・カメラおよびムービ/スチル・ビデオ・カメラの実
現に適したこの発明によるビデオ・カメラは,固体電子
撮像素子を含み,被写体像を表わす画像信号を出力する
撮像手段,撮像手段から得られる画像信号に基づいて被
写体に所定量以上の動きがあるかどうかを判定する動き
検知手段,上記動き検知手段によって動きが検知されて
いないことを条件に2つの異なる露光量で上記撮像手段
が被写体を撮像するように露光量を制御する手段,およ
び露光量の多い画像を表わす画像信号において,その画
像における輝度が相対的に高い領域を表わす画像信号
を,露光量の少ない画像における対応する領域を表わす
画像信号で置換することにより合成画像信号を作成する
手段を備えている。
【0038】好ましい実施態様においては,上記ビデオ
・カメラは,上記露光量の多い画像を表わす画像信号に
おいて,その画像における輝度が相対的に高い領域の大
きさが所定面積以上あるかどうかを判定する高輝度領域
検知手段をさらに備えている。そして,上記露光量制御
手段は,上記動き検知手段によって動きが検知されてい
ずかつ上記高輝度領域検知手段によって高輝度領域が検
知されていることを条件に,2つの異なる露光量による
撮像が可能となるように露光量を制御する。
【0039】以上のようにこの発明によるビデオ・カメ
ラによると,2つの異なる露光量で撮影された2つの画
像信号の適切に露光された部分のみを抽出してこれらを
合成しているので,合成された画像信号により表わされ
る画像には,2つの部分の輝度差が非常に大きい被写体
の画像であっても白とびや黒つぶれがなくなり,非常に
すぐれた画像が得られる。また,ストロボ発光を用いた
場合でも,近い部分と遠い部分とがともに同程度の輝度
をもって表現されることになる。
【0040】この発明はさらにビデオ・カメラを用いた
撮影方法を提供している。
【0041】この発明による一つの撮影方法は,撮影し
た被写体像を表わす映像信号を出力する固体電子撮像素
子と,この固体電子撮像素子における露光量を調整する
手段とを備えたビデオ・カメラを用い,カメラの視野内
において輝度が相対的に低い領域に対して適切な露光量
を設定して第1回目の撮影を行い,続いて輝度が相対的
に高い領域に対して適切な露光量を設定して第2回目の
撮影を行うものである。好ましくはこのような2回の撮
影により得られた映像信号またはこの映像信号をA/D
変換して得られるディジタル画像データを記録手段に別
個に記録する。
【0042】この発明による他の撮影方法は,撮影した
被写体像を表わす映像信号を出力する第1の固体電子撮
像素子と,この第1の固体電子撮像素子における露光量
を調整する手段とを備えたビデオ・カメラにおいて,第
2の固体電子撮像素子と,入射光をあらかじめ定められ
た露光量の比に応じて分割して上記第1および第2の固
体電子撮像素子とに導くビーム・スプリッタ手段とを設
け,上記第1および第2の固体電子撮像手段によって,
被写体を異なる2つの露光量で同時に撮影するものであ
る。
【0043】この発明による撮影方法によると,輝度差
が非常に大きい2つの領域について,それぞれ別個に,
それらにそれぞれ適した露光量で撮影された映像信号を
得ることができ,これを上述した画像合成に用いること
が可能となる。
【0044】この発明はさらにビデオ・カメラの動作方
法を提供している。この動作方法は,2つの異なる露光
量で被写体を撮像し,露光量の異なる2つの画像をそれ
ぞれ表わす画像信号を得,露光量の多い画像を表わす画
像信号において,その画像における輝度が相対的に高い
領域を表わす画像信号を,露光量の少ない画像における
対応する領域を表わす画像信号で置換する,または露光
量の少ない画像を表わす画像信号において,その画像に
おける輝度が相対的に低い領域を表わす画像信号を,露
光量の多い画像における対応する領域を表わす画像信号
で置換することにより,合成画像信号を作成するもので
ある。
【0045】この動作方法の一実施態様においては,カ
メラの視野内において輝度が相対的に高い領域に対して
適正な露光量と,輝度が相対的に低い領域に対して適正
な露光量とをそれぞれ決定し,決定された2種類の露光
量でそれぞれ被写体を2回撮影することにより露光量の
異なる2つの画像信号を得る。
【0046】他の実施態様の動作方法はムービ・ビデオ
・カメラに適したものであり,それは,常時は露光時間
が一定となるように固体電子撮像素子を駆動し,合成画
像作成指令に応答して上記一定露光時間よりも短い露光
時間となるように固体電子撮像素子を駆動することによ
り露光量の異なる2つの画像信号を得るものである。
【0047】上記において,好ましくは,上記固体電子
撮像素子から得られる画像信号に基づいて被写体像の動
きを検知し,被写体像の動きが一定量以上のときには上
記一定露光時間による露光を継続する。これにより,被
写体の動きにより相互にずれた画像の合成を回避するこ
とができる。
【0048】ストロボ発光撮影のための動作方法は,カ
メラの視野内における距離の異なる2つの領域に対して
それぞれ適切な露光量となる発光量のストロボ発光を2
回実行することにより露光量の異なる2つの画像信号を
得るものである。
【0049】この発明によるビデオ・カメラの動作方法
によっても,2つの異なる露光量で被写体を撮影し,こ
れにより得られた画像信号の適切に露光された部分のみ
を抽出してこれらを合成しているので,合成された画像
信号により表わされる画像には,2つの部分の輝度差が
非常に大きい被写体の画像であっても白とびや黒つぶれ
がなくなり,非常にすぐれた画像が得られる。また,ス
トロボ発光を用いた場合でも,近い部分と遠い部分とが
ともに同程度の輝度をもって表現されることになる。
【0050】この発明はさらに画像処理装置および方法
を提供している。
【0051】この発明による画像処理装置は,露光量の
多い画像を表わす第1の画像データを記憶する第1の記
憶手段,露光量の少ない画像を表わす第2の画像データ
を記憶する第2の記憶手段,上記第1の記憶手段に記憶
されている第1の画像データにより表わされる画像にお
ける輝度が相対的に高い領域,または上記第2の記憶手
段に記憶されている第2の画像データにより表わされる
画像における輝度が相対的に低い領域を判定する手段,
および上記第1の画像データにおける上記判定手段によ
って判定された高輝度領域以外を表わす画像データと上
記第2の画像データにおける上記高輝度領域に対応する
領域を表わす画像データとを合成する,または上記第2
の画像データにおける上記判定手段によって判定された
低輝度領域以外を表わす画像データと上記第1の画像デ
ータにおける上記低輝度領域に対応する領域を表わす画
像データとを合成する合成手段を備えている。
【0052】この発明による画像処理方法は,2つの異
なる露光量で被写体を撮像することにより得られる露光
量の異なる2つの画像をそれぞれ表わす画像データを与
え,露光量の多い画像を表わす画像データにおいて,そ
の画像における輝度が相対的に高い領域を表わす画像デ
ータを,露光量の少ない画像における対応する領域を表
わす画像データで置換する,または露光量の少ない画像
を表わす画像データにおいて,その画像における輝度が
相対的に低い領域を表わす画像データを,露光量の多い
画像における対応する領域を表わす画像データで置換す
ることにより,合成画像データを作成するものである。
【0053】この発明による画像処理方法は,露光量の
多い画像を表わす第1の画像データを第1の記憶手段に
記憶し,露光量の少ない画像を表わす第2の画像データ
を第2の記憶手段に記憶し,上記第1の記憶手段に記憶
されている第1の画像データにより表わされる画像にお
ける輝度が相対的に高い領域,または上記第2の記憶手
段に記憶されている第2の画像データにより表わされる
画像における輝度が相対的に低い領域を判定し,上記第
1の画像データにおける上記判定手段によって判定され
た高輝度領域以外を表わす画像データと上記第2の画像
データにおける上記高輝度領域に対応する領域を表わす
画像データとを合成する,または上記第2の画像データ
における上記判定手段によって判定された低輝度領域以
外を表わす画像データと上記第1の画像データにおける
上記低輝度領域に対応する領域を表わす画像データとを
合成することにより合成画像データを作成するものであ
る。
【0054】この画像処理装置および方法のいくつかの
好ましい実施態様は上述したビデオ・カメラにおける画
像合成処理の実施態様と同じであるので説明を省略す
る。
【0055】この発明による画像処理装置および方法に
よると,2つの異なる露光量で撮影されることにより得
られた2つの画像信号が与えられたときに,これらの適
切に露光された部分のみが抽出されこれらが合成されて
いるので,合成された画像信号により表わされる画像に
は,2つの部分の輝度差が非常に大きい被写体に関する
ものであっても白とびや黒つぶれがなくなり,非常にす
ぐれた画像が得られる。
【0056】この発明の他の特徴は,図面を参照した実
施例の説明において明らかになるであろう。
【0057】
【実施例の説明】図1から図4を参照して,この発明に
よる画像はめ込み処理の基本的な考え方について説明す
る。
【0058】図1は窓のある部屋内で撮影を行うときの
カメラの視野内に収まるシーンの一例を示している。
【0059】室内RMの像SL(符号SLはこの像の部
分または領域を表わす場合にも用いる)は比較的暗い。
窓WNを通して外の風景が見え,この風景の像SH(こ
の符号SHはこの像の部分または領域を表わす場合にも
用いる)は比較的明るい。一般的に言うと,窓WNを通
して見える像SHの平均輝度は,室内RMの像SLの平
均輝度の約5〜10倍である。撮像管やCCD等のイメー
ジ・センサのダイナミック・レンジは,相対的に明るい
部分の平均輝度が相対的に暗い部分の平均輝度の2〜3
倍程度のシーンにしか対応できない。すなわち,輝度差
が2〜3倍以上あると,暗い部分を適正露光したときに
は明るい部分についてはセンサが飽和し(再生したとき
に白とびが生じる),明るい部分を適正露光したときに
は暗い部分についての像は殆ど映らずかつ映像信号にお
けるノイズ成分の比率がきわめて高くなる。
【0060】図2はイメージ・センサの光電変換特性と
輝度についてのヒストグラムを示している。
【0061】実線SL1は相対的に暗い像SLが適正に
露光されたときのイメージ・センサの光電変換特性を示
し,実線SL2は光電変換特性SL1の下で撮像された
相対的に暗い像SLの輝度の度数分布を示している。
【0062】これに対して破線SH1は相対的に明るい
像SHが適正に露光されたときのイメージ・センサの光
電変換特性を示し,破線SH2は光電変換特性SH1の
下で撮像された相対的に明るい像SHの輝度の度数分布
を示している。
【0063】この図から明らかなように,相対的に明る
い像SHは光電変換特性SL1の飽和領域に完全に含ま
れてしまい,また光電変換特性SH1の下では相対的に
暗い像SLを表わす出力信号のレベルは非常に低いとこ
ろに集中する。
【0064】図3(A) は室内RMの明るさに対して適正
な露光量(露光量は相対的に多い)で撮影された画像を
示している。室内RMの像SLaは適正に露光されてい
るので良好な画像となっている。これに対して窓WNを
通して現われる風景の像SHaは白くとんでいる。
【0065】図3(B) は窓WNの像SHbに対して適正
な露光量(露光量は相対的に少ない)で撮影された画像
を示している。窓WNを通して見える風景の像SHbは
良好であるが,室内RMの像SLbはかなり暗くなって
いる。
【0066】この発明によると,露光量が相対的に多い
画像において飽和している領域の像(必ずしも飽和して
いる必要はなく,他の部分よりも相対的に明るい領域で
あればよい)が,露光量が相対的に少ない画像における
対応する領域の像で置換されることにより画像のはめ込
みが行われる。すなわち,図3(A) において窓WNの像
SHaが,図3(B) に示す窓WNの像SHbで置きかえ
られる。これにより,図1に示すように,室内RM,窓
WNがともに良好な画像となり,人間が目で見たシーン
に近い画像が得られる。このようにしてはめ込み合成さ
れた画像のヒストグラムが図4に示されている。2つの
輝度分布SL2とSH2はかなり近づいている。
【0067】露光量が相対的に少ない画像において相対
的に暗い領域の像を,露光量が相対的に多い画像におけ
る対応する領域の像で置換するようにしてもよい。たと
えば,図3(B) において室内RMの像SLbを,図3
(A) に示す室内RMの像SLaで置きかえる。
【0068】図5はこの発明の実施例によるスチル・ビ
デオ・カメラ(電子スチル・カメラ)の構成を示してい
る。
【0069】撮像光学系には撮像レンズ11,絞り12,シ
ャッタ13および固体電子撮像素子(イメージ・センサ)
としてのCCD14が含まれている。露光制御回路10には
CPUが含まれており,この回路10は絞り12,シャッタ
13,およびCCD14における電荷のクリア,信号の読出
し等を制御する。
【0070】この実施例では予備撮影(予備露光)と2
回の本撮影(本露光)とが行われる。
【0071】予備撮影は2回の本撮影における適正な露
光量をそれぞれ決定するためのものである。露光制御回
路10は測光センサ27の出力信号のレベルに基づいて予備
撮影のための露光量(絞り値およびシャッタ速度)を決
定する。図1に示すように撮影被写体には暗い部分と明
るい部分とがある。測光センサ27の出力信号はこのよう
な被写体の平均的な輝度を表わしている。被写体の平均
的な輝度に基づいて決定された予備撮影のための絞り値
とシャッタ速度で絞り12およびシャッタ13の動作がそれ
ぞれ制御される。この予備撮影によりCCD14から出力
される映像信号は前置増幅器15で増幅され,さらにA/
D変換器19によってディジタル画像データに変換されて
露光制御回路10に与えられる。
【0072】予備撮影により得られた被写体像を表わす
ディジタル画像データに基づいて露光制御回路10は2回
の本撮影のための露光量を決定する。被写体は上述のよ
うに暗い部分と明るい部分とをもっている。一方の本撮
影は暗い部分に対して適切な露光量で,他方の本撮影は
明るい部分に対して適切な露光量でそれぞれ行われる。
【0073】図6において鎖線PHで示す領域は測光セ
ンサ27の測光範囲を示している。測光センサ27は被写体
の明るい部分によっても飽和していないと仮定する。測
光センサ27の測光範囲PH内に仮想的に多数のサンプル
点PSを設定し,各点のデータをSi (i=1〜n)と
すると,測光センサ27の出力は次式で与えられる。
【0074】
【数1】
【0075】被写体には暗い部分(領域)SLと明るい
部分(領域)SHとが含まれている。予備撮影において
得られる被写体像を表わす映像信号のうち,暗い領域S
Lを表わしている部分は飽和していないが,明るい領域
SHを表わしている部分は飽和していると考えられる。
予備撮影によって得られた画像データは上記と同じサン
プル点PSでサンプリングされる。サンプリングされた
データをSj (j=1〜n)とする。被写体像の暗い部
分SLに含まれるサンプル・データの数をm,明るい部
分SHに含まれるサンプル・データの数をhとする(n
=m+h)。
【0076】測光センサ27の出力信号から得られるサン
プル・データSi を用いると次式が成立する。
【0077】
【数2】
【0078】式(2) における右辺の分子の第1項を,予
備撮影によって得られる画像データのサンプル・データ
j で置きかえると,式(2) は次のようになる。
【0079】
【数3】
【0080】式(3) の右辺第1項,第2項をそれぞれ式
(4) ,式(5) と置く。
【0081】
【数4】
【0082】
【数5】
【0083】式(4) によって表わされる値は予備撮影に
よって得られた画像データを用いて算出することができ
る。すなわち,この画像データをサンプル点PSでサン
プリングし,得られたサンプル・データSj を適当なス
レシホールド値THと比較する。スレシホールド値TH
に満たない値をもつサンプル・データSj の平均値が式
(4) で表わされる値である。スレシホールド値THは飽
和レベルよりも少し低い値に設定される。明るい領域S
Hに含まれるサンプル・データは,飽和レベルに達して
いるので,サンプル・データとスレシホールド値THと
の比較処理により排除され,暗い領域SLに属するサン
プル・データの平均値が得られる。このようにして算出
された式(4) の値に基づいて,相対的に暗い領域SLの
本撮影のための露光量(絞り値およびシャッタ速度)が
決定される。
【0084】上述したように相対的に明るい領域の像S
Hを表わす映像信号が必ずしも飽和していなくてもよ
い。この場合にもスレシホールド値THを適当に定める
ことにより,明るい領域SHの画像データと暗い領域S
Lの画像データとを区分けすることができる。
【0085】式(3) の左辺の値(すなわち式(1) の値)
は測光センサ27の出力信号のレベルによって表わされる
ので既知である。式(3) の右辺第1項(すちわち式(4)
)の値は上述のようにして算出される。したがって,
式(3) の右辺第2項(すなわち式(5) )の値は容易に求
められる。式(5) の値は相対的に明るい領域SHの平均
輝度を表わしているので,この値に基づいて相対的に明
るい領域SHの本撮影のための露光量(絞り値およびシ
ャッタ速度)が決定される。
【0086】測光センサ27の出力信号に基づくサンプル
・データSiとCCD14の出力信号に基づくサンプル・
データSj とは必ずしも等しい値とは限らない。したが
って一般には適当な定数αを用いて,Si =αSj とし
て上述した演算が行われるであろう。
【0087】測光センサの測光領域を複数の小領域に分
割し,各小領域ごとにその小領域の平均輝度を求める分
割測光を行えば上述した予備撮影は必ずしも必要ではな
い。すなわち,各小領域についての測光平均輝度を適当
なスレシホールド値と比較し,その比較結果に応じて被
写体像の相対的に暗い部分に関する測光平均輝度と明る
い部分に関する測光平均輝度とに分類する。相対的に暗
い部分に関する測光平均輝度の平均値に基づいて相対的
に暗い部分の露光量が,相対的に明るい部分に関する測
光平均輝度の平均値に基づいて相対的に明るい部分の露
光量がそれぞれ決定される。一般的には,被写体像の相
対的に暗い部分および相対的に明るい部分が測光センサ
の測光小領域に丁度対応するとは限らないが,暗い部分
と明るい部分との間には顕著な輝度差があるから,適当
なスレシホールド値を用いることにより,相対的に暗い
部分にほぼ対応する測光小領域の測光輝度データと,相
対的に明るい部分にほぼ対応する測光小領域の測光輝度
データとを区分けすることが可能である。
【0088】絞り値およびシャッタ速度の決定のための
方法として絞り優先とかシャッタ速度優先とかの種々の
手法があるが,どのようにして絞り値とシャッタ速度を
決定してもよい。少なくとも,絞り12の能力と精度,シ
ャッタ13の能力と精度等が考慮されればよい。また,後
述するようにCCD14による電子シャッタ機能を利用す
る場合には許容される露光時間(たとえば1V=1/60
以内;Vは垂直走査期間)等も考慮されよう。
【0089】いずれにしても,上述のようにして被写体
像の相対的に暗い部分SLに対して適正な露光量(第1
の露光量)と相対的に明るい部分SHに対して適正な露
光量(第2の露光量;第1の露光量よりも小さい値とな
る)とが決定されると,まず第1の露光量を用いて絞り
12とシャッタ13とが制御され第1回目の本撮影が行われ
る。第1回目の本撮影によってCCD14から出力される
映像信号は増幅器15で増幅されたのち前処理回路16にお
いてγ補正等の前処理が行われ,さらにA/D変換器17
でディジタル画像データに変換され,切換スイッチ18を
経て第1のフレーム・メモリ21に一旦記憶される。続い
て第2の露光量を用いて絞り12とシャッタ13とが制御さ
れ,第2回目の本撮影が行われる。第2回目の本撮影に
よりCCD14から出力される映像信号も同じようにし
て,増幅,前処理,A/D変換され,ディジタル画像デ
ータとなって切換スイッチ18を経て第2のフレーム・メ
モリ22に記憶される。切換スイッチ18は露光制御回路10
によって切換制御される。第2の露光量に基づく本撮影
を第1の露光量に基づく本撮影よりも先に行ってもよい
のはいうまでもない。
【0090】本撮影におけるシャッタ速度の制御はCC
D14を用いた電子シャッタ機能によって実現してもよ
い。電子シャッタは,よく知られているように,CCD
14の不要電荷の吐出し(クリア)により露光が開始し,
CCD14に蓄積された信号電荷の読出しにより露光が終
了するものである。この場合に,露光時間(不要電荷の
吐出しから信号電荷の読出しまでの時間)の最大値が1
/60=1V以内となるように絞り値を定めれば,2/60
=2Vの時間で2回の本撮影が終了する。電子シャッタ
機能を利用すると,メカニカルなシャッタ13を用いて露
光時間を制御する場合に比べて短い時間で露光量の異な
る2駒の画像データが得られる。
【0091】このようにして得られた2駒の画像データ
を用いて上述したはめ込み合成処理を行うために,2つ
のフレーム・メモリ21,22に加えて,キー(Key )信号
を記憶するためのメモリ23,CPU20,およびマルチプ
レクサ24が設けられている。
【0092】CPU20は,第1のフレーム・メモリ21に
記憶されている画素ごとの画像データを所定のスレシホ
ールド値TH(上述した予備撮影による画像データをレ
ベル弁別するためのスレシホールド値と同じ値でも異な
る値でもよい,いずれにしても相対的に明るいまたは飽
和している領域を他の領域から区別できる値であればよ
い)と比較し,スレシホールド値以上の値をもつ画像デ
ータを相対的に明るい領域SHに属するものとして,そ
の画像データが表わす画素の位置とメモリ23上の同じ位
置にキー信号としてデータ1(1ビット)を書込む。ス
レシホールド値未満の画像データについてはメモリ23の
その画素の位置に0を書込む。メモリ23は1フレーム
(または1フィールド)分のキー信号(キー信号は1画
素当り1ビット)を記憶できる容量をもっている。
【0093】このようにして,キー信号メモリ23には,
フレーム・メモリ21,22に記憶されている画像データが
被写体像の相対的に暗い領域SLに属する画素に関する
ものか(キー信号データ=0),相対的に明るい領域S
Hに属する画素に関するものか(キー信号データ=1)
を表わすキー信号データが書込まれることになる。
【0094】キー信号メモリ23に設定されたキー信号デ
ータによってマルチプレクサ24が制御される。キー信号
データが0のときにはマルチプレクサ24はフレーム・メ
モリ21から読出された画像データを,1のときにはフレ
ーム・メモリ22から読出された画像データをそれぞれ選
択して出力する。
【0095】キー信号メモリ23へのキー信号データの設
定が終了すると,フレーム・メモリ21および22の画像デ
ータならびにキー信号メモリ23のキー信号データが同期
して(すなわち同一画素に関係するデータが同時に)読
出され,マルチプレクサ24に与えられる。上述のように
マルチプレクサ24はキー信号データに応じてフレーム・
メモリ21または22から読出された画像データのいずれか
一方を選択的に出力する。マルチプレクサ24から出力さ
れる画像データは,露光量の多い画像において飽和して
いる(相対的に明るい)領域の画像データが露光量の少
ない画像における対応する領域の画像データによって置
きかえられたはめ込み合成画像を表わしている。
【0096】マルチプレクサ24から出力される画像デー
タは,D/A変換器25によってアナログ映像信号に変換
されて出力される。このアナログ映像信号がCRT等の
表示装置に与えられればはめ込み合成された画像が表示
される。映像信号はFM変調されてフロッピィ・ディス
クまたは磁気テープ等の磁気記録媒体に記録することも
できる。または,マルチプレクサ24の出力画像データ
を,画像データ処理回路26により輝度データと色データ
とに分離(Y/C分離し)し,データ圧縮し,符号化し
た上でメモリ・カード(半導体メモリを内蔵している,
メモリ・カートリッジ等とも呼ばれる)に記録するよう
にしてもよい。もっとも,上述した画像データのはめ込
み合成処理をスチル・ビデオ・カメラで行なわなくても
よい。この場合には,フレーム・メモリ21および22の画
像データがそれぞれ別個に画像処理されたのち,メモリ
・カード内の別個のエリアに記憶される。画像データの
はめ込み合成は,別途に設けられた画像処理装置で行な
われることになるであろう。
【0097】フレーム・メモリ22に記憶されている露光
量の少ない画像データを用いてキー信号を作成してもよ
い。この場合にはスレシホールド値として相対的に暗い
部分を排除できる程度に小さい値が採用される。画像デ
ータがこのスレシホールド値以上であればキー信号デー
タとして1が,他の場合には0がそれぞれメモリ23に設
定される。このようにすることにより,露光量の少ない
画像において相対的に暗い領域の画像データが露光量の
多い画像における対応する領域の画像データによって置
換されることにより合成された画像を表わす画像データ
がマルチプレクサ24から出力される。
【0098】図5に示すスチル・ビデオ・カメラはスト
ロボ装置28を備えている。ストロボ装置28におけるスト
ロボ発光を利用することにより,撮影対象物が必ずしも
明るい部分と暗い部分とに峻別されないものであっても
はめ込み合成に適した画像データを得ることができる。
【0099】たとえば同程度または輝度差の少ない2つ
の対象物が相対的に近い位置と遠い位置にある場合を想
定する。近い位置にある対象物が適正に露光されるよう
にストロボ発光量を調整すると遠い位置にある対象物は
露光不足となる。逆に遠い位置にある対象物が適正に露
光されるようにストロボ発光量を調整すると近い位置に
ある対象物に関しては得られる映像信号が飽和してしま
う。
【0100】この実施例によると,相対的に遠い位置に
ある対象物の撮影に適した露光が得られるストロボ発光
量で第1回目の撮影が行われ,相対的に近い位置にある
対象物が適正に露光されるようなストロボ発光量で第2
回目の撮影が行われる。このようにして2駒分の画像デ
ータが得られ,上述したやり方と全く同じようにして画
像データのはめ込み合成が行われる。
【0101】遠い位置と近い位置とにある対象物の輝度
差が大きい場合にはこの輝度差も考慮してストロボ発光
量が調整されるのはいうまでもない。いずれにしても,
得られる2駒分の画像データの平均輝度差が比較的小さ
く(2〜3倍以内)なるようにストロボ発光量を制御す
ればよい。
【0102】被写体像における相対的に明るい領域SH
と相対的に暗い領域SLとを識別する方法には,上述し
た画像データを単にスレシホールド値THと比較する処
理以外に種々の方法がある。以下に他の識別方法につい
て述べておく。露光量の多い画像において相対的に明る
い領域を抽出する方法についてのみ述べる。露光量の少
ない画像において相対的に暗い領域を抽出することも全
く同じ方法により可能であるからである。
【0103】簡単のために,図3(A) におけるVII −VI
I線によって表わされる水平走査線に沿う映像信号を考
える。
【0104】図7(A) は上記水平走査線に沿う映像信号
の一例を示している。相対的に明るい領域SHの映像信
号は飽和している。相対的に暗い領域SLにおいて小さ
な輝点(たとえばガラス片,金属の一部等が光の反射に
よって光っている)があり,この輝点のために映像信号
中に急峻なパルス状の波形BRが現われているものとす
る。
【0105】このような映像信号がロウ・パス・フィル
タ(以下LPFと略す)を通ると,図7(B) に符号br
で示すように,急峻なパルス状の波形はなだらかになり
かつその高さが低くなる。波形brのピーク値よりも高
いレベルに設定されたスレシホールド値THを用いてこ
の映像信号をレベル弁別すれば,明るい領域SHのみが
抽出される。このようにして,暗い領域SLに部分的に
存在する小さな輝点は無視され,このような小さな領域
についてはめ込み合成が実行されることが未然に防止さ
れる。
【0106】上述したように相対的に明るい領域は必ず
しも飽和している必要はない。スレシホールド・レベル
THを適切に設定することによって飽和していない明る
い領域も抽出可能であることは,図7(B) からも容易に
理解できよう(明るい部分SHのピーク値が飽和レベル
よりも低いと考えればよい)。
【0107】ディジタル・データのフィルタリング技術
はよく知られている。上述した議論は,図5に示すスチ
ル・ビデオ・カメラにおいて,フレーム・メモリ21(ま
たは22)に記憶されているディジタル画像データを処理
して領域SHとSLを判別するCPU20における処理に
もあてはまる。CPU20はディジタル画像データをロウ
・パス・フィルタリングし,そのフィルタリングされた
画像データとスレシホールド値を表わすデータとを比較
する。
【0108】図8は他の判別方法を示している。図8
(A) には図7(A) に示すものと同じ映像信号が示されて
いる。この映像信号において急峻な立上りを示す前エッ
ジ(リーディング・エッジ)と急峻な立下りを示す後エ
ッジ(トレイリング・エッジ)とが検出される。前エッ
ジから後エッジまでの幅(または時間)t1,t2等が
測定される。この幅t1,t2等が適当な基準幅Wと比
較される(図8(B) 参照)。基準幅Wよりも大きい幅を
もつ部分のみが相対的に明るい領域であると判定される
(図8(C) 参照)。この方法によっても,相対的に暗い
領域に存在する小さな輝点をはめ込み合成の対象領域か
ら排除することができる。
【0109】この方法もアナログ的にも,ディジタル的
にも実行することができるのはいうまでもない。アナロ
グ的に実行する場合には,基準幅Wに相当する安定時間
をもつ単安定マルチバイブレータを用いることができ
る。この単安定マルチバイブレータは映像信号の前エッ
ジによってトリガ(セット)され,後エッジによってリ
セットされる。セットされたのち,リセットされる前に
単安定マルチバイブレータから出力が発生すれば(セッ
トされたのちに幅Wに相当する時間が経過すれば),そ
の部分は明るい領域と判定される。ディジタル的には,
前エッジから後エッジまでの長さが幅Wよりも大きいか
どうかを判定すればよい。
【0110】フィルタリングにおいて不可避的に生じる
位相遅れのために,図7に示す方法は,明るい領域の境
界が少しずれる可能性がある。これに対して図8に示す
方法は明るい領域と暗い領域との境界がずれることなく
正確に判定できるという特長をもつ。
【0111】水平走査線にそう映像信号に現われる領域
の境界(画像の垂直走査方向にのびる境界)の検出につ
いて説明したが,画像の水平方向にのびる境界の検出に
ついても上記と同様の手法を採用することができる。と
くにディジタル画像データをディジタル的に処理する場
合には,垂直方向におけるフィルタリング,幅の検出は
容易である。また,図8に示す方法を2次元的に実行す
ることにより,一定面積以下の輝点をはめ込み合成の対
象から除外し,一定面積を超える明るい領域についての
みはめ込み合成を行うことが可能となる。
【0112】図9ははめ込み合成処理の他の例を示し,
特にはめ合わされる2つの領域の境界近傍を円滑に連続
させる手法を実現する回路構成を示している。図9に示
す回路は図5においてマルチプレクサ24と置換される。
【0113】フレーム・メモリ21から読出された画像デ
ータ(たとえば8ビット)は乗算器30a,31a,32a,
33aおよび34aによってそれぞれ0,1,2,3および
4倍されてマルチプレクサ(切換スイッチ)37aに与え
られる。フレーム・メモリ22から読出された画像データ
は乗算器30b,31b,32b,33bおよび34bによってそ
れぞれ4,3,2,1および0倍されてマルチプレクサ
37bに与えられる。マルチプレクサ37aと37bはキー信
号メモリ23から与えられるキー信号データ(この実施例
では3ビット・データ)によって制御される。マルチプ
レクサ37aが乗算器30a,31a,32a,33aまたは34a
を選択したときにはマルチプレクサ37bは乗算器30b,
31b,32b,33bまたは34bを選択する。
【0114】マルチプレクサ37aおよび37bの出力は加
算器35で相互に加算され,さらに割算器36によって4で
割られ,合成された画像データ(再び,たとえば8ビッ
トとなる)として出力される。
【0115】相対的に暗い領域SLと明るい領域SHと
の間の検出された境界線上の1画素においてはマルチプ
レクサ37aおよび37bはそれぞれ乗算器32aおよび32b
を選択する。これにより,境界線上ではフレーム・メモ
リ21の画像データとフレーム・メモリ22の画像データと
の相加平均が合成画像データとなる。
【0116】上記境界線よりも暗い領域SL側の境界線
に隣接する1画素においては,マルチプレクサ37aおよ
び37bはそれぞれ乗算器33aおよび33bを選択する。こ
れにより,この画素においてはフレーム・メモリ21の画
像データに3倍した値とフレーム・メモリ22の画像デー
タに1倍した値との平均(加重平均)が合成画像データ
となる。
【0117】境界線に隣接する上記画素よりもさらに暗
い領域SLの内側にあるすべての画素についてはマルチ
プレクサ37aおよび37bはそれぞれ乗算器34aおよび34
bを選択する。これにより,フレーム・メモリ21の画像
データが合成画像データとして出力される。
【0118】境界線よりも明るい領域SH側の境界線に
隣接する1画素においては,マルチプレクサ37aおよび
37bはそれぞれ乗算器31aおよび31bを選択する。これ
により,この画素においてはフレーム・メモリ21の画像
データに1倍した値とフレーム・メモリ22の画像データ
に3倍した値との平均(加重平均)が合成画像データと
なる。
【0119】境界線に隣接する上記画素よりもさらに明
るい領域SHの内側にあるすべての画素についてはマル
チプレクサ37aおよび37bはそれぞれ乗算器30aおよび
30bを選択する。これにより,フレーム・メモリ22の画
像データが合成画像データとして出力される。
【0120】キー信号メモリ23に記憶されるキー信号デ
ータは,上記のようにマルチプレクサ37aおよび37bを
制御するように,画素の位置が境界線上か,その隣り
か,または境界線の隣りよりも離れているか,どちらの
領域に属するかに応じてCPU20によって3ビット・デ
ータとして作成される。
【0121】上述のように,領域SLとSHとの境界近
傍では2種類のはめ合わされるべき画像データの加重平
均(位置に応じて重みづけされる)により合成画像デー
タが作成されているので,境界付近で画像データが滑ら
かに連続することになる。これにより,合成画像を再生
したときに2つの領域の境界が自然な感じとなり,擬似
輪郭の発生が未然に防止される。
【0122】上記の説明では加重平均のための重みづけ
を1画素ずつ変えているが複数画素ごとに変えるように
してもよいのはいうまでもない。
【0123】図10はリアル・タイムでアナログ映像信号
上で画像のはめ込み合成処理を行う実施例を示してい
る。この実施例の回路はスチル・ビデオ・カメラのみな
らず,ムービ・ビデオ・カメラにも適用することができ
る。
【0124】撮像光学系は,撮像レンズ41,絞り42,ビ
ーム・スプリッタ43および2つのCCD44,45を含んで
いる。被写体を表わす光像はレンズ41および絞り42を経
て,ビーム・スプリッタ43で分割され,2つのCCD44
および45上に結像する。上述したように,窓のある室内
での撮影等においては,相対的に暗い領域SLの平均輝
度と相対的に明るい領域SHの平均輝度との比は1対5
〜10程度である。この実施例ではビーム・スプリッタ43
の光の分割比は5対1に設定されている。入射光の光量
の5/6の光量の光がビーム・スプリッタ43を通ってC
CD44に入射する。入射光の光量の1/6の光量の光が
ビーム・スプリッタ43で反射してCCD45に入射する。
【0125】CCD44から出力される映像信号は前置増
幅器46で増幅されたのち遅延回路54に与えられるととも
に,露光制御回路49に入力する。CCD45から出力され
る映像信号は前置増幅器47で増幅されたのち自動ゲイン
制御増幅回路(以下AGCという)48に与えられるとと
もに露光制御回路49に入力する。露光制御回路49はドラ
イバ50を介して絞り42を制御するとともにAGC48のゲ
インを調整する。
【0126】露光量の制御には露光量が多いCCD44の
出力映像信号が使用される。露光制御回路49は増幅器46
から与えられる映像信号のレベルに基づいて,被写体像
の相対的に暗い領域SLが適正に露光されるように絞り
42を調整する。シャッタ速度(露光時間)は固定であ
り,たとえば1/60秒(または1/30秒)に保持され
る。すなわち,メカニカルなシャッタは設けられてい
ず,CCD44,45の不要電荷のクリアと信号電荷の読出
しにより露光時間が規定される。
【0127】この実施例では被写体像の連続的な撮影が
行われており,たとえば1/60秒(または1/30秒)ご
とにCCD44および45から1フィールド(または1フレ
ーム)分の映像信号が出力されている。
【0128】CCD44に結像する被写体像の相対的に暗
い領域SLが適正に露光されるように露光量が調整され
ており,かつビーム・スプリッタ43の分割比が5対1に
設定されているから,CCD45に結像する相対的に明る
い領域SHについてもほぼ適正な露光量となっているこ
とが期待できる。相対的に暗い領域SLの画像と明るい
領域SHの画像とを合成したときにこれらの画像が適切
にマッチングするように(たとえば,相対的に明るい領
域SHの画像が,合成後の画像において,相対的に暗い
領域SLの画像よりも暗くなってしまうような事態の発
生を防止するために),AGC48が設けられている。露
光制御回路49は増幅器47から与えられる前フィールド
(または前フレーム)の映像信号のピーク・レベルを検
出し,このピーク・レベルが次のフィールド(またはフ
レーム)の映像信号においても一定に保持されるように
AGC48のゲインを調整する。このようにして,1フィ
ールド(または1フレーム)ごとに(1/60秒ごとに,
または1/30秒ごとに)AGC48のゲイン調整が行わ
れ,相対的に明るい領域SHの画像の最も明るい部分の
明るさが常にほぼ一定に保持される。
【0129】露光量の多い映像信号である増幅器46の出
力はまたLPF51を通して,その低周波成分のみが比較
器52に与えられる。比較器52にはスレシホールド電圧V
THが設定されている。比較器52は入力映像信号のレベル
がスレシホールド電圧VTHを超えている場合に出力を発
生する。比較器52の出力はパルス幅検出回路53に入力す
る。このパルス幅検出回路53は,上述したように単安定
マルチバイブレータ等を含み,比較器52の出力信号のパ
ルス幅が基準幅Wを超えている場合にその出力信号を基
準幅Wに相当する時間遅延させた上で出力する。パルス
幅検出回路53の出力信号はマルチプレクサ56にその制御
信号として与えられる。
【0130】遅延回路54および55には上記の基準幅Wに
相当する時間(またはこの時間にLPF51の動作に起因
する遅延時間を加えた時間)に等しい遅延時間が設定さ
れている。増幅器46の出力映像信号およびAGC48の出
力映像信号はこれらの遅延回路54および55でその遅延時
間だけ遅らされてマルチプレクサ56に入力する。
【0131】マルチプレクサ56は通常は遅延回路54の出
力映像信号を選択して出力し,パルス幅検出回路53から
出力信号が与えられているときには遅延回路55の出力映
像信号を選択して出力する。これにより,上述した原理
に基づく画像のはめ込み合成が行われる。マルチプレク
サ56の出力映像信号は映像信号処理回路57においてγ補
正などが加えられる。
【0132】図11ははめ込み合成処理の他の実施例を示
すものである。ここでは図12(A) または(B) に示すよう
に,背景が非常に明るく中央の主要被写体(人物)が相
対的に暗い画像を例にとって説明する。
【0133】フレーム・メモリ21には,相対的に暗い部
分(主要被写体)SLに対して適正に設定された露光量
(相対的に多い露光量)で撮影された図12(A) に示すよ
うな画像を表わすデータ(これを第1画像データとい
う)が記憶されている。図12(A) に示す画像において
は,相対的に明るい部分(背景)SHでは画像データが
飽和し白とびが生じている。フレーム・メモリ22には,
相対的に明るい部分SHに対して適正に設定された露光
量(相対的に少ない露光量)で撮影された図12(B)に示
すような画像を表わすデータ(これを第2画像データと
いう)が記憶されている。図12(B) に示す画像において
は相対的に暗い部分SLの画像は全体的に暗くかつ輝度
差が非常に少なく,黒くつぶれた感じになっている。こ
のような第1および第2画像データは,図5に示す実施
例におけるように2回露光することにより,または図10
に示す実施例におけるように2個のCCDを用いて得る
ことができる。
【0134】マスク・パターンおよびエッジ・パターン
作成部63はフレーム・メモリ21の第1画像データに基づ
いてマスク・パターンを表わすデータおよびエッジ・パ
ターンを表わすデータを作成するものである。マスク・
パターンは,図12(C) に示されているように,相対的に
明るい領域SHをマスクする(図12(C) にハッチングで
示す)ものである。マスク・パターン・データは1画素
(ピクセル)当り1ビットで構成され,マスク部分がた
とえば1,それ以外の部分が0で表現される。マスク・
パターン・データはマスク・パターン・メモリ61に記憶
される。エッジ・パターンは,図12(D) に示されている
ように,マスク・パターンのエッジ(相対的に明るい領
域SHと暗い領域SLとの境界)を表わし,かつ2〜3
画素分程度の幅をもつ。このようなエッジ・パターンを
表わすデータもまた1画素当り1ビットで構成され,エ
ッジ部がデータ1で表現される。エッジ・パターン・デ
ータはエッジ・パターン・メモリ62に記憶される。マス
ク・パターン・データおよびエッジ・パターン・データ
の作成処理の詳細については後述する。
【0135】フレーム・メモリ22の第2画像データは非
線形処理部64に与えられる。この非線形処理部64は,こ
の実施例ではレベル圧縮処理,エンハンスメント処理お
よびレベル・シフト処理を行う。レベル圧縮処理は,第
2画像データのビット数を再生可能なビット数に圧縮す
るもので(エンハンスメント処理やレベル・シフト処理
によりビット数が増大する可能性がある),図13(A) に
示すような非線形特性をもつルック・アップ・テーブル
(LUT)等を用いてビット数変換を行うものである。
エンハンスメント処理は,図13(B) に示すようなエンハ
ンスメント率を画像データに乗算するもので,これによ
り画像の高周波成分が強調される。上述のレベル圧縮処
理により画像の輝度変化がなだらかになるが,この高域
強調処理により画像中のエッジが強調される。レベル・
シフト処理は画像を全体的に明るく(または暗く)する
もので,画像データに一律に所定値を加算(または減
算)することにより実現される。このようなレベル圧
縮,エンハンスメントおよびレベル・シフトのすべてが
実行される必要は必ずしもなく,いずれか1つまたは2
つを行うようにしてもよい。
【0136】フレーム・メモリ21の第1画像データおよ
びフレーム・メモリ22から読出され処理部64で非線形処
理された第2画像データはマルチプレクサ65に与えられ
る。マルチプレクサ65はマスク・パターン・メモリ61の
マスク・パターン・データにより制御される。第1画像
データ,第2画像データおよびマスク・パターン・デー
タは同期して,すなわち画像を構成する同一画素に関す
るこれらのデータが同時に,マルチプレクサ65に与えら
れる。マルチプレクサ65はマスク・パターン・データが
0のときには第1画像データを選択し,1のときには第
2画像データを選択して出力する。これにより,第1画
像データにおける相対的に暗い部分SLを表わす画像デ
ータと第2画像データにおける相対的に明るい部分SH
を表わす画像データとがはめ込み合成される。
【0137】マルチプレクサ65の出力画像データはブレ
ンド部66に与えられる。ブレンド部66は一種のLPFで
実現される。ブレンド部66はエッジ・パターン・メモリ
62から与えられるデータが1であるエッジ部分において
入力画像データにロウ・パス・フィルタリング処理を施
して,エッジ部における輝度変化をなだらかにする働き
をなす。これにより,はめ込み合成画像が再生されたと
きに,2つの領域SLとSHとの境界部分が自然な感じ
となる。
【0138】ブレンド部66の出力画像データは次にγ補
正部67でγ補正されたのち合成画像データとして出力さ
れる。
【0139】上記の処理はその一部または全部をハード
ウェア回路で実行することもできるし,コンピュータに
よるソフトウェア処理によっても実行できる。
【0140】図14はマスク・パターン・データの作成処
理手順を示している。第1画像データはLPF71によっ
てロウ・パス・フィルタリングされたのち,比較部72に
おいて第1のスレシホールド・レベルTH1と比較され
る。画像データがこの第1のスレシホールド・レベルT
H1よりも大きいときに比較器72から1ビット・データ
1が出力され,ORゲート77を経てマスク・パターン・
データとなる。この処理により,相対的に明るい部分S
Hについてマスク・データ1が設定される。
【0141】比較部73,エッジ検出部74,比較部75およ
びANDゲート76はエッジにおける高輝度点を抽出する
ものである。第1画像データは比較部73において第1の
スレシホールド・レベルTH1よりも高い第2のスレシ
ホールド・レベルTH2と比較され,第1画像データが
第2のスレシホールド・レベルTH2を超えているとき
に比較部73からデータ1が出力される。第1画像データ
はまたエッジ検出部74に与えられ,その微分値が演算さ
れる。この微分値は比較部75に与えられる。比較部75は
微分値が第3のスレシホールド値TH3を超えていれば
データ1を出力する。比較部73と75の出力はANDゲー
ト76を経てORゲート77においてマスク・パターン・デ
ータに加えられる。このようにしてエッジ部における高
輝度点についてのマスク・パターン・データは1とな
る。これにより,エッジ部におけるはめ込み合成がきめ
細かに行えるようになる。
【0142】図15はエッジ・パターン・データ作成処理
手順を示している。上述のようにして得られたマスク・
パターン・データがエッジ検出部78に与えられ,そのエ
ッジが検出される。検出されたエッジを表わすデータは
ダイリューション部79に与えられ,エッジ幅が2〜3画
素となるように拡張される。このようにして幅が広げら
れたエッジを表わすデータがエッジ・パターン・データ
となる。図15ではマスク・パターンと,各部78,79の処
理によって生成されたパターンとが対応する位置に描か
れている。
【0143】図14および図15において,マスク・パター
ン作成およびエッジ・パターン作成処理は,専用のハー
ドウェア回路によっても実現できるし,コンピュータに
よるディジタル処理によっても実行できるのはいうまで
もない。
【0144】図16に示す実施例はムービ/スチル・ビデ
オ・カメラに関するものである。
【0145】このムービ/スチル・ビデオ・カメラは通
常はムービ・モードで動作する。すなわち,撮像レンズ
81および絞り82を通してCCD83上に結像した被写体像
はCCD83によってそれを表わす映像信号に変換されて
出力される。この映像信号は映像信号処理回路84におい
て自動ゲイン制御増幅,ホワイト・バランス調整,γ補
正等の処理が施され,さらにFM変調回路85でFM変調
される。FM変調映像信号は記録増幅器86を経て磁気ヘ
ッド87に与えられ,図17に示すように,磁気テープ80の
ビデオ・トラックTRVに1フィールドごとに磁気記録
される。
【0146】通常はカメラの視野内の主要被写体(人物
等)に露光が合致するように,自動露光制御回路(図示
略)によって絞り82の調整が行われている。CCD83の
露光時間はCCD駆動回路88によって制御され,一定時
間(たとえば1/60秒)に保持される。したがって,主
要被写体の平均輝度と比較して背景の平均輝度が非常に
高い場合には,背景の画像に関してはCCD83のフォト
ダイオードが飽和する。ビデオ・テープ80に記録されて
いる映像信号を再生したときには背景は白くとんでいる
ことになる。
【0147】このような情況にあってもこの実施例のム
ービ/スチル・ビデオ・カメラでは主要被写体および背
景の両方が適切に露光された画像を表わす映像信号の記
録を行うことができる。
【0148】カメラの利用者が視野内の被写体像をスチ
ル画像として残したいと思ったときには,利用者はシャ
ッタ・レリーズ・ボタン89を押す。シャッタ・レリーズ
・ボタン89からのシャッタ・レリーズ信号はCCD駆動
回路88に与えられる。CCD駆動回路88はシャッタ・レ
リーズ信号が入力すると,そのとき露光しているフィー
ルド(このフィールドの映像信号は磁気テープ80のビデ
オ・トラックTR1に記録されるものとする)の次のフ
ィールドの露光において,露光時間がムービ・モードに
おける露光時間の1/4程度になるように,CCD83に
おける不要電荷吐出しタイミングを調整する。絞り82の
絞り値は変化しない(自動露光制御回路による制御がそ
のまま実行され続ける)。このようにして短い時間で露
光されることによりCCD83から得られる映像信号は先
のビデオ・トラックTR1の次のビデオ・トラックTR
2に記録される。ビデオ・トラックTR2の映像信号に
おいては,背景はほぼ適切に露光されているが,主要被
写体は露光不足で黒くつぶれる。
【0149】露光時間の短縮の割合は1/4に限られ
ず,1/3,1/5等でもよいのはいうまでもない。ま
た,図5に示す実施例の場合のように,前のフィールド
(上記予備撮影に相当する)の映像信号のサンプリング
・データと,測光データとに基づいて,背景が適正に露
光されるように露光時間を定めることもできる。
【0150】このようにして磁気テープ80に記録された
2つのフィールドの映像信号(ビデオ・トラックTR1
とTR2に記録されている映像信号)は,再生装置に設
けられた信号処理回路において,上述したはめ込み合成
の技術にしたがって合成され,1つの画像を表わすもの
として表示装置やプリンタに与えられる。
【0151】図17は表示装置またはプリンタの再生装置
に設けられたはめ込み合成を行う回路を示すものであ
る。再生装置により磁気テープ80のビデオ・トラックT
R1から再生さた映像信号はA/D変換器90でディジタ
ル画像データに変換されたのちバッファ・メモリ91に記
憶される。同じようにビデオ・トラックTR2から再生
された映像信号はディジタル画像データに変換されてバ
ッファ・メモリ92に記憶される。
【0152】判定制御回路93はバッファ・メモリ91に記
憶された画像データにおいて,飽和した画像データが一
定面積以上あるかどうかを判定する。飽和した画像デー
タがない,またはあったとしても非常に小さな面積につ
いてである場合には,バッファ・メモリ91の画像データ
は切換回路94を通ってそのまま,またはD/A変換器96
によってアナログ映像信号に変換されて出力される。こ
の画像データまたは映像信号は画像の表示またはプリン
ト・アウトのために用いられる。
【0153】一定面積以上にわたって画像データが飽和
しているときには,判定制御回路93はバッファ・メモリ
91を合成回路95に接続する。そして,両バッファ・メモ
リ91および92から画像データが同期して読出され合成回
路95に与えられる。はめ込み合成を行う領域は判定制御
回路93によって指定される。合成回路95において,先に
詳述したはめ込み合成の技術にしたがってはめ込み合成
処理が行われる。合成された画像データはそのまま,ま
たはアナログ映像信号に変換されて出力され,画像の表
示またはプリント・アウトのために使用される。
【0154】バッファ・メモリ91の画像データを用いて
画像表示を行い,その表示画像を見て人間がはめ込み合
成を行うかどうかを判定するようにしてもよい。また,
露光量の異なる2フィールド分の映像信号を磁気テープ
に記録する代わりに,露光量の異なる2フレーム分の映
像信号を磁気テープに記録するようにすることもでき
る。さらに,図18に示す回路の一部の機能はソフトウェ
アによる処理によっても実現できるのはいうまでもな
い。
【0155】図19はさらに他の実施例を示している。こ
の実施例の基本的な考え方は,撮影した画像に一定面積
以上の輝度の高い(飽和している)領域があるかどうか
に加えて,画像に動きがあるかどうかを検知しているこ
とである。そして,一定面積以上の高輝度領域がありか
つ一定以上の動きが無い場合にのみ,2つの画像のはめ
込み合成を行う。
【0156】撮像レンズ101 および絞り102 を通してC
CD103 上に結像した被写体像はCCD103 によって映
像信号に変換され,A/D変換器104 でディジタル画像
データに変換されて画像データ処理回路105 に与えられ
る。画像データ処理回路105には少なくとも2つのバッ
ファ・メモリ(フィールド・メモリまたはフレーム・メ
モリ)を備えている。図16に示す実施例のように,通常
はCCD103 の露光時間は一定であり(たとえば1/60
秒または1/30秒),絞り102 は測光データに基づい
て,主要被写体が適正に露光されるように露光制御回路
109 によって制御されている。
【0157】画像データ処理回路105 の2つのバッファ
・メモリには,一定時間(たとえば1/60秒または1/
30秒)ごとにCCD103 によって撮像されたフィールド
画像またはフレーム画像を表わす画像データが交互に記
憶される。動き検知回路106は2つのバッファ・メモリ
の画像データを用いて,フィールド相関,フレーム相関
等の公知の技術にしたがって撮像被写体の動きを検知
し,検知した動きが所定のスレシホールド値以上の場合
に動き検知信号を発生する。高輝度領域検知回路107 は
2つのバッファ・メモリのいずれか一方の画像データ
(最新の画像データが好ましい)に基づいて,図18に示
す判定制御回路93と同じように,所定レベル以上の高輝
度画像データを抽出し,その画像データが所定面積以上
に広がっているかどうかを判定し,所定面積以上の高輝
度領域があれば高輝度領域検知信号を発生する。
【0158】動き検知回路106 から動き検知信号が出力
されずにかつ高輝度領域検知回路107 から高輝度領域検
知信号が出力された場合にはANDゲート108 から合成
指令が発生し,露光制御回路109 および合成回路110 に
与えられる。この合成指令に応答して露光制御回路109
はCCD103 における電子シャッタの露光時間を,上記
の一定時間の1/2〜1/4程度に設定する。この露光
時間の露光による撮影によって得られた画像データは上
記バッファ・メモリのうちのいずれか(古い方の画像デ
ータが記憶されているメモリが好ましい)に記憶され
る。この後,合成回路110 は2つのバッファ・メモリの
画像データを用いて上述したはめ込み合成を行い,合成
された画像データを出力する。
【0159】動きが検出されているか,または高輝度領
域が検知されない場合にはバッファ・メモリの最新の画
像データが合成回路110 をそのまま通って出力される。
【0160】上記の考え方は,スチル・ビデオ・カメ
ラ,ムービ・ビデオ・カメラおよびムービ/スチル・ビ
デオ・カメラに適用できる。
【0161】スチル・ビデオ・カメラにおいては図19に
示す構成がそのまま採用されよう。上述の動作はシャッ
タ・レリーズ・ボタンが押されたときに開始されること
が好ましい。合成画像データは圧縮処理されてメモリ・
カードに記録されるか,またはD/A変換器によってア
ナログ映像信号に変換されて出力されるもしくはアナロ
グ映像信号がFM変調されて磁気記録媒体に記録され
る。
【0162】ムービ・ビデオ・カメラに応用する場合に
は,動きが検知されずかつ高輝度領域が検知されている
限り,CCD103 は一定時間(1/60秒または1/30
秒)とその1/2〜1/4の時間で交互に露光される。
2つのバッファ・メモリには露光量の多い画像データと
露光量の少ない画像データとが交互に記憶されるから,
その都度両メモリの画像データを用いて合成が可能とな
る。合成画像データはアナログ映像信号に変換され,か
つFM変調されて磁気テープに記録される。または,図
10に示すように2つのCCDが設けられ,アナログ映像
信号のままで合成処理が行われる。動き検知処理および
高輝度領域検知処理においてのみディジタル画像データ
が用いられる。
【0163】ムービ/スチル・ビデオ・カメラに応用す
る場合には,図16に示すように常時はアナログ映像信号
がFM変調されて磁気テープに記録される。そして,シ
ャッタ・レリーズ・ボタンが押されたときに図19に示す
回路が動作して,1フィールドまたは1フレーム分の合
成画像データが得られ,それがアナログ映像信号に変換
されたのち磁気テープの適当なビデオ・トラックに記録
されるか,または後述するようにPCMトラックにPC
M記録される。
【0164】もっとも,カメラにおいて画像合成処理を
必ずしも行う必要はない。図16に示す実施例のように露
光量の少ない画像データを磁気テープに記録するように
してもよい。
【0165】このようにして,動きのないまたは少ない
画像についてのみはめ込み合成が行われるようになる。
【0166】動き検知のみで合成処理を行うかどうかを
判定するようにしてもよいし,高輝度領域検知のみで合
成処理の必要の有無を判定するようにしてもよいのはい
うまでもない。図19に示す回路の一部の機能もまたソフ
トウェアで実現できるのはいうまでもない。
【0167】図20は最後の実施例を示すものであり,ム
ービ/スチル・ビデオ・カメラにこの発明を適用したも
のである。図20において図16に示すものと同一物には同
一符号を付し,重複説明を避ける。
【0168】この実施例では,図21に示すように,磁気
テープ130 に斜めに設けられたトラックがビデオ・トラ
ックTRVとPCMトラックTRP(PCM=Pulse Co
de Modulation :パルス符号変調)とに分割され,これ
らのトラックTRVとTRPに2つの磁気ヘッド87Aお
よび87Bにより別個に信号が記録可能なムービ/スチル
・ビデオ・カメラが用いられている。このようなムービ
/スチル・ビデオ・カメラは特開昭63−9378号公報に開
示されている。この公開公報ではPCMトラックTRP
にPCM静止画像データが記録される。1PCMトラッ
ク当り1水平走査線にそう映像信号が記録される。
【0169】この実施例では合成されたスチル画像を表
わす画像データがPCMトラックTRPに記録される。
一方の磁気ヘッド87AによってFM変調映像信号のビデ
オ・トラックTRVへの記録が終るときに他方の磁気ヘ
ッド87Bによって次のPCMトラックTRPへのPCM
記録が行われる。磁気ヘッド87Aと87Bはビデオ・トラ
ックTRVへの記録とPCMトラックTRPへの記録と
を交換に繰返す。切換回路128 はFM変調回路85から与
えられるFM変調映像信号と後述するPCMエンコーダ
127 から与えられる合成静止画像のPCM信号とを交互
に切換えて磁気ヘッド87Aと87Bに与えるように動作す
る。
【0170】通常のムービ・モードではPCMエンコー
ダ127 からPCM画像信号は出力されないから,FM変
調回路85から出力されるFM変調映像信号のみがビデオ
・トラックTRVに記録される。PCMトラックTRP
には特に映像信号は記録されない。
【0171】シャッタ・レリーズ・ボタン89が押される
と,その直後の1フィールド(または1フレーム)の映
像信号がA/D変換器120 によってディジタル画像デー
タ(第1の画像データ)に変換され切換スイッチ123を
経てバッファ・メモリ121 に記憶される。この映像信号
はまたFM変調されて磁気テープ130 上のビデオ・トラ
ックTR1に記録される。
【0172】それに続く1フィールド(または1フレー
ム)の撮像のためにCCD駆動回路88によってCCD83
における電子シャッタの露光時間がムービ・モードにお
ける露光時間(1/60秒または1/30秒)の1/2〜1
/4に短縮される。このような少ない露光量の下で撮像
された映像信号はFM変調されたのち磁気テープの次の
ビデオ・トラックTR2に記録されるとともに,A/D
変換器120 によってディジタル画像データ(第2の画像
データ)に変換されて,切換スイッチ123 (このとき切
換スイッチは切換えられている)を経てバッファ・メモ
リ122 に記憶される。
【0173】この後,カメラは再び通常のムービ・モー
ドに戻る。
【0174】バッファ・メモリ121 に蓄えられた露光量
の多い第1の画像データとバッファ・メモリ122 に蓄え
られた露光量の少ない第2の画像データとが,合成回路
124において上述した手法によってはめ込み合成されフ
レーム・メモリ125 に一時的に記憶される。フレーム・
メモリ125 に記憶された合成画像データは圧縮回路126
において圧縮処理されたのち,PCMエンコーダ127 に
与えられ,PCM変調されて切換回路128 に入力する。
そして,上述のようにPCMトラックTRPに少量ずつ
記録されていく。データ圧縮回路126 は必ずしも必要で
はない。
【0175】以上のようにして,合成された静止画像デ
ータが磁気テープのPCMトラックに所定量ずつ分割さ
れて記録されることになる。
【0176】CCD83における露光時間を変える代わり
に,図5に示す実施例に関連して説明したように,スト
ロボ発光量を2フィールド(または2フレーム)の画像
撮影において異ならせることにより,露光量の異なる第
1および第2の画像データを得ることができるのはいう
までもない。
【0177】カメラ内で画像データの合成処理を行わず
に,合成前の第2の画像データ(必要ならば第1の画像
データも)をPCMトラックにPCM記録するようにし
てもよい。
【図面の簡単な説明】
【図1】カメラの視野内のシーンを示す。
【図2】イメージ・センサの光電変換特性と輝度につい
てのヒストグラムを示すグラフである。
【図3】(A) は相対的に多い露光量で撮影された画像を
示し,(B)は少ない露光量で撮影された画像を示す。
【図4】合成された画像の輝度ヒストグラムを示すグラ
フである。
【図5】この発明をスチル・ビデオ・カメラに適用した
実施例を示すブロック図である。
【図6】画像データのサンプル点を示す。
【図7】(A) は映像信号の一例を示す波形図,(B) はL
PFを通したのちの映像信号を示す波形図である。
【図8】(A) から(C) は一定幅以上の明るい領域を検出
する処理を示す波形図である。
【図9】明るい領域と暗い領域の境界において画像デー
タの加重平均をとる回路例を示すブロック図である。
【図10】リアル・タイムで映像信号のはめ込み合成を
行う実施例を示すブロック図である。
【図11】はめ込み処理についての他の実施例を示すブ
ロック図である。
【図12】(A) は多い露光量で撮影された画像を示し,
(B) は少ない露光量で撮影された画像を示し,(C) はマ
スク・パターンを示し,(D) はエッジ・パターンを示
す。
【図13】(A) はレベル圧縮のためのLUTの特性を示
すグラフ,(B) はエンハンスメント処理の特性を示すグ
ラフである。
【図14】マスク・パターンを作成する回路を示すブロ
ック図である。
【図15】エッジ・パターンを作成する回路を示すブロ
ック図である。
【図16】この発明をムービ/スチル・ビデオ・カメラ
に適用した実施例を示すブロック図である。
【図17】磁気テープ上のビデオ・トラックを示す。
【図18】画像合成回路の一例を示すブロック図であ
る。
【図19】他の実施例を示すブロック図である。
【図20】合成画像データをPCM記録する実施例を示
すブロック図である。
【図21】磁気テープ上のビデオ・トラックとPCMト
ラックを示す。
【符号の説明】
SL 相対的に暗い領域 SH 相対的に明るい領域 10,49,109 露光制御回路 11,41 撮像レンズ 12,42 絞り 13 シャッタ 14,44,45,83,103 CCD 18,94 切換回路 20 CPU 21,22,91,92,121 ,122 ,125 画像メモリ 23 キー信号メモリ 24,37a,37b,56,65 マルチプレクサ 27 測光素子 28 ストロボ装置 30a,30b,31a,31b,32a,32b,33a,33b,34
a,34b 乗算器 35 加算器 36 割算器 43 ビーム・スプリッタ 48 AGC 51,71 LPF 52,72,73,75 比較器 53 パルス幅検出回路 54,55 遅延回路 61 マスク・パターン・メモリ 62 エッジ・パターン・メモリ 63 マスク・パターンおよびエッジ・パターン作成部 64 非線形処理部 66 ブレンド部 74,78 エッジ検出回路 79 ダイリューション部 80,130 磁気テープ 88 CCD駆動回路 89 シャッタ・レリーズ・ボタン 85 FM変調回路 87,87A,87B 磁気ヘッド 93 判定制御部 95,110 ,124 合成回路 106 動き検知回路 107 高輝度領域検知回路 127 PCMエンコーダ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 乾谷 正史 東京都港区西麻布2丁目26番30号 富士写 真フイルム株式会社内 (72)発明者 益金 和行 宮城県黒川郡大和町松坂平1丁目6番地 富士フイルムマイクロデバイス株式会社内

Claims (49)

    【特許請求の範囲】
  1. 【請求項1】 2つの異なる露光量で被写体を撮像し,
    露光量の異なる2つの画像をそれぞれ表わす画像信号を
    出力する撮像手段,および露光量の多い画像を表わす画
    像信号において,その画像における輝度が相対的に高い
    領域を表わす画像信号を,露光量の少ない画像における
    対応する領域を表わす画像信号で置換する,または露光
    量の少ない画像を表わす画像信号において,その画像に
    おける輝度が相対的に低い領域を表わす画像信号を,露
    光量の多い画像における対応する領域を表わす画像信号
    で置換することにより,合成された画像信号を作成する
    手段, を備えたビデオ・カメラ。
  2. 【請求項2】 カメラの視野内において輝度が相対的に
    低い領域に対して適正な露光量と,輝度が相対的に高い
    領域に対して適正な露光量とをそれぞれ決定する手段を
    備え, 上記撮像手段は決定された2種類の露光量でそれぞれ被
    写体を2回撮影するものである, 請求項1に記載のビデオ・カメラ。
  3. 【請求項3】 上記撮像手段が, 入射光をあらかじめ定められた露光量の比に応じて分割
    するビーム・スプリッタ手段,およびこのビーム・スプ
    リッタ手段によって分割された2つの入射光をそれぞれ
    受光し,画像信号を出力する2つの固体電子撮像素子, を含む請求項1に記載のビデオ・カメラ。
  4. 【請求項4】 上記撮像手段が, 入射光像を表わす画像信号を出力する固体電子撮像素
    子,および常時は露光時間が一定となるように上記固体
    電子撮像素子を駆動し,合成画像作成指令に応答して上
    記一定露光時間よりも短い露光時間となるように上記固
    体電子撮像素子を駆動する手段, を備えた請求項1に記載のビデオ・カメラ。
  5. 【請求項5】 上記合成画像信号作成手段が, 露光量の多い画像を表わす第1の画像信号を記憶する第
    1の記憶手段, 露光量の少ない画像を表わす第2の画像信号を記憶する
    第2の記憶手段, 上記第1の記憶手段に記憶されている第1の画像信号に
    より表わされる画像における輝度が相対的に高い領域,
    または上記第2の記憶手段に記憶されている第2の画像
    信号により表わされる画像における輝度が相対的に低い
    領域を判定する手段,および上記第1の画像信号におけ
    る上記判定手段によって判定された高輝度領域以外を表
    わす画像信号と上記第2の画像信号における上記高輝度
    領域に対応する領域を表わす画像信号とを合成する,ま
    たは上記第2の画像信号における上記判定手段によって
    判定された低輝度領域以外を表わす画像信号と上記第1
    の画像信号における上記低輝度領域に対応する領域を表
    わす画像信号とを合成する合成手段, を含んでいる請求項1に記載のビデオ・カメラ。
  6. 【請求項6】 上記判定手段が判定した領域を表わす領
    域指定信号を記憶する第3の記憶手段を含み, 上記合成手段が,上記第1および第2の記憶手段から同
    期して読出される第1および第2の画像信号のいずれか
    を上記第3の記憶手段から読出される領域指定信号にし
    たがって選択して出力する切換手段を含んでいる, 請求項5に記載のビデオ・カメラ。
  7. 【請求項7】 上記判定手段が,上記第1の画像信号ま
    たは第2の画像信号を所定のスレシホールド・レベルと
    比較する比較手段を含んでいる請求項5に記載のビデオ
    ・カメラ。
  8. 【請求項8】 上記判定手段が, 上記第1の画像信号または第2の画像信号をロウ・パス
    ・フィルタリングする手段,およびロウ・パス・フィル
    タリングされた画像信号を所定のスレシホールド・レベ
    ルと比較する比較手段, を含んでいる請求項5に記載のビテオ・カメラ。
  9. 【請求項9】 上記判定手段が,上記第1の画像信号に
    より表わされる画像における輝度が相対的に高くかつ所
    定値以上の面積もしくは長さをもつ領域,または第2の
    画像信号により表わされる画像における輝度が相対的に
    低くかつ所定値以上の面積もしくは長さをもつ領域を抽
    出するものである,請求項5に記載のビデオ・カメラ。
  10. 【請求項10】 上記合成手段が,第1の画像信号を部
    分的に第2の画像信号で置換する,または第2の画像信
    号を部分的に第1の画像信号で置換する際に生ずる境界
    近傍において両画像信号の加重平均値を表わす信号を作
    成する手段を含んでいる,請求項5に記載のビデオ・カ
    メラ。
  11. 【請求項11】 上記合成手段が,第1の画像信号を部
    分的に第2の画像信号で置換する,または第2の画像信
    号を部分的に第1の画像信号で置換する際に生ずる境界
    近傍において画像信号をロウ・パス・フィルタリングす
    る手段を含んでいる,請求項5に記載のビデオ・カメ
    ラ。
  12. 【請求項12】 上記合成画像信号作成手段が, 露光量の多い画像を表わす第1のアナログ映像信号と所
    定のスレシホールド・レベルとを比較し,第1のアナロ
    グ映像信号のレベルが上記スレシホールド・レベルを超
    えているときに出力を発生する比較器,ならびに上記第
    1のアナログ映像信号およびこれと同期して与えられる
    露光量の少ない画像を表わす第2のアナログ映像信号を
    入力とし,常時は上記第1のアナログ映像信号を選択し
    て出力し,上記比較器の出力が与えられたときに上記第
    2のアナログ映像信号を選択して出力するマルチプレク
    サ, を備えている請求項1に記載のビデオ・カメラ。
  13. 【請求項13】 上記第1のアナログ映像信号の高周波
    成分を除去する低域通過フィルタをさらに備え,この低
    域通過フィルタの出力が上記比較器に与えられる,請求
    項12に記載のビデオ・カメラ。
  14. 【請求項14】 上記比較器の出力信号の時間幅が所定
    の基準幅以上の場合に上記出力信号を上記マルチプレク
    サに与える時間幅検出回路,ならびに上記第1および第
    2のアナログ映像信号を上記基準幅に相当する時間遅延
    させて上記マルチプレクサにそれぞれ与える遅延回路, をさらに備えた請求項12に記載のビテオ・カメラ。
  15. 【請求項15】 カメラの視野内における距離が異なる
    2つの領域に対してそれぞれ適切な露光量となる発光量
    のストロボ発光を2回実行するストロボ発光手段をさら
    に備えた請求項1に記載のビデオ・カメラ。
  16. 【請求項16】 カメラの視野内において輝度が相対的
    に高い領域に対して適正な露光量と,輝度が相対的に低
    い領域に対して適正な露光量とをそれぞれ決定する手
    段, 固体電子撮像素子を含み,決定された2つの異なる露光
    量で被写体を2回撮像し,この撮像により得られた画像
    を表わす映像信号を上記固体電子撮像素子からそれぞれ
    出力する撮像手段, 上記撮像手段から出力される映像信号をそれに対応する
    ディジタル画像データにそれぞれ変換するA/D変換手
    段, A/D変換された露光量の多い画像を表わす第1のディ
    ジタル画像データを記憶する第1の記憶手段, A/D変換された露光量の少ない画像を表わす第2のデ
    ィジタル画像データを記憶する第2の記憶手段, 上記第1の記憶手段に記憶されている第1の画像データ
    により表わされる画像における輝度が相対的に高い領域
    を抽出する手段,および上記第1の画像データにおい
    て,上記抽出手段により抽出された高輝度領域の画像デ
    ータを,上記第2の記憶手段に記憶されている上記第2
    の画像データの対応する領域の画像データによって置換
    することにより合成画像データを作成する画像合成手
    段, を備えたスチル・ビデオ・カメラ。
  17. 【請求項17】 カメラの視野内における距離が異なる
    2つの領域に対してそれぞれ適切な露光量となる発光量
    のストロボ発光を2回実行するストロボ発光手段, 上記ストロボ発光手段によるストロボ発光に同期して被
    写体を2回撮像し,この撮像により得られた画像を表わ
    す映像信号をそれぞれ出力する撮像手段, 上記撮像手段から出力される映像信号をそれに対応する
    ディジタル画像データにそれぞれ変換するA/D変換手
    段, A/D変換された一方の画像を表わす第1のディジタル
    画像データを記憶する第1の記憶手段, A/D変換された他方の画像を表わす第2のディジタル
    画像データを記憶する第2の記憶手段, 上記第1の記憶手段に記憶されている第1の画像データ
    により表わされる画像における輝度が相対的に高い領域
    を抽出する手段,および上記第1の画像データにおい
    て,上記抽出手段により抽出された高輝度領域の画像デ
    ータを,上記第2の記憶手段に記憶されている上記第2
    の画像データの対応する領域の画像データによって置換
    することにより合成画像データを作成する画像合成手
    段, を備えたスチル・ビデオ・カメラ。
  18. 【請求項18】 入射光をあらかじめ定められた露光量
    の比に応じて分割するビーム・スプリッタ手段,および
    このビーム・スプリッタ手段によって分割された2つの
    入射光をそれぞれ受光し,アナログ映像信号を出力する
    2つの固体電子撮像素子, を備えたビデオ・カメラ。
  19. 【請求項19】 入射光をあらかじめ定められた露光量
    の比に応じて分割するビーム・スプリッタ手段, このビーム・スプリッタ手段によって分割された2つの
    入射光をそれぞれ受光し,アナログ映像信号を出力する
    2つの固体電子撮像素子, 露光量の多い固体電子撮像素子から出力される第1のア
    ナログ映像信号と所定のスレシホールド・レベルとを比
    較し,第1のアナログ映像信号のレベルが上記スレシホ
    ールド・レベルを超えているときに出力を発生する比較
    器,ならびに上記第1のアナログ映像信号およびこれと
    同期して与えられる露光量の少ない固体電子撮像素子か
    ら出力される第2のアナログ映像信号を入力とし,常時
    は上記第1のアナログ映像信号を選択して出力し,上記
    比較器の出力が与えられたときに上記第2のアナログ映
    像信号を選択して出力するマルチプレクサ, を備えたビデオ・カメラ。
  20. 【請求項20】 上記第2のアナログ映像信号のレベル
    を調整する自動ゲイン制御増幅回路が設けられている,
    請求項19に記載のビデオ・カメラ。
  21. 【請求項21】 固体電子撮像素子を含み,一定周期で
    被写体像を表わす映像信号を出力する撮像手段, 合成静止画像の撮像要求を入力するシャッタ・レリーズ
    ・ボタン, 常時は露光時間が一定となるように上記固体電子撮像素
    子を駆動し,上記シャッタ・レリーズ・ボタンからの入
    力に応答して,上記一定露光時間よりも短い露光時間と
    なるように上記固体電子撮像素子を駆動する手段,およ
    び上記固体電子撮像素子から出力される映像信号を順次
    磁気テープに記録する手段, を備えたビデオ・カメラ。
  22. 【請求項22】 固体電子撮像素子を含み,一定周期で
    被写体像を表わす映像信号を出力する撮像手段, 合成静止画像の撮像要求を入力するシャッタ・レリーズ
    ・ボタン, 常時は露光時間が一定となるように上記固体電子撮像素
    子を駆動し,上記シャッタ・レリーズ・ボタンからの入
    力があったときに,その直後の第1の一画像の撮像につ
    いては上記一定露光時間となり,それに続く第2の一画
    像の撮像については上記一定露光時間よりも短い露光時
    間となるように上記固体電子撮像素子を駆動する手段, 上記固体電子撮像素子から出力される映像信号をそれに
    対応するディジタル画像データに変換するA/D変換手
    段, A/D変換された上記第1の画像の画像データを記憶す
    る第1の記憶手段, A/D変換された上記第2の画像の画像データを記憶す
    る第2の記憶手段, 上記第1の記憶手段に記憶された第1の画像データにお
    いて,その画像における輝度が相対的に高い領域を表わ
    す画像データを,第2の記憶手段に記憶された第2の画
    像データにおける対応する領域を表わす画像データで置
    換することにより合成された画像データを出力する画像
    合成手段, 上記固体電子撮像素子から出力される映像信号を変調す
    る第1の変調手段, 上記画像合成手段から得られる合成画像データをPCM
    変調する第2の変調手段,ならびに上記第1の変調手段
    から出力される信号を磁気テープのビデオ・トラック
    に,上記第2の変調手段から出力される信号を所定長ず
    つ磁気テープのPCMトラックにそれぞれ記録する手
    段, を備えたビデオ・カメラ。
  23. 【請求項23】 固体電子撮像素子を含み,被写体像を
    表わす画像信号を出力する撮像手段, 撮像手段から得られる画像信号に基づいて被写体に所定
    量以上の動きがあるかどうかを判定する動き検知手段, 上記動き検知手段によって動きが検知されていないこと
    を条件に2つの異なる露光量で上記撮像手段が被写体を
    撮像するように露光量を制御する手段,および露光量の
    大きい画像を表わす画像信号において,その画像におけ
    る輝度が相対的に高い領域を表わす画像信号を,露光量
    の小さい画像における対応する領域を表わす画像信号で
    置換することにより合成画像信号を作成する手段, を備えたビデオ・カメラ。
  24. 【請求項24】 上記露光量の多い画像を表わす画像信
    号において,その画像における輝度が相対的に高い領域
    の大きさが所定面積以上あるかどうかを判定する高輝度
    領域検知手段をさらに備え, 上記露光量制御手段は,上記動き検知手段によって動き
    が検知されていずかつ上記高輝度領域検知手段によって
    高輝度領域が検知されていることを条件に,2つの異な
    る露光量による撮像が可能となるように露光量を制御す
    る, 請求項23に記載のビデオ・カメラ。
  25. 【請求項25】 撮影した被写体像を表わす映像信号を
    出力する固体電子撮像素子と,この固体電子撮像素子に
    おける露光量を調整する手段とを備えたビデオ・カメラ
    を用い, カメラの視野内において輝度が相対的に低い領域に対し
    て適切な露光量を設定して第1回目の撮影を行い, 続いて輝度が相対的に高い領域に対して適切な露光量を
    設定して第2回目の撮影を行う, ビデオ・カメラを用いた撮影方法。
  26. 【請求項26】 上記2回の撮影により上記固体電子撮
    像素子から出力される映像信号またはこの映像信号をA
    /D変換して得られるディジタル画像データを,記録媒
    体に別個に記録する,請求項25に記載のビデオ・カメラ
    を用いた撮影方法。
  27. 【請求項27】 撮影した被写体像を表わす映像信号を
    出力する第1の固体電子撮像素子と,この第1の固体電
    子撮像素子における露光量を調整する手段とを備えたビ
    デオ・カメラにおいて, 第2の固体電子撮像素子と,入射光をあらかじめ定めら
    れた露光量の比に応じて分割して上記第1および第2の
    固体電子撮像素子に導くビーム・スプリッタ手段とを設
    け, 上記第1および第2の固体電子撮像手段によって,被写
    体を異なる2つの露光量で同時に撮影する, ビデオ・カメラを用いた撮影方法。
  28. 【請求項28】 2つの異なる露光量で被写体を撮像
    し,露光量の異なる2つの画像をそれぞれ表わす画像信
    号を得, 露光量の多い画像を表わす画像信号において,その画像
    における輝度が相対的に高い領域を表わす画像信号を,
    露光量の少ない画像における対応する領域を表わす画像
    信号で置換する,または露光量の少ない画像を表わす画
    像信号において,その画像における輝度が相対的に低い
    領域を表わす画像信号を,露光量の多い画像における対
    応する領域を表わす画像信号で置換することにより,合
    成画像信号を作成する, ビデオ・カメラの動作方法。
  29. 【請求項29】 カメラの視野内において輝度が相対的
    に高い領域に対して適正な露光量と,輝度が相対的に低
    い領域に対して適正な露光量とをそれぞれ決定し,決定
    された2種類の露光量でそれぞれ被写体を2回撮影する
    ことにより露光量の異なる2つの画像信号を得る,請求
    項28に記載のビデオ・カメラの動作方法。
  30. 【請求項30】 常時は露光時間が一定となるように固
    体電子撮像素子を駆動し,合成画像作成指令に応答して
    上記一定露光時間よりも短い露光時間となるように固体
    電子撮像素子を駆動することにより露光量の異なる2つ
    の画像信号を得る,請求項28に記載のビデオ・カメラの
    動作方法。
  31. 【請求項31】 上記固体電子撮像素子から得られる画
    像信号に基づいて被写体像の動きを検知し,被写体像の
    動きが一定量以上のときには上記一定露光時間による露
    光を継続する,請求項30に記載のビデオ・カメラの動作
    方法。
  32. 【請求項32】 カメラの視野内における距離の異なる
    2つの領域に対してそれぞれ適切な露光量となる発光量
    のストロボ発光を2回実行することにより2つの画像信
    号を得る,請求項28に記載のビデオ・カメラの動作方
    法。
  33. 【請求項33】 露光量の多い画像を表わす第1の画像
    データを記憶する第1の記憶手段, 露光量の少ない画像を表わす第2の画像データを記憶す
    る第2の記憶手段, 上記第1の記憶手段に記憶されている第1の画像データ
    により表わされる画像における輝度が相対的に高い領
    域,または上記第2の記憶手段に記憶されている第2の
    画像データにより表わされる画像における輝度が相対的
    に低い領域を判定する手段,および上記第1の画像デー
    タにおける上記判定手段によって判定された高輝度領域
    以外を表わす画像データと上記第2の画像データにおけ
    る上記高輝度領域に対応する領域を表わす画像データと
    を合成する,または上記第2の画像データにおける上記
    判定手段によって判定された低輝度領域以外を表わす画
    像データと上記第1の画像データにおける上記低輝度領
    域に対応する領域を表わす画像データとを合成する合成
    手段, を備えた画像処理装置。
  34. 【請求項34】 上記判定手段が判定した領域を表わす
    領域指定データを記憶する第3の記憶手段を含み, 上記合成手段が,上記第1および第2の記憶手段から同
    期して読出される第1および第2の画像データのいずれ
    かを上記第3の記憶手段から読出される領域指定データ
    にしたがって選択して出力する切換手段を含んでいる, 請求項33に記載の画像処理装置。
  35. 【請求項35】 上記判定手段が,上記第1の画像デー
    タまたは第2の画像データを所定のスレシホールド・レ
    ベル・データと比較する比較手段を含んでいる請求項33
    に記載の画像処理装置。
  36. 【請求項36】 上記判定手段が, 上記第1の画像データまたは第2の画像データをロウ・
    パス・フィルタリングする手段,およびロウ・パス・フ
    ィルタリングされた画像データを所定のスレシホールド
    ・レベル・データと比較する比較手段, を含んでいる請求項33に記載の画像処理装置。
  37. 【請求項37】 上記判定手段が,上記第1の画像デー
    タにより表わされる画像における輝度が相対的に高くか
    つ所定値以上の面積もしくは長さをもつ領域,または上
    記第2の画像データにより表わされる画像における輝度
    が相対的に低くかつ所定値以上の面積もしくは長さをも
    つ領域を抽出するものである,請求項33に記載の画像処
    理装置。
  38. 【請求項38】 上記合成手段が,第1の画像データと
    第2の画像データとの境界近傍において両画像データの
    加重平均値を表わす信号を作成する手段を含んでいる,
    請求項33に記載の画像処理装置。
  39. 【請求項39】 上記合成手段が,第1の画像信号と第
    2の画像信号との境界近傍において画像信号をロウ・パ
    ス・フィルタリングする手段を含んでいる,請求項33に
    記載の画像処理装置。
  40. 【請求項40】 露光量の多い画像を表わす第1のアナ
    ログ映像信号と所定のスレシホールド・レベルとを比較
    し,第1のアナログ映像信号のレベルが上記スレシホー
    ルド・レベルを超えているときに出力を発生する比較
    器,ならびに上記第1のアナログ映像信号およびこれと
    同期して与えられる露光量の少ない画像を表わす第2の
    アナログ映像信号を入力とし,常時は上記第1のアナロ
    グ映像信号を選択して出力し,上記比較器の出力が与え
    られたときに上記第2のアナログ映像信号を選択して出
    力するマルチプレクサ, を備えた画像処理装置。
  41. 【請求項41】 上記第1のアナログ映像信号の高周波
    成分を除去する低域通過フィルタをさらに備え,この低
    域通過フィルタの出力が上記比較器に与えられる,請求
    項40に記載の画像処理装置。
  42. 【請求項42】 上記比較器の出力信号の時間幅が所定
    の基準幅以上の場合に上記出力信号を上記マルチプレク
    サに与える時間幅検出回路,および上記第1および第2
    のアナログ映像信号を上記基準幅に相当する時間遅延さ
    せて上記マルチプレクサにそれぞれ与える遅延回路, をさらに備えた請求項40に記載の画像処理装置。
  43. 【請求項43】 2つの異なる露光量で被写体を撮像す
    ることにより得られる露光量の異なる2つの画像をそれ
    ぞれ表わす画像データを与え, 露光量の多い画像を表わす画像データにおいて,その画
    像における輝度が相対的に高い領域を表わす画像データ
    を,露光量の少ない画像における対応する領域を表わす
    画像データで置換する,または露光量の少ない画像を表
    わす画像データにおいて,その画像における輝度が相対
    的に低い領域を表わす画像データを,露光量の多い画像
    における対応する領域を表わす画像データで置換するこ
    とにより,合成画像データを作成する, 画像処理方法。
  44. 【請求項44】 露光量の多い画像を表わす第1の画像
    データを第1の記憶手段に記憶し, 露光量の少ない画像を表わす第2の画像データを第2の
    記憶手段に記憶し, 上記第1の記憶手段に記憶されている第1の画像データ
    により表わされる画像における輝度が相対的に高い領
    域,または上記第2の記憶手段に記憶されている第2の
    画像データにより表わされる画像における輝度が相対的
    に低い領域を判定し, 上記第1の画像データにおける上記判定手段によって判
    定された高輝度領域以外を表わす画像データと上記第2
    の画像データにおける上記高輝度領域に対応する領域を
    表わす画像データとを合成する,または上記第2の画像
    データにおける上記判定手段によって判定された低輝度
    領域以外を表わす画像データと上記第1の画像データに
    おける上記低輝度領域に対応する領域を表わす画像デー
    タとを合成することにより合成画像データを作成する, 請求項43に記載の画像処理方法。
  45. 【請求項45】 上記の判定した領域を表わす領域指定
    データを第3の記憶手段に記憶し, 上記第1および第2の記憶手段から第1および第2の画
    像データを,上記第3の記憶手段から領域指定データを
    それぞれ同期して読出し,上記第1および第2の記憶手
    段から同期して読出される第1および第2の画像データ
    のいずれかを上記第3の記憶手段から読出される領域指
    定データにしたがって選択することにより合成画像デー
    タを得る, 請求項44に記載の画像処理方法。
  46. 【請求項46】 上記第1の画像データまたは第2の画
    像データをロウ・パス・フィルタリングし,ロウ・パス
    ・フィルタリングされた画像データを所定のスレシホー
    ルド・レベル・データと比較することにより上記の領域
    の判定を行う,請求項44に記載の画像処理方法。
  47. 【請求項47】 上記第1の画像データにより表わされ
    る画像における輝度が相対的に高くかつ所定値以上の面
    積もしくは長さをもつ領域,または上記第2の画像デー
    タにより表わされる画像における輝度が相対的に低くか
    つ所定値以上の面積もしくは長さをもつ領域を抽出す
    る,請求項44に記載の画像処理方法。
  48. 【請求項48】 上記合成画像データ作成において,第
    1の画像データを部分的に第2の画像データで置換す
    る,または第2の画像データを部分的に第1の画像デー
    タで置換する際に生ずる境界近傍において両画像データ
    の加重平均を表わすデータを作成する,請求項44に記載
    の画像処理方法。
  49. 【請求項49】 上記合成画像データ作成において,第
    1の画像データを部分的に第2の画像データで置換す
    る,または第2の画像データを部分的に第1の画像デー
    タで置換する際に生ずる境界近傍において画像データを
    ロウ・パス・フィルタリングする,請求項44に記載の画
    像処理方法。
JP03244090A 1991-08-30 1991-08-30 ビデオ・カメラ,それを用いた撮影方法およびその動作方法,ならびに画像処理装置および方法 Expired - Fee Related JP3082971B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP03244090A JP3082971B2 (ja) 1991-08-30 1991-08-30 ビデオ・カメラ,それを用いた撮影方法およびその動作方法,ならびに画像処理装置および方法
US07/936,845 US5420635A (en) 1991-08-30 1992-08-28 Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03244090A JP3082971B2 (ja) 1991-08-30 1991-08-30 ビデオ・カメラ,それを用いた撮影方法およびその動作方法,ならびに画像処理装置および方法

Publications (2)

Publication Number Publication Date
JPH0564075A true JPH0564075A (ja) 1993-03-12
JP3082971B2 JP3082971B2 (ja) 2000-09-04

Family

ID=17113596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03244090A Expired - Fee Related JP3082971B2 (ja) 1991-08-30 1991-08-30 ビデオ・カメラ,それを用いた撮影方法およびその動作方法,ならびに画像処理装置および方法

Country Status (1)

Country Link
JP (1) JP3082971B2 (ja)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0725536A3 (en) * 1995-02-03 1997-05-28 Canon Kk Method and apparatus for shooting with dynamic range expansion
EP0746166A3 (en) * 1995-06-02 1998-04-01 Canon Kabushiki Kaisha Image sensing apparatus and method
JP2004048455A (ja) * 2002-07-12 2004-02-12 Niles Co Ltd 撮像システム
US6710802B2 (en) 1995-03-28 2004-03-23 Matsushita Electric Industrial Co., Ltd. Image recording apparatus and image reproducing apparatus
JP2005117635A (ja) * 2003-09-16 2005-04-28 Fuji Photo Film Co Ltd カメラシステム、カメラ制御方法、及びプログラム
JP2006245909A (ja) * 2005-03-02 2006-09-14 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
JP2006313965A (ja) * 2005-05-06 2006-11-16 Casio Comput Co Ltd 撮影装置、撮影画像処理方法及びプログラム
US7301563B1 (en) 1998-07-28 2007-11-27 Olympus Optical Co., Ltd. Image pickup apparatus
JP2008054200A (ja) * 2006-08-28 2008-03-06 Olympus Corp 撮像装置及び画像処理プログラム
US7479998B2 (en) 2001-01-09 2009-01-20 Sony Corporation Image pickup and conversion apparatus
JP2009134100A (ja) * 2007-11-30 2009-06-18 Sunx Ltd 拡大観察装置
JP2009213184A (ja) * 2009-06-25 2009-09-17 Olympus Corp 撮像装置
KR100925191B1 (ko) * 2008-02-25 2009-11-06 엘지전자 주식회사 카메라의 백라이트 보정 장치 및 방법
JP2010011153A (ja) * 2008-06-27 2010-01-14 Fujifilm Corp 撮像装置、撮像方法及びプログラム
US7733520B2 (en) 1999-10-04 2010-06-08 Fujifilm Corporation Digital camera and method of controlling the same and apparatus for and method of outputting image
US7847829B2 (en) 2001-01-09 2010-12-07 Sony Corporation Image processing apparatus restoring color image signals
JP2011031027A (ja) * 2009-07-09 2011-02-17 Canon Inc 眼科撮像装置及び眼科撮像方法
US8144218B2 (en) 2006-11-09 2012-03-27 Olympus Corporation Image signal processing apparatus, image signal processing program, and image signal processing method
JP2013510693A (ja) * 2009-11-17 2013-03-28 オプトメッド オサケ ユキチュア 器官を画像化する方法と検査装置
JP2013255857A (ja) * 2009-07-09 2013-12-26 Canon Inc 眼科撮像装置及び眼科撮像方法
US8655098B2 (en) 2007-03-13 2014-02-18 Olympus Corporation Image signal processing apparatus and computer-readable recording medium recording image signal processing program
JP2014147047A (ja) * 2013-01-30 2014-08-14 Fujitsu Semiconductor Ltd 画像処理装置、方法、及びプログラム、並びに撮像装置
KR20190054069A (ko) 2016-09-23 2019-05-21 소니 세미컨덕터 솔루션즈 가부시키가이샤 신호 처리 장치, 촬영 장치 및 신호 처리 방법
KR102110314B1 (ko) * 2018-12-11 2020-05-14 경북대학교 산학협력단 다중 노출 촬영 시스템 및 제어 방법
US10805548B2 (en) 2016-07-15 2020-10-13 Sony Semiconductor Solutions Corporation Signal processing apparatus, imaging apparatus, and signal processing method
CN112672070A (zh) * 2020-12-30 2021-04-16 惠州华阳通用电子有限公司 一种摄像头拍摄参数调节方法
US11082626B2 (en) 2017-06-12 2021-08-03 Sony Semiconductor Solutions Corporation Image processing device, imaging device, and image processing method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014134033A (ja) * 2013-01-10 2014-07-24 Asahi Sekizai Kogyo:Kk 燈明台
KR102579308B1 (ko) 2020-12-01 2023-09-27 정명희 완전연소를 위한 이중관 타입의 팜초

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0725536A3 (en) * 1995-02-03 1997-05-28 Canon Kk Method and apparatus for shooting with dynamic range expansion
US6710802B2 (en) 1995-03-28 2004-03-23 Matsushita Electric Industrial Co., Ltd. Image recording apparatus and image reproducing apparatus
CN1301618C (zh) * 1995-03-28 2007-02-21 松下电器产业株式会社 图像记录设备和图像再现设备
EP0746166A3 (en) * 1995-06-02 1998-04-01 Canon Kabushiki Kaisha Image sensing apparatus and method
US7301563B1 (en) 1998-07-28 2007-11-27 Olympus Optical Co., Ltd. Image pickup apparatus
US7755664B2 (en) 1998-07-28 2010-07-13 Olympus Optical Co., Ltd Image pickup apparatus
US7733520B2 (en) 1999-10-04 2010-06-08 Fujifilm Corporation Digital camera and method of controlling the same and apparatus for and method of outputting image
US7889383B2 (en) 1999-10-04 2011-02-15 Fujifilm Corporation Digital camera and method of controlling the same and apparatus for and method of outputting image
USRE46557E1 (en) 2001-01-09 2017-09-19 Sony Semiconductor Solutions Corporation Image processing apparatus and method for generating a restoration image
US7479998B2 (en) 2001-01-09 2009-01-20 Sony Corporation Image pickup and conversion apparatus
USRE47062E1 (en) 2001-01-09 2018-09-25 Sony Semiconductor Solutions Corporation Image processing apparatus and method for generating a restoration image
US7847829B2 (en) 2001-01-09 2010-12-07 Sony Corporation Image processing apparatus restoring color image signals
US7986360B2 (en) 2001-01-09 2011-07-26 Sony Corporation Image processing apparatus and method for generating a restoration image
JP2004048455A (ja) * 2002-07-12 2004-02-12 Niles Co Ltd 撮像システム
JP2005117635A (ja) * 2003-09-16 2005-04-28 Fuji Photo Film Co Ltd カメラシステム、カメラ制御方法、及びプログラム
JP2006245909A (ja) * 2005-03-02 2006-09-14 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
JP2006313965A (ja) * 2005-05-06 2006-11-16 Casio Comput Co Ltd 撮影装置、撮影画像処理方法及びプログラム
JP4595660B2 (ja) * 2005-05-06 2010-12-08 カシオ計算機株式会社 撮影装置、撮影画像処理方法及びプログラム
JP2008054200A (ja) * 2006-08-28 2008-03-06 Olympus Corp 撮像装置及び画像処理プログラム
US8144218B2 (en) 2006-11-09 2012-03-27 Olympus Corporation Image signal processing apparatus, image signal processing program, and image signal processing method
US8655098B2 (en) 2007-03-13 2014-02-18 Olympus Corporation Image signal processing apparatus and computer-readable recording medium recording image signal processing program
JP2009134100A (ja) * 2007-11-30 2009-06-18 Sunx Ltd 拡大観察装置
KR100925191B1 (ko) * 2008-02-25 2009-11-06 엘지전자 주식회사 카메라의 백라이트 보정 장치 및 방법
EP2094003A3 (en) * 2008-02-25 2011-10-05 LG Electronics Inc. Apparatus and method for correcting backlight of camera
US8199234B2 (en) 2008-02-25 2012-06-12 Lg Electronics Inc. Apparatus and method for correcting backlight of camera
JP2010011153A (ja) * 2008-06-27 2010-01-14 Fujifilm Corp 撮像装置、撮像方法及びプログラム
JP4528349B2 (ja) * 2009-06-25 2010-08-18 オリンパス株式会社 撮像装置
JP2009213184A (ja) * 2009-06-25 2009-09-17 Olympus Corp 撮像装置
US8118430B2 (en) 2009-07-09 2012-02-21 Canon Kabushiki Kaisha Opthalmologic imaging apparatus and opthalmologic imaging method
JP2013255857A (ja) * 2009-07-09 2013-12-26 Canon Inc 眼科撮像装置及び眼科撮像方法
JP2011031027A (ja) * 2009-07-09 2011-02-17 Canon Inc 眼科撮像装置及び眼科撮像方法
JP2013510693A (ja) * 2009-11-17 2013-03-28 オプトメッド オサケ ユキチュア 器官を画像化する方法と検査装置
JP2014147047A (ja) * 2013-01-30 2014-08-14 Fujitsu Semiconductor Ltd 画像処理装置、方法、及びプログラム、並びに撮像装置
US10805548B2 (en) 2016-07-15 2020-10-13 Sony Semiconductor Solutions Corporation Signal processing apparatus, imaging apparatus, and signal processing method
KR20190054069A (ko) 2016-09-23 2019-05-21 소니 세미컨덕터 솔루션즈 가부시키가이샤 신호 처리 장치, 촬영 장치 및 신호 처리 방법
US11082626B2 (en) 2017-06-12 2021-08-03 Sony Semiconductor Solutions Corporation Image processing device, imaging device, and image processing method
KR102110314B1 (ko) * 2018-12-11 2020-05-14 경북대학교 산학협력단 다중 노출 촬영 시스템 및 제어 방법
CN112672070A (zh) * 2020-12-30 2021-04-16 惠州华阳通用电子有限公司 一种摄像头拍摄参数调节方法
CN112672070B (zh) * 2020-12-30 2022-07-26 惠州华阳通用电子有限公司 一种摄像头拍摄参数调节方法

Also Published As

Publication number Publication date
JP3082971B2 (ja) 2000-09-04

Similar Documents

Publication Publication Date Title
JP3082971B2 (ja) ビデオ・カメラ,それを用いた撮影方法およびその動作方法,ならびに画像処理装置および方法
JP3467047B2 (ja) 画像処理装置および方法ならびにビデオ・カメラ
US5420635A (en) Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
JP4424402B2 (ja) 撮像装置、撮像制御方法、撮像制御プログラム
JP5141733B2 (ja) 撮像装置、撮像方法、及びプログラム
JP3314195B2 (ja) 画像処理装置
JP3801126B2 (ja) 撮像装置,撮像装置の画像出力方法,およびコンピュータプログラム
US7982791B2 (en) Controlling operations of a camera to improve backlit scenes
JP4163353B2 (ja) 画像処理装置
JP5787648B2 (ja) 画像処理装置及び画像処理装置の制御方法
US20050046730A1 (en) Digital camera
JP3071891B2 (ja) 固体電子撮像装置
JP4136464B2 (ja) 撮像装置及び撮像方法
JP6137792B2 (ja) 撮像装置、該撮像装置の制御方法、プログラム、記憶媒体
JP2010093679A (ja) 撮像装置及び撮像制御方法
JP4869474B2 (ja) 撮像装置
JP2009088928A (ja) 撮像装置、撮像制御方法及び撮像制御プログラム
JP2002232777A (ja) 撮像システム
JP2777847B2 (ja) 撮像装置および方法ならびに画像処理装置および方法
JP2009200924A (ja) 撮像装置
JP5321308B2 (ja) 画像処理装置および画像処理プログラム
JP5256912B2 (ja) 電子カメラ
JP4593481B2 (ja) 撮影装置
JPH11155108A (ja) 映像信号処理装置と処理方法、それを用いたビデオカメラ
JP2001008216A (ja) 画像処理装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080630

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080630

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090630

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090630

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100630

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100630

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110630

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees