JPH08102970A - ３次元画像撮像装置 - Google Patents

Abstract

(57)【要約】 【目的】被写体が広い輝度範囲をもつときや被写体上の
照度分布に著しい偏りがある場合でも、五眼式三次元動
画像撮像・表示装置にて被写体の立体感を損なわない明
確で臨場感のある三次元画像を撮像・表示する。 【構成】この五眼式三次元動画像撮像・表示装置は、複
数の撮像装置Ａ〜Ｅを被写体１に向けて撮像して得た複
数の画像情報を投射ユニット６から透過式２重レンチキ
ュラースクリーン７に投写し３次元画像を表示するもの
であり、複数の撮像装置Ａ〜Ｅの中の少なくとも１つの
撮像輝度範囲を、他の撮像装置と異なるようフレーム毎
または毎に変化させる信号補償部４を具備する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、臨場感の高い画像を撮
像する必要のある、例えば次世代立体放送・通信や、輝
度差が大きい被写体の画像を撮像する、例えば工業・医
療分野などに用いられる３次元画像撮像装置とその撮像
信号圧縮・符号化方式および圧縮信号復号化方式に関す
る。

【０００２】

【従来の技術】従来から、３次元画像撮像装置は、撮像
した被写体の画像を３次元化する際、画質を向上させる
ことが望まれている。

【０００３】通常、立体画像を撮像するための２眼式あ
るいは多眼式の３次元画像撮像装置では、複数の撮像装
置を使用していることから情報量が増加し、得られた画
像情報を処理する際の処理速度や記憶容量などが問題と
なる。

【０００４】そこで、従来から各撮像装置より得られる
画像情報間に含まれる冗長度を利用して、情報量を減ら
し、放送メディア、通信メディアおよび蓄積メディアな
どに適合させようとする試みは行われている。

【０００５】ところで、この画像情報間に含まれる冗長
度を画質、特に撮像感度のダイナミックレンジなどを向
上させる目的で利用しようという試みは今だ行われては
いない。

【０００６】上述した３次元画像撮像装置によって得ら
れる画像情報は、もともと多くの冗長度を有しているた
め、その撮像手段や情報圧縮手段次第では、画像の３次
元化と共に高画質化も可能である。

【０００７】この際、良質の３次画像を得るためには、
対象とする被写体を撮像装置の線形領域で捉えることが
重要である。仮に被写体の高輝度部で撮像装置の撮像能
力が飽和したり、低輝度部でノイズレベル以下になって
しまうと、画像を３次元とするための情報が失われてし
まうことになる。

【０００８】例えば室内（昼間・通常の照明）と室外
（昼間・晴れ）を同時に撮像する場合を考えると、室内
に存在する暗い被写体は、その輝度が10nit 以下である
のに対して、室外に存在する明るい被写体は、数万nit
を越えるため、撮像装置に必要なダイナミックレンジ
（撮像可能被写体輝度範囲）は70〜80dBにも達する。こ
れは現状の撮像装置のダイナミックレンジである40〜50
dBを遥かに越えた値であり、現状の撮像装置では、対応
が不可能である。

【０００９】

【発明が解決しようとする課題】従来から、３次元画像
撮像装置は、テレビ放送やテレビ電話、テレビ会議など
の画像通信の分野においては、情報の伝達、距離・時間
の短縮という面では、充分な効果を発揮している。

【００１０】しかしながら、放送メディアに関して言え
ば、ハイビジョン放送の実施に見られるように、単に情
報を伝達するだけでなく、今後、迫力、臨場感などが求
められるようになり、また通信メディアにおいても実際
に相手と向かい合っているような雰囲気を作り出し、会
話や会議が滞りなく進むように支援するサービスが実用
化されると考えられる。この臨場感を出すために有効な
方法の一つが３次元画像放送・通信である。

【００１１】その他にも、医療分野における外科手術
で、複雑な患部の様子を実際に目にしているような奥行
き感で表現するために、また工業分野における製品検査
においても３次元画像の使用が考えられる。

【００１２】また将来的には、上記した発想をさらに発
展させた、“画像の知的符号化”が考えられており、こ
の際には、画像データを既知図形の集合として捉える必
要がある。この場合、各被写体の外形を正確に知らなけ
ればならないが、ダイナミックレンジの狭い現在の撮像
装置では、画像の白つぶれや黒つぶれなどが起こり、こ
の部分で被写体の立体感を損なうことから、全ての被写
体を撮像することができず、これが今後、知的符号化を
行う際に問題になるものと予想される。

【００１３】本発明はこのような課題を解決するために
なされたもので、撮像装置が被写体を撮像可能な輝度範
囲、つまりダイナミックレンジを拡大し、被写体の暗い
所から明るいところまで広い輝度範囲を撮像可能にする
ことにより、どんな撮影状況下においても被写体の立体
感を損なわずに被写体を撮影することのできる３次元画
像撮像装置を提供することを目的としている。

【００１４】

【課題を解決するための手段】上記した目的を達成する
ために、請求項１記載の３次元画像撮像装置は、複数の
撮像手段を所定の被写体に向けて撮像して得た画像情報
を基に３次元画像を生成する３次元画像撮像装置におい
て、前記複数の撮像手段の中の少なくとも１つの撮像感
度を、他の撮像手段と異なるよう水平走査期間毎または
垂直走査期間毎に変化させる撮像感度可変手段を具備し
ている。

【００１５】また請求項２記載の３次元画像撮像装置
は、複数の撮像手段を所定の被写体に向けて撮像して得
た画像情報を基に３次元画像を生成する３次元画像撮像
装置において、前記複数の撮像手段の中の少なくとも１
つが、他の撮像手段と異なる撮像感度である撮像手段を
具備している。

【００１６】さらに請求項３記載の３次元画像撮像装置
は、少なくとも１つが他と異なる撮像感度である撮像手
段を含む複数の撮像手段と、前記複数の撮像手段の中の
少なくとも１つの撮像感度を、他の撮像手段と異なるよ
う水平走査期間毎または垂直走査期間毎に変化させる撮
像感度可変手段とを具備している。

【００１７】また請求項４記載の３次元画像撮像装置
は、複数の撮像手段を所定の被写体に向けて撮像して得
た画像情報を基に３次元画像を生成する３次元画像撮像
装置において、前記複数の撮像手段の中の少なくとも１
つの撮像感度を、他の撮像手段と異なるよう水平走査期
間毎または垂直走査期間毎に変化させる撮像感度可変手
段と、前記複数の撮像手段により撮像される被写体の輝
度範囲が前記撮像手段の撮像感度範囲内であるか否かを
判定する被写体輝度範囲判定手段と、前記被写体輝度範
囲判定手段により前記被写体の輝度範囲が前記撮像手段
の撮像感度範囲外であると判定された場合、他の撮像手
段の中から、少なくとも１つを選択する選択手段と、前
記選択手段により選択された撮像手段の感度を、前記撮
像手段と異なる撮像感度範囲となるよう水平走査期間毎
または垂直走査期間毎に変化させる撮像感度可変手段と
を具備している。

【００１８】さらに請求項５記載の３次元画像撮像装置
は、複数の撮像手段を所定の被写体に向けて撮像して得
た画像情報を基に３次元画像を生成する３次元画像撮像
装置において、前記各撮像手段間に感度差をもたせる撮
像感度差設定手段と、前記被写体の輝度範囲が前記撮像
手段の撮像感度範囲内であるか否かを判定する被写体輝
度範囲判定手段と、前記被写体輝度範囲判定手段により
前記被写体の輝度範囲が前記撮像手段の撮像感度範囲を
越えていると判定された場合、他の撮像手段の中から、
少なくとも１つを選択する選択手段と、前記選択手段に
より選択された撮像手段の撮像感度を、他の撮像手段と
異なるよう水平走査期間毎または垂直走査期間毎に変化
させる撮像感度可変手段とを具備している。

【００１９】また請求項６記載の３次元画像撮像装置
は、複数の撮像手段を所定の被写体に向けて撮像して得
た画像情報を基に３次元画像を生成する３次元画像撮像
装置において、前記複数の撮像手段の中の少なくとも１
つの撮像感度を、他の撮像手段と異なるよう水平走査期
間毎または垂直走査期間毎に変化させる撮像感度可変手
段と、前記各撮像手段間に感度差をもたせる撮像感度差
設定手段と、前記複数の撮像手段により撮像される被写
体の輝度範囲が前記撮像手段の撮像感度範囲内であるか
否かを判定する被写体輝度範囲判定手段と、前記被写体
輝度範囲判定手段により前記被写体の輝度範囲が撮像手
段の撮像可能輝度範囲を越えていると判定された場合、
少なくとも１つの撮像手段に対して、撮像感度可変手段
を適用する選択手段と、前記選択手段により選択された
撮像手段の感度を、前記撮像手段と異なる撮像感度範囲
となるよう水平走査期間毎または垂直走査期間毎に変化
させる撮像感度可変手段とを具備している。

【００２０】さらに請求項７記載の３次元画像撮像装置
は、少なくとも異なる撮像感度をもつ複数の撮像手段
と、前記複数の撮像手段の中の所定の撮像手段間の視差
ベクトルを、それら撮像手段から得られた中間輝度部の
撮像信号を基に算出する中間輝度部視差ベクトル検出手
段と、異なる感度をもつ撮像手段間において同時にカバ
ーされない撮像輝度範囲について、最も視差が少なく、
かつ同一の感度をもつ撮像手段からの撮像信号を基にそ
れらの視差ベクトルを算出する高・低輝度部視差ベクト
ル検出手段と、これら少なくとも２種類以上の視差ベク
トルを用いて前記撮像手段の撮像感度外の輝度範囲を補
償する視差補償手段とを具備している。

【００２１】また請求項８記載の３次元画像撮像装置の
撮像信号圧縮・符号化方式は、被写体を撮像する３次元
画像撮像装置の撮像信号圧縮・符号化方式において、前
記被写体を撮像するために少なくとも異なる感度をもつ
複数の撮像手段と、前記複数の撮像手段の任意の撮像手
段間の視差ベクトルを、それらの中間輝度部の撮像信号
により算出する中間輝度部視差ベクトル検出手段と、異
なる感度をもつ撮像手段間において同時にカバーされな
い撮像輝度範囲について、最も視差の少なく、かつ同一
の感度をもつ撮像手段の撮像信号を基にそれらの視差ベ
クトルを算出する高・低輝度部視差ベクトル検出手段
と、これら少なくとも２種類以上の視差ベクトルを用い
て撮像信号の視差補償予測符号化を行う視差補償予測符
号化手段とを具備している。

【００２２】さらに請求項９記載の３次元画像撮像装置
の圧縮信号復号化方式は、所定撮像信号圧縮・符号化方
式により符号化された圧縮信号を復号化する圧縮信号復
号化方式において、撮像時に最も視差が少なく、かつ異
なる感度をもつ撮像手段の復号化された撮像信号または
基準となる撮像手段の復号化された撮像信号を基に、２
種類以上の視差ベクトルによって復号化した撮像信号を
生成し、それを基に前記撮像手段の撮像感度を可変する
撮像感度可変手段を具備している。

【００２３】

【作用】この発明では、複数の撮像装置を用いて３次元
画像を撮像する場合、複数の撮像装置の中の少なくとも
１つの撮像感度が、水平走査期間毎または垂直走査期間
毎に他のものの輝度範囲と異なるように可変されるの
で、その撮像装置で撮像された画像情報と他の撮像装置
で撮像された画像情報とを合成することにより、被写体
全体の輝度範囲、つまりダイナミックレンジが拡大され
る。

【００２４】また予め各撮像装置間に感度範囲が異なる
ような感度差をもたせた撮像装置を用いることにより、
複数の撮像装置で撮像した画像情報を合成することによ
り、被写体全体の輝度範囲、つまりダイナミックレンジ
が拡大される。

【００２５】さらにダイナミックレンジを改善するため
に、複数の撮像装置により撮像される被写体の画像、例
えばダイナミックレンジを重視した画像にするか、視差
を重視した画像にするかなどが、選択手段により選択さ
れるので、被写体が広い輝度範囲をもつ場合、あるいは
被写体上の照度分布に著しい偏りがある場合であって
も、被写体の低輝度部や高輝度部で立体感を損なわない
自然な３次元画像を得ることが可能になる。

【００２６】これにより、被写体の暗い所から明るいと
ころまで広い輝度範囲を撮像可能にし、どんな撮影状況
下においても被写体の立体感を損なわずに被写体を撮影
することができる。

【００２７】

【実施例】以下、本発明の実施例を図面を参照して詳細
に説明する。図１は本発明による多眼式三次元動画像撮
像・表示装置の概念図である。同図において、１は被写
体である。この被写体１から所定距離だけ離間した位置
には、例えば 5台などの撮像装置Ａ〜Ｅを被写体１に向
けて扇状に配置した撮像ユニット２が配設されている。
この撮像ユニット２は、五眼式と呼ばれるものである。

【００２８】この撮像ユニット２の各撮像装置Ａ〜Ｅ
は、それぞれが個々のＡ／Ｄ変換部３を介して信号補償
部４に接続されている。この信号補償部４は、各撮像装
置Ａ〜Ｅ間の映像信号を基に視差ベクトルを検出すると
共に、映像信号の補完および合成を行うものである。こ
の信号補償部４には、補完した 5つの映像信号がＤ／Ａ
変換されるＤ／Ａ変換部５を介して投射ユニット６が接
続されている。この投射ユニット６は、複数、例えば 5
台などの投射器Ｖ〜Ｚから構成されるリア投射式プロジ
ェクタなどと呼ばれるものであり、透過式２重レンチキ
ュラースクリーン７に対して 5つの連続的な画像を投射
する。８は視聴者を示す。

【００２９】この多眼式三次元動画像撮像・表示装置の
場合、撮像ユニット２の各撮像装置Ａ〜Ｅにより撮像さ
れた被写体１の映像信号（出力）は、Ａ／Ｄ変換部３で
それぞれＡ／Ｄ変換され信号補償部４に出力される。信
号補償部４では、各撮像装置間の映像信号が補完・合成
され、その補完・合成された 5つの映像信号がＤ／Ａ変
換部５によりそれぞれＤ／Ａ変換されて、投射ユニット
６に送られる。

【００３０】投射ユニット６では、その 5つの投射器Ｖ
〜Ｚによって透過式レンチキュラースクリーン７上に 5
つの連続的な画像が投射される。これにより多数の視聴
者８が透過式レンチキュラースクリーン７に投射された
画像、つまり立体像を多方向から眼鏡なしで眺めること
ができる。以下、図面を参照してこの多眼式三次元動画
像撮像・表示装置の各部について請求項目毎に説明す
る。

【００３１】（請求項１）図２は撮像ユニット２の各撮
像装置Ａ〜Ｅの各撮像感度をフレーム毎に変えた場合の
信号補償部４の構成を示す図である。

【００３２】同図において、９ａ〜９ｅは各Ａ／Ｄ変換
部３からのデジタル映像信号である。ここでは、デジタ
ル映像信号９ａ〜９ｅの中の一つ、例えばデジタル映像
信号９ａを取り上げて説明する。

【００３３】通常、１台の撮像装置のシャッタ速度また
は絞りを変えると（露光量を変えると）、撮像可能な輝
度範囲が全体的に上下に平行移動するだけで、その範囲
自体は拡がらず、輝度差が大きい被写体１を撮像する
と、被写体１を撮像した映像が黒つぶれ状態または白つ
ぶれ状態などになってしまう。

【００３４】そこで、この実施例では、撮像装置Ａのシ
ャッタ速度をフレーム毎に変えて被写体１を撮像する。

【００３５】すなわち、撮像装置Ａは、ｎフレーム目に
高輝度部の映像を撮像すると、ｎ＋１フレーム目には低
輝度部の映像を撮像する。

【００３６】したがって、Ａ／Ｄ変換部３からのデジタ
ル映像信号９ａとしては、高輝度部、低輝度部が交互に
信号補償部４に入力される。

【００３７】ｎフレーム目の画像信号が高輝度部であっ
た場合、その信号は一時フレームメモリ１０に一旦記憶
される。そして、ｎ＋１フレーム目の画像信号（低輝度
部）が入力されると、その信号と前のｎフレーム目の画
像信号（高輝度部）とが画像合成部１１により合成され
る。

【００３８】次のｎ＋２フレーム目の画像信号（高輝度
部）は、上記同様にフレームメモリ１０に記憶され、ｎ
＋３フレーム目の画像信号（低輝度部）と合成される。

【００３９】このようにして合成された画像信号は、高
輝度部画像の黒つぶれ、低輝度部画像の白つぶれを補っ
た疑似的な中間輝度画像となり、広い輝度範囲、つまり
ダイナミックレンジをもつようになり、このようにして
輝度差の大きな被写体１でも黒つぶれや白つぶれなどが
なく撮像が可能になる。

【００４０】図３は撮像感度がフレーム毎に異なるよう
に予め設定された撮像装置を用いた場合の実施例を示す
図である。

【００４１】この実施例の場合、上記フレームメモリ１
０や画像合成部１１での高輝度部画像と低輝度部画像と
の信号上の合成は行わず、同図に示すように、それぞれ
の映像信号は、そのままＤ／Ａ変換部５でＤ／Ａ変換
後、投射ユニット６により透過式レンチキュラースクリ
ーン７に投射される。

【００４２】すると、透過式レンチキュラースクリーン
７には、フレーム毎に高輝度映像と低輝度映像が交互に
映し出されるが、各映像は、例えば1/30sec 程度で切り
替わるため 2つの映像の輝度の違いは人間の目では識別
できず、あたかも合成された1つの映像であるかのよう
に見える。

【００４３】したがって、結果的に上記信号補償部４で
補償・合成したのと同じような効果が得られる。

【００４４】（請求項２）図４は図１の撮像ユニット２
の構成を変形した実施例を示す図である。

【００４５】同図に示すように、この実施例の場合、撮
像ユニット２内には、低輝度部撮像用の感度をもたせた
撮像装置Ｂ、Ｄと、高輝度部撮像用の感度をもたせた撮
像装置Ａ、Ｃ、Ｅとが一つ置きに配置されている。

【００４６】この場合、デジタル映像信号９ａ〜９ｅ
は、撮像装置Ａによる高輝度部撮像信号、撮像装置Ｂに
よる低輝度部撮像信号、撮像装置Ｃによる高輝度部撮像
信号、撮像装置Ｄによる低輝度部撮像信号、撮像装置Ｅ
による高輝度部撮像信号というような順になる。

【００４７】これらのデジタル映像信号９ａ〜９ｅは、
そのままＤ／Ａ変換部３によりＤ／Ａ変換され、投射ユ
ニット６内の各投射装置Ｖ〜Ｚにより透過式レンチキュ
ラースクリーン７に投射される。

【００４８】すなわち投射装置Ａより高輝度部映像、投
射装置Ｂより低輝度部映像、投射装置Ｃより高輝度部映
像…投射装置Ｅより高輝度部映像がそれぞれ投射され
る。

【００４９】この場合、各映像間の冗長成分が透過式レ
ンチキュラースクリーン７上で重なり合うようになる。

【００５０】これにより、視聴者８には、あたかも広い
輝度範囲を同時に再現した 1つの映像のように見える。

【００５１】（請求項３）図５は図２と図４の各構成を
組み合わせた実施例を示す図である。

【００５２】同図に示すように、この実施例では、撮像
ユニット２内の各撮像装置Ａ〜Ｅの感度を、請求項２の
場合と同様に予め高輝度部撮像用および低輝度部撮像用
のいずれか一方に設定しておき、加えて請求項１の場合
と同様に各撮像装置Ａ〜Ｅのシャッタ速度をフレーム毎
に変えて撮像する。

【００５３】図中、Ｈ Ｈは高輝度部撮像用の撮像装置
からの高輝度フレーム信号、Ｈ Ｌは高輝度部撮像用の
撮像装置からの低輝度フレーム信号、Ｌ Ｈは低輝度部
撮像用の撮像装置からの高輝度フレーム信号、Ｌ Ｌは
低輝度部撮像用の撮像装置からの低輝度フレーム信号を
示している。

【００５４】この場合、各デジタル映像信号のうち、ｎ
フレーム目の高輝度部画像信号（Ｈ ＨまたはＬ Ｈ）は
フレームメモリ１０に一旦記憶され、ｎ＋１フレーム目
の低輝度部画像信号（Ｈ ＬまたはＬ Ｌ）が入力され
たときに画像合成部１１において互いが合成される。次
のｎ＋２フレーム目の高輝度部信号も同様にフレームメ
モリ１０に記憶されｎ＋３フレーム目の低輝度部信号と
合成される。

【００５５】これにより、 1つの撮像装置で撮像される
映像内で、撮像輝度範囲が拡大される。

【００５６】そして合成された映像信号は、それぞれＤ
／Ａ変換後、各投射装置Ｖ〜Ｚにより透過式レンチキュ
ラースクリーン７上に投写され、スクリーン上の冗長成
分によってさらに表示輝度範囲が拡大された形の映像と
して映し出される。

【００５７】図６は図３と図４の各構成を組み合わせた
実施例を示す図である。

【００５８】同図に示すように、この実施例では、上記
と同様に撮像ユニット２内の各撮像装置Ａ〜Ｅは予め高
輝度部撮像用または低輝度部撮像用のいずれか一方に感
度が設定されており、加えて各撮像装置Ａ〜Ｅは、フレ
ーム毎にシャッタ速度を変えて被写体１を撮像する。

【００５９】この場合、図２に示したフレームメモリ１
０を用いた画像信号の合成は行わず、各撮像装置Ａ〜Ｅ
からのディジタル画像信号９ａ〜９ｅは、信号補償部４
をそのまま通過し、Ｄ／Ａ変換部５によりＤ／Ａ変換さ
れて投射ユニット６により透過式レンチキュラースクリ
ーン７上に投射される。

【００６０】この場合、 1つの撮像装置で撮像されたフ
レーム間の撮像輝度範囲差と、撮像装置間の撮像輝度範
囲差を用いた撮像輝度範囲の拡大が行われるので、スク
リーン上に同時に映し出された映像は、見かけ上、表示
輝度範囲が拡大する。

【００６１】（請求項４）図７は図３の信号補償部４の
構成を変形した実施例を示す図である。

【００６２】同図に示すように、この実施例の信号補償
部１４は、図３に示した信号補償部４（請求項１）に、
被写体輝度範囲検出手段としてのＤＳＰ１２と、複数の
撮像装置Ａ〜Ｅの中の一部あるいは全てに対する感度の
切替えを行う感度切替手段としての感度切替部１３を付
加したものである。ＤＳＰ１２は、各映像信号のフレー
ム毎の輝度のヒストグラムを求めるために使用される。

【００６３】この場合、ＤＳＰ１２で求められたフレー
ム毎の輝度のヒストグラム中の白レベル端または黒レベ
ル端を示している画素数が、規定値を越えているか否か
が感度切替部１３で検出され、 5つの映像信号のうち規
定値を越えるものが一つでも検出されれば、感度切替部
１３により直ちに撮像装置Ａ〜Ｅ全てのフレーム毎のシ
ャッタ速度が変えられる。

【００６４】これによって各撮像装置Ａ〜Ｅは、高輝度
部撮像と低輝度部撮像をフレーム毎に繰り返す動作を開
始する。

【００６５】そして輝度範囲が拡大された状態で、ヒス
トグラム中の白レベル端または黒レベル端を示している
画素数が規定値より少なくなったことが、感度切替部１
３により検出されると、感度切替部１３は撮像装置Ａ〜
Ｅ全てのシャッタ速度を通常に戻し、これによりこの装
置全体が通常の中間輝度中心の撮像、投射へと変わる 。（請求項５）図８は図４の信号補償部４の構成を変形
した実施例を示す図である。

【００６６】同図に示すように、この実施例の信号補償
部１４は、図４に示した信号補償部４（請求項２）に、
被写体輝度範囲検出手段としてのＤＳＰ１２と、複数の
撮像装置Ａ〜Ｅの中の一部あるいは全てに対する感度の
切替えを行う感度切替手段としての感度切替部１３とを
付加したものである。

【００６７】この場合、ＤＳＰ１２で求められたヒスト
グラム中の白レベル端または黒レベル端を示している画
素数が規定値を越えているか否かを感度切替部１３で検
出し、 5つの映像信号のうち、規定値を越えるものが一
つでも検出されれば、感度切替部１３により直ちに撮像
装置Ａ〜Ｅ全ての隣合う撮像装置間に感度差がもたせら
れる。

【００６８】そして撮像装置Ａ〜Ｅがそれぞれ感度差を
もつように設定された状態で、ＤＳＰ１２で求められた
ヒストグラム中の白レベル端または黒レベル端を示して
いる画素数が規定値よりも少なくなったことが感度切替
部１３で検出されると、感度切替部１３は撮像装置Ａ〜
Ｅ全ての撮像感度を同じ値に戻す。これにより、この装
置全体が通常の中間輝度中心の撮像、投射へと変わる。

【００６９】（請求項６）図９は図６の信号補償部４の
構成を変形した実施例を示す図である。

【００７０】同図に示すように、この実施例の信号補償
部１４は、図６に示した信号補償部４（請求項３）に、
被写体輝度範囲検出手段としてのＤＳＰ１２と、複数の
撮像装置Ａ〜Ｅの中の一部あるいは全てに対する感度の
切替えを行う感度切替手段としての感度切替部１３とを
付加したものである。

【００７１】この場合、ＤＳＰ１２で求められたヒスト
グラム中の白レベル端または黒レベル端を示している画
素数が規定値を越えているかどうかを感度切替部１３で
検出し、 5つの映像信号のうち、規定値を越えるものが
一つでも検出されれば、感度切替部１３により直ちに撮
像装置Ａ〜Ｅ全ての隣合う撮像装置間に感度差がもたせ
られる。これと同時に感度切替部１３により全ての撮像
装置Ａ〜Ｅのフレーム毎のシャッタ速度が変えられる。

【００７２】隣合う撮像装置間で感度差をもち、かつ全
ての撮像装置Ａ〜Ｅのフレーム毎のシャッタ速度を変え
るように設定された切り替え後の状態で、ヒストグラム
中の白レベル端または黒レベル端を示している画素数が
規定値より少なくなったことが感度切替部１３で検出さ
れると、感度切替部１３はＡ〜Ｅ全ての撮像装置の撮像
感度およびシャッタ速度を同じ値に戻す。これにより、
この装置全体が通常の中間輝度中心の撮像、投射へと変
わる。

【００７３】（請求項７）ここで、図１０〜図１２を参
照して撮像装置のダイナミックレンジ拡大方法について
説明する。図１０は異なる撮像輝度範囲をもつ 2台の撮
像装置の撮像出力−被写体輝度特性を示す図、図１１は
複数の撮像装置による視差ベクトル検出方法を示す図、
図１２は視差ベクトルを用いたダイナミックレンジ改善
方法を示す図である。

【００７４】図１０に示すように、視差をもたない異な
る撮像感度特性α、βをもつ 2台の撮像装置を用意し、
同じ被写体１を撮像すると、 2台の撮像装置で撮像可能
な輝度範囲は、 1台の場合よりも広くなる。

【００７５】そこで、 2台の撮像装置を適当な点で切り
替えて使用すれば、撮像可能な輝度範囲、つまりダイナ
ミックレンジは撮像感度特性γのように広げることがで
きる。 例えば撮像装置Ａは撮像感度が高く、低輝度部
に対しても感度があり、撮像感度αの特性を有している
ものとすると、被写体１の高輝度部に対しては飽和して
しまう。撮像装置Ｂはその逆の撮像感度特性βをもつも
のとする。

【００７６】この 2つの撮像装置Ａ、Ｂを適当なタイミ
ングで切り替えて使用すれば、撮像感度γのような理想
的な特性をもたせることが可能である。この場合、被写
体輝度の対数に比例した撮像出力とするのが良い。

【００７７】なお、感度の異なる 2台の撮像装置を用い
ずに、 1台の撮像装置でフレームあるいはフィールド毎
に撮像感度を切り替えて使用しても同様の効果が得られ
る。この場合にはフレームメモリあるいはフィールドメ
モリを用いて、画像情報を処理することを要する。

【００７８】ここで、このダイナミックレンジ拡大方法
を、図１に示した多眼式三次元動画像撮像・表示装置に
適用することを考えてみる。

【００７９】図１１に示すように、複数の撮像装置Ａ〜
Ｅが配置された状態で、矢印のように、視差ベクトルを
検出する場合を想定する。ここで説明の便宜上、撮像装
置Ａ、Ｃ、Ｅは高感度、つまり図１０の感度特性αを有
するものとし、撮像装置Ｂ、Ｄは低感度、つまり図１０
の感度特性βを有するものとし、各撮像装置間の視差は
等しいものとする。

【００８０】このような構成でダイナミックレンジの拡
大を図ろうとすると、高感度の撮像装置Ａ、Ｃ、Ｅと低
感度の撮像装置Ｂ、Ｄ間の視差が問題となるが、視差自
体は検出することができるので、次のようにしてダイナ
ミックレンジを改善する。

【００８１】なお図１０における中間輝度部に対して
は、各撮像装置Ａ〜Ｅで撮像することが可能であるか
ら、各撮像装置Ａ〜Ｅ間の視差ベクトルを検出してお
く。

【００８２】まず、撮像装置Ｂ、Ｄの低輝度部を撮像装
置Ａ、Ｅの低輝度部と合成して補償する。低輝度部に対
しては、撮像装置Ａ、Ｂ間の視差ベクトルが求められな
いが、上述の中間輝度部視差ベクトルを用いて代用して
も良い。または撮像装置Ａ、Ｃ間の低輝度部の視差ベク
トルを求め、等分して撮像装置Ａ、Ｂ間の視差ベクトル
を予測する。この予測された視差ベクトルを用いて、撮
像装置Ｂのダイナミックレンジが改善できる。

【００８３】次に撮像装置Ａ、Ｃ、Ｅの高輝度部を撮像
装置Ｂ、Ｄの高輝度部を用いて補償する。撮像装置Ａ、
Ｅについては撮像装置Ｂ、Ｄとの高輝度部の視差ベクト
ルが求められないので、撮像装置Ａ、Ｂと撮像装置Ｄ、
Ｅの中間輝度部の視差ベクトルを用いて撮像装置Ａ、Ｅ
の高輝度部を補償する。撮像装置Ｃに関しては、撮像装
置Ｂまたは撮像装置Ｄの高輝度部を合成するが、この場
合、撮像装置Ｂ、Ｄの高輝度部から視差ベクトルを求
め、それを等分して撮像装置Ｂ、Ｃまたは撮像装置Ｄ、
Ｃの視差ベクトルを求めて、それを用いて撮像装置Ｃの
高輝度部を補償すれば良い。

【００８４】ここで、図１２を参照して視差ベクトルの
算出方法について説明する。

【００８５】図１２（ａ）に示すように、例えば撮像装
置Ａの高輝度部の画像信号と、撮像装置Ｂの低輝度部の
画像信号の場合、互いの画像信号を基に中間輝度部の視
差ベクトルを算出する。この算出した中間輝度部の視差
ベクトルで一方、例えば撮像装置Ｂの画像信号を補償・
合成し、ダイナミックレンジを改善する。

【００８６】また図１２（ｂ）に示すように、例えば撮
像装置Ａの高輝度部の画像信号、撮像装置Ｂの低輝度部
の画像信号および撮像装置Ｃの高輝度部の画像信号の場
合、3つの画像信号を基に視差ベクトルを算出する。こ
の場合、まず、撮像装置Ａの高輝度部の画像信号と撮像
装置Ｃの高輝度部の画像信号とから視差ベクトルを算出
する。この算出結果から、撮像装置Ａの高輝度部の画像
信号に対する撮像装置Ｂの低輝度部の画像信号の視差ベ
クトルを推定する。この推定値を用いて、撮像装置Ａの
高輝度部の画像信号の視差を補償し、これに撮像装置Ｂ
の低輝度部の画像信号を合成すれば、撮像装置Ｂの低輝
度部の画像信号に高輝度部を加えることができ、この結
果、撮像装置Ｂのダイナミックレンジを改善することが
できる。また撮像装置Ｃの高輝度部の画像信号に低輝度
部を合成する場合も、上記同様に 2つの低輝度部から視
差ベクトルを推定し、これを用いて撮像装置Ｂの低輝度
部の画像信号の視差を補償し、これに撮像装置Ｃの高輝
度部の画像信号を合成すれば、撮像装置Ｃの高輝度部の
画像信号に低輝度部を加えることができる。

【００８７】（請求項８）図１３は上記ダイナミックレ
ンジ改善方法（請求項７）を、この五眼式三次元動画像
撮像・表示装置の画像情報圧縮部に適用した場合の構成
を示す図である。なお説明の便宜上、同図の撮像装置
Ａ、Ｃ、Ｅ、Ｇを高感度のもの、撮像装置Ｂ、Ｄ、Ｆを
低感度のものとし、これらに対して視差補償予測符号化
を行うものとする。

【００８８】同図において、１３１は前処理部としての
撮像装置（デジタル出力カメラ）Ａ〜Ｇであり、それぞ
れＡ／Ｄ変換部などを含んでいる。１３２は動き補償予
測符号化部、１３３は視差補償予測符合化部、１３４は
視差ベクトル検出部、１３５は視差補償撮像装置間予測
部であり、予測信号を出力する。１３６は加算器であ
り、予測誤差信号を出力する。１３７はＤＣＴ部、１３
８は量子化部、１３９は加算器、１４０は逆ＤＣＴ部、
１４１は逆量子化部であり、復号化された予測誤差信号
を出力する。１４２はマルチプレクサ（時分割多重化装
置）であり、入力された複数の映像信号を時分割多重化
して出力する。

【００８９】この五眼式三次元動画像撮像・表示装置の
場合、まず、高感度の撮像装置Ａ、Ｃ、Ｅ、Ｇと、低感
度の撮像装置Ｂ、Ｄ、Ｆに対して視差補償予測符号化を
行う。 このとき、中央の撮像装置Ｄの撮像出力信号に
対して動き補償フレーム間予測符号化を行う。

【００９０】次に中間輝度部に対し、基準画像から対称
位置にある撮像装置Ａと撮像装置Ｇに対して、視差ベク
トル検出部１３４が視差ベクトルを検出する。

【００９１】この検出結果を基に、視差補償撮像装置間
予測部１３４、加算器１３６、ＤＣＴ部１３７、量子化
部１３８、加算器１３９、逆ＤＣＴ部１４０および逆量
子化部１４１などで視差補償予測符号化を行う。さらに
撮像装置Ａ、Ｄと撮像装置Ｇ、Ｄの視差ベクトルを等分
して撮像装置Ｂ、Ｃと撮像装置Ｆ、Ｅの画像を予測し、
予測誤差を符号化する。

【００９２】次に撮像装置Ａ、Ｃ、Ｅ、Ｇの低輝度部の
視差ベクトルを求める。

【００９３】まず撮像装置Ｃ、Ｅ間の視差ベクトルを求
め、それを等分して撮像装置Ａ、Ｄ間の視差ベクトルと
撮像装置Ｇ、Ｄ間の視差ベクトルを求める。これにより
低輝度部の視差ベクトルも求められる。なお撮像装置
Ｂ、Ｄ間と撮像装置Ｆ、Ｄ間の視差ベクトルはそのまま
求められる。これらの信号は、最後にマルチプレクサ１
４２から時分割多重化されて出力される。

【００９４】すなわち、撮像装置Ａ、Ｃ、Ｅ、Ｇの低輝
度部と、撮像装置Ｂ、Ｄ、Ｆの高輝度部の予測誤差信号
が得られれば、復号化を行った後、上記請求項７の方法
を用いてダイナミックレンジの改善を行うことができ
る。

【００９５】なお、撮像装置の感度は 2種類である必要
はなく、撮像装置の数が多い場合には 3種類以上の感度
をもたせた撮像装置を使用してもよい。また感度の異な
る撮像装置を必ずしも交互に並べる必要はない。

【００９６】（請求項９）上記撮像信号圧縮符号化部で
は、ダイナミックレンジを改善した後の撮像信号を用い
て視差補償予測符号化を行っていたが、それでは情報圧
縮率が低下するので、ダイナミックレンジを改善する前
の各撮像装置の撮像出力と符号化する際に視差ベクトル
を求めた相手側の撮像装置の位置情報をデジタル情報と
して記録しておくようになる。

【００９７】このため、符号化する際に視差補償を行う
中間輝度部の視差ベクトル（隣接する撮像装置で良い）
と、同じ感度をもち最も視差の小さな撮像装置との視差
ベクトルの少なくとも 2種類の視差ベクトルと相手側撮
像装置の位置情報とを圧縮符号化した撮像信号のヘッダ
部分に記録する。そして、撮像信号の復号化を行った後
にそれらの視差ベクトルを用いてダイナミックレンジの
改善を行う。

【００９８】これにより情報圧縮率が低下することを防
止することができる。

【００９９】このように本実施例の多眼式三次元動画像
撮像・表示装置によれば、複数の撮像装置Ａ〜Ｅの中の
高感度用の撮像装置Ａ、Ｃ、Ｅによりフレーム毎に被写
体１の高輝度部が撮像され、低感度用の撮像装置Ｂ、Ｄ
によりフレーム毎に被写体１の低輝度部が撮像され、そ
れぞれの撮像装置Ａ〜Ｅにより得られた画像信号を基に
信号補償部４が輝度範囲の補完・合成を行いダイナミッ
クレンジを拡大し、投射ユニット６に出力し、投射ユニ
ット６によって被写体の映像の輝度範囲が広げられた形
で透過式レンチキュラースクリーン７上に表示されるの
で、広い輝度範囲をもつ被写体１の場合あるいは被写体
上の照度分布に著しい偏りがある場合であっても、被写
体１の低輝度部や高輝度部で立体感を損なわない明確で
臨場感のある３次元画像を映し出すことができる。

【０１００】これにより、被写体の暗い所から明るいと
ころまで広い輝度範囲を撮像可能となり、どんな撮影状
況下においても被写体の立体感を損なわずに被写体を撮
影および表示することができる。

【０１０１】また本発明を知的符号化に応用した場合、
知的符号化では、究極的な情報圧縮が可能になるので、
従来の３次元画像撮像装置で複数の撮像装置から画像情
報が得られたとしても捨てられる情報が多くなるが、こ
の発明では、この捨てられるはずの冗長な情報を用いて
ダイナミックレンジを改善するので、圧縮情報の無駄を
なくすことができる。

【０１０２】

【発明の効果】以上説明したように本発明によれば、複
数の撮像装置の中の少なくとも１つの輝度感度が水平同
期期間毎または垂直同期期間毎に可変され、それぞれの
撮像装置が撮像して得られた画像信号を基に輝度範囲、
つまりダイナミックレンジが拡大されるので、被写体の
暗い所から明るいところまで広い輝度範囲を撮像可能と
なり、どんな撮影状況下においても被写体の立体感を損
なわずに被写体を撮影および表示することができる。

【図面の簡単な説明】

【図１】本発明に係る一実施例の五眼式三次元動画像撮
像・表示装置の概念図である。

【図２】この五眼式三次元動画像撮像・表示装置におい
て、フレーム毎に感度を変えた場合の信号補償部（画像
合成あり）を示す図である。

【図３】この五眼式三次元動画像撮像・表示装置におい
て、フレーム毎に感度を変えた場合の信号補償部（画像
合成なし）を示す図である。

【図４】この五眼式三次元動画像撮像・表示装置におい
て、撮像装置間に感度差をもたせた場合の信号補償部を
示す図である。

【図５】この五眼式三次元動画像撮像・表示装置におい
て、撮像装置間に感度差をもたせ、さらにフレーム毎に
感度を変えた場合の信号補償部（画像合成あり）を示す
図である。

【図６】この五眼式三次元動画像撮像・表示装置におい
て、撮像装置間に感度差をもたせ、さらにフレーム毎に
感度を変えた場合の信号補償部（画像合成なし）を示す
図である。

【図７】図３の信号補償部４がＤＳＰ１２と感度切替部
１３とをもつ場合を示す図である。

【図８】図４の信号補償部４がＤＳＰ１２と感度切替部
１３とをもつ場合を示す図である。

【図９】図６の信号補償部４がＤＳＰ１２と感度切替部
１３とをもつ場合を示す図である。

【図１０】異なる撮像輝度範囲をもつ 2台の撮像装置の
撮像出力−被写体輝度特性を示す図である。

【図１１】複数の撮像装置による視差ベクトル検出方法
を示す図である。

【図１２】（ａ）中間輝度部の視差ベクトルを用いて、
撮像装置Ｂのダイナミックレンジを改善する方法を示す
図である。 （ｂ）低輝度部の視差ベクトルを用いて、撮像装置Ｂの
ダイナミックレンジを改善する方法を示す図である。

【図１３】この五眼式三次元動画像撮像・表示装置の画
像情報圧縮部の構成を示す図である。

【符号の説明】

１…被写体、２…五眼式撮像装置、Ａ、Ｃ、Ｅ…高感
度、Ｂ、Ｄ…低感度、３…Ａ／Ｄ変換部、視差ベクトル
の算出とダイナミックレンジ改善処理はデジタル信号で
行う、４…信号補償部、視差ベクトルの検出、ダイナミ
ックレンジ改善処理を行う、５…Ｄ／Ａ変換部、改善さ
れた撮像信号を表示装置に与える、６…投射ユニット
（リア投射式プロジェクタ）、７…透過式２重レンチキ
ュラースクリーン、８…視聴者、１３１…撮像装置（デ
ジタル出力カメラ）、前処理部、Ａ／Ｄ変換部を含む、
１３２…動き補償予測符号化部、１３３…視差補償予測
符合化部、１３４…視差ベクトル検出部、１３５…視差
補償撮像装置間予測部、予測信号を出力、１３６…加算
器、予測誤差信号を出力、１３７…ＤＣＴ部、１３８…
量子化部、１３９…加算器、１４０…逆ＤＣＴ部、１４
１…逆量子化部、復号化された予測誤差信号を出力、１
４２…マルチプレクサ（時分割多重化装置）。

Claims (9)

【特許請求の範囲】
1. 【請求項１】 複数の撮像手段を所定の被写体に向けて
   撮像して得た画像情報を基に３次元画像を生成する３次
   元画像撮像装置において、 前記複数の撮像手段の中の少なくとも１つの撮像感度
   を、他の撮像手段と異なるよう水平走査期間毎または垂
   直走査期間毎に変化させる撮像感度可変手段を具備した
   ことを特徴とする３次元画像撮像装置。
2. 【請求項２】 複数の撮像手段を所定の被写体に向けて
   撮像して得た画像情報を基に３次元画像を生成する３次
   元画像撮像装置において、 前記複数の撮像手段の中の少なくとも１つが、他の撮像
   手段と異なる撮像感度である撮像手段を具備したことを
   特徴とする３次元画像撮像装置。
3. 【請求項３】 少なくとも１つが他と異なる撮像感度で
   ある撮像手段を含む複数の撮像手段と、 前記複数の撮像手段の中の少なくとも１つの撮像感度
   を、他の撮像手段と異なるよう水平走査期間毎または垂
   直走査期間毎に変化させる撮像感度可変手段とを具備し
   たことを特徴とする３次元画像撮像装置。
4. 【請求項４】 複数の撮像手段を所定の被写体に向けて
   撮像して得た画像情報を基に３次元画像を生成する３次
   元画像撮像装置において、 前記複数の撮像手段の中の少なくとも１つの撮像感度
   を、他の撮像手段と異なるよう水平走査期間毎または垂
   直走査期間毎に変化させる撮像感度可変手段と、 前記複数の撮像手段により撮像される被写体の輝度範囲
   が前記撮像手段の撮像感度範囲内であるか否かを判定す
   る被写体輝度範囲判定手段と、 前記被写体輝度範囲判定手段により前記被写体の輝度範
   囲が前記撮像手段の撮像感度範囲外であると判定された
   場合、他の撮像手段の中から、少なくとも１つを選択す
   る選択手段と、 前記選択手段により選択された撮像手段の感度を、前記
   撮像手段と異なる撮像感度範囲となるよう水平走査期間
   毎または垂直走査期間毎に変化させる撮像感度可変手段
   とを具備したことを特徴とする３次元画像撮像装置。
5. 【請求項５】 複数の撮像手段を所定の被写体に向けて
   撮像して得た画像情報を基に３次元画像を生成する３次
   元画像撮像装置において、 前記各撮像手段間に感度差をもたせる撮像感度差設定手
   段と、 前記被写体の輝度範囲が前記撮像手段の撮像感度範囲内
   であるか否かを判定する被写体輝度範囲判定手段と、 前記被写体輝度範囲判定手段により前記被写体の輝度範
   囲が前記撮像手段の撮像感度範囲を越えていると判定さ
   れた場合、他の撮像手段の中から、少なくとも１つを選
   択する選択手段と、 前記選択手段により選択された撮像手段の撮像感度を、
   他の撮像手段と異なるよう水平走査期間毎または垂直走
   査期間毎に変化させる撮像感度可変手段とを具備したこ
   とを特徴とする３次元画像撮像装置。
6. 【請求項６】 複数の撮像手段を所定の被写体に向けて
   撮像して得た画像情報を基に３次元画像を生成する３次
   元画像撮像装置において、 前記複数の撮像手段の中の少なくとも１つの撮像感度
   を、他の撮像手段と異なるよう水平走査期間毎または垂
   直走査期間毎に変化させる撮像感度可変手段と、 前記各撮像手段間に感度差をもたせる撮像感度差設定手
   段と、 前記複数の撮像手段により撮像される被写体の輝度範囲
   が前記撮像手段の撮像感度範囲内であるか否かを判定す
   る被写体輝度範囲判定手段と、 前記被写体輝度範囲判定手段により前記被写体の輝度範
   囲が撮像手段の撮像可能輝度範囲を越えていると判定さ
   れた場合、少なくとも１つの撮像手段に対して、撮像感
   度可変手段を適用する選択手段と、 前記選択手段により選択された撮像手段の感度を、前記
   撮像手段と異なる撮像感度範囲となるよう水平走査期間
   毎または垂直走査期間毎に変化させる撮像感度可変手段
   とを具備したことを特徴とする３次元画像撮像装置。
7. 【請求項７】 少なくとも異なる撮像感度をもつ複数の
   撮像手段と、 前記複数の撮像手段の中の所定の撮像手段間の視差ベク
   トルを、それら撮像手段から得られた中間輝度部の撮像
   信号を基に算出する中間輝度部視差ベクトル検出手段
   と、 異なる感度をもつ撮像手段間において同時にカバーされ
   ない撮像輝度範囲について、最も視差が少なく、かつ同
   一の感度をもつ撮像手段からの撮像信号を基にそれらの
   視差ベクトルを算出する高・低輝度部視差ベクトル検出
   手段と、 これら少なくとも２種類以上の視差ベクトルを用いて前
   記撮像手段の撮像感度外の輝度範囲を補償する視差補償
   手段とを具備したことを特徴とする３次元画像撮像装
   置。
8. 【請求項８】 被写体を撮像する３次元画像撮像装置の
   撮像信号圧縮・符号化方式において、 前記被写体を撮像するために少なくとも異なる感度をも
   つ複数の撮像手段と、 前記複数の撮像手段の任意の撮像手段間の視差ベクトル
   を、それらの中間輝度部の撮像信号により算出する中間
   輝度部視差ベクトル検出手段と、 異なる感度をもつ撮像手段間において同時にカバーされ
   ない撮像輝度範囲について、最も視差の少なく、かつ同
   一の感度をもつ撮像手段の撮像信号を基にそれらの視差
   ベクトルを算出する高・低輝度部視差ベクトル検出手段
   と、 これら少なくとも２種類以上の視差ベクトルを用いて撮
   像信号の視差補償予測符号化を行う視差補償予測符号化
   手段とを具備したことを特徴とする３次元画像撮像装置
   の撮像信号圧縮・符号化方式。
9. 【請求項９】 所定撮像信号圧縮・符号化方式により符
   号化された圧縮信号を復号化する３次元画像撮像装置の
   圧縮信号復号化方式において、 撮像時に最も視差が少なく、かつ異なる感度をもつ撮像
   手段の復号化された撮像信号または基準となる撮像手段
   の復号化された撮像信号を基に、２種類以上の視差ベク
   トルによって復号化した撮像信号を生成し、それを基に
   前記撮像手段の撮像感度を可変する撮像感度可変手段を
   具備したことを特徴とする３次元画像撮像装置の圧縮信
   号復号化方式。