JP5331785B2

JP5331785B2 - 立体画像分析装置

Info

Publication number: JP5331785B2
Application number: JP2010281118A
Authority: JP
Inventors: 田重昭園; 島淳彦飯
Original assignee: 株式会社ニューオプト
Priority date: 2010-12-17
Filing date: 2010-12-17
Publication date: 2013-10-30
Anticipated expiration: 2030-12-17
Also published as: JP2012129896A

Description

本発明は、画面から予め設定された所定の視距離だけ離れた観察位置からその画面に映し出される立体画像を観察したときに、観察空間上に飛び出してあるいは引っ込んで見える立体画像の画面からの飛出し量を測定する立体画像分析装置に関する。

図６は立体画像の原理を示す説明図で、画面２１上に水平方向に所定の視差量Ｌだけずらして左眼用画像２２Ｌ及び右眼用画像２２Ｒを表示させ、偏光レンズを利用した立体視用眼鏡２３などを利用して各画像２２Ｌ及び２２Ｒを左眼２４Ｌ及び右眼２４Ｒで選択的に視認すると、観察者の左右の視線が画面２１よりも手前（あるいは奥）で輻輳（交差）するために、画像は画面２１より手前に飛び出して見える。

このとき、目のピント調節は画面２１上に合っているので、ピント調節されている画面までの視距離Ｄと、目から左右の視線の交差する点までの輻輳距離Ｆとは異なることとなるが、このような観察状態は日常では生じないため、見辛さや不自然さを感じる場合がある。
特に、左眼用画像２２Ｒと右眼用画像２２Ｌの視差量Ｌが大きかったり、被写体が短時間で画面から飛び出してくるような急激な視差変化を多く動画像では、強い立体効果が得られる反面、より見辛くなり、視神経への負担が問題視されている。

このため、左右画像の視差量に基づいて立体画像の飛出し量を算出し、立体画像を評価する手段が提案されている（特許文献１）。
これによれば、図６に示すように、観察位置から画面までの視距離Ｄと、左右画像の視差量Ｌと、瞳孔間隔Ｐに基づいて、画面から立体画像の再生位置までの飛出し量Ｈを次式で算出するようにしている。
Ｈ＝Ｄ×Ｌ／（Ｐ＋Ｌ）

例えば、視差量Ｌは、左眼用画像と右眼用画像が画面上で左右逆方向配列になっている状態を＋の値とし、左右順方向配列になっている状態を−の値とし、瞳孔間隔ＰＤは平均的な瞳孔間隔である６５ｍｍとすれば、３ｍ離れたところに置かれた画面上に視差量Ｌ＝＋３０ｍｍで映し出された画像の飛出し量Ｈは、
Ｈ＝３０００×３０／（６５＋３０）≒９５０（ｍｍ）
となり、画面から９５ｃｍ手前に飛び出した画像を見ていることになる。
また、視差量Ｌ＝−２０ｍｍで映し出された画像の飛出し量Ｈは、
Ｈ＝３０００×（−１０）／（６５−１０）≒−５５０（ｍｍ）
となり、画面から５５ｃｍ奥に引っ込んだ画像を見ていることになる。

しかしながら、このように視差量に基づいて理論的に飛出し量を算出することができても、立体画像を映し出している一画面上には、飛び出して見える部分と奥に引っ込んで見える部分が混在し、その立体画像中のどの部分に注目しているかは不明である。
例えば、画面から急に被写体が飛び出してくるような動きをすれば、人間の目は飛出し量の最も大きな手前の画像に注目するであろうし、動きの少ない景色や物体が立体的に映し出されている場合は、必ずしも最も手前の画像に注目せずに、奥行方向の中間位置近傍に注目することもある。
したがって、従来のように画像の視差量のみに基づいて理論的な飛出し量を算出しても、観察者が立体画像のどこを注目しているかを知ることができず、その注目点の飛出し量を知ることもできない。

特開２００５−１４２８１９号公報

そこで本発明は、一つの画面上に飛び出して見える部分と奥に引っ込んで見える部分が混在する立体画像中、観察者の注目点の飛出し量を正確に測定できるようにすることを技術的課題としている。

この課題を解決するために、本発明は、画面から予め設定された所定の視距離だけ離れた観察位置でその画面に映し出される立体画像を観察したときに、観察空間上に再生される当該立体画像の画面からの飛出し量を測定する立体画像分析装置において、立体画像観察中の左右両眼の瞳孔を撮像する撮像カメラが設けられた瞳孔撮像ゴーグルと、前記撮像カメラで撮像された瞳孔画像に基づいて左右の瞳孔間隔を検出する画像処理装置と、検出された瞳孔間隔に基づいて立体画像の飛出し量を測定する演算装置とを備え、
前記瞳孔撮像ゴーグルは、顔面に装着した状態で前方が視認可能な前面開放型のフレームと、左右の目の高さに配されたハーフミラーと、そのハーフミラーで反射した左右の瞳孔を個別に撮像する二台の撮像カメラが配されたことを特徴としている。

本発明によれば、撮像カメラで撮像された瞳孔画像に基づいて、左右の瞳孔間隔が随時検出される。瞳孔間隔は、立体画像を観賞する際に画面奥行方向の注目点の位置に応じて変化し、注目点が観察位置に近づくほど、すなわち、画面から飛び出すほど瞳孔間隔は狭くなり、注目点が観察位置から離れるほど、すなわち、画面から奥に引っ込むほど瞳孔間隔は広がるので、随時変化する瞳孔間隔に基づいて注目点の位置を検出することができる。
したがって、例えば３Ｄ映画などの立体画像を観察している間中、観察者の注目点の飛出し量をリアルタイムで検出することができ、同一画面上に、画面から飛び出して見える部分と奥に引っ込んで見える部分が混在している場合でも、その立体画像の飛出し量を客観的に評価することができる。

本発明に係る立体画像分析装置を示す説明図。飛出し量の算出原理を示す説明図。瞳孔間隔の較正原理を示す説明図。ディスプレイ装置の表示例を示す説明図。注目点の動きをトレースした評価図。立体画像の原理図。

本例は、一つの画面上に飛び出して見える部分と奥に引っ込んで見える部分が混在する立体画像中、観察者の注目点の飛出し量を正確に測定するという目的を達成するために、画面から予め設定された所定の視距離だけ離れた観察位置でその画面に映し出される立体画像を観察したときに、観察空間上に再生される当該立体画像の画面からの飛出し量を測定する立体画像分析装置において、立体画像観察中の左右両眼の瞳孔を撮像する撮像カメラが設けられた瞳孔撮像ゴーグルと、前記撮像カメラで撮像された瞳孔画像に基づいて左右の瞳孔間隔を検出する画像処理装置と、検出された瞳孔間隔に基づいて立体画像の飛出し量を測定する演算装置とを備え、
前記瞳孔撮像ゴーグルには、顔面に装着した状態で前方が視認可能な前面開放型のフレームと、左右の目の高さに配されたハーフミラーと、そのハーフミラーで反射した左右の瞳孔を個別に撮像する二台の撮像カメラを配した。

図１に示す立体画像分析装置１は、画面２から予め設定された視距離Ｄだけ離れた観察位置Ｗでその画面に映し出される立体画像を観察したときに、観察空間上に再生される当該立体画像中、観察者が注目している注目点Ｓの飛出し量Ｈｎを測定するためのもので、立体画像の観察者に装着される瞳孔撮像ゴーグル３と、そのゴーグルで撮像された瞳孔画像に基づき立体画像の飛出し量Ｈｎを算出するコンピュータ４を備えている。

瞳孔撮像ゴーグル３は、顔面に装着した状態で前方が視認可能な前面開放型のフレーム５と、左右の目の高さに配されたハーフミラー６と、そのハーフミラー６で反射した左右の瞳孔を個別に撮像する二台の撮像カメラ７Ｒ，７Ｌが配されている。
各撮像カメラ７Ｒ，７Ｌは、フレーム５の上枠にその光軸を平行にして、光軸間距離が予め設定された距離、例えば平均瞳孔間隔Ｐ_ＡＶ＝６５ｍｍだけ離して下向きに配され、ハーフミラー６を介して光軸が瞳孔側に折り曲げられている。

コンピュータ４は、瞳孔撮像ゴーグル３の撮像カメラ７Ｒ，７Ｌで撮像された瞳孔画像に基づいて左右の瞳孔間隔を随時検出する画像処理装置１１と、立体画像観察中の瞳孔間隔Ｐｎに基づいて立体画像の飛出し量Ｈｎを測定する演算装置１２と、必要なプログラムやデータを記憶するメモリ１３を備えている。
そして、Ｉ／Ｏポート１４には、キーボードやマウスなどの入力装置１５や、ディスプレイやプリンタなどの出力装置１６が接続されると共に、瞳孔撮像ゴーグル３の左右の撮像カメラ７Ｒ，７Ｌが接続されている。

画像処理装置１１は、撮像カメラ７Ｒ，７Ｌから取り込んだ瞳孔画像に映し出された瞳孔の各画像上のＸＹ座標に基づいて瞳孔間隔をリアルタイムで随時検出する。
各瞳孔画像の中心座標は光軸間距離の６５ｍｍ離れていることになるので、左右の瞳孔画像に映し出された瞳孔の各画像上のＸＹ座標を検出すれば、これに基づいて瞳孔間隔をリアルタイムで随時検出することができる。
右眼瞳孔画像上の瞳孔座標が（Ｘ_Ｒ、Ｙ_Ｒ）で左眼瞳孔画像上の瞳孔座標が（Ｘ_Ｌ、Ｙ_Ｌ）の場合に、左眼瞳孔座標を右眼瞳孔画像の座標面に写像すれば（Ｘ_Ｌ＋６５、Ｙ_Ｌ）であるから、瞳孔間隔Ｐｎは、式（１）で算出できる。
Ｐｎ＝［（Ｘ_Ｌ＋６５−Ｘ_Ｒ）^２＋（Ｙ_Ｌ−Ｙ_Ｒ）^２］^１／２ …………（１）

演算装置１２は、算出された瞳孔間隔Ｐｎに基づいて注目点Ｓの飛出し量Ｈｎを算出する。
図２はその算出原理を示す説明図である。
最初に、観察者に瞳孔撮像ゴーグル３をつけた状態で、観察位置Ｗから無限遠点の遠景を観察してもらい、そのときの瞳孔間隔Ｐ_０をメモリ１３に記憶しておく。

眼球中心Ｃから注目点Ｓまでの距離をｄｎ、眼球半径ｒ（＝１２ｍｍ）、観察位置Ｗから画面までの視距離をＤ、注目点Ｓの画面からの飛出し量をＨｎ、注目点Ｓを見たときの眼球８の回転角（注目点Ｓにおける片眼の輻輳角）をθｎとし、瞳孔画像から算出された瞳孔間隔をＰｎとすると、その眼球の動きより、角度θｎは、
θｎ＝arcsin（Ｐ_０−Ｐｎ）／（２ｒ） …………（２）
で表され、注目点Ｓまでの距離ｄｎと瞳孔間隔Ｐ_０との関係より、
tanθｎ＝Ｐ_０／（２ｄｎ） …………（３）
が成り立つ。

注目点Ｓの飛出し量Ｈｎは、
Ｈｎ＝Ｄ−（ｄｎ−ｒ） …………（４）
で表され、注目点Ｓまでの距離ｄｎは、式（２）及び（３）より、
ｄｎ＝Ｐ_０／［２tan｛arcsin（Ｐ_０−Ｐｎ）／（２ｒ）｝］…………（５）
で表される。
したがって、式（５）を式（４）に代入すれば、観察位置Ｗから画面までの距離Ｄ及び眼球半径ｒ（＝１２ｍｍ）は既知であるから、飛出し量Ｈｎを算出することができる。

ただし、理論的に上述した通りに算出することができても、実際に測定された瞳孔間隔Ｐｎに基づいて飛出し量Ｈｎを算出しても、正確な値が得られないことが判明した。
その原因は、人間の眼はその光軸が平行である人は少なく、多かれ少なかれ外方／内方斜視などの個人差が存在することにある。
そこで、誤差が大きい場合には、瞳孔間隔の較正を行っている。

図３はそのような瞳孔間隔の較正原理を示す説明図である。
まず、画面２上に注目点Ｓｃを映し出し、この注目点Ｓｃを見たときの瞳孔間隔Ｐｃを測定する。
視距離Ｄと眼球半径ｒと、無限遠点を見たときの瞳孔間隔Ｐ_０から、注目点Ｓｃを見たときの理論瞳孔間隔Ｐｆは、
Ｐｆ＝Ｐ_０×Ｄ／（Ｄ＋ｒ）
で算出される。
ところが、注目点Ｓｃを見たときに実測された瞳孔間隔がＰｃとすれば、理論瞳孔間隔ｐｆとの比Ｐｆ／Ｐｃに比例して誤差を生ずることとなる。
したがって、式（５）などで飛出し量Ｈｎの算出の際に使用される瞳孔間隔Ｐｎに替えて、これを式（６）で較正した較正瞳孔間隔Ｐｍを用いれば、誤差なく飛出し量Ｈｎを正確に算出することができる。
Ｐｍ＝Ｐｎ×Ｐｆ／Ｐｃ ……………（６）

そして、このように算出された飛出し量Ｈｎを経時的に記録すれば、３Ｄ映画などの立体画像の全編を通じて、注目点Ｓの飛出し量Ｈｎの変化を知ることができる。
このとき、例えば図３に示すように、ディスプレイ装置１６の表示部１７を上下に分け、上半分の右側に３Ｄ映画の立体画像１８を映し出しながら、その左側に左右の瞳孔画像１９Ｒ、１９Ｌを同期的に映し出し、下半分に飛出し量Ｈｎの経時的変化を示すグラフ２０を表示させると同時に、そのグラフの時間軸上に、現在映し出されている瞳孔画像の時刻を示すマーカＭを表示させれば、どの立体画像が眼にどの程度負担をかけているかを容易に知ることができる。

また、ディスプレイ装置１６の表示部１７に、３Ｄ映画の注目点Ｓの動きをトレースした評価図を描かせることもできる。
図４はその評価図の例を示し、２３インチの液晶ディスプレイの画面２の前後位置を表示する平面位置関係図Ｇ上に、注目点Ｓの移動軌跡を示すトレース線Ｔが飛出し量Ｈｎに基づいて描かれており、立体画像の飛出し量や奥行き感、画面のどこを見ているか等の情報を視覚化できる。

平面位置関係図Ｇには、３Ｄ画像の規格・安全性などを検討する業界団体である３Ｄコンソ−シアム（３ＤＣ）の安全ガイドラインによる適正視差範囲ＦＡ及び融合限界ＦＬが示されている。
適正視差範囲ＦＡは、画像の視差が適正とされている場合の画面２の前後方向の注目点Ｓの深度範囲であり、視距離Ｄ＝８６０ｍｍとしたときに、２３インチディスプレイにおける適正視差範囲ＦＡは、画面前方約１６０ｍｍ、画面後方約２７０ｍｍである。
また、融合限界ＦＬは、３Ｄ画像を構築できる限界の視差における注目点Ｓの深度範囲であり、画面前方約３３０ｍｍ、画面後方約７５０ｍｍとされている。

なお、注目点Ｓの左右方向の位置は、左右の瞳孔の水平方向移動量を個別に測定することにより、幾何学的に算出可能である。
また、画面２の前後位置を表示する位置関係図は、上述した平面位置関係図Ｇを描かせる場合に限らず、側面位置関係図を描かせる場合であっても、平面位置関係図及び側面位置関係図の双方を描かせるようにしてもよい。
側面位置関係図を描かせる場合において、注目点Ｓの上下方向の位置は、左右の瞳孔の垂直方向移動量を個別に測定することにより、幾何学的に算出可能である。

このように、ガイドラインの快適視差範囲ＦＡや融合限界ＦＬなどと合わせると、安全性の評価にも有効なグラフ表示となる。
また、注目点が常に快適視差範囲内に位置するように立体像を納めてしまうと、面白くない映像となってしまうので、適度に範囲を超えて刺激のある画像とすると同時に、範囲を超えたときの量及び時間が度を過ぎないように、面白みと安全性のかねあいを比較検討する基礎資料を提供することができる。

本発明は、立体画像を鑑賞する観察者が実際に見ている注目点の飛出し量を検出する立体画像分析装置の用途に適用することができる。

１立体画像分析装置
２画面
３瞳孔撮像ゴーグル
４コンピュータ
５フレーム
６ハーフミラー
７Ｒ，７Ｌ撮像カメラ
Ｄ視距離
Ｗ観察位置
Ｈｎ飛出し量
Ｐｎ瞳孔間隔

Claims

画面から予め設定された所定の視距離だけ離れた観察位置でその画面に映し出される立体画像を観察したときに、観察空間上に再生される当該立体画像の画面からの飛出し量を測定する立体画像分析装置において、
立体画像観察中の左右両眼の瞳孔を撮像する撮像カメラが設けられた瞳孔撮像ゴーグルと、前記撮像カメラで撮像された瞳孔画像に基づいて左右の瞳孔間隔を検出する画像処理装置と、検出された瞳孔間隔に基づいて立体画像の飛出し量を測定する演算装置とを備え、
前記瞳孔撮像ゴーグルは、顔面に装着した状態で前方が視認可能な前面開放型のフレームと、左右の目の高さに配されたハーフミラーと、そのハーフミラーで反射した左右の瞳孔を個別に撮像する二台の撮像カメラが配されたことを特徴とする立体画像分析装置。
画面から予め設定された所定の視距離だけ離れた観察位置でその画面に映し出される立体画像を観察したときに、観察空間上に再生される当該立体画像の画面からの飛出し量を測定する立体画像分析装置において、
立体画像観察中の左右両眼の瞳孔を撮像する撮像カメラが設けられた瞳孔撮像ゴーグルと、前記撮像カメラで撮像された瞳孔画像に基づいて左右の瞳孔間隔を検出する画像処理装置と、検出された瞳孔間隔に基づいて立体画像の飛出し量を測定する演算装置とを備え、
前記演算装置で算出された飛出し量の経時的変化を表示するディスプレイ装置を備えたことを特徴とする立体画像分析装置。
前記演算装置で算出された飛出し量の経時的変化を表示するディスプレイ装置を備えた請求項１記載の立体画像分析装置。
前記ディスプレイ装置は、撮像された瞳孔画像と、鑑賞している立体画像と、注目点の飛出し量を同期的に表示する請求項２又は３記載の立体画像分析装置。
前記ディスプレイ装置は、画面の前後位置を表示する位置関係図上に、前記飛出し量に基づいて注目点の移動軌跡を示すトレース線を表示する請求項２又は３記載の立体画像分析装置。
前記位置関係図上に、予め規定された適正視差範囲及び融合限界が表示されてなる請求項５記載の立体画像分析装置。