WO2003081921A1

WO2003081921A1 - Procede de traitement d'images tridimensionnelles et dispositif

Info

Publication number: WO2003081921A1
Application number: PCT/JP2003/003791
Authority: WO
Inventors: Ken Mashitani; Goro Hamagishi; Satoshi Takemoto
Original assignee: Sanyo Electric Co., Ltd.
Priority date: 2002-03-27
Filing date: 2003-03-27
Publication date: 2003-10-02
Also published as: EP2357841B1; EP2357841A3; EP2357837A3; EP1489857B1; KR100812905B1; EP2357838A2; EP2357835A3; EP1489857A1; EP2387248A3; EP2362670A1; KR20050004823A; EP2357839A3; EP2357840A3; EP2357836A2; EP2362670B1; EP2357838B1; EP2357840A2; EP2387248A2; EP2381691A3; EP2357838A3

Description

03 03791

立体画像処理方法および装置技術分野

この発明は立体画像処理技術、特に、視差画像をもとに立体画像を生成または表示する方法および装置に関する明。背景技術田

近年、ネットワークインフラの未整備が問題視されてきたが、ブロードバンドへの移行期を迎え、むしろ、広い帯域を有効活用するコンテンツの種類や数の少なさが目立ち始めている。映像はいつの時代でも、最も重要な表現手段であったが、いままでの取り組みの多くは表示品質やデータ圧縮率の改善に関するものであり、それらに比べると、表現の可能性自体を広げる技術的な取り組みは、後手にまわっている感がある。

そうした中で、立体映像表示（以下、単に立体表示という）は、以前からいろいろ研究され、劇場用途や特殊な表示装置を利用する、ある程度限られた市場で実用化されてきた。今後は、より臨場感の溢れるコンテンヅの提供を目指してこの方面の研究開発が加速し、個人ユーザが家庭でも立体表示を楽しむ時代が来るものと思われる。

また、立体表示は今後普及が期待されるものであるが、それ故に、現在の表示装置では想像し得なかった表示形態も提案されている。例えば、二次元画像の選択された部分画像を立体にして表示する技術が開示されている（例えば、特開平

1 1 - 3 9 5 0 7号公報参照）。

そうした流れの中にあって、立体表示には以前よりいくつかの課題が指摘されている。例えば、立体感を創生する原因となる視差の適正化が難しい。もともと、本当に≡次元のオブジェクトを映し出しているのではなく、その映像を左右両目に対して画素単位でずらして投じているのであり、その人工的な立体感に自然な感じをもたせるのは容易ではない。

また、視差の付けすぎも問題になることがあり、立体映像の観察者（以下、単にユーザともいう）によっては、軽い不快感を訴える場合がある。もちろんこれには、立体表示だけではなく、表示されているシーンと自己の周囲の状況ないし感覚が一致しないなど、種々の要因がある。しかし、経験則からいえば、そうした問題は視差が大きすぎる、換言すれば、立体感が強すぎる場合に観察されやすい。

以上は人間の生理上のはなしであるが、それとは別に、立体映像のコンテンヅやアプリケーションの普及を阻む技術要因がある。立体視は視差によって実現するが、仮に視差を左右画像の画素のずれ量で表現しても、表示装置のハ一ドゥエァの差違により、同じ立体映像が適切に立体視できる場合とそうでない場合がある。遠方を表現する視差が眼間距離を超えてしまうと、理論的に立体視ができない。今日のように、表示装置の解像度やスクリーンサイズが P C (パーソナルコンピュ一夕）、テレビジョン受像機、携帯機器など多様化する中、いろいろなハ一ドウエアを考えて立体表示のために最適なコンテンツを作るのは難題であり、あるいは、そのための方法論が与えられていないというほうがより正確である。また仮に、その方法論が与えられたとしても、それを一般のプログラマが理解し、コンテンツおよびアプリケーションの作成に利用することを期待するのは難しいであろう。

上記文献に開示の ¾術にあっては、上述の課題を解決する一手法として提案されているが、今後立体表示を ½及させる為には、さらなる手法を提案し新たな技術を蓄積するとともに、それら技術を連携させ製品に適用させる必要がある。発明の開示

本発明はこうした背景に鑑みてなされたものであり、その目的は、立体表示の新たな表現手法を提案することにある。別の目的は、 ¾示対象画像や表示装置が変わってもユーザに適切な立体画像を生成または表示することにある。更に別の目的は、立体表示がなされているときに、簡単な操作でその立体感を調整することにある。更に別の目的は、適切な立体表示が可能なコンテンヅまたはアプリケ —シヨンづくりに際し、プログラマの負担を軽減することにある。更に別の目的は、適切な立体表示を実現する技術をビジネスのモデルとして提供することにある。

本発明の基礎をなす発明者の知見は、適正視差をいつたん表示装置のハードウエアやユーザと表示装置の距離などの要素（以下、これらを統括的に「ハ一ドウエア」と表現する）から切り離すことにある。すなわち、適正視差の表現を後述のカメラ間隔と光軸交差位置で一般化することにより、いったんハードウエアに依存しない汎用的な形で記述する。「ハードウェアに依存しない」とは、表示装置に固有のハ一ドウエア情報の読み出しが原則的に不要という意味であり、この汎用的な記述がなされれば、あとはその適正視差に基づいて視差画像を生成または調整すれば、所望の立体表示が実現する。

適正視差の取得、および画像の立体表示の際にその適正視差を実現する制御をライブラリで提供することにより、一般のプログラマはこのライブラリを呼び出せば複雑な立体視の原理やプログラミングを意識せず適正な立体表示が実現する本発明のいろいろな態様のうち、第 1グループは、ュ一ザの応答をもとに適正視差を取得する技術を基本とする。この技術は、ユーザによる視差の「初期設定」に利用でき、いちど適正視差が装置内に取得されれば、以降、別の画像の表示の際にもその適正視差が実現される。ただし、この技術は初期設定にとどまらず

、ユーザが適宜表示中の画像の視差を調整する「手動豳整」にも利用される。以下、第 1グループに関する。 '

本発明は、立体画像処理装置に関し、異なる視差に対応する複数の視点画像をもとに表示された立体画像に対するユーザの応答を取得する指示取得部と、取得された応答をもとに、そのユーザに関する適正視差を特定する視差特定部とを含む。

指示取得部は、例えば G U I (グラフィカルュ一ザイン夕フェイス、以下同様 ) として提供され、まず視点画像間の視差を変えながら表示する。ユーザは自分が好む立体感になったとき、ボタン操作などによってその旨を入力する。

「立体画像」とは立体感をもって表示された画像であり、そのデータの実体は、複数の画像に視差をもたせた「視差画像」である。視差画像は一般に複数の二次元画像の集合である。視差画像を構成する各画像は、それそれが対応する視点を有する「視点画像」である。つまり、複数の視点画像によって視差画像が構成され、それを表示すると立体画像として表示される。立体画像の表示を単に「立体表示」ともいう。

「視差」とは、立体感を生むためのパラメ一夕であり、いろいろな定義が可能だが、一例として視点画像間の同じ点を表す画素のシフト量で表現できる。以下、本明細書では、特に断らない限り、その定義にしたがう。

適正視差は範囲指定してもよい。その場合、その範囲の両端を「限界視差」とよぶことにする。「適正視差の特定」は、後述の近置オブジェクトの視差として許容できる最大値で行ってもよい。

本発明の立体画像処理装置は更に、特定された適正視差が別の画像の表示の際にも実現されるよう処理を施す視差制御部を含んでもよい。別の画像が三次元デ —夕を起点として生成される立体画像であるとき、視差制御部は前記の適正視差にしたがってその立体画像を生成する複数の視点を決定してもよい。より具体的には、複数の視点間の距離とそれらの視点からオブジェクトを見込む光軸の交差位置を決定してもよい。これらの処理の一例は、後述のカメラ配置決定部によつてなされる。これらの処理をリアルタイムにすれば、常に最適な立体表示が実現する。

視差制御部は、表示の対象となる所定の基本三次元空間について適正視差が実現するよう制御してもよい。この処理の一例は、後述の投影理部によってなされる。

視差制御部は、三次元空間において最も近置されるオブジェクトの座標と最も遠置されるォブジェクトの座標について前記適正視差が実現するよう制御してもよい。この処理の一例は、後述の投影処理部によってなされる。オブジェクトは静的でもよい。

「近置」は複数の視点にそれそれ置かれたメラの視線、すなわち光軸の交差位置（以下、「光軸交差位置」ともいう）にある面（以下、「光軸交差面」ともいう）より前に立体視されるような視差が付けられている状態を指す。「遠置」は逆に光軸交差面よりうしろに立体視されるような視差が付けられている状態を指す。近置オブジェクトの視差が大きくなるほどユーザに近づいて感知され、遠置オブジェクトの視差が大きくなるほどュ一ザから遠ざかって見える。すなわち、特に断らないかぎり、視差は近置、遠置で正負が反転せず、ともに非負の値として定義し、光軸交差面において近置視差、遠置視差ともにゼロとする。

表示されるオブジェクトや空間のうち、視差のない部分について、光軸交差面は表示装置のスクリーン面に一致する。なぜなら、視差が付けられていない画素は、左右両眼から見込む視線がちょうどスクリーン面内の同じ位置に到達し、すなわち、そこで交差するためである。

前記の別の画像がすでに視差が与えられている複数の二次元画像である場合、視差制御部は適正視差にしたがってそれら複数の二次元画像の水平方向のシフト量を定めてもよい。この態様では、立体表示のための入力が三次元データを起点として高い自由度をもって生成されるのではなく、すでに生成されている視差画像であり、視差は固定されている。この場合、もとの三次元空間、あるいは実際に撮影された実空間に戻ってカメラ位置を変更して再描画、あるいは再撮影する処理ができない。そのため、視差画像を構成する視点画像、またはそれらに含まれる画素を水平へシフトして視差を調整する。

前記の別の画像はデプス情報が与えられている平面画像（以下これを「デブス情報付画像」ともいう）の場合、視差制御部は適正視差にしたがってそのデプスを調整してもよい。この処理の一例は、後述の第 3の立体画像処理装置の二次元画像生成部によってなされる。

この立体画像処理装置は、適正視差を記録する視差保持部を更に含み、視差制御部、所定のタイミング、例えばこの装置の起動時や、この装置が有する立体画像処理機能またはその一部が起動されたときなどにおいて適正視差を読み込み、その値を初期値として処理を施してもよい。すなわち、「起動」はハ一ドゥエァ的な意味でもソフトウェア的な意味でもよい。この態様によれば、ユーザがいちど適正視差を決めれば、以降、立体感調整のための自動処理が実現する。これは「適正視差の初期設定」とでもよぶ機能である。

本発明の別の態様は、立体画像処理方法に関し、異なる視差による複数の立体画像をュ一ザに表示するステップと、表示された立体画像に対するユーザの応答をもとにそのユーザに関する適正視差を特定するステップとを含む。

本発明の更に別の態様も立体画像処理方法に関し、ユーザに依存する適正視差を取得するステップと、取得した適正視差が実現されるよう、表示前に画像に処理を加えるステップとを含む。ここで「取得」は積極的に特定する処理であってもよいし、前記の視差保持部等から読み込む処理であってもよい。

これら各ステヅプを立体表示用ライブラリの機能として実装し、複数のプログラムからこのライブラリの機能を関数として呼出し可能に構成すれば、プログラマがいちいち立体表示装置のハ一ドウエアを考慮してプログラムを記述する必要がなくなり、効果的である。

本発明の第 2グループは、ユーザの指示をもとに視差を調整する技術を基本とする。この技術は、ュ一ザによる視差の「手動調整」に利用でき、ユーザは適宜表示中の画像の立体感を変更できる。ただし、この技術は手動調整にとどまらず、ある画像を立体表示する際、前述の適正視差を読み込み、その画像の視差を自動調整する際にも利用できる。第 1グループの自動調整との違いは、第 2グループの自動調整が二次元の視差画像またはデプス情報付画 i象に対して作用する点であり、三次元データまで遡って視差を変更する場合は第 1グループの技術を利用する。以下、第 2グループに関する。

本発明のある態様は立体画像処理装置に関し、複数の視点画像から表示された立体画像に対するユーザの指示を取得する指示取得部と、取得された指示にしたがい、前記複数の視点画像間の視差量を変化させる視差制御部とを含む。この処理の一例は後述の図 4 5に示され、「手動調整」の典型例である。ユーザの指示は、例えばボタン操作など、簡単な G U Iで提供すれば利便性が高い。

本発明の別の態様も立体画像処理装置に関し、複数の視点画像から立体画像を表示するときに生じる第 1の視差量を検出する視差量検出部と、第 1の視差量が、ュ一ザの許容視差量である第 2の視差量の範囲に入るよう前記複数の視点画像間の視差量を変化させる視差制御部とを含む。これは「自動調整」の典型例であり、第 2の視差量として前述の適主視差が利用できる。この処理の一例は、後述の図 4 6に示される。視差量検出部は第 1の視差量の最大値を検出し、視差制御部は、その最大値が第 2の視差量の最大値を超えないよう複数の視点画像間の視差量を変化させてもよい。視差の付きすぎによる過度な立体感を避けるため、視差量の最大値、すなわち限界視差を守る意図である。ここでいう最大値は、近置側の最大値と考えてもよい。

視差量検出部は、複数の視点画像間で対応点マッチングを計算して第 1の視差量を検出したり、または複数の視点画像のいずれかのヘッダに予め記録された第 1の視差量を検出してもよい。これらの処理の一例は後述の図 4 7に示される。視差制御部は、複数の視点画像の合成位置をシフトすることにより複数の視点画像間の視差量を変化させてもよい。これは図 4 5〜4 7に共通である。合成位置のシフトは、画素または画像全体を単位とする水平または垂直方向のシフトである。入力がデブス情報付画像の場合、視差制御部は、デプス情報を調整して視差量を変化させてもよい。

本発明の別の態様は立体画像処理方法に関し、複数の視点画像をもとに表示された立体画像に対するユーザの指示を取得するステップと、その指示にしたがい、前記複数の視点画像間の視差量を変化させるステップとを含む。

本発明の更に別の態様も立体画像処理方法に関し、複数の視点画像から立体画像を表示するときに生じる第 1の視差量を検出するステップと、第 1の視差量が、ユーザの許容視差量である第 2のネ差量の範囲に入るよう複数の視点画像間の視差量を変化させるステップとを含む。

これら各ステップを立体表示用ライブラリの機能として実装し、複数のプログラムからこのライブラリの機能を関数として呼出し可能に構成してもよい。本発明の第 3グループは、画像内位置に基づいて視差を補正する技術を基本とする。この「自動補正」は立体表示に対するユーザの違和感または拒絶感を軽減するよう作用し、第 1、第 2グループの技術と併用できる。一般に、立体表示の際、画像端部に近いほど複数の視点画像がずれて観察されたり、違和感を産みやすいなど、技術上または生理上の問題点力 ^s指摘される。第 3グループでは、画像端に近い部分で視差を減らし、またはオブジェクトが近置側から遠置側へ移動するよう視差を調整するなどの処理により、この問題の軽減を図る。以下、第 3グループに関する。

本発明のある態様は立体画像処理装置に関し、立体画像を表示するための複数の視点画像間の視差を補正する視差制御部と、視差制御部がその処理の際に参照すべき補正マップを保持するマップ保持部とを含み、この補正マップは、視差が視点画像内の位置に基づいて補正されるよう記述されている。補正マップには、視差補正マップ、距離感補正マヅプなどがある。

視差制御部は、例えば複数の視点画像の周辺部において視差を小さくするか、またはオブジェクトがユーザからより遠くに感知されるよう視差を変化させる。視差制御部は、複数の視点画像のいずれかに選択的に処理を施すことによって視差を変化させてもよい。

複数の視点画像は三次元デ一夕から生成されるもの、すなわち、三次元空間まで戻って視点画像を生成できる場合には、視差制御部は複数の視点画像の生成にあたって、カメラパラメ一夕を制御して視差を変化させてもよい。カメラパラメ —夕として、左右カメラの間隔、カメラからオブジェクトを見込む角度、または光軸交差位置などがある。

同様に、複数の視点画像が三次元デ一夕から生成される場合、視差制御部は複数のネ見点画像の生成にあたって、三次元空間自体を例えばワールド座標系において歪ませることにより視差を変化させてもよい。一方、複数の視点画像がデプス情報付画像から生成される場合、視差制御部はそのデプス情報を操作することによって視差を変化させてもよい。

本発明の別の態様は立体画像処理方法に関し、立体画像を表示するための複数の視点画像を取得するステップと、取得された前記複数の視点画像間の視差をそれら視点画像内の位置に基づいて変化させるステップとを含む。これらのステヅプを立体表示用ライブラリの機能として実装し、複数のプログラムからこのライブラリの機能を関数として呼出し可能に構成してよい。

本発明の第 4グループは、第 1〜第 3グループおよびその関連機能をソフトウエアライブラリとして提供し、プログラマおよびユーザの負担を軽減し、立体画像表示アプリケーションの普及を促進する技術に関する。以下、第 4グループに関する。本発明のある態様は立体画像処理方法に関し、立体画像表示に関連する情報をメモリ上に保持し、その保持された情報を複数の異なるプログラム間で共有し、それらのプログラムのいずれかが立体画像を表示する際、保持された情報を参照して出力すべき画像の状態を決定する。画像の状態の例は、視差画像にどの程度の視差が与えられているか、その程度である。

「保持された情報」は、立体画像表示装置に入力される画像のフォーマット、視点画像の表示順序、視点画像間の視差量のいずれかの情報を含んでもよい。また、保持された情報の共有に加え、立体画像表示固有の処理を複数のプログラムで共有してもよい。「立体画像表示固有の処理」の一例は、保持された情報を決定するための処理である。別の例は、適正視差を決定するためのグラフィカルューザィン夕フェイスに関する処理、適正視差状態の実現を支援する視差調整用画面の表示処理、ユーザの頭位置を検出して追跡する処理、立体表示装置を調整するための画像を表示する処理などである。

本発明の別の態様は、立体画像処理装置に関し、立体表示画像の立体感を調整するためのグラフィカルュ一ザィン夕フェイスをユーザに提供する立体感調整部と、ユーザによる立体感の調整の結果判明する限界視差を守る形で視差画像を生成する視差制御部とを含む。

この装置は更に、'立体画像表示を適正化するために参照すべき情報を取得する情報検出部と、取得さた情報にしたがって前記視差制御部で生成された視差画像のフォーマツトを変換する変換部とを含んでもよい。

視差制御部は、三次元データに基づき、カメラパラメ一夕を制御して、限界視差を守りつつ視差画像を生成してもよいし、デブス情報付画像のデブスを制御して視差画像を生成してもよいし、視差のある複数の二次元画像の水平方向のシフト量を定めた後、視差画像生成してもよい。

本発明の第 5グループは、以上の立体画像処理技術またはその関連技術を用いたひとつのアプリケーション、またはビジネスモデルに関する。第 4グループのソフトウエアライブラリが利用可能である。以下、第 5グループに関する。本発明のある態様は立体画像処理方法に関し、視差画像を立体表示するための適正視差をいつたん表示装置のハードウェアに依存しない表現形式へ変換し、この表現形式による適正視差を異なる表示装置間で流通する。

本発明の別の態様も立体画像処理方法に関し、第 1の表示装置にて取得されたユーザの適正視差を第 2の表示装置に読み込むステツプと、第 2の表示装置にて前記適正視差にしたがって視差画像間の視差を調整するステツプと、第 2の表示装置から調整後の視差画像を出力するステップとを含む。例えば、第 1の表示装置がユーザの通常利用する装置、第 2の表示装置が別の個所に設けられた装置である。また、第 1の表示装置のハードウェアに関する情報を第 2の表示装置に読み込むステップと、読み込んだ第 1の表示装置のハードウヱァに関する情報および第 2の表示装置のハードウエアに関する情報をもとに、視差画像の視差を調整するステップで視差が調整された視差画像を、第 2の表示装置にて適正視差にしたがって視差を補正するステヅプと、を更に含んでもよい。

また、ハードウェアに関する情報は、表示画面の大きさ、表示装置の最適観察距離、表示装置の画像分離性能のすくなくともいずれかを含んでもよい。

本発明の別の態様は、立体画像処理装置に関し、ネットワークを介して接続された第 1の表示装置、第 2の表示装置およびサーバを含み、第 1の表示装置は、当該装置にて取得されたユーザの適正視差情報をサーバに送信し、サーバは適正視差情報を受信してこれをユーザと関連づけて記録し、ユーザが第 2の表示装置にて画像デ一夕の出力を要求したとき、当該装置はサーバからそのユーザの適正視差情報を読み出して視差を調整したのち視差画像を出力する。

本発明の第 6グループは、立体画像を用いた新たな表現手法を案する技術を基本とする。

本発明のある態様は、立体画像処理装置に関する。この立体画像処理装置は、異なる視差に対応する複数の視点画像をもとに立体画像を表示する立体画像処理装置であって、当該立体画像表示装置を利用して立体画像を表示する際に推奨される視差範囲を取得する推奨視差取得部と、取得した推奨れる視差範囲内で前記立体表示画像を表示するよう視差を設定する視差制御部と、を有する。

また、立体画像に含まれる所定のオブジェクトの指定をユーザより受け付けるオブジェクト指定部と、指定されたオブジェクトの位置に、複数の視点画像それそれに関連づけられている光軸交差位置を対応させるとともに、指定されたォブジェクトが、立体画像が表示される表示画面の位置付近に表現するように光軸の交差位置を設定する光軸交差位置設定部と、を更に有してもよい。

また、指定されたオブジェクトに対して、そのオブジェクトが光軸交差位置と対応づけられ、かつ、前記のオブジェクトが表示画面の位置付近に表現される旨が記述された光軸対応情報を、前記のオブジェクトと関連づける指定情報付加部と、を更に有してもよい。

また、光軸交差位置設定部は、光軸対応情報を取得し、取得した光軸対応情報に記述されているォブジェクトに対して光軸交差位置を対応させるとともに、光軸交差位置が対応づけられたオブジェクトを、前記立体画像が表示される表示画面の位置付近に表現してもよい。

また、立体画像を生成する際に用いられる画像データに関連づけられており、立体画像に含まれるオブジェクトに、立体表示すべきオブジェクトが含まれる基本表現空間内に表現すべきか否かの情報が含まれる識別情報を取得する識別情報取得部を、更に有してもよく、視差制御部は、取得した識別情報を、才ブジェクトを立体画像に表現する際に反映させてもよい。

また、識別情報は、前記オブジェクトを基本表現空間内に表現する際の夕イミングに関する情報を含んでもよく、識別情報取得部は、取得したタイミングを、オブジェクトを立体画像に表現する際に反映させてもよい。

本発明の別の態様は、立体画像処理方法に関する。この立体画像処理方法は、異なる視差に対応する複数の視点画像をもとに表示される立体画像に含まれる所定のオブジェクトを選択可能とし、オブジェクトが選択された場合、選択されたォブジヱクトの位置に、前記の複数の視点画像それそれに関連づけられている光軸交差位置を対応させるとともに、その光軸交差位置を立体画像が表示される表示画面の位置に略一致させる。この立体画像処理方法によると、表示画面が遠置空間と近置空間の境界に設定でき、オブジェクトが表示画面を越えて観察者に向かってくるような表現が可能となる。

また、指定されたオブジェクトは所定の界面を有し、光軸交差位置設定部は、界面上に光軸交差位置を対応づけてもよい。また、立体画像が、三次元データを起点として生されてもよい。三次元データを起点に立体 H像が生成される場合、立体画像に様々な効果を加味することが容易である。例えば、あるオブジェクトが界面、つまり表示画面を越える様に表現する際に、その表示画面を変形させる様な効果を加味できる。

本発明の更に別の態様も立体画像処理方法に関する。この立体画像処理方法は ' 、異なる視差に対応する複数の視点画像をもとに生成される立体画像が表示される表示画面付近に、立体画像の一部として、空間と空間を隔てる界面を設定するとともに、その界面を近置空間および遠置空間の境界として立体画像を表現する。また、界面は、物質と物質の境界面であってもよし、薄板であってもよい。薄板としてガラス板や、更に紙などがある。

本発明の更に別の態様は、立体画像処理方法に関する。この立体画像処理方法は、異なる視差に対応する複数の視点画像をもとに生成される立体画像に含まれ、かつ立体表示すべきオブジェクトが含まれる基本表現空間内に表現すべきォブジェク卜の移動速度を、近置または遠置方向について変更するステップを含む。本発明の更に別の態様も、立体画像処理方法に関する。この立体画像処理方法は、異なる視差に対応する複数の視点画像をもとに立体画像を生成する際に、立体表示すべきォブジェクトが含まれる基表現空間内に表現すべき'オブジェクトを所定の視差範囲内に収まるように表現しつつ、前記基本表現空聞の最前面あるいは最後面の少なくとも一方の面をォブジェクトが存在しない位置に設定する。本発明の更に別の態様も、立体画像処理方法に関する。この立体画像処理方法は、異なる視差に対応する複数の視点画像をもとに立体画像を生成するに際して、立体表示すべきオブジェクトが含まれる基本表現空間内に表現すべきオブジェクトの視差を算出する、オブジェクトの実際のサイズに替えて、オブジェクトの前方の拡張領域を含むサイズとしてオブジェクトの視差を算出する。また、前方の拡張領域を含む形で、オブジェクトが移動することによって基本表現空間の最前面に位置した後、オブジェクトが更に前方に移動する場合、オブジェクトを前方の拡張領域を移動するように表現してもよい。

本発明の更に別の態様も、立体画像処理方法に関する。この立体画像処理方法は、異なる視差に対応する複数の視点画像をもとに立体画像を生成するに際して、立体表示すべきオブジェクトが含まれる基本表現空間内に表現すべきオブジェクトの視差を算出する際、オブジェクトの実際のサイズに替えて、オブジェクトの後方の拡張領域を含むサイズとしてオブジェクトの視差を算出する。また、前方の拡張領域を含む形でオブジェクトが、移動することによって基本表現空間の最後面に位置した後、オブジェクトが更に後方に移動する場合、オブジェクトを、後方の拡張領域を移動するように表現してもよい。

本発明の本発明の第 7グループは、画像の状態に応じて、設定すべき視差を調整する技術を基本とする。

本発明のある態様は、立体画像処理装置に関する。この立体画像処理装置は、三次元データにより立体画像を生成する際に、立体画像内に表現されるオブジェクトの幅と奥行きの比が人間の眼に正しく知覚される範囲の視差よりも、視差が大きくならないように制御する視差制御部を有する。

本発明の別の態様も、立体画像処理装置に関する。この立体画像処理装置は、デプス情報が与えられた二次元画像より立体画像を生成する際に、前記立体画像内に表現されるォブジェクトの幅と奥行きの比が人間の眼に正しく知覚される範囲の視差よりも、視差が大きくならないように制御する視制御部を有する。本発明の更に別の態様も、立体画像処理装置に関する。この立体画像処理装置は、異なる視差に対応する複数の視点画像をもとに表示されるべき立体画像を周波数分析する画像判定部と、周波分析により判明する高周波成分の量に応じて、視差量を調整する視差制御部と、を有する。また、視差制御部は、高周波成分の量が多い場合は、視差量を大きくする調整を行ってもよい。

本発明の更に別の態様も、立体画像処理装置に関する。この立体画像処理装置は、異なる視差に対応する複数め視点画像をもとに表示される立体画像の動きを検出する画像判定部と、立体画像の動きの量に応じて、視差量を調整する視差制御部と、有する。また、視差制御部は、前記立体画像の動きの量が少ない場合、視差量を小さくする調整を行ってもよい。

本発明の更に別の態様も立体画像処理装置に関する。この立体画像処理装置は

、データにより立体画像を生成する際に、視差 ia像を生成するために設定されるカメラ配置に関するパラメ一夕が変更される場合、カメラパラメ一夕を前記パラメ一夕の変動に対して予め設けられている閾値に収まるよう制御する。この装置によると、視差が急激に変化して、立体画像の観察者が違和感を感じることを、低減できる。

本発明の更に別の態様も立体画像処理装置に関する。この立体画像処理装置は、デプス情報が与えられた二次元動画像より動画像の立体画像を生成する際に、二次元動画像の進行に伴い発生する、デプス情報に含まれるデブスの最大値もしくは最小値の変動が、予め設けられている閾値に収まるように制御する。この装置によると、視差が急激に変化して、立体画像の観察者が違和感を感じることを、低減できる。

本発明の更に別の態様は、立体画像処理方法に関する。この立体画像処理方法は、異なる視差に対応する複数の視点画像をもとに表示される立体画像の適正視. 差を、シーンを単位として設定する。

本発明の更に別の態様は、立体画像処理方法に関する。この立体画像処理方法は、異なる視差に対応する複数の視点画像をもとに表示される立体画像の適正視差を、所定の時間間隔で設定する。

本発明の別の態様は、立体画像処理装置に関¹ る。この立体画像処理装置は、立体画像の起点となるオリジナルデータが入力された際に、複数の視点画像を生成するための複数の仮想カメラの配置を設定するカメラ配置設定部と、仮想カメラそれそれに対応して生成される視点画像に、表示すべきオブジェクトの情報が存在しない領域が発生しているか否かを判定するオブジェクト領域判定部と、表示すべきオブジェクトの情報が存在しない領域が発生している場合、オブジェクトの情報が存在しない領域が無くなるように、仮想カメラの画角、カメラ間隔、および光軸の交差位置の少なくともいずれかを調整するカメラパラメータ調整部と、を有する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。図面の簡単な説明

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によって更に明らかになる。

図 1は、理想的な立体視ができているユーザ、スクリーン、再生オブジェクト 1 4の位置関係を示す図である。

図 2は、図 1の状態を実現する撮影系の例を示す図である。

図 3は、図 1の状態を実現する撮影系の別の例を示す図である。

図 4は、図 1の状態を実現する撮影系の別の例を示す図である。

図 5は、第 1の立体画像処理装置に利用するモデル座標系を示す図である。図 6は、第 1の立体画像処理装置に利用するワールド座標系を示す図である。図 7は、第 1の立体画像処理装置に利用するカメラ座標系を示す図である。図 8は、第 1の立体画像処理装置に利用するビューボリュームを示す図である o

図 9は、図 8のボリュ一ムの透視変換後の座標系を示す図である。

図 1 0は、第 1の立体画像処理装置に利用するスクリーン座標系を示す図である。

図 1 1は、第 1の立体画像処理装置の構成図である。

図 1 2は、第 2の立体画像処理装置の構成図である。

図 1 3は、第 3の立体画像処理装置の構成図である。

図 1 4 ( a ) 、図 1 4 ( b ) は、それぞれ、第 1の立体画像処理装置の立体感調整部によって表示される左眼画像と右眼画像を示す図である。

図 1 5は、第 1の立体画像処理装置の立体感調整部によって表示される、異なる視差をもつ複数のオブジェクトを示す図である。

図 1 6は、第 1の立体画像処理装置の立体感調整部によって表示される、視差が変化するォブジェクトを示す図である。

図 1 7は、適正視差が実現される際のカメラ画角、画像サイズ、視差の関係を示図である。

図 1 8は、図 1 7の状態を実現する撮影系の位置関係を示す図である。

図 1 9は、図 1 7の状態を実現する撮影系の位置関係を示す図である。

図 2 0は、多視点画像を適正視差で生成する際のカメラ配置を示す図である。図 2 1は、第 1の立体画像処理装置の歪処理部が利用する視差補正マップを示す図である。

図 2 2は、図 2 1の視差補正マップにしたがって視差画像を生成する際のカメラ視点を示す図である。

図 2 3は、図 2 1の視差補正マップにしたがって視差画像を生成する際の別のカメラ視点を示す図である。

図 2 4は、第 1の立体画像処理装置の歪処理部が利用する視差補正マップを示す図である。

図 2 5は、図 2 4の視差補正マップにしたがって視差画像を生成する際のカメラ視点を示す図である。

図 2 6は、第 1の立体画像処理装置の歪処理部が利用する距離感補正マップを示す図である。

図 2 7は、図 2 6の距離感補正マヅプにしたがって視差画像を生成する際の力メラ視点を示す図である。

図 2 8は、第 1の立体画像処理装置の歪処理部が利用する別の距離感補正マツプを示す図である。

図 2 9ほ、図 2 8の距離感補正マップにしたがって視差画像を生成する際の力メラ視点を示す図である。

図 3 0 ( a ) 、図 3 0 ( b ) 、図 3 0 ( c ) , 図 3 0 ( d ) 、図 3 0 ( e ) , 図 3 0 ( f ) は、いずれも第 1の立体画像処理装置の歪処理部が三次元空間に処理を施した結果得られる視差分布の上面図である。

図 3 1は、第 1の立体画像処理装置の歪処理部による処理の原理を示す図である o

図 3 2は、図 3 1の処理を具体的に示す図である。

図 3 3は、図 3 1の処理を具体的に示す図である。

図 3 4は、図 3 1の処理を具体的に示す図である。

図 3 5は、第 1の立体画像処理装置の歪処理部による処理の別の例を示す図である。

図 3 6は、図 3 5の処理を具体的に示す図である。

図 3 7は、デプスマップを示す図である。図 3 8は、第 3の立体画像処理装置の歪処理部による処理の例を示す図である図 3 9は、第 3の立体画像処理装置の歪処理部による処理によって生成されたデプスマップを示す図である。

図 4 0は、第 3の立体画像処理装置の歪処理部による処理の別の例を示す図である。

図 4 1は、第 2の立体画像処理装置の二次元画像生成部による処理の例を示す図である。

図 4 2は、視差画像の例を示す図である。

図 4 3は、第 2の立体画像処理装置の二次元画像生成部によって合成位置がシフトされた視差画像を示す図である。

図 4 4は、第 2の立体画像処理装置の画像端調整部の処理を示す図である。図 4 5は、第 2の立体画像処理装置の処理を示す図である。

図 4 6は、第 2の立体画像処理装置の別の処理を示す図である。

図 4 7は、第 2の立体画像処理装置の別の処理を示す図である。

図 4 8は、デプスマップが付加された平面画像を示す図である。

図 4 9は、デプスマップを示す図である。

図 5 0は、第 2の立体画像処理装置の二次元画像生成部でデプスマップをもとに視差画像を生成する様子を示す図である。

図 5 1は、第 2の立体画像処理装置の二次元画像生成部で補正されたデプスマップを示す図である。

図 5 2は、実施の形態に係る立体画像処理装置をライブラリ化して利用する様子を示す図である。

図 5 3は、立体表示ライブラリを三次元データソフトに組み込んだ構成図である。

図 5 4は、立体表示ライブラリをネットワーク利用型のシステムで利用する様子を示す図である。

r ¹

図 5 5は、三次元データにより構^された画像が表示画面に表示されている状態を示す図である。図 5 6は、三次元データにより構成された画像が表示画面に表示されている別の状態を示す図である。

図 5 7は、三次元データにより構成された画像が表示画面に表示されている別の状態を示す図である。

図 5 8は、表示すべきオブジェク卜が有する界面を表示画面に一致させる手法を示す図である。

図 5 9は、二つの仮想カメラの光軸交差位置を水槽の一つの面と一致させて画像を撮影する別の様子を示す図である。

図 6 0は、第 4の立体画像処理装置の構成図である。

図 6 1は、第 4の立体画像処理装置により表示される画像に関して便宜的基本表現空間 Tについて表す図である。

図 6 2は、オブジェクトが何も存在しない領域を、基本表現空間 Tに含ませて表現する図である。

図 6 3は、オブジェクトが何も存在しない領域を、基本表現空間 Tに含ませて表現する図である。

図 6 4は、視差を計算する対象として、鳥だけでなくその前後の空間を含める形で移動オブジェクトを形成している様子を示す図である。

図 6 5は、移動オブジェクトが前方投影面を越えた後、あらかじめ含めておいた空間を鳥 3 3 0移動させる様子を示す図である。

図 6 6は、表示画面において、観察者が立体画像を観察している様子を示す図である。

図 6 7は、カメラ配置決定部によって定められるカメラ配置を示す図である。図 6 8は、図 6 7のカメラ配置で得られた視差画像を観察者が観察している様子を示す図である。

図 6 9は、図 6 7のカメラ配置で適正視差が得られた画像を、図 6 6で示した観察者の位置で観察者が表示画面を観察している様子を示す図である。

図 7 0は、図 6 7に示したカメラ配置で、表示画面からの距離が Aに位置する球の最近置点を撮影する様子を示す図である。

図 7 1は、二つのカメラとカメラの光軸公差距離および、図 7 0で示した視差を得るために必要なカメラ間隔の関係を示す図である。

図 7 2は、図 6 7に示したカメラ配置で、表示画面からの距離が T— Aに位置する球の最遠置点を撮影する様子を示す図である。

図 7 3は、二つのカメラとカメラの光軸公差距離および、図 7 2で示した視差を得るために必要なカメラ間隔 E 1の関係を示す図である。

図 7 4は、適正視差範囲内に立体画像の視差を設定するために必要とされる力メラパラメ一夕の関係を示す図である。

図 7 5は、適正視差範囲内に立体画像の視差を設定するために必要とされる力メラパラメ一夕の関係を示す図である。

図 7 6は、第 5の立体画像処理装置の構成図である。

図 7 7は、三次元デ一夕を作成する制作者により設定される仮カメラ位置、画角、および第 1から第 3のオブジェクトの関係を示す図である。

図 7 8は、図 7 7で定められた仮カメラ位置をもとに、二つの仮想カメラが配置された状態を示す図である。

図 7 9は、才ブジェクト情報が存在しない領域が発生しないようカメラ配置が調整された状態を示す図である。

図 8 0は、画角調整の処理を示す図である。

図 8 1は、娯楽施設や写真館などで立体写真を撮影する立体写真撮影装置と被写体との関係を示す図である。

図 8 2は、第 6の立体画像処理装置の構成を示す図である。

図 8 3は、遠隔操作によりカメラを操作し、撮影された映像を立体画像表示装置で観察している様子を示す図である。

図 8 4は、第 6の立体画像処理装置を備える立体画像撮影装置による撮影の一例を示す図である。

図 8 5は、照度計により画像分解性の測定する様子を示す図である。

図 8 6は、画像分解性の測定に利用するモアレ画像を示す図である。

図 8 7は、適正視差の変換例を示す図である。

図 8 8は、適正視差の別の変換例を示す図である。

図 8 9は、視差および基本表現空間の簡易決定の際に利用するテーブルを示す図である。発明を実施するための最良の形態

図 1はユーザ 1 0、スクリーン 1 2、立体表示される再生オブジェクト 1 4の位置関係を示す。ユーザ 1 0の眼間距離が E、ユーザ 1 0とスクリーン 1 2の距離が D、表示されたときの再生オブジェクト 1 4の幅が Wである。再生オブジェクト 1 4は立体表示されているため、スクリーン 1 2よりも近くに感知される画素、すなわち近置される画素と、スクリーン 1 2よりも遠くに感知される画素、すなわち遠置される画素を有する。視差が付けられていない画素はスクリーン 1 2上でちょうど両目から同じ位置に見えるため、スクリーン 1 2上に感知される図 2は、図 1の理想的な表示を生成するための撮影系を示す。二台のカメラ 2 2、 2 4の間隔を Eとし、それらから現実のォプジヱクト 2 0を見たときの光軸交差位置までの距離（これを光軸交差距離という）を Dとし、スクリーン 1 2と同じ幅を見込む画角で、幅が現実に Wであるオブジェクト 2 0を撮影すれば、二つのカメラから視差画像が得られる。これを図 1のスクリーン 1 2へ表示すれば、図 1の理想状態が実現する。

図 3、図 4は、それそれ図 2の位置関係を A倍（A < 1 ) 、 B倍（B > 1 ) した状態を示す。これらの位置関係で得られた視差画像で^)、図 1の理想状態が実現する。すなわち、理想的な立体表示の基本は、 W : D ： Eを一定にすることからはじまる。この関係が視差の付け方の基礎にもなる。

図 5から図 1 0は、実施の形態においてオブジェクト 2 0の三次元データをもとに立体表示がなされるまでの処理の大筋を示す。

図 5はモデル座標系、すなわち、個々の三次元オブジェクト 2 0がもっている座標空間である。この空間で、オブジェクト 2 0をモデリングしたときの座標を与える。通常はォブジェクト 2 0の中心に原点をもってくる。

図 6はワールド座標系を示す。ワールド空間は、オブジェクト 2 0や床、壁を配置してシーンが形成される広い空間である。図 5のモデリングと図 6のワールド座標系の確定までを「三次元デ一夕の構築」と認識できる。図 7はカメラ座標系を示す。ワールド座標系の任意の位置から任意の方向に任意の画角でカメラ 2 2を据えることにより、カメラ座標系への変換が行われる。カメラの位置、方向、画角がカメラパラメ一夕である。立体表示の場合は、二つのカメラについてパラメ一夕を定めるため、カメラ間隔と光軸交差位置も決める。また、二つのカメラの中点を原点にするために、原点移動も行われる。

図 8、図 9は透視座標系を示す。まず図 8のように、表示すべき空間を前方投影面 3 0と後方投影面 3 2でクリッビングする。後述するように、実施の形態のひとつの特徴は、近置最大視差点のある面を前方投影面 3 0とし、遠置最大視差点のある面を後方投影面 3 2にすることにある。クリッピングの後、このビュ一ボリュームを図 9のように直方体へ変換する。図 8と図 9の処理を投影処理ともよふ o

図 1 0はスクリーン座標系を示す。立体表示の場合、複数のカメラそれぞれからの画像をそれそれスクリーンのもっている座標系へ変換し、複数の二次元画像、すなわち視差画像を生成する。

図 1 1、図 1 2、図 1 3は、それそれ一部が異なる立体画像処理装置 1 0 0の構成を示す。以下、便宜上、それらの立体画像処理装置 1 0 0をそれぞれ第 1、第 2、第 3の立体画像処理装置 1 0 0ともよぶ。これらの立体画像処理装置 1 0 0は、装置内に一体に組み込むことも可能であるが、ここでは図の複雑を避けて 3つに分けている。第 1の立体画像処理装置 1 0 0は描画すべきォブジヱクトと空間が三次元データの段階から入手できる場合に効果的であり、したがって、主な入力を三次元データとする。第 2の立体画像処理装置 1 0 0はすでに視差が与えられている複数の二次元画像、すなわち既存の視差画像の視差調整に効果的であり、したがって、二次元の視差画像を入力する。第 3の立体画像処理装置 1 0 0はデブス情報付画像のデブス情報を操作して適正視差を実現するものであり、したがって、主に入力をデプス情報付画像とする。これら 3通りの入力を総称して「オリジナルデ一夕」と表記している。

第 1〜第 3の立体画像処理装置 1 0 0を一体化して実装する場合、それらの前処理部として「画像形式判定部」を設け、三次元デ一夕、視差画像、デプス情報付画像を判定した後、第 1〜第 3の立体画像処理装置 1 0 0のうち最適なものを起動する構成としてもよい。

第 1の立体画像処理装置 1 0 0は、立体表示に対する立体感を設定するうえで

、「初期設定」および「自動調整」の機能をもつ。ユーザは立体表示された画像に対し、自分の適正視差を範囲指定すると、これがシステムで取得され、以降、別の立体画像の表示の際、予めこの適正視差が実現するよう変換処理が施されて表示される。したがって、第 1の立体画像処理装置 1 0 0により、ユーザは原則として一回だけ設定手続を経れば、以降、自分に合った立体表示を楽しむことができる。

第 1の立体画像処理装置 1 0 0は更に、画像の周辺部の視差を人工的に緩和する「視差補正」という副機能をもつ。既述のごとく、画像端部に近づくにしたがつて複数の視点画像のずれが「二重像」として認識されやすくなる。これはパララックスバリァゃ表示装置のスクリーンの反りなど機構誤差が主因である。そこで、画像の周辺部で、 1 ) 近置視差と遠置視差をともに減らす、 2 ) 近置視差を減らし遠置視差はそのままにする、 3 ) 近置視差、遠置視差を問わず、全体に遠置視差のほうへシフトする、など、いろいろな方法を実施する。なお、この「視差補正」機能は第 3の立体画像処理装置 1 0 0にも存在するが、入力デ一夕の違いにより、処理は異なる。

第 1の立体画像処理装置 1 0 0は、立体表示した画像に対するユーザからの応答をもとに立体感を調整する立体感調整部 1 1 2と、立体感調整部 1 1 2で特定された適正視差を保存する視差情報保持部 1 2 0と、視差情報保持部 1 2 0 ら適正視差を読みだし、オリジナルデ一夕から適正視差を有する視差画像を生^する視差制御部 1 1 4と、表示装置のハードウェア情報を取得し、また立体表示の方式を取得する機能を有する情報取得部 1 1 8と、情報取得部 1 1 8で取得した情報をもとに、視差制御部 1 1 4で生成された視差画像の形式を変更するフォーマット変換部 1 1 6を含む。オリジナルデ一夕を単に三次元デ一夕とよぶが、厳密にはワールド座標系で記述されたオブジェクトおよび空間のデータがこれに当たる。

情報取得部 1 1 8で取得する情報の例として、立体表示の視点数、空間分割または時間分割等の立体表示装置の方式、シャツ夕めがねの利用があるか否か、多眼式の場合における視点画像の並び方、視差画像の中に視差が反転する視点画像の並びがあるか否か、ヘッドトラッキングの結果などがある。なお、ヘッドトラッキングの結果だけは例外的に図示しない経路を経て直接カメラ配置決定部 1 3 2へ入力され、そこで処理される。

以上の構成は、ハードウェア的には、任意のコンピュータの C P U、メモリ、その他の L S Iで実現でき、ソフトウェア的には G U I機能、視差制御機能その他の機能をもつプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハ一ドウエアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところであり、以降の構成についてもその事情は同様である。

立体感調整部 1 1 2は指示取得部 1 2 2と視差特定部 i 2 4を有する。指示取得部 1 2 2は、立体表示された画像に対してユーザが適正視差の範囲を指定したとき、これを取得する。視差特定部 1 2 4は、'その範囲をもとに、ユーザがこの表示装置を用いたときの適正視差を特定する。適正視差は、表示装置のハードウエアに依存しない表現形式で表される。適正視差を実現することにより、ユーザの生理に適合した立体視が可能になる。

視差制御部 1 1 4は、まずカメラパラメータを仮設定するカメラ仮配置部 1 3 0と、適正視差にしたがって仮設定されたカメラパラメ一夕を修正するカメラ配置決定部 1 3 2と、カメラパラメ一夕が決まったとき、複数のカメラの中点を原点とすべく原点移動処理を行う原点移動部 1 3 4と、前述の投影処理を行う投影処理部 1 3 8と、投影処理後、スクリーン座標系への変換処理を行って視差画像を生成する二次元画像生成部 1 4 2とを含む。また、必要に応じて画像周辺部の視差を緩和するために空間歪み変換（以下単に歪変換ともいう）を行う歪処理部 1 3 6がカメラ仮配置部 1 3 0とカメラ配決定部 1 3 2の間に設けられている。歪処理部 1 3 6は補正マップ保持部 1 4 0から後述の補正マップを読み出して利用する。

なお、立体表示のために表示装置を調整する必要があれば、そのための図示しない G U Iを追加してもよい。この G U Iで、表示されている視差画像全体を上下左右へ微小シフトして最適表示位置を確定するなどの処理をなしてもよい。図 1 2の第 2の立体画像処理装置 1 0 0は、複数の視差画像を入力とする。これを単に入力画像ともよぶ。第 2の立体画像処理装置 1 0 0は、さきに第 1の立体画像処理装置 1 0 0で取得された適正視差を読み込み、入力画像の視差を調整して適正視差の範囲へ収め、出力する。その意味で、第 2の立体画像処理装置 1 0 0は視差の「自動調整」機能を有する。ただし、それだけでなく、実際に立体表示が行われている際にユーザが立体感を変更したいとき、 G U I機能を提供し、ユーザの指示にしたがって視差を変更する「手動調整」機能もあわせもつ。すでに生成済みの視差画像の視差は通常変更できるものではないが、第 2の立体画像処理装置 1 0 0によれば、視差画像を構成する視点画像の合成位置をシフトすることで十分に実用に耐えるレベルで立体感が変更できる。第 2の立体画像処理装置 1 0 0は、入力データが三次元データまで遡れない状況においても良好な立体感調整機能を発揮する。以下、第 1の立体画像処理装置 1 0 0との相違点を中心に述べる。

立体感調整部 1 1 2は手動調整に利用される。指示取得部 1 2 2は例えばスクリーンで「+ n」「_ n」どの数値入力を実現し、その値が視差の変更量として視差特定部 1 2 4で特定される。数値と指示される立体感の関係にはいくとおりか考えられる。例えば、「+ n」は立体感を強める指示、「一 n」は弱める指示で、 nが大きくなるほど立体感に対する変更量が大きいとしてもよい。また、「+ n」は全体に近置方向へォブジヱクトを移動する指示、「一 n」は全体に遠置方向へオブジェクトを移動する指示としてもよい。別の方法として、 nの値は指定せず、単に「 +」と「一」のボタンのみ表示し、これをクリックするたびに視差が変更される構成としてもよい。

第 2の立体画像処理装置 1 0 0は、視差量検出部 1 5 0と視差制御部 1 5 2をする。入力画像が複数の視差画像の場合、視差量検出部 1 5 0はそれらの視差画像のヘッダ領域を検査し、画素数の形で記述された視差量、特に近置最大視差画素数と遠置 Λ大視差画素数があればこれを取得する。視差量が記述されていなければ、マヅチング部 1 5 8がブロヅクマヅチングなど既知の手法を利用して視差画像間で対応点を検出することにより視差量を特定する。マッチング部 1 5 8 は画像の中央部など重要領域だけに処理を施してもよいし、最も重要な近置最大視差画素数に絞って検出してもよい。検出された視差量は画素数の形で視差制御部 1 5 2へ送られる。

一般に携帯電話の表示画面で立体画像が表示されるような場合、立体感に関する個人差は小さく、時としてユーザは適正視差の入力を煩わしく感じることも想定できる。また、不特定多数のユーザに使用される立体表示装置でも、適正視差の入力は逆に不便であると感じられる可能性がある。このような場合には、適正視差の範囲を、立体画像表示装置の製造者や、立体画像表示装置に表示すべきコンテンヅの作成者が決定してもよし、あるいは一般的な指針に従うなど、他の手法で決定してもよい。例えば、立体画像に関連する業界団体や学術団体が策定する指針や規格などを反映させる。その例として、「1 5インチの表示画面では、最大視差を 2 0 mm程度にする」という指針があれば、その指針に従う、または、その指針をベースに補正を行うなどの処 3が挙げられる。この場合、立体感調整部 1 1 2は不要となる。

視差制御部 1 5 2の位置シフト部 1 6 0は、視点画像間の視差量が適正視差になるようネ見差画像を構成する視点画像の合成位置を水平方向へシフトする。シフトは、視点画像のいずれかについて行えよい。位置シフト部 1 6 0は別の動作モードも有し、ユーザが立体感調整部 1 1 2を介して視差の増加または減少を指示したとき、単純にこの指示にしたがって画像合成位置を変更する。すなわち、位置シフト部 1 6 0は適正視差への自動調整機能と、ユーザによる手動調整機能の二つを有する。

視差書込部 1 6 4は、前述の視差量検出部 1 5 0のため、または別の用途のために、視差画像を構成する複数の視点画像のいずれかのヘッダ領域に視差量を画素数で書き込む。画像端調整部 1 6 8は、位置シフト部 1 6 0によるシフトによつて画像端に生じた画素の欠落を埋める。

図 1 3の第 3の立体画像処理装置 1 0 0は、デプス情報付画像を入力とする。第 3の立体画像処理装置 1 0 0は、適正視差が実現するようデプスを調整する。また、前述の「視差補正」機能をもつ。視差制御部 1 7 0の歪処理部 1 7 4は、補正マップ保持部 1 7 6に保存された補正マップにしたがい、後述の要領で歪変換を実施する。歪変換後のデプス情報と画像は二次元画像生成部 1 7 8へ入力され、ここで視差画像が生成される。この二次元画像生成部 1 7 8は、第 1の立体画像処理装置 1 0 0の二次元画像生成部 1 4 2とは異なり、ここで適正視差が考慮される。デプス情報付画像も画像としては二次元であるため、二次元画像生成部 1 7 8は、図示しないが内部に第 2の立体画像処理装置 1 0 0の位置シフト部 1 6 0に似た機能をもち、デプス情報にしたがって画像内の画素を水平方向にずらし、立体感を生成する。このとき、後述の処理により、適正視差が実現される以上の構成における各立体画像処理装置 1 0 0の各部の処理動作とその原理は以下のとおりである。

図 1 4 ( a ) 、図 1 4 ( b ) は、第 1の立体画像処理装置 1 0 0の立体感調整部 1 1 2による適正視差の特定のプロセスにおいてそれぞれ表示され左眼画像 2 0 0、右眼画像 2 0 2を示す。それそれの画像には 5個の黒丸が表示されており、上にいくほど近置かつ大きな視差、下へいくほど遠置かつ大きな視差が付けられている。

図 1 5はこれら 5個の黒丸を表示したとき、ユーザ 1 0に感知される距離感を模式的に示す。ユーザ 1 0はこれら 5個の距離感の範囲を「適正」と応答しており、この応答を指示取得部 1 2 2が取得する。同図では、視差が異なる 5個の黒丸が同時に、または順に表示され、許容できる視差であるか否かをユーザ 1 0が入力していく。一方、図 1 6では表示自体は 1個の黒丸で行うが、その視差を連続的に変更し、ユーザ 1 0が遠置と近置それぞれの方向において許容する限界にきたとき、応答する。応答は通常のキー操作、マウス操作、音声による入力等、それ自体は既知の技術を利用すればよい。

また、視差の決定はより簡易的な方法で行われてもよい。同様に、基本表現空間の設定範囲の決定も簡易的な方法で行われてもよい。図 8 9は、視差および基本表現空間の簡易決定の際に利用するテーブルである。基本表現空間の設定範囲が、近置空間側を多くする設定から、遠置空間側のみの設定まで A〜Dの 4段階のランクに分かれており、更に、それそれ視差が 1〜5まで 5段階のランクに分かれている。ここでは、例えば、最も強い立体感を好み、最も飛び出だした立体表示を好む場合はランクを 5 Aとする。そして、必ずしも立体表示を確認しながらランクを決定する必要はなく、ランクを決めるボタンだけが表示されていてもよい。それらの傍らに立体感確認用のボタンがあり、それを押下することで立体感を確認する画像が表示されてもよい。

図 1 5、図 1 6のいずれの場合でも、指示取得部 1 22は適正視差を範囲として取得でき、その近置側および遠置側の限界視差が決まる。近置最大視差は、自分に最も近い位置に見える点に許す近さに対応する視差、遠置最大視差は、自分から最も遠い位置に見える点に許す遠さに対応する視差である。ただし、一般にはユーザの生理上の問題から近置最大視差をケアすべきことが多く、以下、近置最大視差のみを限界視差とよぶ場合もある。

図 17は、立体表示される画像が三次元デ一夕から取り出される場合において、実際に 2視点の視差を調整する原理を示す。まず、ユーザが決めた限界視差を仮配置されたカメラの見込み角に変換する。同図のごとく、近置と遠置の限界視差は画素数で M、 Nとあらわすことができ、カメラの画角 0が表示画面の水平画素数 Lに相当するの、限界視差画素数の見込み角である、近置最大見込み角 ø と遠置最大見込み角^が θ、 M、 N、 Lであらわされる。

t an (0/2) =Mt an (Θ/2) /L

t an ( /2) =Nt an (Θ/2) /L

次にこの情報を三次元空間内での 2視点画像の取り出しに適用する。図 1 8のように、まず基本表現空間 T (その奥行きも Tと表記）を決める。ここでは、基本表現空間 Tはオブジェクトの配置に対する制限から決めるとする。基本表現空間 Tの前面である前方投影面 30からカメラ配置面、すなわち視点面 208までの距離を Sとする。 Tや Sはユーザが指定できる。視点は二つあり、これらの光軸交差面 2 10の視点面 208からの距離を Dとする。光軸交差面 2 10と前方投影面 30までの距離を Aとする。

次に、基本表現空間 T内での近置および遠置の限界視差をそれぞれ P、 Qとすると、

E ： S = P ： A

E : S+T=Q : T— A が成立する。 Eは視点間距離である。いま、視差の付けられていない画素である点 Gは両カメラからの光軸 K 2が光軸交差面 2 10上で交差する位置にあり、光軸交差面 21 0がスクリーン面の位置となる。近置最大視差 Pを生む光線 K 1は前方投影面 30上で交差し、遠置最大視差 Qを生む光線 K 3は後方投影面 32上で交差する。

Pと Qは、図 1 9のように ø、を用いて、

P = 2 (S +A) t an (0/2)

Q= 2 (S +A) t an (Φ/2)

で表され、結果として、

E = 2 (S +A) t an (θ/2) · (SM+SN + TN) / (LT) A= S TM/ (SM+SN + TN)

が得られる。いま、 Sと Tは既知であるから、こうして Α及び Εが自動的に決まり、したがって光軸交差距離 Dとカメラ間距離 Eが自動的に決まり、カメラパラメ一夕が確定する。カメラ配置決定部 132はこれらのパラメータにしたがってカメラの配置を決定すれば、以降投影処理部 138、二次元画像生成部 142の処理を各カメラからの画像に対して独立してなすことにより、適正視差をもつた視差画像が生成および出力できる。以上のごとく、 Eと Aはハ一ドウヱァの情報を含んでおらず、ハードウエアに依存しない表現形式が実現される。

以降、別の画像を立体表示する際にもこの Aまたは Dと Eを守るようカメラを配置すれば、自動的に適正視差が実現できる。適正視差の特定から理想的な立体表示までのプロセスは全て自動化できるため、この機能をソフトウェアライブラリとして提供すれば、コンテンヅゃアプリケーションを作成するプログラマは立体表示のためのプログラミングを意識する必要がない。また、 L、 M、 Nを画素数で表すと、 Lは表示範囲を示すので、全画面による表示であるか、画面の一部による表示であるかを Lで指示することができる。 Lもハードウェアに依存しないパラメ一夕である。

図 20は 4台のカメラ 22、 24、 26、 28による 4眼式のカメラ配置を示す。正確には、第 1のカメラ 22と第 2のカメラ 24の間など、隣接するカメラ間で適正視差になるよう前述の Aと Eを決めていくべきだが、簡易的な処理としては、より中央に近い第 2のカメラ 2 4と第 3のカメラ 2 6の間で決めた Aおよび Eを他のカメラ間に流用してもほぼ同様の効果が得られる。

なお、 Tはオブジェクトの配置に対する制限としたが、基本的な三次元空間の大きさとしてプログラムにより決められていてもよい。この場合、プログラム全体を通して必ずこの基本表現空間 T内にのみオブジェクトを配置することもできるし、効果的な表示のために、ときどき故意にこの空間を飛び出すようにォプジェクトに視差を与えてもよい。

別の例として、三次元空間におけるオブジェクトのうち最も近置されるものと最も遠置されるものの座標に対して Tを決定してもよく、これを実時間で行えば、必ず基本表現空間 Tにオブジェクトが配置できる。オブジェクトをつねに基本表現空間 Tに入れることの例外として、「一定時間の位置の平均が基本表現空間 T内にあればよい」という緩和条件で運用すれば、短時間の例外を作ることもできる。更に、基本表現空間 Tを定めるオブジェクトを静的なものに限ってもよく、この場合、動的なオブジェクトが基本表現空間 Tからはみ出す例外的な動作を与えることができる。更に別の例として、すでにオブジェクトを配置した空間を基本表現空間の幅 Tのサイズに縮める変換を行ってもよいし、既述の操作と組み合わせてもよい。なお、オブジェクトを故意に基本表現空間から飛び出すように表示する手法は後述する。

なお、第 1の立体画像処理装置 1 0 0の立体感調整部 1 1 2がユーザに表示する画像として、二重像が出やすいものにすれば、限界視差は小さめに定まり、他の画像を表示したときの二重像の出現頻度を低下させることができる。二重像が出やすい画像として、オブジェクトと背景との色や明るさが対照的なものが知られており、限界視差を特定する段階、すなわち初期設定の際にはそうした画像を利用すればよい。

図 2 1から図 3 6までは、第 1の立体画像処理装置 1 0 0の歪処理部 1 3 6による処理とその原理を示す。

図 2 1は第 1の立体画像処理装置 1 0 0の補正マップ保持部 1 4 0に格納された補正マヅプの一例を概念的に示す。このマヅプは直接視差を補正するもので、その全体がそのまま視差画像に対応しており、周辺部にいくにしたがって小視差になる。図 2 2はこの補正マップにしたがって歪処理部 1 3 6がカメラ配置を決め、それを受けたカメラ配置決定部 1 3 2によるカメラパラメ一夕の操作の結果生じる視差の変化を示す。二つのカメラの左右視点位置から正面方向を見るときは「通常視差」が付けられ、一方、正面から大きく外れた方向を見るときは「小視差」が付けられる。実際には、周辺にいくにしたがって、カメラ配置決定部 1 3 2はカメラ間隔を近づけていく。

図 2 3はカメラ配置決定部 1 3 2が歪処理部 1 3 6の指示にしたがってカメラの配置を変えて視差を変える別の例を示す。ここでは、二つのカメラのうち、左側のカメラのみを移動させながら、画像周辺に向かうにしたがって「通常視差」 →「中視差」「小視差」と視差が変化している。この方法のほうが図 2 2に比ベて計算コストが低い。

図 2 4は補正マップの別の例を示す。このマヅプも視差を変更するもので、画像の中央付近は通常視差のまま触れず、それ以外の視差補正領域において視差を徐々に小さくする。図 2 5はカメラ配置決定部 1 3 2がこのマヅプにしたがって変化させるカメラ位置を示す。カメラの方向が正面から大きく外れことき、はじめて左カメラの位置が右カメラへ寄り、「小視差」が付けられている。

図 2 6は補正マップの別の例を概念的に示す。このマヅプは視点からオブジェクトまでの距離感を補正するもので、それを実現するために、カメラ配置決定部 1 3' 2が二つのカメ^の光軸交差距離を調整する。画像周辺に行くにしたがって光軸交差距離を小さくすれば、オブジェクトは相対的に遠置方向へ奥まって見えるため、特に近置視差を小さくする意味で目的を達する。光軸交差距離を小さくするために、カメラ配置決定部 1 3 2はカメラの光軸方向を変えればよく、いずれか一方のカメラの向きを変えればよい。図 2 7は、図 2 6のマップによって二次元画像を生成するときの光軸交差位置、または光軸交差面 2 1 0の変化を示す。画像周辺ほど光軸交差面 2 1 0がカメラに寄る。

図 2 8は距離感に関する別の補正マヅプ、図 2 9は図 2 8のマヅプにしたがつてカメラ配置決定部 1 3 2が歪処理部 1 3 6の指示にしたがって光軸交差面 2 1 0を変化させる様子を示す。この例では、画像中央領域では補正をせずにォブジェクトを通常位置に配置し、画像周辺領域でオブジェクトの位置を補正する。その目的のために、図 29において画像中央付近では光軸交差面 210に変化はなく、ある点を超えてから光軸交差面 210がカメラへ寄ってくる。図 29では、左カメラだけ向きをかえて対応している。

図 30 (a) 〜（f ) は歪処理部 136による別の歪変換を示す。いままでの例と違い、カメラ位置を変えるのではなく、カメラ座標系で三次元空間自体を直接歪ませる。図 30 (a) 〜（f) において、長方形領域はもとの空間の上面図、斜線領域は変換後の空間の上面図を示す。例えば、図 30 (a) のもとの空間の点 Uは、変換後点 Vに移る。これはこの点が遠置方向へ移動されたことを意味する。図 30 (a) では、空間は周辺部へ向かうほど奥行き方向について矢印の方向に押しつぶされ、近置の場合も遠置の場合も、同図の点 Wのごとく、一定の距離感に近い距離感をもたされる。その結果、画像周辺部では距離感が揃い、特別に近置されるオブジェクトもなくなり、二重像の問題を解決するとともに、ュ —ザの生理に適合しやすい表現となる。

図 30 (b) 、図 30 (c) 、図 30 (d) 、図 30 (e) はいずれも画像周辺部で距離感を一定値に近づける変換の変形例を示し、図 30 (f ) はすべての点を遠置方向へ変換する例を示している。

図 31は、図 30 (a) の変換を実現するための原理を示す。直方体空間 22 8は、第 1のカメラ 22と第 2のカメラ 24の投影処理が行われる空間を含む。第 1のカメラ 22のビューボリュームは、そのカメラの画角と前方投影面 230 および後方投影面 232で定まり、第 2のカメラ 24のそれは、そのカメラの画角と前方投影面 234および後方投影面 236で定まる。歪処理部 136はこの直方体空間 228に歪変換を施す。原点は直方体空間 228の中心とする。多眼式の場'合はカメラが増えるだけで変換原理は同じである。

図 32は歪変換の一例で、 Z方向の縮小変換を採用している。実際には空間内の個々のオブジェクトに対して処理を行う。図 33はこの変換を視差補正マヅプになそらえて表現したもので、 Y軸上が通常視差であり、 Xの絶対値が増えるほど視差が小さくなり、 X = ±Aが視差なしとなる。ここでは Z方向のみの縮小変換なので、変換式は以下のとおりである。

【数 1】、

(Χ1,Υ1，Ζ1， 1)

変換を図 34で説明する。まず、 X 0かつ Z≥0の範囲を考える。点（X0 , Υ0， Ζ 0) が縮小処理により点（Χ0， Υ0， Ζ 1) に移動したとき、縮小率 S ζは、

S z = Z 1/Z 0

=CE/CD

である。 Cの座標は（X0, Y0, 0) で Dの座標は（X0, Y 0 , B) である

Eは直線と平面の交点であり、座標を（X0， Y0， Ζ 2) とすると、 Ζ 2は下のように求めることができる。

Z = B-XxB/A (平面）

X = X0 , Y=YO (直線） . Ζ 2 =Β-Χ 0 x Β/Α

したがって、

S z =CE/CD

= (B-X 0 xB/A) /B

= 1一 X 0/A

Xに対して一般に、

S z = 1 -X/A

となる。 Xと Zの他の範囲についても同様の計算を行うと、以下の結果が得られ変換が検証できる。

X≥ 0のとき、 S z = 1 -X/A

X< 0のとき、 S z = 1 +X/A

図 3 5は歪変換の別の例を示す。より厳密にはカメラから放射状に撮影が行われることを考慮し、 X軸、 Y軸方向の縮小処理も組み合わせている。ここでは、二つのカメラの中心をカメラ位置の代表として変換を行う。変換式は以下の通りである。

【数 2】、

(Χ1'Υ1，Ζ1， 1)

図 36はこの変換を検証する。ここでも、 X 0かつ Ζ≥ 0の範囲を考える。点（Χ0, Υ0， Ζ 0) が縮小処理により点（Χ1， Υ 1 , Ζ 1) に移動したとき、縮小率 Sx、 S y、 S zは、

Sx= (X 1 -X 2 ) / (X 0-X 2)

= (X4-X2) / (X 3-X2)

Sy= (Y 1 -Y2) / (Y0-Y2)

= (Y4-Y2) / (Y3-Y2)

Sz = (Z 1 - Z 2 ) / (Z 0 - Z 2 )

二 ( Z 4 - Z 2 ) / ( Z 3 - Z 2 )

となる。 Eは平面と直線の交点なので、前述と様 Sx、 Sy、 Szを求めることができる。

なお、以上のように変換後の空間を平面の集合で表すと、面同士の接線を境に処理が変化し、場合により違和感が生じうる。その場合は曲面で接続するか、曲面だけで空間を構成してもよい。計算は曲面と直線の交点 Eを求めるものに変わるだけである。

また、以上の例では、縮小率は同一直線 CD上では同じとなるが、重み付けを行ってもよい。例えば Sx、 Sy、 S zに、カメラからの距離 Lに対する重み付け関数 G (L) をかければよい。

図 37から図 40までは、第 3の立体画像処理装置 100の歪処理部 174による処理とその原理を示す。

図 3 7は第 3の立体画像処理装置 1 0 0に入力されたデプス情報付画像のデブスマップを示し、ここではデブスの範囲が K 1 ~ K 2の値をもっとする。ここでは近置のデプスを正、遠置のデプスを負で表す。

図 3 8は元のデプス範囲 2 4 0と変換後のデプス範囲 2 4 2の関係を示す。デブスは画像周辺部に行くにしたがって一定値に近づく。歪処理部 1 7 4はこの補正にしたがうようデプスマップを変換する。垂直方向に視差をもたせる場合も同様である。この変換も Ζ方向の縮小のみなので、以下の式で表現できる。

【数 3】

、

(X0, Y0， G_xy， 1 )

なお、 S zは Xの値により場合分けされ、

X≥ 0のとき、 S z = 1 — 2 X/ L

Xく 0のとき、 S z = 1 + 2 X/ L

となる。以上の変換により、図 3 9に示す新たな要素をもつ新たなデプスマップが生成される。

図 4 0はデプスマップに対する別の歪変換の原理を示す。空間は、より厳密にはユーザ 1 0から放射状に観察されるので、 X軸、 Y軸方向の縮小処理も組み合わせている。ここでは、眼間中心を観察位置としている。具体的な処理は図 3 6 の場合と同じ式になる。なお、もともとのデプマップは Z値しか持たないが、この計算を行う場合は X値と Y値も保持することになる。 Z値は X方向あるいは Y方向の画素シフト量に変換されるが、 X値と Ϋ値はそれらに対するオフセヅト値として保持すればよい。

いずれにしても、歪処理部 1 7 4で変換されたデプスマップともとの画像は二次元画像生成部 1 7 8へ入力され、ここで適正視差になるよう水平方向にシフトした合成処理が行われる。その詳細は後述する。

図 4 1〜図 5 1は、第 2の立体画像処理装置 1 0 0の位置シフト部 1 6 0、およびその延長と把握できる第 3の立体画像処理装置 1 0 0の二次元画像生成部 1 7 8の処理を示す。

図 4 1は位置シフト部 1 6 0による二つの視差画像の合成位置のシフト原理を示す。同図のごとく、初期状態では右眼画像 Rと左眼画像 Lの位置は一致している。しかし、同図上部のごとく左眼画像 Lを相対的に右へシフトすると、近置点の視差は増加し、遠置点の視差は減少する。逆に、同図下部のごとく左眼画像 L を相対的に左へシフトすると、近置点の視差は減少し、遠置点の視差は増加する以上が視差画像のシフトによる視差調整の本質である。画像のシフトは一方であってもよいし、両方を互いに逆方向にシフトしてもよい。またこの原理から、立体表示方式は、メガネ方式やメガネなし方式を問わず、視差を利用している全ての方式に適用できることが分かる。多視点映像や垂直方向の視差に対しても同様の処理が可能である。

' 図 4 2はシフト処理を画素レベルで示す。左眼画像 2 0 0と右眼画像 2 0 2には、 'ともに第 1四角形 2 5 0と第 2四角形 2 5 2が写っている。第 1四角形 2 5 0には近置視差がついており、そのネ ί差量を正数であらわすと、「6画素」となる。これに対し第 2四角形 2 5 2は遠置視差がついており、その視差量を負数であらわすと、「一 6画素」となる。ここで、この視差量をそれそれ： F 2、 F 1とする。

一方、ユーザが保有する表示装置の適正視差が J 1〜J 2であることが分かつたとする。位置シフト部 1 6 0は両画像の合成開始位置を互いに（J 2—F 2 ) 画素シフトさせる。図 4 3はそのシフトの終了後の状態で、いま、 F l =—6、 F 2 = 6であり、また、 J l =— 5、 J 2 = 4であったとすると、合成開始位置は互いに _ 2画素、つまり遠置方向に全体がシフトする方向にずらされることになる。最終的な視差量は図 4 3のごとく、 E 1 =— 8、 E 2 = 4となり、少なくとも近置方向に関して限界視差内に収まる。一般に遠置方向と比較して、近置方向の二重像の方が違和感が強いとされ、かつ被写体は近置方向に配置された状態で撮影されることが多いので、基本的に近置方向の視差を限界内に収めることが望ましい。以下に処理例を示す。

1 . 近置点が限界視差外で、遠置点が限界視差内の場合は、近置点を限界視差点にシフトする。ただし、遠置点の視差が眼間距離に到達すれば処理をやめる。 2 . 近置点が限界視差外で、遠置点が限界視差外の場合は'、近置点を限界視差点にシフトする。ただし、遠置点の視差が眼間距離に到達すれば処理をやめる。

3 . 近置点も遠置点も限界視差内の場合は処理しない。

4 . 近置点が限界視差内で、遠置点が限界視差外の場合は、遠置点を限界視差点にシフトするが、処理の途中で近置点が限界視差点に到達すれば処理をやめる。図 4 4は合成位置のシフトによる画像端の欠落を示す。ここでは左眼画像 2 0 0と右眼画像 2 0 2のシフト量が 1画素であり、左眼画像 2 0 0の右端と右眼画像 2 0 2の左端にそれぞれ 1画素幅の欠落部分 2 6 0が生じる。画像端調整部 1 6 8はこのとき、図 4 4のように画像端の画素列を複製して水平画素数を補償する。

これ以外の方法として、欠落部分 2 6 0は黒または白など特定の色で表示してもよいし、非表示にしてもよい。更に初期画像のサイズと同じになるように切り出しや付け加え処理を施してもよい。また、予め初期画像のサイズを実際の表示サイズより大きくしておき、欠落部夯 2 6 0が表示に影響しないよう配慮してもよい。

図 4 5は第.2の立体画像処理装置 1 0 0による視差の手動調整の流れである。同図のごとく、まず視差画像として左右画像が人手で作成され（S 1 0 ) 、これがネヅトワークその他のルートで配布される（S 1 2 ) 。これを第 2の立体画像処理装置 1 0 0が受け取り（S 1 4 ) 、この図の例では、まずはそのままシフトなしの通常の状態で画像 ¾合成して表示する（S 1 6 ) 。すなわち、ここでは適正視差がまだ取得されていない場合や位置シフト部 1 6 0を動作させていない場合を考えている。続いて、立体表示された視差画像に対してユーザが立体感調整部 1 1 2を介して視差の調整を指示し、これを位置シフト部 1 6 0が「手動調整モード」で受け、画像合成位置を調整して表示する（S 1 8 ) 。なお、 S 1 0と S 1 2は画像クリエ一夕の手続 2 7 0、 S 1 4以降は第 2の立体画像処理装置 1 0 0の手続 2 7 2である。また、図示しないが、このシフト量をヘッダに記録し、次回から参照して合成すれば、再調整の手間が省ける。

図 4 6は第 2の立体画像処理装置 1 0 0による自動調整の流れを示す。画像クリエ一夕の手続 ₂ 7 0である、左右画像の生成（S 3 0 ) 、画像配布（S 3 2 ) は図 4 5と同じである。また、第 2の立体画像処理装置 1 0 0の手続 2 7 2のうち、画像受取（S 3 4 ) も同様である。次に、視差量検出部 1 5 0のマッチング部 1 5 8によって視差画像間に予め付けられている視差、特に最大視差を検出し ( S 3 6 ) 、一方、視差情報保持部 1 2 0から適正視差、特に限界視差を取得する（S 3 8 ) 。この後、位置シフト部 1 6 0が前述の処理によって限界視差を満たすよう画像の合成位置をシフトし（S 4 0 ) 、視差書込部 1 6 4、画像端調整部 1 6 8、フォーマヅト変換部 1 1 6による処理を経て立体表示される（S 4 2 ) 。

図 4 7は、第 2の立体画像処理装置 1 0 0による更に別の自動調整の流れを示す。画像クリエ一夕の手続 2 7 0で左右画像の生成（S 5 0 ) した後、この時点で最大視差を検出して（S 5 2 ) 視差画像のいずれかの視点画像のヘッダへ記録しておく（S 5 4 ) 。この検出は対応点マッチングで実施してもよいが、クリエ一夕が手作業で視差画像を生成したときは、その編集過程で当然に既知であるため、これを記録すればよい。この後、画像を配布する（S 5 6 ) 。

一方、第 2の立体画像処理装置 1 0 0の手続 2 7 2のうち、画像受取（S 5 8 ) は図 4 6と同様である。次に、視差量検出部 1 5 0のヘッダ検査部 1 5 6によつて前述の最大視差をヘッダから読み出す（S 6 0 ) 。一方、視差情報保持部 1 2 0から限界視差を取得し（S 6 2 ) 、以下の処理 S 6 4、 S 6 6は図 4 6の処理 S 4 0、 S 4 2とそれぞれ同じである。この方法によれば、最大視差を計算する必要がない。また、画像全体に適切な立体感を実現できる。更に、シフト量はヘッダに記録できるため、原画像自体を損なうおそれがない。なお、図示しないが、図 4 6でも検出された最大視差をヘッダに記録すれば、つぎからは図 4 7の手続にしたがって処理することができる。

なお、多眼式でも同様の処理が可能で、それそれ隣り合う視点画像間の視差量に対して同様の処理を行えばよい。ただし、実際にはそれら複数の視点画像間の視差のうちの最大の視差によって全視点画像間の「最大視差」とみなし、合成位置のシフト量を決めてもよい。

ヘッダ情報は多視点画像の少なくともひとつにあればよいとしたが、多視点画像が 1枚の画像に合成されている場合はその画像のへッダを利用すればよい。更に、すでに合成済みの画像が配布される場合もあるが、その場合はいちど逆変換処理で画像を分離し、合成位置シフト量を計算して再合成するか、それと結果が同じになるよう画素の並べ替え処理を行えばよい。

図 48〜図 5 1は、合成位置のシフトをデプス情報付画像について行う処理を示す。これは第 3の立体画像処理装置 1 00の二次元画像生成部 1 Ί 8にて行われる。図 48、図 49はそれそれデプス情報付画像を構成する平面画像 204とデプスマップである。ここでは近置デプスを正、遠置デプスを負で表している。オブジェクトとして第 1四角形 2 50、第 2四角形 2 52、第 3四角形 254が存在し、第 1四角形 2 50はデプス「4」、第 2四角形 2 5 2は「2」、第 3四角形 2 54は「― 4」である。第 1四角形 2 50は最近置点、第 2四角形 2 5 2 は中間近置点、第 3四角形 2 54が最遠置点にある。

二次元画像生成部 1 78は、もとの平面画像 2 04を基礎として、まず、各画素をデプスマップの値分だけシフトさせる処理を行い、他方の視点画像を生成する。基準を左眼画像とすると、もとの平面画像 2 04はそのまま左眼画像となる。第 1四角形 2 50を左に 4画素、第 2四角形 2 52を左に 2画素、第 3四角形 2 54を右に 4画素シフトし、図 5 0のごとく、右眼画像 202が作成される。画像端調整部 1 68は、オブジェク卜の移動による画素情報の欠落部分 260を視差が「0」である、背景と判断される近接画素によって埋める。

続いて二次元画像生成部 1 78は、適正視差を満たすデプスを計算する。デブの範囲を K 1〜K 2とし、各画素のデプス値 ¾Gxyとすると、デプスマヅプは図 3 7において Hxyを Gxyへ変更した形になる。また、ュ一ザが保有する表示装置の適正視差が J 1〜 J 2であることが分かったとする。この場合、そのデプスマップにおいて、各画素のデプス値 Gは以下のように変換され、新しいデプス値 Fx yが得られる。

F X y = J 1 + (Gxy-K 1 ) x (J 2 -J 1) / (K 2 - 1) 前述の例では、 K l=一 4、 Κ2 = 4であり、また、 J l=一 3、 J 2 = 2であつたとすると、この変換式により、図 49のデプスマヅプは図 51のデプスマヅプへ変換される。すなわち、「4」は「2」へ、「2」は「1」へ、「ー4」は「一 3」へそれそれ変換される。 K 1と K 2の間の中間値は、 J 1と J 2の間に変換される。例えば第 2四角形 252は Gxy=2で、 Fxy=0. 75となる。 Fxyが整数にならない場合は、四捨五入や近置視差が小さくなるような処理を施せばよい。

なお、上述の変換式は線形変換の例であるが、更に Gxyに対する重み付け関数 F (Gxy) をかけたり、その他いろいろな非線形変換も考えられる。また、もとの平面画像 204から、オブジェクトを互いに逆方向にシフトして新たに左右画像を生成することもできる。多眼式の場合は同様の処理を複数回行い、多視点画像を生成すればよい。

以上が実施の形態に係る立体画像処理装置 100の構成および動作である。立体画像処理装置 100は装置として説明したが、これはハードウェアとソフトウエアの組合せでもよく、ソフトウェアのみでも構成できる。その場合、立体画像処理装置 100の任意の部分をライブラリ化して各種プログラムから呼びだし可能にすると利便性が高い。プログラマは立体表示の知識が必要となる部分のプログラミングをスキヅプできる。ュ一ザにとっては、ソフトウェアやコンテンヅによらず、立体表示に関する操作、すなわち GUIが共通になり、設定した情報は他のソフトウェアでも共有できるため再設定の手間が省ける。

なお、立体表示に関する処理ではなく、情報を複数のプログラム間で共有するだけでも有用である。各種プログラムはその情報を参照して画像の状態を決定できる。共有される情報の例は、前述の立体画像処理装置 100の情報取得部 11 8で取得される倩報である。この情報を図示しない記録部または補正マップ保持部 140などに保持しておけばよい。

図 52〜図 54は、以上の立体画像処理装置 100をライブラリとして利用する一例を示す。図 52は立体表示ライブラリ 300の用途を示す。立体表示ライブラリ 300は複数のプログラム A 302、プログラム B 304、プログラム C 306などから関数を呼び出す形で参照される。パラメ一夕ファイル 318には前述の情報のほか、ユーザの適正視差などが格納されている。立体表示ライブラリ 3 0 0は A P I (アプリケーションプログラムイン夕フェイス） 3 1 0を介して複数の装置 A 3 1 2、装置 B 3 1 4、装置 C 3 1 6などで利用される。

プログラム A 3 0 2等の例として、ゲーム、いわゆる W e b 3 Dと呼ばれる三次元アプリケーション、三次元デスクトップ画面、三次元地図、二次元画像である視差画像のビユア、デプス情報付画像などのピュアが考えられる。ゲームの中でも、当然ながら座標の使い方が違うものがあるが、立体表示ライブラリ 3 0 0 はそれにも対応できる。

一方、装置 A 3 1 2等の例として、 2眼や多眼のパララックスバリア式、シャッタめがね方式、偏光めがね方式など、視差を利用する任意の立体表示装置である。

図 5 3は三次元データソフト 4 0 2に立体表示ライプラリ 3 0 0が組み込まれた例を示す。三次元デ一夕ソフト 4 0 2はプログラム本体 4 0 4と、そのために適正視差を実現する立体表示ライブラリ 3 0 0と、撮影指示処理部 4 0 6を備える。プログラム本体 4 0 4はュ一ザイン夕フェイス 4 1 0を介してユーザと連絡する。撮影指示処理部 4 0 6は、ユーザの指示にしたがって、プログラム本体 4 0 4の動作中の所定の場面を仮想的にカメラ撮影する。撮影された画像は画像記録装置 4 1 2に記録される。また、立体表示装置 4 0 8へ出力される。 ' 例えば三次元データソフト 4 0 2がゲ一ムソフトであるとする。その場合、ュ —ザはゲーム中は立体表示ライブラリ 3 0 0によって適切な立体感を体験しながらゲームを実行できる。ゲーム中、ユーザが記録に残したい場合、例えば、対戦型戦闘ゲームで完全勝利をおさめたとき、ユーザインタフェイス 4 1 0を介して撮影指示処理部 4 0 6へ指示を出し、その場面を記録する。その際、立体表示ライブラリ 3 0 0を利用し、後に立体表示装置 4 0 8で再生したときに適正視差となるよう視差画像が生成され、これが画像記録装置 4 1 2の電子アルバム等へ記録される。なお、記録を視差画像という二次元画像で行うことにより、プログラム本体 4 0 4の有する三次元データ自体は流出せず、著作権保護の面にも配慮することができる。

図 5 4は、図 5 3の三次元データソフト 4 0 2をネヅトワーク利用型のシステム 4 3 0へ組み込んだ例を示す。

ゲーム機 4 3 2は図示しないネットワークを介し、サーバ 4 3 6と、ユーザ端末 4 3 4に接続される。ゲーム機 4 3 2は、いわゆるアーケードゲーム用で、通信部 4 4 2、三次元データソフト 4 0 2およびゲームを口一カルに表示する立体表示装置 4 4 0を備える。三次元データソフト 4 0 2は図 5 3のものである。三次元データソフト 4 0 2から立体表示装置 4 4 0へ表示される視差画像は立体表示装置 4 4 0について予め最適設定されている。三次元データソフト 4 0 2による視差の調整は、後述のように通信部 4 4 2を介してユーザへ画像を送信する際に利用される。ここで利用する表示装置は、視差を調整して立体画像を生成する機能を備えていればよく、必ずしも立体表示ができる装置でなくてもよい。ユーザ端末 4 3 4は、通信部 4 5 4、立体画像を見るためのビユアプログラム 4 5 2および立体画像を口一カルに表示する任意のサイズおよびタイプの立体表示装置 4 5 0を備える。ピュアプログラム 4 5 2には立体画像処理装置 1 0 0が実装されている。

サーバ 4 3 6は、通信部 4 6 0、ゲームに関連してユーザが仮想的に撮影した画像を記録する画像保持部 4 6 2、およびユーザの適正視差情報、ユーザのメールァドレスその他の個人情報などをユーザと対応づけて記録するユーザ情報保持部 4 6 4を備える。サーバ 4 3 6は例えばゲームの公式サイトとして機能し、ゲーム実行中にユーザが気に入った場面や名勝負の動画または静止画を記録する。立体表示は動画、静止画のいずれでも可能である。

以上の構成における画像撮影の一例は以下の要領で行われる。ユーザは予めュ —ザ端末 4 3 4の立体表示装置 4 5 0で立体表示を行い、立体画像処理装置 1 0 0の機能をもとに適正視差を取得し、これを通信部 4 5 4を介してサーバ 4 3 6 へ通知し、ユーザ情報保持部 4 6 4へ格納してもらう。この適正視差は、ユーザの保有する立体表示装置 4 5 0のハードウェアに関係のない汎用的な記述になつている。

ユーザは任意のタイミングでゲーム機 4 3 2によってゲームをする。その間、立体表示装置 4 4 0には蕞初に設定されていた視差、またはユーザが手動調整した視差による立体表示がなされる。ゲームのプレイ中、またはリプレイ中、ユーザが画像の記録を希望すると、ゲーム機 4 3 2の三次元データソフト 4 0 2に内蔵された立体表示ライブラリ 3 0 0が、二つの通信部 4 4 2、 4 6 0を介してサーバ 4 3 6のユーザ倩報保持部 4 6 4からこのユーザの適正視差を取得し、それに合わせて視差画像を生成し、再び二つの通信部 4 4 2、 4 6 0を介して画像保持部 4 6 2へ仮想的に撮影された画像に関する視差画像を格納する。ユーザは自宅へ帰ったのち、この視差画像をュ一ザ端末 4 3 4へダウンロードすれば、所望の立体感で立体表示ができる。その際も、ピュアプログラム 4 5 2のもつ立体画像処理装置 1 0 0により、視差の手動調整は可能である。

以上、この応用例によれば、本来、表示装置のハードウェアごと、ユーザごとに設定しなければならない立体感に関するプログラミングが立体画像処理装置 1 0 0および立体表示ライブラリ 3 0 0に集約されており、ゲームソフトのプログラマは立体表示に関する複雑な要件を一切気にする必要がない。これはゲームソフトに限らず、立体表示を利用する任意のソフトウェアについても同様であり、立体表示を利用するコンテンヅゃアプリケーションの開発の制約を解消する。したがって、これらの普及を飛躍的に促進することができる。

特に、もともと三次元の C Gデータが存在するゲームその他のアプリケ一ションの場合、従来は的確な立体表示をコ一ディングすることが困難であることも大きな原因となって、せっかく三次元デ一タをもちながら、それを立体表示に利用しなかったことも多い。実施の形態に係る立体画像処理装置 1 0 0または立体表示ライブラリ 3 0 0によれば、そうした弊害を除去でき、立体表示アプリケ一ションの充実化に寄与することができる。

！

なお、図 5 4ではユーザの適正視差をサーバ 4 3 6に登録したが、ユーザはその情報を記録した I Cカードなどを持参してゲーム機 4 3 2を利用してもよい。この力一ドに、このゲームに関する得点や気に入った画 ί象を記録してもよい。以上、本発明を実施の形 ¾|をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、そうした例を挙げる。

第 1の立体画像処理装置 1 0 0は、三次元データを入力することにより、高い精度で処理が可能である。しかし、三次元データをいつたんデプス情報付画像へ落とし、これに対して第 3の立体画像処理装置 1 0 0を利用して視差画像を生成してもよい。場合により、そのほうが計算コストが低いことがある。同じように複数の視点画像を入力する際も、高精度の対応点マッチングを用いてデプスマツプを作ることも可能で、このようにしてデプス情報付画像へ落とし、これに対して第 3の立体画像処理装置 1 0 0を利用して視差画像を生成してもよい。

第 1の立体画像処理装置 1 0 0において、カメラ仮配置部 1 3 0を立体画像処理装置 1 0 0の構成としたが、これは立体画像処理装置 1 0 0の前処理であってもよい。カメラの仮配置までは、適正視差に関係なく処理できるためである。同様に、第 1、第 2、第 3の立体画像処理装置 1 0 0を構成する任意の処理ュニットを立体画像処理装置 1 0 0の外部へ出すことも可能であり、立体画像処理装置 1 0 0の構成の自由度の高さは当業者に理解されるところである。

実施の態では、視差の制御を水平方向に行う場合を説明したが、同様の処理は垂直方向についても実施できる。

立体表示ライブラリ 3 0 0や立体画像処理装置 1 0 0の動作中は、文字デ一夕を拡大処理するュニットを設けてもよい。例えば水平 2視点による視差画像の場合、ユーザの目に見える画像の水平解像度は 1 / 2になる。その結果、文字の可読性が低下しうるので、水平方向へ 2倍に文字を引き延ばす処理が有効である。垂直方向にも視差がある場合、同様に垂直方向へ文字を引き延ばすことも有用である。

立体表示ライブラリ 3 0 0や立体画像処理装置 1 0 0の動作中は、表示している画像に「3 D」などの文字やマークを入れる「動作中表示部」を設けてもよい。その場合、ユーザは視差の調整が可能な画像であるか否かを知ることができる立体表示/通常表示の切替ユニットを設けてもよい。このユニットは G U Iを含み、ユーザが所定のボタンをクリックすると、表示が立体表示から通常の二次元表示に切りわり、その反対も可能な構成とすれば便利である。

情報取得部 1 1 8は必ずしもユーザ入力により情報を取得するのではなく、プドプレイなどの機能により自動的に取得できる情報があつてもよい。実施の形態では、 Eと Aを導出する方法をとつたが、これらを固定し、他のパラメ一夕を導出する方法であってもよく、変数の指定は自由である。

立体表示に関して、別の表現手法について提案する。一般的な、平面の画像表示では、「ある界面をオブジェクトが通過する」と行った、特に奥行き方向の表現には現実味という点で限界がある。また、窓の面に実際に空間と空間を隔てる界面があることを観察者に認識させることは困難である。そこで、以下に説明するように立体画像表示装置において立体的に物体を表示することで画面や枠といつた実体と、画像内に表現されるォブジェクト上の界面とがー致するように認識させることが可能となり、このような表示により新しい表現方法が生まれる。一般に、表示画面やその周辺の枠は視覚的に認知されるので、これを窓のように利用する表示方法が考えられ、その面に空間と空間の界面や、板状のオブジェクトを配置する指定が必要となる。この場合、図 1 8に示した位置関係では、光軸交差位置 Dが指定される。

図 1 8に示した撮影系の位置関係では、基本表現空間 T内での近置および遠置の限界視差をそれそれ P、 Qとすると、

E ： S = P ： A

E : S + T = Q : T - A

の関係式が得られた。これら関係式を近置、遠置の限界視差それぞれついて解くと、

E = P S /A

E = Q ( S + T ) / ( T一 A )

が得られる。これら二つの Eのうち小さい方の Eを選択することで、適正視差範囲の立体画像が得られる。

図 5 5は、三次元デ一夕により構成された画像が表示画面 4 0 0に表示されている状態を示している。この画像は、水槽 4 1 0の一つのガラス面 4 0 1が表示画面 4 0 0と一致しており、水槽 4 1 0内を魚 3 0 1が泳いでいることが表現されている。表示画面 4 0 0より奥を遠置空間、手前を近置空間となるようが処理がなされれば、魚 3 0 1は、図 5 6に示すように通常は遠置空間を泳いでいるように表され、そして時折、図 5 7に示すように「魚 3 0 1が表示画面 4 0 0を突き破って近置空間に現れる」というような表現ができる。更に、魚 3 0 1が表示画面 4 0 0を通り抜ける際、例えば、「表示画面 4 0 0の周辺から水しぶきが飛び、魚 3 0 1が通り抜けると界面が再生される。」という表現もできる。別の表現の例として、例えば「表示画面より手前の近置空間には水がないので、魚 3 0 1は近置空間でしばらく泳ぐと息苦しくなり、再び界面、つまり表示画面 4 0 0 を突き抜けて遠置空間に戻る。」という表現もできる。

なお、必ずしも物体が界面を通過し、その後、物体が通過する際に壊れた界面が再生される必要はなく、界面が壊れたままの状態としたり、物体の衝突にあわせて界面が変形するが通過しないとしたり、更にその際に衝撃のみ伝わる、映像上の効果として例えば電気ショックが加わる、など界面と物体の相互作用に関する様々な表現ができることは明らかである。また、界面は、単ある面でもよいが、ガラスのような板状の物体や紙などの薄い物体を配置してもよい。また、界面は表示画面に完全に一致する必要はなく、その近辺であればよい。以上のような表現効果は、平面的な画像では十分に観察者に状況を伝えることができないのは明らかである。特に立体画像の起点となるオリジナルデータが三次元デ一夕であると、上述のような効果を表現するための編集が容易となる。

このような、表示すべきオブジェクトが有する界面を表示画面に一致させる表現は、図 5 8に示す手法により生成することができる。つまり、三次元空間に仮想的な水槽 4 1 0が配置され、その左側方に配置された二つの仮想カメラ 4 3 0 、 4 4 0から視差を持つ二つの画像が生成される。その際二つの仮想カメラ 4 3 0、 4 4 0の光軸交差位置を水槽の一つの面と一致させる。また、このような画像は、図 5 9のように撮影することもできる。実際の水槽 4 1 0上^に二台の仮想カメラ 4 3 0、 4 4 0を配置し水槽 4 1 0を撮影する。その際、二台のカメラの光軸交差位置を水面に一致させる。

図 6 0は、以上の処理を実現するための第 4の立体画像処理装置 1 0 0の構成を示す。この立体画像処理装置 1 0 0は、図 1 1で示した第 1の立体画像処理装置 1 0 0の立体感調整部 1 1 2にオブジェクト指定部 1 8 0が更に設けられた構成である。このオブジェクト指定部 1 8 0は、ユーザの指定を受けたオブジェクトの界面を表示画面付近に位置させる、もしくは一致させる処理を行う。ここで、ユーザとしては、立体画像の制作者を想定し、上述の処理は立体画像の制作もしくは編集時になされる。なお、ユーザは観察者であってもよい。

まず図 6 0に示す立体画像処理装置 1 0 0に関してその処理手順を説明する。オブジェクト指定部 1 8 0はマウスなどの所定の入力装置によってユーザから二つの仮想カメラ 4 3 0、 4 4 0の光軸交差面に対応させるオブジェクトの指定を受付け、その指定されたオブジェクトを視差制御部 1 1 4に通知する。視差制御部 1 1 4、より具体的にはカメラ配置決定部 1 3 2は、ユーザから指定されたォブジェクトが有する平面を二つの仮想カメラ 4 3 0 , 4 4 0の光軸交差面になるように調整する。この処理以外の動作は、図 1 1に示した立体画像処理装置 1 0 0の動作と同一でよい。このようにして決められたオブジェクトには、表示画面付近に表示させることを示す情報が付加される。表示の際には適宜、それを読み出して光軸の交差距離 Dを決め、先に述べた処理によりカメラ間距離 Eを決めるまた、別の表現手法について提案する。表示画面に表示すべきオブジェクトが複数存在する場合、必ずしも全てのオブジェクトを常に適正視差内に収める必要はない。時には、効果的な表示のために、ある条件下で、例えば一定期間だけ、一部のォブジヱクトを適正視差の条件から外して表示してもよい。この手法として、静止オブジェクトに対して基本表現^間を決定することを上述したが、より詳しくは、オブジェクト毎に、立体表示すべきオブジェクトが含まれる基本表現空間内に表現すべきォブ'ジェクトであるかを判別する情報（以下、単に「識別情報」ともいう）を持たせればよい。なお、基本表現空間内に表現すべき対象を、「基本表現空間の算出対象」ともいう。そしてこの識別情報をもとに、随時基本表現空間が決定されればよい。

識別情報が必要に応じて適宜変更できるように構成されていれば、適正視差から外す条件を柔軟に設定することが可能である。例えば、識別情報に適正視差条件から外す時間の指定が記述されていれば、指定された時間が過ぎれば自動的に適正視差の範囲に戻るようにすることもできる。 '

なお、このように一時的に一部のオブジェクトを、適正視差条件から外して表示画面に表示するため手法を以下に示す。例えば、図 1 1に示した第 1の立体画像処理装置 1 0 0において、カメラ配置決定部 1 3 2は、適正視差にしたがって仮設定されたカメラパラメ一夕を修正したが、更にその機能を以下のように拡張すればよい。つまり、カメラ配置決定部 1 3 2はォブジェクト毎に関連づけられている識別情報を読みとり、その識別情報を反映させる形でカメラパラメ一夕を配置する。

更に別の表現手法について提案する。基本表現空間の前面および背面、つまり近置限界である前方投影面と遠置限界である後方投影面が、あるオブジェクトによって決定されると、オブジェクトに対応した空間の前後の空間を移動する表現ができなくなる。図 6 1は、第 4の立体画像処理装置 1 0 0により表示される画像に関して便宜的に奥行き方向、特に基本表現空間 Tについて表している。本図左側に前方投影面 3 1 0と右側に後方投影面 3 1 2が設定されており、前方投影面 3 1 0と後方投影面 3 1 2との間が基本表現空間 Tとなる。基本表現空間丁の範囲内には、静止オブジェクトとして前方投影面 3 1 0側に家 3 5 0が、後方投影面 3 1 2側には木 3 7 0が表現されている。更に、それら二つの静止オブジェクトの上方の空間を動的なオブジェクトである鳥 3 3 0が前方へ移動している。鳥 3 3 0は、基本表現空間 Tの範囲内で移動していれば、その動きを表現できるが、前方投影面 3 1 0または後方投影面 3 1 2に達した場合、それ以降は、鳥 3 3 0が図 6 1の左側に示した鳥 3 3 0のように前投影面、あるいは図示しないが後方投影面 3 1 2に位置するオブジェクトとなり、鳥 3 3 0が最大視差に固定され、実空間で更に前方もしくは後方に移動することができない。もし、少しでもォブジェクトを移動しているように表現することができれば、ォブジェクトに対する臨場感を保つことが可能となる。

上述したように、動的なオブジェクトを基本表現空間 Tの対象から外す処理が考えられるが、上述のようにある効果を狙う場合以外は、ユーザは違和感を覚える可能性があり、基本表現空間 Tの範囲で表現することが好ましいことも多い。そこで、図 6 2に示すように、オブジェクトが何も存在しない領域を、基本表現空間 Tに含ませる。図 6 2は、前方の静止オブジェクトの家 3 5 0の更に前方に、何も存在しない空間を基本表現空間 Tの一部として設けておき、動的なォブジェクトである鳥 3 3 0が家 3 5 0の前方を移動できるようにしたものである。図 6 3は更に、後方に置かれた静止ォブジェクトの木 3 7 0の更に後方にも何も存在しない空間を基本表現空間 Tの一部として設けたものである。これにより、例えば動的なオブジェクトである鳥 3 3 0が後方より移動してきて、家 3 5 0の前面にあたる位置を越えても、鳥 3 3 0は基本表現空間 Tの範囲内に位置しているため、更に前方に移動しても適正視差で表現され、その移動に関して、ユーザである観察者は違和感を覚えることがない。

また、図 6 4に示すように、例えば鳥 3 3 0をそれ自身だけでなく前後の空間を含める形で、視差を計算する対象として移動ォブジェクト 3 9 0を形成しておく。移動オブジェクト 3 9 0の最前面が、前方投影面 3 1 0に達した場合、鳥 3 3 0だけを移動させる。その場合、例えば鳥 3 3 0の移動速度を本来の速度より遅くすることで、本来鳥 3 3 0がすぐに前方投影面 3 1 0に達してしまい、それ以降の移動が表現できなくなるまでの時間を遅くできる。

また、図 6 5に示すように、例えば、移動オブジェクト 3 9 0が前方投影面 3 1 0を越えた後は、あらかじめ含めておいた空間の中で鳥 3 3 0を移動させてもよい。これにより最大視差は移動オブジェクト 3 9 0で決まり、鳥 3 3 0は少しづっその最大視差に近づくため、実空間で前に移動し繞けることが可能になる。これは、オブジェクト、つまり鳥 3 3 0の位置によって移動させることを有効にするか無効にするかを判定すれば実現できる。移動速度は、本来想定されている移動速度や、速い速度、遅い速度のいずれに設定されてもよく、移動速度に柔軟性を持たせることで、様々な表現が可能となる。例えば、移動ォブジェクト 3 9 0の端に近付くほど移動速度を遅く変更することで、前後方向に伴い視差量が過度に大きくなるのを防ぎながら前への移動を表現できる。

また、もし、他のオブジェクトが更にその前後に出現する場合、最大視差は、今度はそのオブジェクトに依存することになるので、鳥 3 3 0を移動ォブジェクト 3 9 0内のもとの位置に少しづつ戻す。

次に、最大視差を変化させながら急激な視差の変化を防ぐ原理を、先に示した図 1 7および図 1 8をもとに説明する。上述のごとく、

t a n ( 9¾/ 2 ) = M t a n ( Θ / 2 ) /L

E : S = P : A Έ> = 2 (S +A) t an ( /2)

の関係が成り立ち、これらの式より、あるカメラ設定において、あるオブジェクトの近置側の視差量は、

M=LE Α/ (2 S (A+S) t an (θ/2) )

と表すことができる。ここで、このオブジェクトが前方に移動すると、カメラ設定を変更しなければ、 Αが大きくなり Sが小さくなるので視差量は大きくなる。ここで、オブジェクトが前方に移動した際に、 Mが M，に、 Sが S，、 Aが A ' となったとすると、

M， =LEA， / (2 S， (Α' + S' ) t an (θ/2) )

Μ<Μ'

と表すことができる。

カメラ設定のうち、 Εと A' を変更し、

M" =LE" Α" / (2 S' (A" + S， ) t an (θ/2) )

と変換し、このとき

Μ<Μ，， <Μ'

の関係を満たせば、観察者に向かって移動するォブジェクトを立体表示する際に、急激な視差量の変化を防ぐことができる。なお、 Εまたは Α，のいずれかのみを変更してもよい。このとき、 Μ" は、

M" =LE" A' / (2 S' (A' +S' ) t an (θ/2) )

または、

Μ" - LEA" / (2 S⁵ (A，， + S， ) t an (Θ/2) )

と表される。

オブジェクトの奥に向かう動きに対して、急激な視差量の変化を防ぐには、 Μ>Μ" >Μ'

の関係を満たせばよい。'

また、遠置側の視差量 Νに関しても同様にしても、

N = LE (T-A) / (2 (T + S) (A+S) t an (0/2) ) であり、同様に、

N' =LE (T一 A， ) / (2 (T + S' ) (A， +S， ) t an (Θ/2) )

N，， = L E，，（T— A" ) / ( 2 ( T + S，） ( A" + S， ) t a n { Θ / 2 ) )

を求める。ここで

N > N" > Ν '

の関係を満たせば、オブジェクトの観察者に向かう動きに対して、現実の座標上の移動速度は、急激な視差量の変化を防ぐことができ、また、

Ν < Ν" < Ν '

の関係を満たせば、オブジェクトの奥に向かう動きに対して、急激な視差量の変化を防ぐことができる。

以上、図 6 1から図 6 5で示したような表現手法を実現する立体画像表示装置 1 0 0の構成を説明する。この立体画像表示装置 1 0 0では、図 6 0で示した立体画像表示装置 1 0 0で実現できる。ただし、カメラ配置決定部 1 3 2は、適正視差にしたがって仮設定されたカメラパラメ一夕を修正する際に、オリジナルデ一夕から、基本表現空間の算出対象となる範囲に関する情報やオブジェクトの視差量の変更に関する情報を読みとりそれをカメラパラメ一夕に反映させる機能を更に有す。この情報は、オリジナルデータ自身に盛り込まれていてもよいし、例えば、視差情報保持部 1 2 0に保持されてもよい。

実施の形態では、例えば、球が正しく見えるような正しい視差状態に対して、適正視差処理によって視差が大きすぎる状態であると判断されれば、立体画像の視差が小さくなるように処理された。このとき、球が奥行き方向につぶれたような形状に見えるが、一般的にこのような表示に対する違和感は小さい。人は、通常、平面画像を見慣れているため、視差が 0の状態と正しい視差の状態との間であれば、人は違和感を覚えないことが多い。

逆に、球が正しく見えるような視差状態に対して、適正視差処理で立体画像の視差が小さくなりすぎると判断されれば、視差が大きくなるように処理される。このとき、例えば球は奥行き方向に膨らんだような形状に見え、このような表示に対しては人は違和感を大きく覚えることがある。

単体のォブジェクトを立体表示する際などに、上述のような人が違和感を覚える現象が起こりやすく、建物や乗り物など、実生活で眼にする物体の表示では、特に、この視差の違いによる見え方の違和感が明確に認識される傾向がある。そこで、その違和感を低減するためには、視差が大きくなるような処理に対しては、補正を加える必要がある。

三次元データにより立体画像が生成される場合は、カメラの配置を変更することで、視差の調整が比較的容易に行うことができる。図 6 6から図 7 1をもとに、視差の補正手順を示す。また、この視差の補正は、上述の第 1から第 4の立体画像処理装置 1 0 0により行うことができる。ここでは、図 1 1に示した第 1の立体画像処理装置 1 0 0によって、三次元デ一夕により立体画像が生成されることを想定する。なお、後述する第 4、第 6の立体画像表示装置 1 0 0でも上述の補正処理は実現できる。

図 6 6は、ある立体画像表示装置 1 0 0の表示画面 4 0 0において、観察者が立体画像を観察している様子を示している。表示画面 4 0 0の画面サイズが L、表示画面 4 0 0と観察者との距離が d、眼間距離が eである。更に、近置限界視差 Mと遠置限界視差 Nは立体感調整部 1 1 2により予め得られており、近置限界視差 Mと遠置限界視差 Nの間が適正視差となる。ここでは、理解を容易にするために近置限界視差 Mのみを表示しており、この値から最大飛び出し量 mが定まる。飛び出し量 mとは、表示画面 4 0 0から近置点までの距離を指。なお、 L、 M、 Nの単位は「画素」であり、他の d、 m、 e等のパラメ一夕と異なり、本来は所定の変換式を用いて調整する必要があるが、ここでは説明を容易にするため同じ単位系で表している。

このとき、球 2 1を表示するために、球 2 1の最近置点と最遠置点とを基準として、視差制御部 1 1 4のカメラ配置決定部 1 3 2によってカメラ配置が図 6 7 のように決められたとする。二つのカメラ 2 2、 2 4の光軸交差距離が D、それらカメラ間隔が E cである。ただし、パラメ一夕の比較を容易にするために、 '光軸交差距離におけるカメラの見込み幅が画面サイズ Lと一致するように座標系の拡大縮小処理がなされている。このとき、例えばカメラ間隔 E cが眼間距離 eに等しく、光軸交差距離 Dが観察距離 dより小さかったとする。すると、この系は、図 6 8のように、図 6 7に示したカメラ位置から観察者が観察すると球 2 1が正しく見える。このような撮影系で生成された画像をもとの立体画像表示装置 1 00で球 21を観察すると、図 69のように、適正視差範囲全体にわたって奥行き方向に伸びた球 21が観察される。

この原理を用いて、立体画像に対して補正が必要か否かを判断する手法を以下に示す。図 70は、図 67に示したカメラ配置で、表示画面 400からの距離が Aに位置する球の最近置点を撮影する様子を示している。このとき、二つのカメラ 22、 24のそれぞれと距離 Aの位置する点を結んでできる二つの直線によつて、距離 Aに対応する最大視差 Mが求まる。更に、図 71は、二つのカメラ 22 、 24とカメラの光軸公差距離を dとしたときに、図 70で示した視差 Mを得るために必要なカメラ間隔 E 1を表している。これは、カメラ間隔以外の撮影系のパラメ一夕を全て観察系のパラメ一夕と一致させる変換ということができる。図 70および図 71には次の関係が成り立つ。

M： A = E c ： D -A

M： A=E 1 ： d-A

E c = E 1 (D-A) Z (d-A)

E 1 =E c (d-A) / (D-A)

そして、この E 1が眼間距離 eより大きいときに視差が小さくなるような補正が必要と判断される。 E 1を眼間距離 eにすればよいので、次式のように E cを補正すればよい。

E c = e (D-A) / (d-A)

最遠置点についても同様で、図 72、および図 73において、球 21の最近置点と最遠置点の距離を基本表現空間である Tとすると、

N： T-A = E c ： D +T-A

N： T— A = E 2 ： d + T-A

E c = E 2 (D + T-A) / (d + T-A)

E 2 =E c (d + T-A) / (D + T-A)

更に、この E 2が眼間距離 eより大きいときに、補正が必要と判断される。続いて、 E 2を眼間距離 eにすればよいので、次式のように E cを補正すればよい E c = e ( D + T - A) / ( d + T - A)

最終的には、最近置点、最遠置点からそれぞれ得られた二つの E cのうち、小さい方を選択すれば、近置および遠置のいずれに関しても視差が大きくなりすぎることがなくなる。この選択された E cをもとの三次元空間の座標系にもどしてカメラを設定する。

より、一般的には、

E c < e ( D - A) / ( d - A)

E c < e ( D + T - A) / ( d + T - A)

の 2式を同時に満たすようにカメラ間隔 E cを設定すればよい。これは、図 7 4 および図 7 5において、観察距離 dの位置に眼間距離 eの間隔で置かれた二つのカメラ 2 2、 2 4と、オブジェクトの最近置点とを結ぶ二つの光軸 K 4上、または上記二つのカメラ 2 2、 2 4と最遠置点を結ぶ二つの光軸 K 5上に二つのカメラを配置したときの間隔が、カメラ間隔 E cの上限であることを示している。つまり、図 7 4における二つの光軸 K 4の間隔、もしくは図 7 5における二つの光軸 K 5の間隔のうち狭い方の光軸の間に含まれるように二つのカメラ 2 2、 2 4 を配置すればよい。

なお、ここで光軸交差距離を変更せずにカメラ間隔のみで補正を行ったが、光軸交差距離を変更し、オブジェクトの位置を変更してもよいし、カメラ間隔および光軸交差跑離の両方を変更してもよい。

デプスマップを利用する場合も補正が必要となる。デプスマヅプ値がその点のずらし量を画素数で表しており、初期値、一般にはオリジナルデ一夕に記述されている値が最適な立体視を実現する状態であるとすれば、適正視差処理で、デブスマップ値の範囲を大きくする必要が生じたときには上記の処理を行わず、デブスマップ値の範囲を小さくする必要が生じたとき、つまり視差を小さくする必要が生じたときのみ、上記処理を行えばよい。

また、初期値の視差が小さめに設定されている場合には、最大許容値を画像のへッダ領域などに保持し、その最大許容値に収まるように適正視差処理を行えばよい。これらの場合、適正距離に関してハードウェア情報が必要となるが、先に示したハードウェア情報に依存しない場合の処理と比べ、より高性能な処理が実現できる。以上の処理は、視差が自動設定される場合だけでなく、手動で設定している場合の処理としても利用できる。

また、観察者が違和感を覚える視差の限界は、画像によって異なる。一般に、模様や色の変化が少ない画像で、エッジが目立つような画像は、視差を大きくつけるとクロストークが目立つ。また、ェヅジの両側の輝度差が大きい画像も、視差を強くつけるとクロストークが目立つ。つまり、立体表示すべき画像、つまり視差画像、更には視点画像において、高周波成分が少ない場合に、ユーザはその画像を視た際に違和感を覚える傾向がある。そこで、画像をフーリエ変換などでの手法で周波数解析し、その解析の結果得られた周波成分の分布に応じて適正視差に補正を加えるとよい。つまり、高周波成分の量が多い画像に関しては、視差が適正視差よりも大きくなる補正を加える。

また、更に動きの少ない画像はクロストークが目立つ。一般に、ファイル名の拡張子を調べることで、ファイルの種類が動画か静止画であるかが分かることが多い。そこで、動画像と判定された場合には、動きベクトルなどの既知の動き検出手法で、動きの状態を検出し、その状態に応じて適正視差量に補正を加えてもよい。つまり、動きの少ない画像には、視差が本来の視差よりも小さくなるような補正を加える。一方、動きの多い画像には、補正を加えない。または、動きを強調したい場合などは視差が本来の視差よりも大きくなるような補正を加えても iい。なお、適正視差の補正は一例で、予め決められた視差範囲であればどのようなものでも補正ができる。また、デプスマヅプを補正することもできるし、視差画像の合成位置ずらしの量を補正することもできる。

また、これらの分析結果をファイルのヘッダ領域に記録して、立体画像処理装置がそのヘッダを読みとり、次回以降の立体画像の表示の際に利用してもよい。また、高周波成分の量や動き分布は、画像の作成者やユーザによって実際の立体視によりランク付けがなされてもよいし、複数の評価者による立体視でランク付けを行い、その平均値が利用されてもよく、そのランク付けの手法は問わないまた、適正視差は厳密に守られる必要はなく、カメラパラメータの算出は常時行う必要はなく、一定時間ごとやシーンチェンジごと等に行ってもよい。特に、処理能力の低い装置により行われる場合に有効である。例えば、一定時間每にカメラパラメ一夕を算出する場合、三次元データから立体画像を生成するケースでは第 1の立体画像処理装置 1 0 0において、視差制御部 1 1 4は内部夕イマを利用し一定周期毎にカメラ配置決定部 1 3 2に対して、カメラパラメ一夕の再算出を指示すればよい。内部夕イマは、立体画像処理装置 1 0 0の演算処理を行う C P Uの基準周波数を利用してもよいし、専用夕イマを別途設けてもよい。

図 7 6は、画像の状態に応じて適正視差を算出することを実現する第 5の立体画像処理装置 1 0 0の構成を示している。ここでは図 1 1に示した第 1の立体画像処理装置 1 0 0において、新たに画像判定部 1 9 0が設けられている。それ以外の構成および動作は同一なので異なる点を主に説明する。この画像判定部 1 9 0は、画像の周波数成分を解析し高周波成分の量を求め、その画像に適した視差を視差制御部 1 1 4に通知する周波数成分検出部 1 9 2と、オリジナルデ一夕が動画像であればシーンチェンジを検出したり、画像内の動きを検出したりすることでカメラパラメ一夕の算出タイミングを視差制御部 1 1 4に通知するシーン判定部 1 9 4を備える。シーンチェンジの検出は、既知の手法を用いて行えばよいォリジナルデータが動画像であるとき、画像の高周波成分の量により適正視差を調整する処理を常時行うと周波数成分検出部 1 9 2の処理負荷が大きくなる。その処理負荷に見合う演算処理装置を使用すると立体画像処理装置 1 0 0のコストアップとなる懸念がある。上述のように適正視差は常時厳密に守られる必要がないので、シーン判定部 1 9 0の検出結果 ¾基にシーンチェンジなどのように画像が大きく変化するときに画像の周波数成分を分析する構成とすることで、画像判定分 1 9 0の処理負荷を低減できる。

三次元空間において複数の仮想カメラ配置し、それら仮想カメラそれそれに対応する視差画像を生成するときに、それら視差画像内にオブジェクトの情報が存在しない領域が発生してしまうことがある。以下に、三次元データを起点として立体画像を生成する場合を例に、視差画像内にオブジェクトの情報が存在しない領域が発生する原理を説明するとともに、その解消手法を説明する。図 7 7は、三次元データを作成する制作者により設定される仮カメラ位置 S ( X s、 Y s 、 Z s ) 、画角 Θ、および第 1から第 3のオブジェクト 7 0 0、 7 0 2、 7 0 の関係を示している。

仮カメラ位置 S ( X s、 Y s、 Z s ) は、複数の仮想カメラをもとにそれそれの視差画像を生成する際に、それら仮想カメラの中心となる（以下、カメラ群中心位置 Sともいう）。第 1のォブジェクト 7 0 0は、背景に当たる。ここで制作者は、画角 0内に第 2および第 3のォブジェクト 7 0 2、 7 0 4が収まるとともに、背景画像である第 1のォブジェクト 7 0 0によって画角 Θ内にオブジェクトの情報が存在するよう、画角 0およびカメラ群中心位置 Sを設定する。

つぎに、所定のプログラムにより、図 7 8に示すように所望の視差が得られるよう、更に近置および遠置の基準である光軸交差位置 A ( X a、 Y a、 Z a ) が得られるように、二つの仮想カメラ 7 2 2、 7 2 4のパラメ一夕、具体的には力メラ位置およびそれぞれの光軸が定まる。このとき、画角 Sが先に定められた値と等しい場合、それら二つの仮想カメラ 7 2 2、 7 2 4のカメラ位置では、例えば、背景画像である第 1のオブジェクトの大きさによっては、本図で示すようにオブジェクトの情報が存在しない第 1および第 2のォブジェクトゼロ領域 7 4 0 、 7 4 2が発生する。

第 1のオブジェクトゼロ領域 7 4 0は、角度で表すとひ、第 2のオブジェクトゼロ領域 7 4 2は、 ?であり、これらの角度範囲にはオブジェクト情報が存在しない。従って、図 7 9に示すように、これらひと/?が無くなるように画角 Θを調整すればよい。つまり、ひと ?の値のうち、大きいほうの値を画角 0から減算する。このとき、光軸方向を変更しないようにするために、画角 0の左右両方から減算すべき値を減らすため、新しい画角 S 1は 0 1 = 0 1—2 Xひまたは 0 1— 2 Χ ？から定められる。ただし、ひや/?は、視差画像からは即座に判明しない場合もあるので、少しずつ画角 0を調整し、そのたびに視差画像内にオブジェクトの情報が存在しない領域が発生しているか否かを確認してもよい。また、ォブジェクトの情報が存在しない領域の有無は、実際には、表示画面の画素に入力すベきデ一夕があるか否かにより確認すればよい。また、画角 Θの調整のみで全画素にオブジェクト情報が存在するように調整するに限らず、カメラ間隔 Eや光軸交差置 Aを変更してもよい。図 80は、画角調整の処理を示すフローチャートである。この画角調整の処理は、図 1 1に示した第 1の立体画像表示装置 100で実現可能である。まず、立体画像表示装置 1 00に立体画像の起点となるオリジナルデータが入力されると、カメラ仮配置部 130は、カメラ群中心位置 Sを決定する（S 1 1 0) 。つづいて、カメラ配置決定部 132は、そのカメラ群中心位置 Sをもとに、カメラ画角 0を決定し（S 1 12) 、カメラ間隔 Eを決定し（S 1 14) 、仮想カメラの光軸交差位置 Aを決定する（S 1 16) 。更に、カメラ配置決定部 132はオリジナルデータに対しカメラ間隔 Eおよび光軸交差位置 Aに基づき座標変換処理を行い（S 1 18) 、表示画面の全画素にォブジヱクトの情報が存在するか否かを判定する（S 1 20) 。

ォブジェクトの情報がない画素が存在する場合（S 120の N) 、画角 0を少し狭める補正を行い（S 1 22) 、 S 1 14の処理に戻り、以降、全画素にォブジェクト情報が存在するようになるまで、 S 1 14から S 120までの処理を継続する。ただし、画角 0の補正のみで全画素にオブジェクト情報が存在するように調整する場合、 S 1 14のカメラ間隔 Eの決定処理および S 1 16の光軸交差位置 Aの決定処理はスキップする。全画素にォブジヱクト情報が存在する場合（S 1 20の Y) 、この画角調整の処理は終了となる。

上記実施の形態では、主に三次元データを起点に生成される立体画像に関して説明した。以下に、実写画像を起点に立体画像を表現する手法に関して説明する。三次元データを起点にする場合と、実写画像を起点にする場合との差異は、実写画像を起点にする場合には、基本表現空間の奥行き Tの概念がないことである。これは、適正視差表示が可能な奥行き範囲 Tと言い換えることができる。図 17および図 18に示したように、立体画像を生成するためのカメラ設定に必要なパラメ一夕はカメラ間隔 E、光軸交差距離 A、画角 0、基本表現空間の前面である前方投影面 30からカメラ配置面、すなわち視点面 208までの距離 S 、光軸交差面 2 10の視点面 208からの距離 D、奥行き範囲 Tの 6種類である。そしてこれらの間には、以下の関係式が満たされる。

E = 2 (S + A) t an (θ/2) · (SM+SN + TN) / (LT) A=S TM/ (SM+SN + TN) 3791

58

D = S + A

したがって、 6種類のパラメ一夕 E、 Α、 Θヽ S、 D、 Tのうち、 3種類を指定すれば、残りのパラメ一夕を算出できる。一般に、いずれのパラメ一夕を指定するかは自由であるが、先に示した実施の形態では、 Θヽ S、 Tを指定し、 E、 A、 Dを算出した。 6»や Sを自動的に変更すると拡大率が変わるため、プログラマや撮影者が意図する表現ができなくなる恐れがあり、これらを自動的に決めることは好ましくないことが多い。 Tについても、表現範囲の制限を表すパラメ一夕ともいえ、予め決めるのが好ましい。そして、三次元デ一夕の場合には、いずれのパラメ一夕を変えるのも手間はほとんど同一である。ところが、実写の場合には異なる。カメラの構造によっては価格が大きく異なるうえに、操作性も変わるため、用途に応じて指定するパラメ一夕を変えることが望ましい。

図 8 1は、娯楽施設や写真館などで立体写真を撮影する立体写真撮影装置 5 1 0と被写体 5 5 2との関係を示している。この立体写真撮影装置 5 1 0は、カメラ 5 5 0と立体画像処理装置 1 0 0とを含んで構成されている。ここでは、撮影環境が固定される。つまり、カメラ 5 5 0の位置と被写体 5 5 2の位置が予め決められており、パラメ一夕として 0、 S、 Tが決まっている。この撮影系は、図 1 8に示した例を、実際のカメラ 5 5 0に置き換えた状態であり、二つのレンズ 5 2 2、 5 2 4がー台のカメラ 5 5 0に備わり、このカメラ 5 5 0のみで立体画像の基点となる二つの視差画像を撮影できる。

図 8 2は、この処理を行う第 6の立体画像処理装置 1 0 0の構成を示す。この立体画像処理装置 1 0 0は、図 1 2に示した立体画像処理装置 1 0 0において、視差検出部 1 5 0をカメラ制御部 1 5 1に置き換えたものである。カメラ制御部 1 5 1は、レンズ間隔調整部 1 5 3と光軸調整部 1 5 5を有する。

レンズ間隔調整部 1 5 3は、二つのレンズ 5 2 2、 5 2 4の位置を調整することでカメラ間隔 E、より詳細に言うとレンズ間隔 Eを調 ½する。ま十こ、光軸調整部 1 5 5は、二つのレンズ 5 2 2、 5 2 4それそれの光軸方向を変更して、 Dを調整する。被写体 5 5 2は、自宅などに保有している立体画像表示装置の適正視差情報を、メモリや力一ドなどの持ち運び可能な記録媒体や、インターネットなどの通信手段を通じて入力する。情報取得部 1 1 8が、この適正視差の入力を受け付け、カメラ制御部 1 5 1に通知する。その通知を受けて、カメラ制御部 1 5 1は E、 A、 Dを算出し、レンズ 5 2 2、 5 2 4の調整することで、カメラ 5 5 0は適正な視差で撮影を行う。これは、ライブラリにより、被写体が表示される立体表示装置と立体写真撮影装置 5 1 0との処理が共通化されていることで実現する。

なお、表示の際に被写体を画面上に配置したい場合は、 D、 Aも決めておき、被写体を Dに位置させて撮影すればよく、この場合は、近置と遠置で別々に適正視差の計算を行い、 Eが小さくなる方を選択すればよい。また、 Tは、被写体が占める範囲より大きくしてもよい。背景がある場合、背景を含めて Tを決定するとよい。

また、適正視差情報は、必ずしも被写体であるユーザが所有する立体画像表示装置で調べたものである必要はない。例えば、撮影現場で典型的な立体画像表示装置で好みの立体感を選択してもよい。この選択は、立体感調整部 1 1 2により可能である。あるいは、単に「画面上/遠置/近置」、「立体感：大/中 Z小」のような項目から選択し、それらに対応して視差情報保持部 1 2 0に保持されている、予め決められたカメラパラメ一夕が用いられてもよい。また、光軸交差位置の変更は機構構造で変更されてもよいが、解像度の高い C C D (Charge Coupled Device) を用いて、画像として利用する範囲を変えることで実現されてもよい。この処理には位置シフト部 1 6 0の機能を使えばよい。

図 8 3は、人間が入ることができない場所に移動可能なカメラ 5 5 0が設置され、コントローラ 5 1 9を使った遠隔操作によりそのカメラ 5 5 0が操作され、撮影されている映像を立体画像表示装置 5 1 1で観察している様子を示している。立体画像表示装置 5 1 1には、図 8 2で示した構成の立体画像表示装置 1 0 0 が組み込まれている。

カメラ 5 5 0には、レンズ間隔 Εが自動調整できる機構がついている。またこのカメラ 5 5 0には光学ズームもしくは電子ズーム機能がついており、これにより 0が決まる。ところが、このズーム操作により視差量が変化する。一般に遠くを撮影するほど表示の際に視点間の光軸の成す角度が小さくなるので、そのレンズ間隔 Εでは視差が小さくなり立体感が乏しくなる。そこで、レンズ間隔 Εゃズ —ム量などのカメラ設定を適切に変更する必要が生じる。ここでは、このような場合にカメラ設定を自動的に制御し、煩雑なカメラ設定を大幅に軽減する。なお、コントローラ 5 1 9を使用して、カメラ設定を調整してもよい。

操作者は、まずコントローラ 5 1 9を使い光学ズームもしくは電子ズームを操作すると、 0が決定される。次に、カメラ 5 5 0を動かし、撮影したい被写体を立体表示装置 5 1 1において中央に表示させる。カメラ 5 5 0はオートフォー力スの機能により被写体に焦点を合わせ、同時に距離を取得する。初期状態では、この距離を Dとする。つまり、被写体が表示画面付近に位置して見えるように力メラ 5 5 0を自動設定する。 Tは手動で範囲を変更でき、操作者は予め前後関係を把握したい物体の奥行き方向の分布を指定しておく。こうして、 θ、 D、丁が決まる。それによつて、先に示した 3つの関係式より E、 A、 Sが決まり、カメラ 5 5 0が適切に自動調整される。この例の場合には、 Sが後から決まるため、 Tが最終的にどの範囲となるかは不確定である。そこで、 Tはある程度大きく設定しておくとよい。

なお、被写体を画面端に表示したい場合には、一度被写体を中央に表示し、所定のボタンを押して焦点および Dを固定できるようにし、その後カメラ 5 5 0の向きを変更すればよい。また、焦点や Dを手動でに変更できるようにすれば、被写体の奥行き位置を自由に変えることができる。

図 8 4は、立体画像撮影装置 5 1 0による撮影の一例を示す。体画像撮影装置 5 1 0は、図 8 2で示した構成を有する。このカメラ 5 5 0には、予め撮影者が保持する立体画像表示装置の適正ネ見差が、持ち運び可能なメモリなどの記録媒体やインターネットなどの通信手段を通じて入力されている。ここでは、カメラ 5 5 0として、簡単な構造を有する、比較的低価格で入手可能なカメラを想定する。ここでは、カメラ間隔 E、光軸交差距離 D、画角 0が固定されており、先に示した 3つの関係式より A、 S、 Tが決まる。これらの値から被写体までの距離の適切な範囲を計算することができるので、被写体までの距離を実時間で測定し、計算された距離が適切であるかどうかをメッセ一ジゃランプの色などで撮影者に通知できる。被写体までの距離は、オートフォーカスの距離測定機能など既知の技術で取得すればよい。 ' 以上のように、いずれのカメラパラメ一夕を変数または定数とするかの組合せは自由で、用途に合わせて様々な形態がある。また、カメラ 5 5 0は上記以外にも、顕微鏡、医療用の内視鏡、携帯端末など様々な機器に取り付けられた形態が考えられる。

なお、特定の立体表示装置に対して視差を最適化すると、他の立体表示装置で立体視が困難な場合がある。しかし、一般的に装置の性能は向上するものであり、次に購入する立体表示装置に対しては視差が大きすぎると言うことは稀と考えられる。むしろ、撮影装置の設定不備により、立体表示装置の性能に関係なく立体視が困難となる危険を避けるために、上記のような調整を行うことは重要である。なお、ここで、立体表示装置とは、立体視を実現するための立体画像処理装置を備える構成とする。

第 1から第 6の立体画像処理装置 1 0 0の立体感調整部 1 1 2で得られる適正視差は、特定の立体画像処理装置 1 0 0に対してユーザが立体視しながら決めるパラメータであり、その立体画像処理装置 1 0 0においては、以後その適正視差が守られる。この立体感調整の操作には立体表示装置固有の「画像分離性能」と観察者固有の「生理的限界」という二つの因子が加味されている。「画像分離性能」とは複数の視点画像を分離する性能を表す客観的因子で、この性能が低い立体表示装置はほとんど視差を付けていなともクロストークが感知されゃすく、複数の観察者が調整を行った場合の適正視差の範囲は平均的に狭くなる。逆に、画像分離性能が高ければ大きな視差を付けてもクロストークはほとんど感知されず、適正視差の範囲は平均的に広くなる傾向がある。一方、「生理的限界」は主観的因子で、例えば画像分離性能が非常に高く完全に画像が分離していても、観察者よって不快感を覚えない視差範囲が異なる。これは、同じ立体画像処理装置 1 0 0における適正視差のばらつきとして現れる。

画像分離性能は分離度とも呼ばれ、図 8 5のように最適観察距離で照度計 5 7 0を水平方向に移動しながら基準画像 5 7 2の照度を測定する方法で決めることができる。その際、 2眼式の場合は例えば左眼画像に全白を表示し、右眼画像に全黒を表示する。画像が完全に分離していれば、右眼画像が見える位置の照度は 0になる。それに対して、左眼画像の白の漏れの程度を測定することで、画像分離性能が得られる。本図、右端のグラフは測定結果の例である。また、この測定は、モアレの濃淡を測定することとほとんど等価であるので、図 8 6のようなモァレが観察される距離でモアレ画像を取り込み、その濃淡を解析することでも画像分離性能を測定することができる。

メガネ式の立体表示装置などでも、同じように漏れ光を測定することで画像分離性能を測定することができる。また、実際には、左右両方の画像を全黒としたときの測定値をバックグラウンドとして加味して計算してもよい。また、画像分離性能は、多数の観察者によるランク付け評価の平均値で決定することもできるこのように、立体表示装置の画像分離性能については客観的な数値などの判断基準を与えることができるので、例えば、ユーザ保有の図 5 4の立体表示装置 4 5 0のランクとその立体表示装置 4 5 0に対するユーザの適正視差が分かれば、他の立体表示装置 4 4 0のランクにあうよう適正視差を変換することができる。また、立体表示装置には画面サイズ、画素ピッチ、最適観察距離などの固有値となるパラメ一夕もあり、これらパラメ一夕の情報も適正視差の変換には利用する以下に、適正視差の変換例について、図 8 7および図 8 8を用いてパラメ一夕毎に順に説明する。ここでは、適正視差は、 N/ Lと M/ Lにより保持されているものとする。ここで、 Mは近置限界視差、 Nは遠置限界視差、 Lは画面サイズである。このように比の値で表すことで、立体表示装置間の画素ピッチの違いを無視することができる。そこで、以下に使用する図では、説明を容易にするために画素ピヅチが等しいとして説明する。

まず、画面サイズの違いに対する変換について説明する。図 8 7に示すように、 '画面サイズによらず視差の絶対値を変えないように処理するのが好ましい。つまり、前後方向の立体表現範囲を同じにする。図上側に示す状態から下側に示す状態のように、画面サイズが a倍になったとする。このとき、 NZLを N/ ( a L ) に変換し、 M/Lを M/ ( a L ) に変換することで画面サイズが異なる場合でも、適正視差が実現される。本図では最近置点の例を示している。

次に、観察距離の違いに対する変換について説明する。図 8 8に示すように、最適観察距離 dが b倍になれば、視差の絶対値も b倍にするのが好ましい。つまり、眼が見込む視差の角度を一定に保つ。従って、 N/ Lを b N/Lに変換し、 M/ Lを b M/Lに変換することで最適観察距離が異なる場合でも、適正視差が実現される。本図では、最近置点の例として表している。

最後に、画像分離性能の因子を加味することに関して説明する。ここでは、画像分離性能のランク rを 0以上の整数であるとし、視差を付けることができないほど性能が悪いものを 0とする。そして、第 1の立体表示装置の画像分離性能を r 0とし、第 2の立体表示装置の画像分離性能を r 1とすると、 c = r 1 / r 0 として、 N/ Lを c N/ Lに、 M/ Lを c MZ Lに変換する。これによつて画像分解性が異なる立体表示装置であっても、適正視差が実現される。なお、ここで示した、 cを導出するた式は一例であり、他の数式から導出してもよい。

以上の処理を全て行うと、結局、 N/ Lは b c N/ ( a L ) に、 M/ Lを b c M/ ( a L ) に変換される。なお、この変換は、水平方向の視差、垂直方向の視差のいずれにも適用できる。なお、以上の適正視差の変換は、図 5 2、図 5 3、および図 5 4で示した構成で実現できる。

また、基本表現空間の前面と背面は Zバッファを利用して決められてもよい。 Zバヅファは陰面処理の手法で、カメラから視たォブジェクト群のデプスマヅプが得られる。この Z値を取り除く最小値と最大値を、最前面、最背面の位置として用いてもよい。処理としては、仮想カメラの位置から Z値を取得する処理が追加される。この処理には、最終の解像度必要がないので、画素数を減らして処理を行うと処理時間が短くなる。この手法により、隠れている部分が無視されるので適正視差範囲を有効に利用できる。また、オブジェクトが複数であっても扱いやすい。

また、視差制御部は 1 1 4は、三次元データにより立体画像を生成する際に、視差画像を生成するために設定されるカメラ配置に関するパラメ一夕が変更される場合、前記カメラパラメ一夕を前記パラメ一夕の変動に対して予め設けられている閾値に収まるよう制御してもよい。また、視差制御部 1 1 4は、デプス情報が与えられた二次元動画?象より動画像の立体画像を生成する際に、二次元動画像の進行に伴い発生する、デプス情報に含まれるデブスの最大値もしくは最小値の変動が、予め設けられている閾値に収まるように制御してもよい。それら制御の際に利用される閾値は、視差情報保持部 1 2 0に保持さていればよい。

三次元データにより立体画像を生成する際に、視界内に存在するォブジェクトから基本表現空間を決定していると、オブジェクトの急速な移動やフレームィン、フレームアウトによって、基本表現空間の大きさが急激に変わり、カメラ配置に関するパラメ一夕が大きく変動することがある。この変動が予め決められた閾値よりも大きい場合には、閾値を限度として変動を許可してもよい。また、デブス情報が与えられた二次元動画像より立体画像を生成する際にも、デブスの最大値もしくは最小値から視差量の最大値や最小値を決定していると、同様の不都合が考えられる。この変動に対しても閾値を設けるとよい。

本実施の形態によれば、以下のような効果がある。

1 . 人の生理に適合しやすい立体画像を生成または表示できる。

2 . 表示対象画像が変わってもユーザに適切な立体画像を生成または表示できる 3 . 簡単な操作で立体表示の立体感を調整できる。

4 . 適切な立体表示が可能なコンテンヅまたはアプリケーションづくりに際し、プログラマの負担を軽減できる。

5 . 立体表示を最適化しょうとするユーザの手間が軽減される。

6 . 通常、プラグアンドプレイ機能の対象にならない立体感調整やヘッドトラッキング情報を容易に実現でき、後付のパラックスバリアのように、原理上ブラグアンドプレイができい装置についても同様である。産業上の利用可能性

以上のように、発明は、立体画像処理方法および立体画像処理方法装置などに利用可能である。

Claims

請求の範囲

1 . 異なる視差に対応する複数の視点画像をもとに表示された立体画像に対するユーザの応答を取得する指示取得部と、

取得された応答をもとに、そのユーザに関する適正視差を特定する視差特定部と、

を含むことを特徴とする立体画像処理装置。

2 . 前記特定された適正視差が別の画像の表示の際にも実現されるよう処理を施す視差制御部を更に含むことを特徴とする請求項 1に記載の装置。

3 . 前記別の画像は三次元デ一夕を起点として生成される立体画像であり、前記視差制御部は前記適正視差にしたがってその立体画像を生成する複数の視点を決定することを特徴とする請求項 2に記載の装置。

4 . 前記視差制御部は、前記複数の視点間の距離とそれらの視点からオブジェクトを見込む光軸の交差位置を決定することを特徴とする請求項 3に記載の装置

5 . 前記視差制御部は、表示の対象となる所定の基本三次元空間について前記適正視差が実現するよう制御することを特徴とする請求項 2〜4のいずれかに記

6 . 前記視差制御部は、三次元空間において最も近置されるオブジェクトの座標と最も遠置されるオブジェクトの座標について前記適正視差が実現するよう制御することを特徴とする請求項 2〜 4のいずれかに記載の装置。

7 . 前記別の画像はすでに視差が与えられている複数の二次元画像であり、前記視差制御部は前記適] t視差にしたがってそれら複数の二次元画像の水平方向のシフト量を定めることを特徴とする請求項 2に記載の装置。

8 . 前記別の画像はデブス情報が与えられている平面画像であり、前記視差制御部は前記適正視差にしたがってその平面画像のデプス情報を調整することを特徴とする請求項 2に記載の装置。

9 . 前記適正視差を記録する視差保持部を更に含み、前記視差制御部は、所定のタイミングにて前記適正視差を読み込み、その値を初期値として前記処理を施すことを特徴とする請求項 2〜 8のいずれかに記載の装置。

1 0 . 前記立体画像に含まれる所定のオブジェクトの指定をユーザより受け付けるオブジェクト指定部と、

指定されたォブジェクトの位置に、前記複数の視点画像それそれに関連づけられている光軸の交差位置を対応させるとともに、前記指定されたオブジェクトが、前記立体画像が表示される表示画面の位置付近に表現するように前記光軸の交差位置を設定する光軸交差位置設定部と、

を有することを特徴とする請求項 1〜 9のいずれかに記載の装置。

1 1 . 前記指定されたオブジェクトは所定の界面を有し、

前記光軸交差位置設定部は、前記界面上に前記光軸の交差位置を対応づけることを特徴とする請求項 1 0に記載の装置。

1 2 . 前記指定されたオブジェクトに対して、そのオブジェクトが前記光軸の交差位置と対応づけられ、かつ、前記オブジェクトが表示画面の位置付近に表現される旨が記述された光軸対応情報を、前記オブジェクトと関連づける指定情報付加部と、

を更に有することを特徴とする請求項 1 0または 1 1に記載の立体画像処理装

1 3 . 光軸交差位置設定部は、前記光軸対応情報を取得し、取得した光軸対応情報に記述されているオブジェクトに対して前記光軸の交差位置を対応させるとともに、前記光軸の交差位置が対応づけられたオブジェクトを、前記立体画像が表示される表示画面の位置付近に表現することを特徴とする請求項 1 2に記載の立体画像処理装置。

1 4 . 前記立体画像を生成する際に用いられる画像デ一夕に関連づけらており、前記立体画像に含まれるオブジェクトに、立体表示すべきオブジェクトが含まれる基本表現空間内に表現すべきか否かの情報が含まれる識別情報を取得する識別情報取得部と、

前記取得した識別情報をもとに、オブジェクトに視差量を反映させる視差制御部と、

を更に有することを特徴とする請求項 1〜 1 3のいずれかに記載の装置。

1 5 . 前記視差制御部は、更に、前記立体画像内に表現されるォブジェクトの幅と奥行きの比が人間の眼に正しく知覚される範囲の視差よりも、視差が大きくならないように制御することを特徴とする請求項 1〜 1 4のいずれかに記載の装

1 6 . 前記立体画像の起点となるオリジナルデータが入力された際に、複数の視点画像を生成するための複数の仮想カメラの配置を設定するカメラ配置設定部と、

前記仮想カメラそれそれに対応して生成される視点画像に、表示すべきォブジェクトの情報が存在しない領域が発生しているか否かを判定するォブジェクト領域判定部と、

表示すべきオブジェクトの情報が存在しない領域が発生している場合、ォブジェクトの情報が存在しない領域が無くなるように、前記仮想カメラの画角、カメラ間隔、および光軸の交差位置の少なくともいずれかを調整するカメラパラメ一夕調整部と、を更に有することを特徴とする請求項 1〜 1 5のいずれかに記載の装置。

1 7 . 前記立体画像が三次元データを起点に生成される場合、前記視差制御部は、前記立体画像を生成する際に、視差画像を生成するために設定されるカメラ配置に関するパラメ一夕が変更される場合、前記カメラパラメ一夕を前記パラメ一夕の変動に対して予め設けられている閾値に収まるよう制御することを特徴とする請求項 1〜 1 6のいずれかに記載の装置。 '

1 8 . 前記立体画像が、デプス情報が与えられた二次元動画像を起点として生成する際に、前記視差制御部は、前記二次元動画像の進行に伴い発生する、前記デプス情報に含まれるデブスの最大値もしくは最小値の変動が、予め設けられている閾値に収まるように制御することを特徴とする請求項 1〜 1 7のいずれかに記載の装置。

1 9 . 前記立体画像を、シーンを単位として分析する画像判定部を更に有することを特徴とする請求項 1〜 1 8のいずれかに記載の装置。

2 0 . 異なる視差による複数の立体画像をユーザに表示するステップと、表示された立体画像に対するユーザの Jfe答をもとにそのユーザに関する適正視差を特定するステップと、

を含むことを特徴とする立体画像処理方法。

2 1 . ユー i に依存する適正視差を取得するステップと、

取得した適正視差が実現されるよう、表示前に画像に処理を加えるステップとを含むことを特徴とする立体画像処理方法

2 2 . 前記の各ステップを立体表示用ライブラリの機能として実装し、複数のプログラムからこのライブラリの機能を関数として呼出可能に構成したことを特徴とする請求項 2 0または 2 1に記載の方法。

2 3 . 前記立体画像内に立体表示すべきオブジェクトが含まれる基本表現空間内に表現すべきオブジェクトの移動速度を、近置または遠置方向について変更するステップを更に含むことを特徴とする請求項 2 0〜2 2のいずれかに記載の方法。

2 4 . 立体表示すべきオブジェクトが含まれる基本表現空間内に表現すべきォブジェクトを所定の視差範囲内に収まるように表現しつつ、前記基本表現空間の最前面あるいは最後面の少なくとも一方の面をォブジェクトが存在しない位置に設定することで前記適正視差を調整するステップを更に含むことを特徴とする請求項 2 0〜2 3のいずれかに記載の方法。

2 5 . 異なる視差による複数の立体画像をユーザに表示するステップと、表示された立体画像に対するユーザの応答をもとにそのユーザに関する適正視差を特定するステップと、

をコンピュータに実行せしめることを特徴とするコンピュータプログラム。

2 6 . 立体画像を表示するための複数の視点画像間の視差を補正する視差制御部と、

前記視差制御部がその処理の際に参照すべき補正マップを保持するマップ保持部と、

を含み、前記補正マップは、前記視差が視点画像内の位置に基づいて補正されるよう記述きれていることを特徴とする立体画像処理装置。

2 7 . 前記視差制御部は、前記複数の視点画像の周辺部において視差を小さくし、または、オブジェクトがユーザからより遠くに感知されるよう前記視差を変化させることを特徴とする請求項 2 6に記載の装置。

2 8 . 前記視差制御部は、前記複数の視点画像のいずれかに選択的に処理を施すことによって前記視差を変化させることを特徴とする請求項 2 6または 2 7に

2 9 . 前記複数の視点画像は三次元デ一夕を起点として生成されるものであり、前記視差制御部は前記複数の視点画像の生成にあたって、カメラパラメ一夕を制御して前記視差を変化させることを特徴とする請求項 2 6〜2 8のいずれかに

3 0 . 前記複数の視点画像は三次元データを起点として生成されるものであり、前記視差制御部は前記複数の視点画像の生成にあたって、三次元空間自体を歪ませることにより前記視差を変化させることを特徴とする請求項 2 6または 2 7 に記載の装置。

3 1 . 前記複数の視点画像は、デプス情報が与えられている平面画像から生成されるものであり、前記視差制御部はそのデプス情報を操作することによって前記視差を変化させることを特徴とする請求項 2 6または 2 7に記載の装置。

3 2 . 立体画像を表示するための複数の視点画像を取得するステップと、取得された前記複数の視点画像間の視差をそれら視点画像内の位置に基づいて変化させるステップと、

を含むことを特徴とする立体画像処理方法。

3 3 . 前記の各ステップを立体表示用ライブラリの機能として実装し、複数のプログラムからこのライブラリの機能を関数として呼出可能に構成したことを特徴とする請求項 3 2に記載の方法。

3 4 . 立体画像を表示するための複数の視点画像を取得するステップと、取得された前記複数の視点画像間の視差をそれら視点画像内の位置に基づいて変化させるステップと、

3 5 . 第 1の表示装置にて取得されたユーザの適正視差を第 2の表示装置に読み込むステップと、

第 2の表示装置にて前記適正視差にしたがって視差画像の視差を調整するステヅプと、

第 2の表示装置から調整後の視差画像を出力するステップと、

を含むことを特徴とする立体画像処理方法。

3 6 . 前記第 1の表示装置のハードウエアに関する情報を前記第 2の表示装置に読み込むステップと、

読み込んだ前記第 1の表示装置のハ一ドウエアに関する情報および前記第 2の表示装置のハードウェアに関する情報をもとに、前記視差画像の視差を調整するステップで視差が調整された視差画像を、前記第 2の表示装置にて前記適正視差にしたがって視差を補正するステヅプと、

を更に含むことを特徴とする請求項 3 5に記載の立体画像処理方法。

3 7 . 前記ハードゥヱァに関する情報は、表示画面の大きさを含むことを特徴とする請求項 3 6に記載の立体画像処理方法。 '

3 8 . 前記ハードウェアに関する情報は、前記表示装置の最適観察距離を含むことを特徴とする請求項 3 6または 3 7に記載の立体画像表示方法。

3 9 . 前記ハードウェアに関する情報は、表示装置の画像分離性能に関する情報を含むことを特徴とする請求項 3 6から 3 9のいずれかに記載の立体画像表示方法。

4 0 . ネットワークを介して接続された第 1の表示装置、第 2の表示装置およびサーバを含み、

第 1の表示装置は、当該装置にて取得されたユーザの適正視差情報をサーバに送信し、

サーバは適正視差情報を受信してこれをュ一ザと関連づけて記録し、ユーザが第 2の表示装置にて画像デ一夕の出力を要求したとき、当該装置はサ —バからそのユーザの適正視差情報を読み出して視差を調整したのち視差画像を出力することを特徴とする立体画像処理装置。

4 1 . 視差画像を立体表示するための適正視差をいつたん表示装置のハードウェァに依存しない表現形式へ変換し、この表現形式による適正視差を異なる表示装置間で流通することを特徴とする立体画像処理方法。'

4 2 . 複数の視点画像から表示された立体画像に対するユーザの指示を取得する指示取得部と、

取得された指示にしたがい、前記複数の視点画像間の視差量を変化させる視差制御部と、

を含むことを特徴とする立体画像処理装置。

4 3 . 複数の視点画像から立体画像を表示するときに生じる第 1の視差量を検出する視差量検出部と、

第 1の視差量が、ユーザの許容視差量である第 2の視差量の範囲に入るよう前記複数の視点画像間の視差量を変化させる視差制御部と、

を含むことを特徴とする立体画像処理装置。

4 4 . 前記視差量検出部は前記第 1の視差量の最大値を検出し、前記視差制御部は、その最大値が前記第 2の視差量の最大値を超えないよう前記複数の視点画像間の視差量を変化させることを特徴とする請求項 4 3に記載の装置。

4 5 . 前記視差量検出部は、前記複数の視点画像間で対応点マツチングを計算することにより前記第 1の視差量を検出することを特徴とする請求項 4 3または. 4 4に記載の装置。

4 6 . 前記視差量検出部は、前記複数の視点画像のいずれかのヘッダに予め記録された前記第 1の視差量を検出して読み出すことを特徴とする請求項 4 3〜 4 5のいずれかに記載の装置。

4 7 . 前記視差制御部は、前記複数の視点画像の合成位置をシフトすることにより前記複数の視点画像間の視差量を変化させることを特徴とする請求項 4 2〜 6のいずれかに記載の装置。

4 8 . 最終的に確定した合成位置を所定の記録エリアへ書き込む視差量書込部を更に含むことを特徴とする請求項 4 7に記載の装置。

4 9 . 前記記録エリアは前記複数の視点画像のいずれかのヘッダであることを特徴とする請求項 4 8に記載の装置。

5 0 . 前記視差制御部は、前記複数の視点画像を生成する基礎になったデプス情報を調整することにより前記複数の視点画像間の視差量を変化させることを特徴とする請求項 4 2〜4 4のいずれかに記載の装置。

5 1 . 前記複数の視点画像間の視差量を変化させたとき、前記立体画像を表示させると生じうる画素の欠落を軽減する画像端調整部を更に含むことを特徴とする請求項 4 2〜5 0のいずれかに記載の装置。

5 2 . 複数の視点画像をもとに表示された立体画像に対するュ一ザの指示を取得するステップと、その指示にしたがい、前記複数の視点画像間の視差量を変化させるステップとを含むことを特徴とする立体画像処理方法。

5 5 3 . 複数の視点画像から立体画像を表示するときに生じる第 1の視差量を検出するステップと、

第 1の視差量が、ユーザの許容視差量である第 2の視差量の範囲に入るよう前記複数の視点画像間の視差量を変化させるステヅプと、

を含むことを特徴とする立体画像処理方法。

0

5 4 . 前記の各ステップを立体表示用ライブラリの機能として実装し、複数のプログラムからこのライブラリの機能を関数として呼出可能に構成したことを特徴とする請求項 5 2または 5 3に記載の方法。 5 5 5 . 複数の視点画像をもとに表示された立体画像に対するユーザの指示を取得するステップと、

その指示にしたがい、前記複数の視点画像間の視差量を変化させるステップとをコンピュータに実行せしめることを特徴とするコンピュータプログラム。 0

, 5 6 . 立体画像表示に必要な情報をメモリ上に保持し、その保持された情報を複数の異なるプログラム間で共有し、それらのプログラムのいずれかが立体画像を表示する際、前記保持された情報を参照して出力されべき画像の状態を決定することを特徴とする立体 ®像処理方法。

5

5 7 . 前記保持された情報は、立体画像表示装置に入力される画像のフォーマット、立体画像の表示順序、立体画像の視差量のいずれかの情報を含むことを特徴とする請求項 5 6に記載の方法。

5 8 . 前記保持された情報の共有に加え、立体画像表示固有の処理を前記複数のプログラムで共有することを特徴とする請求項 5 6または 5 7に記載の方法。 5 9 . 前記立体画像表示固有の処理は、前記保持された情報を決定するための処理であることを特徴とする請求項 5 8に記載の方法。

6 0 . 前記立体画像表示固有の処理は、立体表示における適正視差を決定するためのグラフィカルユーザィン夕フェイスに関する処理、適正視差状態の実現を支援する視差調整用画面の表示処理、ユーザの頭位置を検出して追跡する処理、立体表示装置を調整するための画像を表示する処理のいずれかを含むことを特徴とする請求項 5 8に記載の方法。

6 1 . 立体表示画像の立体感を調整するためのグラフィカルュ一ザイン夕フエイスをユーザに提供する立体感調整部と、

ユーザによる立体感の調整の結果判明する限界視差を守る形で視差画像を生成する視差制御部と、

を含むことを特徴とする立体画像処理装置。 6 2 . 立体画像表示を適正化するために参照すべき情報を取得する情報検出部と、

取得された情報にしたがって前記視差制御部で生成された視差画像のフォーマットを変換する変換部と、

を更に含むことを特徴とする請求項 6 1に記載の装置。

6 3 . 前記情報検出部は、視差画像の視点数、視差画像の並び方、立体表示の方式、ュ一ザの頭位置の追跡情報のいずれかを取得することを特徴とする請求項 6 2に記載の装置。

6 4 . 前記視差制御部は、三次元デ一夕に基づき、カメラパラメ一夕を制御して、前記限界視差を守りつつ前記視差画像を生成することを特徴とする請求項 6 1〜 6 3のいずれかに記載の装置。

6 5 . 前記視差制御部は、デプス情報が与えられている平面画像を入力し、そのデプス情報を制御して前記視差画像を生成することを特徴とする請求項 6 1〜 6 3のいずれかに記載の装置。' 6 6 . 前記視差制御部は、予め視差の与えられた複数の二次元画像を入力し、それら複数の二次元画像の水平方向のシフト量を定め、前記視差画像を生成することを特徴とする請求項 6 1〜6 3のいずれかに記載の装置。

6 7 . 立体画像の表示に影響するパラメ一夕をグラフィカルユーザィン夕フエイスを利用して特定する機能と、特定したパラメ一夕にしたがって視差画像を生成する機能とを複数のプログラムから関数の形で呼出可能に構成したことを特徴とするコンピュータプログラム。

6 8 . 立体表示画像の立体感を調整するためのグラフィカルユーザィン夕フエイスをユーザに提供するステップと、

ユーザによる立体感の調整の結果判明する限界視差を守る形で視差画像を生成するステップと、