WO2004019621A1

WO2004019621A1 - 立体視用画像を作成する方法および装置

Info

Publication number: WO2004019621A1
Application number: PCT/JP2003/010499
Authority: WO
Inventors: Kazunari Era
Original assignee: Kazunari Era
Priority date: 2002-08-20
Filing date: 2003-08-20
Publication date: 2004-03-04
Also published as: KR20050050094A; KR100659206B1; CN1675937A; EP1551190A1; EP1551190A4; JP4061305B2; JPWO2004019621A1; AU2003257611A1; US7558420B2; CA2496353A1; CA2496353C; EP1551190B1; US20050254702A1; CN1675937B

Abstract

立体視画像形成装置１は、二次元画像データのグレースケール値に基づいて奥行き値（Ｚ値）を算出する。そして、このＺ値に対し、逆転判定処理、平滑化処理、分布補正処理、および局所補正処理等を施す。そして、求めたＺ値に基づいて視差を決定し、この視差に応じた分だけ各画素を移動させる処理を行うことにより、立体視画像データを生成する。

Description

明細書立体視用画像を作成する方法および装置

技術分野本発明は、二次元画像データから立体視用画像データを作成する方法および装置に関する。背景技術人間は、視覚を通じて、三次元空間内の立体物を立体的に捉える、いわゆる立体視をすることができる。この立体視のプロセスにおいて、人間の脳は、左右それぞれの目で見た映像に基づいて、立体を認識する。従って、立体視を行うためには左目用と右目用の一組の画像が必要である。

一方、二次元画像にある加工を施すことによって、平面的な画像を立体的な画像として鑑賞者に認識させるいわゆる「立体視」という技術がある。そして、この「立体視」の技術の中には、一枚の画像のデータを加工して、左目用と右目用の 2つの画像デー夕を作成する技術がある。具体的には、まず画像の中の物体（被写体）に対する両眼の視差を算出し、次に、この視差に応じて元の画像データの画素の位置を左右にずらすことにより左目用画像および右目目画像を生成するという処理が行われる。

この視差を算出する方法としては、物体の彩度、明度あるいは色彩のいずれかに基づいて、実際の物体がどの位奥（または手前）に位置しているのかを表す奥行き値（以下では Z値という）を算出し、この値を視差とみなすものがある。例えば、特開 2 0 0 2— 1 2 3 8 4 2号には、元の画像の彩度および明度に基づいて Z値を決定する方法が開示されている。具体的には、まず画像データの彩度に基づいて、画素毎に Z値を算出する。加えて、画像データの明度に基づいて静止画像に含まれ ¾物体の輪郭線を抽出する。そして、抽出した物体に含まれる画素全ての Z値の平均値を算出し、これを当該物体の Z値とする。この Z値に基づいて視差が決定される。更に、立体感を向上させるため、物体周縁（エッジ）の画素の彩度を変更することにより、当該物体のエッジを「ぼかす」処理が行われる。この技術は、景色は一般に遠い方ほど淡く（彩度が低下し）、近い方ほど色が鋭く（彩度が高く）なる傾向があるという経験則を利用している。すなわち、遠景では空気中の塵などにより彩度が低下し、物体のエッジ（輪郭線）が細く、ぼやける。一方、近景では彩度が高くなる物体の数が多くなり、物体のエッジは太く、くっきりと見える。

しかしながら、例えば、暗い森の中から遠くの明るい空が見えるような構図の画像は上記の経験則に当てはまらず、従って、得られた Z値は実際の物体の奥行きを正しく反映していない。すなわち、正しい視差が得られず、得られた立体視画像は不自然なものとなる

さらに、物体の一部にハイライトもしくは影が形成されている場合、換言すれば、物体における彩度の変化が著しい場合も、正しい Z値を算出することができない。このような場合、得られた立体視画像は、その物体の一部だけが局所的に飛び出して（または引っ込んで）見えてしまうのである。さらにこの場合は、物体のエッジを正確に抽出することができないため、上述したぼかし処理を行っても立体感の向上に寄与しない。

また、ハイライト部分では算出される Z値は大きい値をとるため、結果的にその部分の視差が大きく見積もられる。その結果、立体視用画像を作成する際に、元の画像において隣り合った画素が異なる方向に移動される場合が生じる。これは画素クロス現象と呼ばれるものであり、これにより画像の歪みが引き起こされ、作成される立体画像の質は鑑賞に堪えられないほど劣化する。特に、複数の物体が重なり合う場所では上記の問題が顕著となり、画像の乱れが生じやすく、自然な立体感が得られる立体視用画像を生成することが一層困難となる。

このように、従来の技術では、立体視用画像を生成するために画像データから適切な Z値を算出することができず、したがって現実感のある立体視用画像を生成することは困難であった。 ' 発明の開示本発明はかかる実情に鑑みてなされたものであり、二次元画像データから、自然な立体視が得られる立体視用画像データを作成する方法、および当該方法を用いた立体視画像データ作成装置を提供することを目的とする。 ·

出願人は、人間が強く立体感を感ずるのにはどのような条件が必要なのかを研究し、この研究の結果、本発明を想到するに至った。

本発明の立体視用画像作成方法は、画像を構成する複数の画素の画像データに基づいて、各画素に対応する被写体の奥行きを表す奥行き値を算出する算出ステップと、前記算出ステップにおいて算出された各画素に対応する奥行き値を、当該画素以外の画素に対応する奥行き値を用いて修正する修正ステップと、各画素の修正後の奥行き値に基づいて各画素の画素移動量を決定し、前記像を構成する各画素を決定された移動量の分だけ左右にずらすことにより、右目用画像と左目用画像とを作成する作成ステップとを有することを特徴とする。このように Z値の修正を行うことで、自然な立体感が得られる立体視用画像が生成される。

好ましい態様において、前記算出ステップにおいては、画像データの色成分の各々に所定の係数を乗じることにより奥行き値を算出する。また、前記所定の係数は、人間の網膜に存在する赤錐体、緑錐体、および青錐体の数の割合に等しいことが好ましい。

また、前記修正ステップにおいては、原画像の構図上で手前に位置する被写体を表す画像を構成する画素の奥行き値よりも、原画像の構図上で手前に位置する被写体を表す画像を構成する画素の奥行き値の方が大きくなるように、前記各画素の奥行き値を補正してもよい。

また、前記修正ステップにおいては、当該画素を含む領域に含まれる画素の奥行き値の平均値を算出し、当該画素の奥行き値を当該平均値に置き換えてもよい。また、前記画像における奥行き値の分布および全画素の奥行き値の平均値を算出し、該算出した平均値を用いて当該分布の偏りを補正してもよい。また、前記算出された奥行き値を参照して、前記画像デ一夕によって表される画像中の少なくとも一つ以上の被写体の画像を特定し、該被写体に対応する領域内の画素の奥行き値に基づいて当該画素の奥行き値を修正してもよい。また、ユーザによって指定されるパラメ一タ値を用いて、奥行き値の量子化ステップ、算出された奥行き値のとり得る値の上限値、またはその下限値のいずれか一つを決定してもよい。

また、前記修正ステップにおいて、一の領域に含まれる画素の奥行き値と他の領域に含まれる画素の奥行き値とを比較することにより、前記画像における奥行き値の変化傾向を解析し、得られた解析結果が所定のものである場合、前記作成ステップにおいて、前記奥行き値と前記画素移動量との大小関係を逆転させる。

また、好ましい態様において、複数の画像から構成される動画像を取得するステップと、前記取得した画像の各々から立体視画像を作成するステップを更に有することにより、前記動画像に対応する立体視画像をリアルタイムに作成することとしてもよい。

また、本発明に係る立体視画像作成装置は、画像を構成する複数の画素の画像データに基づいて、各画素に対応する被写体の奥行きを表す奥行き値を算出する算出手段と、前記算出ステップにおいて算出された各画素に対応する奥行き値を、当該画素以外の画素に対応する奥行き値を用いて修正する修正手段と、各画素の修正後の奥行き値に基づいて各画素の画素移動量を決定し、前記画像を構成する各画素を決定された移動量の分だけ左右にずらすごとにより、.右目用画像と左目用画像とを作成する作成手段とを有することを特徴とする。さらに、前記修正手段において用いられる各種パラメ一夕をユーザから取得する取得手段を更に備えてもよい。

また、本発明は、上述した立体視用画像作成装置としてコンピュータを機能させるためのプログラムを提供する。このプログラムは、例えば、各種記録媒体に格納されて、またはネットワークを介して、該コンピュータにインスト一ルされる。図面の簡単な説明図 1は、本発明の第 1実施形態にかかる立体視画像形成装置の一例を示す機能ブ口ック図である。

図 2は、立体視画像表示アプリケーションの表示画面の一例を示す概略図である。図 3は、設定ダイアログパネルの一例を示す概略図である。

図 4は、本発明の第 1実施形態における立体視表示機構を説明するための概略図である。

図 5は、本発明の第 1実施形態における立体視表示機構を説明するための概略図である。

図 6は、立体視メガネを示す図である。

図 7は、立体視表示モードが選択された場合に行われる画像処理を示すフローチヤー卜である。

図 8は、画像データの構造を説明するための概略図である。

図 9は、ダレ一スケール補正処理を示すフローチャートである。

図 1 0は、グレースケール補正処理を示すフロ一チャートである（続き）。

図 1 1は、グレースケール補正処理を示すフローチャートである（続き）。

図 1 2は、逆転判定処理において用いられるサンプリング領域および重み係数を示す図である。

図 1 3は、逆転判定処理を示すフローチャートである。

図 1 4は、逆転判定処理を示すフローチャートである（続き）。

図 1 5は、平滑化処理において用いられるマトリクス領域 MMを示す図である。図 1 6は、平滑化処理を示すフローチャートである。

図 1 7は、分布補正処理を説明するための模式図である。

図 1 8は、分布補正処理を示すフローチャートである。

図 1 9は、分布補正処理を示すフローチャートである（続き）。

図 2 0は、局所補正処理で適用する被写体の Z値分布を示す図である。

図 2 1は、局所補正処理を示したフローチャートである。

図 2 2は、局所補正処理の一過程である等高線算出処理を示すフローチャートである。

図 2 3は、局所補正処理の一過程である等高線算出処理を説明するための図である。

図 2 4は、局所補正処理の一過程である等高線算出処理を示すフローチヤ一トである（続き）。

図 2 5は、局所補正処理の一過程である被写体中心特定処理を示すフローチヤ一トである。

図 2 6は、局所補正処理の一過程である被写体中心特定処理を示すフローチヤ一トである（続き）。

図 2 7は、局所補正処理の一過程である被写体中心特定処理を示すフローチヤ一トである（続き）。

図 2 8は、局所補正処理の一過程である交点算出処理を示すフローチャートである。

図 2 9は、局所補正処理の一過程である面内 Z値算出処理を示すフローチャートである。

図 3 0は、局所補正処理の一過程である面内修正値算出処理を示すフローチヤ一卜である。

図 3 1は、局所補正処理の一過程である Z値補正処理を示すフローチャートである。

図 3 2は、画素移動処理を示すフローチャートである。

図 3 3は、画素移動処理を示すフローチャートである.（続き）。

図 3 4は、画素移動処理を示すフローチャートである（続き）。

図 3 5は、本発明の変形例における強調処理を説明するための図である。

図 3 6は、本発明の変形例における画像処理を示すフローチャートである。図 3 7は、本発明の変形例における強調処理を示すフローチャートである。図 3 8は、本発明の変形例における立体視画像の表示方式を示す概略図である。 '図 3 9は、本発明の変形例における立体視画像の表示方式を示す概略図である。図 4 0は、本発明の変形例における立体視画像の表示方式を示す概略図である。図 4 1は、本発明の変形例における立体視画像の表示方式を示す概略図である。図 4 2は、本発明の変形例における画素移動処理を示すフローチャートである。図 4 3は、本発明の第 2実施形態における携帯端末 1 Aの機能構成を説明するためのブロック図である。

図 4 4は、携帯端末 1 Aの外観図である。

図 4 5は、表示部 2 1 bの構成を示す概略図である。

図 4 6は、裸眼立体視の原理を説明すための図である。

図 4 7は、携帯端末 1 Aにおいて、静止画を表示する際に行われる処理を示すフローチャー卜である。

図 4 8は、携帯端末 1 Aにおいて、動画を表示する際に行われる処理を示すフロ一チャートである。

図 4 9は、本発明の第三実施形態に係る立体視画像形成装置 1 Bの機能構成の一例を示すブロック図である。

図 5 0は、立体視画像形成装置 1 Bにおける動画を表示する際の処理を示すフロ一チャートである。

図 5 1は、本発明の一応用例である運転シミュレータ 4 0の機能構成を示すプロック図である。発明を実施するための最良の形態以下、添付図面を参照しながら、本発明の実施の形態を詳細に説明する。 <第 1実施形態 >

ぐ A. 装置の構成 >

図 1は、本発明の第 1実施形態にかかる立体視画像形成装置 1を示す。

同図において、 C P U (中央処理装置） 1 1は、この立体視画像形成装置 1の各部の動作を制御し、立体視用画像データ作成処理などの各種処理を実行する。 R O M (リード ·オンリ ·メモリ） 1 2は、起動時などに実行されるプログラムや参照データなどを格納する。 R AM (ランダム ' アクセス ' メモリ） 1 3は、 C P U 1 1のワークエリァなどを実現するためのものである。

キャラクタジェネレータ 1 4は、図形文字の表示データ（フォントデータ）を発生する。時計回路 1 5は現在時刻を出力する。インタフェース 1 6は、立体視画像形成装置 1をインターネット（図示略）へ接続するためのものである。伝送制御部 1 7は、インタフェース 1 6を介し、インターネッ卜に接続された端末と' の間でデータの授受を行う。

磁気ディスク装置 1 8は、立体視画像形成装置 1で実行される各種処理やオペレーティングシステムなどのプログラムデータを記憶するとともに、各種処理により作成される各種データなどを記憶する記憶装置である。 C D— R 0 Mドライブ 1 9は、 CD—： ROM 2 0に記憶されている画像データを読み出すためのものである。表示部 2 1は、例えば CRTや L CDであり、表示制御部 2 2の制御の下、画像を表示する。

キーポード 2 3はフルキー配列のキーボードであり、ユーザはキーポ一ド 2 3 を用いて指示を入力する。画面指示装置 24は、夕ッチパネル等の入力デバィスであり、ユーザは夕ツチパネルを押圧することにより各種指示を入力する。入力制御部 2 5は、キーポード 2 3および画面指示装置 24から入力された指示を取り込み C PU 1 1へ出力する。

CPU 1 1、 ROM 1 2 , RAM I 3、キャラクタジェネレータ 1 4、時計回路 1 5、伝送制御部 1 7、磁気ディスク装置 1 8、 CD— ROMドライブ 1 9、表示制御部 2 2、および、入力制御部 2 5は、内部バス 2 6に接続されている。これらの各種要素間のデータのやりとりは、この内部バス 26を介して行われる _c 立体視用画像データを作成するにあたり、 CPU 1 1によって、例えば ROM 1 2内の立体視画像表示用のアプリケーションが実行される。当該アプリケーションが実行されたときに表示部 2 1に表示される画面の一例を図 2に示す。

同図に示すように、アプリケーション実行時に表示される画面は、メイン画面 MDとメニュー項目が配列されるメニューバー MBとからなる。メイン画面 MD には、ユーザが選択した動画が表示される。

また、メニューバー MBには、項目 M I 1〜M I 1 0が表示される。項目 M I 1は、ユーザが処理対象となる動画データの選択等を行うための「ファイルメニユー」を選択するためのものである。項目 M l 2は、立体視画像の表示設定を行うためのものである。項目 M I 3は、立体視画像データを記録する際に選択操作するためのものである。項目 M I 4は、この立体視画像表示アプリケーションを終了させる操作を行うためのものである。項目 M I 5は、メイン画面 MDに表示している動画の再生操作を行うためのものである。項目 M I 6は、メイン画面 M Dに表示している動画の停止操作をおこなうためのものである。項目 M l 7は、メイン画面 MDに表示している動画の一時停止操作を行うためのものである。項目 M I 8は、メイン画面 MDに表示する動画の表示モードを通常モード（2 D) であるかあるいは立体視モード（3D) であるのかを表示すると同時に、その表示モードの切換を指定するための操作を行うためのものである。具体的には、ユーザが項目 M l 8をクリックするたびに通常モード（2 Dモード）と立体視モ —ド（3Dモード）が切換るトグル動作が行われる。図 2の上側の図は 2Dモード時の表示画面であり.、下側の図は 3 Dモード時の画面である。

項目 M I 9は、立体視表示モードの種類（Od d_ e v e nモード /余色モード）の選択を行うためのものである。なお、本実施形態においては 2つのモードのみが選択可能であるが、これに限らず、他の合成方法に適合したモードを設定することも可能である。具体的には、立体視画像を合成するに当たり、左右両眼の 2視点に対応する 2つの画像を使用する方法以外に、 4視点に対応する 4つの画像を用いる方法や、 8視点および 9視点にそれぞれ対応する 8画像および 9画像を用いる合成方法のモードをユーザに選択できるようにする。

項目 M I 10は、合成方法を指定するものであって、立体世界が画面から奥に引っ込んで見える（F 1モード）のか、飛び出して見える（F 2モード）のかを切換える操作を行うためのものである。図 2では両画面とも F 1モ一ドとなっているから、ユーザには立体世界が奥に引っ込んでいるように見えることになる。図 3は、ユーザが項目 M l 2を操作した場合に表示部 2 1に表示される設定ダィァログパネルの一例を示している。同図に示すように、この設定ダイアログパネルは、上部にタイトルバ一 BRが表示され、そのタイトルバ一には、この設定ダイァログパネルを閉じるためのクローズボックス B Cが配置されている。

また、設定ダイアログパネルは、スライダバ一 I S 1、 I S 2、入力窓 I B 1、 I B 2、 I B 3、 I B 4、入力ボックス I B 5および I B 6、およびポタン BM 2および BM 3が配置されている。ュ一ザは、スライダバー I S Iを操作し、「ィン夕フェース深度」の値を指定することができる。入力窓 I B 1には指定されているィンタフェース深度の値が表示される。あるいは、入力窓 I B 1に直接数値を入力することも可能である。

ここで、「インタフェース深度」とは、ユーザに、表示画面に対し立体視世界全体がどの程度引っ込んで（または飛び出して）知覚されるかを示すパラメータである。この値が大きいほど、立体視世界全体が画面からより飛び出して（または引っ込んで）いるように知覚される。また、例えば、画素を左目画像について視差分を左に移動し右目画像について右に移動して表示された立体視画像が表示画面から内部に引っ込んで見えるとすれば、画素移動方向を反対にすることで、立体視画像は表示画面から飛び出して見えることになる。

ユーザは、スライダバー I S 2を操作し、「起伏度」の値を指定することができる。入力窓 I B 2には指定されている起伏度の値が表示される。あるいは、入力窓 I B 2に直接数値を入力してもよい。ここで「起伏度」とは、立体視世界の起伏度、換言すれば、立体視世界の最低奥行きから最高奥行きまでの深さを示す。すなわち、この値が大きいほど立体視世界内の起伏が強調され、逆にこの値が小さいと、立体視世界全体がのつベりとしたように知覚される。

' ユーザは、被写体深度の上限値および下限値をそれぞれ入力窓 I B 3および I B 4に入力することができる。ここで「被写体深度」とは、画像に含まれる被写体毎に割り当てられる量であって、画面に対してその被写体がどの程度奥に引つ込んでいるか（または飛び出しているか）を示すパラメータである。操作ボタン B M 1は被写体深度の上限値および下限値をデフオルト値に設定するためのものである。

ユーザは、入力ボックス I B 5または I B 6のいずれか一方をチェックすることにより開始ラインを奇数ラインとするか偶数ラインとするかを指定することができる。ポタン B M 2が操作されると、現在の設定内容が確定し、ポタン B M 3が操作されると、現在の設定内容が破棄され以前に設定した内容が有効となる _c このようにして設定されたパラメ一夕値は後述する画像処理において用いられる。

一組の画像を用いて立体視を実現させる手法は種々あるが、本実施形態においては O d d— E v e n方式を採用する。すなわち、表示部 2 1の画面に偏光ストライプフィルタを貼り付け、ュ一ザは偏光メガネを装着して表示画面を見ることにより、立体的な画像がユーザに知覚されるのである。

具体的には、まず、図 4に示すように、表示部 21の表示画面を構成する各水平走査線のうち偶数ライン S L 0 , S L 2 , · · ·に、左目用の偏光ストライプフィルタ FL 0， FL 2, · · ·を、それぞれに対応する幅と間隔で貼り付ける。一方、表示画面の奇数ライン SL 1, SL 3, · · ·には、右目用の偏光ストライブフィル夕 FL 1 , FL 3, · · ·を、それぞれに対応する幅と間隔で貼り付ける。そして、図 5に示すように、立体視用画像データのうちの左目用画像デー夕を表示部 2 1の偶数ライン S L 0 , S L 2， · · ·に表示するとともに、右目用画像データを表示部 2 1の奇数ライン S L 1 , SL 3, · · ·に表示する。ここで左目用の偏光ストライプフィルタ FL 0, FL 2 , · · 'と右目用の偏光ストライプフィルタ FL 1， F L 3 , · · ·とは、その偏光方向が直交している。一方、図 6に示す偏光メガネ GSにおいては、左目に対応してフィルタ F_left が、右目に対応してフィル夕 F_rightが配設される。ここで、 F_leIlおよび F_righlの偏光方向は、それぞれ左目用の偏光ス卜ライプフィルタおよび右目用の偏光ストライプフィル夕と平行である。

ユーザは、偏光メガネ GSを装着してこの表示部 2 1の表示画面を見ると、表示部 21の偶数ライン SL 0, S L 2 , · · ·の表示内容は偏光ストライプフィルタ FL O, FL 2， · · ·を通過するので、左目に対応して配設されたフィルタ ₁₆₁₁を透過して左目に到達するが、右目に対応して配設されたフィルタ F_Mghl によって遮断されるため右目には到達しない。一方、表示部 21の奇数ライン S L 1 , S L 3 , . · ·の表示内容は偏光ストライプフィル夕 F L 1 , F L 3 , · · · を通過するので、フィルタ FL rを透過して右目に到達するが、フィルタ FL f によって遮断されるので左眼には到達しない。このようにして、ユーザの左目では左目用画像が、右目では右目用画像がそれぞれ感知されるので、ユーザは表示画像を立体的に知覚することができるのである。

<B. 画像処理 >

図 7は、ユーザが所定の操作を行い、立体視画像表示アプリケーションが起動され立体視表示モードが選択された場合に、立体視画像形成装置 1が行う画像処理の流れの概略を示すものである。

まず、 CPU 1 1は、カラー動画データの 1フレーム分のデータを読み出し（ステツプ S 10 1 ) 、そのデータが RGBフォーマツトのものであるかどうかを調ベる（ステップ S 1 0 2) 。 RGB以外のフォーマットであった場合、読み込んだ 1フレーム分のカラ一画像デ一夕を、 RGBフォーマツトのカラー画像デ一夕へ変換する（ステップ S 103) 。ここで、カラー動画データのフォ一マツトは任意である。また、当該動画データは圧縮されていてもよい。この場合、ステップ S 10 1の前に、当該データを復号化する処理を設ければよい。また、カラ一動画データの 1画素あたりの色深度（ビット深度）としては、 16ビット、 2 4ビット、または、 3 2ビットのいずれかのものを適用することができる。また、このカラー動画デ一夕は、磁気ディスク装置 1 8や CD— ROM20に保存されているものであってもよい。あるいは、 DVD等の映像再生機器とケーブル接続することにより画像データを入力してもよい。または、デジタルカメラやビデオ等の撮像機器から入力されてもよい。または、受像器と接続することにより、受信した衛星放送や有線放送の画像データを入力することとしてもよい。'または、ィンタ一ネット上のサーバからダウンロードしたものであってもよい。

次に、 CPU 1 1は、読み出した 1フレーム分のカラ一画像データについて、それぞれの画素について、画像データ値（R、 G、 B値）に基づきグレースケール値を算出し、これを Z値に設定するグレースケール補正処理（ステップ S 1 0 4) を行う。

このようにして各画素の Z値を決定すると、逆転判定処理（ステップ S 1 05)、平滑化（ステップ S 1 06) 、分布補正（ステップ S 107) 、局所補正（ステップ S 108、 S 1 09) を行い、 Z値を補正してゆく。最後に、このようにして得られた補正後の Z値に基づいて画素移動量を算出し、画素をずらすことにより立体視画像を作成するのである（ステップ S 1 10) 。以下、各処理を詳細に説明する。

なお、以下の説明において、式の構文ゃデ一夕型等の記述方法は、 C言語またはそれの拡張言語（C + +言語等）の記述方法に準拠するものとする。また、上述したように、本実施形態では、色彩深度として 1 6ビット、 24ピット、および、 32ビットのいずれかの RGBフォーマツトのカラー画像データを用いるものとする。図 8に示すように、各画素における色深度が 1 6ビッ卜のカラー画像デ一夕は、 Rデータが 5ビット、 Gデータが 6ビット、および、 Bデータが 5ビットのデータ構成を持つ。色深度が 24ビッ卜のデータの場合は、 Rデータ、 G デ一夕、 Bデータは、それぞれ 8ビット、 8ピット、 8ビットのデータ構成を持つ。また、色彩深度が 32ビッ卜の場合は、 24ビッ卜のカラ一画像データの先頭に 8ビッ卜のダミーデータを付加したデータ構成を持つ。

<B- 1. グレースケール補正処理 >

図 9、図 1 0、および図 1 1を用いて、ダレ一スケール補正処理（図 7、ステップ S 1 04) の詳細を説明する。

このグレースケール補正処理においては、原画像データの R値、 G値、および、 B値をそのまま Z値とするのではなく、まず、 R値、 G値、および、 B値に対し、重み付けを行う。具体的には、以下の式（1) に示すように、それぞれの画素の表示色のうち赤色成分（R) 、緑色成分（G) および青色成分（B) のそれぞれに所定の重み付けを行ってグレースケール値を取得する。

Z = 0. 3 XR+ 0. 59 XG+ 0. 1 1 X B (1)

画像データの色深度が 16ピットの場合には、一つの画素のグレースケール値のとり得る範囲は、 0〜3 1であり、 24ビットおよび 32ビットの場合は、ともに 0〜 25 5となる。

なお、この重み付け係数（30%、 59 %、 1 1 %) は、人間の網膜に存在する赤錐体、緑錐体、および、青錐体の数の割合に基づいたものである。これ以外の重み付け係数も採用することは可能であるが、上記係数を用いて算出したダレ一スケール値に基づいて立体視用画像を生成すると、最も自然な立体感を出すことができる。

次に、重み付け係数を用いたグレースケールの値を補正する。このグレースケ —ルの 1階調を 1単位の深度として使用すると、原画像の構図上で手前に位置する 1階調と奥に位置する 1階調とが、同じ単位の深度（同じ奥行き距離）を表現することになり、画素本来の奥行き値の表現に不正確が生じる。そこで、原画像の構図上で手前に位置する階調の値 (グレースケール値) よりも奥に位置する階調の値（グレースケール値）ほど、より大きい値の深度（奥行き距離）を表現する必要がある。その方法として、重み付け係数を用いて取得したダレ一スケールの階調の値を数列 a _n (n= l、 2、 3、 · · ，）とみなし、以下の数式（2) に示す等差数列あるいは以下の数式（3) に示す等比数列を用いて、原画像の構図上で手前に位置する階調から奥に位置する階調ほど、より大きな単位の深度 (奥行き距離）を与えて得られる値を当該画素の Z値とする。

a _n= a+ (n - 1) *d (2)

a _n= a * r ⁿ— ¹ ( 3 )

ただし、 nは正の整数、 aは初項であって、補正量を表すパラメータである公差 dおよび公比 rは、原画像の特徴に応じて好適な値を設定することができる。以下、 * s r cは原画像データ s r cが格納された領域（ァドレス）を示すポインタ、 WDは元の画像の横方向の画素数、 HTは元画像の縦方向の画素数、 * z i n f oは算出した Z値を格納する領域を示すボインタを表すものとする。例えば、元の画像データのサイズが「 1 024ドット * 768 ドット」であった場合、 WDは 1024、 HTは 768となる。

まず、図 9において、 CPU1 1は、処理対象となっている画素のデータの色深度が 16ビッ卜であるか否かを判定する（ステップ S 20 1) 。 16ビットの場合、「Un s i gn e d S h o r t * s r c ρ」を変数宣言し（ステップ S 202 )、注目画素のデ一夕 s r cを u n s i gn e d s h o r tへ型変換し (ステップ S 203) 、変数 s r c pに、データ s r cのァドレスを代入する (ステップ S 204) 。

次いで、 CPU 1 1は、カウンタ C Cの値を 0に設定する（ステップ S 20 5)。次に、ステップ S 206へ進み、カウン夕 CCの値が「WD *HT」よりも小さいかどうかを判定する（ステップ S 206) 。判定結果が NOの場合は、 1画面分の全ての画素についての処理が終了したと判断し、グレースケール補正処理を終了する。

判定結果が YESの場合、後段のステップ S 207〜S 2 10において、当該画素についてグレースケール補正処理を行う。すなわち、 CPU1 1は、まず、ステップ S 2 0 7において、変数 Rに、ポインタ * s r c pによって指示される領域に格納されている 1 6ビットのデータと 1 6進数「F 8 00」（2進数では「1 1 1 1 1 0 0 0 000 000 0 0」）との論理積をとり、これを 1 1ビット算術右シフトし、その結果に 30を乗じる。こうして得られた値を i n tに型変換し、これを新たな R値をとする（ステップ S 2 0 7) 。このようにして、変数 Rには 5ビットの Rデータに 30を乗じた値が代入される。次に、ステップ S 2 08へ進み、変数 Gに、ポインタ * s r c pによって指示される領域に格納されている 1 6ビットデ一夕と 1 6進数「07 E 0」を論理積し、これを 5ビット算術右シフトし、これに 5 9を乗じる。さらに、こうして得られた値を i n tに型変換し、これを新たな G値とする（ステップ S 20 8) 。以上により、変数 Gには、 6ビットの Gデータに 59を乗じた値が代入される。次に、変数 Bに、ボイン夕 * s r c pによって指示される領域に格納されている 1 6ビットデータと 1 6進数「0 0 1 F」とを論理積をとり、これに 1 1を乗じる。さらに、こうして得られた値を i n tに型変換し、これを新たな B値とする（ステップ S 209)。このようにして、変数 Bには、 5ビットの Bデータ（5ビット）に 1 1を乗じた値が代入される。最後に、変数 Rと変数 Gと変数 Bの値の総和を 1 00で除した結果を、ボイン夕 * z i n f oで示される領域へ代入する（ステップ S 2 1 0)。これで 1画素分の処理が終了したので、変数 s r c p, z i η ί o、カウンタ C Cの値をそれぞれ 1つ増やして（ステップ S 2 1 1) 、再びステップ S 2 0 6 へ戻り、次の画素について同様の処理を行う。以上の処理を 1画面分の全ての画素について行う。

また、ステップ S 20 1の判定結果が NOになる場合は、色深度が 24ピットであるか否かを調べる（図 1 0、ステップ S 2 1 5) 。次に、図 9のステップ S 20 5ぉょび320 6と同様、カウンタのリセット（ステップ S 2 1 6) および終了判定（ステップ S 2 1 7) を行う。

続いて 1 6ビットデ一夕の場合と同様、 R値， G値， B値をそれぞれ補正する。すなわち、図 9のステップ S 20 7〜S 2 09に替えて、図 1 0のステップ S 2 1 8〜S 2 2 0を実行する。すなわち、まず、変数 Bに、ポインタ * s r cで示される領域に格納されている 24ビットデータに 1 1を乗じ、これを変数 Bに代入する（ステップ S 218) 。次に、ポインタ * ( s r c + 1 ) によって示される領域に格納されている 24ビットデータに 59を乗じた値を変数 Gに代入する（ステップ S 21 9) 。次いで、ポインタ * ( s r c + 2) によって示される領域に格納されているデータに 30を乗じた値を変数 Rに代入する（ステップ S 220 ) 。ステップ S 22 1および S 222を含む以降の処理は、 16ビットデ一夕の場合と同様である。

ステップ S 2 1 5において判断結果が NOの場合、 CPU 1 1は色深度が 32 ビットであると判断する。この場合には、「tJn s i gn e d l o n g * s r c p」を変数宣言し（図 1 1、ステップ S 225) 、処理対象の画素のデータ s r cを un s i gn e l o n gへ型変換し (ステップ S 226 ) 、変数 s r c pに、データ s r cのァドレスを代入する (ステップ S 227 ) 。次いで、 16ビットデータの場合と同様、カウンタ値のリセット（ステップ S 228 ) および終了判定 (ステップ S 229 ) を行う。

次に、ステップ S 230〜S 232において、 R値、 G値、 B値を補正する。すなわち、まずボインタ * s r c pによって示される領域に格納されている 32 ピットデ一夕と 16進数「00 FF 000 0」との論理積をとり、これを 1 6ビット算術右シフトし、その結果に 30を乗じる。更にこれを i n tに型変換し、変数 Rに代入する（ステップ S 230 ) 。これにより、変数 Rには、 8ビットの Rデータに 30を乗じた値が代入される。次に、データ（32ピットデータ）と 1 6進数「0000 FF 00」を論理積し、これを 8ピット算術右シフ卜し、その結果に 59を乗じる。更にこれを i n tに型変換して変数 Gに代入する（ステップ S 23 1) 。これにより、変数 Gには 8ビットの Gデータに 59を乗じた値が代入される。次に、ポインタ * s r c によって指示される領域に格納されているデ一夕（32ビットデ一夕）と 1 6進数「000000 FF」との論理積をとり、これに 1 1を乗じる。さらに、この値を i n tに型変換して変数 Bに代入する（ステップ S 232) 。これにより、変数 Bには、 8ビットの Bデータに 1 1を乗じた値が代入される。以降の処理は 1 6ビットおよび 24ビッ卜の場合と同様である。

ぐ B— 2. 逆転判定処理 > 次に、図 1 2〜1 4を参照して逆転判定処理（図 7、ステップ S 1 0 5 ) について説明する。

本処理においては、立体視画像をより自然な立体感が得られる画像とするために、ステップ S 1 0 4にて得られた Z値を修正する。

上述したように、立体視用画像を作成する際には、 Z値に応じて画素移動量を決定すればよいというのが原則である。例えば、ステップ S 1 0 4で得られた Z 値に正比例するように画素移動量を決定すればよい。このようにすると、 Z値が大きい被写体（すなわち明るい被写体）ほど利用者からみて手前に位置し、 Z値が小さい被写体（すなわち暗い被写体）ほど利用者からみて奥に位置することとなる。よって、実際の原画像において、暗い被写体が奥に位置し、明るい被写体が手前に位置する場合には、現実感のある自然な立体視が実現される。

しかしながら、原画像のなかには、明るい背景（例えば青空）の中央に暗い被写体が存在するといった具合に、 Z値が大きい被写体ほど利用者からみて奥に位置し、 Z値が小さい被写体ほど利用者からみて手前に位置する場合もある。このような画像について Z値に比例するように画素移動量を決定するものとすれば、利用者が知覚する立体視画像は被写体の遠近が逆転した不自然なものとなる。そこで、本処理においては、原画像における Z値の変化の傾向を解析し、これに基づいて、画素移動量の大小と Z値の大小との関係を逆転させるべきか否かを判定するのである。

具体的には、図 1 2に示すように、原画像データによって表される 1画面を、左上隅、中央上端、右上隅、中央左端、中央、中央右端、左下隅、中央下端、右下隅にある縦 8 ドット X横 8 ドッ卜のサイズの各領域（以下、「サンプリング領域」という） S S 1〜S S 9に分割する。なお、このサンプリング領域の大きさは縦 8 ドット X横 8 ドットに限らず、またサンプリング領域の数も任意に設定することができる。

これらサンプリング領域の各々には、重み係数が割り当てられている。具体的には、領域 S S I , S S 2 , S S 3 , S S 4 , S S 5 , S S 6 , S S 7 , S S 8 , S S 9には、それぞれ「3」、「4」、「3」、「 2」、「5」、「 2」、「1」、「2」、「 1」の重み係数が割り当てられる。割り当て方法はこれに限らないが、画像中の被写体の遠近に関する一般的な傾向に基づいて決定される。ここで一般的な傾向とは、画像のうち上部の方が下部よりも遠景（例えば空）である場合が多く、また、人物や花などを撮影した画像の場合は、画像の中央部に被写体が配置される場合が多い、というものである。すなわち、中央のサンプリング領域の重み係数が最も大きく、かつ、上方のサンプリング領域は下方のサンプリング領域よりも大きな重み係数が割り当てられればよい。

以下、図 1 3および 14を参照し、逆転判定処理の流れを具体的に説明する。まず、 CPU 1 1は、画像データにおける全画素の Z値の平均値 MZを算出する（ステップ S 301) 。次に、変数 S 1、 S 2、および、カウンタ CTの値を 0に初期設定する（ステップ S 302) 。ここで、変数 S 1 (S 2) は、画面の明るさの平均値よりも暗い（明るい）領域の重み係数を表すパラメ一夕であり、カウンタ CTの値は処理が行われたサンプリング領域の数を表す。

次いで、カウンタ CTの値が 9より小さいかどうかを判定し、（ステップ S 3 0 3) 、すべてのサンプリング領域 S Sに関して処理が終了したか否かを判定する。判定結果が YESである場合は、当該サンプリング領域の平均 Z値が平均値 MZ以上であるかどうかを判定する（ステップ S 304) 。

ステップ S 304の判定結果が YE Sになるときには、変数 S 1に、 CT番目のサンプリング領域の重み係数を加算する（ステップ S 305) 。また、ステツプ S 304の判定結果が NOになるときには、変数 S 2に、 CT番目の領域の重み係数を加算する（ステップ S 306 ) 。次に、カウン夕 CTの値を 1つ増やし (ステップ S 307 ) 、ステップ S 30 3に戻り、次のサンプリング領域に関して処理を行う。

このようにして 9つサンプリング領域の全てに関して処理が終了すると（ステップ S 303, NO) 、図 14のステップ S 308へ進み、変数 S 1の値が変数 S 2の値よりも大きいかどうかを調べる。 S 1〉S 2である場合は（ステップ S 308， YE S) 、 Z値を反転すると決定する（ステップ S 309) 。

S 1 >S 2でない場合（ステップ S 308、 NO) 、さらに S 1 <S 2であるかを判定する（ステップ S 3 10)。 S 1 <S 2である場合（ステップ S 3 10、 YES) Z値を反転しないと判定する（ステップ S 3 1 1) 。 S 1>S 2かつ S 1<— S 2、すなわち S 1 = S 2の場合は（ステップ S 3 1 0、 NO) 、中央部のサンプリング領域 S S 5の平均 Z値が、平均値 MZ以上であるかどうかを判定する（ステップ S 3 1 2) 。ステップ S 3 1 2の判定結果が YE Sのときには Z値を反転しないと決定し（ステップ S 3 1 3) 、 NOにときは Z 値を反転すると決定する（ステップ S 3 14) 。

また、以下の判定処理を更に行ってもよい。すなわち、 9つのサンプリング領域 S S 1〜S S 9のうち、サンプリング領域内の Z値の平均値が原画像全体の Z 値の平均値よりも大きいサンプリング領域を特定し、特定した 1以上のサンプリング領域の重み値を合計する。そして、求めた合計値が予め定められたしきい値以上である場合、原画像の構図上で手前の位置に描写されている部分がより暗く、奥の位置に描写されている部分がより明るい傾向にあると判断し、画素移動量の大小と Z値の大小との関係を反転させると判定する。これに対し、求められた合計値が予め定められたしきい値未満である場合、すなわち原画像の構図上で手前の位置に描写されている部分がより明るく、奥の位置に描写されている部分がより喑ぃ傾向にあると判断し、画素移動量の大小と Z値の大小との関係を反転させないと判定する。

次いで、 CPU 1 1は、立体視画像表示アプリケーションにおける項目 M I 1 0の設定が、 F 2モード（飛び出して見える）になっているかどうかを判定する (ステップ S 3 1 5) 。 F 2モードになっている場合は、ステップ S 309 , 3 1 1, 3 1 3, 3 14で得られた判定結果を更に反転する（ステップ S 3 1 6)。

F 2モードの場合は、奥行きと Z値の関係とのを逆転させる必要があるからである。以上で、逆転判定処理が終了する。なお、本処理で得られた逆転の有無の判定結果は、後述する処理（図 7、ステップ S 1 10) に反映される。

<B— 3. 平滑化処理 >

逆転判定処理に続いて、 CPU1 1は、図 7のステップ S 104にて算出した Z値を平滑化するための処理を行なう（ステップ S 1 06)。本処理を行う理由は以下である。

上述したように、立体視画像は、各画素を元の位置から視差に相当する量だけ左右に移動することによって生成される。そして、その移動量は Z値から求められる。したがって、 Z値の変化が激しい部分では視差の変化が激しく、画素のクロス現象（隣接する画素が、それぞれ左右逆の方向へ移動すること）が発生する。このような現象は物体に光が当たってハイライ卜になっている輪郭の部分などに多く発生する。その結果、生成された立体視画像には、輪郭のぼやけ、にじみ、干渉縞模様といった乱れが生じる。本処理では、このような現象が出現しないように Z値を補正するのである。

具体的には、図 1 5に示すように、 CPU 1 1は、原画像に含まれる各画素 P Xごとに、その画素 P Xを含む特定の領域（以下「マトリクス領域」という） M Mにおける Z値の平均値を算出し、この求めた平均値を当該画素 P Xの Z値として更新する。すなわち、各画素 P xの Z値が、当該画素 P xを左上隅に含む縦 1 2 ドット（My) で横 1 2 ドット（Mx) のマトリクス領域 MMにおける計 14 4画素の Z値の平均値に置き換えられる。この処理を行うことにより、原画像における近接画素の Z値の変化は、ステップ S 1 04にて算出された Z値よりも滑らかなものとなる。

なお、マトリクス領域 MMの大きさは任意に設定可能である。マトリクス領域 MMが大きくすれば、平均値を算出する対象となる画素数が多くなるから、各画素同士の Z値の差は小さくなり、従って利用者によって知覚される立体感は小さくなる。逆に、マトリクス領域が小さくすれば、各画素同士の Z値の差は大きくなり、利用者によって知覚される立体感は大きくなる。

以下、図 1 6を参照して本処理の流れを具体的に説明する。なお、「* o u t i η ί o」は平滑化された Z値を格納する領域へのポインタを表すものとする。まず、注目画素の縦方向の位置を表すカウン夕 CLNを 0にセッ卜する（ステップ S 40 1) 。次に、カウン夕 CLNの値が縦画素数 HTより小さいかどうかを判定する（ステップ S 40 2) 。この判定結果が NOのときは、 1画面分の処理が終了したと判定し、この処理を終了する。

ステップ S 40 3において、着目画素 P Xが画面の下端から 1 2画素よりも上にあるか、すなわち（HT— CLN) の値が 1 2以上であるかを判定する。この判定結果が YE Sになるときには、マトリクス領域 MMの縦方向のサイズを表す変数 MThに 1 2を代入する（ステップ S 404) 。そうでない場合、変数 MT hに（HT— CLN) の値を代入する（ステップ S 40 5) 。このようにして、着目画素が画面の下端付近にある場合のマトリックス領域のサイズを調整する。次に、注目画素の横方向の位置を表すカウンタ CWDの値を 0にセッ卜する (ステップ S 406) 。次に、カウンタ CWDの値が横幅画素数 WDより小さいかどうかを判定する（ステップ S 407) 。この判定結果が YE Sの場合、着目画素 P Xが画面の右端から 12画素分よりも左にある力、すなわち（WD— CW M) の値が 1 2以上であるかどうかを判定する（ステップ S 408) 。

この判定結果が YE Sの場合には、マトリクス領域 MMの縦のサイズを表す変数 MTwに 12を代入する（ステップ S 409) 。判断結果が NOの場合は、変数 MTwに（WD— CWD) の値を代入する（ステップ S 410) 。このようにして、着目画素が画面の右端付近にある場合のマトリックス領域のサイズを調整する。

次に、そのときのカウンタ CLN， CWDの値で示される着目画素について、サイズが MT h XMTwで表されるマトリクス領域 MM内の全画素の Z値（z i n f o) の合計値 SM 1を算出する（ステップ S 41 1) 。そして、マトリクス領域 MMの Z値の平均値である S Ml/ (MT h * MTw) を o u t i n f oに代入する（ステップ S 41 2) 。

これで 1画素分の処理が完了したので、次にカウンタ CWDの値を 1つ増やし (ステップ S 41 3) 、ステップ S 407へ戻り、着目画素を変えて同様の処理を行う。また、ステップ S 407の判定結果が NOになるときには、 1行分の画素についての処理が終了したので、カウンタ CLNの値を 1つ増やして（ステツプ S 414) 、ステップ S 402へ戻り、同様の処理を繰り返す。以上のようにして、全画素について本処理を行う。

<B— 4. 分布補正処理 >

次に、分布補正処理（図 7、ステップ S 1 07) について説明する。

上記平滑化処理を経て算出された各画素の Z値は、画像全体の Z値の平均に依存するので、その分布が偏っている場合がある。この例を示したのが図 1 7の上図である。この Z値をそのまま用いて立体視画像を作成すると、自然な立体感が得られないものとなってしまう。そこで、 Z値分布を図 17の下図のように補正' するのが本処理である。

以下、図 18および図 1 9を参照し、具体的に説明する。ここで、「* z— i ma g e」は Z値を格納した領域を示すボイン夕、 a v e— zは全画素の平均の Z値、「ma x— z」および「m i n— z」はそれぞれ Z値の最大値、最小値を表し、「* a d j u s t— z__ i ma g e」は補正後の Z値を格納する領域を示すボインタである。

まず、 ma x_z , m i n— z , a v e_zをそれぞれ算出する（ステップ S 50 1) 。次いで、分布の拡がり度を表す変数 ma x—s p a nおよび変数 m i n_ s p a nに、それぞれ（max— z— a v e一 z) の値および（m i n— z - a v e_z ) の値を代入する（ステップ S 502) 。

次に、色深度が 1 6ビッ卜であるかどうかを判定する（ステップ S 503 ) 。 16ビット場合は、階調度を表す変数「ma x」に 3 1を代入し（ステップ S 5 04) する。色深度が 24ビットまたは 32ビッ卜の場合（ステップ S 503、 NO) 、変数 ma Xに 255を代入する（ステップ S 505) 。

次いで、カウンタ CLNを 0にセットし、着目画素における Z値の修正分を表すポィン夕変数 * p z— ima g eに z— ima g eが格納されるァドレスを格納する（ステップ S 506 ) 。続いて、カウン夕値 CLNが縦幅画素数 HTよりも小さいかどうかを調べる（ステップ S 507)。この判定結果が NOの場合、全ての画素について処理が終了したと判定し、分布補正処理を終了する。

この判定結果が YE Sの場合、カウンタ CWDを 0にセットし（ステップ S 5 08)、カウンタ CWDの値が横幅画素数 WDよりも小さいかどうかを判定する (ステップ S 509 ) 。この判定結果が NOのときは、 1行分の画素の処理が終了したと判定し、カウン夕 CLNの値を 1つ増やし（ステップ S 5 10)たのち、ステップ S 507へ戻り、次行の画素の処理を行う。

また、ステップ S 509の判定結果が YE Sになるときには、 p z— ima g eの値が a v e— zよりも大きいかどうかを判定する（ステップ S 5 1 1) 。 p z— i ma g e〉a v e— z、すなわち Z値が平均値よりも大きい場合は、 Z値の修正分を表す変数 zに、（z— a v e— z) /m a x— s p a n * (ma x— a v e z ) の値を代入する（ステップ S 5 1 2) 。ステップ S 51 1の判定結果が NOの場合は、さらに、 *p z— ima g eぐ a v e_zであるか否かを判定する（ステップ S 51 3) 。ステップ S 51 3の判定結果が YE Sになるときには、変数 zに、（z— a V e— z) / (m i n— z - a v e_z ) *m i n— s p anの値を代入する（ステップ S 5 14) 。ステツプ S 5 13の判定結果が NOになるとき、すなわち、 * p z— ima g eの値が画素平均値 a V e_zに等しいときには、変数 zに 0を代入する（ステップ S 51 5) 。

このようにして、変数 zを算出すると、 * a d j u s t— z— ima g eに、 * p z— ima g e + zの値を代入する（ステップ S 51 6) 。以上により、当該画素について補正後の Z値が格納される。

次に、； z— i m a g eの値、 a d j u s t— z— ima g eの値、 C L Nの値をそれぞれ 1つ増やしたのち（ステップ S 51 7)、ステップ S 509へ戻り、注目画素を替えて同様の処理を行う。これを繰り返し、全画素について同様の処理を行う。

<B- 5. 局所補正処理 >

次に、局所補正処理（図 7、ステップ S 108) について説明する。

以上の処理を行って Z値を補正しても、まだ十分ではない場合がある。具体的には、一つの被写体における Z値分布に歪みが生じる場合がある。例えば、本来、球形の物体内では Z値は中心から放射状に緩やかに変化するべきところ、何らかの原因で、ある部分の画素だけその Z値が極端に大きい（小さい）という場合が生じ得る。あるいは、その Z値の分布にムラがある場合もあり得る。

このような Z値を用いて立体視用画像を作成すると、当該被写体の奥行きの順序性が歪み、一物体として認識されるべき被写体の画像が不自然なものとなってしまう。そこで、この局所補正処理においては、一以上の被写体を抽出して、被写体毎に画素の Z値を補正するのである。

この処理の概要を、図 20および図 2 1を参照して説明する。まず、ステップ S 10 7までの処理で得られた Z値の範囲（段階数）を修正する（図 2 1、ステップ S 700) 。次に、修正後の Z値が等しい画素により表される Z値の等高線 (HL 0〜HL 5) を求める（ステップ S 70 1 ) 。次に、得られた等高線に基づいて被写体（図 20 : ΟΒ 1、 OB 2) を特定する（ステップ S 702 ) 。さらに、該被写体の Z値に関する中心点 P P cの y座標を求め、 P P cから引いた垂線 VLと各等高線との交点の y座標を算出する（ステップ S 703 )。そして、これら算出した座標を用いて被写体にかかる画素の Z値を求める（ステップ S 7 04、 S 705) 。最後に、隣り合う 2つの等高線で囲まれた領域（これを等高面という）毎に、該領域内の画素の Z値を補正する（ステップ S 706 ) 。ただし、等高線が一本しかない場合は、該等高線の内側の領域が等高面となる。以下、各処理について詳説する。

(a) 階調数修正

上述したように、立体視画像における画素移動量の最小の単位はひとつの画素である。すなわち、ひとつの画素よりも小さい量を画素移動量として設定することはできない。従って、 z値が「1」だけ増加するごとに画素移動量をその最小単位である画素ひとつ分だけ増加させるとしても、 Z値が最大値たる「 2 55」である場合には画素移動量が画素 256個分に相当する大きさとなる。しかしながら、画素移動量があまりに大きくなると（例えば画面上で 8 mm以上になると）立体視画像を視認する利用者に目の疲労が生じやすくなり、さらには利用者が立体として知覚しにくくなるといった問題が生じ得る。このため、 CPU 1 1は、ステップ S 107までの処理で得られた各画素の Z値をいくつかの段階の離散値に近似するための処理を行う。

具体的には、 CPU 1 1は、画素ごとに、ステップ S 107により得られた Z 値を丸め係数 MKで除し、この除算結果を整数化（小数点の切り捨て、切り上げ、または四捨五入）した数値に対して同じ丸め係数 MKを乗算する。この結果、各画素の Z値は丸め係数 MKの整数倍に相当する数値に近似される。

すなわち、丸め係数 MKは、 Z値が近似されるべき各離散値の間隔の大きさを表す数値であるということができる。本実施形態においては、この丸め係数 MK として、 Z値の取り得る値の最大値（25 5 ) を、ユーザにより指定される被写体深度 Obで除した値を整数化した数値が用いられる。この被写体深度 Obは、近似により得られた Z値がとり得る値の段階数を表す。例えば、 MK= 1 0とすれば、とり得る Z値の範囲は 0、 1、 2、 3、 · · · 25の 26段階となる。 (b) 等高線算出

次に、図 22〜 24を参照して、等高線算出処理について詳説する。ここで、 * o u t 1 i n eは輪郭抽出基礎デ一夕の格納領域を示すボインタ、 * c o r d は Z値べクトル格納用領域を示すボイン夕である。また、 c o r dは、 V i n f oという構造体のデータであり、 V i n f oという構造体は、 Z値、 n p 0 i n t (整数値）、および、 * p o i n t (座標データ）というデータ要素を持つ。まず、 CPU 1 1は、定数 ma xに、 2 55を丸め係数 MKで除算した結果を代入し、処理が終わった画素の数を表す変数 T a r g e t_zに 0を代入する (ステップ S 7 10) 。

次に、変数 T a r g e t— zの値が所定の定数 m a xよりも大きくなつたかどうかを判定する（ステップ S 7 1 1) 。判定結果が NOになるときには、この処理を終了する。判定結果が YESになるときには、カウンタ CLNを 0にセットし（ステップ S 7 1 2) 、カウンタ CLNの値が HTよりも小さいかどうかを判定する（ステップ S 7 1 3) 。この判定結果が NOの場合は、 T a r g e t— z の値を 1つ増やして（ステップ S 714) 、ステップ S 71 1へ戻る。ステップ S 7 1 3の判定結果が YESになる場合は、カウンタ CWDに 0を代入し、変数 P 1に一 1を代入し、変数 P 2に一 1を代入し、変数 f n dに 0を代入する（ステツプ S 7 1 5 ) 。

次に、カウンタ CWDの値が WDより小さいかどうかを調べ（ステップ S 7 1 6 ) 、ステップ S 7 1 6の判定結果が Y E Sになるときには、 * o u t 1 i n e の値が T a r g e t— zの値に等しいかどうかを判定する（ステップ S 7 17)。ステップ S 7 1 7の判定結果が YE Sになるときには、変数 P 1の値が 0以上であるかどうかを調べ（ステップ S 7 18) 、この判定結果が NOの場合は、変数 P 1にカウンタ CWDの値を代入し（ステップ S 7 1 9) 、カウン夕 CWDの値' を 1つ増やして（ステップ S.720) 、ステップ S 7 16へ戻る。また、ステツプ S 7 18の判定結果が YE Sになるときには、ステップ S 720へ移行し、それ以降の処理を実行する。

また、ステップ S 7 17の判定結果が NOの場合は、変数 P 1の値が 0以上であるかどうかを判定する（ステップ S 7 2 1)。この判定結果が YESの場合は、変数 P 2にカウンタ CWDの値を代入し、変数 n dの値を 1つ増やし（ステツプ S 722 ) 、ステップ S 720へ移行し、それ以降の処理を同様に実行する。また、ステツプ S 72 1の判定結果が NOの場合は、ステップ S 720へ移行し、それ以降の処理を同様に実行する。

また、ステップ S 7 16の判定結果が NOの場合は、変数 f n dの値が 0よりも大きいかどうかを判定し（ステップ S 7 23)する。この判定結果が NOの場合は、カウンタ CLNの値を 1つ増やして（ステップ S 724) 、ステップ S 7 1 3へ戻る。

また、ステップ S 723の判定結果が YE Sの場合は、当該画素位置について、 Z値が変化している近傍の画素を探索する。具体的には、図 23の左側に示した順序に従って探索していく。すなわち、まず、注目画素 P 1と右上位置にある画素の Z値を比較する（ステップ S 730 ) 。 2つの Z値が等しい場合は（ステツプ S 730、 NO) 、画素 P 1の真上にある画素の Z値と注目画素の Z値を比較する（ステップ S 7 '3 1) 。以下同様にして、注目画素の周囲 6つの画素について比較判定を行う（ステップ S 732〜S 735 )。この探索順序の模式図を図 23の右側に示す。

注目画素 P 1の Z値と異なる Z値を持つ画素を発見した場合（ステップ S 73 0, 73 1， 73 2, 733, 734, 735、 YES) は、見つけた画素の座標が既に発見済であるかどうかを調べて、近傍の画素を全て調べたかを判定する (ステップ S 736 ) 。このようにして、 1画素ずつ Z値の異なるエッジ部分を検出してゆく。エッジ部分を全て調べ終えた場合（ステップ S 736、 YES) この処理を終了する。

■ また、ステップ S 736の判定結果が NOの場合は、 c o r dの p o i n tの Xおよび yの値に、それぞれ発見した画素の X座標の値、 y座標の値を格納する (ステツプ S 737 ) 。次に、 c o r dの p o i n tの値および n p o i n tの値をそれぞれ 1つ増やし（ステップ S 7 38および S 739) 、注目画素 P 1を当該発見した画素の位置に移動して（ステップ S 740) 、ステップ S 730へ戻り、次の画素について処理を行う。このようにしてエッジ部分を順次検出していくと、一本の等高線が求まる。 (C ) 被写体中心特定

次に、図 25〜27を参照して、被写体中心特定処理（図 2 1、ステップ S 7 02) を説明する。本処理においては、一つの被写体にかかる等高線のなかで最内にあるものに外接する矩形の頂点の座標を求め、当該矩形の中心を当該被写体の Z値の中心とする。なお、 c e n t— c o r dは最内の矩形を格納するべクトル領域を示すポィン夕、 c e n t e rは求める中心点の座標データ、 * s i d e 一 c o r dは求める矩形（ただし最内ではない）を格納するべクトル領域を示すポィン夕である。

まず、 CPU 1 1は、処理対象となる等高線を 1つ選択し（ステップ S 750 )。次に、この等高線上の画素の X座標および y座標の最小値および最大値を表す変数 g― m i n― x、 g― ma x一 x、 g一 m i n― y、およひ g一 max― yの値を初期設定する（ステップ S 7 5 1) 。なお、図 25においては、便宜上、 g — m i n— xの初期値は 99999 9としているが、 WDよりも大きければどのような値でもよい。— m i n_yについても同様である。また、 c o r d pに c o r dの値を代入する（ステップ S 752 ) 。

次に、 c o r d pの np o i n tの値が 0よりも大きいかどうかを判定する (ステップ S 7 53 ) 。この判定結果が NOの場合は、全ての等高線についての処理が終了したかどうかを判定する（ステップ S 754) 。この判定結果が N〇の場合、ステップ S 750へ戻り、次の等高線についての処理を行う。また、ステツプ S 7 54の判定結果が YE Sの場合、処理を終了する。

ステップ S 7 53の判定結果が YE Sになるときには、変数の初期設定を行う _c 具体的には、カウンタ C NTの値を 0にセットし（ステップ S 755 ) 、 m i n — xに 999999を代入し、 ma x— xに 0を代入し、 m i n— yに 9999 99を代入し、 ma x— yに 0を代入し（ステップ S 7 56 ) 、変数 PNTに c o r ρ dの： p o i n tの値を代入する。

次いで、カウンタ C NTの値が c o r d pの n p o i n tよりも小さいか、すなわち、一本の等高線にかかる画素の全てに関し処理が完了したか否かを判定する（ステップ S 7 57) 。完了していない場合（ステップ S 757、 YES) 、変数 PNTの Xの値が m i n— xよりも小さいかどうかを判定する（ステップ S 758 ) 。この判定結果が YE Sの場合、水平最小位置を p 1に代入する。すなわち、 p i. Xの値に PNTの Xの値を代入し、 p i. yの値に PNTの yの値を代入し、 m i n— xの値に p 1. xの値を代入する（ステップ S 759 ) 。この判定結果が NOの場合は、ステップ S 7 59は実行しない。

次いで、 PNTの Xの値が ma x— xよりも大きいかどうかを判定する（ステップ S 760)。この判定結果が YESの場合、水平最大位置を p 2に代入する。すなわち、 p 2. Xの値に PNTの Xの値を代入し、 p 2. yの値に PNTの y の値を代入し、 ma x— xの値に p 2. xの値を代入する（ステップ S 76 1)。この判定結果が NOの場合、ステップ S 7 6 1は実行しない。

次に、変数 PNTの yの値が、 m i n__yよりも小さいかどうかを判定する（ステツプ S 76 2 ) 。この判定結果が YE Sの場合は、垂直最小位置を p 3に代入する。すなわち、 p 3. Xの値に P NTの Xの値を代入し、 p 3. yの値に PN Tの yの値を代入し、 m i n— yの値に p 3. yの値を代入する（ステップ S 7 63) 。この判定結果が NOの場合は、ステップ S 763は実行しない。

次いで、変数 P NTの yの値が ma x_yよりも大きいかどうかを判定する (ステップ S 764) 。この判定結果が YESの場合は、垂直最大位置を p 4に代入する。すなわち、 ρ 4. Xの値に PNTの Xの値を代入し、 p 4. yの値に P NTの yの値を代入し、 ma X— yの値に p 4. yの値を代入する（ステップ S 76 5) 。この判定結果が NOの場合は、ステップ S 765は実行しない。そして、カウンタ CNTの値を 1つ増やし、 PNTの値を 1つ増やして（ステップ S 766) 、ステップ S 757へ戻る。

外接矩形の頂点が算出されると（ステップ S 757、 NO) 、 p i . xの値が g_m ί η— χの値よりも小さいかどうか、すなわち求めた矩形が最内にあるか否かを判定する（ステップ S 767 ) 。矩形が最内にある場合（ステップ S 76 7、 YE S)、 c o r d pを c e n t一 c o r dに格納し（ステップ S 768)、 g_m i n— xに p 1. xの値を代入する（ステップ S 769) 。次いで、決定された最内の矩形の頂点である（p i . x、 p 3. y) と点（ρ 2. χ、 ρ 4. y) を結ぶ線分と、点（p 2. x、 p 3. y) と点（p i. x、 p 4. y) を結ぶ線分との交点を求め、この X座標と y座標の値を、それぞれ c e n t e r, x および c e n t e r, yに格納する（ステップ S 770) 。なお、矩形が最内のものでない場合（ステップ S 76 7、 NO) 、ステップ S 768〜770を実行しない。

次に、 p 2. Xが g— ma x— xよりも大きいかを判定する（ステップ S 77 1) 。 p 2. x> g— ma X— Xである場合（ステップ S 77 1、 YES) 、 c '〇 1- <1 を 3 i d e— c o r dに格納し、 g— m a x— xに： 2. xを代入する (ステップ S 772、 S 773 ) 。なお、 p 2. x > g— m a x— xでない場合 (ステップ S 77 1、 NO) 、ステップ S 772および S 773を実行しない。そして、 c o r d の値を 1つ増やし（ステップ S 774) 、ステップ S 7 53 へ戻り、別の等高線に対して同様の処理を繰り返す。

(d) 交点算出

図 28を参照し、交点算出処理（図 2 1、ステップ S 703 ) について詳説する。ここで、 p [] は、交点の座標データを格納する配列である。

まず、等高線を 1つ選択し（ステツプ S 780 ) 、 c o r d pに c o r dを代入し、変数 f i n dを' 0に初期設定する（ステップ S 78 1) 。次いで、 c o r p dの n p o i n tの値が 0よりも大きいかどうかを判定する（ステップ S 78 2) 。この判定結果が NOの場合は、全ての等高線の処理が終了したかどうかを判定する（ステップ S 783 ) 。ステップ S 783の判定結果が NOの場合は、ステップ S 7 80へ戻り、次の等高線について処理を実行する。また、ステップ S 783の判定結果が YESの場合は、この交点算出処理を終了する。

ステップ S 782の判定結果が YE Sの場合は、変数 P NTに c o r d pの p o i n tの値を代入し、カウンタ CNTの値を 0に初期設定する（ステップ S 7 84) 。次に、カウン夕 C NTの値が、 c o r d pの n p o i n tよりも小さいかどうかを判定する（ステップ S 78 5) 。この判定結果が YE Sになるときには、更に PNT. Xと c e n t e r, xとが等しいかどうかを判定する（ステツプ S 786) 。

ステップ S 7 86の判定結果が YE Sの場合は、更に、 PNT. yが c n e t e r . yよりも大きいかどうかを判定する（ステップ S 787) 。この判定結果が YE Sの場合は、中心点から垂直に下ろした垂線と等高線との交点を求める。すなわち、 p [f i nd] . xに PNT. xの値を代入し、 p [f i n d] , y に PNT. yの値を代入する（ステップ S 788) 。

次いで、 f 1 113の値を 1っ増ゃし（ステップ S 7 8 9 ) 、また、データの終端を示す;^めに、 p [f i n d] . Xと p [f i n d] , yにそれぞれ一 1を代入する（ステップ S 790) 。次、 c o r d pの値を 1つ増やして（ステップ S 7 9.1 ) 、ステップ S 782へ戻る。

また、ステップ S 786または S 787の判定結果が NOの場合は、 CNTの値を 1つ増やし、 P NTの値を 1つ増やして（ステップ S 792) 、ステップ S 7 85へ戻り、同様の処理を繰り返す。ステップ S 785の判定結果が NOになるときには、ステップ S 7 9 1へ進む。

(e) 面内 Z値算出

図 29を参照して、面内 Z値算出処理（図 2 1、ステップ S 704) を詳説する。本処理においては、算出された被写体中心および交点の座標を用いて、等高面内の画素の Z値を新たに算出する。ここで、定数 d i s tは、画面上に表示される画像をカメラで撮影したと仮定した場合における、カメラから表示画面までの距離、定数 f o c u sは上記カメラの焦点距離、 n ew— z [] は、本処理で算出される Z値を格納する配列である。

まず、 CPU1 1は、等高面を 1つ選択したのち（ステップ S 795) 、カウン夕 CNTの値を 0に初期設定する（ステップ S 796 ) 。次に、 c e n t— h に HTから c e n t e r, yを減じた値を代入し、被写体の奥行き度を表す o b j e c t_hに、（d i s tZf o c u s ^ c e n t— h) の値を代入する（ステツプ S 797 ) 。

次いで、 p [CNT] . Xの値が 0以上であるかどうかを判定する（ステップ S 798 ) 。この判定結果が YE Sの場合は、 n ew— z [CNT] に、（o b j e c t― h * f o c u s / (p [CNT] . y— c e n t e r, y ) — d i s t ) の値を代入する（ステップ S 799 ) 。すなわち、ある等高面内の画素の Z 値を、被写体の Z値の中心点から該画素までの距離の y成分に比例するように補正するのである。

そして、カウン夕 CNTの値を 1つ増やして（ステップ S 800 ) 、ステップ S 798へ戻り、同様の処理を行う。ステップ S 798の判定結果が NOになるときには、全ての等高面について処理が終了したかどうかを調べ（ステップ S 8 0 1) 、ステップ S 80 1の判定結果が NOになるときには、ステップ S 795 へ戻り、他の等高面に対しての処理を行う。また、ステップ S 801の判定結果が YESになるときには、この処理を終了する。

( f ) 面内修正値算出

本処理においては、図 21に示したステップ S 704にて算出された Z値を用いて、等高面内にある画素の Z値の修正値を算出する。以下、図 30を用いて本処理を詳説する。なお、 a d j u s t— o u t 1 i n e [] は、補正後の Z値と元の Z値との差分を格納する配列である。

まず、算出した交点を 1つ選択し（ステップ S 805) 、カウン夕 C NTの値に 1を代入する（ステップ S 806) 。次に、 p [CNT] . Xの値が 0以上であるかどうかを判定する（ステップ S 807 ) 。この判定結果が NOの場合は、 1つの交点についての処理が終了したと判定し、更に、全ての交点に対する処理を終了したかどうかを判定する（ステップ S 808 ) 。ステップ S 808の判定結果が NOになるときには、ステップ S 805へ戻り、他の交点についての処理を行う。また、ステップ S 808の判定結果が YE Sの場合は、本処理を終了する。

ステップ S 807の判定結果が YE Sの場合は、変数 o z 1に（p [CNT- 1] . x， p [CNT- 1 ] . y- 1 ) の座標の Z値を代入し（ステップ S 80 9) 、変数 o z 2に（p [CNT] . x， p [CNT] . y— 1) の座標の Z値を代入する（ステップ S 8 10) 。次に、変数 s ub lに（o z 2— o z l) の値を代入し（ステップ S 8 1 1 )、変数 s u b 2に補正後の Z値の増分である（n e w_z [CNT] - n e w_ z [CNT— 1] ) の値を代入する（ステップ S 8 1 2 ) 。

次に、 s u b 1と s u b 2の符号が同一であるかどうかを判定する（ステップ S 8 1 3) 。符号が同一である場合（ステップ S 8 1 3、 YE S) 、 a d j u s t_o u t 1 i n e [CNT] に 0を代入する（ステップ S 8 14) 。符号が異なる場合（ステップ S 8 1 3、 NO) 、 a d j u s t_o u t 1 i n e [CNT] に（s u b 2— s u b l) の値を代入する（ステップ S 8 1 5) 。次に、カウン夕 CNTの値を 1つ増やして（ステップ S 81 6) 、ステップ S 807へ戻る。

(g) 被写体内 Z値補正

この Z値補正処理では、ステップ S 70 5にて算出された面内修正 Z値を用いて、被写体内にある画素の Z値を補正する。以下、図 3 1を参照して、被写体内 Z値補正処理（図 7、ステップ S 1 09) を詳説する。なお、 * a d j u s t— z_ i ma g eは修正 Z値を格納する領域を示すボイン夕である。

まず、カウンタ C LNに 0を代入し（ステップ S 90 1) 、次に C LNの値が HTより小さいかどうかを判定する（ステップ S 902) 。この判定結果が NO の場合は、本処理を終了する。この判定結果が YE Sの場合は、カウンタ CWD に 0を代入し（ステップ S 903) 、続いて、 CWDが WDよりも小さいかどうかを判定する（ステップ S 904) 。ステップ S 904の判定結果が YE Sの場合は、そのときの注目画素に対応する a d j u s t_z_ i ma g eを取得し (ステツフ' S 905) 、 z一 i ma g eを、 z一 ima g eと a d j u s t一 z —i ma g eを加算した値で更新する（ステップ S 906) 。以上で、一画素分の処理が終了する。

次いで、 CLNの値を 1つ増やし（ステップ S 90 7 ) 、ステップ S 904へ戻り、次の画素について同様の処理を行う。ステップ S 904の判定結果が NO の場合は、 CWDの値を 1つ増やして（ステップ S 908 ) 、ステップ S 902 へ戻り、次行にかかる画素について処理を行う。以上の処理を繰り返し、全画素について Z値を補正する。

<B— 6. 画素移動処理〉

本処理においては、以上の処理により算出された Z値、およびユーザが指定したパラメータに基づいて視差値（画素移動量）を決定し、この移動量に従って画素を左右に移動させる。図 32に、画像移動処理（図 7、ステップ S 1 1 0) の概要を示す。ここで、 * i m a g e 3 dは立体視画像データを格納する領域を示すボイン夕である。

まず、カウンタ C LNを 0にセットし (ステップ S 1 00 1) 、 C LNが HT より小さいかどうかを判定する（ステップ S 1 002 ) 。この判定結果が NOの場合は、本処理を終了する。この判定結果が YE Sの場合は、カウンタ CWDを 0に初期設定する（ステップ S 1 00 3) 。

次いで、 CWDが WDよりも小さいかどうかを判定する（ステップ S 1 004)。この判定結果が YE Sの場合は、このときの o u t i n f oに対応した Z値の範囲を補正する（ステップ S 1 0 0 5) 。以下、これによつて得られた Z値を Z Z と称する。図 3 3を参照してこの Z Z算出処理を具体的に説明する。

まず、丸め係数 MKを用いて Z値のとり得る範囲を修正する（ステップ S 1 0 2 0および S 1 0 2 1) 。この処理は、図 7に示したステップ S 7 00において説明した処理と同様である。以下では、ステップ S 1 0 20および S 1 0 2 1を行って得られた Z値を Z Zと記する。

次に、 Z Zの値が上限値よりも大きいかどうかを判定する（ステップ S 1 0 2 2) 。この上限値は、ユーザによって上述した設定ダイアログパネルの入力窓 I B 3に入力されたものである。 Z Z値が上限値を越えている場合は（ステップ S 1 0 2 2、 YE S) 、 Z Zを当該上限値に置き換える（ステップ S 1 0 2 3 ) 。同様に、 Z Zの値が下限値よりも小さいかどうかを判定する（ステップ S 1 02 4) 。この下限値は、ユーザによって上述した設定ダイアログパネルの入力窓 I B 4に入力された値である。 Z Z値が下限値を下回っている場合（ステップ S 1

0 24、 YE S) 、 Z Zを当該下限値で置き換える。

このようにして、上限基準値や下限基準値の処理で特定の値を超える Z値を一定範囲内に収まるように修正する。この処理は、 Z値が高い画素や Z値が低い画素の数は画像デ一夕全体の画素数に比べて非常に少ない数という事実を利用したものである。このように、画素クロス現象が発生しない範囲で Z値のとり得る範囲を修正することにより、生成される立体視画像の質を効果的に高めることができる。

再び図 3 2へ戻り、続いて得られた Z Z値を用いて視差値 S Sを算出する。この処理を、図 34を用いて具体的に説明する。まず、ステップ S 1 0 5の逆転判定処理において、 Z値を反転する決定がなされていたかを判定する（ステップ S

1 0 3 0) 。反転の決定がされていた塲合（ステップ S 1 0 30、 YE S) 、 Z に（2 5 6—Z Z) の値を代入する（ステップ S 1 0 3 1) 。次に、 Z Zにィンタフエース深度を加算して、その判定結果を視差値 S Sに代入して（ステップ S 1 032)この処理を終了する。このインタフェース深度は、上述した設定ダイアログパネルの入力窓 I B 1に入力された値である。

なお、反転しない旨の決定がなされていた場合（ステップ S 1 030、 NO)、そのままステップ S 1 032へ処理を移行する。

再び図 32へ戻り、このようにして視差値 S Sが算出されると、次にカウンタ CLNの値の偶奇を判定する（ステップ S 1007 ) 。偶数である場合（ステツプ S 1 007、 YE S) 、画素移動値 MVに（CN + S S) の値を代入し（ステップ S 1008) 、奇数である場合は MVに（CN— S S) の値を代入する（ステツプ S 1 009 ) 。このようにして、右目用と左目用とで反対方向に画素を移動させる。最後に、元画像データの（ s r c +MV) の位置の画素データを i m a g e 3 dへ格納する（ステップ S 1 0 1 0) 。以上で一画素分の処理が終了した。

次に、 i m a g e 3 dの値を 1つ増やし、 o u t i n f oの値を 1つ増やし、カウンタ C WDの値を 1つ増やして（ステップ S 1 0 1 1 ) 、ステップ S 1 00 4へ戻り、次の画素について同様の処理を行う。これを繰り返し、一行分の画素について処理を行う。一行分の画素の処理が終了したら（ステップ S 1004、 NO) 、 s r cを次の行頭へ進め（ステップ S 10 1 2) 、 CLNの値を 1つ増やして（ステップ S 10 1 3) 、ステップ S 1 002へ戻り、同様の処理を繰り返す。これを繰り返し、全ての行に関.して処理が終了すると、（ステップ S 10 02、 NO) 本処理が完了する。

このように、一物体として認識されるべき被写体ごとに Z値の補正が行われるため、被写体内の奥行きの順序性が担保され、生成される立体視画像はより現実感のあるものとなる。

以上示したように、本実施形態においては、 Z値に上述した補正をすることにより、質の高い立体視画像を生成することができる。また、立体視画像の生成に当たっては、ユーザが設定ダイァ口グパネルで入力した入力値が用いられるので、ュ一ザの好みに応じた立体視画像を生成することができる。

なお、本実施形態においては、図 7に示すステップ S 1 03から S 109までの補正処理を連続して実行したが、必ずしも全てを実行する必要はない。適宜、好適な補正処理を組み合わせて実行することが可能であることはいうまでもな -ぃ。

<c. 変形例 >

<1. 強調処理 >

ところで、図 20に示したような画面 GGに含まれる複数の被写体のうち、特定のもののみの立体感を意図的に強調するような効果を立体視画像に与えることが可能である。例えば、動画において、ある物体が奥行き方向の動きに特徴があるような場合、このような効果を与えることは有用である。これを模式的に表したのが図 35である。これを実現させるためには、同図に示すように、被写体 OB aに含まれる全ての等高面の Z値に所定値を加算すればよい。

図 36は、この場合に、立体視表示モードが選択された場合に行われる処理の一例を示している。画像移動処理（ステップ S 1 1 1 1) の直前に強調処理（ステツプ S 1 1 1 0)が追加されている点である。ステップ S 1 101〜S 1 1 0 9および S I 1 1 1の処理は第 1実施形態と同様であるから、その説明を省略する。

以下、図 37を参照して、強調処理（ステップ S 1 1 10) を説明する。ここで、 o f f s e t— zは被写体を強調させる度合いを表す量である。まず、ステップ S 1 1 20〜S 1 122において終了判定を行う。すなわち、カウン夕 CL Nの値を 0に設定し（ステップ S 1 1 20) 、 CLNが HTよりも小さいかどうかを判定する（ステップ S 1 12 1) 。この判定結果が NOの場合は、本強調処理を終了する。この判定結果が YESの場合は、 CLNの値を 0に設定する（ステツプ S 1 1 22 ) 。

次に、カウンタ CWDが WDより小さいかどうかを判定する（ステップ S 1 1 23 ) 。この判定結果が YESの場合は、座標（CWD、 CLN) から画像上辺までの半直線を引き（ステップ S 1 1 24) 、この半直線と等高線との交点の数を求める（ステップ S 1 125) 。

そして、求めた交点数の偶奇を判定する（ステップ S 1 126) 。奇数である場合（ステップ S 1 1 26、 YES) 、座標（CWD、 CLN) は当該周縁矩形の内部に位置すると判定する（ステップ S 1 1 27) 。続いて、 p z— i ma g eに（z— ima g e + C L N * WD + C WD)を代入し（ステップ S 1 1 28)、 * p z一 ima g eに（* p z一 i ma g e + o f f s e t _z ) の値を代入する（処理 1 1 29) 。奇数である場合（ステップ S 1 126、 NO) 、ステップ S 1 1 27〜S 1 1 29を実行しない。以上で一画素について処理が終了した。次いで、 CWDの値を 1つ増やし、ステップ S 1 123へ戻り、次の画素について同様の処理を行う。これを繰り返し、全画素について処理を終えると、強調処理が完了する。

<2. 表示方式 >

上述した実施例では、立体視画像の表示方式として、表示部 21の表示画面の偶数ラインに左目画像を表示するとともに、奇数ラインに右目画像を表示するようにしたいわゆる Od d— e v e n方式のものを採用している。しかしながら本発明はこれに限定されず、例えば、表示部 2 1の表示画面の偶数ラインに右目画像を表示するとともに、奇数ラインに左目画像を表示するようにした〇 d d— e v e n方式のものにも適用することができる。

あるいは、図 3 8に示すように、左目用画像データの偶数ラインを抽出してフレームバッファの上画像部分に格納するともに、右目用画像デー夕の奇数ラィンを抽出してフレームバッファの下画像部分に格納する上下方式にも適用できる。この表示方式は、立体視プロジェクタ等で採用されているものである。逆に、右目用画像データの偶数ラインをフレームバッファの上画像部分に、左目用画像データの奇数ラインをフレームバッファの下画像部分に格納する方式にも適用可能である。

また、図 39に示すように、左目用画像デ一夕の偶数番目の画素を抽出してフレームバッファの左側画像部分に格納するとともに、右目用画像データの奇数番目の画素を抽出してフレームバッファの右側画像部分に格納する左右方式にも適用できる。この表示方式は、裸眼立体視用 CRT等に採用されているものである。逆に、右目用画像データの偶数番目の画素をフレームバッファの左側画像部分に、左目用画像データを奇数番目の画素をフレームバッファの右側画像部分に格納する方式にも適用可能である。また、図 40に示すように、左目用画像データを偶数番目のフレームバッファに格納するとともに、右目用画像データの奇数番目のフレームバッファに格納する 2フレーム方式にも適用できる。この表示方式は、立体視プロジェクタ等で採用されているものである。逆に、右目用画像データを偶数番目フレームのフレームバッファに、左目用画像データの奇数番目のフレームバッファに格納する方式にも適用できる。

また、図 41に示すように、左目用画像データと右目用画像データファイルとそれぞれ別々のファイルに格納する O d d— e V e nファイル分離方式にも適用できる。この表示方式は立体視プロジェクタ等で採用されているものである。

< 3. データ格納領域 >

右目用画像と左目用画像を別領域に格納することも可能である。この場合は、画素移動処理（図 7、ステップ S 1 1 0) を図 42に示すように行えばよい。図 32を用いて説明した第 1実施形態にかかる画素移動処理と、本変形例の画素移動処理との違いは、図 32のステップ S 1 007 -S 10 1 1に替えて、図 42 のステップ S 1057〜 1060を行う点である。すなわち、左目用画像データと右目用画像データを、それぞれ L i ma g e 3 dと R ima g e 3 dで示される左目用画像データ領域と右目用画像データ領域に格納している点が異なる。具体的には、ステップ S 1056において視差値 S Sが算出されると、 MV 1 に（CN+S S) の値を代入するとともに、 MV2に（CN— S S) の値を代入する（ステップ S 1 057) 。次いで、原画像データの（s r c +MV 1 ) の位置の画素のデータを L i ma g e 3 dへ格納し（ステップ S 1058) 、原画像データの（ s r c +MV 2 ) の位置の画素のデ一夕を R i m a g e 3 dへ格納する（ステップ S 1 0 59) 。次に、 L i ma g e 3 dの値を 1つ増やし、 R i m a g e 3 dの値を 1つ増やし、 o u t i n f oの値を 1つ増やし、 CWDの値を 1つ増やして（ステップ S 1060)、ステップ S 1 054へ戻り同様の処理を繰り返す。

<4. データ種類 >

ところで、上述した実施形態では、処理対象とする画像データを、二次元カラ一画像データとしているが、本発明は、白黒映画の動画データのような二次元白黒多階調画像データについても同様に適用することができる。また、上記実施形態では、加工される元画像データは動画デ一夕の 1フレーム分のデータとしているが、静止画デ一夕であってもよいことは言うまでもない。

< 5 . Z値算出 >

上記実施形態においては、原画像の R値、 G値、 B値にそれぞれ 0 . 5 9、 0 . 3、 0 . 1 1程度の係数を乗じたものを Z値としていたが、係数の組み合わせはこれに限定されない。各ユーザが感じる立体感が最も自然となるように、あるいは各ユーザの好みに合わせて、当該係数を適宜変更することが可能である。また、画像の色表現として、 R G B表現ではなく輝度、彩度、色相に基づいた表現も用いてもよい。あるいは、 A R G B表現（「A」はアルファ色成分を表す）等を用いてもよいことは言うまでもない。

< 6 . 被写体特定 >

上記実施形態においては、 Z値の等高線を算出し、これに基づいて被写体を特定し、当該被写体に対応する画素の Z値を補正していた。しかしながら、被写体を特定する方法はこれに限らない。例えば、輝度、彩度、あるいは色相情報から輪郭（エッジ）を検出し、該エッジで囲まれた領域を一物体であると判定してもよい。

<第 2実施形態 >

ぐ A. 装置の構成 >

以下、本発明の第 2実施形態について説明する。なお、第 1実施形態と同様の構成要素には同様の参照符号を付してある。第 2実施形態が第 1実施形態と異なるのは、立体視画像形成装置 1に替えて携帯端末 1 Aを用いる点である。図 4 3 に携帯端末 1 Aの機能構成図を、図 4 4にその外観図を示す。図 4 4に示すように、携帯端末 1 Aは、例えば携帯電話機である。以下、第 1実施形態との差異に着目して、本実施形態を説明する。

図 4 3において、無線通信ュニット 2 7は、アンテナ A Tを含み、この携帯端末装置を移動体通信網へ接続し、動画データを含む各種データの送受信を行う。通話ュニット 2 8は、スピーカュニットおよびマイクュニットを含み、音声通信を行う。表示部 2 1 aは、非立体視モードの画像表示機能と立体視モードの画像表示機能を備えたものであり、裸眼立体視が可能な表示パネルを備えている。また、表示制御部 2 2 aは、表示部 2 1 aの表示内容を制御するためのものである。入力操作部 3 0は、テンキーやカーソルキー等の入力デバイスであり、これを用いてユーザは携帯端末 1 Aに対して指示等を入力する。

ここで、図 4 5および図 4 6を用いて、裸眼立体視の原理を簡単に説明する。図 4 5に示すように、表示部 2 1 aは、バックライト 2 1 1、液晶パネル 2 1 2、およびパララックス液晶パネル 2 1 3を備えている。パララックス液晶パネル 2 1 3は、一定間隔で縦方向にスリッ卜 2 1 4が設けられている。この状態で、液晶パネルに左目用画像 L 1〜L 5、右目用画像 R：！〜 R 5が、スリット間隔と同じ間隔でストライプ状に表示され、かつ観察者が画面から所定の距離だけ離れたとすると、左目用画像 L 1〜L 5は左目にのみ、右目用画像 R 1〜R 5は右目にのみ到達する。よって、左目用画像 L 1〜： L 5と右目用画像 R 1〜R 5とを一定の視差を有するように作成すれば、裸眼立体視が実現されるというしくみである。図 4 4に戻り、携帯端末 1 A筐体の下部には電話番号等を入力するためのテンキー T Kが設けられており、その上側にはファンクションキー F Kおよび表示モ一ドを非立体視モード（2 Dモード）と立体視モード（3 Dモード）に切換えるための切換スィッチ D Kが設けられている。その上部には、液晶部 2 1 aの表示画面が配設されており、さらにその上部には、アンテナ A Tが設けられる。また、通話ュニット 2 8のスピーカュニッ卜のための孔部 2 8 aと、マイクュニットのための孔部 2 8 bがそれぞれ適宜な場所に設けられている。

< 2 . 動作〉

<A. 静止画表示 >

図 4 7は、携帯端末 1 Aにおいて、携帯端末 1 Aに格納された静止画像を表示する場合の処理の一例を示している。

まず、携帯端末 1 Aに電源が投入されたのち、ユーザが所定の操作を行って画像を選択すると（ステップ S 2 0 0 1 )、 C P U 1 1は表示モードを非立体視モード（2 Dモード）に設定する（ステップ S 2 0 0 0 ) 。次に、 C P U 1 1は当該画像のデータを表示制御部 2 2 aへ出力する（ステップ S 2 0 0 2 ) 。これにより、移動体通信端末装置のユーザは、通常の静止画を見ることができる。ユーザが当該画像表示の中止を指示すると（ステップ S 2003, NOかつステツプ S 2004、 YES) 、 CPU 1 1は当該画像の表示を中止する（ステツプ S 2005 ) 。

切換スィッチ DKが操作された場合（ステップ S 2003、 YES) 、 CPU 1 1は表示モードを立体視表示モードにセットし（ステップ S 2006) 、立体視用画像表示データ作成処理を行う（ステップ S 2007 ) 。 CPU 1 1は作成されたデータを表示制御部 22 aへ出力する（ステップ S 2008) 。これにより、ユーザは立体視画像を見ることができる。なお、立体視用画像データの作成方法は、第 1実施形態で用いた方法と同様であるので、その説明は省略する。ユーザが表示の終了を指示すると（ステップ S 2009、 NOかつステップ S 2 1 10、 YES) 、当該画像の表示を終了する（ステップ S 2 1 1 1 ) 。ユーザが再び切換スィッチ DKを操作すると（ステップ S 2009、 YES) 、ステップ S 200 1へ戻り、携帯端末 1 Aを非立体視モード（2Dモード）に設定する。

<B. 動画表示 >

図 48は、携帯端末 1 Aにおいて、移動通信網を介して動画をダウンロードして表示する場合の処理の一例を示している。

まず、携帯端末 1 Aの電源が投入されると、 CPU1 1は表示モードを非立体視モード（2Dモード）に設定する（ステップ S 3001 ) 。ユーザが所定の操作を行うと、複数のフレームの画像デ一夕から構成された動画データを受信する (ステップ S 3002) 。すると、 CPU 1 1は、受信した動画データを RAM 1 3に格納し、当該データの先頭の 1フレームの画像デ一夕を表示制御部 22 a へ出力する（ステップ S 3203) 。次いで、 CPU 1 1は受信した動画データに後続フレームがあるかどうかを判定する（ステップ S 3004)。後続フレームがない場合（ステップ S 3004、 NO) 、または後続フレームはあるがユーザから表示終了の指示があった場合、（ステップ S 3007、 YE S) 、当該表示を終了する（ステップ S 300 5 ) 。後続フレームがある場合（ステップ S 3 004、 YES) 、 RAM 1 3から当該フレームの画像データを読み出して、表示制御部 22 aへ出力する。このうに、ユーザが切換スィッチ DKの操作、または画像表示の終了の指定のいずれかを行うまで、 1フレームずつ画像を読み込みだして、それを表示部に出力していく（ステップ S 3006、 NOかつ S 3007、 NO) 。ユーザが画像表示の終 fを指定すると（ステップ S 3006、 NOかつステップ S 3007、 YE S) , 画像表示を終了する（ステップ S 3005 ) 。以上により、初期状態では、移動体通信端末装置のユーザは、非立体視モードの動画を見ることができる。

ユーザが切換スィツチ DKを操作すると（ステップ S 3006、 YE S) 、 C PU 1 1は表示モードを立体視表示モードに設定する（ステップ S 3008 ) 。次に、当該フレームの次のフレームにかかる画像データを； RAMI 3から読み出す（ステップ S 3009 ) 。読み出した画像データについて上述した立体視表示データ作成処理を行い（ステップ S 30 1 0)、表示制御部 22 aへ出力する（ステツプ S 30 1 1)。これにより、ユーザは立体視用の動画を見ることができる。後続のフレームが存在しなくなった (ステップ S 30 1 2、 NO) 、ユーザが切換え操作を行った（ステップ S 30 1 3、 YES) 、ユーザが表示終了を指示した（ステップ S 30 14、 YES) のいずれかの場合に該当するまで、立体視用動画を一フレームずつ順次表示し続ける。

ユーザが切換スィツチ DKを操作すると (ステップ S 30 1 3、 YES) 、ステツプ S 300 1へ戻り、 CPU1 1は表示モードを非立体視モード（2Dモード）に設定して、次フレームの表示制御部 22 aへ出力する。

このように本実施形態によれば、ユーザが切換スィツチ DKを操作するたびに、表示部 2 1 aに表示される画像（静止画または動画）が、通常の画像と立体視画像とにリアルタイムに切り替わる。これにより、ユーザは通常の画像と立体視画像とを適宜切換えて鑑賞することができるため、立体視画像の楽しみ方が広がる _c 例えば、通常は非立体視モードで動画を鑑賞し、好みの所望のシーンが始まると立体視モードに切換えて鑑賞するといつたことが可能になる。

なお、本実施形態においては、動画データを一括してダウンロードしたのち再生することを仮定しているが、動画の受信および再生方法はこれに限らない。例えば、全動画データの内うつの一部を逐次受信しながら再生していく、いわゆるストリーミング配信 ·再生であっても構わない。

ぐ第 3実施形態 >

図 4 9は、本発明の第 3実施形態における立体視画像形成装置 1 Bの機能構成図を示す。立体視画像形成装置 1 Bが第 1実施形態における立体視画像形成装置 1と異なるのは、表示制御部 2 2に替えて、表示制御部 2 2 b、第 1データバッファ 3 1、第 2データバッファ 3 2を用いる点、および表示部 2 1に替えて表示部 2 1 bを用いる点である。なお、本実施形態においては、ユーザが液晶シャツタメガネ 3 4を装着することで立体視を実現する方式を採用している。

また、この立体視画像形成装置 1 Bにおいては、第 2実施形態と同様、立体視表示モードと非立体視表示モードとを備えている。立体視表示モード時において、表示制御部 2 2 bは、第 1データバッファ 3 1に左目用画像データを格納し、第 2データバッファ 3 2に右目画像データが格納する。さらに、表示制御部 2 2 b は、切換器 3 3を制御して、第 1のデータバッファ 3 1および第 2の画像データバッファ 3 2を交互に選択する。具体的には、表示部 2 1 bは所定の周期で一画面の描画を更新するが、表示制御部 2 2 bは、この描画更新に同期させて切替器 3 3を切換える。さらに、表示制御部 2 2 bは、この描画更新に同期させて液晶シャツ夕メガネ 3 4の切換動作を行う。

すなわち、切換器 3 3が第 1の画像バッファ 3 1を選択している状態では、液晶シャツ夕メガネ 3 4の左目をオン（透過状態）にするとともにお目をオフ（遮断状態）にし、切換器 3 3が第 2の画像バッファ 3 2を選択している状態では、液晶シャツ夕メガネ 3 4の右目をオン（透過状態）にするとともに左目をオフ（遮断状態）にする。このようにすることにより、左目用画像は左目でのみ視認され、右目用画像は右目でのみ視認されるため、立体視が実現されるのである。

なお、非立体視モードの場合には、表示制御部 2 2 bは、第 1の画像データバッファ 3 1に画像デ一夕を格納し、切換器 3 3により第 1の画像データバッファ 3 1を選択する。

図 5 0は、この立体視画像表示装置 1 Bを用いて、受信した動画を表示する際の処理の一例を示している。本処理の流れは、図 4 8を用いて説明した第 2実施形態と同様であるが、ステップ S 3 0 0 3に替えてステップ S 3 0 0 3 bおよびステップ S 3 0 1 1に替えてステップ S 3 0 1 1 bを設けている点で異なる。すなわち、 2 Dモ一ドにおいては、 C P U 1 1は、 R AM I 3に格納された原画像データのうち、一フレーム分の画像データを抽出して第 1データバッファ 3 1に格納するとともに、切替器を第 1データバッファ 3 1側に選択する（ステツプ S 3 0 0 3 b ) 。これにより、初期状態では、ユーザは非立体視モードの動画を見ることができる。 '

また、 3 Dモードにおいては、表示制御部 2 2 bは、ステップ S 3 0 1 0において作成された立体視用画像のうち左目画像データを第 1データバッファ 3 1 に格納し、右目画像データを第 2データバッファ 3 2に格納する（ステップ S 3 0 1 1 b ) 。そして、表示制御部 2 2 bは、表示部 2 1 bの描画更新に同期させて、切替器 3 3を切換える。このようにして、ユーザは当該フレームを立体視することができる。これを 1フレームずつ行い、当該動画の立体視が実現される。ぐ応用例 >

本発明における立体視画像形成装置を、自動車、電車、飛行機などの操作を訓練するために使用されるシミュレータに適用することが可能である。すなわち、当該シミュレータの画面に立体視'画像を表示させる。これにより、訓練者に現実感を与えることができるので非常に有益である。本発明の立体視画像形成装置 1 Bを組み込んだ運転シミュレータ装置 4 0の一例を図 5 1に示す。

同図において、操作ュニット 4 1はハンドル等の操作デバイスを有する。ユーザの操作情報はシミュレーション処理部 4 2に供給される。シミュレーション処理部 4 2は、操作ュニット 4 1から入力された操作情報に基づき演算処理等を行い、画面に表示すべきデーダを作成する。表示データはフレームバッファ 4 3へ出力される。

立体視画像形成装置 1 Bは、操作ュニット.4 1により 2 Dモード（非立体視表示モード）が指定されている場合には、通常の画像を画面に表示する。 3 Dモード（立体視表示モード）が指定されている場合には、フレームバッファ 4 3に保存されている 1フレーム分画像デ一夕を抽出し立体視画像データを作成して、この画像を画面に表示する。

本発明の立体視画像形成方法を L S I (大規模集積回路）によって実現することが可能である。この L S Iを様々な電子機器に組み込むことにより、低コストで立体視画像を生成することが可能となる。例えば、通信端末装置、デジ夕ルカメラ、受像器、ストレ一ジ型表示装置、内視鏡その他の医療器具に本発明の立体視画像形成方法を適用することが可能である。

以上、本実施形態について説明したが、本発明の範囲は上記実施形態に限定されるものではなく、本発明の範囲を逸脱しない限りにおいて、変形等を行うことが可能であることは言うまでもない。 '

Claims

請求の範囲

1. 画像を構成する複数の画素の画像データに基づいて、各画素に対応する被写体の奥行きを表す奥行き値を算出する算出ステップと、

前記算出ステップにおいて算出された各画素に対応する奥行き値を、当該画素以外の画素に対応する奥行き値を用いて修正する修正ステップと、

各画素の修正後の奥行き値に基づいて各画素の画素移動量を決定し、前記画像を構成する各画素を決定された移動量の分だけ左右にずらすことにより、右目用画像と左目用画像とを作成する作成ステップと

を有することを特徴とする立体視画像作成方法。

2 . 前記算出ステップにおいて、画像データの色成分の各々に所定の係数を乗じることにより奥行き値を算出することを特徴とする請求項 1に記載の立体視画像作成方法。

3 . 前記所定の係数は、人間の網膜に存在する赤錐体、緑錐体、および青錐体の数の割合に等しいことを特徴とする請求項 2に記載の立体視画像作成方法 _c

4 . 前記修正'ステップにおいて、原画像の構図上で手前に位置する被写体を表す画像を構成する画素の奥行き値よりも、原画像の構図上で手前に位置する被写体を表す画像を構成する画素の奥行き値の方が大きくなるように、前記各画素の奥行き値を補正する

ことを特徴とする請求項 1に記載の立体視画像作成方法。

5 . 前記修正ステップにおいて、一の領域に含まれる画素の奥行き値と他の領域に含まれる画素の奥行き値とを比較することにより、前記画像における奥行き値の変化傾向を解析し、

得られた解析結果が所定のものである場合、前記作成ステップにおいて、前記奥行き値と前記画素移動量との大小関係を逆転させることを特徴とする請求項 1に記載の立体視画像作成方法。

6 . 前記修正ステップにおいて、当該画素を含む領域に含まれる画素の奥行き値の平均値を算出し、当該画素の奥行き値を当該平均値に置き換える

ことを特徴とする請求項 1に記載の立体視画像作成方法。

7 . 前記修正ステップにおいて、前記画像における奥行き値の分布および全画素の奥行き値の平均値を算出し、該算出した平均値を用いて当該分布の偏りを補正する

ことを特徴とする請求項 1に記載の立体視画像作成方法。

8 . 前記修正ステップにおいて、前記算出された奥行き値を参照して、前記画像デー夕によって表される画像中の少なくとも一以上の被写体の画像を特定し、該被写体に対応する領域内の画素の奥行き値に基づいて当該画素の奥行き値を修正する

ことを特徴とする請求項 1に記載の立体視画像作成方法。

9 . 前記修正ステップにおいて、ユーザによって指定されるパラメータ値を用いて、奥行き値の量子化ステップを定める

ことを特徴とする請求項 1に記載の立体視画像作成方法。

1 0 . 前記修正ステップにおいて、ュ一ザによって指定されるパラメ一夕値を用いて、前記算出された奥行き値のとり得る値の上限値または下限値のいずれか一つを決定する

ことを特徵とする請求項 1に記載の立体視画像作成方法。

1 1 . 複数の画像から構成される動画像を取得するステップを更に備え、前記取得した画像の各々から立体視画像を作成することにより、前記動画像に対応する立体視画像をリアルタイムに作成することを特徴とする請求項 1に記載の立体視画像作成方法。

1 2 . 画像を構成する複数の画素の画像データに基づいて、各画素に対応する被写体の奥行きを表す奥行き値を算出する算出手段と、

前記算出ステップにおいて算出された各画素に対応する奥行き値を、当該画素以外の画素に対応する奥行き値を用いて修正する修正手段と、

各画素の修正後の奥行き値に基づいて各画素の画素移動量を決定し、前記画像を構成する各画素を決定された移動量の分だけ左右にずらすことにより、右目用画像と左目用画像とを作成する作成手段と

を有することを特徴とする立体視画像作成装置。

1 3 . 前記修正手段において用いられるパラメ一夕をユーザから取得する取得手段を更に備えることを特徴とする請求項 1 1に記載の立体視画像作成装置

1 4 . 前記パラメ一夕は前記奥行き値の上限値または下限値を表すことを特徴とする請求項 1 2に記載の立体視画像作成装置。

1 5 . 前記パラメ一夕は前記奥行き値の量子化ステップを表すことを特徴とする請求項 1 2に記載の立体視画像作成装置。

1 6 . 該作成された、右目用画像および左目用画像の画像データを格納する格納手段と、

前記格納手段に格納されている画像デ一夕で表される画像を、所定の方式に従つて表示する表示手段と

を更に備えることを特徴とする請求項 1 2に記載の立体視画像作成装置。

1 7 . コンピュータを、

画像を構成する複数の画素の画像データに基づいて、各画素に対応する被写体の奥行きを表す奥行き値を算出する手段と、前記算出ステップにおいて算出された各画素に対応する奥行き値を、当該画素以外の画素に対応する奥行き値を用いて修正する手段と、

各画素の修正後の奥行き値に基づいて各画素の画素移動量を決定し、前記画像を構成する各画素を、決定された移動量の分だけ左右にずらすことにより、右目用画像と左目用画像とを作成する手段と

して機能させるためのプログラム。