JP4562457B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、任意に定められた視点からの左右眼用平面画像データからなる両眼立体視用画像データから平面画像を生成し出力する画像処理装置及び画像処理方法に関する。

従来、両眼立体視可能な３次元画像表示方法の１つとして、各々異なる視点位置からの画像からなる左右両眼用の画像を観察者の左右眼に分離して提示することにより両眼視差を与えて立体的に観察可能とする方法がある。このような画像を基に任意の視点からの平面の画像を生成する方法として、特許文献１、２には、画像観察時に幾何学的に自然に見える平面画像を生成する方法が提案されている。

ここで、図５に基いて、従来の画像処理装置について説明する。図５は、従来の画像処理装置の要部ブロック構成図である。図５に示すように、従来の画像処理装置は、画像入力手段１、平面画像生成手段２、及び、画像出力手段５とを備えた画像処理装置である。前記画像入力手段１は、例えば、任意に定められた視点からの、左眼用及び右眼用平面画像データからなる両眼立体視用画像データを入力として受け取り、続いて、平面画像生成手段２が、入力された前記両眼立体視用画像データの全てを、従来技術である画像処理方法を用いて、平面画像データに変換処理して出力する。よって、従来の画像処理装置では、上述したように前記平面画像生成手段２が生成した前記平面画像データについて、いかなる補正も実施していない。
特開２００２−３２４２４９号公報 特開２００２−５６４０７号公報

しかし、両眼立体視画像から平面画像を生成する際に、両眼立体視画像入力デバイスの撮影時の撮影条件が不適切である場合、例えば露光不足であったり、ホワイトバランスが不適切であったりした場合には、不自然な画像が得られてしまうので問題である。

また、近景には比較的高い空間周波数成分が多く含まれるため、近景の画質を高画質にするためには非常に多くの演算を必要としてしまう。よって、演算の速度も低下し、装置も大規模となってしまうので問題である。なお、遠景には比較的低い空間周波数成分が多いためこのような処理は必要無い。

また、例えば肌色の壁の前に人物が存在するような画像をモニタ等の画像表示装置やプリンタ等の画像形成装置を用いて表示、出力する際に、背景と人物とに同一の画像処理を施すと、人物の肌の色が人間が観念的に肌の色として認識する色と異なってしまい不自然に知覚される画像が得られてしまうという問題がある。

更に、特許文献１、２に示される方法で作成された平面画像は、空間内の特定の１視点からの平面画像を再現するに過ぎず、また、該文献１、２には、上述の不自然な平面画像に対しての、いかなる補正手段も開示されていない。

従って、本発明は上記のような問題点に鑑み、上述の前記平面画像生成手段２が生成した前記平面画像データに対して、前記両眼立体視画像データから得られる距離情報に基いて、各種の画像補正手段を実施し、より自然な平面画像を生成することを特徴とする画像処理装置を提供することを目的とする。

請求項１記載の発明は、任意に定められた視点からの左右眼用平面画像データからなる両眼立体視用画像データを入力する画像入力手段と、入力された前記両眼立体視用画像データに基いて、平面画像データを生成する平面画像生成手段と、前記両眼立体視用画像データに基く両眼立体視用画像を観察する際の１視点から、３次元空間内の各点までの距離を判別する距離判別手段と、前記３次元空間内の各点の色彩情報を判別する色彩情報判別手段と、前記距離判別手段によって判別された、前記３次元空間内の各点についての距離情報、及び、前記色彩情報判別手段によって判別された、前記３次元空間内の各点についての色彩情報を用いて、前記平面画像内のオブジェクトの属性を判別するオブジェクト判別手段と、前記オブジェクト判別手段により判別された各オブジェクトの中から、主被写体を判別する主被写体判別手段と、前記オブジェクト判別手段により判別された各オブジェクトの空間的配置から画像種を判別する画像種判別手段と、前記平面画像データの補正をする画像補正手段と、前記画像補正手段により補正された平面画像データを出力する画像出力手段とを具備し、前記画像補正手段は、前記主被写体判別手段によって判別された前記主被写体の種別と、前記画像種判別手段によって判別された前記画像種の組み合わせ毎に異なる、前記平面画像データの補正をする画像処理装置としたことを特徴とする。

請求項２記載の発明は、前記主被写体判別手段によって判別された複数の前記主被写体の種別と、前記オブジェクト判別手段によって判別された複数の前記画像種の組み合わせに対応した複数の補正データを記憶する記憶手段と、前記記憶手段に記憶された複数の補正データの中から前記主被写体判別手段によって判別された前記主被写体の種別と、前記画像種判別手段によって判別された前記画像種の組み合わせに対応した補正データを選択する選択手段とを具備し、前記画像補正手段は、前記選択された補正データを用いて前記平面画像データの補正をする請求項１記載の画像処理装置としたことを特徴とする。

請求項３記載の発明は、前記画像補正手段は、色に関する補正をする請求項１又は２のいずれかに記載の画像処理装置としたことを特徴とする。

請求項４記載の発明は、前記画像補正手段は、前記主被写体判別手段によって判別された前記主被写体が特定のオブジェクトである場合に、該オブジェクトに対して人間が観念的に抱く色に基づいて色の補正をする請求項３記載の画像処理装置としたことを特徴とする。

請求項５記載の発明は、任意に定められた視点からの左右眼用平面画像データからなる両眼立体視用画像データを入力する画像入力手段による画像入力工程と、入力された前記両眼立体視用画像データに基いて、平面画像データを生成する平面画像生成手段による平面画像生成工程と、前記両眼立体視用画像データに基く両眼立体視用画像を観察する際の１視点から、３次元空間内の各点までの距離を判別する距離判別手段による距離判別工程と、前記３次元空間内の各点の色彩情報を判別する色彩情報判別手段による色彩情報判別工程と、前記距離判別工程によって判別された、前記３次元空間内の各点についての距離情報、及び、前記色彩情報判別工程によって判別された、前記３次元空間内の各点についての色彩情報を用いて、前記平面画像内のオブジェクトの属性を判別するオブジェクト判別手段によるオブジェクト判別工程と、前記オブジェクト判別工程により判別された各前記オブジェクトの中から、主被写体を判別する主被写体判別手段による主被写体判別工程と、前記オブジェクト判別工程により判別された各オブジェクトの空間的配置から画像種を判別する画像種判別手段による画像種判別工程と、前記平面画像データの補正をする画像補正手段による画像補正工程と、前記画像補正工程により補正された平面画像データを出力する画像出力手段による画像出力工程とを具備し、前記画像補正工程は、前記主被写体判別工程によって判別された前記主被写体の種別と、前記画像種判別工程によって判別された前記画像種の組み合わせ毎に異なる、前記平面画像データの補正をする画像処理方法としたことを特徴とする。

請求項６記載の発明は、前記主被写体判別工程によって判別された複数の前記主被写体の種別と、前記オブジェクト判別工程によって判別された複数の前記画像種の組み合わせに対応した複数の補正データを記憶する記憶手段による記憶工程と、前記記憶工程に記憶された前記複数の補正データの中から前記主被写体判別手段によって判別された前記主被写体の種別と、前記画像種判別工程によって判別された前記画像種の組み合わせに対応した補正データを選択する選択手段による選択工程とを具備し、前記画像補正工程は、前記選択された補正データを用いて前記平面画像データの補正をする請求項５記載の画像処理方法としたことを特徴とする。

請求項７記載の発明は、前記画像補正工程は、色に関する補正をする請求項５又は６のいずれかに記載の画像処理方法としたことを特徴とする。

請求項８記載の発明は、前記画像補正工程は、前記主被写体判別工程によって判別された前記主被写体が特定のオブジェクトである場合に、該オブジェクトに対して人間が観念的に抱く色に基づいて色の補正をする請求項７記載の画像処理方法としたことを特徴とする。

本発明によれば、上述の前記平面画像生成手段２が生成した前記平面画像データに対して、前記両眼立体視画像データから得られる距離情報に基いて、各種の画像補正手段を実施することにより、人間の記憶色、画像の種別、及び、主被写体の種別を考慮した優れた色再現性を有し、かつ、最適なシャープネスを有する、より自然な平面画像を簡易かつ高速に生成することができる。

本発明に係る画像処理装置の一の実施形態は、任意に定められた視点からの左眼用及び右眼用平面画像データからなる両眼立体視用画像データを入力する画像入力手段と、入力された前記両眼立体視用画像データに基いて、平面画像データを生成する平面画像生成手段と、両眼立体視用画像データに基く両眼立体視用画像を観察する際の１視点から、３次元空間内の各点までの距離を判別する距離判別手段と、前記距離判別手段によって判別された、前記３次元空間内の各点についての距離情報を用いて、前記平面画像データの補正を行う画像補正手段と、前記平面画像データを出力する画像出力手段とを設ける。その結果、優れた色再現性を有し、かつ、最適なシャープネスを有する、より自然な平面画像を簡易かつ高速に生成することができる。

本発明に係る画像処理装置の第１の実施例を、図１に基いて説明する。図１は、本発明を適用した画像処理装置の要部ブロック構成図である。図１に示すように、本実施例の画像処理装置は、画像入力手段１、平面画像生成手段２、距離判別手段３、画像補正手段４、及び、画像出力手段５とを備えた画像処理装置である。

次に、本実施例の画像処理装置における画像処理工程について説明する。まず、画像入力手段１は、例えば、任意に定められた視点からの、左眼用及び右眼用平面画像データからなる両眼立体視用画像データを入力として受け取る。
ここで、この画像入力手段１が入力として受け取る左眼用及び右眼用平面画像データからなる両眼立体視用画像データについて、添付図面を用いて以下に具体的に説明する。

図６（ａ）、（ｂ）は、左眼に提示される画像１０１の一例を示した図である。図６（ａ）、（ｂ）には、簡略化のため、画面１００及び画面１００に対して異なる奥行き位置に観察される円１０１（点ＡＬと点ＢＬを通る円）のみを図示している。図６（ａ）は、画面１００及び円１０１を正面から見た図であり、図６（ｂ）は、図６（ａ）を真上から見た図である。

図７（ａ）、（ｂ）は、右眼に提示される画像１０２の一例を示した図である。図７（ａ）、図７（ｂ）には、簡略化のため、画面１００及び画面１００に対して異なる奥行き位置に観察される円１０２（点ＡＲと点ＢＲを通る円）のみを図示している。図７（ａ）は、画面１００及び円１０２を正面から見た図であり、図７（ｂ）は、図７（ａ）を真上から見た図である。

図８（ａ）は、実際に提示された状態の画像１０１及び１０２を正面から見た図である。左眼用の画像１０１、右眼用の画像１０２を、各々異なる眼に提示するためには、図８（ａ）に示した実際に提示された状態の画像１０１及び１０２のうち、図６（ａ）に示す左眼用の画像１０１と、図７（ａ）に示す右眼用の画像１０２とを、各々相異なる偏光にて提示し、対応する偏光のみを透過させる眼鏡（偏光眼鏡）を装着して観察する。

または、図９に示すように、左右眼用の画像各々を縦方向に短冊上に細かく分割し、分割された短冊上の領域（右眼用の画像Ｒ₁〜Ｒ₆、左眼用の画像Ｌ₁〜Ｌ₆：図９参照。）を交互に配置し、レンティキュラレンズアレイ１０５等の光学系を介して観察する。または、図１０に示すように、左右眼用の画像各々を縦方向に短冊上に細かく分割し、分割された短冊上の領域（右眼用の画像Ｒ₁〜Ｒ₅、左眼用の画像Ｌ₁〜Ｌ₅：図１０参照。）を交互に配置し、パララックス・バリア１０６を介して観察する方式等が一般的である。

図８（ｂ）は、図８（ａ）に示した画像１０１及び画像１０２を観察する様子を示した図であり、図８（ａ）を真上からみた図である。図８（ｂ）に示すように、ＡＲとＢＲは右眼のみに、ＡＬとＢＬは左眼にのみ提示されるため、ＡＢで示される位置（みかけの位置）に立体的な一つの円が観察されることになる。以上説明したことからわかるように、両眼立体視用画像データは、左眼用平面画像データ（例：画像１０１：図６、図８参照。）及び右眼用平面画像データ（例：画像１０２：図７、図８参照。）とから構成され、それぞれのデータを観察者の左眼のみ、右眼のみに提示させることによって、一つの画像を立体的に観察者に知覚させるものである。

また、図８（ｃ）に示すように、左眼１０３、右眼１０４、及び、注視点Ｘ（Ｏ）とが成す角は輻輳角β（α）と呼ばれ、輻輳角が大きい程見かけの位置は近くなる。また、注視点であるＸとＯの２点が同一空間内にある場合に、注視点Ｏ、左眼１０３、及び、右眼１０４とが成す角αと、注視点Ｘ、左目１０３、及び、右眼１０４とが成す角βの差は、両眼視差と呼ばれ、両点ＸとＯの空間内における位置の認識に利用される。

続いて、距離判別手段３は、前記両眼立体視用画像データとして用いられる、前記左眼及び右眼の各視点から得られる前記左眼用平面画像データ及び右眼用平面画像データにおいて、それぞれ対応する点の視差角を算出し、該前記左眼用平面画像データ及び右眼用平面画像データを観察者の左眼又は右眼に提示することにより得られる、観察者により立体的に観察される提示画像及び該提示画像を含んだ３次元空間において、該３次元空間内における該提示画像の各点の相対位置を算出する。

ここで、それぞれ対応する点とは、図８に示したようなＡＲとＡＬ、ＢＲとＢＬ、又は、図１１のＸＲとＸＬのような関係の点（両眼対応点）のことをいう。図１１に示すように、観察距離が既知（ｄ）であれば、注視点Ｘの見かけの距離ｄ₁は（Ｏに対する相対位置）、線分ＸＲＸＬの長さａと、線分ＬＲの長さｂからｄｂ／（ａ＋ｂ）で与えられる。

続いて、例えば、ここに図示しない視点位置指示手段等を用いて、観察者（使用者）が、観察者により知覚される３次元空間内における観察者の視点を任意に１点指示するなどして、３次元空間内の観察者の視点が決定されると、距離判別手段３は、前記両眼立体視用画像データに基いて、観察者により観察される３次元空間内の各点と、決定された視点との絶対距離を求める。
ここで上述の視点位置指示手段について説明する。図１２、図１３は、視点位置指示手段の例を示した図である。図１２に示した視点位置指示手段は、ＰＣ１０７、モニタ１０８、キーボード１１０、マウス１１１とを備え、モニタ１０８に表示される座標入力用ウインドウ１０９を利用して、観察者の画面に対する観察距離、及び、画面に平行な平面上における提示画像各点の画面中央に対する座標をキーボード１１０を用いて入力する。また、図１３に示した視点位置指示手段は、ＰＣ１０７、モニタ１０８、ＣＣＤカメラ１１２とを備えており、このＣＣＤカメラ１１２は、モニタの画面周辺部に設置され、観察者の両眼の位置を検出する。この観察者の両眼の位置を検出する方法の一例について説明すると、ＣＣＤカメラ１１２が捉えた観察者の眼の白眼部と黒眼部との反射率の差が非常に高いことを利用して、瞳を切り出し、観察者の両眼の位置を特定する。また、ＣＣＤカメラ１１２は、オートフォーカス機構を備えており、画面に対する距離はフォーカス距離で決定される。

一方、平面画像生成手段２は、入力された前記両眼立体視用画像データの全てを、例えば、特開２００２−３２４２４９号公報に開示されている平面画像処理方法を用いて、前記決定された視点からの平面画像データに変換処理する。該平面画像処理方法は、２視点からの２次元データ平面データである画像において対応する点を８組以上と、画像の特徴を表す線分である特徴線を任意の本数指定することにより２画像間の視点を補間してその内挿画像を表示する方法である。

続いて、画像補正手段４は、平面画像生成手段２により得られた前記平面画像データに対して、距離判別手段３によって判別された、前記３次元空間内の各点と前記決定された視点との距離情報に基づいて、両眼立体視画像観察時に等距離にあると観察される点群に対しては、同一の補正データを用いて補正処理を行う。また、両眼立体視画像観察時に距離が異なると観察される点群に対しては、異なる補正データを用いて補正処理を行う。

ここで、前記両眼立体視画像観察時に等距離にあると観察される点群について、以下に具体的に説明する。前記両眼立体視画像観察時に等距離にあると観察される点群とは、左右眼用各画像（例えば、図６、図８に示す左眼用画像である画像１０１、図７、図８に示す右眼用画像である画像１０２）のローカルな座標系における両眼対応点（図８に示すＡＲとＡＬ、ＢＲとＢＬ、または、図１１に示すＸＲとＸＬのような関係の点）の水平方向位置の差が等しい点群である。図１４、図１５において、（ＡＲ−ＯＬ）−（ＡＲ−ＯＲ）＝（ＢＬ−ＯＬ）−（ＢＲ−ＯＲ）ならばＡＬとＢＬ、及び、ＡＲとＢＲは等距離に観察される。

従って、左右両眼用画像間にて対応している両眼対応点が予め既知であるならば、左眼用画像内の点ＸＬと、右眼用画像内におけるその対応点であるＸＲ、各々に対して（ＸＬ−ＯＬ）−（ＸＲ−ＯＲ）を対応付けたデータを予め用意し、これを参照することによって等距離と観察される点群を知ることができる。

また、左右両眼用画像間にて対応している両眼対応点が予め既知でない場合においては、前記両眼立体視画像観察時に等距離にあると観察される点群を求める方法について図１６を用いて以下に説明する。図１６に示すように、まず、左眼用画像及び右眼用画像の各々に対してＳｏｂｅｌフィルタ等の１次微分フィルタやラプラシアンフィルタ等の２次微分フィルタ等を用いて輪郭の検出を行う（ステップ１０１、１０２）。
次に、検出された輪郭による閉領域としてオブジェクトを抽出する（ステップ１０３、１０４）。

次に、左眼用画像又は右眼用画像のどちらかの画像において抽出された各オブジェクトを他方の画像の同じ垂直位置にて水平方向にコンボリューションを計算し、最も計算値の高い位置を特定する。この特定された位置のオブジェクトが対応する画像における対応するオブジェクトと判定される（ステップ１０５）。そして、対応するオブジェクト内のローカルな座標が等しい点同士を両眼対応点として判定する(ステップ１０６)。この判定された各点に対し、（ＸＬ−ＯＬ）−（ＸＲ−ＯＲ）を計算する（ステップ１０７）。そして、以上述べた手順で得られた各計算値をそれぞれ比較することによって等距離と観察される点群を知ることができる（ステップ１０８）。

以上説明したような方法によって、観察される際の各点の奥行き方向に対する相対位置を知ることができる（（ＸＬ−ＯＬ）−（ＸＲ−ＯＲ）の値が大きい程近くに観察される）。彩度の変化やコントラストの変化は人間が奥行きを知覚する際の非常に重要な手がかりであるため、両眼で立体視観察するべき画像を２次元画像化する際に、より近くに観察されるべきオブジェクトの彩度を上げる、オブジェクト内のコントラストを上げる等の補正を行うと、より自然な２次元画像が得られる。補正としては、例えば彩度を補正する際には、補正後の彩度をＣは補正前の彩度Ｃ₀と観察される距離Ｄ（Ｄ＞＝０）の関数として、Ｃ＝Ｃ₀ｅｘｐ（−Ｄ²／２σ²）のような連続的に減衰する関数を用いれば良い。この例の場合σの値を変化させることにより減衰の度合いを調整することが可能となる。

そして、画像補正手段４により補正された前記平面画像データは、画像出力手段５により出力される。ここで、例えば、画像出力手段５がモニタ等の画像表示装置である場合には、前記平面画像データは、該画像表示装置の画像表示画面に平面画像として表示される。また、画像出力手段５がプリンタ等の印字装置である場合は、前記平面画像データは、から紙、ＯＨＰ等に両眼立体視画像ではない通常の平面画像として出力される。

なお、本実施例で行なわれる画像補正処理が色の補正処理である場合には、例えば遠景と判断された面では、比較的高空間周波数成分が少ないために、少ない色数で再現されても画像観察時の違和感が少ないため、入力画素値のビット数に対して出力画素値のビット数を減らす等の処理を行う。
その結果、得られる平面画像を、色の補正処理により、優れた色再現性を有した、より自然な平面画像とすることができる。また、入力画素値のビット数に対して出力画素値のビット数を減らす等の処理により、簡易で高速に平面画像を得ることができる。

なお、前記遠景と判断された面の判断基準について具体的に説明すると、遠景であることは、既に説明した、（ＸＬ−ＯＬ）−（ＸＲ−ＯＲ）の値の大小を参照することにより判断する。よって、図１７に示すように、モニタ面よりも遠くに観察される点Ｘは、この値（（ＸＬ−ＯＬ）−（ＸＲ−ＯＲ）の値）が負となる。そして、遠景であるか否かの明確な基準はないが、モニタ面までの距離に対して知覚される距離のオーダーが一桁以上も違えばこのような点群から構成される面を遠景と判断して差し支えない。

また、本実施例で行なわれる画像補正処理がシャープネスの補正処理である場合には、例えば近景と判断された面に対しては、比較的高空間周波数成分が多いため、必要ならばエッジ強調処理等の処理を行う。
その結果、得られる平面画像を、シャープネスの補正処理により、好ましいシャープネスを有した、より自然な平面画像とすることができる。

なお、前記近景と判断された面の判断基準について具体的に説明すると、既に説明した遠景と判断された面の判断基準と同様に、近景であることは、（ＸＬ−ＯＬ）−（ＸＲ−ＯＲ）の値の大小を参照することにより判断する。よって、モニタ面よりも近くに観察される点Ｘは、この値（（ＸＬ−ＯＬ）−（ＸＲ−ＯＲ）の値）が正となる。そして、近景であるか否かの明確な基準はないが、モニタ面までの距離に対して知覚される距離のオーダーが一桁以上も違えばこのような点群から構成される面を近景と判断して差し支えない。

本実施例によれば、上述の前記平面画像生成手段２が生成した前記平面画像データに対して、前記両眼立体視画像データからの距離情報を取得することによって、両眼立体視画像観察時に等距離にあると観察される点群に対しては、同一の補正データを用いて補正処理を行うことができる。また、両眼立体視画像観察時に距離が異なると観察される点群に対しては、異なる補正データを用いて補正処理を行うことができる。また、色の補正、シャープネスの補正等の各種の画像補正手段を適宜実施することができる。

従って、本実施例によれば、優れた色再現性を有し、又は、最適なシャープネスを有する、より自然な平面画像を簡易かつ高速に生成することができる。

本発明に係る画像処理装置の第２の実施例を、図２に基いて説明する。図２は、本発明を適用した画像処理装置の要部ブロック構成図である。図２に示すように、本実施例の画像処理装置は、画像入力手段１、平面画像生成手段２、距離判別手段３、画像補正手段４、画像出力手段５、記憶手段６、距離範囲判別手段７、及び、選択手段８とを備えた画像処理装置である。

次に、本実施例の画像生成装置における画像処理工程について説明する。まず、画像入力手段１は、例えば、任意に定められた視点からの、左眼用及び右眼用平面画像データからなる両眼立体視用画像データを入力として受け取る。

続いて、距離判別手段３は、前記両眼立体視用画像データを用いることにより、前記左眼用及び右眼用平面画像データの各視点からの両眼立体視用画像データにおいて、それぞれ対応する点の視差角を算出し、前記両眼立体視用画像データの各点の、３次元空間内における相対位置を算出する。

続いて、例えば、ここに図示しない視点位置指示手段等を用いて、使用者が知覚される３次元空間内の視点を任意に１点指示するなどして、３次元空間内の視点が決定されと、距離判別手段３は、前記両眼立体視用画像データに基く３次元空間内の各点と、決定された視点との絶対距離を求める。

なお、平面画像生成手段２では、入力された前記両眼立体視用画像データの全てを、上述したような平面画像処理方法を用いて、前記決定された視点からの平面画像データに変換処理する。

ここで、前記記憶手段６は、極近距離、近距離、中距離、遠距離、極遠距離等の複数の被観察距離範囲に対応した補正データを記憶するものである。なお、このような複数の被観察距離範囲に対応した補正データを用いて補正を行うことは（言い換えると、距離に応じて連続的な関数を用いて補正を行うことは）、数段階のレベルで補正テーブルを用意しておいてＬＵＴ演算をすることを意味し、データ処理を軽く済ますことができる。

そして、前記距離範囲判別手段７は、前記両眼立体視用画像データに基づく両眼立体視画像を観察する際の１視点からの、前記両眼立体視用画像データの各点が、前記記憶手段６に記憶された複数の被観察距離範囲のいずれに属するかを判別する。

続いて、前記選択手段８は、前記記憶手段６に記憶された複数の補正データの中から前記距離範囲判別手段７によって判別された各点の距離範囲に対応した補正データを選択する。ここで、前記選択手段８が、前記記憶手段６に記憶された複数の補正データの中から前記距離範囲判別手段７によって判別された各点の距離範囲に対応した補正データを選択する方法について以下に具体的に説明する。
距離範囲を極近距離（０〜ａ）、近距離（ａ〜ｂ）、中距離（ｂ〜ｃ）、遠距離（ｃ〜ｄ）、極遠距離（ｄ〜）とすると、まず、点の観察される距離（Ｄ）が、どの距離範囲にあるか判定する。具体的には、ａ、ｂ、ｃ、ｄのいずれかとＤとを比較し、ａ、ｂ、ｃ、ｄのいずれかに対してＤが小さくなるまで大小比較判定をくり返すことにより、Ｄがどの距離範囲にあるかを判定する。なお、ｄよりもＤが大きい場合には極遠距離と判定する。続いて、判定された距離に応じた補正データを参照し、該補正データのアドレスを参照して前記記憶手段６から該補正データを取得する。

続いて、平面画像生成手段２より生成された前記平面画像データに対して、画像補正手段４が、前記選択手段８により選択された補正データを用いて補正処理を行う。
そして、画像補正手段４により補正された前記平面画像データは、画像出力手段５により出力される。

なお、本実施例で行なわれる画像補正処理が色の補正処理である場合には、複数の被観察距離範囲に対応した補正データは、例えば、入力画素値を出力画素値に変換する際のルックアップテーブルであり、画像観察時に遠距離であるほどマッピングの間隔は粗くても良い。その結果、得られる平面画像を、色の補正処理により、優れた色再現性を有した、より自然な平面画像とすることができる。また、画像観察時に遠距離であるほどマッピングの間隔は粗くても良いので、入力画素値のビット数に対して出力画素値のビット数を減らす等の処理により、簡易で高速に平面画像を得ることができる。

ここで、前記ルックアップテーブルについて説明する。例えば、彩度を補正する際のルックアップテーブルには、補正後の彩度をＣ、補正前の彩度をＣ₀とし、観察される距離をＤ（Ｄ＞＝０）の関数として、Ｃ＝Ｃ₀ｅｘｐ（−Ｄ²／２σ²）のような連続的に減衰する関数を用いることができる。この場合に、Ｄの値を大きく分けて５段階からなるものとして粗く設定することにより、補正後に得られるＣの値も５段階の粗い計算結果として得ることができる。
例えば、上述の関数を用いたルックアップテーブルの一例として、距離の単位をｍ、σ＝１００、距離範囲と設定距離の関係として（極近距離（０〜０．３）＞１、近距離（０．３〜１）＞０．９９９、中距離（１〜１０）＞０．９９９、遠距離（１０〜１００）＞０．９９５、極遠距離（１００ｍ〜）＞０．６０７）のように設定してルックアップテーブルを構成することができる。

また、本実施例で行なわれる画像補正処理がシャープネスの補正処理である場合には、複数の被観察距離範囲に対応した補正データは、例えばエッジ強調フィルタであり近距離と判断された距離範囲に対してはよりエッジ強調の度合いを大きくする。その結果、得られる平面画像を、シャープネスの補正処理により、好ましいシャープネスを有した、より自然な平面画像とすることができる。

本実施例によれば、前記両眼立体視用画像データの各点が、複数の被観察距離範囲のいずれに属するかを判別することができ、記憶された複数の補正データの中から、前記３次元空間の各点の距離範囲に対応した補正データを選択し、上述の平面画像データに対して、前記補正データを用いて、色の補正、シャープネスの補正等の各種の補正を適宜実施することができる。

従って、本実施例によれば、優れた色再現性を有し、又は、最適なシャープネスを有する、より自然な平面画像を簡易かつ高速に生成することができる。

本発明に係る画像処理装置の第３の実施例を、図３に基いて説明する。図３は、本発明を適用した画像処理装置の要部ブロック構成図である。図３に示すように、本実施例の画像処理装置は、画像入力手段１、平面画像生成手段２、距離判別手段３、画像補正手段４、画像出力手段５、記憶手段９、色彩情報判別手段１０、オブジェクト判別手段１１、及び選択手段１２とを備えた画像処理装置である。

次に、本実施例の画像生成装置における画像処理工程について説明する。まず、画像入力手段１は、例えば、任意に定められた視点からの、左眼用及び右眼用平面画像データからなる両眼立体視用画像データを入力として受け取る。

続いて、距離判別手段３は、前記両眼立体視用画像データを用いることにより、前記左眼用及び右眼用平面画像データの各視点からの両眼立体視用画像データにおいて、それぞれ対応する点の視差角を算出し、前記両眼立体視用画像データの各点の、３次元空間内における相対位置を算出する。

続いて、例えば、ここに図示しない視点位置指示手段等を用いて、使用者が知覚される３次元空間内の視点を任意に１点指示するなどして、３次元空間内の視点が決定されと、距離判別手段３は、前記両眼立体視用画像データに基く３次元空間内の各点と、決定された視点との絶対距離を求める。

また、平面画像生成手段２では、入力された前記両眼立体視用画像データの全てを、上述したような平面画像処理方法を用いて、前記決定された視点からの平面画像データに変換処理する。

ここで、前記記憶手段９は、人物の肌の色、木の葉の色、晴天時の空の色等特定のオブジェクトに対して人間が観念的に保持するいわゆる記憶色に対応した複数の色補正データを記憶するものである。ここで、人間が観念的に保持するいわゆる記憶色とは、人間が成長の過程において、肌、木の葉、晴天時の空といった特定のオブジェクトに対して環境的、文化的、地理的、人種的に記憶として関連づけた色のことをいう。

そして、距離判別手段３によって判別された、前記３次元空間内の各点の距離情報および、前記色彩情報判別手段１０によって判別された前記３次元空間内の各点の色彩情報を用いて、前記平面画像データ内の各オブジェクトが、前記特定のオブジェクトであるか否かをオブジェクト判別手段１１により判別する。

続いて、前記選択手段１２は、前記記憶手段９に記憶された色補正データの中から判別されたオブジェクトに対応した色補正データを選択する。

続いて、平面画像生成手段２より生成された前記平面画像データに対して、画像補正手段４が、前記選択手段９により選択された色補正データを用いて適切な色補正を各オブジェクト毎に行う。そして、画像補正手段４により補正された前記平面画像データは、画像出力手段５により出力される。

本実施例によれば、前記両眼立体視画像データに基いて、前記３次元空間内の各点の距離情報と色彩情報を用いて、前記平面画像データ内の各オブジェクトが、記録された人物の肌の色等の特定のオブジェクトであるか否かを判別することができる。
例えば、既に説明したように、前記両眼立体視画像データに基いて算出された、前記３次元空間内の各点の距離情報を用いて、各オブジェクトを抽出することによって各オブジェクトの色と形状が明らかになる。ここで、特開２０００−０４８１８４に提示されたような方法を用いることによって、例えば、抽出されたオブジェクトが顔である、木の葉であると言ったことが可能となる。

そして、記憶された色補正データの中から判別されたオブジェクトに対応した色補正データを選択し、前記平面画像データに対して、選択された色補正データを用いて、適切な色補正を各オブジェクト毎に行うことができる。
つまり、あるオブジェクトが人間の肌であると判定されたとすると、判定されたオブジェクト（肌）に応じた補正データのアドレスを参照して、記憶された色補正データの中から判別されたオブジェクトに対応した色補正データを選択し、該補正データを取得する。そして、前記平面画像データに対して、選択された色補正データを用いて、適切な色補正を各オブジェクト毎に行うことができる。

従って、本実施例によれば、人間の記憶色を考慮した、優れた色再現性を有する、より自然な平面画像を簡易かつ高速に生成することができる。

本発明に係る画像処理装置の第４の実施例を、図４に基いて説明する。図４は、本発明を適用した画像処理装置の要部ブロック構成図である。図４に示すように、本実施例の画像処理装置は、画像入力手段１、平面画像生成手段２、距離判別手段３、画像補正手段４、画像出力手段５、色彩情報判別手段１０、記憶手段１３、オブジェクト判別手段１４、画像種判別手段１５、選択手段１６とを備えた画像処理装置である。

次に、本実施例の画像生成装置における画像処理工程について説明する。まず、画像入力手段１は、例えば、任意に定められた視点からの、左眼用及び右眼用平面画像データからなる両眼立体視用画像データを入力として受け取る。

続いて、距離判別手段３は、前記両眼立体視用画像データを用いることにより、前記左眼用及び右眼用平面画像データの各視点からの両眼立体視用画像データにおいて、それぞれ対応する点の視差角を算出し、前記両眼立体視用画像データの各点の、３次元空間内における相対位置を算出する。

続いて、例えば、ここに図示しない視点位置指示手段等を用いて、使用者が知覚される３次元空間内の視点を任意に１点指示するなどして、３次元空間内の視点が決定され、距離判別手段３は、前記両眼立体視用画像データに基く３次元空間内の各点と、決定された視点との絶対距離を求める。

なお、平面画像生成手段２では、入力された前記両眼立体視用画像データの全てを、上述したような平面画像処理方法を用いて、前記決定された視点からの平面画像データに変換処理する。

ここで、前記記憶手段１３は、人間が記憶色を保持する人物の肌の色、木の葉の色、晴天時の空の色等特定のオブジェクトの様々な組み合わせからなる画像種に対応した複数の色補正データを記憶するものである。
該色補正データとしては、例えば、晴天時の肌、曇天時の肌に対して観察者が好ましいと感じる肌色が異なるため、これらに応じた補正データからなる補正テーブルが用意される。あるいは、木の葉の緑の前に存在する人物の肌の色は、色の対比効果によって実際とは異なる色に見えてしまうことがあり、このような場合には、更に、肌の色に補正を行うことによってより好ましい画像を得ることができるため、例えば、（前景、背景）の組み合わせとして、（人物、晴天）、（人物、曇天）、（人物、木の葉）、（人物、室内）、（人物、夜の屋外）といったいくつかの組み合わせに対して、予め異なる色補正を行うための色補正データが用意される。

そして、距離判別手段３によって判別された、前記３次元空間内の各点の距離情報および、前記色彩情報判別手段１０によって判別された前記３次元空間内の各点の色彩情報を用いて、前記平面画像データ内の各オブジェクトが、前記特定のオブジェクトであるか否かをオブジェクト判別手段１４により判別する。
例えば、既に説明したように、前記両眼立体視画像データに基いて算出された、前記３次元空間内の各点の距離情報を用いて、各オブジェクトを抽出することによって各オブジェクトの色彩情報が明らかになる。ここで、特開２０００−０４８１８４に提示されたような方法を用いることによって、例えば、抽出されたオブジェクトが顔である、木の葉であると言ったことが可能となる。

続いて、前記画像種判別手段１５は、判別された各オブジェクトの空間的配置から画像種を判別する。なお、前記判別された各オブジェクトの空間的配置の検知は、図１４〜図１６を用いて説明したように、（ＸＬ−ＯＬ）−（ＸＲ−ＯＲ）の値の大小を参照することにより判断する。そして、検知された各オブジェクトの空間的配置の距離情報からオブジェクトを判別し、対象画像が、例えば、（前景、背景）の組み合わせとして、（人物、晴天）、（人物、曇天）、（人物、木の葉）、（人物、室内）、（人物、夜の屋外）といったいくつかの組み合わせのいずれかに該当する際には、予め用意された、異なる色補正を行うための色補正データを参照して色の補正を行う。

続いて、前記選択手段１６は、前記記憶手段１３に記憶された補正データの中から判別された画像種に対応した補正データを選択する。

続いて、平面画像生成手段２より生成された前記平面画像データに対して、画像補正手段４が、前記選択手段１６により選択された色補正データを用いて、被処理画像の画像種に対応した適切な色補正を行う。そして、画像補正手段４により補正された前記平面画像データは、画像出力手段５により出力される。

本実施例によれば、前記両眼立体視画像データに基いて、前記３次元空間内の各点の距離情報と色彩情報を用いて、前記平面画像データ内の各オブジェクトが、記録された人物の肌の色等の特定のオブジェクトであるか否かを判別し、判別した各オブジェクトの空間的配置から、各オブジェクトの画像種を判別することができる。

そして、記憶された色補正データの中から判別された画像種に対応した色補正データを選択し、前記平面画像データに対して、選択された色補正データを用いて、適切な色補正を各画像種毎に行うことができる。

従って、本実施例によれば、画像の種別を考慮した優れた色再現性を有する、より自然な平面画像を簡易かつ高速に生成することができる。

以上、本発明に係る画像処理装置の第１から４までの実施例について説明したが、本発明の趣旨に沿って、及び、画像処理装置の目的に従って、本発明を適用する画像処理装置の構成、画像処理の手順、及び画像補正の内容等を適宜変更することができる。

本発明に係る第１の実施例の画像処理装置の要部ブロック構成図である。 本発明に係る第２の実施例の画像処理装置の要部ブロック構成図である。 本発明に係る第３の実施例の画像処理装置の要部ブロック構成図である。 本発明に係る第４の実施例の画像処理装置の要部ブロック構成図である。 従来の画像処理装置の要部ブロック構成図である。 （ａ）は、左眼に提示される画像１０１の一例を示した図である。（ｂ）は、（ａ）を真上から見た図である。 （ａ）は、右眼に提示される画像１０２の一例を示した図である。（ｂ）は、（ａ）を真上から見た図である。 （ａ）は、実際に観察者に提示された状態の画像１０１及び１０２を正面から見た図である。（ｂ）は、（ａ）を真上からみた図である。（ｃ）は、輻輳角、両眼視差、及び、空間内における画像各点の位置の認識について説明するための図である。 レンティキュラレンズアレイ等の光学系を用いて、立体視画像を観察する方法について説明するための図である。 パララックス・バリアを用いて、立体視画像を観察する方法について説明するための図である。 観察者により立体的に観察される画像を含んだ３次元空間において、画像各点の相対位置を算出するための原理を説明するための図である。 観察者の視点位置指示手段の第１の例を示した図である。 観察者の視点位置指示手段の第２の例を示した図である。 両眼立体視画像観察時に等距離にあると観察される点群を求める方法について説明するための図である。 両眼立体視画像観察時に等距離にあると観察される点群を求める方法について説明するための図である。 両眼立体視画像観察時に等距離にあると観察される点群を求める方法について説明するための図である。 観察者により立体的に観察される立体視画像の画像データにおいて、遠景、近景と判断された面の判断基準について説明するための図である。

符号の説明

１ 画像入力手段
２ 平面画像生成手段
３ 距離判別手段
４ 画像補正手段
５ 画像出力手段
６ 記憶手段
７ 距離範囲判別手段
８ 選択手段
９ 記憶手段
１０ 色彩情報判別手段
１１ オブジェクト判別手段
１２ 選択手段
１３ 記憶手段
１４ オブジェクト判別手段
１５ 画像種判別手段
１６ 選択手段
１００ 画面
１０１ 画像
１０２ 画像
１０３ 左眼
１０４ 右眼
１０５ レンティキュラレンズ（レンティキュラレンズアレイ）
１０６ パララックス・バリア
１０７ ＰＣ
１０８ モニタ
１０９ 座標入力ウインドウ
１１０ キーボード
１１１ マウス
１１２ ＣＣＤカメラ

Claims (8)

1. 任意に定められた視点からの左右眼用平面画像データからなる両眼立体視用画像データを入力する画像入力手段と、
   入力された前記両眼立体視用画像データに基いて、平面画像データを生成する平面画像生成手段と、
   前記両眼立体視用画像データに基く両眼立体視用画像を観察する際の１視点から、３次元空間内の各点までの距離を判別する距離判別手段と、
   前記３次元空間内の各点の色彩情報を判別する色彩情報判別手段と、
   前記距離判別手段によって判別された、前記３次元空間内の各点についての距離情報、及び、前記色彩情報判別手段によって判別された、前記３次元空間内の各点についての色彩情報を用いて、前記平面画像内のオブジェクトの属性を判別するオブジェクト判別手段と、
   前記オブジェクト判別手段により判別された各オブジェクトの中から、主被写体を判別する主被写体判別手段と、
   前記オブジェクト判別手段により判別された各前記オブジェクトの空間的配置から画像種を判別する画像種判別手段と、
   前記平面画像データの補正をする画像補正手段と、
   前記画像補正手段により補正された平面画像データを出力する画像出力手段とを具備し、
   前記画像補正手段は、前記主被写体判別手段によって判別された、前記主被写体の種別と、前記画像種判別手段によって判別された、前記画像種の組み合わせ毎に異なる、前記平面画像データの補正をすることを特徴とする画像処理装置。
2. 前記主被写体判別手段によって判別された、複数の前記主被写体の種別と、前記オブジェクト判別手段によって判別された、複数の前記画像種の組み合わせに対応した複数の補正データを記憶する記憶手段と、
   前記記憶手段に記憶された複数の補正データの中から前記主被写体判別手段によって判別された前記主被写体の種別と、前記画像種判別手段によって判別された前記画像種の組み合わせに対応した補正データを選択する選択手段とを具備し、
   前記画像補正手段は、前記選択された補正データを用いて前記平面画像データの補正をすることを特徴とする請求項１記載の画像処理装置。
3. 前記画像補正手段は、色に関する補正をすることを特徴とする請求項１又は２のいずれかに記載の画像処理装置。
4. 前記画像補正手段は、前記主被写体判別手段によって判別された前記主被写体が特定のオブジェクトである場合に、該オブジェクトに対して人間が観念的に抱く色に基づいて色の補正をすることを特徴とする請求項３記載の画像処理装置。
5. 任意に定められた視点からの左右眼用平面画像データからなる両眼立体視用画像データを入力する画像入力手段による画像入力工程と、
   入力された前記両眼立体視用画像データに基いて、平面画像データを生成する平面画像生成手段による平面画像生成工程と、
   前記両眼立体視用画像データに基く両眼立体視用画像を観察する際の１視点から、３次元空間内の各点までの距離を判別する距離判別手段による距離判別工程と、
   前記３次元空間内の各点の色彩情報を判別する色彩情報判別手段による色彩情報判別工程と、
   前記距離判別工程によって判別された、前記３次元空間内の各点についての距離情報、及び、前記色彩情報判別工程によって判別された、前記３次元空間内の各点についての色彩情報を用いて、前記平面画像内のオブジェクトの属性を判別するオブジェクト判別手段によるオブジェクト判別工程と、
   前記オブジェクト判別工程により判別された各前記オブジェクトの中から、主被写体を判別する主被写体判別手段による主被写体判別工程と、
   前記オブジェクト判別工程により判別された各オブジェクトの空間的配置から画像種を判別する画像種判別手段による画像種判別工程と、
   前記平面画像データの補正をする画像補正手段による画像補正工程と、
   前記画像補正工程により補正された平面画像データを出力する画像出力手段による画像出力工程とを具備し、
   前記画像補正工程は、前記主被写体判別工程によって判別された前記主被写体の種別と、前記画像種判別工程によって判別された前記画像種の組み合わせ毎に異なる、前記平面画像データの補正をすることを特徴とする画像処理方法。
6. 前記主被写体判別手段によって判別された複数の前記主被写体の種別と、前記オブジェクト判別手段によって判別された複数の前記画像種の組み合わせに対応した複数の補正データを記憶する記憶手段による記憶工程と、
   前記記憶手段に記憶された前記複数の補正データの中から前記主被写体判別手段によって判別された前記主被写体の種別と、前記画像種判別手段によって判別された前記画像種の組み合わせに対応した補正データを選択する選択手段による選択工程とを具備し、
   前記画像補正工程は、前記選択された補正データを用いて、前記平面画像データの補正をすることを特徴とする請求項５記載の画像処理方法。
7. 前記画像補正工程は、色に関する補正をすることを特徴とする請求項５又は６のいずれかに記載の画像処理方法。
8. 前記画像補正工程は、前記主被写体判別手段によって判別された前記主被写体が特定のオブジェクトである場合に、該オブジェクトに対して人間が観念的に抱く色に基づいて色の補正をすることを特徴とする請求項７記載の画像処理方法。

Images