JP5068391B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP5068391B2
JP5068391B2 JP2011538343A JP2011538343A JP5068391B2 JP 5068391 B2 JP5068391 B2 JP 5068391B2 JP 2011538343 A JP2011538343 A JP 2011538343A JP 2011538343 A JP2011538343 A JP 2011538343A JP 5068391 B2 JP5068391 B2 JP 5068391B2
Authority
JP
Japan
Prior art keywords
parallax
image
main subject
viewpoint
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011538343A
Other languages
English (en)
Other versions
JPWO2011052389A1 (ja
Inventor
英二 石山
充史 三沢
宏一 矢作
貽▲トウ▼ 張
恒史 遠藤
康一 田中
猛 大久保
幹夫 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2011538343A priority Critical patent/JP5068391B2/ja
Application granted granted Critical
Publication of JP5068391B2 publication Critical patent/JP5068391B2/ja
Publication of JPWO2011052389A1 publication Critical patent/JPWO2011052389A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Description

本発明は画像処理装置及び画像処理方法に係り、特に入力２視点画像から多視点画像を生成する画像処理装置及び画像処理方法に関する。
ステレオ画像として撮影された視点の異なる２つの画像から任意の中間視点に対応する画像を生成する技術は、レンチキュラーレンズシートが表面に貼付されている立体写真プリント、その他、各種の立体画像表示手段に適正な立体画像を表示させる上で重要である。
特許文献１には、奥行き又は両眼視差の広がりを任意の点を中心として線形圧縮することにより、単純な変換で所望の奥行き感を得ることができる技術が記載されている。この技術によれば、生成されるべき三次元表示画像における所定の領域の奥行き感を変更することができ、見る者の好み等に応じた柔軟な対応が可能となる。
特開平８−３３１６０７号公報
しかしながら、特許文献１に記載の発明は、主要被写体の立体感の目標値への制御を行っていないため、視差が大きすぎて立体視できない画像に対して視差を抑制する処理を行った場合、副作用として主要被写体の視差分布が小さくなりすぎ、立体感が喪失する場合があるという欠点があった。
本発明はこのような事情に鑑みてなされたもので、主要被写体の立体感を維持したまま画像全体としては立体視できる程度の視差まで抑制した多視点画像を生成する画像処理装置及び画像処理方法を提供することを目的とする。
前記目的を達成するために、本発明の第１の態様に係る画像処理装置は、視差を有する２視点画像を入力する画像入力部と、前記２視点画像の画素毎又は領域毎の視差を取得する視差取得部と、前記２視点画像の主要被写体を検出する主要被写体検出部と、前記主要被写体の視差を取得する視差取得部と、生成する多視点画像の各視点位置に応じた視差の変換率を設定する設定部と、前記主要被写体の視差に基づいて前記視差の変換率を画素毎、領域毎、又は画像毎に補正する補正部と、前記補正された視差の変換率にしたがって前記２視点画像の少なくとも一方の画像を変換して多視点画像を生成する多視点画像生成部と、前記多視点画像の主要被写体の視差が立体視に適した視差になるように前記２視点画像又は多視点画像を水平方向にシフトする画像調整部と、前記多視点画像に基づいて、立体表示画像を生成する立体表示画像生成部とを備える。
上記第１の態様によれば、生成する多視点画像の各視点位置に応じた視差の変換率を主要被写体の視差に基づいて画素毎に補正するようにしたので、主要被写体の立体感を維持したまま画像全体としては立体視できる程度の視差まで抑制した多視点画像を生成することができる。
本発明の第２の態様に係る画像処理装置は、上記第１の態様において、画像全体の目標視差分布と主要被写体の目標視差分布とを保持する保持部を備え、前記設定部は、生成する多視点画像の画像全体の視差の分布が前記画像全体の目標視差分布を満足するように視差の変換率を設定し、前記補正部は、生成する多視点画像の主要被写体の視差の分布が前記主要被写体の目標視差分布を満足するように前記視差の変換率を画素毎、領域毎、又は画像毎に補正する。
これにより、画像全体の視差の分布と主要被写体の視差の分布とが適切な多視点画像を生成することができる。
本発明の第３の態様に係る画像処理装置は、上記第１又は第２の態様において、前記生成された立体表示画像を所定のサイズで出力する出力部と、前記所定のサイズに応じて、前記画像全体の目標視差分布と主要被写体の目標視差分布を修正する修正部とを備える。
これにより、出力サイズに応じた視差を持つ多視点画像を生成することができる。
本発明の第４の態様に係る画像処理装置は、上記第１から第３の態様において、前記補正部は、前記画素毎又は領域毎の視差と前記主要被写体の視差との差に基づいて前記視差の変換率を画素毎、領域毎、又は画像毎に補正する。
これにより、画像全体の視差と主要被写体の視差が適切な多視点画像を生成することができる。
本発明の第５の態様に係る画像処理装置は、上記第４の態様において、前記補正部は、前記視差の差が大きい画素又は領域ほど視差が抑制されるように前記視差の変換率を補正する。
これにより、画像全体の視差と主要被写体の視差が適切な多視点画像を生成することができる。
本発明の第６の態様に係る画像処理装置は、上記第４の態様において、前記補正部は、前記視差の差が小さい画素又は領域ほど視差が拡大されるように前記視差の変換率を補正する。
これにより、画像全体の視差と主要被写体の視差が適切な多視点画像を生成することができる。
本発明の第７の態様に係る画像処理装置は、上記第４の態様において、前記２視点画像の付帯情報から該２視点画像が撮影された際の撮影モードを検出する撮影モード検出部と、前記検出された撮影モードに応じて、前記補正部が前記視差の差が大きい画素又は領域ほど視差が抑制されるように前記視差の変換率を補正するか、又は前記視差の差が小さい画素又は領域ほど視差が拡大されるように前記視差の変換率を補正するかを選択する選択部とを備える。
これにより、画像全体の視差と主要被写体の視差が適切な多視点画像を生成することができる。
本発明の第８の態様に係る画像処理装置は、上記第１の態様において、前記画素毎又は領域毎の視差のヒストグラムを取得する視差ヒストグラム取得部を備え、前記補正部は、前記ヒストグラムの頻度に応じて視差階調を一定化するように前記視差の変換率を画素毎又は領域毎に補正する。
これにより、視差の階調が一定な多視点画像を生成することができる。
本発明の第９の態様に係る画像処理装置は、上記第１の態様において、前記２視点画像の撮影シーンを認識する撮影シーン認識部と、前記撮影シーンに応じて主要被写体領域を設定する主要被写体設定部とを備え、前記補正部は、前記主要被写体領域からの画像上の距離に応じて前記視差の変換率を領域毎又は画素毎に補正する。
これにより、簡単な処理で主要被写体を設定することができ、画像全体の視差と主要被写体の視差が適切な多視点画像を生成することができる。
本発明の第１０の態様に係る画像処理装置は、上記第９の態様において、前記撮影シーン認識部は、前記２視点画像の付帯情報から該２視点画像が撮影された際の撮影モードを検出する撮影モード検出部を備え、前記主要被写体領域設定部は、前記検出された撮影モードが人物モードである場合に、画像を縦方向に分割した複数の領域のうち中央部分の領域を主要被写体領域として設定し、前記補正部は、前記主要被写体領域からの水平方向の距離に応じて前記視差の変換率を領域毎又は画素毎に補正する。
これにより、簡単な処理で主要被写体を設定することができ、画像全体の視差と主要被写体の視差が適切な多視点画像を生成することができる。
本発明の第１１の態様に係る画像処理装置は、上記第９の態様において、前記撮影シーン認識部は、前記２視点画像の付帯情報から該２視点画像が撮影された際の撮影モードを検出する撮影モード検出部を備え、前記主要被写体領域設定部は、前記検出された撮影モードが風景モードである場合に、画像を横方向に分割した複数の領域のうち中央部分の領域を主要被写体領域として設定し、前記補正部は、前記主要被写体領域からの垂直方向の距離に応じて前記視差の変換率を領域毎又は画素毎に補正する。
これにより、簡単な処理で主要被写体を設定することができ、画像全体の視差と主要被写体の視差が適切な多視点画像を生成することができる。
本発明の第１２の態様に係る画像処理装置は、上記第９の態様において、前記撮影シーン認識部は、前記２視点画像から前景領域、中景領域、及び遠景領域を抽出する抽出部を備え、前記補正部は、前記抽出した各領域に応じて前記視差の変換率を領域毎又は画素毎に補正する。
これにより、簡単な処理で主要被写体を設定することができ、画像全体の視差と主要被写体の視差が適切な多視点画像を生成することができる。
本発明の第１３の態様に係る画像処理装置は、上記第１から第１２の態様において、前記設定部は、生成する多視点画像が４視点以上の場合に、中央部の視点位置の差を両端部の視点位置の差より大きくなるように視差の変換率を設定する。
これにより、多様な見え方を持つ多視点画像を生成することができる。
本発明の第１４の態様に係る画像処理装置は、上記第１から第１３の態様において、前記補正部は、前記２視点画像のうち一方の画像の視差の変換率が０になるように前記視差の変換率を画素毎、領域毎、又は画像毎に補正し、前記多視点画像生成部は、前記視差の変換率が０の画像を変換して多視点画像を生成する。
これにより、多視点画像のうち少なくとも一端の画像は実際に撮影された画像を使用することができる。
本発明の第１５の態様に係る画像処理装置は、上記第１から第１３の態様において、前記補正部は、生成する多視点画像のうち中央の視点位置の画像の視差の変換率が最小になるように前記視差の変換率を画素毎、領域毎、又は画像毎に補正する。
これにより、自然な多視点画像を生成することができる。
前記目的を達成するために、本発明の第１６の態様に係る画像処理方法は、視差を有する２視点画像を入力する画像入力工程と、前記２視点画像の画素毎又は領域毎の視差を取得する視差取得工程と、前記２視点画像の主要被写体を検出する主要被写体検出工程と、前記主要被写体の視差を取得する視差取得工程と、生成する多視点画像の各視点位置に応じた視差の変換率を設定する設定工程と、前記主要被写体の視差に基づいて前記視差の変換率を画素毎、領域毎、又は画像毎に補正する補正工程と、前記補正された視差の変換率にしたがって前記２視点画像の少なくとも一方の画像を変換して多視点画像を生成する多視点画像生成工程と、前記多視点画像の主要被写体の視差が立体視に適した視差になるように前記２視点画像又は多視点画像を水平方向にシフトする画像調整工程と、前記多視点画像に基づいて、立体表示画像を生成する立体画像生成工程とを備える。
本発明によれば、主要被写体の立体感を維持したまま画像全体としては立体視できる程度の視差まで抑制することができる。
第１の実施形態の多視点画像の生成処理を示すフローチャート 入力画像の例を示す図 主要被写体領域を示す図 左右の視点画像における点の対応関係を示す図 右視点画像Ｒをシフトした後の左視点画像Ｌ及び右視点画像Ｒを示す図 多視点画像Ｃ０〜Ｃ５を示す図 最終多視点画像Ｓ０〜Ｓ５を示す図 画素毎の視差の補正量を設定するための関数Table(x)を示す図 画素毎の視差の補正量を設定するための関数Table(x)を示す図 画素毎の視差の補正量を設定するための関数Table(x)を示す図 画素毎の視差の補正量を設定するための関数Table(x)を示す図 画素毎の視差の補正量を設定するための関数Table(x)を示す図 画素毎の視差の補正量を設定するための関数Table(x)を示す図 画素毎の視差の補正量を設定するための関数Table(x)を示す図 画素毎の視差の補正量を設定するための関数Table(x)を示す図 主要被写体に応じたFactor2を設定するための処理を示すフローチャート 第３の実施形態の多視点画像の生成処理を示すフローチャート 画像毎の視差の変換率Factor1を設定する処理を示すフローチャート 視差の分布を示す図 視差の分布を示す図 画像毎の視差の変換率Factor1を設定する処理を示すフローチャート 第４の実施形態の多視点画像の生成処理を示すフローチャート 視差の分布を示す図 補正量Factor2を示す図 第５の実施形態の多視点画像の生成処理を示すフローチャート 第５の実施形態の多視点画像の生成処理を示すフローチャート 左視点画像の等分を説明するための図 左視点画像の等分を説明するための図 第６の実施形態の多視点画像の生成処理を示すフローチャート 画像処理装置１０を示すブロック図
以下、添付図面に従って本発明に係る画像処理装置及び画像処理方法の好ましい実施の形態について説明する。
＜第１の実施形態＞
図１は、第１の実施形態の多視点画像の生成処理を示すフローチャートであり、図２は、各処理を説明するための画像例を示す図である。本実施形態では、画像内の主要被写体が適した立体感になるように生成される多視点画像の視差を制御する。
まず、平行２眼ステレオ画像が入力される（ステップＳ１）。平行２眼ステレオ画像とは、視点の異なる左視点画像と右視点画像の２枚の画像（２視点画像）をいう。ここでは、図２Ａに示す左視点画像Ｌと右視点画像Ｒが入力された場合を例に説明する。
次に、生成される画像毎の視差の変換率Factor1を設定する（ステップＳ２）。ここでは、左視点画像と右視点画像から、６視点の画像（６枚の多視点画像）を生成する場合を考える。この６枚の画像のそれぞれの視差の変換率Factor1[0]〜Factor1[5]を、例えば、0、0.2、0.4、0.6、0.8、及び1.0と設定する。
なお、生成する多視点画像の視点数は６に限定されるものではなく、出力装置に応じて適宜決定すればよい。
次に、左視点画像Ｌから主要被写体を検出し、検出した主要被写体の画像内の領域を取得する（ステップＳ３）。以下、主要被写体の画像内の領域は、主要被写体を含む矩形領域の左上の座標(xtopleft，ytopleft)と、右下の座標(xbottomright，ybottomright)を用いて、領域(xtopleft，ytopleft)−(xbottomright，ybottomright)と記載する。なお、主要被写体領域の形状は矩形に限定されるものではない。
主要被写体は、例えば画像内に人物又は人物の顔を検出した場合は、その人物又は人物の顔を主要被写体とする。また、撮影時のフォーカスポジションを入力画像データの付帯情報から取得し、その距離に応じた視差を持つ領域を主要被写体としてもよい。その他に、画素毎に取得した視差から視差ヒストグラムを作成し、頻度分布の平均値、最頻値、中央値等の視差をもつ領域を主要被写体とすることも考えられる。この場合は、例えば画像周囲１０％を除く領域に対して、視差ヒストグラムを作成することが好ましい。画像の周囲には主要被写体が存在しないと考えられるからである。
図２Ｂに示す例では、人物の顔を主要被写体として検出している。また、図２Ｂに示す画像内の枠は、検出した主要被写体の領域(xtopleft，ytopleft)−(xbottomright，ybottomright)を示している。
次に、左視点画像Ｌを基準として、右視点画像Ｒとの画素毎の視差D(x,y)を取得する（ステップＳ４）。画素毎の視差D(x,y)は、左視点画像Ｌと右視点画像Ｒとの相関演算を行い、画素毎の対応点を検出することにより行う。
図２Ｃは、左視点画像Ｌの主要被写体内の点L(xL,yL)と、右視点画像Ｒのその対応点R(xR,yR)を示している。ここではyL=yRであり、この画素における視差は、視差D(x,y)=xR-xLと表される。
さらに、画素毎の視差D(x,y)に基づいて主要被写体の視差D[主要]を取得する（ステップＳ５）。主要被写体の視差D[主要]は、下記の数１に示すように、主要被写体の領域(xtopleft，ytopleft)−(xbottomright，ybottomright)内における各画素の視差D(x,y)の平均値として表される。
次に、左視点画像Ｌと右視点画像Ｒの主要被写体の視差が０となるように、右視点画像Ｒをこの視差D[主要]だけ水平方向にシフトする（ステップＳ６）。図２Ｄは、シフト後の左視点画像Ｌ及び右視点画像Ｒを示す図である。右視点画像Ｒのシフト後の対応点Ｒの座標は、(xL,yL)となる。
この右視点画像Ｒのシフト量である視差D[主要]に基づいて、ステップＳ４において取得した画素毎の視差を更新する（ステップＳ７）。即ち、画素毎の更新後の視差は、newD(x,y)＝D(x,y)−D[主要]と表される。このnewD(x,y)は、画素毎の視差D(x,y)と主要被写体の視差との差diff(x,y)に相当する。このdiff(x,y)に応じて、画素毎の視差の補正量Factor2を設定する（ステップＳ８）。即ち、Factor2(x,y)＝Table(Diff(x,y))と表される。
ここで、関数Table(x)について説明する。
図３Ａから図３Ｄは、主要被写体の視差との差に応じて立体感を抑制するための視差の補正量を設定するための関数Table(x)を示す図であり、それぞれ横軸は主要被写体の視差との差Diff(x,y)を示し、縦軸は各視差における補正量を示している。
図３Ａは、補正を行わない場合の関数Table(x)を示す図である。同図に示すように、画素毎の補正を行わない場合は、補正量Factor2は常に１が設定される。
図３Ｂは、主要被写体の視差から離れるにしたがって、視差を抑制（立体感を抑制）する場合の関数Table(x)を示している。このように、補正量Factor2を１より小さい値に設定すると、その画素の視差は抑制される。
また、図３Ｃは、xmin≦x≦xmaxの範囲においては補正を行わず、xminより小さい部分及びxmaxより大きい部分の視差を抑制する場合の関数Table(x)を示している。xmin及びxmaxの値は、適宜決定すればよい。
また、図３Ｄは、xmin≦x≦xmaxの範囲においては補正を行わず、xminより小さい部分及びxmaxより大きい部分では、主要被写体の視差から離れるに比例して視差の拡大率を減少させる場合の関数Table(x)を示している。
このように、画素毎の補正量Factor2は、画素毎の視差に対して線形・非線形の式で与えてもよいし、テーブルで与えてもよい。また、ここではdiff(x,y)=0に対して正負で対称の値が設定されるが、非対称の値に設定しても構わない。
また、図４は、主要被写体の視差との差に応じて立体感を強調するための視差の補正量を設定するための関数Table(x)を示す図である。
図４Ａは、図３Ａと同様に補正を行わない場合の関数Table(x)を示す図であり、図４Ｂは、主要被写体の視差に近づくにしたがって、視差を拡大（立体感を強調）する場合の関数Table(x)を示している。このように、補正量Factor2を１より大きい値に設定すると、その画素の視差は拡大される。
また、図４Ｃは、xmin≦x≦xmaxにおいては主要被写体の視差に近づくにしたがって視差を拡大し、xminより小さい部分及びxmaxより大きい部分では、補正を行わない場合の関数Table(x)を示しており、図４Ｄは、xmin≦x≦xmaxにおいては一様に視差を拡大し、xminより小さい部分及びxmaxより大きい部分では、主要被写体の視差から離れるに比例して視差の拡大率を減少させる場合の関数Table(x)を示している。
このように、画素毎の補正量Factor2(x,y)は、主要被写体の視差との差に応じて立体感を強調するように設定してもよい。
以上のように設定された画素毎の視差の補正量Factor2(x,y)と、ステップＳ２において設定された画像毎の視差の変換率Factor1[i]とに基づいて、左視点画像Ｌを変換することにより６枚の多視点画像Ｃ０〜Ｃ５を生成する（ステップＳ９）。即ち、多視点画像Ｃｎの各画素Cn(x,y)は、左視点画像Ｌの各画素L(x,y)から以下のように算出される。
Cn(x+Factor1[n]×Factor2(x,y)×newD(x,y),y)=L(x,y) …式１
図２Ｅは、このように生成された多視点画像Ｃ０〜Ｃ５を示す図であり、ここではＣ２〜Ｃ４は省略している。多視点画像Ｃ０〜Ｃ５は、それぞれ主要被写体の視差が０となっている。
次に、多視点画像Ｃ０〜Ｃ５の主要被写体の視差が予め定められた視差D[目標]になるように、６枚の多視点画像Ｃ０〜Ｃ５をそれぞれ水平方向にシフトし、最終多視点画像Ｓ０〜Ｓ５を生成する（ステップＳ１０）。即ち、最終多視点画像Ｓｎの各画素Sn(x,y)は、多視点画像Ｃｎの各画素Cn(x,y)から以下のように算出される。
Sn(x,y)=Cn(x-D[目標]×Factor1[n]/Factor1[5],y) …式２
図２Ｆは、このように生成された最終多視点画像Ｓ０〜Ｓ５を示す図であり、ここではＳ２〜Ｓ４は省略している。最終多視点画像Ｓ０〜Ｓ５は、それぞれ主要被写体の視差が適切に設定された画像となっている。
この６枚の最終多視点画像Ｓ０〜Ｓ５から、出力用立体画像を生成する（ステップＳ１１）。ここでは、多視点のレンチキュラー画像変換、多視点液晶バリヤ方式モニタ用画像変換等、それぞれの出力装置に応じた処理方法を用いる。
最後に、これらの出力装置に、生成した立体画像を出力する（ステップＳ１２）。
このように、入力２視点画像から、画像毎の視差の変換率と主要被写体の視差との差に応じて設定した画素毎の視差の補正量とを用いて多視点画像を生成し、主要被写体の目標視差に基づいて画像をシフトして最終多視点画像を生成することで、画像全体の視差と主要被写体の視差が適切となる立体画像を得ることができる。
本実施形態では、左視点画像Ｌを基準として視差D(x,y)を算出し、この視差D(x,y)に基づいて左視点画像Ｌを基準とした最終多視点画像Ｓ０〜Ｓ５を生成したが、同様の手法により右視点画像Ｒを基準とした視差D(x,y)を算出し、この視差D(x,y)に基づいて右視点画像Ｒを基準とした最終多視点画像Ｓ５〜Ｓ０を生成し、左視点画像Ｌを基準に生成した各最終多視点画像と右視点画像Ｒを基準に生成した各最終多視点画像を合成することが好ましい。なお、左右視点画像を基準とした多視点画像Ｃ０〜Ｃ５を合成し、この合成多視点画像Ｃ０〜Ｃ５に基づいて最終多視点画像Ｓ０〜Ｓ５を生成してもよい。
また、本実施形態では、画素毎の視差を取得し、画素毎の視差の補正量を算出したが、領域毎の視差を取得し、領域毎の視差の補正量を算出してもよい。また、画像毎の視差の補正量を算出してもよい。
＜第２の実施形態＞
ここで、画像の付帯情報から主要被写体を検出し、検出した主要被写体に応じた補正量Factor2を設定する例を説明する。
まず、図５のフローチャートに示すように、平行２眼ステレオ画像（２視点画像）が入力されると（ステップＳ１）、予めユーザによって設定されている補正処理モードが判定される（ステップＳ２１）。マニュアルモードに設定されている場合は、ユーザの指示に従った補正を行う（ステップＳ２２）。
ここで、オートモードに設定されている場合は、入力された２視点画像データの付帯情報から、当該２視点画像が撮像装置によって撮影された際に撮像装置に設定されていた撮影モードを取得する（ステップＳ２３）。
次に、取得した撮影モードが、人物・ポートレートモードであるか否かを判定する（ステップＳ２４）。人物・ポートレートモードである場合は、主要被写体は人物であると考えられるので、人物認識や顔認識による主要被写体検出を行う（ステップＳ２５）。また、検出された主要被写体の立体感を強調するような補正を行うための補正量Factor2を設定する（ステップＳ２６）。
このように、人物・ポートレートモードで撮影された画像に対しては、主要被写体が明確であるため、主要被写体の立体感を強調するように補正を行う。
また、人物・ポートレートモードでない場合は、次に、風景モードであるか否かを判定する（ステップＳ２７）。風景モードである場合は、視差ヒストグラムの中央値検出による主要被写体検出を行い（ステップＳ２８）、周囲の立体感を抑制するような補正を行うための補正量Factor2を設定する（ステップＳ２９）。
このように、風景モードで撮影された画像に対しては、主要被写体が不明確であるため、中央重点の視差ヒストグラムを用いて主要被写体領域を検出する。さらに、風景モードで撮影された画像は視差分布が極めて広いため、近景や遠景の視差が強すぎて立体視できないことを回避するために、主要被写体と大きく異なる視差を持つ領域の立体感を抑制するように補正する。
なお、画像データの付帯情報から取得した撮影モードが、人物・ポートレートモード、風景モードのいずれのモードでもない場合は、補正を行わない（ステップＳ３０）。
このように、画像データの付帯情報から主要被写体を検出し、検出した主要被写体に応じたFactor2を設定することで、主要被写体に適した補正を行うことができる。
＜第３の実施形態＞
図６を用いて、第３の実施形態の多視点画像の生成処理について説明する。本実施形態は、視差変換率に応じて視差を圧縮して生成した多視点画像の主要被写体の視差の範囲が、目標視差の範囲より狭い場合は、主要被写体の立体感を強調するように補正量を設定する。
第１の実施形態と同様に、２視点画像が入力されると（ステップＳ１）、左視点画像Ｌから主要被写体を検出し、画像内における主要被写体の領域(xtopleft，ytopleft)−(xbottomright，ybottomright)を取得するとともに（ステップＳ３）、左視点画像Ｌを基準として右視点画像Ｒとの画素毎の視差D(x,y)を取得し（ステップＳ４）、主要被写体の視差D[主要]を取得する（ステップＳ５）。
次に、左視点画像Ｌと右視点画像Ｒの主要被写体の視差が０となるように、右視点画像Ｒをこの視差D[主要]だけ水平方向にシフトし（ステップＳ６）、画素毎の視差を更新する（ステップＳ７）。
ここで、左視点画像Ｌの主要被写体の領域(xtopleft，ytopleft)−(xbottomright，ybottomright)に含まれる画素の視差分布の最大値D[主要]max、及び最小値D[主要]minを取得する（ステップＳ３１）。
さらに、左視点画像Ｌの画像周囲１０％を除く全画素の視差分布の最大値D[全体]max、及び最小値D[全体]minを取得する（ステップＳ３２）。
次に、予め定められている画像全体の目標視差分布における最大値D[目標全]max、及び最小値D[目標全]minと、ステップＳ３２において取得した全画素の視差分布の最大値D[全体]max、及び最小値D[全体]minとから、画像毎の視差の変換率Factor1を設定する（ステップＳ３３）。
この変換率の設定について、図７のフローチャートを用いて説明する。
まず、D[目標全]max≧D[全体]max、かつD[目標全]min≦D[全体]minであるか否か、即ち、全画素の視差分布が目標視差分布内に収まっているか否かを判定する（ステップＳ４１）。該当する場合は、変数tmpを1とし、画像毎の視差の変換率Factor1[0]〜Factor1[5]を、第１の実施形態と同様に、0、0.2、0.4、0.6、0.8、及び1.0と設定する（ステップＳ４２）。
全画素の視差分布が目標視差分布内に収まっていない場合は、変数tmpを、D[全体]max/D[目標全]maxとD[全体]min/D[目標全]minとのうちの大きい方の値とする。また、画像毎の視差の変換率Factor1[0]〜Factor1[5]を、この変数tmpを用いて、0、0.2/tmp、0.4/tmp、0.6/tmp、0.8/tmp、及び1.0/tmpと設定する（ステップＳ４３）。
例えば、入力２視点画像が図８Ａに示す視差の分布を有する場合は、このままの視差で多視点画像を生成しても、視差が大きすぎて立体視することができない。したがって、各画素の視差を変数tmpで除算することにより、図８Ｂに示す視差の分布に変換し、視差の分布を目標視差分布内に収める。この変換後の視差の分布において、多視点画像の画像毎の視差の変換率Factor1を設定する。
このように、全画素の視差分布と全体目標視差分布とに基づいて、適切な画像毎の視差の変換率Factor1を設定する。
次に、予め定められた主要被写体の目標視差分布の最大値D[目標主]max、及び最小値D[目標主]minと、主要被写体の視差分布（全画素の視差分布をFactor1において補正した場合は補正後の主要被写体の視差分布）の最大値D[主要]max、及び最小値D[主要]minとから、画素毎の視差の補正量Factor2を設定する（ステップＳ３４）。
この補正量の設定について、図９のフローチャートを用いて説明する。
まず、D[目標主]max-D[目標主]min≦(D[主要]max-D[主要]min)/tmpであるか否か、即ち、主要被写体の視差範囲が目標視差分範囲より広いか否かを判定する（ステップＳ５１）。主要被写体の視差範囲の方が広い場合は（ステップＳ５１のＹＥＳ）、主要被写体の立体感は十分であると判断し、画素毎の視差の補正量Factor2を1に設定する（ステップＳ５２）。即ち、画素毎の視差の補正は行わない。
また、目標視差範囲の方が広い場合は（ステップＳ５１のＮＯ）、主要被写体の立体感が足りないと判断し、主要被写体の視差を拡大するような補正量Factor2を設定する。ここでは、補正量Factor2を図４Ｄに示す関数Table(x)とし、xmin=D[主要]min/tmp、xmax=D[主要]max/tmpとする（ステップＳ５３）。即ち、D[主要]min/tmp〜D[主要]max/tmpにおいては一様に視差を拡大し、D[主要]minより小さい部分及びD[主要]max/tmpより大きい部分では、主要被写体の視差から離れるに比例して、視差の拡大率を減少させるようなFactor2を設定する。
例えば、図８Ｂに示す主要被写体の視差の分布と主要被写体の目標視差の分布とを有する場合は、目標視差分布の方が広いため、ステップＳ５３のように画素毎の視差の補正量Factor2を設定する。
このように、主要被写体の実際の視差分布と主要被写体の目標視差分布とに基づいて、適切な画素毎の視差の補正量Factor2を設定する。
以上のように設定された画素毎の視差の補正量Factor2(x,y)と、ステップＳ４２やステップＳ４３において設定された画像毎の視差の変換率Factor1[i]とに基づいて、６枚の多視点画像Ｃ０〜Ｃ５を生成し（ステップＳ９）、さらに、主要被写体の視差が予め定められた視差D[目標]になるように、最終多視点画像Ｓ０〜Ｓ５を生成する（ステップＳ１０）。
最後に、この６枚の最終多視点画像Ｓ０〜Ｓ５から出力用立体画像を生成し（ステップＳ１１）、生成した立体画像を出力する（ステップＳ１２）。
このように、視差変換率による圧縮後の主要被写体の視差の範囲が、主要被写体の目標視差の範囲より狭い場合は、主要被写体の立体感を強調するように補正を行うことで、主要被写体の視差が適切な立体画像を生成することができる。
なお、多視点画像の出力サイズに応じて、目標視差を修正することが好ましい。
例えば、予め設定されている画像全体の目標視差分布及び主要被写体の目標視差分布が、所定の基準出力サイズに適したものである場合に、修正率Factor3=出力サイズ/基準出力サイズとし、この修正率Factor3によって目標視差分布を修正することが考えられる。即ち、画像全体の目標視差分布の最大値D[目標全]max、最小値D[目標全]min、及び主要被写体の目標視差分布の最大値D[目標主]max、最小値D[目標主]minのそれぞれを、修正率Factor3で除算して目標視差分布を修正し、修正された値に基づいてステップＳ３３、ステップＳ３４の処理を行う。
出力画像のサイズによって、立体視できない視差の大きさが異なるため、上記のように、多視点画像の出力サイズに応じて目標視差を修正することで、出力画像サイズに応じて適切な視差を持つ多視点画像を生成することができる。
＜第４の実施形態＞
図１０を用いて、第４の実施形態の多視点画像の生成処理について説明する。本実施形態は、画像内の視差階調を平坦化するように、画素毎の補正量Factor2を設定する。
ステップＳ１〜ステップＳ７の処理は、これまでと同様であるので説明を省略する。
次に、ステップＳ４において取得した画素毎の視差から視差のヒストグラムを作成し（ステップＳ６１）、このヒストグラムに応じて画素毎の補正量Factor2を設定する（ステップＳ６２）。ここでは、下記の式に基づいてFactor2を設定する。
例えば、図１１Ａに示す視差分布の場合では、図１１Ｂに示すように、[数２]に基づいて算出された画素毎の補正量Factor2（F2(D)）が設定される。
その後のステップＳ１０〜ステップＳ１２の処理は、これまでと同様であるので説明を省略する。
このように、視差のヒストグラムの頻度が高い部分は視差の補正量を大きくして立体感を強調し、頻度が低い部分は視差の補正量を小さくして立体感を抑制することで、視差のコントラストを一定にする。したがって、ユーザは遠近の判別が容易になり、立体感が判別、認識しやすくなる。
＜第５の実施形態＞
図１２、図１３を用いて、第５の実施形態の多視点画像の生成処理について説明する。本実施形態は、２視点画像の撮影時の撮影モードに応じて主要被写体領域を設定する。
２視点画像が入力されると（ステップＳ１）、画像毎の視差の変換率Factor1を設定し（ステップＳ２）、画素毎の視差D(x,y)を取得する（ステップＳ４）。
次に、入力された２視点画像データの付帯情報から、当該２視点画像が撮像装置によって撮影された際に撮像装置に設定されていた撮影モードを取得し（ステップＳ７１）、取得した撮影モードが、人物・ポートレートモードであるか否かを判定する（ステップＳ７２）。
人物・ポートレートモードである場合は（ステップＳ７２のＹＥＳ）、左視点画像Ｌを縦方向に複数に分割した領域のうち、画像中央部を主要被写体領域と設定する（ステップＳ７３）。例えば、図１４Ａに示すように、左視点画像Ｌを縦方向に３等分し、中央の領域Ａ１を主要被写体領域とする。
この主要被写体領域の視差の平均値を計算し、主要被写体の視差D[主要]とする（ステップＳ７４）。さらに、左視点画像Ｌと右視点画像Ｒの主要被写体の視差が０となるように、右視点画像Ｒをこの視差D[主要]だけ水平方向にシフトし（ステップＳ７５）、ステップＳ４において取得した画素毎の視差をシフト量である視差D[主要]に合わせて更新する（ステップＳ７６）。
次に、画素毎に、主要被写体領域との水平方向の画像上の距離L(x,y)を取得し（ステップＳ７７）、距離に応じた画素毎の補正量Factor2(x,y)=f(L(x,y))を設定する（ステップＳ７８）。
例えば、図１４Ａの例では、主要被写体領域Ａ１においては一様に視差を拡大し、主要被写体領域Ａ１の左右の領域では、主要被写体領域から水平方向に離れるに比例して視差の拡大率を減少させるようなFactor2(x,y)を設定する。
このように設定した画素毎の補正量Factor2(x,y)と、ステップＳ２において設定した画像毎の変換率Factor1とに基づいて、左視点画像Ｌを変換し、６枚の多視点画像Ｃ０〜Ｃ５を生成する（ステップＳ７９）。
その後のステップＳ１０〜ステップＳ１２の処理は、これまでと同様であるので説明を省略する。
また、人物・ポートレートモードでない場合は（ステップＳ７２のＮＯ）、図１３のフローチャートへ移行し、風景モードであるか否かを判定する（ステップＳ８１）。
風景モードでもない場合は（ステップＳ８１のＮＯ）、画素毎の補正は行わず、画像毎の変換率Factor1に基づいて、左視点画像Ｌを変換し、６枚の多視点画像Ｃ０〜Ｃ５を生成する（ステップＳ８２）。
風景モードである場合は（ステップＳ７２のＹＥＳ）、画像を横方向に複数に分割した領域のうち中央部を主要被写体領域と設定する（ステップＳ８３）。例えば、図１４Ｂに示すように、左視点画像Ｌを横方向に３等分し、中央の領域Ａ２を主要被写体領域とする。
この主要被写体領域の視差の平均値を計算し、主要被写体の視差D[主要]とする（ステップＳ８４）。さらに、左視点画像Ｌと右視点画像Ｒの主要被写体の視差が０となるように、右視点画像Ｒをこの視差D[主要]だけ水平方向にシフトし（ステップＳ８５）、ステップＳ４において取得した画素毎の視差を、シフト量である視差D[主要]に合わせて更新する（ステップＳ８６）。
次に、画素毎に、主要被写体領域との垂直方向の画像上の距離L2(x,y)を取得し（ステップＳ８７）、距離に応じて画素毎の補正量Factor2(x,y)=f(L2(x,y))を設定する（ステップＳ８８）。
例えば、図１４Ｂの例では、主要被写体領域Ａ２においては補正を行わず、主要被写体領域Ａ２の上下の領域では、主要被写体領域から垂直方向に離れるに比例して視差を抑制させるようなFactor2(x,y)を設定する。
このように設定した画素毎の補正量Factor2(x,y)と、ステップＳ２において設定した画像毎の変換率Factor1とに基づいて、左視点画像Ｌを変換し、６枚の多視点画像Ｃ０〜Ｃ５を生成する（ステップＳ８９）。
このように、付帯情報から２視点画像の撮影時の撮影モードを取得し、撮影モードに基づいて主要被写体の領域を推定することで、視差分布の計算をすることなく、適切な視差量を与えることができる。
＜第６の実施形態＞
図１５を用いて、第６の実施形態の多視点画像の生成処理を説明する。本実施の形態は、入力２視点画像をシーン分析することにより、近景、中景、遠景を判別し、中景領域を主要被写体として設定する。
２視点画像が入力されると（ステップＳ１）、画像毎の視差の変換率Factor1を設定し（ステップＳ２）、画素毎の視差D(x,y)を取得する（ステップＳ４）。
次に、入力された２視点画像データのシーン分析を行い、領域毎に近景、中景、遠景に分類し（ステップＳ８１）、中景領域を主要被写体と設定する（ステップＳ８２）。シーン分析は、例えば左視点画像Ｌを複数の領域に分割し、分割した領域毎に輝度のヒストグラムを生成し、輝度の分布が広い、即ちコントラストが高い領域を近景、輝度の分布が狭い、即ちコントラストが低い領域を遠景として分類する。
次に、ステップＳ４において取得した画素毎の視差D(x,y)に基づいて、ステップＳ８１において設定した主要被写体領域の視差の平均値を計算し、主要被写体の視差D[主要]を取得する（ステップＳ５）。
さらに、左視点画像Ｌと右視点画像Ｒの主要被写体の視差が０となるように、右視点画像Ｒをこの視差D[主要]だけ水平方向にシフトし（ステップＳ６）、画素毎の視差を更新する（ステップＳ７）。
そして、近景、中景、遠景領域にそれぞれ画素毎の補正量Factor2を設定する（ステップＳ８３）。
例えば、中景領域においては一様に視差を拡大し、近景領域及び遠景領域では、補正を行わないようなFactor2(x,y)や、中景領域においては補正を行わず、近景領域及び遠景領域では視差を抑制させるようなFactor2(x,y)を設定することが考えられる。
その後のステップＳ９〜ステップＳ１２の処理は、これまでと同様であるので説明を省略する。
このように、シーン分析によって近景、中景、遠景を判別することで、対応点検出による画素毎の視差D(x,y)に誤算出があった場合であっても、適切に中景領域を主要被写体領域に設定することができる。
＜その他の変形例＞
第１の実施形態等において、画像毎の視差の変換率Factor1(0)〜Factor1(5)を、0、0.2、0.4、0.6、0.8、及び1.0と設定したが、例えば、0、0.1、0.3、0.7、0.9、及び1.0のように、間隔が不均等になるように設定してもよい。
上記のように設定することで、例えば最終多視点画像Ｓ０−Ｓ１間及びＳ４−Ｓ５間では、視差が圧縮されて立体感が弱められるが、画像の破綻を回避しやすい。また、視点画像Ｓ１−Ｓ２及び視点画像Ｓ３−Ｓ４間では、立体感をそのままに再現することができる。さらに、視点画像Ｓ２−Ｓ３間では、立体感を強調することができる。
このように、画像毎の視差の変換率Factor1は、間隔が一定になるように設定してもよいし、中央部の画像間における視差変換率の差を両端部の画像間における視差変換率の差よりも大きくなるように設定してもよい。
また、画像毎の視差の変換率Factor1と画素毎の視差の補正量Factor2を算出した後、左視点画像Ｌを基準として各視点画像Ｃ０〜Ｃ５を生成しているが、生成される多視点画像の視点の中心を基準として各視点画像を生成してもよい。
例えば、式１の代わりに、下記の式３を用いることにより、各視点の中央部（６枚の多視点画像の場合であれば、視点画像Ｃ２及びＣ３の間）を各視点画像の基準とすることができる。
Cn(x+Factor1(n)×(Factor2(x,y)-1.0)/2×newD(x,y),y)=L(x,y) …式３
左視点画像Ｌを基準とすると、右側の視点画像になるにつれ、画素毎の視差が強調・抑制されることによる画像の歪みが大きくなる可能性があるが、各視点の中央部を基準とすることで、画像の歪みを左右均等に分配し、自然な多視点画像を生成することができる。
＜画像処理装置の構成＞
図１６は、第１〜第６の実施形態を実施するための画像処理装置１０を示すブロック図である。この画像処理装置１０は、例えばパーソナル・コンピュータ、ワークステーション等により構成されている。画像処理装置１０は、画像入力部１１、画像出力部１２、処理方法指示部１３、視差取得部１５、視差変換率設定部１７、視差変換率補正部１８、画像変換部２０、及び立体画像生成部２３を含んでいる。
画像入力部１１は、ステレオ画像として撮影された左視点画像Ｌ及び右視点画像Ｒ（２視点画像）が入力されるもので、例えば、立体画像用の多視点の画像が連結されたマルチ画像ファイル（ＭＰファイル）が記録された記録媒体からＭＰファイルを読み取る画像読取装置やネットワークを通じてＭＰファイルを取得する装置が対応する。
画像出力部１２は、生成された立体画像が出力されるものであり、レンチキュラーレンズシートが表面に貼付されている立体写真プリント用の印刷装置、パララックスバリヤ方式モニタ等が対応する。
処理方法指示部１３は、図５のステップＳ２１で判定を行ったオートモード／マニュアルモードの補正処理モードの設定や、画像毎の変換率Factor1や画素毎の補正量Factor2の設定を行うための操作部である。また、出力サイズ指示部１４は、出力する立体画像のサイズを指示するための操作部である。これらはキーボードやポインティングデバイスで構成される。なお、出力サイズ指示部１４は、画像出力部１２の出力サイズを自動的に取得するように構成してもよい。
視差取得部１５は、画像入力部１１から入力された左視点画像Ｌと右視点画像Ｒとの画素毎又は領域毎の視差D(x,y)を取得するものであり、例えば図１のステップＳ４において用いられる。
ヒストグラム作成部１６は、視差取得部１５が取得した画素毎又は領域毎の視差D(x,y)に基づいて視差のヒストグラムを作成するものであり、例えば図１０のステップＳ６１において用いられる。
視差変換率設定部１７は、各視点画像間の視差変換率Factor1(0)〜Factor1(5)を設定する。例えば、処理方法指示部１３からの入力に基づいて、0、0.2、0.4、0.6、0.8、及び1.0のように差が一定になるように設定したり、0、0.1、0.3、0.7、0.9、及び1.0のように、中央部の画像間における視差変換率の差を両端部の画像間における視差変換率の差よりも大きくなるように設定する。
視差変換率補正部１８は、基準となる画像の視差の補正量が０又は最小となるように、各視点画像の補正量を決定する。例えば、式１を用いることにより、左視点画像Ｌを基準とした補正量となり、式３を用いることにより視点画像Ｃ２及びＣ３の間を各視点画像の基準とすることができる。
補正方法選択部１９は、後述する撮影モード検出部２８の検出結果に応じて、補正量Factor2の算出方法を選択するものであり、例えば図５のステップＳ２４、ステップＳ２７において用いられる。
画像変換部２０は、視差→画像変換部２１及び画像シフト部２２から構成される。
視差→画像変換部２１は、画像毎の視差の変換率Factor1及び画素毎の視差の補正量Factor2に基づいて、画像を変換し、多視点画像を生成するものであり、例えば図１のステップＳ９において用いられる。
また、画像シフト部２２は、視差D[目標]に応じて、多視点画像を水平方向にシフトするものであり、例えば図１のステップＳ１０において用いられる。
立体画像生成部２３は、生成された最終多視点画像に基づいて出力用の立体画像を生成するもので、例えば図１のステップＳ１１において用いられる。
視差比較部２４は、各画素の視差を主要被写体の視差と比較するものであり、例えば図１のステップＳ８において用いられる。
画像解析部２５は、ヘッダ解析部２６及び画像データ解析部２９を含んでいる。
ヘッダ解析部２６は、画像ファイルのヘッダ部に記録された付帯情報から、画像情報を取得するものであり、画像サイズを取得する画像サイズ取得部２７と、画像が撮影された際に設定されていた撮影モードを取得する撮影モード検出部２８とを含んでいる。撮影モード検出部２８の検出結果は、例えば図５のステップＳ２４やステップＳ２７で用いられる。
また、画像データ解析部２９は、画像ファイルの画像本体部に記録された各画素の画素値に基づいて画像データを解析するものであり、撮影シーンを解析するシーン解析部３０と、画像内の主要被写体を検出する主要被写体検出部３１とを含んでいる。シーン解析部３０の解析結果は、例えば図１５のステップＳ８１において用いられる。また、主要被写体検出部３１は、画像内の人物の顔を主要被写体として検出するものを含み、この検出結果は、例えば図１のステップＳ３において用いられる。
主要被写体設定部３２は、撮影モード検出部２８の検出結果やシーン解析部３０の解析結果に基づいて画像内の主要被写体領域を設定するものであり、例えば図１２のステップＳ７３や図１３のステップＳ８３において用いられる。
主要被写体目標視差保持部３３は、最終多視点画像における主要被写体の目標視差である視差D[目標]を保持するものであり、この視差D[目標]は、例えば図１のステップＳ１０において用いられる。
主要被写体目標視差分布保持部３４は、主要被写体についての目標視差分布を保持しているものであり、全体目標視差分布保持部３５は、画像全体についての目標視差分布を保持しているものである。これらの目標視差分布は、例えば図９のステップＳ５３や図７のステップＳ４３において用いられる。
目標値修正部３６は、多視点画像の目標視差を修正するものであり、例えば出力サイズ指示部１４からの入力に応じて修正率Factor3を算出し、修正率Factor3に基づいて主要被写体目標視差保持部３３や主要被写体目標視差分布保持部３４が保持している目標視差を修正する。
このように構成された画像処理装置１０によって、上記の第１〜第６の実施形態を実施することができる。
なお、ここでは多視点画像の生成処理を全てハードウェアで実現しているが、画像処理装置１０を制御するための多視点画像生成プログラムとして実現することも可能である。
１０…画像処理装置、１１…画像入力部、１２…画像出力部、１３…処理方法支持部、１５…視差取得部、１６…ヒストグラム作成部、１７…視差変換率設定部、１８…視差変換率補正部、２０…画像変換部、２１…視差→画像変換部、２２…画像シフト部、２３…立体画像生成部、２５…画像解析部、２６…ヘッダ解析部、２９…画像データ解析部、３２…主要被写体設定部

Claims (11)

  1. 視差を有する２視点画像を入力する画像入力部と、
    前記２視点画像の画素毎又は領域毎の視差を取得する視差取得部と、
    前記２視点画像の主要被写体を検出する主要被写体検出部と、
    前記主要被写体の視差を取得する視差取得部と、
    生成する多視点画像の各視点位置に応じた視差の変換率を設定する設定部と、
    前記主要被写体の視差に基づいて前記視差の変換率を画素毎、領域毎、又は画像毎に補正する補正部と、
    前記２視点画像の付帯情報から該２視点画像が撮影された際の撮影モードを検出する撮影モード検出部と、
    前記検出された撮影モードに応じて、前記補正部が前記視差の差が大きい画素又は領域ほど視差が抑制されるように前記視差の変換率を補正するか、又は前記視差の差が小さい画素又は領域ほど視差が拡大されるように前記視差の変換率を補正するかを選択する選択部と、
    前記補正された視差の変換率にしたがって前記２視点画像の少なくとも一方の画像を変換して多視点画像を生成する多視点画像生成部と、
    前記多視点画像の主要被写体の視差が立体視に適した視差になるように前記２視点画像又は多視点画像を水平方向にシフトする画像調整部と、
    前記多視点画像に基づいて、立体表示画像を生成する立体表示画像生成部と、
    を備える画像処理装置。
  2. 視差を有する２視点画像を入力する画像入力部と、
    前記２視点画像の画素毎又は領域毎の視差を取得する視差取得部と、
    前記２視点画像の主要被写体を検出する主要被写体検出部と、
    前記主要被写体の視差を取得する視差取得部と、
    生成する多視点画像の各視点位置に応じた視差の変換率を設定する設定部と、
    前記主要被写体の視差に基づいて前記視差の変換率を画素毎、領域毎、又は画像毎に補正する補正部と、
    前記補正された視差の変換率にしたがって前記２視点画像の少なくとも一方の画像を変換して多視点画像を生成する多視点画像生成部と、
    前記多視点画像の主要被写体の視差が立体視に適した視差になるように前記２視点画像又は多視点画像を水平方向にシフトする画像調整部と、
    前記多視点画像に基づいて、立体表示画像を生成する立体表示画像生成部と、
    前記画素毎又は領域毎の視差のヒストグラムを取得する視差ヒストグラム取得部を備え、
    前記補正部は、前記ヒストグラムの頻度に応じて視差階調を一定化するように前記視差の変換率を画素毎又は領域毎に補正する、画像処理装置。
  3. 視差を有する２視点画像を入力する画像入力部と、
    前記２視点画像の画素毎又は領域毎の視差を取得する視差取得部と、
    前記２視点画像の主要被写体を検出する主要被写体検出部と、
    前記主要被写体の視差を取得する視差取得部と、
    生成する多視点画像の各視点位置に応じた視差の変換率を設定する設定部と、
    前記主要被写体の視差に基づいて前記視差の変換率を画素毎、領域毎、又は画像毎に補正する補正部と、
    前記補正された視差の変換率にしたがって前記２視点画像の少なくとも一方の画像を変換して多視点画像を生成する多視点画像生成部と、
    前記多視点画像の主要被写体の視差が立体視に適した視差になるように前記２視点画像又は多視点画像を水平方向にシフトする画像調整部と、
    前記多視点画像に基づいて、立体表示画像を生成する立体表示画像生成部と、
    前記２視点画像の撮影シーンを認識する撮影シーン認識部と、
    前記撮影シーンに応じて主要被写体領域を設定する主要被写体領域設定部とを備え、
    前記補正部は、前記主要被写体領域からの画像上の距離に応じて前記視差の変換率を領域毎又は画素毎に補正する、画像処理装置。
  4. 前記撮影シーン認識部は、前記２視点画像の付帯情報から該２視点画像が撮影された際の撮影モードを検出する撮影モード検出部を備え、
    前記主要被写体領域設定部は、前記検出された撮影モードが人物モードである場合に、画像を縦方向に分割した複数の領域のうち中央部分の領域を主要被写体領域として設定し、
    前記補正部は、前記主要被写体領域からの水平方向の距離に応じて前記視差の変換率を領域毎又は画素毎に補正する、請求項３に記載の画像処理装置。
  5. 前記撮影シーン認識部は、前記２視点画像の付帯情報から該２視点画像が撮影された際の撮影モードを検出する撮影モード検出部を備え、
    前記主要被写体領域設定部は、前記検出された撮影モードが風景モードである場合に、画像を横方向に分割した複数の領域のうち中央部分の領域を主要被写体領域として設定し、
    前記補正部は、前記主要被写体領域からの垂直方向の距離に応じて前記視差の変換率を領域毎又は画素毎に補正する、請求項３に記載の画像処理装置。
  6. 前記撮影シーン認識部は、前記２視点画像から前景領域、中景領域、及び遠景領域を抽出する抽出部を備え、
    前記補正部は、前記抽出した各領域に応じて前記視差の変換率を領域毎又は画素毎に補正する、請求項３に記載の画像処理装置。
  7. 画像全体の目標視差分布と主要被写体の目標視差分布とを保持する保持部を備え、
    前記設定部は、生成する多視点画像の画像全体の視差の分布が前記画像全体の目標視差分布を満足するように視差の変換率を設定し、
    前記補正部は、生成する多視点画像の主要被写体の視差の分布が前記主要被写体の目標視差分布を満足するように前記視差の変換率を画素毎、領域毎、又は画像毎に補正する、請求項１から６のいずれか１項に記載の画像処理装置。
  8. 前記生成された立体表示画像を所定のサイズで出力する出力部と、
    前記所定のサイズに応じて、前記画像全体の目標視差分布と主要被写体の目標視差分布を修正する修正部と、
    を備える請求項１から７のいずれか１項に記載の画像処理装置。
  9. 前記設定部は、生成する多視点画像が４視点以上の場合に、中央部の視点位置の差を両端部の視点位置の差より大きくなるように視差の変換率を設定する、請求項１から８のいずれかに記載の画像処理装置。
  10. 前記補正部は、前記２視点画像のうち一方の画像の視差の変換率が０になるように前記視差の変換率を画素毎、領域毎、又は画像毎に補正し、
    前記多視点画像生成部は、前記視差の変換率が０の画像を変換して多視点画像を生成する、請求項１から９のいずれかに記載の画像処理装置。
  11. 前記補正部は、生成する多視点画像のうち中央の視点位置の画像の視差の変換率が最小になるように前記視差の変換率を画素毎、領域毎、又は画像毎に補正する、請求項１から９のいずれかに記載の画像処理装置。
JP2011538343A 2009-10-30 2010-10-14 画像処理装置 Expired - Fee Related JP5068391B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011538343A JP5068391B2 (ja) 2009-10-30 2010-10-14 画像処理装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009250922 2009-10-30
JP2009250922 2009-10-30
JP2011538343A JP5068391B2 (ja) 2009-10-30 2010-10-14 画像処理装置
PCT/JP2010/068039 WO2011052389A1 (ja) 2009-10-30 2010-10-14 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP5068391B2 true JP5068391B2 (ja) 2012-11-07
JPWO2011052389A1 JPWO2011052389A1 (ja) 2013-03-21

Family

ID=43921815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011538343A Expired - Fee Related JP5068391B2 (ja) 2009-10-30 2010-10-14 画像処理装置

Country Status (4)

Country Link
US (1) US8472704B2 (ja)
JP (1) JP5068391B2 (ja)
CN (1) CN102598051B (ja)
WO (1) WO2011052389A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105597A1 (en) * 2010-11-02 2012-05-03 Sony Corporation Image processor, image processing method, and image pickup apparatus

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2478157A (en) * 2010-02-26 2011-08-31 Sony Corp Method and apparatus for cutting between a first and second image sequence in a stereoscopic video
JP5492311B2 (ja) * 2011-02-08 2014-05-14 富士フイルム株式会社 視点画像生成装置、視点画像生成方法及び立体画像印画装置
JP5765418B2 (ja) * 2011-05-06 2015-08-19 富士通株式会社 立体視画像生成装置、立体視画像生成方法、立体視画像生成プログラム
US9147278B2 (en) 2011-06-08 2015-09-29 Panasonic Intellectual Property Management Co., Ltd. Parallax image generation device, parallax image generation method, program, and integrated circuit
JP2012257022A (ja) * 2011-06-08 2012-12-27 Sony Corp 画像処理装置および方法、並びにプログラム
JP5047381B1 (ja) * 2011-06-10 2012-10-10 シャープ株式会社 映像生成装置、映像表示装置、テレビ受像装置、映像生成方法及びコンピュータプログラム
KR101870764B1 (ko) * 2011-06-14 2018-06-25 삼성전자주식회사 영상 변환 메커니즘을 활용한 디스플레이 장치 및 그 동작 방법
EP2536160B1 (en) * 2011-06-14 2018-09-26 Samsung Electronics Co., Ltd. Display system with image conversion mechanism and method of operation thereof
JPWO2012176431A1 (ja) * 2011-06-20 2015-02-23 パナソニック株式会社 多視点画像生成装置、多視点画像生成方法
CN102231841A (zh) * 2011-06-23 2011-11-02 康佳集团股份有限公司 基于双视点立体数据裸眼立体显示电视及实现方法
JP5907368B2 (ja) * 2011-07-12 2016-04-26 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2013031057A (ja) * 2011-07-29 2013-02-07 Jvc Kenwood Corp 映像処理装置および映像処理方法
JP5352869B2 (ja) * 2011-09-07 2013-11-27 シャープ株式会社 立体画像処理装置、立体画像処理方法、及びプログラム
JP2013090031A (ja) 2011-10-14 2013-05-13 Sony Corp 画像処理装置、画像処理方法およびプログラム
IN2014CN03412A (ja) * 2011-11-01 2015-10-09 Koninkl Philips Nv
CN102523469A (zh) * 2011-12-21 2012-06-27 吉林大学 基于视距感知的小分辨率立体视频自适应解码方法
JP5720561B2 (ja) * 2011-12-26 2015-05-20 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
JP5899910B2 (ja) * 2011-12-26 2016-04-06 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
JP6017144B2 (ja) * 2012-02-06 2016-10-26 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像処理装置および方法、プログラム、並びに記録媒体
JP6167525B2 (ja) * 2012-03-21 2017-07-26 株式会社リコー 距離計測装置及び車両
JP5800996B2 (ja) * 2012-09-26 2015-10-28 富士フイルム株式会社 画像処理装置、方法及びプログラム、プリンタ、表示装置
JP6618260B2 (ja) * 2015-02-19 2019-12-11 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
WO2019017290A1 (ja) * 2017-07-20 2019-01-24 エフ・エーシステムエンジニアリング株式会社 立体画像表示装置
JP6849775B2 (ja) * 2019-11-14 2021-03-31 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331607A (ja) * 1995-03-29 1996-12-13 Sanyo Electric Co Ltd 三次元表示画像生成方法
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2007336002A (ja) * 2006-06-12 2007-12-27 Victor Co Of Japan Ltd 多視点映像表示装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118475A (en) * 1994-06-02 2000-09-12 Canon Kabushiki Kaisha Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape
US6384859B1 (en) 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
JP3336200B2 (ja) * 1995-12-12 2002-10-21 シャープ株式会社 要素ホログラムパネルを有する３次元像表示装置
JPH10232626A (ja) * 1997-02-20 1998-09-02 Canon Inc 立体画像表示装置
US7113634B2 (en) * 2001-07-31 2006-09-26 Canon Kabushiki Kaisha Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program
JP3720747B2 (ja) * 2001-09-28 2005-11-30 キヤノン株式会社 画像形成システム及び画像形成装置、及び画像形成方法
JP4002755B2 (ja) * 2001-12-10 2007-11-07 オリンパス株式会社 撮像装置
JP4251907B2 (ja) * 2003-04-17 2009-04-08 シャープ株式会社 画像データ作成装置
JP2004363758A (ja) * 2003-06-03 2004-12-24 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置
GB2422737A (en) * 2005-01-26 2006-08-02 Sharp Kk Multiple-view display and display controller
JP5009847B2 (ja) * 2008-03-28 2012-08-22 富士フイルム株式会社 立体画像生成装置および方法並びにプログラム
US8368696B2 (en) * 2009-06-19 2013-02-05 Sharp Laboratories Of America, Inc. Temporal parallax induced display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331607A (ja) * 1995-03-29 1996-12-13 Sanyo Electric Co Ltd 三次元表示画像生成方法
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2007336002A (ja) * 2006-06-12 2007-12-27 Victor Co Of Japan Ltd 多視点映像表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105597A1 (en) * 2010-11-02 2012-05-03 Sony Corporation Image processor, image processing method, and image pickup apparatus

Also Published As

Publication number Publication date
US8472704B2 (en) 2013-06-25
JPWO2011052389A1 (ja) 2013-03-21
WO2011052389A1 (ja) 2011-05-05
CN102598051A (zh) 2012-07-18
US20120219208A1 (en) 2012-08-30
CN102598051B (zh) 2014-10-29

Similar Documents

Publication Publication Date Title
JP5068391B2 (ja) 画像処理装置
US8503765B2 (en) Method and apparatus for correcting errors in stereo images
JP5291755B2 (ja) 立体視画像生成方法および立体視画像生成システム
US10165249B2 (en) Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras
JP5183277B2 (ja) 立体画像表示装置
US20140009462A1 (en) Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
KR101856805B1 (ko) 화상 처리 장치 및 화상 처리 방법, 및 프로그램
US20110193860A1 (en) Method and Apparatus for Converting an Overlay Area into a 3D Image
JP2012138787A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20130162764A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
US8675042B2 (en) Image processing apparatus, multi-eye digital camera, and program
JP5178876B2 (ja) 立体映像表示装置及び立体映像表示方法
WO2011125461A1 (ja) 画像生成装置及び方法並びにプリンタ
JP2011199389A (ja) 画像処理装置、画像変換方法、およびプログラム
JP5581452B2 (ja) 視差量調整装置およびその動作制御方法
JP4988971B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP5484577B2 (ja) 画像処理装置、撮像装置及び画像処理方法
KR101329069B1 (ko) 깊이 추정 데이터 생성 장치, 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 및, 의사 입체 화상 표시 장치
US8787655B2 (en) Image processing apparatus and control method therefor
CN108712642B (zh) 一种适用于立体视频的立体字幕添加位置自动选择方法
JP5492311B2 (ja) 視点画像生成装置、視点画像生成方法及び立体画像印画装置
US10475233B2 (en) System, method and software for converting images captured by a light field camera into three-dimensional images that appear to extend vertically above or in front of a display medium
WO2018187724A1 (en) System, method and software for converting images captured by a light field camera into three-dimensional images that appear to extend vertically above or in front of a display medium
WO2013186881A1 (ja) 立体視画像生成方法および立体視画像生成システム
JP2010141752A (ja) 立体視画像生成方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20120806

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120808

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120814

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150824

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees