JP5927541B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP5927541B2
JP5927541B2 JP2012536622A JP2012536622A JP5927541B2 JP 5927541 B2 JP5927541 B2 JP 5927541B2 JP 2012536622 A JP2012536622 A JP 2012536622A JP 2012536622 A JP2012536622 A JP 2012536622A JP 5927541 B2 JP5927541 B2 JP 5927541B2
Authority
JP
Japan
Prior art keywords
image
blank
input
value
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012536622A
Other languages
English (en)
Other versions
JPWO2012169174A1 (ja
Inventor
邦昭 磯貝
邦昭 磯貝
正之 三崎
正之 三崎
田川　潤一
潤一 田川
河村　岳
岳 河村
藤井　隆志
隆志 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2012169174A1 publication Critical patent/JPWO2012169174A1/ja
Application granted granted Critical
Publication of JP5927541B2 publication Critical patent/JP5927541B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、入力画像から得られる３次元モデルにおいて射影変換を行うことにより変換画像を生成する画像処理装置および画像処理方法に関する。
近年、ユーザが、デジタルスチルカメラあるいはデジタルビデオカメラなどで撮影された画像を編集することが多くなっている。例えば、ユーザは、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を介して入力画像内の一部領域を指定して、その一部領域に写っている被写体の像を拡大する。このような場合、被写体の像は、単に拡大または縮小されるだけであり、カメラを被写体に近づけて撮影されたような像を得ることはできない。
また、複数の方向から被写体を撮影した入力画像を合成して３次元モデルを生成し、生成した３次元モデルにおいて、任意の視点位置から射影変換を行うことにより、被写体像を生成する方法が提案されている（例えば、特許文献１を参照）。このような方法によって、例えば、カメラを被写体に近づけて撮影したような被写体像、あるいは実際のカメラとは異なる方向から撮影したような被写体像を得ることができる。
特開２００２−２９０９６４号公報
しかしながら、上記従来の方法では、変換画像の画質が大きく劣化する場合がある。
そこで、本発明の目的は、上記課題を鑑みてなされたものであり、入力画像から得られる３次元モデルにおいて射影変換を行うことにより変換画像を生成する場合に、変換画像の画質の劣化を抑制することができる画像処理装置および画像処理方法を提供することである。
本発明の一態様に係る画像処理装置は、入力画像と、前記入力画像の深度を示す深度データと、前記入力画像の撮影パラメータとの入力を受け付けるデータ入力部と、３次元モデルの射影変換に関するパラメータである変換パラメータの入力を受け付けるパラメータ入力部と、前記入力画像と前記深度データと前記撮影パラメータとから得られる３次元モデルにおいて、前記変換パラメータに基づく射影変換を行うことにより、変換画像を生成する変換画像生成部と、前記変換画像において、前記入力画像内に対応する画素が存在しない画素である空白画素の集合である空白領域を検出する空白領域検出部と、前記空白領域の大きさを示す空白値が閾値以下である場合に、前記変換画像を出力する出力部とを備える。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の一態様によれば、入力画像から得られる３次元モデルにおいて射影変換を行うことにより変換画像を生成する場合に、変換画像の画質の劣化を抑制することができる。
図１は、実施の形態１に係る画像処理装置の機能構成を示すブロック図である。 図２は、実施の形態１に係る画像処理装置の処理動作を示すフローチャートである。 図３は、実施の形態１に係る変換画像生成部による処理の一例を説明するための図である。 図４は、実施の形態１に係る変換画像生成部による処理の一例を説明するための図である。 図５は、実施の形態１に係る変換画像生成部による処理の一例を説明するための図である。 図６は、実施の形態２に係る画像処理装置の機能構成を示すブロック図である。 図７は、実施の形態２に係る画像処理装置の処理動作を示すフローチャートである。 図８は、実施の形態３に係る画像処理装置の機能構成を示すブロック図である。 図９は、実施の形態３に係る画像処理装置の処理動作を示すフローチャートである。 図１０Ａは、入力画像の一例を示す図である。 図１０Ｂは、深度データの一例を示す図である。 図１１は、初期状態におけるＧＵＩの一例を示す図である。 図１２は、入力変換パラメータに基づいて生成された変換画像を表示するＧＵＩの一例を示す図である。 図１３は、補間変換パラメータに基づいて生成された変換画像（空白値＞閾値）を表示するＧＵＩの一例を示す図である。 図１４は、補間変換パラメータに基づいて生成された変換画像（空白値＝閾値）を表示するＧＵＩの一例を示す図である。 図１５は、空白領域が補完して得られた変換画像の一例を示す図である。 図１６は、実施の形態１〜３の変形例に係る表示装置の機能構成を示すブロック図である。
（本発明の概要）
従来の方法では、変換画像の画質が大きく劣化する場合がある。例えば、射影変換により生成された変換画像内に、入力画像に対応する像が存在しない空白領域が発生する場合があり、このような場合に変換画像の画質が大きく劣化してしまう。
そこで、本発明の一態様に係る画像処理装置は、入力画像と、前記入力画像の深度を示す深度データと、前記入力画像の撮影パラメータとの入力を受け付けるデータ入力部と、３次元モデルの射影変換に関するパラメータである変換パラメータの入力を受け付けるパラメータ入力部と、前記入力画像と前記深度データと前記撮影パラメータとから得られる３次元モデルにおいて、前記変換パラメータに基づく射影変換を行うことにより、変換画像を生成する変換画像生成部と、前記変換画像において、前記入力画像内に対応する画素が存在しない画素である空白画素の集合である空白領域を検出する空白領域検出部と、前記空白領域の大きさを示す空白値が閾値以下である場合に、前記変換画像を出力する出力部とを備える。
本構成によれば、変換画像において検出された空白領域の大きさに応じて、その変換画像を出力するか否かを切り替えることができる。したがって、空白領域が大きいために画質が大きく劣化した変換画像が出力されることを抑制することができる。さらに、このように空白領域が大きい場合に、例えば、他の変換パラメータに基づいて射影変換を行えば、空白領域を小さくすることも可能となり、変換画像の画質の劣化を抑制することができる。
例えば、前記空白領域検出部は、互いに隣接する空白画素の集合が１つの空白領域となるように、複数の前記空白領域を検出し、前記出力部は、複数の前記空白領域の各々の空白値のうちの最大の空白値が前記閾値以下である場合に、前記変換画像を出力してもよい。
一般的に、多くの小さな空白領域が離散的に存在する場合よりも、少しの大きな空白領域が存在する場合の方が画質の劣化に与える影響が大きい。そこで、本構成によれば、複数の空白領域の各々の空白値のうちの最大の空白値が閾値以下である場合に変換画像を出力することができる。つまり、複数の空白領域のうち画質の劣化に対する影響が大きい空白領域に応じて、変換画像を出力するか否かを切り替えることができ、画質が大きく劣化した変換画像が出力されることを抑制することができる。
例えば、前記空白値は、空白領域の位置が変換画像の中心位置に近いほど当該空白領域の空白値が大きくなるように重み付けされた値であってもよい。
一般的に、画像の縁部に存在する空白領域よりも、画像の中心に存在する空白領域の方が画質の劣化に与える影響が大きい。そこで、本構成によれば、空白領域の位置が変換画像の中心位置に近いほど当該空白領域の空白値が大きくなるように重み付けされた空白値を用いて、変換画像を出力するか否かを切り替えることができる。つまり、複数の空白領域のうち画質の劣化に対する影響が大きい空白領域に応じて、変換画像を出力するか否かを切り替えることができ、画質が大きく劣化した変換画像が出力されることを抑制することができる。
例えば、前記空白値は、空白領域の縦横比が小さいほど当該空白領域の空白値が大きくなるように重み付けされた値であってもよい。
一般的に、同じ面積であれば縦横比が小さい（つまり縦幅と横幅とが近い）空白領域ほど、画質の劣化に与える影響が大きい。そこで、本構成によれば、空白領域の縦横比が小さいほど当該空白領域の空白値が大きくなるように重み付けされた空白値を用いて、変換画像を出力するか否かを切り替えることができる。つまり、複数の空白領域のうち画質の劣化に対する影響が大きい空白領域に応じて、変換画像を出力するか否かを切り替えることができ、画質が大きく劣化した変換画像が出力されることを抑制することができる。
例えば、さらに、前記空白領域近傍の画素の画素値に基づいて、前記空白領域の画素の画素値を補完する補完部を備え、前記出力部は、前記空白値が前記閾値以下である場合に、前記空白領域の画素の画素値が補完された前記変換画像を出力してもよい。
この構成によれば、空白領域近傍の画素の画素値に基づいて、空白領域の画素の画素値を補完することができる。したがって、空白領域による画質の劣化を抑制することが可能となる。
例えば、前記パラメータ入力部は、前記入力画像に対する視点位置の変更指示を前記変換パラメータの入力としてユーザから受け付け、前記変換画像生成部は、前記変換パラメータによって特定される視点位置に基づいて射影変換を行うことにより、前記変換画像を生成してもよい。
この構成によれば、ユーザから受け付けられた、入力画像に対する視点位置の変更指示に基づいて、射影変換を行うことができる。
例えば、前記出力部は、さらに、前記空白値が前記閾値より大きい場合に、他の変換パラメータの入力を要求するための情報を出力してもよい。
この構成によれば、変換画像の画質の劣化が大きい場合に他の変換パラメータの入力を要求することが可能となる。その結果、他の変換パラメータに基づいて変換画像を生成することも可能となり、空白領域による画質の劣化が抑制された変換画像を生成することが可能となる。
例えば、前記出力部は、前記空白値が前記閾値より大きい場合に、前記変換パラメータを初期化する指示をユーザから受け付けるためのオブジェクトを強調表示するための情報を、前記他の変換パラメータの入力を要求するための情報として出力してもよい。
この構成によれば、変換画像の画質の劣化が大きい場合に変換パラメータを初期化する指示をユーザから受け付けるためのオブジェクトを強調表示することが可能となる。したがって、ユーザに変換パラメータの初期化を促すことができ、変換画像の画質の劣化を抑制することができる。また、画像処理を行うためのユーザインタフェースにおいて、ユーザの操作性を向上させることも可能となる。
例えば、前記出力部は、さらに、前記空白値が前記閾値より大きい場合に、前に出力された変換画像を出力してもよい。
この構成によれば、変換画像の画質の劣化が大きい場合に前に出力された変換画像を出力することができ、画質が劣化した変換画像が出力されることを防止することができる。
例えば、前記画像処理装置は、さらに、前記空白値が前記閾値より大きい場合に、前記入力画像に対応する変換パラメータと、前記パラメータ入力部によって受け付けられた変換パラメータとの間を補間することにより、補間変換パラメータを算出するパラメータ算出部を備え、前記変換画像生成部は、さらに、算出された前記補間変換パラメータに基づく射影変換を行うことにより、新たに変換画像を生成してもよい。
この構成によれば、変換画像の画質の劣化が大きい場合に、受け付けられた変換パラメータよりも入力画像に対応する変換パラメータに近い補間変換パラメータを自動的に算出することができる。したがって、変換画像の画質の劣化を抑制することが可能となる。
例えば、前記パラメータ算出部は、前記空白値が前記閾値以下になるまで、前記補間変換パラメータが、前記パラメータ入力部によって受け付けられた変換パラメータから前記入力画像に対応する変換パラメータへ徐々に近付くように、前記補間変換パラメータを順に算出し、前記変換画像生成部は、前記補間変換パラメータに基づいて、前記変換画像を順に生成し、前記出力部は、前記変換画像を順に出力してもよい。
この構成によれば、補間変換パラメータが徐々に入力画像に対応する変換パラメータに近付くように、補間変換パラメータを算出することができる。したがって、変換画像が予め定められた画質を満たすような変換パラメータを自動的に算出することが可能となる。つまり、変換画像の画質の劣化を抑制することができる。
さらに、この構成によれば、そのように算出された補間変換パラメータに基づいて生成された変換画像を順に出力することができる。したがって、変換画像の画質が向上していく様子をアニメーションのようにユーザに提示することが可能となる。
例えば、前記出力部は、さらに、前記空白値と前記閾値との関係を示す情報を出力してもよい。
この構成によれば、画質の劣化度合いをユーザに提示することができる。したがって、画像処理を行うためのユーザインタフェースにおいて、ユーザの操作性を向上させることが可能となる。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下に、本発明の実施の形態について、図面を参照しながら説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態１）
図１は、実施の形態１に係る画像処理装置の機能構成を示すブロック図である。この画像処理装置１００は、データ入力部１０１と、パラメータ入力部１０２と、変換画像生成部１０３と、空白領域検出部１０４と、出力部１０５とを備える。
データ入力部１０１は、入力画像１２１と、深度データ１２２と、撮影パラメータ１２３との入力を受け付ける。以下において、入力画像１２１と深度データ１２２と撮影パラメータ１２３との組み合わせを入力データという。
具体的には、データ入力部１０１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）あるいはフラッシュメモリなどの記憶装置から入力データを読み出す。また例えば、データ入力部１０１は、ネットワークを介して接続された外部装置から入力データを取得する。
なお、深度データ１２２とは、入力画像の深度を示すデータである。入力画像がカメラによって撮影された画像である場合、深度とは、そのカメラから被写体までの距離を示す。具体的には、深度データ１２２は、例えば、入力画像を構成する各画素の深度値を含む。
撮影パラメータ１２３は、入力画像の撮影条件を示すパラメータである。本実施の形態では、撮影パラメータは、画角、深度の前端距離、および深度の後端距離を含む。なお、撮影パラメータ１２３は、必ずしも画角、深度の前端距離、および深度の後端距離を含む必要はない。例えば、深度データ１２２に含まれる深度値が正規化された値であれば、撮影パラメータ１２３は、深度の前端距離および深度の後端距離を含まなくてもよい。
パラメータ入力部１０２は、３次元モデルの射影変換に関するパラメータである変換パラメータ１２４の入力を受け付ける。例えば、パラメータ入力部１０２は、入力画像１２１に対する視点位置の変更指示を変換パラメータの入力としてユーザから受け付ける。
なお、変換パラメータ１２４は、必ずしも視点位置の変更指示である必要はない。例えば、変換パラメータは、射影変換の種類（例えば、透視射影あるいは正射影など）を示す情報であってもよい。また例えば、変換パラメータ１２４は、画角を示す情報であってもよい。
変換画像生成部１０３は、入力画像１２１と深度データ１２２と撮影パラメータ１２３とから得られる３次元モデルにおいて、変換パラメータ１２４に基づく射影変換を行うことにより、変換画像１３１を生成する。この変換画像生成部１０３の詳細については、他の図面を用いて後述する。
空白領域検出部１０４は、変換画像１３１において、空白画素の集合である空白領域を検出する。本実施の形態では、空白領域検出部１０４は、互いに隣接する空白画素の集合が１つの空白領域となるように、空白領域を検出する。
ここで、空白画素とは、変換画像内の画素であって入力画像内に対応する画素が存在しない画素である。つまり、空白画素とは、入力画像に写っていない画像に対応する位置の画素である。言い換えると、空白画素とは、画素値を有しない画素、または画素値が初期値のままである画素である。
なお、空白領域検出部１０４は、必ずしも互いに隣接する空白画素の集合を１つの空白領域として検出する必要はない。例えば、空白領域検出部１０４は、所定の範囲内に離散的に存在する（互いに隣接していない）空白画素の集合を１つの空白領域として検出してもよい。
出力部１０５は、空白領域の大きさを示す空白値が閾値以下である場合に、変換画像１３１を出力する。本実施の形態では、出力部１０５は、複数の空白領域の各々の空白値のうちの最大の空白値が閾値以下である場合に、変換画像１３１を出力する。
ここでは、空白値として、変換画像１３１の画素数に対する空白領域の画素数の比が用いられる。なお、空白値は、必ずしもこのような値である必要はない。例えば、空白値は、空白領域の画素数あるいは面積であってもよい。また例えば、空白値は、空白領域の横幅および縦幅の少なくとも一方であってもよい。
次に、以上のように構成された画像処理装置１００における各種動作を説明する。
図２は、実施の形態１に係る画像処理装置１００の処理動作を示すフローチャートである。以下では、ユーザから視点位置の変更指示が入力される場合について説明する。
まず、データ入力部１０１は、入力データの入力を受け付ける（Ｓ１０１）。続いて、パラメータ入力部１０２は、ユーザから視点位置の変更指示（変換パラメータ）の入力を受け付ける（Ｓ１０２）。具体的には、パラメータ入力部１０２は、例えば、画面に表示された入力画像に対して入力された視点位置の変更指示を取得する。この場合、ユーザは、例えば、マウスなどの入力手段を介して画面上の位置を指示することにより、視点位置の変更指示を入力する。
変換画像生成部１０３は、入力画像と深度データと撮影パラメータとから得られる３次元モデルにおいて、変更指示に従って視点位置を変更させて射影変換を行うことにより、変換画像を生成する（Ｓ１０３）。この変換画像を生成する処理については後述する。
続いて、空白領域検出部１０４は、変換画像において空白領域を検出する（Ｓ１０４）。ここでは、空白領域検出部１０４は、互いに隣接する空白画素の集合を１つの空白領域として検出する。
空白領域検出部１０４は、空白値が閾値以下であるか否か判定する（Ｓ１０５）。具体的には、空白領域検出部１０４は、複数の空白領域が検出された場合には、空白値の最大値が閾値以下であるか否かを判定する。この閾値は、変換画像の画質が空白領域によって劣化する度合いに応じて、実験的あるいは経験的に設定されればよい。
ここで、空白値が閾値以下である場合（Ｓ１０５のＹｅｓ）、出力部１０５は、変換画像を出力し（Ｓ１０６）、処理を終了する。その結果、例えば、視点位置の変更指示に応じて変換された変換画像が画面に表示される。
一方、空白値が閾値より大きい場合（Ｓ１０５のＮｏ）、画像処理装置１００は、変換画像を出力せず、そのまま処理を終了する。その結果、例えば、入力画像がそのまま画面に表示される。つまり、ユーザによる視点位置の変更が制限される。
以上のように、画像処理装置１００は、空白領域の大きさに応じて、変換画像を出力するか否かを切り替えることができ、ユーザによる画像編集を制限することが可能となる。
次に、変換画像生成部１０３による変換画像を生成する処理について図３〜５を参照しながら詳細に説明する。ここでは、変換パラメータとして、視点位置の変更指示が入力された場合について説明する。
図３〜５は、実施の形態１に係る変換画像生成部１０３による処理の一例を説明するための図である。なお、図３〜５において、Ｘ軸方向およびＹ軸方向は、水平方向および垂直方向を示し、Ｚ軸方向は、深度方向（奥行き方向）を示す。
まず、図３に示すように、変換画像生成部１０３は、スクリーン座標系で表わされた入力画像１２１（図３の（ａ））と深度データ１２２とを用いて、射影座標系で表わされた３次元モデルを生成する（図３の（ｂ））。つまり、変換画像生成部１０３は、入力画像１２１と深度データ１２２とを用いて、射影座標系における画素の位置を示すベクトルＶｐ（ｘ，ｙ，ｚ）を画素ごとに算出する。
スクリーン座標系とは、表示画面に対応する２次元の座標系である。射影座標系とは、クリップ座標系あるいはデバイス座標系とも呼ばれ、カメラ座標系において射影変換を行うことにより得られる３次元の座標系である。カメラ座標系とは、ビュー座標系とも呼ばれ、視点（カメラ）位置および視線方向によって定義される３次元の座標系である。本実施の形態では、カメラ座標系において、視点位置は原点と一致し、視線方向はＺ軸方向（深度方向）と一致する。
続いて、変換画像生成部１０３は、撮影パラメータを用いて、３次元モデルを射影座標系からカメラ座標系に変換する（図３の（ｃ））。具体的には、変換画像生成部１０３は、式（１）〜（３）に示すように、射影座標系における各画素の位置を示すベクトルＶｐを、カメラ座標系における各画素の位置を示すベクトルＶｃへ変換する。なお、以下の式（１）〜（３）において、ベクトルＶｐおよびＶｃは、同次座標で表わされている。
Figure 0005927541
ここで、ｘ’、ｙ’、ｚ’、およびｗ’は、以下の式（２）によって計算される。
Figure 0005927541
ここで、行列Ｍｐｃは、射影行列Ｍｃｐの逆行列である。射影行列Ｍｃｐは、深度の前端距離ｚｎ、深度の後端距離ｚｆ、画角ｆｏｖＹ、およびアスペクト比Ａｓｐｅｃｔを用いて、以下の式（３）のように表わされる。
Figure 0005927541
次に、図４に示すように、変換画像生成部１０３は、視点位置の変更指示に従って、カメラ座標系において３次元モデルの視点位置を変更する（図４の（ａ）および（ｂ））。具体的には、変換画像生成部１０３は、カメラ座標系における各画素の位置を示すベクトルＶｃを視点位置の移動方向と逆方向に移動させることにより、視点位置変更後の各画素の位置を示すベクトルＶｃ’を算出する。
続いて、変換画像生成部１０３は、視点位置が変更された３次元モデルを、カメラ座標系から射影座標系に変換する（図４の（ｃ））。具体的には、変換画像生成部１０３は、カメラ座標系における視点位置変更後の各画素の位置を示すベクトルＶｃ’を射影座標系における各画素の位置を示すベクトルＶｐ’に変換する。つまり、変換画像生成部１０３は、以下の式（４）に示すように射影変換を行うことにより、ベクトルＶｐ’を算出する。
Figure 0005927541
本実施の形態では、式（４）に示す射影行列Ｍｃｐは、式（３）に示す射影行列Ｍｃｐと同一である。なお、ここで用いられる射影行列Ｍｃｐは、必ずしもこのような射影行列である必要はない。射影行列は、例えば、正射影行列であってもよいし、回転あるいは反転を伴う射影行列であってもよい。つまり、変換パラメータに射影行列を示す情報が含まれる場合は、変換パラメータが示す射影行列が用いられればよい。
最後に、図５に示すように、変換画像生成部１０３は、射影座標系で表わされた３次元モデルからスクリーン座標系で表わされた変換画像１３１を生成する（図５の（ａ）および（ｂ））。図５の（ｂ）に示すように、変換画像１３１内には空白領域１３２が存在する。この空白領域１３２は、入力画像内に対応する画素が存在しない空白画素の集合である。このような空白領域１３２の大きさを示す空白値（例えば画素数）を用いて、変換画像１３１を出力するか否かが決定される。
以上のように、本実施の形態に係る画像処理装置１００によれば、変換画像において検出された空白領域の大きさに応じて、その変換画像を出力するか否かを切り替えることができる。したがって、空白領域が大きいために画質が大きく劣化した変換画像が出力されることを抑制することができる。さらに、このように空白領域が大きい場合に、例えば、他の変換パラメータに基づいて射影変換を行えば、空白領域を小さくすることも可能となり、変換画像の画質の劣化を抑制することができる。
また一般的に、多数の小さな空白領域が離散的に存在する場合よりも、少数の大きな空白領域が存在する場合の方が画質の劣化に与える影響が大きい。そこで、本実施の形態に係る画像処理装置１００によれば、複数の空白領域の各々の空白値のうちの最大の空白値が閾値以下である場合に変換画像を出力することができる。つまり、複数の空白領域のうち画質の劣化に対する影響が大きい空白領域に応じて、変換画像を出力するか否かを切り替えることができ、画質が大きく劣化した変換画像が出力されることを抑制することができる。
（実施の形態２）
次に、実施の形態２について説明する。本実施の形態に係る画像処理装置は、変換画像内の空白領域を構成する画素の画素値を補完し、補完後の変換画像を出力する点が、実施の形態１に係る画像処理装置と主として異なる。
図６は、実施の形態２に係る画像処理装置１１０の機能構成を示すブロック図である。なお、図６において、図１と同様の構成部については、同一の符号を付し、説明を適宜省略する。
図６に示すように、本実施の形態に係る画像処理装置１１０は、さらに、補完部１１１を備える。
補完部１１１は、空白領域近傍の画素値に基づいて、空白領域の画素の画素値を補完する。具体的には、補完部１１１は、例えば、空白領域の画素の画素値として、空白領域に隣接する画素の画素値を設定する。また例えば、補完部１１１は、空白領域近傍の画素の画素値を用いて、空白領域の画素の画素値を内挿してもよい。
出力部１０５は、空白値が閾値以下である場合に、補完部１１１によって空白領域の画素の画素値が補完された変換画像を出力する。
次に、以上のように構成された画像処理装置１１０における各種動作について説明する。
図７は、実施の形態２に係る画像処理装置１１０の処理動作を示すフローチャートである。なお、図７において、図２と同様の処理が行われるステップには、同一の符号を付し、適宜説明を省略する。
実施の形態１と同様に、画像処理装置１１０は、ステップＳ１０１〜Ｓ１０５の処理を実行する。ここで、空白値が閾値以下の場合（Ｓ１０５のＹｅｓ）、補完部１１１は、空白領域近傍の画素の画素値に基づいて、空白領域の画素の画素値を補完する（Ｓ１１１）。続いて、出力部１０５は、空白領域の画素の画素値が補完された変換画像を出力する（Ｓ１１２）。
一方、空白値が閾値より大きい場合（Ｓ１０５のＮｏ）、画像処理装置１１０は、そのまま処理を終了する。つまり、変換画像は出力されない。
以上のように、本実施の形態に係る画像処理装置１１０によれば、空白領域近傍の画素の画素値に基づいて、空白領域の画素の画素値を補完することができる。したがって、画像処理装置１１０は、空白領域による画質の劣化を抑制することが可能となる。
（実施の形態３）
実施の形態３に係る画像処理装置は、空白値が閾値より大きい場合に他の変換パラメータを自動的に生成する。そして、実施の形態３に係る画像処理装置は、新たに生成された他の変換パラメータに基づいて新たに変換画像を生成する。以下に、本実施の形態に係る画像処理装置について図面を参照しながら具体的に説明する。
図８は、実施の形態３に係る画像処理装置１１５の機能構成を示すブロック図である。なお、図８において、図１と同様の構成部については、同一の符号を付し、説明を適宜省略する。
図８に示すように、画像処理装置１１５は、データ入力部１０１と、パラメータ入力部１０２と、空白領域検出部１０４と、パラメータ算出部１１６と、変換画像生成部１１７と、出力部１１８とを備える。
パラメータ算出部１１６は、空白値が閾値より大きい場合に、入力画像に対応する変換パラメータと、パラメータ入力部１０２によって受け付けられた変換パラメータとの間を補間することにより、補間変換パラメータを算出する。例えば、パラメータ算出部１１６は、線形補間により補間変換パラメータを算出する。
ここで、入力画像に対応する変換パラメータとは、入力画像と深度データと撮影パラメータとから得られる３次元モデルにおいて射影変換を行うことによって入力画像を得るための変換パラメータである。以下において、この入力画像に対応する変換パラメータを初期変換パラメータという。また、パラメータ入力部１０２によって受け付けられた変換パラメータを入力変換パラメータという。
変換画像生成部１１７は、実施の形態１の変換画像生成部１０３と同様に、入力変換パラメータに基づく射影変換を行うことにより、変換画像を生成する。さらに、変換画像生成部１１７は、パラメータ算出部１１６によって補間変換パラメータが算出された場合、算出された補間変換パラメータに基づく射影変換を行うことにより、新たに変換画像を生成する。
出力部１１８は、空白値が閾値以下であるか否かに関わらず、変換画像生成部１１７によって生成された変換画像を出力する。さらに、出力部１１８は、空白値と閾値との関係を示す情報を出力する。例えば、出力部１１８は、閾値に対する空白値の比あるいは閾値と空白値との差を示す情報を出力する。
次に、以上のように構成された画像処理装置１１５の各種動作を説明する。
図９は、実施の形態３に係る画像処理装置１１５の処理動作を示すフローチャートである。なお、図９において、図２と同様の処理が行われるステップには、同一の符号を付し、適宜説明を省略する。
変換画像生成部１１７は、ステップＳ１０２で受け付けられた変換パラメータ（入力変換パラメータ）に基づく射影変換を行うことにより、変換画像を生成する（Ｓ１１６）。出力部１１８は、生成された変換画像を出力する（Ｓ１１７）。
続いて、空白領域検出部１０４は、変換画像において空白領域を検出する（Ｓ１０４）。そして、空白領域検出部１０４は、検出された空白領域の大きさを示す空白値が閾値以下であるか否か判定する（Ｓ１０５）。ここで、空白値が閾値以下である場合（Ｓ１０５のＹｅｓ）、処理を終了する。
一方、空白値が閾値より大きい場合（Ｓ１０５のＮｏ）、パラメータ算出部１１６は、補間変換パラメータを算出する（Ｓ１１８）。ここでは、パラメータ算出部１１６は、補間変換パラメータが入力変換パラメータから初期変換パラメータへ徐々に近付くように、補間変換パラメータを算出する。つまり、既に補間変換パラメータが算出されている場合に、パラメータ算出部１１６は、既に算出された補間変換パラメータよりも初期変換パラメータに近い補間変換パラメータを算出する。
続いて、変換画像生成部１１７は、算出された補間変換パラメータに基づく射影変換を行うことにより、新たに変換画像を生成する（Ｓ１０３）。そして、再び、ステップＳ１１７、Ｓ１０４、およびＳ１０５の処理が行われる。
以上のように、パラメータ算出部１１６は、空白値が閾値以下になるまで、補間変換パラメータが入力変換パラメータから初期変換パラメータへ徐々に近付くように、補間変換パラメータを順に算出する。また、変換画像生成部１１７は、補間変換パラメータに基づいて、変換画像を順に生成する。また、出力部１１８は、変換画像を順に出力する。
次に、以上のような画像処理において用いられるＧＵＩの具体例について説明する。以下では、図１０Ａおよび図１０Ｂに示すような入力画像１２１および深度データ１２２をデータ入力部１０１が受け付ける場合について説明する。
図１１は、初期状態におけるＧＵＩ３００の一例を示す図である。初期状態では、入力画像１２１が表示される。また、ユーザは、このＧＵＩ３００を介して、変換パラメータ（ここでは、視点位置および画角）を指示することができる。図１１に示すように、ＧＵＩ３００は、オブジェクト３０１〜３０５を有する。
オブジェクト３０１は、Ｘ軸方向（水平方向）、Ｙ軸方向（垂直方向）、およびＺ軸方向（深度方向）の各々における視点位置を示す値を表示および入力するためのテキストボックス３０１ｘ、３０１ｙ、３０１ｚを有する。ここでは、視点位置を示す値として、入力画像に対応する視点位置からの変化量が用いられている。ユーザは、このテキストボックス３０１ｘ〜３０１ｚに値を入力することにより、現在表示されている画像（ここでは入力画像１２１）の視点位置を変化させることができる。
オブジェクト３０２は、視点位置を変化させるためのボタン３０２ｘ〜３０２ｚを有する。ボタン３０２ｘは、Ｘ軸方向の正または負の向きに視点位置を変化させるためのボタンである。また、ボタン３０２ｙは、Ｙ軸方向の正または負の向きに視点位置を変化させるためのボタンである。また、ボタン３０２ｚは、Ｚ軸方向の正または負の向きに視点位置が変化させるためのボタンである。ユーザは、これらのボタン３０２ｘ〜３０２ｚを押下することにより、現在表示されている画像の視点位置を変化させることができる。
オブジェクト３０３は、画角を示す値を表示および入力するためのテキストボックスを有する。ユーザは、このテキストボックスに値を入力することにより、現在表示されている画像の画角を変化させることができる。
オブジェクト３０４は、画角を変化させるためのスライドバーを有する。ユーザは、このスライドバーを左右に動かすことにより、現在表示されている画像の画角を変化させることができる。
オブジェクト３０５は、空白値と閾値との関係を示す情報を表示するためのテキストと画像とを有する。ここでは、空白値と閾値との関係を示す情報として、閾値に対する空白値の比が用いられている。閾値に対する空白値の比の大きさに応じて、ハッチングされた領域が増減する。
ここで、Ｘ軸方向の視点位置の変化量として「３０」が入力されたときのＧＵＩの変化を図１２〜図１４を用いて説明する。図１２は、入力変換パラメータに基づいて生成された変換画像１３１ａを表示するＧＵＩの一例を示す図である。図１３は、補間変換パラメータに基づいて生成された変換画像１３１ｂ（空白値＞閾値）を表示するＧＵＩの一例を示す図である。図１４は、補間変換パラメータに基づいて生成された変換画像１３１ｃ（空白値＝閾値）を表示するＧＵＩの一例を示す図である。ここでは空白領域は、黒塗りで表現されている。
Ｘ軸方向の視点位置の変化量として「３０」が入力された場合、まず、以下の処理が行われる。
まず、パラメータ入力部１０２は、Ｘ軸方向の視点位置の変化量として「３０」を示す変換パラメータの入力を受け付ける。そして、変換画像生成部１１７は、受け付けられた変換パラメータに基づく射影変換を行うことにより、変換画像１３１ａを生成する。出力部１１８は、生成された変換画像１３１ａを出力する。さらに、出力部１１８は、空白領域検出部１０４によって変換画像１３１ａから検出された空白領域の大きさを示す空白値と閾値との関係を示す情報として、「１３０％」を出力する。
その結果、図１２に示すように、変換画像１３１ａが表示され、オブジェクト３０５が更新される。ここでは、空白値は閾値より大きいので、さらに以下の処理が行われる。
まず、パラメータ算出部１１６は、初期変換パラメータと入力変換パラメータとの間を補間することにより、補間変換パラメータを算出する。ここでは、パラメータ算出部１１６は、入力変換パラメータによって示される視点位置と初期変換パラメータによって示される視点位置との間を線形補間することにより、Ｘ軸方向の視点位置の変化量として「２５」を示す補間変換パラメータを算出する。そして、変換画像生成部１１７は、算出された補間変換パラメータに基づく射影変換を行うことにより、変換画像１３１ｂを生成する。出力部１１８は、生成された変換画像１３１ｂを出力する。さらに、出力部１１８は、空白領域検出部１０４によって変換画像１３１ｂから検出された空白領域の大きさを示す空白値と閾値との関係を示す情報として、「１１０％」を出力する。
その結果、図１３に示すように、変換画像１３１ｂが表示され、オブジェクト３０１とオブジェクト３０５とが更新される。ここでも、まだ空白値は閾値より大きいので、さらに以下の処理が行われる。
まず、パラメータ算出部１１６は、初期変換パラメータと入力変換パラメータとの間を補間することにより、補間変換パラメータを算出する。具体的には、パラメータ算出部１１６は、前に算出された補間変換パラメータよりも入力変換パラメータに近い補間変換パラメータを算出する。ここでは、パラメータ算出部１１６は、Ｘ軸方向の視点位置の変化量として「２０」を示す補間変換パラメータを算出する。そして、変換画像生成部１１７は、算出された補間変換パラメータに基づく射影変換を行うことにより、変換画像１３１ｃを生成する。出力部１１８は、生成された変換画像１３１ｃを出力する。さらに、出力部１１８は、空白領域検出部１０４によって変換画像１３１ｃから検出された空白領域の大きさを示す空白値と閾値との関係を示す情報として、「１００％」を出力する。
その結果、図１４に示すように、変換画像１３１ｃが表示され、オブジェクト３０１とオブジェクト３０５とが更新される。ここでは、空白値は閾値と一致しているので、処理は終了する。
以上のように、本実施の形態に係る画像処理装置１１５によれば、変換画像の画質の劣化が大きい場合に、入力変換パラメータよりも初期変換パラメータに近い補間変換パラメータを自動的に算出することができる。したがって、画像処理装置１１５は、変換画像の画質の劣化を抑制することが可能となる。
また、本実施の形態に係る画像処理装置１１５によれば、補間変換パラメータが徐々に初期変換パラメータに近付くように、補間変換パラメータを算出することができる。したがって、画像処理装置１１５は、変換画像が予め定められた画質を満たすような変換パラメータを自動的に算出することが可能となる。つまり、画像処理装置１１５は、変換画像の画質の劣化を抑制することができる。
さらに、画像処理装置１１５は、そのように算出された補間変換パラメータに基づいて生成された変換画像を順に出力することができる。したがって、画像処理装置１１５は、変換画像の画質が向上していく様子をアニメーションのようにユーザに提示することが可能となる。
また、本実施の形態に係る画像処理装置１１５によれば、画質の劣化度合いをユーザに提示することができる。したがって、画像処理装置１１５は、画像処理を行うためのユーザインタフェースにおいて、ユーザの操作性を向上させることが可能となる。
なお、本実施の形態では、空白領域の画素値は、初期値（黒）のままであったが、実施の形態２と同様に、空白領域近傍の画素値に基づいて補完されてもよい。この場合、例えば図１５に示すように、画像処理装置１１５は、変換画像１３１ｃ内の空白領域の画素の画素値を補完することにより、変換画像１３１ｄを生成する。さらに、画像処理装置１１５は、生成された変換画像１３１ｄを出力する。これにより、画像処理装置１１５は、空白領域による画質の劣化を抑制することができる。
なお、パラメータ算出部１１６は、必ずしも上記のように補間によって変換パラメータを算出する必要はない。例えば、パラメータ入力部１０２は、一般的な探索アルゴリズムを用いて空白領域が小さくなるような他の変換パラメータを探索してもよい。その結果、空白値が閾値以下となる変換画像を自動的に探索することが可能となる。
以上、本発明の一態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の１つまたは複数の態様の範囲内に含まれる。
例えば、上記各実施の形態において、空白値は、空白領域を構成する画素の数であったが、必ずしも空白値は画素数である必要はない。例えば、空白値は、空白領域の位置に応じて重み付けされた値であってもよい。具体的には、空白値は、空白領域の位置が変換画像の中心位置に近いほど当該空白領域の空白値が大きくなるように重み付けされた値であってもよい。
一般的に、画像の縁部に存在する空白領域よりも、画像の中心に存在する空白領域の方が画質の劣化に与える影響が大きい。そこで、上記のように、空白領域の位置が変換画像の中心位置に近いほど当該空白領域の空白値が大きくなるように重み付けされた空白値を用いることにより、複数の空白領域のうち画質の劣化に対する影響が大きい空白領域に応じて、変換画像を出力するか否かを切り替えることができ、画質が大きく劣化した変換画像が出力されることを抑制することができる。
また、空白値は、空白領域の形状に応じて重み付けされた値であってもよい。具体的には、空白値は、空白領域の縦横比（アスペクト比）が小さいほど当該空白領域の空白値が大きくなるように重み付けされた値であってもよい。つまり、空白値は、空白領域の中心から境界線までの距離の変動が小さいほど当該空白領域の空白値が大きくなるように重み付けされた値であってもよい。すなわち、空白値は、空白領域の形状が円に近いほど当該空白領域の空白値が大きくなるように重み付けされた値であってもよい。
一般的に、同じ面積であれば縦横比が小さい（つまり縦幅と横幅とが近い）空白領域ほど、画質の劣化に与える影響が大きい。そこで、上記のように、空白領域の縦横比が小さいほど当該空白領域の空白値が大きくなるように重み付けされた空白値を用いることにより、複数の空白領域のうち画質の劣化に対する影響が大きい空白領域に応じて、変換画像を出力するか否かを切り替えることができ、画質が大きく劣化した変換画像が出力されることを抑制することができる。
なお、上記実施の形態１および２において、空白値が閾値より大きい場合にそのまま処理が終了されていたが、出力部１０５は、以下のように処理してもよい。
例えば、出力部１０５は、空白値が閾値より大きい場合に、他の変換パラメータの入力を要求するための情報を出力してもよい。これにより、画像処理装置は、変換画像の画質の劣化が大きい場合に他の変換パラメータの入力を要求することが可能となる。その結果、画像処理装置は、他の変換パラメータに基づいて変換画像を生成することも可能となり、空白領域による画質の劣化が抑制された変換画像を生成することが可能となる。
また例えば、出力部１０５は、空白値が閾値より大きい場合に、変換画像を出力できないことを示す情報を出力してもよい。これにより、例えばユーザは、入力した変換パラメータに基づく変換画像が出力されないことを認識することが可能となる。
また例えば、出力部１０５は、空白値が閾値より大きい場合に、変換パラメータを初期化する指示をユーザから受け付けるためのオブジェクトを強調表示するための情報を、他の変換パラメータの入力を要求するための情報として出力してもよい。
ここで、変換パラメータの初期化とは、変換パラメータを入力画像に対応する変換パラメータにリセットすることを意味する。また、指示をユーザから受け付けるためのオブジェクトとは、例えば、リセットボタンなどのＧＵＩオブジェクトである。また、強調表示するための情報とは、例えば、オブジェクトの点滅を指示する情報、オブジェクトの色を誘目性が高い色に変更することを指示する情報、あるいはオブジェクトのサイズを大きくすることを指示する情報などである。
このようにオブジェクトを強調表示するための情報が出力された場合、例えば図１２に示すＧＵＩおいて、変換パラメータを初期化する指示をユーザから受け付けるためのオブジェクト（図示なし）が強調表示される。
これにより、画像処理装置は、ユーザに変換パラメータの初期化を促すことができ、変換画像の画質の劣化を抑制することができる。また、画像処理装置は、ユーザの操作性を向上させることも可能となる。
また例えば、出力部１０５は、空白値が閾値より大きい場合に、前に出力された変換画像を出力してもよい。具体的には、出力部１０５は、例えば図１２のようなケースにおいて、変換画像１３１ａの代わりに、空白値が閾値以下であったときに出力された変換画像を出力してもよい。これにより、画像処理装置は、画質が劣化した変換画像が出力されることを防止することができる。
なお、上記各実施の形態に係る画像処理装置は、表示装置に備えられてもよい。図１６は、実施の形態１、２または３の変形例に係る表示装置２００の機能構成を示すブロック図である。
表示装置２００は、例えばテレビ、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータあるいは携帯電話などである。図１６に示すように、表示装置２００は、画像処理装置１００、１１０または１１５と表示部２０１とを備える。ここでは、画像処理装置１００、１１０または１１５は、表示部２０１に変換画像を出力する。表示部２０１は、変換画像を画像処理装置１００、１１０または１１５から取得した場合に当該変換画像を画面に表示する。具体的には、表示部２０１は、例えば、図１１〜図１４に示すようなＧＵＩを表示する。
なお、上記各実施の形態において、変換画像は、２次元画像であったが、３次元画像であってもよい。つまり、変換画像生成部は、３次元画像を生成してもよい。例えば、変換画像生成部は、左目用画像および右目用画像の一方として上記の変換画像を生成してもよい。この場合、変換画像生成部は、さらに、左目用画像および右目用画像の他方として、上記の変換画像と視点位置が異なる画像を生成してもよい。そして、表示部は、このように生成された左目用画像および右目用画像を３次元表示してもよい。
なお、左目用画像および右目用画像が生成された場合、空白領域検出部は、左目用画像および右目用画像の両方において空白領域を検出してもよい。この場合、空白値は、左目用画像内の空白領域の大きさを示す値と、右目用画像内の空白領域の大きさを示す値との統計的な代表値（例えば、最大値あるいは平均値など）であってもよい。
また、上記各実施の形態における画像処理装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、画像処理装置１００は、データ入力部１０１とパラメータ入力部１０２と変換画像生成部１０３と空白領域検出部１０４と出力部１０５とを有するシステムＬＳＩから構成されてもよい。
システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、入力画像と、前記入力画像の深度を示す深度データと、前記入力画像の撮影パラメータとの入力を受け付けるデータ入力ステップと、３次元モデルの射影変換に関するパラメータである変換パラメータの入力を受け付けるパラメータ入力ステップと、前記入力画像と前記深度データと前記撮影パラメータとから得られる３次元モデルにおいて、前記変換パラメータに基づく射影変換を行うことにより、変換画像を生成する変換画像生成ステップと、前記変換画像において、前記入力画像内に対応する画素が存在しない画素である空白画素の集合である空白領域を検出する空白領域検出ステップと、前記空白領域の大きさを示す空白値が閾値以下である場合に、前記変換画像を出力する出力ステップとを実行させる。
なお、図１０Ａ〜図１５に示す画像の原画像として、以下の論文内の画像を利用した。
（１）D. Scharstein and C. Pal. Learning conditional random fields forstereo. In IEEE Computer Society Conference on Computer Vision and Pattern Recognition
(CVPR 2007), Minneapolis, MN, June 2007.
（２）H. Hirschmuller and D. Scharstein. Evaluation of cost functions for stereo matching. In IEEE Computer Society Conference on Computer Vision and Pattern
Recognition (CVPR 2007), Minneapolis, MN, June 2007.
深度データを用いて入力画像を変換することができる画像処理装置、あるいはそれを備えるテレビ、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータあるいは携帯電話などとして利用することができる。
１００、１１０、１１５ 画像処理装置
１０１ データ入力部
１０２ パラメータ入力部
１０３、１１７ 変換画像生成部
１０４ 空白領域検出部
１０５、１１８ 出力部
１１１ 補完部
１１６ パラメータ算出部
１２１ 入力画像
１２２ 深度データ
１２３ 撮影パラメータ
１２４ 変換パラメータ
１３１、１３１ａ、１３１ｂ、１３１ｃ、１３１ｄ 変換画像
１３２ 空白領域
２００ 表示装置
２０１ 表示部
３００ ＧＵＩ
３０１、３０２、３０３、３０４、３０５ オブジェクト
３０１ｘ、３０１ｙ、３０１ｚ テキストボックス
３０２ｘ、３０２ｙ、３０２ｚ ボタン

Claims (15)

  1. 入力画像と、前記入力画像の深度を示す深度データと、前記入力画像の撮影パラメータとの入力を受け付けるデータ入力部と、
    ３次元モデルの射影変換に関するパラメータである変換パラメータの入力を受け付けるパラメータ入力部と、
    前記入力画像と前記深度データと前記撮影パラメータとから得られる３次元モデルにおいて、前記変換パラメータに基づく射影変換を行うことにより、変換画像を生成する変換画像生成部と、
    前記変換画像において、前記入力画像内に対応する画素が存在しない画素である空白画素の集合である空白領域を検出する空白領域検出部と、
    前記空白領域の大きさを示す空白値が閾値以下である場合に、前記変換画像を出力する出力部とを備える
    画像処理装置。
  2. 前記空白領域検出部は、互いに隣接する空白画素の集合が１つの空白領域となるように、複数の前記空白領域を検出し、
    前記出力部は、複数の前記空白領域の各々の空白値のうちの最大の空白値が前記閾値以下である場合に、前記変換画像を出力する
    請求項１に記載の画像処理装置。
  3. 前記空白値は、空白領域の位置が変換画像の中心位置に近いほど当該空白領域の空白値が大きくなるように重み付けされた値である
    請求項１または２に記載の画像処理装置。
  4. 前記空白値は、空白領域の縦横比が小さいほど当該空白領域の空白値が大きくなるように重み付けされた値である
    請求項１〜３のいずれか１項に記載の画像処理装置。
  5. さらに、前記空白領域近傍の画素の画素値に基づいて、前記空白領域の画素の画素値を補完する補完部を備え、
    前記出力部は、前記空白値が前記閾値以下である場合に、前記空白領域の画素の画素値が補完された前記変換画像を出力する
    請求項１〜４のいずれか１項に記載の画像処理装置。
  6. 前記パラメータ入力部は、前記入力画像に対する視点位置の変更指示を前記変換パラメータの入力としてユーザから受け付け、
    前記変換画像生成部は、前記変換パラメータによって特定される視点位置に基づいて射影変換を行うことにより、前記変換画像を生成する
    請求項１〜５のいずれか１項に記載の画像処理装置。
  7. 前記出力部は、さらに、前記空白値が前記閾値より大きい場合に、他の変換パラメータの入力を要求するための情報を出力する
    請求項１〜６のいずれか１項に記載の画像処理装置。
  8. 前記出力部は、前記空白値が前記閾値より大きい場合に、前記変換パラメータを初期化する指示をユーザから受け付けるためのオブジェクトを強調表示するための情報を、前記他の変換パラメータの入力を要求するための情報として出力する
    請求項７に記載の画像処理装置。
  9. 前記出力部は、さらに、前記空白値が前記閾値より大きい場合に、前に出力された変換画像を出力する
    請求項１〜８のいずれか１項に記載の画像処理装置。
  10. 前記画像処理装置は、さらに、
    前記空白値が前記閾値より大きい場合に、前記入力画像に対応する変換パラメータと、前記パラメータ入力部によって受け付けられた変換パラメータとの間を補間することにより、補間変換パラメータを算出するパラメータ算出部を備え、
    前記変換画像生成部は、さらに、算出された前記補間変換パラメータに基づく射影変換を行うことにより、新たに変換画像を生成する
    請求項１〜６のいずれか１項に記載の画像処理装置。
  11. 前記パラメータ算出部は、前記空白値が前記閾値以下になるまで、前記補間変換パラメータが、前記パラメータ入力部によって受け付けられた変換パラメータから前記入力画像に対応する変換パラメータへ徐々に近付くように、前記補間変換パラメータを順に算出し、
    前記変換画像生成部は、前記補間変換パラメータに基づいて、前記変換画像を順に生成し、
    前記出力部は、前記変換画像を順に出力する
    請求項１０に記載の画像処理装置。
  12. 前記出力部は、さらに、前記空白値と前記閾値との関係を示す情報を出力する
    請求項１〜１１のいずれか１項に記載の画像処理装置。
  13. 前記画像処理装置は、集積回路として構成されている
    請求項１〜１２のいずれか１項に記載の画像処理装置。
  14. 入力画像と、前記入力画像の深度を示す深度データと、前記入力画像の撮影パラメータとの入力を受け付けるデータ入力ステップと、
    ３次元モデルの射影変換に関するパラメータである変換パラメータの入力を受け付けるパラメータ入力ステップと、
    前記入力画像と前記深度データと前記撮影パラメータとから得られる３次元モデルにおいて、前記変換パラメータに基づく射影変換を行うことにより、変換画像を生成する変換画像生成ステップと、
    前記変換画像において、前記入力画像内に対応する画素が存在しない画素である空白画素の集合である空白領域を検出する空白領域検出ステップと、
    前記空白領域の大きさを示す空白値が閾値以下である場合に、前記変換画像を出力する出力ステップとを含む
    画像処理方法。
  15. 請求項１４に記載の画像処理方法をコンピュータに実行させるためのプログラム。
JP2012536622A 2011-06-08 2012-06-05 画像処理装置および画像処理方法 Expired - Fee Related JP5927541B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011128651 2011-06-08
JP2011128651 2011-06-08
PCT/JP2012/003682 WO2012169174A1 (ja) 2011-06-08 2012-06-05 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2012169174A1 JPWO2012169174A1 (ja) 2015-02-23
JP5927541B2 true JP5927541B2 (ja) 2016-06-01

Family

ID=47295759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012536622A Expired - Fee Related JP5927541B2 (ja) 2011-06-08 2012-06-05 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US9082183B2 (ja)
JP (1) JP5927541B2 (ja)
CN (1) CN103053169B (ja)
WO (1) WO2012169174A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870103B (zh) * 2012-12-14 2017-05-24 联想(北京)有限公司 信息处理的方法及电子设备
CN105705903A (zh) * 2013-11-06 2016-06-22 凸版印刷株式会社 3维形状计测装置、3维形状计测方法及3维形状计测程序
WO2019065458A1 (ja) * 2017-09-27 2019-04-04 シャープ株式会社 映像生成装置、映像撮影装置、映像撮影システム、映像生成方法、制御プログラム及び記録媒体
CN110675384B (zh) * 2019-09-24 2022-06-07 广东博智林机器人有限公司 图像处理方法及装置
WO2021182130A1 (ja) * 2020-03-12 2021-09-16 ソニーグループ株式会社 画像処理装置および方法、並びにプログラム

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5280280A (en) * 1991-05-24 1994-01-18 Robert Hotto DC integrating display driver employing pixel status memories
JP3059590B2 (ja) * 1992-09-30 2000-07-04 富士通株式会社 立体表示方法及び装置
US20020114521A1 (en) * 1993-10-14 2002-08-22 Tooru Fujii Image processing device and method for identifying an input image and copier including same
US6384859B1 (en) * 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
US5923820A (en) * 1997-01-23 1999-07-13 Lexmark International, Inc. Method and apparatus for compacting swath data for printers
JP4112077B2 (ja) * 1998-06-11 2008-07-02 株式会社トプコン 画像計測処理方法並びに装置及び画像計測処理プログラムを記録した記録媒体
US6442293B1 (en) 1998-06-11 2002-08-27 Kabushiki Kaisha Topcon Image forming apparatus, image forming method and computer-readable storage medium having an image forming program
US6633685B1 (en) * 1998-08-05 2003-10-14 Canon Kabushiki Kaisha Method, apparatus, and storage media for image processing
US6631206B1 (en) * 1999-08-30 2003-10-07 University Of Washington Image filtering in HSI color space
US20020126910A1 (en) * 2001-01-02 2002-09-12 Eastman Kodak Company Method of calculating noise from multiple digital images utilizing common noise characteristics
JP3505575B2 (ja) 2001-03-23 2004-03-08 独立行政法人産業技術総合研究所 デジタルミラー装置
US7031548B2 (en) * 2001-10-04 2006-04-18 Hewlett-Packard Development Company, L.P. Method and apparatus for filtering noise from a digital image
JP3945279B2 (ja) * 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
US20050196070A1 (en) * 2003-02-28 2005-09-08 Fujitsu Limited Image combine apparatus and image combining method
US8593542B2 (en) * 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7542034B2 (en) * 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
US8320641B2 (en) * 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US8164594B2 (en) * 2006-05-23 2012-04-24 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
CA2884702C (en) * 2006-06-23 2018-06-05 Samuel Zhou Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
TWI356364B (en) * 2006-10-17 2012-01-11 Chimei Innolux Corp Liquid crystal display device and image display me
US7968831B2 (en) * 2007-06-12 2011-06-28 The Boeing Company Systems and methods for optimizing the aimpoint for a missile
JP2009005008A (ja) * 2007-06-20 2009-01-08 Olympus Corp 画像データ処理装置及び画像データ処理方法
US8005319B2 (en) * 2007-09-24 2011-08-23 Arcsoft, Inc. Method for digitally magnifying images
US8073190B2 (en) * 2007-11-16 2011-12-06 Sportvision, Inc. 3D textured objects for virtual viewpoint animations
CN100589530C (zh) * 2008-10-20 2010-02-10 四川虹微技术有限公司 一种用于视图合成的空洞填充方法
JP2010250452A (ja) * 2009-04-14 2010-11-04 Tokyo Univ Of Science 任意視点画像合成装置
CN101610423B (zh) * 2009-07-13 2010-09-08 清华大学 一种渲染图像的方法和装置
JP2011044828A (ja) * 2009-08-19 2011-03-03 Fujifilm Corp 立体画像生成装置、立体画像プリント装置、及び立体画像生成方法
JP2011081605A (ja) * 2009-10-07 2011-04-21 Fujifilm Corp 画像処理装置、方法及びプログラム
CN101695139B (zh) * 2009-10-14 2011-08-17 宁波大学 一种基于可分级块的虚拟视点图像绘制方法
US8593483B2 (en) * 2009-10-20 2013-11-26 Apple Inc. Temporal filtering techniques for image signal processing
JP5560721B2 (ja) * 2010-01-12 2014-07-30 セイコーエプソン株式会社 画像処理装置、画像表示システム、及び画像処理方法
JP2011211474A (ja) * 2010-03-30 2011-10-20 Sony Corp 画像処理装置および画像信号処理方法
CN103314572B (zh) * 2010-07-26 2016-08-10 新加坡科技研究局 用于图像处理的方法和设备
US8989448B2 (en) * 2011-03-22 2015-03-24 Morpho, Inc. Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program
JP5799634B2 (ja) * 2011-07-22 2015-10-28 株式会社リコー 画像処理装置、画像処理システム
JP5891722B2 (ja) * 2011-11-10 2016-03-23 セイコーエプソン株式会社 制御装置、電気光学装置、電子機器および制御方法
US8941750B2 (en) * 2011-12-27 2015-01-27 Casio Computer Co., Ltd. Image processing device for generating reconstruction image, image generating method, and storage medium
US9105078B2 (en) * 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping

Also Published As

Publication number Publication date
WO2012169174A1 (ja) 2012-12-13
US9082183B2 (en) 2015-07-14
JPWO2012169174A1 (ja) 2015-02-23
US20130136342A1 (en) 2013-05-30
CN103053169A (zh) 2013-04-17
CN103053169B (zh) 2016-03-16

Similar Documents

Publication Publication Date Title
CN109816766B (zh) 图像处理装置、图像处理方法及存储介质
JP6256840B2 (ja) 画像処理装置及び画像処理方法
JP6371553B2 (ja) 映像表示装置および映像表示システム
US20180098047A1 (en) Imaging system, image processing apparatus, image processing method, and storage medium
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
JP5742399B2 (ja) 画像処理装置及びプログラム
US20150097827A1 (en) Target Region Fill Utilizing Transformations
US11189041B2 (en) Image processing apparatus, control method of image processing apparatus, and non-transitory computer-readable storage medium
JP5927541B2 (ja) 画像処理装置および画像処理方法
US10719975B2 (en) Information processing apparatus and method of generating three-dimensional model
US20170142384A1 (en) Image processing apparatus, image processing method, image projection system, and storage medium
EP3189493B1 (en) Depth map based perspective correction in digital photos
JP5820716B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム、記録媒体、立体画像表示装置
JP6320165B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP6351364B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6704700B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP2016001386A (ja) 画像生成方法、画像生成装置、コンピュータプログラム及び記録媒体
US20230206386A1 (en) Image processing apparatus, image processing method, and storage medium
WO2023199583A1 (ja) ビューワ制御方法及び情報処理装置
US20240281939A1 (en) Image processing apparatus for applying image processing to perspective projection image, image processing method and non-transitory computer-readable storage medium
JP2019517688A (ja) 二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両
JP6639120B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2017145755A1 (ja) 情報処理装置および情報処理方法
JP2010244471A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160322

R151 Written notification of patent or utility model registration

Ref document number: 5927541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees