JP6639120B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に、撮像素子により撮像された撮像画像データをリサイズする際に、この撮像画像データに付加された奥行き距離情報、領域情報等のデータ型メタ情報を適切にリサイズする技術に関する。

近年、デジタルカメラ等の撮像装置で撮像した撮像画像データのメタ情報を、奥行き距離画像（Depth Map）や領域画像（Object Map）等の画像データ型情報として記憶し、撮像画像データの編集等に活用することが検討されている。

図６は、撮像画像、奥行き距離画像及び領域画像の関係を示す図である。図６（ａ），（ｂ）は、撮像条件を模式的に示す図であり、三次元直交座標系（Ｘ軸、Ｙ軸、Ｚ軸）を図示の通りに定める。例えば、Ｚ軸方向は鉛直方向であり、Ｘ軸方向は水平面内の任意の方向であり、Ｙ軸方向は、水平面内でＸ軸方向と直交する方向である。撮像装置１１０の光軸はＸ軸と平行となっているものとする。

被写体として模式的に示す床１０９上の球１０５及び矩形平板１０７は、矩形平板１０７が球１０５よりも撮像装置１１０に近く、また、撮像装置１１０から見たときに一部が重複する位置に配置されているものとする。図６（ｃ）は、図６（ａ），（ｂ）の撮像条件で撮像を行うことにより得られる画像を示している。

図６（ｄ）は、奥行き距離画像を示している。奥行き距離情報は、撮像装置から被写体までの距離情報を数値化したものであり、奥行き距離画像は、数値化された距離情報を撮像画像と対応するようにマッピングしたものである。奥行き距離画像における色の濃淡を見ることによって、物体が手前にあるかを認識することができる。ここでは、手前にある物体の色は濃く、奥にある物体の色は薄く表されている。奥行き距離情報の活用方法としては、撮像画像データの撮像後のピント合わせ、光源の移動、特定被写体の摘出補助等が挙げられる。

図６（ｅ）は、領域画像を示している。領域情報は、被写体の領域内に含まれる数値を平坦化したものであり、領域画像は、数値化された領域情報を撮像画像と対応するようにマッピングしたものである。領域画像の色の変化を見ることによって、物体の境界を認識することができる。領域情報の活用方法として、特定被写体の摘出補助等が挙げられる。

図６（ｄ），（ｅ）に示すような画像データ型メタ情報は、一般的には、撮像画像データと組み合わせて取り扱われる。撮像画像データは、様々な目的に応じてリサイズされて活用され、その際に、撮像画像データと画像データ型メタ情報とが合わせてリサイズされる場合がある。一方、画像データ型メタ情報のみがリサイズされる場合もある。

撮像画像データをリサイズしたときに、元データに存在しない位置に新たに画素（以下「補間画素」という）が発生することがある。補間画素の画素値は、一般的に、バイキュービック方式等を用いて同一画像内の周辺画素から生成される（例えば、特許文献１参照）。図７（ａ）は、補間画素の生成方法の一例を模式的に示す図である。撮像画像データの補間画素には、リサイズ前に存在しない中間的な画素値を有するものがある。画像データ型メタ情報も画像データの一種であるため、撮像画像データと同様に、リサイズすることができる。

しかし、画像データ型メタ情報の画素値は、メタ情報を数値化したものであるため、リサイズ前に格納された画素値（データ値）と同じか又は近接した値しか持つことができない。例えば、領域情報では、リサイズ前後で物体（被写体）が増加することはないため、リサイズ後には、リサイズ前に存在した画素値以外の画素が出現してはならない。同様に奥行き距離情報についても、例えば、物体と背景との境界等に両者の中間的な画素値が出現すると、中間的な物体が発生したように見えてしまう。

図７（ｂ）は、画像データ型メタ情報をリサイズする際の画素値の決定方法を模式的に示す図である。図７（ｂ）の上図は、画像データ型メタ情報をリサイズした後の、元の画素値と補間画素のそれぞれの画素値を示す図であり、この段階では、リサイズ前に格納された画素値の中間値が補間画素に現れている。よって、このような中間値を持つ補間画素の画素値を、リサイズ前に格納された画素値へ補正する補正処理を行う。図７（ｂ）の下図は、画像データ型メタ情報をリサイズした場合の元の画素値と、補間画素の補正後の画素値との関係を示す図である。図７（ｂ）の上図に現れた中間値を持つ補間画素の画素値が、元の画素値のうちの近い方の値に補正されていることがわかる。

特開２００６−９４４６７号公報

リサイズ前の撮像画像データと画像データ型メタ情報とでは、エッジの位置が一致している。しかし、リサイズ後に、撮像画像データと画像データ型メタ情報との間で物体境界に位置ズレが生じる場合がある。

図８は、リサイズによって撮像画像データと画像データ型メタ情報との間で物体境界に位置ズレが生じる例を模式的に示す図である。図８の上図は、撮像画像データのリサイズ後の画素値を示しており、図８の下図は、画像データ型メタ情報のリサイズ後の画素値を示している。図７（ｂ）を参照して説明した通りにリサイズ後の画像データ型メタ情報の画素値を補正すると、撮像画像データと画像データ型メタ情報との間で物体境界に位置ズレが生じていることがわかる。このような物体境界の位置ズレは、例えば、特定被写体の摘出における画像データ型メタ情報の活用時に、その有用性を失うことになる。

本発明は、撮像画像データと画像データ型メタ情報のリサイズ後に、撮像画像データと画像データ型メタ情報との間で物体境界に位置ズレが発生することを防止することができる画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、撮像画像データに付随する画像データ型メタ情報をリサイズする画像処理装置であって、前記撮像画像データおよび前記画像データ型メタ情報をそれぞれ、元画素の間に前記元画素の画素値を用いて補間画素を生成することによってリサイズするリサイズ手段と、前記画像データ型メタ情報と前記撮像画像データとの間で互いに対応する画素の画素値を取得する取得手段と、前記リサイズ手段により生成されたリサイズ後の画像データ型メタ情報における補間画素の画素値を、前記リサイズ手段によるリサイズ前の画像データ型メタ情報の画素値を用いて補正する補正手段と、を備え、前記取得手段は、前記リサイズ後の画像データ型メタ情報における補間画素とその近傍の元画素の画素値と、これらの補間画素および近傍の元画素に対応する、前記リサイズ手段によるリサイズ後の撮像画像データにおける対応補間画素および対応元画素の画素値を取得し、前記補正手段は、前記リサイズ後の画像データ型メタ情報における補間画素の画素値を、前記対応元画素のうちで前記対応補間画素の画素値に近い画素値を有する対応元画素に対応する前記近傍の元画素の画素値に補正することを特徴とする。

本発明によれば、撮像画像データと画像データ型メタ情報のリサイズ後に、撮像画像データと画像データ型メタ情報との間で物体境界に位置ズレが発生することを防止することができる。よって、画像データ型メタ情報のリサイズ後もメタデータとしての有用性が損なわれず、例えば、リサイズ後の画像データ型メタ情報を用いた撮像画像データからの特定被写体の摘出等を正常に行うことができる。

本発明の実施形態に係るリサイズ装置の概略構成を示すブロック図である。 図１のリサイズ装置で実行されるリサイズ処理の第２ステップの第１実施形態での処理内容を模式的に示す図である。 図２の処理内容の続きの図である。 図１のリサイズ装置で実行されるリサイズ処理の第２ステップの第２実施形態での処理内容を模式的に示す図である。 図４の処理内容の続きの図である。 撮像画像、奥行き距離画像及び領域画像の関係を示す図である。 画像データを補正する際の補間画素の生成方法の一例と、画像データ型メタ情報をリサイズする際の画素値の決定方法とを模式的に示す図である。 図７（ｂ）に示すリサイズ処理によって撮像画像データと画像データ型メタ情報との間で物体境界に位置ズレが生じる例を模式的に示す図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

図１は、本発明の実施形態に係る画像処理装置の一例であるリサイズ装置１００の概略構成を示すブロック図である。リサイズ装置１００は、具体的には、パーソナルコンピュータで撮像画像データ及び画像データ型メタ情報をリサイズするためのソフトウェア（プログラム）を実行することによって実現される。また、リサイズ装置１００は、ＣＭＯＳイメージセンサ等の撮像素子に撮像を行うことができる撮像装置や携帯通信端末等の電子機器において、電子機器のマイクロコンピュータが所定のソフトウェアを実行することによって実現される。更に、リサイズ装置１００は、画像印刷装置や専用の装置であってもよい。

リサイズ装置１００は、制御部１０１、リサイズ部１０２及びメモリ１０３がバス１０４を介して通信可能に接続された構造を有する。また、リサイズ装置１００は、ユーザがリサイズ装置１００を操作するための不図示のユーザインタフェースを備える。

制御部１０１は、演算装置（ＣＰＵ）やＲＯＭ等のメモリを含み、ＲＯＭに格納されたプログラムをメモリ１０３の作業領域に展開することによって、リサイズ装置１００の全体的な動作を制御する。また、制御部１０１は、リサイズ装置１００に接続された不図示の外部記憶手段（例えば、ハードディスクドライブ、半導体メモリカード、ＤＶＤ−ＲＡＭ等）から、撮像画像データとこれに付随する画像データ型メタ情報を読み出し、メモリ１０３に記憶させる。更に、制御部１０１は、メモリ１０３に記憶された撮像画像データと画像データ型メタ情報との対応する画素の格納位置を画像サイズ比に基づいて算出し、更に、各格納位置に格納される画素の画素値を取得する機能や更新する機能を有する。

メモリ１０３は、撮像画像データ及び画像データ型メタ情報を一時的に記憶するための記憶手段である。また、メモリ１０３の記憶領域の一部は、前述の通り、制御部１０１の作業領域として用いられる。リサイズ部１０２は、メモリ１０３に展開された撮像画像データと画像データ型メタ情報をバイキュービック方式によりリサイズし、リサイズ結果をメモリ１０３に出力する。なお、リサイズ方式は、バイキュービック方式に限られず、バイリニア方式等の他の方式を用いてもよい。なお、本実施形態では、リサイズ装置１００は、制御部１０１とは別にリサイズ部１０２を有する構成としているが、制御部１０１が所定のソフトウェアを実行することによってリサイズ部１０２として機能する構成であってもよい。

次に、リサイズ装置１００で実行される画像処理方法、即ち、撮像画像データと画像データ型メタ情報のリサイズと、リサイズ後の画像データ型メタ情報の補正について説明する。ここでは、不図示の外部記憶手段から入力される撮像画像データと画像データ型メタ情報とが同サイズであり、リサイズでは、リサイズ前の画素間に４画素を補間追加して５倍に拡大するものとする。なお、以下の説明では、リサイズ前の画素を「元画素」と称呼し、リサイズによって元画素間に補間（追加）される画素を「補間画素」と称呼する。

リサイズ装置１００では、第１ステップで、撮像画像データ及び画像データ型メタ情報のそれぞれについて同じ画像データ内の周辺画素から補間画素を生成し、撮像画像データ及び画像データ型メタ情報をリサイズする。続く第２ステップでは、第１ステップによるリサイズ後の画像データ型メタ情報に存在する補間画素の画素値を補正する。以下、各ステップについてより詳細に説明する。

第１ステップでは、制御部１０１が、不図示のユーザインタフェースからの撮像画像データの読み込み指示に従い、撮像画像データとこれに付随する画像データ型メタ情報を外部記憶手段から不図示のインタフェースを通してメモリ１０３に読み出し、格納する。ここでは、画像データ型メタ情報として、奥行き距離情報及び領域情報がそれぞれ、奥行き距離画像及び領域画像として撮像画像データに付随しているものとする。

続いて、制御部１０１は、不図示のユーザインタフェースからのリサイズの開始指示に従って、リサイズ部１０２にリサイズの実行を指示する。リサイズ部１０２は、制御部１０１からの指示に従い、メモリ１０３からリサイズ前の撮像画像データを読み出し、元画素間に４画素を補間して５倍に拡大した撮像画像データを生成する（リサイズステップ）。なお、拡大手法には、本実施形態では上述の通りにバイキュービック方式を用いるものとするが、バイキュービック方式のアルゴリズムについては周知であるため、説明を省略する。リサイズ部１０２は、リサイズ結果であるリサイズ後の撮像画像データをメモリ１０３へ出力し、メモリ１０３はリサイズ部１０２から送られてきたリサイズ後の撮像画像データを記憶する。

同様に、リサイズ部１０２は、制御部１０１からの指示に従い、メモリ１０３からリサイズ前の画像データ型メタ情報を読み出し、元画素間に４画素を補間して５倍にリサイズした画像データ型メタ情報を生成する（リサイズステップ）。リサイズ部１０２は、リサイズ結果であるリサイズ後の画像データ型メタ情報をメモリ１０３へ出力し、メモリ１０３はリサイズ部１０２から送られてきたリサイズ後の画像データ型メタ情報を記憶する。これにより、第１ステップは終了となる。

第２ステップの第１実施形態について、図２及び図３を参照して説明する。なお、第２ステップの説明では、画像データ型メタ情報として、奥行き距離情報（奥行き距離画像）を取り上げ、領域情報（領域画像）についての説明は省略する。また、図２乃至図５では、第２ステップの処理を簡便に説明するために、一次元モデルを示すこととする。

図２は、第２ステップの第１実施形態での処理内容を模式的に示す図であり、図３は、図２の続きの図である。第２ステップでは、先ず、図２（ａ）に示すように、制御部１０１は、メモリ１０３に格納されたリサイズ後の奥行き距離画像における、補間画素Ａ０の近傍の元画素Ａ１，Ａ２を選出し、それらの画素値を取得する（第１の取得ステップ）。そして、補間画素Ａ０及び元画素Ａ１，Ａ２と対応する、リサイズ後の撮像画像データにおける補間画素Ｂ０（対応補間画素）及び元画素Ｂ１，Ｂ２（対応元画素）の画素値を取得する（第２の取得ステップ）。

続いて、図２（ｂ）に示すように、制御部１０１は、補間画素Ｂ０の画素値と最も近い画素値を有する元画素（以下「近傍元画素」と称呼する）を決定する（決定ステップ）。ここでは、元画素Ｂ１が近傍元画素として決定されることになる。

次いで、図３（ａ）に示すように、制御部１０１は、近傍元画素である元画素Ｂ１に対応する奥行き距離画像の元画素Ａ１の画素値で、補間画素Ａ０画素値を上書きする補正を行う（補正ステップ）。このような補正を、リサイズ後の撮像画像データ及び奥行き距離画像の全ての補間画素について行う。これにより、図３（ｂ）に示すように、リサイズされ、且つ、補正された撮像画像データ及び奥行き距離画像では、物体境界の位置ズレが生じず、メタ情報の有用性を保つことができることがわかる。

なお、画像データ型メタ情報が領域情報であっても、補正は同様に行うことができる。また、撮像画像データと画像データ型メタ情報の画像サイズが異なる場合又はリサイズのする比率が異なる場合には、撮像画像データと画像データ型メタ情報との間の画素関係を画素数比で算出して同様の処理を行うことにより、同じ効果を得ることができる。リサイズの対象を画像データ型メタ情報に限定する場合は、補正後に撮像画像データをリサイズした結果を破棄してもよい。

次に、第２ステップの第２実施形態として、撮像画像データのリサイズ等により物体境界が曖昧となる場合に、画像データ型メタ情報から曖昧な領域に被る補間画素を除去する方法について、図４及び図５を参照して説明する。なお、ここでの説明でも、画像データ型メタ情報として奥行き距離情報（奥行き距離画像）を取り上げることとし、図４及び図５には一次元モデルを示すこととする。

図４は、第２ステップの第２実施形態での処理内容を模式的に示す図であり、図５は、図４の続きの図である。先ず、図４（ａ）に示すように、制御部１０１は、メモリ１０３に格納されたリサイズ後の奥行き距離画像における、補間画素Ａ０の近傍の元画素Ａ１，Ａ２を選出し、それらの画素値を取得する。そして、補間画素Ａ０及び元画素Ａ１，Ａ２に対応する、リサイズ後の撮像画像データにおける補間画素Ｂ０及び元画素Ｂ１，Ｂ２のそれぞれの画素値を取得する。

続いて、図４（ｂ）に示すように、制御部１０１は、補間画素Ｂ０の画素値が、元画素Ｂ１，Ｂ２のそれぞれの画素値を基準とした一定範囲ｎ内に入るか否かを判定する。補間画素Ｂ０の画素値がこれらの範囲に入らない場合には、図５（ａ）に示すように、補間画素Ｂ０に対応する奥行き距離画像における補間画素Ａ０の画素値を無効値に決定し、削除する。一方、補間画素Ｂ０の画素値がこれらの範囲に入る場合（補間画素Ａ０の画素値が無効値とされない場合）には、画像データ型メタ情報の補間画素Ａ０については、第１実施形態で説明した処理を行えばよい。

このような補正を、リサイズ後の撮像画像データ及び奥行き距離画像の全ての補間画素について行う。これにより、図５（ｂ）に示すように、リサイズにより撮像画像データにおいて物体境界が曖昧となる位置に対応する奥行き距離画像の補間画素を除去することによって位置ズレの発生を抑制することができ、よって、メタ情報の有用性を保つことができる。特に、第２実施形態での補正によれば、特定被写体の摘出における画像データ型メタ情報の有用性が向上する。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ リサイズ装置（画像処理装置）
１０１ 制御部
１０２ リサイズ部
１０３ メモリ
１１０ 撮像装置

Claims (5)

1. 撮像画像データに付随する画像データ型メタ情報をリサイズする画像処理装置であって、
   前記撮像画像データおよび前記画像データ型メタ情報をそれぞれ、元画素の間に前記元画素の画素値を用いて補間画素を生成することによってリサイズするリサイズ手段と、
   前記画像データ型メタ情報と前記撮像画像データとの間で互いに対応する画素の画素値を取得する取得手段と、
   前記リサイズ手段により生成されたリサイズ後の画像データ型メタ情報における補間画素の画素値を、前記リサイズ手段によるリサイズ前の画像データ型メタ情報の画素値を用いて補正する補正手段と、を備え、
   前記取得手段は、前記リサイズ後の画像データ型メタ情報における補間画素とその近傍の元画素の画素値と、これらの補間画素および近傍の元画素に対応する、前記リサイズ手段によるリサイズ後の撮像画像データにおける対応補間画素および対応元画素の画素値を取得し、
   前記補正手段は、前記リサイズ後の画像データ型メタ情報における補間画素の画素値を、前記対応元画素のうちで前記対応補間画素の画素値に近い画素値を有する対応元画素に対応する前記近傍の元画素の画素値に補正することを特徴とする画像処理装置。
2. 前記リサイズ後の撮像画像データにおける前記対応補間画素の画素値が、前記対応元画素の画素値を基準とした一定範囲に入るか否かを判定する判定手段を備え、
   前記補正手段は、前記対応補間画素の画素値が前記一定範囲に入らないと判定された場合に、前記リサイズ後の画像データ型メタ情報における前記補間画素の画素値を削除することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像データ型メタ情報は、領域情報または奥行き距離情報であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 撮像画像データに付随する画像データ型メタ情報を画像処理装置によりリサイズする画像処理方法であって、
   前記撮像画像データおよび前記画像データ型メタ情報をそれぞれ、元画素の間に前記元画素の画素値を用いて補間画素を生成することによってリサイズするリサイズステップと、
   前記リサイズステップによるリサイズ後の画像データ型メタ情報における補間画素とその近傍の元画素の画素値を取得する第１の取得ステップと、
   前記第１の取得ステップで取得した前記リサイズ後の画像データ型メタ情報における補間画素および元画素に対応する、前記リサイズステップによるリサイズ後の撮像画像データにおける対応補間画素および対応元画素の画素値を取得する第２の取得ステップと、
   前記第２の取得ステップで取得した前記対応元画素のうちで前記対応補間画素の画素値に近い画素値を有する対応元画素を決定する決定ステップと、
   前記第１の取得ステップで取得した前記リサイズ後の画像データ型メタ情報における補間画素の画素値を、前記決定ステップで決定された対応元画素に対応する、前記近傍の元画素の画素値に補正する補正ステップと、を有することを特徴とする画像処理方法。
5. 撮像画像データに付随する画像データ型メタ情報をリサイズする画像処理方法をコンピュータに実行させるプログラムであって、
   前記画像処理方法は、
   前記撮像画像データおよび前記画像データ型メタ情報をそれぞれ、元画素の間に前記元画素の画素値を用いて補間画素を生成することによってリサイズするリサイズステップと、
   前記リサイズステップによるリサイズ後の画像データ型メタ情報における補間画素とその近傍の元画素の画素値を取得する第１の取得ステップと、
   前記第１の取得ステップで取得した前記リサイズ後の画像データ型メタ情報における補間画素および元画素に対応する、前記リサイズステップによるリサイズ後の撮像画像データにおける対応補間画素および対応元画素の画素値を取得する第２の取得ステップと、
   前記第２の取得ステップで取得した前記対応元画素のうちで前記対応補間画素の画素値に近い画素値を有する対応元画素を決定する決定ステップと、
   前記第１の取得ステップで取得した前記リサイズ後の画像データ型メタ情報における補間画素の画素値を、前記決定ステップで決定された対応元画素に対応する、前記近傍の元画素の画素値に補正する補正ステップと、を有することを特徴とするプログラム。