WO2007013449A1

WO2007013449A1 - 画像処理装置

Info

Publication number: WO2007013449A1
Application number: PCT/JP2006/314668
Authority: WO
Inventors: Yasutaka Wakabayashi; Tadashi Uchiumi; Hideaki Yoshida; Ken Mashitani; Hidehiko Sekizawa
Original assignee: Sharp Kabushiki Kaisha; Olympus Imaging Corp.; Sanyo Electric Co., Ltd.; Sony Corporation
Priority date: 2005-07-26
Filing date: 2006-07-25
Publication date: 2007-02-01
Also published as: KR20080030676A; CN101199210B; EP1912447A4; CN101199210A; JP2007036528A; KR100935149B1; EP1912447A1; US20090128622A1; JP4630149B2

Abstract

　３Ｄ情報作成手段１０２は、画像識別情報及び画像識別情報の配置位置に関する情報を含む３Ｄ情報が制御手段１０１より入力される。そして、入力された３Ｄ情報に元に、識別マークを作成し、配置位置情報とともに画像統合手段１０３に出力する。画像統合手段１０３は、入力された右眼画像及び左眼画像と、識別マークを配置位置情報に基づいて統合し、画像データを作成して出力する。それにより、立体画像データ内に立体画像であることを示す識別情報を持つと共に、立体表示した場合にも観察の妨げにならないこととなる。

Description

明細書

画像処理装置

技術分野

[0001] 本発明は、 3次元表示する為の画像データを作成する際に、画像データに属性情報を付加する画像処理装置に関する。

背景技術

[0002] 従来、 3次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「2眼式」と呼ばれるものである。両眼視差を持った左眼用画像と右眼用画像を用意し、左眼用画像を左眼で、右眼用画像を右眼で見ることにより、被写体を直接見ているかのような立体感を得ることが出来る。

[0003] このような立体視における立体画像の作成方法として、平行法、交差法という 2つの方式が知られている。立体画像を作成するための左右眼の画像は、左右の視点に対応する位置にカメラを置いて撮影する、あるいはソフトウェア上での擬似的なカメラを視点位置におき画像を作成する。この時、撮影もしくは撮影された左右眼の画像を用いて、平行法においては左眼用画像を向力つて左に、右眼用画像を向力つて右に配置し、交差法では左眼用を向かって右に、右眼用を向力つて左に配置して作成する。

[0004] このような方式で作成された裸眼立体視用の写真では、作成方法により左右の画像の配置が異なる為、適切に立体視できるように左眼用画像と右眼用画像を区別することを可能としたステレオカメラが提案されている。例えば、特許文献 1 (特開平 6— 324413号公報)記載の「立体カメラ」では、左眼用画像と右眼用画像を記録する際、 1つのレンズと 2つのミラーを使用して撮影する方法と、左右 2つのレンズのみを使用して撮影する方法がある。 2つのレンズで撮影する場合、左半分に写し込まれた映像を印画紙に焼き付けると、印画紙の左半分に右側からみた画像が形成され、逆に右半分に写し込まれた映像を印画紙に焼き付けると、印画紙の右半分に左側からみた画像が形成されることになる。従って、印画紙を半分に切断し左画像と右画像を逆転させる必要がある力左画像と右画像はほとんど同じで相違点を見つけることは困難であるため、区別の付くよう写真に目印を写しこむものである。同様に、特許文献 2 (特開平 9 - 160143号公報)記載の「ステレオカメラ」にお、ても左右の区別の付く印を写しこむと同時に、写しこんだ印を使用して裸眼立体視がしゃす、ようにして!/ヽる。

[0005] また、近年では立体視可能な表示装置も提案されており、 2眼式の代表的な方式として時分割方式やパララタスノリア方式、偏光フィルタ方式などいくつかの方式がある。このうち、例として時分割方式とパララタスノリア方式に関して説明する。

[0006] 図 17は、時分割方式を説明するための概念図である。この時分割方式は、図 17のように、左眼画像と右眼画像が垂直方向 1画素おきに交互にならんだ形に配置され、左眼画像の表示と右眼画像の表示が交互に切り替えて表示されるものである。左眼画像および右眼画像は通常の 2次元表示時に比べて垂直解像度が 1Z2になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャツタ式のメガネを着用する。ここで使用するシャツタは、左眼画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼画像が表示されている時は左眼側が閉じて右眼側が開く。こうすることで、左眼画像は左眼だけで、右眼画像は右眼だけで観察されることになり、立体視を行うことができる。

[0007] 図 18は、パララクスバリア方式を説明するための概念図である。図 18 (a)は、視差が生じる原理を示す図である。一方、図 18 (b)は、パララタスノリア方式で表示される画面を示す図である。図 18 (a)では、図 18 (b)に示すような左眼画像と右眼画像が水平方向 1画素おきに交互にならんだ形に配置された画像を、画像表示パネル 600 に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララタスノリア 60 1を画像表示パネル 600の前面に置くことにより、左眼画像は左眼 602だけで、右眼画像は右眼 603だけで観察することになり、立体視を行うことができる。

[0008] 上記以外にも、パララタスノリア方式と同様に図 18 (b)に示す形式の画像を、前面に配置されたレンティキユラレンズを使用して立体表示する、レンティキユラ方式などもめる。

[0009] ここでパララタスノリア方式、あるいはレンティキユラ方式に対応した記録データ形式の一例を図 19に示す。図 19 (a)に示す左眼画像と図 19 (b)に示す右眼画像から、それぞれを水平方向に 1画素列おきに間引きして図 19 (c)に示す 1枚の立体画像を作つて記録する。表示する際にはこの立体画像を画素毎に並べ替えることにより、ノララクスノリア方式、あるいはレンティキユラ方式に対応した表示装置で見ると、裸眼で立体的に観察することが可能となる。

特許文献 1：特開平 6— 324413号公報

特許文献 2 :特開平 9— 160143号公報

発明の開示

発明が解決しょうとする課題

[0010] しかし、図 19 (c)に示すような立体画像を立体視に対応しない通常の表示装置で表示した場合、左眼用画像、右眼用画像が左右に並んだ画像が表示されるだけとなつてしまう。この場合、通常の表示装置しか所有していない人にとっては、それが立体視向けに撮影された画像であることを明確に識別することが出来ず、混乱を引き起こす可能性がある。このため、通常の表示装置で立体画像を表示した際に、立体視向けであることを示す視認可能な手段が用意されていることが望ましい。一方で、この立体視向けであることを示す視認可能な手段、即ち何らかの目印は、立体視可能な表示装置で観察した場合に立体視の妨げとなってはならず、また画像の加工を行う場合や画像サイズと異なる印画紙に印刷する場合などに削除されてしまってはならない。前記特許文献 1、 2においてはどちらが左眼用、右眼用かを区別することは可能である力写真による裸眼立体視の場合のものであり、表示装置上での見易さに関しては考慮されていない。また、目印が加工、印刷時に削除されてしまう可能性があることも考慮されてヽな、。

[0011] 本発明は、以上のような問題点を解決するためになされたものであって、立体画像データ内に立体画像であることを示す識別情報を持つと共に、立体表示した場合にも観察の妨げにならな、ようにする画像処理装置を提供することを目的とする。

課題を解決するための手段

[0012] 本発明は、複数視点の各々に対応した複数の画像から構成される立体画像データを作成する画像処理装置におヽて、

立体画像であることを示す情報と、かつ立体画像の作成方法を示す情報とを含み、前記立体画像の表示時に画像として視認可能である立体画像識別情報を作成する情報作成手段を備え、前記立体画像データは前記立体画像識別情報を含むことを特徴とする。

[0013] また、前記立体画像情報は、前記立体画像データ内の 2ケ所以上に配置されることを特徴とする。

[0014] また、前記立体画像識別情報は、前記立体画像データを立体視可能な表示装置で表示する際に、互いに融像するように配置することを特徴とする。

[0015] また、前記立体画像識別情報の配置位置を前記立体画像データ内の任意の位置に決定する配置位置決定手段を更に備えることを特徴とする。

[0016] また、前記立体画像データ内に注目画像領域を設定する注目画像領域設定手段を更に備え、前記配置位置決定手段は、前記立体画像識別情報を前記立体画像データ内における前記注目画像領域よりも外側に配置することを特徴とする。

[0017] また、画像を表示する画像表示手段を更に備え、前記配置位置決定手段によって配置される予定の位置に前記立体画像識別情報を配置した状態の画像を前記画像表示手段に表示しつつ、前記配置位置決定手段は前記立体画像識別情報の配置位置を指示する配置位置確定情報に従って立体画像識別情報の配置位置を決定することを特徴とする。

また、前記配置位置決定手段は、前記配置位置確定情報に従って配置位置を確定する際、前記立体画像識別情報が配置される予定位置を可変し得るように構成されることを特徴とする。

[0018] また、前記立体画像データの任意の領域の奥行き再生位置を推定する再生位置推定手段をさらに備え、

前記配置位置決定手段は、再生位置推定手段の推定結果に基づ!、て領域を選択し、前記立体画像識別情報の配置位置を決定することを特徴とする。

また、前記配置位置決定手段は、前記再生位置推定手段によって画面より奥に立体画像が再生されると推定された領域に前記立体画像識別情報の配置位置を決定することを特徴とする。

[0019] また、前記立体画像識別情報は、立体画像データの上端ある!/、は下端に記録され、かつ立体画像データの水平方向の大きさ H、垂直方向の大きさ Vに対して、水平方向に対して (4Z3) XVZ2以下、垂直方向に対して（2Z3) X HZ2以下の範囲内に配置されることを特徴とする。

発明の効果

[0020] 本発明の画像処理装置によれば、複数視点の各々に対応した複数の画像力ゝら構成される立体画像データは、立体画像であることを示す情報と、かつ立体画像の作成方法を示す情報とを含み、立体画像の表示時に画像として視認可能である立体画像識別情報を含むことにより、立体視に対応しない 2次元表示の表示装置で観察しても、立体視向けの画像であることを識別することが可能となる。

[0021] また、立体画像識別情報を立体画像データの 2ケ所以上に配置することにより、画像をトリミングした場合に識別情報が切り取られてしまう可能性を低減することが出来る。

[0022] また、立体画像データを立体視可能な表示装置で表示する際に、立体画像識別情報が互いに融像するように配置することで、立体視した場合に立体画像識別情報が立体的に見える為、識別情報が立体視の妨げとなるのを防ぐことが可能となる。

[0023] また、立体画像識別情報の配置位置を前記立体画像データ内の任意の位置に決定する配置位置決定手段を更に備えることにより、画像の撮影者や作成者が画像に応じて識別情報の配置を選択することが可能となり、立体視させたい被写体の妨げにならな、位置を自由に選択できる。

[0024] また、立体画像データ内に注目画像領域を設定する注目画像領域設定手段を更に備え、立体画像識別情報を立体画像データ内における注目画像領域よりも外側に配置することにより、製作者が立体視させたい部分として設定した注目画像領域に識別情報が表示されるのを防ぐことができる。

[0025] また、画像を表示する画像表示手段を更に備え、前記配置位置決定手段によって配置される予定の位置に前記立体画像識別情報を配置した状態の画像を画像表示手段に表示し、前記配置位置決定手段は、前記立体画像識別情報の配置位置を指示する配置位置確定情報に従って立体画像識別情報の配置位置を決定すること〖こより、識別情報配置後の画像の様子を表示手段により確認しながら配置位置を決定することが出来る。

[0026] また、前記配置位置決定手段は、前記配置位置確定情報に従って配置位置を確定する際、前記立体画像識別情報が配置される予定位置を可変し得るように構成されることにより、作成者が識別マークを任意の位置に配置することを可能にすると共に、注目画像領域内や画像の外側等の不適切な位置に配置しょうとした際、適切な位置に配置位置を変えることができる。

[0027] また、前記立体画像データの任意の領域の奥行き再生位置を推定する再生位置推定手段をさらに備え、前記配置位置決定手段は、再生位置推定手段の推定結果に基づ!/ヽて領域を選択し、前記立体画像識別情報の配置位置を決定することにより、前記立体画像識別情報とその配置位置周囲の画像の奥行き再生位置が互いに大きく異なることに起因する観察時の違和感を軽減することが出来る。

[0028] また、前記配置位置決定手段は、前記再生位置推定手段によって画面より奥に立体画像が再生されると推定された領域に前記立体画像識別情報の配置位置を決定することにより、特に違和感の大きい、立体画像が表示装置の画面上よりも手前側に再生される領域に識別情報が配置されることによって識別情報だけが沈んで見えるような立体画像データが生成されることを防ぐことが出来る。

[0029] また、立体画像識別情報を、立体画像データの水平方向の大きさ H、垂直方向の大きさ Vに対して、立体画像データの中心力水平方向に対して (4Z3) XVZ2以下、垂直方向に対して（2Z3) XHZ2以下の範囲内に配置することにより、印刷時に立体画像識別情報が切り取られてしまう可能性を低減することが可能となる。図面の簡単な説明

[0030] [図 1]本発明の実施形態 1の画像処理装置の構成を示すブロック図である。

[図 2]立体画像データの一例を示す図である。

[図 3]立体画像データにおける識別マークの配置に関する一例を示す図である。

[図 4]立体画像データにおける識別マークの配置に関する一例を示す図である。

[図 5]立体画像データにおける識別マークの配置制限を示す図である。

[図 6]立体画像データにおける、識別マークを配置制限範囲に配置した時の一例を示す図である。 [図 7]ファイル形式と 3ひ f青報について説明するための図である。

[図 8]本発明の実施形態 2の画像処理装置を示すブロック図である。

[図 9]立体画像データにおける識別マークの表現に関する一例を示す図である。

[図 10]立体画像データにおける識別マークの配置に関する一例を示す図である。

[図 11]3D注目画像領域を設定した場合の識別マークの配置に関する説明の図である。

[図 12]立体画像データにおける識別マークの配置に関する一例を示す図である。

[図 13]画像再生装置を示すブロック図である。

[図 14]2Dディスプレイと 3Dディスプレイでの表示画像を示す図である。

[図 15]本発明の実施形態 2における画像処理装置の変形例を示すブロック図である

[図 16]本発明の実施形態 3の画像処理装置を示すブロック図である。

[図 17]時分割方式を説明するための概念図である。

[図 18]パララクスバリア方式を説明するための概念図である。

[図 19]パララクスバリア方式の記録データ形式を説明する図である。

符号の説明

100、 200、 300 画像処理装置

101 制御手段

102 3ひ f青報作成手段

103 画像統合手段

104 符号化手段

105 多重化手段

201 位置決定手段

202 注目画像領域決定手段

203 再生位置推定手段

301 画像表示手段

500 画像再生装置

501 逆多重化手段 502 3ひ f青報解析手段

503 復号手段

504 画像変換手段

600 画像表示パネル

601 パララクスバリア

602 右眼

603 左眼

発明を実施するための最良の形態

[0032] (実施形態 1)

本発明の実施形態について、図面を参照しながら説明する。以下では、「3D」を 3 次元または立体、「2D」を 2次元を意味する語として用い、立体画像を「3D画像」、通常の 2次元画像を「2D画像」として説明を行なう。

[0033] 図 1は、本発明の実施形態 1の画像処理装置の構成を示すブロック図である。

画像処理装置 100は、立体画像であること、及び立体画像の作成方法を示す画像識別情報と、画像識別情報を視覚的に表す識別マークの配置位置に関する情報などの 3ひ f青報を出力する制御手段 101と、識別マークを作成する 3ひ f青報作成手段 1 02と、左眼画像と右眼画像、及び 3ひ f青報作成手段 102によって作成された識別マークを統合する画像統合手段 103と、統合した画像を符号化する符号化手段 104と、画像データと 3ひ f青報を多重化して出力する多重化手段 105と、記録媒体や通信回線にアクセスする手段とを備えて構成される。

[0034] 左眼画像と右眼画像カゝらなる画像信号力画像処理装置 100に入力される。制御手段 101は、立体画像であること、及びどのような作成方法であるかを指定すると共に、後に作成される識別マークを配置する位置を指定する。制御手段 101は、立体画像であることを示す情報と立体画像の作成方法を示す情報とを含む画像識別情報と、さらに画像識別情報の配置位置に関する情報などを含む 3ひ f青報を、 3ひ f青報作成手段 102と多重化手段 105へ送る。

[0035] 3ひ f青報作成手段 102は、画像識別情報を基に、立体画像であることと作成方法を視覚的に表す識別マークを作成し、識別マークの配置位置情報とともに画像統合手段 103へと送る。画像統合手段 103は、左眼の視点位置力も見た画像である左眼画像と、右眼力の画像である右眼画像、及び配置位置情報に基づいて識別マークを統合し、指定された形式の画像データを作成する。ここで、画像統合手段により作成された画像データの具体例を図 2に示す。図 2において、向かって左側に配置された画像 Lが左眼画像であり、右の画像 Rが右眼画像である。

[0036] 立体画像内の「3D ParallelJと表示されている部分が識別マークを示す。「3D」により、立体画像であることを、「Parallel」によりこの画像が平行法によって作成されたことを示している。立体画像であることを示す文字列としては、「3D」の他、「Stereo」、「Stereo PhotographJといった物や、「Stereo Image」などでもよい。また作成方法の区別を示す文字列としては、交差法であれば「Crossing」などと表示すればよく、より簡単に平行法を「P」、交差法を「C」と表してもよい。また、文字以外にも平行法を「 I I」、交差法を「 X」と、つた記号で表してもよ、。

[0037] このような識別マークを統合することにより、 2Dディスプレイで表示した際に、すぐに 3D用の画像であることが判断可能となる。また作成方式が明確になる事で、 2Dのデイスプレイで表示した上記立体画像を裸眼によって立体視する際に、立体視しゃすいという利点がある。立体視する場合、平行法であれば左眼で左側に配置された画像を、右眼で右側に配置された画像を見る必要があり、交差法であれば左眼で右側に配置された画像を、右眼で左側に配置された画像を見る必要があるが、画像の作成方法が明確になる事で、どちらの見方をすればよいかすぐに判別することが可能となる。

[0038] 立体画像における識別マークの配置方法としては、様々なパターンがある。制御手段 101はあら力じめ決められた方法に従って識別マークを配置する位置を決定する。図 3、図 4にその例を示す。図 3の（a)は、画像の中央付近に識別マークを配置した例であり、図 3 (b)は立体画像上の上下端、ずれかの辺近傍の中央付近に位置する場合の例として、画像中央上部に配置した例である。図示していないが、画像中央下部に配置してもよい。また、図 3 (c)は立体画像上の何れかの角に位置する場合の例として画像左上部に、図 3 (d)は左右端ヽずれかの辺近傍の中央付近に位置する場合の例として、画像右端部に配置した図である。図示していないが、画像左下、右上、右下でもよぐ画像左端部に配置してもよい。

[0039] また、図 3 (e)は立体画像上の上端と右端の各中央付近に配置した例であり、図 3 ( f)は下端と左端の各中央付近に配置した例である。図示していないが、上端と左端、下端と右端でもよい。ここでは 2ケ所にマークを配置した例を挙げた力このように、立体画像上の 2ケ所以上にマークを配置することにより、画像編集等でトリミングが施され、上下端、あるいは左右端が切り取られた場合であっても、どちらかのマークが残ることになり、 3D画像であることが判別可能となる。

[0040] 図 4は左右それぞれに識別マークを配置した例である。図 3の配置では、 3D対応ディスプレイで表示した際に、識別マークは立体画像としての再現条件を満たしてヽないため正常な画像として観察できず違和感が生じる。そのため、図 4に示すように左右画像のほぼ同じ位置に作成条件に従ってそれぞれ視差を持たせた位置に識別マークを配置することにより、立体視した際にマークを互いに融像させ、正しく立体視できるようにする。図 4 (a)は、立体画像上の上下端いずれかの辺近傍にあって左右融像するように識別マークを配置した例として、左右画像の下端に配置した図である。図示していないが上端でもよい。

[0041] また、図 4 (b)は立体画像上の各視点画像左端同士、もしくは右端同士にあって左右融像するように配置した場合の例であり、各視点画像の左端に配置した例である。図示していないが、各視点画像の右端であってもよい。図 4 (c)は、立体画像上に左右融像するように各視点画像に 2ケ所ずつ配置した場合の例であり、左端と下端に配置している。図示していないが、左端と上端、右端と下端、右端と上端に配置してもよい。

[0042] 以上のように、 V、くつかの配置方法があるが、これらの画像を 3D非対応機器でプリントアウトした場合、用紙サイズによってはトリミングされマークが消えてしまうことがある。そのため、マークが切り取られるのを防ぐためにマークを下記の範囲内に配置する。

[0043] 画像および印画紙のアスペクト比はおよそ 4： 3、ある!/、は 3： 2が一般的なサイズである。そのため、 3 : 2の画像を 4 : 3の印画紙に出力して左右端が切り取られる、あるいは 4： 3の画像を 3： 2の印画紙に出力して上下端が切り取られるケースがあり得る。この時にマークが切り取られない為の条件を、図 5を基に示す。図 5において、実線で描かれた外側の部分が立体画像の範囲を表し、点線で囲まれた部分は出力される印画紙のサイズとする。図 5 (a)は、 3： 2の画像を 4 : 3の印画紙に出力する場合であり、立体画像における縦の長さを V、横の長さを H、印画紙の横の長さを H'とする。印画紙のサイズより H，： V=4 : 3であることから、 H， = (4/3) XVとなる。そのため、識別マークを配置する範囲を H とすると、画像の中心より

MARK

H ≤(4/3) XV/ 2

MARK

の範囲内に配置することにより、印刷時にトリミングされ切り取られるのを防ぐことができる。

[0044] また、図 5 (b)は、 4 : 3の画像を 3 : 2の印画紙に出力する場合であり、先ほど同様、立体画像の縦の長さを V、横の長さを H、印画紙の縦の長さを V'とすると、 H:V = 3 : 2であることから、 V = (2/3) X Hとなる。そのため、識別マークを配置する垂直方向の範囲を V とすると、画像の中心より

MARK

V ≤(2/3) X H/2

MARK

の範囲内に配置することにより、印刷時にトリミングされ切り取られるのを防ぐことができる。以上の範囲内で、図 3, 4に示すような位置にマークを配置することとなる。

[0045] このような制限に従って識別マークを配置した立体画像の例を図 6に示す。画像サィズが 4 : 3の場合である。図 3 (e)で示したように、上端と右端に識別マークを配置する場合、上端に配置するマークは、 3 : 2の印画紙に印刷する場合にもトリミングされて切り取られるのを防ぐために、図 6に示すように画像の中心から V よりも短い範囲

MARK

を示すグレーで表された範囲に配置する。

[0046] 符号ィ匕手段 104は、画像統合手段 103で作成された画像データを符号化し、符号化データを作成する。符号化方法としては、静止画に対して〖お PEG, JPEG2000などの国際標準方式があげられる。ここでは静止画を例にとっているが、動画像であつてもよく、動画像の場合画像信号は連続したフレームから構成され、 1フレームごとに画像処理装置に入力される。動画像に対しては MPEG (Moving Picture Experts Gr oup)— 1、 MPEG— 2、 MPEG— 4などの国際標準方式があげられる。動画像の符号化としてフレーム内符号化のみを用いる場合は、 Motion JPEG (Joint Photograp hie Experts Group)などの方式を用いてもよい。画像符号化方式としては、上記に限らず非標準の方式を用いてもよ、し、圧縮を行わなくてもよ、。

[0047] 多重化手段 105は、制御手段 101からの 3ひ f青報と符号化手段 104からの符号ィ匕データを所定のフォーマットに変換して外部に出力する。図 1には図示されて、なヽ力音声やテキストを多重化する場合は、それらのデータも多重化手段 105にて多重化される。

[0048] 多重化手段 105の出力先には、 ICメモリや光磁気ディスク、磁気テープ、ハードデイスクなどの記録デバイスや、 LANモデムなどの通信デバイスが接続される。ここで、多重化手段 105に ICメモリが接続されていた場合の記録フォーマットについて説明を行う。一般に ICメモリを記録媒体に使用する場合には、 ICメモリ上に FAT(File All ocation Table)などのファイルシステムが構築され、データはファイルとして記録される。ここで使用するファイル形式は既存の形式を使用してもよいし、独自形式であつてもよい。既存の形式を使用する場合、 3ひ f青報は一般に既存の形式に用意されて V、るヘッダを拡張する仕組みを用いて、既存ファイルヘッダの一部として記録されるものとする。この時の例を図 7に示す。図 7の（a)に示すように、ヘッダ部分に 3ひ f青報が記録される。図 7の (b)に示すように、 3ひ f青報は識別情報、配置方法の他、視点数などの情報を含む。

[0049] 既存の形式を使用する場合には、その形式に応じた拡張子を使用する。 JPEGファィルであれば「. jpg」という拡張子を用いる。これにより、 3D画像の表示機能を持たな、従来の再生装置でも既存の形式のファイルとして認識し、 2次元画像として表示可能となり、この時識別マークが表示されることにより、立体画像であることが判別可能となる。

[0050] (実施形態 2)

本発明の実施形態について、図面を参照しながら説明する。図 8は、本発明の実施形態 2の画像処理装置の構成を示すブロック図である。

[0051] 画像処理装置 200は、立体画像であること、及び立体画像の作成方法を示す画像識別情報と、画像識別情報を視覚的に表す識別マークの配置位置に関する情報とを含む 3ひ隋報を出力する制御手段 101と、識別マークの配置位置を決定する位置決定手段 201と、立体視させたい領域を決定する注目画像領域決定手段 202と、識別マークを作成する 3ひ f青報作成手段 102と、左眼画像と右眼画像、及び 3ひ f青報作成手段 102によって作成された識別マークを統合する画像統合手段 103と、統合した画像を符号化する符号化手段 104と、画像データと 3ひ f青報を多重化して出力する多重化手段 105と、記録媒体や通信回線にアクセスする手段とを備えて構成される。

[0052] 左眼画像と右眼画像カゝらなる画像信号が、画像処理装置に入力される。立体画像の撮影者、あるいは画像の作成者は、あら力じめ位置決定手段 201により、立体画像であること、及びどのような作成方法であるかを示す識別マークを表示する位置を決定し、制御手段 101へと送る。また、 3D注目画像領域を設定する場合には、注目画像領域決定手段 202により領域を指定し、制御手段 101へと送る。識別マークの詳細、配置位置及び 3D注目画像領域については後述する。制御手段 101は、立体画像である情報と作成方法に関する情報を含む画像識別情報と配置位置に関する情報を含む 3ひ f青報を、 3ひ f青報作成手段 102と多重化手段 105へ送る。

[0053] 3ひ f青報作成手段 102は、画像識別情報を基に、立体画像であることと作成方法とを視覚的に表す識別マークを作成し、識別マークの配置位置に関する情報とともに画像統合手段 103へと送る。画像統合手段 103は、左眼の視点位置力も見た画像である左眼画像と、右眼力ゝらの画像である右眼画像と共に、識別マークを配置位置情報に基づ!ヽて統合し、指定された形式の画像データを作成する。

[0054] ここで、画像統合手段 103により作成された立体画像の具体例を図 9に示す。図 9 において、向カゝつて左側に配置された画像 Lが左眼画像であり、画像 Rが右眼画像である。立体画像下部に、グレーで描かれた帯状の部分が識別マークである。識別マークで表示される情報は、図 2の場合と同様、 3D画像であることと作成方法に関する情報である。ここでの識別マークは色記号によって表されており、帯状の部分の色により立体画像であることを、上向き三角の印の色によって作成方法を規定する。例として、帯状部分の色を 18%グレーに、作成方法を示す三角の色は青で平行法、黄色で交差法を表すとすることで判別が可能となる。マークを色記号で表現すると、あらカじめ色の意味を知って、な、と判別できず、文字列で表現したほうが明確で判別しやすいという利点がある力一方色記号マークには色さえ判断できれば良い為、マークの専有面積を少なくすることが出来るという利点がある。

[0055] 立体画像における識別マークの配置位置は、位置決定手段 201を通して撮影者や作成者が任意の位置に設定することが可能である。その例を示したものが図 10である。図 10 (a)は、立体画像の中央部分に配置した例である。また、図 10 (b)は、立体画像上の各視点画像の左端同士、もしくは右端同士にあって、左右融像する位置に配置した場合の例であり、左端に配置した場合を示している。図示していないが、右端同士でもよい。図 10 (c)は、立体画像上の左右視点画像それぞれの外周部分を囲み、左右融像可能なように位置した場合の図である。これらの中から、画像の構図に合わせて自由に選択することとなる。

[0056] また、図 10に示した例以外に、識別マークを 3D注目画像領域外におく方法がある。図 11、 12にこの例を示す。 3D注目画像領域とは、作成者が立体視させたい画像領域である。画像の作成者は、注目画像領域決定手段 202により、 3D注目画像領域を設定する。画像編集ソフトウェア等により左右視点の画像を作成したとすると、それを元にあらカゝじめ 3D注目画像領域を決め、注目画像領域決定手段 202によって設定する。例えば図 11 (a)において、左右の画像を統合した画像上で、作成者が点線で囲まれた部分を立体視させた!/ヽとすると、この点線部分を 3D注目画像領域として設定し、図 11 (b)に示すように、この外側に識別マークを配置することとなる。また、図 11では 3D注目画像領域を左右の立体画像内に設定しており、識別マーク配置後の画像サイズは変化しない。例えば、立体画像を構成する左右画像がそれぞれ 5 12 X 768であり、統合後のサイズが 1024 X 768のいわゆる XGAのサイズであつたとすると、識別マークはこの画像サイズ内に配置され、最終的な立体画像のサイズも 1 024 X 768となる。

[0057] 一方、左右画像を統合して出来る画像全てを表示した!/ヽ場合には、 3D注目画像領域を左右画像を統合した領域全体とし、その外側に画像サイズを大きくして識別マークを配置する。例えば、左右画像がそれぞれ 320 X 480のサイズであり、この全てを立体視させた、とした場合、左右画像を統合した 640 X 480の領域が 3D注目画像領域となる。この場合、識別マークはその外側に配置されることになる。図 12 (a)に示すように、上端に横長の帯状マークを配置する場合、帯状マークのサイズが 640 X 60であったとすると、左右画像を統合した 3D注目画像領域の上側に帯状マークを配置することで、立体画像は最終的に 640 X 540というサイズとなる。

[0058] このように、 3D注目画像領域外に識別マークを配置することにより、通常の 2Dディスプレイでこの画像を表示した際には、識別マークにより立体画像であることを示すことで混乱を防ぐことが可能となり、 3Dディスプレイで表示した際には、識別マークは 3 D注目領域外にあることから、この部分を表示しないことにより、識別マークを表示する事無ぐ立体視させたい部分だけを表示することが可能となる。図 12 (a)以外にも、図 12 (b)に示すように、立体画像上の上下端に横長の帯状マークを 3D注目画像領域外においてもよい。また、図 12 (c)は立体画像上の左右端に縦長の帯状マークを 3D注目画像領域外においた図であり、図 12 (d)は立体画像上の外周部分を囲む帯状マークを 3D注目画像領域外にお!/、た図である。

[0059] 符号ィ匕手段 104は、画像統合手段 103で作成された画像データを符号化し、符号化データを作成する。符号化方法は、実施形態 1と同 PEGなどの国際標準方式力 Sあげられる。上記に限らず非標準の方式を用いてもよいし、圧縮を行わなくてもよい。

[0060] 多重化手段 105は、制御手段 101からの 3ひ f青報と符号化手段 104からの符号ィ匕データを所定のフォーマットに変換して外部に出力する。

[0061] 多重化手段 105の出力先には、 ICメモリや光磁気ディスク、磁気テープ、ハードデイスクなどの記録デバイスや、 LANモデムなどの通信デバイスが接続される。例えば、ハードディスクが接続されていたとすると、 JPEG形式であればデータは「. jpg」という拡張子で記録される。 3ひ f青報は一般に既存の形式に用意されているヘッダを拡張する仕組みを用いて、既存ファイルヘッダの一部として記録され、 3ひ f青報は識別情報、配置方法の他、視点数、 3D注目画像領域の範囲などの情報を含む。

[0062] このようにして記録された多重化データを再生する画像再生装置につ!/、て図 13を用いて説明する。画像再生装置 500で再生する場合、多重化データは逆多重化手段 501によって 3ひ f青報と符号ィ匕データとに分けられ、 3ひ f青報は 3ひ f青報解析手段 5 02によって解析され、識別マークの配置位置や 3D注目画像領域に関する情報が画像変換手段 504へ送られる。符号化データは復号手段 503によって復号され、画像データが画像変換手段 504に送られる。そして、再生装置が 3Dディスプレイであれば、 3D注目画像領域だけを立体的に表示してもよい。図 14は 3次元映像を 2Dディスプレイと 3Dディスプレイで表示した場合の例を示しており、図 14 (a)は 2Dディスプレイで表示した場合を、図 14 (b)は 3Dディスプレイで表示した場合に表示される立体画像のイメージを示している。この図 14 (b)で示すように、再生装置側で前記 3D 注目画像領域を検出し注目画像領域外を非表示とすることで、立体視する際に識別情報が表示されることがなくなり、立体視したい部分だけを観察することが可能となる

[0063] なお図 9において、識別マークの色や形についてはここに挙げたものだけでなぐ例えば立体画像であることを帯状でなくとも図 2に示したようなマークであってもよぐ色もグレー以外に青などで規定してもよい。また、帯状部分や色記号に関して、色を塗りつぶして表す例を挙げているが、背後の画像を透過するようにしてもよい。作成方法を示す図形についても三角に限らず円や四角でもよぐ平行法を赤、交差法を緑と!/、つたように別の色で規定してもよ!/ヽ。立体画像であることを示す色と作成方法を示す色が互いに判別しやすい組み合わせであればよい。また、図 12の例は左右画像を統合して出来る画像をすベて表示するために、左右画像全体が 3D注目画像領域となるように 3D注目画像領域を設定すると共にその外側に識別マークを配置しているが、一方、生成される画像データのサイズが大きくならないようにするために、注目画像領域を左右画像全体に設定しつつその内側に識別マークを配置するようにしても良い。

[0064] また、識別マークの配置に関しては、図 10、あるいは実施形態 1に示した例力あらカじめ位置を選択しておく方法の他に、位置決定手段 201によって自動で配置位置を決定する方法もある。図 15はそのような構成の画像処理装置のブロック図を示している。位置決定手段 201は、識別マークの配置位置の候補として図 10や実施形態 1で示した配置例の中から優先順位をつけて保持しておき、立体画像の内容に応じて最適な配置位置を選択する。

[0065] その際、立体視する際に識別マーク自体も正しく立体視できるようにするために、図 4や図 10 (b)および (c)に示すような、識別マークが左右互いに融像する配置を選択する。この時、識別マークは左右の画像の画面の枠に対して相対的に同じ位置に配置することとすれば、立体視した場合、識別マークは視差を持たない為に、再生 (表示）される奥行き方向の位置が表示画面上と同じ位置に来ることとなる。

[0066] この時、もし識別マークの周囲の画像に視差が存在し、立体画像が表示画面上の位置よりも手前に浮き出て見える場合、識別マークだけが表示画面上の位置に来る為、周囲の画像にめり込んだように見えて不自然になる。そのため、図 15に示す再生位置推定手段 203により、左右の画像に関して画素ごとの値の比較を行い、左右画像の対応点を検出し、立体視した場合に画像が再生される位置である奥行き再生位置を推定する。

[0067] この推定により、あらかじめ保持する優先順位に従い、識別マークを配置する候補位置における立体画像の奥行き再生位置を取得し、立体画像の再生位置が表示画面上より手前に来なければ、そこを識別マークの配置位置とする。優先順位を保持しなくても、各配置位置の候補における奥行き再生位置を取得し、その中で立体画像の奥行き再生位置が最も画面上に近い位置になる領域に識別マークを配置しても良い。

[0068] (実施形態 3)

本発明の実施形態について、図面を参照しながら説明する。図 16は、本発明の実施形態 3の画像処理装置の構成を示すブロック図である。

[0069] 画像処理装置 300は、立体画像であること、及び立体画像の作成方法を示す画像識別情報と、画像識別情報を視覚的に表す識別マークの配置位置に関する情報などの 3ひ f青報を出力する制御手段 101と、識別マークの配置位置を決定する位置決定手段 201と、立体視させたい画像領域を決定する注目画像領域決定手段 202と、識別マークを作成する 3ひ f青報作成手段 102と、複数視点の画像、及び 3ひ f青報作成手段 102によって作成された識別マークを統合する画像統合手段 103と、統合した画像をプレビューし、画像の作成者が立体画像を確認する為の画像表示手段 30 1と、統合した画像を符号化する符号化手段 104と、記録媒体や通信回線にアクセスする手段を備え画像データと画像識別情報を多重化して出力する多重化手段 105とから構成される。

[0070] 左眼画像と右眼画像カゝらなる画像信号が、画像処理装置に入力される。立体画像の撮影者あるいは作成者は、あら力じめ位置決定手段 201により、立体画像であること、及びどのような作成方法であるかを示す識別マークを表示する位置候補を、位置入力手段を用いて情報を入力することにより決定し、制御手段 101へと送る。位置入力手段は図示されていないが、画像処理装置 300に接続され、マウスやキーボード等といった公知の入力手段で構成され、その入力情報は位置決定手段 201へ送られる。注目画像領域決定手段 202は注目画像領域を指定し、制御手段 101へ送る。制御手段 101は、立体画像である情報と立体画像の作成方法に関する情報を含む画像識別情報と配置位置に関する情報を含む 3ひ f青報を、 3ひ f青報作成手段 102と多重化手段 105へ送る。

[0071] 3ひ f青報作成手段 102は、画像識別情報を基に、立体画像であることと立体画像の作成方法を視覚的に表す識別マークを作成し、識別マークの配置位置情報とともに画像統合手段 103へと送る。画像統合手段 103は、複数の視点位置から見た画像と共に、識別マークを配置位置情報に基づいて統合した画像データを作成する。この時、画像統合手段 103は立体画像を画像表示手段 301へと送る。画像表示手段 30 1は、送られてきた立体画像を表示し、画像の作成者は立体画像を確認しながら、マウス等の位置入力手段を使用して、位置決定手段 201を通して識別マークの配置位置候補を修正する。修正があった場合、 3ひ f青報作成手段 102、画像統合手段 103 を通して、再度画像表示手段 301により確認する。配置位置が決定したら、位置入力手段により配置位置確定情報を位置決定手段 201へと送ると、前記配置位置確定情報に従って識別マークの配置位置が確定され、統合された画像データが符号化手段 104へ送られることとなる。

[0072] これにより、立体画像上で識別マークがどのように配置されるかを確認しながら、画像に合わせて適切な位置を設定することが可能となる。また、画像表示手段 301が、 2D表示と 3D表示の両方に対応したディスプレイであれば、 3D表示に切り替えることにより、立体視した場合にどのような画像となる力も確認することが可能である。 2Dと 3Dの表示に対応した表示装置としては、ノララクスノリア方式で、バリアを液晶により実現し、 3D表示の際にはノリアにより左右眼にそれぞれ左眼画像、右眼画像に対応した光だけが届くよう制御し、 2D表示では全ての光を透過する方式などがある。

[0073] また、この時立体画像を確認しながら 3D注目画像領域の設定も行うことが出来る。

画像表示手段 301を見ながら、 3D注目画像領域の設定を行う事で、カメラなどによつて立体画像を作成する場合にも 3D注目画像領域を設定することが出来、この領域の外側に識別マークを配置する事で、 3Dディスプレイで表示する際に、識別マークを表示しないようにすることが出来る。この時の識別マークの配置手順は、本画像処理装置 300に接続される図示しないマウスなどの公知の位置入力手段を用いて作成者が識別マークの配置される予定位置を指定すると、その情報が位置決定手段 2 01へと入力され、位置決定手段 201からその情報を受け取った制御手段 101は、 3 ひ報作成手段 102へと位置情報を送り、画像統合手段 103を通し、作成者の指定した位置に識別マークが配置された状態の画像を表示手段 301に表示する。

[0074] この時当然ながら、使用者による予定位置の指定は前述の 3D注目画像領域外にのみ制限されており、注目画像領域内に指定がなされた時は、配置可能範囲内の最近傍位置が代替的に選ばれたり、配置不能の警告が行われたり、適当な処置がとられる。そして、使用者が予定位置を可変選択しつつ、妥当と判断した時点で前述のマウスなど適当な入力手段を用いて決定の入力操作を行うことで、配置位置確定情報が位置決定手段 201に送られ、位置決定手段 201は配置を確定させる。

[0075] 立体画像における識別マークの種類や配置位置は、実施形態 1、 2で説明したようなさまざまな方法があり、画像の撮影者、作成者が立体画像を確認しながら、任意に決めることが出来る。

[0076] 符号ィ匕手段 104は、画像統合手段 103で作成された画像データを符号化し、符号化データを作成する。符号化方法は、実施形態 1と同 PEGなどの国際標準方式力 Sあげられる。上記に限らず非標準の方式を用いてもよいし、圧縮を行わなくてもよい。

[0077] 多重化手段 105は、制御手段 101からの 3ひ f青報と符号化手段 104からの符号ィ匕データを所定のフォーマットに変換して外部に出力する。

[0078] 多重化手段 105の出力先には、 ICメモリや光磁気ディスク、磁気テープ、ハードデイスクなどの記録デバイスや、 LANモデムなどの通信デバイスが接続される。例えば、 JPEG形式であればデータはハードディスクに「. jpg」という拡張子で記録される。 3 ひ隋報は一般に既存の形式に用意されているヘッダを拡張する仕組みを用いて、既存ファイルヘッダの一部として記録され、 3ひ f青報は識別情報、配置方法の他、視点数、 3D注目画像領域の範囲などの情報を含む。

[0079] なお、図 16において画像表示手段 301は画像処理装置 300に含まれるものとして説明したが、画像処理装置 300に含まれず外部に接続されることとしてもよいことは勿論である。

[0080] また、ここでは画像表示手段 301で画像を確認する際、都度 3ひ f青報作成手段 102 、画像統合手段 103を経由することとして説明したが、配置位置確定情報により配置位置が確定するまでは、画像統合手段 103を経由させず、 3ひ f青報作成手段 102からの情報を画像表示手段 301に送り、画像表示手段 301で単に識別マークを重ねて表示するだけでも良い。また、 3ひ f青報作成手段 102は最初の配置時のみ経由し、それ以降配置位置確定情報により配置位置が確定するまでは制御手段 101より識別マークの位置情報のみが送られ、識別マークの位置だけを画像表示手段 301で変更するようにしても良い。その後、配置位置確定情報に従って位置決定手段 201が配置位置を決定すると、制御手段 101、 3ひ f青報作成手段 102、画像統合手段 103 により統合画像を作成する。

[0081] また、ここでは識別マークの配置の際、配置する位置は前述の 3D注目画像領域外にのみ制限し、 3D注目画像領域内に配置しょうとした場合に警告や自動での位置変更を行うとしたが、 3D注目画像領域を設定していない場合で、立体画像から識別マークがはみ出る位置に配置しょうとした場合や、実施形態 1で示した識別マーク配置範囲の条件である H および V を満たさないような配置をしょうとした場合に

MARK MARK

、同様の警告や位置変更を行っても良い。

[0082] また、本実施形態で示した画像表示手段 301は、実施形態 2の図 15で示した構成の画像処理装置にも適用可能であり、再生位置推定手段を用いて自動で識別マーク配置位置を決定する構成の場合に、画像表示手段 301を備え、識別マークの位置を画像表示手段を用いて確認して力決定できるようにしても良、。また、本発明は上述した各実施形態に限定されるものではなぐ請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

Claims

請求の範囲

[1] 複数視点の各々に対応した複数の画像から構成される立体画像データを作成する画像処理装置において、

立体画像であることを示す情報と、かつ立体画像の作成方法を示す情報とを含み、前記立体画像の表示時に画像として視認可能である立体画像識別情報を作成する情報作成手段を備え、前記立体画像データは前記立体画像識別情報を含むことを特徴とする画像処理装置。

[2] 前記立体画像識別情報は、前記立体画像データ内の 2ケ所以上に配置されることを特徴とする請求項 1に記載の画像処理装置。

[3] 前記立体画像識別情報は、前記立体画像データを立体視可能な表示装置で表示する際に、互いに融像するように配置することを特徴とする請求項 1又は 2に記載の画像処理装置。

[4] 前記立体画像識別情報の配置位置を前記立体画像データ内の任意の位置に決定する配置位置決定手段を更に備えることを特徴とする請求項 1から 3の何れか一項に記載の画像処理装置。

[5] 前記立体画像データ内に注目画像領域を設定する注目画像領域設定手段を更に備え、前記配置位置決定手段は、前記立体画像識別情報を前記立体画像データ内における前記注目画像領域よりも外側に配置することを特徴とする請求項 4に記載の画像処理装置。

[6] 画像を表示する画像表示手段を更に備え、前記配置位置決定手段によって配置される予定の位置に前記立体画像識別情報を配置した状態の画像を前記画像表示手段に表示しつつ、前記配置位置決定手段は前記立体画像識別情報の配置位置を指示する配置位置確定情報に従って前記立体画像識別情報の配置位置を決定することを特徴とする請求項 4に記載の画像処理装置。

[7] 前記配置位置決定手段は、前記配置位置確定情報に従って配置位置を確定する際、前記立体画像識別情報が配置される予定位置を可変し得るよう〖こ構成されることを特徴とする請求項 6に記載の画像処理装置。

[8] 前記立体画像データの任意の領域の奥行き再生位置を推定する再生位置推定手段をさらに備え、

前記配置位置決定手段は、再生位置推定手段の推定結果に基づ!、て領域を選択し、前記立体画像識別情報の配置位置を決定することを特徴とする、請求項 4に記載の画像処理装置。

[9] 前記配置位置決定手段は、前記再生位置推定手段によって画面より奥に立体画像が再生されると推定された領域に前記立体画像識別情報の配置位置を決定することを特徴とする、請求項 8に記載の画像処理装置。

[10] 前記立体画像識別情報は、前記立体画像データの水平方向の大きさ H、垂直方向の大きさ Vに対して、立体画像データの中心力水平方向に対して (4Z3) XV/ 2以下、垂直方向に対して（2Z3) X HZ2以下の範囲内に配置されることを特徴とする請求項 1から 9の何れか一項に記載の画像処理装置。