JPWO2006009257A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JPWO2006009257A1
JPWO2006009257A1 JP2006519641A JP2006519641A JPWO2006009257A1 JP WO2006009257 A1 JPWO2006009257 A1 JP WO2006009257A1 JP 2006519641 A JP2006519641 A JP 2006519641A JP 2006519641 A JP2006519641 A JP 2006519641A JP WO2006009257 A1 JPWO2006009257 A1 JP WO2006009257A1
Authority
JP
Japan
Prior art keywords
image
spatial composition
information
image processing
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006519641A
Other languages
English (en)
Other versions
JP4642757B2 (ja
Inventor
山内　真樹
真樹 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2006009257A1 publication Critical patent/JPWO2006009257A1/ja
Application granted granted Critical
Publication of JP4642757B2 publication Critical patent/JP4642757B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

静止画像から立体情報を生成する際における、ユーザの作業負荷の軽減を可能とする。 立体情報生成部１３０と、空間構図特定部１１２と、オブジェクト抽出部１２２と、立体情報ユーザＩＦ部１３１と、空間構図ユーザＩＦ部１１１と、オブジェクトユーザＩＦ部１２１とを備え、取得した原画像から空間構図とオブジェクトをそれぞれ抽出し、その仮想空間内にオブジェクトを配置させることにより、オブジェクトに関する立体情報を生成すると共に、その仮想空間内を移動するカメラから撮影された画像を生成するため、原画像とは異なった視点における立体的な映像を生成することが可能となる。

Description

本発明は、静止画像から立体画像を生成する技術に関し、特に静止画像の中から人や物、動物、建造物などのオブジェクトを抽出し、当該オブジェクトを含む静止画像全体についての奥行きを示す情報である立体情報を生成する技術に関する。
従来の静止画像から立体情報を得る方法として、複数のカメラで撮った静止画像から任意視点方向の立体情報を生成する手法がある。撮像時に画像に関する立体情報を抽出することにより、撮像時と異なる視点や視線方向における画像を生成する方法が示されている（例えば、特許文献１参照）。これは、画像を入力する左右の画像入力部と、被写体の距離情報を演算する距離演算部などを有しており、任意の視点及び視線方向から見た画像を生成する画像処理回路を備えている。同趣旨の従来技術としては特許文献２や特許文献３があり、複数の画像および視差をそれぞれ記録する汎用性の高い画像記録再生装置が提示されている。
また、特許文献４には、少なくとも異なる３つの位置から物体を撮像して、物体の正確な３次元形状を高速で認識する手法が示されており、他にも複数カメラ系は、他にも特許文献５など多数提示されている。
また、特許文献６は、１台のカメラで物体を回転させることなくその形状を取得することを目的として、魚眼レンズを付けたテレビカメラで、移動物体（車両）を一定の区間の間撮影し、その各撮影画像から背景画像を除去して車両のシルエットを求めている。各画像の車両タイヤの接地点の移動軌跡を求め、これより、カメラの視点と各画像における車両との相対位置を求める。この相対位置関係で投影空間に対し各シルエットを配し、その各シルエットを投影空間に投影して、車両の形状を取得している。複数画像から立体情報の取得を行う手法としては、エピポーラによる手法が広く知られているが、この特許文献６では、複数のカメラで対象物の複数視点の画像を得る代わりに、移動物体を対象として時系列的に複数の画像を得ることで立体情報の取得を行っている。
また、単一の静止画像から３次元構造を抽出し表示する手法としては、ＨＯＬＯＮ社製パッケージソフトとして「Ｍｏｔｉｏｎ Ｉｍｐａｃｔ」が挙げられる。これは、一枚の静止画像から仮想的に立体情報を作り出すものであり、以下のステップで立体情報を構築する。
１）オリジナル画像（画像Ａ）を用意する。
２）別途画像処理ソフト（レタッチソフトなど）を使用し、オリジナル画像か ら「立体化させるオブジェクトを消した画像（画像Ｂ）」と「立体化させる オブジェクトのみをマスク化した画像（画像Ｃ）」を作る。
３）画像Ａ〜Ｃをそれぞれ「Ｍｏｔｉｏｎ Ｉｍｐａｃｔ」に登録する。
４）オリジナル画像中の消失点を設定し、写真に立体的な空間を設定する。
５）立体化させたいオブジェクトを選択する。
６）カメラアングルやカメラモーションを設定する。
図１は、上記従来技術における静止画像から立体情報を生成し、さらに立体的な映像を生成するまでの処理の流れを示すフローチャートである（なお、図１における各ステップのうち、内部をメッシュで表したステップがユーザの手作業によるステップである）。
静止画像が入力されると、ユーザの手作業によって空間構図を表す情報（以下「空間構図情報」という。）が入力される（Ｓ９００）。具体的には、消失点の個数が決定され（Ｓ９０１）、消失点の位置が調整され（Ｓ９０２）、空間構図の傾きが入力され（Ｓ９０３）、空間構図の位置やサイズについて調整される（Ｓ９０４）。
次に、ユーザによって、オブジェクトをマスク化したマスク画像が入力され（Ｓ９１０）、マスクの配置と空間構図情報から立体情報が生成される（Ｓ９２０）。具体的には、ユーザによって、オブジェクトがマスクされた領域の選択（Ｓ９２１）およびオブジェクトの１辺（又は１面）が選択されると（Ｓ９２２）、それが空間構図と接触しているか否かが判断され（Ｓ９２３）、非接触の場合は（Ｓ９２３：Ｎｏ）、非接触である旨が入力され（Ｓ９２４）、接触している場合は（Ｓ９２３：Ｙｅｓ）、接触している部分の座標が入力される（Ｓ９２５）。以上の処理をオブジェクトのすべての面について実施する（Ｓ９２２〜Ｓ９２６）。
さらに、上記の処理をすべてのオブジェクトについて実施後（Ｓ９２１〜Ｓ９２７）、空間構図で規定される空間に全てのオブジェクトをマッピングし、立体的な映像を生成するための立体情報を生成する（Ｓ９２８）。
このあと、ユーザにより、カメラワークに関する情報が入力される（Ｓ９３０）。具体的には、ユーザによって、カメラを移動する経路が選択されると（Ｓ９３１）、そのプレビュー後（Ｓ９３２）、最終的なカメラワークが決定される（Ｓ９３３）。
以上の処理が終わると、上記ソフトの一機能であるモーフィングエンジンによって奥行き感が付加され（Ｓ９４０）、ユーザに提示する映像が完成する。
特開平０９−００９１４３号公報 特開平０７−０４９９４４号公報 特開平０７−０９５６２１号公報 特開平０９−０９１４３６号公報 特開平０９−３０５７９６号公報 特開平０８−０４３０５６号公報
以上のように、従来、複数の静止画像若しくは複数のカメラで得られた静止画増から立体情報を得る手法は数多く示されている。
一方、静止画像の内容について３次元構造を自動的に解析し表示する手法はまだ確立されておらず、上記のように殆どが手作業に頼っている。
図１に示すように、従来技術においては、ほとんど全てを手作業で行う必要がある。言い換えると、唯一、立体情報を生成した後のカメラワークについて、カメラ位置を都度手入力するためのツールのみが提供されている状態である。
上記のように、静止画像の中の各オブジェクトを手作業で抜き出し、また背景となる画像も手作業で別途作成し、更に、消失点などの製図的な空間情報も手作業で個別に設定した上で、各オブジェクトを手作業で仮想的な立体情報にマッピングしている状況であり、容易には立体情報を作成できないという課題がある。また、消失点が画像外に有る場合には全く対応が出来ないといった課題もある。
さらに、３次元構造の解析結果後の表示についても、カメラワークの設定が煩雑であったり、奥行き情報を用いたエフェクトが考慮されていないといった課題を有している。これは、特にエンターテイメント向けの利用において大きな問題となる。
本発明は、上記従来の課題を解決するものであり、静止画像から立体情報を生成する際のユーザの作業負荷を軽減し得る画像処理装置等を提供することを目的とする。
上記の従来課題を解決するために、本発明に係る画像処理装置は、静止画像から立体情報を生成する画像処理装置であって、静止画像を取得する画像取得手段と、取得された前記静止画像の中からオブジェクトを抽出するオブジェクト抽出手段と、取得された前記静止画像における特徴を利用して、消失点を含む仮想的な空間を表す空間構図を特定する空間構図特定手段と、特定された前記空間構図に、抽出された前記オブジェクトを関連づけることによって前記仮想的な空間におけるオブジェクトの配置を決定し、決定された当該オブジェクトの配置から前記オブジェクトに関する立体情報を生成する立体情報生成手段とを備える。
本構成によって、一枚の静止画像から立体情報を自動的に生成するため、立体情報を生成する際のユーザの手間を軽減することができる。
また、前記画像処理装置は、さらに、前記仮想的な空間内にカメラを想定し、当該カメラの位置を移動させる視点制御手段と、前記カメラによって、任意の位置から撮影した場合の画像を生成する画像生成手段と、生成された前記画像を表示する画像表示手段とを備えることを特徴とする。
本構成によって、生成された立体情報を用いて、静止画像から派生させた新しい画像を生成することが可能となる。
また、前記視点制御手段は、前記カメラが、生成された前記立体情報が存在する範囲を移動するように制御することを特徴とする。
本構成によって、仮想空間内を移動するカメラから撮影された画像が、データの無い部分を映し出すことが無くなり、画像の品質を向上させることができる。
また、前記視点制御手段は、さらに、前記カメラが、前記オブジェクトが存在しない空間を移動するように制御することを特徴とする。
本構成によって、仮想空間内を移動するカメラから撮影された画像が、オブジェクトへの衝突や通過を回避することができ、画像の品質を向上させることができる。
また、前記視点制御手段は、さらに、前記カメラが、生成された前記立体情報が示す前記オブジェクトが存在する領域を撮影するように制御することを特徴とする。
本構成によって、仮想空間内を移動するカメラがパンやズーム、回転等を行った際に、オブジェクトの裏面にデータが無かった、などという品質低下を防ぐことができる。
また、前記視点制御手段は、さらに、前記カメラが、前記消失点の方向へ移動するように制御することを特徴とする。
本構成によって、仮想空間内を移動するカメラから撮影された画像が、画像に入り込んでいくような視覚的効果を得ることができ、画像の品質を向上させることができる。
また、前記視点制御手段は、さらに、前記カメラが、生成された前記立体情報が示す前記オブジェクトの方向へ進むように制御することを特徴とする。
本構成によって、仮想空間内を移動するカメラから撮影された画像が、オブジェクトに近づいていくような視覚的効果を得ることができ、画像の品質を向上させることができる。
また、前記オブジェクト抽出手段は、抽出された前記オブジェクトの中から２以上の非並行の線状のオブジェクトを特定し、前記空間構図特定手段は、さらに、特定された前記２以上の線状のオブジェクトを延長することによって、１以上の消失点の位置を推定し、特定された前記２以上の線状のオブジェクトと前記推定された消失点の位置とから前記空間構図を特定することを特徴とする。
本構成によって、静止画像から立体情報を自動的に抽出し、空間構図情報を的確に反映することができ、生成する画像全体の品質を向上させることができる。
また、前記空間構図特定手段は、さらに、前記静止画像の外部においても前記消失点を推定することを特徴とする。
本構成によって、画像内に消失点が無いような画像（ほとんどのスナップ写真など、一般写真の大多数を占める画像）についても、空間構図情報を的確に取得することができ、生成する画像全体の品質を向上させることができる。
また、前記画像処理装置は、さらに、ユーザからの指示を受け付けるユーザインタフェース手段を備え、前記空間構図特定手段は、さらに、受け付けられたユーザからの指示に従って、特定された前記空間構図を修正することを特徴とする。
本構成によって、容易に空間構図情報についてのユーザ意図を反映することができ、全体の品質の向上を図ることができる。
また、前記画像処理装置は、さらに、空間構図のひな形となる空間構図テンプレートを記憶する空間構図テンプレート記憶手段を備え、前記空間構図特定手段は、取得された前記静止画像における特徴を利用して前記空間構図テンプレート記憶手段から一の空間構図テンプレートを選択し、選択された当該空間構図テンプレートを用いて前記空間構図を特定するように構成することもできる。
また、前記立体情報生成手段は、さらに、前記オブジェクトが前記空間構図における地平面に接する接地点を算出し、前記オブジェクトが前記接地点の位置に存在する場合の前記立体情報を生成することを特徴とする。
本構成によって、オブジェクトの空間配置をより的確に指定することができ、画像全体の品質を向上させることができる。例えば、ヒトの全身像が写っている写真の場合は、ヒトの足元と地平面との接点を算出することで、ヒトをより正しい空間位置にマッピングすることが可能となる。
また、前記立体情報生成出段は、さらに、前記オブジェクトの種類によって、前記オブジェクトが前記空間構図と接する面を変更することを特徴とする。
本構成によって、オブジェクトの種類によって接地面の変更が可能となり、より現実感の高い空間配置を得ることができ、画像全体の品質を向上させることができる。例えば、ヒトであれば地平面と足もとの接点を用い、看板であれば、側面との接点を用い、電灯であれば天井面との接点を用いるなど、適応的な対応が可能となる。
また、前記立体情報生成出段は、さらに、前記オブジェクトが前記空間構図の地平面と接する接地点が算出できなかった場合に、前記オブジェクト若しくは前記地平面の少なくとも一つを、内挿若しくは外挿若しくは補間することで、地平面と接する仮想接地点を算出し、前記オブジェクトが前記仮想接地点の位置に存在する場合の前記立体情報を生成することを特徴とする。
本構成によって、例えばバストアップで写っている人物など地平面との接点が無い場合でも、オブジェクトの空間配置をより的確に指定することができ、画像全体の品質を向上させることができる。
また、前記立体情報生成手段は、さらに、前記オブジェクトに所定の厚みを付与して空間に配置し、前記立体情報を生成することを特徴とする。
本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。
また、前記立体情報生成手段は、さらに、前記オブジェクトの周囲をぼかす又は尖鋭にする画像処理を付加して、前記立体情報を生成することを特徴とする。
本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。
また、前記立体情報生成手段は、さらに、前記オブジェクトの影に隠れていることにより欠如している背景のデータ又は他のオブジェクトのデータの少なくとも一方を、隠れていないデータを用いて構成することを特徴とする。
本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。
また、前記立体情報生成手段は、さらに、前記オブジェクトの背面や側面を表すデータを、前記オブジェクトの前面のデータから構成することを特徴とする。
本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。
また、前記立体情報生成手段は、前記オブジェクトの種類に基づいて、前記オブジェクトに関する処理を動的に変化させることを特徴とする。
本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。
なお、本発明は、上記画像処理装置における特徴的な構成手段をステップとする画像処理方法として実現したり、それらステップをパーソナルコンピュータ等に実行させるプログラムとして実現することもできる。そして、そのプログラムをＤＶＤ等の記録媒体やインターネット等の伝送媒体を介して広く流通させることができるのは云うまでもない。
本発明に係る画像処理装置によれば、従来では成しえなかった非常に簡便な操作で、写真（静止画像）から３次元情報を生成に奥行きを持った画像に再構築することができる。また、３次元空間内を仮想的なカメラで移動撮影することにより、煩雑な作業をすることなしに、従来では成しえなかった、静止画の中を動画として楽しむことができ、新しい写真の楽しみ方を提供することができる。
［図１］図１は、従来技術における静止画像から立体情報を生成する処理内容を示すフローチャートである。
［図２］図２は、本実施の形態に係る画像処理装置の機能構成を示すブロック図である。
［図３］図３（ａ）は、本実施の形態に係る画像取得部に入力される原画像の一例である。図３（ｂ）は、上記図２（ａ）の原画像を２値化した画像例である。原画像と２値化例を示す図である。
［図４］図４（ａ）は、本実施の形態に係るエッジ抽出例である。図４（ｂ）は、本実施の形態に係る空間構図の抽出例である。図４（ｃ）は、本実施の形態に係る空間構図確認画面の一例を示す図である。
［図５］図５（ａ）、（ｂ）は、実施の形態１における、空間構図抽出用テンプレートの一例を示す図である。
［図６］図６（ａ）、（ｂ）は、実施の形態１における拡大型空間構図抽出用テンプレートの一例を示す図である。
［図７］図７（ａ）は、実施の形態１におけるオブジェクトの抽出例を示す図である。図７（ｂ）は、実施の形態１における抽出したオブジェクトと決定された空間構図とを合成した画像の一例である。
［図８］図８は、実施の形態１における仮想視点の設定例を示す図である。
［図９］図９（ａ）、（ｂ）は、実施の形態１における視点変更画像の生成例を示す図である。
［図１０］図１０は、実施の形態１における空間構図抽出用テンプレートの一例（消失点１つの場合）である。
［図１１］図１１は、実施の形態１における空間構図抽出用テンプレートの一例（消失点２つの場合）である。
［図１２］図１２（ａ）、（ｂ）は、実施の形態１における空間構図抽出用テンプレートの一例（稜線を含む場合）である。
［図１３］図１３は、実施の形態１における空間構図抽出用テンプレートの一例（稜線を含む縦型の場合）である。
［図１４］図１４（ａ）、（ｂ）は、実施の形態１における合成立体情報の生成例を示す図である。
［図１５］図１５は、実施の形態１における視点位置の変更例を示す図である。
［図１６］図１６（ａ）は、実施の形態１における視点位置変更例である。図１６（ｂ）は、実施の形態１における画像共通部分例を示す図である。図１６（ｃ）は、実施の形態１における画像共通部分例を示す図である。
［図１７］図１７は、実施の形態１における画像表示の遷移例を示す図である。
［図１８］図１８（ａ）、（ｂ）は、実施の形態１におけるカメラ移動例を示す図である。
［図１９］図１９は、実施の形態１におけるカメラ移動例を示す図である。
［図２０］図２０は、実施の形態１における空間構図特定部における処理の流れを示すフローチャートである。
［図２１］図２１は、実施の形態１における視点制御部における処理の流れを示すフローチャートである。
［図２２］図２２は、実施の形態１における立体情報生成部における処理の流れを示すフローチャートである。
 符号の説明
１００ 画像処理装置
１０１ 画像取得部
１１０ 空間構図テンプレート記憶部
１１１ 空間構図ユーザＩＦ部
１１２ 空間構図特定部
１２０ オブジェクトテンプレート記憶部
１２１ オブジェクトユーザＩＦ部
１２２ オブジェクト抽出部
１３０ 立体情報生成部
１３１ 立体情報ユーザＩＦ部
１４０ 情報補正ユーザＩＦ部
１４１ 情報補正部
１５０ 立体情報記憶部
１５１ 立体情報比較部
１６０ スタイル／エフェクトテンプレート記憶部
１６１ エフェクト制御部
１６２ エフェクトユーザＩＦ部
１７０ 画像生成部
１７１ 画像表示部
１８０ 視点変更テンプレート記憶部
１８１ 視点制御部
１８２ 視点制御ユーザＩＦ部
１９０ カメラワーク設定用画像生成部
２０１ 原画像
２０２ ２値化画像
３０１ エッジ抽出画像
３０２ 空間構図抽出例
３０３ 空間構図確認画像
４０１ 空間構図抽出テンプレート例
４０２ 空間構図抽出テンプレート例
４１０ 消失点
４２０ 正面奥壁
５０１ 画像範囲例
５０２ 画像範囲例
５０３ 画像範囲例
５１０ 消失点
５１１ 消失点
５２０ 拡大型空間構図抽出テンプレート例
５２１ 拡大型空間構図抽出テンプレート例
６１０ オブジェクト抽出例
６１１ 奥行き情報合成例
７０１ 仮想視点位置
７０２ 仮想視点方向
８１０ 奥行き情報合成例
８１１ 視点変更画像生成例
９０１ 消失点
９０２ 正面奥壁
９０３ 壁高
９０４ 壁幅
９１０ 空間構図抽出用テンプレート
１００１ 消失点
１００２ 消失点
１０１０ 空間構図抽出用テンプレート
１１００ 空間構図抽出用テンプレート
１１０１ 消失点
１１０２ 消失点
１１０３ 稜線
１１０４ 稜線高
１１１０ 空間構図抽出用テンプレート
１２１０ 空間構図抽出用テンプレート
１３０１ 現在の画像データ
１３０２ 過去の画像データ
１３１１ 現在画像データオブジェクトＡ
１３１２ 現在画像データオブジェクトＢ
１３１３ 過去画像データオブジェクトＡ
１３１４ 過去画像データオブジェクトＢ
１３２０ 合成立体情報例
１４０１ 画像位置例
１４０２ 画像位置例
１４０３ 視点位置
１４０４ 視点対象
１４１１ 画像例
１４１２ 画像例
１５０１ 画像位置例
１５０２ 画像位置例
１５１１ 画像例
１５１２ 画像例
１５２１ 画像共通部分例
１５２２ 画像共通部分例
１６００ 画像表示遷移例
１７００ カメラ移動例
１７０１ 開始視点位置
１７０２ 視点位置
１７０３ 視点位置
１７０４ 視点位置
１７０５ 視点位置
１７０６ 視点位置
１７０７ 終了視点位置
１７０８ カメラ移動線
１７０９ カメラ移動地上投影線
１７１０ 開始視点領域
１７１１ 終了視点領域
１７５０ カメラ移動例
１７５１ 開始視点位置
１７５２ 終了視点位置
１７５３ カメラ移動線
１７５４ カメラ移動地上投影線
１７５５ カメラ移動壁面投影線
１７６０ 開始視点領域
１７６１ 終了視点領域
１８００ カメラ移動例
１８０１ 開始視点位置
１８０２ 終了視点位置
以下、本発明に係る実施の形態について、図面を参照しながら詳細に説明する。なお、以下の実施の形態において、本発明について図面を用いて説明するが、本発明はこれらに限定されることを意図しない。
（実施の形態１）
図２は、本実施の形態に係る画像処理装置の機能構成を示すブロック図である。画像処理装置１００は、静止画像（「原画像」ともいう。）から立体情報（３次元情報ともいう。）を生成し、生成された立体情報を用いて新たな画像を生成して立体的な映像をユーザに提示し得る装置であり、画像取得部１０１、空間構図テンプレート記憶部１１０、空間構図ユーザＩＦ部１１１、空間構図特定部１１２、オブジェクトテンプレート記憶部１２０、オブジェクトユーザＩＦ部１２１、オブジェクト抽出部１２２、立体情報生成部１３０、立体情報ユーザＩＦ部１３１、情報補正ユーザＩＦ部１４０、情報補正部１４１、立体情報記憶部１５０、立体情報比較部１５１、スタイル／エフェクトテンプレート記憶部１６０、エフェクト制御部１６１、エフェクトユーザＩＦ部１６２、画像生成部１７０、画像表示部１７１、視点変更テンプレート記憶部１８０、視点制御部１８１、視点制御ユーザＩＦ部１８２、カメラワーク設定用画像生成部１９０を備える。
画像取得部１０１は、ＲＡＭやメモリカード等の記憶装置を備え、デジタルカメラやスキャナ等を介して静止画像又は動画におけるフレーム毎の画像の画像データを取得し、当該画像に対して２値化およびエッジ抽出を行う。なお、以下では、上記の取得した静止画像又は動画におけるフレーム毎の画像を「静止画像」で総称する。
空間構図テンプレート記憶部１１０は、ＲＡＭ等の記憶装置を備え、空間構図特定部１１２において使用する空間構図テンプレートを記憶する。ここで、「空間構図テンプレートとは、静止画像における奥行きを表すための複数の線分から構成される骨組みをいい、各線分の始点および終点の位置、線分の交点の位置を表す情報に加え、静止画像における基準長さ等の情報も有している。
空間構図ユーザＩＦ部１１１は、マウス、キーボードおよび液晶パネル等を備え、ユーザからの指示を受け付けて空間構図特定部１１２に通知する。
空間構図特定部１１２は、取得された静止画像のエッジ情報や後述のオブジェクト情報などに基づいて、この静止画像についての空間構図（以下、単に「構図」ともいう。）を決定する。また、空間構図特定部１１２では、必要に応じて、空間構図テンプレート記憶部１１０から空間構図テンプレートを選択して（さらに、必要に応じて選択した空間構図テンプレートを修正し、）空間構図を特定する。さらに、空間構図特定部１１２は、オブジェクト抽出部１２２において抽出されたオブジェクトを参考にして、空間構図を決定又は修正してもよい。
オブジェクトテンプレート記憶部１２０は、ＲＡＭ又はハードディスク等の記憶装置を備え、上記取得した原画像の中からオブジェクトを抽出するためのオブジェクトテンプレートやパラメータなどを記憶する。
オブジェクトユーザＩＦ部１２１は、マウスやキーボード等を備え、静止画像からオブジェクトを抽出するために用いる手法（テンプレートマッチやニューラルネット、色情報など）を選択したり、上記の手法によってオブジェクト候補として提示された中からオブジェクトを選択したり、オブジェクト自体を選択したり、選択されたオブジェクトの修正やテンプレートの追加、オブジェクトを抽出する手法の追加などに際して、ユーザからの操作を受け付ける。
オブジェクト抽出部１２２は、静止画像からオブジェクトを抽出し、そのオブジェクトの位置、数、形状および種類等のオブジェクトに関する情報（以下「オブジェクト情報」という。）を特定する。この場合、抽出するオブジェクトについては、予めその候補（例えば、人、動物、建物、植物等）が決められているものとする。さらに、オブジェクト抽出部１２２は、必要に応じて、オブジェクトテンプレート記憶部１２０のオブジェクトテンプレートを参照し、各テンプレートと静止画像のオブジェクトとの相関値に基づくオブジェクトの抽出も行う。また、上記空間構図特定部１１２において決定された空間構図を参考にして、オブジェクトを抽出したり、そのオブジェクトを修正してもよい。
立体情報生成部１３０は、空間構図特定部１１２で決定された空間構図やオブジェクト抽出部１２２で抽出されたオブジェクト情報、立体情報ユーザＩＦ部１３１を介してユーザから受け付けた指示等に基づいて、取得した静止画像に関する立体情報を生成する。さらに、立体情報生成部１３０は、ＲＯＭやＲＡＭ等を備えるマイクロコンピュータであり、画像処理装置１００全体の制御を行う。
立体情報ユーザＩＦ部１３１は、マウスやキーボード等を備え、ユーザからの指示によって立体情報を変更する。
情報補正ユーザＩＦ部１４０は、マウス、キーボード等を備え、ユーザからの指示を受け付けて、情報補正部１４１に通知する。
情報補正部１４１は、情報補正ユーザＩＦ部１４０を介して受け付けたユーザの指示に基づいて、誤って抽出されたオブジェクトの補正、又は誤って特定された空間構図や立体情報を補正する。この場合、その他の補正手法として、例えばそれまでのオブジェクトの抽出、空間構図の特定又は立体情報の生成結果に基づいて規定されたルールベースに基づく補正等がある。
立体情報記憶部１５０は、ハードディスク等の記憶装置を備え、作成中の立体情報や過去に生成された立体情報を記憶する。
立体情報比較部１５１は、過去に生成された立体情報の全体若しくは一部と、現在処理中の（若しくは処理済の）立体情報の全体若しくは一部とを比較し、類似点や合致点が確認された場合に、立体情報生成部１３０に対して立体情報をより充実させるための情報を提供する。
スタイル／エフェクトテンプレート記憶部１６０は、ハードディスク等の記憶装置を備え、画像生成部１７０において生成する画像に付加する、トランジション効果や、色調変換など任意のエフェクト効果に関するプログラム、データ、スタイル又はテンプレート等を記憶する。
エフェクト制御部１６１は、画像生成部１７０において生成する新たな画像にトランジション効果や色調変換など、任意のエフェクト効果を加える。このエフェクト効果は、全体として統一感を出すために所定のスタイルに沿ったエフェクト群を用いることとしてもよい。さらに、エフェクト制御部１６１は、新しいテンプレート等をスタイル／エフェクトテンプレート記憶部１６０に追加し、又は参照したテンプレート等の編集を行う。
エフェクトユーザＩＦ部１６２は、マウスやキーボード等を備え、ユーザからの指示をエフェクト制御部１６１に通知する。
画像生成部１７０は、立体情報生成部１３０で生成された立体情報に基づいて上記静止画像を立体的に表現する画像を生成する。具体的には、上記生成された立体情報を用いて、静止画像から派生させた新たな画像を生成する。また、３次元画像は模式的であっても良く、カメラ位置やカメラ向きを３次元画像内に表示してもよい。さらに、画像生成部１７０は、別途指定される視点情報や表示エフェクト等を用いて新たな画像を生成する。
画像表示部１７１は、例えば液晶パネルやＰＤＰ等の表示装置であり、画像生成部１７０において生成された画像や映像をユーザに提示する。
視点変更テンプレート記憶部１８０は、予め決められたカメラワークの３次元的な動きを示す視点変更テンプレートを記憶する。
視点制御部１８１は、カメラワークとしての視点位置の決定を行う。この際、視点制御部１８１は、視点変更テンプレート記憶部１８０に記憶されている視点変更テンプレートを参照してもよい。さらに、視点制御部１８１は、視点制御ユーザＩＦ部１８２を介して受け付けたユーザの指示に基づいて、視点変更テンプレートの作成、変更および削除等を行う。
視点制御ユーザＩＦ部１８２は、マウスやキーボード等を備え、ユーザから受け付けた視点位置の制御に関する指示を視点制御部１８１に通知する。
カメラワーク設定用画像生成部１９０は、ユーザがカメラワークを決める際の参照となるような現在のカメラ位置から見た時の画像を生成する。
なお、本実施の形態に係る画像処理装置１００の構成要素として、上記の機能要素（即ち、図２において「〜部」として表した部署）の全てが必須というわけではなく、必要に応じて機能要素を選択して画像処理装置１００を構成できることは言うまでもない。
以下、上記のように構成される画像処理装置１００における各部の機能について詳細に説明する。以下では、オリジナルの静止画像（以下「原画像」という。）から立体情報を生成し、さらに、立体的な映像を生成する実施の形態について説明する。
まず、空間構図特定部１１２及びその周辺の部署の機能について説明する。
図３（ａ）は、本実施の形態に係る原画像の一例である。また、図３（ｂ）は、上記原画像を２値化した２値化画像の一例である。
空間構図を決定するためには、大まかなに空間構図を抽出することが重要であり、まず、原画像から主たる空間構図（以下「概略空間構図」という。）を特定する。ここでは、概略空間構図を抽出するために、「２値化」を行い、その後、テンプレートマッチによる当て嵌めを行う実施例を示す。勿論、２値化及びテンプレートマッチは概略空間構図を抽出する手法の一例に過ぎず、これら以外の任意の手法を用いて概略空間構図を抽出してもよい。さらに、概略空間構図を抽出することなく、直接、詳細な空間構図を抽出してもよい。なお、以下では、概略空間構図および詳細な空間構図を総称して「空間構図」という。
最初に、画像取得部１０１は、図３（ｂ）に示すように、原画像２０１を２値化して２値化画像２０２を得て、さらに、２値化画像２０２からエッジ抽出画像を得る。
図４（ａ）は、本実施の形態に係るエッジ抽出例であり、図４（ｂ）は、空間構図の抽出例であり、図４（ｃ）は、空間構図を確認するための表示例である。
画像取得部１０１は、２値化後、２値化画像２０２に対してエッジ抽出を行い、エッジ抽出画像３０１を生成し、空間構図特定部１１２およびオブジェクト抽出部１２２に出力する。
空間構図特定部１１２は、エッジ抽出画像３０１を用いて空間構図を生成する。より具体的に説明すると、空間構図特定部１１２は、エッジ抽出画像３０１から非並行の２以上の直線を抽出し、これらの直線を組み合わせた「骨組み」を生成する。この「骨組み」が空間構図である。
図４（ｂ）における空間構図抽出例３０２は、上記のように生成された空間構図の一例である。さらに、空間構図特定部１１２は、空間構図ユーザＩＦ部１１１を介して受け付けたユーザの指示により、空間構図確認画像３０３における空間構図が原画像の内容に合致するように補正する。ここで、空間構図確認画像３０３は、上記空間構図の適否を確認するための画像であり、原画像２０１と空間構図抽出例３０２とを合成した画像である。なお、ユーザによって、修正等を行う場合や他の空間構図抽出を適用する場合又は空間構図抽出例３０２を調整する場合などについても空間構図ユーザＩＦ部１１１を介して受け付けたユーザの指示に従う。
なお、上記の実施の形態では、原画像を「２値化」することによってエッジ抽出を行ったが、この方法に限定されるものでは無く、既存の画像処理方法を用いて、若しくはそれらの組み合わせによってエッジ抽出を行ってもよいことは言うまでも無い。既存の画像処理方法としては、色情報を用いるものや輝度情報を用いるもの、直交変換やウェーブレット変換を用いるもの、各種１次元／多次元フィルタを用いるものなどが有るがこれらに限定されない。
なお、空間構図は、上記のようにエッジ抽出画像から生成する場合に限らず、空間構図を抽出するために、予め用意しておいた空間構図のひな形である「空間構図抽出用テンプレート」を用いて決定してもよい。
図５（ａ）、（ｂ）は、空間構図抽出用テンプレートの一例である。空間構図特定部１１２では、必要に応じて空間構図テンプレート記憶部１１０から、図５（ａ）、（ｂ）に示すような空間構図抽出用テンプレートを選択し、原画像２０１と合成してマッチングを行い、最終的な空間構図を決定することも可能とする。
以下、空間構図抽出用テンプレートを用いて空間構図を決定する実施例について説明を行うが、空間構図抽出用テンプレートを用いずにエッジ情報やオブジェクトの配置情報（どこに何があるかを示す情報）から空間構図を推定してもよい。更に、セグメンテーション（領域分割）や直交変換・ウェーブレット変換、色情報、輝度情報など、既存の画像処理手法を任意に組み合わせて空間構図を決定することもできる。一例を挙げると、領域分割された各領域の境界面が向いている方向に基づいて空間構図を決定してもよい。また、静止画像に付帯するメタ情報（ＥＸＩＦなど任意のタグ情報）を利用してもよい。例えば、「焦点距離と被写体深度から、後述の消失点が画像内にあるかどうかの判断を行う」など、任意のタグ情報を用いて空間構図抽出に用いることが出来る。
また、テンプレートの入力、修正又は変更や空間構図情報そのものの入力、修正又は変更などユーザの欲する全ての入出力を行うインタフェースとして、空間構図ユーザＩＦ部１１１を用いることも出来る。
図５（ａ）、（ｂ）では、各空間構図抽出用テンプレートにおける消失点ＶＰ４１０を示されている。この例では、消失点が１点の場合を示しているが、消失点が複数あってもよい。空間構図抽出用テンプレートは、後述するようにこれらに限られるものではなく、奥行き情報を持つ（若しくは持っているように知覚できる）任意の画像に対応するようなテンプレートである。
さらに、空間構図抽出用テンプレート４０１から空間構図抽出用テンプレート４０２のように、消失点の位置を移動することで、一つのテンプレートから類似する任意のテンプレートを生成することも出来る。また、消失点までに壁が存在する場合も有る。この場合は、正面奥壁４２０のように空間構図抽出用テンプレート内に（奥方向の）壁を設定することも出来る。正面奥壁４２０の奥方向の距離も消失点と同様に移動することが出来ることは言うまでもない。
空間構図抽出用テンプレートの例としては、空間構図抽出テンプレート例４０１や空間構図抽出テンプレート例４０２のような消失点が一つである場合のほか、図１１の空間構図抽出テンプレート例１０１０のように、２つの消失点（消失点１００１、消失点１００２）を持つ場合や、図１２の空間構図抽出用テンプレート１１１０のように、壁が２方向から交わっているような場合（これも２消失点といえる）、図１３の空間構図抽出用テンプレート１２１０のように、縦型になっている場合、図１８（ａ）のカメラ移動例１７００に示すような地平線（水平線）のように、消失点が線状になっている場合、図１８（ｂ）のカメラ移動例１７５０のように、画像範囲外に消失点があるような場合など、製図やＣＡＤ、設計などの分野で一般的に用いられている空間構図を任意に用いることが出来る。
なお、図１８（ｂ）のカメラ移動例１７５０のように、画像範囲外に消失点があるような場合については、図６の拡大型空間構図抽出用テンプレート５２０や拡大型の空間構図抽出用テンプレート５２１のように、空間構図抽出用テンプレートを拡大して用いることが出来る。この場合、図６（ａ）、（ｂ）における画像範囲例５０１、画像範囲例５０２および画像範囲例５０３のように、消失点が画像の外部にあるような画像についても消失点を設定することが可能になる。
なお、空間構図抽出用テンプレートに関しては、消失点の位置など空間構図に関する任意のパラメータを自由に変更することもできる。例えば、図１０の空間構図抽出用テンプレート９１０では、消失点９１０の位置や正面奥壁９０２の壁高９０３、壁幅９０４などを変更することにより、様々な空間構図に対してより柔軟に対応することができる。同様に、図１１の空間構図抽出用テンプレート１０１０では、二つの消失点（消失点１００１と消失点１００２）の位置を任意に動かす例を示している。当然、変更する空間構図のパラメータは、消失点や正面奥壁に限られるものではなく、側壁面、天井面、正面奥壁面など空間構図内の任意の対象について、そのパラメータを変更することができる。更に、これらの面の傾きや空間配置上における位置など、面に関する任意の状態をサブパラメータとして利用することが出来る。また、変更方法も上下左右に限られるものでなく、回転やモーフィング、アフィン変換などによる変形などを行ってもよい。
これらの変換や変更は、画像処理装置１００に用いるハードウェアのスペックやユーザインタフェース上の要求などに応じて、任意に組み合わせることができる。例えば、比較的ロースペックのＣＰＵで実装する場合には、予め用意する空間構図抽出用テンプレートの数を削減し、変換や変更も極力少ないものとして、その中から最も近い空間構図抽出用テンプレートをテンプレートマッチにより選択することが考えられる。また、記憶装置が比較的潤沢にある画像処理装置１００の場合には、予め多くのテンプレートを用意しておき、記憶装置上に保存し、変換や変更に要する時間を抑えるとともに、短時間で精度の良いマッチング成果を上げられるように、用いる空間構図抽出用テンプレートを階層的に分類して構成しておくこともできる（ちょうど高速検索を行うデータベース上のデータ配置と同様にテンプレートを配置することができる）。
なお、図１２の空間構図抽出テンプレート例１１００や空間構図抽出テンプレート例１１１０では、消失点、正面奥壁のほか、稜線（稜線１１０３、稜線１１１３）の位置、稜線の高さ（稜線高１１０４、稜線高１１１４）を変更する例を示している。同様に、図１３では、縦型の空間構図の場合の消失点（消失点１２０２、消失点１２０１）、稜線（稜線１２０３）、稜線幅（稜線幅１２０４）の例を示している。
これらの空間構図に関するパラメータは、空間構図ユーザＩＦ部１１１を介してユーザからの操作（例えば、指定、選択、修正、登録などが挙げられるが、この限りではない）によって設定してもよい。
図２０は、空間構図特定部１１２における、空間構図を特定するまでの処理の流れを示すフローチャートである。
最初に、空間構図特定部１１２は、画像取得部１０１からエッジ抽出画像３０１を取得すると、このエッジ抽出画像３０１から空間構図の要素（例えば、非並行の直線状のオブジェクトなど）を抽出する（Ｓ１００）。
次に、空間構図特定部１１２は、消失点位置の候補を算出する（Ｓ１０２）。
この場合、空間構図特定部１１２は、算出された消失点の候補が点でない場合は（Ｓ１０４：Ｙｅｓ）、地平線を設定する（Ｓ１０６）。さらに、その消失点候補の位置が原画像２０１内にない場合は（Ｓ１０８：Ｎｏ）、消失点を外挿する（Ｓ１１０）。
その後、空間構図特定部１１２は、消失点を中心とした空間構図を構成する要素を含む空間構図テンプレートを作成し（Ｓ１１２）、作成した空間構図テンプレートと空間構図構成要素とのテンプレートマッチング（単に「ＴＭ」ともいう。）を行う（Ｓ１１４）。
以上の処理（Ｓ１０４〜Ｓ１１６）を全ての消失点候補について実施し、最終的に最も適切な空間構図を特定する（Ｓ１１８）。
次に、オブジェクト抽出部１２２及びその周辺の部署の機能について説明する。
オブジェクトの抽出手法としては、既存の画像処理方法や画像認識方法で用いられている手法を任意に用いることが出来る。例えば、人物抽出であればテンプレートマッチやニューラルネット、色情報などを基に抽出することが出来る。また、セグメンテーションや領域分割により、分割されたセグメントや領域をオブジェクトとみなすことも出来る。動画若しくは連続する静止画中の一静止画であれば、前後のフレーム画像からオブジェクトを抜き出すことも出来る。もちろん抽出手法や抽出ターゲットはこれらに限定されるものではなく任意である。
上記のオブジェクト抽出用のテンプレートやパラメータなどはオブジェクトテンプレート記憶部１２０に記憶し、状況に応じて読み出して使うこともできる。また、新たなテンプレートやパラメータなどをオブジェクトテンプレート記憶部１２０に入力することも出来る。
また、オブジェクトユーザＩＦ部１２１は、オブジェクトを抽出する手法（テンプレートマッチやニューラルネット、色情報など）を選択したり、候補として提示されたオブジェクトの候補を選択したり、オブジェクト自体を選択したり、結果の修正やテンプレートの追加、オブジェクト抽出手法の追加など、ユーザの欲する全ての作業を行うためのインタフェースを提供する。
次に、立体情報生成部１３０及びその周辺の部署の機能について説明する。
図７（ａ）は、抽出したオブジェクトを示す図であり、図７（ｂ）は、抽出したオブジェクトと決定された空間構図とを合成した画像の一例である。オブジェクト抽出例６１０では、原画像２０１から主な人物像をオブジェクト６０１、オブジェクト６０２、オブジェクト６０３、オブジェクト６０４、オブジェクト６０５、オブジェクト６０６をオブジェクトとして抽出している。この各オブジェクトと空間構図とを合成したものが奥行き情報合成例６１１である。
立体情報生成部１３０は、上記のように抽出したオブジェクトを空間構図の中に配置することにより、立体情報を生成できる。なお、立体情報については、立体情報生成ユーザＩＦ部１３１を介して受け付けたユーザの指示に従って、入力したり、修正したりすることも出来る。
画像生成部１７０は、上記のように生成された立体情報を有する空間において、新たに仮想的な視点を設定して原画像とは異なる画像を生成する。
図２２は、上記で説明した、立体情報生成部１３０における処理の流れを示すフローチャートである。
最初に、立体情報生成部１３０は、空間構図情報から空間構図における平面に関するデータ（以下「構図平面データ」という。）を生成する（Ｓ３００）。次に、立体情報生成部１３０は、抽出されたオブジェクト（「Ｏｂｊ」ともいう。）と構図平面との接点を算出し（Ｓ３０２）、オブジェクトと地平面との接点がなく（Ｓ３０４：Ｎｏ）、さらに壁面又は天面との接点もない場合は（Ｓ３０６：Ｎｏ）、オブジェクトは最前面にあるものとして空間における位置を設定する（Ｓ３０８）。これ以外の場合は、接点座標を算出し（Ｓ３１０）、オブジェクトの空間における位置を算出する（Ｓ３１２）。
以上の処理を全てのオブジェクトに実施した場合は（Ｓ３１４：Ｙｅｓ）、オブジェクト以外の画像情報を空間構図平面にマッピングする（Ｓ３１６）。
さらに、立体情報生成部１３０は、情報補正部１４１においてオブジェクトに関する修正内容を盛り込み（Ｓ３１８〜３２４）、立体情報の生成を完了する（Ｓ３２６）。
ここで、図８を参照しながら、仮想視点位置の設定方法について説明する。まず、空間中の視点位置として仮想視点位置７０１を考え、視点方向として仮想視点方向７０２を設定する。この仮想視点位置７０１と仮想視点方向７０２を図９の奥行き情報合成例８１０（奥行き情報合成例６１１と同一）について考えると、正面からの視点から見た奥行き情報合成例８１０に対して、仮想視点位置７０１の視点と仮想視点方向７０２のような視点方向を設定した場合（即ち、少し進んで横方向から見た場合）、視点変更画像生成例８１１のような画像を生成することができる。
同様に、図１５では、ある立体情報を有する画像に対して、視点位置と方向を想定した画像例を示す。画像例１４１２は、画像位置例１４０２の時の画像例である。また、画像例１４１１は、画像位置例１４０１の時の画像例である。画像位置例１４０１については、視点位置と視点対象を視点位置１４０３と視点対象１４０４で模式的に表現している。
ここでは、図１５を、ある立体情報を有する画像から仮想視点を設定して画像を生成した例として用いた。なお、立体情報（空間情報）の取得に用いた静止画像を画像例１４１２とし、この画像例１４１２から抽出した立体情報に対して、視点位置１４０３、視点対象１４０４を設定した場合の画像が画像例１４１２であるということもいえる。
同様に、図１６では、画像位置例１５０１と画像位置例１５０２に対応した画像例としてそれぞれ画像例１５１１と画像例１５１２を示している。このとき、それぞれの画像例の一部が重複している場合がある。例えば、画像共通部分１５２１と画像共通部分１５２１がそれにあたる。
なお、前述のように、新たな画像を生成する際のカメラワーク・エフェクトとして、立体情報の内外を視点や焦点、ズーム、パン等をしながら、若しくはトランジションやエフェクトをかけながら画像を生成できることはもちろんである。
更に、単に立体空間内を仮想的なカメラで撮影したような動画若しくは静止画を生成するだけではなく、上記の画像共通部分１５２１と画像共通部分１５２１のように、静止画として切出した時に共通する部分を対応させながら、動画若しくは静止画を（若しくは動画静止画混在状況下で）カメラワーク・エフェクトで繋いでいく処理を行うこともできる。ここでは、従来のカメラワークでは考えられなかった、モーフィングやアフィン変換などを用いて、共通する対応点や対応領域を繋いでいくことも可能となる。図１７は、共通部分（即ち、太枠で示した部分）を持つ画像同士をモーフィングやトランジション、画像変換（アフィン変換など）、エフェクト、カメラアングル変更、カメラパラメータ変更、などを用いて遷移させて表示する例を示している。共通部分の特定は立体情報から容易に可能であり、逆にいえば共通部分を持つようにカメラワークを設定することも可能である。
図２１は、上記で説明した、視点制御部１８１における処理の流れを示すフローチャートである。
最初に、視点制御部１８１は、カメラワークの開始点および終了点を設定する（Ｓ２００）。この場合、カメラワークの開始点および終了点は、概ね仮想空間の手前付近に開始点を設定し、開始点からより消失点に近い地点に終了点を設定する。この開始点および終了点の設定には、所定のデータベース等を利用してもよい。
次に、視点制御部１８１は、カメラの移動先や移動方向を決定し（Ｓ２０２）、移動方法を決定する（Ｓ２０４）。例えば、手前から消失点の方向に、各オブジェクトの近傍を通りながら移動する。さらに、単に直線状に移動するのみでなく、らせん状に移動したり、移動途中に速度を変更したりしてもよい。
さらに、視点制御部１８１は、実際に所定の距離についてカメラを移動する（Ｓ２０６〜２２４）。この間、もし、カメラパンなどのカメラエフェクトを実行する場合は（Ｓ２０８：Ｙｅｓ）、所定のエフェクトサブルーチンを実行する（Ｓ２１２〜Ｓ２１８）。
また、視点制御部１８１は、カメラがオブジェクトや空間構図自体と接触しそうな場合は（Ｓ２２０：接触する）、改めて次の移動先を設定して（Ｓ２２８）、上記の処理を繰り返す（Ｓ２０２〜Ｓ２２８）。
なお、視点制御部１８１は、カメラが終了点まで移動したら、カメラワークを終了する。
前述の繰り返しになるが、これらの画像生成に関するカメラワークは、視点変更テンプレート記憶部１８０のように、予め決められた視点変更テンプレートをデータベースに用意して利用することも出来る。また、視点変更テンプレート記憶部１８０に新しい視点変更テンプレートを追加し、若しくは視点変更テンプレートを編集して利用してもよい。また、視点制御ユーザＩＦ部１８２を介して、ユーザの指示によって視点位置を決定したり、視点変更テンプレートを作成・編集・追加・削除してもよい。
また、これらの画像生成に関するエフェクトは、エフェクト／スタイルテンプレート記憶部１６０のように、予め決められたエフェクト／スタイルテンプレートをデータベースに用意して利用することも出来る。また、エフェクト／スタイルテンプレート記憶部１６０に新しいエフェクト／スタイルテンプレートを追加し、若しくはエフェクト／スタイルテンプレートを編集して利用してもよい。また、エフェクトユーザＩＦ部１６２を介して、ユーザの指示によって視点位置を決定したり、エフェクト／スタイルテンプレートを作成・編集・追加・削除してもよい。
なお、カメラワークを設定する際に、オブジェクトの位置を考慮し、オブジェクトに沿って若しくはオブジェクトにクローズアップするように、若しくはオブジェクトに回り込むように、などオブジェクトに依存した任意のカメラワークを設定することもできる。オブジェクトに依存した画像作成ができることは、カメラワークだけではなく、エフェクトについても同様であることは言うまでも無い。
同様に、カメラワークを設定する際に、空間構図を考慮することもできる。エフェクトも同様である。先に述べた共通部分を考慮した処理は、空間構図とオブジェクトとの両方を利用したカメラワーク若しくはエフェクトの一例であり、生成される画像が動画であっても静止画であっても、空間構図とオブジェクトを用いた既存任意のカメラワークやエフェクト、カメラアングル、カメラパラメータ、画像変換、トランジションなどを利用できる。
図１８（ａ）、（ｂ）は、カメラワークの一例を示す図である。図１８（ａ）のカメラワークの軌跡を示したカメラ移動例１７００では、開始視点位置１７０１から仮想的なカメラの撮像が開始され、カメラ移動線１７０８に沿ってカメラが移動した場合を表している。視点位置１７０２から視点位置１７０３、視点位置１７０４、視点位置１７０５、視点位置１７０６を順に通過して終了視点位置１７０７においてカメラワークが終了している。開始視点位置１７０１では、開始視点領域１７１０が撮影されており、終了視点位置１７０７では終了視点領域１７１１が撮影されている。この移動の間、カメラの移動を地上に相当する平面に投影したものがカメラ移動地上投影線１７０９である。
同様に、図１８（ｂ）に示すカメラ移動例１７５０の場合は、開始視点位置１７５１から終了視点位置１７５２までカメラが移動し、それぞれ開始視点領域１７６０、終了視点領域１７６１を撮像している。この間のカメラの移動はカメラ移動線１７５３で模式的に示している。また、カメラ移動線１７５３の地上及び壁面に投影した軌跡は、それぞれカメラ移動地上投影線１７５４およびカメラ移動壁面投影線１７５５で示している。
もちろん、上記カメラ移動線１７０８及びカメラ移動線１７５３上を移動する任意のタイミングで画像を生成することができる（動画でも静止画でも両者の混在でも良いことは言うまでも無い）。
また、カメラワーク設定用画像生成部１９０は、ユーザがカメラワークを決める際の参考になるように、現在のカメラ位置から見た時の画像を生成してユーザに提示することができるが、その例を図１８のカメラ画像生成例１８１０に示している。図１９において、現在カメラ位置１８０３から撮影範囲１８０５を撮影した場合の画像を現在カメラ画像１８０４に表示している。
視点制御ユーザＩＦ部１８２を介して、ユーザには、カメラ移動例１８００のようカメラを移動することによって模式的な立体情報や、その中のオブジェクトなどを提示することもできる。
さらに、画像処理装置１００は、生成された複数の立体情報を合成することもできる。図１４（ａ）、（ｂ）は、複数の立体情報を合成する場合の一例を示す図である。図１４（ａ）には、現在の画像データ１３０１内に現在画像データオブジェクトＡ１３１１と現在画像データオブジェクトＢ１３１２が写っており、過去の画像データ１３０２内に過去画像データオブジェクトＡ１３１３と過去画像データオブジェクトＢ１３１４が写っている場合を示している。この場合、同一立体空間内に二つの画像データを合成することもできる。この場合の合成例が図１４（ｂ）に示す合成立体情報例１３２０である。この合成の際、複数の原画像間の共通要素から合成してもよい。また、全く異なる原画像データを合成してもよく、空間構図を必要に応じて変更してもよい。
なお、本実施の形態における「エフェクト」とは、画像（静止画像および動画像）に対する効果全般を指すものとする。効果の例として、一般的なノンリニアな画像処理方法や、カメラワークやカメラアングル、カメラパラメータの変化によって可能な撮影時に付与する（付与できる）ものなどを挙げることができる。また、一般的なデジタル画像処理ソフト等で可能な処理も含まれる。更に、画像シーンに合わせて音楽や擬音を配置することも効果の範疇に入る。また、カメラアングルなど、エフェクトの定義内に含まれる効果を表す他の用語と「エフェクト」を併記している場合は、併記した効果を強調しているものであり、エフェクトの範疇を狭めるものではないことを明記する。
なお、静止画像からのオブジェクト抽出であるため、抽出されたオブジェクトについての厚み情報が欠ける場合がありえる。この際、奥行き情報に基づいて適当な値を厚みとして設定することも可能である（奥行き情報から相対的なオブジェクトのサイズを算出し、サイズから厚みを適当に設定する、など任意の手法を取ってよい。）。
なお、予めテンプレートなどを用意しておき、オブジェクトが何であるかを認識して、その認識結果を厚みの設定に用いてもよい。例えばリンゴであると認識された場合には、リンゴ相応の大きさに厚みを設定し、車であると認識された場合には、車相応の大きさに厚みを設定してもよい。
なお、消失点をオブジェクトに設定してもよい。実際には無限遠に無いオブジェクトであっても無限遠に有るものとして処理することもできる。
なお、オブジェクトの抽出にあたり、オブジェクトをマスクするマスク画像を生成してもよい。
なお、抽出されたオブジェクトの立体情報へのマッピングに際して、奥行き情報内の適当な位置に再配置してもよい。必ずしも原画像データに忠実な位置にマッピングする必要は無く、エフェクトを施しやすい位置やデータ処理がしやすい位置など任意の位置に再配置してもよい。
なお、オブジェクトを抽出した際、若しくは立体情報にマッピングした際、若しくは立体譲歩宇宙のオブジェクトについて処理を行う際、オブジェクトの裏側に相当する情報を適当に付与してもよい。原画像からはオブジェクトの裏側の情報は得られないことがありえるが、その際に、表側の情報を基に裏側の情報を設定してもよい（たとえば、オブジェクトの表側に相当する画像情報（立体情報で言えばテクスチャやポリゴンなどに相当する情報）をオブジェクトの裏側にもコピーするなど）。もちろん、他のオブジェクトや、他の空間情報などを参考に裏側の情報を設定してもよい。さらに、影をつける、黒く表示する、裏側から見るとオブジェクトが存在しないように見える、など裏側に与える情報そのものについては任意のものを与えることができる。なお、オブジェクトと背景をなめらかに見せるため、任意のスムージング処理を行ってもよい（境界をぼかすなど）。
なお、３次元的に空間情報として配置されたオブジェクトの位置に基づきカメラパラメータを変更してもよい。例えば、画像生成時にオブジェクトの位置や空間構図からカメラ位置／深度によりピント情報（ピンボケ情報）を生成し、遠近感のある画像を生成してもよい。この場合、オブジェクトのみぼかしても良く、またオブジェクト及びその周囲をもぼかしてもよい。
なお、上記実施の形態１に係る画像データ管理装置１００では、空間構図ユーザＩＦ部１１１、オブジェクトユーザＩＦ部１２１、立体情報ユーザＩＦ部１３１、情報補正ユーザＩＦ部１４０、エフェクトユーザＩＦ部１６２および視点制御ユーザＩＦ部１８２として分離させた機能構成としたが、上記の各ＩＦ部の機能を備える一のＩＦ部を有するように構成してもよい。
本発明は、マイクロコンピュータ、デジタルカメラ又はカメラ付携帯電話機などの静止画から立体画像を生成する画像処理装置などに利用が可能である。
本発明は、静止画像から立体画像を生成する技術に関し、特に静止画像の中から人や物、動物、建造物などのオブジェクトを抽出し、当該オブジェクトを含む静止画像全体についての奥行きを示す情報である立体情報を生成する技術に関する。
従来の静止画像から立体情報を得る方法として、複数のカメラで撮った静止画像から任意視点方向の立体情報を生成する手法がある。撮像時に画像に関する立体情報を抽出することにより、撮像時と異なる視点や視線方向における画像を生成する方法が示されている（例えば、特許文献１参照）。これは、画像を入力する左右の画像入力部と、被写体の距離情報を演算する距離演算部などを有しており、任意の視点及び視線方向から見た画像を生成する画像処理回路を備えている。同趣旨の従来技術としては特許文献２や特許文献３があり、複数の画像および視差をそれぞれ記録する汎用性の高い画像記録再生装置が提示されている。
また、特許文献４には、少なくとも異なる３つの位置から物体を撮像して、物体の正確な３次元形状を高速で認識する手法が示されており、他にも複数カメラ系は、他にも特許文献５など多数提示されている。
また、特許文献６は、１台のカメラで物体を回転させることなくその形状を取得することを目的として、魚眼レンズを付けたテレビカメラで、移動物体（車両）を一定の区間の間撮影し、その各撮影画像から背景画像を除去して車両のシルエットを求めている。各画像の車両タイヤの接地点の移動軌跡を求め、これより、カメラの視点と各画像における車両との相対位置を求める。この相対位置関係で投影空間に対し各シルエットを配し、その各シルエットを投影空間に投影して、車両の形状を取得している。複数画像から立体情報の取得を行う手法としては、エピポーラによる手法が広く知られているが、この特許文献６では、複数のカメラで対象物の複数視点の画像を得る代わりに、移動物体を対象として時系列的に複数の画像を得ることで立体情報の取得を行っている。
また、単一の静止画像から３次元構造を抽出し表示する手法としては、ＨＯＬＯＮ社製パッケージソフトとして「Motion Impact」が挙げられる。これは、一枚の静止画像から仮想的に立体情報を作り出すものであり、以下のステップで立体情報を構築する。
１）オリジナル画像（画像Ａ）を用意する。
２）別途画像処理ソフト（レタッチソフトなど）を使用し、オリジナル画像か ら「立体化させるオブジェクトを消した画像（画像Ｂ）」と「立体化させる オブジェクトのみをマスク化した画像（画像Ｃ）」を作る。
３）画像Ａ〜Ｃをそれぞれ「Motion Impact」に登録する。
４）オリジナル画像中の消失点を設定し、写真に立体的な空間を設定する。
５）立体化させたいオブジェクトを選択する。
６）カメラアングルやカメラモーションを設定する。
図1は、上記従来技術における静止画像から立体情報を生成し、さらに立体的な映像を生成するまでの処理の流れを示すフローチャートである（なお、図1における各ステップのうち、内部をメッシュで表したステップがユーザの手作業によるステップである）。
静止画像が入力されると、ユーザの手作業によって空間構図を表す情報（以下「空間構図情報」という。）が入力される（Ｓ９００）。具体的には、消失点の個数が決定され（Ｓ９０１）、消失点の位置が調整され（Ｓ９０２）、空間構図の傾きが入力され（Ｓ９０３）、空間構図の位置やサイズについて調整される（Ｓ９０４）。
次に、ユーザによって、オブジェクトをマスク化したマスク画像が入力され（Ｓ９１０）、マスクの配置と空間構図情報から立体情報が生成される（Ｓ９２０）。具体的には、ユーザによって、オブジェクトがマスクされた領域の選択（Ｓ９２１）およびオブジェクトの１辺（又は１面）が選択されると（Ｓ９２２）、それが空間構図と接触しているか否かが判断され（Ｓ９２３）、非接触の場合は（Ｓ９２３：Ｎｏ）、非接触である旨が入力され（Ｓ９２４）、接触している場合は（Ｓ９２３：Ｙｅｓ）、接触している部分の座標が入力される（Ｓ９２５）。以上の処理をオブジェクトのすべての面について実施する（Ｓ９２２〜Ｓ９２６）。
さらに、上記の処理をすべてのオブジェクトについて実施後（Ｓ９２１〜Ｓ９２７）、空間構図で規定される空間に全てのオブジェクトをマッピングし、立体的な映像を生成するための立体情報を生成する（Ｓ９２８）。
このあと、ユーザにより、カメラワークに関する情報が入力される（Ｓ９３０）。具体的には、ユーザによって、カメラを移動する経路が選択されると（Ｓ９３１）、そのプレビュー後（Ｓ９３２）、最終的なカメラワークが決定される（Ｓ９３３）。
以上の処理が終わると、上記ソフトの一機能であるモーフィングエンジンによって奥行き感が付加され（Ｓ９４０）、ユーザに提示する映像が完成する。
特開平０９−００９１４３号公報 特開平０７−０４９９４４号公報 特開平０７−０９５６２１号公報 特開平０９−０９１４３６号公報 特開平０９−３０５７９６号公報 特開平０８−０４３０５６号公報
以上のように、従来、複数の静止画像若しくは複数のカメラで得られた静止画増から立体情報を得る手法は数多く示されている。
一方、静止画像の内容について３次元構造を自動的に解析し表示する手法はまだ確立されておらず、上記のように殆どが手作業に頼っている。
図１に示すように、従来技術においては、ほとんど全てを手作業で行う必要がある。言い換えると、唯一、立体情報を生成した後のカメラワークについて、カメラ位置を都度手入力するためのツールのみが提供されている状態である。
上記のように、静止画像の中の各オブジェクトを手作業で抜き出し、また背景となる画像も手作業で別途作成し、更に、消失点などの製図的な空間情報も手作業で個別に設定した上で、各オブジェクトを手作業で仮想的な立体情報にマッピングしている状況であり、容易には立体情報を作成できないという課題がある。また、消失点が画像外に有る場合には全く対応が出来ないといった課題もある。
さらに、３次元構造の解析結果後の表示についても、カメラワークの設定が煩雑であったり、奥行き情報を用いたエフェクトが考慮されていないといった課題を有している。これは、特にエンターテイメント向けの利用において大きな問題となる。
本発明は、上記従来の課題を解決するものであり、静止画像から立体情報を生成する際のユーザの作業負荷を軽減し得る画像処理装置等を提供することを目的とする。
上記の従来課題を解決するために、本発明に係る画像処理装置は、静止画像から立体情報を生成する画像処理装置であって、静止画像を取得する画像取得手段と、取得された前記静止画像の中からオブジェクトを抽出するオブジェクト抽出手段と、取得された前記静止画像における特徴を利用して、消失点を含む仮想的な空間を表す空間構図を特定する空間構図特定手段と、特定された前記空間構図に、抽出された前記オブジェクトを関連づけることによって前記仮想的な空間におけるオブジェクトの配置を決定し、決定された当該オブジェクトの配置から前記オブジェクトに関する立体情報を生成する立体情報生成手段とを備える。
本構成によって、一枚の静止画像から立体情報を自動的に生成するため、立体情報を生成する際のユーザの手間を軽減することができる。
また、前記画像処理装置は、さらに、前記仮想的な空間内にカメラを想定し、当該カメラの位置を移動させる視点制御手段と、前記カメラによって、任意の位置から撮影した場合の画像を生成する画像生成手段と、生成された前記画像を表示する画像表示手段とを備えることを特徴とする。
本構成によって、生成された立体情報を用いて、静止画像から派生させた新しい画像を生成することが可能となる。
また、前記視点制御手段は、前記カメラが、生成された前記立体情報が存在する範囲を移動するように制御することを特徴とする。
本構成によって、仮想空間内を移動するカメラから撮影された画像が、データの無い部分を映し出すことが無くなり、画像の品質を向上させることができる。
また、前記視点制御手段は、さらに、前記カメラが、前記オブジェクトが存在しない空間を移動するように制御することを特徴とする。
本構成によって、仮想空間内を移動するカメラから撮影された画像が、オブジェクトへの衝突や通過を回避することができ、画像の品質を向上させることができる。
また、前記視点制御手段は、さらに、前記カメラが、生成された前記立体情報が示す前記オブジェクトが存在する領域を撮影するように制御することを特徴とする。
本構成によって、仮想空間内を移動するカメラがパンやズーム、回転等を行った際に、オブジェクトの裏面にデータが無かった、などという品質低下を防ぐことができる。
また、前記視点制御手段は、さらに、前記カメラが、前記消失点の方向へ移動するように制御することを特徴とする。
本構成によって、仮想空間内を移動するカメラから撮影された画像が、画像に入り込んでいくような視覚的効果を得ることができ、画像の品質を向上させることができる。
また、前記視点制御手段は、さらに、前記カメラが、生成された前記立体情報が示す前記オブジェクトの方向へ進むように制御することを特徴とする。
本構成によって、仮想空間内を移動するカメラから撮影された画像が、オブジェクトに近づいていくような視覚的効果を得ることができ、画像の品質を向上させることができる。
また、前記オブジェクト抽出手段は、抽出された前記オブジェクトの中から２以上の非並行の線状のオブジェクトを特定し、前記空間構図特定手段は、さらに、特定された前記２以上の線状のオブジェクトを延長することによって、１以上の消失点の位置を推定し、特定された前記２以上の線状のオブジェクトと前記推定された消失点の位置とから前記空間構図を特定することを特徴とする。
本構成によって、静止画像から立体情報を自動的に抽出し、空間構図情報を的確に反映することができ、生成する画像全体の品質を向上させることができる。
また、前記空間構図特定手段は、さらに、前記静止画像の外部においても前記消失点を推定することを特徴とする。
本構成によって、画像内に消失点が無いような画像（ほとんどのスナップ写真など、一般写真の大多数を占める画像）についても、空間構図情報を的確に取得することができ、生成する画像全体の品質を向上させることができる。
また、前記画像処理装置は、さらに、ユーザからの指示を受け付けるユーザインタフェース手段を備え、前記空間構図特定手段は、さらに、受け付けられたユーザからの指示に従って、特定された前記空間構図を修正することを特徴とする。
本構成によって、容易に空間構図情報についてのユーザ意図を反映することができ、全体の品質の向上を図ることができる。
また、前記画像処理装置は、さらに、空間構図のひな形となる空間構図テンプレートを記憶する空間構図テンプレート記憶手段を備え、前記空間構図特定手段は、取得された前記静止画像における特徴を利用して前記空間構図テンプレート記憶手段から一の空間構図テンプレートを選択し、選択された当該空間構図テンプレートを用いて前記空間構図を特定するように構成することもできる。
また、前記立体情報生成手段は、さらに、前記オブジェクトが前記空間構図における地平面に接する接地点を算出し、前記オブジェクトが前記接地点の位置に存在する場合の前記立体情報を生成することを特徴とする。
本構成によって、オブジェクトの空間配置をより的確に指定することができ、画像全体の品質を向上させることができる。例えば、ヒトの全身像が写っている写真の場合は、ヒトの足元と地平面との接点を算出することで、ヒトをより正しい空間位置にマッピングすることが可能となる。
また、前記立体情報生成出段は、さらに、前記オブジェクトの種類によって、前記オブジェクトが前記空間構図と接する面を変更することを特徴とする。
本構成によって、オブジェクトの種類によって接地面の変更が可能となり、より現実感の高い空間配置を得ることができ、画像全体の品質を向上させることができる。例えば、ヒトであれば地平面と足もとの接点を用い、看板であれば、側面との接点を用い、電灯であれば天井面との接点を用いるなど、適応的な対応が可能となる。
また、前記立体情報生成出段は、さらに、前記オブジェクトが前記空間構図の地平面と接する接地点が算出できなかった場合に、前記オブジェクト若しくは前記地平面の少なくとも一つを、内挿若しくは外挿若しくは補間することで、地平面と接する仮想接地点を算出し、前記オブジェクトが前記仮想接地点の位置に存在する場合の前記立体情報を生成することを特徴とする。
本構成によって、例えばバストアップで写っている人物など地平面との接点が無い場合でも、オブジェクトの空間配置をより的確に指定することができ、画像全体の品質を向上させることができる。
また、前記立体情報生成手段は、さらに、前記オブジェクトに所定の厚みを付与して空間に配置し、前記立体情報を生成することを特徴とする。
本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。
また、前記立体情報生成手段は、さらに、前記オブジェクトの周囲をぼかす又は尖鋭にする画像処理を付加して、前記立体情報を生成することを特徴とする。
本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。
また、前記立体情報生成手段は、さらに、前記オブジェクトの影に隠れていることにより欠如している背景のデータ又は他のオブジェクトのデータの少なくとも一方を、隠れていないデータを用いて構成することを特徴とする。
本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。
また、前記立体情報生成手段は、さらに、前記オブジェクトの背面や側面を表すデータを、前記オブジェクトの前面のデータから構成することを特徴とする。
本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。
また、前記立体情報生成手段は、前記オブジェクトの種類に基づいて、前記オブジェクトに関する処理を動的に変化させることを特徴とする。
本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。
なお、本発明は、上記画像処理装置における特徴的な構成手段をステップとする画像処理方法として実現したり、それらステップをパーソナルコンピュータ等に実行させるプログラムとして実現することもできる。そして、そのプログラムをＤＶＤ等の記録媒体やインターネット等の伝送媒体を介して広く流通させることができるのは云うまでもない。
本発明に係る画像処理装置によれば、従来では成しえなかった非常に簡便な操作で、写真（静止画像）から３次元情報を生成に奥行きを持った画像に再構築することができる。また、３次元空間内を仮想的なカメラで移動撮影することにより、煩雑な作業をすることなしに、従来では成しえなかった、静止画の中を動画として楽しむことができ、新しい写真の楽しみ方を提供することができる。
以下、本発明に係る実施の形態について、図面を参照しながら詳細に説明する。なお、以下の実施の形態において、本発明について図面を用いて説明するが、本発明はこれらに限定されることを意図しない。
（実施の形態１）
図２は、本実施の形態に係る画像処理装置の機能構成を示すブロック図である。画像処理装置１００は、静止画像（「原画像」ともいう。）から立体情報（３次元情報ともいう。）を生成し、生成された立体情報を用いて新たな画像を生成して立体的な映像をユーザに提示し得る装置であり、画像取得部１０１、空間構図テンプレート記憶部１１０、空間構図ユーザＩＦ部１１１、空間構図特定部１１２、オブジェクトテンプレート記憶部１２０、オブジェクトユーザＩＦ部１２１、オブジェクト抽出部１２２、立体情報生成部１３０、立体情報ユーザＩＦ部１３１、情報補正ユーザＩＦ部１４０、情報補正部１４１、立体情報記憶部１５０、立体情報比較部１５１、スタイル／エフェクトテンプレート記憶部１６０、エフェクト制御部１６１、エフェクトユーザＩＦ部１６２、画像生成部１７０、画像表示部１７１、視点変更テンプレート記憶部１８０、視点制御部１８１、視点制御ユーザＩＦ部１８２、カメラワーク設定用画像生成部１９０を備える。
画像取得部１０１は、ＲＡＭやメモリカード等の記憶装置を備え、デジタルカメラやスキャナ等を介して静止画像又は動画におけるフレーム毎の画像の画像データを取得し、当該画像に対して２値化およびエッジ抽出を行う。なお、以下では、上記の取得した静止画像又は動画におけるフレーム毎の画像を「静止画像」で総称する。
空間構図テンプレート記憶部１１０は、ＲＡＭ等の記憶装置を備え、空間構図特定部１１２において使用する空間構図テンプレートを記憶する。ここで、「空間構図テンプレート」とは、静止画像における奥行きを表すための複数の線分から構成される骨組みをいい、各線分の始点および終点の位置、線分の交点の位置を表す情報に加え、静止画像における基準長さ等の情報も有している。
空間構図ユーザＩＦ部１１１は、マウス、キーボードおよび液晶パネル等を備え、ユーザからの指示を受け付けて空間構図特定部１１２に通知する。
空間構図特定部１１２は、取得された静止画像のエッジ情報や後述のオブジェクト情報などに基づいて、この静止画像についての空間構図（以下、単に「構図」ともいう。）を決定する。また、空間構図特定部１１２では、必要に応じて、空間構図テンプレート記憶部１１０から空間構図テンプレートを選択して（さらに、必要に応じて選択した空間構図テンプレートを修正し、）空間構図を特定する。さらに、空間構図特定部１１２は、オブジェクト抽出部１２２において抽出されたオブジェクトを参考にして、空間構図を決定又は修正してもよい。
オブジェクトテンプレート記憶部１２０は、ＲＡＭ又はハードディスク等の記憶装置を備え、上記取得した原画像の中からオブジェクトを抽出するためのオブジェクトテンプレートやパラメータなどを記憶する。
オブジェクトユーザＩＦ部１２１は、マウスやキーボード等を備え、静止画像からオブジェクトを抽出するために用いる手法（テンプレートマッチやニューラルネット、色情報など）を選択したり、上記の手法によってオブジェクト候補として提示された中からオブジェクトを選択したり、オブジェクト自体を選択したり、選択されたオブジェクトの修正やテンプレートの追加、オブジェクトを抽出する手法の追加などに際して、ユーザからの操作を受け付ける。
オブジェクト抽出部１２２は、静止画像からオブジェクトを抽出し、そのオブジェクトの位置、数、形状および種類等のオブジェクトに関する情報（以下「オブジェクト情報」という。）を特定する。この場合、抽出するオブジェクトについては、予めその候補（例えば、人、動物、建物、植物等）が決められているものとする。さらに、オブジェクト抽出部１２２は、必要に応じて、オブジェクトテンプレート記憶部１２０のオブジェクトテンプレートを参照し、各テンプレートと静止画像のオブジェクトとの相関値に基づくオブジェクトの抽出も行う。また、上記空間構図特定部１１２において決定された空間構図を参考にして、オブジェクトを抽出したり、そのオブジェクトを修正してもよい。
立体情報生成部１３０は、空間構図特定部１１２で決定された空間構図やオブジェクト抽出部１２２で抽出されたオブジェクト情報、立体情報ユーザＩＦ部１３１を介してユーザから受け付けた指示等に基づいて、取得した静止画像に関する立体情報を生成する。さらに、立体情報生成部１３０は、ＲＯＭやＲＡＭ等を備えるマイクロコンピュータであり、画像処理装置１００全体の制御を行う。
立体情報ユーザＩＦ部１３１は、マウスやキーボード等を備え、ユーザからの指示によって立体情報を変更する。
情報補正ユーザＩＦ部１４０は、マウス、キーボード等を備え、ユーザからの指示を受け付けて、情報補正部１４１に通知する。
情報補正部１４１は、情報補正ユーザＩＦ部１４０を介して受け付けたユーザの指示に基づいて、誤って抽出されたオブジェクトの補正、又は誤って特定された空間構図や立体情報を補正する。この場合、その他の補正手法として、例えばそれまでのオブジェクトの抽出、空間構図の特定又は立体情報の生成結果に基づいて規定されたルールベースに基づく補正等がある。
立体情報記憶部１５０は、ハードディスク等の記憶装置を備え、作成中の立体情報や過去に生成された立体情報を記憶する。
立体情報比較部１５１は、過去に生成された立体情報の全体若しくは一部と、現在処理中の（若しくは処理済の）立体情報の全体若しくは一部とを比較し、類似点や合致点が確認された場合に、立体情報生成部１３０に対して立体情報をより充実させるための情報を提供する。
スタイル／エフェクトテンプレート記憶部１６０は、ハードディスク等の記憶装置を備え、画像生成部１７０において生成する画像に付加する、トランジション効果や、色調変換など任意のエフェクト効果に関するプログラム、データ、スタイル又はテンプレート等を記憶する。
エフェクト制御部１６１は、画像生成部１７０において生成する新たな画像にトランジション効果や色調変換など、任意のエフェクト効果を加える。このエフェクト効果は、全体として統一感を出すために所定のスタイルに沿ったエフェクト群を用いることとしてもよい。さらに、エフェクト制御部１６１は、新しいテンプレート等をスタイル／エフェクトテンプレート記憶部１６０に追加し、又は参照したテンプレート等の編集を行う。
エフェクトユーザＩＦ部１６２は、マウスやキーボード等を備え、ユーザからの指示をエフェクト制御部１６１に通知する。
画像生成部１７０は、立体情報生成部１３０で生成された立体情報に基づいて上記静止画像を立体的に表現する画像を生成する。具体的には、上記生成された立体情報を用いて、静止画像から派生させた新たな画像を生成する。また、３次元画像は模式的であっても良く、カメラ位置やカメラ向きを３次元画像内に表示してもよい。さらに、画像生成部１７０は、別途指定される視点情報や表示エフェクト等を用いて新たな画像を生成する。
画像表示部１７１は、例えば液晶パネルやＰＤＰ等の表示装置であり、画像生成部１７０において生成された画像や映像をユーザに提示する。
視点変更テンプレート記憶部１８０は、予め決められたカメラワークの３次元的な動きを示す視点変更テンプレートを記憶する。
視点制御部１８１は、カメラワークとしての視点位置の決定を行う。この際、視点制御部１８１は、視点変更テンプレート記憶部１８０に記憶されている視点変更テンプレートを参照してもよい。さらに、視点制御部１８１は、視点制御ユーザＩＦ部１８２を介して受け付けたユーザの指示に基づいて、視点変更テンプレートの作成、変更および削除等を行う。
視点制御ユーザＩＦ部１８２は、マウスやキーボード等を備え、ユーザから受け付けた視点位置の制御に関する指示を視点制御部１８１に通知する。
カメラワーク設定用画像生成部１９０は、ユーザがカメラワークを決める際の参照となるような現在のカメラ位置から見た時の画像を生成する。
なお、本実施の形態に係る画像処理装置１００の構成要素として、上記の機能要素（即ち、図２において「〜部」として表した部署）の全てが必須というわけではなく、必要に応じて機能要素を選択して画像処理装置１００を構成できることは言うまでもない。
以下、上記のように構成される画像処理装置１００における各部の機能について詳細に説明する。以下では、オリジナルの静止画像（以下「原画像」という。）から立体情報を生成し、さらに、立体的な映像を生成する実施の形態について説明する。
まず、空間構図特定部１１２及びその周辺の部署の機能について説明する。
図３（ａ）は、本実施の形態に係る原画像の一例である。また、図３（ｂ）は、上記原画像を２値化した２値化画像の一例である。
空間構図を決定するためには、大まかなに空間構図を抽出することが重要であり、まず、原画像から主たる空間構図（以下「概略空間構図」という。）を特定する。ここでは、概略空間構図を抽出するために、「２値化」を行い、その後、テンプレートマッチによる当て嵌めを行う実施例を示す。勿論、２値化及びテンプレートマッチは概略空間構図を抽出する手法の一例に過ぎず、これら以外の任意の手法を用いて概略空間構図を抽出してもよい。さらに、概略空間構図を抽出することなく、直接、詳細な空間構図を抽出してもよい。なお、以下では、概略空間構図および詳細な空間構図を総称して「空間構図」という。
最初に、画像取得部１０１は、図３（ｂ）に示すように、原画像２０１を２値化して２値化画像２０２を得て、さらに、２値化画像２０２からエッジ抽出画像を得る。
図４（ａ）は、本実施の形態に係るエッジ抽出例であり、図４（ｂ）は、空間構図の抽出例であり、図４（ｃ）は、空間構図を確認するための表示例である。
画像取得部１０１は、２値化後、２値化画像２０２に対してエッジ抽出を行い、エッジ抽出画像３０１を生成し、空間構図特定部１１２およびオブジェクト抽出部１２２に出力する。
空間構図特定部１１２は、エッジ抽出画像３０１を用いて空間構図を生成する。より具体的に説明すると、空間構図特定部１１２は、エッジ抽出画像３０１から非並行の２以上の直線を抽出し、これらの直線を組み合わせた「骨組み」を生成する。この「骨組み」が空間構図である。
図４（ｂ）における空間構図抽出例３０２は、上記のように生成された空間構図の一例である。さらに、空間構図特定部１１２は、空間構図ユーザＩＦ部１１１を介して受け付けたユーザの指示により、空間構図確認画像３０３における空間構図が原画像の内容に合致するように補正する。ここで、空間構図確認画像３０３は、上記空間構図の適否を確認するための画像であり、原画像２０１と空間構図抽出例３０２とを合成した画像である。なお、ユーザによって、修正等を行う場合や他の空間構図抽出を適用する場合又は空間構図抽出例３０２を調整する場合などについても空間構図ユーザＩＦ部１１１を介して受け付けたユーザの指示に従う。
なお、上記の実施の形態では、原画像を「２値化」することによってエッジ抽出を行ったが、この方法に限定されるものでは無く、既存の画像処理方法を用いて、若しくはそれらの組み合わせによってエッジ抽出を行ってもよいことは言うまでも無い。既存の画像処理方法としては、色情報を用いるものや輝度情報を用いるもの、直交変換やウェーブレット変換を用いるもの、各種１次元／多次元フィルタを用いるものなどが有るがこれらに限定されない。
なお、空間構図は、上記のようにエッジ抽出画像から生成する場合に限らず、空間構図を抽出するために、予め用意しておいた空間構図のひな形である「空間構図抽出用テンプレート」を用いて決定してもよい。
図５（ａ）、（ｂ）は、空間構図抽出用テンプレートの一例である。空間構図特定部１１２では、必要に応じて空間構図テンプレート記憶部１１０から、図５（ａ）、（ｂ）に示すような空間構図抽出用テンプレートを選択し、原画像２０１と合成してマッチングを行い、最終的な空間構図を決定することも可能とする。
以下、空間構図抽出用テンプレートを用いて空間構図を決定する実施例について説明を行うが、空間構図抽出用テンプレートを用いずにエッジ情報やオブジェクトの配置情報（どこに何があるかを示す情報）から空間構図を推定してもよい。更に、セグメンテーション（領域分割）や直交変換・ウェーブレット変換、色情報、輝度情報など、既存の画像処理手法を任意に組み合わせて空間構図を決定することもできる。一例を挙げると、領域分割された各領域の境界面が向いている方向に基づいて空間構図を決定してもよい。また、静止画像に付帯するメタ情報（ＥＸＩＦなど任意のタグ情報）を利用してもよい。例えば、「焦点距離と被写体深度から、後述の消失点が画像内にあるかどうかの判断を行う」など、任意のタグ情報を用いて空間構図抽出に用いることが出来る。
また、テンプレートの入力、修正又は変更や空間構図情報そのものの入力、修正又は変更などユーザの欲する全ての入出力を行うインタフェースとして、空間構図ユーザＩＦ部１１１を用いることも出来る。
図５（ａ）、（ｂ）では、各空間構図抽出用テンプレートにおける消失点ＶＰ４１０を示されている。この例では、消失点が１点の場合を示しているが、消失点が複数あってもよい。空間構図抽出用テンプレートは、後述するようにこれらに限られるものではなく、奥行き情報を持つ（若しくは持っているように知覚できる）任意の画像に対応するようなテンプレートである。
さらに、空間構図抽出用テンプレート４０１から空間構図抽出用テンプレート４０２のように、消失点の位置を移動することで、一つのテンプレートから類似する任意のテンプレートを生成することも出来る。また、消失点までに壁が存在する場合も有る。この場合は、正面奥壁４２０のように空間構図抽出用テンプレート内に（奥方向の）壁を設定することも出来る。正面奥壁４２０の奥方向の距離も消失点と同様に移動することが出来ることは言うまでもない。
空間構図抽出用テンプレートの例としては、空間構図抽出テンプレート例４０１や空間構図抽出テンプレート例４０２のような消失点が一つである場合のほか、図１１の空間構図抽出テンプレート例１０１０のように、２つの消失点（消失点１００１、消失点１００２）を持つ場合や、図１２の空間構図抽出用テンプレート１１１０のように、壁が２方向から交わっているような場合（これも２消失点といえる）、図１３の空間構図抽出用テンプレート１２１０のように、縦型になっている場合、図１８（ａ）のカメラ移動例１７００に示すような地平線（水平線）のように、消失点が線状になっている場合、図１８（ｂ）のカメラ移動例１７５０のように、画像範囲外に消失点があるような場合など、製図やＣＡＤ、設計などの分野で一般的に用いられている空間構図を任意に用いることが出来る。
なお、図１８（ｂ）のカメラ移動例１７５０のように、画像範囲外に消失点があるような場合については、図６の拡大型空間構図抽出用テンプレート５２０や拡大型の空間構図抽出用テンプレート５２１のように、空間構図抽出用テンプレートを拡大して用いることが出来る。この場合、図６（ａ）、（ｂ）における画像範囲例５０１、画像範囲例５０２および画像範囲例５０３のように、消失点が画像の外部にあるような画像についても消失点を設定することが可能になる。
なお、空間構図抽出用テンプレートに関しては、消失点の位置など空間構図に関する任意のパラメータを自由に変更することもできる。例えば、図１０の空間構図抽出用テンプレート９１０では、消失点９１０の位置や正面奥壁９０２の壁高９０３、壁幅９０４などを変更することにより、様々な空間構図に対してより柔軟に対応することができる。同様に、図１１の空間構図抽出用テンプレート１０１０では、二つの消失点（消失点１００１と消失点１００２）の位置を任意に動かす例を示している。当然、変更する空間構図のパラメータは、消失点や正面奥壁に限られるものではなく、側壁面、天井面、正面奥壁面など空間構図内の任意の対象について、そのパラメータを変更することができる。更に、これらの面の傾きや空間配置上における位置など、面に関する任意の状態をサブパラメータとして利用することが出来る。また、変更方法も上下左右に限られるものでなく、回転やモーフィング、アフィン変換などによる変形などを行ってもよい。
これらの変換や変更は、画像処理装置１００に用いるハードウェアのスペックやユーザインタフェース上の要求などに応じて、任意に組み合わせることができる。例えば、比較的ロースペックのＣＰＵで実装する場合には、予め用意する空間構図抽出用テンプレートの数を削減し、変換や変更も極力少ないものとして、その中から最も近い空間構図抽出用テンプレートをテンプレートマッチにより選択することが考えられる。また、記憶装置が比較的潤沢にある画像処理装置１００の場合には、予め多くのテンプレートを用意しておき、記憶装置上に保存し、変換や変更に要する時間を抑えるとともに、短時間で精度の良いマッチング成果を上げられるように、用いる空間構図抽出用テンプレートを階層的に分類して構成しておくこともできる（ちょうど高速検索を行うデータベース上のデータ配置と同様にテンプレートを配置することができる）。
なお、図１２の空間構図抽出テンプレート例１１００や空間構図抽出テンプレート例１１１０では、消失点、正面奥壁のほか、稜線（稜線１１０３、稜線１１１３）の位置、稜線の高さ（稜線高１１０４、稜線高１１１４）を変更する例を示している。同様に、図１３では、縦型の空間構図の場合の消失点（消失点１２０２、消失点１２０１）、稜線（稜線１２０３）、稜線幅（稜線幅１２０４）の例を示している。
これらの空間構図に関するパラメータは、空間構図ユーザＩＦ部１１１を介してユーザからの操作（例えば、指定、選択、修正、登録などが挙げられるが、この限りではない）によって設定してもよい。
図２０は、空間構図特定部１１２における、空間構図を特定するまでの処理の流れを示すフローチャートである。
最初に、空間構図特定部１１２は、画像取得部１０１からエッジ抽出画像３０１を取得すると、このエッジ抽出画像３０１から空間構図の要素（例えば、非並行の直線状のオブジェクトなど）を抽出する（Ｓ１００）。
次に、空間構図特定部１１２は、消失点位置の候補を算出する（Ｓ１０２）。
この場合、空間構図特定部１１２は、算出された消失点の候補が点でない場合は（Ｓ１０４：Ｙｅｓ）、地平線を設定する（Ｓ１０６）。さらに、その消失点候補の位置が原画像２０１内にない場合は（Ｓ１０８：Ｎｏ）、消失点を外挿する（Ｓ１１０）。
その後、空間構図特定部１１２は、消失点を中心とした空間構図を構成する要素を含む空間構図テンプレートを作成し（Ｓ１１２）、作成した空間構図テンプレートと空間構図構成要素とのテンプレートマッチング（単に「ＴＭ」ともいう。）を行う（Ｓ１１４）。
以上の処理（Ｓ１０４〜Ｓ１１６）を全ての消失点候補について実施し、最終的に最も適切な空間構図を特定する（Ｓ１１８）。
次に、オブジェクト抽出部１２２及びその周辺の部署の機能について説明する。
オブジェクトの抽出手法としては、既存の画像処理方法や画像認識方法で用いられている手法を任意に用いることが出来る。例えば、人物抽出であればテンプレートマッチやニューラルネット、色情報などを基に抽出することが出来る。また、セグメンテーションや領域分割により、分割されたセグメントや領域をオブジェクトとみなすことも出来る。動画若しくは連続する静止画中の一静止画であれば、前後のフレーム画像からオブジェクトを抜き出すことも出来る。もちろん抽出手法や抽出ターゲットはこれらに限定されるものではなく任意である。
上記のオブジェクト抽出用のテンプレートやパラメータなどはオブジェクトテンプレート記憶部１２０に記憶し、状況に応じて読み出して使うこともできる。また、新たなテンプレートやパラメータなどをオブジェクトテンプレート記憶部１２０に入力することも出来る。
また、オブジェクトユーザＩＦ部１２１は、オブジェクトを抽出する手法（テンプレートマッチやニューラルネット、色情報など）を選択したり、候補として提示されたオブジェクトの候補を選択したり、オブジェクト自体を選択したり、結果の修正やテンプレートの追加、オブジェクト抽出手法の追加など、ユーザの欲する全ての作業を行うためのインタフェースを提供する。
次に、立体情報生成部１３０及びその周辺の部署の機能について説明する。
図７（ａ）は、抽出したオブジェクトを示す図であり、図７（ｂ）は、抽出したオブジェクトと決定された空間構図とを合成した画像の一例である。オブジェクト抽出例６１０では、原画像２０１から主な人物像をオブジェクト６０１、オブジェクト６０２、オブジェクト６０３、オブジェクト６０４、オブジェクト６０５、オブジェクト６０６をオブジェクトとして抽出している。この各オブジェクトと空間構図とを合成したものが奥行き情報合成例６１１である。
立体情報生成部１３０は、上記のように抽出したオブジェクトを空間構図の中に配置することにより、立体情報を生成できる。なお、立体情報については、立体情報生成ユーザＩＦ部１３１を介して受け付けたユーザの指示に従って、入力したり、修正したりすることも出来る。
画像生成部１７０は、上記のように生成された立体情報を有する空間において、新たに仮想的な視点を設定して原画像とは異なる画像を生成する。
図２２は、上記で説明した、立体情報生成部１３０における処理の流れを示すフローチャートである。
最初に、立体情報生成部１３０は、空間構図情報から空間構図における平面に関するデータ（以下「構図平面データ」という。）を生成する（Ｓ３００）。次に、立体情報生成部１３０は、抽出されたオブジェクト（「Ｏｂｊ」ともいう。）と構図平面との接点を算出し（Ｓ３０２）、オブジェクトと地平面との接点がなく（Ｓ３０４：Ｎｏ）、さらに壁面又は天面との接点もない場合は（Ｓ３０６：Ｎｏ）、オブジェクトは最前面にあるものとして空間における位置を設定する（Ｓ３０８）。これ以外の場合は、接点座標を算出し（Ｓ３１０）、オブジェクトの空間における位置を算出する（Ｓ３１２）。
以上の処理を全てのオブジェクトに実施した場合は（Ｓ３１４：Ｙｅｓ）、オブジェクト以外の画像情報を空間構図平面にマッピングする（Ｓ３１６）。
さらに、立体情報生成部１３０は、情報補正部１４１においてオブジェクトに関する修正内容を盛り込み（Ｓ３１８〜３２４）、立体情報の生成を完了する（Ｓ３２６）。
ここで、図８を参照しながら、仮想視点位置の設定方法について説明する。まず、空間中の視点位置として仮想視点位置７０１を考え、視点方向として仮想視点方向７０２を設定する。この仮想視点位置７０１と仮想視点方向７０２を図９の奥行き情報合成例８１０（奥行き情報合成例６１１と同一）について考えると、正面からの視点から見た奥行き情報合成例８１０に対して、仮想視点位置７０１の視点と仮想視点方向７０２のような視点方向を設定した場合（即ち、少し進んで横方向から見た場合）、視点変更画像生成例８１１のような画像を生成することができる。
同様に、図１５では、ある立体情報を有する画像に対して、視点位置と方向を想定した画像例を示す。画像例１４１２は、画像位置例１４０２の時の画像例である。また、画像例１４１１は、画像位置例１４０１の時の画像例である。画像位置例１４０１については、視点位置と視点対象を視点位置１４０３と視点対象１４０４で模式的に表現している。
ここでは、図１５を、ある立体情報を有する画像から仮想視点を設定して画像を生成した例として用いた。なお、立体情報（空間情報）の取得に用いた静止画像を画像例１４１２とし、この画像例１４１２から抽出した立体情報に対して、視点位置１４０３、視点対象１４０４を設定した場合の画像が画像例１４１２であるということもいえる。
同様に、図１６では、画像位置例１５０１と画像位置例１５０２に対応した画像例としてそれぞれ画像例１５１１と画像例１５１２を示している。このとき、それぞれの画像例の一部が重複している場合がある。例えば、画像共通部分１５２１と画像共通部分１５２１がそれにあたる。
なお、前述のように、新たな画像を生成する際のカメラワーク・エフェクトとして、立体情報の内外を視点や焦点、ズーム、パン等をしながら、若しくはトランジションやエフェクトをかけながら画像を生成できることはもちろんである。
更に、単に立体空間内を仮想的なカメラで撮影したような動画若しくは静止画を生成するだけではなく、上記の画像共通部分１５２１と画像共通部分１５２１のように、静止画として切出した時に共通する部分を対応させながら、動画若しくは静止画を（若しくは動画静止画混在状況下で）カメラワーク・エフェクトで繋いでいく処理を行うこともできる。ここでは、従来のカメラワークでは考えられなかった、モーフィングやアフィン変換などを用いて、共通する対応点や対応領域を繋いでいくことも可能となる。図１７は、共通部分（即ち、太枠で示した部分）を持つ画像同士をモーフィングやトランジション、画像変換（アフィン変換など）、エフェクト、カメラアングル変更、カメラパラメータ変更、などを用いて遷移させて表示する例を示している。共通部分の特定は立体情報から容易に可能であり、逆にいえば共通部分を持つようにカメラワークを設定することも可能である。
図２１は、上記で説明した、視点制御部１８１における処理の流れを示すフローチャートである。
最初に、視点制御部１８１は、カメラワークの開始点および終了点を設定する（Ｓ２００）。この場合、カメラワークの開始点および終了点は、概ね仮想空間の手前付近に開始点を設定し、開始点からより消失点に近い地点に終了点を設定する。この開始点および終了点の設定には、所定のデータベース等を利用してもよい。
次に、視点制御部１８１は、カメラの移動先や移動方向を決定し（Ｓ２０２）、移動方法を決定する（Ｓ２０４）。例えば、手前から消失点の方向に、各オブジェクトの近傍を通りながら移動する。さらに、単に直線状に移動するのみでなく、らせん状に移動したり、移動途中に速度を変更したりしてもよい。
さらに、視点制御部１８１は、実際に所定の距離についてカメラを移動する（Ｓ２０６〜２２４）。この間、もし、カメラパンなどのカメラエフェクトを実行する場合は（Ｓ２０８：Ｙｅｓ）、所定のエフェクトサブルーチンを実行する（Ｓ２１２〜Ｓ２１８）。
また、視点制御部１８１は、カメラがオブジェクトや空間構図自体と接触しそうな場合は（Ｓ２２０：接触する）、改めて次の移動先を設定して（Ｓ２２８）、上記の処理を繰り返す（Ｓ２０２〜Ｓ２２８）。
なお、視点制御部１８１は、カメラが終了点まで移動したら、カメラワークを終了する。
前述の繰り返しになるが、これらの画像生成に関するカメラワークは、視点変更テンプレート記憶部１８０のように、予め決められた視点変更テンプレートをデータベースに用意して利用することも出来る。また、視点変更テンプレート記憶部１８０に新しい視点変更テンプレートを追加し、若しくは視点変更テンプレートを編集して利用してもよい。また、視点制御ユーザＩＦ部１８２を介して、ユーザの指示によって視点位置を決定したり、視点変更テンプレートを作成・編集・追加・削除してもよい。
また、これらの画像生成に関するエフェクトは、エフェクト／スタイルテンプレート記憶部１６０のように、予め決められたエフェクト／スタイルテンプレートをデータベースに用意して利用することも出来る。また、エフェクト／スタイルテンプレート記憶部１６０に新しいエフェクト／スタイルテンプレートを追加し、若しくはエフェクト／スタイルテンプレートを編集して利用してもよい。また、エフェクトユーザＩＦ部１６２を介して、ユーザの指示によって視点位置を決定したり、エフェクト／スタイルテンプレートを作成・編集・追加・削除してもよい。
なお、カメラワークを設定する際に、オブジェクトの位置を考慮し、オブジェクトに沿って若しくはオブジェクトにクローズアップするように、若しくはオブジェクトに回り込むように、などオブジェクトに依存した任意のカメラワークを設定することもできる。オブジェクトに依存した画像作成ができることは、カメラワークだけではなく、エフェクトについても同様であることは言うまでも無い。
同様に、カメラワークを設定する際に、空間構図を考慮することもできる。エフェクトも同様である。先に述べた共通部分を考慮した処理は、空間構図とオブジェクトとの両方を利用したカメラワーク若しくはエフェクトの一例であり、生成される画像が動画であっても静止画であっても、空間構図とオブジェクトを用いた既存任意のカメラワークやエフェクト、カメラアングル、カメラパラメータ、画像変換、トランジションなどを利用できる。
図１８(ａ)、（ｂ）は、カメラワークの一例を示す図である。図１８（ａ）のカメラワークの軌跡を示したカメラ移動例１７００では、開始視点位置１７０１から仮想的なカメラの撮像が開始され、カメラ移動線１７０８に沿ってカメラが移動した場合を表している。視点位置１７０２から視点位置１７０３、視点位置１７０４、視点位置１７０５、視点位置１７０６を順に通過して終了視点位置１７０７においてカメラワークが終了している。開始視点位置１７０１では、開始視点領域１７１０が撮影されており、終了視点位置１７０７では終了視点領域１７１１が撮影されている。この移動の間、カメラの移動を地上に相当する平面に投影したものがカメラ移動地上投影線１７０９である。
同様に、図１８（ｂ）に示すカメラ移動例１７５０の場合は、開始視点位置１７５１から終了視点位置１７５２までカメラが移動し、それぞれ開始視点領域１７６０、終了視点領域１７６１を撮像している。この間のカメラの移動はカメラ移動線１７５３で模式的に示している。また、カメラ移動線１７５３の地上及び壁面に投影した軌跡は、それぞれカメラ移動地上投影線１７５４およびカメラ移動壁面投影線１７５５で示している。
もちろん、上記カメラ移動線１７０８及びカメラ移動線１７５３上を移動する任意のタイミングで画像を生成することができる（動画でも静止画でも両者の混在でも良いことは言うまでも無い）。
また、カメラワーク設定用画像生成部１９０は、ユーザがカメラワークを決める際の参考になるように、現在のカメラ位置から見た時の画像を生成してユーザに提示することができるが、その例を図１８のカメラ画像生成例１８１０に示している。図１９において、現在カメラ位置１８０３から撮影範囲１８０５を撮影した場合の画像を現在カメラ画像１８０４に表示している。
視点制御ユーザＩＦ部１８２を介して、ユーザには、カメラ移動例１８００のようカメラを移動することによって模式的な立体情報や、その中のオブジェクトなどを提示することもできる。
さらに、画像処理装置１００は、生成された複数の立体情報を合成することもできる。図１４（ａ）、（ｂ）は、複数の立体情報を合成する場合の一例を示す図である。図１４（ａ）には、現在の画像データ１３０１内に現在画像データオブジェクトＡ１３１１と現在画像データオブジェクトＢ１３１２が写っており、過去の画像データ１３０２内に過去画像データオブジェクトＡ１３１３と過去画像データオブジェクトＢ１３１４が写っている場合を示している。この場合、同一立体空間内に二つの画像データを合成することもできる。この場合の合成例が図１４（ｂ）に示す合成立体情報例１３２０である。この合成の際、複数の原画像間の共通要素から合成してもよい。また、全く異なる原画像データを合成してもよく、空間構図を必要に応じて変更してもよい。
なお、本実施の形態における「エフェクト」とは、画像（静止画像および動画像）に対する効果全般を指すものとする。効果の例として、一般的なノンリニアな画像処理方法や、カメラワークやカメラアングル、カメラパラメータの変化によって可能な撮影時に付与する（付与できる）ものなどを挙げることができる。また、一般的なデジタル画像処理ソフト等で可能な処理も含まれる。更に、画像シーンに合わせて音楽や擬音を配置することも効果の範疇に入る。また、カメラアングルなど、エフェクトの定義内に含まれる効果を表す他の用語と「エフェクト」を併記している場合は、併記した効果を強調しているものであり、エフェクトの範疇を狭めるものではないことを明記する。
なお、静止画像からのオブジェクト抽出であるため、抽出されたオブジェクトについての厚み情報が欠ける場合がありえる。この際、奥行き情報に基づいて適当な値を厚みとして設定することも可能である（奥行き情報から相対的なオブジェクトのサイズを算出し、サイズから厚みを適当に設定する、など任意の手法を取ってよい。）。
なお、予めテンプレートなどを用意しておき、オブジェクトが何であるかを認識して、その認識結果を厚みの設定に用いてもよい。例えばリンゴであると認識された場合には、リンゴ相応の大きさに厚みを設定し、車であると認識された場合には、車相応の大きさに厚みを設定してもよい。
なお、消失点をオブジェクトに設定してもよい。実際には無限遠に無いオブジェクトであっても無限遠に有るものとして処理することもできる。
なお、オブジェクトの抽出にあたり、オブジェクトをマスクするマスク画像を生成してもよい。
なお、抽出されたオブジェクトの立体情報へのマッピングに際して、奥行き情報内の適当な位置に再配置してもよい。必ずしも原画像データに忠実な位置にマッピングする必要は無く、エフェクトを施しやすい位置やデータ処理がしやすい位置など任意の位置に再配置してもよい。
なお、オブジェクトを抽出した際、若しくは立体情報にマッピングした際、若しくは立体譲歩宇宙のオブジェクトについて処理を行う際、オブジェクトの裏側に相当する情報を適当に付与してもよい。原画像からはオブジェクトの裏側の情報は得られないことがありえるが、その際に、表側の情報を基に裏側の情報を設定してもよい（たとえば、オブジェクトの表側に相当する画像情報（立体情報で言えばテクスチャやポリゴンなどに相当する情報）をオブジェクトの裏側にもコピーするなど）。もちろん、他のオブジェクトや、他の空間情報などを参考に裏側の情報を設定してもよい。さらに、影をつける、黒く表示する、裏側から見るとオブジェクトが存在しないように見える、など裏側に与える情報そのものについては任意のものを与えることができる。なお、オブジェクトと背景をなめらかに見せるため、任意のスムージング処理を行ってもよい（境界をぼかすなど）。
なお、３次元的に空間情報として配置されたオブジェクトの位置に基づきカメラパラメータを変更してもよい。例えば、画像生成時にオブジェクトの位置や空間構図からカメラ位置／深度によりピント情報（ピンボケ情報）を生成し、遠近感のある画像を生成してもよい。この場合、オブジェクトのみぼかしても良く、またオブジェクト及びその周囲をもぼかしてもよい。
なお、上記実施の形態１に係る画像データ管理装置１００では、空間構図ユーザＩＦ部１１１、オブジェクトユーザＩＦ部１２１、立体情報ユーザＩＦ部１３１、情報補正ユーザＩＦ部１４０、エフェクトユーザＩＦ部１６２および視点制御ユーザＩＦ部１８２として分離させた機能構成としたが、上記の各ＩＦ部の機能を備える一のＩＦ部を有するように構成してもよい。
本発明は、マイクロコンピュータ、デジタルカメラ又はカメラ付携帯電話機などの静止画から立体画像を生成する画像処理装置などに利用が可能である。
図1は、従来技術における静止画像から立体情報を生成する処理内容を示すフローチャートである。 図２は、本実施の形態に係る画像処理装置の機能構成を示すブロック図である。 図３（ａ）は、本実施の形態に係る画像取得部に入力される原画像の一例である。図３（ｂ）は、上記図２（ａ）の原画像を２値化した画像例である。原画像と２値化例を示す図である。 図４（ａ）は、本実施の形態に係るエッジ抽出例である。図４（ｂ）は、本実施の形態に係る空間構図の抽出例である。図４（ｃ）は、本実施の形態に係る空間構図確認画面の一例を示す図である。 図５（ａ）、（ｂ）は、実施の形態１における、空間構図抽出用テンプレートの一例を示す図である。 図６（ａ）、（ｂ）は、実施の形態１における拡大型空間構図抽出用テンプレートの一例を示す図である。 図７（ａ）は、実施の形態１におけるオブジェクトの抽出例を示す図である。図７（ｂ）は、実施の形態１における抽出したオブジェクトと決定された空間構図とを合成した画像の一例である。 図８は、実施の形態１における仮想視点の設定例を示す図である。 図９（ａ）、（ｂ）は、実施の形態１における視点変更画像の生成例を示す図である。 図１０は、実施の形態１における空間構図抽出用テンプレートの一例（消失点１つの場合）である。 図１１は、実施の形態１における空間構図抽出用テンプレートの一例（消失点２つの場合）である。 図１２（ａ）、（ｂ）は、実施の形態１における空間構図抽出用テンプレートの一例（稜線を含む場合）である。 図１３は、実施の形態１における空間構図抽出用テンプレートの一例（稜線を含む縦型の場合）である。 図１４（ａ）、（ｂ）は、実施の形態１における合成立体情報の生成例を示す図である。 図１５は、実施の形態１における視点位置の変更例を示す図である。 図１６（ａ）は、実施の形態１における視点位置変更例である。図１６（ｂ）は、実施の形態１における画像共通部分例を示す図である。図１６（ｃ）は、実施の形態１における画像共通部分例を示す図である。 図１７は、実施の形態１における画像表示の遷移例を示す図である。 図１８（ａ）、（ｂ）は、実施の形態１におけるカメラ移動例を示す図である。 図１９は、実施の形態１におけるカメラ移動例を示す図である。 図２０は、実施の形態１における空間構図特定部における処理の流れを示すフローチャートである。 図２１は、実施の形態１における視点制御部における処理の流れを示すフローチャートである。 図２２は、実施の形態１における立体情報生成部における処理の流れを示すフローチャートである。
符号の説明
１００ 画像処理装置
１０１ 画像取得部
１１０ 空間構図テンプレート記憶部
１１１ 空間構図ユーザＩＦ部
１１２ 空間構図特定部
１２０ オブジェクトテンプレート記憶部
１２１ オブジェクトユーザＩＦ部
１２２ オブジェクト抽出部
１３０ 立体情報生成部
１３１ 立体情報ユーザＩＦ部
１４０ 情報補正ユーザＩＦ部
１４１ 情報補正部
１５０ 立体情報記憶部
１５１ 立体情報比較部
１６０ スタイル／エフェクトテンプレート記憶部
１６１ エフェクト制御部
１６２ エフェクトユーザＩＦ部
１７０ 画像生成部
１７１ 画像表示部
１８０ 視点変更テンプレート記憶部
１８１ 視点制御部
１８２ 視点制御ユーザＩＦ部
１９０ カメラワーク設定用画像生成部
２０１ 原画像
２０２ ２値化画像
３０１ エッジ抽出画像
３０２ 空間構図抽出例
３０３ 空間構図確認画像
４０１ 空間構図抽出テンプレート例
４０２ 空間構図抽出テンプレート例
４１０ 消失点
４２０ 正面奥壁
５０１ 画像範囲例
５０２ 画像範囲例
５０３ 画像範囲例
５１０ 消失点
５１１ 消失点
５２０ 拡大型空間構図抽出テンプレート例
５２１ 拡大型空間構図抽出テンプレート例
６１０ オブジェクト抽出例
６１１ 奥行き情報合成例
７０１ 仮想視点位置
７０２ 仮想視点方向
８１０ 奥行き情報合成例
８１１ 視点変更画像生成例
９０１ 消失点
９０２ 正面奥壁
９０３ 壁高
９０４ 壁幅
９１０ 空間構図抽出用テンプレート
１００１ 消失点
１００２ 消失点
１０１０ 空間構図抽出用テンプレート
１１００ 空間構図抽出用テンプレート
１１０１ 消失点
１１０２ 消失点
１１０３ 稜線
１１０４ 稜線高
１１１０ 空間構図抽出用テンプレート
１２１０ 空間構図抽出用テンプレート
１３０１ 現在の画像データ
１３０２ 過去の画像データ
１３１１ 現在画像データオブジェクトＡ
１３１２ 現在画像データオブジェクトＢ
１３１３ 過去画像データオブジェクトＡ
１３１４ 過去画像データオブジェクトＢ
１３２０ 合成立体情報例
１４０１ 画像位置例
１４０２ 画像位置例
１４０３ 視点位置
１４０４ 視点対象
１４１１ 画像例
１４１２ 画像例
１５０１ 画像位置例
１５０２ 画像位置例
１５１１ 画像例
１５１２ 画像例
１５２１ 画像共通部分例
１５２２ 画像共通部分例
１６００ 画像表示遷移例
１７００ カメラ移動例
１７０１ 開始視点位置
１７０２ 視点位置
１７０３ 視点位置
１７０４ 視点位置
１７０５ 視点位置
１７０６ 視点位置
１７０７ 終了視点位置
１７０８ カメラ移動線
１７０９ カメラ移動地上投影線
１７１０ 開始視点領域
１７１１ 終了視点領域
１７５０ カメラ移動例
１７５１ 開始視点位置
１７５２ 終了視点位置
１７５３ カメラ移動線
１７５４ カメラ移動地上投影線
１７５５ カメラ移動壁面投影線
１７６０ 開始視点領域
１７６１ 終了視点領域
１８００ カメラ移動例
１８０１ 開始視点位置
１８０２ 終了視点位置

Claims (21)

  1. 静止画像から立体情報を生成する画像処理装置であって、
    静止画像を取得する画像取得手段と、
    取得された前記静止画像の中からオブジェクトを抽出するオブジェクト抽出手段と、
    取得された前記静止画像における特徴を利用して、消失点を含む仮想的な空間を表す空間構図を特定する空間構図特定手段と、
    特定された前記空間構図に、抽出された前記オブジェクトを関連づけることによって前記仮想的な空間におけるオブジェクトの配置を決定し、決定された当該オブジェクトの配置から前記オブジェクトに関する立体情報を生成する立体情報生成手段と
    を備えることを特徴とする画像処理装置。
  2. 前記画像処理装置は、さらに、
    前記仮想的な空間内にカメラを想定し、当該カメラの位置を移動させる視点制御手段と、
    前記カメラによって、任意の位置から撮影した場合の画像を生成する画像生成手段と、
    生成された前記画像を表示する画像表示手段と
    を備えることを特徴とする請求項１記載の画像処理装置。
  3. 前記視点制御手段は、
    前記カメラが、生成された前記立体情報が存在する範囲を移動するように制御する
    ことを特徴とする請求項２記載の画像処理装置。
  4. 前記視点制御手段は、さらに、
    前記カメラが、前記オブジェクトが存在しない空間を移動するように制御する
    ことを特徴とする請求項２記載の画像処理装置。
  5. 前記視点制御手段は、さらに、
    前記カメラが、生成された前記立体情報が示す前記オブジェクトが存在する領域を撮影するように制御する
    ことを特徴とする請求項２記載の画像処理装置。
  6. 前記視点制御手段は、さらに、
    前記カメラが、前記消失点の方向へ移動するように制御する
    ことを特徴とする請求項２記載の画像処理装置。
  7. 前記視点制御手段は、さらに、
    前記カメラが、生成された前記立体情報が示す前記オブジェクトの方向へ進むように制御する
    ことを特徴とする請求項２記載の画像処理装置。
  8. 前記オブジェクト抽出手段は、
    抽出された前記オブジェクトの中から２以上の非並行の線状のオブジェクトを特定し、
    前記空間構図特定手段は、さらに、
    特定された前記２以上の線状のオブジェクトを延長することによって、１以上の消失点の位置を推定し、
    特定された前記２以上の線状のオブジェクトと前記推定された消失点の位置とから前記空間構図を特定する
    ことを特徴とする請求項１記載の画像処理装置。
  9. 前記空間構図特定手段は、さらに、
    前記静止画像の外部においても前記消失点を推定する
    ことを特徴とする請求項８記載の画像処理装置。
  10. 前記画像処理装置は、さらに、
    ユーザからの指示を受け付けるユーザインタフェース手段を備え、
    前記空間構図特定手段は、さらに、
    受け付けられたユーザからの指示に従って、特定された前記空間構図を修正する
    ことを特徴とする請求項１記載の画像処理装置。
  11. 前記画像処理装置は、さらに、
    空間構図のひな形となる空間構図テンプレートを記憶する空間構図テンプレート記憶手段を備え、
    前記空間構図特定手段は、
    取得された前記静止画像における特徴を利用して前記空間構図テンプレート記憶手段から一の空間構図テンプレートを選択し、選択された当該空間構図テンプレートを用いて前記空間構図を特定する
    ことを特徴とする請求項１記載の画像処理装置。
  12. 前記立体情報生成手段は、さらに、
    前記オブジェクトが前記空間構図における地平面に接する接地点を算出し、前記オブジェクトが前記接地点の位置に存在する場合の前記立体情報を生成する
    ことを特徴とする請求項１記載の画像処理装置。
  13. 前記立体情報生成出段は、さらに、
    前記オブジェクトの種類によって、前記オブジェクトが前記空間構図と接する面を変更する
    ことを特徴とする請求項１２記載の画像処理装置。
  14. 前記立体情報生成出段は、さらに、
    前記オブジェクトが前記空間構図の地平面と接する接地点が算出できなかった場合に、前記オブジェクト若しくは前記地平面の少なくとも一つを、内挿若しくは外挿若しくは補間することで、地平面と接する仮想接地点を算出し、前記オブジェクトが前記仮想接地点の位置に存在する場合の前記立体情報を生成する
    ことを特徴とする請求項１２記載の画像処理装置。
  15. 前記立体情報生成手段は、さらに、
    前記オブジェクトに所定の厚みを付与して空間に配置し、前記立体情報を生成する
    ことを特徴とする請求項１記載の画像処理装置。
  16. 前記立体情報生成手段は、さらに、
    前記オブジェクトの周囲をぼかす又は尖鋭にする画像処理を付加して、前記立体情報を生成する
    ことを特徴とする請求項１記載の画像処理装置。
  17. 前記立体情報生成手段は、さらに、
    前記オブジェクトの影に隠れていることにより欠如している背景のデータ又は他のオブジェクトのデータの少なくとも一方を、隠れていないデータを用いて構成する
    ことを特徴とする請求項１記載の画像処理装置。
  18. 前記立体情報生成手段は、さらに、
    前記オブジェクトの背面や側面を表すデータを、前記オブジェクトの前面のデータから構成する
    ことを特徴とする請求項１７記載の画像処理装置。
  19. 前記立体情報生成手段は、
    前記オブジェクトの種類に基づいて、前記オブジェクトに関する処理を動的に変化させる
    ことを特徴とする請求項１８記載の画像処理装置。
  20. 静止画像から立体情報を生成する画像処理方法であって、
    静止画像を取得する画像取得ステップと、
    取得された前記静止画像の中からオブジェクトを抽出するオブジェクト抽出ステップと、
    取得された前記静止画像における特徴を利用して、消失点を含む仮想的な空間を表す空間構図を特定する空間構図特定ステップと、
    特定された前記空間構図に、抽出された前記オブジェクトを関連づけることによって前記仮想的な空間におけるオブジェクトの配置を決定し、決定された当該オブジェクトの配置から前記オブジェクトに関する立体情報を生成する立体情報生成ステップと
    を含むことを特徴とする画像処理方法。
  21. 静止画像から立体情報を生成する画像処理装置に使用される、コンピュータに実行させるためのプログラムであって、
    静止画像を取得する画像取得ステップと、
    取得された前記静止画像の中からオブジェクトを抽出するオブジェクト抽出ステップと、
    取得された前記静止画像における特徴を利用して、消失点を含む仮想的な空間を表す空間構図を特定する空間構図特定ステップと、
    特定された前記空間構図に、抽出された前記オブジェクトを関連づけることによって前記仮想的な空間におけるオブジェクトの配置を決定し、決定された当該オブジェクトの配置から前記オブジェクトに関する立体情報を生成する立体情報生成ステップと
    を含むプログラム。
JP2006519641A 2004-07-23 2005-07-22 画像処理装置および画像処理方法 Active JP4642757B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004215233 2004-07-23
JP2004215233 2004-07-23
PCT/JP2005/013505 WO2006009257A1 (ja) 2004-07-23 2005-07-22 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2006009257A1 true JPWO2006009257A1 (ja) 2008-05-01
JP4642757B2 JP4642757B2 (ja) 2011-03-02

Family

ID=35785364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006519641A Active JP4642757B2 (ja) 2004-07-23 2005-07-22 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US20080018668A1 (ja)
JP (1) JP4642757B2 (ja)
CN (1) CN101019151A (ja)
WO (1) WO2006009257A1 (ja)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US8117137B2 (en) 2007-04-19 2012-02-14 Microsoft Corporation Field-programmable gate array based accelerator system
US20080310707A1 (en) * 2007-06-15 2008-12-18 Microsoft Corporation Virtual reality enhancement using real world data
JP2009015583A (ja) * 2007-07-04 2009-01-22 Nagasaki Univ 画像処理装置及び画像処理方法
US8264505B2 (en) 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
JP2011512717A (ja) * 2008-01-24 2011-04-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 穴充填のための方法及び画像処理デバイス
KR20090092153A (ko) * 2008-02-26 2009-08-31 삼성전자주식회사 이미지 처리 장치 및 방법
US8131659B2 (en) 2008-09-25 2012-03-06 Microsoft Corporation Field-programmable gate array based accelerator system
US8301638B2 (en) 2008-09-25 2012-10-30 Microsoft Corporation Automated feature selection based on rankboost for ranking
US8279325B2 (en) * 2008-11-25 2012-10-02 Lytro, Inc. System and method for acquiring, editing, generating and outputting video data
US8289440B2 (en) 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
JP5257157B2 (ja) * 2009-03-11 2013-08-07 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム
US8908058B2 (en) * 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
US8310523B2 (en) * 2009-08-27 2012-11-13 Sony Corporation Plug-in to enable CAD software not having greater than 180 degree capability to present image from camera of more than 180 degrees
US8311364B2 (en) * 2009-09-25 2012-11-13 Eastman Kodak Company Estimating aesthetic quality of digital images
US8611694B2 (en) 2009-12-16 2013-12-17 Hewlett-Packard Development Company, L.P. Estimating 3D structure from a 2D image
JP5424926B2 (ja) * 2010-02-15 2014-02-26 パナソニック株式会社 映像処理装置、映像処理方法
US8749620B1 (en) 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
US8666978B2 (en) * 2010-09-16 2014-03-04 Alcatel Lucent Method and apparatus for managing content tagging and tagged content
US8655881B2 (en) 2010-09-16 2014-02-18 Alcatel Lucent Method and apparatus for automatically tagging content
US8533192B2 (en) 2010-09-16 2013-09-10 Alcatel Lucent Content capture device and methods for automatically tagging content
US8768102B1 (en) 2011-02-09 2014-07-01 Lytro, Inc. Downsampling light field images
US9184199B2 (en) 2011-08-01 2015-11-10 Lytro, Inc. Optical assembly including plenoptic microlens array
JP2013037510A (ja) * 2011-08-08 2013-02-21 Juki Corp 画像処理装置
WO2013031155A1 (ja) * 2011-08-30 2013-03-07 パナソニック株式会社 撮像装置
JP5269972B2 (ja) * 2011-11-29 2013-08-21 株式会社東芝 電子機器及び三次元モデル生成支援方法
CN103105234B (zh) * 2012-01-12 2016-05-11 杭州美盛红外光电技术有限公司 热像装置和热像规范拍摄方法
EP2803964A4 (en) * 2012-01-12 2016-01-27 Mission Infrared Electro Optics Technology Co Ltd THERMAL IMAGING APPARATUS AND METHOD FOR PHOTOGRAPHING THERMAL IMAGES
US8948545B2 (en) 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US8831377B2 (en) 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
US9330466B2 (en) * 2012-03-19 2016-05-03 Adobe Systems Incorporated Methods and apparatus for 3D camera positioning using a 2D vanishing point grid
US9754357B2 (en) * 2012-03-23 2017-09-05 Panasonic Intellectual Property Corporation Of America Image processing device, stereoscoopic device, integrated circuit, and program for determining depth of object in real space generating histogram from image obtained by filming real space and performing smoothing of histogram
CN102752616A (zh) * 2012-06-20 2012-10-24 四川长虹电器股份有限公司 双目立体视频转换多目立体视频的方法
US9607424B2 (en) 2012-06-26 2017-03-28 Lytro, Inc. Depth-assigned content for depth-enhanced pictures
US10129524B2 (en) 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US8997021B2 (en) 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US9001226B1 (en) 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
US8983176B2 (en) * 2013-01-02 2015-03-17 International Business Machines Corporation Image selection and masking using imported depth information
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
JP6357305B2 (ja) * 2013-08-21 2018-07-11 株式会社三共 遊技機
JP6027705B2 (ja) * 2014-03-20 2016-11-16 富士フイルム株式会社 画像処理装置，方法，およびそのプログラム
US9712820B2 (en) 2014-04-24 2017-07-18 Lytro, Inc. Predictive light field compression
US9414087B2 (en) 2014-04-24 2016-08-09 Lytro, Inc. Compression of light field images
US9336432B2 (en) * 2014-06-05 2016-05-10 Adobe Systems Incorporated Adaptation of a vector drawing based on a modified perspective
US8988317B1 (en) 2014-06-12 2015-03-24 Lytro, Inc. Depth determination for light field images
WO2016033590A1 (en) 2014-08-31 2016-03-03 Berestka John Systems and methods for analyzing the eye
US9635332B2 (en) 2014-09-08 2017-04-25 Lytro, Inc. Saturated pixel recovery in light-field images
US9948913B2 (en) 2014-12-24 2018-04-17 Samsung Electronics Co., Ltd. Image processing method and apparatus for processing an image pair
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
JP6256509B2 (ja) * 2016-03-30 2018-01-10 マツダ株式会社 電子ミラー制御装置
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
JP6742869B2 (ja) * 2016-09-15 2020-08-19 キヤノン株式会社 画像処理装置および画像処理方法
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
JP6980496B2 (ja) * 2017-11-21 2021-12-15 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN108171649B (zh) * 2017-12-08 2021-08-17 广东工业大学 一种保持焦点信息的图像风格化方法
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
CN110110718B (zh) * 2019-03-20 2022-11-22 安徽名德智能科技有限公司 一种人工智能图像处理装置
JP2022069007A (ja) * 2020-10-23 2022-05-11 株式会社アフェクション 情報処理システム、情報処理方法および情報処理プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001111804A (ja) * 1999-10-04 2001-04-20 Nippon Columbia Co Ltd 画像変換装置及び画像変換方法
JP2002335524A (ja) * 1999-09-20 2002-11-22 Matsushita Electric Ind Co Ltd 運転支援装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625408A (en) * 1993-06-24 1997-04-29 Canon Kabushiki Kaisha Three-dimensional image recording/reconstructing method and apparatus therefor
EP0637815B1 (en) * 1993-08-04 2006-04-05 Canon Kabushiki Kaisha Image processing method and image processing apparatus
US5687249A (en) * 1993-09-06 1997-11-11 Nippon Telephone And Telegraph Method and apparatus for extracting features of moving objects
US6839081B1 (en) * 1994-09-09 2005-01-04 Canon Kabushiki Kaisha Virtual image sensing and generating method and apparatus
US6640004B2 (en) * 1995-07-28 2003-10-28 Canon Kabushiki Kaisha Image sensing and image processing apparatuses
US6057847A (en) * 1996-12-20 2000-05-02 Jenkins; Barry System and method of image generation and encoding using primitive reprojection
JPH10271535A (ja) * 1997-03-19 1998-10-09 Hitachi Ltd 画像変換方法及び画像変換装置
US6236402B1 (en) * 1998-06-30 2001-05-22 Lucent Technologies, Inc. Display techniques for three-dimensional virtual reality
US6229548B1 (en) * 1998-06-30 2001-05-08 Lucent Technologies, Inc. Distorting a two-dimensional image to represent a realistic three-dimensional virtual reality
JP3720587B2 (ja) * 1998-07-13 2005-11-30 大日本印刷株式会社 画像合成装置
US6417850B1 (en) * 1999-01-27 2002-07-09 Compaq Information Technologies Group, L.P. Depth painting for 3-D rendering applications
KR100443552B1 (ko) * 2002-11-18 2004-08-09 한국전자통신연구원 가상 현실 구현 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002335524A (ja) * 1999-09-20 2002-11-22 Matsushita Electric Ind Co Ltd 運転支援装置
JP2001111804A (ja) * 1999-10-04 2001-04-20 Nippon Columbia Co Ltd 画像変換装置及び画像変換方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSND200501283008, "１枚の静止画から立体的な動画映像を生み出す魔法のソフト Ｍｏｔｉｏｎ Ｉｍｐａｃｔで遊ぼう！", ＰａｓｏＶｉ Ｎｏ．１０, JP, 株式会社玄光社 *
JPN6010046721, "１枚の静止画から立体的な動画映像を生み出す魔法のソフト Ｍｏｔｉｏｎ Ｉｍｐａｃｔで遊ぼう！", ＰａｓｏＶｉ Ｎｏ．１０, JP, 株式会社玄光社 *

Also Published As

Publication number Publication date
US20080018668A1 (en) 2008-01-24
JP4642757B2 (ja) 2011-03-02
WO2006009257A1 (ja) 2006-01-26
CN101019151A (zh) 2007-08-15

Similar Documents

Publication Publication Date Title
JP4642757B2 (ja) 画像処理装置および画像処理方法
US9940756B2 (en) Silhouette-based object and texture alignment, systems and methods
US10777002B2 (en) 3D model generating system, 3D model generating method, and program
CN110738595B (zh) 图片处理方法、装置和设备及计算机存储介质
JP6196416B1 (ja) ３次元モデル生成システム、３次元モデル生成方法、及びプログラム
CN107484428B (zh) 用于显示对象的方法
JP4770960B2 (ja) 画像検索システム及び画像検索方法
US20130207966A1 (en) Apparatus and method of producing 3d model
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP5299173B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
US20230419438A1 (en) Extraction of standardized images from a single-view or multi-view capture
JP6096634B2 (ja) 仮想現実を用いた３次元地図表示システム
JP2010244398A (ja) 画像処理装置および画像処理プログラム
CN110197529B (zh) 室内空间三维重建方法
JP6272071B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR102464271B1 (ko) 포즈 획득 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN111724470A (zh) 一种处理方法及电子设备
Bui et al. Integrating videos with LIDAR scans for virtual reality
KR20120118462A (ko) 이미지 기반의 비주얼 헐에서의 오목 표면 모델링
CN115309113A (zh) 一种零件装配的引导方法及相关设备
CN113810626A (zh) 基于三维地图的视频融合方法、装置、设备及存储介质
CN114581611B (zh) 虚拟场景构建方法以及装置
Tsapko et al. Three-dimensional room visualization on the basis of two-dimensional pictures
CN113554577A (zh) 三维图像合成方法、设备、存储介质及装置
KR20200029120A (ko) 듀얼 카메라를 이용한 배경 제거 사진 촬영 방법 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101201

R150 Certificate of patent or registration of utility model

Ref document number: 4642757

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350