JP5197683B2 - 奥行き信号生成装置及び方法 - Google Patents
奥行き信号生成装置及び方法 Download PDFInfo
- Publication number
- JP5197683B2 JP5197683B2 JP2010149721A JP2010149721A JP5197683B2 JP 5197683 B2 JP5197683 B2 JP 5197683B2 JP 2010149721 A JP2010149721 A JP 2010149721A JP 2010149721 A JP2010149721 A JP 2010149721A JP 5197683 B2 JP5197683 B2 JP 5197683B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- composition
- evaluation value
- depth
- depth signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
- G06V20/39—Urban scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
図1は、第1の実施形態に係る奥行き信号生成装置を概略的に示している。この奥行き信号生成装置は、構図評価値算出部102、評価値補正部103、構図選択部104、奥行き信号生成部105及び記憶部106を備えている。記憶部106には、予め用意された複数の構図に関する情報が格納されている。各構図は、固有の奥行き構造パターンを示す。本実施形態では、入力される時系列の画像が非立体画像である例について述べるが、互いに異なる視点から撮像された視差画像からなる画像であっても構わない。
構図評価値算出部102は、処理対象の非立体画像101内の所定領域(以下、算出領域と称す)に含まれる画素の各々の画素値の統計量を算出する。算出領域は、複数の画素を含む画素ブロックである。本実施形態では、図3に示されるように、非立体画像101の四隅に位置する部分領域(矩形状の画素ブロック)301〜304を算出領域に設定する例について述べる。部分領域の設定方法は適宜変更してかまわない。例えば、非立体画像全体を1つの算出領域に設定してもよい。なお、非立体画像101に最もよく適合する構図を推定する精度を向上させるためには、複数の算出領域を設定することが好ましい。算出領域の数及び位置は、例えば、予め用意される構図の種類に応じて決定することが好ましい。構図評価値算出部102は、算出領域毎に、画素値の統計量を算出する。画素値の統計量としては、例えば、色又はテクスチャ等のヒストグラムを使用することができる。構図評価値算出部102は、算出した統計量に基づいて、算出領域間の類似度を算出する。続いて、構図評価値算出部102は、算出した類似度に基づいて構図評価値を求める。
まず、構図評価値算出部102は、RGBの各色信号をN段階に量子化する。ここで、Nは自然数である。色信号を量子化することにより、ノイズ及び照明による色の変動を緩和することができる。256階調の信号を8段階に量子化する場合、量子化は、下記数式(1)に従って実行することができる。
r = R >> 5
g = G >> 5 (1)
b = B >> 5
ここで、R、G及びBは、夫々赤、緑及び青の画素値(入力信号)を表し、r、g及びbは、夫々赤、緑及び青の量子化された画素値を表し、「 >> 」は、ビットシフト演算を表す。色ヒストグラムは、量子化後の信号のビット数の3乗個のビン、即ち、512のビンを含む。各ビンのインデックスiは、下記数式(2)により算出することができる。
算出領域301から算出された色ヒストグラムをh1(i)とし、算出領域302から算出された色ヒストグラムをh2(i)とすると、算出領域301と算出領域302との間の類似度s12は、下記数式(3)に示すヒストグラムインタセクションで定義することができる。
特徴ベクトルvにより表現される非立体画像101が、予め用意された構図200、210、220のいずれに近いかを評価する。評価方法には、例えば、パターン識別においてよく用いられるサポートベクターマシン(SVM:Support Vector Machine)を利用することができる。SVMは、2クラス識別器である。本実施形態では、構図200とそれ以外の構図、構図210とそれ以外の構図というように、対象構図とそれ以外の構図とを識別する3つのSVMが用意される。SVMは、構図毎に対応する多数のサンプル画像を事前に収集することにより、予め学習させておく。必要となるSVMの数は、予め用意される構図の数に依存する。構図評価値算出部102は、3つのSVMからの出力値y1、y2及びy3を構図評価値として得る。構図評価値は、予め用意された構図毎に算出される。一例として、SVMの出力値y1、y2及びy3が夫々構図200、210及び220に関する構図評価値として出力される。
評価値補正部103は、既に処理済みの非立体画像から得られた補正後の構図評価値と、構図間の類似度とを加味して、構図評価値算出部102で算出された構図評価値の各々を補正する。以下、構図評価値の補正について、数式を用いて具体的に説明する。
構図選択部104は、下記数式(9)のように、補正された構図評価値P(xt|z1,…,zt)が最大となる構図xtを選択する。
Claims (6)
- 時系列の画像から奥行き信号を生成する奥行き信号生成装置であって、
前記時系列の画像のうち第1画像内の1以上の特定領域毎に、当該特定領域に含まれる画素の画素値に関するヒストグラムを算出し、あらかじめ用意された奥行き構造パターンを示す構図毎に、前記第1画像と適合する構図を選択するための第1の評価値を前記特定領域毎に算出したヒストグラムに基づいて算出する算出部と、
前記構図毎に、前記第1画像の前記第1の評価値を補正して前記第1画像の第2の評価値を取得する補正部であって、前記時系列の画像のうち前記第1画像より前の時刻の画像である第2画像の第2の評価値と、前記構図間の時系列的な移り変わりやすさを示す第1の類似度と、から補正値を算出し、前記第1の画像の前記第1の評価値に前記補正値を乗じることにより前記第1画像の前記第2の評価値を取得する前記補正部と、
前記第1画像の前記第2の評価値が最大である構図を選択する選択部と、
前記選択された構図に基づいて、前記奥行き信号を生成する生成部と、
を具備する奥行き信号生成装置。 - 前記補正部は、前記第1画像として前記構図毎に分類されたサンプル画像を入力した場合に、前記補正部を使用せずに前記選択部が前記各構図を選択した割合から得られた選択率から前記第1の類似度を算出する請求項1に記載の奥行き信号生成装置。
- 前記補正部は、前記構図の各々の奥行き信号間の距離に基づいて、前記第1の類似度を算出する請求項1に記載の奥行き信号生成装置。
- 前記特定領域は複数であり、前記算出部は、前記特定領域毎に算出したヒストグラムを比較して、前記特定領域間の類似度を示す第2の類似度を求め、当該第2の類似度に基づいて前記第1評価値を算出する請求項1に記載の奥行き信号生成装置。
- 前記算出部は、前記各構図において、奥行きが異なる領域の組み合わせを含むように、前記特定領域を設定する請求項4に記載の奥行き信号生成装置。
- 時系列の画像から奥行き信号を生成する奥行き信号生成方法であって、
前記時系列の画像のうち第1画像内の1以上の特定領域毎に、当該特定領域に含まれる画素の画素値に関するヒストグラムを算出し、あらかじめ用意された奥行き構造パターンを示す構図毎に、前記第1画像と適合する構図を選択するための第1の評価値を前記特定領域毎に算出したヒストグラムに基づいて算出することと、
前記構図毎に、前記第1画像の前記第1の評価値を補正して前記第1画像の第2の評価値を取得することであって、前記時系列の画像のうち前記第1画像より前の時刻の画像である第2画像の第2の評価値と、前記構図間の時系列的な移り変わりやすさを示す第1の類似度と、から補正値を算出し、前記第1の画像の前記第1の評価値に前記補正値を乗じることにより前記第1画像の前記第2の評価値を取得することと、
前記第1画像の前記第2の評価値が最大である構図を選択することと、
前記選択された構図に基づいて、前記奥行き信号を生成することと、
を具備する奥行き信号生成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010149721A JP5197683B2 (ja) | 2010-06-30 | 2010-06-30 | 奥行き信号生成装置及び方法 |
US13/052,194 US8805020B2 (en) | 2010-06-30 | 2011-03-21 | Apparatus and method for generating depth signal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010149721A JP5197683B2 (ja) | 2010-06-30 | 2010-06-30 | 奥行き信号生成装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012015744A JP2012015744A (ja) | 2012-01-19 |
JP5197683B2 true JP5197683B2 (ja) | 2013-05-15 |
Family
ID=45399748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010149721A Expired - Fee Related JP5197683B2 (ja) | 2010-06-30 | 2010-06-30 | 奥行き信号生成装置及び方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8805020B2 (ja) |
JP (1) | JP5197683B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102918355B (zh) * | 2011-04-22 | 2017-05-31 | 松下知识产权经营株式会社 | 三维摄像装置、图像处理装置 |
US9557836B2 (en) * | 2011-11-01 | 2017-01-31 | Microsoft Technology Licensing, Llc | Depth image compression |
US8897542B2 (en) * | 2011-12-15 | 2014-11-25 | Sony Corporation | Depth map generation based on soft classification |
EP2618586B1 (en) * | 2012-01-18 | 2016-11-30 | Nxp B.V. | 2D to 3D image conversion |
JP5703255B2 (ja) * | 2012-04-27 | 2015-04-15 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム |
JP5349671B1 (ja) | 2012-04-27 | 2013-11-20 | 株式会社東芝 | 画像処理装置、画像表示装置および方法 |
WO2013186881A1 (ja) * | 2012-06-13 | 2013-12-19 | 株式会社エム・ソフト | 立体視画像生成方法および立体視画像生成システム |
WO2013186882A1 (ja) * | 2012-06-13 | 2013-12-19 | 株式会社エム・ソフト | 立体視画像生成方法および立体視画像生成システム |
CN102724527B (zh) * | 2012-06-19 | 2014-07-16 | 清华大学 | 可配置多场景模型的深度估计方法及使用该方法的系统 |
CN103679683B (zh) * | 2012-09-07 | 2016-12-21 | 珠海扬智电子科技有限公司 | 基于块深度传递的深度图产生方法与相关装置 |
US9609242B2 (en) * | 2015-06-25 | 2017-03-28 | Intel Corporation | Auto-correction of depth-sensing camera data for planar target surfaces |
CN111814759B (zh) * | 2020-08-24 | 2020-12-18 | 腾讯科技(深圳)有限公司 | 人脸质量标签值的获取方法、装置、服务器及存储介质 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04214527A (ja) | 1990-12-12 | 1992-08-05 | Mitsubishi Electric Corp | 光変調器の製作方法 |
JPH08331607A (ja) * | 1995-03-29 | 1996-12-13 | Sanyo Electric Co Ltd | 三次元表示画像生成方法 |
JP3276931B2 (ja) | 1996-08-07 | 2002-04-22 | 三洋電機株式会社 | 3次元映像の立体感調整方法及び立体感調整装置 |
JP2000261828A (ja) * | 1999-03-04 | 2000-09-22 | Toshiba Corp | 立体映像生成方法 |
JP2001359119A (ja) * | 2000-06-15 | 2001-12-26 | Toshiba Corp | 立体映像生成方法 |
US7184071B2 (en) * | 2002-08-23 | 2007-02-27 | University Of Maryland | Method of three-dimensional object reconstruction from a video sequence using a generic model |
US6847728B2 (en) * | 2002-12-09 | 2005-01-25 | Sarnoff Corporation | Dynamic depth recovery from multiple synchronized video streams |
JP4179938B2 (ja) * | 2003-02-05 | 2008-11-12 | シャープ株式会社 | 立体画像生成装置、立体画像生成方法、立体画像生成プログラムおよび立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2004320189A (ja) * | 2003-04-14 | 2004-11-11 | Sharp Corp | 2次元画像の3次元化方法 |
JP4214976B2 (ja) * | 2003-09-24 | 2009-01-28 | 日本ビクター株式会社 | 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム |
JP4214527B2 (ja) | 2004-12-27 | 2009-01-28 | 日本ビクター株式会社 | 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム |
DE102005034597A1 (de) * | 2005-07-25 | 2007-02-08 | Robert Bosch Gmbh | Verfahren und Anordnung zur Erzeugung einer Tiefenkarte |
JP2007264722A (ja) * | 2006-03-27 | 2007-10-11 | Victor Co Of Japan Ltd | 画像処理装置 |
JP4952657B2 (ja) * | 2007-07-19 | 2012-06-13 | 株式会社Jvcケンウッド | 擬似立体画像生成装置、画像符号化装置、画像符号化方法、画像伝送方法、画像復号化装置及び画像復号化方法 |
EP2291825B1 (en) * | 2008-05-28 | 2013-09-25 | Thomson Licensing | System and method for depth extraction of images with forward and backward depth prediction |
US20100053310A1 (en) * | 2008-08-31 | 2010-03-04 | Maxson Brian D | Transforming 3d video content to match viewer position |
EP2380358B1 (en) * | 2008-12-19 | 2017-08-30 | Koninklijke Philips N.V. | Creation of depth maps from images |
KR20100135032A (ko) * | 2009-06-16 | 2010-12-24 | 삼성전자주식회사 | 2차원 영상의 3차원 영상 변환 장치 및 방법 |
JP5887515B2 (ja) * | 2010-11-10 | 2016-03-16 | パナソニックIpマネジメント株式会社 | 奥行き情報生成装置、奥行き情報生成方法、および、ステレオ画像変換装置 |
-
2010
- 2010-06-30 JP JP2010149721A patent/JP5197683B2/ja not_active Expired - Fee Related
-
2011
- 2011-03-21 US US13/052,194 patent/US8805020B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012015744A (ja) | 2012-01-19 |
US8805020B2 (en) | 2014-08-12 |
US20120002862A1 (en) | 2012-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5197683B2 (ja) | 奥行き信号生成装置及び方法 | |
US9030469B2 (en) | Method for generating depth maps from monocular images and systems using the same | |
KR101483660B1 (ko) | 깊이-관련 정보 전파를 위한 방법 및 장치 | |
US8488868B2 (en) | Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images | |
US9922441B2 (en) | Image processing device, image processing method, and program | |
US20120169722A1 (en) | Method and apparatus generating multi-view images for three-dimensional display | |
US9154762B2 (en) | Stereoscopic image system utilizing pixel shifting and interpolation | |
JP5238767B2 (ja) | 視差画像生成方法及び装置 | |
JP2014056466A (ja) | 画像処理装置及び方法 | |
TWI712990B (zh) | 用於判定影像之深度圖之方法與裝置、及非暫時性電腦可讀取儲存媒體 | |
US8565513B2 (en) | Image processing method for providing depth information and image processing system using the same | |
JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
US10074209B2 (en) | Method for processing a current image of an image sequence, and corresponding computer program and processing device | |
KR20080047673A (ko) | 입체영상 변환 장치 및 그 방법 | |
CN102026012B (zh) | 平面视频立体化转换深度图生成方法和装置 | |
CN107170007B (zh) | 具有图像散焦功能的图像装置及其产生散焦图像的方法 | |
JP2014035597A (ja) | 画像処理装置、コンピュータプログラム、記録媒体及び画像処理方法 | |
CN104982032B (zh) | 3d图像数据分割的方法和装置 | |
KR20170047780A (ko) | 적응적 윈도우 마스크를 이용하는 로우 코스트 계산장치 및 그 방법 | |
JP2011113177A (ja) | 被写体3次元モデルを構築する方法およびプログラム | |
KR20160114983A (ko) | 영상 변환 장치 및 방법 | |
WO2021245930A1 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP2019045996A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN106600573B (zh) | 一种图像处理方法 | |
JP2010134567A (ja) | 画像処理装置ならびにその動作制御方法およびその動作制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130205 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |