JP6068351B2 - 画像処理装置、集積回路、プログラム、撮像装置、表示装置 - Google Patents

画像処理装置、集積回路、プログラム、撮像装置、表示装置 Download PDF

Info

Publication number
JP6068351B2
JP6068351B2 JP2013535599A JP2013535599A JP6068351B2 JP 6068351 B2 JP6068351 B2 JP 6068351B2 JP 2013535599 A JP2013535599 A JP 2013535599A JP 2013535599 A JP2013535599 A JP 2013535599A JP 6068351 B2 JP6068351 B2 JP 6068351B2
Authority
JP
Japan
Prior art keywords
region
image
pixel
processing
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013535599A
Other languages
English (en)
Other versions
JPWO2013136403A1 (ja
Inventor
田中　義照
義照 田中
郁雄 渕上
郁雄 渕上
中村　剛
中村　　剛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2013535599A priority Critical patent/JP6068351B2/ja
Publication of JPWO2013136403A1 publication Critical patent/JPWO2013136403A1/ja
Application granted granted Critical
Publication of JP6068351B2 publication Critical patent/JP6068351B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

本発明は、画像にレンズのボケ効果を付加した画像を生成する画像処理装置に関する。
従来から、大口径レンズのカメラで撮影する際には、注目する被写体に焦点を当てつつ、距離の異なる被写体などには意図的に適度なボケを付けて撮影することが行われる。このようなボケにより、注目する被写体を際立たせたり、画像全体にやらわかな印象を与えたりといった効果（ボケ効果）をもたらすことができる。
ボケ効果を付加した画像の生成に際しては、「隠れ面効果」を考慮するとよりよいことが知られており、計算機により生成した画像に対して「隠れ面効果」を考慮したレンズのボケ画像を生成しているものがある（例えば、特許文献１参照）。図１７は、この特許文献１に記載された原理説明図である。
「隠れ面効果」とは、本来レンズの中心を通しては映り込まない物体の背後にある領域の映像が、レンズの外縁部からレンズの屈折によって回り込んで撮像面に投影されるぼかし効果のことである。図１８に示すように、被写体ＣのポイントＣ１は、被写体Ｂの遮蔽領域になるためレンズの中心を通って撮像面に到達することはないが、レンズの外縁部から回り込んで撮像面に投影されることがわかる。
このとき、特許文献１の技術では、ピンホールカメラモデル等に基づいて生成された入力画像と奥行き画像を取得し（図１７：処理１１）、ボケ効果の画素を計算し（処理１２）、ボケの範囲に属する各画素に入射する光線の方向を計算し（処理１３）、各画素において光線の方向毎に隠れ面処理の計算を行い（処理１４）、その結果の平均を求めて出力画素値としている。
特開平７−１２１６９４号公報
この従来の手法では、コンピュータグラフィックス分野において、ピンホールカメラモデル等によりシミュレートされた画像を取得する場合であるので、視点からは陰になって見えない部分の処理（隠れ面処理）を行うことができる。
ところで、現実に撮影した場合を考えると、大口径レンズのカメラで撮影したときはともかくとして、特に小口径レンズのカメラで現実に撮影したときには、図１８のような光の回り込みが極少ないので、視点から陰になって見えない領域（遮蔽領域）は撮影画像に含まれていたとしても非常に少なく、隠れ面効果を適切に表現することは難しい。
本発明は、このような課題に鑑みてなされたものであって、現実に撮影した画像を対象として、隠れ面効果を含むボケ効果を付加することができる画像処理装置を提供することを目的とする。
上記課題を解決するために、本発明の画像処理装置は、撮影画像を、第１領域と奥行情報に示される距離が第１領域より小さい第２領域とを含む、複数の領域に分離する分離手段と、前記第１領域内の画素であって分離前に前記第２領域との境界周辺に存する画素を、当該第１領域外方の前記境界周辺に複製することにより拡張領域を生成する拡張手段と、前記拡張領域および前記第２領域に対しては、前記第２領域の奥行情報に示される距離に基づくぼかし処理を行うぼかし処理手段と、前記ぼかし処理後、前記拡張領域を構成する画素毎に、その画素の値と前記第２領域内の当該画素に相当する位置にある画素の値とを合成する合成手段と、を備えることを特徴とする。
この構成によれば、現実に撮影した画像を対象として、隠れ面効果を含むボケ効果を付加することができる。
実施の形態１における画像処理装置のブロック図 撮影画像の被写体の距離関係を示す図 分離処理の例を示す図 拡張処理の概念図 拡張処理の例を示す図 合成処理の例を示す図 実施の形態１の変形例１に係る画像処理装置を示す図 実施の形態１の変形例２に係る画像処理装置を示す図 実施の形態２における画像処理装置の全体フロー図 拡張処理のフロー図 ぼかし処理のフロー図 合成処理のフロー図 拡張処理の他の例を示す図 ２眼カメラを備える撮像装置を示す図 １眼カメラと距離センサユニットを備える撮像装置を示す図 表示装置を示す図 従来の原理説明図 隠れ面効果の説明図
以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、実施の形態１における画像処理装置のブロック図である。
図２は、実施の形態１で例示する物体とカメラの位置関係及び、このとき撮影された画像である原画像１００１と奥行画像１００２を示す。奥行画像１００２はいわゆるデプスマップとも呼ばれるものであり、カメラから見た各物体までの距離を示す奥行情報を含んでいる。奥行画像１００２では、奥行（Ａ）１００２Ａ、奥行（Ｂ）１００２Ｂ、奥行（Ｃ）１００２Ｃの順にカメラから遠くなっている。
図１に示すように、画像処理装置１００は、分離処理部１００３、拡張処理部１００４、ぼかし処理部１００５および合成処理部１００６を含む。
＜分離処理＞
分離処理部１００３は、奥行画像１００２の奥行情報に示される距離が同一の奥行き毎に、原画像１００１を分離する。 例えば、図３に示す原画像１００１は、物体（Ａ）１００１Ａの領域を含む分離画像（Ａ）３００１Ａ、物体（Ｂ）１００１Ｂの領域を含む分離画像（Ｂ）３００１Ｂ、背景（Ｃ）１００１Ｃの領域を含む分離画像（Ｃ）３００１Ｃに分離される。
＜拡張処理＞
図１の拡張処理部１００４は、各分離画像の物体の領域（領域Ｂとする。）について、分離前に他の物体（よりカメラに近い物体に限る。）の他の領域（領域Ａとする。）と接していた境界部分を探索する。探索されれば、その境界部分における領域Ｂの画素を、分離前に領域Ａが存在していた側へ向けて複製することで拡張する（画素拡張）。拡張により生成された拡張領域は、領域Ｂの画素から構成されることとなる。
図４に用いて拡張の基本的な考え方を説明する。図４（ａ）に示すように、奥行情報に示される距離が大きくカメラからより離れた領域Ｂと、奥行情報に示される距離が小さくカメラにより近い領域Ａが分離前の原画像において隣接していたとする。
この場合、拡張処理部１００４は、領域Ｂ内の境界部分に並ぶ画素の値をその境界を超えた外側に所定個数ずつコピーすることで拡張領域を生成する。なお、拡張領域の幅は、後に続くぼかし処理において、領域Ａ内の領域に対して適用予定のぼかしフィルタの半径の大きさとする。
図５に、分離画像（Ｂ）３００１Ｂを対象とした画素拡張について例を示す。ここでは、わかり易くするため、分離前において物体（Ｂ）１００１Ｂに隣接しかつよりカメラに近い物体（Ａ）１００１Ａの領域を２点鎖線で示し、両物体の領域のＬ字状した境界を極太線で示している。
このとき、この２点鎖線で囲まれた領域内には、物体（Ｂ）１００１Ｂが物体（Ａ）１００１Ａによって遮蔽された領域があると推定され、この遮蔽領域を隠れ面効果の計算で使用したいところであるが、撮影画像には存在しない。そこで、物体（Ｂ）１００１Ｂの遮蔽領域の情報については、撮影画像には写っていないが物体（Ｂ）１００１Ｂが物体（Ａ）１００１Ａにより遮蔽されている推定する。この推定を基に、物体（Ａ）１００１Ａとの境界画素を画素拡張することによって、遮蔽領域の画素の情報を作り出すのである。
このようにして拡張された領域が拡張領域（Ｂ）５００１Ｂである。なお、拡張領域（Ｂ）５００１Ｂの幅は、物体（Ｂ）１００１Ｂを遮蔽していた物体（Ａ）１００１Ａの領域の奥行（Ａ）１００２Ａの距離に対応するぼかしフィルタの半径の大きさとする。
なお、拡張領域（Ｂ）５００１Ｂの生成は、物体（Ａ）１００１Ａの領域に対しては特に影響を与えない。図５に示すように、分離画像（Ａ）３００１Ａの物体（Ａ）１００１Ａの領域の一部は、拡張領域（Ｂ）５００１Ｂと重複する位置関係にある。例えば、図５中の画素位置Ｐは、分離画像（Ｂ）３００１Ｂでは拡張領域（Ｂ）５００１Ｂ内に位置し、かつ分離画像（Ａ）３００１Ａ（図６参照）では物体（Ａ）１００１Ａの領域内に位置することとなる。
＜ぼかし処理＞
続いて、ぼかし処理部１００５は、各分離画像についてその奥行情報が示す距離に対応するぼかしフィルタを選択し、各分離画像にぼかし処理を施す。ただし、拡張処理１００４で拡張された領域は、後に遮蔽している物体との合成時に使用する領域であるため、遮蔽している物体の奥行情報に対応するぼかしフィルタを用いてぼかし処理を施す。
ぼかしフィルタの選択方法は一般的な手法を用いることができ、ぼかし処理部１００５は、奥行情報やその他の値（例えば、撮影画像の絞り値、焦点距離など）に基づいて、ぼかしフィルタの半径などぼかしフィルタの設定値を決定する。
例を挙げると、ぼかし処理部１００５は、分離画像（Ｂ）３００１Ｂの物体（Ｂ）１００１Ｂの領域に対しては、物体（Ｂ）１００１Ｂの領域の奥行（Ｂ）１００２Ｂの距離に基づいて、ぼかしフィルタを選択しぼかし処理（第１ぼかし処理）を行う。
また、ぼかし処理部１００５は、分離画像（Ｂ）３００１Ｂの拡張領域（Ｂ）５００１Ｂ、および分離画像（Ａ）３００１Ａの物体（Ａ）１００１Ａの領域に対しては、物体（Ａ）１００１Ａの領域の奥行（Ａ）１００２Ａの距離に基づいて、ぼかしフィルタを選択しぼかし処理（第２ぼかし処理）を行う。
＜合成処理＞
合成処理部１００６は、全ての分離画像を合成してぼかし画像１００７として出力する処理を行う。特に、拡張領域においては画素毎に合成比率を変更して合成を行う。この合成比率は、合成しようとする画素においてぼかし処理に用いたぼかしフィルタの適用範囲が、分離前の画像において占める第１領域と第２領域との面積比に基づく。
図６に例を示すように、画素位置Ｐの合成では、画素位置Ｐを中心としたぼかしフィルタの適用範囲において、分離前の画像において奥行（Ｂ）１００２Ｂが占める面積と奥行（Ａ）１００２Ａが占める面積の比率を、ぼかし処理を施した分離画像（Ｂ）３００１Ｂと分離画像（Ａ）３００１Ａの合成比率とする。
例えば、この面積の比率が２０：８０ならば、
画素位置Ｐにおける画素値＝
分離画像（Ｂ）３００１Ｂの画素位置Ｐの（ぼかしフィル適用済みの）画素値×０．２
＋分離画像（A）3001A（図3参照）の画素位置Pの（ぼかしフィル適用済みの）画素値×０．８
となる。
なお、両物体の境界から離れるにしたがって、ぼかしフィルタの適用範囲において、奥行（Ｂ）１００２Ｂが占める面積が段々小さくなるので、境界から離れるほど、拡張領域に生成した画素の値の影響を小さくすることができ、自然な隠れ面効果を期待できる。
以上説明したように、本実施の形態によれば、撮影画像には本来存在しない遮蔽領域の画像を、遮蔽されたであろう物体の領域の画素を用いて生成することができ、奥行に段差のある物体輪郭部において隠れ面効果を考慮したレンズのボケ画像を生成することが可能となる。
なお、拡張処理部１００４の拡張処理における画素拡張は、図４に示した手法以外にも、境界近くの画素パターンをコピー（図１３（ａ）参照）や折り返し（図１３（ｂ）参照）するなどして拡張しても良い。
また、画素拡張は、図１３(c)に示すように、１つの画素に対して、複数の画素の値を複製した後の平均値を用いるとしてもよい（図１３(c)参照）。
図１３(a)〜(c)の手法によれば、より自然な拡張領域の画像を生成することが可能となる。
また、ここで適用しているぼかしフィルタの形状は、円形の代わりに四角形、六角形、八角形や星型など他の形状を用いても良い。
また、図７の画像処理装置１０００ａに示す構成にすることによって、ぼかし処理結果にさらにぼかし処理を１回以上重ねがけるようにしても良い。例えば、実装コスト削減のためにぼかし処理に適用するフィルタサイズの上限を低めに設定したとする。この場合、上述のように、ぼかしフィルタは、奥行情報などに基づいて決定されるが、フィルタサイズの上限は制約されることとなる。
このとき、フィルタサイズを超えるぼかし処理ができなくなるが、このようなフィルタの重ねがけをすることで、回数を重ねる度にぼかし効果の範囲や程度を大きくすることが可能となる。また、当然ながら実装コストも削減することが可能となる。
また、図８の画像処理装置１０００ｂに示す構成にすることによって、ぼかし処理を１回以上重ねがけるようにしても良い。図８のフローでは、重ねがけ回数に満たない間は、分離処理部１００３は、合成処理部１００６が前回合成した画像を再び分離することとなる。
例えば、実装コスト削減のためにぼかし処理に適用するフィルタサイズの上限を低めに設定したとする。この場合、フィルタサイズを超えるぼかし処理ができなくなるが、このようなフィルタの重ねがけをすることで、回数を重ねる度にぼかし効果の範囲や程度を大きくすることが可能となる。また、当然ながら実装コストも削減することが可能となる。
（実施の形態２）
図９は、実施の形態２における画像処理プログラムの処理フローの全体像である。
画像処理プログラムは、コンピュータにぼかし効果処理（分離処理、拡張処理、ぼかし処理、合成処理を含む。）を実行させるプログラムであり、全体的には、原画像１００１から奥行画像１００２の同一の奥行である画像のみを分離画像として抽出し、この分離画像の単位で分離処理Ｓ９２，拡張処理Ｓ９３，ぼかし処理Ｓ９４、合成処理Ｓ９５を繰り返し処理する。
なお、合成処理結果の画像は小数を含むデータとして生成されるため、全ての分離画像について処理が完了した後に、画像を整数に変換して最終的にぼかし画像１００７を生成する。
以下に、図９における各処理について詳細を説明する。
初期化Ｓ９１は、ループで処理する分離画像の奥行番号ＮをＮ＝０に初期化、合成比率マッピング表の作成、拡張領域の初期化を含む処理である。
合成比率マッピング表は、画素毎にどの奥行番号の画像をどの割合で合成するかを対応付けする表であり、奥行き画像１００２において各画像位置の奥行きに対応したフィルタ適用範囲内でどの奥行番号がどの割合含まれているかという情報を保持する。
分離処理Ｓ９２は、原画像１００１から奥行画像１００２中の奥行番号がＮである位置の画像を原画像１００１から取得して分離画像を生成する。ただし、奥行画像内に奥行番号Ｎのデータが存在しない場合、奥行番号Ｎをインクリメントして次の奥行画像を取得する。
図９の拡張処理Ｓ９３について図１０を用いて説明する。
処理する画素位置及び領域拡張マップを初期化（Ｓ１０１）した後、拡張領域を探索するループに入る。
ループの内部では、分離画像の終端に到達する（Ｓ１０６）まで以下を実施する。
奥行番号Ｎの領域を判定（Ｓ１０２）し、探索位置の奥行番号Ｎより小さな奥行値と隣接しているかを判定（Ｓ１０３）した場合、検出した小さな奥行値である領域を画素拡張（Ｓ１０４）する。また、画素拡張した領域について領域拡張マップに１を設定する（Ｓ１０５）。
図９のぼかし処理Ｓ９４について図１１を用いて説明する。
処理する画素位置を初期化（Ｓ１１１）した後、ぼかし処理を行うループに入る。
ループの内部では、拡張処理Ｓ９３で生成した領域拡張マップを参照して、拡張領域である場合（Ｓ１１２：Ｙ）は奥行画像の画素位置の奥行に対応するぼかしフィルタを適用し（Ｓ１１４）、拡張領域でない場合（Ｓ１１２：Ｎ）は奥行番号Ｎのぼかしフィルタを適用する（Ｓ１１３）。Ｓ１１２〜Ｓ１１４は分離画像の終端まで繰り返す（Ｓ１１５）。
図９の合成処理Ｓ９５について図１２を用いて説明する。
Ｓ１２２、Ｓ１２３のループの内部では、合成比率マッピング表に従って、奥行番号Ｎの分離画像の画素の値とこの画素に相当する合成画像領域の画素の値を合成（Ｓ１２２）する。
合成画像領域には、全ての分離画像を処理し終わるまでに、各奥行のぼかし画像が合成比率ずつ累積加算される。
このとき、合成画像領域は、累積加算することによる小数の誤差が出ないように小数値を持った値として全ての分離画像について処理が完了するまで（Ｓ９６：Ｙ）累積されていき、最終的に図９の画像の整数変換処理Ｓ９７後にぼかし画像１００７が生成される。
かかる構成によれば、拡張処理Ｓ９３を行うことで、撮影画像には存在しない遮蔽領域の画像を被遮蔽物体の画素で拡張することで遮蔽領域の画像を生成することができる。また、ぼかし処理Ｓ９４及び合成処理Ｓ９５を行うことで、遮蔽領域を含むぼかし処理と合成処理により、奥行情報に段差のある物体輪郭部において隠れ面効果を考慮したレンズのボケ画像を生成することが可能となる。
また、奥行情報毎に１度に全て分解して計算する場合、例えば奥行きを表現できる数が２５６とすると、奥行き毎に保持する中間バッファが１画面の画像サイズを２５６面分＋作業用１面分が必要になるが、この方法では中間バッファが１面分＋作業用１面分で処理することができ、メモリを大幅に削減できる。ただし、この方法では合成比率マッピング表が画素毎に作られるが合成対象が常に奥行き分（上記例では２５６個）必要になることはないため、奥行番号Ｎと合成比率で紐付けられたリストを必要な分だけ用意することでトータルのメモリ量として大幅に削減することができる。
（実施の形態３）
図１４は、実施の形態３における撮像装置１４００を示す。
ＣＰＵ１４０４は、システム全体をプログラムによって制御し、バス１４０６に接続された２眼カメラ１４０１、Digital Signal ProcessorであるＤＳＰ（奥行算出処理、ぼかし効果処理）１４０３、表示制御部１４０５ａを介してＬＣＤ（Liquid Crystal Display）１４０５ｂを制御する。
２眼カメラ１４０１は、携帯機器に搭載される小口径レンズの画像全体に焦点があった画像を撮影できるカメラであり、撮影した左右の撮像画像をメモリに転送して格納する。
ＤＳＰ（奥行算出処理、ぼかし効果処理）１４０３における奥行算出処理は、メモリ上の前記左右の撮像画像を入力として左右の画像間の視差を検出することで奥行画像を生成してメモリに格納する。
また、ＤＳＰ（奥行算出処理、ぼかし効果処理）１４０３におけるぼかし効果処理は、前記撮像画像の左画像（もしくは右画像）と前記奥行画像を入力することで、実施の形態１もしくは実施の形態２の手法を用いてぼかし画像を生成してメモリ１４０２に格納する。
ＣＰＵ１４０４は、メモリ１４０２上の前記ぼかし画像を読み込んで、表示制御部１４０５ａを介してＬＣＤ１４０５ｂにぼかし画像を表示させる。
かかる構成によれば、撮影した画像に隠れ面効果を考慮したぼかし効果を施した画像を生成でき、ＬＣＤに表示できる。このことにより、小口径カメラで撮影したのにも関わらず、あたかも大口径カメラで撮影したような画像、すなわち、特定の被写体に焦点を当てて他をぼかすことで被写体を強調した、ぼかし効果のある画像をＬＣＤに表示することが可能となる。
また特に２眼カメラでは、筐体内に収納する際のスペース上の制約や軽量化の観点から、レンズの大口径化が困難なことが多いので本実施の形態にかかるぼかし効果処理を適用することが有用である。
（実施の形態４）
図１５は、実施の形態４における撮像装置１５００を示す。図１５中、図１４と同様な部品には同じ符号を付している。
ＣＰＵ１４０４は、システム全体をプログラムによって制御し、バス１４０６に接続された１眼カメラ１５０１ａ、距離センサユニット１５０１ｂ、ＤＳＰ（ぼかし効果処理）１５０３、表示制御部１４０５ａを介してＬＣＤ１４０５ｂを制御する。
１眼カメラ１５０１ａは、小型の携帯機器に搭載されるような小口径レンズの画像全体に焦点があった画像を撮影できるカメラであり、撮影した撮像画像をメモリ１４０２に転送して格納する。
距離センサユニット１５０１ｂは、赤外線などを用いて被写体の距離を測定し、奥行画像としてメモリに転送して格納する。
ＤＳＰ（ぼかし効果処理）１５０３におけるぼかし処理は、前記撮像画像と前記奥行画像を入力することで、実施の形態１もしくは実施の形態２の手法を用いてぼかし画像を生成してメモリ１４０２に格納する。
ＣＰＵ１４０４は、メモリ１４０２上の前記ぼかし画像を読み込んで、表示制御部１４０５ａを介してＬＣＤ１４０５ｂにぼかし画像を表示させる。
かかる構成によれば、撮影した画像に隠れ面効果を考慮したぼかし効果を施した画像を生成でき、ＬＣＤに表示できる。このことにより、小口径カメラで撮影したのにも関わらず、あたかも大口径カメラで撮影したような画像、すなわち、特定の被写体に焦点を当てて他をぼかすことで被写体を強調した、ぼかし効果のある画像をＬＣＤに表示することが可能となる。
なお、撮像装置１５００は、必ずしもＬＣＤなどのディスプレイを備える必要はなく、表示制御部１４０５ａおよびＬＣＤ１４０５ｂを備えない、つまり図１５中の破線部分で囲まれた部品から構成される撮像装置であっても構わない。このことは、撮像装置１４００についても同様である。
（実施の形態５）
図１６は、実施の形態５における表示装置１６００を示す。図１６中、図１４と同様な部品には同じ符号を付している。
メモリ１６０２は、外部装置から取得した原画像１００１と奥行画像１００２を記憶している。
ＤＳＰ（ぼかし効果処理）１６０３におけるぼかし効果処理は、原画像１００１と奥行画像１００２とを入力することで、実施の形態１もしくは実施の形態２の手法を用いてぼかし画像１００７を生成してメモリ１６０２に格納する。
＜補足１＞
以上、本実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。
（１）コンピュータグラフィックスへの適用
本実施の形態で説明した手法は、遮蔽領域の情報を用いることなく、適切なぼかし効果を得ることができるので撮影した画像に適用することが好適であるが、コンピュータグラフィックスにおける画像においても適用することができる。特に、特許文献１のような手法と比較すると、各画素に入射する光線の方向についての計算が不要であるので、処理負荷を軽減することができる。
（２）記録媒体
実施の形態２などで説明したプログラムは、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。
このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ等の非一時的な（non-transitory）記録媒体がある。
流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
（３）集積回路
上記の各実施の形態の画像処理装置は、典型的には集積回路であるＬＳＩ(Large Scale Integration)として実現されてよい。各回路を個別に１チップとしてもよいし、全ての回路又は一部の回路を含むように１チップ化されてもよい。例えば、チューナ３は他の回路部と同一の集積回路に集積されることもあれば、別の集積回路になる場合もある。
ここでは、ＬＳＩとして記載したが、集積度の違いにより、ＩＣ(Integrated Circuit)、システムＬＳＩ、スーパＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（FieldProgrammable Gate Array）、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
（４）ディスプレイ
図１４〜図１６では、ディスプレイの一例としてＬＣＤを挙げたが、有機ＥＬディスプレイなど他の駆動方式のデイスプレイを用いても構わない。
＜補足２＞
本実施の形態は、以下の態様を含むものである。
（１）実施の形態に係る画像処理装置は、撮影画像を、第１領域と奥行情報に示される距離が第１領域より小さい第２領域とを含む、複数の領域に分離する分離手段と、前記第１領域内の画素であって分離前に前記第２領域との境界周辺に存する画素を、当該第１領域外方の前記境界周辺に複製することにより拡張領域を生成する拡張手段と、前記拡張領域および前記第２領域に対しては、前記第２領域の奥行情報に示される距離に基づくぼかし処理を行うぼかし処理手段と、前記ぼかし処理後、前記拡張領域を構成する画素毎に、その画素の値と前記第２領域内の当該画素に相当する位置にある画素の値とを合成する合成手段と、を備えることを特徴とする。
（２）前記合成手段は、前記拡張領域を構成する画素の位置が第１領域から離れるにしたがって、当該拡張領域の画素の値の合成比率を低くし前記第２領域内の画素の値の合成比率を高くするとしても構わない。
（３）前記合成手段による合成比率は、合成しようとする画素において前記ぼかし処理に用いたぼかしフィルタの適用範囲が、分離前の撮影画像において占める第１領域と第２領域との面積比に基づくとしても構わない。
（４）前記分離手段、拡張手段、ぼかし処理手段および合成手段による処理を繰り返すことにより、ぼかし効果を調整するとしても構わない。
（５）前記ぼかし処理を重ねて繰り返すことにより、ぼかし効果を調整するとしても構わない。
（６）前記拡張手段は、前記複数の領域のうちで対象とする一の領域について、奥行情報に示される距離がより小さい他の領域と分離前に隣接していたかを探索し、隣接していたならば、前記一の領域内の画素であって分離前に前記他の領域との境界周辺に存する画素を、当該一の領域外方の前記境界周辺に複製することにより拡張領域を生成するとしても構わない。
（７）実施の形態に係る集積回路は、撮影画像を、第１領域と奥行情報に示される距離が第１領域より小さい第２領域とを含む、複数の領域に分離する分離手段と、前記第１領域内の画素であって分離前に前記第２領域との境界周辺に存する画素を、当該第１領域外方の前記境界周辺に複製することにより拡張領域を生成する拡張手段と、前記拡張領域および前記第２領域に対しては、前記第２領域の奥行情報に示される距離に基づくぼかし処理を行うぼかし処理手段と、前記ぼかし処理後、前記拡張領域を構成する画素毎に、その画素の値と前記第２領域内の当該画素に相当する位置にある画素の値とを合成する合成手段と、を備えることを特徴とする。
（８）実施の形態に係るプログラムは、コンピュータにぼかし効果処理を実行させるプログラムであって、前記ぼかし効果処理は、撮影画像を、第１領域と奥行情報に示される距離が第１領域より小さい第２領域とを含む、複数の領域に分離する分離ステップと、前記第１領域内の画素であって分離前に前記第２領域との境界周辺に存する画素を、当該第１領域外方の前記境界周辺に複製することにより拡張領域を生成する拡張ステップと、前記拡張領域および前記第２領域に対しては、前記第２領域の奥行情報に示される距離に基づくぼかし処理を行うぼかし処理ステップと、前記ぼかし処理後、前記拡張領域を構成する画素毎に、その画素の値と前記第２領域内の当該画素に相当する位置にある画素の値とを合成する合成ステップと、の各ステップを含むことを特徴とする。
（９）実施の形態に係る撮像装置は、ステレオカメラの撮像ユニットと、表示ユニットと、（８）に記載のプログラム、前記ステレオカメラが撮影した左右の撮影画像を格納するためのメモリと、メモリに格納された左右の撮影画像に基づき画素毎の奥行情報を示す奥行画像を生成する生成処理、および前記左右の撮影画像のうちの少なくとも一方の撮影画像を対象として（８）に記載のぼかし効果処理を行うＤＳＰと、前記ステレオカメラが撮影した左右の撮影画像を前記メモリへ格納する処理、前記ＤＳＰに前記生成処理および前記ぼかし効果処理を実行させる処理、およびぼかし効果処理の結果を前記表示ユニットに表示させる処理、を制御するＣＰＵと、を備えることを特徴とする。
（１０）実施の形態に係る撮像装置は１眼カメラの撮像ユニットと、表示ユニットと、前記撮像ユニットが撮影する被写体に対する距離を画素毎に測定する距離センサユニットと、（８）に記載のプログラム、前記１眼カメラが撮影した撮影画像、および前記距離センサユニットが測定した画素毎の距離を格納するためのメモリと、メモリに格納された撮影画像と画素毎の距離とに基づき、画素毎の奥行情報を示す奥行画像を生成する生成処理、および前記撮影画像を対象として（８）に記載のぼかし効果処理を行うＤＳＰと、前記１眼カメラが撮影した撮影画像を前記メモリへ格納する処理、前記ＤＳＰに前記生成処理および前記ぼかし効果処理を実行させる処理、およびぼかし効果処理の結果を前記表示ユニットに表示させる処理、を制御するＣＰＵと、を備えることを特徴とする。
（１１）実施の形態に係る表示装置は、表示ユニットと、（８）に記載のプログラム、撮影画像、および前記撮影画像の画素毎の奥行情報を示す奥行画像を格納するメモリと、前記撮影画像を対象として（９）に記載のぼかし効果処理を行うＤＳＰと、前記ＤＳＰに前記生成処理および前記ぼかし効果処理を実行させる処理、およびぼかし効果処理の結果を前記表示ユニットに表示させる処理、を制御するＣＰＵと、を備えることを特徴とする。
（１２）実施の形態に係る画像処理装置は、撮影画像と撮影画像の奥行情報を示す奥行画像とに基づいて、前記撮影画像にぼかし処理を施しぼかし画像を生成するぼかし処理手段と、生成したぼかし画像と前記奥行情報とに基づいて、前記ぼかし画像にぼかし処理を施し新たなぼかし画像を生成し、所定の回数に到達するまでこのようなぼかし処理の重ねがけを繰り返す重ねがけ処理手段と、を備える。
（１３）実施の形態に係るプログラムは、コンピュータにぼかし効果処理を実行させるプログラムであって、前記ぼかし効果処理は、撮影画像と撮影画像の奥行情報を示す奥行画像とに基づいて、前記撮影画像にぼかし処理を施しぼかし画像を生成するぼかし処理ステップと、生成したぼかし画像と前記奥行情報とに基づいて、前記ぼかし画像にぼかし処理を施し新たなぼかし画像を生成し、所定の回数に到達するまでこのようなぼかし処理の重ねがけを繰り返す重ねがけ処理ステップと、の各ステップを含む。
本発明にかかる画像処理装置は、撮影画像に隠れ面効果を考慮したレンズのボケを付加する処理を有し、画像撮影及び奥行画像を生成できるデジタルカメラや携帯電話機などに有用である。また、ステレオ画像から奥行画像を生成することが可能であるため、ステレオ画像を扱うテレビやレコーダなどの用途にも応用できる。
１００１ 原画像
１００２ 奥行画像
１００３ 分離処理部
１００４ 拡張処理部
１００５ ぼかし処理部
１００６ 合成処理部
１００７ ぼかし画像
１００１Ａ 物体Ａ
１００１Ｂ 物体Ｂ
１００１Ｃ 背景Ｃ
１００２Ａ 奥行Ａ
１００２Ｂ 奥行Ｂ
１００２Ｃ 奥行Ｃ
３００１Ａ 分離画像（Ａ）
３００１Ｂ 分離画像（Ｂ）
３００１Ｃ 分離画像（Ｃ）
５００１Ｂ 拡張領域（Ｂ）
１４００ 撮像装置
１４０１ ２眼（ステレオ）カメラ
１４０２ メモリ
１４０３ ＤＳＰ（奥行変換処理、ぼかし処理）
１４０４ ＣＰＵ
１４０５ａ 表示制御部
１４０５ｂ ＬＣＤ
１４０６ バス
１５００ 撮像装置
１５０１ａ １眼カメラ
１５０１ｂ 距離センサユニット
１５０３ ＤＳＰ（ぼかし効果処理）
１６００ 表示装置
１６０２ メモリ
１６０３ ＤＳＰ（ぼかし効果処理）

Claims (13)

  1. 撮影画像を、第１領域と奥行情報に示される距離が第１領域より小さい第２領域とを含む、複数の領域に分離する分離手段と、
    前記第１領域内の画素であって分離前に前記第２領域との境界周辺に存する画素を、当該第１領域外方の前記境界周辺に複製することにより拡張領域を生成する拡張手段と、
    前記拡張領域および前記第２領域に対しては、前記第２領域の奥行情報に示される距離に基づくぼかし処理を行うぼかし処理手段と、
    前記ぼかし処理後、前記拡張領域を構成する画素毎に、その画素の値と前記第２領域内の当該画素に相当する位置にある画素の値とを合成する合成手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記合成手段は、前記拡張領域を構成する画素の位置が第１領域から離れるにしたがって、当該拡張領域の画素の値の合成比率を低くし前記第２領域内の画素の値の合成比率を高くする
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記合成手段による合成比率は、合成しようとする画素において前記ぼかし処理に用いたぼかしフィルタの適用範囲が、分離前の撮影画像において占める第１領域と第２領域との面積比に基づく
    ことを特徴とする請求項１に記載の画像処理装置。
  4. 前記分離手段、拡張手段、ぼかし処理手段および合成手段による処理を繰り返すことにより、ぼかし効果を調整する
    ことを特徴とする請求項１に記載の画像処理装置。
  5. 前記ぼかし処理を重ねて繰り返すことにより、ぼかし効果を調整する
    ことを特徴とする請求項１に記載の画像処理装置。
  6. 前記拡張手段は、前記複数の領域のうちで対象とする一の領域について、奥行情報に示される距離がより小さい他の領域と分離前に隣接していたかを探索し、隣接していたならば、前記一の領域内の画素であって分離前に前記他の領域との境界周辺に存する画素を、当該一の領域外方の前記境界周辺に複製することにより拡張領域を生成する
    ことを特徴とする請求項１に記載の画像処理装置。
  7. 撮影画像を、第１領域と奥行情報に示される距離が第１領域より小さい第２領域とを含む、複数の領域に分離する分離手段と、
    前記第１領域内の画素であって分離前に前記第２領域との境界周辺に存する画素を、当該第１領域外方の前記境界周辺に複製することにより拡張領域を生成する拡張手段と、
    前記拡張領域および前記第２領域に対しては、前記第２領域の奥行情報に示される距離に基づくぼかし処理を行うぼかし処理手段と、
    前記ぼかし処理後、前記拡張領域を構成する画素毎に、その画素の値と前記第２領域内の当該画素に相当する位置にある画素の値とを合成する合成手段と、
    を備えることを特徴とする集積回路。
  8. コンピュータにぼかし効果処理を実行させるプログラムであって、
    前記ぼかし効果処理は、
    撮影画像を、第１領域と奥行情報に示される距離が第１領域より小さい第２領域とを含む、複数の領域に分離する分離ステップと、
    前記第１領域内の画素であって分離前に前記第２領域との境界周辺に存する画素を、当該第１領域外方の前記境界周辺に複製することにより拡張領域を生成する拡張ステップと、
    前記拡張領域および前記第２領域に対しては、前記第２領域の奥行情報に示される距離に基づくぼかし処理を行うぼかし処理ステップと、
    前記ぼかし処理後、前記拡張領域を構成する画素毎に、その画素の値と前記第２領域内の当該画素に相当する位置にある画素の値とを合成する合成ステップと、
    の各ステップを含むことを特徴とするプログラム。
  9. ステレオカメラの撮像ユニットと、
    表示ユニットと、
    請求項８に記載のプログラム、前記ステレオカメラが撮影した左右の撮影画像を格納するためのメモリと、
    メモリに格納された左右の撮影画像に基づき画素毎の奥行情報を示す奥行画像を生成する生成処理、および前記左右の撮影画像のうちの少なくとも一方の撮影画像を対象として請求項８に記載のぼかし効果処理を行うＤＳＰと、
    前記ステレオカメラが撮影した左右の撮影画像を前記メモリへ格納する処理、前記ＤＳＰに前記生成処理および前記ぼかし効果処理を実行させる処理、およびぼかし効果処理の結果を前記表示ユニットに表示させる処理、を制御するＣＰＵと、
    を備えることを特徴とする撮像装置。
  10. １眼カメラの撮像ユニットと、
    表示ユニットと、
    前記撮像ユニットが撮影する被写体に対する距離を画素毎に測定する距離センサユニットと、
    請求項８に記載のプログラム、前記１眼カメラが撮影した撮影画像、および前記距離センサユニットが測定した画素毎の距離を格納するためのメモリと、
    メモリに格納された撮影画像と画素毎の距離とに基づき、画素毎の奥行情報を示す奥行画像を生成する生成処理、および前記撮影画像を対象として請求項８に記載のぼかし効果処理を行うＤＳＰと、
    前記１眼カメラが撮影した撮影画像を前記メモリへ格納する処理、前記ＤＳＰに前記生成処理および前記ぼかし効果処理を実行させる処理、およびぼかし効果処理の結果を前記表示ユニットに表示させる処理、を制御するＣＰＵと、
    を備えることを特徴とする撮像装置。
  11. 表示ユニットと、
    請求項８に記載のプログラム、撮影画像、および前記撮影画像の画素毎の奥行情報を示す奥行画像を格納するメモリと、
    前記撮影画像を対象として請求項８に記載のぼかし効果処理を行うＤＳＰと、
    前記ＤＳＰに前記ぼかし効果処理を実行させる処理、およびぼかし効果処理の結果を前記表示ユニットに表示させる処理、を制御するＣＰＵと、
    を備えることを特徴とする表示装置。
  12. 撮影画像と撮影画像の奥行情報を示す奥行画像とに基づいて、前記撮影画像にぼかし効果処理を施しぼかし画像を生成するぼかし効果処理手段と、
    生成したぼかし画像と前記奥行情報とに基づいて、前記ぼかし画像に前記ぼかし効果処理を施し新たなぼかし画像を生成し、所定の回数に到達するまでこのようなぼかし効果処理の重ねがけを繰り返す重ねがけ処理手段と、を備え、
    前記ぼかし効果処理手段は、
    画像を、第１領域と奥行情報に示される距離が第１領域より小さい第２領域とを含む、複数の領域に分離する分離手段と、
    前記第１領域内の画素であって分離前に前記第２領域との境界周辺に存する画素を、当該第１領域外方の前記境界周辺に複製することにより拡張領域を生成する拡張手段と、
    前記拡張領域および前記第２領域に対しては、前記第２領域の奥行情報に示される距離に基づくぼかし処理を行うぼかし処理手段と、
    前記ぼかし処理後、前記拡張領域を構成する画素毎に、その画素の値と前記第２領域内の当該画素に相当する位置にある画素の値とを合成する合成手段と、を備える
    ことを特徴とする画像処理装置。
  13. コンピュータに所定の画像処理を実行させるプログラムであって、
    前記所定の画像処理は、
    撮影画像と撮影画像の奥行情報を示す奥行画像とに基づいて、前記撮影画像にぼかし効果処理を施しぼかし画像を生成するぼかし効果処理ステップと、
    生成したぼかし画像と前記奥行情報とに基づいて、前記ぼかし画像に前記ぼかし効果処理を施し新たなぼかし画像を生成し、所定の回数に到達するまでこのようなぼかし効果処理の重ねがけを繰り返す重ねがけ処理ステップと、の各ステップを含み、
    前記ぼかし効果処理は、
    画像を、第１領域と奥行情報に示される距離が第１領域より小さい第２領域とを含む、複数の領域に分離する分離ステップと、
    前記第１領域内の画素であって分離前に前記第２領域との境界周辺に存する画素を、当該第１領域外方の前記境界周辺に複製することにより拡張領域を生成する拡張する拡張ステップと、
    前記拡張領域および前記第２領域に対しては、前記第２領域の奥行情報に示される距離に基づくぼかし処理を行うぼかし処理ステップと、
    前記ぼかし処理後、前記拡張領域を構成する画素毎に、その画素の値と前記第２領域内の当該画素に相当する位置にある画素の値とを合成する合成ステップと、の各ステップを含む
    ことを特徴とするプログラム。
JP2013535599A 2012-03-15 2012-12-26 画像処理装置、集積回路、プログラム、撮像装置、表示装置 Expired - Fee Related JP6068351B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013535599A JP6068351B2 (ja) 2012-03-15 2012-12-26 画像処理装置、集積回路、プログラム、撮像装置、表示装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012059079 2012-03-15
JP2012059079 2012-03-15
PCT/JP2012/008322 WO2013136403A1 (ja) 2012-03-15 2012-12-26 画像処理装置、集積回路、プログラム、撮像装置、表示装置
JP2013535599A JP6068351B2 (ja) 2012-03-15 2012-12-26 画像処理装置、集積回路、プログラム、撮像装置、表示装置

Publications (2)

Publication Number Publication Date
JPWO2013136403A1 JPWO2013136403A1 (ja) 2015-07-30
JP6068351B2 true JP6068351B2 (ja) 2017-01-25

Family

ID=49160378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013535599A Expired - Fee Related JP6068351B2 (ja) 2012-03-15 2012-12-26 画像処理装置、集積回路、プログラム、撮像装置、表示装置

Country Status (3)

Country Link
US (1) US9002128B2 (ja)
JP (1) JP6068351B2 (ja)
WO (1) WO2013136403A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6270413B2 (ja) * 2013-10-29 2018-01-31 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
US11134848B2 (en) 2016-04-25 2021-10-05 Samsung Electronics Co., Ltd. Mobile hyperspectral camera system and human skin monitoring using a mobile hyperspectral camera system
KR102462502B1 (ko) * 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
CN109996072B (zh) * 2018-01-03 2021-10-15 华为技术有限公司 视频图像的处理方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07121694A (ja) 1993-10-21 1995-05-12 Nippon Telegr & Teleph Corp <Ntt> 焦点ボケ画像生成方法
JPH09181966A (ja) * 1995-12-22 1997-07-11 Olympus Optical Co Ltd 画像処理方法及び装置
JP3668019B2 (ja) * 1998-10-27 2005-07-06 株式会社ソニー・コンピュータエンタテインメント 記録媒体、画像処理装置および画像処理方法
JP3404347B2 (ja) * 2000-01-28 2003-05-06 株式会社スクウェア ３次元コンピュータ画像処理のプログラムを記録したコンピュータ読み取り可能な記録媒体およびぼかし描画処理方法
JP2002300373A (ja) 2001-03-30 2002-10-11 Minolta Co Ltd 画像処理方法、画像処理装置、記録媒体及びプログラム
JP2004118384A (ja) 2002-09-25 2004-04-15 Sharp Corp 画像処理装置、ぼかし画像生成装置、ぼかし画像生成方法及び画像処理プログラムを記録した記録媒体
JP4321287B2 (ja) 2004-02-10 2009-08-26 ソニー株式会社 撮影装置および撮影方法、並びに、プログラム
JP2006195882A (ja) * 2005-01-17 2006-07-27 Namco Bandai Games Inc プログラム、情報記憶媒体、及び画像生成システム
JP2008294785A (ja) * 2007-05-25 2008-12-04 Sanyo Electric Co Ltd 画像処理装置、撮像装置、画像ファイル及び画像処理方法
US8194995B2 (en) * 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
TWI482468B (zh) * 2012-11-23 2015-04-21 Inst Information Industry 物體偵測裝置、方法及其電腦可讀取紀錄媒體

Also Published As

Publication number Publication date
US20140063295A1 (en) 2014-03-06
JPWO2013136403A1 (ja) 2015-07-30
WO2013136403A1 (ja) 2013-09-19
US9002128B2 (en) 2015-04-07

Similar Documents

Publication Publication Date Title
US10015469B2 (en) Image blur based on 3D depth information
KR102480245B1 (ko) 패닝 샷들의 자동 생성
JP6411505B2 (ja) 全焦点画像を生成するための方法および装置
KR101893047B1 (ko) 이미지 처리 방법 및 이미지 처리 장치
CN106133794B (zh) 信息处理方法、信息处理设备以及程序
US20150312549A1 (en) Generation and use of a 3d radon image
US9900584B2 (en) Depth map generation based on cluster hierarchy and multiple multiresolution camera clusters
KR20190021138A (ko) 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
US20170301145A1 (en) Image Compensation for an Occluding Direct-View Augmented Reality System
CN102369722B (zh) 摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法
TWI566601B (zh) 影像處理裝置及影像景深處理方法
JP2012249125A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5766077B2 (ja) ノイズ低減のための画像処理装置及び画像処理方法
JP6068351B2 (ja) 画像処理装置、集積回路、プログラム、撮像装置、表示装置
JP2015043495A (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
CN114616587A (zh) 基于学习的镜头眩光移除
US9538074B2 (en) Image processing apparatus, imaging apparatus, and image processing method
CN109410303B (zh) 用于头戴式显示器的低延迟失真单元
CN105450943B (zh) 产生图像散景效果的方法及图像获取装置
JP6582557B2 (ja) 描画装置、描画方法および描画プログラム
US10303988B1 (en) Visual search methods and systems
JP6789677B2 (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
KR20090012982A (ko) 깊이 정보 생성 방법, 그 장치 및 그 방법을 실행하는프로그램이 기록된 기록매체
US20230060314A1 (en) Method and apparatus with image processing
JP6210717B2 (ja) 画像再生装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161222

R150 Certificate of patent or registration of utility model

Ref document number: 6068351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees