JP7422454B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7422454B2 JP7422454B2 JP2019184741A JP2019184741A JP7422454B2 JP 7422454 B2 JP7422454 B2 JP 7422454B2 JP 2019184741 A JP2019184741 A JP 2019184741A JP 2019184741 A JP2019184741 A JP 2019184741A JP 7422454 B2 JP7422454 B2 JP 7422454B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- information
- lighting effect
- accuracy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 102
- 238000003672 processing method Methods 0.000 title claims 2
- 230000000694 effects Effects 0.000 claims description 307
- 238000003384 imaging method Methods 0.000 claims description 106
- 239000000284 extract Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 145
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 230000006854 communication Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 239000006185 dispersion Substances 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
<距離情報に応じた画像へのライティング効果付与>
被写体の距離情報に応じて画像にライティング効果を付与する際に、近くの被写体ほど明るく照らすようなライティング効果を付与するためには、距離情報が、被写体と背景との前後関係が判別できる程度の精度を有している必要がある。また、被写体に対して任意の角度から光源からの光が当たっているように見せるライティング効果を付与するためには、距離情報が、被写体の顔の凹凸が判別できる程度の精度を有している必要がある。このように、ライティング効果によって距離情報に求められる精度がある。しかし、距離情報が所望のライティング効果を付与するのに十分な精度ではない場合には、所望のライティング効果が得られない場合があった。そこで、本実施形態においては、ライティング効果を画像に付与する際に用いる距離情報の精度に応じて、画像に付与するのに適したライティング効果の候補をユーザに提示する。これにより、ユーザは、画像に対応して取得した距離情報に適したライティング効果を選択することができる。その結果、本実施形態においては、距離情報の精度に応じて付与可能なライティング効果とユーザが意図するライティング効果とが一致しないことによって、ユーザが意図していないライティング効果が画像に付与されることを抑制することができる。
図1(a)は、情報処理装置1のハードウェア構成の一例を示す図である。情報処理装置1は、スマートフォンやタブレットPC(パーソナルコンピュータ)等の通信機能及び撮像機能を備えた機器により実現される。情報処理装置1は、CPU101と、ROM102と、RAM103と、入出力インタフェース(I/F)104と、タッチパネルディスプレイ105と、撮像部106と、通信I/F107と、を有する。CPU101は、RAM103をワークメモリとして、ROM102、記憶装置110などに格納されたOS(オペレーティングシステム)や各種プログラムを実行する。また、CPU101は、システムバス108を介して各構成を制御する。尚、後述するフローチャートによる処理は、ROM102や記憶装置110などに格納されたプログラムコードがRAM103に展開され、CPU101によって実行される。入出力I/F104には、シリアルバス109を介して、記憶装置110が接続される。記憶装置110は、HDD(ハードディスクドライブ)である。タッチパネルディスプレイ105は、画像の表示を行うディスプレイと、指などの指示体によるタッチの位置を検出するタッチパネルと、が一体となった入出力部である。撮像部106は、撮像対象の画像を取得する撮像部である。
情報処理装置1の論理構成例を説明する。図3は、本実施形態における情報処理装置1の論理構成を示すブロック図である。情報処理装置1は、CPU101がROM102に格納されたプログラムをRAM103をワークメモリとして実行することによって、図3に示す論理構成として機能する。尚、以下に示す処理の全てが必ずしもCPU101によって実行される必要はなく、処理の一部または全てがCPU101以外の一つまたは複数の処理回路によって行われるように情報処理装置1が構成されていてもよい。
図4は、情報処理装置1が実行する処理を示すフローチャートである。本実施形態においては、距離画像データに基づいて設定された距離精度に応じて、カラー画像に適用可能なライティング効果を提示する。以下、各ステップ(工程)は符号の前にSをつけて表す。
S402における、ライティング効果リストを決定する処理について説明する。図5は、ライティング効果リストを決定する処理を示すフローチャートである。ライティング効果リスト決定部302は、カラー画像において被写体の顔に対応する顔領域を抽出し、距離画像における顔領域に対応する距離値に基づいて距離精度を設定する。ライティング効果リスト決定部302は、設定した距離精度に基づいて、ライティング効果リストに含めるライティング効果を決定する。
S404における、カラー画像を補正する処理について説明する。図8は、カラー画像を補正する処理を示すフローチャートである。ライティング処理部304は、距離画像データに基づいて法線画像データを生成する。ライティング処理部304は、距離画像データ及び法線画像データに基づいて、カラー画像を補正する。
E=Σi(axi+byi+c-zi)2・・・式(1)
S807、S808、S809における、カラー画像を補正する処理について説明する。ライティング処理部304は、カラー画像に付与するライティング効果に応じて、補正に用いるパラメータを切り替える。これにより、同一の処理手順を用いて、所望の方向から光を当てたように陰影をつけることにより立体感を強調するライティング効果や、背景を暗くすることにより前景の被写体に光を当てたように強調するライティング効果を被写体に付与する。以下、具体的な処理手順の例を述べる。まず、ライティング処理部304は、式(4)に従って、カラー画像の背景の明るさを補正する。カラー画像の画素値をI、背景の明るさが補正されたカラー画像の画素値をI’とする。
I’=(1-β)I+βD(d)I・・・式(4)
I’’=I’+αD(d)H(n,L)I’・・・式(5)
S406における、ライティング効果の候補を表示する処理について説明する。図10は、本実施形態におけるライティング効果(「OFF」、「顔を強調」、「被写体を強調」、「光源の位置を指定」)に対応するアイコンの例である。ライティング効果表示制御部306は、ライティング効果リストに含まれるライティング効果群に基づいて、各ライティング効果に対応するアイコンを表示する。図11にライティング効果の表示例を示す。ライティング効果表示制御部306は、ライティング効果に対応するアイコンを表示する。距離精度が「低」の場合は、図11(a)のように「OFF」、「顔を強調」に対応するアイコンを表示する。距離精度が「中」の場合は、図11(b)のように「OFF」、「顔を強調」、「被写体を強調」に対応するアイコンを表示する。距離精度が「高」の場合は、図11(c)のように「OFF」、「顔を強調」、「被写体を強調」、「光源の位置を指定」に対応するアイコンを表示する。選択されているライティング効果のアイコンは、枠で囲んだり色を変えたりするなどして、選択されていない他のライティング効果のアイコンと区別できるように表示する。
以上説明したように、本実施形態における情報処理装置は、画像を表す画像データと、画像データに対応する距離情報と、を取得する。画像に距離情報に応じたライティング効果を付与する際に画像に付与可能なライティング効果の候補を、距離情報の精度に基づいて決定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。また、このユーザへの提示により、距離情報の精度に応じて付与可能なライティング効果とユーザが意図するライティング効果とが一致しないことによって、ユーザが意図していないライティング効果が画像に付与されることを抑制することができる。
本実施形態においては、S502において背景を示す距離値を有する画素を所定の数以上含む場合に距離精度が低いと判定したが、カラー画像データに対応する距離画像データが存在しない場合も距離精度が低いと判定するようにしてもよい。
第1実施形態においては、距離画像データに基づいて距離精度を設定した。本実施形態においては、画像データにタグ情報として付与された撮像装置情報に基づいて距離精度を設定する。尚、本実施形態における情報処理装置1のハードウェア構成は、図1(b)に示すものであるとする。すなわち、本実施形態においては、情報処理装置1には撮像部は内臓されておらず、画像データは外部から取得するものとする。情報処理装置1の論理構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
本実施形態は、第1実施形態と比較して、S402におけるライティング効果リストを決定する処理が異なる。本実施形態におけるライティング効果リスト決定部302は、画像データに付与された撮像装置情報に基づいて、距離精度を判定する。尚、撮像装置情報には、撮像装置名、撮像装置が距離情報を取得可能か否か、距離情報の取得方法などが含まれるものとする。また、距離情報を取得するために被写体に光を投影する撮像装置は、他の撮像装置と比べて、最も高精度に距離情報を取得できるものとする。その他の方法により距離情報を取得する撮像装置は、その次に精度の高い距離情報を取得することができるものとする。距離情報を取得できない撮像装置を用いた場合が最も距離情報の精度が低いものとする。以下、ライティング効果リストを決定する処理の詳細について説明する。
図13は、ライティング効果リストを決定する処理を示すフローチャートである。S1301において、ライティング効果リスト決定部302は、カラー画像データのタグ情報から撮像装置情報を取得する。撮像装置情報は、カラー画像データと距離画像データとを生成するために用いた撮像装置を特定する情報である。本実施形態においては、情報処理装置1が撮像部106を有しているため、情報処理装置1を撮像装置として扱う。S1302において、ライティング効果リスト決定部302は、撮像装置情報に基づいて、撮像装置が距離情報を取得できるか否かを判定する。撮像装置が距離情報を取得できる場合はS1304に進み、撮像装置が距離情報を取得できない場合はS1303に進む。
以上説明したように、本実施形態における情報処理装置は、画像データに対応する撮像装置が距離情報を取得する機能を有するか否かに基づいて、距離情報の精度を判定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
本実施形態においては、被写体に光を投影するか否かに応じて距離精度を判定したが、複数のカメラで撮像するか否かに応じて距離精度を判定してもよい。この場合、1つのカメラで撮像する場合よりも、複数のカメラで撮像する場合に距離精度が高くなるように設定する。図28は、ライティング効果リストを決定する処理を示すフローチャートである。図13と比較して、S2804が異なる。S2804において、ライティング効果リスト決定部302は、撮像装置が複数のカメラで被写体を撮像するか否かを判定する。1つのカメラで撮像する場合はS2805に進み、複数のカメラで撮像する場合はS2806に進む。1つのカメラで撮像する場合、レンズによるボケの大きさに基づいて距離情報を取得する方法や、撮像画像における被写体の認識結果に基づいて距離情報を取得する方法などが知られている。複数のカメラで撮像する場合、ボケの大きさや被写体の認識結果に加えてカメラ位置の違いによる視差情報に基づいて距離情報を取得することができる。このため、1つのカメラで撮像する場合よりも、複数のカメラで撮像する場合の方が精度の高い距離情報を取得できる。
第1実施形態においては、距離画像データに基づいて距離精度を設定した。本実施形態においては、撮像部106から、撮像の際にフォーカスを合わせた被写体の位置までの距離(以下、被写体距離と呼ぶ)に基づいて距離精度を設定する。尚、本実施形態における情報処理装置1のハードウェア構成及び論理構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
本実施形態は、第1実施形態と比較して、S402におけるライティング効果リストを決定する処理が異なる。本実施形態におけるライティング効果リスト決定部302は、カラー画像データに対応する被写体距離情報に基づいて、距離精度を判定する。尚、被写体距離情報は、撮像部106から、撮像の際にフォーカスを合わせた被写体の位置までの距離値を表す情報である。ライティング効果リスト決定部302は、被写体距離が小さいほど距離精度が高いと判定する。具体的には、被写体距離を予め定められた値L1、L2(L1>L2)と比較することにより、距離精度を判定する。以下、ライティング効果リストを決定する処理の詳細について説明する。
図14は、ライティング効果リストを決定する処理を示すフローチャートである。S1401において、ライティング効果リスト決定部302は、カラー画像データのタグ情報から被写体距離情報を取得する。S1402において、ライティング効果リスト決定部302は、被写体距離がL1以上であるか否かを判定する。被写体距離がL1以上であると判定した場合はS1403に進み、被写体距離がL1未満であると判定した場合はS1404に進む。S1403において、ライティング効果リスト決定部302は、距離精度を「低」に設定する。
以上説明したように、本実施形態における情報処理装置は、画像データに対応する被写体距離情報に基づいて、距離情報の精度を判定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
第1実施形態においては、距離画像データに基づいて距離精度を設定した。本実施形態においては、撮像されたシーンに基づいて距離精度を設定する。尚、本実施形態における情報処理装置1のハードウェア構成及び論理構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
本実施形態は、第1実施形態と比較して、S402のライティング効果リストを決定する処理が異なる。本実施形態におけるライティング効果リスト決定部302は、カラー画像データを得るための撮像の際に撮像されたシーンに基づいて、距離精度を判定する。ライティング効果リスト決定部302は、人物の有無と動きの有無とに応じて撮像シーンを判定する。本実施形態においては、ライティング効果を付与する対象を人物とするため、人物を含まないシーンは最も距離精度が低いものとする。また、人物を含む動きのないシーンを最も距離精度が高いものとする。また、人物を含む動きのあるシーンを次に距離精度が高いものとする。以下、ライティング効果リストを決定する処理の詳細について説明する。
図15は、ライティング効果リストを決定する処理を示すフローチャートである。S1501において、ライティング効果リスト決定部302は、カラー画像データに基づいて、撮像シーンの判定を行う。具体的に、ライティング効果リスト決定部302は、カラー画像に人物が含まれているか否かの判定と、カラー画像に動きのあるシーンが含まれているか否かと、を判定する。人物の有無の判定は、カラー画像から検出された顔領域の数に基づいて行う。顔領域の数が1つ以上ある場合はカラー画像に人物が含まれていると判定し、顔領域が検出されない場合はカラー画像に人物が含まれていないと判定する。顔領域の検出は、第1実施形態におけるS501の処理と同じ方法を利用する。動きの有無の判定は、カラー画像における、被写体に対応する領域の高周波成分の強度に基づいて行う。高周波成分の強度が予め定められた値以上である場合に動きがないと判定し、高周波成分の強度が予め定められた値未満である場合に動きがあると判定する。高周波成分の強度は、ラプラシアンフィルタ等のエッジ抽出フィルタ適用後のカラー画像における画素値の絶対値の総和とする。尚、高周波成分の強度は、カラー画像に公知のFFTを適用することにより導出される周波数空間におけるパワースペクトルであってもよい。また、動きの有無の判定は、ライティング効果を付与する対象のカラー画像を得るための撮像の直前あるいは直後に撮像を行い、対象のカラー画像と直前又は直後の撮像に対応するカラー画像との差分の大きさに基づいて判定してもよい。この場合は、差分が予め定められた値以下である場合に動きがないと判定し、差分が予め定められた値より大きい場合に動きがあると判定すればよい。
以上説明したように、本実施形態における情報処理装置は、撮像シーンに基づいて、距離精度を設定する。具体的には、カラー画像に人物が含まれているか否かや、カラー画像に動いている被写体の一時的な状態が含まれているか否かに基づいて、距離精度を設定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
第1実施形態においては、距離画像データに基づいて距離精度を設定した。本実施形態においては、予め設定された人物情報に基づいて距離精度を設定する。尚、本実施形態における情報処理装置1のハードウェア構成及び論理構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
本実施形態は、第1実施形態と比較して、S402のライティング効果リストを決定する処理が異なる。本実施形態におけるライティング効果リスト決定部302は、距離画像データに基づいて距離精度を設定した後、予め設定された人物情報に基づいて距離精度を更新する。尚、人物情報には、人物名、人物画像データ、人物距離画像データ、人物距離精度が含まれているものとする。人物情報の例を図16に示す。人物画像データは、少なくとも人物の顔を含む画像を表す画像データであり、対応する人物の顔領域が設定されている。人物距離画像データは、人物画像データに対応する距離画像データである。人物距離精度は、人物距離画像データが有する距離情報の精度を表しており、上述した距離精度と同様に「高」、「中」、「低」のいずれかに設定される。尚、複数の人物それぞれに対応する人物情報を予め設定できるものとする。以下、ライティング効果リストを決定する処理の詳細について説明する。
図17は、ライティング効果リストを決定する処理を示すフローチャートである。S1701において、ライティング効果リスト決定部302は、距離画像データに基づいて、距離精度を設定する。S1701の処理は、第1実施形態におけるS501からS506までの処理と同等であるため説明を省略する。
以上説明したように、本実施形態における情報処理装置は、予め設定された人物情報に基づいて、距離精度を設定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
本実施形態においては、S1705において人物情報の更新を行ったが、S1705の処理を省略してもよい。
本実施形態においては、ユーザ操作に基づいて撮像方法を設定する。また、設定された撮像方法に基づいてライティング効果リストを決定する。尚、本実施形態における情報処理装置1のハードウェア構成及び論理構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
本実施形態においては、カラー画像データを得るための撮像における撮像方法に基づいて、距離精度を設定する。図18は、本実施形態において情報処理装置1が実行する処理を示すフローチャートである。S1801において、画像データ取得部301は、入出力部309から取得したユーザ操作に基づいて、画像データを取得するための撮像方法を設定する。本実施形態においては、情報処理装置1のディスプレイ面に備えられるインカメラ201と、情報処理装置1の背面に備えられるメインカメラ202と、のどちらで撮像を行うかを選択する。尚、本実施形態において、インカメラ201は距離情報を取得できない単眼カメラとする。また、メインカメラ202は視差情報に基づいて距離画像データを取得できるカメラとする。
以上説明したように、本実施形態における情報処理装置は、カラー画像データを得るための撮像における撮像方法に基づいて、距離精度を設定する。これにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
本実施形態においては、インカメラ201を距離情報を取得できないカメラとし、メインカメラ202を視差情報に基づいて距離画像データを取得するカメラとしたが、カメラの組み合わせはこれに限られない。距離情報を取得するために被写体に光を投影するカメラをインカメラ201もしくはメインカメラ202としてもよい。あるいは、3つ以上のカメラを切り替えるようにしてもよい。
上述した実施形態おいては、ユーザ操作に基づいて選択されたライティング効果に応じてライティング効果をカラー画像に付与した。本実施形態においては、ライティング効果をカラー画像に付与する処理において用いるパラメータ(以下、ライティングパラメータと呼ぶ)をユーザ操作に基づいて設定する。尚、本実施形態における情報処理装置1のハードウェア構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
図20は、本実施形態における情報処理装置1の論理構成を示すブロック図である。情報処理装置1は、CPU101がROM102に格納されたプログラムをRAM103をワークメモリとして実行することによって、図20に示す論理構成として機能する。尚、以下に示す処理の全てが必ずしもCPU101によって実行される必要はなく、処理の一部または全てがCPU101以外の一つまたは複数の処理回路によって行われるように情報処理装置1が構成されていてもよい。
本実施形態においては、距離画像データに基づいて、ライティングパラメータの調整範囲を設定する。さらに、ユーザ操作に基づいて設定したライティングパラメータに応じて、カラー画像にライティング効果を付与する。図21は、本実施形態において情報処理装置1が実行する処理を示すフローチャートである。
図22は、ライティングパラメータの調整範囲を設定する処理を示すフローチャートである。S2201において、パラメータ調整範囲設定部2002は、距離画像データに基づいて、距離精度を設定する。S2201の処理は、第1実施形態におけるS501からS506までの処理と同等であるため説明を省略する。
図24は、カラー画像を補正する処理を示すフローチャートである。S2401において、ライティング処理部2004は、S2102において設定された距離精度を判定する。距離精度が「高」である場合はS2402に進み、距離精度が「高」である場合はS2402に進み、距離精度が「中」、「低」である場合はS2403に進む。S2402において、ライティング処理部2004は、距離画像データに基づいて、法線画像データを生成する。S2402の処理は、第1実施形態におけるS803の処理と同等であるため説明を省略する。
I’’=I+wαD(d)H(n,L)I・・・式(7)
ここでは、S2106におけるインタフェースの表示について説明する。図25にインタフェースの表示例を示す。本実施形態において、インタフェース表示制御部2006は、ライティングパラメータを調整するためのスライダーやボタンを補正画像に重畳して表示する。距離精度が「低」の場合は、図25(a)のように、ライティング効果のON/OFFを切り替えるボタンを表示する。距離精度が「中」の場合は、図25(b)のように、ON/OFFを切り替えるボタンと、光源の明るさを調整するためのスライダーと、を表示する。距離精度が「高」の場合は、図25(c)のように、ON/OFFを切り替えるボタンと、明るさを調整するスライダーと、光源の位置を調整するためのスライダーと、を表示する。入出力部2009に表示されたインタフェースに対するユーザ操作により、ライティングパラメータを調整することができる。
以上説明したように、本実施形態における情報処理装置は、距離精度に基づいて、ライティングパラメータの調整範囲を設定する。このように、距離精度に応じてライティングパラメータの調整範囲を制限することにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
本実施形態においては、距離精度に応じて調整可能なパラメータの数を変えたが、距離精度に応じてパラメータの調整可能範囲を変えてもよい。例えば、距離精度に応じて光源の位置の調整範囲を切り替えてもよい。図23(b)に、距離精度に基づくライティングパラメータの設定方法の例を示す。また、距離精度が「中」の場合の表示画像の例を図25(d)に示す。この例においては、距離精度が「中」の場合は、光源の位置を狭い範囲において調整できるように設定する。図25(d)に示す距離精度が「中」の場合の表示画像は、図25(c)に示す距離精度が「高」の場合の表示画像よりも、光源の位置を調整するためのスライダーの可動範囲が狭くなっている。
第7実施形態おいては、距離精度に基づいて、ライティングパラメータの調整範囲を設定した。本実施形態においては、撮像方法に基づいて、ライティングパラメータの調整範囲を設定する。尚、本実施形態における情報処理装置1のハードウェア構成及び論理構成は第7実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第7実施形態とで異なる部分を主に説明する。尚、第7実施形態と同一の構成については、同一の符号を付して説明する。
図26は、本実施形態において情報処理装置1が実行する処理を示すフローチャートである。S2601において、画像データ取得部2001は、入出力部2009から取得したユーザ操作に基づいて、画像データを取得するための撮像方法を設定する。本実施形態においては、情報処理装置1のディスプレイ面に備えられるインカメラ201と、情報処理装置1の背面に備えられるメインカメラ202と、のどちらで撮像を行うかを選択する。尚、本実施形態において、インカメラ201は距離情報を取得できない単眼カメラとする。また、メインカメラ202は視差情報に基づいて距離画像データを取得できるカメラとする。
以上説明したように、本実施形態における情報処理装置は、カラー画像データを得るための撮像における撮像方法に基づいて、ライティングパラメータの調整範囲を設定する。このように、撮像方法に応じてライティングパラメータの調整範囲を制限することにより、被写体の距離情報に応じて画像にライティング効果を付与するために、適したライティング効果の候補を決定することができる。
本実施形態においては、インカメラ201を距離情報を取得できないカメラとし、メインカメラ202を視差情報に基づいて距離画像データを取得するカメラとしたが、カメラの組み合わせはこれに限られない。距離情報を取得するために被写体に光を投影するカメラをインカメラ201もしくはメインカメラ202としてもよい。あるいは、3つ以上のカメラを切り替えるようにしてもよい。
上述した実施形態において、情報処理装置1のハードウェア構成は、図1(a)に示した構成であったが、情報処理装置1のハードウェア構成は上記の例に限られない。例えば、情報処理装置1のハードウェア構成は、図1(b)に示す構成であってもよい。情報処理装置1は、CPU101と、ROM102と、RAM103と、VC(ビデオカード)111と、汎用I/F114と、SATA(シリアルATA)I/F118と、を有する。CPU101は、RAM103をワークメモリとして、ROM102、記憶装置110などに格納されたOSや各種プログラムを実行する。また、CPU101は、システムバス108を介して各構成を制御する。汎用I/F114には、シリアルバス115を介して、マウスやキーボードなどの入力デバイス116や撮像装置117が接続される。SATAI/F118には、シリアルバス119を介して、記憶装置110が接続される。VC111には、シリアルバス112を介して、ディスプレイ113が接続される。CPU101は、プログラムによって提供されるUI(ユーザインタフェース)をディスプレイ113に表示し、入力デバイス116を介して得られたユーザの指示を表す入力情報を受信する。図1(b)に示す情報処理装置1は、例えば、デスクトップ型のPCによって実現される。尚、情報処理装置1は、撮像装置117と一体となったデジタルカメラや、ディスプレイ113と一体となったPCなどによっても実現される。
301 画像データ取得部
302 ライティング効果リスト決定部
Claims (20)
- 画像を表す画像データを取得する第1取得手段と、
前記画像データに対応する距離情報を取得する第2取得手段と、
前記画像に前記距離情報に応じたライティング効果を付与する際に前記画像に付与可能なライティング効果の候補を、前記距離情報の精度に基づいて決定する決定手段と、
を有することを特徴とする情報処理装置。 - 前記距離情報の精度を判定する判定手段をさらに有し、
前記決定手段は、前記判定手段による判定の結果に基づいて、前記画像に付与可能なライティング効果の候補を決定することを特徴とする請求項1に記載の情報処理装置。 - 前記判定手段は、前記距離情報に基づいて、前記距離情報の精度を判定することを特徴とする請求項2に記載の情報処理装置。
- 前記判定手段は、前記画像における被写体に対応する領域について、前記距離情報の精度を判定することを特徴とする請求項3に記載の情報処理装置。
- 前記判定手段は、前記画像から前記被写体の顔の凹凸が特定できるか否かに応じて、前記距離情報の精度を判定することを特徴とする請求項4に記載の情報処理装置。
- 前記判定手段は、前記距離情報を取得するために用いる撮像手段に関する情報に基づいて、前記距離情報の精度を判定することを特徴とする請求項2に記載の情報処理装置。
- 前記判定手段は、前記距離情報を取得するための撮像手段が距離情報を取得する機能を有するか否かに基づいて、前記距離情報の精度を判定することを特徴とする請求項6に記
載の情報処理装置。 - 前記機能は、被写体に光を投影することにより距離情報を取得する機能であることを特徴とする請求項7に記載の情報処理装置。
- 前記判定手段は、前記画像データを得るための撮像におけるフォーカスの位置に基づいて、前記距離情報の精度を判定することを特徴とする請求項2に記載の情報処理装置。
- 前記判定手段は、前記画像データを得るために撮像されたシーンに基づいて、前記距離情報の精度を判定することを特徴とする請求項2に記載の情報処理装置。
- 前記判定手段は、前記シーンに人物が含まれるか否かに基づいて、前記距離情報の精度を判定することを特徴とする請求項10に記載の情報処理装置。
- 前記判定手段は、前記シーンに動いている被写体の一時的な状態が含まれているか否かに基づいて、前記距離情報の精度を判定することを特徴とする請求項10又は請求項11に記載の情報処理装置。
- 前記判定手段は、前記画像に含まれる人物に対応する情報に基づいて、前記距離情報の精度を判定することを特徴とする請求項2に記載の情報処理装置。
- 人物を特定する人物情報を取得する第3取得手段をさらに有し、
前記判定手段は、前記画像から人物の顔に対応する領域を抽出し、抽出した前記領域における前記顔と、前記人物情報が特定する人物の顔と、の類似度に基づいて、前記距離情報の精度を判定することを特徴とする請求項13に記載の情報処理装置。 - 前記画像に付与可能なライティング効果の候補を提示する提示手段を制御する制御手段をさらに有し、
前記制御手段は、前記画像に付与可能なライティング効果を表すアイコンを表示手段に表示することを特徴とする請求項1乃至請求項14のいずれか一項に記載の情報処理装置。 - 前記制御手段は、前記ライティング効果が付与された前記画像に、前記アイコンを重畳して前記表示手段に表示することを特徴とする請求項15に記載の情報処理装置。
- 前記画像に付与可能なライティング効果の候補を提示する提示手段を制御する制御手段をさらに有し、
前記制御手段は、前記画像に付与可能なライティング効果の候補を、表示手段においてライティング効果を調整可能な範囲を示すことにより提示することを特徴とする請求項1乃至請求項14のいずれか一項に記載の情報処理装置。 - 前記制御手段は、前記ライティング効果を調整可能な範囲を、ユーザのタッチが検出されることにより移動するスライダーを前記表示手段に表示することにより提示することを特徴とする請求項17に記載の情報処理装置。
- コンピュータを請求項1乃至請求項18のいずれか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
- 画像を表す画像データを取得する第1取得ステップと、
前記画像データに対応する距離情報を取得する第2取得ステップと、
前記画像に前記距離情報に応じたライティング効果を付与する際に前記画像に付与可能なライティング効果の候補を、前記距離情報の精度に基づいて決定する決定ステップと、を有することを特徴とする情報処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010008485.4A CN111541840B (zh) | 2019-02-06 | 2020-01-06 | 确定照明效果候选的信息处理设备、方法及存储介质 |
US16/775,793 US11210767B2 (en) | 2019-02-06 | 2020-01-29 | Information processing apparatus to determine candidate for lighting effect, information processing method, and storage medium |
KR1020200010331A KR102565151B1 (ko) | 2019-02-06 | 2020-01-29 | 라이팅 효과에 대한 후보를 결정하기 위한 정보 처리 장치, 정보 처리 방법, 및 저장 매체 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019020147 | 2019-02-06 | ||
JP2019020147 | 2019-02-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020126582A JP2020126582A (ja) | 2020-08-20 |
JP7422454B2 true JP7422454B2 (ja) | 2024-01-26 |
Family
ID=72084947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019184741A Active JP7422454B2 (ja) | 2019-02-06 | 2019-10-07 | 情報処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7422454B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160330434A1 (en) | 2015-05-08 | 2016-11-10 | Lite-On Electronics (Guangzhou) Limited | Control method of a depth camera |
US20170084068A1 (en) | 2015-09-17 | 2017-03-23 | Samsung Electronics Co., Ltd. | Apparatus and method for adjusting brightness of image |
JP2017204673A (ja) | 2016-05-09 | 2017-11-16 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2018010497A (ja) | 2016-07-14 | 2018-01-18 | キヤノン株式会社 | 画像処理装置 |
-
2019
- 2019-10-07 JP JP2019184741A patent/JP7422454B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160330434A1 (en) | 2015-05-08 | 2016-11-10 | Lite-On Electronics (Guangzhou) Limited | Control method of a depth camera |
US20170084068A1 (en) | 2015-09-17 | 2017-03-23 | Samsung Electronics Co., Ltd. | Apparatus and method for adjusting brightness of image |
JP2017204673A (ja) | 2016-05-09 | 2017-11-16 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2018010497A (ja) | 2016-07-14 | 2018-01-18 | キヤノン株式会社 | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020126582A (ja) | 2020-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9846803B2 (en) | Makeup supporting device, makeup supporting system, makeup supporting method, and non-transitory computer-readable recording medium | |
JP6864449B2 (ja) | イメージの明るさを調整する方法及び装置 | |
US9760976B2 (en) | Image processing apparatus and image processing method | |
US8515172B2 (en) | Segmentation of image data | |
CN105611275B (zh) | 执行电子装置的多照相机捕捉控制的方法及其设备 | |
US10139218B2 (en) | Image processing apparatus and image processing method | |
CN111541840B (zh) | 确定照明效果候选的信息处理设备、方法及存储介质 | |
DE112020003794T5 (de) | Tiefenbewusste Fotobearbeitung | |
EP3588456A1 (en) | Image processing apparatus, image processing method, and program | |
US20090168027A1 (en) | Projector system employing depth perception to detect speaker position and gestures | |
US20160117832A1 (en) | Method and apparatus for separating foreground image, and computer-readable recording medium | |
US9679415B2 (en) | Image synthesis method and image synthesis apparatus | |
KR20160021607A (ko) | 배경 화면을 디스플레이하는 방법 및 장치 | |
KR20170002308A (ko) | 물체 영역에 근거하여 화상을 처리하는 장치 및 그 방법 | |
CN108986016A (zh) | 图像美化方法、装置及电子设备 | |
WO2019036866A1 (zh) | 控制方法、控制装置、智能镜子和计算机可读存储介质 | |
DE102015110955A1 (de) | Informationsverarbeitungsvorrichtung zum Erfassen eines Objekts von einem Bild, Verfahren zum Steuern der Vorrichtung und Speichermedien | |
KR102459851B1 (ko) | 이미지의 밝기를 조절하는 방법 및 장치 | |
US20130162518A1 (en) | Interactive Video System | |
US20140198177A1 (en) | Realtime photo retouching of live video | |
JP7422454B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN107430841B (zh) | 信息处理设备、信息处理方法、程序以及图像显示系统 | |
CN111652792B (zh) | 图像的局部处理、直播方法、装置、设备和存储介质 | |
US10497103B2 (en) | Information processing apparatus, information processing system, information processing method, and recording medium | |
JP2019021333A (ja) | 画像処理装置及び画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220930 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240110 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7422454 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |