JP7293362B2 - 撮影方法、装置、電子機器及び記憶媒体 - Google Patents

撮影方法、装置、電子機器及び記憶媒体 Download PDF

Info

Publication number
JP7293362B2
JP7293362B2 JP2021536722A JP2021536722A JP7293362B2 JP 7293362 B2 JP7293362 B2 JP 7293362B2 JP 2021536722 A JP2021536722 A JP 2021536722A JP 2021536722 A JP2021536722 A JP 2021536722A JP 7293362 B2 JP7293362 B2 JP 7293362B2
Authority
JP
Japan
Prior art keywords
foreground
image
acquisition device
image acquisition
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021536722A
Other languages
English (en)
Other versions
JP2022543510A (ja
Inventor
リー,ロンチュン
リー,ウェイグォ
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010598649.3A external-priority patent/CN111935393A/zh
Application filed by バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド
Publication of JP2022543510A publication Critical patent/JP2022543510A/ja
Application granted granted Critical
Publication of JP7293362B2 publication Critical patent/JP7293362B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera

Description

本出願は、バイドゥ オンライン ネットワーク テクノロジー (ペキン) カンパニー リミテッドが2020年06月28日に提出した、発明の名称が「撮影方法、装置、電子機器及び記憶媒体」であり、中国特許出願番号が「202010598649.3」である優先権を主張する。
本開示は、画像処理分野に関し、具体的には、コンピュータビジョン、人工知能、深層学習技術の分野に関し、特に撮影方法、装置、電子機器及び記憶媒体に関する。
電子機器の普及に伴い、電子機器の撮影機能を利用して写真を撮影したり、生活を記録したりすることを好むユーザが増えている。しかしながら、ユーザが高品質な写真を撮影しようとすると、撮影角度、光線などの様々な要因を考慮する必要があり、これは、一般的なユーザにとって操作が困難である。
関連技術において、ユーザが複数枚の写真を撮影し、その中からお気に入りの写真を1枚選択する。あるいは、後画像処理によってお気に入りの写真を取得することもできる。
本開示は、上記技術問題の少なくとも1つをある程度で解決することを目的とする。
本開示は、撮影方法、装置、電子機器及び記憶媒体を提出し、ユーザが画像を撮影する際に、ユーザのために最適な撮影位置を自動的に算出することを実現し、本開示では目標撮影位置と記し、当該目標撮影位置を提示することにより、ユーザが、提示情報に基づいて、画像収集機器を目標撮影位置に移動させて撮影することができ、イメージング効果を向上させることができる一方で、ユーザが画像を繰り返し撮影して選別する必要がなく、ユーザが画像を後処理する必要もなく、ユーザエクスペリエンスを改善することができ、関連技術におけるユーザが複数枚の写真を撮影し、その中からお気に入りの写真を1枚選択するという方式では、長い時間をかけて撮影する必要があり、長い時間をかけて写真を選択する必要もあり、ユーザのフィーリングが高くないという技術問題を解決し、関連技術における後画像処理によってお気に入りの写真を取得する方式では、より多くの時間や精力を費やす必要があり、すべてのユーザがいずれも画像処理できるわけではなく、ユーザのニーズを満足できないという技術問題を解決する。
本開示の第1の態様の実施例は、撮影方法を提出し、画像収集機器によって収集されたプレビュー画像を取得するステップと、前記プレビュー画像の前景及び背景に対して、前記画像収集機器との間の相対距離及び相対角度をそれぞれ検出するステップと、前記相対距離及び前記相対角度に基づいて、前記画像収集機器の目標撮影位置を決定するステップであって、前記目標撮影位置で前記前景及び前記背景を撮影して取得された画面は、設定された構図戦略と一致しているステップと、前記目標撮影位置の提示情報を表示して、前記画像収集機器を前記目標撮影位置に移動させる必要があることを提示するステップと、を含む。
本開示の第2の態様の実施例は、撮影装置を提出し、画像収集機器によって収集されたプレビュー画像を取得するための取得モジュールと、前記プレビュー画像の前景及び背景に対して、前記画像収集機器との間の相対距離及び相対角度をそれぞれ検出するための検出モジュールと、前記相対距離及び前記相対角度に基づいて、前記画像収集機器の目標撮影位置を決定するための決定モジュールであって、前記目標撮影位置で前記前景及び前記背景を撮影して取得された画面は、設定された構図戦略と一致している決定モジュールと、前記目標撮影位置の提示情報を表示して、前記画像収集機器を前記目標撮影位置に移動させる必要があることを提示するための表示モジュールと、を含む。
本開示の第3の態様の実施例は、電子機器を提出し、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサに通信可能に接続されるメモリと、を含み、前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも1つのプロセッサが本開示の第1の態様の実施例によって提出される撮影方法を実行できるように、前記少なくとも1つのプロセッサによって実行される。
本開示の第4の態様の実施例は、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提出し、前記コンピュータ命令は、前記コンピュータに本開示の第1の態様の実施例によって提出される撮影方法を実行させる。
本開示の第5の態様の実施例は、コンピュータプログラムを提出し、前記コンピュータプログラムは、コンピュータに本開示の第1の態様の実施例によって提出される撮影方法を実行させる。
上記出願における一実施例は、以下のような利点又は有益な効果を有する。
画像収集機器によって収集されたプレビュー画像に対して前景及び背景を認識し、前景及び背景と画像収集機器との間の相対距離及び相対角度をそれぞれ検出し、相対距離及び相対角度に基づいて、画像収集機器の目標撮影位置を決定し、ここで、目標撮影位置で前景及び背景を撮影して取得された画面は、設定された構図戦略と一致し、最後に目標撮影位置の提示情報を表示して、画像収集機器を目標撮影位置に移動させる必要があることを提示する。これにより、ユーザが画像を撮影する際に、ユーザのために最適な撮影位置を自動的に算出することができ、本開示では目標撮影位置と記し、当該目標撮影位置を提示することにより、ユーザが、提示情報に基づいて、画像収集機器を目標撮影位置に移動させて撮影することができ、イメージング効果を向上させることができる一方で、ユーザが画像を繰り返し撮影して選別する必要がなく、ユーザが画像を後処理する必要もなく、ユーザエクスペリエンスを改善することができる。
なお、本部分に記載された内容は、本開示の実施例の肝心または重要な特徴を限定することを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明によって容易に理解されやすくなる。
図面は、本技術案をよりよく理解するために使用され、本開示を限定するものではない。
本開示の実施例1により提供される撮影方法の概略フローチャートである。 本開示の実施例における撮影インタフェースの概略図1である。 本開示の実施例における撮影インタフェースの概略図2である。 本開示の実施例2により提供される撮影方法の概略フローチャートである。 本開示の実施例3により提供される撮影方法の概略フローチャートである。 本開示の実施例4により提供される撮影方法の概略フローチャートである。 本開示の実施例5により提供される撮影装置の概略構成図である。 本開示の実施例6により提供される撮影装置の概略構成図である。 本開示の実施例の撮影方法を実現するための電子機器のブロック図である。
以下、図面と組み合わせて本開示の例示的な実施例を説明し、理解を容易にするためにその中には本開示の実施例の様々な詳細事項が含まれ、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本開示の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。
以下、図面を参照して本開示の実施例の撮影方法、装置、電子機器及び記憶媒体を説明する。
図1は、本開示の実施例1により提供される撮影方法の概略フローチャートである。
本開示の実施例は、当該撮影方法が撮影装置に配置されることを例として説明し、当該撮影装置は、電子機器が撮影機能を実行できるように、いずれかの電子機器に適用することができる。
ここで、電子機器は、計算能力のあるいずれかの機器であってもよく、例えば、パーソナルコンピュータ(Personal Computer、PCと略称する)、モバイル端末、サーバなどであってもよく、モバイル端末は、例えば、携帯電話、タブレット、パーソナルデジタルアシスタント、ウェアラブルデバイス、車載機器などの様々なオペレーティングシステム、タッチスクリーン及び/又はディスプレイを有するハードウェア機器であってもよい。
図1に示すように、当該撮影方法は、以下のステップを含むことができる。
ステップ101において、画像収集機器によって収集されたプレビュー画像を取得する。
本開示の実施例において、画像収集機器は、画像収集が可能な機器であり、例えば、電荷結合素子(Charge Coupled Device、CCDと略称する)、相補型金属酸化物半導体(Complementary Metal Oxide Semiconductor、CMOSと略称する)、薄膜トランジスタ(Thin Flim Transistor、TFTと略称する)などの画像収集機器であってもよく、または、携帯電話、タブレット、ウェアラブルデバイスなどのモバイル端末であってもよい。
本開示の実施例において、画像収集機器には、カメラが設けられてもよく、カメラによってプレビュー画像を収集する。例えば、画像収集機器には、赤緑青(Red Green Blue、RGBと略称する)カメラなどの可視光カメラが設けられてもよく、当該RGBカメラによってプレビュー画像を収集する。
ここで、カメラの設定された数を限定しておらず、例えば、1つであってもよく、又は複数であってもよい。かつ、カメラを電子機器に設ける形式を限定しておらず、例えば、電子機器に内蔵されるカメラであってもよいし、あるいは、電子機器に外付けられるカメラであってもよく、また例えば、フロントカメラであってもよいし、バックカメラであってもよい。ここで、カメラはいずれかのタイプのカメラであってもよく、例えば、カメラは、カラーカメラ、白黒カメラ、望遠カメラ、広角カメラなどであってもよく、ここでは限定されない。
ここで、電子機器に複数のカメラが設けられている場合、複数のカメラは、同じタイプのカメラであってもよいし、異なるタイプのカメラであってもよく、本開示ではこれを限定しない。例えば、いずれもカラーカメラであってもよいし、いずれも白黒カメラであってもよいし、あるいは、そのうちの1つのカメラが望遠カメラで、他のカメラが広角カメラであってもよい。
ステップ102において、プレビュー画像の前景及び背景に対して、画像収集機器との間の相対距離及び相対角度をそれぞれ検出する。
本開示の実施例の可能な一実現形態として、画像収集機器は、深度情報の収集が可能なカメラ、例えば、飛行時間(Time Of Flight、TOFと略称する)カメラ、構造光カメラ、RGB-D(Depth、深度)カメラなどの深度カメラをさらに含むことができる。プレビュー画像を収集するように可視光カメラを制御する際に、深度マップを同期して収集するように深度カメラを制御することができ、ここで、深度マップは、プレビュー画像における各画素点に対応する深度情報を示し、深度マップに基づいてプレビュー画像の前景及び背景を決定することができる。一般的に、深度情報は、撮像オブジェクトがカメラの存在する平面に近いことを示し、深度の値が小さい場合、当該オブジェクトを前景として決定することができ、そうでない場合、当該オブジェクトが背景である。さらに、深度マップにおける各オブジェクトの深度情報に基づいて、プレビュー画像の前景及び背景を決定することができる。
本開示の実施例の別の可能な実現形態として、画像収集機器は、メインカメラ及びサブカメラを含むことができ、メインカメラ及びサブカメラのうちの一方のカメラによりプレビュー画像を収集し、メインカメラ及びサブカメラのうちの他方のカメラによりテスト画像を収集することにより、テスト画像及びプレビュー画像に基づいて、プレビュー画像の深度情報を決定し、プレビュー画像の深度情報に基づいて、前景及び背景を決定することができる。
具体的には、メインカメラとサブカメラとの間に一定の距離があるため、この2つのカメラにはパララックスがあり、異なるカメラによって撮影された画像が異なるはずである。三角測距の原理に基づいて、プレビュー画像とテスト画像における同一のオブジェクトの深度情報、すなわち、当該オブジェクトとメインカメラ及びサブカメラの存在する平面との距離を算出して取得することができる。プレビュー画像の深度情報を算出して取得した後に、プレビュー画像の各オブジェクトの深度情報に基づいて、当該オブジェクトが前景であるまたは背景であることを決定し、さらにプレビュー画像の前景及び背景を取得することができる。
本開示の実施例において、プレビュー画像の前景及び背景が決定された後、前景及び背景と画像収集機器との間の相対距離及び相対角度をそれぞれ検出することができる。例えば、前景における各画素点に対応する座標及び深度情報に基づいて、前景と画像収集機器との間の相対距離及び相対角度を決定することができる。
一例として、前景における各画素点に対応する座標に基づいて、前景における中心画素点を決定し、当該中心画素点に対応する座標及び深度情報に基づいて、前景と画像収集機器との間の相対距離及び相対角度を決定することができる。同様に、背景における各画素点に対応する座標に基づいて、背景における中心画素点を決定し、当該中心画素点に対応する座標及び深度情報に基づいて、背景と画像収集機器との間の相対距離及び相対角度を決定することができる。
別の例として、前景における各画素点に対応する座標及び深度情報に基づいて、前景における各画素点と画像収集機器との間の相対距離及び相対角度をそれぞれ算出し、前景における各画素点と画像収集機器との間の相対距離の平均値を、前景と画像収集機器との間の相対距離とし、前景における各画素点と画像収集機器との間の相対角度の平均値を、前景と画像収集機器との間の相対角度とすることができる。同様に、背景における各画素点と画像収集機器との間の相対距離の平均値を、背景と画像収集機器との間の相対距離とし、背景における各画素点と画像収集機器との間の相対角度の平均値を、背景と画像収集機器との間の相対角度とすることができる。
また別の例として、前景におけるすべての画素点と画像収集機器との間の相対距離を、前景と画像収集機器との間の相対距離とし、すなわち、前景と画像収集機器との間の相対距離は、前景におけるすべての画素点と画像収集機器との間の距離を含み、前景におけるすべての画素点と画像収集機器との間の相対角度を、前景と画像収集機器との間の相対角度とすることができる。同様に、背景におけるすべての画素点と画像収集機器との間の相対距離を、背景と画像収集機器との間の相対距離とし、背景におけるすべての画素点と画像収集機器との間の相対角度を、背景と画像収集機器との間の相対角度とすることができる。
ステップ103において、相対距離及び相対角度に基づいて、画像収集機器の目標撮影位置を決定し、ここで、目標撮影位置で前景及び背景を撮影して取得された画面は、設定された構図戦略と一致している。
本開示の実施例において、設定された構図戦略は、前景と背景との間の構図位置、前景と背景の相対面積の大きさなどを含むことができる。ここで、設定された構図戦略は、現在の撮影シーンに関連しており、撮影シーンが異なる場合、設定された構図戦略が異なっていてもよい。
例えば、現在の撮影シーンが風景シーンである場合、品質の良い風景画像を撮影するために、前景を小さくし、背景を大きくしてもよいので、設定された構図戦略は、前景の相対面積が背景の相対面積よりも小さいことを含むことができる。また例えば、現在の撮影シーンが人物シーン又は集合写真シーンである場合、品質の良い集合写真を撮影できるために、前景を大きく設定し、背景を小さく設定してもよいので、設定された構図戦略は、前景の相対面積が背景の相対面積よりも大きいことを含むことができる。
なお、上記例は、例示的なものだけであり、本開示に対する制限と見なされない。実際のアプリケーションでは、実際のニーズ及び撮影シーンに基づいて設定された構図戦略を予め設定することができる。
本開示の実施例において、撮影シーンと設定された構図戦略との間の対応関係を予め設定することができ、これにより、本開示では現在の撮影シーンを決定し、現在の撮影シーンに基づいて、上記対応関係をクリエーして、対応する設定された構図戦略を決定することができ、操作が簡単で実現が容易である。
本開示の実施例の可能な一実現形態として、ユーザが現在の撮影シーンを手動で選択することにより、ユーザによって選択された現在の撮影シーンに基づいて、設定された構図戦略を決定することができる。例えば、撮影インタフェースには、対応するシーン選択コントロールがあり、ユーザは、自身の撮影ニーズに応じて、対応するシーン選択コントロールをトリガーして、現在の撮影シーンを決定することができる。
本開示の実施例の別の可能な実現形態として、撮影装置が現在の撮影シーンを自動的に認識することにより、認識によって取得された現在の撮影シーンに基づいて、設定された構図戦略を決定することもできる。具体的には、撮影装置は、プレビュー画像の画面内容に基づいて、現在の撮影シーンを決定することができる。
一例として、プレビュー画像の画面内容に基づいて、現在の撮影シーンが人物画像シーンであるか否かを決定することができる。例えば、顔認識技術に基づいて、プレビュー画像の画面内容に少なくとも2つの顔が存在するか否かを検出することができ、少なくとも2つの顔が存在する場合、現在の撮影シーンが人物画像シーンであることを決定することができ、あるいは、エッジ特徴検出技術に基づいて、プレビュー画像における各イメージングオブジェクトを抽出し、各イメージングオブジェクトに基づいて、現在の撮影シーンが人物画像シーンであるか否かを決定することができ、例えば、抽出されたイメージングオブジェクトに基づいて少なくとも2人が存在すると決定された場合、現在の撮影シーンが人物画像シーンであることを決定することができる。
別の例として、プレビュー画像の画面内容及び/又はプレビュー画像の各エリアの環境輝度値に基づいて、現在の撮影シーンが夜景シーンであるか否かを決定することができる。例えば、プレビュー画像の画面内容に夜空や夜景の光源などが含まれている場合、現在の撮影シーンが夜景シーンであることを決定することができ、あるいは、プレビュー画像の各エリアの環境輝度値が夜景環境での画像の輝度分布特性に適合する場合、現在の撮影シーンが夜景シーンであることを決定することができる。
また別の例として、プレビュー画像の画面内容に基づいて、現在の撮影シーンが風景シーンであるか否かを決定することができる。例えば、プレビュー画像の画面内容に景勝地、花鳥樹木などが含まれる場合、現在の撮影シーンが風景シーンであることを決定することができる。
もちろん、認識結果の精度を向上させるために、本開示において、深層学習技術により現在の撮影シーンを認識することもできる。例えば、特徴抽出アルゴリズムに基づいて、プレビュー画像の画像特徴を抽出し、画像特徴を予め構築されたシーン認識モデルに入力して、現在の撮影シーンを認識することができる。
ここで、画像特徴は、色特徴、テクスチャ特徴、形状特徴、及び空間的関係特徴のうちの少なくとも1つを含むことができる。特徴抽出は、コンピュータビジョン及び画像処理における概念である。これは、コンピュータを使用して画像情報を抽出し、各画像の点が1つの画像特徴に属するか否かを決定することを指す。特徴抽出の結果、画像上の点が異なるサブセットに分割され、これらのサブセットは、孤立した点、連続した曲線又は連続したエリアに属することが多い。
本開示の実施例において、前景及び背景と画像収集機器との間の相対距離及び相対角度がそれぞれ決定された後、前景と画像収集機器との間の相対距離及び相対角度、及び背景と画像収集機器との間の相対距離及び相対角度に基づいて、3次元モデリングを行い、画像収集機器が存在する3次元座標系における前景及び背景の位置を決定し、構築された3次元モデルをシミュレーション解析して、最適な撮影位置を決定することができ、本開示では目標撮影位置と記す。ここで、目標撮影位置で前景及び背景を撮影して取得された画面は、設定された構図戦略と一致している。
なお、本開示の実施例において、設定された構図戦略は、撮影シーンに関連しており、撮影シーンが異なる場合、設定された構図戦略が異なってもよく、これにより、異なるシーンで最適な品質の画像を取得するというユーザのニーズを満足することができる。
ステップ104において、目標撮影位置の提示情報を表示して、画像収集機器を目標撮影位置に移動させる必要があることを提示する。
本開示の実施例において、提示情報は、文字情報、方向矢印及び回転角度のうちの少なくとも1つであってもよい。
本開示の実施例において、目標撮影位置が決定された後、目標撮影位置の提示情報を表示することができ、これにより、ユーザは、提示情報に基づいて、画像収集機器を目標撮影位置に移動させることができる。例えば、画像収集機器の現在の位置及び目標撮影位置に基づいて、移動方向及び移動距離を決定することにより移動方向及び移動距離に基づいて、提示情報を生成し、上記提示情報を表示して、画像収集機器を目標撮影位置に移動させる必要があることを提示することができる。
例えば、提示情報が文字情報である場合、撮影インタフェースに目標撮影位置の提示情報を表示することができ、これにより、ユーザは、画像収集機器を目標撮影位置に移動させて撮影することができる。例えば、風景画像を撮影する際に、撮影インタフェースに「前へ1メートル進む」を表示することができる。
なお、目標撮影位置が3次元空間における点であり、撮影インタフェースに当該目標撮影位置の座標情報を直接表示すると、ユーザが当該点がどこにあるかを分からない場合があるため、本開示において、ユーザの操作を容易にするために、当該提示情報は、方向矢印及び/又は回転角度をさらに含むことができ、これにより、ユーザが、方向矢印及び/又は回転角度に基づいて、画像収集機器を回転させたり、画像収集機器を目標撮影位置に移動させたりすることができ、これにより、簡単かつ明瞭な提示情報により、ユーザが対応する動作を容易にすることができ、ユーザエクスペリエンスを改善できる。
もちろん、当該提示情報は、音声情報であってもよく、スピーカで当該提示情報を再生してもよく、例えば、風景画像を撮影する際に、スピーカからの音声で「前へ1メートル進む」を提示することができる。これにより、ユーザが画像収集機器のスクリーン上の撮影画面を見ることに影響を与えない上で、ユーザが対応する動作をすることを容易にすることもでき、ユーザエクスペリエンスを改善する。本開示において、様々な形態で提示情報を表示し、当該方法の適用性を向上させることができる。
本開示の実施例の撮影方法は、画像収集機器によって収集されたプレビュー画像に対して前景及び背景を認識し、前景及び背景と画像収集機器との間の相対距離及び相対角度をそれぞれ検出し、相対距離及び相対角度に基づいて、画像収集機器の目標撮影位置を決定し、ここで、目標撮影位置で前景及び背景を撮影して取得された画面は、設定された構図戦略と一致し、最後に目標撮影位置の提示情報を表示して、画像収集機器を目標撮影位置に移動させる必要があることを提示する。これにより、ユーザが画像を撮影する際に、ユーザのために最適な撮影位置を自動的に算出することができ、本開示では目標撮影位置と記し、当該目標撮影位置を提示することにより、ユーザが、提示情報に基づいて、画像収集機器を目標撮影位置に移動させて撮影することができ、イメージング効果を向上させることができる一方で、ユーザが画像を繰り返し撮影して選別する必要がなく、ユーザが画像を後処理する必要もなく、ユーザエクスペリエンスを改善することができる。
一例として、図2を参照し、図2は、撮影インタフェースの概略図であり、ここで、撮影インタフェースに方向矢印を表示することができ、ユーザは、表示された方向矢印に基づいて、画像収集機器を目標撮影位置に移動させることができる。例えば、ユーザは、画像収集機器を目標撮影位置まで前方に移動することができる。
別の例として、図3を参照し、図3は、他の撮影インタフェースの概略図であり、ここで、撮影インタフェースに回転角度を表示することができ、ユーザは、表示された回転角度に基づいて、画像収集機器を目標撮影位置に移動させることができる。例えば、ユーザは、画像収集機器を手に持って右に30°回転させて画像を撮影することができる。
可能な一実現形態として、目標撮影位置の決定結果の精度を向上させるために、前景と画像収集機器との間の相対距離及び相対角度、及び背景と画像収集機器との間の相対距離及び相対角度に基づいて、3次元モデリングを行った後、複数の候補位置を決定することにより、各候補位置において、構築された3次元モデルをシミュレーション撮影し、撮影によって取得された各画面を設定された構図戦略と一致させることにより、目標撮影位置を決定する。以下、実施例2と組み合わせて上記プロセスを詳しく説明する。
図4は、本開示の実施例2により提供される撮影方法の概略フローチャートである。
図4に示すように、当該撮影方法は、以下のステップを含むことができる。
ステップ201において、画像収集機器によって収集されたプレビュー画像を取得する。
ステップ202において、プレビュー画像の前景及び背景に対して、画像収集機器との間の相対距離及び相対角度をそれぞれ検出する。
ステップ201~202の実行プロセスは、上記実施例におけるステップ101~102の実行プロセスを参照することができ、ここでは詳しく説明しない。
ステップ203において、相対距離及び相対角度に基づいて、画像収集機器が存在する3次元座標系における前景及び背景の位置を決定する。
本開示の実施例において、画像収集機器の現在の位置、及び前景と画像収集機器との間の相対距離及び相対角度、背景と画像収集機器との間の相対距離及び相対角度に基づいて、3次元モデリングを行って、画像収集機器が存在する3次元座標系における前景及び背景の位置を決定することができる。
例えば、画像収集機器は、全地球測位システム(Global Positioning System、GPSと略称する)を含むことができ、GPS情報に基づいて、画像収集機器の現在の位置を決定し、画像収集機器の現在の位置、及び前景における各画素点と画像収集機器との間の相対距離及び相対角度に基づいて、3次元モデリングを行って、画像収集機器が存在する3次元座標系における前景中の各画素点の対応する位置を取得できるとともに、背景における各画素点と画像収集機器との間の相対距離及び相対角度に基づいて、3次元モデリングを行って、画像収集機器が存在する3次元座標系における背景中の各画素点の対応する位置を取得できる。
ステップ204において、3次元座標系において複数の候補位置を決定する。
本開示の実施例において、3次元座標系において、複数の候補位置をランダムに選択してもよいし、予め設定された規則に基づいて複数の候補位置を選択してもよい。例えば、3次元モデリングを行った後、3次元座標系における前景中の各画素点の位置を決定することにより、3次元座標系における各画素点の位置に基づいて、前景に対応する位置区間を決定することができ、複数の候補位置は、前景に対応する位置空間にあってもよく、あるいは、複数の候補位置は、前景に近い位置点であってもよい。
ステップ205において、複数の候補位置に対して、画像収集機器が存在する3次元座標系における前景及び背景の位置に基づいて、複数の候補位置で前景及び背景を撮影して取得された画面を予測する。
本開示の実施例において、各候補位置を決定した後、各候補位置で、構築された3次元モデルをシミュレーション撮影することができ、具体的には、複数の候補位置に対して、画像収集機器が存在する3次元座標系における前景及び背景の位置に基づいて、複数の候補位置で前景及び背景を撮影して取得された画面を予測することができる。
ステップ206において、複数の候補位置での画面と設定された構図戦略との一致度に基づいて、複数の候補位置から目標撮影位置を決定する。
本開示の実施例において、複数の候補位置でシミュレーション撮影して画面が取得された後、各候補位置での画面を設定された構図戦略と一致させ、各候補位置での画面と設定された構図戦略との一致度を決定して、各一致度に基づいて、複数の候補位置から目標撮影位置を決定することができる。
例えば、現在の撮影シーンが人物シーン、例えば、人物画像シーンであると仮定すると、この場合、設定された構図戦略は、前景の面積が背景の面積よりも大きいことを指示でき、各候補位置での画像において、前景の面積が背景の面積よりも大きい画面が存在するか否かを判断でき、存在する場合、前景の面積が背景の面積よりも大きい画面に対応する候補位置を目標撮影位置とすることができる。
実際のアプリケーションでは、設定された構図戦略と一致している画面の数が複数であってもよいため、画像の撮影効果を向上させるために、最も一致度の高い画面に対応する候補位置を目標撮影位置とすることができることを理解されたい。
ステップ207において、目標撮影位置の提示情報を表示して、画像収集機器を目標撮影位置に移動させる必要があることを提示する。
ステップ207の実行プロセスは、上記実施例におけるステップ104の実行プロセスを参照することができ、ここでは詳しく説明しない。
なお、実際のアプリケーションでは、ユーザが画像を撮影している途中で、移動する可能性があり、例えば、シーンを変えて画像を撮影したり、撮影対象を探したりするなどの場合、取得されたデータがモデリング解析に適していないため、本開示の実施例の可能な一実現形態として、画像収集機器のぶれの程度が高い場合、モデリング解析を行うことなく、非撮影行為として判定することができ、これにより、コンピューティングリソースを節約することができる。以下に、実施例3と組み合わせて上記プロセスを詳しく説明する。
図5は、本開示の実施例3により提供される撮影方法の概略フローチャートである。
図5に示すように、当該撮影方法は、以下のステップを含むことができる。
ステップ301において、画像収集機器によって収集されたプレビュー画像を取得する。
ステップ301の実行プロセスは、上記実施例におけるステップ101の実行プロセスを参照することができ、ここでは詳しく説明しない。
ステップ302において、センサによって周期的に収集された姿勢情報に基づいて、現在の周期における画像収集機器のぶれの程度を決定する。
可能な一実現形態として、上記センサは、変位センサであってもよく、変位センサにより、撮影中の画像収集機器の変位情報を収集し、さらに、取得された変位情報に基づいて、画像収集機器にぶれが発生しているか否か、及び画像収集機器のぶれの程度を決定する。
例えば、画像収集機器中の現在のジャイロセンサ(Gyro-sensor)情報を取得することにより、ジャイロセンサ情報に基づいて画像収集機器にぶれが発生しているか否か、及び画像収集機器のぶれの程度を決定することができる。
ここで、ジャイロセンサは、角速度センサとも呼ばれ、物理量が偏向したり、傾斜したりする時の回動角速度を測定することができる。画像収集機器では、ジャイロセンサが回動、偏向の動作を良好に測定でき、ことにより、使用者の実動作を正確に分析して判断することができる。ジャイロセンサ情報(gyro情報)は、3次元空間における3次元方向の画像収集機器の動き情報を含むことができ、3次元空間の3次元は、それぞれX軸、Y軸、Z軸の3方向で表すことができ、ここで、X軸、Y軸、Z軸は、ペアワイズ垂直関係にある。
これにより、本開示の実施例において、現在の周期のgyro情報に基づいて、画像収集機器にぶれが発生しているか否か、及び現在の周期における画像収集機器のぶれの程度を決定することができる。ここで、画像収集機器の3方向の動き情報の絶対値が大きいほど、画像収集機器のぶれの程度が大きくなる。
本開示において、現在の周期のgyro情報が取得された後、当該現在の周期のgyro情報の3方向の動き情報に基づいて、現在の周期における画像収集機器の姿勢のぶれの程度を算出することができ、例えば、現在の周期のgyro情報の3方向の動き情報をそれぞれA、B、Cと記す場合、現在の周期における画像収集機器の姿勢のぶれの程度は、
Figure 0007293362000001
ステップ303において、現在の周期における画像収集機器の姿勢のぶれの程度がぶれの閾値よりも小さいか否かを判断し、そうである場合、ステップ304~306を実行し、そうでない場合、ステップ307を実行する。
本開示の実施例において、ぶれの閾値は、予め設定されている。
本開示の実施例において、現在の周期における画像収集機器の姿勢のぶれの程度がぶれの閾値よりも小さいか否かを判断し、現在の周期における画像収集機器の姿勢のぶれの程度がぶれの閾値よりも小さい場合、ステップ304~306を実行し、現在の周期における画像収集機器の姿勢のぶれの程度がぶれの閾値以上である場合、ステップ307を実行することができる。
ステップ304において、プレビュー画像の前景及び背景に対して、画像収集機器との間の相対距離及び相対角度をそれぞれ検出する。
ステップ305において、相対距離及び相対角度に基づいて、画像収集機器の目標撮影位置を決定し、ここで、目標撮影位置で前景及び背景を撮影して取得された画面は、設定された構図戦略と一致している。
ステップ306において、目標撮影位置の提示情報を表示して、画像収集機器を目標撮影位置に移動させる必要があることを提示する。
ステップ304~306の実行プロセスは、上記実施例の実行プロセスを参照することができ、ここでは詳しく説明しない。
ステップ307において、非撮影行為として認識し、プレビュー画像を表示する。
本開示の実施例において、現在の周期における画像収集機器の姿勢のぶれの程度がぶれの閾値以上である場合、ユーザが走行中であるか、撮影対象を探している可能性があり、又は撮影シーンを切り替える、例えば、人物画像シーンから風景シーンに切り替える可能性もあることを示し、この場合、取得されたデータがモデリング解析に適していないため、モデリング解析を行うことなく、非撮影行為として判定でき、プレビュー画像の収集を再度行い、収集されたプレビュー画像を表示することができる。これにより、コンピューティングリソースを節約することができる。
可能な一実現形態として、ユーザは、撮影インタフェースにおいて撮影コントロールを軽く押すことにより、画像収集機器をトリガーしてプレビュー画像を収集することができ、これにより、ユーザは、追加のコントロールを設定することなく、既存の撮影コントロールを押すことにより、プレビュー画像を取得することができ、撮影インタフェースの美観性を向上させることができる。以下に、実施例4と組み合わせて上記プロセスを詳しく説明する。
図6は、本開示の実施例4により提供される撮影方法の概略フローチャートである。
図6に示すように、当該撮影方法は、以下のステップを含むことができる。
ステップ401において、撮影インタフェースにおける撮影コントロールに対する押圧力を検知する。
本開示の実施例において、撮影装置は、撮影インタフェースにおける撮影コントロールに対するユーザの押圧力を検知することができる。例えば、画像収集機器には、圧力素子が設けられてもよく、圧力素子により、撮影インタフェースにおける撮影コントロールに対するユーザの押圧力を検知することができ、これにより、撮影装置は圧力素子によって収集された押圧力を取得することができる。ここで、圧力素子は、圧電材料フィルム、又は圧力センサであってもよい。
ステップ402において、押圧力が目標力区間に属する場合、画像収集機器によって収集されたプレビュー画像を取得する。
本開示の実施例において、目標力区間が予め設定され、ここで、目標力区間は小さい値の区間である。
本開示の実施例において、押圧力が目標力エリアに属する場合、このとき、画像収集機器によって収集されたプレビュー画像を取得することができる。
ステップ403において、プレビュー画像の前景及び背景に対して、画像収集機器との間の相対距離及び相対角度をそれぞれ検出する。
ステップ404において、相対距離及び相対角度に基づいて、画像収集機器の目標撮影位置を決定し、ここで、目標撮影位置で前景及び背景を撮影して取得された画面は、設定された構図戦略と一致している。
ステップ405において、目標撮影位置の提示情報を表示して、画像収集機器を目標撮影位置に移動させる必要があることを提示する。
ステップ403~405の実行プロセスは、上記実施例の実行プロセスを参照することができ、ここでは詳しく説明しない。
さらに、画像収集機器が目標撮影位置に移動した後、撮影するように画像収集機器を自動的に制御することができ、又はユーザが撮影コントロールを押すことにより撮影することもでき、具体的には、押圧力が目標力区間の上限よりも大きい場合、撮影するように画像収集機器を制御することができ、これにより、ユーザのニーズに応じて撮影することを実現でき、ユーザのために最適な撮影位置を引き続き推薦する必要がなく、ユーザの実際の撮影ニーズを満足することができる一方で、コンピューティングリソースを節約することもできる。
上記実施例を実現するために、本開示は、撮影装置をさらに提出する。
図7は、本開示の実施例5により提供される撮影装置の概略構成図である。
図7に示すように、当該撮影装置700は、取得モジュール710、検出モジュール720、決定モジュール730及び表示モジュール740を含む。
ここで、取得モジュール710は、画像収集機器によって収集されたプレビュー画像を取得する。
検出モジュール720は、プレビュー画像の前景及び背景に対して、画像収集機器との間の相対距離及び相対角度をそれぞれ検出する。
決定モジュール730は、相対距離及び相対角度に基づいて、画像収集機器の目標撮影位置を決定し、ここで、目標撮影位置で前景及び背景を撮影して取得された画面は、設定された構図戦略と一致している。
表示モジュール740は、目標撮影位置の提示情報を表示して、画像収集機器を目標撮影位置に移動させる必要があることを提示する。
可能な一実現形態として、決定モジュール730は、具体的に、相対距離及び相対角度に基づいて、画像収集機器が存在する3次元座標系における前景及び背景の位置を決定し、3次元座標系において複数の候補位置を決定し、複数の候補位置に対して、画像収集機器が存在する3次元座標系における前景及び背景の位置に基づいて、複数の候補位置で前景及び背景を撮影して取得された画面を予測し、複数の候補位置での画面と設定された構図戦略との一致度に基づいて、複数の候補位置から目標撮影位置を決定する。
可能な一実現形態として、検出モジュール720は、具体的に、センサによって周期的に収集された姿勢情報に基づいて、現在の周期における画像収集機器のぶれの程度を決定し、現在の周期における画像収集機器の姿勢のぶれの程度がぶれの閾値よりも小さい場合、プレビュー画像の前景及び背景に対して、画像収集機器との間の相対距離及び相対角度をそれぞれ検出し、現在の周期における画像収集機器の姿勢のぶれの程度がぶれの閾値以上である場合、非撮影行為として認識し、プレビュー画像を表示する。
さらに、本開示の実施例の可能な一実現形態において、図8を参照して、図7に示す実施例に基づいて、当該撮影装置700は、取得モジュール710をさらに含み、可能な一実現形態として、取得モジュール710は、撮影インタフェースにおける撮影コントロールに対する押圧力を検知し、押圧力が目標力区間に属する場合、画像収集機器によって収集されたプレビュー画像を取得する。
制御モジュール750は、押圧力が目標力区間の上限よりも大きい場合、撮影するように画像収集機器を制御する。
可能な一実現形態として、提示情報は、方向矢印及び回転角度のうちの少なくとも1つを含む。
なお、前述した図1~図6の実施例における撮影方法の解釈説明は、当該実施例の撮影装置にも適用することができ、ここでは詳しく説明しない。
本開示の実施例の撮影装置は、画像収集機器によって収集されたプレビュー画像に対して前景及び背景を認識し、前景及び背景と画像収集機器との間の相対距離及び相対角度をそれぞれ検出し、相対距離及び相対角度に基づいて、画像収集機器の目標撮影位置を決定し、ここで、目標撮影位置で前景及び背景を撮影して取得された画面は、設定された構図戦略と一致し、最後に目標撮影位置の提示情報を表示して、画像収集機器を目標撮影位置に移動させる必要があることを提示する。これにより、ユーザが画像を撮影する際に、ユーザのために最適な撮影位置を自動的に算出することができ、本開示では目標撮影位置と記し、当該目標撮影位置を提示することにより、ユーザが、提示情報に基づいて、画像収集機器を目標撮影位置に移動させて撮影することができ、イメージング効果を向上させることができる一方で、ユーザが画像を繰り返し撮影して選別する必要がなく、ユーザが画像を後処理する必要もなく、ユーザエクスペリエンスを改善することができる。
本開示の実施例によれば、本開示は、電子機器及び読み取り可能な記憶媒体をさらに提供する。
本開示の実施例によれば、本開示は、コンピュータプログラムを提供し、コンピュータプログラムは、コンピュータに本開示によって提供される撮影方法を実行させる。
図9に示すように、それは本開示の実施例に係る撮影方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は、単なる例であり、本明細書の説明及び/又は要求される本開示の実現を制限するものではない。
図9に示すように、当該電子機器は、1つ又は複数のプロセッサ901と、メモリ902と、高速インターフェース及び低速インターフェースを含む各コンポーネントを接続するためのインターフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、電子機器内に実行される命令を処理することができ、当該命令は、外部入力/出力装置(インターフェースに結合されたディスプレイデバイスなど)にGUIの図形情報をディスプレイするためにメモリ内又はメモリに記憶されている命令を含む。他の実施形態では、必要に応じて、複数のプロセッサ及び/又は複数のバスを、複数のメモリと一緒に使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、一部の必要な操作(例えば、サーバアレイ、1グループのブレードサーバ、又はマルチプロセッサシステムとする)を提供することができる。図9では、1つのプロセッサ901を例とする。
メモリ902は、本開示により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには、少なくとも1つのプロセッサが本開示により提供される撮影方法を実行するように、少なくとも1つのプロセッサによって実行可能な命令が記憶されている。本開示の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本開示により提供される撮影方法を実行させるためのコンピュータ命令が記憶されている。
メモリ902は、非一時的なコンピュータ読み取り可能な記憶媒体として、本開示の実施例における撮影方法に対応するプログラム命令/モジュール(例えば、図7に示す取得モジュール710、検出モジュール720、決定モジュール730、及び表示モジュール740)のような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶する。プロセッサ901は、メモリ902に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アクティベーション及びデータ処理を実行し、すなわち上記の方法の実施例における撮影方法を実現する。
メモリ902は、ストレージプログラムエリアとストレージデータエリアとを含むことができ、ストレージプログラムエリアは、オペレーティングシステム、少なくとも1つの機能に必要なアプリケーションプログラムを記憶することができ、ストレージデータエリアは、撮影方法の電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ902は、高速ランダムアクセスメモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも1つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例で、メモリ902は、プロセッサ901に対して遠隔に設置されたメモリを選択的に含むことができ、これらの遠隔メモリは、ネットワークを介して電子機器に接続されることができる。上記のネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。
電子機器は、入力装置903と出力装置904とをさらに含むことができる。プロセッサ901、メモリ902、入力装置903、及び出力装置904は、バス又は他の方式を介して接続することができ、図9では、バスを介して接続することを例とする。
入力装置903は、入力された数字又は文字情報を受信し、電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、1つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置904は、ディスプレイデバイス、補助照明装置(例えば、LED)、及び触覚フィードバックデバイス(例えば、振動モータ)などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態で、ディスプレイデバイスは、タッチスクリーンであってもよい。
本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、1つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該1つ又は複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び/又は解釈されることができ、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも1つの入力装置、及び当該少なくとも1つの出力装置に伝送することができる。
これらのコンピューティングプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる)は、プログラマブルプロセッサの機械命令をふくみ、高レベルのプロセス及び/又はオブジェクト指向プログラミング言語、及び/又はアセンブリ/機械言語でこれらのコンピューティングプログラムを実施する。本明細書に使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び/又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び/又は装置(例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(PLD))を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び/又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。
ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、任意の形式(音響入力と、音声入力と、触覚入力とを含む)でユーザからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドユニットを含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェアユニットを含むコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンドユニットを含むコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする)、又はこのようなバックエンドユニットと、ミドルウェアユニットと、フロントエンドユニットの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)と、ワイドエリアネットワーク(WAN)と、インターネットとを含む。
コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、且つ互いにクライアント-サーバ関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。サーバは、クラウドサーバであってもよく、クラウドコンピューティングサーバ又はクラウドホスティングとも呼ばれ、クラウドコンピューティングサービスサポート体制中の1つのホスト製品であり、従来の物理ホストとVPSサービスにおいて存在する管理難度が高く、業務拡張性が弱いという欠点を解決した。
本開示の実施例の技術案によれば、画像収集機器によって収集されたプレビュー画像に対して前景及び背景を認識し、前景及び背景と画像収集機器との間の相対距離及び相対角度をそれぞれ検出し、相対距離及び相対角度に基づいて、画像収集機器の目標撮影位置を決定し、ここで、目標撮影位置で前景及び背景を撮影して取得された画面は、設定された構図戦略と一致し、最後に目標撮影位置の提示情報を表示して、画像収集機器を目標撮影位置に移動させる必要があることを提示する。これにより、ユーザが画像を撮影する際に、ユーザのために最適な撮影位置を自動的に算出することができ、本開示では目標撮影位置と記し、当該目標撮影位置を提示することにより、ユーザが、提示情報に基づいて、画像収集機器を目標撮影位置に移動させて撮影することができ、イメージング効果を向上させることができる一方で、ユーザが画像を繰り返し撮影して選別する必要がなく、ユーザが画像を後処理する必要もなく、ユーザエクスペリエンスを改善することができる。
上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することが可能であることを理解すべきである。例えば、本開示に記載されている各ステップは、並列に実行されてもよいし、順次実行されてもよいし、異なる順序で実行されてもよいが、本開示で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。
上記の具体的な実施形態は、本開示の保護範囲を制限するものではない。当業者は、設計要件と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本開示の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本開示の保護範囲内に含まれるべきである。

Claims (15)

  1. 撮影方法であって、
    画像収集機器によって収集されたプレビュー画像を取得するステップと、
    前記プレビュー画像の前景及び背景に対して、前記画像収集機器との間の相対距離及び相対角度をそれぞれ検出するステップであって、前記プレビュー画像中の各オブジェクトの深度情報に基づいて、前記プレビュー画像の前景及び背景を決定するステップと、
    前記相対距離及び前記相対角度に基づいて、前記画像収集機器の目標撮影位置を決定するステップであって、前記目標撮影位置で前記前景及び前記背景を撮影して取得された画面は、設定された構図戦略と一致し、前記設定された構図戦略は、前記前景と前記背景との間の構図位置、前記前景と前記背景との相対面積の大きさを含むステップと、
    前記目標撮影位置の提示情報を表示して、前記画像収集機器を前記目標撮影位置に移動させる必要があることを提示するステップと、を含む、
    ことを特徴とする撮影方法。
  2. 前記相対距離及び前記相対角度に基づいて、前記画像収集機器の目標撮影位置を決定するステップは、
    前記相対距離及び前記相対角度に基づいて、前記画像収集機器が存在する3次元座標系における前記前景及び前記背景の位置を決定するステップと、
    前記3次元座標系において、複数の候補位置を決定するステップと、
    前記複数の候補位置に対して、前記画像収集機器が存在する3次元座標系における前記前景及び前記背景の位置に基づいて、前記複数の候補位置で前記前景及び前記背景を撮影して取得された画面を予測するステップと、
    前記複数の候補位置での画面と設定された構図戦略との一致度に基づいて、前記複数の候補位置から前記目標撮影位置を決定するステップと、を含む、
    ことを特徴とする請求項1に記載の撮影方法。
  3. 前記プレビュー画像の前景及び背景に対して、前記画像収集機器との間の相対距離及び相対角度をそれぞれ検出するステップは、
    センサによって周期的に収集された姿勢情報に基づいて、現在の周期における前記画像収集機器のぶれの程度を決定するステップと、
    現在の周期における前記画像収集機器の姿勢のぶれの程度がぶれの閾値よりも小さい場合、前記プレビュー画像の前景及び背景に対して、前記画像収集機器との間の相対距離及び相対角度をそれぞれ検出するステップと、
    現在の周期における前記画像収集機器の姿勢のぶれの程度が前記ぶれの閾値以上である場合、非撮影行為として認識し、前記プレビュー画像を表示するステップと、を含む、
    ことを特徴とする請求項1または2に記載の撮影方法。
  4. 前記画像収集機器によって収集されたプレビュー画像を取得するステップは、
    撮影インタフェースにおける撮影コントロールに対する押圧力を検知するステップと、
    前記押圧力が目標力区間に属する場合、前記画像収集機器によって収集されたプレビュー画像を取得するステップと、を含む、
    ことを特徴とする請求項1~3のいずれかに記載の撮影方法。
  5. 前記撮影インタフェースにおける撮影コントロールに対する押圧力を検知するステップの後に、
    前記押圧力が前記目標力区間の上限よりも大きい場合、撮影するように前記画像収集機器を制御するステップをさらに含む、
    ことを特徴とする請求項4に記載の撮影方法。
  6. 前記提示情報は、方向矢印及び回転角度のうちの少なくとも1つを含む、
    ことを特徴とする請求項1~5のいずれかに記載の撮影方法。
  7. 撮影装置であって、
    画像収集機器によって収集されたプレビュー画像を取得するための取得モジュールと、
    前記プレビュー画像の前景及び背景に対して、前記画像収集機器との間の相対距離及び相対角度をそれぞれ検出するための検出モジュールであって、前記プレビュー画像中の各オブジェクトの深度情報に基づいて、前記プレビュー画像の前景及び背景を決定する検出モジュールと、
    前記相対距離及び前記相対角度に基づいて、前記画像収集機器の目標撮影位置を決定するための決定モジュールであって、前記目標撮影位置で前記前景及び前記背景を撮影して取得された画面は、設定された構図戦略と一致し、前記設定された構図戦略は、前記前景と前記背景との間の構図位置、前記前景と前記背景との相対面積の大きさを含む決定モジュールと、
    前記目標撮影位置の提示情報を表示して、前記画像収集機器を前記目標撮影位置に移動させる必要があることを提示するための表示モジュールと、を含む、
    ことを特徴とする撮影装置。
  8. 前記決定モジュールが、
    前記相対距離及び前記相対角度に基づいて、前記画像収集機器が存在する3次元座標系における前記前景及び前記背景の位置を決定し、
    前記3次元座標系において、複数の候補位置を決定し、
    前記複数の候補位置に対して、前記画像収集機器が存在する3次元座標系における前記前景及び前記背景の位置に基づいて、前記複数の候補位置で前記前景及び前記背景を撮影して取得された画面を予測し、
    前記複数の候補位置での画面と設定された構図戦略との一致度に基づいて、前記複数の候補位置から前記目標撮影位置を決定する、
    ことを特徴とする請求項7に記載の撮影装置。
  9. 前記検出モジュールが、
    センサによって周期的に収集された姿勢情報に基づいて、現在の周期における前記画像収集機器のぶれの程度を決定し、
    現在の周期における前記画像収集機器の姿勢のぶれの程度がぶれの閾値よりも小さい場合、前記プレビュー画像の前景及び背景に対して、前記画像収集機器との間の相対距離及び相対角度をそれぞれ検出し、
    現在の周期における前記画像収集機器の姿勢のぶれの程度が前記ぶれの閾値以上である場合、非撮影行為として認識し、前記プレビュー画像を表示する、
    ことを特徴とする請求項7または8に記載の撮影装置。
  10. 前記取得モジュールが、
    撮影インタフェースにおける撮影コントロールに対する押圧力を検知し、
    前記押圧力が目標力区間に属する場合、前記画像収集機器によって収集されたプレビュー画像を取得する、
    ことを特徴とする請求項7~9のいずれかに記載の撮影装置。
  11. 前記押圧力が前記目標力区間の上限よりも大きい場合、撮影するように前記画像収集機器を制御するための制御モジュールをさらに含む、
    ことを特徴とする請求項10に記載の撮影装置。
  12. 前記提示情報は、方向矢印及び回転角度のうちの少なくとも1つを含む、
    ことを特徴とする請求項7~11のいずれかに記載の撮影装置。
  13. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに通信可能に接続されるメモリと、を含み、
    前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも1つのプロセッサが請求項1~6のいずれかに記載の撮影方法を実行できるように、前記少なくとも1つのプロセッサによって実行される、
    ことを特徴とする電子機器。
  14. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、コンピュータに請求項1~6のいずれかに記載の撮影方法を実行させる、
    ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
  15. コンピュータプログラムであって、
    前記コンピュータプログラムは、コンピュータに請求項1~6のいずれかに記載の撮影方法を実行させる、
    ことを特徴とするコンピュータプログラム。
JP2021536722A 2020-06-28 2020-12-03 撮影方法、装置、電子機器及び記憶媒体 Active JP7293362B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010598649.3 2020-06-28
CN202010598649.3A CN111935393A (zh) 2020-06-28 2020-06-28 拍摄方法、装置、电子设备和存储介质
PCT/CN2020/133675 WO2022000992A1 (zh) 2020-06-28 2020-12-03 拍摄方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
JP2022543510A JP2022543510A (ja) 2022-10-13
JP7293362B2 true JP7293362B2 (ja) 2023-06-19

Family

ID=77798747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021536722A Active JP7293362B2 (ja) 2020-06-28 2020-12-03 撮影方法、装置、電子機器及び記憶媒体

Country Status (4)

Country Link
US (1) US11736795B2 (ja)
EP (1) EP3962062A1 (ja)
JP (1) JP7293362B2 (ja)
KR (1) KR20210112390A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220309733A1 (en) * 2021-03-29 2022-09-29 Tetavi Ltd. Surface texturing from multiple cameras

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002040321A (ja) 2000-07-24 2002-02-06 Olympus Optical Co Ltd 電子カメラ
JP2005099164A (ja) 2003-09-22 2005-04-14 Fuji Photo Film Co Ltd 自動撮影システム
WO2011108283A1 (ja) 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置および立体撮像方法
JP2012244249A (ja) 2011-05-16 2012-12-10 Olympus Corp 撮像装置および撮像方法
JP2013070303A (ja) 2011-09-26 2013-04-18 Kddi Corp 画面への押圧で撮影が可能な撮影装置、撮影方法及びプログラム
JP2017069911A (ja) 2015-10-02 2017-04-06 株式会社Nttドコモ 撮像システム、構図設定装置、及び構図設定プログラム
WO2019082539A1 (ja) 2017-10-24 2019-05-02 ソニー株式会社 制御装置と制御方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4012995B2 (ja) * 1997-01-21 2007-11-28 ソニー株式会社 画像撮像装置および方法
US8379999B2 (en) * 2011-01-18 2013-02-19 Chanan Gabay Methods, circuits, devices, apparatuses and systems for providing image composition rules, analysis and improvement
KR20170112497A (ko) * 2016-03-31 2017-10-12 엘지전자 주식회사 이동 단말기 및 그 제어방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002040321A (ja) 2000-07-24 2002-02-06 Olympus Optical Co Ltd 電子カメラ
JP2005099164A (ja) 2003-09-22 2005-04-14 Fuji Photo Film Co Ltd 自動撮影システム
WO2011108283A1 (ja) 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置および立体撮像方法
JP2012244249A (ja) 2011-05-16 2012-12-10 Olympus Corp 撮像装置および撮像方法
JP2013070303A (ja) 2011-09-26 2013-04-18 Kddi Corp 画面への押圧で撮影が可能な撮影装置、撮影方法及びプログラム
JP2017069911A (ja) 2015-10-02 2017-04-06 株式会社Nttドコモ 撮像システム、構図設定装置、及び構図設定プログラム
WO2019082539A1 (ja) 2017-10-24 2019-05-02 ソニー株式会社 制御装置と制御方法およびプログラム

Also Published As

Publication number Publication date
KR20210112390A (ko) 2021-09-14
EP3962062A1 (en) 2022-03-02
US11736795B2 (en) 2023-08-22
JP2022543510A (ja) 2022-10-13
US20220321798A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
WO2022000992A1 (zh) 拍摄方法、装置、电子设备和存储介质
US11100664B2 (en) Depth-aware photo editing
US10482608B2 (en) Method and apparatus to generate haptic feedback from video content analysis
US10313657B2 (en) Depth map generation apparatus, method and non-transitory computer-readable medium therefor
CN112243583B (zh) 多端点混合现实会议
US10545215B2 (en) 4D camera tracking and optical stabilization
KR20210028218A (ko) 이미지 처리 방법과 장치, 전자 기기 및 저장 매체
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
JP7043601B2 (ja) 環境モデルを生成するための方法および装置ならびに記憶媒体
WO2023168957A1 (zh) 姿态确定方法、装置、电子设备、存储介质及程序
KR20210146770A (ko) 실내 측위 방법, 장치, 장비 및 저장 매체
JP7293362B2 (ja) 撮影方法、装置、電子機器及び記憶媒体
CN114600162A (zh) 用于捕捉摄像机图像的场景锁定模式
CN111601042B (zh) 图像采集方法、图像展示方法及装置
CN115118879A (zh) 图像拍摄、显示方法、装置、电子设备及可读存储介质
CN117934769A (zh) 图像显示方法、装置、电子设备和存储介质
CN116679824A (zh) 增强现实ar场景中的人机交互方法、装置和电子设备
CN117255982A (zh) 手势识别方法、交互方法、手势交互系统、电子设备、存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210622

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230607

R150 Certificate of patent or registration of utility model

Ref document number: 7293362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150