WO2019215797A1 - 構図アドバイスシステム、構図アドバイス方法、カメラ、プログラム - Google Patents

構図アドバイスシステム、構図アドバイス方法、カメラ、プログラム Download PDF

Info

Publication number
WO2019215797A1
WO2019215797A1 PCT/JP2018/017670 JP2018017670W WO2019215797A1 WO 2019215797 A1 WO2019215797 A1 WO 2019215797A1 JP 2018017670 W JP2018017670 W JP 2018017670W WO 2019215797 A1 WO2019215797 A1 WO 2019215797A1
Authority
WO
WIPO (PCT)
Prior art keywords
composition
image
information
advice
user
Prior art date
Application number
PCT/JP2018/017670
Other languages
English (en)
French (fr)
Inventor
田中　正道
将仁 谷口
Original Assignee
株式会社ウフル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ウフル filed Critical 株式会社ウフル
Priority to PCT/JP2018/017670 priority Critical patent/WO2019215797A1/ja
Publication of WO2019215797A1 publication Critical patent/WO2019215797A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to a technology for supporting shooting by a user using IoT (Internet of Things) technology.
  • IoT Internet of Things
  • composition feature that is generally preferred as a standard is stored in advance, and the composition is evaluated with reference to the stored composition feature.
  • advice information is provided to a photographer who is requested by a person who is a subject so that the photographer can photograph with a composition according to the person's wishes.
  • An object of the present invention is to provide advice according to a community to be evaluated with respect to a composition of shooting.
  • the present invention provides a learning unit that learns a composition of an image that satisfies a predetermined evaluation criterion in SNS, an extraction unit that analyzes an image captured by a user and extracts feature information, and the extracted Provided is a composition advice system having notification means for notifying a user of advice information for bringing the composition of the analyzed image close to the learned composition based on the feature information.
  • an object of the present invention is to provide advice regarding the composition of shooting according to the community to which the evaluator belongs.
  • composition advice system An example of an image displayed on the camera 100 (part 1). The example of the image displayed on the camera 100 (the 2). An example of an image displayed on the camera 100 (part 3). An example of an image displayed on camera 100 (part 4). An example of an image displayed on camera 100 (part 5).
  • FIG. 1 is a functional diagram of the composition advice system.
  • the composition advice system includes a camera 100, a server 200, an SNS site 300, and the Internet 400.
  • the camera 100 is equipment used for a user to take a picture.
  • the server 200 is a server device operated by a company that provides a service that provides composition advice.
  • SNS sites 300-1, 300-2, 300-3 (hereinafter referred to simply as SNS site 300 when not distinguishing each SNS site) are so-called SNS such as Instagram (registered trademark), Facebook, (registered trademark). (Social networking service), a server that provides a service in which each user posts (uploads) information such as a message or an image (moving image or still image) taken by the user and shares the information.
  • the number of SNS services shown is merely an example.
  • the camera 100, the server 200, and the SNS site 300 are connected by the Internet 400.
  • information representing photographs and videos obtained by a user using a camera device is simply referred to as an “image”, and does not include data generated regardless of shooting activities such as computer graphics.
  • the camera 100 includes an optical system including a lens and an image sensor, an image processor that generates received image data by converting received light into a digital signal, and a digital camera that records the generated image data on a storage medium or the like. It is. In addition, it has a general function of browsing, processing and editing image data obtained by photographing. In addition, the camera 100 has a communication function. In the figure, only one camera 100 is depicted, but there are as many users as the services that are provided by the server 200.
  • the camera 100 includes a control unit 110, an imaging unit 120, an operation unit 130, a display unit 140, a memory 150, a communication unit 160, and an image editing unit 170.
  • the communication unit 160 is a communication IF for exchanging information in a wired or wireless manner according to a communication standard such as IEEE or WiFi, and transmits / receives information to / from the server 200 via the Internet 400.
  • the image editing unit 170 is realized by an image processor and performs processing / editing (color correction, shape correction, etc.) of an image obtained by photographing with the camera 100 automatically or based on a user instruction.
  • the operation unit 130 is an input device such as a button or a touch panel, and inputs user instructions and information to the camera 100.
  • the instruction includes information related to composition determination and shooting execution (generation of image data).
  • the memory 150 is a built-in or portable (detachable) storage device such as a semiconductor memory or an SD card.
  • the photographed image data and the user of the camera 100 can When assessing evaluators and groups of evaluators (communities such as SNS sites; hereinafter referred to as target evaluators) who want to evaluate the photos taken by, and the composition to be aimed at and the quality of the composition Standard photographers (referred to as evaluation standards) and photographers who photographed the desired composition (regardless of whether or not they belong to the community, such as professional photographers that match user preferences; hereinafter referred to as model photographers) Information to be identified is stored.
  • evaluation standards Standard photographers
  • model photographers Information to be identified is stored.
  • the control unit 110 is realized by a general-purpose or dedicated processor, and includes an extraction unit 111 and a designation unit 112. Specifically, the extraction unit 111 analyzes the image captured by the user and extracts feature information.
  • the feature information includes information related to the composition.
  • the composition information includes the horizontal position and vertical position (whether the screen configuration is landscape or portrait), 1/3 composition (3 division method), Hinomaru composition, etc. Is included in the appropriate position, and the ratio of the landscape to the subject (how much of the subject other than the central subject is captured on the screen) is included.
  • the distance to the subject, the direction (from which direction the subject was captured), and the angle (angle) may be included.
  • information on whether the subject is specific content person, animal or plant, inanimate (landscape) may be included.
  • the information related to the composition may include characteristics generally attributed to the photographing technique and the photographing equipment, such as color, distortion, photographing angle, exposure, and out-of-focus condition.
  • the composition here does not have a narrow meaning, but may include all elements related to evaluation of captured content.
  • the designation unit 112 designates a target evaluator and / or a model photographer. Specifically, the designation unit 112 reads information for identifying the target evaluator and the model photographer from the memory 150. Alternatively, the specification unit 112 acquires information by displaying a message for prompting the user to input such information from the operation unit 130 on the display unit 140.
  • the display unit 140 is realized by an image processor, a liquid crystal display panel, a panel drive circuit, and the like, and notifies the user of advice information regarding the composition. Specifically, the advice information acquired from the server 200 is displayed on the display screen of the imaging device operated by the user so as to overlap the captured image (so-called AR (augmented reality) display). In a preferred embodiment, the notification execution timing is after the operation for confirming the composition is performed and before the operation for confirming the photographing condition is performed. Note that the display unit 140 may be provided with a speaker function, and advice information may be notified by voice instead of or in addition to the AR display.
  • the camera 100 transmits image data obtained by shooting or information characterizing the image data to the server side, and information used for display processing and other camera control from the server side via the communication network. It can be grasped as a kind of IoT device (edge device) having a function of receiving the message.
  • IoT device edge device
  • FIG. 2 is an external view of the camera 100.
  • the camera 100 includes a shutter button 191, an operation button 192, and a screen 193.
  • a screen 193 constitutes the display unit 140 and is a liquid crystal screen, and displays an image based on image data obtained by confirming the composition and photographing.
  • a touch panel input function may be provided.
  • the shutter button 191 and the operation button 192 are part of the components of the operation unit 130 and are operated by the user to receive various instructions.
  • the shutter button 191 accepts normal pressing and long pressing as different operation contents. If a long press operation is performed, it is accepted as an instruction to determine the shooting conditions (composition, etc.). In this state, the image data is not stored in the memory 150 and only the image is displayed on the screen 193.
  • the operation button 192 is used for inputting an instruction for determining shooting conditions such as zoom and exposure, selecting a photographed image, browsing, processing and editing.
  • the server 200 includes a communication unit 210, a storage unit 220, a learning unit 230, and a notification unit 240.
  • the communication unit 210 is a communication IF for exchanging information with the SNS site 300 and the camera 100.
  • the storage unit 220 is a storage device such as a semiconductor memory or a hard disk, and stores the collected image feature information and information about the evaluation of the photograph in association with each SNS site 300.
  • the feature information of the image (whether or not it is uploaded to the SNS) and the photographer of the image are stored in association with each other.
  • the image data itself may be collected and stored.
  • the learning unit 230 is realized as a processor and learns the composition of an image that satisfies a predetermined evaluation criterion at the SNS site 300.
  • the evaluation criteria are the posted image and the evaluation provided by other users for the image (post) (good / bad, in addition to information such as score, the number of viewers, etc.) The number of followers, the number of registered users of the page provided by the user on the SNS, etc.).
  • the evaluation criteria may include any information that is estimated to be related to the evaluation of the image.
  • the learning unit 230 accesses the SNS site 300 by using a method such as WEB scraping, and what kind of feature information the SNS site 300 has has a high evaluation when the image is posted. Is acquired using a predetermined algorithm or a method such as machine learning. Specifically, by inputting a user's evaluation as training data to a learning device, a classifier that classifies the composition of the image and a regression model (learned model) for evaluation are generated.
  • Deep Neural Network As a machine learning method for generating a learning model, for example, Deep Neural Network (DNN, deep learning) can be used. Specifically, CNN (Conversion
  • the notification unit 240 compares the feature information of the composition acquired from the camera 100 with the learned feature information of the composition, and has learned the composition determined by the user based on the comparison result (that is, high evaluation is expected). ) Generate advice information to approximate the composition. For example, if the feature information is composed of parameters such as camera angle, angle of view, distance to the subject, and the position or size (ratio) of the subject in the screen, this composition is determined using a predetermined image matching algorithm. An evaluation value estimated to be obtained when the image is uploaded to the SNS is calculated. Then, one parameter estimated to be the most effective for improving the evaluation in this SNS is specified. Then, an ideal value is determined for the specified parameter, and advice information is generated based on the difference between the current value and the ideal value.
  • the camera angle is set to 45 ° diagonally below the subject.
  • the advice information with the content “change to be” is generated. A plurality of parameters and the amount of change of each parameter may be determined and included in the advice information. Further, the parameter change value is not calculated, and only the parameter item to be changed may be included in the advice information. For example, advice information with the content “re-select subject” is generated. In short, the advice information may be information that supports a composition that is estimated to be able to obtain a higher evaluation than the composition determined by the user, and that the composition is changed by the user in that case.
  • the advice information includes information for bringing the composition determined by the user closer to the composition of the image photographed by the model photographer. Also good. Specifically, the parameter for comparing the information indicating the tendency and characteristics of the image captured by the model photographer stored in the memory 150 with the characteristic information of the composition determined by the user and reducing the difference. Determine the amount of change for an item and / or its value. For example, when the famous photographer A designated by the user is a landscape photographer, the notification unit 240 uses the parameter item 1 “the ratio of the background to the subject on the screen” and the parameter item 2 “contrast”. It is determined that the difference from the determined composition is remarkably large, and advice information regarding “focus on a little distant view” and “search for a scene rich in color” is generated for parameter item 1.
  • the high evaluation of the model photographer is obtained from the SNS post.
  • a predetermined number of extracted images are extracted, and feature information of the composition relating to the extracted images is calculated and compared with the feature information acquired from the camera 100.
  • information (parameter items and values) common to the feature information of the learned composition that is highly evaluated regardless of the photographer in the SNS and the feature information of the composition of the image of the model photographer is determined.
  • feature information is calculated based on the determined information and compared with the feature information acquired from the camera 100. Then, based on the comparison result, the content and direction of composition correction are determined and described as advice information.
  • the notification unit 240 may include advice on image processing processing for bringing the image of the composition designated by the user closer to an image satisfying a predetermined evaluation criterion in the advice information. For example, it includes information on an image processing method for obtaining a target image without re-shooting, such as color change, blurring, and deformation.
  • the generated advice information is transmitted to the camera 100 via the communication unit 210.
  • FIG. 3 shows an example of the operation of the composition advice system.
  • the camera 100 determines whether the user has confirmed the composition, for example, by pressing the shutter button 191 (S501). When the composition is confirmed, feature information of the composition is extracted (S502). Subsequently, a target evaluator is set by reading information from the memory 150 (S503).
  • a model photographer may be set in addition to or instead of the target evaluation document. For example, by displaying a message such as “Do you want to obtain advice information? Select a target SNS if you want to obtain it or specify a model photographer” on the screen 193. The necessity of the advice information is obtained, and if the user desires, a target evaluator and / or a target evaluator may be set.
  • the camera 100 transmits a request including the composition feature information and the target evaluator and / or model photographer information to the server 200 (S504).
  • the server 200 that has received the request reads out necessary information from the storage unit 220, generates advice information corresponding to the content of the request (S505), and transmits the generated advice information to the camera 100 (S506).
  • the camera 100 Upon receiving the advice information, the camera 100 displays the advice information on the screen 193 so as to overlap the photographed image (S507).
  • FIG. 4 is an example of a screen displayed on the camera 100 that has received the advice information.
  • an object OB1, an object OB2, and an object OB3 are displayed so as to overlap each other on a photographed image (composition is confirmed).
  • the object OB1 is an example of text information indicating the content of advice.
  • the object OB2 is a frame indicating the subject specified based on the feature information.
  • the object OB3 is an arrow indicating the direction of composition correction.
  • composition modification is not particularly required.
  • a message for suggesting execution of image processing is displayed as shown in FIG. It may be displayed (object OB5).
  • object OB5 a message for suggesting execution of image processing
  • the screen shown in FIG. 7 is displayed, and execution of specific image processing is supported.
  • the advice information includes image data that is highly evaluated with a composition similar to the composition photographed by the user in the SNS 300 specified by the user, the image (object OB8) is displayed as shown in FIG. You may let them.
  • the photographer is notified of the advice regarding the composition so that the evaluator designated by the photographer or the community to which the evaluator belongs is highly evaluated. Therefore, appropriate advice can be received even if evaluation criteria and preferred image tendencies are different for each SNS.
  • the advice information is displayed overlaid on the captured image, the user can immediately grasp what kind of evaluation the composition determined by the user is expected to receive while photographing, so various compositions can be obtained. You can try it. As a result, it is expected that the user can easily experience the fun of photography.
  • the timing of notification of advice information is not when the composition is finalized but when shooting is completed (it may be when image data is generated or recorded). For example, the user may be inquired about whether or not the advice information is necessary immediately after the completion of photographing or when an image photographed for viewing is selected by the user.
  • the information to be provided by the present invention may be moving image data (video) that is a set of continuous still images instead of still image data (photos).
  • the composition may include information related to a shooting technique (camera work) such as framing and zooming such as panning and tilting in addition to the characteristic information related to the still image.
  • a shooting technique camera work
  • zooming panning and tilting
  • any element that affects the evaluation of video data obtained as a result of photographing may be used.
  • a learning process for image evaluation and a learning result storage process executed based on an image acquired from the SNS 300 are executed by an information management server installed by an administrator different from the administrator of the server 200. Also good.
  • the server 200 has only the functions of the communication unit 210 and the notification unit 240.
  • the server 200 Upon receiving a request from the camera 100, the server 200 queries the information management server for feature information about the composition and generates advice from the information management server.
  • the camera 100 may have all the functions of the server 200 or the functions of the communication unit 210 and the notification unit 240.
  • a step of learning a composition of an image satisfying a predetermined evaluation criterion in the SNS an extraction step of analyzing the image captured by the user and extracting feature information, and the extracted feature
  • the step of notifying the user of advice information for bringing the composition of the analyzed image close to the learned composition based on the information may be executed.
  • the camera of the present invention includes an imaging unit, an extraction unit that analyzes an image captured by the imaging unit by a user operation and extracts feature information, and an image that satisfies a predetermined evaluation criterion in SNS.

Abstract

ＩｏＴを利用した構図アドバイスシステム（１０）は、ＳＮＳにおける所定の評価基準を満たす画像の構図を学習する学習手段と、ユーザによって撮像された画像を解析して特徴情報を抽出する抽出手段と、該抽出された特徴情報に基づいて、該解析された画像の構図を該学習された構図に近づけるためのアドバイス情報を前記ユーザに通知する通知手段とを有する。

Description

構図アドバイスシステム、構図アドバイス方法、カメラ、プログラム
　本発明は、ＩｏＴ（Internet of Things）の技術を用いて、ユーザによる撮影を支援する技術に関する。
　写真撮影を行う際に、構図の選択は重要である。構図についてのアドバイス情報を提供する技術がある。例えば、一般的・標準的に好ましいとされている構図の特徴を予め記憶しておき、記憶された構図の特徴を参照して構図を評価することが行われている。また、特許文献１では、被写体となる人物から依頼された撮影者に対し、当該人物の希望に沿った構図にて撮影ができるようなアドバイス情報が提供される。
特開２０１０-１４１６０９号公報
　しかし、そもそも構図の評価には少なからず主観的要素が入る。同一の構図であっても、ある人にとっては斬新で面白い構図だと感じるが、他の人にとっては、基本に忠実でないあるいは整然としていないなどと感じることがあり得る。すなわち、どのような評価者を想定するのかによって、構図に関するアドバイスの内容は異なり得る。
　従来技術においては、評価者は自分か、もしくは一般的・平均的な人を想定していた。よって、評価者に応じたアドバイス情報を提供することができなかった。
　本発明は、撮影の構図について、評価対象のコミュニティに応じたアドバイスを提供することを目的とする。
　本発明は、一の態様において、ＳＮＳにおける所定の評価基準を満たす画像の構図を学習する学習手段と、ユーザによって撮像された画像を解析して特徴情報を抽出する抽出手段と、該抽出された特徴情報に基づいて、該解析された画像の構図を該学習された構図に近づけるためのアドバイス情報をユーザに通知する通知手段とを有する構図アドバイスシステムを提供する。
　本発明によれば、評価者の属するコミュニティに応じた、撮影の構図に関するアドバイスを提供することを目的とする。
構図アドバイスシステムの概要図。 カメラ１００の外観図。 構図アドバイスシステムの動作例。 カメラ１００に表示される画像の例（その１）。 カメラ１００に表示される画像の例（その２）。 カメラ１００に表示される画像の例（その３）。 カメラ１００に表示される画像の例（その４）。 カメラ１００に表示される画像の例（その５）。
１００・・・カメラ、２００・・・サーバ、３００・・・ＳＮＳサイト、４００・・・インターネット、１１１・・・抽出部、１１２・・・指定部、１９１・・・シャッタボタン、１９３・・・画面、１９２・・・操作ボタン、１１０・・・制御部、１２０・・・撮像部、１３０・・・操作部、１４０・・・表示部、１５０・・・メモリ、１６０・・・通信部、１７０・・・画像編集部、２１０・・・通信部、２２０・・・記憶部、２３０・・・学習部、２４０・・・通知部。
　図１は構図アドバイスシステムの機能図である。構図アドバイスシステムは、カメラ１００と、サーバ２００と、ＳＮＳサイト３００と、インターネット４００を含む。カメラ１００は、ユーザが撮影をするために用いられる機材である。サーバ２００は、構図アドバイスを提供するサービスを提供する会社によって運営されるサーバ装置である。ＳＮＳサイト３００-１、３００-２、３００-３（以下、各ＳＮＳサイトを区別しない場合は単にＳＮＳサイト３００と記す）は、Instagram（登録商標）、Facebook、（登録商標）等の、いわゆるＳＮＳ（ソーシャル・ネットワーキング・サービス）であって、各ユーザが、メッセージやユーザが撮影した画像（動画または静止画）などの情報を投稿（アップロード）して情報の共有を行うサービスを提供サーバである。なお、図示されているＳＮＳサービスの数は例示にすぎない。カメラ１００、サーバ２００、ＳＮＳサイト３００はインターネット４００によって接続される。
　以下では、ユーザがカメラ機器を用いて撮影して得られた写真や映像を表す情報を単に「画像」といい、コンピュータグラフィックスなどの撮影行為とは関係なく生成されるデータは含まれないものとする。
　カメラ１００は、レンズ、撮像素子などからなる光学系と、受光した光をデジタル信号に変換することによって画像データを生成する画像処理プロセッサと、生成された画像データを記憶メディア等に記録するデジタルカメラである。また、撮影によって得られた画像データの閲覧や加工・編集等を行う一般的な機能を有する。加えて、カメラ１００は通信機能を有する。
　なお、同図においてはカメラ１００は一台のみ描かれているが、サーバ２００によるサービスの提供を受けるユーザの数だけ存在する。
　具体的には、カメラ１００は、制御部１１０と、撮像部１２０と、操作部１３０と、表示部１４０と、メモリ１５０と、通信部１６０と、画像編集部１７０とを含む。
　通信部１６０は、ＩＥＥＥやＷｉＦｉ等の通信規格にしたがって有線または無線にて情報の授受を行うための通信ＩＦであって、インターネット４００を介してサーバ２００と情報の送受信を行う。
　画像編集部１７０は、画像処理プロセッサによって実現され、自動的にもしくはユーザの指示に基づいて、カメラ１００にて撮影して得られた画像の加工・編集（色補正や形状補正等）を行う。
　操作部１３０は、ボタンやタッチパネル等の入力デバイスであって、ユーザの指示や情報をカメラ１００に入力する。指示には、具体的には、構図の確定および撮影の実行（画像データの生成）に係る情報が含まれる。
　メモリ１５０は、半導体メモリやＳＤカード等の、内蔵型または携帯型（着脱可能型）の記憶デバイスであって、カメラ１００の制御プログラムのほか、撮影した画像のデータや、カメラ１００のユーザが自分が撮影した写真に対して評価をしてもらいたいと考える評価者や評価者のグループ（ＳＮＳサイト等のコミュニティ；以下、ターゲット評価者という）、目指すべき構図や構図の良し悪しを判断する上での基準(評価基準という)、目指すべき構図の撮影を行った撮影者（コミュニティに属するか否かとは無関係、例えばユーザの好みに合致したプロの写真家など；以下、手本撮影者という）を特定する情報が記憶される。
　制御部１１０は、汎用または専用のプロセッサによって実現され、抽出部１１１と指定部１１２を含む。
　具体的には、抽出部１１１は、ユーザによって撮像された画像を解析して特徴情報を抽出する。特徴情報には、構図に関する情報が含まれる。構図に関する情報には、横位置・縦位置（横長の画面構成にするか縦長の画面構成にするか）、１/３構図（３分割法）や日の丸構図等の手法に照らして、画面における被写体の位置が適切な位置に配置されているか、被写体に対する風景の割合（中心となる被写体以外のものをどの程度画面に取り込むか）についての情報が含まれる。加えて、被写体までの距離、方向（どの方向から被写体を捉えたのか）、角度（アングル）が含まれていてもよい。さらに、被写体の具体的な内容（人物なのか動植物なのか無生物（風景））であるかの情報が含まれていてもよい。あるいは、構図に関する情報には、色味、歪み、撮影角度、露出、ピンボケ具合等の、一般的には撮影技法や撮影機材に起因した特徴を含んでいてもよい。
　すなわち、ここでいう構図とは、狭い意味ではなく、撮影された内容の評価に関わるあらゆる要素を含み得る。
　指定部１１２は、ターゲット評価者および/または手本撮影者を指定する。具体的には、指定部１１２は、メモリ１５０からターゲット評価者や手本撮影者を特定する情報を読み出す。あるいは、指定部１１２は、これらの情報を操作部１３０から入力するようにユーザを促すためのメッセージを表示部１４０に表示することによって、情報を取得する。
　表示部１４０は、画像処理プロセッサや液晶表示パネル、パネルの駆動回路等によって実現され、構図に関するアドバイス情報をユーザに通知する。具体的には、ユーザによって操作される撮像装置の表示画面に、撮像された画像に重ねて、サーバ２００から取得したアドバイス情報を表示する（いわゆるＡＲ（拡張現実）表示）。好ましい態様において、通知の実行タイミングは、構図を確定させる操作が行われた後であって、撮影条件を確定させる操作が行われる前である。なお、表示部１４０にスピーカ機能を設け、ＡＲ表示に替えてもしくはＡＲ表示に加えて、アドバイス情報を音声によって通知してもよい。
　このように、カメラ１００は、撮影で得られた画像データまたは当該画像データを特徴付ける情報をサーバ側に送信するとともに、通信網を介してサーバ側から、表示処理その他のカメラの制御に用いられる情報を受信する機能を有するＩｏＴデバイス（エッジデバイス）の一種と把握できる。
　図２はカメラ１００の外観図である。カメラ１００は、シャッタボタン１９１と、操作ボタン１９２と、画面１９３を有する。
　画面１９３は、表示部１４０を構成し、液晶画面であって、構図の確認、撮影して得られた画像データに基づく画像の表示を行う。なお、タッチパネル入力機能を備えてもよい。
　シャッタボタン１９１および操作ボタン１９２は、操作部１３０の構成要素の一部であり、ユーザによって操作されて各種指示を受付ける。例えば、シャッタボタン１９１は通常の押下と長押しとを別の操作内容であると区別して受付ける。長押し操作がされた場合は、撮影条件（構図など）の決定指示として受付けられる。この状態では画像データはメモリ１５０に記憶されず、画面１９３に画像が表示されるのみである。一方、通常押し操作がされた場合は撮影の実行（シャッタ制御）の指示として受付けられる。
　一方操作ボタン１９２は、ズーム、露出など撮影条件の決定、撮影した画像の選択、閲覧、加工・編集等の指示を入力するために用いられる。
　図１に戻ってサーバ２００を説明する。サーバ２００は、通信部２１０、記憶部２２０、学習部２３０、および通知部２４０を含む。
　通信部２１０は、ＳＮＳサイト３００およびカメラ１００と情報の授受を行うための通信ＩＦである。記憶部２２０は、半導体メモリやハードディスク等の記憶デバイスであって、各ＳＮＳサイト３００に対応付けて、収集した画像の特徴情報と、写真の評価に関する情報を記憶する。加えて、画像（ＳＮＳにアップロードされているか否かは問わない）の特徴情報と、その画像の撮影者とを対応付けて記憶する。なお、構図の特徴情報に加えて、画像データ自体を収集して記憶してもよい。
　学習部２３０は、プロセッサとして実現され、ＳＮＳサイト３００において所定の評価基準を満たす画像の構図を学習する。具体的には、評価基準は、投稿された画像をおよび当該画像（投稿）に対して他のユーザから提供された評価（良い/悪い、点数という情報のほか、閲覧数など、その投稿者がフォローされている数、そのユーザがＳＮＳ上に設けているページの登録者数など）に基づいて算出される。評価基準は、当該画像の評価に関係すると推定されるいかなる情報も含み得る。
　学習部２３０は、ＷＥＢスクレイピング等の手法を用いてＳＮＳサイト３００にアクセスし、そのＳＮＳサイト３００においてどのような特徴情報を有していれば、その画像が投稿された場合に高評価が得られるのかを、予め定められたアルゴリズムや機械学習等の手法を用いて、取得する。具体的には、訓練データとしてユーザの評価を学習器に入力することによって、画像の構図を分類する分類器や評価するための回帰モデル（学習済モデル）を生成する。
　学習モデルを生成する機械学習の手法としては、例えばＤｅｅｐ Ｎeｕｒａｌ Ｎｅｔｗｏｒｋ（ＤＮＮ、深層学習）を用いることができる。具体的には、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒal Ｎｅｔｗｏｒｋ）などが適用可能である。なお、学習を行うタイミングについては、同一コミュニティでも評価される構図に流行があり得ることを考慮し、できるだけ頻繁にＳＮＳサイト３００にアクセスし、画像や評価の情報を更新することが好ましい。
　通知部２４０は、カメラ１００から取得した構図の特徴情報を学習した構図の特徴情報と比較し、比較の結果に基づいて、ユーザによって決定された構図を学習済みの（すなわち高評価が期待される）構図に近づけるためのアドバイス情報を生成する。
　例えば、特徴情報が、カメラアングル、画角、被写体までの距離、画面内における被写体の位置または大きさ（割合）というパラメータで構成されている場合、所定の画像マッチングアルゴリズムを用いて、この構図の画像をＳＮＳにアップロードした場合に得られると推定される評価値を算出する。そして、このＳＮＳにおいて評価の向上に最も効果的であると推定される一つのパラメータを特定する。そして、特定したパラメータについて、理想的な値を決定し、現在の値と理想的な値との差分に基づいてアドバイス情報を生成する。
　例えば、ある構図において、あるＳＮＳサイトにおいてはカメラアングルを変更することが最も合理的に評価を上げる方法であるだと通知部２４０が決定した場合、「カメラアングルを被写体に対して斜め下方４５°となるように変更する」という内容のアドバイス情報を生成する。なお、複数のパラメータと各パラメータの変更量を決定して、アドバイス情報に内包させてもよい。また、パラメータの変更値は算出せず、変更すべきパラメータの項目のみがアドバイス情報に内包されていてもよい。例えば、「被写体の選択をやり直す」という内容のアドバイス情報が生成される。
　要するに、アドバイス情報は、ユーザが決定した構図よりも高評価を得ることができると推定される構図が存在すること、およびその場合においてユーザによる構図の変更を支援する情報であれよい。
　アドバイス情報の要求に手本撮影者についての情報が内包されていた場合、アドバイス情報には、ユーザが決定した構図を、手本撮影者が撮影した画像の構図に近づけるための情報が含まれてもよい。具体的には、メモリ１５０に記憶された手本撮影者が撮影した画像の傾向や特徴を示す情報と、ユーが決定した構図の特徴情報とを比較し、その差異を小さくするための、パラメータ項目および/またはその値の変更量を決定する。
　例えば、ユーザが指定した有名写真家Ａが風景写真家である場合、通知部２４０は、「画面上の被写体に対する背景の割合」というパラメータ項目１と、「コントラスト」というパラメータ項目２とにおいて、ユーザが決定した構図との差異が著しく大きいと判定し、パラメータ項目１に関して「もう少し遠景にフォーカスする」、「色彩が豊かなシーンを探す」というアドバイス情報が生成される。
　アドバイス情報の要求に手本撮影者とターゲット評価者についての情報が含まれていた場合において、手本撮影者の画像がＳＮＳに存在する場合はＳＮＳの投稿から当該手本撮影者の高評価がついた画像のみを所定数抽出して、抽出された画像に係る構図の特徴情報を算出して、カメラ１００から取得した特徴情報と比較する。
　あるいは、ＳＮＳにおいて撮影者に関係なく高評価がついている学習済みの構図の特徴情報と、この手本撮影者の画像の構図の特徴情報とに共通する情報（パラメータの項目や値）を決定し、該決定した情報に基づいて特徴情報を算出し、カメラ１００から取得した特徴情報と比較する。そして、比較の結果に基づいて構図の修正の内容や方向性を決定し、アドバイス情報として記述する。
　さらに、通知部２４０は、上記アドバイス情報に、ユーザが指定した構図の画像を、所定の評価基準を満たす画像に近づけるための画像加工処理についてのアドバイスを内包させてもよい。例えば、色彩変更、ぼかし、変形など、撮影のやり直しを伴わずに目的の画像を得るための画像処理の方法についての情報が含まれる。
　生成されたアドバイス情報は、通信部２１０を介して、カメラ１００に送信される。
　図３は構図アドバイスシステムの動作の一例を示す。
　カメラ１００は、シャッタボタン１９１が押下されるなどして、ユーザが構図を確定させたかを判定する（Ｓ５０１）。構図が確定すると、当該構図の特徴情報を抽出する（Ｓ５０２）。続いて、メモリ１５０から情報を読み出すなどして、ターゲット評価者を設定する（Ｓ５０３）。なお、ターゲット評価書に加えてまたは替えて、手本撮影者を設定してもよい。例えば、ユーザに、画面１９３に「アドバイス情報を取得しますか？取得する場合、ターゲットのＳＮＳを選択してください。または、お手本の写真家を指定してください」等のメッセージを表示することによって、アドバイス情報の要否を求め、ユーザが希望する場合はターゲット評価者および/またはターゲット評価者を設定してもよい。
　カメラ１００は、構図の特徴情報とターゲット評価者および/または手本撮影者の情報とが内包された要求を、サーバ２００を送信する（Ｓ５０４）。
　当該要求を受信したサーバ２００は、記憶部２２０から必要な情報を読み出し、当該要求の内容に対応するアドバイス情報を生成（Ｓ５０５）し、生成したアドバイス情報をカメラ１００へ送信（Ｓ５０６）する。カメラ１００は、アドバイス情報を受信すると、当該アドバイス情報を画面１９３に撮影した画像に重ねて表示する（Ｓ５０７）。
　図４は、アドバイス情報を受信したカメラ１００に表示される画面の例である。画面１９３には、撮影した（構図が確定した）画像の上に、オブジェクトＯＢ１、オブジェクトＯＢ２，オブジェクトＯＢ３が重ねて表示されている。
　オブジェクトＯＢ１は、アドバイスの内容を示すテキスト情報の例である。オブジェクトＯＢ２は特徴情報に基づいて特定された被写体を示す枠である。オブジェクトＯＢ３は、構図の修正の方向性を示す矢印である。この例では、被写体が画面中心部ではなく、右側に配置されるようにカメラアングルを調整するようにアドバイスされている。このように、オブジェクトを撮影した画像に重ねて表示することで、ユーザはアドバイス内容を直感的に把握することができる。
　このアドバイスを参考にして、ユーザは撮影位置等を変更して再びシャッタボタン１９１を長押しして構図を確定させると、構図の変更に起因して、例えば図５に示すような画面が表示される。この例では、オブジェクトＯＢ４によって、ユーザが指定した構図が理想的である状態（構図の修正が特段不要）であることが通知されている。
　例えば、構図についてはあまり改善の余地がないと判断された場合など、アドバイス情報に画像処理に関する情報のみが含まれている場合は、図６に示すように、画像加工の実行を提案するメッセージを表示してもよい（オブジェクトＯＢ５）。ユーザが画像加工の実行を指定すると、図７に示す画面が表示され、具体的な画像処理の実行が支援される。
　また、アドバイス情報に、ユーザが指定したＳＮＳ３００においてユーザが撮影した構図と類似する構図で評価が高い画像データが含まれている場合は、図８に示すように、当該画像（オブジェクトＯＢ８）を表示させてもよい。
　上記実施例によれば、撮影者が指定した評価者または評価者の属するコミュニティにおいて高い評価が得られるように、構図に関するアドバイスが当該撮影者に通知される。よって、ＳＮＳごとに評価の判断基準や好まれる画像の傾向が異なっていても、適切なアドバイスを受けることができる。
　また、アドバイス情報は撮影した画像に重ねて表示されるので、ユーザは撮影をしながら自分が決めた構図がどのような評価を受けると想定されるのかが即座に把握できるので、いろいろな構図を試すことができる。これにより、写真撮影の面白さを手軽にユーザに体感してもらうことが期待される。
　加えて、ユーザが指定する撮影者が撮影した画像の構図に近づけるための方法についてのアドバイスを受けることができる。これにより、例えば憧れの写真家が撮影した写真と同じ撮影場所にいくことはできなくても、身近なシーンで似たような構図の写真を撮影することができる。
　アドバイス情報の通知のタイミングは、構図の確定時ではなく、撮影完了時（画像データの生成・記録時あってもよい）。例えば、撮影完了の直後あるいは閲覧のために撮影した画像がユーザによって選択されたときに、アドバイス情報の要否をユーザに問い合わせてもよい。
　本発明の提供対象の情報は静止画データ（写真）ではなく、連続する静止画の集合である動画データ(映像)でもよい。この場合、構図には上記の静止画に関する特徴情報に加え、パン、チルトなどのフレーミングやズーミングなどの撮影技法（カメラワーク）に関する情報が含まれていもよい。要するに、撮影の結果として得られる映像データの評価に影響を与える要素であればよい。
　ＳＮＳ３００から取得した画像に基づいて実行される画像の評価についての学習処理や、学習結果の記憶処理は、サーバ２００の管理者とは別の管理者によって設置される情報管理サーバにて実行されてもよい。この場合、サーバ２００は、通信部２１０および通知部２４０の機能のみを有し、カメラ１００から要求を受けると、構図についての特徴情報をこの情報管理サーバに問い合わせ、情報管理サーバから、アドバイスを生成するために必要な、学習結果についての情報を取得する。
　また、サーバ２００の全ての機能、もしくは通信部２１０および通知部２４０の機能は、カメラ１００に備わっていてもよい。少なくとも学習結果の取得及びアドバイス情報の生成をカメラ１００にて実行することにより、アドバイス通知のレスポンス性が向上する。
　要するに、本発明の情報処理において、ＳＮＳにおける所定の評価基準を満たす画像の構図を学習するステップと、ユーザによって撮像された画像を解析して特徴情報を抽出する抽出ステップと、該抽出された特徴情報に基づいて、該解析された画像の構図を該学習された構図に近づけるためのアドバイス情報を前記ユーザに通知するステップとが実行されていればよい。
　換言すると、本発明のカメラは、撮像部と、ユーザの操作によって前記撮像部にて撮像された画像を解析して、特徴情報を抽出する抽出手段と、ＳＮＳにおける所定の評価基準を満たす画像の構図を学習する学習手段と、該抽出された特徴情報と、ＳＮＳにおける所定の評価基準を満たす画像の構図の情報とに基づいて生成された、該解析された画像の構図に対するアドバイス情報を、前記ユーザに通知する通知手段とを有していればよい。

Claims (10)

  1. 　ＳＮＳにおける所定の評価基準を満たす画像の構図を学習する学習手段と、
    　ユーザによって撮像された画像を解析して特徴情報を抽出する抽出手段と、
    　該抽出された特徴情報に基づいて、該解析された画像の構図を該学習された構図に近づけるためのアドバイス情報を前記ユーザに通知する通知手段と
    　を有する構図アドバイスシステム。
  2. 　前記アドバイス情報は、カメラアングル、画角、撮影距離、画面内における被写体の位置または大きさ、のいずれかについての情報を含む、
    　請求項１に記載の構図アドバイスシステム。
  3. 　前記通知手段は、構図を確定させる操作が行われた後であって、撮影条件を確定させる操作が行われる前に、前記通知を実行する
    　請求項１または２に記載の構図アドバイスシステム。
  4. 　前記通知手段は、前記ユーザによって操作される撮像装置の表示画面に、撮像された画像に重ねて、前記アドバイス情報を表示する
    　請求項３に記載の構図アドバイスシステム。
  5. 　前記学習手段は、該所定の評価基準を満たす画像の撮影条件をさらに学習し、
    　前記通知手段は、該解析された画像の撮影条件を該学習された撮影条件に近づけるためのアドバイス情報をさらに通知する
    　請求項１～４のいずれか一項に記載の構図アドバイスシステム。
  6. 　前記通知手段は、該解析された画像を、前記所定の評価基準を満たす画像に近づけるための画像加工処理についてのアドバイス情報をさらに通知する
    　請求項１～５のいずれか一項に記載の構図アドバイスシステム。
  7. 　前記ＳＮＳにアップロードされた画像の撮影者を指定する指定手段と、
    　前記アドバイス情報には、該解析された特徴情報を、該前記ユーザによって指定された撮影者が撮影した画像の特徴情報に近づけるための情報が含まれる
    　請求項１～６のいずれか一項に記載の構図アドバイスシステム。
  8. 　撮像部と、
    　ユーザの操作によって前記撮像部にて撮像された画像を解析して、特徴情報を抽出する抽出手段と、
    　ＳＮＳにおける所定の評価基準を満たす画像の構図を学習する学習手段と、
    　該抽出された特徴情報と、ＳＮＳにおける所定の評価基準を満たす画像の構図の情報とに基づいて生成された、該解析された画像の構図に対するアドバイス情報を、前記ユーザに通知する通知手段と
    　を有するカメラ。
  9. 　ＳＮＳにおける所定の評価基準を満たす画像の構図を学習するステップと、
    　ユーザによって撮像された画像を解析して特徴情報を抽出する抽出ステップと、
    　該抽出された特徴情報に基づいて、該解析された画像の構図を該学習された構図に近づけるためのアドバイス情報を前記ユーザに通知するステップと
    　を有する構図アドバイス方法。
  10. 　１以上のコンピュータに、
    　ＳＮＳにおける所定の評価基準を満たす画像の構図を学習するステップと、
    　ユーザによって撮像された画像を解析して特徴情報を抽出するステップと、
    　該抽出された特徴情報に基づいて、該解析された画像の構図を該学習された構図に近づけるためのアドバイス情報を前記ユーザに通知するステップと
    　を実行させるためのプログラム。
PCT/JP2018/017670 2018-05-07 2018-05-07 構図アドバイスシステム、構図アドバイス方法、カメラ、プログラム WO2019215797A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/017670 WO2019215797A1 (ja) 2018-05-07 2018-05-07 構図アドバイスシステム、構図アドバイス方法、カメラ、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/017670 WO2019215797A1 (ja) 2018-05-07 2018-05-07 構図アドバイスシステム、構図アドバイス方法、カメラ、プログラム

Publications (1)

Publication Number Publication Date
WO2019215797A1 true WO2019215797A1 (ja) 2019-11-14

Family

ID=68466742

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/017670 WO2019215797A1 (ja) 2018-05-07 2018-05-07 構図アドバイスシステム、構図アドバイス方法、カメラ、プログラム

Country Status (1)

Country Link
WO (1) WO2019215797A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022014143A1 (ja) * 2020-07-13 2022-01-20 ソニーグループ株式会社 撮像システム
EP4096214A3 (en) * 2021-05-06 2023-05-03 Canon Kabushiki Kaisha Imaging control apparatus, server apparatus, imaging control method, and program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007288425A (ja) * 2006-04-14 2007-11-01 Toyota Motor Corp 自律移動体
JP2009095002A (ja) * 2007-09-18 2009-04-30 Sony Corp 表示制御装置、撮像装置、表示制御方法およびプログラム
JP2009239397A (ja) * 2008-03-26 2009-10-15 Seiko Epson Corp 撮影装置、撮影システム、撮影装置の制御方法および制御プログラム
JP2013021680A (ja) * 2011-06-14 2013-01-31 Canon Inc 画像に関する処理支援システム、情報処理装置、及び画像に関する処理影支援方法
WO2013179742A1 (ja) * 2012-05-30 2013-12-05 ソニー株式会社 情報処理装置、システム、および記憶媒体
WO2013183338A1 (ja) * 2012-06-07 2013-12-12 ソニー株式会社 情報処理装置および記憶媒体
JP2015026894A (ja) * 2013-07-24 2015-02-05 富士通株式会社 撮像プログラム、撮像方法および情報処理装置
JP2015507860A (ja) * 2011-12-07 2015-03-12 インテル コーポレイション 画像キャプチャのガイド

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007288425A (ja) * 2006-04-14 2007-11-01 Toyota Motor Corp 自律移動体
JP2009095002A (ja) * 2007-09-18 2009-04-30 Sony Corp 表示制御装置、撮像装置、表示制御方法およびプログラム
JP2009239397A (ja) * 2008-03-26 2009-10-15 Seiko Epson Corp 撮影装置、撮影システム、撮影装置の制御方法および制御プログラム
JP2013021680A (ja) * 2011-06-14 2013-01-31 Canon Inc 画像に関する処理支援システム、情報処理装置、及び画像に関する処理影支援方法
JP2015507860A (ja) * 2011-12-07 2015-03-12 インテル コーポレイション 画像キャプチャのガイド
WO2013179742A1 (ja) * 2012-05-30 2013-12-05 ソニー株式会社 情報処理装置、システム、および記憶媒体
WO2013183338A1 (ja) * 2012-06-07 2013-12-12 ソニー株式会社 情報処理装置および記憶媒体
JP2015026894A (ja) * 2013-07-24 2015-02-05 富士通株式会社 撮像プログラム、撮像方法および情報処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022014143A1 (ja) * 2020-07-13 2022-01-20 ソニーグループ株式会社 撮像システム
EP4096214A3 (en) * 2021-05-06 2023-05-03 Canon Kabushiki Kaisha Imaging control apparatus, server apparatus, imaging control method, and program

Similar Documents

Publication Publication Date Title
JP6525611B2 (ja) 画像処理装置およびその制御方法
WO2022028184A1 (zh) 一种拍摄控制方法、装置、电子设备及存储介质
JP2014039241A (ja) 予備画像を分析する装置、方法及びプログラム
JP6899002B2 (ja) 画像処理方法、装置、コンピュータ読み取り可能記憶媒体及び電子機器
JP2010010936A (ja) 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
CN109196852B (zh) 拍摄构图引导方法及装置
WO2017067121A1 (zh) 一种拍摄方法、装置、系统及一种移动终端
WO2019215797A1 (ja) 構図アドバイスシステム、構図アドバイス方法、カメラ、プログラム
JP2004280254A (ja) コンテンツ分類方法および装置
JP2008035125A (ja) 撮像装置、画像処理方法およびプログラム
JP6594666B2 (ja) 撮像補助装置、撮像装置および撮像補助方法
JP2018084861A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP6410427B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2021077131A (ja) 構図アドバイスシステム、構図アドバイス方法、ユーザ端末、プログラム
US11595584B2 (en) Imaging apparatus, method of controlling imaging apparatus and computer-readable medium
US11961216B2 (en) Photography session assistant
JP2018186439A (ja) 情報処理システム、情報処理装置、及び、情報処理方法
JP6071714B2 (ja) 画像処理装置、およびその制御方法
WO2019205566A1 (zh) 一种显示图片的方法和设备
JP5242756B2 (ja) 画像処理装置、画像処理方法、およびカメラ
US11743573B2 (en) Imaging apparatus for adjusting photographing conditions according to photographed images and method for controlling imaging apparatus
US11653087B2 (en) Information processing device, information processing system, and information processing method
JP7428143B2 (ja) 撮影装置、撮影方法、及びプログラム
JP2019109813A (ja) 画像処理装置、画像処理方法、画像形成装置及び画像処理プログラム
WO2016017224A1 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18918123

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18918123

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP