WO2026022985A1

WO2026022985A1 - 撮像装置、撮像支援方法、およびプログラム

Info

Publication number: WO2026022985A1
Application number: PCT/JP2024/026516
Authority: WO
Inventors: 博仁栗山; 秀幸桑島; 拓也清水
Original assignee: Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2024-07-24
Filing date: 2024-07-24
Publication date: 2026-01-29
Anticipated expiration: 2027-01-24

Abstract

より好適な人工知能応答出力技術を提供すること。本発明によれば、持続可能な開発目標（ＳＤＧｓ）の「９産業と技術革新の基盤をつくろう」、「１１住み続けられるまちづくりを」に貢献する。　撮像部と、表示部と、制御部と、を備え、制御部は、ユーザによる撮像部を用いた撮像を支援するための撮像支援情報を要求する指示情報を生成人工知能に送信する処理と、生成人工知能から撮像支援情報を含む応答情報を受信する処理と、受信した応答情報に含まれる撮像支援情報または当該撮像支援情報に基づく情報を表示部に表示させる処理と、を実行する、撮像装置を提供する。

Description

撮像装置、撮像支援方法、およびプログラム

　本発明は、撮像装置、撮像支援方法、およびプログラムに関する。

　言語モデルなどの人工知能を用いた応答出力技術については、例えば、特許文献１に開示されている。

特表２０１９－５２８５１２号公報

　しかしながら、特許文献１の開示では、人工知能を用いた応答出力技術をユーザにより好適に提供するための構成などについての考慮は十分ではなかった。

　本発明の目的は、より好適な応答出力技術を提供することにある。

　上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、撮像装置であって、撮像部と、表示部と、制御部と、を備え、前記制御部は、ユーザによる前記撮像部を用いた撮像を支援するための撮像支援情報を要求する指示情報を生成人工知能に送信する処理と、前記生成人工知能から前記撮像支援情報を含む応答情報を受信する処理と、前記受信した応答情報に含まれる撮像支援情報または当該撮像支援情報に基づく情報を前記表示部に表示させる処理と、を実行するように構成すればよい。

　また、他の一例を挙げるならば、撮像支援方法であって、撮像装置における制御部が、ユーザによる撮像部を用いた撮像を支援するための撮像支援情報を要求する指示情報を生成人工知能に送信する処理と、前記生成人工知能から前記撮像支援情報を含む応答情報を受信する処理と、前記受信した応答情報に含まれる撮像支援情報または当該撮像支援情報に基づく情報を表示部に表示させる処理と、を実行するように構成すればよい。

　また、他の一例を挙げるならば、プログラムであって、撮像装置における制御部を構成するプロセッサに、ユーザによる撮像部を用いた撮像を支援するための撮像支援情報を要求する指示情報を生成人工知能に送信する処理と、前記生成人工知能から前記撮像支援情報を含む応答情報を受信する処理と、前記受信した応答情報に含まれる撮像支援情報または当該撮像支援情報に基づく情報を表示部に表示させる処理と、を実行させるように構成すればよい。

　本発明によれば、より好適な応答出力技術を提供できる。これ以外の課題、構成および効果は、以下の実施形態の説明において明らかにされる。

本発明の一実施例に係る人工知能応答出力装置およびシステムの一例を示す図である。本発明の一実施例に係る人工知能応答出力装置の一例を示す図である。本発明の一実施例に係る人工知能応答出力装置およびシステムの動作の一例を示す図である。本発明の一実施例に係る撮像装置と生成人工知能サーバとを含むシステムの一例を示す図である。本発明の一実施例に係る撮像装置の構成の一例を示す図である。本発明の一実施例に係る撮像装置および生成人工知能サーバにおける処理フローの一例を示す図である。本発明の一実施例に係る撮像装置および生成人工知能サーバにおける処理フローの一例を示す図である。本発明の一実施例に係る撮像装置および生成人工知能サーバにおける処理フローの一例を示す図である。本発明の一実施例に係る撮像装置および生成人工知能サーバにおける処理フローの一例を示す図である。本発明の一実施例に係る撮像装置における表示画面の一例を示す図である。本発明の一実施例に係る生成人工知能からの助言を受ける前後における構図の変化の一例を示す図である。本発明の一実施例に係る撮像装置により得られるスルー画像において不要物体が抽出される様子の一例を示す図である。本発明の一実施例に係る撮像装置において元画像と仮加工済画像とが表示された例を示す図である。

　以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、本発明は実施例の説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものには、同一の符号を付与し、その繰り返しの説明は省略する場合がある。

　なお、本発明の各実施例に係る人工知能応答出力装置が表示画面を有する場合は、表示装置と呼んでもよい。人工知能応答出力装置が音声出力機能を有する場合は、音声出力装置と呼んでもよい。人工知能応答出力装置は単に情報処理装置と呼んでもよい。人工知能応答出力装置と、大規模言語モデルを保持する大規模言語モデルサーバを含むシステムを人工知能応答出力システムと呼んでもよい。また、人工知能応答出力装置が人工知能である大規模言語モデルの応答サービスをユーザに提供し、ユーザの助力になる場合は、人工知能応答出力装置または人工知能応答出力装置の表示出力は、ユーザにとって人工知能（ＡＩ）アシスタントとなることができる。よって、この場合、人工知能応答出力装置はＡＩアシスタント装置またはＡＩアシスタント表示装置と呼んでもよい。同様に、この場合、人工知能応答出力装置と、大規模言語モデルを保持する大規模言語モデルサーバを含むシステムをＡＩアシスタントシステムまたはＡＩアシスタント表示システムと呼んでもよい。また、この場合、人工知能応答出力装置は、ユーザと人工知能の間のインタフェースとなるので、人工知能インタフェース装置と呼んでもよい。この場合、人工知能応答出力装置と、大規模言語モデルを保持する大規模言語モデルサーバを含むシステムを人工知能インタフェースシステムと呼んでもよい。

　＜実施例１＞
　本発明の実施例１として、大規模言語モデル人工知能からの応答を出力する人工知能応答出力装置およびそのシステムについて、説明する。

　図１Ａを用いて、本発明の人工知能応答出力装置１００１０の一例について説明する。また、当該人工知能応答出力装置１００１０が大規模言語モデルサーバ１９００１と通信などにより連携する場合について、人工知能応答出力装置１００１０が大規模言語モデルサーバ１９００１および／またはマルチモーダルな大規模言語モデルサーバ２０００１とを含むシステムの一例について説明する。

　図１Ａの例では、人工知能応答出力装置１００１０は、表示部１００１１を有する。図１Ａの例では、表示部１００１１は、平面ディスプレイでもよく、背面から映像を投影するスクリーンでもよく、光学像を空中に結像する空中浮遊映像でもよい。表示部１００１１が平面ディスプレイの場合は、液晶パネルとバックライトを有する液晶ディスプレイでもよい。また、表示部１００１１は、プラズマディスプレイでもよい。表示部１００１１は、画素が自発光する有機ＥＬディスプレイでもよい。また、表示部１００１１はタッチ操作入力センサを設け、タッチパネルとして構成してもよい。

　図１Ａの例では、人工知能応答出力装置１００１０が備える音声出力部１１４０はスピーカで構成されている。また、人工知能応答出力装置１００１０がマイク１１３９を備え、ユーザの声を収音できる。当該マイク１１３９からの音声入力や、後述する操作入力部を介したユーザの操作入力により、人工知能応答出力装置１００１０は、人工知能である大規模言語モデルへの指示文（プロンプト）の元となるユーザ入力を取得することができる。

　人工知能応答出力装置１００１０は、人工知能応答出力装置１００１０にローカルの大規模言語モデルを備えてもよい。この場合、当該大規模言語モデルの応答を上記表示部１００１１の表示出力、および／または、音声出力部１１４０の音声出力として出力してもよい。

　また、人工知能応答出力装置１００１０は、ローカルの大規模言語モデルを備えず、外部の大規模言語モデルサーバ１９００１と通信し、大規模言語モデルサーバ１９００１から受信する応答を上記表示部１００１１の表示出力、および／または、音声出力部１１４０の音声出力として出力してもよい。

　または、人工知能応答出力装置１００１０は、ローカルの大規模言語モデルも備え、さらに、大規模言語モデルを有する外部の大規模言語モデルサーバ１９００１またはマルチモーダルな大規模言語モデルを有する外部の大規模言語モデルサーバ２０００１と通信するように構成してもよい。この場合、当該ローカルの大規模言語モデルの応答と、大規模言語モデルサーバ１９００１の大規模言語モデルまたはマルチモーダルな大規模言語モデルサーバ２０００１のマルチモーダルな大規模言語モデルから受信する応答とを、切り替えて、いずれか一方を、上記表示部１００１１の表示出力、および／または、音声出力部１１４０の音声出力として出力してもよい。または、当該ローカルの大規模言語モデルの応答と、大規模言語モデルサーバ１９００１の大規模言語モデルまたはマルチモーダルな大規模言語モデルサーバ２０００１のマルチモーダルな大規模言語モデルから受信する応答の両者にもとづいて生成した応答を、上記表示部１００１１の表示出力、および／または、音声出力部１１４０の音声出力として出力してもよい。

　人工知能応答出力装置１００１０が外部の大規模言語モデルサーバ１９００１または大規模言語モデルサーバ２０００１と通信して連携する場合の構成は、以下のとおりである。人工知能応答出力装置１００１０は、通信部１１３２を介して、インターネット１９０００に接続された通信装置１９０１１と通信可能である。図１Ａの例では、通信部１１３２と通信装置１９０１１との通信は無線の例を示しているが、有線通信でも構わない。通信部１１３２と通信装置１９０１１までの通信経路において、有線の部分と無線の部分があってもよいし、ルータや中継器を経由してもよい。また、通信部１１３２からインターネット１９０００までの通信経路において、有線の部分と無線の部分があってもよいし、ルータや中継器を経由してもよい。人工知能応答出力装置１００１０は、通信装置１９０１１およびインターネット１９０００を介して、大規模言語モデルサーバ１９００１と通信可能である。また、人工知能応答出力装置１００１０は、通信装置１９０１１およびインターネット１９０００を介して、大規模言語モデルサーバ１９００１または大規模言語モデルサーバ２０００１、およびこれらのサーバと異なる第２のサーバ１９００２と通信可能である。人工知能応答出力装置１００１０と大規模言語モデルサーバ１９００１または大規模言語モデルサーバ２０００１とを含めた構成を一つのシステムとして考えてもよい。

　以下の説明において、単に「大規模言語モデル」と説明し特に断りがない場合は、人工知能応答出力装置１００１０が備えるローカルの大規模言語モデルと、大規模言語モデルサーバ１９００１が備える大規模言語モデル、および大規模言語モデルサーバ２０００１が備えるマルチモーダルな大規模言語モデルを含めた概念と考えてよい。

　図１Ａの例では、表示部１００１１が、ユーザから人工知能である大規模言語モデルへの指示文（プロンプト）を入力する指示文表示領域１００５１と、大規模言語モデルからの応答を表示する人工知能応答表示領域１００６１の２つの表示領域に各要素を表示する例を示している。図１Ａの例では、指示文表示領域１００５１には、ユーザを示すアイコン１００５２、指示文の構成要素としての自然言語やソフトウェアコードなどのテキスト１００５３、指示文の構成要素としての画像１００５４、指示文の構成要素としての動画１００５５、などを表示する例を示している。図１Ａの例では、人工知能応答表示領域１００６１には、人工知能または人工知能アシスタントを示すアイコン１００６２、人工知能からの応答の構成要素としての自然言語やソフトウェアコードなどのテキスト１００６３、人工知能からの応答の構成要素としての画像１００６４、人工知能からの応答の構成要素としての動画１００６５、などを表示する例を示している。なお、図１Ａに示す人工知能応答出力装置１００１０の表示部１００１１の表示例は、あくまで一例である。人工知能応答出力装置１００１０が用いられる実装例に応じて、図１Ａに示す例とは異なる表示を行えばよい。

　ここで、大規模言語モデルについて説明する。大規模言語モデルはＬＬＭ（Ｌａｒｇｅ　Ｌａｎｇｕａｇｅ　Ｍｏｄｅｌ）とも表記される。具体的には、ＧＰＴ－１、ＧＰＴ－２、ＧＰＴ－３、ＩｎｓｔｒｕｃｔＧＰＴ、ＣｈａｔＧＰＴなど様々なモデルが公開されている。本実施例においてもこれらの技術を用いればよい。なお、これらの大規模言語モデルは人間界に存在する数多くの文書、テキストに含まれる自然言語を対象に、大規模な事前学習が行われて生成された人工知能モデルである。人工知能モデルのパラメータ数は億を超える。さらに、これに加えて、人間からのフィードバックにもとづく強化学習を施したモデルもある。ベースとなるモデルの一例はＴｒａｎｓｆｏｒｍｅｒと呼ばれるモデルなどである。これらのモデルの学習の一例として、例えば、参考文献１などが公開されている。

　［参考文献１］
　Long Ouyang, et. al. “Training language models to follow instructions with human feedback”, https://arxiv.org/pdf/2203.02155.pdf

　これらの大規模言語モデルは、自然言語を対象とした翻訳、自然言語を対象とした文章校正、自然言語を対象とした文章要約、などが可能である。そのうち、高度なものでは、自然言語による質問回答（対話または会話ともよばれる）、自然言語による提案生成、プログラミングコードの生成などが可能である。これらの人工知能モデルのパラメータ数は非常に大きいため、学習には膨大なデータ、計算資源が必要である。よって、特定の用途に限って、このレベルの人工知能の学習を行うことは非常に資源効率が悪い。そこで、様々な用途に応用できる基盤モデル（Ｆｏｕｎｄａｔｉｏｎ　Ｍｏｄｅｌ）として、大規模な事前学習を行ってモデルが生成されている。例えば、図１Ａに示す大規模言語モデルサーバ１９００１は、このような大規模言語モデルを備え、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ　Ｐｒｏｇｒａｍｍｉｎｇ　Ｉｎｔｅｒｆａｃｅ）を介して、様々な端末で利用できるように構成してもよい。また、図１Ａに示す人工知能応答出力装置１００１０がローカルの大規模言語モデルを備え、人工知能応答出力装置１００１０自身が利用するように構成してもよい。いずれの大規模言語モデルの学習自体は、別途、大規模な事前学習を行って生成し、生成した大規模言語モデルを複製して、大規模言語モデルサーバ１９００１や人工知能応答出力装置１００１０などに備えればよい。このように、用途ごとや端末ごとに事前学習を行うのではなく、大規模な事前学習を行って生成した基盤モデルである大規模言語モデルを複製して個々のサーバや端末で利用すれば、学習に用いる資源消費を共有することができるため資源効率がよい。

　なお、大規模な事前学習を行って生成した基盤モデルとしての大規模言語モデルであっても、個々のサーバや装置において、用途や目的に応じて転移学習などの追加学習を行うように構成してもよい。

　また、大規模言語モデルは、自然言語を事前学習し、自然言語を対象とした入出力処理を行うことができる。さらに、自然言語のテキスト情報に加えて自然言語のテキスト情報以外の種類の情報も併せて処理が可能なマルチモーダルな大規模言語モデル人工知能も本発明の実施例に適用可能である。図１Ａにおいては、マルチモーダルな大規模言語モデルを有する大規模言語モデルサーバ２０００１を示す。例えば、マルチモーダルな大規模言語モデル人工知能の一例としては、具体的には、ＧＰＴ－４（参考文献２参照）、Ｇａｔｏ（参考文献３参照）などが公開されている。本実施例においてもこれらの技術を用いればよい。なお、これらのマルチモーダルな大規模言語モデルは人間界に存在する数多くの文書、テキストに含まれる自然言語および自然言語のテキスト情報以外の種類の情報（例えば、画像、動画、音声など）を対象に、大規模な事前学習が行われて生成された人工知能モデルである。さらに、これに加えて、人間からのフィードバックにもとづく強化学習を施したモデルもある。以下、画像、動画、音声などの自然言語のテキスト情報以外の種類の情報を非自然言語情報源と称してもよい。

　［参考文献２］
　Open AI “GPT-4 Technical Report”, https://cdn.openai.com/papers/gpt-4.pdf
　［参考文献３]
　Scott Reed, et. al. “A Generalist Agent”,
https://arxiv.org/pdf/2205.06175.pdf

　次に、図１Ｂを用いて、これらの大規模言語モデルなどの人工知能に対するユーザからの入力を受け付け、当該ユーザからの入力に対する大規模言語モデルなどの人工知能からの応答を出力する、人工知能応答出力装置１００１０の構成例について説明する。

　人工知能応答出力装置１００１０は、表示部１００１１、制御部１１１０、メモリ１１０９、不揮発性メモリ１１０８、外部電源入力インタフェース１１１１、操作入力部１１０７、電源１１０６、二次電池１１１２、ストレージ部１１７０、映像制御部１１６０、姿勢センサ１１１３、通信部１１３２、音声出力部１１４０、マイク１１３９、映像信号入力部１１３１、音声信号入力部１１３３、撮像部１１８０、等を備えている。人工知能応答出力装置１００１０は、例えば、いわゆるモニタやテレビなどの大画面を有するものでもよい。

　表示部１００１１は、平面ディスプレイでもよく、背面から映像を投影するスクリーンでもよく、光学像を空中に結像する空中浮遊映像を表示するものでもよい。表示部１００１１が平面ディスプレイの場合は、液晶パネルとバックライトを有する液晶ディスプレイでもよい。また、表示部１００１１は、プラズマディスプレイでもよい。表示部１００１１は、画素が自発光する有機ＥＬディスプレイでもよい。表示部１００１１がパネルの場合は、表示パネルと称してもよい。表示部１００１１にタッチ操作入力センサを設け、ユーザ２３０の指によるタッチ操作入力を受け付けるように構成してもよい。この場合、表示部１００１１はタッチパネルとして構成してもよい。当該タッチパネルを介したユーザの操作入力により、人工知能応答出力装置１００１０は、人工知能である大規模言語モデルへの指示文（プロンプト）の元となるユーザ入力を取得することができる。

　通信部１１３２は、Ｗｉ―Ｆｉ方式の通信インタフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）方式の通信インタフェース、４Ｇ、５Ｇなどの移動体通信インタフェースなどで構成すればよい。これらの通信方式を用いて、人工知能応答出力装置１００１０の通信部１１３２は、インターネット１９０００に接続された通信装置１９０１１と通信可能である。なお、通信部１１３２と通信装置１９０１１までの通信経路において、有線の部分と無線の部分があってもよいし、ルータや中継器を経由してもよい。有線の場合は、通信部１１３２は、ハードウェアとしてイーサネットの接続インタフェースを有してＬＡＮ方式の通信方式を用いて通信を行ってもよい。これにより、人工知能応答出力装置１００１０はインターネット１９０００に接続された各種サーバと通信可能である。

　人工知能応答出力装置１００１０にはＣＰＵなどの制御部１１１０およびメモリ１１０９が備えられており、当該制御部１１１０は、表示部１００１１や通信部１１３２などを制御する。

　電源１１０６は、外部から外部電源入力インタフェース１１１１を介して入力されるＡＣ電流をＤＣ電流に変換し、人工知能応答出力装置１００１０の各部にそれぞれ必要なＤＣ電流を供給する。二次電池１１１２は、電源１１０６から供給される電力を蓄電する。また、二次電池１１１２は、外部電源入力インタフェース１１１１を介して、外部から電力が供給されない場合に、電力を必要とする各部に対して電力を供給する。

　操作入力部１１０７は、例えば操作ボタンや、リモートコントローラ等の信号受信部または赤外光受光部であり、表示部１００１１のタッチ操作入力センサへのユーザによるタッチ操作とは異なる操作についての信号を入力する。表示部１００１１のタッチ操作入力センサをタッチ操作するユーザとは別に、操作入力部１１０７は、例えば管理者が人工知能応答出力装置１００１０を操作するために用いられてもよい。当該操作入力部１１０７を介したユーザの操作入力により、人工知能応答出力装置１００１０は、人工知能である大規模言語モデルへの指示文（プロンプト）の元となるユーザ入力を取得することができる。なお、表示部１００１１のタッチ操作入力センサも前記操作入力部１１０７の一部として含む構成とする変形例もあり得る。

　映像信号入力部１１３１は、外部の映像出力装置を接続して映像データを入力する。映像信号入力部１１３１は、様々なデジタル映像入力インタフェースが考えられる。例えば、ＨＤＭＩ（登録商標）（High―Definition Multimedia Interface）規格の映像入力インタフェース、ＤＶＩ（Digital Visual Interface）規格の映像入力インタフェース、またはＤｉｓｐｌａｙＰｏｒｔ規格の映像入力インタフェースなどで構成すればよい。または、アナログＲＧＢや、コンポジットビデオなどのアナログ映像入力インタフェースを設けてもよい。映像信号入力部１１３１は、各種ＵＳＢインタフェースなどでもよい。

　音声信号入力部１１３３は、外部の音声出力装置を接続して音声データを入力する。音声信号入力部１１３３は、ＨＤＭＩ規格の音声入力インタフェース、光デジタル端子インタフェース、または、同軸デジタル端子インタフェース、などで構成すればよい。音声信号入力部１１３３は、各種ＵＳＢインタフェースなどでもよい。ＨＤＭＩ規格のインタフェースの場合は、映像信号入力部１１３１と音声信号入力部１１３３とは、端子およびケーブルが一体化したインタフェースとして構成されてもよい。

　音声出力部１１４０は、音声信号入力部１１３３に入力された音声データに基づいた音声を出力することが可能である。音声出力部１１４０は、ストレージ部１１７０に格納されている音声データに基づいた音声を出力することも可能である。音声出力部１１４０は、スピーカで構成してもよい。また、音声出力部１１４０は、内蔵の操作音やエラー警告音を出力してもよい。または、ＨＤＭＩ規格に規定されるＡｕｄｉｏＲｅｔｕｒｎＣｈａｎｎｅｌ機能のように、外部機器にデジタル信号として音声信号を出力する構成を音声出力部１１４０としてもよい。または、ヘッドホンなどの外部機器にアナログ信号として音声信号を出力する構成を音声出力部１１４０としてもよい。

　マイク１０３９は、人工知能応答出力装置１００１０の周辺の音を収音し、信号に変換して音声信号を生成するマイクである。ユーザの声など人物の声をマイクが収録して、生成した音声信号を後述する制御部１１１０が音声認識処理を行って、当該音声信号から文字情報を取得するように構成してもよい。当該マイク１１３９からの音声入力により、人工知能応答出力装置１００１０は、人工知能である大規模言語モデルへの指示文（プロンプト）の元となるユーザ入力を取得することができる。

　撮像部１１８０は、イメージセンサを有するカメラである。人工知能応答出力装置１００１０の表示部１００１１側の前面にカメラを設けてもよく、表示部１００１１側の背面にカメラを設けてもよい。前面のカメラと背面のカメラの両者を設けてもよい。本実施例では、撮像部１１８０は、前面のカメラと背面のカメラの両者を有するものとして説明する。

　ストレージ部１１７０は、映像データ、画像データ、音声データ等の各種データなどの各種情報を記録する記憶装置である。ストレージ部１１７０は、ハードディスクドライブ（ＨＤＤ）などの磁気記録媒体記録装置や、ソリッドステートドライブ（ＳＳＤ）などの半導体素子メモリで構成してもよい。ストレージ部１１７０には、例えば、製品出荷時に予め映像データ、画像データ、音声データ等の各種データ等の各種情報が記録されていてもよい。また、ストレージ部１１７０は、通信部１１３２を介して外部機器や外部のサーバ等から取得した映像データ、画像データ、音声データ等の各種データ等の各種情報を記録してもよい。ストレージ部１１７０に記録された映像データ、画像データ等は、表示部１００１１に出力される。ストレージ部１１７０に記録された映像データ、画像データ等を、通信部１１３２を介して外部機器や外部のサーバ等に出力してもよい。

　映像制御部１１６０は、表示部１００１１に入力する映像信号に関する各種制御を行う。映像制御部１１６０は、映像処理回路と称してもよく、例えば、ＡＳＩＣ、ＦＰＧＡ、映像用プロセッサなどのハードウェアで構成されてもよい。なお、映像制御部１１６０は、映像処理部、画像処理部と称してもよい。映像制御部１１６０は、例えば、メモリ１１０９に記憶させる映像信号と、映像信号入力部１１３１に入力された映像信号（映像データ）等のうち、どの映像信号を表示部１００１１に入力するかといった映像切り替えの制御等を行う。また、映像制御部１１６０は、映像信号入力部１１３１から入力された映像信号やメモリ１１０９に記憶させる映像信号等に対して画像処理を行う制御を行ってもよい。画像処理としては、例えば、画像の拡大、縮小、変形等を行うスケーリング処理、輝度を変更するブライト調整処理、画像のコントラストカーブを変更するコントラスト調整処理、画像を光の成分に分解して成分ごとの重みづけを変更するレティネックス処理等がある。

　姿勢センサ１１１３は、重力センサまたは加速度センサ、またはこれらの組み合わせにより構成されるセンサであり、人工知能応答出力装置１００１０の姿勢を検出することができる。姿勢センサ１１１３の姿勢検出結果に基づいて、制御部１１１０が、接続される各部の動作を制御してもよい。

　不揮発性メモリ１１０８は、人工知能応答出力装置１００１０で用いる各種データを格納する。不揮発性メモリ１１０８に格納されるデータには、例えば、人工知能応答出力装置１００１０の表示部１００１１に表示する各種操作用のデータ、表示アイコン、ユーザの操作が操作するためのオブジェクトのデータやレイアウト情報等が含まれる。メモリ１１０９は、表示部１００１１に表示する映像データや装置の制御用データ等を記憶する。制御部１１１０がストレージ部１１７０から各種ソフトウェアを読み出して、メモリ１１０９に展開して記憶してもよい。

　ローカルＬＬＭ処理部１００２８は、大規模言語モデル（ＬＬＭ）を保持できるメモリを備え、制御部１１１０の制御にもとづいて、大規模言語モデルの推論を実行できる。ハードウェアとしてはいわゆるＧＰＵ（Graphics Processing Unit）などで構成すればよい。ローカルＬＬＭ処理部１００２８は、推論のみならず、学習を行ってもよい。なお、人工知能応答出力装置１００１０のローカル環境での大規模言語モデルの推論の実行が不要な場合などは必ずしも、ローカルＬＬＭ処理部１００２８を要しない。

　制御部１１１０は、接続される各部の動作を制御する。また、制御部１１１０は、メモリ１１０９に記憶されるプログラムと協働して、人工知能応答出力装置１００１０内の各部から取得した情報に基づく演算処理を行ってもよい。制御部１１１０による制御状態には、例えば、ローカルＬＬＭ処理部１００２８の大規模言語モデルからの応答や、通信部１１３２を介して取得した、大規模言語モデルサーバ１９００１の大規模言語モデルまたはマルチモーダルな大規模言語モデルサーバ２０００１のマルチモーダルな大規模言語モデルからの応答を、表示部１００１１またはスピーカ等である音声出力部１１４０を介して出力する状態がある。

　なお、上述のタッチパネル、マイク１１３９または操作入力部１１０７を介してユーザから入力があった場合に、当該入力にもとづいて指示文を生成し、人工知能応答出力装置１００１０が備えるローカルＬＬＭ処理部１００２８のローカルの大規模言語モデル、大規模言語モデルサーバ１９００１が備える大規模言語モデル、または大規模言語モデルサーバ２０００１が備えるマルチモーダルな大規模言語モデルへ送信し、これらの大規模言語モデルから応答を取得する制御は、いずれも制御部１１１０が行えばよい。

　また、ストレージ部１１７０には、人工知能応答出力装置１００１０の指示文の応答として定型文を出力するための応答定型文データベース（応答定型文ＤＢと表記してもよい）を格納してもよい。制御部１１１０が当該応答定型文データベースに格納されるデータを用いて出力する応答を生成する制御を行えばよい。図１Ｃに応答定型文データベースの一例を示す。図１Ｃの例では、条件番号が付された各条件について、人工知能応答出力装置１００１０が出力する定型文の応答が格納されている。例えば、条件番号１のように、上述のタッチパネル、マイク１１３９または操作入力部１１０７を介してユーザから「おはようございます」が入力された場合、応答定型文として「おはようございます」または「今日は〇月〇日ですね。」を用いて応答を出力すればよい。「〇月〇日」など〇の部分は、人工知能応答出力装置１００１０が有するメモリ１１０９などに格納される情報を用いて生成すればよい。

　また、図１Ｃに示すデータベースにおける応答定型文の例において、／で区切られた複数の応答定型文が格納されている場合は、制御部１１１０は、乱数などを用いてランダムに、いずれかの応答定型文を選択して応答が出力されるように制御すればよい。このようにすると、同一の条件における応答が単調になるという状況を解消して改善することができる。条件番号２、３、および４の例についても、条件番号１の例の説明と同様である。図１Ｃに示される各例の条件内容に対して、図１Ｃに示される各例の応答定型文を用いた出力をするように、制御部１１１０が制御を行えばよい。

　次に、図１Ｃに示される条件番号５の例について説明する。条件番号５は、タッチパネル、マイク１１３９または操作入力部１１０７を介して取得したユーザ入力について、制御部１１１０が自然言語として意味が理解できなかった場合またはユーザ入力に明らかに文法の誤りがある場合に、制御部１１１０が応答定型文として「ちょっと聞き取れませんでした」または「それについてはわからないかもしれません」を用いて応答を出力する制御を行う例である。このように応答することでユーザに再度の入力を促すことができ、修正されたユーザ入力を待つことができる。

　次に、図１Ｃに示される条件番号６の例について説明する。条件番号６は、図１Ｂに示す人工知能応答出力装置１００１０を構成する各部のいずれかの部においてエラー（異常状態）であることを制御部１１１０が検出している状態で、タッチパネル、マイク１１３９または操作入力部１１０７を介してユーザ入力があった場合の例である。この場合、制御部１１１０は応答定型文として「調子が悪いみたいです」を用いて応答を出力する制御を行う。このように応答することでユーザに人工知能応答出力装置１００１０が不調であることを説明することができ、ユーザにエラー対応などを促すことができる。

　人工知能応答出力装置１００１０は、人工知能応答出力装置１００１０が備えるローカルの大規模言語モデル、大規模言語モデルサーバ１９００１が備える大規模言語モデル、および大規模言語モデルサーバ２０００１が備えるマルチモーダルな大規模言語モデル、などの大規模言語モデルの応答に替えて、図１Ｃを用いて説明した応答定型文データベース（応答定型文ＤＢ）を用いた応答を出力してもよい。または、これらの大規模言語モデルの応答と応答定型文データベース（応答定型文ＤＢ）を用いた応答を組み合わせた応答を出力してもよい。

　なお、以上説明した図１Ｃの応答定型文データベース（応答定型文ＤＢ）はストレージ部１１７０に格納され、人工知能応答出力装置１００１０の制御部１１１０がこれを用いればよい。しかしながら、図１Ｃに示す応答定型文データベース（応答定型文ＤＢ）を大規模言語モデルサーバ１９００１側または大規模言語モデルサーバ２０００１側に備えてもよい。この場合は、大規模言語モデルサーバ１９００１が有する制御部または大規模言語モデルサーバ２０００１が有する制御部が、当該応答定型文データベース（応答定型文ＤＢ）を用いた応答を生成すればよい。大規模言語モデルサーバ１９００１が有する制御部または大規模言語モデルサーバ２０００１が有する制御部は、それぞれのサーバに格納される大規模言語モデルにより生成する応答に替えて、応答定型文データベース（応答定型文ＤＢ）を用いて生成した応答を、人工知能応答出力装置１００１０へ送信すればよい。このようにすれば、人工知能応答出力装置１００１０に応答定型文データベース（応答定型文ＤＢ）が備えられていない場合でも、応答定型文データベース（応答定型文ＤＢ）を用いた応答の生成が可能となる。

　なお、上記の説明では、人工知能応答出力装置１００１０は固定画素を用いた表示画面の表示パネルを有すると説明した。当該概念には、固定画素を用いた表示画面の表示パネルのあとに投射光学系を設けて、当該表示画面の表示パネルの映像の光学像をスクリーンや壁に投射する、投射型映像表示装置（プロジェクタ）を含んでもよい。

　なお、図１Ａおよび図１Ｂの例では、人工知能応答出力装置１００１０が表示部１００１１を備える例を説明した。しかしながら、本発明の実施例にかかる人工知能応答出力装置１００１０は必ずしも表示部１００１１を備えていなくてもよい。例えば、表示部１００１１を備えなくとも、人工知能に対するユーザからの入力を音声信号入力部１１３３またはマイク１１３９を介して受け付け、当該ユーザからの入力に対する大規模言語モデルなどの人工知能からの応答を音声出力部１１４０を介して出力するように構成すればよい。

　以上説明した本発明の実施例１に係る、人工知能応答出力装置および人工知能応答出力システムによれば、大規模言語モデルなどの人工知能に対するユーザからの入力を受け付け、ネットワーク上のサーバ装置が有する大規模言語モデルまたは人工知能応答出力装置自体が有するローカルの大規模言語モデルなどの人工知能の推論により生成された、当該ユーザからの入力に対する応答を出力することが可能となる。

　また、本実施例に係る技術では、より好適な人工知能応答出力技術を提供することが可能となる。このような人工知能応答出力技術は、より質の高い、より信頼できるインフラへの導入が期待できる。当該技術がインフラへ導入されていくことにより、全ての人々に安価で公平なアクセスに重点を置いた経済発展と人間の福祉の支援に寄与できる。これにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Sustainable Development Goals）の「９産業と技術革新の基盤をつくろう」に貢献する。

　また、本実施例に係る技術では、より好適な人工知能応答出力技術を提供することが可能となる。このような人工知能応答出力技術は、脆弱な立場にある人々の輸送システムへのアクセス性を向上させるために、公共交通機関の設備への導入が期待できる。当該技術が公共交通機関へ導入されていくことにより、公共交通機関の拡大などを通じた交通の安全性改善、および、全ての人々に安全かつ安価で容易に利用できる、持続可能な輸送システムへのアクセスの実現に寄与できる。これにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Sustainable Development Goals）の「１１住み続けられるまちづくりを」に貢献する。

　＜実施例２＞
　本発明の実施例２は、人工知能応答出力技術が適用された撮像装置および撮像支援方法の例である。実施例２に係る撮像装置および撮像支援方法は、人工知能応答出力技術を用いたＡＩアシスタント機能により、ユーザによる撮像を支援する。

　図２Ａは、実施例２に係る撮像装置と生成人工知能（以下、人工知能のことをＡＩともいう）サーバとを含むシステムの一例を示す図である。図２Ａに示すように、実施例２に係るシステムは、撮像装置１２００と、大規模言語モデル（以下、大規模言語モデルのことをＬＬＭともいう）サーバ１９００１と、マルチモーダルなＬＬＭサーバ２０００１と、これらのサーバとは異なる第２のサーバ１９００２とを含む。撮像装置１２００と、ＬＬＭサーバ１９００１、マルチモーダルなＬＬＭサーバ２０００１、および第２のサーバ１９００２とは、通信ネットワークであるインターネット１９０００を介して、接続されている。なお、ＬＬＭサーバ１９００１と、マルチモーダルなＬＬＭサーバ２０００１は、それぞれ、生成ＡＩが構築された生成ＡＩサーバの一例である。

　撮像装置１２００は、撮像部１１８０を有する撮像機能部１２０１と、人工知能応答出力装置１００１０とを有している。人工知能応答出力装置１００１０は、実施例１における人工知能応答出力装置１００１０とほぼ同様の構成および機能を有している。

　図２Ｂは、実施例２に係る撮像装置の構成の一例を示す図である。撮像機能部１２０１は、撮像部１１８０、撮像画像入力部１１８１、外部画像入力部１１８２、画像入力調整部１１８３、画像音声メモリ部１１８４、画像エンコード部１１８５、音声エンコード部１１８６、データ生成部１１８７、データ記録部１１８８、記録媒体１１８９、現在位置取得部１１９５、映像信号入力部１１３１、および音声信号入力部１１３３を有している。

　撮像部１１８０は、被写体の撮像画像に対応した画像情報を得るためのものである。撮像部１１８０は、例えば、レンズなどの光学系、絞り、シャッタ、撮像素子などを含む。撮像画像入力部１１８１は、撮像部１１８０で得られた撮像画像の画像情報の入力を受け付けるものである。外部画像入力部１１８２は、映像信号入力部１１３１を通して外部画像の画像情報の入力を受け付けるものである。画像入力調整部１１８３は、撮像画像と外部画像の何れの画像情報を入力させるかを調整するものである。画像音声メモリ部１１８４は、画像入力調整部１１８３から入力された画像情報と、音声信号入力部１１３３から入力された音声情報とを、一時的に記憶するものである。

　画像エンコード部１１８５は、画像音声メモリ部１１８４に記憶されている画像情報を所定の形式によるデータに変換したり圧縮したりするものである。画像エンコード部１１８６は、画像音声メモリ部１１８４に記憶されている音声情報を所定の形式によるデータに変換したり圧縮したりするものである。データ生成部１１８７は、画像エンコード部１１８５からのデータ、あるいは、画像エンコード部１１８５からのデータおよび画像エンコード部１１８６からのデータに基づいて、画像データあるいは動画データを生成するものである。データ記録部１１８８は、データ生成部１１８７により生成された画像データあるいは動画データを記録媒体１１８９に記録するものである。記録媒体１１８９は、例えば、ＨＨＤ、ＳＳＤ、ＵＳＢＲＯＭ、ＤＶＤ、ＣＤなどである。現在位置取得部１１９５は、撮像装置１２００の現在の位置を表す位置情報を取得するものであり、例えば、ＧＰＳシステムである。

　人工知能応答出力装置１００１０は、制御部１１１０、表示部１００１１、外部電源入力インタフェース１１１１、電源１１０６、二次電池１１１２、ストレージ部１１７０、映像制御部１１６０、操作入力部１１０７、姿勢センサ１１１３、メモリ１１０９、ローカルＬＬＭ処理部１００２８、不揮発性メモリ１１０８、通信部１１３２、音声出力部１１４０、およびマイク１１３９を有している。人工知能応答出力装置１００１０の構成および機能は、実施例１～９に係る人工知能応答出力装置とほぼ同様である。ただし、制御部１１１０は、撮像機能部１２０１を構成する撮像画像入力部１１８１、画像入力調整部１１８３等を含む各部と通信可能に接続されている。制御部１１１０は、撮像部１１８０によって得られた撮像画像の画像情報に対して種々の処理を実行することができる。

　ストレージ部１１７０あるいは不揮発性メモリ１１０８には、ＡＩアシスタント機能を実現するためのプログラムが格納されている。制御部１１１０は、このプログラムを読み出し、メモリ１１０９に展開して実行することにより、ＡＩアシスタント機能および当該機能のオンオフ制御を実現させる。

　制御部１１１０は、ユーザによる撮像部１１８０を用いた撮像を支援するための撮像支援情報を要求する指示情報を生成ＡＩに送信する処理を実行する。また、制御部１１１０は、生成ＡＩから撮像支援情報を含む応答情報を受信する処理を実行する。さらに、制御部１１１０は、受信した応答情報に含まれる撮像支援情報または当該撮像支援情報に基づく情報を表示部１００１１に表示させる処理を実行する。制御部１１１０のこのような処理により、ユーザによる撮像部１１８０を用いた撮像が支援される。

　なお、ストレージ部１１７０、不揮発性メモリ１１０８、メモリ１１０９、記録媒体１１８９は、それぞれ、本願における「記憶部」の一例である。また、現在位置取得部１１９５は、本願における「位置情報取得部」の一例である。

　図２Ｃから図２Ｆは、実施例２に係る撮像装置および生成ＡＩサーバにおける処理フローの一例を示す図である。なお、図２Ｃから図２Ｆに示す処理フローは、撮像装置１２００における制御部１１１０が実行する主な処理と、マルチモーダルなＬＬＭサーバ２０００１を含む生成ＡＩサーバが実行する主な処理とを、時系列的に記載したものである。また、図２Ｃから図２Ｆに示す処理フローは、撮像装置１２００におけるユーザの操作に応じた処理と並列に実行されることを想定した場合の処理フローである。撮像装置１２００において、バックグラウンドで撮像部１１８０による撮像が略一定の周期で行われ、直近の一定期間に得られた時系列的な複数のスルー画像が、記録媒体１１８９、ストレージ部１１７０、不揮発性メモリ１１０８、あるいはメモリ１１０９に格納される場合を想定する。

　ステップＳ１００１では、ＡＩアシスタント機能を起動する操作が行われたか否かを判定する処理が行われる。具体的には、制御部１１１０は、ＡＩアシスタント機能を起動する操作が行われたか否かを判定する。ＡＩアシスタント機能を起動する操作は、例えば、操作入力部１１０７を介した物理的なあるいはタッチパネルに表示されたボタンを押す操作、マイク１１３９を介した所定のコマンドを音声で入力する操作、あるいは手や顔の表情によるジェスチャーで入力する操作などである。この判定において、ＡＩアシスタント機能を起動する操作が行われたと判定された場合には（Ｓ１００１：Ｙｅｓ）、処理ステップはステップＳ１００４に移行する。一方、ＡＩアシスタント機能を起動する操作が行われていないと判定された場合には（Ｓ１００１：Ｎｏ）、処理ステップはステップＳ１００２に移行する。

　ステップＳ１００２では、ＡＩアシスタント機能の起動要否の問合せを開始する条件が満たされたか否かを判定する処理が行われる。具体的には、制御部１１１０は、ＡＩアシスタント機能の起動要否の問合せを開始する条件が満たされたか否かを判定する。当該条件は、例えば、ユーザが構図の決定に一定以上の時間を費やしていることを検知すること、とすることができる。当該条件のより具体的な例としては、例えば、撮像装置１２００が撮像モードに設定されてから一定期間の間、シャッターボタンが押されていないこと、という条件であってよい。

　この判定において、ＡＩアシスタント機能の起動要否の問合せを開始する条件が満たされたと判定された場合には（Ｓ１００２：Ｙｅｓ）、処理ステップはステップＳ１００３に移行する。一方、ＡＩアシスタント機能の起動要否の問合せを開始する条件が満たされていないと判定された場合には（Ｓ１００２：Ｎｏ）、処理ステップはステップＳ１００１に戻る。

　ステップＳ１００３では、ユーザにＡＩアシスタント機能を起動するか否かを問い合せる処理が行われる。具体的には、制御部１１１０が、ＡＩアシスタント機能を起動するか否かを問い合せる旨の自然言語によるテキスト情報を表示部１００１１に表示させる。なお、この処理は、撮像支援の要否をユーザに問い合せる処理であるともいえる。

　図２Ｇは、実施例２に係る撮像装置における表示画面の一例を示す図である。図２Ｇでは、ＡＩアシスタント機能による生成ＡＩとユーザとの対話的な表現を表すテキスト情報の表示例が示されている。図２Ｇの例では、表示画面１０５７内において、右側に生成ＡＩの言葉１０５７１が表示され、ユーザの言葉１０５７２が左側に表示されている。また、図２Ｇの例では、それぞれの言葉が、上から下へ時系列的に並んで表示されている。

　ステップＳ１００３において、例えば、図２Ｇに示すように、「ＡＩアシスタントを起動しますか？」といったテキスト情報を表示させる。また、制御部１１１０は、上記の表示と併せて、あるいは、上記の表示に代えて、「ＡＩアシスタントを起動しますか？」といった音声を音声出力部１１４０に出力させてもよい。このように、ＡＩアシスタント機能を起動するかユーザに問い合わせることで、ユーザは、ＡＩアシスタント機能の存在を知らない、忘れている、あるいは、起動のさせ方が分からない、起動の操作を面倒に思う、といった状況において、ＡＩアシスタント機能を起動させることができる。

　制御部１１１０は、ＡＩアシスタント機能の起動の要否、すなわち撮像支援の要否の問合せに対するユーザの回答を受け付ける。上記の問合せに対して、ユーザが「はい」を入力または選択するなどにより、制御部１１１０が、ＡＩアシスタント機能の起動を要するする旨の回答を受け付けた場合には（Ｓ１００３：Ｙｅｓ）、処理ステップはステップＳ１００４に移行する。一方、上記の問合せに対して、ユーザが「いいえ」を入力または選択するなどにより、制御部１１１０が、ＡＩアシスタントの起動を要しない旨の回答を受け付けた場合には（Ｓ１００３：Ｎｏ）、ＡＩアシスタント機能に係る処理が終了するか、または、問合せを開始する条件に係るパラメータがリセットされ、処理ステップがステップＳ１００１に戻る。なお、ユーザは、タッチパネルとして機能する表示部１００１１の画面上で「はい」／「いいえ」と表示された箇所を指で押したり、「はい」／「いいえ」に対応するボタンを押したり、「はい」／「いいえ」と音声を発したりすることにより、回答してもよいし、手や顔の表情によるジェスチャーで入力してもよい。

　ステップＳ１００４では、現在位置情報を取得する処理が行われる。具体的には、制御部１１１０は、現在位置取得部１１９５から、撮像装置１２００の現在の位置を表す現在位置情報を受信する。現在位置情報は、例えば、地球上の座標を表す情報であり、ＧＰＳにより取得される。

　なお、ステップ１００４の処理は、次のような処理であってもよい。例えば、制御部１１１０は、撮像部１１８０から、現在位置を特定し得るランドマークが含まれるスルー画像を受信する。制御部１１１０は、この現在位置におけるスルー画像情報を含み、現在位置を教えるように指示する指示情報を生成ＡＩサーバに送信する。生成ＡＩサーバは、この指示情報を受信すると、ランドマークが含まれるスルー画像を基に現在位置情報を含む応答情報を生成し、撮像装置１２００に送信する。制御部１１１０は、この応答情報を受信し、受信した応答情報を基に現在位置情報を取得する。また、制御部１１１０は、ユーザによって入力されたランドマークの名称を表す情報を、指示情報に含めるようにし、現在位置あるいは後述する撮像ポイントの決定確度を高めるようにしてもよい。

　ちなみに、生成ＡＩが大規模言語モデル（ＬＬＭ）を含む場合には、生成ＡＩは、自然言語、口語表現等を含むテキスト情報を扱うことができる。生成ＡＩが、単なるＬＬＭではなくマルチモーダルＬＬＭを含む場合には、生成ＡＩは、自然言語、口語表現等を含むテキスト情報に加えて、画像情報、音声情報などテキスト情報以外の情報も扱うことができる。生成ＡＩサーバに送信する指示情報は、指示文、プロンプトなどとも呼ばれている。生成ＡＩサーバは、受信した指示情報が表す指示に応答する形態で応答情報を生成し返信する。ユーザは、撮像に係るアシストを自然言語で受けることができ、アシストの内容を容易に理解し、撮像される画像を容易に想像することができる。

　ステップＳ１００５では、撮像ポイントを教えるよう指示する処理が行われる。具体的には、制御部１１１０は、現在位置情報を含み、現在位置情報が表す現在位置に対応したランドマークが撮像可能な撮像ポイントを教えるよう指示する指示情報を生成し、生成ＡＩサーバに送信する。すなわち、この指示情報は、現在位置に対応したランドマークが撮像可能な撮像ポイントを表す撮像ポイント情報を、撮像支援情報として要求する情報であるともいえる。なお、撮像ポイントは、本願における「撮像位置」の一例であり、撮像ポイント情報は、本願における「撮像位置情報」の一例である。

　撮像ポイントは、例えば、現在位置の付近で著名なランドマークを撮像するのに適していると考えられる撮像者の立ち位置もしくは座り位置であってもよい。撮像ポイントは、例えば、ランドマークの全体が撮像領域に収まるようなユーザの立ち位置またはしゃがみ位置であってもよい。撮像ポイントは、例えば、ランドマークが撮像領域内の特定の位置または領域に配置されるような構図が得られるユーザの立ち位置またはしゃがみ位置であってもよい。これらの場合において、指示情報には、撮像装置に取り付けられたレンズの焦点距離、ズームレンズの焦点距離の可変範囲などが含まれてもよい。生成ＡＩは、これらレンズの焦点距離に関する情報に基づいて、撮像ポイントを決定してよい。

　ステップＳ１００６では、撮像ポイントを含む応答情報を生成する処理が行われる。具体的には、生成ＡＩサーバは、この指示情報を受信すると、現在位置に対応した撮像ポイントを含む応答情報を生成し、撮像装置に送信する。

　ステップＳ１００７では、現在位置が撮像ポイントであるか否かを判定する処理が行われる。具体的には、制御部１１１０は、現在位置情報が表す現在位置と、現在位置に対応した撮像ポイントとを比較し、これらの位置が実質的に重なっているか否かにより、現在位置が撮像ポイントであるか否かを判定する。

　なお、ステップＳ１００４～Ｓ１００７の処理に代えて、次のような処理が行われてもよい。例えば、制御部１１１０は、現在位置情報または現在位置におけるスルー画像情報を含み、現在位置が当該現在位置に対応する撮像ポイントであるか否かを判定するように指示する指示情報を、生成ＡＩサーバに送信する。生成ＡＩサーバは、この指示情報を受信すると、現在位置が撮像ポイントである否かを判定し、その判定結果を表す判定結果情報を含む応答情報を生成し、撮像装置１２００に送信する。制御部１１１０は、この応答情報を受信し、受信した応答情報を基に、現在位置が撮像ポイントであるか否かを判定する。

　この判定において、現在位置が撮像ポイントであると判定された場合には（Ｓ１００７：Ｙｅｓ）、処理ステップはステップＳ１０１１に移行する。一方、現在位置が撮像ポイントでないと判定された場合には（Ｓ１００７：Ｎｏ）、処理ステップはステップＳ１００８に移行する。

　ステップＳ１００８では、撮像ポイントまでユーザを誘導するよう指示する処理が行われる。具体的には、制御部１１１０は、現在位置情報が表す現在位置に対応した撮像ポイントまでユーザを誘導するよう指示する指示情報を生成し、生成した指示情報を生成ＡＩサーバに送信する。なお、この指示情報は、撮像ポイントへとユーザを誘導するための誘導情報を、撮像支援情報として要求する情報であるともいえる。

　ステップＳ１００９では、ユーザを撮像ポイントまで誘導するための誘導情報を含む応答情報を生成する処理が行われる。具体的には、生成ＡＩサーバは、指示情報を受信すると、ユーザを撮像ポイントまで誘導するための誘導情報を含む応答情報を生成し、撮像装置１２００に送信する。

　図２Ｇに示すように、誘導情報は、例えば、「ここはケルン大聖堂ですね？あと１ｍ右へ、あと３ｍ後ろならば全体を写せます。」といった自然言語によるテキスト情報である。生成ＡＩサーバは、生成した応答情報を撮像装置１２００に送信する。

　ステップＳ１０１０では、ユーザを誘導するための誘導情報を出力する処理が行われる。具体的には、制御部１１１０は、生成ＡＩサーバから、ユーザを撮像ポイントまで誘導するための情報を含む応答情報を受信する。また、制御部１１１０は、受信した応答情報を基に、ユーザを誘導するための誘導情報を、表示部１００１１に表示させる。制御部１１１０は、誘導情報の表示と併せて、あるいは当該表示に代えて、誘導情報の内容を音声出力部１１４０に音声で出力させてもよい。なお、誘導情報は、生成ＡＩサーバから受信した情報をそのまま出力してもよいし、受信した情報に基づいて生成された情報を出力するようにしてもよい。このように、誘導情報が出力されると、ユーザは、撮像ポイントを探索することなく、好適な撮像ポイントに短時間で移動することができる。その後、処理ステップはステップＳ１００４に戻る。

　なお、ステップＳ１００８～Ｓ１０１０の処理に代えて、次のような処理が行われてもよい。制御部１１１０は、撮像ポイントと現在位置との差分を算出し、その差分に基づいて、ユーザを撮像ポイントに誘導するための誘導情報を生成してもよい。

　ステップＳ１０１１では、姿勢情報およびスルー画像情報の少なくとも一方を取得する処理が行われる。具体的には、制御部１１１０は、姿勢センサ１１１３から、取得された撮像装置１２００の姿勢情報を受信する。あるいは、制御部１１１０は、撮像部１１８０から、取得されたスルー画像情報を受信する。制御部１１１０は、姿勢情報とスルー画像情報の両方を受信してもよい。なお、スルー画像は、上述の通り、撮像装置１２００において、撮像モードが設定されており、シャッターボタンが押されていない状況において、バックグラウンドで撮像部１１８０により撮像される画像である。スルー画像は、例えば、所定の周期で取得される。

　ステップＳ１０１２では、撮像の仕方をユーザに助言（アドバイス）するよう指示する処理が行われる。具体的には、制御部１１１０は、姿勢情報およびスルー画像情報の少なくとも一方の情報を含み、撮像の仕方をユーザに助言するよう指示する指示情報を生成し、生成した指示情報を生成ＡＩサーバに送信する。なお、この指示情報は、撮像の仕方をユーザに助言するための助言情報を、撮像支援情報として要求する情報であるともいえる。

　指示情報には、スルー画像におけるランドマークを指し示す情報を含めるようにしてもよい。例えば、制御部１１１０は、ユーザの入力操作に応じてスルー画像の画像領域における任意の位置もしくは領域が指定され、指定された位置もしくは領域に対応した物体をランドマークとして決定する。なお、指示情報は、例えば、模範となる手本画像を送るよう指示する内容を含めてもよい。

　ステップＳ１０１３では、好適な撮像の仕方をユーザに助言するための助言情報を含む応答情報を生成する処理が行われる。具体的には、生成ＡＩサーバは、指示情報を受信すると、姿勢情報およびスルー画像情報の少なくとも一方に基づいて、好適な撮像の仕方をユーザに助言するための助言情報を含む応答情報を生成する。なお、助言情報は、例えば、好適な構図が得られるような撮像装置１２００の位置、向きなどをユーザに教示するための情報を含んでもよい。

　図２Ｇに示すように、助言情報は、例えば、「腰から下の位置でカメラを構えましょう。」、「人物が斜めに並べば奥行き感が出せます。」、「シャッターボタンをゆっくり押し込むとブレません。」といった自然言語によるテキスト情報であってもよい。また例えば、助言情報は、「左半分と右半分のうち一方にランドマークが配置され、他方に人物が配置されると、バランスの良い構図となります。」といった自然言語を含むテキスト情報であってもよい。また例えば、助言情報は、スルー画像において、ランドマークが配置されるべき領域、撮像対象人物が配置されるべき領域、あるいは、これら両方の領域などを示す画像・記号・マーク等が重畳された画像としてもよい。また、助言情報は、模範的な画像である手本画像を含んでもよい。

　なお、助言の内容は、ユーザの撮像スキルの高さに応じて変えるようにしてもよい。例えば、撮像装置１２００において、ユーザの撮像スキルのレベルを、複数段階の中から予め設定しておく。この複数段階は、例えば、上級者、中級者、および初級者の３段階である。また例えば、撮像装置１２００は、当該撮像装置１２００の過去の扱われ方を、ストレージ部１１７０あるいはデータ記録部１１８８に記録しておき、その扱われ方を表す情報を生成ＡＩに送信して、生成ＡＩにユーザの撮像スキルのレベルを判定させてもよい。そして、制御部１１１０は、ユーザの撮像スキルのレベルに応じた助言をするよう生成ＡＩに指示する。この場合、ユーザは、自身の撮像スキルのレベルに合った助言をもらうことができる。

　ユーザのレベルに応じた助言の具体例としては、制御部１１１０は、生成ＡＩサーバとの協働により、撮像装置１２００の好適な位置、撮像装置１２００の好適な向き、好適な構図、好適な撮像条件、手ブレ防止（抑制）などを実現させるためのヒントをユーザに提示する。ユーザが初級者である場合には、制御部１１１０は、例えば、絞り、シャッタスピード、フォーカス、およびズームレンズなどに係る設定のヒントなどを提示する。ユーザが中級者である場合には、制御部１１１０は、例えば、ＩＳＯ感度、ホワイトバランス（ＷＢ）、マクロレンズ、被写体の速い動きへの対応（被写体ブレ抑制）に係る設定のヒントなどを提示する。

　また、撮像装置１２００のセッティング、具体的には、絞り、シャッタスピード、ＩＳＯ感度、手振れ補正のオンオフ、ズームレンズの倍率、ＷＢなどについては、制御部１１１０が、生成ＡＩサーバから受信した応答情報に基づいて、自動的に設定するようにしてもよい。

　ステップＳ１０１４では、撮像の仕方をユーザに助言するための助言情報を出力する処理が行われる。具体的には、制御部１１１０は、生成ＡＩサーバから、好適な撮像の仕方をユーザに助言するための助言情報を含む応答情報を受信する。また、制御部１１１０は、応答情報を基に、好適な撮像の仕方をユーザに助言するための助言情報を、表示部１００１１に表示させる。制御部１１１０は、当該表示と併せて、あるいは当該表示に代えて、上記の好適な撮像の仕方をユーザに助言するための助言情報を音声出力部１１４０に音声で出力させてもよい。制御部１１１０は、生成ＡＩサーバから受信した情報をそのまま出力してもよいし、受信した情報に基づいて生成（編集）された情報を出力するようにしてもよい。

　なお、好適な撮像の仕方をユーザに助言するための助言情報を、個別具体的な内容にする場合には、上述の通り、姿勢情報あるいはスルー画像情報を用いる必要がある。一方、助言情報を、一般的な内容に留める場合には、姿勢情報あるいはスルー画像情報を用いなくてもよい。またこの場合は、撮像装置１２００のストレージ部１１７０、不揮発性メモリ１１０８、あるいは記録媒体１１８９に、一般的な助言情報を予め格納しておき、制御部１１１０が、格納されている助言情報を読み出して出力させてもよい。すなわち、制御部１１１０は、生成ＡＩサーバに指示情報を送信しなくてもよい。この場合、生成ＡＩサーバに対する情報の送受信、生成ＡＩサーバにおける処理を低減することができ、助言情報の出力に要する時間を短縮したり、生成ＡＩサーバに対する負荷を軽減したりすることができる。

　図２Ｈは、実施例２に係る生成ＡＩからの助言を受ける前後における構図の変化の一例を示す図である。図２Ｈにおいて、左側の構図は、生成ＡＩからの助言をユーザが受ける前の助言前構図２５１であり、右側の構図は、生成ＡＩからの助言をユーザが受けた後の助言後構図２５２である。助言前構図２５１では、図２Ｈに示すように、撮像領域（画角範囲）１０５０に対して、第１のランドマーク１０５０１、第２のランドマーク１０５０２、および二人の撮像対象人物１０５０５のそれぞれの一部が外へはみ出している。また、助言前構図２５１の撮像領域１０５０内には、第１の自動車１５０４、二人の自転車に乗った人物１０５０６、第２の自動車１０５０８が、左から右に向けて移動する移動体として含まれている。さらに、助言前構図２５１内には、撮像対象人物１０５０５の他に二人の他人１０５０７が含まれている。

　一方、助言後構図２５２では、図２Ｈに示すように、撮像領域１０５０に対して、第１のランドマーク１０５０１、および第２のランドマーク１０５０２が外へはみ出さないように、ユーザが立つ撮像位置またはズームレンズの倍率が調整されている。また、撮像対象人物１０５０５についても、撮像領域１０５０内に収まるように、ユーザによって撮像対象人物１０５０５が誘導されたり、あるいは、ズームレンズの倍率が調整されたりしている。また、二人の撮像対象人物１０５０５は、撮像画像において被写体の立体感が出るよう、斜めに配置されるように、ユーザによって誘導されている。なお、第１の自動車１０５０４、二人の自転車に乗った人物１０５０６、第２の自動車１０５０８などの移動体、他人１０５０７については、特に、誘導されない。

　ステップＳ１０１５では、仮加工済画像を得る操作が行われたか否かを判定する処理が行われる。具体的には、制御部１１１０は、仮加工済画像を得る操作が行われたか否かを判定する。仮加工済画像を得る操作は、例えば、シャッターボタンを半押しする操作であってもよい。一般的に、シャッターボタンが２段式のスイッチになっている場合において、シャッターボタンを１段目まで押す操作のことを「半押し」、２段目までさらに押し込む操作のことを「全押し」という。この判定において、仮加工済画像を得る操作が行われたと判定された場合には（Ｓ１０１５：Ｙｅｓ）、処理ステップはステップＳ１０１６に移行する。一方、仮加工済画像を得る操作が行われていないと判定された場合には（Ｓ１０１５：Ｎｏ）、処理ステップはステップＳ１００４に戻る。

　ステップＳ１０１６では、不要物体を抽出するよう指示する処理が行われる。具体的には、制御部１１１０は、スルー画像において、被写体として好適ではないと考えられる不要物体を抽出するよう指示する指示情報を生成し、生成した指示情報を生成ＡＩサーバに送信する。なお、この指示情報は、撮像画像であるスルー画像において、被写体として好適ではないと考えられる不要物体を抽出した結果を表す抽出結果情報を、撮像支援情報として要求する情報であるともいえる。この指示情報は、例えば、スルー画像において、ランドマークおよび撮像対象人物を除いた物体のうち、移動体および撮像非対象人物のうち少なくとも一方を、不要物体として抽出するよう指示する情報であってもよい。

　図２Ｉは、実施例２に係る撮像装置により得られるスルー画像において不要物体が抽出される様子の一例を示す図である。図２Ｉにおいて、上段には、バックグラウンドで実行される処理により得られた時系列的な複数のスルー画像１０５３Ａ，１５０３Ｂ，１０５３Ｃ，１０５３Ｄが示されている。

　移動体は、例えば、図２Ｉに示すように、時系列的な複数のスルー画像１０５３Ａ～１０５３Ｄにおいて、ランドマークあるいは他の静止している被写体を基準に、相対的に位置が変化している物体と規定することができる。あるいは、移動体は、例えば、手振れ補正が働いている状況の下、スルー画像の画像領域において水平方向および鉛直方向に延びる格子状の複数の基準線を設定し、時系列的な複数のスルー画像において、これら基準線を跨ぐように移動する物体と規定することができる。

　また、撮像非対象人物は、例えば、図２Ｉに示すように、スルー画像１０５３Ａ～１０５３Ｄの何れかにおいて、スルー画像に含まれる人物のうち、顔の向きまたは視線の向きが、撮像装置１２００に向かう向きと一定レベルを超えてずれている人物と規定することができる。あるいは、撮像非対象人物は、例えば、スルー画像１０５３Ａ～１５０３Ｄの何れかの画像領域に対して占める割合が一定レベル未満である人物と規定することができる。

　図２Ｉに示すように、スルー画像１０５４の撮像領域１０５０内において、黒塗りの矢印が付された被写体が移動体または撮像非対象人物として抽出されている。具体的には、第１のランドマーク１０５０１あるいは第２のランドマーク１０５０２を基準に位置が変化している移動体として、第１の自動車１０５０４、第２の自動車１０５０８、および、二台の自転車とそれらの運転者である人物１０５０６が抽出されている。また、撮像領域１０５０の面積に対して占める面積が一定割合以下である人物、あるいは、顔または視線の向きが撮像装置を向く向きから一定レベル以上ずれている人物である撮像非対象人物として、小さく写り込んだ横向きの二人の他人１０５０７が抽出されている。

　移動体は、通行人、乗り物などである可能性が高い。また、撮像非対象人物は、ユーザから見て他人である可能性が高い。よって、移動体あるいは撮像非対象人物は、ユーザが本来被写体として撮像したい物体あるいは人物でない可能性が高い。ユーザは、そのような被写体として望まない物体・人物を、画像の加工処理によって撮像画像内から除去したい場合に、これらの物体・人物をある程度自動で選択してもらうことができ、煩雑な操作を低減することができる。

　ステップＳ１０１７では、不要物体が抽出された結果を表す抽出結果情報を含む応答情報を生成する処理が行われる。具体的には、生成ＡＩサーバは、指示情報を受信すると、抽出結果情報を含む応答情報を生成し、生成した応答情報を撮像装置１２００に送信する。抽出結果情報は、例えば、スルー画像に、抽出された不要物体を指し示すマーク等が付加された抽出結果画像である。また例えば、抽出結果情報は、上記抽出結果画像に加えて、「カメラ画像内の移動体と他人を自動的に抽出しました。」といった自然言語を含むテキスト情報が含まれる情報である。

　ステップＳ１０１８では、抽出結果情報を出力する処理が行われる。具体的には、制御部は、生成ＡＩサーバから、抽出結果情報を含む応答情報を、インタフェースを介して受信し、抽出結果情報を表示部１００１１に表示させる。なお、制御部１１１０は、抽出結果情報の表示と併せて、抽出結果に係る情報を音声出力部１１４０に音声で出力させてもよい。また、抽出結果情報は、生成ＡＩサーバから受信した情報をそのまま出力してもよいし、受信した情報に基づいて生成（編集）された情報を出力するようにしてもよい。また、抽出結果情報は、例えば、「カメラ画像内の移動体と他人を自動的に抽出しました。」といった自然言語によるテキスト情報を含んでもよい。

　ステップＳ１０１９では、加工対象を選択する処理が行われる。具体的には、制御部１１１０は、初期設定として、抽出されたすべての不要物体を加工対象候補として設定する。ユーザは、加工対象候補の中で加工したくない物体を加工対象から外す操作を行ったり、加工対象候補以外の物体を加工対象候補として指定する操作を行ったりする。制御部１１１０は、ユーザのこれらの操作に応じて、スルー画像内における加工対象を選択する。なお、制御部１１１０は、抽出された不要物体をそのまま加工対象として選択してもよいし、不要物体の抽出が行われない状況において、ユーザの操作に応じてスルー画像内におけるユーザが所望する物体を加工対象を選択してもよい。

　ステップＳ１０２０では、スルー画像において加工対象を加工するように指示する処理が行われる。具体的には、制御部１１１０は、スルー画像を含み、スルー画像において加工対象を加工するよう指示する指示情報を生成し、生成した指示情報を生成ＡＩサーバに送信する。なお、この指示情報は、スルー画像において加工対象、例えば、移動体および撮像非対象人物の少なくとも一方を除去する加工が施された加工済画像を、撮像支援情報として要求する情報ともいえる。

　この指示情報は、例えば、スルー画像において、加工対象の物体を表す画像を取り除き、画像が取り除かれた領域を、その領域の周辺の画像データを用いて修復する加工を施すよう指示する情報であってもよい。このようにすることで、構図に含まれるリアルな背景を使いつつ、見映えの良い画像をＡＩを用いて生成することができる。

　また例えば、この指示情報は、スルー画像において、加工対象の物体を表す画像を取り除き、取り除かれた領域を、ユーザが指定した所望の画像データを用いて修復する加工を施すよう指示する情報であってもよい。このようにすることで、ユーザの好みが反映された見映えの良い画像を生成することができる。

　ステップＳ１０２１では、加工結果情報を含む応答情報を生成する処理が行われる。具体的には、生成ＡＩサーバは、指示情報を受信すると、スルー画像における加工対象を加工して加工済画像を得、加工結果情報を含む応答情報を生成し、生成した応答情報を撮像装置に送信する。加工結果情報は、画像済画像を含んでいる。なお、加工結果情報は、例えば、加工済画像に加えて、「指定された加工対象を除外し周辺の画像データを用いて加工しました。」といった自然言語によるテキスト情報が含まれてもよい。

　ステップＳ１０２２では、加工結果情報を出力する処理が行われる。具体的には、制御部１１１０は、生成ＡＩサーバから、加工結果情報を含む応答情報を受信し、加工結果情報に含まれる加工済画像を仮加工済画像として表示部１００１１に表示させる。また、制御部１１１０は、加工結果情報に含まれるテキスト情報を表示部に表示させたり、音声出力部１１４０に音声で出力させたりする。なお、制御部１１１０は、仮加工済画像と、加工前のスルー画像である元画像とを表示部１００１１の表示画面に並べて表示させてもよい。これにより、ユーザは、仮加工済画像と元画像と比較して見ることができ、自身の好みに合わせて加工済画像をデザインすることができる。

　図２Ｊは、実施例２に係る撮像装置において元画像と仮加工済画像とが表示された例を示す図である。例えば、図２Ｊに示すように、表示部１００１１の表示画面には、元画像１０５５と仮加工済画像とが並らんで表示される。元画像１０５５では、撮像領域１０５０内において、第１のランドマーク１０５０１、第２のランドマーク１０５０２、および撮像対象人物１０５０５の他に、移動体である第１の自動車１０５０４、第２の自動車１０５０８、および二台の自転車とその運転者である人物１０５０６、撮像非対象人物である他人１０５０７が含まれている。一方、仮加工済画像１０５６では、撮像領域１０５０内において、第１のランドマーク１０５０１、第２のランドマーク１０５０２、および撮像対象人物１０５０５のみが含まれており、移動体である第１の自動車１０５０４、第２の自動車１０５０８、および二台の自転車とその運転者である人物１０５０６、撮像非対象人物である他人１０５０７は消去されている。

　ステップＳ１０２３では、仮加工済画像を得る操作が継続して行われている状態であるか否かを判定する処理が行われる。具体的には、制御部１１１０は、仮加工済画像を得る操作が引き続き行われている状態であるか否かを判定する。この判定において、仮加工済画像を得る操作が継続して行われている状態であると判定された場合には（Ｓ１０２３：Ｙｅｓ）、処理ステップはステップＳ１０２３に戻る。一方、仮加工済画像を得る操作が継続して行われている状態ではないと判定された場合には（Ｓ１０２３：Ｎｏ）、処理ステップはステップＳ１０２４に移行する。

　ステップＳ１０２４では、画像を保存する操作が行われた否かを判定する処理が行われる。具体的には、制御部１１１０は、画像を保存する操作がユーザによって行われたか否かを判定する。画像を保存する操作は、例えば、シャッターボタンを全押しする操作である。この判定において、画像を保存する操作が行われたと判定された場合には（Ｓ１０２４：Ｙｅｓ）、処理ステップはステップＳ１０２５に移行する。一方、画像を保存する操作が行われていないと判定された場合には（Ｓ１０２４：Ｎｏ）、処理ステップはステップＳ１００８に戻る。

　ステップＳ１０２５では、元画像と加工済画像とを対応付けて保存する処理が行われる。具体的には、制御部１１１０は、仮加工済画像としての加工済画像と、加工前のスルー画像である元画像とを、互いに対応付けて、ストレージ部１１７０あるいは記録媒体１１８９に保存する。例えば、加工済画像のファイル名には、撮像番号と加工済であることを表す文字・符号・数字・拡張子等とが含まれ、元画像のファイル名には、同じ撮像番号と元画像であることを表す文字・符号・数字・拡張子等が含まれる。

　また、制御部１１１０は、画像が保存された旨を表す画像保存報告情報を表示部に表示させる。制御部１１１０は、上記の画像保存報告情報の表示と併せて、あるいは、当該表示に代えて、画像保存報告情報を音声出力部１１４０に音声で出力させたり、定められた音を音声出力部１１４０に出力させたりしてもよい。画像保存報告情報は、例えば、「元の画像はデータ加工していないオリジナル画像データとデータ加工後の画像データは判別人により区別可能な形式で区別して記録しました。」といった自然言語によるテキスト情報であってもよい。画像が保存されると、処理ステップはステップＳ１０２６に移行する。

　このように、元画像と加工済画像とを対応付けて保存することにより、ユーザは、後から撮像した画像を確認する際に、元画像と加工済画像とを比較することができ、ユーザの都合あるいは好みに応じて、利用する画像を選択することができる。

　ステップＳ１０２６では、ＡＩアシスタント機能を終了させるか否かを判定する処理が行われる。具体的には、制御部１１１０は、ＡＩアシスタント機能を終了させる操作が行われたか否か、ユーザがＡＩアシスタント機能を使用しないで経過した時間が一定時間以上であるか否かなどに基づいて、ＡＩアシスタント機能を終了させるか否かを判定する。この判定において、ＡＩアシスタント機能を終了させると判定された場合には、制御部１１１０は、ＡＩアシスタント機能を終了させる。一方、ＡＩアシスタント機能を終了させないと判定された場合には、処理ステップはステップＳ１００４に戻る。

　以上、本発明の実施例２に係る撮像装置によれば、ユーザは、撮像時に好適な撮像のためのヒントを得ることができ、自身の地理的な知識（土地勘）、撮像スキル等に依存することなく、好適な撮像を実施することができる。例えば、ユーザは、初めて来る場所において、個人の撮像スキルがそれほど高くなくても、好適な構図、好適な画角、撮像装置の好適な設定（セッティング）を実現させることができる。

　また、実施例２に係る撮像装置によれば、ユーザは、撮像スキルが高くても、自撮りを行う場合には、被写体に対する撮像装置の向き、撮像装置の構え方、撮像者の立つ場所などについて、通常の撮像とは感覚が異なるため、ユーザは思うように撮像できないことがある。このような場合であっても、実施例２に係る撮像装置によれば、ユーザは、ＡＩアシスタント機能を利用することで、より好適な撮像を実施することが可能である。

　また、実施例２に係る撮像装置によれば、ユーザは、撮像に関するアドバイスを口語表現で得られるので、撮像装置とユーザとの親和性が高く、アドバイスの内容を直感的に理解することができる。

　また、実施例２に係る撮像装置によれば、生成ＡＩ、特にマルチモーダルＬＬＭを用いることにより、画像情報とテキスト情報とを同時に扱うことができ、通信先の生成ＡＩサーバを情報の種類によって切り替える必要がなく、制御部の処理を簡単にすることができる。

　また、実施例２に係る撮像装置によれば、指示情報の作成を工夫することで、ユーザは、より細かい要求に応えるアドバイスを受け取ることができる。例えば、指示情報を、「専門用語を使わずに撮像装置の好適な撮像条件を教えて」といった内容にすることで、ユーザが、仮に専門用語が分からない初心者であっても、理解できるアドバイスを得ることができる。

　また、実施例２に係る撮像装置によれば、元画像（オリジナル画像）によって撮像した際の臨場感、記憶（思い出）などを残すとともに、印象に残したい物体以外の余分な物体を撮影の際に排除（加工）して記録することにより、後で編集作業なく高品質な画像を作成することができる。

　なお、実施例２において、生成ＡＩに、画角の外から内に入ってくるものを、目的の被写体であると認識させたり、不要な被写体であると認識させたりすることも可能である。前者の場合において、被写体を画像の左右方向の中央付近で撮りたい場合に、予めその設定をしておくことで、被写体が中央付近に差し掛かるタイミングを予測して、ユーザがシャッタを切るタイミングを教示してくれるアシストを、生成ＡＩに要求することも考えられる。

　また、実施例２において、ＬＬＭ対話ウィンドウと画像表示ウィンドウとを表示部に表示させる場合において、表示部が１画面のみ有している場合には、１画面に各ウィンドウを並列表示させてもよいし、ウィンドウを切り換えて表示させてもよい。表示部が２画面、例えば、撮像装置の上面と背面に１画面ずつ有している場合には、一方の画面にＬＬＭ対話ウィンドウを表示させ、他方の画面に画像表示ウィンドウを表示させてもよい。

　また、実施例２において、元画像と加工済画像、あるいは、スルー画像と手本画像を表示部に表示させる場合において、表示部が１画面のみ有している場合には、これら２画像を１画像ずつ切り換えて表示させてもよいし、１画面に２画像を並列に表示させてもよい。表示部が２画面を有している場合には、１画面に１画像ずつ表示させてもよい。

　また、実施例２において、好適な構図は、１つに特定してもよいし、複数の中からユーザが選択してもよい。好適な構図の例としては、ランドマークが画角内に収まる構図、被写体人物が画角内に収まる構図、ランドマークと被写体人物の両方が画角に収まる構図、立体感が出る構図などを考えることができる。また、好適な構図の考え方が一つであっても、生成ＡＩが好適な配置などを複数提案してもよい。

　また、実施例２において、生成ＡＩで加工（背景の一部分の変換）された画像に対し、後からユーザが所望する画像に再変換することができる機能が実現されてもよい。画角に外から内に入ってくる移動体を不要物体として特定し、撮像画像においてその不要物体を加工で取り除いてもよい。

　また、実施例２は、生成ＡＩによるアシスト機能を、静止画の撮像に適用した例であるが、連写による撮像あるいは動画の撮像についても同様に適用することができる。ここで、連写による撮像とは、シャッタボタンを押している間、静止画を連続的に（例えば、３～３０コマ／秒程度で）撮像することである。また、動画の撮像とは、静止画を所定のフレームレート（例えば、３０～６０ｆｐｓ）で撮像することである。

　また、実施例２において、生成ＡＩは、撮像装置とネットワークを介して接続されたサーバに構築されたものであってもよいし、当該サーバに構築されたものと撮像装置に内蔵されたものとを含むものであってもよい。すなわち、状況あるいは撮像装置もしくはユーザの状態など種々の条件によって、撮像装置における制御部は、サーバに構築された生成ＡＩと送受信を行ってもよいし、撮像装置に内蔵されたローカルな生成ＡＩと送受信を行ってもよい。

　また、実施例２において、撮像装置は、例えば、デジタルカメラ、デジタルムービーカメラ、撮像機能付きのパーソナルコンピュータ、スマートフォン、タブレット端末などである。撮像装置は、例えば、互いに通信可能に接続されたデジタルカメラとスマートフォン等との組合せであってもよい。この場合、例えば、デジタルカメラに含まれる撮像部を、実施例２における撮像部として用い、デジタルカメラに含まれる制御部およびスマートフォン等に含まれる制御部を、実施例２における制御部として用いる。撮像装置における生成ＡＩサーバとの通信は、スマートフォン等に含まれる通信部を介して行われるようにしてもよい。

　なお、実施例２に係る撮像装置および生成ＡＩにおいて実行される処理の流れに基づく撮像支援方法は、本発明の実施例の一つである。また、当該撮像支援方法が実施されるよう、実施例２に係る撮像装置における制御部を構成する１以上のプロセッサ（ＣＰＵ、ＭＰＵなど）に、各処理を実行させるためのプログラムも、本発明の実施例の一つである。さらに、当該プログラムが記録された有体の非一時的な記録媒体もまた、本発明の実施例の一つである。当該プログラムは、サーバからダウンロードして用いられてもよい。

　本実施例に係る技術では、より好適な人工知能撮像アシスタント技術を提供することが可能となる。このような人工知能撮像アシスタント技術は、実施例１と同様に、より質の高い、より信頼できるインフラへの導入が期待できる。また、当該技術がインフラへ導入されていくことにより、全ての人々に安価で公平なアクセスに重点を置いた経済発展と人間の福祉の支援に寄与できる。これにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ）の「９産業と技術革新の基盤をつくろう」に貢献する。

　また、本実施例に係る技術では、より好適な人工知能撮像アシスタント技術を提供することが可能となる。このような人工知能撮像アシスタント技術は、実施例１と同様に、当該技術が公共交通機関へ導入されていくことにより、公共交通機関の拡大などを通じた交通の安全性改善、および、全ての人々に安全かつ安価で容易に利用できる、持続可能な輸送システムへのアクセスの実現に寄与できる。これにより、国連の提唱する持続可能な開発目標（ＳＤＧｓ）の「１１住み続けられるまちづくりを」に貢献する。

　以上、種々の実施例について詳述したが、しかしながら、本発明は、上述した実施例のみに限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　本明細書中に記載されている構成要素により実現される機能は、当該記載された機能を実現するようにプログラムされた、汎用プロセッサ、特定用途プロセッサ、集積回路、ASICs (Application Specific Integrated Circuits)、CPU (a Central Processing Unit)、従来型の回路、および／又はそれらの組合せを含む、circuitry又はprocessing circuitryにおいて実装されてもよい。プロセッサは、トランジスタやその他の回路を含み、 circuitry又はprocessing circuitryとみなされる。プロセッサは、メモリに格納されたプログラムを実行する、programmed processorであってもよい。

　本明細書において、circuitry、ユニット、手段は、記載された機能を実現するようにプログラムされたハードウェア、又は実行するハードウェアである。当該ハードウェアは、本明細書に開示されているあらゆるハードウェア、又は、当該記載された機能を実現するようにプログラムされた、又は、実行するものとして知られているあらゆるハードウェアであってもよい。

　当該ハードウェアがcircuitryのタイプであるとみなされるプロセッサである場合、当該circuitry、手段、又はユニットは、ハードウェアと、当該ハードウェア及び又はプロセッサを構成する為に用いられるソフトウェアの組合せである。

１００１０…人工知能応答出力装置、１００１１…表示部、１００２８…ローカルＬＬＭ処理部、１１０７…操作入力部、１１１０…制御部、１１３２…通信部、１１４０…音声出力部、１１３９…マイク、１１６０…映像制御部、１１７０…ストレージ部、１１８０…撮像部、１１０８…不揮発性メモリ、１１０９…メモリ、１１１３…姿勢センサ、１１８９…記録媒体、１１９５…現在位置取得部、１２００…撮像装置、１２０１…撮像機能部、１９０００…インターネット、１９００１…大規模言語モデルサーバ、２０００１…マルチモーダルな大規模言語モデルサーバ

Claims

　撮像部と、表示部と、制御部と、を備え、
　前記制御部は、
　ユーザによる前記撮像部を用いた撮像を支援するための撮像支援情報を要求する指示情報を生成人工知能に送信する処理と、
　前記生成人工知能から前記撮像支援情報を含む応答情報を受信する処理と、
　前記受信した応答情報に含まれる撮像支援情報または当該撮像支援情報に基づく情報を前記表示部に表示させる処理と、を実行する、
　撮像装置。
　請求項１に記載の撮像装置において、
　当該撮像装置の位置情報を取得する位置情報取得部を備え、
　前記指示情報は、前記位置情報取得部により取得された位置情報が表す位置に対応したランドマークが撮像可能な撮像位置を表す撮像位置情報を、前記撮像支援情報として要求する情報である、
　撮像装置。
　請求項１に記載の撮像装置において、
　当該撮像装置の位置情報を取得する位置情報取得部を備え、
　前記指示情報は、前記位置情報取得部により取得された位置情報が表す位置に対応したランドマークが撮像可能な撮像位置へと前記ユーザを誘導するための誘導情報を、前記撮像支援情報として要求する情報である、
　撮像装置。
　請求項３に記載の撮像装置において、
　前記撮像位置は、前記ランドマークの全体が撮像領域に収まるような前記ユーザの立ち位置またはしゃがみ位置である、
　撮像装置。
　請求項１に記載の撮像装置において、
　前記指示情報は、撮像の仕方を前記ユーザに助言するための助言情報を、前記撮像支援情報として要求する情報である、
　撮像装置。
　請求項１に記載の撮像装置において、
　前記指示情報は、前記撮像部により得られた撮像画像において、移動体および撮像非対象人物の少なくとも一方を抽出した結果を表す抽出結果情報を、前記撮像支援情報として要求する情報である、
　撮像装置。
　請求項１に記載の撮像装置において、
　前記指示情報は、前記撮像部により得られた撮像画像において、移動体および撮像非対象人物の少なくとも一方を除去する加工が施された加工済画像を、前記撮像支援情報として要求する情報である、
　撮像装置。
　請求項７に記載の撮像装置において、
　前記制御部は、
　前記得られた撮像画像における元画像と前記加工済画像とを前記表示部に表示させる処理と、
　ユーザによる操作に応答して、前記元画像と前記加工済画像とを互いに対応付けて記憶部に記憶させる処理と、を実行する、
　撮像装置。
　請求項１に記載の撮像装置において、
　前記制御部は、
　前記ユーザが構図の決定に一定以上の時間を費やしていることを検知して、撮像支援の要否を前記ユーザに問い合せる処理と、
　前記撮像支援の要否の問合せに対する前記ユーザの回答を受け付ける処理と、
　前記撮像支援を要する旨の回答を受け付けた場合に、前記指示情報を前記生成人工知能に送信する処理と、を実行する、
　撮像装置。
　請求項１に記載の撮像装置において、
　前記生成人工知能は、マルチモーダルな大規模言語モデルを含み、
　前記制御部は、前記受信した撮像支援情報または当該撮像支援情報に基づく情報として、自然言語によるテキスト情報が含まれる情報を、前記表示部に表示させる処理、を実行する、
　撮像装置。
　請求項１に記載の撮像装置において、
　前記生成人工知能は、マルチモーダルな大規模言語モデルを含み、
　前記制御部は、前記受信した撮像支援情報または当該撮像支援情報に基づく情報として、対話的な表現を表すテキスト情報が含まれる情報を、前記表示部に表示させる処理、を実行する、
　撮像装置。
　請求項１に記載の撮像装置において、
　前記生成人工知能は、当該撮像装置と通信ネットワークを介して接続されたサーバに構築されたものである、
　撮像装置。
　請求項１に記載の撮像装置において、
　前記生成人工知能は、当該撮像装置と通信ネットワークを介して接続されたサーバに構築されたものと、当該撮像装置に内蔵されたものと、を含む、
　撮像装置。
　撮像装置における制御部が、
　ユーザによる撮像部を用いた撮像を支援するための撮像支援情報を要求する指示情報を生成人工知能に送信する処理と、
　前記生成人工知能から前記撮像支援情報を含む応答情報を受信する処理と、
　前記受信した応答情報に含まれる撮像支援情報または当該撮像支援情報に基づく情報を表示部に表示させる処理と、を実行する、
　撮像支援方法。
　撮像装置における制御部を構成するプロセッサに、
　ユーザによる撮像部を用いた撮像を支援するための撮像支援情報を要求する指示情報を生成人工知能に送信する処理と、
　前記生成人工知能から前記撮像支援情報を含む応答情報を受信する処理と、
　前記受信した応答情報に含まれる撮像支援情報または当該撮像支援情報に基づく情報を表示部に表示させる処理と、を実行させるための、
　プログラム。