JP7843392B1 - 画像解析装置、画像解析方法、及びプログラム - Google Patents

Abstract

【課題】画像に撮像された場面を容易に評価する画像解析装置、画像解析方法及びプログラムを提供する。【解決手段】画像解析装置は、対象画像の画像情報を取得する画像情報取得部と、画像に撮像された場面を評価する評価指標を取得する評価指標取得部と、前記対象画像に撮像された場面を、前記評価指標取得部により取得された評価指標に基づいて評価するように言語モデルに要求するプロンプトを取得するプロンプト取得部と、前記プロンプト取得部によって取得されたプロンプトを言語モデルに送信したことに応じて言語モデルによって生成された評価値を取得する評価取得部と、前記評価取得部によって取得された評価値を前記対象画像に対応付けて出力する出力部と、を備える。【選択図】図２

Description

本発明は、画像解析装置、画像解析方法、及びプログラムに関する。

従来技術として、画像を解析する技術がある。例えば、監視カメラ等で撮像された画像の物体認識を行う画像処理、或いは、事前学習型の物体検出を用いた画像解析が行われている。例えば、特許文献１には、現場に設置された監視カメラ及び赤外線カメラを用いて、現場の監視を自動的かつ連続的に行う技術が開示されている。

特開２０２０－８７０３６号公報

しかしながら、物体認識技術では画像に撮像された物体を認識することができるのみであり、画像に撮像された場面がどの様な状況を示しているか、例えば危険な状況であるのか否か等を評価することができない。このため、場面の状況を評価するには、人が画像を見て判断したり、パターン認識や学習済モデル等を用いて状況を判定したりする必要があり手間がかかるという問題があった。

上述の課題を鑑み、本発明は、画像に撮像された場面を容易に評価することができる画像解析装置、画像解析方法、及びプログラムを提供することを目的とする。

本発明の一態様に係る画像解析装置は、対象画像の画像情報を取得する画像情報取得部と、画像において表された場面を評価する評価指標を取得する評価指標取得部と、前記対象画像において表された場面を、前記評価指標取得部により取得された評価指標に基づいて評価するように言語モデルに要求するプロンプトを取得するプロンプト取得部と、前記プロンプト取得部によって取得されたプロンプトを言語モデルに送信したことに応じて言語モデルによって生成された評価値を取得する評価取得部と、前記評価取得部によって取得された評価値を前記対象画像に対応付けて出力する出力部と、を備える。

本発明によれば、画像に撮像された場面を容易に評価することができる。したがって、動画像などに含まれる数多くの画像から所望の場面が撮像された画像を抽出することが容易となる。

実施形態に係る画像解析システムの構成を示すブロック図である。 実施形態に係る画像解析装置の構成を示すブロック図である。 実施形態に係る画像解析装置が行う処理を説明するための図である。 実施形態に係る画像解析装置が行う処理を説明するための図である。 実施形態に係る画像解析装置が行う処理を説明するための図である。 実施形態に係る画像解析装置が行う処理を説明するための図である。 実施形態に係る画像解析装置が行う処理の流れを示すフローチャートである。 実施形態の変形例２に係る画像解析装置が行う処理を説明するための図である。 実施形態の変形例３に係る画像解析装置が行う処理を説明するための図である。 実施形態の変形例３に係る画像解析装置が行う処理を説明するための図である。 実施形態の変形例３に係る画像解析装置が行う処理を説明するための図である。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は、実施形態に係る画像解析システムの構成を示すブロック図である。画像解析システム１は、画像解析装置１０、言語モデルサーバ３０、メッセージ配信サーバ４０、利用者端末５０、メッセージ配信先端末６０、及びメッセージ配信先サーバ７０を備える。これらはインターネット等のネットワークＮＷを介して互いに通信可能に接続されている。

言語モデルサーバ３０は、収集したトレーニングデータに基づいてパターンや関係を学習し、学習した内容に基づいて自然言語処理を行うＡＩである。自然言語処理として、テキスト以外に画像や音声、動画といった複数のデータ形式を統合的に処理する能力を持つマルチモーダルＬＬＭ（Large language Models）を用いることができる。
言語モデルサーバ３０として、例えば、ＣｈａｔＧＰＴ（登録商標）、ＸＬＮｅｔ、Ｔ５、ＲｏＢＥＲＴａ、ＡＬＢＥＲＴ等を用いることができる。
言語モデルサーバ３０は、画像解析装置１０と通信可能に接続され、ＡＰＩ（Application Programming Interface）を介して、画像解析装置１０から要求を受付け、受け付けた要求に応じた処理を行う。

メッセージ配信サーバ４０は、メッセージ配信サービスを提供するコンピュータである。メッセージ配信サービスとは、メッセージ（テキストのみであってもよいし、テキストと画像や音の情報を組み合わせたものであってもよい）を共有するためのプラットフォームを提供することで、送信者が送信したメッセージを、そのメッセージの宛先である受信者に受信されるようにするサービスである。
メッセージ配信サーバ４０には、サーバ側のメッセージ配信アプリケーションプログラム（サーバ側の配信アプリ）がインストールされ、メッセージ配信サーバ４０に備えられたＣＰＵ等でこのプログラム（サーバ側の配信アプリ）が実行されることによりメッセージを配信するための処理が実現される。
メッセージを配信するための処理として、メッセージ配信サーバ４０は、例えば、送信者からのメッセージ送信の依頼を受け付け、送信者端末からメッセージの宛先及びメッセージ内容等を受信する。送信者端末にはクライアント側のメッセージ配信アプリケーションプログラム（クライアント側の配信アプリ）がインストールされ、送信者端末に備えられたＣＰＵ等でこのプログラム（クライアント側の配信アプリ）が実行されることによりメッセージを送信するための処理が実現される。また、メッセージを配信するための処理として、メッセージ配信サーバ４０は、メッセージの宛先である受信者端末にメッセージを送信し、受信者端末にメッセージを受信されるように制御する。受信者端末にはクライアント側の配信アプリがインストールされ、受信者端末に備えられたＣＰＵ等でこのプログラム（クライアント側の配信アプリ）が実行されることによりメッセージを受信するための処理が実現される。
本実施形態では、メッセージ配信サーバ４０は、画像解析装置１０から指定された宛先にメッセージを送信する。ここで、本実施形態において想定される画像解析装置１０から指定される宛先とは、利用者端末５０、メッセージ配信先端末６０、メッセージ配信先サーバ７０の何れかである。

画像解析装置１０は、画像解析サービスを提供するコンピュータである。画像解析装置１０として、ＰＣ、サーバ、クラウド等を適用することができる。
画像解析サービスとは、画像に撮像された場面がどの様な状況を示しているかを、評価指標に基づいて評価し、その評価結果を提供するサービスである。
画像解析装置１０には、サーバ側の画像解析アプリケーションプログラム（サーバ側の画像解析アプリ）がインストールされ、画像解析装置１０に備えられたＣＰＵ等でこのプログラム（サーバ側の画像解析アプリ）が実行されることにより画像を解析するための処理が実現される。

なお、画像解析装置１０における画像を解析する機能が利用者端末５０に設けられていてもよい。この場合、利用者端末５０に、サーバ側の画像解析アプリに対応するプログラムがインストールされる。利用者端末５０に備えられたＣＰＵ等で、このサーバ側の画像解析アプリに対応するプログラムが実行されることにより画像を解析するための処理が実現される。これにより、利用者端末５０にて画像を解析することができ、画像解析装置１０を省略することができる。
言語モデルサーバ３０における言語解析の機能が利用者端末５０に設けられていてもよい。この場合、利用者端末５０は、自然言語処理を行う機能、例えば、ＬＬＭ、小規模な言語モデルや、画像やその他のフォーマットに対応可能なマルチモーダルな言語モデルなどを備える。これにより、利用者端末５０にて自然言語処理を行うことができ、言語モデルサーバ３０を省略することができる。
これにより、例えば、電波状況が悪い等、利用者端末５０が画像解析装置１０との通信を行うことが困難な場合であっても、本実施形態の自然言語処理を利用した画像の解析を実行することができる。

利用者端末５０は、利用者により操作される通信端末であり、例えばスマートフォン、ＰＣ（パーソナルコンピュータ）等である。ここでの利用者は、画像解析システム１による画像解析を利用する利用者である。利用者端末５０には、クライアント側の画像解析アプリケーションプログラム（クライアント側の画像解析アプリ）がインストールされ、利用者端末５０に備えられたＣＰＵ等でこのプログラム（クライアント側の画像解析アプリ）が実行されることにより画像を解析するための処理が実現される。
メッセージ配信先端末６０は、メッセージ配信サーバ４０により配信されるメッセージ（監視対象に対する警告メッセージ）の宛先として設定され得る端末装置である。メッセージ配信先端末６０として、例えば、利用者の関係者、例えば、利用者の家族や友人、監視対象を操作可能な担当者などが操作する端末装置を適用することができる。
メッセージ配信先サーバ７０は、メッセージ配信サーバ４０により配信されるメッセージ（監視対象に対する警告メッセージ）の宛先として設定され得るサーバ装置である。メッセージ配信先サーバ７０として、例えば、監視対象を管理する事業者が管理するサーバ装置を適用することができる。

なお、上記では、画像解析アプリを介して画像解析サービスが提供される場合を例に説明したが、これに限定されない。Ｗｅｂブラウザ等を介したＷｅｂサービスとしての画像解析サービスが提供されてもよい。また、上述したように、利用者端末５０に画像解析の機能、及び言語解析の機能を設けることにより、利用者端末５０において外部と通信を行うことなく画像解析サービスが提供されてもよい。

画像を解析するための処理として、画像解析装置１０は、例えば、利用者からの画像解析の依頼を受信し、その画像に撮像された場面がどの様な状況を示しているかを評価指標に基づいて評価し、その評価結果を利用者端末５０に送信する。以下では、画像を解析するための処理について詳しく説明する。

図２は、実施形態に係る画像解析装置１０の構成を示すブロック図である。画像解析装置１０は、画像情報取得部１０１、評価指標取得部１０２、プロンプト取得部１０３、評価取得部１０４、警告判定部１０５、評価結果生成部１０６、出力部１０７を備える。

画像情報取得部１０１は、解析対象とする画像の画像情報を取得する。
例えば、利用者が利用者端末５０を操作して画像解析アプリを起動すると、解析対象とする画像を入力する入力欄（画像入力欄）が表示される。利用者は画像入力欄に、解析する画像を指定する情報を入力する。
画像を指定する情報としては、画像ファイル、或いは画像の格納場所を示すＵＲＬ（Uniform Resource Locator）等を用いることができる。画像を指定する情報として画像ファイルを用いる場合、例えば、利用者は、ドラッグアンドドロップの操作等により画像ファイルを画像入力欄に入力することで、解析したい画像を指定することができる。また、画像を指定する情報としてＵＲＬを用いる場合、利用者は、画像入力欄に解析したい画像のＵＲＬを入力することで、解析する画像を指定することができる。
利用者端末５０は、利用者の入力操作に応じて画像を指定する情報を取得し、取得した情報に基づく画像を解析対象の画像の表示欄（後述する図３の領域Ｒ１を参照）に表示させる。利用者端末５０は、利用者が設定した解析対象の画像（動画像）をキャプチャする間隔（分析間隔）（後述する図３の領域Ｒ４を参照）に基づいて、解析対象の画像をキャプチャした画像を画像解析装置１０に逐次送信する。画像解析装置１０は、利用者端末５０から通知されたキャプチャ画像の画像情報を受信し、受信した画像情報を画像情報取得部１０１に出力する。これにより、画像情報取得部１０１は、解析対象とする画像の画像情報を取得する。

評価指標取得部１０２は、指標情報を取得する。
例えば、利用者が利用者端末５０を操作して画像解析アプリを起動すると、解析したい画像を入力する入力欄（画像入力欄）と共に、評価指標を指定する情報を入力する入力欄（評価指標入力欄）が表示される。利用者は評価指標入力欄に、評価指標を指定する情報を入力する。

評価指標は、少なくとも言語モデルが認識可能な表現で示されているものあれば任意の指標を用いることができる。

例えば、利用者は評価指標入力欄に、評価指標として、危険を示す度合いを表現する文言である「危険度」を入力する。このような文言を評価指標として設定し、設定した評価指標「危険度」に応じた評価をするように言語モデルに要求するプロンプトがプロンプト入力欄に入力されることで、解析対象の画像から、火事や崩落或いは事故など、「危険度」が高い場面（シーン）が抽出されるようになる。一方、火炎が撮像されていても、調理動画など火炎が制御可能な状況であればその場面は「危険度」が低いと認識されて抽出されないようになる。

また、利用者は評価指標入力欄に、評価指標として、人間が不審な振る舞いをしている度合いを表現する文言である「不審者度」を入力する。このような文言を評価指標として設定し、設定した評価指標「不審者度」に応じた評価をするように言語モデルに要求するプロンプトがプロンプト入力欄に入力されることで、解析対象の画像から、人物Ａがベランダから侵入を試みているシーンなど、「不審者度」が高い場面が抽出されるようになる。一方、同じ人物Ａであっても、単に歩道を歩いているような場面であれば「不審者度」が低いと認識されて抽出されないようになる。

また、利用者は評価指標入力欄に、評価指標として、救助が必要な度合いを表現する文言である「救助必要性度」を入力する。このような文言を評価指標として設定し、設定した評価指標「救助必要性度」に応じた評価をするように言語モデルに要求するプロンプトがプロンプト入力欄に入力されることで、解析対象の画像から、火事や崩落或いは事故などにおいて、人間や人間が存在する可能性が高い構造物（民家や店舗など）が巻き込まれているような「救助必要性度」が高い場面（シーン）が抽出されるようになる。一方、同等の火事や崩落或いは事故などにおいて人気（ひとけ）のない大草原や海岸などに火事等が発生したような場面であれば「救助必要性度」が低いと認識されて抽出されないようになる。

或いは、利用者は評価指標入力欄に、評価指標として、人気のある有名な野球選手Ｂが所謂「撮れ高」のある（放送に使われそうな）行動をしている度合いを表現する文言である「野球選手Ｂ度」を入力する。このような文言を評価指標として設定し、設定した評価指標「野球選手Ｂ度」に応じた評価をするように言語モデルに要求するプロンプトがプロンプト入力欄に入力されることで、解析対象の画像から、野球選手Ｂがバッターボックスに立っているシーンなどが「野球選手Ｂ度」が高い場面として抽出されるようになる。一方、同じ野球選手Ｂであっても、俯いていたり不鮮明であったりする場面であれば「野球選手Ｂ度」が低いと認識されて抽出されないようになる。

利用者端末５０は、利用者の入力操作に応じて評価指標を指定する情報を取得し、取得した情報を画像解析装置１０に送信する。画像解析装置１０は、利用者端末５０から通知された情報（評価指標を指定する情報）を受信し、受信した情報（評価指標）を評価指標取得部１０２に出力する。これにより、評価指標取得部１０２は、解析対象とする評価指標を取得する。

例えば、画像解析アプリには、評価指標を指定する情報を入力する入力欄（評価指標入力欄）と共に、プロンプトを入力する入力欄（プロンプト入力欄）が表示される。
利用者はプロンプト入力欄に、「この画像の（評価指標）を０から１００の数値で表してください」などと、評価指標を評価するように言語モデルに要求するプロンプトを入力する。
利用者は、評価指標入力欄に評価指標としての「危険度」を入力した場合、プロンプト入力欄に「この画像の（危険度）を０から１００の数値で表してください」などのプロンプトを入力する。
利用者端末５０は、利用者の入力操作に応じてプロンプトを指定する情報を取得し、取得した情報を画像解析装置１０に送信する。画像解析装置１０は、利用者端末５０から通知された情報（プロンプトを指定する情報）を受信し、受信した情報（プロンプト）を評価指標取得部１０２に出力する。これにより、評価指標取得部１０２は、プロンプトを取得する。
このプロンプトは、言語モデルサーバ３０に送信し、言語モデルサーバ３０にプロンプトに応じた処理を実行させるための自然言語（テキスト文）である。

なお、プロンプト取得部１０３は、プロンプト入力欄に利用者からプロンプトが入力されなかった場合などにおいて、評価指標に応じてプロンプトを生成するようにしてもよい。この場合、例えば、プロンプト取得部１０３は、「この画像の（評価指標）を０から１００の数値で表してください」などのプロンプトを生成する。ここでの（評価指標）の欄には、評価指標取得部１０２によって取得された評価指標、例えば、危険度、不審者度、救助必要度、野球選手Ｂ度、等が示される。

また、プロンプト取得部１０３は、評価値とともに評価の理由を示すように要求するプロンプトを生成するようにしてもよい。
例えば、プロンプト取得部１０３は、「この画像の（評価指標）を０から１００の数値で表し、その理由を説明してください」などのプロンプトを生成する。ここでの（評価指標）の欄には、評価指標取得部１０２によって取得された評価指標、例えば、危険度、不審者度、救助必要度、野球選手Ｂ度、等が示される。

評価取得部１０４は、評価を取得する。
評価取得部１０４は、解析対象の画像が動画像であれば、動画像を予め利用者が設定した時間間隔でキャプチャした静止画像群を生成する。そして、評価取得部１０４は、生成した静止画像群のそれぞれの画像とプロンプトを言語モデルサーバ３０に送信し、言語モデルにプロンプトに応じた画像の解析を要求する。ここでの解析対象の画像は、画像情報取得部１０１によって取得された画像情報に基づく画像である。また、ここでのプロンプトは、プロンプト取得部１０３によって生成されたプロンプトである。

言語モデルサーバ３０は、画像解析装置１０から通知されたプロンプトにしたがって、画像に撮像された場面を評価指標に沿って評価し、その評価値をプロンプトに対する応答として画像解析装置１０に送信する。

言語モデルサーバ３０に通知したプロンプトが評価指標に応じた評価を要求するものであった場合、言語モデルサーバ３０は、例えば、「この画像の危険度は「８５」です。」、「この画像の不審者度は「１０」です。」、「この画像の救助必要性度は「９０」です。」、「この画像の野球選手Ｂ度は「０（ゼロ）」です。」などの回答を、プロンプトに対する応答として画像解析装置１０に送信する。

言語モデルサーバ３０に通知したプロンプトが評価値とともに評価の理由を示すように要求するものであった場合、言語モデルサーバ３０は、例えば、「危険度：８５、この画像は崩落が見られるため、高い危険度があります。」、「不審者度：１０、不審者の存在は見受けられず、安全に見えます。」、「救助必要性度：９０、崩落により、救助の必要性が非常に高い状況です。」、「野球選手Ｂ度：０（ゼロ）、野球選手Ｂはいません。」などの回答を、プロンプトに対する応答として画像解析装置１０に送信する。

画像解析装置１０は、言語モデルサーバ３０から通知された応答を受信し、受信した応答を評価取得部１０４に出力する。これにより、評価取得部１０４は、プロンプトに対する応答として、評価指標に対する評価値やその理由などを取得する。

警告判定部１０５は、利用者に対して警告を行うか否かを判定する。

この警告は、指標値がしきい値以上であることを利用者に通知して警告を行うものである。警告を行うか否か、及び、警告を行うしきい値については、利用者が設定することができる。
例えば、利用者が利用者端末５０を操作して画像解析アプリを起動すると、解析したい画像を入力する入力欄（画像入力欄）等と共に、警告の設定欄が表示される。警告の設定欄には、例えば、しきい値を設定するか否か、（しきい値を設定する場合の）しきい値、アクションの選択などを含む。ここでのアクションとは、警告を通知する通知手段を選択するものであり、例えば、ＳＮＳ（Social Networking Service）、ＳＭＳ（Short Message Service）、電子メールなどの通知受段のうち１又は複数を選択するものである。
利用者は設定欄に、しきい値の設定の有無を選択し、しきい値を設定する場合にはその値を入力する。例えば、しきい値は、評価指標に応じた評価値の範囲（例えば、０～１００）から任意の値を設定することができる。また、利用者はアクションの選択肢から通知手段を選択し、選択した通知手段を用いた通知の宛先（例えば、ＳＮＳアカウント、携帯電話番号、電子メールアドレスなど）を入力する。
利用者端末５０は、利用者の入力操作に応じて警告の設定欄に設定された情報（しきい値設定の有無、しきい値、アクションの選択結果等）を取得し、取得した情報を画像解析装置１０に送信する。画像解析装置１０は、利用者端末５０から通知された情報（警告の設定欄に設定された情報）を受信し、受信した情報を警告判定部１０５に出力する。

警告判定部１０５は、しきい値が設定された評価指標ごとに、評価取得部１０４によって取得された評価値としきい値とを比較する。警告判定部１０５は、評価値がしきい値以上である場合、警告を行うと判定する。一方、警告判定部１０５は、評価値がしきい値未満である場合、警告を行わないと判定する。警告を行う場合、警告判定部１０５は、アクションの選択結果に応じた通知受段により警告を送信する。より具体的には、警告判定部１０５は、画像解析装置１０の通信部（不図示）を介して、メッセージ配信サーバ４０に、警告としての利用者宛メッセージを送信する。利用者宛メッセージは、領域Ｒ３において通知の宛先として設定された宛先に通知され、例えば、利用者端末５０、メッセージ配信先端末６０、メッセージ配信先サーバ７０の何れか、又はこれらの組合せに通知される。

評価結果生成部１０６は、評価結果を生成する。
評価結果生成部１０６は、解析対象の画像が動画像である場合、評価結果として、例えば、動画像からキャプチャした静止画像のそれぞれの評価値を時系列に示すグラフを、評価結果として生成する。
また、評価結果生成部１０６は、静止画像のそれぞれに、評価値とその評価の理由とを対応付けた情報を詳細情報として評価結果に含めるようにしてもよい。この場合、例えば、動画像からキャプチャした静止画像のそれぞれに対応する評価値を示すグラフや時間軸が選択されると、選択された位置に対応する静止画像の詳細情報がポップアップで表示される。これにより、利用者は、評価結果を示す時系列グラフを視認して動画像の評価値の推移を把握したり、高い評価値に対応する画像を確認してその評価の理由を把握したりすることができるようになる。
出力部１０７は、種々の情報を出力する。出力部１０７は、例えば、評価結果生成部１０６により生成された評価結果を示す画像を、画像解析装置１０の通信部（不図示）を介して利用者端末５０に送信する。これにより、利用者端末５０（の画像解析アプリの画面）に評価結果が表示される。

ここで、図３～図６を用いて、実施形態に係る画像解析装置が行う処理を説明する。図３～図６は、実施形態に係る画像解析装置が行う処理を説明するための図である。

図３には、利用者端末５０に表示される画像の例が示されている。この図において利用者端末５０には、領域Ｒ１～Ｒ４のそれぞれに画像が表示される。
領域Ｒ１には、解析対象の画像が表示される。
領域Ｒ２には、解析結果として、解析対象の画像（動画像）を時系列に沿ってキャプチャした静止画像のそれぞれの評価結果を示す時系列グラフが表示される。
領域Ｒ３には、評価指標、プロンプト、及び警告のしきい値を設定するための入力欄が表示される。
領域Ｒ４には、画像の解析を操作するための操作ボタンとして、解析を開始する「画像を共有」ボタン、解析を停止する「分析停止」ボタンが設けられている。また、領域Ｒ４には、解析条件として解析対象の画像（動画像）をキャプチャする間隔（分析間隔）を設定する設定欄が設けられている。

図４には、図３の領域Ｒ３に表示される画像を拡大させた図が示されている。この図において、プロンプトを追加するための操作ボタンＢ、及び評価指標を入力するための入力欄Ｅ（入力欄Ｅ１、Ｅ２）が設けられている。入力欄Ｅは、画像の解析において設定する評価指標の数に応じて設けられる。操作ボタン操作されたことに応じて、領域Ｒ３に入力欄Ｅが設けられる。この図の例では、操作ボタンＢが２回操作されたことに応じて、２つの入力欄Ｅ（入力欄Ｅ１、Ｅ２）が設けられた例が示されている。

入力欄Ｅ１には、タイトル欄Ｔ１が設けられており、ここに解析に用いる評価指標を設定する。この図において「危険度」が評価指標として設定されている。また、入力欄Ｅ１には、プロンプト欄Ｐ１が設けられており、タイトル欄Ｔ１に設定された評価指標に応じて生成されたプロンプトが表示される。この図において「この画像の危険度を０から１００の数値で表し、その理由を説明してください」とのプロンプトが生成されたことが示されている。また、入力欄Ｅ１には、しきい値設定欄Ｍ１が設けられている。しきい値設定欄Ｍ１には、しきい値を設定するか否かを指定するチェックボックス、しきい値を指定する数値ボックス、アクション（警告を通知する通知手段）を指定する選択ボックスが設けられている。この図において、しきい値が「６９」に設定され、対象画像を解析した結果、危険度がしきい値以上となった場合に、ＬＩＮＥ（登録商標）のメッセージにて警告が通知されるように設定されている。

入力欄Ｅ２は、入力欄Ｅ１と同様の構成であり、タイトル欄Ｔ２、プロンプト欄Ｐ２、およびしきい値設定欄Ｍ２が設けられている。この図において、タイトル欄Ｔ２には「不審者度」が評価指標として設定されている。プロンプト欄Ｐ２には「この画像の不審者度を０から１００の数値で表し、その理由を説明してください」とのプロンプトが生成されたことが示されている。しきい値設定欄Ｍ２には、しきい値が「５１」に設定され、不審者度がしきい値以上となった場合の通知手段が未だ選択されていな状況が示されている。

図５には、図３の領域Ｒ２に表示される画像を拡大させた図が示されている。この図において、横軸は時間（動画像の再生時間）、縦軸は評価値を示している。この図では、３つの評価指標、「危険度」、「不審者度」、及び「救助必要性度」のそれぞれが設定されている。また、第１の評価指標である「危険度」の評価値「６９」にしきい値ｔｈ１が設定されている。第２の評価指標である「不審者度」の評価値「５１」にしきい値ｔｈ２が設定されている。この図において、対象画像の動画像の再生時間が「１７：２２：２６」でキャプチャした静止画像において、「危険度」の評価値が９０であり、「不審者度」の評価値が１０であり、「救助必要性度」の評価値が８０であることが示されている。

図６には、図５と同様に、図３の領域Ｒ２に表示される画像を拡大させた図が示されている。この図のグラフ表示において、再生時間Ｔに対応する評価値が利用者によって選択された場合に表示されるポップアップ画像ＰＧの例が示されている。
ポップアップ画像ＰＧは、キャプチャ画像ＤＧ、および説明文ＤＴを含む。キャプチャ画像ＤＧには、利用者によって選択された再生時間Ｔに対応するキャプチャ画像が示されている。説明文ＤＴには、再生時間Ｔに対応するキャプチャ画像に対する解析結果として、評価値とその理由が示されている。この図において、キャプチャ画像ＤＧには、がけ崩れにより家屋が流される様子が撮像されている。説明文ＤＴには、危険度は「９０」であり、その理由として「この画像は崩落が見られるため、高い危険度があります」との文言が示されている。また、説明文ＤＴには、不審者度が「１０」であり、その理由として「不審者の存在は見受けられず、安全に見えます」との文言が示されている。また、説明文ＤＴには、救助必要性度が「８０」であり、その理由として「崩落により、救助の必要性が高い状況です」との文言が示されている。

ここで、画像解析装置１０が行う処理の流れについて図７を用いて説明する。図７は実施形態に係る画像解析装置１０が行う処理の流れを示すフローチャートである。

画像解析装置１０は、解析の対象とする画像の画像情報を取得する（ステップＳ１０１）。画像解析装置１０は、利用者端末５０から解析の対象とする画像をキャプチャしたキャプチャ画像を受信することにより解析の対象とする画像の画像情報を取得する。
画像解析装置１０は、評価指標を取得する（ステップＳ１０２）。画像解析装置１０は、利用者端末５０に表示させた解析用の画面（例えば、図３に示す画面）に従って利用者により設定された評価指標を、利用者端末５０から受信することにより評価指標を取得する。

ここで、解析の対象とする画像が動画像である場合、画像解析装置１０は、利用者によって予め設定された分析間隔で動画像をキャプチャした静止画像（キャプチャ画像）が利用者端末５０に逐次通知され、この逐次通知されるキャプチャ画像のそれぞれについて、後述するステップＳ１０３～Ｓ１０８の処理を繰り返し実行する。

画像解析装置１０は、ステップＳ１０２で取得した評価指標に応じてプロンプトを生成し、生成したプロンプトを言語モデルサーバ３０に送信することにより、言語モデルに解析対象の画像を評価するように要求する（ステップＳ１０３）。
画像解析装置１０は、評価値を取得する（ステップＳ１０４）。言語モデルサーバ３０は、画像解析装置１０から通知されたプロンプトを受信し、受信したプロンプトにしたがって画像を解析し、その解析結果を画像解析装置１０に送信する。解析結果には、プロンプトに示された評価指標に対する評価値と、その評価値とした理由などが示されている。画像解析装置１０は、言語モデルサーバ３０から通知された解析結果を受信し、受信した解析結果から評価値を取得する。

画像解析装置１０は、利用者に対して警告をするか否かを判定する（ステップＳ１０５）。画像解析装置１０は、利用者によって予めしきい値及びアクションが設定されており、ステップＳ１０４で取得した評価値がしきい値以上である場合、利用者に対して警告をすると判定する。一方、利用者によって予めしきい値又はアクションが設定されていない、或いは、ステップＳ１０４で取得した評価値がしきい値未満である場合、利用者に対して警告をしないと判定する。
警告をする場合、画像解析装置１０は、利用者によって予め設定された通知受段（アクション）にて、評価値がしきい値以上である旨の警告を送信する（ステップＳ１０６）。

警告をしない場合、或いは、警告をする場合にはその警告を実行した後、画像解析装置１０は、評価結果を生成する（ステップＳ１０７）。画像解析装置１０は、図３の領域Ｒ２、および図５に示すような、評価値の推移を示すグラフを評価結果として生成する。また、画像解析装置１０は、図６に示すような、再生時間Ｔの評価値に、キャプチャ画像と評価値及びその評価値とした理由とを対応付けたものを評価結果として生成する。
画像解析装置１０は、ステップＳ１０７で生成した評価結果を利用者端末５０に送信する（ステップＳ１０８）。利用者端末５０は、画像解析装置１０から通知された評価結果を受信し、受信した評価結果を利用者端末５０のディスプレイに表示させる。これにより、利用者は、図３に示すような画像において、領域Ｒ２に示すような評価値の推移を視認することができる。また、評価値が変化するような気になるポイントを選択することで、どの様な画像であるか、及び評価の理由などを確認することができる。

このように、実施形態よれば、画像解析装置１０は、画像情報取得部１０１と、評価指標取得部１０２と、プロンプト取得部１０３と、評価取得部１０４と、出力部１０７と、を備える。画像情報取得部１０１は、対象画像の画像情報を取得する。評価指標取得部１０２は、画像に撮像された場面を評価する評価指標を取得する。プロンプト取得部１０３は、対象画像に撮像された場面を、評価指標取得部１０２により取得された評価指標に基づいて評価するように生成ＡＩ（言語モデル）に要求するプロンプトを取得する。評価取得部１０４は、プロンプト取得部１０３によって取得されたプロンプトを生成ＡＩ（言語モデル）に送信したことに応じて生成ＡＩによって生成された評価値を取得する。出力部１０７は、評価取得部１０４によって取得された評価値を、対象画像に対応付けて出力する。これにより、実施形態の画像解析装置１０は、生成ＡＩ（言語モデル）に画像に撮像された場面を評価させることができるからその場面を容易に評価することができる。

また、実施形態よれば、画像解析装置１０では、評価指標取得部１０２は、複数の評価指標を取得する。プロンプト取得部１０３は、対象画像に撮像された場面を、評価指標取得部１０２により取得された複数の評価指標のそれぞれに基づいて評価するように生成ＡＩに要求するプロンプトを取得する。評価取得部１０４は、生成ＡＩによって生成された、複数の評価指標のそれぞれの評価値を取得する。出力部１０７は、評価指標取得部１０２によって取得された複数の評価値を、対象画像に対応付けて出力する。これにより、実施形態の画像解析装置１０では、複数の評価指標のそれぞれについて、画像に撮像された場面を評価することができ、様々な観点から画像を解析することが容易となる。

また、実施形態よれば、画像解析装置１０では、プロンプト取得部１０３は、評価の根拠を説明する説明文の生成を生成ＡＩに要求するプロンプトを生成する。評価取得部１０４は、生成ＡＩによって生成された評価値及び説明文を取得する。出力部１０７は、説明文を対応付けた評価値を出力する。これにより、実施形態の画像解析装置１０では、画像に撮像された場面を評価した理由を利用者に提示することができる。

また、実施形態よれば、画像解析装置１０は、画像情報取得部１０１は、動画像の画像情報を取得する。評価取得部１０４は、動画像を所定の分析間隔でキャプチャした対象画像に撮像された場面を評価するように生成ＡＩに要求するプロンプトを順次言語モデルに送信する。出力部１０７は、評価指標取得部１０２によって取得された評価値を動画像の時系列に沿って示すグラフを出力する。これにより、実施形態の画像解析装置１０では、動画像において撮像された場面のそれぞれの評価値の推移を容易に把握することができる。動画像を逐一再生しなくとも、どのあたりにどの様な場面が撮像されているかを把握することができる。

また、実施形態よれば、画像解析装置１０は、画像情報取得部１０１は、動画像の画像情報を取得する。評価取得部１０４は、動画像を所定の分析間隔でキャプチャした対象画像に撮像された場面を評価するとともに評価の根拠を説明する説明文の生成を生成ＡＩに要求するプロンプトを順次言語モデルに送信する。出力部１０７は、評価指標取得部１０２によって取得された評価値を動画像の時系列に沿って示すグラフであって、グラフにおける特定時間に対応する点に対応する対象画像と評価値及び評価の根拠を対応づけた情報を出力する。これにより、実施形態の画像解析装置１０では、動画像において撮像された場面のそれぞれの評価値の推移を見ながら、気になるポイントについて、キャプチャ画像を視認したり、評価理由を確認したりすることが容易となる。

また、実施形態よれば、画像解析装置１０は、出力部１０７は、画像情報取得部１０１によって取得された対象画像、及び評価指標を入力する入力欄を、利用者端末５０の同一画面に表示させる。評価指標取得部１０２は、入力欄に入力された評価指標を取得する。これにより、実施形態の画像解析装置１０では、利用者端末５０に対象画像を表示させると共に同じ画面に評価指標を設定することができる入力欄を設けることができる。このため、利用者は対象画像を監視しながら特に気になる場面を抽出したい場合にその場面に対応する評価指標を設定することができ、利便性が向上する。

また、実施形態よれば、画像解析装置１０では、画像情報取得部１０１は、動画像の画像情報を取得する。出力部１０７は、画像情報取得部１０１によって取得された動画像及び評価指標を入力する入力欄を利用者端末の同一画面に表示させる。評価指標取得部１０２は、入力欄に入力された評価指標を取得する。評価取得部１０４は、動画像を所定の分析間隔でキャプチャした対象画像に撮像された場面を評価するように生成ＡＩに要求するプロンプトを順次言語モデルに送信する。出力部１０７は、画像情報取得部１０１によって取得された動画像、入力欄、及び評価取得部１０４によって取得された評価値を動画像の時系列に沿って示すグラフを、利用者端末５０の同一画面に表示させる。これにより、実施形態の画像解析装置１０では、図３に示すような、動画像（領域Ｒ１）、評価値の推移を示すグラフ（領域Ｒ２）、評価値を設定するための入力欄（領域Ｒ３）を利用者端末５０の同一画面に表示させることができる。このため、利用者は対象画像を監視しつつ、評価指標を設定したり、評価値の推移を確認したりする作業を同一画面で実行することができ、利便性が向上する。

（実施形態の変形例１）
ここで、実施形態の変形例１について説明する。本変形例では、利用者のフィードバックを受けて評価精度を向上させる点において、上述した実施形態と相違する。

上述した実施形態では、評価指標に基づく評価を言語モデルが行うことで、客観的な評価を実現している。しかしながら、利用者によっては、評価において違和感がある場合もあり得る。例えば、「火事が発生している状況が撮像されているのだから危険度に対する評価値がもっと高くなるはず」である、或いは、「画像の中央に撮像されている人物はフルフェイスヘルメットを着用しており不審者度に対する評価値はもっと高くなるはず」であるといったような感想を持つ場合があり得る。
この対策として、本変形例では、利用者の感覚に合うように、言語モデルによる評価レベルを調整することができるようにした。以下では、用者のフィードバックを受けて評価精度を向上させる処理について具体的な処理の流れを説明する。

画像解析装置１０は、評価値に対するフィードバックを利用者が設定するための入力欄（フィードバック入力欄）を利用者端末５０に表示させる。例えば、図６に示すポップアップ画像ＰＧにおいて、「フィードバックする」などと示されたボタン（フィードバックボタン）を設ける。このフィードバックボタンを操作すると、自然言語（テキスト文）及び画像、または動画をアップロードする画面が表示される。例えば、ある対象画像に対して言語モデルが評価した「不審者度」が利用者の感覚よりも低い評価値であったとする。この場合、利用者は、アップロードする画面において、対象画像と共に「この画像では不審者がフルフェイスヘルメットを被っているから不審者度は高くなるはず」のような自然言語（テキスト文）を入力する。このような利用者の操作により、対象画像と「この画像では不審者がフルフェイスヘルメットを被っているから不審者度は高くなるはず」との自然言語（テキスト文）がアップロードされる。
あるいは、利用者が対象画像を見ると判るが、言語モデルが認知していない人物などを教えることで、その人物などを言語モデルに認知させるようなフィードバックが行われてもよい。
例えば、人気のある有名な俳優Ｃが、俳優Ｃのイメージに沿った行動をしている度合いを表現する文言である「俳優Ｃ度」を言語モデルに評価させた場合、画像に俳優Ｃが撮像されているにもかかわらず言語モデルが俳優Ｃを認識できていないような場は、利用者は、フィードバック画面に俳優Ｃの写真と共に「この人は俳優Ｃだよ。覚えておいて」と入力する。このようなフィードバックが行われることにより、言語モデルは俳優Ｃを精度よく認識することができるようになり、以降に評価する「俳優Ｃ度」についてより適切な評価値を出力することができるようになる。
或いは、フィードバックボタンが操作されたことに応じて、評価指標ごとに、「評価値が高すぎる」、「評価値は妥当」、「評価値が低すぎる」などの選択肢を選択する画面（フィードバック選択画面）が表示されるようにしてもよい。この場合、利用者は、このフィードバック選択画面にしたがって選択肢を選択し、フィードバック選択画面に設けられた送信ボタンを押下する操作を行う。送信ボタンを押下する操作が行われたことに応じて、利用者端末５０は、フィードバック選択画面において選択された選択結果を取得し、取得した選択結果を画像解析装置１０に送信する。画像解析装置１０は、利用者端末５０から通知された選択結果を受信することで、利用者からのフィードバックを取得する。

画像解析装置１０は、利用者からのフィードバックを、外部データに保存する。この外部データは、言語モデルに参照させるデータベースである。言語モデルに外部データを参照して回答を生成するように依頼することで、言語モデルがトレーニングで得た既存知識に加えて、利用者独自の評価傾向に関する情報を用いて評価値を導出することができるようになる。このような言語モデルに外部情報を参照して回答を生成させる手法は、ＲＡＧ（Ｒｅｔｒｉｅｖａｌ－Ａｕｇｍｅｎｔｅｄ Ｇｅｎｅｒａｔｉｏｎ、検索拡張生成）等と称される場合がある。

画像解析装置１０は、外部データに、例えば、画像、評価指標、言語モデルによる評価値、利用者によるフィードバックを対応付けた情報を記憶させる。利用者によるフィードバックは、言語モデルによる評価と利用者の感覚との乖離を、自然言語（テキスト文）などで指摘することにより実行される。或いは、利用者によるフィードバックは、言語モデルに認識されていない事項を指摘する、自然言語（テキスト文）などで指摘することにより実行される。或いは、言語モデルによる評価値に対して、「評価値が高すぎる」、「評価値は妥当」、「評価値が低すぎる」の何れかが選択された選択結果である。

画像解析装置１０のプロンプト取得部１０３は、外部データを参照して評価を行うように指示するプロンプトを生成する。プロンプト取得部１０３は、例えば、「この画像の（評価指標）を０から１００の数値で表す評価値を、外部データを参照して生成し、その評価値とした理由を説明してください」などのプロンプトを生成する。
これにより、画像解析装置１０の評価取得部１０４は、言語モデルから、外部データを参照して生成された評価値、より具体的には外部データに示された利用者の感覚に沿って評価された評価値を取得することができる。

このように、実施形態の変形例１によれば、画像解析装置１０は、利用者端末５０から、利用者からのフィードバックを受信し、受信したフィードバックを外部データに蓄積させる。プロンプト取得部１０３は、外部データを参照して、評価を行うように指示するプロンプトを生成する。これにより、実施形態の変形例の画像解析装置１０では、利用者の感覚に沿って評価された評価値を取得することができる。

（実施形態の変形例２）
ここで、実施形態の変形例２について説明する。本変形例では、動画像からキャプチャした静止画像のそれぞれを評価する際に、評価対象の静止画像と共に、時系列にみて評価対象の静止画像の近傍に撮像された複数の画像を用いる点において、上述した実施形態と相違する。

上述した実施形態では、動画像からキャプチャした静止画像を評価対象として言語モデルに解析させ、解析結果として数値（評価値）やログ（評価の理由）を出力したことで、以降の解析にはその静止画像を用いることはなかった。
しかし、言語モデルの性能向上は目覚ましく、将来的に動画を評価対象とすることができるようになることが想定される。
このような観点から、本変形例では、動画像における時系列に連続した複数の静止画像に基づいて評価を行うことができる構成を設けるようにした。また、動画像において集音された音声などの音情報を評価対象に含めることができる構成を設けるようにした。これにより、画像解析の精度向上が期待できる。

図８は、実施形態の変形例２に係る画像解析装置が行う処理を説明するための図である。この図において、横軸は時間を示している。上段には、動画像における時系列に沿った、音声と画像とが模式的に示されている。下段には、図３の領域Ｒ２に対応する評価結果を示す時系列グラフが模式的に示されている。
この図において、動画像が５秒ごとに解析が行われている。時刻Ｔ１に動画像が開始され、時刻Ｔ５を現時点としている。

時刻Ｔ１における評価値Ｐ１の導出には、時刻Ｔ１より前の時刻Ｔ０（不図示）から時刻Ｔ１（現時点から２０秒前）までの間の任意の時点でキャプチャした静止画像ＣＧ１及び、時刻Ｔ１の周辺時刻、より具体的には、時刻Ｔ０から時刻Ｔ１までのある時点又は区間或いは時刻Ｔ０から時刻Ｔ１まで継続的に集音された音声ＣＶ１が用いられる。
時刻Ｔ２における評価値Ｐ２の導出には、時刻Ｔ２（現時点から１５秒前）の時点でキャプチャした静止画像ＣＧ２及び時刻Ｔ２で集音された音声ＣＶ２のみならず、時刻Ｔ０から時刻Ｔ２までの間に任意の時間間隔でのキャプチャした複数の静止画像（静止画像ＣＧ１を含んでいてもよいし含まなくてもよい）、及び時刻Ｔ０から時刻Ｔ２までのある時点又は区間（音声ＣＶ１を含んでいてもよいし含まなくてもよい）、或いは時刻Ｔ０から時刻Ｔ２まで継続的に集音された複数の音声が用いられる。
時刻Ｔ３における評価値Ｐ３の導出には、時刻Ｔ３（現時点から１０秒前）の時点でキャプチャした静止画像ＣＧ３及び時刻Ｔ３で集音された音声ＣＶ３のみならず、時刻Ｔ０から時刻Ｔ３までの間に任意の時間間隔でのキャプチャした複数の静止画像（静止画像ＣＧ１、ＣＧ２の全部又は一部を含んでいてもよいし含まなくてもよい）、及び時刻Ｔ０から時刻Ｔ３までのある時点又は区間（音声ＣＶ１、ＣＶ２の全部又は一部を含んでいてもよいし含まなくてもよい）、或いは時刻Ｔ０から時刻Ｔ３まで継続的に集音された複数の音声が用いられる。
時刻Ｔ４における評価値Ｐ４の導出には、時刻Ｔ４（現時点から５秒前）の時点でキャプチャした静止画像ＣＧ４及び時刻Ｔ４で集音された音声ＣＶ４のみならず、時刻Ｔ１から時刻Ｔ４までの間に任意の時間間隔でのキャプチャした複数の静止画像（静止画像ＣＧ１、ＣＧ２、ＣＧ３の全部又は一部を含んでいてもよいし含まなくてもよい）、及び時刻Ｔ１から時刻Ｔ４までのある時点又は区間（音声ＣＶ１、ＣＶ２、ＣＶ３の全部又は一部を含んでいてもよいし含まなくてもよい）、或いは時刻Ｔ１から時刻Ｔ４まで継続的に集音された複数の音声が用いられる。
時刻Ｔ５における評価値Ｐ５の導出には、時刻Ｔ５（現時点）でキャプチャした静止画像ＣＧ５及び時刻Ｔ５で集音された音声ＣＶ５のみならず、時刻Ｔ２から時刻Ｔ５までの間に任意の時間間隔でのキャプチャした複数の静止画像（静止画像ＣＧ２、ＣＧ３、ＣＶ４の全部又は一部を含んでいてもよいし含まなくてもよい）、及び時刻Ｔ２から時刻Ｔ５までのある時点又は区間（音声ＣＶ２、ＣＶ３、ＣＶ４の全部又は一部を含んでいてもよいし含まなくてもよい）、或いは時刻Ｔ２から時刻Ｔ５まで継続的に集音された複数の音声が用いられる。

なお、上記では、現時点の静止画像と音声に加えて、過去の静止画像と音声の両方を評価に用いる場合を例示して説明したが、これに限定されない。現時点の静止画像と音声に加えて、過去の静止画像と音声の何れか一方のみを評価に用いるようにしてもよい。また、現時点の静止画像と音声の何れか一方のみに加えて、過去の静止画像と音声の何れか一方或いは両方を評価に用いるようにしてもよい。
また、時点の静止画像に加えて、現時点の音声を評価に用いるようにしてもよい。
現時点、及び又は過去の音声を評価に用いる場合、音声認識により音声をテキスト文で示す文字列を言語モデルに評価させるようにしてもよい。
なお、ここでの音声は、静止画像の生成に用いるキャプチャ時刻と全く同時刻に集音された音声である必要はなく、キャプチャ時刻の近傍において集音された一連の発話内容の全部または一部を含むものであってよい。
また、キャプチャした静止画像及び／又は集音した音声と関連する関連データなどを用いて評価を行うようにしてもよい。関連データとして、例えば、キャプチャ及び／又は集音した時刻に対応する時間帯の気温、気圧、監視対象の位置情報、監視対象及びその周辺に設けられた各種センサーの情報を用いることができる。画像解析装置１０は、これらの関連データと共に、音声、画像の評価を行うように構成されてもよい。

このように、実施形態の変形例２によれば、画像解析装置１０では、評価取得部１０４は、動画像を所定の分析間隔でキャプチャした対象画像と、対象画像と時系列に連続する複数の過去画像を用いて、対象画像に撮像された場面を評価するように生成ＡＩに要求するプロンプトを順次言語モデルに送信する。
また、画像解析装置１０では、評価取得部１０４は、動画像を所定の分析間隔でキャプチャした対象画像と、対象画像に対応して集音された対象音声とを用いて、対象画像に撮像された場面を評価するように生成ＡＩに要求するプロンプトを順次言語モデルに送信するようにしてもよい。
また、画像解析装置１０では、評価取得部１０４は、動画像を所定の分析間隔でキャプチャした対象画像と対象画像に対応して集音された対象音声の組と、対象画像と時系列に連続する複数の過去画像とそれぞれの過去画像に対応して集音された過去音声の組と、を用いて、対象画像に撮像された場面を評価するように生成ＡＩに要求するプロンプトを順次言語モデルに送信するようにしてもよい。
また、画像解析装置１０では、評価取得部１０４は、動画像を所定の分析間隔でキャプチャした対象画像に対応して集音された対象音声を用いて、対象画像に撮像された場面を評価するように生成ＡＩに要求する場合、対象音声を音声認識によりテキスト文で示した文字列を含むプロンプトを言語モデルに送信するようにしてもよい。
これにより、実施形態の変形例２によれば、対象画像のみならず、現時点の音声、過去画像、過去音声などを用いて言語モデルに評価をさせることができるため、画像解析の精度向上が期待できる。

（実施形態の変形例３）
ここで、実施形態の変形例３について説明する。本変形例では、図３に示す領域Ｒ２及びＲ３について、様々な評価軸の単位やグラフ種別にて表示可能とする点において、上述した実施形態と相違する。
図９～図１１は、実施形態の変形例３に係る画像解析装置が行う処理を説明するための図である。

図９には、評価結果として円グラフを示す領域Ｒ２と、プロンプトを示す領域Ｒ３の例が示されている。この図に示す円グラフは、ある時点の対象画像について評価した評価結果として、複数の評価軸のそれぞれの評価値を示している。このような円グラフを示すことで、利用者は、対象画像において、複数の評価軸のそれぞれの評価値が、他の評価軸の評価値と比較すると如何なるものであるかを容易に把握することができるようになる。

図１０には、評価結果としてヒートマップを示す領域Ｒ２と、プロンプトを示す領域Ｒ３の例が示されている。この図に示すヒートマップは、ある時点の対象画像について評価した評価結果として、対象画像分割した領域ごとの評価値を示している。この場合、画像解析装置１０の評価取得部１０４は、「この画像を複数（例えば、９個）の領域に分割し、分割した領域のそれぞれについて（評価指標）を０から１００の数値で表し、その理由を説明してください」などと示されたプロンプトを言語モデルに送信し、言語モデルから得られた評価結果を用いてこの図に示すヒートマップを作成して利用者端末５０に表示させる。
このようなヒートマップを示すことで、利用者は、対象画像において、何れの領域において評価値が高く、何れの領域において評価値が低いのかを容易に把握することができるようになる。

図１１には、実施形態の変形例３において利用者端末５０に表示される画像の例が示されている。この図において画像の右側には、領域Ｒ２－１とＲ３－１、及び領域Ｒ２－２とＲ３－２のそれぞれが表示される。領域Ｒ２－１には、図５に示すような、時系列の折れ線グラフが表示されている。領域Ｒ３－１には、領域Ｒ２－１に対応するプロンプトの入力欄が表示されている。領域Ｒ２－２には、図９に示すような円グラフが表示されている。領域Ｒ３－２には、領域Ｒ２－２に対応するプロンプトの入力欄が表示されている。

上記に限らず、様々な表示態様にて評価結果が表示されてよい。例えば、図５に示すような、時系列の折れ線グラフにおいて、縦軸（評価軸）の分解能（スケール）を変更したり、Ｌｏｇスケールにしたり、選択した評価指標のみを拡大して表示させるようにしたりしてもよい。

このように、実施形態の変形例３によれば、画像解析装置１０では、評価結果生成部１０６は、ある時点の対象画像に対して複数の評価軸のそれぞれの評価値を示す円グラフを評価結果として生成する。
また、評価結果生成部１０６は、ある時点の対象画像に対して、対象画像を複数の領域に分割した分割領域のそれぞれの評価値を示すヒートマップを評価結果として生成するようにしてもよい。
実施形態の変形例３の画像解析装置１０では、このような様々な態様にて評価結果を示す画像を利用者端末５０に表示させることができるから、利用者は、評価結果を様々な角度から分析することができる。

上述した少なくとも１つの実施形態において、画像解析装置１０が、データ蓄積機能を備えるように構成してもよい。この場合、画像解析装置１０は、対象画像、対象画像に対応して集音された対象音声、プロンプト、及び評価値（言語モデルがプロンプトに応じて評価した評価値）のそれぞれを紐づけてリアルタイムに記憶させる。
また、リアルタイムに蓄積するのみならず、蓄積させた動画に対して、事後的にデータ蓄積に係る処理が行われるようにしてもよい。
例えば、利用者は、ある時間区間に渡る監視映像等を、画像解析装置１０のデータ蓄積機能を用いて、あるいは画像解析装置１０の外部に設けられた録画機器を用いて蓄積させておく。そして、後日、画像解析アプリを利用し、蓄積させておいた監視映像等の動画をまとめて評価する。この際、利用者は、利用者端末５０の画像解析アプリを介して、蓄積動画を分析対象として指定すると共に分析間隔などの評価基準やプロンプトを入力する。これにより、画像解析装置１０において蓄積動画の画像解析が行われ、その解析結果として、プロンプトにしたがって動画を分析間隔ごとに評価した評価値が、画像解析装置１０から利用者端末５０に通知される。利用者端末５０は、評価値を画像解析装置１０から取得し、評価値の時系列変化を示すグラフなどを表示する。
画像解析アプリは、画像解析装置１０に表示させたグラフ（評価値の時系列変化を示すグラフ）において、ある時刻に対応する箇所がユーザにより選択されたことに応じて、ポップアップ画像ＰＧなどに、ユーザによって選択された時刻に対応する画像が撮像されたシーンを再生させるようにしてもよい。これにより、利用者は蓄積動画において重要なシーンが撮像されている箇所を容易に特定することができ、且つ、その重要なシーンに如何なる画像が撮像されているのかを直ちに視認することができる。

上述した実施形態における画像解析装置１０の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…画像解析システム
１０…画像解析装置
３０…言語モデルサーバ
４０…メッセージ配信サーバ
１０１…画像情報取得部
１０２…評価指標取得部
１０３…プロンプト取得部
１０４…評価取得部
１０５…警告判定部
１０６…評価結果生成部
１０７…出力部

Claims (9)

1. 対象画像の画像情報を取得する画像情報取得部と、
   画像において表された場面を評価する評価指標を取得する評価指標取得部と、
   前記対象画像において表された場面を、前記評価指標取得部により取得された評価指標に基づいて評価するように言語モデルに要求するプロンプトを取得するプロンプト取得部と、
   前記プロンプト取得部によって取得されたプロンプトを言語モデルに送信したことに応じて言語モデルによって生成された評価値を取得する評価取得部と、
   前記評価取得部によって取得された評価値を前記対象画像に対応付けて出力する出力部と、
   を備える画像解析装置。
2. 前記評価指標取得部は、複数の評価指標を取得し、
   前記評価取得部は、前記対象画像において表された場面を、前記評価指標取得部により取得された複数の評価指標のそれぞれに基づいて評価するように言語モデルに要求するプロンプトを言語モデルに送信し、言語モデルによって生成された、複数の評価指標のそれぞれの評価値を取得し、
   前記出力部は、前記評価取得部によって取得された複数の評価値を前記対象画像に対応付けて出力する、
   請求項１に記載の画像解析装置。
3. 前記プロンプト取得部は、評価の根拠を説明する説明文の生成を言語モデルに要求するプロンプトを生成し、
   前記評価取得部は、言語モデルによって生成された評価値及び前記説明文を取得し、
   前記出力部は、前記説明文を対応付けた評価値を出力する、
   請求項１に記載の画像解析装置。
4. 前記画像情報取得部は、動画像の画像情報を取得し、
   前記評価取得部は、動画像を所定の分析間隔でキャプチャした前記対象画像において表された場面を評価するように言語モデルに要求するプロンプトを、順次言語モデルに送信し、動画像を所定の分析間隔でキャプチャした前記対象画像のそれぞれについて言語モデルによって生成された評価値を取得し、
   前記出力部は、前記評価取得部によって取得された評価値を動画像の時系列に沿って示すグラフを出力する、
   請求項１に記載の画像解析装置。
5. 前記画像情報取得部は、動画像の画像情報を取得し、
   前記プロンプト取得部は、動画像を所定の分析間隔でキャプチャした前記対象画像において表された場面を評価するとともに評価の根拠を説明する説明文の生成を言語モデルに要求するプロンプトを生成し、
   前記出力部は、前記評価取得部によって取得された評価値を動画像の時系列に沿って示すグラフであって、グラフにおける特定時間に対応する点に対応する前記対象画像と評価値及び評価の根拠を対応づけた情報を出力する、
   請求項１に記載の画像解析装置。
6. 前記出力部は、前記画像情報取得部によって取得された前記対象画像及び評価指標を入力する入力欄を利用者端末の同一画面に表示させ、
   前記評価指標取得部は、前記入力欄に入力された評価指標を取得する、
   請求項１に記載の画像解析装置。
7. 前記画像情報取得部は、動画像の画像情報を取得し、
   前記出力部は、前記画像情報取得部によって取得された動画像及び評価指標を入力する入力欄を利用者端末の同一画面に表示させ、
   前記評価指標取得部は、前記入力欄に入力された評価指標を取得し、
   前記評価取得部は、動画像を所定の分析間隔でキャプチャした前記対象画像において表された場面を評価するように言語モデルに要求するプロンプトを順次言語モデルに送信し、
   前記出力部は、前記画像情報取得部によって取得された動画像、前記入力欄、及び前記評価取得部によって取得された評価値を動画像の時系列に沿って示すグラフを前記利用者端末の同一画面に表示させる、
   請求項１に記載の画像解析装置。
8. コンピュータである画像解析装置が行う画像解析方法であって、
   画像情報取得部が、対象画像の画像情報を取得し、
   評価指標取得部が、画像において表された場面を評価する評価指標を取得し、
   プロンプト取得部が、前記対象画像において表された場面を、前記評価指標取得部により取得された評価指標に基づいて評価するように言語モデルに要求するプロンプトを取得し、
   評価取得部が、前記プロンプト取得部によって取得されたプロンプトを言語モデルに送信したことに応じて言語モデルによって生成された評価値を取得し、
   出力部が、前記評価取得部によって取得された評価値を前記対象画像に対応付けて出力する、
   画像解析方法。
9. コンピュータである画像解析装置に、
   対象画像の画像情報を取得させ、
   画像において表された場面を評価する評価指標を取得させ、
   前記対象画像において表された場面を、前記取得された評価指標に基づいて評価するように言語モデルに要求するプロンプトを取得させ、
   前記取得されたプロンプトを言語モデルに送信したことに応じて言語モデルによって生成された評価値を取得させ、
   前記取得された評価値を前記対象画像に対応付けて出力する、
   プログラム。