JP2024000571A - プログラム、情報処理装置、方法、および情報処理システム - Google Patents

Abstract

【課題】チームによる開発パフォーマンスを適切に評価する。【解決手段】本開示の一態様のプログラムは、コンピュータを、チームに属するメンバーがイシュー管理サービスを利用することで当該イシュー管理サービスに保存された、当該メンバーによる開発活動に関する情報を取得する手段、開発活動に関する情報に基づいて、複数の指標を生成する手段、複数の指標に基づいて、チームによる開発パフォーマンスを評価する手段、チームによる開発パフォーマンスの評価結果を出力する手段、として機能させる。【選択図】図４

Description

本開示は、プログラム、情報処理装置、方法、および情報処理システムに関する。

組織におけるプロダクト（例えばソフトウェア）開発は、通常、複数のエンジニアからなるチームによって遂行される。プロダクトの開発責任者は、当該プロダクトを担当するチームによる開発パフォーマンスを適切に把握することが求められる。

特許文献１には、ソフトウェアの開発者の成果を評価する技術について開示されている。

特開2015-118650号公報

しかしながら、特許文献１に記載の技術は、開発者個人の成果を評価の対象としており、チームによる開発パフォーマンスの評価に直ちに応用することはできない。

本開示の目的は、チームによる開発パフォーマンスを適切に評価する技術を提供することである。

本開示の一態様のプログラムは、コンピュータを、チームに属するメンバーがイシュー管理サービスを利用することで当該イシュー管理サービスに保存された、当該メンバーによる開発活動に関する情報を取得する手段、開発活動に関する情報に基づいて、複数の指標を生成する手段、複数の指標に基づいて、チームによる開発パフォーマンスを評価する手段、として機能させる。

本開示によれば、チームによる開発パフォーマンスを適切に評価することができる。

本実施形態の情報処理システムの構成を示すブロック図である。 本実施形態のクライアント装置の構成を示すブロック図である。 本実施形態のサーバの構成を示すブロック図である。 本実施形態の一態様の説明図である。 本実施形態のリポジトリデータベースのデータ構造を示す図である。 本実施形態の開発活動データベースのデータ構造を示す図である。 本実施形態の情報処理のフローチャートである。 本実施形態の情報処理において表示される画面例を示す図である。 本実施形態の情報処理において表示される画面例を示す図である。 本実施形態の情報処理において表示される画面例を示す図である。 本実施形態の情報処理において表示される画面例を示す図である。

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

本明細書において、チームとは、複数人のエンジニアにより構成される集団を意味する。チームは、特定のプロダクトの開発を担当する。プロダクトは、典型的にはソフトウェアであり、例えば、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）などのＷｅｂサービスを提供するためのＷｅｂサイトであってもよいし、コンピュータにインストールされるアプリケーションであってもよい。チーム内では、それぞれのエンジニアが機能ごと、アウトプットごと等に役割分担して開発を進める。また、チーム内のエンジニアは、特定の１つの企業（組織）に雇用されている会社員のみに限られず、複数の企業が共同で開発を進める開発プロジェクトにおける任意の企業の会社員でもよい。さらに、チーム内のエンジニアには、派遣社員、個人事業主（いわゆるフリーランス）のエンジニアが含まれてもよい。

（１）情報処理システムの構成
情報処理システムの構成について説明する。図１は、本実施形態の情報処理システムの構成を示すブロック図である。

図１に示すように、情報処理システム１は、クライアント装置１０と、サーバ３０とを備える。
クライアント装置１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。また、サーバ３０は、ネットワークＮＷを介して外部システム５０と接続される。

クライアント装置１０は、サーバ３０にリクエストを送信する情報処理装置の一例である。クライアント装置１０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。クライアント装置１０は、情報処理システム１によって提供される、チームによる開発パフォーマンスの評価結果を確認するために用いることができる。クライアント装置１０のユーザは、例えば、以下の少なくとも１つを含むことができる。
・評価の対象となるチーム（以下、「対象チーム」という）のメンバーまたはリーダー
・対象チームの担当するプロダクトの開発責任者
・対象チームの所属する組織における人事担当者
・対象チームの所属する組織における経営幹部
・対象チームの所属する組織の求人情報を閲覧する者

サーバ３０は、クライアント装置１０から送信されたリクエストに応じたレスポンスをクライアント装置１０に提供する情報処理装置の一例である。サーバ３０は、例えば、サーバコンピュータである。サーバ３０は、クライアント装置１０からのリクエストに応じて、対象チームによる開発パフォーマンスの評価結果を提供する。

外部システム５０は、サーバ３０からのリクエストに応じて、対象チームのメンバー（エンジニア）による開発活動の活動に関する情報を提供する。外部システム５０は、典型的には、ＧｉｔＨｕｂ（登録商標）などの、ソフトウェア開発プラットフォームである。ＧｉｔＨｕｂは、エンジニアによる開発の成果物であるソースコードの管理、ソースコードに対するレビューの管理等を行う。

なお、外部システム５０は、ＧｉｔＨｕｂに限られず、ＧｉｔＬａｂ（登録商標）またはＢｉｔｂｕｃｋｅｔ（登録商標）等の他のソフトウェア開発プラットフォームであってもよい。或いは、外部システム５０は、ソフトウェア開発における課題管理ツール（例えばＪｉｒａ（登録商標））、またはタスク管理ツール（例えば、Ｔｒｅｌｌｏ（登録商標）またはｂａｃｋｌｏｇ（登録商標）等）であってもよい。これらソフトウェア開発プラットフォーム、課題管理ツールまたはタスク管理ツールは、イシュー管理サービスとして総称することもできる。以下の説明では、外部システム５０として、ＧｉｔＨｕｂを利用することを前提として述べる。

ＧｉｔＨｕｂは、ソースコードホスティングサービスである。ＧｉｔＨｕｂは、開発の成果物であるソースコードのバージョン管理を行うためのリポジトリ（管理手段）を有する。ＧｉｔＨｕｂは、ある時点におけるソースコードの一覧を管理している。ＧｉｔＨｕｂは、イシュー（作成）、プッシュ、コミット、プルリクエスト、マージ等の各種機能を備えている。イシューは、プロジェクトやソースコードの課題を管理するための機能である。プッシュは、エンジニアのローカル環境（ローカルリポジトリ）で作成又は修正を行ったソースコードをリモート環境（リモートリポジトリ）へアップロードする機能である。コミットは、ソースコードへの変更内容を登録するための機能である。プルリクエストは、プッシュがなされたことを通知してレビューを依頼する機能である。マージは、レビュー結果を確定させて履歴を統合する機能である。ここで、ソースコードとは、Ｐｙｔｈｏｎのようなプログラミング言語、またはＨＴＭＬ、ＣＳＳのようなマークアップ言語により記述されるコード（文字列）に加え、ＪａｖａＳｃｒｉｐｔ（登録商標）のようなプログラミング言語の一種であるスクリプト言語により記述されるスクリプト（文字列）を含む概念である。

プログラミング言語とは、ソフトウェア開発に用いられる言語であり、具体的にはＪａｖａＳｃｒｉｐｔ（登録商標）、Ｊａｖａ（登録商標）、Ｓｃａｌａ、ＰＨＰ、Ｒｕｂｙ、Ｐｙｔｈｏｎ、Ｇｏ、Ｃ＃、などがある。また、ソフトウェアフレームワークとはソフトウェア開発に利用するソフトウェアプラットフォームであり、具体的には、ｊＱｕｅｒｙ、Ｒｅａｃｔ、Ｖｕｅ.ｊｓ、Ａｎｇｕｌａｒ、Ｎｕｘｔ.ｊｓ、Ｎｅｘｔ.ｊｓ、ＲｅａｃｔＮａｔｉｖｅ、Ｓｐｒｉｎｇ Ｆｒａｍｅｗｏｒｋ、Ｐｌａｙ Ｆｒａｍｅｗｏｒｋ、Ｌａｒａｖｅｌ、ＣａｋｅＰＨＰ、ＲｕｂｙｏｎＲａｉｌｓ、Ｄｊａｎｇｏ、Ｆｌａｓｋ、ＴｅｎｓｏｒＦｌｏｗ、ｇｉｎ、Ｕｎｉｔｙ、Ｅｘｐｒｅｓｓなどがある。

（１－１）クライアント装置の構成
クライアント装置の構成について説明する。図２は、本実施形態のクライアント装置の構成を示すブロック図である。

図２に示すように、クライアント装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。クライアント装置１０は、ディスプレイ２１に接続される。

記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ）のプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）

プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、クライアント装置１０の機能を実現するコンピュータである。プロセッサ１２は、例えば、以下の少なくとも１つである。
・ＣＰＵ（Central Processing Unit）
・ＧＰＵ（Graphic Processing Unit）
・ＡＳＩＣ（Application Specific Integrated Circuit）
・ＦＰＧＡ（Field Programmable Array）

入出力インタフェース１３は、クライアント装置１０に接続される入力デバイスから情報（例えばユーザの指示）を取得し、かつ、クライアント装置１０に接続される出力デバイスに情報（例えば画像信号）を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ２１、スピーカ、又は、それらの組合せである。

通信インタフェース１４は、クライアント装置１０と外部装置（例えばサーバ３０）との間の通信を制御するように構成される。

ディスプレイ２１は、画像（静止画、または動画）を表示するように構成される。ディスプレイ２１は、例えば、液晶ディスプレイ、または有機ＥＬディスプレイである。

（１－２）サーバの構成
サーバの構成について説明する。図３は、本実施形態のサーバの構成を示すブロック図である。

図３に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。

記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果

プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するコンピュータである。プロセッサ３２は、例えば、以下の少なくとも１つである。
・ＣＰＵ
・ＧＰＵ
・ＡＳＩＣ
・ＦＰＧＡ

入出力インタフェース３３は、サーバ３０に接続される入力デバイスからユーザの指示を取得し、かつ、サーバ３０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。

通信インタフェース３４は、サーバ３０と外部装置（例えばクライアント装置１０または外部システム５０）との間の通信を制御するように構成される。

（２）実施形態の一態様
本実施形態の一態様について説明する。図４は、本実施形態の一態様の説明図である。

図４に示すように、チームＥＴ１に属するメンバーは、外部システム５０を利用して種々の開発活動を行う。外部システム５０は、このような開発活動のログに関する情報（以下、「開発活動情報」という）を保存する。サーバ３０は、外部システム５０から開発活動情報を収集する。サーバ３０は、定期的に開発活動情報を収集してもよいし、何らかのトリガ（例えば、クライアント装置１０からの評価要求の受信）に応じて開発活動情報を収集してもよい。

クライアント装置１０は、ユーザＵＳ２からの指示に応じて、チームＥＴ１による開発パフォーマンスの評価をサーバ３０に要求する。サーバ３０は、評価要求に応じて、チームＥＴ１による開発パフォーマンスに関する複数の指標を生成する。具体的には、サーバ３０は、チームＥＴ１のメンバーの開発活動情報に基づいて（例えば、複数のメンバーの開発活動情報を統合することで）各指標を生成する。サーバ３０は、生成した複数の指標に基づいて、チームＥＴ１による開発パフォーマンスを評価し、評価結果を含む評価応答をクライアント装置１０へ送信する。クライアント装置１０は、評価応答をユーザＵＳ２に提示する。

このように、サーバ３０によれば、複数の指標を介した、チームＥＴ１のメンバーの開発活動情報の多面的な分析に基づいて当該チームＥＴ１による開発パフォーマンスを適切に評価することができる。

（３）データベース
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置３１に記憶される。

（３－１）リポジトリデータベース
本実施形態のリポジトリデータベースについて説明する。図５は、本実施形態のリポジトリデータベースのデータ構造を示す図である。

リポジトリデータベースには、リポジトリ情報が格納される。リポジトリ情報は、外部システム５０において作成されているリポジトリに関する情報である。

図５に示すように、リポジトリデータベースは、「リポジトリＩＤ」フィールドと、「チームＩＤ」フィールドと、「アドレス」フィールドとを含む。各フィールドは、互いに関連付けられている。

「リポジトリＩＤ」フィールドには、リポジトリＩＤが格納される。リポジトリＩＤは、リポジトリを識別する情報である。サーバ３０は、外部システム５０からリポジトリＩＤを取得可能である。

「チームＩＤ」フィールドには、チームＩＤが格納される。チームＩＤは、対応するリポジトリＩＤによって特定されるリポジトリを作成したチームを識別する情報である。サーバ３０は、外部システム５０からチームＩＤを取得可能である。

なお、チームＩＤは、図示しないデータベースにおいて、組織ＩＤと関連付けられてもよい。チームＩＤに関連付けられる組織ＩＤは、当該チームＩＤに対応するチームが属する組織を識別する。また、チームＩＤは、図示しないデータベースにおいて、エンジニアＩＤと関連付けられてもよい。チームＩＤに関連付けられるエンジニアＩＤは、当該チームＩＤに対応するチームに属するメンバーを識別する。

「アドレス」フィールドには、アドレス情報が格納される。アドレス情報は、対応するリポジトリＩＤによって特定されるリポジトリにアクセスするための情報（例えばＵＲＬ（Uniform Resource Locator））である。

（３－２）開発活動データベース
本実施形態の開発活動データベースについて説明する。図６は、本実施形態の開発活動データベースのデータ構造を示す図である。

開発活動データベースには、開発活動情報が格納される。開発活動情報は、外部システム５０において作成されたリポジトリに保存されているソースコードに関して、エンジニアにより行われた活動に関する情報である。

外部システム５０は、例えば、ユーザ（つまり、エンジニア）がソースコードをローカルリポジトリからプッシュした場合に、プッシュを行ったユーザを特定可能な情報、およびプッシュが行われた日時をログ情報として記録する。同様に、ソースコードに関してイシューを作成した場合、ソースコードについてプルリクエストがあった場合、コメントが作成された場合、コメントに対する回答が作成された場合、またはマージがなされた場合などに、外部システム５０は、ログ情報を記録する。

サーバ３０は、外部システム５０から取得した開発活動情報に基づいて、開発活動データベースを更新する。サーバ３０は、定期的に開発活動情報を取得してもよいし、何らかのトリガ（例えば、クライアント装置１０からの評価要求の受信）に応じて開発活動情報を取得してもよい。

図６に示すように、開発活動データベースは、「活動ＩＤ」フィールドと、「リポジトリＩＤ」フィールドと、「アクションＩＤ」フィールドと、「エンジニアＩＤ」フィールドと、「日時」フィールドと、「ソースコード」フィールドとを含む。

「活動ＩＤ」フィールドには、活動ＩＤが格納される。活動ＩＤは、外部システム５０において作成されたリポジトリに保存されているソースコードに関して、エンジニアにより行われた活動を識別する情報である。

「リポジトリＩＤ」フィールドには、リポジトリＩＤが格納される。リポジトリＩＤは、対応する活動ＩＤによって特定される活動が行われたソースコードが保存されているリポジトリを識別する情報である。

「アクション」フィールドには、アクション情報が格納される。アクション情報は、対応する活動ＩＤによって特定される活動の種別に関する情報である。

「エンジニアＩＤ」フィールドには、エンジニアＩＤが格納される。エンジニアＩＤは、対応する活動ＩＤによって特定される活動を行ったエンジニア（つまり、外部システム５０のユーザ）を識別する情報である。

「日時」フィールドには、日時情報が格納される。日時情報は、対応する活動ＩＤによって特定される活動が行われた日時に関する情報である。

「ソースコード」フィールドには、ソースコード情報が格納される。ソースコード情報は、対応する活動ＩＤによって特定される活動が行われたソースコードに関する情報（例えばファイル名情報）である。

（４）情報処理
本実施形態の情報処理について説明する。図７は、本実施形態の情報処理のフローチャートである。図８は、本実施形態の情報処理において表示される画面例を示す図である。図９は、本実施形態の情報処理において表示される画面例を示す図である。図１０は、本実施形態の情報処理において表示される画面例を示す図である。図１１は、本実施形態の情報処理において表示される画面例を示す図である。

図７に示すように、クライアント装置１０は、評価要求（Ｓ１１０）を実行する。
具体的には、クライアント装置１０は、ユーザの指示に応じて評価要求を生成する。評価要求は、対象チームを特定可能な情報（例えばチームＩＤ）を含む。また、評価要求は、評価の対象となる期間（以下、「対象期間」という）を特定可能な情報を含んでもよい。ただし、対象期間が予め定められている場合には、評価要求はかかる情報を含まなくてもよい。以下の説明では、対象期間はユーザが指定できることを前提とする。

なお、評価要求（Ｓ１１０）と同時に、または評価要求（Ｓ１１０）と前後して、サーバ３０は、ユーザ認証を行ってもよい。
具体的には、クライアント装置１０は、ユーザ認証に用いられる情報を取得し、サーバ３０へ送信する。サーバ３０は、かかる情報に基づいてクライアント装置１０の操作者が登録済みのユーザであるか否かを確認する。サーバ３０は、ユーザ認証が成功した場合に、以後の処理を実行する。ただし、評価要求（Ｓ１１０）と同時もしくは評価要求（Ｓ１１０）よりも後にユーザ認証が行われ、かつ対象チームの評価結果を閲覧する権限がユーザに割り当てられていない場合に、サーバ３０は評価要求を拒否する。

ユーザ認証に用いられる情報は、ユーザを特定可能な情報（例えばユーザＩＤ）と、クライアント装置１０の操作者が当該ユーザ本人であることを証明するために当該操作者によって提供された情報（例えば、パスワード、または生体情報、など）とを含み得る。

ステップＳ１１０の後に、サーバ３０は、情報の取得（Ｓ１３０）を実行する。
具体的には、サーバ３０は、ステップＳ１１０において送信された評価要求を受信する。サーバ３０は、受信した評価要求に基づいて対象チームおよび対象期間を特定する。サーバ３０は、例えばリポジトリデータベース（図５）を参照し、対象チームを示すチームＩＤに関連付けられているリポジトリＩＤを抽出する。サーバ３０は、例えば開発活動データベース（図６）を参照し、特定した対象期間内の日付を示す日付情報と、抽出したリポジトリＩＤとを含む開発活動情報を抽出する。

なお、サーバ３０は、開発活動データベースから開発活動情報を抽出する前に、外部システム５０から対象チームに属するメンバーに関する開発活動情報を取得し、当該データベースを更新してもよい。

ステップＳ１３０の後に、サーバ３０は、指標の生成（Ｓ１３１）を実行する。
具体的には、サーバ３０は、ステップＳ１３０において取得した開発活動情報に基づいて、対象期間における対象チームによる開発パフォーマンスに関する複数の指標を生成する。サーバ３０は、取得した開発活動情報をそのまま指標として扱ってもよいし、当該開発活動情報に基づいて演算（例えば、カウント）を行うことで指標を算出してもよい。

複数の指標は、例えば以下の少なくとも１つを含むことができる。
・開発のボリュームに関する指標
・開発の効率に関する指標
・開発のクオリティに関する指標

開発のボリュームに関する指標は、例えば、以下の少なくとも１つを含むことができる。
・プルリク作成数
・マージ済みプルリク数
・レビュー数
・レビューしたプルリク数
・コーディング数（アクティブ日数）
・コミット数
・メインブランチへのマージ回数
なお、上に例示した開発のボリュームに関する指標は、いずれも値が大きいほど開発のボリュームが大きいことを示唆する。ただし、後述するように、これらの指標は、チームの規模（例えばメンバー数）が大きいほど高くなりやすいので、妥当な評価を行うためにはチームの規模に応じた補正をすることが好ましい。指標の補正は、指標の生成（Ｓ１３１）において実行されてもよいし、パフォーマンスの評価（Ｓ１３２）において実行されてもよい。

開発の効率に関する指標は、例えば、以下の少なくとも１つを含むことができる。なお、以下に例示する開発の効率に関する指標は、いずれも値が小さいほど開発の効率が高いことを示唆する。
・自チームのメンバーが最初のレビューをするまでの平均時間［ｈ］
・プルリク作成からマージまたはクローズされるまでの平均時間［ｈ］
・最初のコミットからプルリク作成までの平均時間［ｈ］
・プルリク作成からレビューまでの平均時間［ｈ］
・最初のレビューからクローズまでの平均時間［ｈ］
・最初のレビューから最後のアプルーブまでの平均時間［ｈ］
・最後のアプルーブからマージまでの平均時間［ｈ］
・メインブランチへのマージされたプルリクの作成からマージまでの平均時間［ｈ］
・メインブランチへマージされたプルリクに紐づく最初のコミットからマージまでの平均時間［ｈ］

開発のクオリティに関する指標は、例えば、以下の少なくとも１つを含むことができる。なお、以下に例示する開発のクオリティに関する指標のうち「レビューされずにマージされた割合」および「変更障害率」は、いずれも値が小さいほど開発のクオリティが高いことを示唆する。他方、以下に例示する開発のクオリティに関する指標のうち「１プルリクに対する平均コメント数」、「１プルリクあたりの平均変更行数」および「１プルリクあたりの変更ファイル数」は、単純な大小のみによる評価は妥当でないおそれがある。例えば、これらの指標に対しては、定性的な分析が行われてもよいし、適正値からの差が小さいほど開発のクオリティが高いものとして扱われてもよい。
・レビューされずにマージされたプルリクの割合［％］
・変更障害率
・１プルリクに対する平均コメント数
・１プルリクあたりの平均変更行数
・１プルリクあたりの変更ファイル数
ここで、変更障害率とは、変更に伴って発生した障害の割合を意味する。一例として、変更障害率は、メインブランチへマージしたプルリク数に対する、障害を意味するタグ付けがなされたブランチからメインブランチへマージしたプルリク数の割合として表現できる。障害を意味するタグ付けがなされたブランチは、例えば、修正を意味する文字列（hotfix）または変更を元に戻すことを意味する文字列（revert）を含む（大文字小文字問わず）ブランチである。

なお、サーバ３０は、生成した指標を、図示しないデータベースに格納してもよい。これにより、サーバ３０は、同一の対象チームおよび同一の対象期間が指定された場合に、指標の生成（Ｓ１３１）を実行する代わりに、データベースに格納されている指標を読み出して利用することができる。また、サーバ３０は、対象期間の長さに関わらず、対象期間に属する所定の時間単位（例えば日単位）における指標を生成してデータベースに格納し、当該対象期間に属する時間単位に亘って指標を統合すること対象期間における指標を生成してもよい。これにより、過去に指定された対象期間と重複する対象期間が指定された場合であっても、過去に生成した指標を再利用して指標の生成（Ｓ１３１）を実行できる。

ステップＳ１３１の後に、サーバ３０は、パフォーマンスの評価（Ｓ１３２）を実行する。
具体的には、サーバ３０は、ステップＳ１３１において生成した指標に基づいて、以下の少なくとも１つを評価する。
・対象期間における対象チームの個別指標の評価
・対象期間における対象チームの開発ボリュームの評価
・対象期間における対象チームの開発効率の評価
・対象期間における対象チームの開発クオリティの評価
・対象期間における対象チームの開発パフォーマンスの総合評価

サーバ３０は、評価を実施する前に、個別指標に対する前処理を行うことができる。個別指標に対する前処理の例として、サーバ３０は、ステップＳ１３１において生成した指標に対する加工を行うことができる。加工は、例えば以下の少なくとも１つを含むことができる。
・スケールの変換（例えば正規化）
・補正（例えばチームの規模による影響を緩和する補正）
・丸め（例えばより粗いレーティングへの変換）
・逆数化または符号反転（例えば、パフォーマンスが高いほど低くなると推定される指標を、パフォーマンスが高いほど高くなる指標に変換する加工）

個別指標の評価の一例として、サーバ３０は、ステップＳ１３１において生成した指標またはその加工値を、基準値と比較することで当該指標の個別評価を行うことができる。基準値は、例えば以下の少なくとも１つに基づいて定められてよい。
・対象期間以外の期間における対象チームの同一指標の値、またはその統計値
・対象期間または他の期間における他のチームの同一指標の値、またはその統計値
・対象期間における対象チームの同一カテゴリの他の指標の値、またはその統計値
・ここで説明した基準値の例のいずれかを、対象チームに含まれるメンバーの数に基づいて補正した値
ここで、カテゴリとは、例えば、「開発ボリューム」、「開発効率」、または「開発クオリティ」である。一例として、プルリク作成数、およびマージ済みプルリク数は、いずれも同一のカテゴリである「開発ボリューム」の指標である。
また、対象チームに含まれるメンバーの数は、例えば当該対象チームに対応するリポジトリに紐付けられるエンジニアの数（つまりエンジニアＩＤの総数）を計算することで導出可能である。なお、補正に用いられるメンバーの数は、対象チームに対応するリポジトリに紐付けられるエンジニアのうち対象期間に稼働のあったエンジニアの数に限られてもよい。
本例において、サーバ３０は、個別指標の評価結果としてテキストを得るようにしてもよいし、数値を得るようにしてもよい。テキストは、例えば指標と基準値との関係に応じて予め定められ得る。数値は、例えば指標と基準値との関係（例えば差または比率）に依存する。

開発ボリュームの評価の例として、サーバ３０は、ステップＳ１３１において生成した「開発ボリューム」の指標またはその個別評価結果を統合することで、開発ボリュームを定量的に評価してもよい。第１例として、サーバ３０は、「開発ボリューム」の指標またはその加工値の重み付き和（重みは一様であってもよい）を開発ボリュームの評価結果として算出してもよい。第２例としてサーバ３０は、「開発ボリューム」の指標と基準値との比較結果に対して数値（例えば、指標の基準値に対する差、または指標の基準値に対する比率の少なくとも１つに依存する数値）を割り当て、割り当てられた数値の重み付き和（重みは一様であってもよい）を開発ボリュームの評価結果として算出してもよい。或いは、サーバ３０は、これらの重み付き和を加工することで開発ボリュームの評価結果を得るようにしてもよい。

また、サーバ３０は、「開発ボリューム」の指標の各々が開発ボリュームの評価結果に及ぼした影響を分析してもよい。一例として、サーバ３０は、影響の度合いを具体的な数値として導出してもよいし、影響の符号（正負）のみを特定してもよい。また、サーバ３０は、負の影響の度合いが大きい指標を要改善指標として特定してもよい。負の影響の度合いが大きい指標は、負の影響の度合いが閾値を超える指標、または負の影響の度合いが上位Ｎ１位以内の指標（Ｎ１は任意の自然数）を含み得る。これらの分析結果は、評価結果に含められ得る。

開発効率の評価の例として、サーバ３０は、ステップＳ１３１において生成した「開発効率」の指標またはその個別評価結果を統合することで、開発効率を定量的に評価してもよい。第１例として、サーバ３０は、「開発効率」の指標またはその加工値の重み付き和（重みは一様であってもよい）を開発効率の評価結果として算出してもよい。第２例としてサーバ３０は、「開発効率」の指標と基準値との比較結果に対して数値（例えば、指標の基準値に対する差、または指標の基準値に対する比率の少なくとも１つに依存する数値）を割り当て、割り当てられた数値の重み付き和（重みは一様であってもよい）を開発効率の評価結果として算出してもよい。或いは、サーバ３０は、これらの重み付き和を加工することで開発効率の評価結果を得るようにしてもよい。

また、サーバ３０は、「開発効率」の指標の各々が開発効率の評価結果に及ぼした影響を分析してもよい。一例として、サーバ３０は、影響の度合いを具体的な数値として導出してもよいし、影響の符号（正負）のみを特定してもよい。また、サーバ３０は、負の影響の度合いが大きい指標を要改善指標として特定してもよい。負の影響の度合いが大きい指標は、負の影響の度合いが閾値を超える指標、または負の影響の度合いが上位Ｎ２位以内の指標（Ｎ２は任意の自然数）を含み得る。これらの分析結果は、評価結果に含められ得る。

開発クオリティの評価の例として、サーバ３０は、ステップＳ１３１において生成した「開発クオリティ」の指標またはその個別評価結果を統合することで、開発クオリティを定量的に評価してもよい。第１例として、サーバ３０は、「開発クオリティ」の指標またはその加工値の重み付き和（重みは一様であってもよい）を開発クオリティの評価結果として算出してもよい。第２例としてサーバ３０は、「開発クオリティ」の指標と基準値との比較結果に対して数値（例えば、指標の基準値に対する差、または指標の基準値に対する比率の少なくとも１つに依存する数値）を割り当て、割り当てられた数値の重み付き和（重みは一様であってもよい）を開発クオリティの評価結果として算出してもよい。或いは、サーバ３０は、これらの重み付き和を加工することで開発クオリティの評価結果を得るようにしてもよい。

また、サーバ３０は、「開発クオリティ」の指標の各々が開発クオリティの評価結果に及ぼした影響を分析してもよい。一例として、サーバ３０は、影響の度合いを具体的な数値として導出してもよいし、影響の符号（正負）のみを特定してもよい。また、サーバ３０は、負の影響の度合いが大きい指標を要改善指標として特定してもよい。負の影響の度合いが大きい指標は、負の影響の度合いが閾値を超える指標、または負の影響の度合いが上位Ｎ３位以内の指標（Ｎ３は任意の自然数）を含み得る。これらの分析結果は、評価結果に含められ得る。

開発パフォーマンスの総合評価の第１例として、サーバ３０は、開発ボリューム、開発効率、または開発クオリティのうち少なくとも２つの評価結果を統合する。例えば、サーバ３０は、複数の評価結果の重み付き和（重みは一様であってもよい）を開発パフォーマンスの総合評価結果として算出してもよい。開発パフォーマンスの総合評価の第２例として、サーバ３０は、ステップＳ１３１において生成した各指標またはその個別評価結果を統合する。例えば、サーバ３０は、各指標またはその加工値の重み付き和（重みは一様であってもよい）を開発パフォーマンスの総合評価結果として算出してもよい。或いは、サーバ３０は、各指標と基準値との比較結果に対して数値（例えば、指標の基準値に対する差、または指標の基準値に対する比率の少なくとも１つに依存する数値）を割り当て、割り当てられた数値の重み付き和（重みは一様であってもよい）を開発パフォーマンスの総合評価結果として算出してもよい。或いは、サーバ３０は、これらの重み付き和を加工することで開発パフォーマンスの総合評価結果を得るようにしてもよい。

なお、サーバ３０は、導出した評価結果を、図示しないデータベースに格納してもよい。これにより、サーバ３０は、同一の対象チームおよび同一の対象期間が指定された場合に、パフォーマンスの評価（Ｓ１３２）を実行する代わりに、データベースに格納されている評価結果を読み出して利用することができる。また、サーバ３０は、対象期間の長さに関わらず、対象期間に属する所定の時間単位（例えば日単位）における評価結果を導出してデータベースに格納し、当該対象期間に属する時間単位に亘って評価結果を統合することにより対象期間における評価結果を導出してもよい。これにより、過去に指定された対象期間と重複する対象期間が指定された場合であっても、過去に導出した評価結果を再利用してパフォーマンスの評価（Ｓ１３２）を実行できる。

ステップＳ１３２の後に、サーバ３０は、評価応答（Ｓ１３３）を実行する。
具体的には、サーバ３０は、ステップＳ１３２において導出した評価結果をクライアント装置１０のユーザに提示するための情報を含む評価応答を生成する。サーバ３０は、生成した評価応答をクライアント装置１０へ送信する。ここで、評価結果を提示するための情報は、例えば、クライアント装置１０がディスプレイ２１に表示させる画面を生成するための情報であってよい。

ステップＳ１３３の後に、クライアント装置１０は、情報提示（Ｓ１１１）を実行する。
具体的には、クライアント装置１０は、ステップＳ１３３において送信された評価応答を受信し、当該評価応答に基づく画面をディスプレイ２１に表示させる。これにより、ユーザは、ステップＳ１１０において指定した対象チームによる対象期間における開発パフォーマンスの評価を確認することができる。

一例として、クライアント装置１０は、図８に示す画面をディスプレイ２１に表示させる。図８の画面は、オブジェクトＪ２０～Ｊ２９を含む。

オブジェクトＪ２０は、対象チームが属する組織の名称を表示する。
オブジェクトＪ２１は、対象チームの名称（対象チームを特定可能な情報の一例）を表示する。オブジェクトＪ２１は、対象チームを変更する指示を受け付けるように構成されてもよい。この場合に、クライアント装置１０のユーザは、当該ユーザに評価の閲覧権限が割り当てられているチームのいずれかを新たな対象チームとして選択する入力が認められる。

対象チームが変更された場合に、クライアント装置１０は、ディスプレイ２１の画面（例えば、後述するオブジェクトＪ２６～Ｊ２９の表示内容）を更新する。クライアント装置１０は、ディスプレイ２１に更新後の画面を表示させるための情報（例えば、対象期間における変更後の対象チームの評価結果）をサーバ３０に要求してもよい。この場合に、サーバ３０は、変更後の対象チームに関して、ステップＳ１３０～Ｓ１３２と同様の処理を行ってよい。或いは、かかる情報は、ステップＳ１３３における評価応答に予め含められていてもよい。

オブジェクトＪ２２は、対象期間の開始日および終了日（対象期間を特定可能な情報の一例）を表示する。オブジェクトＪ２２は、対象期間を変更する指示を受け付けるように構成されてもよい。この場合に、クライアント装置１０のユーザは、対象期間の開始日または終了日の少なくとも１つを変更する入力が認められる。

オブジェクトＪ２３は、対象期間を指定するための指示を受け付ける。オブジェクトＪ２３が選択されると、クライアント装置１０はカレンダーＵＩ（User Interface）を表示し、ユーザは当該カレンダーＵＩ上で対象期間を指定する入力を行うことができる。

対象期間が変更された場合に、クライアント装置１０は、ディスプレイ２１の画面（例えば、後述するオブジェクトＪ２６～Ｊ２９の表示内容）を更新する。クライアント装置１０は、ディスプレイ２１に更新後の画面を表示させるための情報（例えば、変更後の対象期間における対象チームの評価結果）をサーバ３０に要求してもよい。この場合に、サーバ３０は、変更後の対象期間に関して、ステップＳ１３０～Ｓ１３２と同様の処理を行ってよい。或いは、かかる情報は、ステップＳ１３３における評価応答に予め含められていてもよい。

オブジェクトＪ２４は、対象チームと他チームとの比較結果を示す画面への切り替え指示を受け付ける。オブジェクトＪ２４が選択されると、クライアント装置１０はディスプレイ２１の画面の切り替えを行う。

オブジェクトＪ２４が選択された場合に、クライアント装置１０は、ディスプレイ２１に切り替え後の画面（例えば後述する図１０の画面）を表示させるための情報（例えば、比較対象となる他チームの指標または評価結果の情報）をサーバ３０に要求してもよい。この場合に、サーバ３０は、他チームに関して、ステップＳ１３０～Ｓ１３２と同様の処理を行ってよい。或いは、かかる情報は、ステップＳ１３３における評価応答に予め含められていてもよい。

オブジェクトＪ２５は、対象チームの評価結果を時系列で比較する画面への切り替え指示を受け付ける。オブジェクトＪ２５が選択されると、クライアント装置１０はディスプレイ２１の画面の切り替えを行う。

オブジェクトＪ２５が選択された場合に、クライアント装置１０は、ディスプレイ２１に切り替え後の画面（例えば後述する図１１の画面）を表示させるための情報（例えば、対象チームの対象期間以外の期間における評価結果の情報）をサーバ３０に要求してもよい。この場合に、サーバ３０は、対象期間以外の期間に関して、ステップＳ１３０～Ｓ１３２と同様の処理を行ってよい。或いは、かかる情報は、ステップＳ１３３における評価応答に予め含められていてもよい。

オブジェクトＪ２６は、対象期間における対象チームによる開発パフォーマンスの総合評価結果、開発ボリュームの評価結果、開発効率の評価結果、および開発クオリティの評価結果を表示する。図８の例では、開発パフォーマンスの総合評価結果は任意の段階のレーティング（図８の例では星マークの数であるが、ＳＡＢＣＤのようなアルファベットによるランクであってもよい）で表現されており、その他の評価結果は最高１００点で０．１点刻みの点数で表現されている。ただし、これらの表現は例示に過ぎず、任意の評価結果が任意の態様で表現されてよい。例えば、各評価結果が、平均値からの隔たりを表す指数（例えば、偏差値）として表現されてもよい。この場合に、平均値または標準偏差として、実際の統計値が使用されてもよいし、予め定められた値が使用されてもよい。

オブジェクトＪ２７は、「開発ボリューム」の指標の個別評価結果を表示する。図８の例では、オブジェクトＪ２７は、各指標の個別評価結果を表現するテキストを表示する。さらに、オブジェクトＪ２７では、開発ボリュームの評価結果に正の影響を及ぼした指標に対応するテキストが［Ｇｏｏｄ］欄に配置され、開発ボリュームの評価結果に負の影響を及ぼした指標に対応するテキストが［Ｂａｄ］欄に配置されている。つまり、ユーザは、いずれの指標が正の影響または負の影響を及ぼしたかを容易に判別できる。

また、オブジェクトＪ２７は、オブジェクトＪ２７ａを含む。オブジェクトＪ２７ａが選択されると、クライアント装置１０は、「開発ボリューム」の指標の個別評価結果の詳細を表示する。一例として、クライアント装置１０は、グラフを表示する。グラフは、例えば、任意の「開発ボリューム」の指標の値またはその加工値と、対応する基準値とを視覚的に対比して表現し得る。グラフで表現される指標は、ユーザ指示に応じて切り替えられてよい。グラフの例を図９に示す。

図９のグラフは、メンバー数に対するマージ済みプルリク数を表現する。図９中の星印は、対象期間における対象チームのメンバー数およびマージ済みプルリク数を表すデータポイントである。また、図９中の黒丸印は、他のデータポイントである。他のデータポイントは、例えば以下の少なくとも１つを含む。
・対象期間における他のチームのメンバー数およびマージ済みプルリク数を表すデータポイント
・対象期間以外の期間における対象チームのメンバー数およびマージ済みプルリク数を表すデータポイント
・対象期間以外の期間における他のチームのメンバー数およびマージ済みプルリク数を表すデータポイント

図９中の直線は、対象期間内に稼働のあったメンバー数を説明変数とし、マージ済みプルリク数を目的変数とした場合の回帰直線を表す。回帰直線は、星印および黒丸印に対応するデータポイントを元に線形回帰を計算することで導出される。ユーザは、図９のグラフを確認することで、対象期間における対象チームのマージ済みプルリク数が、メンバー数に対する予測値（つまり、回帰直線上で対象チームのメンバー数に対応する値であり、基準値の一例）に比べてどの程度優れているかを把握することができる。サーバ３０は、他の指標についても同様の態様で表示することができる。なお、対象期間内に稼働のあったメンバー数の代わりに、各チームに属する全メンバー数（つまり、各チームに対応するリポジトリに紐付けられているエンジニアの数）を説明変数として用いることもできる。また、回帰直線の代わりに回帰曲線によって、メンバー数に対応するマージ済みプルリク数が近似されてよい。さらに、近似に用いる関数は、例えば情報処理システム１の運営者が選択可能であってよい。

オブジェクトＪ２８は、「開発効率」の指標の個別評価結果を表示する。図８の例では、オブジェクトＪ２８は、各指標の個別評価結果を表現するテキストを表示する。さらに、オブジェクト２７では、開発効率の評価結果に正の影響を及ぼした指標に対応するテキストが［Ｇｏｏｄ］欄に配置され、開発効率の評価結果に負の影響を及ぼした指標に対応するテキストが［Ｂａｄ］欄に配置されている。

また、オブジェクトＪ２８は、オブジェクトＪ２８ａを含む。オブジェクトＪ２８ａが選択されると、クライアント装置１０は、「開発効率」の指標の個別評価結果の詳細を表示する。一例として、クライアント装置１０は、グラフを表示する。グラフは、例えば、任意の「開発ボリューム」の指標の値またはその加工値と、対応する基準値とを視覚的に対比して表現し得る。グラフで表現される指標は、ユーザ指示に応じて切り替えられてよい。

オブジェクトＪ２９は、「開発クオリティ」の指標の個別評価結果を表示する。なお、図示していないが、オブジェクトＪ２９は、各指標の個別評価結果を表現するテキストを表示する。さらに、オブジェクト２７では、開発クオリティの評価結果に正の影響を及ぼした指標に対応するテキストが［Ｇｏｏｄ］欄に配置され、開発クオリティの評価結果に負の影響を及ぼした指標に対応するテキストが［Ｂａｄ］欄に配置されている。

また、オブジェクトＪ２９は、オブジェクトＪ２９ａを含む。オブジェクトＪ２９ａが選択されると、クライアント装置１０は、「開発クオリティ」の指標の個別評価結果の詳細を表示する。一例として、クライアント装置１０は、グラフを表示する。グラフは、例えば、任意の「開発ボリューム」の指標の値またはその加工値と、対応する基準値とを視覚的に対比して表現し得る。グラフで表現される指標は、ユーザ指示に応じて切り替えられてよい。

前述のように、例えばオブジェクトＪ２４が選択された場合に、クライアント装置１０は、図１０の画面をディスプレイ２１に表示させることができる。図１０の画面は、オブジェクトＪ２０～２３、Ｊ２５、Ｊ３０～Ｊ３１を含む。オブジェクトＪ２０～２３、Ｊ２５は、前述のとおりである。

オブジェクトＪ３０は、対象チームの評価サマリを示す画面（例えば図８の画面）への切り替え指示を受け付ける。オブジェクトＪ３０が選択されると、クライアント装置１０はディスプレイ２１の画面の切り替えを行う。

オブジェクトＪ３１は、対象期間における対象チームの評価結果と、対象期間における比較相手の評価結果とを対比して視覚的に表現するグラフ（レーダーチャート）を表示する。図１０の例では、評価結果は、開発パフォーマンスの総合評価結果、ならびに開発ボリューム、開発効率、および開発クオリティの評価結果を含むが、これらは例示に過ぎない。また、グラフの種類もレーダーチャートに限られない。なお、比較相手の評価結果は、以下のいずれであってもよい。
・他の全チームの評価結果の平均、中央値、もしくは最頻値、またはこれらに基づく統計的数値範囲（例えば四分位範囲）
・他の特定の複数チームの評価結果の平均、中央値、もしくは最頻値、またはこれらに基づく統計的数値範囲
・他の無作為抽出された複数チームの評価結果の平均、中央値、もしくは最頻値、またはこれらに基づく統計的数値範囲
・他の特定のチームの評価結果

比較相手となるチームは、ユーザによって指定されてもよいし、対象チームの開発分野または業界に基づいて決定されてもよい。比較相手となるチームは、対象チームが属する組織に属する他のチームであってもよいし、異なる組織に属する他のチームであってもよい。サーバ３０は、比較相手（比較相手との候補を含む）となるチームが、対象チームと異なる組織に属する場合に、当該チームの情報を、匿名化した状態で提供してもよい。また、サーバ３０は、対象チームの情報を、他組織に属するチームとの比較のために提供するか否か、また提供する場合の条件を、ユーザ指示に応じて設定してもよい。

図示しないが、図１０の画面は、さらに、対象期間における対象チームの各カテゴリの個別指標の評価結果と、対象期間における比較相手の各カテゴリの個別指標の評価結果とを対して視覚的に表現するグラフを表示するオブジェクトを含むことができる。

前述のように、例えばオブジェクトＪ２５が選択された場合に、クライアント装置１０は、図１１の画面をディスプレイ２１に表示させることができる。図１１の画面は、オブジェクトＪ２０～２４、Ｊ３０、Ｊ４０～Ｊ４２を含む。オブジェクトＪ２０～２４、Ｊ３０は、前述のとおりである。

オブジェクトＪ４０は、対象期間における対象チームの評価結果と、対象期間とは異なる期間における対象チームの評価結果とを対比して視覚的に表現するグラフ（折れ線グラフ）を表示する。図１１の例では、評価結果は、開発パフォーマンスの総合評価結果、ならびに開発ボリューム、開発効率、および開発クオリティの評価結果を含むが、これらは例示に過ぎない。また、グラフの種類も折れ線グラフに限られない。

オブジェクトＪ４１は、オブジェクトＪ４０に表示されるグラフを構成する分析単位の数を指定するユーザ指示を受け付ける。ここで、分析単位は、評価が行われる時間的範囲を意味しており、典型的には、日、週、月、四半期、または年のいずれかである。
オブジェクトＪ４２は、オブジェクトＪ４０に表示されるグラフを構成する分析単位を指定するユーザ指示を受け付ける。
つまり、図１１の例では、オブジェクトＪ４０に表示されるグラフは、４ヶ月分に亘る、１ヶ月単位の評価結果を含んでいる。

分析単位の数、または分析単位が変更された場合に、クライアント装置１０は、ディスプレイ２１の画面（例えば、オブジェクトＪ４０の表示内容）を更新する。クライアント装置１０は、ディスプレイ２１に更新後の画面を表示させるための情報（例えば、変更後の対象期間における対象チームの評価結果）をサーバ３０に要求してもよい。この場合に、サーバ３０は、変更後の対象期間に関して、ステップＳ１３０～Ｓ１３２と同様の処理を行ってよい。或いは、かかる情報は、図１１の画面の表示前にサーバ３０から受信した応答に予め含められていてもよい。

図示しないが、図１１の画面は、さらに、対象期間における対象チームの各カテゴリの個別指標の評価結果と、対象期間とは異なる期間における対象チームの各カテゴリの個別指標の評価結果とを対して視覚的に表現するグラフを表示するオブジェクトを含むことができる。

（５）小括
以上説明したように、本実施形態のサーバ３０は、対象チームに属するメンバーが外部システム５０を利用することで当該外部システム５０に保存された、当該メンバーの開発活動情報に基づいて、当該対象チームによる開発パフォーマンスに関する複数の指標を生成し、当該指標に基づいて当該対象チームによる開発パフォーマンスを評価する。これにより、複数の指標を介した、対象チームのメンバーの開発活動情報の多面的な分析に基づいて当該対象チームによる開発パフォーマンスを適切に評価することができる。

複数の指標は、開発ボリューム、開発効率、または開発クオリティの少なくとも１つに関するものであってよい。これにより、対象チームによる開発パフォーマンスを、開発ボリューム、開発効率、または開発クオリティの少なくとも１つの観点から評価することができる。

サーバ３０は、複数の指標の少なくとも１つが特定の指標に該当する場合に、対象チームに含まれるメンバーの数に基づいて当該特定の指標を評価してもよい。これにより、対象チームに含まれるメンバーの大小が及ぼす影響を抑制して特定の指標を評価することができる。

サーバ３０は、対象チームの開発ボリューム、開発効率、開発クオリティ、または総合的な開発パフォーマンスの少なくとも１つを定量的に評価してもよい。これにより、対象チームの開発パフォーマンスを比較容易な形式で表現することができる。

サーバ３０は、複数の指標の少なくとも１つが対象チームの開発ボリューム、開発効率、開発クオリティ、または総合的な開発パフォーマンスの少なくとも１つの定量的な評価に及ぼした影響を分析してもよい。これにより、各指標が最終的な評価結果にどの程度影響を及ぼしているのかを特定することができる。また、サーバ３０は、複数の指標の少なくとも１つが対象チームの開発ボリューム、開発効率、開発クオリティ、または総合的な開発パフォーマンスの少なくとも１つの定量的な評価に正負いずれの影響を及ぼしたかを分析してもよい。これにより、対象チームの強みまたは弱みを特定することができる。

サーバ３０は、複数の指標の少なくとも１つについて基準値と比較することで、当該指標を個別に評価してもよい。これにより、各指標の良し悪しを判断するための材料を提供することができる。

サーバ３０は、対象チームによる開発パフォーマンスの評価結果を、他のチームによる開発パフォーマンスの評価結果、または異なる期間における当該対象チームによる開発パフォーマンスの評価結果と比較してもよい。これにより、対象チームによる開発パフォーマンスの評価結果の良し悪しを判断するための材料を提供することができる。

開発活動情報は、外部システム５０に保存されているソースコードに関して、対象チームに属するメンバーにより行われた活動を特定可能な情報と、当該活動が行われた日時を特定可能な情報とを含んでもよい。これにより、適切な指標を作成することができる。

（６）その他の変形例
記憶装置１１は、ネットワークＮＷを介して、クライアント装置１０と接続されてもよい。ディスプレイ２１は、クライアント装置１０と一体化されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。

上記の情報処理の各ステップは、クライアント装置１０及びサーバ３０の何れでも実行可能である。例えば、サーバ３０が実行するとして説明された処理を、クライアント装置１０が実行してもよい。

また、上記説明では、情報処理において各ステップを特定の順序で実行する例を示したが、各ステップの実行順序は、依存関係がない限りは説明した例に制限されない。

上記説明では、複数の指標の少なくとも１つが対象チームの開発ボリューム、開発効率、開発クオリティ、または総合的な開発パフォーマンスの少なくとも１つの定量的な評価に及ぼした影響を分析する例を示した。この場合に、サーバ３０は、上記定量的な評価に及ぼした負の影響が最も大きい指標を分析してもよい。これにより、対象チームの最も大きな弱みを特定することができる。本変形例において、負の影響が最も大きい指標に関する情報が、他の指標に関する情報に比べて例えば強調して提示されてよい。また、正の影響についても同様の処理が可能である。

上記説明では、クライアント装置１０がユーザ指示に応じて対象チームの評価を要求する例を示した。しかしながら、サーバ３０は、クライアント装置１０からの評価要求によらずに、対象チームの評価を繰り返し（例えば所定の周期で）実行してもよい。さらに、サーバ３０は、対象チームの評価結果（例えば、対象チームの開発ボリューム、開発効率、開発クオリティ、または総合的な開発パフォーマンスの少なくとも１つの定量的な評価結果）について所定の条件が成立する場合に、例えばユーザ宛に通知を行ってもよい。所定の条件は、例えば評価結果が閾値を下回ること、であってよい。通知は、アプリ画面、またはウェブサイト画面上で行われてもよいし、メールまたはその他のメッセージ（例えば、ＳＮＳ（Social Networking Service）メッセージ、ＳＭＳ（Short Message Service）メッセージ、など）を用いて行われてもよい。通知は、所定条件が成立したことを伝える情報を含んでいてもよいし、対象チームの開発パフォーマンスの評価結果（またはその一部）の情報を含んでいてもよい。これにより、ユーザは、対象チームの開発パフォーマンスを能動的に頻繁に確認せずとも、上記所定の条件の成立時に対象チームの開発パフォーマンスを速やかに把握することができる。

上記説明では、対象チームの開発パフォーマンスを評価する例を示した。サーバ３０は、同一の組織に属する全チームの各々について生成した複数の指標、または当該組織に属する全チームの各々の開発パフォーマンスの評価結果の少なくとも１つに基づいて、当該組織の開発パフォーマンスを評価してもよい。第１例として、サーバ３０は、各チームの評価結果を統合する。例えば、サーバ３０は、各チームの評価結果の重み付き和（重みは一様であってもよい）を組織の開発パフォーマンスの総合評価結果として算出してもよい。第２例として、サーバ３０は、各チームについて生成した各指標またはその個別評価結果を統合する。例えば、サーバ３０は、各指標またはその加工値の重み付き和（重みは一様であってもよい）を組織の開発パフォーマンスの総合評価結果として算出してもよい。或いは、サーバ３０は、各指標と基準値との比較結果に対して数値（例えば、指標の基準値に対する差、または指標の基準値に対する比率の少なくとも１つに依存する数値）を割り当て、割り当てられた数値の重み付き和（重みは一様であってもよい）を組織の開発パフォーマンスの総合評価結果として算出してもよい。或いは、サーバ３０は、これらの重み付き和を加工することで組織の開発パフォーマンスの総合評価結果を得るようにしてもよい。これにより、１以上のチームによって構成される組織による開発パフォーマンスを適切に評価することができる。

サーバ３０は、対象チームによる開発パフォーマンスの評価結果を含む、当該対象チームの属する組織の求人情報を公開してもよい。或いは、サーバ３０は、対象チームの属する組織による開発パフォーマンスの評価結果を含む当該組織の求人情報を公開してもよい。これにより、対象チームまたは組織による開発パフォーマンスの評価結果を、求職者に対する組織のアピール材料として活用することができる。さらなる変形例として、サーバ３０は、評価結果について所定の条件が成立した場合に限って、当該評価結果を含む求人情報を公開してもよい。例えば、所定の条件とは、評価結果が閾値を上回ること、であってよい。これにより、良好でない評価結果（つまり、求職者に対するアピール材料とならない評価結果）を含んだ求人情報が公開される事態を防ぐことができる。なお、本変形例で説明した処理は、サーバ３０と、外部装置（例えば求人システムにおけるサーバ）と協同で実行してもよい。この場合に、外部装置は、サーバ３０から対象チームまたは組織による開発パフォーマンスの評価結果を取得する。

サーバ３０は、各チームによる開発パフォーマンスの評価結果のランキングを公開してもよい。或いは、サーバ３０は、各組織による開発パフォーマンスの評価結果のランキングを公開してもよい。ランキングは、チームまたは組織の属性別に集計されてよい。チームの属性は、例えば規模、または開発分野を含む。組織の属性は、例えば、規模、設立からの経過年数、業界、または本社所在地を含む。さらなる変形例として、サーバ３０は、所定の順位よりも低い順位に位置づけられたチームまたは組織の情報を公開の対象から除外してもよい。なお、本変形例で説明した処理は、サーバ３０と、外部装置と協同で実行してもよい。この場合に、外部装置は、サーバ３０から各チームまたは各組織による開発パフォーマンスの評価結果を取得する。

上記説明では、開発クオリティを独立した項目として評価する例を示した。しかしながら、開発クオリティを評価の対象から除外し、その代わりに、「開発クオリティ」の指標（例えば関連する平均変更行数）を、他の項目（例えば開発ボリューム）の評価を調整するために用いてもよい。具体的には、開発ボリュームの指標（例えばプルリク作成数等）を、開発クオリティの指標に基づいて重み付けする補正が行われてよい。重み付けは、例えば、開発クオリティの指標の評価が高い（一例として適正値に近い）ほど、開発ボリュームの指標により大きな補正係数を乗じることで行われ得る。

サーバ３０は、対象期間における対象チームまたは組織の評価結果と、過去の期間における対象チームまたは組織の評価結果に対する変化（例えば改善）の比率、または量を算出し、算出結果をユーザに提示してもよい。

（７）付記
実施形態および変形例で説明した事項を、以下に付記する。

（付記１）
コンピュータ（３０）を、
チームに属するメンバーがイシュー管理サービス（５０）を利用することで当該イシュー管理サービスに保存された、当該メンバーによる開発活動に関する情報を取得する手段（Ｓ１３０）、
開発活動に関する情報に基づいて、複数の指標を生成する手段（Ｓ１３１）、
複数の指標に基づいて、チームによる開発パフォーマンスを評価する手段（Ｓ１３２）、
チームによる開発パフォーマンスの評価結果を出力する手段（Ｓ１３３）、
として機能させるプログラム。

（付記２）
複数の指標は、開発ボリューム、開発効率、または開発クオリティの少なくとも１つに関する、
付記１に記載のプログラム。

（付記３）
チームによる開発パフォーマンスを評価する手段は、複数の指標の少なくとも１つが特定の指標に該当する場合に、チームに含まれるメンバーの数に基づいて当該特定の指標を評価する、
付記１に記載のプログラム。

（付記４）
チームによる開発パフォーマンスを評価する手段は、チームの開発ボリューム、開発効率、開発クオリティ、または総合的な開発パフォーマンスの少なくとも１つを定量的に評価する、
付記１に記載のプログラム。

（付記５）
チームによる開発パフォーマンスを評価する手段は、プルリク作成数、マージ済みプルリク数、レビュー数、レビューしたプルリク数、コーディング数、コミット数、またはメインブランチへのマージ回数、の少なくとも１つに基づいてチームの開発ボリュームを定量的に評価する、
付記４に記載のプログラム。

（付記６）
チームによる開発パフォーマンスを評価する手段は、チームのメンバーが最初のレビューをするまでの平均時間、プルリク作成からマージまたはクローズされるまでの平均時間、最初のコミットからプルリク作成までの平均時間、プルリク作成からレビューまでの平均時間、最初のレビューからクローズまでの平均時間、最初のレビューから最後のアプルーブまでの平均時間、最後のアプルーブからマージまでの平均時間、メインブランチへのマージされたプルリクの作成からマージまでの平均時間、またはメインブランチへマージされたプルリクに紐づく最初のコミットからマージまでの平均時間、の少なくとも１つに基づいてチームの開発効率を定量的に評価する、
付記４に記載のプログラム。

（付記７）
チームによる開発パフォーマンスを評価する手段は、レビューされずにマージされたプルリクの割合、変更障害率、１プルリクに対する平均コメント数、１プルリクあたりの平均変更行数、または１プルリクあたりの変更ファイル数、の少なくとも１つに基づいてチームの開発クオリティを定量的に評価する、
付記４に記載のプログラム。

（付記８）
コンピュータを、複数の指標の少なくとも１つがチームの開発ボリューム、開発効率、開発クオリティ、または総合的な開発パフォーマンスの少なくとも１つの定量的な評価に及ぼした影響を分析する手段としてさらに機能させる、
付記４に記載のプログラム。

（付記９）
コンピュータを、複数の指標の少なくとも１つがチームの開発ボリューム、開発効率、開発クオリティ、または総合的な開発パフォーマンスの少なくとも１つの定量的な評価に正負いずれの影響を及ぼしたかを分析する手段、としてさらに機能させる、
付記８に記載のプログラム。

（付記１０）
コンピュータを、チームの開発ボリューム、開発効率、開発クオリティ、または総合的な開発パフォーマンスの少なくとも１つの定量的な評価に及ぼした負の影響が最も大きい指標を分析する手段、としてさらに機能させる、
付記８に記載のプログラム。

（付記１１）
コンピュータを、チームの開発ボリューム、開発効率、開発クオリティ、または総合的な開発パフォーマンスの少なくとも１つの定量的な評価結果について所定の条件が成立する場合に、通知を行う手段としてさらに機能させる、
付記４に記載のプログラム。

（付記１２）
チームによる開発パフォーマンスを評価する手段は、複数の指標の少なくとも１つについて基準値と比較することで、当該指標を個別に評価する、
付記１に記載のプログラム。

（付記１３）
コンピュータを、チームによる開発パフォーマンスの評価結果を、他のチームによる開発パフォーマンスの評価結果、または異なる期間におけるチームによる開発パフォーマンスの評価結果と比較する手段、としてさらに機能させる、
付記１２に記載のプログラム。

（付記１４）
コンピュータを、組織に属する全チームの各々について生成した複数の指標、または当該組織に属する全チームの各々の開発パフォーマンスの評価結果の少なくとも１つに基づいて、当該組織の開発パフォーマンスを評価する手段としてさらに機能させる、
付記１に記載のプログラム。

（付記１５）
コンピュータを、チームによる開発パフォーマンスの評価結果を含む、当該チームの属する組織の求人情報を公開する手段としてさらに機能させる、
付記１に記載のプログラム。

（付記１６）
開発活動に関する情報は、イシュー管理サービスに保存されているソースコードに関して、チームに属するメンバーにより行われた活動を特定可能な情報と、当該活動が行われた日時を特定可能な情報とを含む、
付記１に記載のプログラム。

（付記１７）
チームに属するメンバーがイシュー管理サービス（５０）を利用することで当該イシュー管理サービスに保存された、当該メンバーによる開発活動に関する情報を取得する手段（Ｓ１３０）と、
開発活動に関する情報に基づいて、複数の指標を生成する手段（Ｓ１３１）と、
複数の指標に基づいて、チームによる開発パフォーマンスを評価する手段（Ｓ１３２）と
チームによる開発パフォーマンスの評価結果を出力する手段（Ｓ１３３）と
を具備する、情報処理装置。

（付記１８）
クライアント装置（１０）と、サーバ（３０）とを具備する情報処理システム（１）であって、
サーバは、
チームに属するメンバーがイシュー管理サービス（５０）を利用することで当該イシュー管理サービスに保存された、当該メンバーによる開発活動に関する情報を取得する手段（Ｓ１３０）と、
開発活動に関する情報に基づいて、複数の指標を生成する手段（Ｓ１３１）と、
複数の指標に基づいて、チームによる開発パフォーマンスを評価する手段（Ｓ１３２）とを備え、
クライアント装置は、チームによる開発パフォーマンスの評価結果を提示する手段（Ｓ１１１）を備える、
情報処理システム。

（付記１９）
チームによる開発パフォーマンスの評価結果を受信する手段と、
前記評価結果を提示する手段（Ｓ１１１）と
を具備し、
前記評価結果は、前記チームによる開発パフォーマンスが複数の指標に基づいて評価された結果であり、
前記複数の指標は、前記チームに属するメンバーがイシュー管理サービス（５０）を利用することで当該イシュー管理サービスに保存された、当該メンバーによる開発活動に関する情報に基づいて生成される、
情報処理装置（１０）。

（付記２０）
クライアント装置（１０）に情報処理を実行させる方法であって、
クライアント装置に、
チームによる開発パフォーマンスの評価結果を受信する処理と、
評価結果を提示する処理（Ｓ１１１）と
を実行させ、
評価結果は、チームによる開発パフォーマンスが複数の指標に基づいて評価された結果であり、
複数の指標は、チームに属するメンバーがイシュー管理サービス（５０）を利用することで当該イシュー管理サービスに保存された、当該メンバーによる開発活動に関する情報に基づいて生成される、
方法。

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。

１ ：情報処理システム
１０ ：クライアント装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
２１ ：ディスプレイ
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェース
５０ ：外部システム

Claims (20)

1. コンピュータを、
   チームに属するメンバーがイシュー管理サービスを利用することで当該イシュー管理サービスに保存された、当該メンバーによる開発活動に関する情報を取得する手段、
   前記開発活動に関する情報に基づいて、複数の指標を生成する手段、
   前記複数の指標に基づいて、前記チームによる開発パフォーマンスを評価する手段、
   前記チームによる開発パフォーマンスの評価結果を出力する手段、
   として機能させるプログラム。
2. 前記複数の指標は、開発ボリューム、開発効率、または開発クオリティの少なくとも１つに関する、
   請求項１に記載のプログラム。
3. 前記チームによる開発パフォーマンスを評価する手段は、前記複数の指標の少なくとも１つが特定の指標に該当する場合に、前記チームに含まれるメンバーの数に基づいて当該特定の指標を評価する、
   請求項１に記載のプログラム。
4. 前記チームによる開発パフォーマンスを評価する手段は、前記チームの開発ボリューム、開発効率、開発クオリティ、または総合的な開発パフォーマンスの少なくとも１つを定量的に評価する、
   請求項１に記載のプログラム。
5. 前記チームによる開発パフォーマンスを評価する手段は、プルリク作成数、マージ済みプルリク数、レビュー数、レビューしたプルリク数、コーディング数、コミット数、またはメインブランチへのマージ回数、の少なくとも１つに基づいて前記チームの開発ボリュームを定量的に評価する、
   請求項４に記載のプログラム。
6. 前記チームによる開発パフォーマンスを評価する手段は、前記チームのメンバーが最初のレビューをするまでの平均時間、プルリク作成からマージまたはクローズされるまでの平均時間、最初のコミットからプルリク作成までの平均時間、プルリク作成からレビューまでの平均時間、最初のレビューからクローズまでの平均時間、最初のレビューから最後のアプルーブまでの平均時間、最後のアプルーブからマージまでの平均時間、メインブランチへのマージされたプルリクの作成からマージまでの平均時間、またはメインブランチへマージされたプルリクに紐づく最初のコミットからマージまでの平均時間、の少なくとも１つに基づいて前記チームの開発効率を定量的に評価する、
   請求項４に記載のプログラム。
7. 前記チームによる開発パフォーマンスを評価する手段は、レビューされずにマージされたプルリクの割合、変更障害率、１プルリクに対する平均コメント数、１プルリクあたりの平均変更行数、または１プルリクあたりの変更ファイル数、の少なくとも１つに基づいて前記チームの開発クオリティを定量的に評価する、
   請求項４に記載のプログラム。
8. 前記コンピュータを、前記複数の指標の少なくとも１つが前記チームの開発ボリューム、開発効率、開発クオリティ、または総合的な開発パフォーマンスの少なくとも１つの定量的な評価に及ぼした影響を分析する手段としてさらに機能させる、
   請求項４に記載のプログラム。
9. 前記コンピュータを、前記複数の指標の少なくとも１つが前記チームの開発ボリューム、開発効率、開発クオリティ、または総合的な開発パフォーマンスの少なくとも１つの定量的な評価に正負いずれの影響を及ぼしたかを分析する手段、としてさらに機能させる、
   請求項８に記載のプログラム。
10. 前記コンピュータを、前記チームの開発ボリューム、開発効率、開発クオリティ、または総合的な開発パフォーマンスの少なくとも１つの定量的な評価に及ぼした負の影響が最も大きい指標を分析する手段、としてさらに機能させる、
    請求項８に記載のプログラム。
11. 前記コンピュータを、前記チームの開発ボリューム、開発効率、開発クオリティ、または総合的な開発パフォーマンスの少なくとも１つの定量的な評価結果について所定の条件が成立する場合に、通知を行う手段としてさらに機能させる、
    請求項４に記載のプログラム。
12. 前記チームによる開発パフォーマンスを評価する手段は、前記複数の指標の少なくとも１つについて基準値と比較することで、当該指標を個別に評価する、
    請求項１に記載のプログラム。
13. 前記コンピュータを、前記チームによる開発パフォーマンスの評価結果を、他のチームによる開発パフォーマンスの評価結果、または異なる期間における前記チームによる開発パフォーマンスの評価結果と比較する手段、としてさらに機能させる、
    請求項１２に記載のプログラム。
14. 前記コンピュータを、組織に属する全チームの各々について生成した複数の指標、または当該組織に属する全チームの各々の開発パフォーマンスの評価結果の少なくとも１つに基づいて、当該組織の開発パフォーマンスを評価する手段としてさらに機能させる、
    請求項１に記載のプログラム。
15. 前記コンピュータを、前記チームによる開発パフォーマンスの評価結果を含む、当該チームの属する組織の求人情報を公開する手段としてさらに機能させる、
    請求項１に記載のプログラム。
16. 前記開発活動に関する情報は、前記イシュー管理サービスに保存されているソースコードに関して、前記チームに属するメンバーにより行われた活動を特定可能な情報と、当該活動が行われた日時を特定可能な情報とを含む、
    請求項１に記載のプログラム。
17. チームに属するメンバーがイシュー管理サービスを利用することで当該イシュー管理サービスに保存された、当該メンバーによる開発活動に関する情報を取得する手段と、
    前記開発活動に関する情報に基づいて、複数の指標を生成する手段と、
    前記複数の指標に基づいて、前記チームによる開発パフォーマンスを評価する手段と
    前記チームによる開発パフォーマンスの評価結果を出力する手段と
    を具備する、情報処理装置。
18. クライアント装置と、サーバとを具備する情報処理システムであって、
    前記サーバは、
    チームに属するメンバーがイシュー管理サービスを利用することで当該イシュー管理サービスに保存された、当該メンバーによる開発活動に関する情報を取得する手段と、
    前記開発活動に関する情報に基づいて、複数の指標を生成する手段と、
    前記複数の指標に基づいて、前記チームによる開発パフォーマンスを評価する手段とを備え、
    前記クライアント装置は、前記チームによる開発パフォーマンスの評価結果を提示する手段を備える、
    情報処理システム。
19. チームによる開発パフォーマンスの評価結果を受信する手段と、
    前記評価結果を提示する手段と
    を具備し、
    前記評価結果は、前記チームによる開発パフォーマンスが複数の指標に基づいて評価された結果であり、
    前記複数の指標は、前記チームに属するメンバーがイシュー管理サービスを利用することで当該イシュー管理サービスに保存された、当該メンバーによる開発活動に関する情報に基づいて生成される、
    情報処理装置。
20. クライアント装置に情報処理を実行させる方法であって、
    前記クライアント装置に、
    チームによる開発パフォーマンスの評価結果を受信する処理と、
    前記評価結果を提示する処理と
    を実行させ、
    前記評価結果は、前記チームによる開発パフォーマンスが複数の指標に基づいて評価された結果であり、
    前記複数の指標は、前記チームに属するメンバーがイシュー管理サービスを利用することで当該イシュー管理サービスに保存された、当該メンバーによる開発活動に関する情報に基づいて生成される、
    方法。