以下、本発明の一実施形態として情報記録システムに適用した例について説明する。この情報記録システムの端末機器は、音声データ入力用のマイクと画像データ入力用の撮像素子を有し、入力した音声データや動画の画像データに改竄防止処理を行うことなく、通常の音声処理や画像処理を施した上で、記録部に記録可能である。また、音声データや画像データに改竄防止処理を行うための改竄防止部を有し、所定の改竄防止時の条件に合致した場合には、改竄防止部によって改竄防止処理を施したデータを、通常処理施したデータとは別に、記録部に記録する。
図1は、本発明の一実施形態に係る情報記録システムの主として電気的構成を示すブロック図である。この情報記録システムは、端末機器10、外部機器20、管理機器30、およびこれらを結ぶネットワーク40から構成されている。
図1において、端末機器10は、音声データや画像データの入力および記録を行う。外部機器20は、端末機器10で記録された音声データや画像データの再生機器であり、改竄防止処理されたデータの場合には、管理機器30によって認証されているか否かを表示することができる。管理機器30は、ネットワーク40を介して、端末機器10に改竄防止処理の際に必要な登録手続を行い、また外部機器20に対してデータが管理機器30から認証を受けているか否かを通知する。
端末機器10内の情報入力部2は、音声データ入力用のマイクと、このマイクによって入力した音声データの音声データ処理回路等を含む。また情報入力部2は、画像データ入力用の撮像素子と、この撮像素子の撮像制御回路等を含む。情報入力部2で入力し処理された音声データおよび画像データは、制御部1に出力される。情報入力部2は、音声データおよび/または画像データを取得するための情報入力部として機能する。
改竄防止部5は、情報入力部2によって入力され処理された音声データおよび画像データに対して、公知の改竄防止処理を施し、制御部1に出力する。改竄防止処理としては、例えば、ハッシュ関数等を利用して、所定のデータ量毎に処理を行えばよい。また、改竄防止処理を行ったデータに対して、秘密鍵など、合鍵も考慮した暗号化等の処理を施してもよい。暗号化処理を施すことにより、より改竄防止のレベルを高めるようにしてもよい。改竄防止部5は、音声データおよび/または画像データに対して改竄防止処理を施す改竄防止部として機能する。
なお、改竄防止の技術は、送受信を考えた場合、電子署名の技術と言い換えてもよい。つまり、秘密鍵で暗号化した電子署名と画像や音声のコンテンツデータと公開鍵を相手に送り、受け取った相手が、公開鍵で電子署名を復号化し、送られてきたコンテンツデータからハッシュ関数を用いてダイジェストを作成すれば、電子署名との比較によって改竄されたか否かを検出できるからである。以下、改竄防止の記載は、このようなハッシュ関数作成や秘密鍵で暗号化する過程も含む。暗号化や、秘密鍵や公開鍵の厳密性等は、その求められる要求レベルによって変更可能である。また、ハッシュ関数以外のデータ検証用演算を採用しても良い。
時計部9は、日時情報を制御部1に出力する。この日時情報は、音声データや画像データの入力・生成時情報として、音声データや画像データに添付して記録する。また、後述するように、改竄防止処理を行うタイミングとして日時情報を利用することも可能である。
トリガ部6は、改竄防止部5によって音声データや画像データに対して、改竄防止処理の開始や終了のトリガをかける。後述するように、改竄防止処理は、条件記録部4cに記録されている条件を満たすと、トリガ部6が制御部1に対してトリガ出力を行い、改竄防止処理が実行される(トリガ出力を行う条件については、図4AのS3、図6等参照)。
通信部7は、ネットワーク40やUSB端子等を通じて外部機器20や管理機器30と接続され、記録部4に記録された音声データや画像データを出力する。また、管理機器30と改竄防止処理のための登録手続を行う。
操作部3は、音声データを扱う場合には、録音釦、停止釦、再生釦、編集釦、メニュー釦等の操作部材を有し、また画像データを扱う場合には、レリーズ釦、動画釦、再生釦、編集釦、メニュー釦等の操作部材を有し、これらの操作部材の操作状態を検出し、制御部1に出力する。また、操作部3は、改竄防止処理の開始や終了を指示するための改竄防止処理指示釦(トリガ釦3a)を有し、この改竄防止処理指示釦(トリガ釦3a)の操作状態を検出し、制御部1に出力する(トリガ釦3aの操作については、図2参照)。
表示部8は、画像データを扱う場合には、ライブビュー表示、再生表示、メニュー画面表示等を行い、音声データを扱う場合には、メニュー画面等の表示を行う。また、改竄防止処理を行っている場合には、処理中であることを示す警告表示を行う。また、音声データを扱う場合には、再生用のスピーカを有する。電源部11は、電源電池等を含み、端末機器10の各部に対して、電源を供給する。
記録部4は、フォルダ4a、フォルダ4b、および条件記録部4cを有する。フォルダ4aは、通常処理され、改竄防止処理が施されていない音声データや画像データを記録するためのフォルダである。フォルダ4bは、改竄防止処理が施された音声データや画像データを記録するためのフォルダである。
条件記録部4cには、トリガ部6において、改竄防止処理の開始や終了を指示するための予め決められた条件を記録しておく。改竄防止処理の開始や終了の条件としては、例えば、トリガ釦3aが押圧されると改竄防止処理を開始させ、トリガ釦3aの押圧が解除されると改竄防止処理を終了するようにしてもよい。
改竄防止処理の予め決められた条件は、音声データおよび/または画像データを取得している時に、ユーザが指定した指定期間としてもよい。これは、前述したように、改竄防止が必要な部分は、ある特定の部分にすぎず、無音声部や、画像や音声に変化が起こらない情報部分を暗号化処理するのは処理時間もエネルギも無駄になってしまうことを防止できる。また改竄防止を行った部分を特定して、重要な部分を検索しやくする効果もある。以下も同様の理由で、取得情報すべてを改竄防止せず、特定の部分のみを処理し、無駄の改善や検索性の向上を図っている。
また、予め決められた条件としては、時計部9からの日時情報に基づいて予め指定した日時に達すると改竄防止処理を開始し、予め指定した日時に達すると、改竄防止処理を終了するようにしてもよい。
また、予め決められた条件としては、情報入力部2によって入力した音声データに対して音声認識処理を行い、特定のフレーズ、例えば、「はじめ」「では」「よろしく」「どうぞ」「はい、どうぞ」等が入力された場合に改竄防止処理を開始し、特定のフレーズ、例えば、「ここまでです」「了解」「分かりました」「終わり」等が入力された場合には改竄防止処理を終了するようにしてもよい。
また、端末機器10内に振動検出部等を設け、通常では加えられないような特定の動きで端末機器10をユーザが振ったような場合に、改竄防止処理を開始し、再度、振られた場合に、改竄防止処理を終了するようにしてもよい。その他、特定の定められたタップ操作、特定のタッチ操作など、様々な条件設定が可能である。
条件記録部4cには、例示した前述の条件等を記録しておく。これらの条件は、工場出荷段階で不揮発性メモリに記録しておいてもよいが、本実施形態においては、メニュー画面等から、ユーザが適宜、設定する(例えば、図4BのS35参照)。条件記録部4cは、改竄防止部による改竄防止処理を行うための予め決められた条件を記録する条件記録部として機能する。この条件記録部に記録する条件は設定できる(例えば、図4BのS35参照)。
制御部1は、CPU(Central Processing Unit)、周辺回路、およびプログラムコードを記憶した電気的に書き換え可能なメモリ(例えば、フラッシュROM)等を含み、プログラムコードに従って端末機器10内の各部を制御する。また、制御部1内には、音声データや画像データの処理部を有し、例えば、A/D変換器、画像処理回路、画像圧縮回路、画像伸張回路、音声圧縮回路、音声伸張回路、画像編集部、音声編集部等を有する。
また、制御部1内には、記録制御部1aと環境音識別部1bを有している。これらの各部の機能は前述のCPU、周辺回路およびプログラムコードによって実行される。記録制御部1aは、情報入力部2によって入力され、音声処理や画像処理が施されたデータをフォルダ4bに記録し、また改竄防止部5によって改竄防止処理が施されたデータをフォルダ4b記録するように、記録制御を行う。また、改竄防止処理が施されていないデータに対して編集処理を行うことができる。編集処理としては、例えば、ノイズ除去処理、一部のデータを消去し、編集作業等がある。
環境音識別部1bは、音声データからノイズを除去する。ノイズは、特定周波数や特定の波形を有しており、また持続音である場合があることから、これらの特徴を有するデータ部分を抽出して、ノイズを除去する。なお、改竄防止処理が施される場合には、ノイズ除去処理は行われない(図3参照)。改竄防止処理は、原音を忠実に記録することにより、証拠能力を高めていることから、ノイズ除去処理等の編集処理を行わないようにしている。
さらに、環境音識別部1b又は制御部1は、画像データに対して、画像ノイズの除去を行う。環境音識別部1bは、音声データに対して環境音を除去し、および/または画像データに対して画像ノイズを除去するノイズ除去部として機能する。改竄防止部によって改竄防止処理を施す場合には、ノイズ除去部による上記環境音の除去および/または画像ノイズの除去を禁止する(例えば、図4AのS7、図5のS41参照)。
制御部1は、予め決められた条件に合致すると、改竄防止部による改竄防止処理を施した音声データおよび/または画像データと、改竄防止処理を施さない音声データおよび/または画像データの両方を記録部に記録させる制御部として機能する(例えば、図4AのS3〜S9参照)。
外部機器20は、音声データや画像データを再生する専用機器や、音声データや画像データを入力して再生するパーソナルコンピュータ等である。外部機器20内には、制御部21、暗号部22、通信部23を有する。
通信部23は、ネットワーク40を通じて、端末機器10と通信を行い、音声データや画像データを入力する。また、USB端子等を通じて、端末機器から音声データや画像データを入力する。なお、端末機器から直接音声データや画像データを入力する以外にも、サーバー等を介して、間接的に入力するようにしてもよい。
暗号部22は、暗号化が施された改竄防止処理済みの画像データの復号化処理を行う。前述したように、改竄防止部5において改竄防止処理を行う際に、改竄防止処理のために暗号化を施す場合がある。そこで、この暗号部22は、このような暗号化が施された改竄防止処理済みの画像データの復号化を行う。復号化に必要なデータは、管理機器30から取得する。
制御部21は、CPU(Central Processing Unit)、周辺回路、およびプログラムコードを記憶した電気的に書き換え可能なメモリ(例えば、フラッシュROM)等を含み、プログラムコードに従って外部機器20内の各部を制御する。
また、制御部21は、プログラムコードに従って、通常処理された音声データや画像データ、および改竄防止処理された再生処理を行う。また、改竄防止処理がなされているか否かの判定を行い、判定結果の表示を行う。また、改竄防止処理がなされていないデータに対して編集処理を行う。
管理機器30は、ネットワーク40に接続されたサーバーであり、音声データや画像データに対して改竄防止処理を行うために必要なデータを、端末機器10からの要求に応じて、端末機器10に送信する(登録手続とも言う)。また、改竄防止処理が施されたデータであるか否かを、端末機器10や外部機器20からの要求に応じて判定、または判定するためのデータを出力する。管理機器30内には、制御部31、暗号部32、通信部33を有する。
通信部33は、ネットワーク40を通じて、端末機器10や外部機器20と通信を行う。通信としては、端末機器10に改竄防止処理に必要なデータを送信し、また、改竄防止処理が適正になされたか否かを判定するためのデータを送信する。
暗号部32は、改竄防止処理を行う際に暗号化を行う場合に必要なきまりを決め、また、暗号を復号化するためのデータを記憶している。この暗号化および復号化に必要なデータは、端末機器10や外部機器20が認証された後に送信される。
制御部31は、CPU(Central Processing Unit)、周辺回路、およびプログラムコードを記憶した電気的に書き換え可能なメモリ(例えば、フラッシュROM)等を含み、プログラムコードに従って管理機器30内の各部を制御する。
また、制御部31は、プログラムコードに従って、改竄防止処理のためのデータを端末機器10に送信するための処理を実行する。また、改竄防止処理がなされているか否かの判定を行い、判定結果を外部機器20等に出力し、また、改竄防止処理を判定するためのデータを外部機器20等に出力する。
次に、図2を用いて、ユーザが改竄防止処理を指示する様子を説明する。図2(a)は、ユーザ41が端末機器10を用いて、録音している様子を示す。この場合には、ユーザ41はマイク2aを話者等の方向に向けており、トリガ釦3aに押圧することはない。この状態では、マイク2aを介して入力した音声データは、通常処理が施され、改竄防止処理は施されない。
図2(b)は、ユーザ41が改竄防止処理を行うことを必要と考え、改竄防止処理を指示するために、指41がトリガ釦3aを押圧している様子を示す。この場合には、トリガ釦3aが押圧されたことから、マイク2aを介して入力した音声データは、改竄防止処理は施され、このデータがフォルダ4bに記録され、併せて、通常処理され改竄防止処理がなされていない音声データがフォルダ4aに記録される。なお、トリガ釦3aへの押圧が解除されると、改竄防止処理は終了する。なお、トリガ釦3aまたはその近傍に指紋センサ等を設けておけば、この時のユーザの指紋情報(生体情報)も合せて、より信頼性を高めた証拠データが残せる。
次に、図3を用いて、音声データに改竄防止処理が施されない場合と、施される場合の相違について説明する。図3(a)は、時刻t0〜t9まで録音がなされ、しかも改竄防止処理が施されない場合を示している。改竄防止処理を施さない場合には、環境音識別部1bがノイズ除去処理を行うことから、無声状態である時刻t0〜t1、t2〜t4、t5〜t6、t8〜t9の間は、音声データは0となっている。また、有声状態である時刻t1〜t2、t4〜t5、t6〜t8の間は、音声データは変化している。なお、この部分は、単に記録するだけでも、編集やディクテーション等にも使用できるので、録音・録画開始操作時のt0から、特に、短い期間に限定する必要がない。
図3(b)は、時刻t3において、改竄防止処理の開始が指示され、時刻t7において改竄防止処理の終了が指示された場合を示している。改竄防止処理が施される場合には、環境音識別部1bによってノイズ除去処理が行われないことから、時刻t3〜t4、t5〜t6の間は、無声状態においても音声データが変化している。この部分は、編集することもできず、また処理も難しく、証拠判定用途等に限られるので、なるべく短い期間(t3〜t7)に限定して、検索性も向上させた方がよい。従って、前述の指紋情報なども改竄防止や検索性を向上させるために有効となる。
次に、図4A、図4B、図5および図6に示すフローチャートを用いて、本実施形態における端末機器10における改竄防止処理について説明する。このフローチャートは、制御部1内のメモリに記憶されたプログラムコードに従って制御部1内のCPUが端末機器10内の各部を制御することにより実行する。なお、端末機器10には、情報入力部2に撮像素子が設けられていることから、動画等の画像データを取り込むことが可能であるが、図4A、図4Bに示す例においては、音声データを取り込む場合についてのみ説明する。
端末機器10の電源部11に電源電池が装填されると端末機器10の動作が開始する。動作が開始すると、まず記録操作中か否かの判定を行う(S1)。ここでは、操作部3の内の録音釦が操作されて、音声記録が開始しているか否かを判定する。
ステップS1における判定の結果、記録操作中の場合には、次に、改竄防止時か否かを判定する(S3)。条件記録部4cには、改竄防止の開始や終了時の条件が記録されており、トリガ部6は、この記録されている条件に一致するタイミングで改竄防止を開始し、また終了する。このステップでは、トリガ部6からの出力に基づいて、改竄防止処理を実行中であるか否かを判定する。この改竄防止時の判定の詳しい動作については、図6を用いて後述する。
ステップS3における判定の結果、改竄防止時でない場合には、ノイズ除去許可録音を行い、ファイルAに記録する(S9)。ここでは、通常処理の録音であることから、情報入力部2によって取得し、通常処理された音声データに、環境音識別部1bにおいてノイズ除去処理された音声データを、ファイルAとしてフォルダ4aに記録する。
一方、ステップS3における判定の結果、改竄防止時には、ノイズ除去許可録音を行い、ファイルA候補として記録する(S5)。ステップS9のファイルAは、ユーザ操作でファイル化して記録することが前提であるが、途中で改竄防止操作が指示された場合、ステップS5において分岐しステップS9におけるファイルのうち、この部分が欠落する。そこで、後でファイルAと入れ込んだり、結合したり、コンバインできるようにファイルA候補として記載している。また、この部分は、ファイルBで事足りる場合もあり、結合はしなくてもよい。また、途中で改竄防止操作をしても、結局、決定的瞬間を捉えられない場合もあるので、必ずしもファイル化する必要もないので、「候補」と記載している。この結合の有無や、ファイル化の有無は、後でユーザが切り換えるようにしもてよいし、また記録内容や前後の状況等、必要に応じて、自動的に取捨選択できるようにしても良い。ここでは、ステップS9と同様に、情報入力部2によって取得し、通常処理された音声データに、環境音識別部1bにおいてノイズ除去処理された音声データを、ファイルAとしてフォルダ4aに記録する。
また、ノイズ除去許可録音と並行して、ノイズ除去なし録音と共に改竄防止処理を行った音声データをファイルB候補として記録する(S7)。ここでは、フォルダ4aにノイズ除去処理された音声データを記録すると並行して、改竄防止部5が情報入力部2で取得した音声データに改竄防止処理を施す。この改竄防止処理が施された音声データに対しては、ノイズ除去処理が行われないので、図3(b)に示すようなノイズが重畳している。この改竄防止処理が施された音声データはファイルBとして、フォルダ4bに記録する。このステップS7の詳しい動作については、図5を用いて後述する。
なお、改竄防止のために予め決められた条件は、音声データおよび/または画像データを取得している時に、ユーザが指定した指定期間であることのみならず、特定の条件で決まる期間でもよい。これは、前述のように、改竄防止が必要な部分は、ある特定の部分にすぎず、無音部や、画像や音声の変化が起こらない情報部分を暗号化処理するのは処理時間もエネルギも無駄になってしまうことを防止できる。また、改竄防止を行った部分を特定して、重要な部分を検索しやすくする効果もある。以下も同様の理由で、取得情報すべてを改竄防止せず、特定の部分のみ処理して、無駄の改善や検索性の向上を図っている。ノイズ成分も状況証拠になり得るし、また、例えば、操作時の指紋情報などを含めて改竄防止すれば、極めて証拠性の高いデータとなる。
ステップS7において、改竄防止処理を行って音声データを記録している場合には、改竄防止処理を行っていることを表示部8に表示する。ユーザは、この表示を見ることによって、改竄防止処理を行っているか否かを確認することができる。
ステップS1において、記録操作中であった場合には、次に記録操作終了か否かを判定する(S11)。録音動作を停止する場合には、ユーザは停止釦を操作するので、このステップでは、停止釦が操作されたか否かに基づいて判定する。
ステップS11における判定の結果、記録操作が終了していない場合には、ステップS5およびS7、またはステップS9における処理を、繰り返すことにより、録音処理を継続する。
一方、ステップS11における判定の結果、記録操作が終了した場合には、ファイル化、すなわち、ハッシュ関数の確定、暗号化を行う(S13)。ステップS7において改竄防止処理を行う場合には、ハッシュ関数が更新されているが、記録操作が終了したことにより、改竄防止部6は、ハッシュ関数を確定する。また、ハッシュ関数を確定した場合でも、ハッシュ関数が改竄されると改竄防止の機能が低下することから、改竄防止部6は、改竄されたか否かを判定するためのデータを暗号化する。
ステップS11における判定の結果、記録操作の終了でなかった場合、またステップS13におけるファイル化を実行すると、次に、再生操作か否かを判定する(S15)。ここでは、操作部3内の再生釦が操作されたか否かに基づいて判定する。
ステップS15における判定の結果、再生操作がなされた場合には、記録音声再生を行う(S17)。ここでは、フォルダ4a、4bに記録されている音声データを読出し、スピーカから音声の再生を行う。
ステップS15における判定の結果、再生操作がなされていない場合には、編集操作がなされたか否かを判定する(図4BのS21)。操作部3の内の編集釦が操作されると、編集モードに切り替わる。
ステップS21における判定の結果、編集操作であった場合には、ファイルBが指定されているか否かを判定する(S23)。編集を行うにあたって指定された音声ファイルが、ファイルB、すなわち改竄防止処理がなされているファイルであるか否かを判定する。
ステップS23における判定の結果、ファイルBであった場合には、警告表示を行う(S25)。改竄防止処理を施した場合には、録音した後に改竄することはできない。このことをユーザに知らせるために、表示部8に警告表示を行う。このように、本実施形態においては、改竄防止部によって改竄防止処理が実行された音声データおよび/または画像データに対して編集処理の実行は禁止されている。
一方、ステップS23における判定の結果、ファイルBでない場合には編集を行う(S27)。編集としては、操作部3によって指定された区間について削除する等、種々の編集が可能である。編集用の釦は複数設け、それぞれに異なる編集機能を割り付けても構わない。また、メニュー画面等において、種々の編集を行うようにしてもよい。
ステップS21における判定の結果、編集操作でない場合には、録音設定か否かを判定する(S29)。ここでは、録音設定モードか否かを判定する。録音設定モードは、メニュー画面で行い、録音設定としては、ノイズキャンセル設定、録音音質設定等、種々の設定が可能である。
ステップS29における判定の結果、録音設定であった場合には、ノイズキャンセル等の録音設定を行う(S31)。ここでは、メニュー画面の設定入力に従って録音設定を行う。なお、ノイズキャンセルが設定された場合には、環境音識別部1bによってノイズ除去処理が施される。
ステップS29における判定の結果、録音設定でなかった場合には、条件設定か否かを判定する(S33)。前述したように、トリガ部6において改竄防止処理を行う条件は、条件記録部4cに記録されている。この条件記録部4cに記録する条件を設定するか否かを判定する。条件設定は、メニュー画面において行う。
ステップS33における判定の結果、条件設定の場合には、条件の記録を行う(S35)。ここでは、メニュー画面で設定された条件を条件記録部4cに記録する。
ステップS33における判定の結果、条件設定出なかった場合には、通信その他を行う(S37)。ここでは、例えば、改竄防止処理を行うために必要な登録手続や、改竄防止処理を行うための暗号化されたハッシュ関数を管理機器30から取得する等、種々の処理を、通信部7を介して行う。
ステップS7、S17、S25、S27、S31、S35、S37において処理を行うと、ステップS1に戻る。
このように、本実施形態における端末機器10においては、音声データを取得し、改竄防止時には、取得した音声データに対して通常処理を施してフォルダ4aに記録すると並行して、同じ音声データに対して改竄防止処理を施してフォルダ4bに記録している(S5、S7参照)。このため、改竄防止時には、同一の音声データに対して、改竄防止処理を施した音声データと、改竄防止処理を施していない音声データの2つの音声データが生成される。
このため、音声データの取得後に、編集処理を行う場合には、改竄防止処理を施していない音声データに対して行えばよい(S27参照)。改竄防止処理を施した音声データに対しては、編集処理を行うことができず(S23、S25参照)、証拠能力の高い音声データを提供することができる。
次に、図5に示すフローチャートを用いて、ステップS7の「ノイズ除去なし録音および改竄防止」の動作について説明する。
このフローに入ると、まず、ノイズ除去なし音声A/Dを行う(S41)。ここでは、情報入力部2で入力した音声データに対して、環境音識別部1bによってノイズ除去処理を行わず、制御部1内のA/D変換器がノイズ除去処理のなされていない音声データをA/D変換する。
続いて、圧縮を行う(S43)。ここでは、ステップS41においてA/D変換された音声データに対して、制御部1内の音声圧縮回路が圧縮処理を行う。
圧縮処理を行うと、この時得られたデータをもとにハッシュ関数計算を行う(S45)。もちろん、重要な音声なので必ずしも圧縮は必須ではない。ここでは、一定量の音声データ(例えば、1セクタ分の音声データ)に対して、ハッシュ関数を演算する。このハッシュ関数は、ステップS37において管理機器30から取得したデータに基づくように暗号化してもよい。なお、このデータは、改竄防止を行うたびに、管理機器30から取得すれば信頼性があるが、これらの工程は、改竄防止の要求レベル、電子署名の要求レベルで適宜、省いても増やしても良い。暗号化にはユーザの生体情報などを使っても良いし、専用の回路で暗号化用データを発生させても良い。ハッシュ関数を計算すると、元のフローに戻る。
次に、図6に示すフローチャートを用いて、ステップS3の「改竄防止時?」の動作について説明する。ここでは、改竄防止処理を行うか否かを、条件記録部4cに記録された条件に従って、トリガ部6が判定する。図6には、改竄防止の条件の一例を示す。
このフローに入ると、まずスイッチ操作がなされたか否かを判定する(S51)。ここでは、操作部3の内のトリガ釦が押圧されているか否かを判定する。前述したように、ユーザが改竄防止処理を施した音声データを記録したい場合には、その間、トリガ釦を押圧し続ける。
ステップS51における判定の結果、スイッチ操作がなされていない場合には、特殊音声検出時か否かを判定する(S53)。ここでは、入力された音声データを音声認識によって、予め決められたフレーズ、例えば、「では」「よろしく」「どうぞ」「はい、どうぞ」等であるか否かを判定する。
ステップS53における判定の結果、特殊音声検出時でない場合には、特定画像パターン検出時が否かを判定する(S55)。情報入力部2として、撮像素子を有する場合には、この撮像素子によって取得した画像が、予め決められた特定画像パターンか否かに基づいて判定する。
ステップS51、S53、S55のいずれかにおける判定結果がYesの場合には、ステップS3において「Yes」に分岐する。一方、ステップS55における判定結果がNoの場合には、ステップS3において「No」に分岐する。
このように、「改竄防止時?」の判定においては、予め条件記録部4cに記録されている改竄防止時の条件に従って、トリガ部6が判定する。なお、図6には、条件判定の一例を示しており、これに限らず、他の条件を加えてもよい。例えば、時計部9からの日時情報を用いて、予め決められた日時に改竄防止を開始し終了するようにしてもよい。また、端末機器10に振動検出部を設け、日常起こらないパターンでユーザが端末機器10を動かし場合に改竄防止を開始したり、また終了するようにしてもよい。また、トリガ釦3aの代わりに、表示部8上のタッチパネルでタッチ操作を検知してもよく、また振動検出部によってタップ操作を検知することにより、改竄防止を開始したり、終了するようにしてもよい。
次に、図7に示すフローチャートを用いて、端末機器10の動作の変形例を説明する。図4A、4Bに示した本発明の一実施形態では、情報入力部2は音声データを入力し、記録部4に音声データを記録していた。これに対して、本変形例は、情報入力部2は音声データに加えて動画の画像データを入力し、記録部4に音声データおよび動画の画像データを記録するようにしている。
本変形例においては、図4AにおいてステップS6、S8、S10、S14を追加のみであることから、この相違点を中心に説明する。なお、ステップS10は、必要かどうか、後で取捨選択できるようにしてもよい。
ステップS3における判定の結果、改竄防止時には、ノイズ除去許可録音を行い、ファイルA候補を生成する(S5)。続いて、特殊効果許可圧縮録画を行い、ファイルAI候補を記録する(S6)。このステップでは、情報入力部2の内の撮像素子によって画像データを取得し、特殊効果を許可し、圧縮処理も行って画像データの録画を行う。なお、特殊効果は、所謂アートフィルタと呼ばれ、光学フィルタを装着することによって得られる特殊効果や、フィルム現像の際の付与するのと同様の特殊効果を有する画像データが、制御部1内の画像処理部によって生成される。
ステップS6において、特殊効果許可圧縮画像の録画を行うと、次に、ノイズ除去なし録音および改竄防止を行い、ファイルB候補として記録する(S7)。特殊効果なし記録および改竄防止を行い、ファイルBI候補として録画する(S8)。このステップでは、情報入力部2の内の撮像素子によって画像データを取得し、特殊効果の付与を禁止し、圧縮処理も行わず改竄防止処理を行って、録画を行う。
また、ステップS3における判定の結果、改竄防止時でない場合には、ノイズ除去許可録音を行い、ファイルAとして記録する(S9)。続いて、ステップS6と同様に、特殊効果許可圧縮録画を行う(S10)。
ステップS1における判定の結果、記録操作中の場合には、記録操作終了か否かを判定する(S11)。この判定の結果、記録操作が終了の場合には、ファイル化を行い(S13)、続いて、AとAI、BとBIの関連付けを行う(S14)。このステップS14においては、ステップS5で生成されたファイルAとステップS6で生成されたファイルAIの関連付けを行う。またステップS7で生成されたファイルBとステップS8で生成されたファイルBIの関連付けを行う。ファイルA、AIは、改竄防止を行っていない通常処理の音声および画像データであり、またファイルB、Biは改竄防止を行っている音声および画像データである。両者は対で処理されることが望ましいからである。
ステップS6、S8、S10、S14以外の各ステップは、画像データの処理を追加する以外は、図4A、図4Bに示した各ステップと同様であるので、詳しい説明を省略する。例えば、ステップS17においては、音声再生以外に、画像再生を行ってもよい。また、ステップS27における編集では、音声データ以外に画像データの編集を行ってもよい。
このように、本変形例においては、動画の画像データを取得する場合にも、改竄防止処理が指示された場合には、音声データと画像データの両方について、改竄防止処理を行わないデータと、改竄防止処理を行ったデータを生成し、これを記録するようにしている。このため、動画の画像データについて、データの記録後であっても、編集を行うことができ、使い勝手がよくなる。
なお、画像データを圧縮して記録する場合には、動画の記録と共にレリーズ釦の操作時に静止画の画像データを記録するようにしてもよい。この場合には、静止画の画像データはRAW画像データで記録すると圧縮などの処理がなく好むユーザもいるので、こうした応用をしてもよい。また、動画の画像データを圧縮記録する際には、基準画像(フレーム)と差分画像(フレーム)の差異が出るので、厳密にはフレームごとに使い方や画質が異なってしまう。したがって、改竄防止のような重要シーンでは、基準画像を連続にして差分画像を減らしたり、作らないようにしてもよい。もちろん基準画像だけを改竄防止の対象にしてもよい。
次に、図8を用いて、音声ファイルの構造について説明する。音声ファイル50は、音声データ51と関連情報ファイル52から構成される。音声データ51は、情報入力部2のマイクによって取得され、音声処理されたデータであり、改竄防止処理された音声データと改竄防止処理が施されていない音声データの両方を含む。
関連情報ファイル52には、音声データ51に関連する情報が記録されており、関連情報ファイル52は、関連画像ファイル名53、関連音声ファイル名54、暗号化ハッシュ部55、管理機器アドレス名56、音声管理情報57から構成される。
関連画像ファイル名53は、音声データ51を記録中に、併せて記録された画像データの関連画像ファイル名が記録される。関連音声ファイル名54は、関連する音声ファイル名が記録される。改竄防止のファイルと改竄防止なしのファイルの関係が分かるようにすることにより、どちらのファイルからも他方を検索することが可能となり、取扱いが容易になる。暗号化ハッシュ部55は、改竄防止処理を行う際のハッシュ関数を暗号化し記録される。暗号化するのは、前述したように、改竄防止処理を行っても、ハッシュ関数が判ると、改竄されてしまうので、これを防止するために暗号化している。
管理機器があると、公的機関や第三者機関が秘密鍵や公開鍵の管理・運用をサービス化して、システムとして信頼性を高めた改竄防止や電子署名の仕組みを作ることができる。管理機器アドレス名56は、改竄防止処理を行うためのデータを管理機器30から取得しており、この管理機器30のネットワーク上のアドレスを記録する。音声管理情報57は、音声データを記録した際の日時情報、位置情報等を記録する。位置情報は、端末機器10内にGPS(Global Positioning System)等の位置検出部を設けておき、この位置検出部によって検出する。
なお、図8には、画像ファイルが示されていないが、撮像素子によって画像データを取得し、記録する場合には、音声ファイルと同様に、画像ファイルを生成し、記録すればよい。
次に、図9に示すフローチャートを用いて、本発明の一実施形態における管理機器30の動作について説明する。このフローチャートは、制御部31内のメモリに記憶されたプログラムコードに従って制御部31内のCPUが管理機器30内の各部を制御することにより実行する。
このフローに入ると、まず、アクセス判定を行う(S61)。ここでは、端末機器10の通信部7または外部機器20の通信部23を介して、管理機器30にアクセスがあるか否かを判定する。この判定の結果、アクセスがない場合には、定常通信でアクセス状況を把握する(S63)。ここでは、常時、端末機器10や外部機器20からアクセスがあるか否かを監視する。
ステップS61における判定の結果、アクセスがあった場合には、通信相手を確認する(S65)。ここでは、アクセスしてきた機器が、多数存在する端末機器10や外部機器20のいずれであるかを特定する。
通信相手を確認すると、次に、暗号化手続か否かを判定する(S67)。前述したように、本実施形態においては、改竄防止処理の信頼度を高めるために、改竄防止用のデータに対して暗号化処理を可能としている。このステップでは、暗号化手続のためのデータの送信を要求してきているか否かを判定する。
ステップS67における判定の結果、暗号化手続の場合には、暗号化手続送信を行う(S69)。ここでは、暗号化を行うためのデータを、ステップS65で確認した通信相手に送信する。暗号手続の送信を行うと、ステップS61に戻る。
ステップS67における判定の結果、暗号化手続でない場合には、改竄判定の要求か否かについて判定する(S71)。外部機器20から、音声データや画像データが改竄されているか否かの判定要求がなされる場合がある。ここでは、この要求を受信したか否かを判定する。
ステップS71における判定の結果、改竄判定要求がなされていた場合には、ファイルを受信し、ハッシュ値を復号化し比較する(S73)。ここでは、音声データや画像データを、外部機器20から送信してもらい、暗号化されているハッシュ値を復号化し、もとのハッシュ値と比較し、改竄されているか否かを判定する。改竄されていたら、ハッシュ値そのもののみならず、暗号化されたハッシュ値などコンテンツのダイジェスト情報や、電子署名が一致しないので改竄判定を行うことができる。電子署名を暗号化する時にも秘密鍵が必要としておけば、暗号解読も困難となる。
続いて、判定結果を送信、またはファイルを再生する(S75)。ここで、再生された音声や動画は、改竄されていないものなので、状況証拠などに利用することができ、裁判や契約等、重要な状況判断の際に信頼して活用することができる。ここでは、ステップS73における判定結果を、通信相手先の外部機器20に送信する。ステップS75における処理を行うと、ステップS61に戻る。
ステップS71における判定の結果、改竄判定でない場合には、登録手続等の処理を行う。この登録手続は、公的機関等に、対象機器を登録して、暗号化や電子署名における様々なサービスを受けられ、このサービスに対する対価を支払う等の契約を行う。もちろん、対象となる音声や動画を厳重に管理してもらうサービスをあり得る。前述したように、端末機器10は、改竄防止処理を行うに毎に、管理機器30に対して、改竄防止に使用するデータの送信を要求してくるので、そのための処理を実行する。
このように管理機器30は、改竄防止用のデータを端末機器10に送信し、また暗号化手続を要求された場合にはそのためのデータを送信し、また改竄判定がなされた場合には、判定結果を送信している。
次に、図10に示すフローチャートを用いて、本発明の一実施形態における外部機器20の動作について説明する。このフローチャートは、制御部21内のメモリに記憶されたプログラムコードに従って制御部21内のCPUが管理機器20内の各部を制御することにより実行する。
このフローに入ると、まず、アクセスを行うか否かを判定する(S81)。ここでは、端末機器10の通信部7または外部機器20の通信部23を介して、外部機器20がアクセスするか否かを判定する。この判定の結果、アクセスを行わない場合には、アクセスを行うか否かを常時判定する。
ステップS81における判定の結果、アクセスを行う場合には、通信相手を指定する(S83)。ここでは、多数存在する端末機器10や管理機器30のいずれを指定する。
通信相手を指定すると、次に、指定先が管理機器30であるか否かを判定する(S85)。管理機器を第三者に運営してもらうと、二者の契約や訴訟などの場面において、より公正な改竄防止システムにすることが期待できる。ここでは、図9のS71において改竄判定を管理機器30に要求した場合の管理機器30であるか否かを判定する。
ステップS85における判定の結果、管理機器の場合には、ファイルを受信し、再生する(S87)。ここでは、管理機器30から改竄防止の判定結果に基づくファイルを受信し、再生する。このような仕組みで改竄されたものは、そもそも再生できなくするようにしても良い。ステップS87における処理を行うと、ステップS81に戻る。なお、管理機器で生成を行うようにしても良い。
一方、ステップS85における判定の結果、管理機器でない場合には、改竄判定か否かを判定する(S91)。改竄判定は、管理機器に依頼する以外にも、判定のための復号化手続に関する情報があれば、外部機器20内においても実行することができる。
ステップS91における判定の結果、改竄判定の場合には、次に、復号化手続を受信し、ハッシュ値を復号化し比較する(S93)。ここでは、比較結果に基づいて改竄の有無を判定する。
ステップS93において改竄の有無を判定すると、判定結果を表示し、またはファイルを再生する(S95)。ここでは、ステップS93における判定の結果に従って、「改竄なし」「改竄あり」等の表示を行う。ここでの処理を行うとステップS81に戻る。
ステップS91における判定の結果、改竄判定でない場合には、上述の登録手続を行う。つまり、この登録手続は、公的機関や第三者機関等に、対象となる録音機器、録画機器やユーザを登録してもらい、その機器やユーザに応じた暗号化や電子署名における秘密鍵の交付など様々なサービスを受けられ、対価を支払うような契約を行うものである。もちろん、対象となる音声や動画などのコンテンツデータを厳重に関してもらうようなサービスもあり得るし、保管や保証などを行うようにしても良い。
このように、外部機器20においては、端末機器10において記録された音声データや画像データが、改竄されているか否かを確認することができる。
以上説明したように、本発明の一実施形態においては、音声データや画像データを取得するための情報入力部2と、音声データおよび/または画像データに対して改竄防止処理を施す改竄防止部5と、予め決められた条件に合致すると、改竄防止部による改竄防止処理を施した音声データおよび/または画像データと、改竄防止処理を施さない音声データおよび/または画像データの両方を記録部に記録させる制御部1を備えている。このため、音声データや画像データ等の情報を記録するにあたって、改竄防止機能の使い勝手がいい。すなわち、長時間に亘って、動画や録音を行う場合、必要な期間、音声データや画像データに改竄防止処理を施し、またその期間、改竄防止処理を施さない音声データや画像データを記録している。このため、改竄防止処理を施したデータを証拠として使用することができ、また改竄防止処理を施さないデータに対して編集処理を行うことができる。
また、本発明の一実施形態においては、音声データおよび/または画像データを記録中であるか否かについて第1の判定を行い(例えば、図4AのS1)、第1の判定の結果、記録中の場合には、予め決められた改竄防止時の条件に合致したか否かについて第2の判定を行い(例えば、図4AのS3)、第2の判定の結果、条件に合致した場合には、音声データおよび/または上記画像データに対して、改竄防止処理を施した音声データおよび/または画像データと(例えば、図4AのS7)、改竄防止処理を施さない音声データおよび/または画像データ(例えば、図4AのS5)の両方を記録部に記録させている。このため、音声データや画像データ等の情報を記録するにあたって、改竄防止機能の使い勝手がいい。すなわち、改竄防止処理を施したデータを証拠として使用することができ、また改竄防止処理を施さないデータに対して編集処理を行うことができる。
なお、本発明の一実施形態においては、改竄防止処理を施すにあたって、毎回、管理機器30に登録手続を行っていたが、管理機器30との契約等によって、毎回でなくてもよい。また、改竄防止処理の信頼性を高めるために、暗号化処理を施していたが、省略しても勿論かまわない。
また、本発明の一実施形態においては、改竄防止部5、トリガ部6等を、制御部1とはとは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、制御部1内のCPUによって実行するようにしても勿論かまわない。
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末(PDA:Personal Digital Assist)、パーソナルコンピュータ(PC)、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、改竄防止機能を有する情報記録用の機器やシステムであれば、民生用、産業用、医療用の分野に限らず、本発明を適用することができる。監視カメラや検査カメラのように、経過をだらだらと記録しておきながら、必要な状況を判断して、改竄防止ファイルを作るようにしてもよい。
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。