JP4498972B2 - カメラ機能付携帯端末 - Google Patents

Description

本発明は、カメラ機能を有する携帯端末に関するものであり、特に撮影を報知する報知音を制御する技術に関するものである。

現在、デジタルカメラ等の撮影機を内蔵した携帯電話機が普及しているが、この種の機器は撮影の利便性が優れている反面、被写体の肖像権を保護する措置をとるべき要請がある。その為、撮影行為を周囲、特に被写体本人に報知する目的で、マナーモード（無音モード）等の設定に関わらずシャッタ音を模擬した報知音を撮影時に十分な音量で鳴らすことが一般的となっており、カメラ内蔵型の携帯電話機のキャリア仕様にもなっている。このことは国際的な傾向にもなっており、法律で報知音の発生が義務付けられている国もある。

また、上記のシャッタ音を模擬した報知音に用いられるサウンドデータは事前の設定により選択可能であるが、現状では選択肢が固定されており、ユーザは予め用意された選択肢からしか設定できない仕様となっている。従って、ユーザがどのサウンドデータを設定していても撮影時には十分な音量のシャッタ音を必ず鳴らして、周囲に撮影行為を報知する事ができる。

一方、各種アプリケーションプログラムを組み込んで実行できる基本ソフトであるプラットホームを搭載する携帯端末も普及しており、ユーザの好みに応じて様々なアプリケーションプログラムを追加可能となっている。これにより、カメラ機能を制御可能なアプリケーションプログラムをユーザの判断で追加して使用可能となってきている。

従来技術として特許文献１〜３等に記載されるものがある。これは、静止画撮影に連動してシャッタ相当音を鳴らす技術である。また、特許文献４に記載される従来技術もある。これは、複数のシャッタ音を選択的に使用可能とする技術である。
特開平７−１７７４０４号公報 特開平１１−１６８６４６号公報 特開２０００−３０７９０２号公報 特開２００１−６９３８９号公報

上記の従来技術では、周囲の雑音の比較的穏やかな場所で撮影を行えばシャッタ音が鳴って被写体本人に撮影が行われたことを報知することができるが、たとえば電車内等、周囲の雑音が大きい場所で撮影を行うと、周囲の雑音に邪魔されてシャッタ音が被写体に聞こえない可能性がある。また、十分大きなシャッタ音を出したとしても逆位相の音波があった場合、シャッタ音がかき消される可能性がある。

また、インターネットや外部装置を介してシャッタ音用のサウンドデータをユーザが自由に入手して選択肢に追加する使用形態も将来想定し得る。この場合、撮影の報知音としての識別性に難点のあるサウンドデータを追加して設定してしまい、結果として撮影の報知機能が阻害されてしまうおそれがある。また、上述したプラットホームを搭載した携帯端末の普及を考慮すると、カメラ機能付き携帯端末のシャッタ音の音量を調節するアプリケーションプログラムを組み込んで音量を小さくあるいは無音にする使用形態がとられる可能性もあり、この場合も撮影の報知機能が阻害されてしまうおそれがある。

本発明は、このような事情に鑑み、カメラ付き携帯端末における撮影の報知機能を向上した技術を提供することを課題とする。

上記の課題を解決するために、本発明は、カメラと、該カメラによる撮影を報知するスピーカーと、該報知した音を収集可能なマイクロフォンと、を備える携帯端末において、前記スピーカー及び前記マイクロフォンの少なくともいずれ一方が遮蔽されているかどうかを検出するセンサと、前記センサにより、前記スピーカー及び前記マイクロフォンの少なくともいずれか一方が遮蔽されていることが検出されると、カメラ機能を制限する手段と、を備えたことを特徴とする。

本発明によれば、報知音や収集された外部の音声を用いて、被写体に到達する報知音の可聴性を示す指標を取得し、この指標に基づいて前記可聴性を高めるように報知音を制御するので、被写体に報知音が到達する確度を向上することができ、肖像権の侵害に対する抑止効果が向上する利点がある。

また被写体の位置における報知音の音量を算出して上記の指標（第１の指標）とし、この第１の指標に基づいて報知音の送出音量を制御する形態をとれば、被写体に到達する報知音が可聴な音量となるように制御することができる利点がある。

さらに報知音の送出音量を第１の指標に基づいて制御する一方、被写体までの距離が所定の閾値（第１の閾値）より大きければ、報知制御不要として当初の音量設定をもって報知音の送出を行う形態をとることにより、風景等を撮影する際に無意味に大音量の報知音を送出することを回避できる利点がある。

さらに報知音の顕著な周波数成分および該周波数成分近傍における外部の音声の顕著な周波数成分の周波数差を算出して上記の指標（第２の指標）とし、この第２の指標に基づいて報知音の周波数を変更する形態をとれば、近しい周波数成分の外部の音声によって報知音が埋もれて被写体における報知音の可聴性を阻害することを回避できる利点がある。

さらに第２の指標（周波数差）が第２の閾値を下回るときに、報知音の送出タイミングを制御することによって、外部の音声の顕著な周波数成分の位相との位相差を小さくする形態をとれば、外部の音声により報知音が打ち消されずに逆に重畳して報知音の強度を高めることができる利点がある。

また音声出力手段や音声収集手段について遮蔽物を検出し、遮蔽物が検出されるとカメラ機能を制限する形態をとれば、遮蔽物による報知音の送出機能や外部の音声の収集機能が邪魔されて上述の各種の報知音の制御機能が適切に発揮されずに報知機能が阻害されることを回避できる利点がある。

以下、図面を用いてこの発明の実施形態を説明する。
図１は本発明の一実施形態である電子カメラ内蔵型の携帯電話機（カメラ機能付携帯端末）の回路構成を示すブロック図である。この携帯電話機は、装置全体の制御を司るＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１に内部バス２０１を介して各機能ブロックが接続された構成を有する。メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）からなり、ＣＰＵ１０１のメインメモリを構成するものである。タイマ１０３はＣＰＵ１０１の指示に基づいてタイマ割込等の処理を行うものである。

アンテナ３０１は、通信に使用する電波の送受信を行うものである。無線部３０２は、アンテナ３０１を用いて通信を行うものである。ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）３０３は、送受信信号の変復調処理その他の処理を行うものである。Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）コンバータ３０４は、ＤＳＰ３０３の出力するデジタル音声信号や着信音等をアナログ音声信号に変換して、スピーカ３０５に供給するものである。Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）コンバータ３０６はマイクロホン３０７から入力されるアナログ音声信号をデジタル音声信号に変換してＤＳＰ３０３に供給するものである。マイクロホン３０７は、通話音声等を入力するものである。

キー操作部４０１は、例えばテンキーやオンフックキー、オフフックキー、電源ボタン、シャッタボタン、機能選択キー（ファンクションキー）等を有し、ダイアル入力の他、各種のキー入力の取込処理を行うものである。画面表示部４０２は、たとえば液晶ディスプレイや液晶タッチパネルなどからなり、通信に関する各種表示の他、カメラモード時に撮影画像を表示するなど各種画像やメッセージ等の表示やメニュー画面などの表示を行うものである。

スピーカ（音声出力手段）５０１は、着信音やシャッタ音等を発生することにより各種の報知を行うものであり、カメラ部６０１の光学系と同軸上に指向性を有する型のものを採用すると、被写体へのシャッタ音の到達距離が延びる点で有利である。ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）５０２は、着信時等に点灯あるいは点滅するなどして各種の報知を行うものである。マイクロホン（音声収集手段）５０３は、外部の音声（外部雑音）を収集するものである。Ｉ／Ｏ（入出力）インタフェース５０４は、スピーカ５０１やＬＥＤ５０２、マイクロホン５０３と内部バス２０１との間の入出力制御を行うものである。

カメラ部６０１は、たとえばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子とレンズ等の光学系とを有し、電子カメラ機能の主要部を構成するものである。ドライバ６０２は、ＣＰＵ１０１の指示に基づいてカメラ部６０２を駆動するものである。画像処理プロセッサ６０３は、画像データの加工や圧縮、伸長などの処理を行うものである。バッファメモリ６０４はＣＣＤの出力に基づく画像データ等を一時的に格納するメモリである。カメラ部６０１は、キー操作部４０１や画面表示部４０２の設置面と反対の面に設置されるのが通常である。またスピーカ５０１やＬＥＤ５０２、マイクロホン５０３は、カメラ部６０１と同じ面に設置される形態が望ましい。マイクロホン５０３は、通話音声入力用のマイクロホン３０７をもって代用する形態も可能であるが、カメラ部６０１と同じ面に設置されるのが望ましいことから、この実施形態ではマイクロホン３０７とは別に設置する例を示す。

以上の構成においてこの携帯電話機は、通常の音声通話モードの他にカメラモードをとって動作することが可能となっている。カメラモードでは、カメラアプリケーションプログラムを立ち上げて実行する。図２は、カメラアプリケーションプログラムにおける主手順を示すフローチャートである。図１，２を用いて説明すると、ＣＰＵ１０１はまず、所定の初期設定（Ｓ１０１）を行った後、キー入力やタイマなどによる割込処理（Ｓ１０２）を行ってカメラ画像表示処理（Ｓ１０３）その他、所定の処理を選択実行する。

この概略を説明するとＣＰＵ１０１は、カメラ部６０１からの結像を取り込み、画像処理プロセッサ６０３で処理したうえでカメラ画像として画面表示部４０２に常時表示する（Ｓ１０３）。また常時、撮影時に必要となる測定データや設定データの取得更新を行う（Ｓ１０４〜Ｓ１０８）。キー操作部４０１によりシャッタボタンの押下が検出されると撮影処理（Ｓ１０７）が立ち上がって上記の画像を撮影画像として登録する。なお、このカメラモードでは、メモリ１０２に格納されたカメラアプリケーションプログラムに従ってＣＰＵ１０１が各部を制御し、全体の協調動作によって本発明の構成要件に相当する各機能を実現するものであり、カメラアプリケーションプログラムにおいてＣＰＵ１０１が実行すべき処理は、ＤＳＰ３０３に適宜分担処理させることにより処理負荷を分散して全体の処理効率を向上させる形態をとることもできる。

次に各処理について説明する。
カメラ画像表示処理（Ｓ１０３）は、上述したようにカメラ部６０１から取り込んだ画像を継続して画面表示部４０２に表示させる処理である。この処理においてＣＰＵ１０１は、カメラ部６０１を駆動することによりＣＣＤが出力するデジタルの画像データを取得してバッファメモリ６０４に格納する。さらに画面表示部４０２のディスプレイ（図示せず）によりこの画像データを表示する。このカメラ画像表示処理は常時継続して実行され、この結果、取り込んだ最新の画像が常時表示される。また後述するマスクチェックの結果、撮影が不許可である旨を示すフラグがセットされると、撮影が不許可である旨のメッセージあるいは絵記号等が画像データに重ねて表示される。

サウンダマスクチェック処理（Ｓ１０４）は、スピーカ５０１やマイクロホン５０３の動作が正常であるかどうかを判定する処理であり、タイマ割込により定期的に選択される。図３は、サウンダマスクチェック処理の手順を示すフローチャートである。図１，３を用いて説明するとＣＰＵ１０１はまず、サウンダの検査項目として定められている所定のデータを取得し（Ｓ２０１）、取得したデータを用いて適正か否かの判定を行う（Ｓ２０２）。判定結果が「不適」である場合は（Ｓ２０２：不適）、撮影が不許可である旨を示すフラグをセットし（Ｓ２０３）、判定結果が「適正」である場合は（Ｓ２０２：適正）、上記のフラグをリセットする（Ｓ２０４）。

たとえばスピーカ５０１が手やその他の物体で遮蔽された場合、適正なシャッタ音を送出できない可能性がある。またマイクロホン５０３が同様に遮蔽された場合、シャッタ音の音量等を適正に調節できない可能性がある。このため、ＣＰＵ１０１は、定期的にサウンダマスクチェック処理を立ち上げて監視を行う。

判定の具体的な手法としては、たとえば圧力センサや光センサ（図示せず）をスピーカ５０１やマイクロホン５０３の設置位置に取り付けておき、圧力センサを用いて閾値以上の圧力を感知した場合あるいは光センサを用いて閾値以上光があたっていなかった場合に、マスクされたと判断する手法をとることができる。また、温度センサや湿度センサ（図示せず）を用いて閾値以上の温度または湿度を感知した場合、手などでマスクされたと判断する手法をとることもできる。またスピーカ５０１から検査用の微少な検査用の音波を出力すると共に、この音波をマイクロホン５０３でピックアップし、ピックアップした音量を閾値と突き合わせてマスクされているかどうかを判定する手法をとることもできる。

図１，２に戻って説明を続けると、距離測定処理（Ｓ１０５）は、被写体までの距離を測定する処理であり、タイマ割込により定期的に選択される。被写体との距離を測定する手法としては、たとえば音波や赤外線を発生する手段と、その反射波を受信する手段とを設けておき、音波等を被写体に向けて射出し、その反射波を用いて被写体までの距離を測定する手法をとることができる。またカメラ部６０１がオートフォーカス機能を有している場合、オートフォーカス機能により測定された焦点距離を利用する手法をとることもできる。オートフォーカス機能は、赤外線等を用いるアクティブ方式や、ＣＣＤによる結像を用いたコントラスト検出方式その他のパッシブ方式など、既存の方式を採用すれば良い。

雑音測定処理（Ｓ１０６）は、マイクロホン５０３を用いて周囲の雑音を収集し、音量や周波数特性など所定の解析処理を実行するものであり、タイマ割込により定期的に選択される。この雑音の収集は、被写体における雑音雰囲気を推定するためのモニタリングであり、マイクロホン５０３がカメラ部６０１と反対の面に配置されていると、雑音がユーザの体に吸収されて被写体側の音量より小さくなってしまう可能性があるため、カメラ部６０１と同じ面にマイクロホン５０３を配置する形態が望ましい。

撮影処理（Ｓ１０７）は、キー操作部４０１によりシャッタボタンの押下が検出されると選択される処理であり、シャッタ音の送出等、所定の報知処理を行うと共に、カメラ画像を撮影画像として登録するものである。本実施形態では、撮影の不許可を示すフラグがセットされている場合は、シャッタボタンの押下があっても上記の撮影画像としての登録などの処理に進まずに所定のメッセージ出力処理に進む点を特徴とする。またシャッタ音を出力するにあたって、シャッタ音の適正判定の結果に基づいてシャッタ音を選択する点を特徴とする。詳しくは後述する。

終了処理（Ｓ１０８）は、キー操作部４０１によりカメラモードの終了を指示する入力や電源切断を指示する入力などがあった場合に選択される処理であり、モード終了あるいは電源切断などに伴う所定の処理を実行するものである。

図４は、撮影処理の一具体例を示すフローチャートである。図１，４を用いて説明をすると、撮影処理においてＣＰＵ１０１はまず、前述の撮影が不許可である旨を示すフラグがセットされているかどうかを確認し（Ｓ３０１）、もしフラグがセットされていれば（Ｓ３０１：Ｙｅｓ）、たとえばブザー音を送出する等、撮影が不許可である旨のメッセージを出力する（Ｓ３０２）。そしてカメラ画像を撮影画像として登録することなく終了する。あるいは撮影画像として登録はするが、メモリカード等の不揮発性メモリ（図示せず）に当該撮影画像を保存することを許容しない等、撮影画像の取り扱いについて制限を付ける形態をとることもできる。

またステップＳ３０１において不許可を示すフラグがセットされていない場合（Ｓ３０１：Ｎｏ）、バッファメモリ６０４に格納されている現在のカメラ画像を撮影画像として登録し（Ｓ３０３）、シャッタ音チェック処理（Ｓ３０４）に進む。ここでメモリ１０２は、シャッタ音（正確にはシャッタ音を模擬した音データ）の基本データを複数所定の領域に記憶しており、かかる基本データの中の１つがデフォルト指定あるいはユーザの選択指定により選択されているものとする。

シャッタ音チェック処理においてＣＰＵ１０１は、選択されているシャッタ音を対象とし、被写体までの距離、周囲の雑音の大きさ等を用いて所定のアルゴリズムにより被写体に聞こえる適切な音量や周波数であるかを判断し、不適であれば音量や周波数を適宜変更する。この後、Ｉ／Ｏインタフェース５０４を介してスピーカ５０１を駆動し、シャッタ音の音データをメモリ１０２から読み出してスピーカ５０１に発音形成させ、撮影が行われた旨を被写体本人を含む周囲に対し報知する（Ｓ３０５）。

シャッタ音チェック処理におけるアルゴリズムの詳細を説明する前にまず、送出するシャッタ音の被写体本人への到達の様子を説明する。図５は、電車内における撮影の様子を示す説明図である。同図に示すように、周囲の雑音が顕著な電車内１において、ユーザ２が被写体３を携帯電話機４で撮影する場合を考える。ここでＤは携帯電話機４から被写体３までの距離（ｍ）、Ｐｎは周囲の雑音（外部雑音）の強度（ｄＢｍ）、Ｐはシャッタ音（被写体３に到達する音）の強度（ｄＢｍ）、Ｐ０はシャッタ音（送出音）の強度（ｄＢｍ）、Ｐｄはデフォルトの設定によるシャッタ音の強度（ｄＢｍ）、Ｐｍｉｎは人間の一般的な最小可聴音圧に相当する最小音量設定値（ｄＢｍ）、Ｐｍａｘはシャッタ音の最大音量設定値（ｄＢｍ）である。同図に示すような限られた空間の場合、ユーザ２と被写体３の位置における雑音の大きさおよび周波数成分はほぼ等しいと考えられる。

このとき被写体３に到達するシャッタ音の強度が（１）式を満足すれば、被写体３はシャッタ音を可聴であるとする。図６は、この可聴条件を示すグラフであり、縦軸は音圧の強度、横軸は時間を示す。実線で描いた波形はシャッタ音（被写体３に到達する音）、破線で描いた波形は外部雑音を示す。

一般に音圧は距離Ｄの２乗に反比例して減衰していき、減衰の度合いは周波数ｆによって異なる。

以上を踏まえて、シャッタ音チェック処理で用いられるアルゴリズムの一例を説明する。図７は、同処理で用いられるアルゴリズムの一例を示すフローチャートである。同図に示すように、ＣＰＵはまずステップＳ１０４，Ｓ１０５（図２参照）で測定した距離Ｄや一定時間の外部の雑音の強度Ｐｎなどの測定データをメモリから読み出す（Ｓ４０１）。次にデフォルトのシャッタ音の強度Ｐｄを送出音の強度に設定し（Ｓ４０２）、予め設定された関係式Ｐ（Ｄ，Ｐｄ）を用いて被写体におけるシャッタ音の強度Ｐを算出する（Ｓ４０３）。この後、最小音量設定値Ｐｍｉｎと被写体における有効音量強度Ｐ−Ｐｎとを比較する（Ｓ４０４）。

この比較結果が「＜」、すなわち（１）式を満足していれば（Ｓ４０４：＜）現在のシャッタ音の設定が適正であるとして終了する。また比較結果が「≧」、すなわち（１）式を満たしていないならば（Ｓ４０４：≧）、送出音の強度Ｐ０が最大音量設定値Ｐｍａｘに達していないことを確認したうえで（Ｓ４０５：＜）、設定増大幅ΔＰだけ送出音の強度Ｐ０を上げ（Ｓ４０６）、ステップＳ４０３に戻る。この手順により（１）式を満足するか（Ｓ４０４：＜）あるいは送出音の強度Ｐ０が最大音量に達する（Ｓ４０５：≧）値に送出音の強度Ｐ０を設定する。

また風景写真などを撮影する場合等、あまり大きな音量のシャッタ音は必要ないときがある。また、ある一定以上離れた距離にある被写体にはどんなに大きな音を出しても雑音として御認識してしまい、効果が発揮できないことがある。このことを踏まえて本発明では、図８に示すアルゴリズムを用いてシャッタ音チェック処理を行う形態をとることもできる。

図８は、図７のアルゴリズムの変形例を示すフローチャートである。同図に示すようにＣＰＵは距離Ｄや外部雑音の強度Ｐｎなどの測定データをメモリから読み出す（Ｓ５０１）。次に距離Ｄを閾値Ｄ１と比較する（Ｓ５０２）。閾値Ｄ１は、送出音を最大音量にすべきと想定される距離に相当する閾値である。ステップＳ５０２の比較結果がＤ＜Ｄ１ならば（Ｓ５０２：＜）、図７のステップ４０３に進み、上記と同様の処理を行って（１）式を満足するような送出音の強度Ｐ０を設定する。

ステップＳ５０２において距離Ｄが閾値Ｄ１より大きければ（Ｓ５０２：≧）、ＣＰＵはさらに距離Ｄを閾値Ｄ２（請求項３の第１の閾値）と比較する（Ｓ５０３）。閾値Ｄ２は、風景撮影であると判断すべき距離（あるいは最大音量の送出音でも到達が困難な距離）に相当する閾値である。ステップＳ５０３において距離Ｄが閾値Ｄ２を下回っている場合（Ｓ５０３：＜）、送出音の強度Ｐ０を最大音量Ｐｍａｘに設定して終了する（Ｓ５０４）。また距離Ｄが閾値Ｄ２を越えている場合（Ｓ５０５：≧）、送出音を大きくしても無意味であるとして送出音の強度Ｐ０をデフォルトの強度Ｐｄに設定して終了する。

図９は、図８のアルゴリズムを用いた場合の送出音の強度Ｐ０と距離Ｄの関係を示すグラフであり、縦軸は音圧音の強度、横軸は距離を示す。同図に示すように、送出音を最大音量にすべきと想定される距離Ｄ１より距離Ｄが小さければ図７と同様の手法により送出音の強度Ｐ０を設定する。一方、距離Ｄ１より距離Ｄが大きい場合、ある一定距離の範囲内（Ｄ１＜Ｄ＜Ｄ２）にある場合、図７の手順には進まずに送出音の強度Ｐ０を最大音量Ｐｍａｘに設定し、遠距離の被写体でもシャッタ音が到達するような音量でシャッタ音の送出を行う。また、距離ＤがＤ２より大きい場合、風景撮影をしていると判断し、デフォルトの音量Ｐｄによりシャッタ音を送出する。

またシャッタ音の可聴条件は、音量だけでなく周波数特性にも依存する。このことを踏まえて本発明は、シャッタ音と外部雑音との周波数特性もチェック対象としてシャッタ音チェック処理を行う形態をとることもできる。この形態では、前述したシャッタ音の各基本データに予め測定したピーク周波数を付加したうえで、ＣＰＵのメインメモリに格納しておく。また外部雑音の測定処理（図２のステップＳ１０６）において、測定した外部雑音の周波数特性を演算しておくこととする。このうえで、シャッタ音チェック処理では、図１０に示すアルゴリズムを用いる。

図１０は、シャッタ音チェック処理におけるアルゴリズムの他の例を示すフローチャートである。同図に示すようにＣＰＵは、ステップＳ１０５，Ｓ１０６（図２参照）における測定データをメモリから読み出す（Ｓ６０１）。さらにメモリからデフォルトのシャッタ音のピーク周波数Ｆ０ｍａｘを算出し、この値を送出音のピーク周波数Ｆｍａｘに代入する（Ｓ６０２）。

次にＣＰＵは、取得した外部雑音の周波数特性からピーク周波数Ｆｎｍａｘを求める。このとき外部雑音の周波数特性が広範囲にわたる場合、デフォルトのシャッタ音のピーク周波数近傍において顕著なピークを選んでピーク周波数Ｆｎｍａｘとすれば良い。求めた外部雑音のピーク周波数Ｆｎｍａｘと送出音のピーク周波数Ｆｍａｘとの周波数差を算出し、この周波数差を閾値Δｆ（請求項５の第２の閾値）と比較する（Ｓ６０３）。閾値Δｆは、シャッタ音と外部雑音の周波数成分が被ることによりシャッタ音がマスクされることを回避するための周波数差を確保するための値である。ステップＳ６０３における比較の結果、周波数差が閾値Δｆを上回っていれば（Ｓ６０３：≦）、デフォルトのシャッタ音を送出音としたまま終了する（Ｓ６０４）。

一方、周波数差が閾値Δｆを下回っていれば（Ｓ６０３：＞）、シャッタ音の基本データの中から別の音データを選択し（Ｓ６０５）、その音データのピーク周波数Ｆｉｍａｘを取得し（Ｓ６０６）、取得した値Ｆｉｍａｘを送出音のピーク周波数Ｆｍａｘに代入し（Ｓ６０７）、ステップＳ６０３に戻って外部雑音のピーク周波数Ｆｎｍａｘとの周波数差を計算する。このような手順により、外部雑音のピーク周波数Ｆｎｍａｘとの周波数差が閾値Δｆより大きいシャッタ音を選び出して送出音に決定する（Ｓ６０４）。仮にピーク周波数Ｆｉｍａｘと外部雑音のピーク周波数Ｆｎｍａｘとの周波数差が閾値Δｆより大きくなる基本データが登録されてない場合（Ｓ６０５：Ｎｏ）、デフォルトのシャッタ音あるいは周波数差が最も大きい基本データを選択して送出音に決定することとなる（Ｓ６０８）。

図１１は、図１０のアルゴリズムによる送出音の決定の様子を示すグラフであり、縦軸は強度、横軸は周波数を示す。図中、ハッチングを付した波形は外部雑音、ハッチングを付していない波形はシャッタ音を示す。同図（ａ）に示すように、デフォルトのシャッタ音のピーク周波数Ｆ０ｍａｘが外部雑音のピーク周波数Ｆｎｍａｘに近い場合、シャッタ音は外部雑音にマスクされて可聴性が悪くなるため、周波数差が閾値Δｆより大きい他のシャッタ音に変更する。このことにより被写体におけるシャッタ音の一定の可聴性を確保できる。

また、外部雑音の周波数分布が広く、登録されたシャッタ音の基本データがすべてマスクされてしまうケースもあり得る。このケースを考慮し、図１２に示すアルゴリズムによりシャッタ音の送出タイミングを規定し、外部雑音により打ち消されないタイミングによるシャッタ音の送出を指示する形態をとることもできる。

図１２は、図１０に示すアルゴリズムの変形を示すフローチャートである。図１２に示す各ステップのうち、図１０と同じものには同一の符号を付している。図１０のアルゴリズムでは、上述のように、ピーク周波数Ｆｉｍａｘと外部雑音のピーク周波数Ｆｎｍａｘとの周波数差が閾値Δｆより大きくなる基本データが登録されてない場合（Ｓ６０５：Ｎｏ）、デフォルトのシャッタ音あるいは周波数差が最も大きい基本データを選択して送出音に決定することとなるが（Ｓ６０８）、図１２に示すアルゴリズムではこの場合において、さらにシャッタ音を送出すべきタイミングを演算し（Ｓ６０９）、このタイミングを後段のシャッタ音送出処理（図４：Ｓ３０５）に通知することとしている。

図１３は、シャッタ音と外部雑音との干渉の様子を示すグラフであり、図（ａ）は両者が打ち消し合うタイミングを示し、図（ｂ）は両者が重畳するタイミングを示す。また図中、実線はシャッタ音、破線は外部雑音を示す。同図（ａ）に示すように、シャッタ音と外部雑音が逆位相になると打ち消し合ってしまい、被写体に到達するシャッタ音は微少なものとなってしまうケースが考えられる。一方、図（ｂ）に示すように、シャッタ音と外部雑音が同位相になると両者が重畳し、被写体に到達するシャッタ音の強度は損なわれずに済む。この実施の形態では、上記のステップＳ６０９において、外部雑音と同位相となる送出のタイミングを求め、かかるタイミングによりシャッタ音の送出を実行することにより、図１３（ｂ）に示す状態を現出させてシャッタ音が被写体に到達する確度を高めるようにする。

次に図１，２，４，５を用いて本発明の実施の形態による携帯電話機の動作を説明する。ユーザは、メモリ１０２に格納されたシャッタ音の基本データの中から任意のものを選択して事前に登録しておく。撮影時ユーザはまずカメラモードを選択する。このモード選択を受けてＣＰＵ１０１は、カメラアプリケーションプログラムを立ち上げてカメラモードに移行する。このカメラモードでＣＰＵ１０１は、カメラ部６０１により取得したカメラ画像を画面表示部４０２に常時表示する（Ｓ１０３）と共に、スピーカ５０１やマイクロホン５０３がマスクされずに正常な状態であるかを確認する（Ｓ１０４）。さらにカメラ部６０１の自動焦点合わせ機能等を利用するなどして被写体との距離を測定する（Ｓ１０５）と共に、マイクロホン５０３により外部雑音をピックアップして外部雑音の強度Ｐｎや周波数成分等を連続的に計測する（Ｓ１０６）。

この状態でユーザは上記のカメラ画像を視認しながら、撮影に割り当てられたキーを任意のタイミングで押下する。この操作を受けてＣＰＵ１０１は撮影処理（Ｓ１０７）を起動する。この処理では、サウンダのマスク状態により撮影不許可となっている場合はカメラ画像を撮影画像として登録することなく所定の不許可処理を行う。したがって後述するシャッタ音チェック処理の正確性を確保できる利点がある。

一方、撮影不許可でない場合は、カメラ画像を撮影画像として登録（Ｓ３０３）すると共に、シャッタ音チェック処理（Ｓ３０４）を行う。この処理でＣＰＵ１０１は、被写体までの距離や外部雑音等に基づいて被写体に聞こえる適切な音量や周波数のシャッタ音に適宜設定変更したうえでシャッタ音を送出する（Ｓ３０５）。このことによって音量が不足したり外部雑音の周波数と被ったりして被写体がシャッタ音を認識できないといった事態を極力回避することが可能となる。またスピーカ５０１としてカメラ部６０１の光学系と同軸上に指向性を有するものを採用すれば、シャッタ音の到達距離が延びると共に被写体がシャッタ音がした方向を特定しやすくなる点で有利である。

以上、本発明の実施の形態を詳述してきたが、具体的な構成は本実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。たとえば発光部を撮影時シャッタボタン押下後、一定時間被写体に向けて発光することにより被写体に撮影されていることを気付かせる方法もある。また、発光部に指向性を持った発光手段を用いてもよい。発光部はＬＥＤ等の発光手段を用いる。また上述の実施の形態では電子カメラ内蔵型の携帯電話機を例示して説明したが、本発明はこの形態に限定されるものではなく、たとえばカメラ機能付ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）やデジタルカメラ等、カメラ機能を有した携帯端末一般に用いることができる。

また、たとえばカメラモードでＣＰＵ１０１（図１参照）がカメラアプリケーションプログラムを実行するにあたって、必要な処理をＣＰＵのみではなくＤＳＰ３０３（図１参照）その他のサブＣＰＵに適宜分散して実行することは設計上任意に選択し得る事項である。また上記のプログラムは、コンピュータ読み取り可能な記録媒体に記録されて頒布されることができ、機能の一部を実現する形態で頒布されるものであっても良い。たとえばＯＳ（オペレーション・システム）が提供する基本機能を利用したアプリケーションプログラムの形式で頒布されるものであっても良い。さらにコンピュータシステムにすでに記録されている既存システムのプログラムとの組み合わせで所定の機能を実現できるもの、いわゆる差分プログラムで頒布される形態をとることも可能である。

また上記のコンピュータ読み取り可能な記録媒体には、可搬型の磁気ディスクや光磁気ディスク等の記憶媒体等以外にも、ハードディスク等の記憶装置その他不揮発性の記憶装置を含む。さらにインターネットその他のネットワーク等、任意の伝送媒体を介して他のコンピュータシステムから提供される形態でも良い。この場合、「コンピュータ読み取り可能な記録媒体」には、ネットワーク上のホストやクライアントとなるコンピュータシステム内部の揮発性メモリのように、伝送媒体において一定時間プログラムを保持しているものも含む。

また上記においてメインのＣＰＵやサブＣＰＵによる分散処理方式により処理部を構築する形態に言及したが、少なくともその一部のプロセッサをＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｌｌｅｙ）等のハードウエア回路により構築する形態も可能である。ＦＰＧＡに組み込む回路プログラム情報の頒布については、上記のプログラムの頒布と同様に各種の形態をとることも可能である。

本発明の一実施形態である電子カメラ内蔵型の携帯電話機の回路構成を示すブロック図である。 カメラアプリケーションプログラムにおける主手順を示すフローチャートである。 サウンダマスクチェック処理の手順を示すフローチャートである。 撮影処理の一具体例を示すフローチャートである。 電車内における撮影の様子を示す説明図である。 シャッタ音の可聴条件を示すグラフである。 シャッタ音チェック処理で用いられるアルゴリズムの一例を示すフローチャートである。 図７のアルゴリズムの変形例を示すフローチャートである。 図８のアルゴリズムを用いた場合の送出音の強度Ｐ０と距離Ｄの関係を示すグラフである。 シャッタ音チェック処理におけるアルゴリズムの他の例を示すフローチャートである。 図１０のアルゴリズムによる送出音の決定の様子を示すグラフである。 図１０に示すアルゴリズムの変形を示すフローチャートである。 シャッタ音と外部雑音との干渉の様子を示すグラフである。

符号の説明

１０１…ＣＰＵ １０２…メモリ １０３…タイマ ２０１…内部バス ３０１…アンテナ ３０２…無線部 ３０３…ＤＳＰ ３０４…Ｄ／Ａコンバータ ３０５…スピーカ ３０６…Ａ／Ｄコンバータ ３０７…マイクロホン ４０１…キー操作部 ４０２…画面表示部 ５０１…スピーカ ５０２…ＬＥＤ ５０３…マイクロホン ６０１…カメラ部 ６０２…ドライバ ６０３…画像処理プロセッサ ６０４…バッファメモリ

Claims (1)

1. カメラと、該カメラによる撮影を報知するスピーカーと、該報知した音を収集可能なマイクロフォンと、を備える携帯端末において、
   前記スピーカー及び前記マイクロフォンの少なくともいずれ一方が遮蔽されているかどうかを検出するセンサと、
   前記センサにより、前記スピーカー及び前記マイクロフォンの少なくともいずれか一方が遮蔽されていることが検出されると、カメラ機能を制限する手段と、
   を備えたことを特徴とする携帯端末。

Images