JP5714452B2 - 情報処理装置、情報処理プログラム、情報処理方法および情報処理システム - Google Patents

Description

この発明は情報処理装置、情報処理プログラム、情報処理方法および情報処理システムに関し、特にたとえば、撮影した画像から花を調べる、情報処理装置、情報処理プログラム、情報処理方法および情報処理システムに関する。

この種の情報処理装置の一例が特許文献１に開示されている。この特許文献１の情報提供装置では、撮影された調査対象の画像から所定の特徴（花あるいは葉の大きさ、色、形状等）を抽出し、現在位置、現在時刻等と、抽出した特徴とに基づいて、調査対象として可能性の高い植物の情報を、植物データベースを検索して表示する。そして、ユーザの選択に応じて、これらの中から、特定の植物に関する詳細な情報を表示する。

この種の情報処理装置の他の例が特許文献２に開示されている。この特許文献２の電子図鑑は、カメラによって撮影された花の画像から特徴抽出部によって抽出された花の特徴量を用いてデータベースの検索を行い候補となる植物を選択する。選択された候補の数が予め決められた閾値以下であるか否かをコントローラで判断する。コントローラは選択された候補の数が予め決められた閾値以下でない場合、葉の撮影を行うように表示装置に表示させる。そして、撮影された葉の特徴量を用いてデータベースの検索を行い候補と絞り込む。
特開２００３−２８８３６３［G06F 17/30］ 特開２００８−１５２７１３［G06T 1/00, G06F 17/30］

しかし、特許文献１および特許文献２は、いずれもデータベースに登録されたすべての情報（データ）から、候補となる植物を選択するため、処理負荷が大きくなってしまう。このため、時間も浪費してしまう。

また、結果として表示される情報が通常の表示であり、興趣性が低い。

それゆえに、この発明の主たる目的は、新規な、情報処理装置、情報処理プログラム、情報処理方法および情報処理システムを提供することである。

また、この発明の他の目的は、検索結果の情報として立体視画像を含む興趣性の高い情報を提示することができる、情報処理装置、情報処理プログラム、情報処理方法および情報処理システムを提供することである。

また、この発明のさらに他の目的は、処理負荷を出来る限り低減することができる、情報処理装置、情報処理プログラム、情報処理方法および情報処理システムを提供することである。

第１の発明は、表示部と、複数の撮像部と、表示制御部と、指標画像表示部と、指標画像選択部、第１低減部と、判定部と、第２低減部と、算出部と、候補提示部と、情報提示部とを備える、情報処理装置である。表示部は、立体視表示が可能である。複数の撮像部は、同一平面内に設けられる。したがって、複数の撮像部は、同時に同じ撮像対象を撮影する。表示制御部は、表示部に複数の撮像部によって撮像されるスルー画像を表示する。ただし、複数の撮像部のうちのいずれか１つの撮像部によって撮像されるスルー画像を表示してもよい。指標画像表示部は、スルー画像に重畳させて、撮影の指標となる所定の指標画像を表示する。指標画像選択部は、撮像対象の構成の第１特徴に応じた所定の指標画像を選択させる。第１低減部は、複数の撮像部によって撮影処理が実行されたとき、指標画像選択部によって選択された所定の指標画像に対応する撮像対象の構成の第１特徴に基づいて、予め収録された複数の検索対象の数を低減する。判定部は、複数の撮像部によって撮影された撮影画像に基づいて、撮像対象の大きさを判定する。第２低減部は、撮影画像から判定した撮像対象の形状の第２特徴に基づいて、第１低減部によって低減された複数の検索対象の数をさらに低減する。算出部は、撮像対象の大きさと撮影画像の特徴とに基づいて、撮像対象と第２低減部によって低減された検索対象との類似度を算出する。候補提示部は、算出部によって算出された類似度の高い検索対象を候補として提示する。

第１の発明によれば、撮像対象の形状の特徴に基づいて、検索対象の数を低減するので、類似度の算出処理の負担を軽減することができ、時間の浪費を防止することができる。

第２の発明は、第１の発明に従属し、情報処理装置は、条件選択部と、削除部とをさらに備える。条件選択部は、撮像対象についての所定の条件を選択させる。削除部は、条件選択部によって選択された所定の条件に該当しない検索対象を候補から削除する。候補提示は、削除部によって削除されていない候補の検索対象を提示する。

第２の発明によれば、所定の条件に該当しない検索対象の候補を削除するので、或る程度絞り込まれた候補から１の検索対象を選択するので、所望の検索対象を比較的容易に選択することができる。

第３の発明は、第１または第２の発明に従属し、撮影画像の特徴は、色情報である。

第３の発明によれば、撮像対象の色に基づいて候補の検索対象を提示することができる。

第４の発明は、第１ないし第３の発明のいずれかに従属し、撮影画像の特徴は、対象物の形状に関する情報である。

第４の発明によれば、撮像対象の形状に基づいて候補の検索対象を提示することができる。

第５の発明は、第１ないし第４の発明に従属し、判定部は、２つの撮像部の視差を検出し、この視差に相当する距離と、当該２つの撮像部の設定距離とから撮像対象との距離を算出する距離算出部、および距離算出部によって算出された撮像対象との距離と、撮像部の画角とから、撮像対象の大きさを算出する大きさ算出部を含む。

第５の発明によれば、２つの撮像部の視差およびそれらの設定距離に基づいて撮像対象との距離を算出し、さらに、算出した距離に基づいて大きさを算出するので、簡単に撮像対象の大きさを算出することができる。

第６の発明は、第１ないし第５の発明のいずれかに従属し、情報処理装置は、類似度情報部をさらに備える。類似度上昇部は、撮像対象を見かける度合に応じて類似度を上昇させる。見かける度合は、撮像対象（実施例では、花）を見かける頻度の大小であり、たとえば、一般的に良く知られており、全国的に見ることができる花については、見かける度合は高く設定される。一方、一般的にあまり知られておらず、一部の地域でしか見ることができない花については、見かける度合は低く設定される。ただし、それら以外の花については、見かける度合は中程度に設定される。たとえば、類似度上昇部は、撮像対象を見かける度合が高いとき、つまり見かける（遭遇する）頻度が高いとき、類似度を上昇させる。

第６の発明によれば、撮像対象をよく見かける場合には、類似度を高くするので、類似度の高い順に撮像対象の候補を提示する場合に、よく見かける撮像対象の候補を上位に提示することができる。

第７の発明は、第１ないし第６の発明のいずれかに従属し、候補提示部によって提示された候補の検索対象のうち選択された検索対象に関する立体視画像を含む情報を、前記表示部を用いて提示する情報提示部をさらに備える。

第７の発明によれば、立体視画像を含む情報を提示するので、興趣性の高い情報を提示することができる。特に、対象を撮像しながら対象の情報を見ることができるので、実際の対象と立体視画像を見比べることができ、検索結果をより楽しむことができる。

第８の発明は、第１ないし第７の発明のいずれかに従属し、表示制御部は、色取得部と色設定部を含む。色取得部は、スルー画像の色を取得する。色設定部は、所定の指標画像の色を前記スルー画像の色と異なるものとする。たとえば、異なる色や異なる明るさで表示する。

第８の発明によれば、スルー画像と所定の指標画像との色を異なるものとするので、撮像対象と指標画像とを容易に判別することができる。したがって、撮影が簡単である。

第９の発明は、第８の発明に従属し、色指定部は、前記所定の指標画像の色を、前記スルー画像の色の補色とする。

第９の発明によれば、所定の指標画像の色をスルー画像の色の補色とするので、撮像対象と指標画像とを容易に判別することができる。

第１０の発明は、第８または第９の発明に従属し、色取得部は、前記所定の指標画像の配置される位置における前記スルー画像の色を取得する。

第１０の発明によれば、スルー画像のうちの所定の指標画像が配置される位置の色を取得し、指標画像をその色とは異なるものとするので、スルー画像と指標画像とを確実に判別することができる。

第１１の発明の発明は、第８ないし第１０の発明のいずれかに従属し、所定の指標画像は、少なくとも撮像対象の大きさを所定の大きさに合わせるための枠状の線画像である。

第１１の発明によれば、撮像対象を所定の大きさに合わせるので、撮影画像から撮像対象の大きさを算出することができる。また、所定の指標画像は、枠状の線画像であるので、スルー画像が見え難いなどの不都合がない。つまり、撮影の邪魔にならない。

第１２の発明は、立体視表示が可能な表示部と、同一平面内に設けられる複数の撮像部とを備える情報処理装置の情報処理プログラムであって、情報処理装置のコンピュータを、表示部に前記複数の撮像部によって撮像されるスルー画像を表示する表示制御部と、スルー画像に重畳させて、撮影の指標となる所定の指標画像を表示する指標画像表示部と、撮像対象の構成の第１特徴に応じた前記所定の指標画像を選択させる指標画像選択部と、複数の撮影部によって撮影処理が実行されたとき、前記指標画像選択部によって選択された所定の指標画像に対応する撮像対象の構成の第１特徴に基づいて、予め収録された複数の検索対象の数を低減する第１低減部と、複数の撮像部によって撮影された撮影画像に基づいて、撮像対象の大きさを判定する判定部と、撮影画像から判定した前記撮像対象の形状の第２特徴に基づいて、前記第１低減部によって低減された複数の検索対象の数をさらに低減する第２低減部と、撮像対象の大きさと前記撮影画像の特徴とに基づいて、前記撮像対象と前記第２低減部によって低減された検索対象との類似度を算出する算出部と、算出部によって算出された類似度の高い検索対象を候補として提示する候補提示部として機能させる、情報処理プログラムである。

第１３の発明は、立体視表示が可能な表示部と、同一平面内に設けられる複数の撮像部とを備える情報処理装置の情報処理方法であって、情報処理装置のコンピュータは、（ａ）表示部に前記複数の撮像部によって撮像されるスルー画像を表示し、（ｂ）前記スルー画像に重畳させて、撮影の指標となる所定の指標画像を表示し、（ｃ）撮像対象の構成の第１特徴に応じた前記所定の指標画像を選択させ、（ｄ）前記複数の撮影部によって撮影処理が実行されたとき、前記ステップ（ｃ）において選択された所定の指標画像に対応する撮像対象の構成の第１特徴に基づいて、予め収録された複数の検索対象の数を低減し、（ｄ）前記複数の撮像部によって撮影された撮影画像に基づいて、撮像対象の大きさを判定し、（ｅ）前記撮影画像から判定した前記撮像対象の形状の第２特徴に基づいて、前記第１低減部によって低減された複数の検索対象の数をさらに低減し、（ｆ）前記撮像対象の大きさと前記撮影画像の特徴とに基づいて、前記撮像対象と前記ステップ（ｅ）によって低減された検索対象との類似度を算出し、そして（ｇ）前記ステップ（ｆ）によって算出された類似度の高い検索対象を候補として提示する、情報処理方法である。

第１４の発明は、立体視表示が可能な表示部と、同一平面内に設けられる複数の撮像部とを備える情報処理システムであって、表示部に前記複数の撮像部によって撮像されるスルー画像を表示する表示制御部と、スルー画像に重畳させて、撮影の指標となる所定の指標画像を表示する指標画像表示部と、撮像対象の構成の第１特徴に応じた前記所定の指標画像を選択させる指標画像選択部と、複数の撮影部によって撮影処理が実行されたとき、前記指標画像選択部によって選択された所定の指標画像に対応する撮像対象の構成の第１特徴に基づいて、予め収録された複数の検索対象の数を低減する第１低減部と、複数の撮像部によって撮影された撮影画像に基づいて、撮像対象の大きさを判定する判定部と、撮影画像から判定した前記撮像対象の形状の第２特徴に基づいて、前記第１低減部によって低減された複数の検索対象の数をさらに低減する第２低減部と、撮像対象の大きさと前記撮影画像の特徴とに基づいて、前記撮像対象と前記第２低減部によって低減された検索対象との類似度を算出する算出部と、算出部によって算出された類似度の高い検索対象を候補として提示する候補提示部を備える、情報処理システムである。

第１２−第１４の発明においても、第１の発明と同様に、類似度の算出処理の負担を軽減することができる。

この発明によれば、撮像対象の形状の特徴に基づいて、収録されている複数の検索対象の数を低減させるので、類似度の算出処理を出来る限り少なくすることができる。つまり、出来る限り処理負荷を低減することができる。また、立体視画像を含む情報を提示するので、興趣性の高い情報を提示することができる。特に、対象を撮像しながら対象の情報を見ることができるので、実際の対象と立体視画像を見比べることができ、検索結果をより楽しむことができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例であるゲーム装置の外観図であり、開状態における正面を示す。 図２はゲーム装置の外観図であり、（Ａ）が閉状態における上面を示し、（Ｂ）が閉状態における左側面を示し、（Ｃ）が閉状態における正面を示し、（Ｄ）が閉状態における右側面を示し、（Ｅ）が閉状態における背面を示し、（Ｆ）が閉状態における下面を示す。 図３は３Ｄ調整スイッチの動作を説明するための図解図である。 図４はゲーム装置の電気的構成の一例を示すブロック図である。 図５は図４の電気的構成の要部（立体ＬＣＤとＳｏＣの一部とで構成される立体ＬＣＤ制御部）を示すブロック図である。 図６は視差バリア方式による３Ｄ／２Ｄ表示の原理を説明するための図解図であり、（Ａ）が視差バリアＯＮ状態（３Ｄ表示）を示し、（Ｂ）が視差バリアＯＦＦ状態（２Ｄ表示）を示す。 図７は図１に示すゲーム装置の下ＬＣＤに表示されるタイトル画面の一例を示す図解図である。 図８は図１に示すゲーム装置の立体ＬＣＤおよび下ＬＣＤに表示される撮影画面の一例を示す図解図である。 図９は図１に示すゲーム装置の立体ＬＣＤおよび下ＬＣＤに表示される撮影画面に表示される指示画像の他の例を示す図解図である。 図１０は図１に示すゲーム装置の立体ＬＣＤおよび下ＬＣＤに表示される撮影画面に表示される指示画像のその他の例を示す図解図である。 図１１は図１に示すゲーム装置の立体ＬＣＤおよび下ＬＣＤに表示される第１条件入力画面の一例を示す図解図である。 図１２は図１に示すゲーム装置の立体ＬＣＤおよび下ＬＣＤに表示される第２条件入力画面の一例を示す図解図である。 図１３は図１に示すゲーム装置の立体ＬＣＤおよび下ＬＣＤに表示される検索結果画面の一例を示す図解図である。 図１４は図１に示すゲーム装置の立体ＬＣＤおよび下ＬＣＤに表示される絞り込み絞り込み条件選択画面の一例を示す図解図である。 図１５は図１に示すゲーム装置の立体ＬＣＤおよび下ＬＣＤに表示される第１絞り込み画面の一例を示す図解図である。 図１６は図１に示すゲーム装置の立体ＬＣＤおよび下ＬＣＤに表示される図鑑画面の一例を示す図解図である。 図１７は図１に示すゲーム装置の立体ＬＣＤおよび下ＬＣＤに表示される図鑑画面の他の例を示す図解図である。 図１８は図１に示すゲーム装置の立体ＬＣＤおよび下ＬＣＤに表示される図鑑画面のその他の例を示す図解図である。 図１９は検索用データの概要を示す図解図である。 図２０は画像から花の色情報を抽出する方法を説明するための図解図である。 図２１は画像から花の形状情報を抽出する方法を説明するための図解図である。 図２２は図４に示すメインメモリのメモリマップの一例を示す図解図である。 図２３は図２２に示すデータ記憶領域の具体的な内容を示す図解図である。 図２４は図２３に示す図鑑データの概要を示す図解図である。 図２５は図４に示すＣＰＵの花調べ処理の第１の一部を示すフロー図である。 図２６は図４に示すＣＰＵの花調べ処理の第２の一部であって、図２５に後続するフロー図である。 図２７は図４に示すＣＰＵの花調べ処理の第３の一部であって、図２６に後続するフロー図である。 図２８は図４に示すＣＰＵの花調べ処理の第４の一部であって、図２７に後続するフロー図である。 図２９は図４に示すＣＰＵの花調べ処理の第５の一部であって、図２８に後続するフロー図である。 図３０は図４に示すＣＰＵの花調べ処理の第６の一部であって、図２８および図２９に後続するフロー図である。 図３１は図４に示すＣＰＵの撮影処理を示すフロー図である。

図１および図２には、本発明の一実施例であるゲーム装置１０の外観が示される。ゲーム装置１０は、折り畳み式のゲーム装置であり、図１は開状態におけるゲーム装置１０の正面を示し、図２（Ａ）〜図２（Ｆ）は閉状態におけるゲーム装置１０の上面，左側面，前面，右側面，背面および下面を示している。

ゲーム装置１０は、図１に示されるように、互いに回動可能に連結された上側ハウジング１０Ａおよび下側ハウジング１０Ｂを備え、上側ハウジング１０Ａの正面には、裸眼３Ｄ表示に対応した立体ＬＣＤ１２、内側カメラ１８ａ、３Ｄ調整スイッチ２０、３Ｄランプ２０Ａ、ならびに左右のスピーカ２２ａおよび２２ｂなどが設けられる。下側ハウジング１０Ｂの正面には、タッチパネル１６付きの下ＬＣＤ１４、Ａ，Ｂ，Ｘ，Ｙボタン２４ａ−２４ｄ、十字キー（ボタン）２４ｇ、ホーム，セレクト，スタートボタン２４ｈ−２４ｊ、電源ボタン２４ｋ、アナログパッド２６、およびマイク３０が設けられる。

また、図２（Ａ）に示されるように、ゲーム装置１０の上面（図１に示した上側ハウジング１０Ａの裏面）には、３Ｄ撮影に対応した左右の外側カメラ１８ｂおよび１８ｃが設けられる。また、図２（Ｃ）に示されるように、ゲーム装置１０の前面には、ヘッドホン端子３６、および電源ランプ４２ａなどが設けられる。また、図２（Ｂ）、図２（Ｅ）および図２（Ｄ）に示されるように、ゲーム装置１０の左側面から背面に跨ってＬボタン２４ｅが設けられ、右側面から背面に跨ってＲボタン２４ｆが設けられる。また、ゲーム装置１０の左側面には、音量調整スイッチ３２およびＳＤカードスロット３４などがさらに設けられ、ゲーム装置１０の右側面には、無線スイッチ２８、無線ランプ４２ｂなどがさらに設けられる。上述の３Ｄ調整スイッチ２０は、この右側面から露見している。また、ゲーム装置１０の背面には、赤外線受発光部４０などがさらに設けられる。そして、図２（Ｅ）および図２（Ｆ）に示されるように、ゲーム装置１０の背面から下面に跨ってゲームカードスロット３８が設けられる。

立体ＬＣＤ１２は、視差バリア（パララックスバリア）方式による３Ｄ液晶（図６参照）であり、裸眼で立体視が可能な画像（裸眼立体視画像）を表示する。立体ＬＣＤ１２では、液晶による視差バリアをＯＦＦすることで、平面画像の表示も可能である。なお、視差バリア方式に限らず、凹凸付のシート（レンチキュラレンズ）を利用するレンチキュラ方式や、その他の裸眼３Ｄ方式を採用してもよい。

内側カメラ１８ａは平面画像（２Ｄ画像）を撮影し、外側カメラ１８ｂおよび１８ｃは立体視画像（３Ｄ画像）を撮影する。プレイヤを撮影した２Ｄまたは３Ｄの画像は、ゲームプログラムのようなアプリケーションプログラムへの画像入力として利用可能である。この場合、ゲームプログラムは、画像認識を行うことで、プレイヤの顔や手の動き、視線方向（眼球の向き）などを検出し、検出結果に応じた処理を実行する。内側カメラ１８ａによる２Ｄ画像はまた、下ＬＣＤ１４に表示可能であり、外側カメラ１８ｂおよび１８ｃによる３Ｄ画像はまた、立体ＬＣＤ１２に表示可能である。

３Ｄ調整スイッチ２０は、立体ＬＣＤ１２の表示に関して、３Ｄおよび２Ｄの間の切り替えを手動で行い、さらには、３Ｄでの立体感の手動調整をも行うためのスライドスイッチであり、たとえば図３のように動作する。３Ｄの立体感は、この実施例では、スライダＳｄが上端にあるとき最大（Ｓｄ＝１）であり、スライダＳｄを下げるに従って減少し、下端にあるとき最小（Ｓｄ＝０）となる。そして、スライダＳｄを下端まで下げきると、３Ｄから２Ｄに切り替わる。

なお、詳細な説明は省略するが、このような３Ｄの立体感の変化は、仮想空間内に配置された左右の仮想カメラ（図示せず）の間の距離（カメラ間距離Ｄ）を変化させることによって実現される。つまり、３Ｄ調整スイッチ２０の動作に応じて、カメラ間距離Ｄが調整される。そして、カメラ間距離Ｄは、こうして手動調整されるだけでなく、ゲームプログラムによる自動調整も受ける。

３Ｄランプ２０Ａは、立体ＬＣＤ１２の表示状態を示すランプであり、３Ｄでは点灯し、２Ｄでは消灯する。なお、単に点灯よび消灯するだけでなく、３Ｄの程度（立体感の大小）に応じて輝度や色を変化させてもよい。

タッチパネル１６や、Ａ，Ｂ，Ｘ，Ｙボタン２４ａ−２４ｄ、十字キー（ボタン）２４ｇ、ホーム，セレクト，スタートボタン２４ｈ−２４ｊ、あるいはアナログパッド２６への操作は、ゲームプログラムへのタッチ／ボタン／パッド入力として利用される。電源ボタン２４ｋは、ゲーム装置１０の電源をオン／オフするために用いられる。電源ランプ４２ａは、電源のオン／オフと連動して点灯／消灯する。

マイク３０は、プレイヤの発話音声や環境音などを音声データに変換する。音声データは、ゲームプログラムへの音声入力として利用可能である。この場合、ゲームプログラムは、音声認識を行うことで、プレイヤの発話音声を検出し、検出結果に応じた処理を実行する。マイク３０による音声データはまた、ＮＡＮＤ型フラッシュメモリ４８（図４参照）などに記録可能である。

スピーカ２２ａおよび２２ｂは、ゲーム音声やマイク音声などを出力する。ヘッドホン端子３６には、図示しないヘッドホンが接続される。音量調整スイッチ３２は、スピーカ２２ａおよび２２ｂの音量またはヘッドホン端子３６の出力を調整するためのスライドスイッチである。

ＳＤカードスロット３４には、カメラ画像やマイク音声などを保存するためのＳＤメモリカード（図示せず）が装着され、ゲームカードスロット３８には、ゲームプログラムなどが格納されたゲームカード（図示せず）が装着される。赤外線受発光部４０は、他のゲーム装置との間での赤外線（ＩＲ）通信に利用される。

図４には、ゲーム装置１０の電気的構成が示される。ゲーム装置１０は、ＣＰＵ、ＧＰＵ、ＶＲＡＭおよびＤＳＰなどで構成されたＳｏＣ(System-on-a-Chip)４４を含む。ＳｏＣ４４には、上述した立体ＬＣＤ１２、下ＬＣＤ１４、内側カメラ（Ｉｎカメラ）１８ａ、左右の外側カメラ（ＯＣＡＭ−ＬおよびＯＣＡＭ−Ｒ）１８ｂおよび１８ｃ、Ａ，Ｂ，Ｘ，Ｙ，Ｌ，Ｒボタン２４ａ−２４ｆ、十字ボタン２４ｇ、ＳＤカードスロット３４、ゲームカードスロット３８、および赤外線受発光部（ＩＲ）４０が接続される。ＳｏＣ４４にはまた、マイコン５６を介して、上述した３Ｄ調整スイッチ（３Ｄ Ｖｏｌ）２０、３Ｄランプ２０Ａ、ホーム，セレクト，スタートボタン２４ｈ−２４ｊ、電源ボタン（Ｐｏｗｅｒ）２４ｋ、無線スイッチ（ＷｉＦｉ）２８、音量調整スイッチ（音量Ｖｏｌ）３２，および電源，無線ランプ４２ａ，４２ｂが接続される。ＳｏＣ４４にはさらに、ＩＦ回路５８を介して、上述したタッチパネル１６、左右のスピーカ２２ａおよび２２ｂ、アナログパッド２６、マイク（Ｍｉｃ）３０およびヘッドホン端子３６が接続される。

また、ＳｏＣ４４には、上述した以外の要素として、無線モジュール４６、ＮＡＮＤ型フラッシュメモリ４８およびメインメモリ５０が接続される。無線モジュール４６は、無線ＬＡＮに接続する機能を有する。したがって、図示は省略するが、ゲーム装置１０は、他のゲーム装置１０やコンピュータと直接またはネットワークを介して通信することができる。ＮＡＮＤ型フラッシュメモリ４８は、カメラ画像，マイク音声など保存用のデータを記憶する。メインメモリ５０は、ＳｏＣ４４に作業領域を提供する。すなわち、メインメモリ５０には、ゲームなどのアプリケーションで用いられる各種のデータやプログラムが記憶され、ＳｏＣ４４はメインメモリ５０に記憶されたデータやプログラムを利用して作業を行う。

マイコン５６には、電源管理ＩＣ５２および加速度センサ５４が接続される。電源管理ＩＣ５２はゲーム装置１０の電源管理を行い、加速度センサ５４はゲーム装置１０の３軸方向の加速度を検出する。加速度センサ５４の検出結果は、ゲームプログラムへの動き入力として利用可能である。この場合、ゲームプログラムは、検出結果に基づいてゲーム装置１０自体の動きを計算し、計算結果に応じた処理を実行する。また、マイコン５６は、ＲＴＣ（リアルタイムクロック）５６ａを含み、ＲＴＣ５６ａで時間をカウントしてＳｏＣ４４に供給する。

図５には、立体ＬＣＤ１２とＳｏＣ４４の一部とで構成される立体ＬＣＤ制御部１２Ａが示される。立体ＬＣＤ１２は、ＬＣＤコントローラ１２ａ、バリア液晶１２ｂおよび上ＬＣＤ１２ｃを含む。バリア液晶１２ｂは、図６（Ａ）に示されるように、縦（列）方向に伸びる複数の液晶スリットを含み、バックライトからの光を複数の液晶スリットで交互に遮ることによって、右目および左目に上ＬＣＤ１２ｃの異なる列の画素を通過した光が見えるようにする。上ＬＣＤ１２ｃは、下ＬＣＤ１４と同様、普通の（２Ｄ表示用の）液晶でよい。ＬＣＤコントローラ１２ａは、ＧＰＵ４４ｂひいてはＣＰＵ４４ａの制御下で、上ＬＣＤ１２ｃに描画を行い、かつバリア液晶１２ｂ（への印加電圧）をＯＮ／ＯＦＦする。バリア液晶１２ｂをＯＦＦすると、図６（Ｂ）に示されるように、右目および左目には、上ＬＣＤ１２ｃのどの列の画素を通過した光も見えるようになる。

なお、図５には、立体ＬＣＤ１２に対応して、ＬＣＤコントローラ１２ａ、ＧＰＵ４４ｂおよびＶＲＡＭ４４ｃが設けられるように示してあるが、当然に、下ＬＣＤ１４に対応して、ＬＣＤコントローラ、ＧＰＵおよびＶＲＡＭが設けられている。図５を参照して分かるように、下ＬＣＤ１４に対応するＧＰＵもまた、ＣＰＵ４４ａと信号を送受信可能に接続され、下ＬＣＤ１４に対応するＧＰＵとＶＲＡＭとは信号を送受信可能に接続される。そして、ＣＰＵ４４ａ、下ＬＣＤ１４に対応するＧＰＵ、およびＶＲＡＭのそれぞれが、下ＬＣＤ１４に対応するＬＣＤコントローラと信号を送受信可能に接続され、このＬＣＤコントローラに下ＬＣＤ１４が接続されるのである。

たとえば、電源ボタン２４ｋがオンされ、ゲーム装置１０の電源がオンされると、ゲーム装置１０が起動され、図示しないメインメニュー画面が下ＬＣＤ１４に表示される。メインメニュー画面では、ゲーム装置１０で実行可能な仮想ゲームなどのアプリケーションの実行を指示することができる。また、仮想ゲームの種類によっては、２台以上のゲーム装置１０との間で通信することにより、仮想ゲーム（通信ゲーム）をプレイすることもできる。

図７は、上述したこの実施例のゲーム装置１０で実行されるアプリケーションのタイトル画面１００の一例を示す図解図である。たとえば、このアプリケーションは、ゲーム装置１０の撮影機能を用いて撮影したオブジェクト（この実施例では、花）を電子図鑑で調べたり、調べた結果を見たり、さらには、撮影した花の画像を仮想の展示場で鑑賞したりするものである。

図７に示すように、タイトル画面１００は、上画面１００ａおよび下画面１００ｂを含む。上画面１００ａは立体ＬＣＤ１２に表示され、下画面１００ｂは下ＬＣＤ１４に表示される。以下に示す各画面について同じである。上画面１００ａには、このアプリケーションのタイトルが文字（テキストなど）で表示される。図示は省略するが、上画面１００ａには背景画像も表示される。

また、下画面１００ｂには、このアプリケーションで実行可能なメニューを選択するためのボタン画像１０２、ボタン画像１０４およびボタン画像１０６が表示される。ボタン画像１０２は、電子図鑑を見るために設けられる。ボタン画像１０４は、カメラ（１８ｂ、１８ｃ）で撮影した花を調べる（以下、「カメラで花調べ」ということがある）ために設けられる。ボタン画像１０６は、ユーザが撮影した花の画像を仮想の展示場で鑑賞するために設けられる。

なお、タイトル画面１００において、電子図鑑の機能やギャラリーの機能を選択および実行することについては、本願発明の本質的な内容ではないため、これらについての詳細な説明は省略することにする。

たとえば、タイトル画面１００でボタン画像１０４がオン（タッチ）されると、カメラで花調べの機能が実行（開始）され、図８に示すような撮影画面１５０が立体ＬＣＤ１２および下ＬＣＤ１４に表示される。ただし、撮影画面１５０が表示された当初では、後述する一輪ファインダーが選択される。詳細な説明は省略するが、カメラで花調べの機能が開始されると、撮影モードが設定され、外側カメラ１８ｂ、１８ｃが起動される。

撮影画面１５０は、上画面１５０ａおよび下画面１５０ｂを含む。上画面５０ａには、その上端部に表示領域１５２が設けられ、この表示領域１５２の下側であり、上画面１５０ａの中央に、円形（丸枠）の指示画像１５４が表示され、指示画像１５４の右側にメモリ１５６が表示される。また、上画面１５０ａには、指示画像１５４の左側に、表示領域１５８および表示領域１６０が設けられ、目盛画像１５６の右側に、表示領域１６２および表示領域１６４が設けられる。この図８に示す指示画像１５４が表示された上画面１５０ａを「一輪ファインダー」と呼ぶことにする。この一輪ファインダーは、直径が２ｃｍ以上の一輪またはまばらに咲いた花を撮影するときに使用される。

上画面１５０ａの最背面に、外側カメラ１８ｂ、１８ｃで撮影される画像についてのスルー画像が表示される。つまり、上画面１５０ａは、ビューファインダーとして機能する。また、スルー画像と指示画像１５４とは重畳され、指示画像１５４はスルー画像の前面に表示される。表示領域１５２には、カメラで花調べの機能が実行されていること、現在撮影中であることおよび当該機能の進行状況が文字等で示される。指示画像１５４は、撮影する際に、撮像対象を適切な大きさおよび適切な位置で撮影するための指標である。これは、撮影画像に基づいて、花の大きさ、花の色および花の形状などを算出するためである。したがって、この実施例では、指示画像１５４の枠（図８では、丸枠）に合わせて花が撮影される。このため、指示画像１５４の円の位置および大きさは、所定の位置および所定の大きさに固定されている。目盛画像１５６は、後述する表示領域１６２に表示された数値とともに、指示画像１５４に合わせて花を撮影する場合に算出される花の大きさを示す。この目盛画像１５６は、指示画像１５４と同様に、所定の長さに固定されている。

ここで、図面では分かり難いが、指示画像１５４は、スルー画像から取得される背景の色の補色で表示される。このとき、スルー画像のうち、指示画像１５４の枠が表示されているいずれか１点ないし複数点の色が取得され、その色の補色が選択される。ただし、複数点の色を取得する場合には、取得した色を平均した色の補色が選択される。これは、指示画像１５４を背景画像（スルー画像）と容易に判別して、指示画像１５４に花を合わせ易くするためである。

この実施例では、スルー画像から取得した色の補色で指示画像１５４を表示するようにしてあるが、これに限定される必要はない。たとえば、色値や輝度値が所定値以上異なることにより、スルー画像と指示画像１５４とが容易に識別することができればよい。

なお、スルー画像（背景）の色に応じて、指示画像の色等を変更することについては、後述する他のファインダーに表示される指示画像についても同様である。

表示領域１５８には、ファインダーの種類が表示される。この実施例では、５種類のファインダーが用意されており、後述するように、ユーザによって、１つのファインダーが選択される。したがって、表示領域１５８には、選択されたファインダーの種類が表示されるのである。また、表示領域１６０には、撮影中（スルー画像）の花の色が表示される。たとえば、表示領域１６０には、撮影中の花の色が付された花の画像が表示される。表示領域１６２には、花の大きさが表示される。ここでは、花の大きさは、指示画像１５４に合わせた大きさで花を撮影することを前提として算出される。そして、表示領域１６４には、撮影時期が表示される。この実施例では、日付のうち、撮影を行っている月が撮影時期として表示される。

なお、図示は省略するが、撮影画面１５０では、指示画像１５４および表示領域１６０、１６４の下側に、花を指示画像１５４の枠に合わせて撮影すべき旨のメッセージを表示するようにしてもよい。

下画面１５０ｂには、その上端部に、表示領域１７０が設けられる。この表示領域１７０の下方であり、画面中央には、表示領域１７２およびボタン画像１７４が縦に並んで設けられる。また、下画面１５０ｂの左下部にはボタン画像１７６が設けられる。

表示領域１７０には、現在選択されているファインダーについての簡単な説明文が表示される。表示領域１７２には、さらに、ボタン画像１７２ａおよびボタン画像１７２ｂが設けられるとともに、これらの間に表示領域１７２ｃが設けられる。

ボタン画像１７２ａおよびボタン画像１７２ｂは、ファインダーを選択するために設けられ、ボタン画像１７２ａまたはボタン画像１７２ｂがオン（タッチ）されることにより、表示領域１７２ｃの表示内容が左右に移動し、表示されるファインダーの種類が変更される。ただし、ボタン画像１７２ａまたはボタン画像１７２ｂをタッチすることに代えて、十字キー２４ｇまたはアナログパッド２６の左押しボタンおよび右押しボタンを操作するようにしてもよい。

以下、同様に、ボタン画像に操作スイッチないしキーの図柄が表示されている場合には、当該図柄が示す操作スイッチないしキーを操作することにより、当該ボタン画像をオン（タッチ）した場合と同じ指示が入力される。ただし、本願発明の本質的な内容ではないため、これ以降では、説明を省略することにする。

この実施例では、一輪ファインダー、集まりファインダー、細長いファインダー、下向きファインダーおよび小花ファインダーが用意されている。ファインダーが変更されると、上画面１５０ａに表示される指示画像の形状および大きさの少なくとも一方が変更される。また、目盛画像の表示位置や大きさが変更される場合もある。

図９および図１０には、他のファインダーが選択された場合の指示画像および目盛画像の例が示される。いずれの指示画像および目盛画像も大きさや長さがが固定的に表示されるのは、指示画像１５４および目盛画像１５６の場合と同様である。

図９（Ａ）には、集まりファインダーが選択された場合の指示画像１８０および目盛画像１５６が示される。集まりファインダーは、花の集まり（密集して花が付いている）を撮影するときに使用される。指示画像１８０は、図８に示した指示画像１５４とほぼ同じ大きさであり、波線で記載された円形の枠（丸枠）で示される。一輪ファインダーの場合と同様に、指示画像１８０の右側に表示される。

図９（Ｂ）には、細長いファインダーが選択された場合の指示画像１８２および目盛画像１５６が表示される。細長いファインダーは、長く連なる花を横から撮影するときに使用される。指示画像１８２は、波線で記載され縦長のトラック形状の枠で示される。指示画像１８２は、図８に示した指示画像１５４の縦幅とほぼ同じ縦幅であり、横幅はほぼ半分の長さである。

図１０（Ａ）には、下向きファインダーが選択された場合の指示画像１８４および目盛画像１５６が表示される。下向きファインダーは、下向きの花を横から撮影するときに使用される。指示画像１８４は、釣鐘状の枠で示される。ここでは、下向きファインダーを分かり易く示すために、指示画像１８４は、釣鐘状の枠で示してあるが、その大きさは、一輪ファインダーとほぼ同じである。ただし、図１０（Ａ）に示す目盛画像１５６は、指示画像１８４の上側に表示される。

図１０（Ｂ）には、小花ファインダーが選択された場合の指示画像１８６および目盛画像１５８が表示される。小花ファインダーは、直径が２ｃｍ未満の小さな花を正面から撮影するときに使用される。指示画像１８６は、指示画像１５４の直径（半径）を半分にした円形の枠（丸枠）である。また、目盛画像１９０は、目盛画像１５６の長さを半分にしてある。

この実施例では、指示画像１５４、１８０、１８２，１８４、１８６は、いずれも枠状の線画像で示してあるため、スルー画像の前面に表示されても、スルー画像はほとんど隠れることがないため、撮影の邪魔にならない。ただし、枠状の線画像に代えて、指示画像と同じの形状に繰り抜いたテンプレート（マスク画像）を上画面１５０ａの全面または一部に表示するようにしてもよい。かかる場合には、たとえば、テンプレートに、所定の色を付したり、半透明にしたりすることにより、スルー画像の背景の全部または一部が、マスクされたり、半透明で表示されたりする。このため、撮像対象である花を容易に枠に合わせて撮影させることができる。ただし、テンプレートに付す所定の色やテンプレートを半透明にする場合のぼかしの色は、この実施例野指示画像１５４、１８０、１８２、１８４、１８６と同様に、スルー画像の色と異なる色（補色）で表示される。たとえば、テンプレートのうちの繰り抜いた部分の境界上の一点または複数の点のスルー画像の色が取得される。したがって、撮像対象が分かり易い。

図８に戻って、ボタン画像１７４は、撮影するために設けられる。つまり、ボタン画像１７４は、シャッタボタンに相当する。ボタン画像１７４がオン（タッチ）されると、外側カメラ１８ｂ、１８ｃで撮影処理が実行され、そのときの静止画像が撮影画像として取り込まれる。したがって、外側カメラ１８ｂ、１８ｃによって、一度に同じ対象物（被写体）についての撮影画像が得られる。

ただし、ボタン画像１７４のタッチに代えて、Ａボタン２４ａ、Ｌボタン２４ｅまたはＲボタン２４ｆが操作された場合にも、撮影指示が与えられ、撮影処理が実行される。

ボタン画像１７６は、タイトルに戻るために設けられる。このボタン画像１７６がオン（タッチ）されると、撮影処理を中止して、図７に示したタイトル画面１００に戻る。

また、図８において、ボタン画像１７４がオンされ、カメラ１８ｂ、１８ｃで撮影処理が実行されると、このとき、選択されていたファインダーによって決定される花の構成（この実施例では、花の付き方、花の大小および花の向き）に応じて、後述する検索用データ（図１９参照）が篩分けられる。つまり、異なる花の構成を有する検索用データが検索対象から削除され、検索対象の検索用データが低減される。これは、すべての検索用データについて後述する得点の算出等の処理を実行すると、処理負荷が大きく、時間を浪費してしまうからである。また、検索精度を高くするためである。

また、撮影処理が実行され、撮影画像が取り込まれると、図１１に示す第１条件入力画面２５０が立体ＬＣＤ１２および下ＬＣＤ１４に表示される。第１条件入力画面２５０は、上画面２５０ａおよび下画面２５０ｂを含む。

上画面２５０ａには、その上端部に表示領域２５２が設けられる。また、上画面２５０ａの中央の左側に表示領域２５４が設けられ、その下側に表示領域２５６が設けられる。また、上画面２５０ａの中央の右側に表示領域２５８が設けられ、その下側に表示領域２６０が設けられる。そして、表示領域２５２と、表示領域２５４および表示領域２５８との間に、表示領域２６２が設けられる。

表示領域２５２には、カメラで花調べのモードが実行されていること、花を検索する画面であること、および当該モードの進行状況が文字等で示される。表示領域２５４には、今回の撮影画像が表示される。表示領域２５６には、表示領域２５４に表示された画像が撮影した花の画像である旨が記述される。

表示領域２５８には、花の形の例を示す画像が表示される。この表示領域２５８に表示される画像は、後述する下画面２５０ｂに表示されるボタン画像２７２、２７４、２７６、２７８、２８０、２８２、２８４と対応する。また、表示領域２６０には、表示領域２５８に表示されている画像がいずれの花の形の例であるかを示す内容がテキストで表示される。さらに、表示領域２６２には、表示領域２５８に表示されている画像の解説がテキストで表示される。

下画面２５０ｂには、その上部に表示領域２７０が設けられ、この表示領域２７０の下方に、ボタン画像２７２、２７４、２７６、２７８、２８０、２８２、２８４、２８６、２８８、２９０、２９２が表示される。ボタン画像２７２−２８４は、花の形を選択するために設けられる。ボタン画像２７２−２８４が選択されると、それぞれに対応して、花の形の例を示す画像が表示領域２５８に表示される。

たとえば、ボタン画像２７４がオンされると、花びらが３枚であることが選択される。ボタン画像２７４−２７８がオンされると、異なる花びらの枚数が選択される。また、ボタン画像２８０が選択されると、花びらがたくさんであることが選択される。さらに、ボタン画像２８２がオンされると、花の形状がラッパまたはベルの形状であることが選択される。そして、ボタン画像２８４がオンされると、花の形状が丸くないことが選択される。また、ボタン画像２８６がオンされると、ボタン画像２７２−２８４で選択される形状以外の形状であることが選択される。そして、ボタン画像２８８がオンされると、花の形状を選択しないこと（パス）が選択される。

なお、図１１に示す第１条件入力画面２５０では、ボタン画像２８０が選択され、選択されていることがボタン画像２８０の枠を太線で示すことにより表現してある。ただし、選択されているボタン画像の輝度を高くしたり、選択されているボタン画像の背景の色を変化させたり、選択されていないボタン画像を色反転またはグレーアウトしたりすることにより、選択されているボタン画像を示してもよい。以下、ボタン画像が選択される場合について同様である。

ボタン画像２９０は、前に戻ることを指示するために設けられる。この実施例では、ボタン画像２９０がオンされると、図８に示した撮影画面１５０に戻る。つまり、撮影をし直すことが選択される。このとき、先に撮影された撮影画像が消去される。また、ボタン画像２９２は、選択されたボタン画像２７２−２８８の内容を決定するために設けられる。

ボタン画像２９２がオンされ、選択されたボタン画像２７２−２８２に割り当てられた内容（第１条件）が決定されると、図１２に示すような第２条件入力画面３００が立体ＬＣＤ１２および下ＬＣＤ１４に表示される。第２条件入力画面３００は、上画面３００ａおよび下画面３００ｂを含む。

上画面３００ａには、その上端部に表示領域３０２が設けられる。また、上画面３００ａの中央の左側に表示領域３０４が設けられ、その下側に表示領域３０６が設けられる。また、上画面３００ａの中央の右側に表示領域３０８が設けられ、その下側に表示領域３１０が設けられる。そして、表示領域３０２と、表示領域３０４および表示領域３０８との間に、表示領域３１２が設けられる。

表示領域３０２には、カメラで花調べのモードが実行されていること、花を検索する画面であること、および当該モードの進行状況が文字等で示される。表示領域３０４には、今回の撮影画像が表示される。表示領域３０６には、表示領域３０４に表示された画像が撮影した花の画像である旨が記述される。

表示領域３０８には、草花、木花またはつる性植物の例を示す画像が表示される。この表示領域３０８に表示される画像は、後述する下画面３００ｂに表示されるボタン画像３２２、３２４、３２６と対応する。また、表示領域３１０には、表示領域３０８に表示されている画像がいずれの花の種別の例であるかを示す内容がテキストで表示される。さらに、表示領域３１２には、表示領域３０８に表示されている画像の解説がテキストで表示される。

下画面３００ｂには、その上部に表示領域３２０が設けられ、この表示領域３２０の下方に、ボタン画像３２２、３２４、３２６、３２８、３３０、３３２が表示される。ボタン画像３２２−３２６は、草花、木花またはつる性植物の別を選択するために設けられる。ボタン画像３２２−３２６が選択されると、それぞれに対応して、上述したような画像が表示領域３０８に表示される。

たとえば、ボタン画像３２２がオンされると、草花であることが選択される。ボタン画像３２４がオンされると、木花であることが選択される。そして、ボタン画像３２６がオンされると、つる性植物であることが選択される。また、ボタン画像３２８がオンされると、草花、木花、つる性植物の別を選択しないこと（パス）が選択される。

ボタン画像３３０は、前に戻ることを指示するために設けられる。この実施例では、ボタン画像３３０がオンされると、図１１に示した第１条件入力画面２５０に戻る。また、ボタン画像３３２は、選択されたボタン画像３２２−３２８の内容を決定するために設けられる。

ボタン画像３３２がオンされ、選択されたボタン画像３２２−３２８に割り当てられた内容（第２条件）が決定されると、図１３に示すような検索結果画面３５０が立体ＬＣＤ１２および下ＬＣＤ１４に表示される。検索結果画面３５０は、上画面３５０ａおよび下画面３５０ｂを含む。以下、検索結果画面３５０について説明するが、先に説明した各画面と同じ内容については、省略することにする。

図１３に示すように、上画面３５０ａには、その上端部に表示領域３５２が設けられる。また、上画面３５０ａの中央の左側に表示領域３５４が設けられ、その下側に表示領域３５６が設けられる。また、上画面３５０ａの中央の右側に表示領域３５８が設けられ、その下側に表示領域３６０が設けられる。そして、表示領域３５２と表示領域３５４および表示領域３５８との間に、表示領域３６２が設けられる。

表示領域３５２には、カメラで花調べのモードが実行されていること、花を検索する画面であること、および当該モードの進行状況が文字等で示される。表示領域３５４には、今回の撮影画像が表示される。表示領域３５６には、表示領域３５４に表示された画像が撮影した花の画像である旨が記述される。

表示領域３５８には、検索結果である花の画像が表示される。この表示領域３５８に表示される画像は、後述する下画面３５０ｂの表示領域３７４に表示される縮小画像に対応する通常の大きさの画像（通常画像）である。また、表示領域３６０には、表示領域３５８に表示されている通常画像が示す花の名称がテキストで表示される。さらに、表示領域３６２には、表示領域３５８に表示されている通常画像が示す花の簡単な解説がテキストで表示される。

下画面３５０ｂには、その上部の左側に表示領域３７０が設けられるとともに、その右側にボタン画像３７２が表示される。また、表示領域３７０およびボタン画像３７２の下方に、表示領域３７４が設けられるとともに、この表示領域３７４の右側に、スクロールボタン画像３７６が表示される。さらに、下画面３５０ｂの下部に、ボタン画像３７８およびボタン画像３８０が表示される。

表示領域３７０には、撮影画像に基づく検索結果としての候補の件数が表示される。ボタン画像３７２は、さらに検索結果から候補を絞り込むために設けられる。表示領域３７４には、検索結果についての花の画像（縮小画像）が類似している度合い（類似度）が高い順番に、表示される。スクロールボタン画像３７６は、ボタン画像３７６ａ、３７６ｂ、３７６ｃを含む。この実施例では、ボタン画像３７６ａまたはボタン画像３７６ｂをオンしたり、ボタン画像３７６ｃをスライドしたりすることにより、表示領域３７４に表示される縮小画像を上下に移動することができる。したがって、検索結果の縮小画像が多い場合には、画面をスクロールすることにより、すべての検索結果（候補の縮小画像）を見ることができる。

たとえば、縮小画像をタッチすることにより、検索結果から外側カメラ１８ｂ、１８ｃの撮影画像に含まれる花と一致する花を選択することができる。図１２に示す検索結果画面３５０の例では、類似度が最も高い（第１位の）縮小画像が選択されている。

なお、詳細な説明は省略するが、検索結果画面３５０が表示される当初では、下画面３５０ｂにおいては、類似度が第１位の縮小画像が選択される。

ボタン画像３７８は、撮り直すことを指示するために設けられる。この実施例では、ボタン画像３７８がオンされると、上述したように、撮影し直すことが選択され、図８に示した撮影画面１５０に戻る。また、ボタン画像３８０は、検索結果のうちの選択した画像で示される花についての詳細（詳細情報）を見るために設けられる。この実施例では、詳細情報としては、花の分類（科名、属名）および原産地の情報、静止画像および回転画像を含む。詳細な説明は省略するが、これらの詳細情報は、通常の電子図鑑のモードが実行された場合に、閲覧可能な情報と一致する。また、後述するように、静止画像は立体視画像であり、回転画像は横方向（水平方向）に３６０度回転可能な立体視画像である。

たとえば、図１３の検索結果画面３５０において、ボタン画像３７２がオンされると、図１４に示すような絞り込み条件選択画面４００が立体ＬＣＤ１２及び下ＬＣＤ１４に表示される。この絞り込み条件選択画面４００は、上画面４００ａおよび下画面４００ｂを含む。

図１４に示すように、上画面４００ａには、その上端部に表示領域４０２が設けられる。また、上画面４００ａの中央の左側に表示領域４０４が設けられ、その下側に表示領域４０６が設けられる。また、表示領域４０４および表示領域４０６の右側には、表示領域４０８が設けられる。そして、表示領域４０２と表示領域４０８との間に、表示領域４１０が設けられる。

表示領域４０２には、カメラで花調べのモードが実行されていること、花の検索結果を表示する画面であること、および当該モードの進行状況が文字等で示される。表示領域４０４には、今回の撮影画像が表示される。表示領域４０６には、表示領域４０４に表示された画像が撮影した花の画像である旨が記述される。

表示領域４０８には、検索結果である花の縮小画像が類似度の高い順に表示される。図１４に示す例では、最大で８個の縮小画像が表示される。表示領域４１０には、選択した条件に合う花の数が記述される。ただし、図１４に示す絞り込み条件選択画面４００は、条件を選択および設定する前の状態であるため、図１３に示した検索結果の件数がそのまま表示される。

下画面４００ｂには、その上端部に表示領域４２０が設けられ、この表示領域４２０内にボタン画像４２２が表示される。また、表示領域４２０の下方に、表示領域４２４が設けられ、この表示領域４２４の下方に、ボタン画像４２６およびボタン画像４２８が表示される。

表示領域４２０には、ボタン画像４２２の左側に、下画面４００ｂにおいて条件を選択することが記述される。ボタン画像４２２は、最初の状態に戻すために設けられる。したがって、ボタン画像４２２がオンされると、それまでに設定された絞り込みの条件がすべてクリアされ、何ら絞り込みの条件が設定さていない状態に戻される。

表示領域４２４には、各種の絞り込みの条件を選択するための複数のボタン画像が表示される。図示は省略するが、画面を左右にスクロールさせることにより、他の絞り込みの条件を選択するためのボタン画像が表示領域４２４に表示される。ただし、上述したように、図１４では、何ら絞り込みの条件が選択されていない状態が示される。

ボタン画像４２６は、撮影画像を撮り直すことを選択するために設けられる。このボタン画像４２６は、上述したボタン画像２３２やボタン画像３７８と同じである。ボタン画像４２８は、結果を見るために設けられる。ボタン画像４２８はオンされると、図示は省略するが、検索結果のうち、設定された１または複数の絞り込みの条件を満たす候補の花の縮小画像が表示領域４０８に表示され、その件数が表示領域４１０に表示されるのである。

また、図１４に示す絞り込み条件選択画面４００において、たとえば草丈のボタン画像がオンされると、図１５に示すような絞り込み条件設定画面４５０が立体ＬＣＤ１２および下ＬＣＤ１４に表示される。ただし、この絞り込み条件設定画面４５０は、下画面４５０ｂにおいて、後述するスクロールボタン画像４７６を用いて草丈が変化（選択）された状態を示してある。図１５に示すように、草丈についての絞り込み条件設定画面４５０は、上画面４５０ａおよび下画面４５０ｂを含む。

上画面４５０ａには、その上端部に表示領域４５２が設けられる。また、上画面４５０ａの中央の左側に表示領域４５４が設けられ、その下側に表示領域４５６が設けられる。また、表示領域４５４および表示領域４５６の右側には、表示領域４５８が設けられる。そして、表示領域４５２と表示領域４５８との間に、表示領域４６０が設けられる。

この上画面４５０ａは、下画面４５０ｂで選択された草丈の条件で絞り込んだ候補の花の縮小画像が表示領域４５８に表示されるとともに、その候補の件数が表示領域４６０に表示される以外は、図１４に示した上画面４００ａと同じであるため、重複した説明は省略する。

下画面４５０ｂには、その上端部に表示領域４７０が設けられ、この表示領域４７０の下方に表示領域４７２が設けられる。さらに、表示領域４７２の下方に表示領域４７４が設けられるとともに、表示領域４７４の右側にスクロールボタン画像４７６が表示される。さらに、下画面４５０ｂの下端部に、ボタン画像４７８およびボタン画像４８０が表示される。

表示領域４７０には、下画面４５０ｂが草丈を設定する画面であることが記述される。表示領域４７２には、草丈がイラストで表示される。表示領域４７４には、現在の草丈の設定値が表示される。スクロールボタン画像４７６は、ボタン画像４７６ａ、４７６ｂ、４７６ｃを含む。ボタン画像４７６ａおよびボタン画像４７６ｂをオンしたり、ボタン画像４７６ｃをスライドしたりすることにより、草丈が変化される。このとき、表示領域４７２のイラストの草丈が変化されたり、表示領域４７４の草丈の設定値が変化されたりする。

ボタン画像４７８は、草丈を設定しないこと（パス）を選択するために設けられる。したがって、ボタン画像４７８がオンされると、草丈の条件が設定されずに、図１４に示した絞り込み条件選択画面４００に戻る。また、ボタン画像４８０は、草丈を設定（決定）するために設けられる。したがって、ボタン画像４８０がオンされると、スクロールボタン画像４７６を用いて設定された草丈が絞り込みの条件として設定され、図１４に示した絞り込み条件選択画面４００に戻る。

絞り込みの条件が設定された状態で、図１４の絞り込み条件選択画面４００において、ボタン画像４２８がオンされると、図示は省略するが、絞り込みの結果の画面が表示される。たとえば、下画面４００ｂの表示領域４２４に絞り込まれた花についての縮小画像が表示される。図示は省略するが、絞り込んだ結果についての画面（絞り込み結果画面）は、図１３に示した検索結果画面３５０と同様の画面であり、表示領域３７４に絞り込んだ花についての縮小画像が類似度に従う順番で表示される。

ただし、絞り込みの条件が何も設定されていない状態で、ボタン画像４２８がオンされた場合には、図１３に示した検索結果画面３５０とほぼ同じ絞り込み結果画面が表示される。

また、絞り込み結果画面において、撮影した花と同じ花と思われる花の縮小画像が選択されると、その詳細情報が表示される。この詳細情報は、上述したとおりであり、たとえば、図１６に示すような図鑑画面５５０が立体ＬＣＤ１２および下ＬＣＤ１４に表示される。この図鑑画面５５０は、上画面５５０ａおよび下画面５５０ｂを含む。

図１６に示すように、上画面５５０ａには、その上端部に表示領域５５２が設けられ、この表示領域５５２を除く表示領域５５４が設けられる。表示領域５５２には、電子図鑑が表示されていること、表示領域５５４に表示されている花の名称が文字等で表示される。表示領域５５４には、その中央に花の画像が表示される。ただし、ここで表示されるのは、ユーザが検索結果画面３５０や絞り結果画面で選択した縮小画像に対応する静止画像である。この静止画像は立体視可能である。また、表示領域５５４の下端部には、当該表示領域５５４に表示されている花についての種類（科名、属名）および原産地の情報がテロップで表示される。ただし、後述するように、このテロップは表示・非表示を選択することができる。

下画面５５０ｂには、その上端部に表示領域５６０が設けられ、この表示領域５６０の下側にボタン画像５６２、５６４、５６６が表示される。また、ボタン画像５６２−５６６の下側には、表示領域５６８が設けられ、さらに、この表示領域５６８の下側にボタン画像５７２およびボタン画像５７４が表示される。

表示領域５６０には、上画面５５０ａに表示されている花の名称などが文字等で表示される。ボタン画像５６２、５６４、５６６は、詳細情報のうちの静止画像、解説および回転画像を表示するために設けられる。ボタン画像５６２がオンされると、表示領域５６０に表示された花の静止画像が、上画面５５０ａの表示領域５５４に表示される。図鑑画面５５０が表示された当初では、このボタン画像５６２がオンされており、その状態が図１６に示される。この静止画像は、立体写真についての画像（立体視画像）である。

ボタン画像５６４がオンされると、表示領域５６０に表示された花の解説が、上画面５５０ａの表示領域５５４に表示される。図示は省略するが、解説としては、たとえば、表示領域５５２および表示領域５６０に表示された花についての画像（写真画像）が表示されるとともに、当該花についての解説がテキストで表示される。また、図示は省略するが、ボタン画像５５４がオンされると、表示領域５６８には、少なくとも、スクロールボタン画像が表示され、これを用いて、解説が表示された領域をスクロールすることができる。

ボタン画像５６６がオンされると、表示領域５６０に表示された花の回転画像（回転可能な立体視画像）が、上画面５５０ａの表示領域５６４に表示される。具体的には、後述するように、図１７および図１８に示すような図鑑画像５５０が立体ＬＣＤ１２および下ＬＣＤ１４に表示される。ただし、ボタン画像５６６がオンされた当初では、図１７に示す図鑑画像５５０が表示される。

図１６に戻って、表示領域５６８は、ボタン画像５６２−５６６の各々に関する操作についてのボタン画像が表示される。図１６に示すように、ボタン画像５６２がオンされている状態では、表示領域５６８には、ボタン画像５７０が表示される。ボタン画像５７０は、テロップを隠す（非表示する）ために設けられる。

なお、図示は省略するが、ボタン画像５７０は、図１６に示すように、上画面５５０ａにテロップが表示されている場合には、テロップを隠す指示を入力するために用いられるが、テロップが表示されていない場合には、テロップを表示する指示を入力するために用いられる（図１７、図１８参照）。

ボタン画像５７２は、図１２に示した検索結果画面３５０や図示しない絞り込み結果画面に戻るために設けられる。また、ボタン画像５７４は、アルバムを表示するために設けられる。このボタン画像５７４がオンされると、図示は省略するが、ユーザが撮影した画像（花）がアルバム形式で立体ＬＣＤ１２に表示される。

たとえば、ボタン画像５６６がオンされ、回転画像を表示することが選択されると、図１７に示すような図鑑画面５５０が表示される。この図１７に示す図鑑画面５５０では、表示領域５６８の表示内容が異なる以外は、図１６に示した図鑑画面５５０と同じであるため、重複した説明は省略する。

図１７に示すように、図鑑画面５５０では、表示領域５６８は、ボタン画像５６６に関連付けられ、回転ボタン画像５８０およびボタン画像５７０を表示する。回転ボタン画像５８０は、ボタン画像５８０ａ、５８０ｂ、５８０ｃを含む。ボタン画像５８０ａまたは５８０ｂをオンしたり、ボタン画像５８０ｃ上でスライド操作したりすると、これに応じて、上画面５５０ａの表示領域５５４に表示された花の立体画像が回転される。たとえば、花の立体画像は、水平方向に回転される。

図１８には、花の立体画像を約１８０度回転させた場合の図鑑画面５５０が表示される。図示は省略するが、たとえば、所定角度（この実施例では、１度）毎の立体画像を用意しておくので、任意の角度を指定して、花の立体画像を見ることができる。したがって、さまざまな角度から花を見ることができ、検索結果や絞り込みの結果から選択した花が、撮影した花と同じであるかどうかを容易に判断することができる。また、実際の花と立体画像を見比べることができ、検索結果をより楽しむことができる。

以上が、カメラで花調べのモードを実行する場合の各画面を用いた操作の概要であるが、検索結果を得るための具体的な方法について説明する。この実施例のアプリケーションのソフトウェアでは、撮影した花と一致する花を検索するための検索用データベースを備えている。この検索用データベースに含まれる検索用データの概要が図１９に示される。ただし、検索用データは、この実施例のアプリケーション（電子図鑑）に収録されるすべての花について作成されている。

図１９に示すように、検索用データには、識別情報（ＩＤ）が付されている。また、検索用データには、大きく分けて、花の名称、色情報、形状情報、条件情報および画像情報が含まれる。花の名称は、当該花の名称であり、テキストデータで記述される。色情報は、ヒストグラムのデータである。この実施例では、図２０（Ａ）に示すように、検索用（照合用）の花の写真から花の部分だけを繰り抜いた繰り抜き画像６００を用いて、検索用の花の色情報を取得し、取得した色情報からヒストグラムを算出する。図２０（Ｂ）に示すように、繰り抜き画像６００の中心から異なる距離の半径を有する２つの円６１０、６１２を決定する。したがって、図２０（Ｃ）に示すように、１つの繰り抜き画像が２つの領域（領域Ａ、領域Ｂ）に分割される。ただし、図２０（Ｃ）では分かり易く示すために、花の画像は省略してある。また、円６１０および円６１２の大きさは、固定されている。さらに、線分６１４が回転を開始する位置（開始位置）は固定される。

図２０（Ｃ）に示すように、円６１０、６１２の中心点と、円６１０の円周上の或る点とを結ぶ線分６１４を、その中心点を軸に、所定角度ずつ回転されたときの線分上の色情報（Ｒ、Ｇ、Ｂ）を領域Ａおよび領域Ｂのそれぞれで検出する。線分６１４を一周させた場合の所定角度毎の色情報が数値で表されたヒストグラムが生成される。ただし、ヒストグラムは、領域Ａおよび領域Ｂのそれぞれについて、色情報の各成分（Ｒ、Ｇ、Ｂ）に分けて生成される。

図示は省略するが、長く連なる花では、円６１０、６１２に代えて、図９（Ｂ）に示したような縦長のトラック状の枠内についてのみ、色情報が検出され、ヒストグラムが生成される。また、小花では、円６１０、６１２の直径（または半径）がそれぞれ半分にされた円が使用され、当該円内についてのみ、色情報が検出され、ヒストグラムが生成される。

また、この実施例では、２つの円６１０、６１２によって、領域Ａおよび領域Ｂのそれぞれについて色情報を検出するようにしたがて、円６１０のみによって、領域Ａおよび領域Ｂを合わせた領域の色情報を検出するようにしてもよい。

形状情報は、短い花びらの枚数、長い花びらの枚数、花の周囲長、花の面積、花の形状の複雑度、花の輪郭に外接する矩形の幅、花の輪郭に外接する矩形の高さ、形状カテゴリおよび判定フラグである。ただし、形状カテゴリは、検索用データベースに含まれる検索用データをさらに篩分けるために用いられる。また、短い花びらの枚数、長い花びらの枚数、花の面積、花の形状の複雑度が、形状の類似度を求めるために用いられる。

これらの情報を数値化する前に、まず、花の画像の２値化画像から花の輪郭を検出する。そして、花の重心を算出する。次に、図２１（Ａ）に示すように、算出した重心Ｇの座標（点）から輪郭線７００上の任意の点を開始点として決定し、この開始点から順番に時計周り（反時計周りでも可）にすべての輪郭線上の点までの距離Ｔ（ドット数）を測定する。

そして、縦軸を距離Ｔとし、横軸を距離Ｔを測定した順番とするグラフ（形状グラフ）を作成する。図２１（Ａ）を用いて説明したように、距離Ｔを計測した結果の形状グラフが図２１（Ｂ）に示される。図２１（Ｂ）では、起伏の境目となる箇所に十字の印を付してある。ただし、黒色の十字の印が山を示し、白色の十字の印が谷を示す。

この形状グラフを用いて、上述した各情報の数値が算出される。以下、簡単に説明する。

短い花びらの枚数は、形状グラフから、小さい山の数だけを数える。この実施例では、小さい山は、山の大きさが、画像サイズに対して６％未満の山を意味する。ただし、山の大きさは、黒色の十字を付した位置の距離Ｔである。また、画像サイズは、繰り抜き画像６００の全ドット数であり、すべての花について同じ値に設定されている。以下、同様である。

同様に、長い花びらの枚数は、形状グラフから、大きい山の数だけを数える。この実施例では、大きい山は、山の大きさが、画像サイズに対して６％以上の山を意味する。

花の周囲長は、検出された輪郭上の点の数（輪郭のピクセル数）である。花の面積は、輪郭線上の点を含めた輪郭内のすべての点の数（ピクセル数）である。花の形状の複雑度は、花の周囲長÷花の面積で算出される数値である。

花の輪郭に外接する矩形の幅は、図２１（Ｃ）に示すように、花の輪郭（対象物）と外接する矩形７１０を求めた場合の当該矩形７１０の幅に相当する点の数（ピクセル数）である。また、花の輪郭に外接する矩形の高さは、同じく図２１（Ｃ）に示すように、花の輪郭（対象物）と外接する矩形７１０を求めた場合の当該矩形７１０の高さに相当する点の数（ピクセル数）である。

形状カテゴリは、花および花びらの形状についての分類である。この実施例では、３つの判定方法（花の形状判定、花の複雑度判定、花びらの形状判定）によって分類される。以下、それぞれの判定方法について説明する。判定された結果が形状カテゴリに相当する。

（１）花の形状判定
形状カテゴリは、次のように判定される。対象物の外接矩形の高さと幅の差が３割以上ある場合であって、高さの方が大きければ、「縦長な花」であると判定され、幅の方が大きければ、「横長な花」であると判定される。また、対象物の外接矩形の高さと幅の差が２割から１割の間である場合であって、対象物の面積が外接矩形に対して４割未満であれば、「細身な花」であると判定され、対象物の面積が外接矩形に対して４割以上であれば、「縦横が均一的な形をした花」であると判定される。さらに、対象物の外接矩形の高さと幅の差が１割未満である場合には、「縦横が均一的な形をした花」であると判定される。

（２）花の複雑度判定
花の複雑度は、次のように判定される。上述したように算出される花の複雑度が第１閾値未満であれば、「複雑ではない」と判定される。また、花の複雑度が第１閾値よりも大きい第２閾値以上であれば、「とても複雑である」と判定される。そして、花の複雑度が第１閾値以上第２閾値未満であれば、「複雑である」と判定される。

（３）花びらの形状判定
花びらの形状は、次のように判定される。花の形がジグザグしているかどうかを判定する。大小問わず花びらが１１枚以上ある場合には、「ジグザグしている」と判定される。ただし、この判定は、花の形状が「均一的な形をした花」と判定されたものだけについて行われる。また、長めの花びらと短めの花びらが同じ数であるかどうかを判定する。ただし、この判定は、花の形状が「均一的な形をした花」と判定されたものだけについて行われる。さらに、丸い形状の花であるかどうか判定される。たとえば、形状グラフにおいて、山の数が２以下の場合には、丸い形状、すなわち円形や楕円形の花であると判定する。

判定フラグは、正確に輪郭をとれているかどうかを判定するためのフラグであり、フラグのオン（成立）またはオフ（不成立）が１または０の数値で記述される。正確に輪郭をとれている場合には、判定フラグはオンであり、「１」が記述される。一方、正確に輪郭をとれていない場合には、判定フラグはオフであり、「０」が記述される。

ただし、次の３つの条件のいずれか１つでも満たす場合に、正確に輪郭をとれていないことが判定される。つまり、３つの条件のいずれも満たさない場合に、正確に輪郭をとれていることが判定される。

（１）花の輪郭（対象物）が画像の中心から離れている。具体的には、繰り抜き画像６００の中心に、画像サイズの３％の大きさの円を置いて、輪郭内にその円が含まれていない場合に、この条件（１）を満たすことが判断される。

（２）花の輪郭（対象物）の面積が極端に少ない。具体的には、画像サイズに対して、輪郭の面積が３％以下である場合に、この条件（２）を満たすことが判断される。

（３）花の輪郭（対象物）の重心が輪郭の外側である。具体的には、重心Ｇが輪郭の外側にある場合には、この条件（３）を満たすことが判断される。

なお、詳細な説明は省略するが、小花（花の大きさが２ｃｍ未満の花）については、形状情報は無視される。

図１９に戻って、条件情報としては、花の大きさ、開花時期、見かける度合、花の付き方、花の形、種別、花の向きおよび草丈などが該当する。

花の大きさは、花の外接円の直径の長さであり、平均的な長さが記述される。開花時期は、花が咲く時期（月日）であり、時期の初めと終わりの月日が記述される。見かける度合は、花を見かける頻度の大小であり、たとえば、一般的に良く知られており、全国的に見ることができる花については、見かける度合は高く設定される。一方、一般的にあまり知られておらず、一部の地域でしか見ることができない花については、見かける度合は低く設定される。ただし、それら以外の花については、見かける度合は中程度に設定される。

花の付き方は、花がどのようについているかを示す情報であり、この実施例では、「集まらない（一輪）」、「密集」、「長く連なる」、「その他」が記述される。「集まらない」に該当するのは、一輪で咲く花や、花と花との間が空いて咲いているものである。「密集」に該当するのは、一輪で咲く花ではなく、複数の花が比較的狭い範囲に集まっており、花と花の間に隙間がほとんどない状態のものである。「長く連なる」に該当するのは、一輪で咲く花ではなく、複数の花が長く連なっているものである。「その他」に該当するのは、「集まらない」、「密集」、「長く連なる」のいずれにも該当しないものである。

花の形は、１つの花の外観形状を示す情報であり、この実施例では、「花びらの枚数（３枚、４枚、５枚、６枚、たくさん）」、「花びらの見た目の形状（ラッパ・ベル、丸くない）」、「その他」が記述される。「花びらの枚数」および「花びらの見た目の形状」は例示のとおりであり、説明の必要はないと考える。「その他」に該当するのは、上記の「花びらの枚数」および「花びらの見た目の形状」で分類されないものである。

種別としては、「草花」、「木花」、「つる性の植物」のいずれかの種別が記述される。花の向きは、「上向き」、「下向き」、「その他」のいずれかの種別が記述される。ただし、「その他」に該当するのは、「上向き」および「下向き」のいずれにも該当しないものである。草丈は、草花の場合の草の背の高さであり、平均的な値が記述される。したがって、草花以外の花（植物）の場合には、草丈の欄は空欄にされる。

なお、図示および詳細な説明は省略するが、他の条件情報として、花の色、全体の形、環境、地域なども記述される。

画像情報は、花の縮小画像についての画像データである。この実施例では、予め縮小画像を用意して、検索用データに含めるようにしてあるが、電子図鑑において表示する画像からたとえばサムネイル画像を生成してもよい。

このように、検索用データは、種々の情報を含み、撮影した画像に含まれる花を検索する際に利用される。ここでは、撮影された画像から、それに含まれる花を検索する（調べる）方法について説明する。

まず、外側カメラ１８ｂおよび１８ｃを用いて検索対象の花を撮影することにより、それぞれの撮影画像に対応する撮影画像データが得られる。次に、撮影画像データから、上述した検索用データを作成する場合と同様にして、撮影した花の色情報を取得し、ヒストグラムを生成する。ただし、外側カメラ１８ｂおよび１８ｃの２つの撮影画像が取得されているが、ここでは、いずれか一方の撮影画像を用いてヒストグラムが生成される。また、ここでは、撮影画像のうち、丸枠の指示画像１５４ａで囲んだ部分が、図２０（Ｂ）および図２０（Ｃ）に示したように、２つの領域Ａおよび領域Ｂに分割される。ただし、指示画像１５４ａの丸枠が図２０（Ｂ）および図２０（Ｃ）に示した円６１０に相当する。

次に、撮影した花の形状情報を検索用データの作成方法と同じ方法で作成する。まず、撮影画像が２値化され、２値化された撮影画像を使用して、花の輪郭（輪郭線）が抽出される。

輪郭線が抽出されると、輪郭上の各ドットと花の画像の重心Ｇとの距離Ｔが順次測定されることにより、図２１（Ｂ）に示した形状グラフが生成される。この形状グラフに基づいて、上述したように、形状情報（形状の特徴量）を求める。ただし、形状情報は、短い花びらの枚数、長い花びらの枚数、花の周囲長、花の面積、花の形状の複雑度、花の輪郭に外接する矩形の幅、花の輪郭に外接する矩形の高さ、形状カテゴリおよび判定フラグである。

次に、撮影画像に基づいて、花の大きさ（花に外接する円の直径）を算出する。この実施例では、外側カメラ１８ｂ、１８ｃの視差から三角測量で、外側カメラ１８ｂおよび１８ｃと対象物（花）との距離が算出される。簡単に説明すると、この実施例では、外側カメラ（右カメラ）１８ｃの撮影画像の中央部の色情報（ＲＧＢの値）を取得する。次に、取得した色情報と、外側カメラ（左カメラ）１８ｂの画素間の差異を、水平方向にドット毎に中央から右端まで調べる。その結果、一番差が少なかった領域を一致候補とする。ただし、一致候補の画素間の差異が大きい場合には、対象物が外側カメラ１８ｂ、１８ｃ（ゲーム装置１０）と至近距離にあるものとして処理する。一方、一致候補の画素間の差異が小さい場合には、外側カメラ（左カメラ）１８ｂの撮影画像の中央から一致候補の領域までのドット数（ずれのドット数）を求める。

次に、求められたずれのドット数から外側カメラ（左カメラ）１８ｂから見た対象物の角度（第１角度）を算出する。この実施例では、外側カメラ（右カメラ）１８ｃが対象物を垂直にとらえていると仮定しているため、外側カメラ（右カメラ）１８ｃから対象物への角度（第２角度）は９０度とみなす。第１角度および第２角度と、外側カメラ１８ｂおよび外側カメラ１８ｃの位置関係（設置距離）から三角測量によって対象物までの距離が求められる。

そして、対象物までの距離と、外側カメラ１８ｂ、１８ｃの画角から撮影された花の大きさが求められる。大きさは、距離×ｔａｎ（水平画角）として算出される。ただし、この実施例では、指示画像１５４、１８０、１８２、１８４、１８６が示す枠に合わせて対象物（花）が撮影されていることを前提としてある。詳細な説明は省略するが、小花ファインダーが選択された場合には、一輪ファインダーが選択された場合とは異なり、中央部だけをトリミングした画像に基づいて対象物までの距離を算出するようにしてある。ただし、中央部は、図１０（Ｂ）に示した指示画像１８６で規定される範囲を意味する。

なお、詳細な説明は省略するが、小花ファインダー以外のファインダーが選択されている場合に、対象物が至近距離にあると判断された場合には、花を撮影し直すように誘導してもよいし、至近距離で撮影される場合の花の大きさを予め求めておき、その大きさを花の大きさとして推定してもよい。または、小花ファインダーを使用して撮影するように誘導してもよい。

撮影された花のヒストグラム、形状情報および大きさが求められると、検索用データベースに含まれる検索用データの篩分けをさらに行う。これは、上述したように、処理負荷を軽減するとともに、検索精度を高くするためである。この実施例では、形状情報に含まれる形状カテゴリに着目し、撮影された花についての形状カテゴリと異なる形状カテゴリの検索用データを検索対象から排除する。つまり、形状カテゴリが一致する検索用データのみが使用される。

形状カテゴリに応じた検索用データの篩分けが終わると、撮影された花のヒストグラム、形状情報および大きさが、使用するすべての検索用データと照合され、色の近似度、形状の合致度および大きさの合致度のそれぞれが評価される。この実施例では、近似度や合致度が高い程、高い得点が加算され、近似度や合致度が低い程、低い得点が加算される。詳細な説明は省略するが、ヒストグラムの近似度、形状の合致度および大きさの合致度は、いずれも０〜１の間で得点が決定される。ただし、いずれかの得点（近似度ないし合致度）を重視する場合には、重みづけしてもよい。

たとえば、色の近似度についての得点（スコア）が算出され、スコアの高い順に検索用データが示す花を並べたリスト（類似度リスト）が生成される。この類似度リストでは、花の名称ないしＩＤに対応して、色の近似度を示すスコアが記述され、スコアの高い順に並べられる。ただし、同じスコアの花については、ランダムに並べられる。

次に、形状の合致度のスコアが算出および加算される。形状の合致度は、長い花びらの枚数の差、短い花びらの枚数の差、複雑度の差および面積の差に基づいて算出される。それぞれの要素ついて、０から１の間でスコアが算出され、各スコアが４で割られる。ただし、長い花びらの枚数や短い花びらの枚数が対象物（撮影された花）よりも多い場合には、スコアは０に設定される。また、それぞれの要素は、合致度が高い程、スコアが高く設定され、合致度が低い程、スコアが低く設定される。

さらに、花の大きさの合致度のスコアが算出および加算される。花の大きさのスコアもまた、０から１の間で設定される。花の大きさの合致度が大きい程、スコアが高く設定され、合致度が低い程、スコアが低く設定される。

また、この実施例では、暦が開花時期と一致する場合には、スコアを１加算し、一致しない場合には、スコアを加算しない。具体的には、ゲーム装置１０に設定されているカレンダが示す月日が、検索用データの条件情報に含まれる開花時期に含まれているかどうかを判断する。

詳細な説明は省略するが、ゲーム装置１０では、マイコン５６にカレンダが設定されており、ＲＴＣ５６ａでカウントされる時刻情報に基づいて、カレンダが更新される。したがって、マイコン５６で管理されるカレンダが参照されるのである。

さらに、見かける度合のスコアが加算される。見かける度合は、上述したように、高い、低い、中程度に設定されており、高い場合にはスコアに１加算され、中程度の場合にはスコアが０．５加算され、低い場合には、スコアを加算しない。

このようにして、形状の合致度、花の大きさの合致度、開花時期の一致度および見かける度合についてのスコアが加算されると、類似度リストは、スコアの高い順に並べ替えられる。

この実施例では、続いて、ユーザに第１条件および第２条件（この実施例では、花の形、種類）を選択させて、類似度リストに含まれる候補を絞り込むことにより、検索結果を得るようにしてある。これは、花の付き方、花の向きおよび形状カテゴリで篩分けしただけでは、候補が多すぎてしまうからである。

さらに、ユーザが絞り込みの条件を設定した場合には、検索結果の候補から、絞り込みの条件に合う候補のみが抽出される。

図２２は、図４に示したメインメモリ５０のメモリマップ８００の一例を示す。図２２に示すように、メインメモリ５０は、プログラム記憶領域８０２およびデータ記憶領域８０４を含む。プログラム記憶領域８０２には、情報処理プログラムすなわちこの実施例のアプリケーションのプログラムが記憶される。情報処理プログラムは、メイン処理プログラム８０２ａ、撮影プログラム８０２ｂ、篩分けプログラム８０２ｃ、色情報生成プログラム８０２ｄ、形状情報生成プログラム８０２ｅ、スコア算出プログラム８０２ｆ、リスト作成プログラム８０２ｇ、検索結果表示プログラム８０２ｈ、絞り込みプログラム８０２ｉおよび詳細情報表示プログラム８０２ｊなどによって構成される。

メイン処理プログラム８０２ａは、この実施例のアプリケーションのメインルーチンを処理するためのプログラムである。撮影プログラム８０２ｂは、カメラ１８ａ−１８ｃを用いて、２Ｄ画像または３Ｄ画像を撮影するためのプログラムである。また、撮影プログラム８０２ｂは、撮影指示が与えられる前では、ユーザの指示に従ってファインダーを選択したり、スルー画像の色を取得して指示画像１５４、１８０、１８２、１８４、１８６の色を変化させたりするためのプログラムでもある。

篩分けプログラム８０２ｃは、検索データベースに含まれる検索用データを篩分けるためのプログラムである。具体的には、撮影に使用されたファインダーが示す花の付き方および花の向きに応じて、これらの条件に合わない検索用データが検索候補から削除される。さらに、後述するように、形状情報生成プログラム８０２ｅに従って生成された形状情報に含まれる形状カテゴリに応じて、異なる形状カテゴリの検索用データが検索候補から削除される。

色情報生成プログラム８０２ｄは、撮影画像から色情報（ＲＧＢ）を取得し、取得した色情報からヒストグラムを生成するためのプログラムである。

形状情報生成プログラム８０２ｅは、撮影画像から形状グラフを作成し、形状情報（短い花びらの枚数、長い花びらの枚数、花の周囲長、花の面積、花の形状の複雑度、花の輪郭に外接する矩形の幅、花の輪郭に外接する矩形の高さ、形状カテゴリおよび判定フラグ）を生成するためのプログラムである。

スコア算出プログラム８０２ｆは、撮影画像（撮影された花）についてのヒストグラム、形状情報および大きさを用いて、使用する各検索用データのそれぞれとの類似度を示すスコアを算出するためのプログラムである。リスト作成プログラム８０２ｇは、スコア算出プログラム８０２ｆに従って算出される類似度を示すスコアおよび開花時期の一致度および見かける度合のスコアを用いて、スコアの高い順に候補の花を並べた類似リストを作成するためのプログラムである。

検索結果表示プログラム８０２ｈは、類似リストから第１条件および第２条件に合致する候補を抽出して、検索結果として表示するためのプログラムである。絞り込みプログラム８０２ｉは、ユーザが選択した絞り込みの条件に合致する候補を、検索結果の候補から絞り込むためのプログラムである。詳細情報表示プログラム８０２ｊは、後述する図鑑データ８０４ｂを用いて、ユーザが選択した候補の花（縮小画像）についての静止画像、解説または回転画像などを表示するためのプログラムである。

図示は省略するが、プログラム記憶領域８０２には、各種データをバックアップするためのプログラムや音（効果音、ＢＧＭ）を出力するためのプログラムなども記憶される。

図２３には、データ記憶領域８０４の具体的な内容が示される。図２３に示すように、データ記憶領域８０４は、検索用データベース８０４ａ、図鑑データ８０４ｂ、ファインダーデータ８０４ｃ、撮影画像データ８０４ｄ、色情報データ８０４ｅ、形状情報データ８０４ｆ、大きさデータ８０４ｇ、条件データ８０４ｈ、類似リストデータ８０４ｉおよび回転角度データ８０４ｊが記憶される。

検索用データベース８０４ａは、電子図鑑（図鑑データ８０４ｂ）に収録されたすべての花についての検索用データのデータベースである。図鑑データ８０４ｂは、電子図鑑についてのデータである。具体的には、図２４に示すように、図鑑データ８０４ｂは、各花の詳細情報データ８５０、８５２、…を含む。詳細情報データ８５０は、名称（ＩＤ）データ８５０ａ、字幕データ８５０ｂ、解説データ８５０ｃ、静止画像データ８５０ｄおよび回転画像データ８５０ｅを含む。

名称（ＩＤ）データ８５０ａは、当該花の名称（ＩＤ）についてのデータである。字幕データ８５０ｂは、当該花の種類（科名、属名）および原産国についての文字情報のデータであり、テロップの表示に使用される。解説データ８５０ｃは、当該花の静止画像および解説文についてのデータである。静止画像データ８５０ｄは、当該花についての静止画像のデータであり、この静止画像は、３Ｄ画像である。回転画像データ８５０ｅは、当該花についての回転画像のデータであり、この回転画像は、水平方向における所定角度ずつ回転させた場合（たとえば、３６０度を１度刻み）の３Ｄ画像である。

図２３に戻って、ファインダーデータ８０４ｃは、撮影時に使用されたファインダーに応じて決定される花の付き方、花の大小、花の向きについてのデータである。ただし、花の付き方としては、「集まらない（一輪）」、「密集」または「長く連なる」が記述される。また、花の大小としては、「小花」または「それ以外」が記述される。さらに、「花の向き」としては、「下向き」または「下向き以外」が記述される。

撮影画像データ８０４ｄは、外側カメラ１８ｂ、１８ｃのそれぞれで撮影された画像についてのデータである。色情報データ８０４ｅは、上述した色情報プログラム８０２ｄに従って生成されたヒストグラムのデータである。

形状情報データ８０４ｆは、形状情報生成プログラム８０２ｅに従って生成された形状情報（短い花びらの枚数、長い花びらの枚数、花の周囲長、花の面積、花の形状の複雑度、花の輪郭に外接する矩形の幅、花の輪郭に外接する矩形の高さ、形状カテゴリおよび判定フラグ）についてのデータである。大きさデータ８０４ｇは、撮影された花の大きさについてのデータである。

条件データ８０４ｈは、第１条件および第２条件および絞り込み条件についてのデータである。類似リストデータ８０４ｉは、リスト作成プログラム８０２ｇによって生成され、絞り込みプログラム８０２ｉに従って絞り込まれた類似リストについてのデータである。回転角度データ８０４ｊは、回転画像を表示する場合の回転角度についてのデータである。

図示は省略するが、データ記憶領域８０４には、この実施例のアプリケーション（情報処理）の実行に必要な他のデータが記憶されたり、その実行に必要なフラグやカウンタ（タイマ）が設けられたりする。

図２５−図２８は、上述したカメラで花調べのモードを実行するためのＣＰＵ４４ａの処理（花調べの処理）を示すフロー図である。上述したように、タイトル画面１００で、ボタン画像１０４がオンされると、図２５に示すように、花調べ処理を開始し、ステップＳ１で、後述する撮影処理（図３１参照）を実行する。

次のステップＳ３では、花の付き方、花の大小および花の向きに基づいて検索用データを篩分ける。つまり、撮影に使用されたファインダーで決まる花の構成（特徴）に合わない検索処理に使用する対象から排除される。たとえば、ファインダーデータ８０４ｃが示す花の付き方として「集まらない（一輪）」が記述されている場合には、「密集」および「長く連なる」が記述された検索用データは削除される。また、たとえば、ファインダーデータ８０４ｃが示す花の大小として「小花」が記述されている場合には、花の大きさとして２ｃｍ以上の数値が記述された検索用データは削除される。さらに、たとえば、ファインダーデータ８０４ｃが示す花の向きとして「下向き」が記述されている場合には、花の向きとして「下向き」以外が記述されている検索用データは削除される。これらは例示であり、他の場合も同様である。したがって、検索処理に使用する検索用データの数が低減される。

続いて、ステップＳ５では、撮影した花の色情報を生成する。つまり、上述したように、領域Ａおよび領域Ｂについてのヒストグラムのデータが生成される。続いてステップＳ７では、撮影した花の形状情報を生成する。つまり、上述したように、短い花びらの枚数、長い花びらの枚数、花の周囲長、花の面積、花の形状の複雑度、花の輪郭に外接する矩形の幅、花の輪郭に外接する矩形の高さ、形状カテゴリおよび判定フラグについてのデータが生成される。

続くステップＳ９では、Ｌカメラ（外側カメラ１８ｂ）とＲカメラ（外側カメラ１８ｃ）との視差から被写体（花）との距離を算出する。そして、ステップＳ１１で、撮影された花の大きさを算出する。次のステップＳ１３では、形状カテゴリに基づいて検索用データを篩分ける。したがって、形状カテゴリが異なる検索用データは、検索処理に使用する対象から排除され、検索処理に使用する検索用データの数がさらに低減される。

ただし、撮影したときに小花ファインダーが使用された場合には、花の形状については無視するため、ステップＳ７およびステップＳ１３の処理については省略される。

ステップＳ１５では、生成した色情報に応じてスコアを算出し、ステップＳ１７で、スコアの高い順に並べた類似リストを生成する。次にステップＳ１９で、生成した形状情報に応じた合致度のスコアを加算し、ステップＳ２１で、花の大きさに応じた合致度のスコアを加算する。さらに、図２６に示すステップＳ２３で、本体のカレンダと開花時期の合致度のスコアを加算し、ステップＳ２５で、見かける度合のスコアを加算する。

次のステップＳ２７では、類似リストをスコアの高い順に並べ替える。続くステップＳ３３では、図１１に示したような第１条件入力画面２５０を表示する。次のステップＳ３５では、第１条件が入力されたかどうかを判断する。ここでは、ＣＰＵ４４ａは、ボタン画像２７２−２８８のいずれかがオンされた状態で、ボタン画像２９２がオンされたかどうかを判断する。

ステップＳ３５で“ＮＯ”であれば、つまり第１条件が入力されていなければ、そのままステップＳ３５に戻る。図示は省略するが、ボタン画像２９０がオンされた場合には、撮影をし直すために、図２５に示したステップＳ１に戻る。このとき、撮影画像データ８０４ｄ、色情報データ８０４ｅ、形状情報データ８０４ｆ、大きさデータ８０４ｇ、条件データ８０４ｈ、類似リストデータ８０４ｉはクリアされる。以下、撮り直しが選択された場合について同様である。

一方、ステップＳ３５で“ＹＥＳ”であれば、つまり第１条件が入力されれば、ステップＳ３７で、第１条件を記憶する。つまり、条件データ８０４ｈが更新される。次のステップＳ３９では、図１２に示したような第２条件入力画面３００を表示する。続いて、ステップＳ４１では、第２条件が入力されたかどうかを判断する。ここでは、ＣＰＵ４４ａは、ボタン画像３２２−３２８のいずれかがオンされた状態で、ボタン画像３３２がオンされたかどうかを判断する。

ステップＳ４１で“ＮＯ”であれば、つまり第２条件が入力されていなければ、そのままステップＳ４１に戻る。図示は省略するが、ボタン画像３３０がオンされた場合には、ステップＳ３３に戻る。一方、ステップＳ４１で“ＹＥＳ”であれば、第２条件を記憶する。つまり、条件データ８０４ｈが更新される。そして、ステップＳ４５で、条件で候補を選別する。つまり、ＣＰＵ４４ａは、類似リストから、第１条件および第２条件に合わない候補を削除する。

図２７に示すように、次のステップＳ４７では、図１３に示したような検索結果画面３５０を表示する。続くステップＳ４９では、候補を絞り込むかどうかを判断する。つまり、ＣＰＵ４４ａは、ボタン画像３７２がオンされたかどうかを判断する。

ステップＳ４９で“ＮＯ”であれば、つまり候補を絞り込まない場合には、ステップＳ５１で、花が選択されたかどうかを判断する。ここでは、ＣＰＵ４４ａは、表示領域３７４に表示されたいずれかの縮小画像がオンされた状態で、ボタン画像３８０がオンされたかどうかを判断する。ステップＳ５１で“ＮＯ”であれば、つまり花が選択されていなければ、そのままステップＳ４９に戻る。一方、ステップＳ５１で“ＹＥＳ”であれば、つまり花が選択されれば、図２８に示すステップＳ７３に進む。

一方、ステップＳ４９で“ＹＥＳ”であれば、つまり候補を絞り込む場合には、ステップＳ５３で、図１４に示したような絞り込み条件選択画面４００を表示する。次のステップＳ５５では、絞り込みの条件が選択されたかどうかを判断する。ここでは、ＣＰＵ４４ａは、表示領域４２４に表示されたいずれかのボタン画像がオンされたかどうかを判断する。

ステップＳ５５で“ＮＯ”であれば、つまり表示領域４２４に表示されたボタン画像がいずれもオンされていなければ、ステップＳ５７で、結果を見るかどうかを判断する。つまり、ＣＰＵ４４ａは、ボタン画像４２８がオンされたかどうかを判断する。ステップＳ５７で“ＮＯ”であれば、つまり結果を見ない場合には、そのままステップＳ５５に戻る。図示は省略するが、ボタン画像４２６がオンされれば、撮影し直すことが判断され、ステップＳ１に戻る。一方、ステップＳ５７で“ＹＥＳ”であれば、つまり結果を見る場合には、図２８に示すステップＳ６９に進む。

一方、ステップＳ５５で“ＹＥＳ”であれば、つまり絞り込み条件の選択があれば、ステップＳ５９で、図１５に示したような絞り込みの条件に応じた絞り込み条件設定画面（４５０）を表示する。続くステップＳ６１では、絞り込み条件に合う花のみを表示する。つまり、表示領域４５８には、絞り込み条件に応じて、絞り込まれた候補（花）についての縮小画像が表示される。

そして、ステップＳ６３で、絞り込みの条件を決定するかどうかを判断する。たとえば、図１５の絞り込み条件設定画面４５０では、ＣＰＵ４４ａは、草丈が選択された状態で、ボタン画像４８０がオンされたかどうかを判断する。

ステップＳ６３で“ＹＥＳ”であれば、つまり絞り込みの条件が決定されれば、ステップＳ６５で、絞り込み条件を設定して、つまり条件データ８０４ｈを更新して、ステップＳ５３に戻る。一方、ステップＳ６３で“ＮＯ”であれば、つまり絞り込みの条件が決定されていなければ、ステップＳ６７で、パスかどうかを判断する。たとえば、図１５の絞り込み条件設定画面４５０では、ＣＰＵ４４ａは、ボタン画像４７８がオンされたかどうかを判断する。

ステップＳ６７で“ＮＯ”であれば、つまり絞り込みの条件もパスも決定されていなければ、そのままステップＳ６３に戻る。一方、ステップＳ６７で“ＹＥＳ”であれば、つまりパスであれば、そのままステップＳ５３に戻る。

図２８に示すように、ステップＳ６９では、絞り込んだ結果（絞り込み結果画面）を表示する。つまり、検索結果から絞り込みの条件に一致しない候補が排除される。続くステップＳ７１では、花が選択されたかどうかを判断する。ここでは、ＣＰＵ４４ａは、絞り込み結果画面で、候補の花についての縮小画像を選択したかどうかを判断する。ステップＳ７１“ＮＯ”であれば、つまり花が選択されていなければ、そのままステップＳ７１に戻る。一方、ステップＳ７１で“ＹＥＳ”であれば、つまり花が選択されれば、ステップＳ７３で、選択された花の図鑑画面を表示する。ここでは、選択された花の詳細情報を表示するべく、図１６に示したような図鑑画面５５０が表示される。

続くステップＳ７５では、解説を見るかどうかを判断する。ここでは、ＣＰＵ４４ａは、ボタン画像５６４がオンされたかどうかを判断する。以下、同様である。ステップＳ７５で“ＹＥＳ”であれば、つまり解説を見る場合には、図２９に示すステップＳ８１に進む。一方、ステップＳ７５で“ＮＯ”であれば、つまり解説を見ない場合には、ステップＳ７７で、回転画像を見るかどうかを判断する。ここでは、ＣＰＵ４４ａは、ボタン画像５６６がオンされたかどうかを判断する。以下、同様である。

ステップＳ７７で“ＹＥＳ”であれば、つまり回転画像を見る場合には、図３０に示すステップＳ８９に進む。一方、ステップＳ７７で“ＮＯ”であれば、つまり回転画像を見ない場合には、ステップＳ７９で、終了かどうかを判断する。詳細な説明は省略するが、終了の指示は、ユーザによって入力される。以下、同様である。ステップＳ７９で“ＮＯ”であれば、つまり終了でなければ、そのままステップＳ７５に戻る。一方、ステップＳ７９で“ＹＥＳ”であれば、つまり終了であれば、花調べの処理を終了する。

図示は省略したが、図２９に示すステップＳ８１では、解説が表示された図鑑画面５５０を表示する。続くステップＳ８３では、静止画像を見るかどうかを判断する。ここでは、ＣＰＵ４４ａは、ボタン画像５６２がオンされたかどうかを判断する。以下、同様である。ステップＳ８３で“ＹＥＳ”であれば、つまり静止画像を見る場合には、図２８に示したステップＳ７３に戻る。一方、ステップＳ８３で“ＮＯ”であれば、つまり静止画像を見ない場合には、ステップＳ８５で、回転画像を見るかどうかを判断する。

ステップＳ８５で“ＹＥＳ”であれば、図３０のステップＳ８９に進む。一方、ステップＳ８５で“ＮＯ”であれば、ステップＳ８７で、終了かどうかを判断する。ステップＳ８７で“ＮＯ”であれば、そのままステップＳ８３に戻る。一方、ステップＳ８７で“ＹＥＳ”であれば、花調べの処理を終了する。

図３０に示すように、ステップＳ８９では、図１７に示したような図鑑画像５５０が表示される。ここでは、上画面５５０ａの表示領域５５４に回転画像が表示される。次のステップＳ９１では、回転の指示があるかどうかを判断する。つまり、ＣＰＵ４４ａは、操作データを常に検出しており、回転ボタン画像５８０が操作されたかどうかを判断し、回転角度に応じた回転角度データ８０４ｊをデータ記憶領域８０４に記憶（上書き）する。

ステップＳ９１で“ＹＥＳ”であれば、つまり回転の指示があれば、ステップＳ９３で、花の画像を操作に従って回転表示して、ステップＳ９１に戻る。ステップＳ９３では、ＣＰＵ４４ａは、回転角度データ８０４ｊが示す回転角度に対応して記憶される立体視画像を表示領域５５４に表示する。

一方、ステップＳ９１で“ＮＯ”であれば、つまり回転の指示がなければ、ステップＳ９５で、静止画像を見るかどうかを判断する。ステップＳ９５で“ＹＥＳ”であれば、図２８に示したステップＳ７３に戻る。一方、ステップＳ９５で“ＮＯ”であれば、ステップＳ９７で、解説を見るかどうかを判断する。ステップＳ９７で“ＹＥＳ”であれば、図２９に示したステップＳ８１に戻る。一方、ステップＳ９７で“ＮＯ”であれば、ステップＳ９９で、終了かどうかを判断する。ステップＳ９９で“ＮＯ”であれば、そのままステップＳ９１に戻る。一方、ステップＳ９９で“ＹＥＳ”であれば、つまり終了であれば、花調べの処理を終了する。

なお、図示は省略したが、図鑑画面５５０でボタン画像５７０がオンされた場合には、ＣＰＵ４４ａは、テロップを表示／非表示する。また、図示は省略したが、図鑑画面５５０でボタン画像５７２がオンされた場合には、ＣＰＵ４４ａは、図鑑画面５５０を表示する直前に表示されていた検索結果画面３５０または絞り込みの結果画面に戻る。さらに、図示は省略したが、図鑑画面５５０でボタン画像５７４がオンされた場合には、ＣＰＵ４４ａは、ユーザが撮影した花の画像がアルバム形式で表示されるモードに移行する。このとき、花調べの処理は終了される。

図３１は、図２５に示したステップＳ１の撮影処理のフロー図である。図３１に示すように、ＣＰＵ４４ａは、撮影処理を開始すると、ステップＳ１１１で、外側カメラ１８ｂ、１８ｃを起動し、ステップＳ１１３で、図８に示した撮影画面１５０を立体ＬＣＤ１２および下ＬＣＤ１４に表示する。そして、ステップＳ１１５で、花の付き方、花の大小および花の向きを記憶する。つまり、ファインダーデータ８０４ｃが記憶される。

続くステップＳ１１７では、外側カメラ１８ｂ、１８ｃで取り込まれるスルー画像を上画面１５０ａに表示する。次のステップＳ１１９では、スルー画像の色を取得する。ここでは、上画面１５０ａに表示されるスルー画像のうち、指示画像（１５４、１８０、１８２、１８４、１８６）が表示されている１点または２点以上の座標の色情報を取得する。そして、ステップＳ１２１で、指示画像（１５４、１８０、１８２、１８４、１８６）を、取得したスルー画像の色の補色で表示する。つまり、指示画像（１５４、１８０、１８２、１８４、１８６）の色がスルー画像（背景）の色に応じて変化される。

そして、ステップＳ１２３では、ファインダーの種類が変更されたかどうかを判断する。ここでは、ボタン画像１７２ａまたはボタン画像１７２ｂがオン（タッチ）されたり、十字キー２４ｇまたはアナログパッド２６の左押しボタンおよび右押しボタンが操作されたりしたかどうかを判断する。

ステップＳ１２３で“ＮＯ”であれば、つまりファインダーの種類が変更されていなければ、そのままステップＳ１２９に進む。一方、ステップＳ１２３で“ＹＥＳ”であれば、つまりファインダーの種類が変更されると、ステップＳ１２５で、ファインダーを変更する。つまり、ＣＰＵ４４ａは、ユーザの操作に従って表示領域１７２ｃの表示を変更し、当該表示領域１７２ｃに表示されたファインダーの指示画像（１５４、１８０、１８２、１８４、１８６）および目盛画像（１５６、１９０）を表示する。また、表示領域１５８に選択されたファインダーの種類を表示し、表示領域１７０に選択されたファインダーについての説明文を表示する。そして、ステップＳ１２７で、花の付き方、花の大小および花の向きを変更し、ステップＳ１２９に進む。つまり、ステップＳ１２７では、ファインダーデータ８０４ｃを更新する。

ステップＳ１２９では、撮影指示があるかどうかを判断する。つまり、ＣＰＵ４４ａは、ボタン画像１７４がオン（タッチ）されたり、Ａボタン２４ａ、Ｌボタン２４ｅまたはＲボタン２４ｆが操作されたりしたかどうかを判断する。ステップＳ１２９で“ＮＯ”であれば、つまり撮影指示が無ければ、ステップＳ１１７に戻る。一方、ステップＳ１２９で“ＹＥＳ”であれば、つまり撮影指示が有れば、ステップＳ１３１で、外側カメラ１８ｂ、１８ｃの撮影画像（３Ｄ画像）に対応する撮影画像データ８０４ｄをデータ記憶領域８０４に記憶して、花調べの処理に戻る。

なお、この実施例では、ステップＳ１２９で“ＮＯ”である場合には、そのままステップＳ１１７に戻るようにしたが、上述したように、撮影画面１５０でボタン画像１７６がオンされた場合には、撮影処理を終了して、タイトル画面１００に戻る。

この実施例によれば、撮影に使用されたファインダーで決定される花の付き方、花の大小および花の向きとは異なる検索用データを篩分けるとともに、撮影画像から算出した花の形状に基づいて分類したカテゴリとは異なるカテゴリの検索用データをさらに篩分けるので、検索する対象の検索用データの数を低減することができる。したがって、処理負担および時間の浪費を出来る限り防止することができ、検索精度を高くすることができる。

また、この実施例では、立体視画像を含む情報を提示するので、興趣性の高い情報を提示することができる。特に、対象を撮像しながら対象の情報を見ることができるので、実際の対象と立体視画像を見比べることができ、検索結果をより楽しむことができる。さらに、撮影した花を正確に調べることができる。

さらに、この実施例では、ユーザが選択したファインダーによって、検索用データが篩分けられるので、検索結果を見たユーザは、自身の選択が正しいかどうかを知ることができ、撮影画像から花を検索することをより楽しむことができる。

なお、この実施例では、対象物として花を調べるようにしたが、これに限定される必要はない。たとえば、昆虫、魚、車、オートバイ、看板、野菜、果物（果実）のような自然物、天然物および人工物についても適用することが可能である。

また、この実施例に示したゲーム装置の構成に限定される必要はない。たとえば、ＬＣＤは１つでもよいし、タッチパネルは設けなくてもよい。また、タッチパネルを２つのＬＣＤ上に設けるようにしてもよい。

さらに、この発明は、情報処理のための各処理が複数のコンピュータ等によって分散処理されるような情報処理システムにも適用可能である。

さらにまた、この実施例では、ゲーム装置で花を撮影し、その候補を検索して、選択された候補についての詳細情報を提示するようにしたが、これに限定される必要はない。たとえば、サーバ・クライアント型のネットワークを構成することにより、サーバとゲーム装置とが通信することにより、実施例で示した花調べの処理が実行されてもよい。かかる場合には、ゲーム装置は、ユーザの操作に従って花を撮影するとともに、撮影画像に基づいて対象物（花）までの距離を算出し、さらに、ユーザに第１条件および第２条件を設定させて、ファインダーデータ、撮影画像、対象物までの距離および第１条件および第２条件を、ネットワークを介してサーバに送信する。これに応じて、サーバは、使用する検索用データを篩分けし、類似度リストを作成するとともに、検索結果を求め、ゲーム装置に検索結果を送信する。さらに、ゲーム装置において、検索結果から絞り込みの条件が設定されると、この絞り込みの条件がサーバに送信される。したがって、サーバは、検索結果から絞り込みの条件に合致するものを抽出し、絞り込んだ結果をゲーム装置に送信する。また、ゲーム装置が選択した候補をサーバに通知し、これに応じてサーバは、通知された候補についての詳細情報をゲーム装置に送信する。したがって、ゲーム装置では、詳細情報がユーザに提示される。

１０ …ゲーム装置
１２ …立体ＬＣＤ
１２ａ …ＬＣＤコントローラ
１２ｂ …バリア液晶
１２ｃ …上ＬＣＤ
１４ …下ＬＣＤ
１６ …タッチパネル
１８ａ−１８ｃ …カメラ（内側，外側左，外側右）
２０ …３Ｄ調整スイッチ（３Ｄ Ｖｏｌ）
２０Ａ …３Ｄランプ
３０ …マイク
２４ａ−２４ｋ …ボタン（キー）
２６ …アナログパッド
４４ …ＳｏＣ
４４ａ …ＣＰＵ
４４ｂ …ＧＰＵ
４４ｃ …ＶＲＡＭ
５０ …メインメモリ
５４ …加速度センサ
Ｓｄ …スライダ
ＩＣＬ，ＩＣＲ …仮想カメラ（左，右）

Claims (14)

1. 立体視表示が可能な表示部と、
   同一平面内に設けられる複数の撮像部と、
   前記表示部に前記複数の撮像部によって撮像されるスルー画像を表示する表示制御部と、
   前記スルー画像に重畳させて、撮影の指標となる所定の指標画像を表示する指標画像表示部と、
   撮像対象の構成の第１特徴に応じた前記所定の指標画像を選択させる指標画像選択部と、
   前記複数の撮影部によって撮影処理が実行されたとき、前記指標画像選択部によって選択された所定の指標画像に対応する撮像対象の構成の第１特徴に基づいて、予め収録された複数の検索対象の数を低減する第１低減部と、
   前記複数の撮像部によって撮影された撮影画像に基づいて、撮像対象の大きさを判定する判定部と、
   前記撮影画像から判定した前記撮像対象の形状の第２特徴に基づいて、前記第１低減部によって低減された複数の検索対象の数をさらに低減する第２低減部と、
   前記撮像対象の大きさと前記撮影画像の特徴とに基づいて、前記撮像対象と前記第２低減部によって低減された検索対象との類似度を算出する算出部と、
   前記算出部によって算出された類似度の高い検索対象を候補として提示する候補提示部を備える、情報処理装置。
2. 前記撮像対象についての所定の条件を選択させる条件選択部と、
   前記条件選択部によって選択された所定の条件に該当しない前記検索対象を候補から削除する削除部をさらに備え、
   前記候補提示は、前記削除部によって削除されていない候補の検索対象を提示する、請求項１記載の情報処理装置。
3. 前記撮影画像の特徴は、色情報である、請求項１または２記載の情報処理装置。
4. 前記撮影画像の特徴は、対象物の形状に関する情報である、請求項１ないし３のいずれかに記載の情報処理装置。
5. 前記判定部は、２つの撮像部の視差を検出し、この視差に相当する距離と、当該２つの撮像部の設定距離とから前記撮像対象との距離を算出する距離算出部、および距離算出部によって算出された前記撮像対象との距離と、前記撮像部の画角とから、前記撮像対象の大きさを算出する大きさ算出部を含む、請求項１ないし４のいずれかに記載の情報処理装置。
6. 前記撮像対象を見かける度合に応じて前記類似度を上昇させる、類似度上昇部をさらに備える、請求項１ないし５のいずれかに記載の情報処理装置。
7. 前記候補提示部によって提示された候補の検索対象のうち選択された検索対象に関する立体視画像を含む情報を、前記表示部を用いて提示する情報提示部をさらに備える、請求項１ないし６のいずれかに記載の情報処理装置。
8. 前記表示制御部は、前記スルー画像の色を取得する色取得部と、前記所定の指標画像の色を前記スルー画像の色と異なるものとする色設定部を含む、請求項１ないし７のいずれかに記載の情報処理装置。
9. 前記色設定部は、前記所定の指標画像の色を、前記スルー画像の色の補色とする、請求項８記載の情報処理装置。
10. 前記色取得部は、前記所定の指標画像の配置される位置における前記スルー画像の色を取得する、請求項８または９記載の情報処理装置。
11. 前記所定の指標画像は、少なくとも撮像対象の大きさを所定の大きさに合わせるための枠状の線画像である、請求項８ないし１０のいずれかに記載の情報処理装置。
12. 立体視表示が可能な表示部と、同一平面内に設けられる複数の撮像部とを備える情報処理装置の情報処理プログラムであって、
    情報処理装置のコンピュータを、
    前記表示部に前記複数の撮像部によって撮像されるスルー画像を表示する表示制御部と、
    前記スルー画像に重畳させて、撮影の指標となる所定の指標画像を表示する指標画像表示部と、
    撮像対象の構成の第１特徴に応じた前記所定の指標画像を選択させる指標画像選択部と、
    前記複数の撮影部によって撮影処理が実行されたとき、前記指標画像選択部によって選択された所定の指標画像に対応する撮像対象の構成の第１特徴に基づいて、予め収録された複数の検索対象の数を低減する第１低減部と、
    前記複数の撮像部によって撮影された撮影画像に基づいて、撮像対象の大きさを判定する判定部と、
    前記撮影画像から判定した前記撮像対象の形状の第２特徴に基づいて、前記第１低減部によって低減された複数の検索対象の数をさらに低減する第２低減部と、
    前記撮像対象の大きさと前記撮影画像の特徴とに基づいて、前記撮像対象と前記第２低減部によって低減された検索対象との類似度を算出する算出部と、
    前記算出部によって算出された類似度の高い検索対象を候補として提示する候補提示部として機能させる、情報処理プログラム。
13. 立体視表示が可能な表示部と、同一平面内に設けられる複数の撮像部を備える情報処理装置の情報処理方法であって、
    情報処理装置のコンピュータは、
    （ａ）前記表示部に前記複数の撮像部によって撮像されるスルー画像を表示し、
    （ｂ）前記スルー画像に重畳させて、撮影の指標となる所定の指標画像を表示し、
    （ｃ）撮像対象の構成の第１特徴に応じた前記所定の指標画像を選択させ、
    （ｄ）前記複数の撮影部によって撮影処理が実行されたとき、前記ステップ（ｃ）において選択された所定の指標画像に対応する撮像対象の構成の第１特徴に基づいて、予め収録された複数の検索対象の数を低減し、
    （ｄ）前記複数の撮像部によって撮影された撮影画像に基づいて、撮像対象の大きさを判定し、
    （ｅ）前記撮影画像から判定した前記撮像対象の形状の第２特徴に基づいて、前記第１低減部によって低減された複数の検索対象の数をさらに低減し、
    （ｆ）前記撮像対象の大きさと前記撮影画像の特徴とに基づいて、前記撮像対象と前記ステップ（ｅ）によって低減された検索対象との類似度を算出し、そして
    （ｇ）前記ステップ（ｆ）によって算出された類似度の高い検索対象を候補として提示する、情報処理方法。
14. 立体視表示が可能な表示部と、同一平面内に設けられる複数の撮像部とを備える情報処理システムであって、
    前記表示部に前記複数の撮像部によって撮像されるスルー画像を表示する表示制御部と、
    前記スルー画像に重畳させて、撮影の指標となる所定の指標画像を表示する指標画像表示部と、
    撮像対象の構成の第１特徴に応じた前記所定の指標画像を選択させる指標画像選択部と、
    前記複数の撮影部によって撮影処理が実行されたとき、前記指標画像選択部によって選択された所定の指標画像に対応する撮像対象の構成の第１特徴に基づいて、予め収録された複数の検索対象の数を低減する第１低減部と、
    前記複数の撮像部によって撮影された撮影画像に基づいて、撮像対象の大きさを判定する判定部と、
    前記撮影画像から判定した前記撮像対象の形状の第２特徴に基づいて、前記第１低減部によって低減された複数の検索対象の数をさらに低減する第２低減部と、
    前記撮像対象の大きさと前記撮影画像の特徴とに基づいて、前記撮像対象と前記第２低減部によって低減された検索対象との類似度を算出する算出部と、
    前記算出部によって算出された類似度の高い検索対象を候補として提示する候補提示部を備える、情報処理システム。

Images