JPWO2011004612A1 - マーカ表示制御装置、集積回路、及び、マーカ表示制御方法 - Google Patents

マーカ表示制御装置、集積回路、及び、マーカ表示制御方法 Download PDF

Info

Publication number
JPWO2011004612A1
JPWO2011004612A1 JP2011521829A JP2011521829A JPWO2011004612A1 JP WO2011004612 A1 JPWO2011004612 A1 JP WO2011004612A1 JP 2011521829 A JP2011521829 A JP 2011521829A JP 2011521829 A JP2011521829 A JP 2011521829A JP WO2011004612 A1 JPWO2011004612 A1 JP WO2011004612A1
Authority
JP
Japan
Prior art keywords
marker
display
information
unit
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011521829A
Other languages
English (en)
Inventor
安紘 土田
安紘 土田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2011004612A1 publication Critical patent/JPWO2011004612A1/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8583—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by creating hot-spots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto

Abstract

表示装置に表示させたマーカの検出を容易にしながら、表示装置の表示内容の見づらさを低減し得るマーカ表示制御装置を提供することを目的とする。マーカ表示制御装置は、表示装置を撮影した画像からマーカを検出するマーカ検出部と、マーカ検出の結果に基づいて、表示装置にマーカの表示態様を変更する指示を行うマーカ表示態様変更部とを備える。マーカ表示制御装置は、例えば、マーカが検出可能な範囲でマーカの表示面積を小さくし、表示装置の表示内容の見づらさを低減する。

Description

本発明は、表示装置を認識するためのマーカを、当該表示装置の表示画面（表示領域）に表示させる制御を行うマーカ表示制御装置に関し、特に、表示装置がユーザに提供する本来の表示内容とともにマーカを表示させる制御を行うマーカ表示制御装置に関する。
マーカは、形状や色によって識別情報を示すものであり、識別マークと称することもできる。そのマーカが付された対象物を撮影し、マーカの識別情報を取得することで、例えば、対象物を認識することや、撮影画像における対象物の位置を認識することが行われている。
特許文献１には、カメラを搭載した情報処理端末をリモートコントローラとして用いる技術が記載されている。そして、情報処理端末によって電子機器に付された識別コード（マーカ）を撮影し、複数の電子機器のうちの操作対象となる電子機器を認識し、遠隔操作を行う。これにより、ユーザが操作対象の電子機器を手動で切り換える必要がなくなる。しかしながら、マーカを印刷したシールを複数の電子機器分用意し、各電子機器に張り付けるという労力が必要である。
当該労力を解消すべく、特許文献２には、携帯端末の表示画面にマーカを表示させ、そのマーカを撮影することで、マーカに対応付けられた画像の種類と、撮影画像におけるマーカの位置等を認識する技術が記載されている。これにより、複数種類の画像に対応するマーカが印刷されたシール等を多種類用意しなくとも、複数種類のマーカを携帯端末の表示画面に自由に表示させることができる。
特開２００１−１４２８４５号公報 特開２００５−２５０９５０号公報
ところで、テレビ等の表示装置を操作対象とする為に、当該表示装置の表示画面（表示領域）に、操作メニューや動画像等の表示装置本来の表示内容とともにマーカを表示させたいという要請がある。例えば、表示装置に表示されたマーカを撮影し、マーカを識別することで表示装置の種別、位置等を認識して遠隔操作を容易にするためである。
ここで、表示装置に、本来の表示内容とともにマーカを表示させると、本来の表示内容が見づらくなるという問題がある。そこで、マーカの表示面積を小さくし、あるいは、マーカを表示画面の周縁部（特に四隅）に配置すれば、マーカが目立ちにくくなり、表示内容の見づらさを低減することができる。
しかし、単にマーカを目立ちにくくすると、マーカの検出が困難になる虞がある。例えば、ユーザの位置によっては撮影距離が遠くなり、マーカの表示サイズが小さいと検出が困難になる虞がある。また、例えば、マーカの表示個数が少ない場合、あるいは、マーカが表示画面の周縁部に表示されている場合、遮蔽物によってマーカの撮影が妨げられ、結果としてマーカの検出が困難になる虞がある。
本発明は、上記課題に鑑み、マーカの検出を容易にしながら、表示装置本来の表示内容の見づらさを低減し得るマーカ表示制御装置を提供することを目的とする。
前記課題を解決するために、本発明のマーカ表示制御装置は、通信手段によって表示装置に接続され、当該表示装置に認識用のマーカを表示させる制御を行う制御装置であって、表示装置の表示内容を撮影した画像から前記認識用のマーカを検出するマーカ検出部と、マーカ検出の結果に基づいて、マーカを表示している表示装置に対して、マーカの表示態様を変更する指示を行うマーカ表示態様変更部とを備えたことを特徴とする。
本発明に係るマーカ表示制御装置によれば、例えば、マーカ検出前には表示装置の表示領域にマーカを大きく表示させておき、マーカ検出後に、マーカの表示サイズを小さくすることにより、マーカ検出を容易にしながら表示装置本来の表示内容の見づらさを低減することができる。また、例えば、通常時において表示装置の表示領域にマーカを小さく表示させて表示内容の見づらさを低減する一方で、撮影距離が遠いためにマーカを検出できない場合に、マーカの表示サイズを大きくすることにより、マーカの検出を容易にすることができる。
すなわち、本発明に係るマーカ表示制御装置によれば、マーカの検出を容易にしながら、表示装置本来の表示内容の見づらさを低減し得るのである。
本発明の実施の形態１における小型情報端末１とテレビ２との構成を示すブロック図である。 実施の形態１における小型情報端末１とテレビ２との外観構成および配置例を示す図である。 実施の形態１における小型情報端末１の表示機器制御処理を示すフローチャートである。 実施の形態１におけるテレビ２の処理を示すフローチャートである。 実施の形態１におけるマーカ検出処理のフローチャートである。 実施の形態１におけるマーカサイズ調整処理のフローチャートある。 実施の形態１における初期化処理時のマーカ情報保持部１３３の内容を示す図である。 実施の形態１におけるマーカを撮影した撮影画像１１１を示す図である。 実施の形態１におけるマーカ検出時のマーカ情報保持部１３３の内容を示す図である。 実施の形態１におけるマーカサイズ調整後のマーカ情報保持部１３３の内容を示す図である。 実施の形態１における基準色の色名称と各色成分の基準輝度値を示す図である。 実施の形態１におけるマーカサイズ調整後小型情報端末１とテレビ２との外観構成および配置例を示す図である。 実施の形態１の変形例１における不使用検出処理を示すフローチャートである。 変形例１におけるマーカ検出処理２を示すフローチャートである。 実施の形態２における小型情報端末５００とテレビ２の構成を示すブロック図である。 実施の形態２におけるマーカ情報保持部１３３の内容を示す図である。 実施の形態２における小型情報端末５００とテレビ２等の配置例を示す図である。 実施の形態２におけるマーカサイズ調整処理２を示すフローチャートである。 実施の形態２における検出不可マーカ処理を示すフローチャートである。 実施の形態３における小型情報端末６００とテレビ２等の構成を示すブロック図である。 実施の形態３における小型情報端末６００とテレビ２を示す図である。 実施の形態３における小型情報端末６００とテレビ２等との配置例を示す図である。 実施の形態３におけるマーカ情報保持部１３３の内容を示す図である。 実施の形態３における検出不可マーカ処理２を示すフローチャートである。 実施の形態３における遮蔽状態検出処理を示すフローチャートである。 実施の形態３におけるマーカ移動処理を示すフローチャートである。 実施の形態３における移動量算出処理を示すフローチャートである。 実施の形態３におけるマーカ情報保持部１３３の内容を示す図である。 実施の形態３における小型情報端末６００とテレビ２等と遮蔽物４との配置例を示す図である。 実施の形態３の変形例におけるマーカの表示場所と乱数に基づく移動方向を示す図である。 実施の形態３の変形例におけるマーカ移動後のマーカ情報保持部１３３の内容を示す図である。 二次元マーカの例を示す図である。 上記とは別の実施の形態における操作機器７００と表示装置７０２等の構成を示すブロック図である。
［発明の各種の態様］
以下に、本発明が取り得る各種の態様を例示し、説明する。
（１）本発明の一態様に係るマーカ表示制御装置は、通信手段によって表示装置に接続され、当該表示装置に認識用のマーカを表示させる制御を行う制御装置であって、表示装置の表示内容を撮影した画像から前記認識用のマーカを検出するマーカ検出部と、マーカ検出の結果に基づいて、マーカを表示している表示装置に対して、マーカの表示態様を変更する指示を行うマーカ表示態様変更部とを備えたことを特徴とする。
本態様のマーカ表示制御装置は、例えば、表示装置を遠隔操作する操作機器に搭載される。
本態様のマーカ表示制御装置によれば、例えば、マーカが検出できた場合に、マーカの表示サイズを小さくすることにより、表示画面の見づらさを低減することができる。また、例えば、マーカが検出できない場合に、マーカの表示サイズを大きくすること、マーカの表示位置を変更する（マーカを移動させる）こと等により、マーカの検出を容易にすることができる。
すなわち、本発明に係るマーカ表示制御装置によれば、マーカの検出を容易にしながら、表示装置の表示画面の見づらさを低減し得るのである。
本態様において、マーカは、撮影画像において、表示装置の種類を特定するため、あるいは、表示装置の表示画面の位置を特定するために用いられる。
撮影画像における表示装置の種類を特定することにより、例えば、ユーザの操作対象となる表示装置が複数存在する場合に、ユーザの操作対象となる表示装置を特定することができる。また、表示装置の表示画面の位置を特定することにより、例えば、手元の操作機器において、撮影した操作メニューを操作することで、表示装置の操作メニューを遠隔操作することができる。具体的には、表示装置に操作メニューが表示されている場合において、ユーザは操作機器の表示部に表示された撮影画像における表示装置の操作メニューの位置を指定することで、表示装置に、表示画面のどの座標が指定されたのかを送信することができる。そして、表示装置は、指定された座標に表示されている選択肢が選択されたものとして、操作を受け付けることができる。
マーカの表示態様を変更するために、例えば、マーカの表示面積を変更すること、マーカの表示位置を変更すること、マーカの形態（例えば、形状、色等）を変更すること等ができる。マーカの表示面積を変更することには、マーカの大きさ（表示サイズ）を変更すること、マーカの表示個数を変更すること等が含まれる。
「マーカ検出の結果に基づいて、マーカの表示態様を変更する指示」とは、例えば、マーカが検出された場合に、マーカの表示面積を小さくする（表示サイズを小さくする、マーカの表示個数を減少させる等）指示とすることができる。これにより、マーカ検出を行う前に、マーカの表示面積を大きくしてマーカの検出を容易にしておき、マーカが検出された後に、マーカの表示面積を適宜小さくすることができる。
また、「マーカ検出の結果に基づいて、マーカの表示態様を変更する指示」とは、例えば、マーカが検出されなかった場合に、マーカを大きくする指示や、マーカの表示位置を変更する指示とすることができる。マーカを大きくすることで、例えば、撮影距離が遠いためにマーカが検出されなかった場合でも、マーカ検出を行うことが可能となる。また、マーカの表示位置を変更することで、例えば、表示装置の前に障害物が置かれ、表示装置の一部（マーカが表示されている部分）が撮影できなくなった場合でも、マーカが検出される可能性が高まる。
「指示を行う」ために、例えば、予め定められた所定の信号を表示装置に送信してもよいし、マーカの表示サイズや表示位置を表示装置に送信してもよい。
なお、マーカ検出部によるマーカの検出において、撮影された画像は符号化されている。つまり、画像が符号化された画像情報からマーカを検出することができる。
表示装置は、テレビ受像機、ノート型パーソナルコンピュータ等の画像表示機能を備えた単体の表示機器であってもよいし、表示機器と画像再生機器等とを含むものであってもよい。画像再生機器は、例えば、ＤＶＤプレーヤ（レコーダ）、ＨＤＤレコーダ、ビデオカメラ、ＰＣ（パーソナルコンピュータ）等によって構成することができる。
なお、表示装置の表示領域とは、表示装置の表示画面が配された二次元的な領域のことである。また、表示領域と表示画面との大きさは同じである。
通信手段は、例えば、赤外線通信装置、無線ＬＡＮ（Local Area Network）装置等の通信装置によって構成することができる。なお、通信手段（通信装置）は、少なくとも一方向に情報を送信することができるものであればよく、送信手段（送信装置）と称してもよい。ここで、通信手段が一方向又は双方向に情報を送信するものであることを明確にするために、通信手段を情報伝達手段（情報伝達装置）と称してもよい。なお、「通信手段によって」とは、「通信手段を介して」の意である。
（２）本発明の一態様に係るマーカ表示制御装置を、前記マーカ表示態様変更部は、前記マーカ検出部によって検出されたマーカを表示している表示装置に対して、マーカの表示面積を小さくする指示を行う、ものとすることができる。
本態様によれば、マーカが検出できることを確認した上で、マーカの表示サイズを小さくすることと、マーカの表示個数を減少させることとの少なくとも一方により、表示装置の表示内容の見づらさを低減することができる。したがって、例えば、表示装置の表示画面に比較的大きめのマーカを表示させておき、マーカが検出された後にマーカを小さくすることができる。
なお、本態様では、マーカ表示態様変更部は、所定の条件が満たされた場合に、マーカの表示面積を小さくする指示を行うことが望ましい。例えば、撮影された画像におけるマーカのサイズが、マーカとして検出される下限サイズよりも大きい場合である。
（３）本発明の一態様に係るマーカ表示制御装置を、さらに、マーカを繰り返し撮影する撮影画像入力部を備え、前記マーカ検出部は、前記撮影画像入力部によって順次得られた画像からマーカを検出する処理を行い、前記マーカ表示態様変更部は、前記マーカ検出部によって検出されたマーカが、その後のマーカ検出処理において検出されなくなった場合に、前記マーカを表示している表示装置に対して、当該マーカの表示サイズを大きくする指示、又は当該マーカの表示位置を変更する指示を行う、ものとすることができる。
本態様によれば、マーカの表示サイズが小さいこと、マーカが障害物に遮蔽されること等により、マーカが検出できない場合であっても、マーカの表示サイズを大きくすること、マーカの表示位置を変更すること（マーカを移動させること）によって、マーカの検出を容易にすることができる。
したがって、通常時において、マーカの表示面積を小さくすること、マーカを表示領域の周縁部に配置すること等によって、表示装置の表示内容の見づらさを低減することが容易になる。
撮影画像入力部は、例えば、デジタルカメラ、デジタルビデオカメラによって構成することができる。
（４）本発明の一態様に係るマーカ表示制御装置を、さらに、表示装置に割当てたマーカの色情報を含むマーカ識別情報と、当該マーカに対応付けられた表示装置と、表示装置が表示しているマーカの表示サイズと、を少なくとも構成要素とするマーカ情報をマーカ毎に記憶するマーカ情報保持部を備えた、ものとすることができる。
本態様では、例えば、マーカ識別情報に基づいてマーカを検出すること、検出されたマーカに対応付けられた表示装置の情報に基づいて操作対象となる表示装置を認識すること等ができる。さらに、マーカの表示サイズに基づき、マーカを縮小させる場合は現在の表示サイズより小さいサイズを指定し、マーカを拡大させる場合は現在の表示サイズより大きいサイズを指定することができる。
なお、本態様では、マーカ情報保持部がマーカ表示制御装置に設けられているが、本態様と別の態様として、マーカ情報保持部がマーカ表示制御装置以外に設けられていてもよい。例えば、マーカ表示制御装置が小型情報端末等の操作機器に搭載されている場合、操作機器の構成要素のうち、マーカ表示制御装置以外の構成要素にマーカ情報保持部が設けられていてもよい。この場合、マーカ表示制御装置は、マーカ情報保持部を有する他の構成要素からマーカ情報を取得することができる。
（５）本発明の一態様に係るマーカ表示制御装置を、表示装置の表示領域には、相隔たる複数箇所にそれぞれマーカが表示されており、前記マーカ表示態様変更部は、表示装置に表示されたマーカが遮蔽物によって遮蔽されたことにより、若しくは撮影範囲からマーカが外れたことにより、当該マーカがマーカ検出部によって検出できない遮蔽等状態であると判断するマーカ遮蔽等状態判断部を備え、前記マーカ遮蔽等状態判断部によって遮蔽等状態と判断されたマーカの表示位置を変更する指示を行う、ものとすることができる。
本態様では、遮蔽等状態のマーカが移動させられ、マーカの検出が容易にされる。したがって、マーカを表示領域の周縁部に配置すること、マーカの表示個数を少なくすることによって、表示装置の表示内容の見づらさを低減することが容易になる。
遮蔽等状態には、例えば、表示装置に表示されたマーカが障害物によって遮られて撮影できなくなる遮蔽状態や、マーカが撮影範囲外に位置して撮影できなくなる撮影範囲外状態が含まれる。
（６）本発明の一態様に係るマーカ表示制御装置を、前記マーカ表示態様変更部は、遮蔽等状態ではないマーカの表示位置を、表示装置の表示領域の４隅のうちのいずれかにする指示を行い、遮蔽等状態のマーカの表示位置を、表示領域の水平方向及び垂直方向の少なくとも一方の中央側に変更する指示を行う、ものとすることができる。
本態様では、表示装置の表示領域の隅に表示されたマーカを中央側に近づけることで、マーカの検出が容易にされる。
（７）本発明の一態様に係るマーカ表示制御装置を、前記マーカ表示態様変更部は、表示装置の表示内容を撮影した画像におけるマーカのサイズが、前記マーカ検出部にて検出したマーカの検出サイズ未満、かつ、前記画像においてマーカとして検出される下限サイズ以上になる表示サイズでマーカを表示する指示を表示装置に行う、ものとすることができる。
本態様では、表示装置の表示内容を撮影した画像（撮影画像）においてマーカが検出される下限サイズが予め定まっている。そのため、マーカの表示サイズを、撮影画像において下限サイズ以上になるように定めることができる。その結果、例えば、マーカ検出前にはマーカの表示サイズを十分大きくしておき、マーカ検出後にマーカのサイズを一気に縮小させることが可能である。
（８）本発明の一態様に係るマーカ表示制御装置を、前記マーカ表示態様変更部は、検出されたマーカが検出されなくなるまで、表示装置に対してマーカの表示サイズを小さくする指示を行い、マーカが検出されなくなった場合に、マーカの表示サイズを大きくする指示を行う、ものとすることができる。
本態様では、下限サイズが定まっていなくとも、マーカを段階的に縮小させることができる。
（９）本発明の一態様に係るマーカ表示制御装置を、前記マーカ表示態様変更部は、表示装置に表示させるマーカの色を指定し、前記マーカ検出部は、表示装置の表示内容を撮影した画像において、前記指定色のピクセルからなるピクセル群で下限サイズ以上のものをマーカとして検出する、ものとすることができる。
（１０）本発明の一態様に係るマーカ表示制御装置を、さらに、表示装置の表示内容を撮影した画像における座標を、表示装置の表示領域における座標に変換する座標変換部を備え、前記マーカ検出部は、少なくとも撮影画像におけるマーカの位置を検出し、前記座標変換部は、少なくとも前記マーカの位置に基づいて前記座標の変換を行う、ものとすることができる。
本態様によると、例えば、マーカ表示制御装置を搭載した操作機器を、あたかも、表示装置の入力装置のごとく用いて遠隔操作を行うことが可能になる。その場合は、直観的な遠隔操作が可能になる。
上記遠隔操作では、例えば、表示装置に操作メニューを表示させ、その操作メニューを手元の操作機器で撮影して操作機器の表示部に表示し、表示部に表示された操作メニューを操作するといったことが行われる。このような状況では、ユーザの手ぶれや移動により、撮影画像における表示装置の位置が変化することが想定され、持続的にマーカを検出して表示装置の位置を正確に検出することが好ましい。
座標変換部は、複数のマーカの位置に基づいて座標変換を行うものとしてもよいし、１つのマーカの位置と、そのマーカの画像におけるサイズとに基づいて座標変換を行うものとしてもよい。
（１１）本発明の一態様に係るマーカ表示制御装置を、前記表示装置は、表示領域にマーカと操作メニューとを含む表示内容を表示する機能を有しており、前記座標変換部は、前記画像における表示装置の表示領域上の座標が指定された場合に、その座標を表示装置の表示領域における座標に変換する、ものとすることができる。
（１２）本発明の一態様に係るマーカ表示制御装置を、当該マーカ表示制御装置は、前記表示装置の表示内容が撮影された画像を表示する表示部と、表示部の任意の座標を指定する操作入力が行われる操作入力部とを備えた操作機器に搭載され、前記表示装置は、表示領域にマーカと操作メニューとを含む表示内容を表示する機能を有しており、前記座標変換部は、操作入力部に入力された表示部の座標を、表示装置の表示領域における座標に変換する、ものとすることができる。
（１３）本発明の一態様に係るマーカ表示制御装置は、さらに、表示装置の表示内容を撮影した画像における座標を、表示装置の表示領域における座標に変換する座標変換部と、前記遮蔽等状態のマーカの表示位置の変更量と、前記画像における前記マーカの変更後の位置とに基づいて、前記画像における前記マーカの変更前の位置を算出する位置算出部とを備え、前記マーカ検出部は、前記画像におけるマーカの位置を検出するものであり、前記座標変換部は、遮蔽等状態ではないマーカの位置と、前記位置算出部によって算出された遮蔽等状態のマーカの変更前の位置とに基づいて前記座標の変換を行う、ものとすることができる。
本態様では、マーカの表示位置が変更された場合であっても、撮影された画像において表示位置が変更される前のマーカが撮影されたであろう位置を算出することができる。よって、マーカの表示位置が変更された場合であっても、表示位置が変更されない場合と同様に座標変換を行うことができる。
（１４）本発明の一態様に係る集積回路は、通信手段によって表示装置に接続され、当該表示装置に認識用のマーカを表示させる制御を行うものであって、表示装置の表示内容を撮影した画像から前記認識用のマーカを検出するマーカ検出部と、マーカの検出結果に基づいて、マーカを表示している表示装置に対して、マーカの表示態様を変更する指示を行うマーカ表示態様変更部とを備えたことを特徴とする。
（１５）本発明の一態様に係るマーカ表示制御方法は、表示装置に認識用のマーカを表示させる制御を行う方法であって、表示装置の表示内容を撮影した画像を得るステップと、前記画像から前記認識用のマーカを検出するステップと、マーカの検出結果に基づいて、マーカを表示している表示装置に対して、マーカの表示態様を変更する指示を行うステップとを備えたことを特徴とする。
以下本発明の実施の形態について、図面を参照しながら説明する。
[実施の形態１]
本発明の実施の形態１に係るマーカ表示制御装置、本マーカ表示制御装置を組み込んだ操作機器、及び表示機器について説明する。
実施の形態１では、カメラを搭載した小型情報端末を操作機器の一例とし、その小型情報端末によって表示機器の一例であるテレビの表示画面（表示領域と称することもできる）に表示されたマーカを撮影及び検出し、当該マーカのサイズを調整する場合を例として説明する。
図１は、本発明の実施の形態１におけるマーカ表示制御装置１３を組み込んだ小型情報端末１、及び当該小型情報端末１による操作の対象となるテレビ２（あるいはパーソナルコンピュータ３）の要部構成を模式的に示すブロック図である。ここで小型情報端末１は、例えば、カメラを搭載した小型ＰＣ（パーソナルコンピュータ）、携帯電話、小型音楽プレーヤ等であって、マーカ表示制御装置、及び認識した表示機器を制御するための構成を備えたものである。これにより、本端末１に搭載のカメラにて撮影した表示機器の操作が可能となる。また、表示機器は、例えば、テレビ、パーソナルコンピュータ（以下ＰＣと記載）、液晶プロジェクター等であって、マーカを表示するための構成を備えたものである。これにより、前記の小型情報端末１にて表示機器の種別や位置を特定することが可能となる。なお、表示機器は、表示装置の一例である。
＜操作機器＞
まず、操作機器たる小型情報端末１の構成について説明する。
小型情報端末１は、操作入力部１０と、撮影画像入力部１１（以下、「カメラ部１１」と称する場合がある）と、表示部１２と、マーカ表示制御装置１３と、機器操作制御部１４と、送信部１５（通信部の一例である）とを備えている。
操作入力部１０は、例えば、キーボード、ボタンスイッチ、タッチパッド、タッチパネル等の入力装置を備えている。操作入力部１０は、ユーザの操作入力を受け付けると、ユーザの操作内容を機器操作制御部１４に送信する。図２の例では、操作入力部１０にボタンスイッチ１０ａやその他のスイッチが設けられている。
撮影画像入力部１１は、デジタルカメラ等によって構成されている。また、撮影画像入力部１１は、マーカ表示制御装置１３の指示により、現実世界を撮影し、当該現実世界を撮影した画像を符号化して撮影画像情報を生成する。なお、本撮影画像入力部１１は、撮影と撮影画像情報の生成を１秒間に数回〜数十回程度実施し、当該撮影画像情報を表示部１２及びマーカ検出部１３１へ出力する。
本撮影画像情報については、種々のフォーマットを採用することができる。例えば、本実施の形態においては、二次元配列Ｐ（ｘ，ｙ）にて座標（ｘ，ｙ）における色情報を表現する、いわゆるビットマップ形式を採用する。ビットマップ形式における色情報の表現方法としては、例えばＲＧＢ８８８が挙げられる。ＲＧＢ８８８とは、色情報を赤、青、及び緑の、それぞれの色要素の輝度情報に分離し、各色要素の輝度値を８ビットで表現するものである。以下の説明においては、赤色の要素の輝度値をＰｒ（ｘ，ｙ）、青色の要素の輝度値をＰｂ（ｘ，ｙ）、緑色の要素の輝度値をＰｇ（ｘ，ｙ）と表記することとする。また、二次元配列Ｐ（ｘ，ｙ）は、座標（ｘ，ｙ）における色情報を表現しており、この各座標の色情報を「ピクセル」と呼ぶ。
表示部１２は、液晶パネルや、有機ＥＬパネル等の表示パネルと、表示パネルに画像を表示させる制御を行う表示制御部とを備えており、小型情報端末１がユーザに提示する図形、文字、風景等を含む画像を表示するものである。本実施の形態においては、表示部１２は、撮影画像入力部１１が生成した撮影画像情報等を画像化した撮影画像を表示する（いわゆるプレビュー画面表示を行う）。
マーカ表示制御装置１３は、マーカ検出部１３１と、表示マーカ制御部１３２と、マーカ情報保持部１３３と、マーカ表示指示部１３４と、により構成される。また、マーカ表示制御装置１３は、マイコン（マイクロコンピュータ）によって所定のプログラムを実行することにより、上記構成の機能を発揮するものとされている。なお、マーカ表示制御装置１３は、集積回路内に形成されている。ここで、マーカ表示制御装置１３は、マーカ情報保持部１３３を含まないものとすることもできる。
マーカ表示態様変更部１３０は、表示マーカ制御部１３２と、マーカ表示指示部１３４と、により構成される。
マーカ検出部１３１は、撮影画像入力部１１より撮影画像情報を受け取り、当該撮影画像情報中に含まれるマーカを検出する。またマーカ検出部１３３は、検出したマーカのマーカ情報を、マーカ情報保持部１３３へ書き込み、表示マーカ制御部１３２へマーカ情報の更新を通知する。なお、マーカ情報の詳細は後に説明する。
表示マーカ制御部１３２は、マーカ情報保持部１３３よりマーカ情報を取り出し、マーカ検出部１３１が検出したマーカのサイズに基づき、マーカ検出が可能な範囲でマーカのサイズを縮小して、マーカ情報保持部１３３へ書き込む。また、当該マーカを表示しているテレビ２へマーカの表示を指示することを、マーカ表示指示部１３４へ要求する。
マーカ情報保持部１３３は、ＲＡＭ、不揮発性メモリ（例えば、フラッシュEEPROM）等を備えた記憶部に確保されたメモリ領域（記憶領域）であり、マーカ情報を保持する。
ここでマーカ情報とは、マーカを識別する情報と、当該マーカに対応付けられた表示機器の情報と、当該マーカの指示サイズ等から構成される。ここでマーカを識別する情報とは、当該マーカの形態的特徴に関する情報であって、本情報に基づき、撮影画像情報に含まれるマーカを検出可能とするものである。
マーカを識別する情報としては、例えば「マーカの色」や、二次元マーカにおける「マーカの形状」や「マーカの模様」があげられる。本実施の形態において、マーカを識別する情報として「マーカの色」がマーカ情報保持部１３３に保持される（図７参照）。つまり、テレビ２とＰＣ３に異なる色のマーカを割り当てて、それらを識別するためである。なお、マーカを識別する情報として、撮影画像情報に含まれるマーカの下限の大きさ（ピクセル数の下限値Ｐｍ）もマーカ情報保持部１３３に保持される（図示省略）。
マーカに対応付けられた表示機器の情報は、各マーカを表示する表示機器に関する情報である。例えば、テレビ２の名前（図７参照）やＩＰアドレス（図示省略）等である。
マーカの指示サイズとは、表示機器にて表示されるマーカの大きさ（表示サイズ）を指定する情報である。
さらに、本実施の形態において、マーカ情報には、マーカ検出によって得られる情報である「マーカ検出情報」も含まれる。マーカ検出情報には、詳細は後述するが、例えば、「検出フラグ」、「検出位置」、「検出サイズ」等の情報（図７）が含まれる。
マーカ表示指示部１３４は、表示マーカ制御部１３２からの要求に基づき、当該要求に応じたマーカ情報をマーカ情報保持部１３３より読込んで、マーカ表示指示情報を生成し、送信部１５へ送る。マーカ表示指示情報とは、マーカ情報のうち表示機器によってマーカを表示する為に必要な情報を抜き出して構成した情報である。上記のマーカを識別する情報と、当該マーカの指示サイズは、マーカ表示指示情報に含まれる。
機器操作制御部１４は、マーカが検出された場合に、マーカ情報保持部１３３が保持する情報に基づき、操作対象の表示機器を特定する。そして、特定された表示機器に対応する操作メニュー１７（例えば、図２）を表示部１２に表示させる。さらに、操作入力部１０に、操作メニューに対応したユーザ入力がなされると、上記特定された表示機器に対して、ユーザ入力の内容を示す操作情報を送信部１５へ送る。
送信部１５は、赤外線通信、無線ＬＡＮ（Local Area Network）等の通信手段５により、マーカ表示指示部１３４及び機器操作制御部１４より送られた情報を、テレビ２の受信部２１へ送信する。ここで、図１、図２の例では、通信手段５が無線ＬＡＮである場合について、小型情報端末１、テレビ２、及びＰＣ３間の接続関係を模式的に示している。
なお、図１、図２の例では、通信手段５は無線ＬＡＮ装置の親機によって構成されている。それに対し、図２等とは異なり、通信手段が無線ＬＡＮ装置の親機、送信部１５、及び受信部１６によって構成されると考えてもよい。
また、赤外線通信を用いる場合は、小型情報端末１とテレビ２とが通信手段５によって直接的に接続されることとなる。この場合、通信手段は、送信部１５と受信部２１とによって構成される。なお、赤外線通信を用いる場合は、必ずしも全ての表示機器と小型情報端末１とが接続されていなくともよい。
＜表示機器＞
次に、表示機器たるテレビ２の構成要素について説明する。
なお、図１には、テレビ２の構成要素を代表的に示しているが、ＰＣ３も同じ構成要素を備えている。
受信部２１は、赤外線通信、無線ＬＡＮ（あるいは、無線ＬＡＮ装置の親機と接続された有線ＬＡＮ）等の通信手段５により、小型情報端末１の送信部１５が送信した情報を受信する。そして、受信部２１は、受信した情報にマーカ表示指示情報が含まれている場合は、マーカ表示指示情報をマーカ表示情報制御部２２に送る。一方、受信した情報に操作情報が含まれている場合は、操作情報を操作情報受信部２４に送る。
マーカ表示情報制御部２２は、小型情報端末１のマーカ表示指示部１３４の要求に基づき送信されたマーカ表示指示情報を受信し、本情報に従ってマーカ表示情報保持部２３を更新する。
マーカ表示情報保持部２３は、ＲＡＭ、不揮発性メモリ（フラッシュEEPROM）等を含む記憶部に確保されたメモリ領域（記憶領域）であって、マーカ表示情報を保持する。ここでマーカ表示情報とは、マーカ表示の有無、マーカの表示形態の情報（例えば、マーカの色、表示サイズ等）等から構成される情報であり、前記マーカ表示指示情報に基づき内容が更新される。
操作情報受信部２４は、小型情報端末１の機器操作制御部１４の要求に基づき送信された操作情報を受信し、本操作情報を操作入力部２５へ入力する。
操作入力部２５は、キーボード、ボタンスイッチ、タッチパッド、及びタッチパネル等のいずれかの入力装置を備えている。さらに操作入力部２５は、操作情報受信部２４より入力された操作情報もユーザの入力として受け付ける。
コンテンツ部２６は、操作入力部２５より受け付けたユーザ操作に関する情報、及びコンテンツ情報（図示省略）に基づき、表示部２７に表示する表示情報を生成する。
本コンテンツ部は、表示機器がテレビ２の場合は、チューナや映像処理回路を備え、コンテンツ情報としてのテレビ放送等の映像信号に基づいて表示情報を生成する。
一方、表示機器がＰＣ３の場合は、本コンテンツ部は、所定のアプリケーションソフトの実行により、例えば、ＷＥＢブラウザ、動画プレーヤ、音楽プレーヤ等の機能を発揮する部分とされている。そして、例えば、ＷＥＢブラウザ機能により、ユーザ操作に基づいて図示されていないインターネット等を通じてコンテンツ情報としてのＷＥＢページのＨＴＭＬデータを取得し、本ＨＴＭＬデータに基づいて画像やボタン等の表示部品のレイアウトを決定し、当該レイアウトや表示部品による表示情報を生成して、表示部２７へ入力する。
表示部２７は、液晶パネル等からなる表示パネルと、その表示パネルに画像を表示させる制御を行う表示制御部とを備え、コンテンツ部２６が生成した表示情報の表示を行なう。表示制御部は、ＯＳＤ（オン・スクリーン・ディスプレイ）機能を備えており、マーカ表示情報保持部２３が保持するマーカ表示情報に基づき、コンテンツ部２６が生成した表示情報に重畳して、表示パネルにマーカを表示させる。また、表示制御部は、ユーザ操作に応じて、表示機器の設定を行う操作メニュー等の表示情報を生成することが可能である。なお、マーカを表示する情報は、コンテンツ部２６が生成した表示情報より優先して表示される。つまり、表示領域のうち、マーカが表示されている部分には、表示情報（表示装置本来の表示内容に相当する）に基づく画像は表示されない。なお、上記表示情報に基づく画像は、前記「表示装置本来の表示内容」の具体例である。
＜動作＞
次に、本発明の実施の形態１の具体的使用例（図２）における処理の流れについて、図３、図４、図５、及び図６に示すフローチャートを用いて説明する。
図２は、本発明の実施の形態１における、操作機器である小型情報端末１、並びに表示機器であるテレビ２及びＰＣ３（パーソナルコンピュータ３）の外観構成と配置を示した図である。本図は、小型情報端末１に搭載のカメラ部１１（撮影画像入力部１１）によりテレビ２を撮影している状態を示している。なお、小型情報端末１は、テレビ２を撮影して得られた撮影画像を表示部１２（詳細には、表示部１２の表示領域、若しくは、表示部１２の表示画面）に表示しているものとする。
ここでテレビ２の表示部２７（詳細には、表示部２７の表示領域、若しくは、表示部２７の表示画面）にはマーカ２７１ａが表示されており、小型情報端末１の撮影画像（すなわち表示部１２）に、マーカ２７１ａに相当するマーカ撮影画像１２１ａが現れている。一方ＰＣ３については、小型情報端末１の撮影範囲外に設置されているため、撮影画像には本ＰＣ３に相当する部分は現れていない。
なお、図２は、マーカ検出部１３１によってマーカ２７１ａが検出された後、機器操作制御部１４によって操作メニュー１７（操作内容表示画像１７ａを含む）が表示されている状態を示している。
また小型情報端末１の操作入力部１０は、複数のボタンスイッチを備えている。ここで、ボタンスイッチ１０ａは、表示部１２に表示されている操作内容表示画像１７ａを選択するユーザからの入力を受け付ける。すなわち、ボタンスイッチ１０ａが押下されると、操作内容表示画像１７ａに関連付けられた操作情報が送信部１５に送られる。なお、他のボタンスイッチについても同様に、操作情報あるいはその他の操作内容が関連付けられている。
以下に、小型情報端末１及びテレビ２（あるいはＰＣ３）の処理について説明する。
図３は、小型情報端末１によって実行される表示機器制御処理を示すフローチャートである。図４は、テレビ２（あるいはＰＣ３）の指示受付処理を示すフローチャートである。
（１）小型情報端末１（操作機器）の処理の概要
小型情報端末１で行われる表示機器制御処理（ステップＳ１〜Ｓ６）について説明する。なお、ステップＳ３，Ｓ４については、簡単に説明するにとどめ、テレビ２の処理の説明の後に詳細に説明することとする。
ここで、ユーザは、小型情報端末１の操作により、表示機器制御処理を行うアプリケーションソフトを起動した後、カメラ部１１（撮影画像入力部１１）をテレビ２の方向に向け、表示部１２に表示された撮影画像にテレビ２が映るように小型情報端末１を保持しているものとする（図２）。
ステップＳ１のマーカ初期化処理では、マーカ情報保持部１３３の初期化、及び、全表示機器（本例では、テレビ２、ＰＣ３）へのマーカ表示指令が行われる。
マーカ情報保持部１３３の初期化は、表示マーカ制御部１３２によって行われる。
ここで、図７に、初期化されたマーカ情報保持部１３３に保持されているマーカ情報を示し、この図に基づいてマーカ情報及びマーカ初期化処理を説明する。
マーカ初期化処理において、図７に示すように小型情報端末１が検出可能な表示機器群、つまり、小型情報端末１に登録されている各表示機器について、表示機器を識別するための「色」と、当該表示機器に関する情報である「機器名」を設定する。本例においては、テレビ２及びＰＣ３を検出対象とすべく、機器名「テレビ」に対し、色「赤」を、機器名「ＰＣ」に対し、色「青」を設定するものとする。なお、初期化時の設定は、製品出荷時の設定やユーザ登録などによって予め設定されており、小型情報端末１の記憶部に記憶されているものが用いられる。
また、マーカ検出によって得られるマーカ情報（マーカ検出情報）である「検出フラグ」、「検出位置」、「検出サイズ」についても初期化を行なう。検出フラグは、マーカ検出部がマーカを検出したか否かを示すフラグであり、初期値として「未検出」を設定する。検出位置は、マーカ検出部１３１が撮影画像情報内にて検出したマーカの座標（Ｘｄ，Ｙｄ）である。なお、基本的に、マーカは１つのピクセルで構成されるものではなく、複数のピクセルが結合したピクセル群として検出される。このため、検出位置として当該複数ピクセルの座標のうちいずれを採用するか、との問題が生じる。本実施の形態においては、当該複数ピクセルのうち最も左上に位置するピクセルの座標を採用することとする。
なお、上記検出位置は、検出フラグの値が「検出」である場合に限り有効な値が設定される。本初期化処理においては、検出フラグの値は「未検出」であるため、本値は「未設定」とされる。
検出サイズは、前記マーカを構成する複数ピクセルの大きさを示すものであり、横幅Ｗｄ、縦幅Ｈｄとして、（Ｗｄ，Ｈｄ）と表記する。ここで横幅Ｗｄ、及び縦幅Ｈｄは、それぞれ、前記マーカを構成するピクセル群によって形成される四角形（例えば、長方形）のＸ軸方向ピクセル数、及びＹ軸方向のピクセル数のことである。
図８（ａ）は撮影画像１１１を例示する図であり、図８（ｂ）は、領域１１１ａを拡大して示す図である。図８（ａ）の領域１１１ａは、撮影画像１１１のうちテレビ２に表示されたマーカに相当する部分（ピクセル群１１１ｂ）を含む領域であり、図８（ｂ）に領域１１１ａを拡大して示す。領域１１１ａ内の小さな四角形はそれぞれピクセルを表す。また黒塗りのピクセル群１１１ｂは、当該領域１１１ａのうち、テレビ２が表示したマーカに相当する部分（マーカ撮影画像）を示す。この場合、検出サイズは、（３３，３０）となる。
なお、本検出サイズは、検出フラグの値が「検出」である場合に限り有効な値が設定される。本初期化処理においては、検出フラグの値は「未検出」であるため、本値は「未設定」とされる。
指示サイズは、各表示機器が表示するマーカの大きさ（表示サイズ）を指定するものであり、横幅Ｗｒ、縦幅Ｈｒとして、（Ｗｒ，Ｈｒ）と表記する。ここで横幅Ｗｒ、縦幅Ｈｒは、上記検出サイズと同様、マーカを構成するピクセル群によって形成される長方形のＸ軸方向ピクセル数、及びＹ軸方向のピクセル数となる。本例においては、「テレビ」及び「ＰＣ」共に、Ｗｒ＝１５０、Ｈｒ＝１５０を初期値としている。
この初期値は、大きめに設定されており、小型情報端末１とテレビ２との距離が比較的遠い場合でも、マーカの検出が可能にされている。
ステップＳ１における全表示機器へのマーカ表示指令は、上記初期化処理にて設定されたマーカ情報が、通信手段５を介してマーカ表示指示情報としてテレビ２及びＰＣ３へ送信されることでなされる。なお、図３において、マーカ表示指示情報の送信処理を破線にて模式的に示す。ここで、マーカ表示指示情報の送信は、図３の記号「Ａ」から図４の記号「Ａ」に続くものとする。このような指示情報等の送信処理については、他のマーカ表示指示情報の送信（Ｓ４）や操作情報の送信（Ｓ５）についても同様に示している。
なお、上記ステップＳ１では、例えば、マーカ情報保持部１３３に３以上の表示機器が設定されている場合は、３以上の表示機器の全てにマーカ表示指示情報が送信される。すなわち、マーカ情報保持部１３３に設定されている全ての表示機器にマーカ表示指示情報が送信されるのである。これにより、マーカ検出が行われる前の状態でも、表示機器にマーカの表示を指示することができる。
ここで、本例におけるマーカ表示指示情報とは、「色」及び、「指示サイズ」より構成される情報である。すなわち本例のマーカ表示指示情報には、テレビ２へ、色は「赤」、指示サイズは（１５０，１５０）という情報が送信され、ＰＣ３へ、色は「青」、指示サイズは（１５０，１５０）という情報が含まれる。
ステップＳ２では、撮影画像入力部１１（カメラ部１１）は、テレビ２を撮影して撮影画像情報を生成し、当該生成した撮影画像情報をマーカ検出部１３１へ入力する。また、撮影画像入力部１１は、本撮影画像情報を表示部１２にも入力する。なお、表示部１２は、入力された撮影画像情報を画像化し、撮影画像を表示する。本ステップＳ２及び、後述のステップＳ３〜Ｓ６は、一秒間に数回〜数十回程度の頻度にて実施される。よって、表示部１２には、秒間数フレーム〜数十フレームのフレームレートにて撮影画像入力部１１が撮影した現実世界の風景が動画像として表示される。
ステップＳ３のマーカ検出処理では、マーカ検出部１３１により、前記撮影画像情報に含まれるマーカを検出する処理、及びマーカ情報の更新処理等が行われる。マーカ検出部１３１は、マーカを検出した場合に、マーカの検出サイズ等のマーカ検出情報を取得する。そして、マーカ検出情報をマーカ情報保持部１３３に書き込むことで、マーカ情報保持部１３３に保持されているマーカ情報を更新する。
図９は、マーカ検出処理後のマーカ情報保持部１３３の内容（保持されているマーカ情報）の一例を示す図である。この図において、テレビ２に表示されたマーカが検出されており、検出フラグが「検出」にされ、検出位置および検出サイズが設定されている。
ステップＳ４のマーカサイズ調整処理では、表示マーカ制御部１３２により、マーカの検出サイズ等に基づいてマーカの指示サイズが縮小され、マーカ情報が更新される。そして、マーカ表示指示部１３４により、縮小された指示サイズを含むマーカ表示指示情報が生成され、テレビ２に送信される。
図１０は、ステップＳ４のマーカサイズ調整処理後におけるマーカ情報保持部１３３の内容の一例を示す図である。この図において、図９の指示サイズ（１５０，１５０）と比較して、マーカサイズ調整処理によって指示サイズが（２３，２５）に縮小されている。また、この図において、検出サイズには、指示サイズが（２３，２５）に縮小されたマーカを撮影し、検出処理を行った場合の検出サイズ（５，５）が設定されている。
ステップＳ５の表示機器への操作受付処理では、ユーザの操作対象となる表示機器の決定、操作メニュー１７の表示、ユーザ入力の受付、ユーザ操作内容の送信がなされる。
具体的には、機器操作制御部１４は、ステップＳ３にて検出されたマーカの情報に基づき、ユーザの操作対象となる表示機器を決定する。そして、機器操作制御部１４は、決定された操作対象表示機器に関連付けられた操作メニュー１７を表示部１２に表示し、ユーザ操作の入力待ちを行う。その後、操作入力部１０に操作メニュー１７に対応するユーザ操作が入力された場合、送信部１５を介して、操作対象表示機器にユーザの操作内容を示す操作情報を送信する。
以下、本ステップの処理について、図２に示す表示機器の構成において、前記ステップＳ４の処理によってマーカ情報保持部１３３の内容が図１０の内容に更新された場合を例として説明する。
まず、操作対象となる表示機器を決定する処理について説明する。
機器操作制御部１４は、マーカ情報保持部１３３に保持されたマーカ情報をもとに、前記のユーザ入力によって選択された操作内容を操作情報として送信すべき表示機器を決定する。本例においては、検出フラグの値が「検出」であるマーカ情報に係る表示機器を、操作情報を送信すべき表示機器と決定する。このため、マーカ情報保持部１３３が図９に示す内容である場合における、操作対象表示機器は、検出フラグが「検出」である機器名「テレビ」、すなわちテレビ２となる。
なお、検出フラグの値が「検出」である表示機器が複数存在する場合は、表示部１２に機器選択に係るメニューを表示し、ユーザ入力によって操作対象表示機器を決定する、としてもよい。この場合には、マーカ情報保持部１３３に、各表示機器についてユーザが選択したか否かを記憶させることができる。そして、ユーザが選択した表示機器を操作対象となる表示機器と決定することができる。
次に、操作メニューの表示、及び、ユーザ入力受付処理について説明する。
小型情報端末１は、記憶部（図示省略）を備えており、その記憶部に、各表示機器に対応付けられた操作メニュー画像情報が格納されている。そして、機器操作制御部１４は、操作対象表示機器を決定した後、記憶部から操作対象表示機器に対応する操作メニュー画像情報を取り出し、操作メニューの表示指令とともに表示部１２に送信する。その結果、操作メニュー１７が表示される。
操作メニュー１７の表示後に、機器操作制御部１４は、操作入力部１０よりユーザの入力を受け付ける。ここではユーザはボタンスイッチ１０ａを押下したものとする。この場合、操作メニュー１７が表示されている状態において、ボタンスイッチ１０ａへの入力には、操作内容表示画像１７ａで示されているように、放送番組視聴コンテンツにおいて、チャンネルを２ｃｈに変更するという操作情報が関連付けられている。よって、受け付けたユーザの入力によって選択された操作内容は、操作内容表示画像１７ａに表示された内容である「２ｃｈ」操作、つまり、番組視聴コンテンツにおけるチャンネルを２ｃｈへ変更する操作である。
機器操作制御部１４は、送信部１５へ、「前記操作対象表示機器へ前記ユーザ入力された操作内容を送信すること」を要求する。本例においては、テレビ２へ「２ｃｈへのチャンネル変更する」という操作情報を送信すること、となる。
なお、設定時間を経過してもユーザが入力を行わなかった場合は、Ｓ５において操作情報の送出は行われず、処理がＳ６に進む。
なお、本例において、本処理Ｓ５は、マーカ検出処理Ｓ３及びマーカサイズ調整処理Ｓ４と同期処理にされているが、非同期処理としてもよい。
また、上記操作メニュー１７は、チャンネル操作を表示する例を示したが、その他種々のメニューを表示することが可能である。例えば、音量調節、入力切替え等の選択肢を表示させてもよい。この場合には、チャンネルの変更、音量の調節等の複数の操作を順次行うことができる。
上記Ｓ２からＳ５の処理は、表示機器制御処理が終了するまで、繰り返し実施される（ステップＳ６）。
上記表示機器制御処理は、例えば、ユーザ入力によって、本制御処理を行うアプリケーションソフトの終了操作が行われた場合に終了する。この場合、ステップＳ７の終了処理において、全表示機器（テレビ２等）にマーカ表示の終了指示が送信され、全表示機器におけるマーカの表示が終了する。
また、例えば、チャンネル変更などの操作が行われた後、設定時間経過しても操作が入力されない場合に表示機器制御処理を終了してもよく、あるいは一時停止してもよい。一時停止とは、再起動操作がなされるまで、表示機器制御処理が行われない状態である。また、一時停止の際には、テレビ２にマーカが表示された状態とされる。
（２）表示機器の処理
次にテレビ２側の処理について説明する。
図４は、小型情報端末１から送信されたマーカ表示指示情報等に対して行われるテレビ２（あるいはＰＣ３）の処理を示すフローチャートである。なお、図４には、テレビ２の処理を代表的に示しているが、ＰＣ３の処理も同じである。
ステップＳ１１では、マーカ表示情報制御部２２は、マーカ表示情報保持部２３の内容（図示省略）を初期化する。マーカ表示情報は、少なくとも「表示フラグ」、「色」、及び「指示サイズ」により構成される。「表示フラグ」は、マーカを表示させるか否かを示す情報である。なお、色、及び指示サイズについては、ステップＳ１にて説明したものと同様である。
本初期化処理では、表示フラグを「非表示」、「色」及び「指示サイズ」を「未設定」にセットする。
ステップＳ１２では、受信部２１は、小型情報端末１の送信部１５より送信されたマーカ表示指示情報や操作情報（図３の記号「Ａ」からの入力）の受信待ちを行う。
受信部２１が操作情報を受信した場合（ステップＳ１３）は、操作情報に従い表示機器の作動状態が変更される（ステップＳ１４）。以下、具体的に説明する。
受信部２１が受信した操作情報は、操作情報受信部２４に入力される。操作情報受信部２４は、当該操作情報をテレビ２におけるユーザ操作イベントの形式に変更し、操作入力部２５へ入力する。操作入力部２５は、当該入力されたユーザ操作イベントを、コンテンツ部２６へ入力する。コンテンツ部２６は、本イベントにしたがって処理を実施し、表示情報を生成する。本例においては、前記ステップＳ４にて示した「２ｃｈ」操作の信号を受信したテレビ２は、チャンネルを「２ｃｈ」に変更し、当該チャンネルにおいて放送されている番組視聴コンテンツの表示情報を生成する。その表示情報が画像に変換され、表示部１２に表示され、チャンネル変更という操作が完了する。
ステップＳ１２にて受信部２１がマーカ表示指示情報を受信した場合は（ステップＳ１５）、マーカ表示情報が更新される（ステップＳ１６）。以下、具体的に説明する。
受信部２１が受信したマーカ表示指示情報は、マーカ表示情報制御部２２に入力される。マーカ表示情報制御部２２は、当該マーカ表示指示情報に従って、マーカ表示情報保持部２３の内容を更新する。本例においては、ステップＳ１にて送信されたマーカ表示指示情報に従い、テレビ２は、色は「赤」、指示サイズは（１５０，１５０）に更新し、ＰＣ３は、色は「青」、指示サイズは（１５０，１５０）に更新する。また、本情報の受信に合わせて、表示フラグの値を「表示」に切り替える。
なお、小型情報端末１において、前述のステップＳ１は一度だけ実行され、表示機器にマーカ表示指示情報が一度だけ送信されるのに対し、ステップＳ４（詳細は後述）の処理は繰り返し実行され、必要に応じてマーカ表示指示情報の送出が複数回行なわれるため、本更新処理は複数回実施されることがある。
本実施の形態において、テレビ２は、上記指示サイズの四角形のマーカを表示するように設定されているが、小型情報端末１によってマーカの形状が指定される構成としてもよい。
ステップＳ１７では、表示部２７は、コンテンツ部２６が生成した表示情報の上にマーカを重畳表示する。重畳表示されるマーカは、マーカ表示情報保持部２３の内容に従う。すなわち、表示部２７は、マーカ表示情報の表示フラグが「表示」の場合は、色、及び指示サイズの値に従って、表示情報の上にマーカを描画する。本例においては、テレビ２は、幅１５０ピクセル、高さ１５０ピクセル分の赤色の方形を、ＰＣ３は、幅１５０ピクセル、高さ１５０ピクセル分の青色の方形を表示情報上に描画する。なお、マーカの描画位置については、本例においては、表示機器が任意の固定位置（例えば、座標（０，０）をマーカの左上座標とする等）を定めておき、本位置に表示するものとする。なお、表示指示位置をマーカ表示情報に含め、当該表示指示位置へマーカを表示する構成としてもよい（本構成については、実施の形態３にて詳細に説明する）。
上記処理は、少なくとも小型情報端末１の表示機器制御処理継続中は、繰り返し実施される（ステップＳ１８）。なお、小型情報端末１から送信された表示機器制御処理の終了指示を受信した場合は、ステップＳ１１の初期化処理によってマーカ表示が非表示（オフ）にされる。その後、表示指示等の受信待ちが行われる（Ｓ１２）。
以上で、テレビ２側の処理の説明を終了する。
（３）マーカ検出処理の詳細
次に、図５のフローチャートを用い、ステップＳ３のマーカ検出処理の詳細について説明する。ステップＳ３では、マーカ検出部１３１は、撮影画像入力部１１が生成した撮影画像情報を受け取り、本撮影画像情報に含まれるマーカを検出する。なお、以下の説明において、上記ステップＳ２にて撮影画像入力部１１により生成された撮影画像情報は、図８に示す撮影画像１１１の情報であるものとする。
ステップＳ３１では、マーカ情報保持部１３３が保持するマーカ情報の一部が初期化される。具体的には、マーカ情報保持部１３３が保持する全表示機器に係るマーカ情報の検出フラグを「未検出」状態へリセットする。また、検出位置、検出サイズの値を「未設定」にする。
ステップＳ３２では、各表示機器に割当てられたマーカの色を、マーカ情報保持部１３３から読み出して取得する。本例においては、図７に記載の通りテレビ２の「赤」、及びＰＣ３の「青」が取得される。
ステップＳ３３では、前記の撮影画像情報より、ステップＳ３２にて読み出した色である「赤」、及び「青」のピクセル群を検出する。各色のピクセル群の検出は、各ピクセルＰ（ｘ，ｙ）の色情報に基づき、次のように行われる。
まず、次式によって、各ピクセルＰ（ｘ，ｙ）について、各基準色（図１１参照）に対するＲＧＢ（赤、緑、青）の各色成分の輝度差合計値Ｃ（ｉ）を求める。
Figure 2011004612
ここで、Ｐｒ（ｘ，ｙ）、Ｐｇ（ｘ，ｙ）、Ｐｂ（ｘ，ｙ）は、それぞれ各ピクセルの赤、緑、青成分の輝度値である。また、基準輝度値Ｓｒ（ｉ）、Ｓｇ（ｉ）、及びＳｂ（ｉ）は、それぞれ基準色を構成する赤、緑、青成分の輝度値である。図１１は、本基準輝度値の設定例を示す図である。「ｉ」は、色番号である。例えば、赤色の場合は、「ｉ」が２となり、各基準輝度値Ｓｒ（２）＝２５５、Ｓｇ（２）＝０、Ｓｂ（２）＝０となる。なお、各色の基準輝度値は、小型情報端末１の記憶部に記憶されている。
そして、各色番号ｉ（１≦ｉ≦Ｎ）について、撮像画像情報の各ピクセルの輝度差合計値Ｃ（ｉ）を算出する。ここで、図１１の例ではＮ＝８となるため、各ピクセルについて、８つの輝度差合計値Ｃ（１）〜Ｃ（８）が算出される。さらに、各ピクセルについて、８つの輝度差合計値Ｃ（１）〜Ｃ（８）のうちの最小となるものの色番号ｉ0に対応する色名称Ｃｎ（ｉ0）が、当該ピクセルの色名称となる。
さらに、色名称が同じ複数のピクセルが、連続して配置されている場合に、ピクセル群とみなされる。具体的には、ピクセル群は、Ｐ（ｘk−１，ｙk）、Ｐ（ｘk＋１，ｙk）、Ｐ（ｘk，ｙk−１）、及びＰ（ｘk，ｙk＋１）のいずれか１以上のピクセルに対応する色名称が、Ｐ（ｘk、ｙk）の対応する色名称と同一となるピクセルＰ（ｘk，ｙk）の集合である。ここで、添字ｋは、例えば正の整数であり、Ｐ（ｘk，ｙk）は、ｋ番目の座標の色情報を表している。
本例においては、撮影画像情報１１１のうち、テレビ２が表示したマーカを撮影した部分１１１ｂを構成する各ピクセルは、色名称「赤」に近い輝度値となるはずである。よって、本ステップでは、領域１１１ｂの部分が色名称「赤」のピクセル群として発見される。なお、撮影画像入力部１１の感光性能や、撮影環境により、色名称「赤」の基準色を構成する各成分の基準輝度値（赤色の基準輝度値はＳｒ（２）＝２５５、緑色の基準輝度値はＳｇ（２）＝０、青色の基準輝度値はＳｂ（２）＝０）と若干異なる可能性がある。
ここで、各ピクセルの色名称を取得する場合に、可及的に基準色に近い色名称が選択されるように、Ｃ（ｉ）に上限しきい値を設けてもよい。この場合、輝度差合計値Ｃ（１）〜Ｃ（Ｎ）の全てが上限しきい値よりも大きい場合には、そのピクセルの色名称は未設定（例えば、色番号が０とされる）とされる。これにより、基準色と大きく異なる基準輝度値を有する色が排除される。そして、輝度差合計値Ｃ（１）〜Ｃ（Ｎ）のうちの最小値が上限しきい値以下となるピクセルによって構成されるピクセル群だけが、マーカ検出の対象とされる。このようにすることで、マーカ検出の精度を向上させることができる。
また、ピクセル群の検出において、Ｐ（ｘk−１，ｙk）、Ｐ（ｘk＋１，ｙk）、Ｐ（ｘk，ｙk−１）、及びＰ（ｘk，ｙk＋１）及び、Ｐ（ｘk−１，ｙk−１）、Ｐ（ｘk＋１，ｙk−１）、Ｐ（ｘk−１，ｙk＋１）、Ｐ（ｘk＋１，ｙk＋１）のいずれか１以上のピクセルに対応する色名称が、Ｐ（ｘk、ｙk）の対応する色名称と同一となるピクセルＰ（ｘk，ｙk）の集合を、ピクセル群としてもよい。また、いずれか１以上ではなく、いずれかＮ以上（Ｎ≧２）としてもよい。この場合、Ｎを大きな値にするほど、対ノイズ性が向上する一方、本来マーカである部分をノイズとして排除することにもなる。
ステップＳ３４では、ステップＳ３３にて検出されたピクセル群がマーカであるかどうかを判断する。具体的には、当該ピクセル群のピクセル数が下限値Ｐｍ以上であるか否かにより判断をする。すなわちピクセル数が下限値Ｐｍ未満のものについては、マーカではなく、ノイズである、と判断する。なお、下限値Ｐｍは、（数２）により算出され、下限値Ｐｍの最小値は１である。
Figure 2011004612
ここで、設定値Ｗｐは横方向のピクセル数であり、設定値Ｈｐは縦方向のピクセル数である。設定値Ｗｐ及びＨｐともに、マーカの検出が可能な範囲で、マーカを縮小できる値が設定されている。本実施の形態において、例えば、設定値Ｗｐ及びＨｐともに「５」とされている。
また、係数αは、「０」より大きく、「１」以下に設定される値である。本値を小さくするほど、マーカを確実に検出できるが、小さなピクセル群もマーカとして検出されることとなり、ノイズをマーカとして誤検出する可能性も上がる。一方、係数αを大きくすると、ノイズをマーカとして誤検出する可能性は下がるが、小さなマーカをノイズとして排除してしまう恐れがある。よって、誤検出を減らすためには、係数αを０．５以上にすることが好ましい。しかし、誤検出が生じにくい状況において、係数αを０．５未満にすることもできる。
係数αは、例えば、カメラ部１１（撮影画像入力部１１）の性能（例えば解像度）に基づいて決定することができる。カメラ部１１の画素性能が低いと、例えば、後述するステップＳ３３において算出された表示サイズでマーカがテレビ２に表示されたとしても、撮影されたマーカのサイズが計算値よりも小さくなる場合がある。このような事態に備えるためには、例えば、係数αを０．６にする等、ある程度小さな値とすることが好ましい。
係数αは、例えば、製品出荷時や、前述の表示機器制御処理を行うアプリケーションソフトの実行時に、テスト撮影を行うことで決定される。
ここで、上記ピクセル数Ｗｐ，Ｈｐの各々に係数αを乗じたピクセル数（α・Ｗｐ，α・Ｈｐ）が、マーカとして検出される下限サイズ（マーカ検出に最低限必要なサイズ）となる。
なお、ピクセル群をマーカであると判断する基準を、上記下限値Ｐｍに代えて、ピクセル群の横方向（Ｘ軸方向）および縦方向（Ｙ軸方向）のピクセル数が、それぞれ設定値（α・Ｗｐ，α・Ｈｐ）以上であるとしてもよい。これにより、本例のように、マーカの形状が四角形である場合は、マーカの誤検出を減らすことができる。
ステップＳ３５では、ステップＳ３４にてマーカであると判断されたピクセル群について、当該ピクセル群にかかるマーカ情報をマーカ情報保持部１３３へ書き込む。ここで書き込む情報は、当該ピクセル群の検出位置、検出サイズである。また、検出フラグを「検出」とする。本ステップの処理により、例えば、図６の内容であったマーカ情報保持部１３３の内容は、図９に示す内容へ更新される。
（４）マーカサイズ調整処理
図６は、ステップＳ４のマーカサイズ調整処理を示すフローチャートである。この図に基づいて、マーカサイズ調整処理について説明する。
ステップＳ４１では、表示マーカ制御部１３２は、マーカ情報保持部１３３よりマーカ検出部１３１が検出した各表示機器のマーカ情報、すなわち検出フラグの値が検出状態のマーカ情報を取り出す。本例においては、テレビ２に関するマーカ情報のみが取り出される。
ステップＳ４２では、表示マーカ制御部１３２は、ステップＳ４１にて取得したマーカ情報に基づいて、マーカ検出部１３１が検出可能な範囲でマーカを縮小できる表示サイズの計算を行なう。ここで、縮小時のマーカの表示サイズ（Ｗｍ，Ｈｍ）は、（数３）に示す式によって算出される。マーカの検出が可能な横方向のピクセル数の設定値Ｗｐ、縦方向のピクセル数の設定値Ｈｐ、当該マーカ情報の検出サイズは（Ｗｄ，Ｈｄ）、当該マーカ情報の指示サイズは（Ｗｓ，Ｈｓ）で示している。
Figure 2011004612
本例においては、設定値Ｗｐ＝５、設定値Ｈｐ＝５、とすると、検出サイズＷｄ＝３３、Ｗｄ＝３０、指示サイズＷｓ＝１５０、Ｗｓ＝１５０なので、縮小サイズＷｍ＝２２．７２、Ｈｍ＝２５となる。ここで小数点以下は四捨五入し、縮小サイズ（Ｗｍ，Ｈｍ）＝（２３，２５）が、マーカ検出部１３１が検出可能な範囲でマーカを縮小する表示サイズとして算出される。当該マーカ情報の指示サイズは、本算出されたサイズ（２３，２５）に更新される（図１０）。
ステップＳ４３では、縮小後の指示サイズがマーカ情報保持部１３３に書き込まれると共に、テレビ２に対するマーカ表示指示が行われる。マーカ表示指示部１３４は、ステップＳ４２において指示サイズの更新が行なわれたテレビ２へ、マーカ表示指示情報を送信する。本例においては、当該マーカ表示指示情報は、色は「赤」、指示サイズは（２３，２５）である。当該マーカ指示情報の送信により、前述のステップＳ１６及びＳ１７が実施され、テレビ２は、マーカの表示サイズを横方向のピクセル数を２３に、縦方向のピクセル数を２５に変更する。
その結果、図２のようにテレビ２に大きく表示されていたマーカ２７１ａを、図１２のように、テレビ２に縮小して表示させることができる。よって、テレビ２本来の表示内容の見づらさを低減することができる。
ここで、小型情報端末１とテレビ２の位置関係が変わらなかった場合は、マーカ２７１ａの表示サイズが上記数式３によって指示サイズを算出されることから、次回のマーカ検出処理において、撮影画像情報におけるマーカのサイズが（Ｗｐ，Ｈｐ）となる。この検出サイズは、マーカを構成するピクセル群のピクセル数が、前述の下限値Ｐｍ以上であるので、マーカとして検出される。なお、前述のように、下限値Ｐｍは、係数α×Ｗｐ×Ｈｐである（０＜α≦１）。このように下限値Ｐｍを決定するとともに、撮影画像におけるマーカのサイズが（Ｗｐ，Ｈｐ）となるように指示サイズを決定することで、その指示サイズは、ほぼ確実にマーカを検出できる値になる。よって、マーカ検出が可能な範囲で可及的にマーカの指示サイズを縮小できる。
また、係数αは、カメラ部１１の性能に基づいて決定される一方、設定値Ｗｐ，Ｈｐはカメラ部１１の性能に左右されない。つまり、設定値Ｗｐ，Ｈｐに基づいてマーカを縮小させる指示サイズを算出することで、カメラ部１１の画素性能を考慮せずに指示サイズを算出することができる。
（５）まとめ
以上で説明したとおり、本実施の形態１によれば、図２のようにテレビ２に大きく表示されていたマーカ２７１ａを、図１２のように、小型情報端末１が認識可能であって可能な限り小さいサイズのマーカ２７１ａへ変更することができる。
これにより、テレビ２等の表示機器本来の表示内容が、マーカによって部分的に見えなくなって表示内容が見づらくなることを軽減することができる。また、テレビ等の表示機器に表示するマーカのサイズを、検出が可能な程度に小さくしており、マーカ検出も容易にされている。さらに、マーカ検出処理を行う前の状態において、マーカの表示サイズを比較的大きくしておくことにより、撮影距離の影響を受けにくくなり、マーカを容易に検出できる。すなわち、マーカ検出の容易性を確保しながら、表示機器本来の表示内容の見づらさを低減することができる。
＜マーカの形状、その他＞
本実施の形態において、マーカの形状は四角形に限られず、例えば、三角形、円、Ｌ字形状（鉤型）、帯状等とすることができる。特に、マーカ形状を直角三角形や、Ｌ字形状とした場合には、直角の角を表示機器の表示画面の隅に配置し、表示画面を有効に活用し得る。
また、マーカ初期化処理（Ｓ１）においてテレビ２等に送信されるマーカ表示指示情報に基づいて表示されるマーカは、マーカ検出処理後に小さくされるため、表示面積を非常に大きくしてもよい。例えば、表示機器の表示画面（表示領域と称することもできる）の全てに表示することや、表示画面の外周に沿う枠形状とすることができる。その場合は、初期のマーカ検出が容易になる。
さらに、１のマーカを１色で構成する必要はなく、複数の色を組み合わせてマーカを構成してもよい。例えば、１のマーカを２つに分割あるいは３つ以上に分割し、１のマーカに２色以上の色を割り当てることができる。このように、１のマーカを複数の色で構成した場合には、相隣接するピクセル群が所定の色の組み合わせであればマーカである確率が高く、マーカ検出の精度が向上する。さらに、１のマーカを、第１の色の部分を第２の色の部分で取り囲むように構成することもできる。その場合にも、マーカ検出の精度が向上する。また、テレビ２等のコンテンツと第１の色の部分とが第２の色の部分で区画されているため、撮影画像において第１の色の部分の輪郭が精度よく再現され、パターンマッチングを行う場合に好適である。
さらに、図３１に示すように、マーカは、枠内に記号を表示するものであってもよい。この枠内の図形は、マーカの模様の一例である。
また、マーカの個数は１つに限られず、複数個のマーカを表示することもできる。例えば、表示機器の表示画面の対角に位置する２つの隅にマーカを表示させてもよい。
[変形例１]
上記実施の形態において、マーカの色は予め設定された色が指定されていた。
それに対して、各表示機器に表示させるマーカの色として、現在の撮影画像情報に含まれない色、つまり、不使用の色を選択する、との手順を採用することもできる。
＜不使用色探索処理＞
図１３に、撮影画像情報における不使用色を探索する不使用色探索処理のフローチャートを示す。
この不使用色探索処理は、テレビ２等にマーカを表示させずにテレビ２等を撮影して得られた撮影画像情報、あるいは、マーカ検出処理においてマーカの検出数がマーカの表示数よりも多い撮影画像情報等に対して行われる。
まず、ステップＳ１００１にて変数ｉが１に設定される。また、Ｕ（ｉ）＝０とする。
ステップＳ１００２〜Ｓ１００７において、色番号が１〜Ｎ（Ｎは、例えば８）の基準色について、ピクセル数がしきい値Ｐｎ以上のピクセル群の有無等が調べられる。なお、しきい値Ｐｎは、下限値Ｐｍ以下の値とされる。
ここで、Ｓ１００２では、マーカ検出におけるピクセル群の検出処理（Ｓ３３）と同じ処理が行われる。
Ｓ１００３〜Ｓ１００５では、以下の処理が行われる。まず、色番号（ｉ）の基準色（ｉ）について、ピクセル群が存在しない場合、又は、ピクセル群のピクセル数がしきい値Ｐｎ未満の場合は、当該基準色（ｉ）は使用されていない。そのため、Ｓ１００４において、変数Ｕ（ｉ）は「０」とされる。一方、ピクセル群のピクセル数がしきい値Ｐｎ以上である場合は、当該基準色（ｉ）は使用されており、変数Ｕ（ｉ）の値を検出されたピクセル群の数とする。
Ｎ個の基準色について使用の有無が探索されると、Ｓ１００８にて、不使用色がマーカに割り当てられる。ここで、不使用色は、変数Ｕ（ｉ）＝０である基準色（ｉ）から選択される。
Ｓ１００９にて、マーカ情報を更新し、各表示機器について、マーカの色に上記不使用色を設定する。
マーカ情報が更新された後、ステップＳ１又はＳ３（図３）において、小型情報端末１からテレビ２等にマーカ表示指示情報が送信されると、テレビ２等に割り当てられた色のマーカが表示される（図４：ステップＳ１５〜Ｓ１７）。その結果、マーカを容易に検出することができる。
以上に述べたように、例えば、テレビ２を撮影して不使用色探索処理を行えば、撮影画像情報に使われていない色のマーカをテレビ２に表示させ、マーカの検出を容易にすることができる。
なお、ステップＳ１００２，Ｓ１００３において、単に各基準色と同じ色のピクセルが存在するか否かを判断してもよい。そして、撮影画像情報中に同じ色のピクセルがない基準色をテレビ２等に割り当てれば、よりマーカの検出精度を向上させることができる。このように、撮影画像情報に含まれない色にて各表示機器のマーカを表示すれば、当該色は、当該マーカ以外に存在しないため、ステップＳ３４を省略してもよい。
また、ステップＳ１００２〜Ｓ１００７において、全ての基準色について不使用か否かを調べることは必須ではない。例えば、登録されている表示機器と同数の不使用色が検出できればよい。また、マーカの誤検出が生じていた場合には、誤検出されたマーカの色は調べることを要しない。
＜マーカ誤検出時の不使用色探索処理の実行例＞
ここで、マーカ検出処理においてマーカの検出数がマーカの表示数よりも多い場合に、マーカ検出処理（Ｓ３）がどのように行われるかについて説明する。なお、実施の形態１のマーカ検出処理を「マーカ検出処理１」と記載し、本変形例のマーカ検出処理を「マーカ検出処理２」と記載して区別することとする。
図１４に、マーカ検出処理２のフローチャートを示す。この図において、ステップＳ３１〜Ｓ３５までの処理は、マーカ検出処理１と同じであるため、説明を省略する。
ステップＳ３６において、マーカとみなされるピクセル群（ピクセル数がＰｍ以上）の個数、つまり、マーカの検出数が、マーカの表示数（実施の形態１において１つ）よりも多いか否かが判定される。マーカの表示数は、小型情報端末１により指示され、小型情報端末１に記憶されているものとする。
マーカの検出数が、マーカの表示数より多い場合は、マーカと異なる画像をマーカとして誤検出しているためである。よって、ステップＳ３７において上述の不使用色探索処理が行われ、各表示機器に対するマーカの色の割り当てが変更される。
なお、不使用色探索処理は、マーカ初期化処理（図３のＳ１）の前に行うこともできる。この場合、例えば、ユーザ操作によってマーカが表示されていない状態でテレビ２等を撮影し、その撮影によって得られた撮影画像情報について不使用色探索処理を行うことができる。そして、不使用色探索処理にて各表示機器に割り当てられた色は、マーカ初期化処理（Ｓ１）において、マーカ情報保持部１３３に設定され、マーカ表示指示情報によりテレビ２等に送信される。
さらに、上記不使用色探索処理のＳ１００２において、前述の輝度差合計値Ｃ（ｉ）がしきい値以下となるピクセルあるいはピクセル群を検出する処理等を行ってもよい。この場合は、マーカ検出処理において、輝度差合計値Ｃ（ｉ）がしきい値以下となるピクセル群を検出することが好ましい。
ここで、マーカの誤検出が生じた場合に、不使用色探索処理を行わず、単にマーカの色を変更することもできる。この場合は、マーカの誤検出が生じなくなるまで、次々とマーカの色を変更することで、結果的に不使用色をマーカに割り当てることとなる。
[変形例２]
上記実施の形態１において、以下の処理を行うことができる。
マーカ検出処理のＳ３４において、Ｓ３３にて検出されたピクセル群に対しパターンマッチングを行い、マーカであるか否かを判定することができる。パターンマッチングは、マーカ形状データと、ピクセル群の形状との特徴量を比較し、その特徴量の差が設定値以下である場合に、マーカであると判別される。よって、マーカ形状と近似していない形状のピクセル群は、マーカと同じ色であっても、マーカではないと判別される。
上記パターンマッチングを行うことにより、マーカ検出の精度を向上させることができる。
[変形例３]
上記実施の形態において、マーカ検出処理で輝度差合計値Ｃ（ｉ）が算出されていた。この輝度差合計値Ｃ（ｉ）の算出に代えて、各基準色の輝度条件を満たすか否かによって、各ピクセルが基準色と同じ色であるか否かを判別することもできる。
例えば、基準色が「赤」である場合に、ＲＧＢそれぞれについて、輝度しきい値Ｂｒ（２）、Ｂｇ（２）、Ｂｂ（２）を設定する。そして、赤の輝度値Ｐｒ（ｘ，ｙ）がＢｒ（２）以上、緑の輝度値Ｐｇ（ｘ，ｙ）がＢｇ（２）以下、青の輝度値Ｐｂ（ｘ，ｙ）がＢｂ（２）以下となるピクセルを検出することで、マーカと同じ色のピクセルを抽出することができる。なお、各輝度しきい値は、例えば、Ｂｒ（２）を２００、Ｂｇ（２）及びＢｂ（２）を３０とすることができる。図１１の例では、基準輝度値が２５５の色成分に対しては、輝度しきい値は下限として用いられ、基準輝度値が０の色成分に対しては、輝度しきい値は上限として用いられる。
本変形例によれば、全ピクセルの色名称を取得する必要がなく、マーカと同じ色のピクセルを抽出するだけでよく、マーカ検出処理を簡略化することができる。
（実施の形態２）
本実施の形態は、例えば、小型情報端末とテレビ等との距離が遠くなり、検出されていたマーカが検出されなくなった状況において、マーカの表示サイズを大きくして再検出を図るものである。
図１５は、本発明の実施の形態２におけるマーカ表示制御装置を組み込んだ操作機器たる小型情報端末５００、及び当該操作機器による操作の対象となる表示機器たるテレビ２（ＰＣ３も同じ構成を備えている）の構成を示すブロック図である。図１５において、前記実施の形態１と同じ構成要素については図１と同じ符号を用い、説明を省略、あるいは簡略化する。なお、図１と同じ符号を付した構成要素が、図１の構成要素にはない機能を備えている場合もある。
図１５におけるマーカ表示制御装置５１３は、実施の形態１にて説明した図１のマーカ表示制御装置１３と同じ構成に加えて、検出不可マーカ制御部１３５を備える。
検出不可マーカとは、前回（あるいは、数回前）のマーカ検出処理において検出されたマーカであって、今回のマーカ検出処理で検出できなかったマーカのことである。
検出不可マーカ制御部１３５は、検出不可マーカについて、再度のマーカ検出を図るためにマーカの表示サイズを大きくする処理を行なう。
ここで、図１６に、図１７に示す状態におけるマーカ情報保持部１３３の設定内容を示す。マーカ情報保持部１３３に記憶されるマーカ情報には、検出不可マーカを判別するために、「前回検出位置」という項目が追加されている。これにより、前回検出位置の値が設定されていて、かつ、検出位置の値が設定されていない（あるいは、検出フラグが未検出にされている）マーカを検出不可マーカと判断することができる。
図１７は、本発明の実施の形態２における、操作機器（小型情報端末５００）及び表示機器（テレビ２、ＰＣ３）の外観構成と配置を示した図である。本図は、図１２の配置から、小型情報端末５００をテレビ２から遠ざけた状態を示す。このため、小型情報端末５００上のマーカ２７１ｂに相当する部分であるマーカ撮影画像１２１ｂは、前述したピクセル群をマーカとして判断するために必要なピクセル数の下限値Ｐｍを下回ることになる。つまり、ステップＳ３４の処理において、図２の状態ではマーカ撮影画像１２１ａがマーカとして検出されていたが、図１７の状態ではマーカ撮影画像１２１ｂはマーカとして判別されなくなる。
この図１７に示す状態において、小型情報端末５００で行われる処理の手順について、図１８、及び図１９に示すフローチャートを用いて説明する。なお、図３にて既に説明したステップと同一のものについては、同じ符号を付し、説明を省略する。
図１８は、マーカサイズ調整処理２のフローチャートを示す図である。なお、マーカサイズ調整処理２は、前記実施の形態１のマーカサイズ調整処理（Ｓ４）に、ステップＳ４４の検出不可マーカ表示態様変更処理（以下、検出不可マーカ処理と記載する）を加えたものである。なお、ステップＳ４１，Ｓ４２は前記実施の形態１と同じ処理がなされる。また、マーカが検出されない場合、ステップＳ４１，Ｓ４２において、実質的に処理はなされない。
図１６において、今回のマーカ検出処理（Ｓ３）においては、テレビ２に係るマーカの検出ができなかったため、検出フラグが未検出となり、検出位置及び検出サイズが「未設定」となっている。また、前回のマーカ検出処理ではマーカの検出が行なえていたため、前回検出位置が設定されている状態とする。
ステップＳ４４の検出不可マーカ処理において、検出不可マーカ制御部１３５は、図１９に示す手順に従って、検出不可マーカが存在する場合に、検出不可マーカを検出可能とするために、マーカの表示サイズを大きくする処理を行う。
ステップＳ４４１では、検出不可マーカを特定する。検出不可マーカの要件は２つである。要件１は、マーカ情報保持部１３３が保持するマーカ情報のうち検出位置が「未設定」であることである。これは、今回のマーカ検出処理において当該マーカ情報に係るマーカは検出されていないことを示すためである。なお、要件１は、検出フラグが未検出でもよい。要件２は、同マーカ情報のうち前回検出位置が「未設定」ではないことである。これは、前回のマーカ検出処理において、当該マーカ情報に係るマーカが当該検出位置にて検出されたことを示すためである。本例においては、上記図１６の説明の通り、テレビ２に係るマーカが、検出不可マーカとして特定される。
また、前記ステップＳ４４１にて、検出不可マーカが特定できなかった場合は、Ｓ４４３の処理は実施しない（ステップＳ４４２）。
ステップＳ４４３では、検出不可マーカとして特定されたマーカの指示サイズを現状のサイズより大きな値（Ｗｂ、Ｈｂ）に変更する。具体的には、当該マーカ情報の指示サイズに定数Ｂを乗じたサイズを算出し、マーカ情報保持部１３３の指示サイズを本算出値に更新する。本例においては、Ｂ＝２とすると、Ｗｂ＝２３×２＝４６、Ｈｂ＝２５×２＝５０となり、指示サイズは（４６，５０）に更新される。
最後にステップＳ４４４では、各マーカ情報の検出位置の値を、前回検出位置に設定する。これにより、前回検出位置の設定値は、次回の検出不可マーカ処理において前回（すなわち今回）のマーカ検出処理にて検出した検出位置が設定されていることになる。
なお、「検出位置」の値が未設定である場合は、「前回検出位置」の値は変更されないものとする。つまり、「検出位置」の値が未設定であり、かつ、前回検出位置に何らかの座標が設定されている場合は、その座標が保持される。
本処理によって指示サイズが大きくされた後、その指示サイズがマーカ表示指示情報としてテレビ２に送信される（Ｓ４３）。その結果、テレビ２に表示されるマーカの表示サイズが大きくされ（Ｓ１５〜Ｓ１７）、その後のマーカ検出（Ｓ３）が容易になる。
本ステップＳ４４の導入により、検出不可マーカが検出可能となるまで、マーカのサイズが順次大きな値へ更新される。そして、当該マーカが検出可能となった後は、実施の形態１にて説明した手順により、検出が可能であって最小のサイズへ調整される。
以上で説明したとおり、本実施の形態２によれば、小型情報端末５００とテレビ２との距離が遠くなったこと等により小型情報端末５００がマーカ２７１ｂを検出できなくなってしまったとしても、マーカ表示制御装置５１３によってテレビ２等の表示機器に表示させるマーカの表示サイズを大きくし、マーカの検出を図ることができる。
すなわち、マーカの表示サイズを小さくすることで表示内容の見づらさを低減する一方で、撮影距離の増加等によってマーカが検出されなくなった場合におけるマーカの検出が容易にされている。
なお、小型情報端末５００のカメラ部１１の向きがユーザによって変えられ、表示機器が撮影範囲外に位置することもある。そのような状況に備えて、以下の処理を行うこともできる。
ステップＳ４４３において、検出不可マーカについて、指示サイズの増加指示を行った回数をカウントしておき、Ｓ４４４の後に、増加指示を設定回数行ってもマーカが検出されない場合に、例えば、撮影範囲にテレビ２等が含まれていないと判断し、検出不可マーカ処理を終了させるステップを設けることもできる。また、検出不可マーカについての指示サイズが上限設定値を超えた場合に、検出不可マーカ処理を終了させるステップを設けてもよい。なお、Ｓ４４４の後に、上記の処理を行うステップを設けてもよい。
検出不可マーカ表示態様変更処理を終了させる場合、検出不可マーカの「前回検出位置」が未設定にされ、検出不可マーカが特定されなくなる。また、検出不可マーカを表示している表示機器に対し、マーカの表示を終了させる指示、あるいは、指示サイズを小さくする指示がなされる。なお、指示サイズを小さくする指示を行う場合、例えば、検出不可マーカが特定される前の指示サイズをマーカ情報保持部１３３に記憶しておき、その指示サイズを用いることができる。
本実施の形態において、マーカ表示態様変更部５３０は、表示マーカ制御部１３２と、マーカ情報保持部１３３と、マーカ表示指示部１３４と、検出不可マーカ制御部１３５とにより構成される。
[変形例]
なお、上記実施の形態２において、マーカが一旦検出された後に、表示サイズを段階的に小さくしながらマーカ検出処理を行い、マーカが検出されなくなった場合に、マーカの表示サイズを検出可能なサイズに調節するという制御を行うこともできる。
具体的には、上記実施の形態を以下のように変更することができる。
ここで、マーカの検出可能なサイズを記憶しておくために、マーカ情報保持部１３３に記憶されるマーカ情報に、「前回指示サイズ」という項目が追加される。これにより、マーカの指示サイズを小さくしてマーカが検出されなくなった場合に、指示サイズを前回指示サイズの値に戻すことができる。
そして、Ｓ４２において、マーカの指示サイズを例えば１０％程度ずつ小さくする。本例において、指示サイズを（１５０，１５０）から（１３５，１３５）に小さくする。また、指示サイズを変更する前に、元の指示サイズ、例えば（１５０，１５０）を前回指示サイズにコピーする。このような処理をマーカが検出されなくなるまで繰り返して行い、検出不可マーカが特定されると、Ｓ４４３において、指示サイズが前回指示サイズの値にされる。その結果、マーカの表示サイズを検出可能かつ可及的に小さいサイズにすることができる。なお、指示サイズが前回指示サイズの値にされた後は、マーカの指示サイズを小さくする処理は行われない。
また、検出不可マーカについて、指示サイズの増加量を小さくすることもできる（例えば、１．１倍等）。この場合、マーカが過度に大きくなることを防ぐことができ、表示機器本来の表示内容が見づらくなることを抑制できる。
なお、上記実施の形態２において、各表示機器に複数のマーカを表示させてもよい。また、検出不可マーカが複数存在する場合は、Ｓ４４において、各検出不可マーカの指示サイズが増加させられる。
[実施の形態３]
本実施の形態では、マーカが障害物に遮蔽される等、マーカの表示位置が不適切であるためにマーカが撮影できなくなった場合に、マーカの表示位置を変えることで、つまり、マーカを移動することでマーカの再検出が図られる。
また、本実施の形態では、小型情報端末６００の表示部１２上（詳細には、表示部１２の表示画面若しくは表示領域）の座標を指定することで、表示部１２上に表示されたテレビ２等の操作メニューを遠隔操作することが可能にされている。
図２０は、本発明の実施の形態３におけるマーカ表示制御装置を組み込んだ操作機器たる小型情報端末６００、及び小型情報端末６００による操作の対象となる表示機器たるテレビ２、ＰＣ３の構成を示す図である。図２０において、図１、図１５と同じ構成要素については同じ符号を用い、説明を省略、あるいは簡略化する。なお、図１等と同じ符号を付した構成要素が、図１等の構成要素にはない機能を備えている場合もある。
図２０におけるマーカ表示制御装置６１３は、実施の形態２にて説明した図１５のマーカ表示制御装置５１３の構成に加えて、マーカ遮蔽等判断部１３６及び表示機器情報生成部１３７を備えている。また、マーカ表示態様変更部６３０は、図１５のマーカ表示態様変更部５３０の構成に加えて、マーカ遮蔽等判断部１３６を備えている。
＜遠隔操作方法について＞
（１）概要
まず、本実施の形態における遠隔操作方法について説明する。
図２１は、４つのマーカ２７１ｄ〜２７４ｄおよび操作メニュー２８を表示した状態のテレビ２と、そのテレビ２を撮影する小型情報端末６００とを示す図である。
テレビ２（およびＰＣ３）は、画質設定等を行う操作メニュー２８を表示する機能を備えている。図の例において、操作メニュー２８には、３つの操作内容表示画像２８ａ，ｂ，ｃが含まれている。通常は、テレビ専用のリモコン操作にて、操作内容表示画像２８ａ，ｂ，ｃのいずれかが選択され、画質設定操作が行われる。
この操作メニュー２８は、マーカに使用される色とは異なる色（例えば、中間色）を用いて形成されている。このようにすることで、マーカの検出が容易になる。なお、各表示機器で操作メニュー２８に用いられる色を、マーカ情報としてマーカ情報保持部１３３に保持させ、それ以外の色をマーカの色とすることもできる。
小型情報端末６００の操作入力部１０は、表示部１２の液晶パネルを覆うタッチパネルを備えている。よって、ユーザがタッチパネルに触れることにより、表示部１２上の任意の座標Ｑａ（Ｘａ，Ｙａ）を入力することができる。つまり、表示部１２上の座標Ｑａ（Ｘａ，Ｙａ）を指定することができる。
（２）ポイント情報Ｑｂの生成
表示機器情報生成部１３７は、前記ステップＳ５において、撮影画像情報における表示機器上の座標位置Ｑａ（Ｘａ，Ｙａ）（以下、撮影画像座標位置Ｑａという場合がある）を、実際の表示機器の表示領域における座標位置Ｑｂ（Ｘｂ，Ｙｂ）（以下、表示領域座標位置Ｑｂという場合がある）に変換する座標変換機能を備えている。
ここで、撮影画像座標位置Ｑａの座標変換により、表示領域座標位置Ｑｂを生成することを、「ポイント情報Ｑｂ（Ｘｂ，Ｙｂ）の生成」と表現する。ポイント情報Ｑｂ（Ｘｂ，Ｙｂ）とは、撮影画像情報における座標Ｑａ（Ｘａ，Ｙａ）が、当該撮影画像に現れた表示機器の表示領域のどの部分に該当するか、を示す座標情報である。
本ポイント情報Ｑｂ（Ｘｂ，Ｙｂ）の生成につき、図２１を用いて詳細に説明をする。図２１の表示部１２は、撮影画像をそのまま表示するものとする。また、本表示部１２は、前述のように液晶パネル上にいわゆるタッチパネルを搭載しており、操作入力部１０を兼ねるものである。すなわちユーザは撮影画像上の一点Ｑａ（Ｘａ，Ｙａ）をタッチ操作にて指定可能であるとする。
このとき、テレビ２のポイント情報Ｑｂ（Ｘｂ，Ｙｂ）は、（数４）に例示する式にて算出される。この式において、撮影画像におけるテレビ２の表示領域の横方向のピクセル数はＷａ、縦方向のピクセル数はＨａで示している。一方、実際のテレビ２の表示領域の横方向のピクセル数はＷｂ、縦方向のピクセル数はＨｂで示している。なお、このピクセル数Ｗｂ、Ｈｂは、テレビ２の解像度であり、マーカ情報保持部１３３に保持されている。
Figure 2011004612
上記数式において、撮影画像情報におけるＸ座標Ｘ1，Ｘ4、およびＹ座標Ｙ1，Ｙ4は、それぞれ撮影画像情報におけるマーカ１２１ｄおよび１２４ｄの座標Ｍ1（Ｘ1，Ｙ1）、Ｍ4（Ｘ4，Ｙ4）の値とされる。
ここで、検出されたマーカが複数のピクセルで構成される場合、いずれのピクセルの座標をＭｉ（Ｘｉ，Ｙｉ）として採用すべきかが問題となる。本問題については、マーカの形状、及びマーカの表示位置に依存するため、一般化された数式による表現は困難である。ただし本例では、マーカは正方形であり、表示位置は表示機器の表示領域の四隅としているため、Ｍｉ（Ｘｉ，Ｙｉ）を以下の通り決定できる。
（ｉ）Ｍ1（Ｘ1，Ｙ1）は、マーカ１２１ｄを構成するピクセル群のうち最も左上のピクセルの座標とする。
（ｉｉ）Ｍ2（Ｘ2，Ｙ2）は、マーカ１２２ｄを構成するピクセル群のうち最も左下のピクセルの座標とする。
（ｉｉｉ）Ｍ3（Ｘ3，Ｙ3）は、マーカ１２３ｄを構成するピクセル群のうち最も右上のピクセルの座標とする。
（ｉｖ）Ｍ4（Ｘ4，Ｙ4）は、マーカ１２４ｄを構成するピクセル群のうち最も右下のピクセルの座標とする。
このように、撮影画像情報における４つのマーカ１２１ｄないし１２４ｄの座標Ｍ1（Ｘ1，Ｙ1）ないしＭ4（Ｘ4，Ｙ4）の値を、マーカ検出処理によって検出することで、ポイント情報Ｑｂの生成が可能になる。
なお、上記数式４の例では、座標Ｍ1（Ｘ1，Ｙ1）およびＭ4（Ｘ4，Ｙ4）の２つの座標に基づいてポイント情報Ｑｂを作成していたが、４つの座標Ｍ1（Ｘ1，Ｙ1）ないしＭ4（Ｘ4，Ｙ4）に基づいてポイント情報Ｑｂを作成することもできる。２つの座標Ｍ1およびＭ4に基づいてポイント情報Ｑｂを作成する方が簡便であるが、４つの座標Ｍ1ないしＭ4に基づいてポイント情報Ｑｂを作成する方が座標変換の精度が向上する。
さらに、詳細は後述するが、マーカの表示位置が移動させられた場合は、上記マーカの検出位置等に加えてマーカ移動量を考慮して上記座標Ｍiが算出される。
なお、上記座標Ｍ1ないしＭ4を、マーカの検出位置および検出サイズに基づいて算出してもよい。
（３）ポイント情報Ｑｂの送信、操作実行
図２１の例では、小型情報端末６００において、ユーザにより画質調整を行う操作メニュー２８の「色合い」調整を指示する座標Ｑａが指定されている。その指定座標Ｑａが表示機器情報生成部１３７によって座標変換され、ポイント情報Ｑｂが生成される。生成されたポイント情報Ｑｂ（Ｘｂ，Ｙｂ）は、前述のステップＳ５において操作情報としてテレビ２等に送信される。その操作情報を受信したテレビ２等は、操作入力部２５においてポイント情報Ｑｂを、テレビ２の表示画面における座標Ｑｂを指定する操作として受け付ける。その結果、操作メニュー２８の「色合い」調整（操作内容表示画像２８ｃ）が選択されたとして、色合い調整を行うサブメニューが表示される。このような操作を続けることで、色合い調整を行う遠隔操作が行われる。
（４）以上に述べた遠隔操作は、数秒〜数十秒程度の時間を要すると考えられるが、その間にマーカの表示サイズが小さくされており、表示装置本来の表示内容たる操作メニューの見づらさが低減されている。
本実施の形態において、表示機器情報生成部１３７のうち、撮影画像座標位置Ｑａを、表示領域座標位置Ｑｂに座標変換する処理を行う部分（ポイント情報Ｑｂを生成する部分）が、「座標変換部」を構成している。
＜検出不可マーカの移動処理＞
次に、検出不可マーカの表示位置が不適切である場合に、検出不可マーカを移動させる処理について説明する。
上記検出不可マーカの移動処理を説明するにあたって、以下の状況を想定する。
図２２は、例えば、ユーザ以外の人間によって、テレビ２の前に遮蔽物４が置かれた状況を表している。そのため、テレビ２が表示するマーカ２７１ｃないし２７４ｃのうち、マーカ２７４ｃは遮蔽物４により撮影できない状態である。この遮蔽されたマーカ２７４ｃは、遮蔽物４が置かれる前の時点では検出されていたため、検出不可マーカと判断される。よって、前記実施の形態２において説明したように、マーカ２７４ｃの表示サイズが大きくされている。しかし、マーカ２７４ｃの表示サイズを大きくしても、遮蔽物４の存在により、マーカ２７４ｃが検出されることはない。このような状況である。
なお、テレビ２付近に遮蔽物４が置かれるとは限らず、ユーザの手元に置かれたコップ等が遮蔽物となり、マーカ２７４ｃ等の撮影を妨げる場合もある。
（１）マーカ移動処理の概要
マーカ遮蔽等判断部１３６は、実施の形態２にて詳細説明をした検出不可マーカについて、当該検出不可マーカが検出不可となっている理由を判断する。つまり、当該検出不可マーカが、何らかの遮蔽物によりマーカの撮影が不可となっている、若しくは当該マーカが、撮影範囲外であること等（以下、「遮蔽等状態」と記載する）によって生じているか否かの判断を行なう。
ここで、当該検出不可マーカが、遮蔽等状態により検出不可となっていると判断するための要件は、以下の２点である。
要件１は、実施の形態２にて説明した表示サイズの変更を設定回数（Ｅ回）実施しても、マーカを検出できないことである。本要件の判定を実施すべく、マーカの検出を実施したが検出できなかった回数を保持する、検出不可カウンタが、マーカ情報保持部１３３に導入されている（図２３）。
要件２は、当該検出不可マーカと同じ表示機器に表示されている他のマーカは検出されていることである。ここで、当該検出不可マーカと同じ表示機器に表示されている他のマーカとは、当該検出不可マーカに対応する表示機器に複数のマーカが表示されている場合において、複数のマーカのうちの検出不可マーカ以外の全てのマーカのことである。
なお、他のマーカが検出されていない場合、又は、他のマーカが存在しない場合（ある表示機器に表示されているマーカ全てが検出不可マーカである場合）は、表示機器全体がカメラ部１１の撮影範囲外になったと考えられるため、遮蔽等状態でないと判断される。
図２２において、マーカ２７４ｃは検出不可マーカであり、検出不可マーカ２７４ｃに対応する表示機器はテレビ２である。そして、検出不可マーカ２７４ｃ以外で、テレビ２に対応するマーカ２７１ｃないしマーカ２７３ｃが「他のマーカ」である。
なお、表示機器が表示するマーカの個数が１つの場合は、例えば、上記要件１のみによって遮蔽等状態を判断することができる。また、例えば、この場合においては、当該表示機器が表示するマーカの数を動的に増やすことにより、要件２による判断が可能な状態へ変更する、との構成としてもよい。
検出不可マーカ制御部１３５には、実施の形態２にて説明した機能に加え、マーカ遮蔽等判断部１３６にて検出不可マーカが遮蔽されている等の遮蔽等状態であると判断された場合に、当該検出不可マーカの表示位置を変更する機能が追加されている。
図２３に、マーカ情報保持部１３３に保持されたマーカ情報を示す。
マーカ情報保持部１３３は、実施の形態１、２で説明した項目に加え、マーカ表示指示位置を記憶する表示指示位置、検出不可カウンタ、遮蔽フラグ、移動カウンタ、及びマーカの移動量を記憶するマーカ移動量を、保持する記憶領域を備えている（図２３）。表示指示位置（Ｘｒ，Ｙｒ）は、テレビ２等の表示領域の座標（Ｘｒ，Ｙｒ）にマーカの左上の角が位置するようにマーカを表示させることを示すものである。
検出不可カウンタは、後述する遮蔽等状態の検出に用いられる。遮蔽フラグは、遮蔽等状態であるか否かを示すフラグである。移動カウンタは、検出不可マーカ（遮蔽等状態マーカ）を移動させる処理において用いられる。
マーカ移動量（Ｘｍ，Ｙｍ）は、表示指示位置より、Ｘ軸方向にＸｍピクセル、Ｙ軸方向にＹｍピクセル移動させた位置にマーカを表示させることを示すものである。なお、テレビ２等の表示領域の座標は、左上を原点（０，０）とし、右側に向かってＸ座標が増加し、下側に向かってＹ座標が増加するものとする。
（２）検出不可マーカ処理２
次に図２２の構成における小型情報端末１の処理手順について、図２４、図２５、及び図２６に示すフローチャートを用いて説明する。
図２２のテレビ２は、小型情報端末１からのマーカ表示指示（図２３に記載のマーカ情報に基づく）により、画面の四隅にマーカ２７１ｃないしマーカ２７４ｃを表示している。ところが、マーカ２７４ｃは、遮蔽物４によって遮蔽されている。このため、小型情報端末１が生成する撮影画像情報には、マーカ２７４ｃに相当する部分は現れない（当該撮影画像をそのまま表示する表示部１２にも現れない）。このため、このままでは前述した四隅のマーカを検出することによってポイント情報Ｑｂの算出を行なうことができない。なお、２つのマーカ２７２ｃ、２７３ｃを検出することで、ポイント情報Ｑｂを算出することは可能であるが、説明の都合上、マーカ２７４ｃの再検出を試みることとする。
このような状態において、小型情報端末６００に搭載のマーカ表示制御装置は、以下の処理手順により、マーカ２７４ｃが遮蔽されていることを判断し、マーカ２７４ｃの表示位置を調節する。なお、図２４に示す検出不可マーカ表示態様変更処理２（検出不可マーカ処理２と記載する）は、先に示した図１９の検出不可マーカ処理のフローチャートに処理を追加したものである。また、本事例においては、小型情報端末６００に、図２３に示すマーカ状態保持部１３３の内容が設定されている状態とする。
図２４は、検出不可マーカ表示態様変更処理２（以下、検出不可マーカ処理２と記載する）のフローチャートである。
ステップＳ４４１ないしＳ４４３については、実施の形態２における説明のとおりである。
そして、ステップＳ４４２において、検出不可マーカがあると判断された場合、マーカが遮蔽されている状態等（以下、遮蔽等状態という）であるかを検出する処理が行われる（Ｓ４４５）。具体的には、検出不可マーカ制御部１３５は、マーカ遮蔽等判断部１３６に、マーカ２７４ｃが遮蔽等状態により検出不可となっているかにつき判断を要求する。マーカ遮蔽等判断部１３６は、図２５のフローチャートに示す処理に従って本判断（Ｓ４４５の処理）を実施する。
ステップＳ４４６の判定により、遮蔽等状態でない場合に、指示サイズを増加させる処理が行われる（Ｓ４４３）。一方、遮蔽等状態であると判断された場合に、遮蔽等状態のマーカを移動させる処理が行われる（Ｓ４４７）。
ステップＳ４４２において、検出不可マーカがない場合は、ステップＳ４４８において、遮蔽フラグ、検出不可カウンタ等がオフ（非遮蔽）、あるいは「０」にリセットされる。
（３）マーカ遮蔽等状態判断処理
ここで、図２５に示すマーカ遮蔽等状態判断処理（Ｓ４４５）について説明する。
ステップＳ４４５１では、当該検出不可マーカに係るマーカ情報をマーカ情報保持部１３３より取得し、遮蔽フラグの設定値を確認する。本遮蔽フラグの値が「遮蔽（オン）」の場合は、以下の遮蔽等判定の処理を実施せず、マーカ遮蔽等状態判断処理を終了する。本事例においては、マーカ２７４ｃに係るマーカ情報の遮蔽フラグには「遮蔽」が設定されていないので（遮蔽フラグがオフ）、次のステップＳ４４５２へ進む。
ステップＳ４４５２では、当該検出不可マーカと同じ表示機器に対応する「他のマーカ」が検出されているか否かを判断する。これが検出されていない場合は、当該検出不可マーカに係る表示機器全体が撮影画像入力部１１の撮影領域範囲外であると考えられ、遮蔽等状態の判断は不要のためである。本事例においては、図２３に示すように、マーカ２７４ｃを表示するテレビ２の「他のマーカ」であるマーカ２７１ｃないし２７３ｃの検出フラグが「検出（オン）」である。よって、テレビ２の「他のマーカ」は検出されているため、前記要件２が満たされており、次のステップＳ４４５３へ進む。
ステップＳ４４５３では、当該検出不可マーカに係るマーカ情報の検出不可カウンタの値をインクリメントする。本事例においては、マーカ２７４ｃに係るマーカ情報の検出不可カウンタの値は「３」であるため、これをインクリメントした値である「４」に更新する。
ステップＳ４４５４では、当該検出不可マーカに係るマーカ情報の検出不可カウンタが、予め定められた設定値Ｅ以上であるか否かを判断する。ここで本値が設定値Ｅ未満の場合は、実施の形態２にて示したマーカの表示サイズ拡大によるマーカ検出の可能性があるとして、本遮蔽等判定を終了する。本事例においては、本設定値Ｅの値を４とすると、マーカ２７４ｃに係るマーカ情報の検出不可カウンタの値は「４」であり、上記条件を満たす。よって、前記要件１が満たされており、次のステップＳ４４５５へ進む。
ステップＳ４４５５では、当該検出不可マーカに係るマーカ情報の遮蔽フラグの値を「遮蔽（オン）」に更新する。本事例においては、マーカ２７４ｃに係るマーカ情報の遮蔽フラグの値を「遮蔽」に更新し、マーカが遮蔽等状態であるか否かの判断処理を終了する。
ここで、ステップＳ４４５３において、検出不可カウンタの値が「２以下」である場合の処理の流れについて説明する。検出不可カウンタの初期値は「０」にされている。そのため、検出不可マーカが特定されてから（Ｓ４４１，Ｓ４４２）、本遮蔽等状態判断処理（Ｓ４４５）の実行回数が３回目までは、上記Ｓ４４５３において検出不可カウンタの値が「３以下」となる。その結果、遮蔽フラグがオンにセットされることなく、マーカ遮蔽等状態判断処理が終了する。
その結果、検出不可マーカ処理２（図２４）において、ステップＳ４４３の指示サイズ増加処理が行われて、検出不可マーカの指示サイズが大きくされる。さらに、マーカ表示指示情報を受信したテレビ２は、検出不可マーカ２７４ｃの表示サイズを大きくする。しかし、遮蔽物４の存在により、検出不可マーカ２７４ｃは撮影されず、検出されないため、Ｓ４４１，Ｓ４４２において再び検出不可マーカとして特定される。
このような処理が繰り返され、検出不可カウンタが上記設定値Ｅ以上になると、前記要件１が満たされ、遮蔽等状態であると判断される。一方、検出不可マーカがマーカとして検出された場合、検出不可マーカが存在しなくなるため、Ｓ４４２の判定がＮＯとなり、Ｓ４４８において検出不可カウンタが０にリセットされる。
（４）マーカ移動処理
図２４に戻り、図２５のステップＳ４４５５にて遮蔽フラグがオンにされた場合、Ｓ４４７の処理が実行される。
ステップＳ４４６では、検出不可マーカ制御部１３５は、上記判断処理にて遮蔽等状態により検出不可（すなわち遮蔽フラグの値が「遮蔽」）と判断されたマーカ（以下、遮蔽等状態マーカという）を適当な位置へ移動させ、遮蔽等による検出不可状態を解消する。以下、遮蔽等状態マーカの移動処理（Ｓ４４７）について、図２６に示すフローチャートを用いて説明する。
ステップＳ４４７１では、遮蔽等状態の検出不可マーカと同じ表示機器に表示された他のマーカのマーカ情報を取得する。本事例においては、遮蔽等状態マーカであるマーカ２７４ｃの表示機器は「テレビ２」であり、他のマーカとしてマーカ２７１ｃないしマーカ２７３ｃが検出されている。よって、本ステップでは、これら他のマーカのマーカ情報が読み出される。
ステップＳ４４７２では、遮蔽等状態マーカおよび他のマーカの表示指示位置、前回検出位置等に基づき、表示機器の表示領域における他のマーカ及び検出不可マーカの表示場所を特定する。ここで表示場所とは、座標のような詳細な情報ではなく、例えば、表示機器の表示領域内における、検出不可マーカが表示されている大まかな位置を示す情報である。
本事例のように表示機器の表示領域の四隅にマーカを配置した場合においては、各マーカの表示場所は、「左上」、「左下」、「右上」、「右下」となる。そして、マーカ２７４ｃの表示場所は「右下」である。
ステップＳ４４７３では、先のステップにて特定した表示場所及び、遮蔽等された検出不可マーカ（以下、遮蔽等状態マーカという）の表示指示位置、及び指示サイズに基づき、マーカ移動量を計算する。
ステップＳ４４７４では、後に詳述するが、マーカ表示指示情報がテレビ２へ送信される。
（５）移動量算出処理
図２７に、マーカ移動量算出処理（Ｓ４４７３）のフローチャートを示す。
本マーカ移動量算出処理において、遮蔽等状態マーカは、当初の表示指示位置に対して水平方向（Ｘ軸方向）、垂直方向（Ｙ軸方向）、斜め方向へ順に移動させられ、マーカの再検出が図られる。なお、上記１回目又は２回目の移動後にマーカが検出された場合には、その後の移動は行われない。一方、上記３回の移動によってもマーカが検出できない場合は、マーカ移動処理は終了する。
以下、具体的に説明する。
まず、ステップＳ４４７３１にて、移動カウンタの値が２以下である場合にステップＳ４４７３２に進む。移動カウンタは、遮蔽等状態マーカを移動させた回数をカウントしている。
ステップＳ４４７３２の判定において、移動カウンタの値に応じてステップＳ４４７３３〜Ｓ４４７３４のいずれかの処理が選択される。
ステップＳ４４７３３は、移動カウンタが「０」の場合に実行され、Ｘ軸方向への移動量が算出される。なお、Ｘ軸方向においてプラス・マイナスのいずれの向きに移動させるのかについては、検出不可マーカの表示場所に基づいて、表示領域の中央側に移動する向きに決定される。本例では、検出不可マーカの表示場所は「右下」にあるので、左側、つまり、マイナス側への移動が決定される。
移動量は、マーカの中心がＸ軸方向において表示領域の中央に位置するように算出される。
本例では、テレビ２のＸ軸方向における中央の座標（５１２）から、マーカのＸ軸方向における中心の座標（９３１）を差し引いた値（−４１９）とされる。
なお、ステップＳ４４７３４、Ｓ４４７３５が実行される場合、Ｓ４４７３３と同様の処理が行われ、それぞれ、表示機器の中央の座標（５１２，３８４）から、マーカの中心がＹ軸方向、あるいはＸ軸方向及びＹ軸方向において表示領域の中央に位置するように移動量が算出される。
ステップＳ４４７３６にて、移動カウンタの値がインクリメントされ、１増加する。この移動カウンタのインクリメントにより、本マーカ移動処理の次回実行時に、Ｓ４４７３２の判定により、Ｓ４４７３４の処理が実行され、マーカが垂直方向に移動させられるのである。さらに、その次の実行時にはＳ４４７３５の処理が実行される。なお、マーカがＸ軸方向に移動させられたことで検出が可能になった後は、Ｓ４４８にて遮蔽フラグがオフにリセットされることで、本マーカ移動処理は実行されず、マーカはＹ軸方向に移動させられない。
ステップＳ４４７３７にて、遮蔽等による検出不可マーカについて、マーカ情報保持部１３３のマーカ移動量（−４１９，０）が設定される。図２８に、マーカ移動量が設定された状態のマーカ情報保持部１３３の内容を示す。
なお、３回の移動によってマーカの検出を図ってもマーカが検出されない場合は、移動カウンタの値が３になり、ステップＳ４４７３１の判定がＮＯとなる。そして、ステップＳ４４７３８にて、マーカ移動処理が終了される。具体的には、検出不可カウンタ及び移動カウンタの値が「０」にされ、遮蔽フラグがオフにされ、前回検出位置が未設定にされ、指示サイズが他のマーカの指示サイズと同じにされる。
この終了処理により、マーカ２７４ｄは、検出不可マーカとして特定されなくなり、マーカ２７４ｄの再検出処理は行われなくなる。なお、遮蔽物４が移動させられて、マーカ２７４ｄの撮影が可能になれば、マーカ２７４ｄは検出される。
上記終了処理の後は、表示機器制御処理を終了してもよいし、３つのマーカ２７１ｄ〜２７３ｄを用いて表示機器制御処理を続けてもよい。
ステップＳ４４７４では、マーカ表示指示部１３４は、前記にて算出したマーカ移動量、及び表示指示位置を含むマーカ表示指示情報を、当該検出不可マーカに係る機器へ送信すべく、送信部１５へ送る。送信部１５から本マーカ表示指示情報を受信したテレビ２の受信部２１は、当該情報をマーカ表示情報制御部２２へ入力する。本入力を受け付けたマーカ表示情報制御部２２は、マーカ表示情報更新処理（ステップＳ１６）にて、マーカ表示指示情報に基づいて、「色」、「指示サイズ」、「表示指示位置」、及び「マーカ移動量」を更新する。また、マーカの重畳処理（ステップＳ１７）において、表示部２７は、マーカ表示情報に基づき、座標（Ｘｒ＋Ｘｍ，Ｙｒ＋Ｙｍ）に、サイズ（Ｗｒ，Ｈｒ）にて、「色」で指定された色のマーカを重畳表示する。本例においては、マーカ２７４ｃの表示位置は（４２０，５６７）となり、遮蔽物４を避けた位置に表示される（図２９）。
つまり、図２９に示すように、マーカ２７４ｄが表示領域のＸ軸方向の中央に移動させられ、遮蔽等状態を脱して撮影可能となる。よって、その後の検出処理において、小型情報端末６００は、撮影画像情報におけるマーカ撮影画像１２４ｄを検出すること、すなわち、マーカ２７４ｄを検出することが可能となる。
また、本状態において、検出されたマーカ２７４ｄに対して前記実施の形態１にて示したマーカサイズ調整処理（Ｓ４）を実施することにより、マーカ２７４ｄの表示サイズを検出が可能な程度で小さなサイズへ調整することが可能である。
本実施の形態において、「マーカ移動量」を含むマーカ表示指示情報をテレビ２に送信することが、「マーカの表示位置を変更する指示を行うこと」に相当する。
なお、上記マーカ表示時情報の送信において、マーカ表示指示部１３４によって検出不可マーカの表示指示位置とマーカ移動量とを加算して「移動後の表示指示位置」を算出し、その移動後の表示指示位置をマーカ表示指示情報の一部としてテレビ２に送信してもよい。
（６）ポイント情報Ｑｂの生成に関して
本実施の形態において、前述のように、マーカの座標Ｍ1ないしＭ4に基づいてポイント情報Ｑｂが生成される。ここで、移動されたマーカ２７４ｄの座標Ｍ4は、実際のマーカ２７４ｄの座標からマーカ移動量を差し引いた値とされる。すなわち、次式により、移動後の座標Ｍｉ（Ｘｉ，Ｙｉ）と移動量（Ｘｍ，Ｙｍ）とに基づいて、遮蔽物４がないと仮定した場合に、移動前のマーカが検出されると予測される座標Ｍｇｉ（Ｘｇｉ，Ｙｇｉ）が求められる。
なお、（Ｗａ，Ｈａ）は、撮影画像におけるテレビ２の表示領域の大きさ（ピクセル数）である。また、（Ｗｂ，Ｈｂ）は、実際のテレビ２の表示領域の大きさ（解像度）である（数式４参照）。
Figure 2011004612
上記座標Ｍｇｉを算出することにより、ポイント情報Ｑｂの生成が容易になる。
本実施の形態において、表示機器情報生成部１３７のうち、上記座標Ｍｇｉ（Ｘｇｉ，Ｙｇｉ）を算出する処理を行う部分が、「位置算出部」を構成している。
（７）まとめ
上記検出不可マーカ処理２により、遮蔽等状態のマーカを移動させて、再検出を図ることができる。そのため、通常時は、マーカをテレビ２の表示領域の四隅に小さいサイズで表示しておくことでテレビ２の見づらさを低減しつつ、遮蔽等状態のマーカを移動させてマーカ検出を容易にすることができる。また、移動後のマーカが検出された場合、前述のステップＳ４２においてマーカの指示サイズが小さくされ、テレビ２におけるマーカの表示サイズが小さくされる。
本実施の形態において、マーカ表示態様変更部６３０は、表示マーカ制御部１３２と、マーカ情報保持部１３３と、マーカ表示指示部１３４と、検出不可マーカ制御部１３５と、マーカ遮蔽等判断部１３６とにより構成される。
［変形例１］
上記実施の形態３において、カメラ部１１の動きを考慮して検出不可マーカ処理２を行うこともできる。つまり、ユーザによって小型情報端末６００の向きが変えられると、マーカの検出位置が変化する。そして、他のマーカについて、前回検出位置と今回の検出位置とを比較すれば、検出位置の変化量を算出することができる。
上記検出位置の変化量と検出不可マーカの前回検出位置とに基づけば、検出不可マーカが今回検出されたと仮定した場合の予測検出位置を算出することができる。その予測検出位置が、小型情報端末６００の表示部１２の範囲外であれば、検出不可マーカは撮影範囲外に位置している撮影範囲外状態と判断することができる。この場合、マーカの指示サイズを増加させる処理を行わなくとも、撮影範囲外状態であると判断することが可能である。
検出不可マーカが撮影範囲外に位置している場合、検出不可マーカの表示指示位置を、撮影範囲内側に移動させることで、検出不可マーカの再検出を図ることができる。
すなわち、マーカ表示制御装置６１３は、マーカの表示位置が不適切で撮影できない状態において、一部のマーカが遮蔽された状態と、一部のマーカが撮影範囲外に位置する状態との少なくとも一方の状態においてマーカを移動させ、再検出を図ることができるのである。
また、上記実施の形態３において、検出不可マーカが存在する場合に、まず、撮影範囲外状態であるか否かを判断し、撮影範囲外状態でない場合に遮蔽等状態であるか否かを判断することができる。
［変形例２］
上記実施の形態３において、遮蔽等状態のマーカは、表示領域の中央側に移動させられることが予め定められていた。それに対して、移動量をランダムに決定することもできる。
ステップＳ４４７３では、先のステップにて算出した表示場所及び、遮蔽された検出不可マーカの表示指示位置、及び指示サイズに基づき、マーカ移動量を計算する。本マーカ移動量の算出において、下記マーカ移動方向、及びマーカ変動量を定義する。
マーカ移動方向とは、マーカの「表示場所」に基づき決定される値であり、マーカをどの方向へ移動するかを示すものである。図３０は、本マーカ移動方向を決定するために用いる表を示す図であり、表示場所と、乱数Ｒｐ（０〜９９とする）に基づきマーカ移動方向を決定する。本例においては、マーカ２７４ｃのマーカの表示場所は「右下」なので、乱数値Ｒｐに従い、「上」（Ｒｐが０〜３２の場合）、「左」（Ｒｐが３３〜６５の場合）、及び「左上」（Ｒｐが６６〜９９の場合）のいずれかが選択される。なお、図３０の表のように「左」、「左上」、及び「上」のいずれを選択するかにつき、等確率にていずれかが選択されるとしてもよいし、重み付けを行なっていずれかが選択されやすい、としてもよい。本事例においては、乱数値Ｒｐが３５であって「左」が選択されたものとする。
マーカ変動量とは、上記マーカ移動方向にどれだけマーカを移動させるかを示すものである。本値は、当該遮蔽等された検出不可マーカの指示サイズに基づき算出をする。具体的には、乱数Ｒｖを０．０より大きく１．０以下の値をとる乱数値として、マーカ変動量Ｖを、（数６）により算出する。
Figure 2011004612
本事例においては、Ｒｖ＝０．５として、Ｖ＝１９２を算出したものとする。
なお、乱数Ｒｖは、検出不可マーカ制御部１３５にて生成されるものとする。
上記マーカ移動方向、及びマーカ変動量に基づき、マーカ移動量（Ｘｍ，Ｙｍ）は、（数７）にて算出する。
Figure 2011004612
なお、本数式におけるマーカ移動方向は図３０に示す通り、横方向の移動量をＤｘ、縦方向の移動量Ｄｙとして表現するものとする。本例においては、Ｄｘ＝−１、Ｄｙ＝０であるから、マーカ移動量は（−１９２，０）となる。本状態におけるマーカ情報保持部１３３の内容は図３１に示す通りとなる。
乱数を用いてマーカの移動量を決定することで、マーカの表示位置が多様な位置に変更される。よって、テレビ２等の表示領域のどの部分が撮影可能であるかが不明である場合でも、マーカの移動を繰り返すうちにマーカが検出される可能性がある。
[その他]
（１）前記実施の形態および変形例の説明は本発明の例示にすぎず、その範囲を限定するものではない。また、本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
（２）図３３は、操作機器７００および表示装置７０２（テレビ２、ＰＣ３）の構成を示すブロック図である。小型情報端末７００は、マーカ表示制御装置７１３を備えている。本発明の実施の形態であるマーカ表示制御装置７１３は、通信手段（５）によって表示装置７０２に接続され、当該表示装置７０２に認識用のマーカを表示させる制御を行う制御装置である。また、マーカ表示制御装置７１３は、表示装置７０２の表示内容を撮影した画像から前記認識用のマーカを検出するマーカ検出部１３１と、マーカ検出の結果に基づいて、マーカを表示している表示装置７０２に対して、マーカの表示態様を変更する指示を行うマーカ表示態様変更部７３０とを備えている。
上記構成により、実施の形態１と同じ作用効果を奏することができる。なお、操作機器７００は、例えば、小型情報端末によって構成することができる。また、表示装置７０２は、テレビ、ＰＣ等の表示機器によって構成することができる。なお、図３３において、図１と同じ構成要素には同じ符号を付している。
（３）前記実施の形態および変形例において、テレビ２のマーカ表示情報制御部２２を、表示部２７にマーカの表示を指示する機能、あるいは、表示部２７にマーカの画像情報を送る機能を有していてもよい。
（４）前記実施の形態１，２において、前記実施の形態３と同様に、表示機器に複数のマーカを表示させてもよい。また、前記実施の形態１，２の小型情報端末に、撮影画像情報における表示機器上の座標位置Ｑａ（Ｘａ，Ｙａ）を、実際の表示機器の表示領域における座標位置Ｑｂ（Ｘｂ，Ｙｂ）に変換する座標変換機能を設けてもよい。
（５）前記実施の形態および変形例において、マーカ検出処理では、撮影画像情報に含まれるマーカの画像が検出されていた。このマーカ検出処理を、単に、撮影画像に含まれるマーカの画像を検出する処理と表現してもよい。
（６）上記の各実施の形態（あるいは変形例）のマーカ表示制御装置は、典型的には集積回路であるＬＳＩとして実現される。マーカ表示制御装置は、１チップ化されてもよいし、複数のチップで実現されてもよい。また、マーカ表示制御装置の一部がチップ化されてもよい。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適応等の可能性がある。
（７）上記の各実施の形態で説明したマーカ表示制御装置の動作の手順の少なくとも一部をマーカ表示制御プログラムに記載し、例えばＣＰＵ（Central Processing Unit）がメモリに記憶された当該プログラムを読み出して実行するようにしてもよい。また、上記のプログラムを記録媒体（例えば、非一時的な記録媒体）に保存して頒布等するようにしてもよい。
本発明にかかるマーカ表示制御装置は、例えば、認識用のマーカを検出可能なサイズに調整する機能を有しており、テレビ等の表示装置を遠隔操作するリモコン機器等に用いることが有用である。また、携帯電話、小型音楽プレーヤ、携帯情報端末などの情報端末に、リモコン機能を付与するため、あるいは、情報端末が有するリモコン機能を高機能化させるためなどの用途にも応用できる。
１ 小型情報端末
１０ 操作入力部
１１ 撮影画像入力部（カメラ部）
１１１ 撮影画像
１２ 表示部
１２１ 撮影画像中のマーカ１
１２２ 撮影画像中のマーカ２
１２３ 撮影画像中のマーカ３
１２４ 撮影画像中のマーカ４
１３ マーカ表示制御装置
１３０ マーカ表示態様変更部
１３１ マーカ検出部
１３２ 表示マーカ制御部
１３３ マーカ情報保持部
１３４ マーカ表示指示部
１３５ 検出不可マーカ制御部
１３６ マーカ遮蔽等判断部
１３７ 表示機器情報生成部
１４ 機器操作制御部
１５ 送信部
２ テレビ（表示機器）
２１ 受信部
２２ マーカ表示情報受信部
２３ マーカ表示情報保持部
２４ 操作情報受信部
２５ 操作入力部
２６ コンテンツ部
２７ 表示部
２７１ マーカ１
２７２ マーカ２
２７３ マーカ３
２７４ マーカ４
３ ＰＣ（表示機器）
４ 遮蔽物
５ 通信手段
本発明は、表示装置を認識するためのマーカを、当該表示装置の表示画面（表示領域）に表示させる制御を行うマーカ表示制御装置に関し、特に、表示装置がユーザに提供する本来の表示内容とともにマーカを表示させる制御を行うマーカ表示制御装置に関する。
マーカは、形状や色によって識別情報を示すものであり、識別マークと称することもできる。そのマーカが付された対象物を撮影し、マーカの識別情報を取得することで、例えば、対象物を認識することや、撮影画像における対象物の位置を認識することが行われている。
特許文献１には、カメラを搭載した情報処理端末をリモートコントローラとして用いる技術が記載されている。そして、情報処理端末によって電子機器に付された識別コード（マーカ）を撮影し、複数の電子機器のうちの操作対象となる電子機器を認識し、遠隔操作を行う。これにより、ユーザが操作対象の電子機器を手動で切り換える必要がなくなる。しかしながら、マーカを印刷したシールを複数の電子機器分用意し、各電子機器に張り付けるという労力が必要である。
当該労力を解消すべく、特許文献２には、携帯端末の表示画面にマーカを表示させ、そのマーカを撮影することで、マーカに対応付けられた画像の種類と、撮影画像におけるマーカの位置等を認識する技術が記載されている。これにより、複数種類の画像に対応するマーカが印刷されたシール等を多種類用意しなくとも、複数種類のマーカを携帯端末の表示画面に自由に表示させることができる。
特開２００１−１４２８４５号公報 特開２００５−２５０９５０号公報
ところで、テレビ等の表示装置を操作対象とする為に、当該表示装置の表示画面（表示領域）に、操作メニューや動画像等の表示装置本来の表示内容とともにマーカを表示させたいという要請がある。例えば、表示装置に表示されたマーカを撮影し、マーカを識別することで表示装置の種別、位置等を認識して遠隔操作を容易にするためである。
ここで、表示装置に、本来の表示内容とともにマーカを表示させると、本来の表示内容が見づらくなるという問題がある。そこで、マーカの表示面積を小さくし、あるいは、マーカを表示画面の周縁部（特に四隅）に配置すれば、マーカが目立ちにくくなり、表示内容の見づらさを低減することができる。
しかし、単にマーカを目立ちにくくすると、マーカの検出が困難になる虞がある。例えば、ユーザの位置によっては撮影距離が遠くなり、マーカの表示サイズが小さいと検出が困難になる虞がある。また、例えば、マーカの表示個数が少ない場合、あるいは、マーカが表示画面の周縁部に表示されている場合、遮蔽物によってマーカの撮影が妨げられ、結果としてマーカの検出が困難になる虞がある。
本発明は、上記課題に鑑み、マーカの検出を容易にしながら、表示装置本来の表示内容の見づらさを低減し得るマーカ表示制御装置を提供することを目的とする。
前記課題を解決するために、本発明のマーカ表示制御装置は、通信手段によって表示装置に接続され、当該表示装置に認識用のマーカを表示させる制御を行う制御装置であって、表示装置の表示内容を撮影した画像から前記認識用のマーカを検出するマーカ検出部と、マーカ検出の結果に基づいて、マーカを表示している表示装置に対して、マーカの表示態様を変更する指示を行うマーカ表示態様変更部とを備えたことを特徴とする。
本発明に係るマーカ表示制御装置によれば、例えば、マーカ検出前には表示装置の表示領域にマーカを大きく表示させておき、マーカ検出後に、マーカの表示サイズを小さくすることにより、マーカ検出を容易にしながら表示装置本来の表示内容の見づらさを低減することができる。また、例えば、通常時において表示装置の表示領域にマーカを小さく表示させて表示内容の見づらさを低減する一方で、撮影距離が遠いためにマーカを検出できない場合に、マーカの表示サイズを大きくすることにより、マーカの検出を容易にすることができる。
すなわち、本発明に係るマーカ表示制御装置によれば、マーカの検出を容易にしながら、表示装置本来の表示内容の見づらさを低減し得るのである。
本発明の実施の形態１における小型情報端末１とテレビ２との構成を示すブロック図である。 実施の形態１における小型情報端末１とテレビ２との外観構成および配置例を示す図である。 実施の形態１における小型情報端末１の表示機器制御処理を示すフローチャートである。 実施の形態１におけるテレビ２の処理を示すフローチャートである。 実施の形態１におけるマーカ検出処理のフローチャートである。 実施の形態１におけるマーカサイズ調整処理のフローチャートある。 実施の形態１における初期化処理時のマーカ情報保持部１３３の内容を示す図である。 実施の形態１におけるマーカを撮影した撮影画像１１１を示す図である。 実施の形態１におけるマーカ検出時のマーカ情報保持部１３３の内容を示す図である。 実施の形態１におけるマーカサイズ調整後のマーカ情報保持部１３３の内容を示す図である。 実施の形態１における基準色の色名称と各色成分の基準輝度値を示す図である。 実施の形態１におけるマーカサイズ調整後小型情報端末１とテレビ２との外観構成および配置例を示す図である。 実施の形態１の変形例１における不使用検出処理を示すフローチャートである。 変形例１におけるマーカ検出処理２を示すフローチャートである。 実施の形態２における小型情報端末５００とテレビ２の構成を示すブロック図である。 実施の形態２におけるマーカ情報保持部１３３の内容を示す図である。 実施の形態２における小型情報端末５００とテレビ２等の配置例を示す図である。 実施の形態２におけるマーカサイズ調整処理２を示すフローチャートである。 実施の形態２における検出不可マーカ処理を示すフローチャートである。 実施の形態３における小型情報端末６００とテレビ２等の構成を示すブロック図である。 実施の形態３における小型情報端末６００とテレビ２を示す図である。 実施の形態３における小型情報端末６００とテレビ２等との配置例を示す図である。 実施の形態３におけるマーカ情報保持部１３３の内容を示す図である。 実施の形態３における検出不可マーカ処理２を示すフローチャートである。 実施の形態３における遮蔽状態検出処理を示すフローチャートである。 実施の形態３におけるマーカ移動処理を示すフローチャートである。 実施の形態３における移動量算出処理を示すフローチャートである。 実施の形態３におけるマーカ情報保持部１３３の内容を示す図である。 実施の形態３における小型情報端末６００とテレビ２等と遮蔽物４との配置例を示す図である。 実施の形態３の変形例におけるマーカの表示場所と乱数に基づく移動方向を示す図である。 実施の形態３の変形例におけるマーカ移動後のマーカ情報保持部１３３の内容を示す図である。 二次元マーカの例を示す図である。 上記とは別の実施の形態における操作機器７００と表示装置７０２等の構成を示すブロック図である。
［発明の各種の態様］
以下に、本発明が取り得る各種の態様を例示し、説明する。
（１）本発明の一態様に係るマーカ表示制御装置は、通信手段によって表示装置に接続され、当該表示装置に認識用のマーカを表示させる制御を行う制御装置であって、表示装置の表示内容を撮影した画像から前記認識用のマーカを検出するマーカ検出部と、マーカ検出の結果に基づいて、マーカを表示している表示装置に対して、マーカの表示態様を変更する指示を行うマーカ表示態様変更部とを備えたことを特徴とする。
本態様のマーカ表示制御装置は、例えば、表示装置を遠隔操作する操作機器に搭載される。
本態様のマーカ表示制御装置によれば、例えば、マーカが検出できた場合に、マーカの表示サイズを小さくすることにより、表示画面の見づらさを低減することができる。また、例えば、マーカが検出できない場合に、マーカの表示サイズを大きくすること、マーカの表示位置を変更する（マーカを移動させる）こと等により、マーカの検出を容易にすることができる。
すなわち、本発明に係るマーカ表示制御装置によれば、マーカの検出を容易にしながら、表示装置の表示画面の見づらさを低減し得るのである。
本態様において、マーカは、撮影画像において、表示装置の種類を特定するため、あるいは、表示装置の表示画面の位置を特定するために用いられる。
撮影画像における表示装置の種類を特定することにより、例えば、ユーザの操作対象となる表示装置が複数存在する場合に、ユーザの操作対象となる表示装置を特定することができる。また、表示装置の表示画面の位置を特定することにより、例えば、手元の操作機器において、撮影した操作メニューを操作することで、表示装置の操作メニューを遠隔操作することができる。具体的には、表示装置に操作メニューが表示されている場合において、ユーザは操作機器の表示部に表示された撮影画像における表示装置の操作メニューの位置を指定することで、表示装置に、表示画面のどの座標が指定されたのかを送信することができる。そして、表示装置は、指定された座標に表示されている選択肢が選択されたものとして、操作を受け付けることができる。
マーカの表示態様を変更するために、例えば、マーカの表示面積を変更すること、マーカの表示位置を変更すること、マーカの形態（例えば、形状、色等）を変更すること等ができる。マーカの表示面積を変更することには、マーカの大きさ（表示サイズ）を変更すること、マーカの表示個数を変更すること等が含まれる。
「マーカ検出の結果に基づいて、マーカの表示態様を変更する指示」とは、例えば、マーカが検出された場合に、マーカの表示面積を小さくする（表示サイズを小さくする、マーカの表示個数を減少させる等）指示とすることができる。これにより、マーカ検出を行う前に、マーカの表示面積を大きくしてマーカの検出を容易にしておき、マーカが検出された後に、マーカの表示面積を適宜小さくすることができる。
また、「マーカ検出の結果に基づいて、マーカの表示態様を変更する指示」とは、例えば、マーカが検出されなかった場合に、マーカを大きくする指示や、マーカの表示位置を変更する指示とすることができる。マーカを大きくすることで、例えば、撮影距離が遠いためにマーカが検出されなかった場合でも、マーカ検出を行うことが可能となる。また、マーカの表示位置を変更することで、例えば、表示装置の前に障害物が置かれ、表示装置の一部（マーカが表示されている部分）が撮影できなくなった場合でも、マーカが検出される可能性が高まる。
「指示を行う」ために、例えば、予め定められた所定の信号を表示装置に送信してもよいし、マーカの表示サイズや表示位置を表示装置に送信してもよい。
なお、マーカ検出部によるマーカの検出において、撮影された画像は符号化されている。つまり、画像が符号化された画像情報からマーカを検出することができる。
表示装置は、テレビ受像機、ノート型パーソナルコンピュータ等の画像表示機能を備えた単体の表示機器であってもよいし、表示機器と画像再生機器等とを含むものであってもよい。画像再生機器は、例えば、ＤＶＤプレーヤ（レコーダ）、ＨＤＤレコーダ、ビデオカメラ、ＰＣ（パーソナルコンピュータ）等によって構成することができる。
なお、表示装置の表示領域とは、表示装置の表示画面が配された二次元的な領域のことである。また、表示領域と表示画面との大きさは同じである。
通信手段は、例えば、赤外線通信装置、無線ＬＡＮ（Local Area Network）装置等の通信装置によって構成することができる。なお、通信手段（通信装置）は、少なくとも一方向に情報を送信することができるものであればよく、送信手段（送信装置）と称してもよい。ここで、通信手段が一方向又は双方向に情報を送信するものであることを明確にするために、通信手段を情報伝達手段（情報伝達装置）と称してもよい。なお、「通信手段によって」とは、「通信手段を介して」の意である。
（２）本発明の一態様に係るマーカ表示制御装置を、前記マーカ表示態様変更部は、前記マーカ検出部によって検出されたマーカを表示している表示装置に対して、マーカの表示面積を小さくする指示を行う、ものとすることができる。
本態様によれば、マーカが検出できることを確認した上で、マーカの表示サイズを小さくすることと、マーカの表示個数を減少させることとの少なくとも一方により、表示装置の表示内容の見づらさを低減することができる。したがって、例えば、表示装置の表示画面に比較的大きめのマーカを表示させておき、マーカが検出された後にマーカを小さくすることができる。
なお、本態様では、マーカ表示態様変更部は、所定の条件が満たされた場合に、マーカの表示面積を小さくする指示を行うことが望ましい。例えば、撮影された画像におけるマーカのサイズが、マーカとして検出される下限サイズよりも大きい場合である。
（３）本発明の一態様に係るマーカ表示制御装置を、さらに、マーカを繰り返し撮影する撮影画像入力部を備え、前記マーカ検出部は、前記撮影画像入力部によって順次得られた画像からマーカを検出する処理を行い、前記マーカ表示態様変更部は、前記マーカ検出部によって検出されたマーカが、その後のマーカ検出処理において検出されなくなった場合に、前記マーカを表示している表示装置に対して、当該マーカの表示サイズを大きくする指示、又は当該マーカの表示位置を変更する指示を行う、ものとすることができる。
本態様によれば、マーカの表示サイズが小さいこと、マーカが障害物に遮蔽されること等により、マーカが検出できない場合であっても、マーカの表示サイズを大きくすること、マーカの表示位置を変更すること（マーカを移動させること）によって、マーカの検出を容易にすることができる。
したがって、通常時において、マーカの表示面積を小さくすること、マーカを表示領域の周縁部に配置すること等によって、表示装置の表示内容の見づらさを低減することが容易になる。
撮影画像入力部は、例えば、デジタルカメラ、デジタルビデオカメラによって構成することができる。
（４）本発明の一態様に係るマーカ表示制御装置を、さらに、表示装置に割当てたマーカの色情報を含むマーカ識別情報と、当該マーカに対応付けられた表示装置と、表示装置が表示しているマーカの表示サイズと、を少なくとも構成要素とするマーカ情報をマーカ毎に記憶するマーカ情報保持部を備えた、ものとすることができる。
本態様では、例えば、マーカ識別情報に基づいてマーカを検出すること、検出されたマーカに対応付けられた表示装置の情報に基づいて操作対象となる表示装置を認識すること等ができる。さらに、マーカの表示サイズに基づき、マーカを縮小させる場合は現在の表示サイズより小さいサイズを指定し、マーカを拡大させる場合は現在の表示サイズより大きいサイズを指定することができる。
なお、本態様では、マーカ情報保持部がマーカ表示制御装置に設けられているが、本態様と別の態様として、マーカ情報保持部がマーカ表示制御装置以外に設けられていてもよい。例えば、マーカ表示制御装置が小型情報端末等の操作機器に搭載されている場合、操作機器の構成要素のうち、マーカ表示制御装置以外の構成要素にマーカ情報保持部が設けられていてもよい。この場合、マーカ表示制御装置は、マーカ情報保持部を有する他の構成要素からマーカ情報を取得することができる。
（５）本発明の一態様に係るマーカ表示制御装置を、表示装置の表示領域には、相隔たる複数箇所にそれぞれマーカが表示されており、前記マーカ表示態様変更部は、表示装置に表示されたマーカが遮蔽物によって遮蔽されたことにより、若しくは撮影範囲からマーカが外れたことにより、当該マーカがマーカ検出部によって検出できない遮蔽等状態であると判断するマーカ遮蔽等状態判断部を備え、前記マーカ遮蔽等状態判断部によって遮蔽等状態と判断されたマーカの表示位置を変更する指示を行う、ものとすることができる。
本態様では、遮蔽等状態のマーカが移動させられ、マーカの検出が容易にされる。したがって、マーカを表示領域の周縁部に配置すること、マーカの表示個数を少なくすることによって、表示装置の表示内容の見づらさを低減することが容易になる。
遮蔽等状態には、例えば、表示装置に表示されたマーカが障害物によって遮られて撮影できなくなる遮蔽状態や、マーカが撮影範囲外に位置して撮影できなくなる撮影範囲外状態が含まれる。
（６）本発明の一態様に係るマーカ表示制御装置を、前記マーカ表示態様変更部は、遮蔽等状態ではないマーカの表示位置を、表示装置の表示領域の４隅のうちのいずれかにする指示を行い、遮蔽等状態のマーカの表示位置を、表示領域の水平方向及び垂直方向の少なくとも一方の中央側に変更する指示を行う、ものとすることができる。
本態様では、表示装置の表示領域の隅に表示されたマーカを中央側に近づけることで、マーカの検出が容易にされる。
（７）本発明の一態様に係るマーカ表示制御装置を、前記マーカ表示態様変更部は、表示装置の表示内容を撮影した画像におけるマーカのサイズが、前記マーカ検出部にて検出したマーカの検出サイズ未満、かつ、前記画像においてマーカとして検出される下限サイズ以上になる表示サイズでマーカを表示する指示を表示装置に行う、ものとすることができる。
本態様では、表示装置の表示内容を撮影した画像（撮影画像）においてマーカが検出される下限サイズが予め定まっている。そのため、マーカの表示サイズを、撮影画像において下限サイズ以上になるように定めることができる。その結果、例えば、マーカ検出前にはマーカの表示サイズを十分大きくしておき、マーカ検出後にマーカのサイズを一気に縮小させることが可能である。
（８）本発明の一態様に係るマーカ表示制御装置を、前記マーカ表示態様変更部は、検出されたマーカが検出されなくなるまで、表示装置に対してマーカの表示サイズを小さくする指示を行い、マーカが検出されなくなった場合に、マーカの表示サイズを大きくする指示を行う、ものとすることができる。
本態様では、下限サイズが定まっていなくとも、マーカを段階的に縮小させることができる。
（９）本発明の一態様に係るマーカ表示制御装置を、前記マーカ表示態様変更部は、表示装置に表示させるマーカの色を指定し、前記マーカ検出部は、表示装置の表示内容を撮影した画像において、前記指定色のピクセルからなるピクセル群で下限サイズ以上のものをマーカとして検出する、ものとすることができる。
（１０）本発明の一態様に係るマーカ表示制御装置を、さらに、表示装置の表示内容を撮影した画像における座標を、表示装置の表示領域における座標に変換する座標変換部を備え、前記マーカ検出部は、少なくとも撮影画像におけるマーカの位置を検出し、前記座標変換部は、少なくとも前記マーカの位置に基づいて前記座標の変換を行う、ものとすることができる。
本態様によると、例えば、マーカ表示制御装置を搭載した操作機器を、あたかも、表示装置の入力装置のごとく用いて遠隔操作を行うことが可能になる。その場合は、直観的な遠隔操作が可能になる。
上記遠隔操作では、例えば、表示装置に操作メニューを表示させ、その操作メニューを手元の操作機器で撮影して操作機器の表示部に表示し、表示部に表示された操作メニューを操作するといったことが行われる。このような状況では、ユーザの手ぶれや移動により、撮影画像における表示装置の位置が変化することが想定され、持続的にマーカを検出して表示装置の位置を正確に検出することが好ましい。
座標変換部は、複数のマーカの位置に基づいて座標変換を行うものとしてもよいし、１つのマーカの位置と、そのマーカの画像におけるサイズとに基づいて座標変換を行うものとしてもよい。
（１１）本発明の一態様に係るマーカ表示制御装置を、前記表示装置は、表示領域にマーカと操作メニューとを含む表示内容を表示する機能を有しており、前記座標変換部は、前記画像における表示装置の表示領域上の座標が指定された場合に、その座標を表示装置の表示領域における座標に変換する、ものとすることができる。
（１２）本発明の一態様に係るマーカ表示制御装置を、当該マーカ表示制御装置は、前記表示装置の表示内容が撮影された画像を表示する表示部と、表示部の任意の座標を指定する操作入力が行われる操作入力部とを備えた操作機器に搭載され、前記表示装置は、表示領域にマーカと操作メニューとを含む表示内容を表示する機能を有しており、前記座標変換部は、操作入力部に入力された表示部の座標を、表示装置の表示領域における座標に変換する、ものとすることができる。
（１３）本発明の一態様に係るマーカ表示制御装置は、さらに、表示装置の表示内容を撮影した画像における座標を、表示装置の表示領域における座標に変換する座標変換部と、前記遮蔽等状態のマーカの表示位置の変更量と、前記画像における前記マーカの変更後の位置とに基づいて、前記画像における前記マーカの変更前の位置を算出する位置算出部とを備え、前記マーカ検出部は、前記画像におけるマーカの位置を検出するものであり、前記座標変換部は、遮蔽等状態ではないマーカの位置と、前記位置算出部によって算出された遮蔽等状態のマーカの変更前の位置とに基づいて前記座標の変換を行う、ものとすることができる。
本態様では、マーカの表示位置が変更された場合であっても、撮影された画像において表示位置が変更される前のマーカが撮影されたであろう位置を算出することができる。よって、マーカの表示位置が変更された場合であっても、表示位置が変更されない場合と同様に座標変換を行うことができる。
（１４）本発明の一態様に係る集積回路は、通信手段によって表示装置に接続され、当該表示装置に認識用のマーカを表示させる制御を行うものであって、表示装置の表示内容を撮影した画像から前記認識用のマーカを検出するマーカ検出部と、マーカの検出結果に基づいて、マーカを表示している表示装置に対して、マーカの表示態様を変更する指示を行うマーカ表示態様変更部とを備えたことを特徴とする。
（１５）本発明の一態様に係るマーカ表示制御方法は、表示装置に認識用のマーカを表示させる制御を行う方法であって、表示装置の表示内容を撮影した画像を得るステップと、前記画像から前記認識用のマーカを検出するステップと、マーカの検出結果に基づいて、マーカを表示している表示装置に対して、マーカの表示態様を変更する指示を行うステップとを備えたことを特徴とする。
以下本発明の実施の形態について、図面を参照しながら説明する。
[実施の形態１]
本発明の実施の形態１に係るマーカ表示制御装置、本マーカ表示制御装置を組み込んだ操作機器、及び表示機器について説明する。
実施の形態１では、カメラを搭載した小型情報端末を操作機器の一例とし、その小型情報端末によって表示機器の一例であるテレビの表示画面（表示領域と称することもできる）に表示されたマーカを撮影及び検出し、当該マーカのサイズを調整する場合を例として説明する。
図１は、本発明の実施の形態１におけるマーカ表示制御装置１３を組み込んだ小型情報端末１、及び当該小型情報端末１による操作の対象となるテレビ２（あるいはパーソナルコンピュータ３）の要部構成を模式的に示すブロック図である。ここで小型情報端末１は、例えば、カメラを搭載した小型ＰＣ（パーソナルコンピュータ）、携帯電話、小型音楽プレーヤ等であって、マーカ表示制御装置、及び認識した表示機器を制御するための構成を備えたものである。これにより、本端末１に搭載のカメラにて撮影した表示機器の操作が可能となる。また、表示機器は、例えば、テレビ、パーソナルコンピュータ（以下ＰＣと記載）、液晶プロジェクター等であって、マーカを表示するための構成を備えたものである。これにより、前記の小型情報端末１にて表示機器の種別や位置を特定することが可能となる。なお、表示機器は、表示装置の一例である。
＜操作機器＞
まず、操作機器たる小型情報端末１の構成について説明する。
小型情報端末１は、操作入力部１０と、撮影画像入力部１１（以下、「カメラ部１１」と称する場合がある）と、表示部１２と、マーカ表示制御装置１３と、機器操作制御部１４と、送信部１５（通信部の一例である）とを備えている。
操作入力部１０は、例えば、キーボード、ボタンスイッチ、タッチパッド、タッチパネル等の入力装置を備えている。操作入力部１０は、ユーザの操作入力を受け付けると、ユーザの操作内容を機器操作制御部１４に送信する。図２の例では、操作入力部１０にボタンスイッチ１０ａやその他のスイッチが設けられている。
撮影画像入力部１１は、デジタルカメラ等によって構成されている。また、撮影画像入力部１１は、マーカ表示制御装置１３の指示により、現実世界を撮影し、当該現実世界を撮影した画像を符号化して撮影画像情報を生成する。なお、本撮影画像入力部１１は、撮影と撮影画像情報の生成を１秒間に数回〜数十回程度実施し、当該撮影画像情報を表示部１２及びマーカ検出部１３１へ出力する。
本撮影画像情報については、種々のフォーマットを採用することができる。例えば、本実施の形態においては、二次元配列Ｐ（ｘ，ｙ）にて座標（ｘ，ｙ）における色情報を表現する、いわゆるビットマップ形式を採用する。ビットマップ形式における色情報の表現方法としては、例えばＲＧＢ８８８が挙げられる。ＲＧＢ８８８とは、色情報を赤、青、及び緑の、それぞれの色要素の輝度情報に分離し、各色要素の輝度値を８ビットで表現するものである。以下の説明においては、赤色の要素の輝度値をＰｒ（ｘ，ｙ）、青色の要素の輝度値をＰｂ（ｘ，ｙ）、緑色の要素の輝度値をＰｇ（ｘ，ｙ）と表記することとする。また、二次元配列Ｐ（ｘ，ｙ）は、座標（ｘ，ｙ）における色情報を表現しており、この各座標の色情報を「ピクセル」と呼ぶ。
表示部１２は、液晶パネルや、有機ＥＬパネル等の表示パネルと、表示パネルに画像を表示させる制御を行う表示制御部とを備えており、小型情報端末１がユーザに提示する図形、文字、風景等を含む画像を表示するものである。本実施の形態においては、表示部１２は、撮影画像入力部１１が生成した撮影画像情報等を画像化した撮影画像を表示する（いわゆるプレビュー画面表示を行う）。
マーカ表示制御装置１３は、マーカ検出部１３１と、表示マーカ制御部１３２と、マーカ情報保持部１３３と、マーカ表示指示部１３４と、により構成される。また、マーカ表示制御装置１３は、マイコン（マイクロコンピュータ）によって所定のプログラムを実行することにより、上記構成の機能を発揮するものとされている。なお、マーカ表示制御装置１３は、集積回路内に形成されている。ここで、マーカ表示制御装置１３は、マーカ情報保持部１３３を含まないものとすることもできる。
マーカ表示態様変更部１３０は、表示マーカ制御部１３２と、マーカ表示指示部１３４と、により構成される。
マーカ検出部１３１は、撮影画像入力部１１より撮影画像情報を受け取り、当該撮影画像情報中に含まれるマーカを検出する。またマーカ検出部１３３は、検出したマーカのマーカ情報を、マーカ情報保持部１３３へ書き込み、表示マーカ制御部１３２へマーカ情報の更新を通知する。なお、マーカ情報の詳細は後に説明する。
表示マーカ制御部１３２は、マーカ情報保持部１３３よりマーカ情報を取り出し、マーカ検出部１３１が検出したマーカのサイズに基づき、マーカ検出が可能な範囲でマーカのサイズを縮小して、マーカ情報保持部１３３へ書き込む。また、当該マーカを表示しているテレビ２へマーカの表示を指示することを、マーカ表示指示部１３４へ要求する。
マーカ情報保持部１３３は、ＲＡＭ、不揮発性メモリ（例えば、フラッシュEEPROM）等を備えた記憶部に確保されたメモリ領域（記憶領域）であり、マーカ情報を保持する。
ここでマーカ情報とは、マーカを識別する情報と、当該マーカに対応付けられた表示機器の情報と、当該マーカの指示サイズ等から構成される。ここでマーカを識別する情報とは、当該マーカの形態的特徴に関する情報であって、本情報に基づき、撮影画像情報に含まれるマーカを検出可能とするものである。
マーカを識別する情報としては、例えば「マーカの色」や、二次元マーカにおける「マーカの形状」や「マーカの模様」があげられる。本実施の形態において、マーカを識別する情報として「マーカの色」がマーカ情報保持部１３３に保持される（図７参照）。つまり、テレビ２とＰＣ３に異なる色のマーカを割り当てて、それらを識別するためである。なお、マーカを識別する情報として、撮影画像情報に含まれるマーカの下限の大きさ（ピクセル数の下限値Ｐｍ）もマーカ情報保持部１３３に保持される（図示省略）。
マーカに対応付けられた表示機器の情報は、各マーカを表示する表示機器に関する情報である。例えば、テレビ２の名前（図７参照）やＩＰアドレス（図示省略）等である。
マーカの指示サイズとは、表示機器にて表示されるマーカの大きさ（表示サイズ）を指定する情報である。
さらに、本実施の形態において、マーカ情報には、マーカ検出によって得られる情報である「マーカ検出情報」も含まれる。マーカ検出情報には、詳細は後述するが、例えば、「検出フラグ」、「検出位置」、「検出サイズ」等の情報（図７）が含まれる。
マーカ表示指示部１３４は、表示マーカ制御部１３２からの要求に基づき、当該要求に応じたマーカ情報をマーカ情報保持部１３３より読込んで、マーカ表示指示情報を生成し、送信部１５へ送る。マーカ表示指示情報とは、マーカ情報のうち表示機器によってマーカを表示する為に必要な情報を抜き出して構成した情報である。上記のマーカを識別する情報と、当該マーカの指示サイズは、マーカ表示指示情報に含まれる。
機器操作制御部１４は、マーカが検出された場合に、マーカ情報保持部１３３が保持する情報に基づき、操作対象の表示機器を特定する。そして、特定された表示機器に対応する操作メニュー１７（例えば、図２）を表示部１２に表示させる。さらに、操作入力部１０に、操作メニューに対応したユーザ入力がなされると、上記特定された表示機器に対して、ユーザ入力の内容を示す操作情報を送信部１５へ送る。
送信部１５は、赤外線通信、無線ＬＡＮ（Local Area Network）等の通信手段５により、マーカ表示指示部１３４及び機器操作制御部１４より送られた情報を、テレビ２の受信部２１へ送信する。ここで、図１、図２の例では、通信手段５が無線ＬＡＮである場合について、小型情報端末１、テレビ２、及びＰＣ３間の接続関係を模式的に示している。
なお、図１、図２の例では、通信手段５は無線ＬＡＮ装置の親機によって構成されている。それに対し、図２等とは異なり、通信手段が無線ＬＡＮ装置の親機、送信部１５、及び受信部１６によって構成されると考えてもよい。
また、赤外線通信を用いる場合は、小型情報端末１とテレビ２とが通信手段５によって直接的に接続されることとなる。この場合、通信手段は、送信部１５と受信部２１とによって構成される。なお、赤外線通信を用いる場合は、必ずしも全ての表示機器と小型情報端末１とが接続されていなくともよい。
＜表示機器＞
次に、表示機器たるテレビ２の構成要素について説明する。
なお、図１には、テレビ２の構成要素を代表的に示しているが、ＰＣ３も同じ構成要素を備えている。
受信部２１は、赤外線通信、無線ＬＡＮ（あるいは、無線ＬＡＮ装置の親機と接続された有線ＬＡＮ）等の通信手段５により、小型情報端末１の送信部１５が送信した情報を受信する。そして、受信部２１は、受信した情報にマーカ表示指示情報が含まれている場合は、マーカ表示指示情報をマーカ表示情報制御部２２に送る。一方、受信した情報に操作情報が含まれている場合は、操作情報を操作情報受信部２４に送る。
マーカ表示情報制御部２２は、小型情報端末１のマーカ表示指示部１３４の要求に基づき送信されたマーカ表示指示情報を受信し、本情報に従ってマーカ表示情報保持部２３を更新する。
マーカ表示情報保持部２３は、ＲＡＭ、不揮発性メモリ（フラッシュEEPROM）等を含む記憶部に確保されたメモリ領域（記憶領域）であって、マーカ表示情報を保持する。ここでマーカ表示情報とは、マーカ表示の有無、マーカの表示形態の情報（例えば、マーカの色、表示サイズ等）等から構成される情報であり、前記マーカ表示指示情報に基づき内容が更新される。
操作情報受信部２４は、小型情報端末１の機器操作制御部１４の要求に基づき送信された操作情報を受信し、本操作情報を操作入力部２５へ入力する。
操作入力部２５は、キーボード、ボタンスイッチ、タッチパッド、及びタッチパネル等のいずれかの入力装置を備えている。さらに操作入力部２５は、操作情報受信部２４より入力された操作情報もユーザの入力として受け付ける。
コンテンツ部２６は、操作入力部２５より受け付けたユーザ操作に関する情報、及びコンテンツ情報（図示省略）に基づき、表示部２７に表示する表示情報を生成する。
本コンテンツ部は、表示機器がテレビ２の場合は、チューナや映像処理回路を備え、コンテンツ情報としてのテレビ放送等の映像信号に基づいて表示情報を生成する。
一方、表示機器がＰＣ３の場合は、本コンテンツ部は、所定のアプリケーションソフトの実行により、例えば、ＷＥＢブラウザ、動画プレーヤ、音楽プレーヤ等の機能を発揮する部分とされている。そして、例えば、ＷＥＢブラウザ機能により、ユーザ操作に基づいて図示されていないインターネット等を通じてコンテンツ情報としてのＷＥＢページのＨＴＭＬデータを取得し、本ＨＴＭＬデータに基づいて画像やボタン等の表示部品のレイアウトを決定し、当該レイアウトや表示部品による表示情報を生成して、表示部２７へ入力する。
表示部２７は、液晶パネル等からなる表示パネルと、その表示パネルに画像を表示させる制御を行う表示制御部とを備え、コンテンツ部２６が生成した表示情報の表示を行なう。表示制御部は、ＯＳＤ（オン・スクリーン・ディスプレイ）機能を備えており、マーカ表示情報保持部２３が保持するマーカ表示情報に基づき、コンテンツ部２６が生成した表示情報に重畳して、表示パネルにマーカを表示させる。また、表示制御部は、ユーザ操作に応じて、表示機器の設定を行う操作メニュー等の表示情報を生成することが可能である。なお、マーカを表示する情報は、コンテンツ部２６が生成した表示情報より優先して表示される。つまり、表示領域のうち、マーカが表示されている部分には、表示情報（表示装置本来の表示内容に相当する）に基づく画像は表示されない。なお、上記表示情報に基づく画像は、前記「表示装置本来の表示内容」の具体例である。
＜動作＞
次に、本発明の実施の形態１の具体的使用例（図２）における処理の流れについて、図３、図４、図５、及び図６に示すフローチャートを用いて説明する。
図２は、本発明の実施の形態１における、操作機器である小型情報端末１、並びに表示機器であるテレビ２及びＰＣ３（パーソナルコンピュータ３）の外観構成と配置を示した図である。本図は、小型情報端末１に搭載のカメラ部１１（撮影画像入力部１１）によりテレビ２を撮影している状態を示している。なお、小型情報端末１は、テレビ２を撮影して得られた撮影画像を表示部１２（詳細には、表示部１２の表示領域、若しくは、表示部１２の表示画面）に表示しているものとする。
ここでテレビ２の表示部２７（詳細には、表示部２７の表示領域、若しくは、表示部２７の表示画面）にはマーカ２７１ａが表示されており、小型情報端末１の撮影画像（すなわち表示部１２）に、マーカ２７１ａに相当するマーカ撮影画像１２１ａが現れている。一方ＰＣ３については、小型情報端末１の撮影範囲外に設置されているため、撮影画像には本ＰＣ３に相当する部分は現れていない。
なお、図２は、マーカ検出部１３１によってマーカ２７１ａが検出された後、機器操作制御部１４によって操作メニュー１７（操作内容表示画像１７ａを含む）が表示されている状態を示している。
また小型情報端末１の操作入力部１０は、複数のボタンスイッチを備えている。ここで、ボタンスイッチ１０ａは、表示部１２に表示されている操作内容表示画像１７ａを選択するユーザからの入力を受け付ける。すなわち、ボタンスイッチ１０ａが押下されると、操作内容表示画像１７ａに関連付けられた操作情報が送信部１５に送られる。なお、他のボタンスイッチについても同様に、操作情報あるいはその他の操作内容が関連付けられている。
以下に、小型情報端末１及びテレビ２（あるいはＰＣ３）の処理について説明する。
図３は、小型情報端末１によって実行される表示機器制御処理を示すフローチャートである。図４は、テレビ２（あるいはＰＣ３）の指示受付処理を示すフローチャートである。
（１）小型情報端末１（操作機器）の処理の概要
小型情報端末１で行われる表示機器制御処理（ステップＳ１〜Ｓ６）について説明する。なお、ステップＳ３，Ｓ４については、簡単に説明するにとどめ、テレビ２の処理の説明の後に詳細に説明することとする。
ここで、ユーザは、小型情報端末１の操作により、表示機器制御処理を行うアプリケーションソフトを起動した後、カメラ部１１（撮影画像入力部１１）をテレビ２の方向に向け、表示部１２に表示された撮影画像にテレビ２が映るように小型情報端末１を保持しているものとする（図２）。
ステップＳ１のマーカ初期化処理では、マーカ情報保持部１３３の初期化、及び、全表示機器（本例では、テレビ２、ＰＣ３）へのマーカ表示指令が行われる。
マーカ情報保持部１３３の初期化は、表示マーカ制御部１３２によって行われる。
ここで、図７に、初期化されたマーカ情報保持部１３３に保持されているマーカ情報を示し、この図に基づいてマーカ情報及びマーカ初期化処理を説明する。
マーカ初期化処理において、図７に示すように小型情報端末１が検出可能な表示機器群、つまり、小型情報端末１に登録されている各表示機器について、表示機器を識別するための「色」と、当該表示機器に関する情報である「機器名」を設定する。本例においては、テレビ２及びＰＣ３を検出対象とすべく、機器名「テレビ」に対し、色「赤」を、機器名「ＰＣ」に対し、色「青」を設定するものとする。なお、初期化時の設定は、製品出荷時の設定やユーザ登録などによって予め設定されており、小型情報端末１の記憶部に記憶されているものが用いられる。
また、マーカ検出によって得られるマーカ情報（マーカ検出情報）である「検出フラグ」、「検出位置」、「検出サイズ」についても初期化を行なう。検出フラグは、マーカ検出部がマーカを検出したか否かを示すフラグであり、初期値として「未検出」を設定する。検出位置は、マーカ検出部１３１が撮影画像情報内にて検出したマーカの座標（Ｘｄ，Ｙｄ）である。なお、基本的に、マーカは１つのピクセルで構成されるものではなく、複数のピクセルが結合したピクセル群として検出される。このため、検出位置として当該複数ピクセルの座標のうちいずれを採用するか、との問題が生じる。本実施の形態においては、当該複数ピクセルのうち最も左上に位置するピクセルの座標を採用することとする。
なお、上記検出位置は、検出フラグの値が「検出」である場合に限り有効な値が設定される。本初期化処理においては、検出フラグの値は「未検出」であるため、本値は「未設定」とされる。
検出サイズは、前記マーカを構成する複数ピクセルの大きさを示すものであり、横幅Ｗｄ、縦幅Ｈｄとして、（Ｗｄ，Ｈｄ）と表記する。ここで横幅Ｗｄ、及び縦幅Ｈｄは、それぞれ、前記マーカを構成するピクセル群によって形成される四角形（例えば、長方形）のＸ軸方向ピクセル数、及びＹ軸方向のピクセル数のことである。
図８（ａ）は撮影画像１１１を例示する図であり、図８（ｂ）は、領域１１１ａを拡大して示す図である。図８（ａ）の領域１１１ａは、撮影画像１１１のうちテレビ２に表示されたマーカに相当する部分（ピクセル群１１１ｂ）を含む領域であり、図８（ｂ）に領域１１１ａを拡大して示す。領域１１１ａ内の小さな四角形はそれぞれピクセルを表す。また黒塗りのピクセル群１１１ｂは、当該領域１１１ａのうち、テレビ２が表示したマーカに相当する部分（マーカ撮影画像）を示す。この場合、検出サイズは、（３３，３０）となる。
なお、本検出サイズは、検出フラグの値が「検出」である場合に限り有効な値が設定される。本初期化処理においては、検出フラグの値は「未検出」であるため、本値は「未設定」とされる。
指示サイズは、各表示機器が表示するマーカの大きさ（表示サイズ）を指定するものであり、横幅Ｗｒ、縦幅Ｈｒとして、（Ｗｒ，Ｈｒ）と表記する。ここで横幅Ｗｒ、縦幅Ｈｒは、上記検出サイズと同様、マーカを構成するピクセル群によって形成される長方形のＸ軸方向ピクセル数、及びＹ軸方向のピクセル数となる。本例においては、「テレビ」及び「ＰＣ」共に、Ｗｒ＝１５０、Ｈｒ＝１５０を初期値としている。
この初期値は、大きめに設定されており、小型情報端末１とテレビ２との距離が比較的遠い場合でも、マーカの検出が可能にされている。
ステップＳ１における全表示機器へのマーカ表示指令は、上記初期化処理にて設定されたマーカ情報が、通信手段５を介してマーカ表示指示情報としてテレビ２及びＰＣ３へ送信されることでなされる。なお、図３において、マーカ表示指示情報の送信処理を破線にて模式的に示す。ここで、マーカ表示指示情報の送信は、図３の記号「Ａ」から図４の記号「Ａ」に続くものとする。このような指示情報等の送信処理については、他のマーカ表示指示情報の送信（Ｓ４）や操作情報の送信（Ｓ５）についても同様に示している。
なお、上記ステップＳ１では、例えば、マーカ情報保持部１３３に３以上の表示機器が設定されている場合は、３以上の表示機器の全てにマーカ表示指示情報が送信される。すなわち、マーカ情報保持部１３３に設定されている全ての表示機器にマーカ表示指示情報が送信されるのである。これにより、マーカ検出が行われる前の状態でも、表示機器にマーカの表示を指示することができる。
ここで、本例におけるマーカ表示指示情報とは、「色」及び、「指示サイズ」より構成される情報である。すなわち本例のマーカ表示指示情報には、テレビ２へ、色は「赤」、指示サイズは（１５０，１５０）という情報が送信され、ＰＣ３へ、色は「青」、指示サイズは（１５０，１５０）という情報が含まれる。
ステップＳ２では、撮影画像入力部１１（カメラ部１１）は、テレビ２を撮影して撮影画像情報を生成し、当該生成した撮影画像情報をマーカ検出部１３１へ入力する。また、撮影画像入力部１１は、本撮影画像情報を表示部１２にも入力する。なお、表示部１２は、入力された撮影画像情報を画像化し、撮影画像を表示する。本ステップＳ２及び、後述のステップＳ３〜Ｓ６は、一秒間に数回〜数十回程度の頻度にて実施される。よって、表示部１２には、秒間数フレーム〜数十フレームのフレームレートにて撮影画像入力部１１が撮影した現実世界の風景が動画像として表示される。
ステップＳ３のマーカ検出処理では、マーカ検出部１３１により、前記撮影画像情報に含まれるマーカを検出する処理、及びマーカ情報の更新処理等が行われる。マーカ検出部１３１は、マーカを検出した場合に、マーカの検出サイズ等のマーカ検出情報を取得する。そして、マーカ検出情報をマーカ情報保持部１３３に書き込むことで、マーカ情報保持部１３３に保持されているマーカ情報を更新する。
図９は、マーカ検出処理後のマーカ情報保持部１３３の内容（保持されているマーカ情報）の一例を示す図である。この図において、テレビ２に表示されたマーカが検出されており、検出フラグが「検出」にされ、検出位置および検出サイズが設定されている。
ステップＳ４のマーカサイズ調整処理では、表示マーカ制御部１３２により、マーカの検出サイズ等に基づいてマーカの指示サイズが縮小され、マーカ情報が更新される。そして、マーカ表示指示部１３４により、縮小された指示サイズを含むマーカ表示指示情報が生成され、テレビ２に送信される。
図１０は、ステップＳ４のマーカサイズ調整処理後におけるマーカ情報保持部１３３の内容の一例を示す図である。この図において、図９の指示サイズ（１５０，１５０）と比較して、マーカサイズ調整処理によって指示サイズが（２３，２５）に縮小されている。また、この図において、検出サイズには、指示サイズが（２３，２５）に縮小されたマーカを撮影し、検出処理を行った場合の検出サイズ（５，５）が設定されている。
ステップＳ５の表示機器への操作受付処理では、ユーザの操作対象となる表示機器の決定、操作メニュー１７の表示、ユーザ入力の受付、ユーザ操作内容の送信がなされる。
具体的には、機器操作制御部１４は、ステップＳ３にて検出されたマーカの情報に基づき、ユーザの操作対象となる表示機器を決定する。そして、機器操作制御部１４は、決定された操作対象表示機器に関連付けられた操作メニュー１７を表示部１２に表示し、ユーザ操作の入力待ちを行う。その後、操作入力部１０に操作メニュー１７に対応するユーザ操作が入力された場合、送信部１５を介して、操作対象表示機器にユーザの操作内容を示す操作情報を送信する。
以下、本ステップの処理について、図２に示す表示機器の構成において、前記ステップＳ４の処理によってマーカ情報保持部１３３の内容が図１０の内容に更新された場合を例として説明する。
まず、操作対象となる表示機器を決定する処理について説明する。
機器操作制御部１４は、マーカ情報保持部１３３に保持されたマーカ情報をもとに、前記のユーザ入力によって選択された操作内容を操作情報として送信すべき表示機器を決定する。本例においては、検出フラグの値が「検出」であるマーカ情報に係る表示機器を、操作情報を送信すべき表示機器と決定する。このため、マーカ情報保持部１３３が図９に示す内容である場合における、操作対象表示機器は、検出フラグが「検出」である機器名「テレビ」、すなわちテレビ２となる。
なお、検出フラグの値が「検出」である表示機器が複数存在する場合は、表示部１２に機器選択に係るメニューを表示し、ユーザ入力によって操作対象表示機器を決定する、としてもよい。この場合には、マーカ情報保持部１３３に、各表示機器についてユーザが選択したか否かを記憶させることができる。そして、ユーザが選択した表示機器を操作対象となる表示機器と決定することができる。
次に、操作メニューの表示、及び、ユーザ入力受付処理について説明する。
小型情報端末１は、記憶部（図示省略）を備えており、その記憶部に、各表示機器に対応付けられた操作メニュー画像情報が格納されている。そして、機器操作制御部１４は、操作対象表示機器を決定した後、記憶部から操作対象表示機器に対応する操作メニュー画像情報を取り出し、操作メニューの表示指令とともに表示部１２に送信する。その結果、操作メニュー１７が表示される。
操作メニュー１７の表示後に、機器操作制御部１４は、操作入力部１０よりユーザの入力を受け付ける。ここではユーザはボタンスイッチ１０ａを押下したものとする。この場合、操作メニュー１７が表示されている状態において、ボタンスイッチ１０ａへの入力には、操作内容表示画像１７ａで示されているように、放送番組視聴コンテンツにおいて、チャンネルを２ｃｈに変更するという操作情報が関連付けられている。よって、受け付けたユーザの入力によって選択された操作内容は、操作内容表示画像１７ａに表示された内容である「２ｃｈ」操作、つまり、番組視聴コンテンツにおけるチャンネルを２ｃｈへ変更する操作である。
機器操作制御部１４は、送信部１５へ、「前記操作対象表示機器へ前記ユーザ入力された操作内容を送信すること」を要求する。本例においては、テレビ２へ「２ｃｈへのチャンネル変更する」という操作情報を送信すること、となる。
なお、設定時間を経過してもユーザが入力を行わなかった場合は、Ｓ５において操作情報の送出は行われず、処理がＳ６に進む。
なお、本例において、本処理Ｓ５は、マーカ検出処理Ｓ３及びマーカサイズ調整処理Ｓ４と同期処理にされているが、非同期処理としてもよい。
また、上記操作メニュー１７は、チャンネル操作を表示する例を示したが、その他種々のメニューを表示することが可能である。例えば、音量調節、入力切替え等の選択肢を表示させてもよい。この場合には、チャンネルの変更、音量の調節等の複数の操作を順次行うことができる。
上記Ｓ２からＳ５の処理は、表示機器制御処理が終了するまで、繰り返し実施される（ステップＳ６）。
上記表示機器制御処理は、例えば、ユーザ入力によって、本制御処理を行うアプリケーションソフトの終了操作が行われた場合に終了する。この場合、ステップＳ７の終了処理において、全表示機器（テレビ２等）にマーカ表示の終了指示が送信され、全表示機器におけるマーカの表示が終了する。
また、例えば、チャンネル変更などの操作が行われた後、設定時間経過しても操作が入力されない場合に表示機器制御処理を終了してもよく、あるいは一時停止してもよい。一時停止とは、再起動操作がなされるまで、表示機器制御処理が行われない状態である。また、一時停止の際には、テレビ２にマーカが表示された状態とされる。
（２）表示機器の処理
次にテレビ２側の処理について説明する。
図４は、小型情報端末１から送信されたマーカ表示指示情報等に対して行われるテレビ２（あるいはＰＣ３）の処理を示すフローチャートである。なお、図４には、テレビ２の処理を代表的に示しているが、ＰＣ３の処理も同じである。
ステップＳ１１では、マーカ表示情報制御部２２は、マーカ表示情報保持部２３の内容（図示省略）を初期化する。マーカ表示情報は、少なくとも「表示フラグ」、「色」、及び「指示サイズ」により構成される。「表示フラグ」は、マーカを表示させるか否かを示す情報である。なお、色、及び指示サイズについては、ステップＳ１にて説明したものと同様である。
本初期化処理では、表示フラグを「非表示」、「色」及び「指示サイズ」を「未設定」にセットする。
ステップＳ１２では、受信部２１は、小型情報端末１の送信部１５より送信されたマーカ表示指示情報や操作情報（図３の記号「Ａ」からの入力）の受信待ちを行う。
受信部２１が操作情報を受信した場合（ステップＳ１３）は、操作情報に従い表示機器の作動状態が変更される（ステップＳ１４）。以下、具体的に説明する。
受信部２１が受信した操作情報は、操作情報受信部２４に入力される。操作情報受信部２４は、当該操作情報をテレビ２におけるユーザ操作イベントの形式に変更し、操作入力部２５へ入力する。操作入力部２５は、当該入力されたユーザ操作イベントを、コンテンツ部２６へ入力する。コンテンツ部２６は、本イベントにしたがって処理を実施し、表示情報を生成する。本例においては、前記ステップＳ４にて示した「２ｃｈ」操作の信号を受信したテレビ２は、チャンネルを「２ｃｈ」に変更し、当該チャンネルにおいて放送されている番組視聴コンテンツの表示情報を生成する。その表示情報が画像に変換され、表示部１２に表示され、チャンネル変更という操作が完了する。
ステップＳ１２にて受信部２１がマーカ表示指示情報を受信した場合は（ステップＳ１５）、マーカ表示情報が更新される（ステップＳ１６）。以下、具体的に説明する。
受信部２１が受信したマーカ表示指示情報は、マーカ表示情報制御部２２に入力される。マーカ表示情報制御部２２は、当該マーカ表示指示情報に従って、マーカ表示情報保持部２３の内容を更新する。本例においては、ステップＳ１にて送信されたマーカ表示指示情報に従い、テレビ２は、色は「赤」、指示サイズは（１５０，１５０）に更新し、ＰＣ３は、色は「青」、指示サイズは（１５０，１５０）に更新する。また、本情報の受信に合わせて、表示フラグの値を「表示」に切り替える。
なお、小型情報端末１において、前述のステップＳ１は一度だけ実行され、表示機器にマーカ表示指示情報が一度だけ送信されるのに対し、ステップＳ４（詳細は後述）の処理は繰り返し実行され、必要に応じてマーカ表示指示情報の送出が複数回行なわれるため、本更新処理は複数回実施されることがある。
本実施の形態において、テレビ２は、上記指示サイズの四角形のマーカを表示するように設定されているが、小型情報端末１によってマーカの形状が指定される構成としてもよい。
ステップＳ１７では、表示部２７は、コンテンツ部２６が生成した表示情報の上にマーカを重畳表示する。重畳表示されるマーカは、マーカ表示情報保持部２３の内容に従う。すなわち、表示部２７は、マーカ表示情報の表示フラグが「表示」の場合は、色、及び指示サイズの値に従って、表示情報の上にマーカを描画する。本例においては、テレビ２は、幅１５０ピクセル、高さ１５０ピクセル分の赤色の方形を、ＰＣ３は、幅１５０ピクセル、高さ１５０ピクセル分の青色の方形を表示情報上に描画する。なお、マーカの描画位置については、本例においては、表示機器が任意の固定位置（例えば、座標（０，０）をマーカの左上座標とする等）を定めておき、本位置に表示するものとする。なお、表示指示位置をマーカ表示情報に含め、当該表示指示位置へマーカを表示する構成としてもよい（本構成については、実施の形態３にて詳細に説明する）。
上記処理は、少なくとも小型情報端末１の表示機器制御処理継続中は、繰り返し実施される（ステップＳ１８）。なお、小型情報端末１から送信された表示機器制御処理の終了指示を受信した場合は、ステップＳ１１の初期化処理によってマーカ表示が非表示（オフ）にされる。その後、表示指示等の受信待ちが行われる（Ｓ１２）。
以上で、テレビ２側の処理の説明を終了する。
（３）マーカ検出処理の詳細
次に、図５のフローチャートを用い、ステップＳ３のマーカ検出処理の詳細について説明する。ステップＳ３では、マーカ検出部１３１は、撮影画像入力部１１が生成した撮影画像情報を受け取り、本撮影画像情報に含まれるマーカを検出する。なお、以下の説明において、上記ステップＳ２にて撮影画像入力部１１により生成された撮影画像情報は、図８に示す撮影画像１１１の情報であるものとする。
ステップＳ３１では、マーカ情報保持部１３３が保持するマーカ情報の一部が初期化される。具体的には、マーカ情報保持部１３３が保持する全表示機器に係るマーカ情報の検出フラグを「未検出」状態へリセットする。また、検出位置、検出サイズの値を「未設定」にする。
ステップＳ３２では、各表示機器に割当てられたマーカの色を、マーカ情報保持部１３３から読み出して取得する。本例においては、図７に記載の通りテレビ２の「赤」、及びＰＣ３の「青」が取得される。
ステップＳ３３では、前記の撮影画像情報より、ステップＳ３２にて読み出した色である「赤」、及び「青」のピクセル群を検出する。各色のピクセル群の検出は、各ピクセルＰ（ｘ，ｙ）の色情報に基づき、次のように行われる。
まず、次式によって、各ピクセルＰ（ｘ，ｙ）について、各基準色（図１１参照）に対するＲＧＢ（赤、緑、青）の各色成分の輝度差合計値Ｃ（ｉ）を求める。
Figure 2011004612
ここで、Ｐｒ（ｘ，ｙ）、Ｐｇ（ｘ，ｙ）、Ｐｂ（ｘ，ｙ）は、それぞれ各ピクセルの赤、緑、青成分の輝度値である。また、基準輝度値Ｓｒ（ｉ）、Ｓｇ（ｉ）、及びＳｂ（ｉ）は、それぞれ基準色を構成する赤、緑、青成分の輝度値である。図１１は、本基準輝度値の設定例を示す図である。「ｉ」は、色番号である。例えば、赤色の場合は、「ｉ」が２となり、各基準輝度値Ｓｒ（２）＝２５５、Ｓｇ（２）＝０、Ｓｂ（２）＝０となる。なお、各色の基準輝度値は、小型情報端末１の記憶部に記憶されている。
そして、各色番号ｉ（１≦ｉ≦Ｎ）について、撮像画像情報の各ピクセルの輝度差合計値Ｃ（ｉ）を算出する。ここで、図１１の例ではＮ＝８となるため、各ピクセルについて、８つの輝度差合計値Ｃ（１）〜Ｃ（８）が算出される。さらに、各ピクセルについて、８つの輝度差合計値Ｃ（１）〜Ｃ（８）のうちの最小となるものの色番号ｉ0に対応する色名称Ｃｎ（ｉ0）が、当該ピクセルの色名称となる。
さらに、色名称が同じ複数のピクセルが、連続して配置されている場合に、ピクセル群とみなされる。具体的には、ピクセル群は、Ｐ（ｘk−１，ｙk）、Ｐ（ｘk＋１，ｙk）、Ｐ（ｘk，ｙk−１）、及びＰ（ｘk，ｙk＋１）のいずれか１以上のピクセルに対応する色名称が、Ｐ（ｘk、ｙk）の対応する色名称と同一となるピクセルＰ（ｘk，ｙk）の集合である。ここで、添字ｋは、例えば正の整数であり、Ｐ（ｘk，ｙk）は、ｋ番目の座標の色情報を表している。
本例においては、撮影画像情報１１１のうち、テレビ２が表示したマーカを撮影した部分１１１ｂを構成する各ピクセルは、色名称「赤」に近い輝度値となるはずである。よって、本ステップでは、領域１１１ｂの部分が色名称「赤」のピクセル群として発見される。なお、撮影画像入力部１１の感光性能や、撮影環境により、色名称「赤」の基準色を構成する各成分の基準輝度値（赤色の基準輝度値はＳｒ（２）＝２５５、緑色の基準輝度値はＳｇ（２）＝０、青色の基準輝度値はＳｂ（２）＝０）と若干異なる可能性がある。
ここで、各ピクセルの色名称を取得する場合に、可及的に基準色に近い色名称が選択されるように、Ｃ（ｉ）に上限しきい値を設けてもよい。この場合、輝度差合計値Ｃ（１）〜Ｃ（Ｎ）の全てが上限しきい値よりも大きい場合には、そのピクセルの色名称は未設定（例えば、色番号が０とされる）とされる。これにより、基準色と大きく異なる基準輝度値を有する色が排除される。そして、輝度差合計値Ｃ（１）〜Ｃ（Ｎ）のうちの最小値が上限しきい値以下となるピクセルによって構成されるピクセル群だけが、マーカ検出の対象とされる。このようにすることで、マーカ検出の精度を向上させることができる。
また、ピクセル群の検出において、Ｐ（ｘk−１，ｙk）、Ｐ（ｘk＋１，ｙk）、Ｐ（ｘk，ｙk−１）、及びＰ（ｘk，ｙk＋１）及び、Ｐ（ｘk−１，ｙk−１）、Ｐ（ｘk＋１，ｙk−１）、Ｐ（ｘk−１，ｙk＋１）、Ｐ（ｘk＋１，ｙk＋１）のいずれか１以上のピクセルに対応する色名称が、Ｐ（ｘk、ｙk）の対応する色名称と同一となるピクセルＰ（ｘk，ｙk）の集合を、ピクセル群としてもよい。また、いずれか１以上ではなく、いずれかＮ以上（Ｎ≧２）としてもよい。この場合、Ｎを大きな値にするほど、対ノイズ性が向上する一方、本来マーカである部分をノイズとして排除することにもなる。
ステップＳ３４では、ステップＳ３３にて検出されたピクセル群がマーカであるかどうかを判断する。具体的には、当該ピクセル群のピクセル数が下限値Ｐｍ以上であるか否かにより判断をする。すなわちピクセル数が下限値Ｐｍ未満のものについては、マーカではなく、ノイズである、と判断する。なお、下限値Ｐｍは、（数２）により算出され、下限値Ｐｍの最小値は１である。
Figure 2011004612
ここで、設定値Ｗｐは横方向のピクセル数であり、設定値Ｈｐは縦方向のピクセル数である。設定値Ｗｐ及びＨｐともに、マーカの検出が可能な範囲で、マーカを縮小できる値が設定されている。本実施の形態において、例えば、設定値Ｗｐ及びＨｐともに「５」とされている。
また、係数αは、「０」より大きく、「１」以下に設定される値である。本値を小さくするほど、マーカを確実に検出できるが、小さなピクセル群もマーカとして検出されることとなり、ノイズをマーカとして誤検出する可能性も上がる。一方、係数αを大きくすると、ノイズをマーカとして誤検出する可能性は下がるが、小さなマーカをノイズとして排除してしまう恐れがある。よって、誤検出を減らすためには、係数αを０．５以上にすることが好ましい。しかし、誤検出が生じにくい状況において、係数αを０．５未満にすることもできる。
係数αは、例えば、カメラ部１１（撮影画像入力部１１）の性能（例えば解像度）に基づいて決定することができる。カメラ部１１の画素性能が低いと、例えば、後述するステップＳ３３において算出された表示サイズでマーカがテレビ２に表示されたとしても、撮影されたマーカのサイズが計算値よりも小さくなる場合がある。このような事態に備えるためには、例えば、係数αを０．６にする等、ある程度小さな値とすることが好ましい。
係数αは、例えば、製品出荷時や、前述の表示機器制御処理を行うアプリケーションソフトの実行時に、テスト撮影を行うことで決定される。
ここで、上記ピクセル数Ｗｐ，Ｈｐの各々に係数αを乗じたピクセル数（α・Ｗｐ，α・Ｈｐ）が、マーカとして検出される下限サイズ（マーカ検出に最低限必要なサイズ）となる。
なお、ピクセル群をマーカであると判断する基準を、上記下限値Ｐｍに代えて、ピクセル群の横方向（Ｘ軸方向）および縦方向（Ｙ軸方向）のピクセル数が、それぞれ設定値（α・Ｗｐ，α・Ｈｐ）以上であるとしてもよい。これにより、本例のように、マーカの形状が四角形である場合は、マーカの誤検出を減らすことができる。
ステップＳ３５では、ステップＳ３４にてマーカであると判断されたピクセル群について、当該ピクセル群にかかるマーカ情報をマーカ情報保持部１３３へ書き込む。ここで書き込む情報は、当該ピクセル群の検出位置、検出サイズである。また、検出フラグを「検出」とする。本ステップの処理により、例えば、図６の内容であったマーカ情報保持部１３３の内容は、図９に示す内容へ更新される。
（４）マーカサイズ調整処理
図６は、ステップＳ４のマーカサイズ調整処理を示すフローチャートである。この図に基づいて、マーカサイズ調整処理について説明する。
ステップＳ４１では、表示マーカ制御部１３２は、マーカ情報保持部１３３よりマーカ検出部１３１が検出した各表示機器のマーカ情報、すなわち検出フラグの値が検出状態のマーカ情報を取り出す。本例においては、テレビ２に関するマーカ情報のみが取り出される。
ステップＳ４２では、表示マーカ制御部１３２は、ステップＳ４１にて取得したマーカ情報に基づいて、マーカ検出部１３１が検出可能な範囲でマーカを縮小できる表示サイズの計算を行なう。ここで、縮小時のマーカの表示サイズ（Ｗｍ，Ｈｍ）は、（数３）に示す式によって算出される。マーカの検出が可能な横方向のピクセル数の設定値Ｗｐ、縦方向のピクセル数の設定値Ｈｐ、当該マーカ情報の検出サイズは（Ｗｄ，Ｈｄ）、当該マーカ情報の指示サイズは（Ｗｓ，Ｈｓ）で示している。
Figure 2011004612
本例においては、設定値Ｗｐ＝５、設定値Ｈｐ＝５、とすると、検出サイズＷｄ＝３３、Ｗｄ＝３０、指示サイズＷｓ＝１５０、Ｗｓ＝１５０なので、縮小サイズＷｍ＝２２．７２、Ｈｍ＝２５となる。ここで小数点以下は四捨五入し、縮小サイズ（Ｗｍ，Ｈｍ）＝（２３，２５）が、マーカ検出部１３１が検出可能な範囲でマーカを縮小する表示サイズとして算出される。当該マーカ情報の指示サイズは、本算出されたサイズ（２３，２５）に更新される（図１０）。
ステップＳ４３では、縮小後の指示サイズがマーカ情報保持部１３３に書き込まれると共に、テレビ２に対するマーカ表示指示が行われる。マーカ表示指示部１３４は、ステップＳ４２において指示サイズの更新が行なわれたテレビ２へ、マーカ表示指示情報を送信する。本例においては、当該マーカ表示指示情報は、色は「赤」、指示サイズは（２３，２５）である。当該マーカ指示情報の送信により、前述のステップＳ１６及びＳ１７が実施され、テレビ２は、マーカの表示サイズを横方向のピクセル数を２３に、縦方向のピクセル数を２５に変更する。
その結果、図２のようにテレビ２に大きく表示されていたマーカ２７１ａを、図１２のように、テレビ２に縮小して表示させることができる。よって、テレビ２本来の表示内容の見づらさを低減することができる。
ここで、小型情報端末１とテレビ２の位置関係が変わらなかった場合は、マーカ２７１ａの表示サイズが上記数式３によって指示サイズを算出されることから、次回のマーカ検出処理において、撮影画像情報におけるマーカのサイズが（Ｗｐ，Ｈｐ）となる。この検出サイズは、マーカを構成するピクセル群のピクセル数が、前述の下限値Ｐｍ以上であるので、マーカとして検出される。なお、前述のように、下限値Ｐｍは、係数α×Ｗｐ×Ｈｐである（０＜α≦１）。このように下限値Ｐｍを決定するとともに、撮影画像におけるマーカのサイズが（Ｗｐ，Ｈｐ）となるように指示サイズを決定することで、その指示サイズは、ほぼ確実にマーカを検出できる値になる。よって、マーカ検出が可能な範囲で可及的にマーカの指示サイズを縮小できる。
また、係数αは、カメラ部１１の性能に基づいて決定される一方、設定値Ｗｐ，Ｈｐはカメラ部１１の性能に左右されない。つまり、設定値Ｗｐ，Ｈｐに基づいてマーカを縮小させる指示サイズを算出することで、カメラ部１１の画素性能を考慮せずに指示サイズを算出することができる。
（５）まとめ
以上で説明したとおり、本実施の形態１によれば、図２のようにテレビ２に大きく表示されていたマーカ２７１ａを、図１２のように、小型情報端末１が認識可能であって可能な限り小さいサイズのマーカ２７１ａへ変更することができる。
これにより、テレビ２等の表示機器本来の表示内容が、マーカによって部分的に見えなくなって表示内容が見づらくなることを軽減することができる。また、テレビ等の表示機器に表示するマーカのサイズを、検出が可能な程度に小さくしており、マーカ検出も容易にされている。さらに、マーカ検出処理を行う前の状態において、マーカの表示サイズを比較的大きくしておくことにより、撮影距離の影響を受けにくくなり、マーカを容易に検出できる。すなわち、マーカ検出の容易性を確保しながら、表示機器本来の表示内容の見づらさを低減することができる。
＜マーカの形状、その他＞
本実施の形態において、マーカの形状は四角形に限られず、例えば、三角形、円、Ｌ字形状（鉤型）、帯状等とすることができる。特に、マーカ形状を直角三角形や、Ｌ字形状とした場合には、直角の角を表示機器の表示画面の隅に配置し、表示画面を有効に活用し得る。
また、マーカ初期化処理（Ｓ１）においてテレビ２等に送信されるマーカ表示指示情報に基づいて表示されるマーカは、マーカ検出処理後に小さくされるため、表示面積を非常に大きくしてもよい。例えば、表示機器の表示画面（表示領域と称することもできる）の全てに表示することや、表示画面の外周に沿う枠形状とすることができる。その場合は、初期のマーカ検出が容易になる。
さらに、１のマーカを１色で構成する必要はなく、複数の色を組み合わせてマーカを構成してもよい。例えば、１のマーカを２つに分割あるいは３つ以上に分割し、１のマーカに２色以上の色を割り当てることができる。このように、１のマーカを複数の色で構成した場合には、相隣接するピクセル群が所定の色の組み合わせであればマーカである確率が高く、マーカ検出の精度が向上する。さらに、１のマーカを、第１の色の部分を第２の色の部分で取り囲むように構成することもできる。その場合にも、マーカ検出の精度が向上する。また、テレビ２等のコンテンツと第１の色の部分とが第２の色の部分で区画されているため、撮影画像において第１の色の部分の輪郭が精度よく再現され、パターンマッチングを行う場合に好適である。
さらに、図３１に示すように、マーカは、枠内に記号を表示するものであってもよい。この枠内の図形は、マーカの模様の一例である。
また、マーカの個数は１つに限られず、複数個のマーカを表示することもできる。例えば、表示機器の表示画面の対角に位置する２つの隅にマーカを表示させてもよい。
[変形例１]
上記実施の形態において、マーカの色は予め設定された色が指定されていた。
それに対して、各表示機器に表示させるマーカの色として、現在の撮影画像情報に含まれない色、つまり、不使用の色を選択する、との手順を採用することもできる。
＜不使用色探索処理＞
図１３に、撮影画像情報における不使用色を探索する不使用色探索処理のフローチャートを示す。
この不使用色探索処理は、テレビ２等にマーカを表示させずにテレビ２等を撮影して得られた撮影画像情報、あるいは、マーカ検出処理においてマーカの検出数がマーカの表示数よりも多い撮影画像情報等に対して行われる。
まず、ステップＳ１００１にて変数ｉが１に設定される。また、Ｕ（ｉ）＝０とする。
ステップＳ１００２〜Ｓ１００７において、色番号が１〜Ｎ（Ｎは、例えば８）の基準色について、ピクセル数がしきい値Ｐｎ以上のピクセル群の有無等が調べられる。なお、しきい値Ｐｎは、下限値Ｐｍ以下の値とされる。
ここで、Ｓ１００２では、マーカ検出におけるピクセル群の検出処理（Ｓ３３）と同じ処理が行われる。
Ｓ１００３〜Ｓ１００５では、以下の処理が行われる。まず、色番号（ｉ）の基準色（ｉ）について、ピクセル群が存在しない場合、又は、ピクセル群のピクセル数がしきい値Ｐｎ未満の場合は、当該基準色（ｉ）は使用されていない。そのため、Ｓ１００４において、変数Ｕ（ｉ）は「０」とされる。一方、ピクセル群のピクセル数がしきい値Ｐｎ以上である場合は、当該基準色（ｉ）は使用されており、変数Ｕ（ｉ）の値を検出されたピクセル群の数とする。
Ｎ個の基準色について使用の有無が探索されると、Ｓ１００８にて、不使用色がマーカに割り当てられる。ここで、不使用色は、変数Ｕ（ｉ）＝０である基準色（ｉ）から選択される。
Ｓ１００９にて、マーカ情報を更新し、各表示機器について、マーカの色に上記不使用色を設定する。
マーカ情報が更新された後、ステップＳ１又はＳ３（図３）において、小型情報端末１からテレビ２等にマーカ表示指示情報が送信されると、テレビ２等に割り当てられた色のマーカが表示される（図４：ステップＳ１５〜Ｓ１７）。その結果、マーカを容易に検出することができる。
以上に述べたように、例えば、テレビ２を撮影して不使用色探索処理を行えば、撮影画像情報に使われていない色のマーカをテレビ２に表示させ、マーカの検出を容易にすることができる。
なお、ステップＳ１００２，Ｓ１００３において、単に各基準色と同じ色のピクセルが存在するか否かを判断してもよい。そして、撮影画像情報中に同じ色のピクセルがない基準色をテレビ２等に割り当てれば、よりマーカの検出精度を向上させることができる。このように、撮影画像情報に含まれない色にて各表示機器のマーカを表示すれば、当該色は、当該マーカ以外に存在しないため、ステップＳ３４を省略してもよい。
また、ステップＳ１００２〜Ｓ１００７において、全ての基準色について不使用か否かを調べることは必須ではない。例えば、登録されている表示機器と同数の不使用色が検出できればよい。また、マーカの誤検出が生じていた場合には、誤検出されたマーカの色は調べることを要しない。
＜マーカ誤検出時の不使用色探索処理の実行例＞
ここで、マーカ検出処理においてマーカの検出数がマーカの表示数よりも多い場合に、マーカ検出処理（Ｓ３）がどのように行われるかについて説明する。なお、実施の形態１のマーカ検出処理を「マーカ検出処理１」と記載し、本変形例のマーカ検出処理を「マーカ検出処理２」と記載して区別することとする。
図１４に、マーカ検出処理２のフローチャートを示す。この図において、ステップＳ３１〜Ｓ３５までの処理は、マーカ検出処理１と同じであるため、説明を省略する。
ステップＳ３６において、マーカとみなされるピクセル群（ピクセル数がＰｍ以上）の個数、つまり、マーカの検出数が、マーカの表示数（実施の形態１において１つ）よりも多いか否かが判定される。マーカの表示数は、小型情報端末１により指示され、小型情報端末１に記憶されているものとする。
マーカの検出数が、マーカの表示数より多い場合は、マーカと異なる画像をマーカとして誤検出しているためである。よって、ステップＳ３７において上述の不使用色探索処理が行われ、各表示機器に対するマーカの色の割り当てが変更される。
なお、不使用色探索処理は、マーカ初期化処理（図３のＳ１）の前に行うこともできる。この場合、例えば、ユーザ操作によってマーカが表示されていない状態でテレビ２等を撮影し、その撮影によって得られた撮影画像情報について不使用色探索処理を行うことができる。そして、不使用色探索処理にて各表示機器に割り当てられた色は、マーカ初期化処理（Ｓ１）において、マーカ情報保持部１３３に設定され、マーカ表示指示情報によりテレビ２等に送信される。
さらに、上記不使用色探索処理のＳ１００２において、前述の輝度差合計値Ｃ（ｉ）がしきい値以下となるピクセルあるいはピクセル群を検出する処理等を行ってもよい。この場合は、マーカ検出処理において、輝度差合計値Ｃ（ｉ）がしきい値以下となるピクセル群を検出することが好ましい。
ここで、マーカの誤検出が生じた場合に、不使用色探索処理を行わず、単にマーカの色を変更することもできる。この場合は、マーカの誤検出が生じなくなるまで、次々とマーカの色を変更することで、結果的に不使用色をマーカに割り当てることとなる。
[変形例２]
上記実施の形態１において、以下の処理を行うことができる。
マーカ検出処理のＳ３４において、Ｓ３３にて検出されたピクセル群に対しパターンマッチングを行い、マーカであるか否かを判定することができる。パターンマッチングは、マーカ形状データと、ピクセル群の形状との特徴量を比較し、その特徴量の差が設定値以下である場合に、マーカであると判別される。よって、マーカ形状と近似していない形状のピクセル群は、マーカと同じ色であっても、マーカではないと判別される。
上記パターンマッチングを行うことにより、マーカ検出の精度を向上させることができる。
[変形例３]
上記実施の形態において、マーカ検出処理で輝度差合計値Ｃ（ｉ）が算出されていた。この輝度差合計値Ｃ（ｉ）の算出に代えて、各基準色の輝度条件を満たすか否かによって、各ピクセルが基準色と同じ色であるか否かを判別することもできる。
例えば、基準色が「赤」である場合に、ＲＧＢそれぞれについて、輝度しきい値Ｂｒ（２）、Ｂｇ（２）、Ｂｂ（２）を設定する。そして、赤の輝度値Ｐｒ（ｘ，ｙ）がＢｒ（２）以上、緑の輝度値Ｐｇ（ｘ，ｙ）がＢｇ（２）以下、青の輝度値Ｐｂ（ｘ，ｙ）がＢｂ（２）以下となるピクセルを検出することで、マーカと同じ色のピクセルを抽出することができる。なお、各輝度しきい値は、例えば、Ｂｒ（２）を２００、Ｂｇ（２）及びＢｂ（２）を３０とすることができる。図１１の例では、基準輝度値が２５５の色成分に対しては、輝度しきい値は下限として用いられ、基準輝度値が０の色成分に対しては、輝度しきい値は上限として用いられる。
本変形例によれば、全ピクセルの色名称を取得する必要がなく、マーカと同じ色のピクセルを抽出するだけでよく、マーカ検出処理を簡略化することができる。
（実施の形態２）
本実施の形態は、例えば、小型情報端末とテレビ等との距離が遠くなり、検出されていたマーカが検出されなくなった状況において、マーカの表示サイズを大きくして再検出を図るものである。
図１５は、本発明の実施の形態２におけるマーカ表示制御装置を組み込んだ操作機器たる小型情報端末５００、及び当該操作機器による操作の対象となる表示機器たるテレビ２（ＰＣ３も同じ構成を備えている）の構成を示すブロック図である。図１５において、前記実施の形態１と同じ構成要素については図１と同じ符号を用い、説明を省略、あるいは簡略化する。なお、図１と同じ符号を付した構成要素が、図１の構成要素にはない機能を備えている場合もある。
図１５におけるマーカ表示制御装置５１３は、実施の形態１にて説明した図１のマーカ表示制御装置１３と同じ構成に加えて、検出不可マーカ制御部１３５を備える。
検出不可マーカとは、前回（あるいは、数回前）のマーカ検出処理において検出されたマーカであって、今回のマーカ検出処理で検出できなかったマーカのことである。
検出不可マーカ制御部１３５は、検出不可マーカについて、再度のマーカ検出を図るためにマーカの表示サイズを大きくする処理を行なう。
ここで、図１６に、図１７に示す状態におけるマーカ情報保持部１３３の設定内容を示す。マーカ情報保持部１３３に記憶されるマーカ情報には、検出不可マーカを判別するために、「前回検出位置」という項目が追加されている。これにより、前回検出位置の値が設定されていて、かつ、検出位置の値が設定されていない（あるいは、検出フラグが未検出にされている）マーカを検出不可マーカと判断することができる。
図１７は、本発明の実施の形態２における、操作機器（小型情報端末５００）及び表示機器（テレビ２、ＰＣ３）の外観構成と配置を示した図である。本図は、図１２の配置から、小型情報端末５００をテレビ２から遠ざけた状態を示す。このため、小型情報端末５００上のマーカ２７１ｂに相当する部分であるマーカ撮影画像１２１ｂは、前述したピクセル群をマーカとして判断するために必要なピクセル数の下限値Ｐｍを下回ることになる。つまり、ステップＳ３４の処理において、図２の状態ではマーカ撮影画像１２１ａがマーカとして検出されていたが、図１７の状態ではマーカ撮影画像１２１ｂはマーカとして判別されなくなる。
この図１７に示す状態において、小型情報端末５００で行われる処理の手順について、図１８、及び図１９に示すフローチャートを用いて説明する。なお、図３にて既に説明したステップと同一のものについては、同じ符号を付し、説明を省略する。
図１８は、マーカサイズ調整処理２のフローチャートを示す図である。なお、マーカサイズ調整処理２は、前記実施の形態１のマーカサイズ調整処理（Ｓ４）に、ステップＳ４４の検出不可マーカ表示態様変更処理（以下、検出不可マーカ処理と記載する）を加えたものである。なお、ステップＳ４１，Ｓ４２は前記実施の形態１と同じ処理がなされる。また、マーカが検出されない場合、ステップＳ４１，Ｓ４２において、実質的に処理はなされない。
図１６において、今回のマーカ検出処理（Ｓ３）においては、テレビ２に係るマーカの検出ができなかったため、検出フラグが未検出となり、検出位置及び検出サイズが「未設定」となっている。また、前回のマーカ検出処理ではマーカの検出が行なえていたため、前回検出位置が設定されている状態とする。
ステップＳ４４の検出不可マーカ処理において、検出不可マーカ制御部１３５は、図１９に示す手順に従って、検出不可マーカが存在する場合に、検出不可マーカを検出可能とするために、マーカの表示サイズを大きくする処理を行う。
ステップＳ４４１では、検出不可マーカを特定する。検出不可マーカの要件は２つである。要件１は、マーカ情報保持部１３３が保持するマーカ情報のうち検出位置が「未設定」であることである。これは、今回のマーカ検出処理において当該マーカ情報に係るマーカは検出されていないことを示すためである。なお、要件１は、検出フラグが未検出でもよい。要件２は、同マーカ情報のうち前回検出位置が「未設定」ではないことである。これは、前回のマーカ検出処理において、当該マーカ情報に係るマーカが当該検出位置にて検出されたことを示すためである。本例においては、上記図１６の説明の通り、テレビ２に係るマーカが、検出不可マーカとして特定される。
また、前記ステップＳ４４１にて、検出不可マーカが特定できなかった場合は、Ｓ４４３の処理は実施しない（ステップＳ４４２）。
ステップＳ４４３では、検出不可マーカとして特定されたマーカの指示サイズを現状のサイズより大きな値（Ｗｂ、Ｈｂ）に変更する。具体的には、当該マーカ情報の指示サイズに定数Ｂを乗じたサイズを算出し、マーカ情報保持部１３３の指示サイズを本算出値に更新する。本例においては、Ｂ＝２とすると、Ｗｂ＝２３×２＝４６、Ｈｂ＝２５×２＝５０となり、指示サイズは（４６，５０）に更新される。
最後にステップＳ４４４では、各マーカ情報の検出位置の値を、前回検出位置に設定する。これにより、前回検出位置の設定値は、次回の検出不可マーカ処理において前回（すなわち今回）のマーカ検出処理にて検出した検出位置が設定されていることになる。
なお、「検出位置」の値が未設定である場合は、「前回検出位置」の値は変更されないものとする。つまり、「検出位置」の値が未設定であり、かつ、前回検出位置に何らかの座標が設定されている場合は、その座標が保持される。
本処理によって指示サイズが大きくされた後、その指示サイズがマーカ表示指示情報としてテレビ２に送信される（Ｓ４３）。その結果、テレビ２に表示されるマーカの表示サイズが大きくされ（Ｓ１５〜Ｓ１７）、その後のマーカ検出（Ｓ３）が容易になる。
本ステップＳ４４の導入により、検出不可マーカが検出可能となるまで、マーカのサイズが順次大きな値へ更新される。そして、当該マーカが検出可能となった後は、実施の形態１にて説明した手順により、検出が可能であって最小のサイズへ調整される。
以上で説明したとおり、本実施の形態２によれば、小型情報端末５００とテレビ２との距離が遠くなったこと等により小型情報端末５００がマーカ２７１ｂを検出できなくなってしまったとしても、マーカ表示制御装置５１３によってテレビ２等の表示機器に表示させるマーカの表示サイズを大きくし、マーカの検出を図ることができる。
すなわち、マーカの表示サイズを小さくすることで表示内容の見づらさを低減する一方で、撮影距離の増加等によってマーカが検出されなくなった場合におけるマーカの検出が容易にされている。
なお、小型情報端末５００のカメラ部１１の向きがユーザによって変えられ、表示機器が撮影範囲外に位置することもある。そのような状況に備えて、以下の処理を行うこともできる。
ステップＳ４４３において、検出不可マーカについて、指示サイズの増加指示を行った回数をカウントしておき、Ｓ４４４の後に、増加指示を設定回数行ってもマーカが検出されない場合に、例えば、撮影範囲にテレビ２等が含まれていないと判断し、検出不可マーカ処理を終了させるステップを設けることもできる。また、検出不可マーカについての指示サイズが上限設定値を超えた場合に、検出不可マーカ処理を終了させるステップを設けてもよい。なお、Ｓ４４４の後に、上記の処理を行うステップを設けてもよい。
検出不可マーカ表示態様変更処理を終了させる場合、検出不可マーカの「前回検出位置」が未設定にされ、検出不可マーカが特定されなくなる。また、検出不可マーカを表示している表示機器に対し、マーカの表示を終了させる指示、あるいは、指示サイズを小さくする指示がなされる。なお、指示サイズを小さくする指示を行う場合、例えば、検出不可マーカが特定される前の指示サイズをマーカ情報保持部１３３に記憶しておき、その指示サイズを用いることができる。
本実施の形態において、マーカ表示態様変更部５３０は、表示マーカ制御部１３２と、マーカ情報保持部１３３と、マーカ表示指示部１３４と、検出不可マーカ制御部１３５とにより構成される。
[変形例]
なお、上記実施の形態２において、マーカが一旦検出された後に、表示サイズを段階的に小さくしながらマーカ検出処理を行い、マーカが検出されなくなった場合に、マーカの表示サイズを検出可能なサイズに調節するという制御を行うこともできる。
具体的には、上記実施の形態を以下のように変更することができる。
ここで、マーカの検出可能なサイズを記憶しておくために、マーカ情報保持部１３３に記憶されるマーカ情報に、「前回指示サイズ」という項目が追加される。これにより、マーカの指示サイズを小さくしてマーカが検出されなくなった場合に、指示サイズを前回指示サイズの値に戻すことができる。
そして、Ｓ４２において、マーカの指示サイズを例えば１０％程度ずつ小さくする。本例において、指示サイズを（１５０，１５０）から（１３５，１３５）に小さくする。また、指示サイズを変更する前に、元の指示サイズ、例えば（１５０，１５０）を前回指示サイズにコピーする。このような処理をマーカが検出されなくなるまで繰り返して行い、検出不可マーカが特定されると、Ｓ４４３において、指示サイズが前回指示サイズの値にされる。その結果、マーカの表示サイズを検出可能かつ可及的に小さいサイズにすることができる。なお、指示サイズが前回指示サイズの値にされた後は、マーカの指示サイズを小さくする処理は行われない。
また、検出不可マーカについて、指示サイズの増加量を小さくすることもできる（例えば、１．１倍等）。この場合、マーカが過度に大きくなることを防ぐことができ、表示機器本来の表示内容が見づらくなることを抑制できる。
なお、上記実施の形態２において、各表示機器に複数のマーカを表示させてもよい。また、検出不可マーカが複数存在する場合は、Ｓ４４において、各検出不可マーカの指示サイズが増加させられる。
[実施の形態３]
本実施の形態では、マーカが障害物に遮蔽される等、マーカの表示位置が不適切であるためにマーカが撮影できなくなった場合に、マーカの表示位置を変えることで、つまり、マーカを移動することでマーカの再検出が図られる。
また、本実施の形態では、小型情報端末６００の表示部１２上（詳細には、表示部１２の表示画面若しくは表示領域）の座標を指定することで、表示部１２上に表示されたテレビ２等の操作メニューを遠隔操作することが可能にされている。
図２０は、本発明の実施の形態３におけるマーカ表示制御装置を組み込んだ操作機器たる小型情報端末６００、及び小型情報端末６００による操作の対象となる表示機器たるテレビ２、ＰＣ３の構成を示す図である。図２０において、図１、図１５と同じ構成要素については同じ符号を用い、説明を省略、あるいは簡略化する。なお、図１等と同じ符号を付した構成要素が、図１等の構成要素にはない機能を備えている場合もある。
図２０におけるマーカ表示制御装置６１３は、実施の形態２にて説明した図１５のマーカ表示制御装置５１３の構成に加えて、マーカ遮蔽等判断部１３６及び表示機器情報生成部１３７を備えている。また、マーカ表示態様変更部６３０は、図１５のマーカ表示態様変更部５３０の構成に加えて、マーカ遮蔽等判断部１３６を備えている。
＜遠隔操作方法について＞
（１）概要
まず、本実施の形態における遠隔操作方法について説明する。
図２１は、４つのマーカ２７１ｄ〜２７４ｄおよび操作メニュー２８を表示した状態のテレビ２と、そのテレビ２を撮影する小型情報端末６００とを示す図である。
テレビ２（およびＰＣ３）は、画質設定等を行う操作メニュー２８を表示する機能を備えている。図の例において、操作メニュー２８には、３つの操作内容表示画像２８ａ，ｂ，ｃが含まれている。通常は、テレビ専用のリモコン操作にて、操作内容表示画像２８ａ，ｂ，ｃのいずれかが選択され、画質設定操作が行われる。
この操作メニュー２８は、マーカに使用される色とは異なる色（例えば、中間色）を用いて形成されている。このようにすることで、マーカの検出が容易になる。なお、各表示機器で操作メニュー２８に用いられる色を、マーカ情報としてマーカ情報保持部１３３に保持させ、それ以外の色をマーカの色とすることもできる。
小型情報端末６００の操作入力部１０は、表示部１２の液晶パネルを覆うタッチパネルを備えている。よって、ユーザがタッチパネルに触れることにより、表示部１２上の任意の座標Ｑａ（Ｘａ，Ｙａ）を入力することができる。つまり、表示部１２上の座標Ｑａ（Ｘａ，Ｙａ）を指定することができる。
（２）ポイント情報Ｑｂの生成
表示機器情報生成部１３７は、前記ステップＳ５において、撮影画像情報における表示機器上の座標位置Ｑａ（Ｘａ，Ｙａ）（以下、撮影画像座標位置Ｑａという場合がある）を、実際の表示機器の表示領域における座標位置Ｑｂ（Ｘｂ，Ｙｂ）（以下、表示領域座標位置Ｑｂという場合がある）に変換する座標変換機能を備えている。
ここで、撮影画像座標位置Ｑａの座標変換により、表示領域座標位置Ｑｂを生成することを、「ポイント情報Ｑｂ（Ｘｂ，Ｙｂ）の生成」と表現する。ポイント情報Ｑｂ（Ｘｂ，Ｙｂ）とは、撮影画像情報における座標Ｑａ（Ｘａ，Ｙａ）が、当該撮影画像に現れた表示機器の表示領域のどの部分に該当するか、を示す座標情報である。
本ポイント情報Ｑｂ（Ｘｂ，Ｙｂ）の生成につき、図２１を用いて詳細に説明をする。図２１の表示部１２は、撮影画像をそのまま表示するものとする。また、本表示部１２は、前述のように液晶パネル上にいわゆるタッチパネルを搭載しており、操作入力部１０を兼ねるものである。すなわちユーザは撮影画像上の一点Ｑａ（Ｘａ，Ｙａ）をタッチ操作にて指定可能であるとする。
このとき、テレビ２のポイント情報Ｑｂ（Ｘｂ，Ｙｂ）は、（数４）に例示する式にて算出される。この式において、撮影画像におけるテレビ２の表示領域の横方向のピクセル数はＷａ、縦方向のピクセル数はＨａで示している。一方、実際のテレビ２の表示領域の横方向のピクセル数はＷｂ、縦方向のピクセル数はＨｂで示している。なお、このピクセル数Ｗｂ、Ｈｂは、テレビ２の解像度であり、マーカ情報保持部１３３に保持されている。
Figure 2011004612
上記数式において、撮影画像情報におけるＸ座標Ｘ1，Ｘ4、およびＹ座標Ｙ1，Ｙ4は、それぞれ撮影画像情報におけるマーカ１２１ｄおよび１２４ｄの座標Ｍ1（Ｘ1，Ｙ1）、Ｍ4（Ｘ4，Ｙ4）の値とされる。
ここで、検出されたマーカが複数のピクセルで構成される場合、いずれのピクセルの座標をＭｉ（Ｘｉ，Ｙｉ）として採用すべきかが問題となる。本問題については、マーカの形状、及びマーカの表示位置に依存するため、一般化された数式による表現は困難である。ただし本例では、マーカは正方形であり、表示位置は表示機器の表示領域の四隅としているため、Ｍｉ（Ｘｉ，Ｙｉ）を以下の通り決定できる。
（ｉ）Ｍ1（Ｘ1，Ｙ1）は、マーカ１２１ｄを構成するピクセル群のうち最も左上のピクセルの座標とする。
（ｉｉ）Ｍ2（Ｘ2，Ｙ2）は、マーカ１２２ｄを構成するピクセル群のうち最も左下のピクセルの座標とする。
（ｉｉｉ）Ｍ3（Ｘ3，Ｙ3）は、マーカ１２３ｄを構成するピクセル群のうち最も右上のピクセルの座標とする。
（ｉｖ）Ｍ4（Ｘ4，Ｙ4）は、マーカ１２４ｄを構成するピクセル群のうち最も右下のピクセルの座標とする。
このように、撮影画像情報における４つのマーカ１２１ｄないし１２４ｄの座標Ｍ1（Ｘ1，Ｙ1）ないしＭ4（Ｘ4，Ｙ4）の値を、マーカ検出処理によって検出することで、ポイント情報Ｑｂの生成が可能になる。
なお、上記数式４の例では、座標Ｍ1（Ｘ1，Ｙ1）およびＭ4（Ｘ4，Ｙ4）の２つの座標に基づいてポイント情報Ｑｂを作成していたが、４つの座標Ｍ1（Ｘ1，Ｙ1）ないしＭ4（Ｘ4，Ｙ4）に基づいてポイント情報Ｑｂを作成することもできる。２つの座標Ｍ1およびＭ4に基づいてポイント情報Ｑｂを作成する方が簡便であるが、４つの座標Ｍ1ないしＭ4に基づいてポイント情報Ｑｂを作成する方が座標変換の精度が向上する。
さらに、詳細は後述するが、マーカの表示位置が移動させられた場合は、上記マーカの検出位置等に加えてマーカ移動量を考慮して上記座標Ｍiが算出される。
なお、上記座標Ｍ1ないしＭ4を、マーカの検出位置および検出サイズに基づいて算出してもよい。
（３）ポイント情報Ｑｂの送信、操作実行
図２１の例では、小型情報端末６００において、ユーザにより画質調整を行う操作メニュー２８の「色合い」調整を指示する座標Ｑａが指定されている。その指定座標Ｑａが表示機器情報生成部１３７によって座標変換され、ポイント情報Ｑｂが生成される。生成されたポイント情報Ｑｂ（Ｘｂ，Ｙｂ）は、前述のステップＳ５において操作情報としてテレビ２等に送信される。その操作情報を受信したテレビ２等は、操作入力部２５においてポイント情報Ｑｂを、テレビ２の表示画面における座標Ｑｂを指定する操作として受け付ける。その結果、操作メニュー２８の「色合い」調整（操作内容表示画像２８ｃ）が選択されたとして、色合い調整を行うサブメニューが表示される。このような操作を続けることで、色合い調整を行う遠隔操作が行われる。
（４）以上に述べた遠隔操作は、数秒〜数十秒程度の時間を要すると考えられるが、その間にマーカの表示サイズが小さくされており、表示装置本来の表示内容たる操作メニューの見づらさが低減されている。
本実施の形態において、表示機器情報生成部１３７のうち、撮影画像座標位置Ｑａを、表示領域座標位置Ｑｂに座標変換する処理を行う部分（ポイント情報Ｑｂを生成する部分）が、「座標変換部」を構成している。
＜検出不可マーカの移動処理＞
次に、検出不可マーカの表示位置が不適切である場合に、検出不可マーカを移動させる処理について説明する。
上記検出不可マーカの移動処理を説明するにあたって、以下の状況を想定する。
図２２は、例えば、ユーザ以外の人間によって、テレビ２の前に遮蔽物４が置かれた状況を表している。そのため、テレビ２が表示するマーカ２７１ｃないし２７４ｃのうち、マーカ２７４ｃは遮蔽物４により撮影できない状態である。この遮蔽されたマーカ２７４ｃは、遮蔽物４が置かれる前の時点では検出されていたため、検出不可マーカと判断される。よって、前記実施の形態２において説明したように、マーカ２７４ｃの表示サイズが大きくされている。しかし、マーカ２７４ｃの表示サイズを大きくしても、遮蔽物４の存在により、マーカ２７４ｃが検出されることはない。このような状況である。
なお、テレビ２付近に遮蔽物４が置かれるとは限らず、ユーザの手元に置かれたコップ等が遮蔽物となり、マーカ２７４ｃ等の撮影を妨げる場合もある。
（１）マーカ移動処理の概要
マーカ遮蔽等判断部１３６は、実施の形態２にて詳細説明をした検出不可マーカについて、当該検出不可マーカが検出不可となっている理由を判断する。つまり、当該検出不可マーカが、何らかの遮蔽物によりマーカの撮影が不可となっている、若しくは当該マーカが、撮影範囲外であること等（以下、「遮蔽等状態」と記載する）によって生じているか否かの判断を行なう。
ここで、当該検出不可マーカが、遮蔽等状態により検出不可となっていると判断するための要件は、以下の２点である。
要件１は、実施の形態２にて説明した表示サイズの変更を設定回数（Ｅ回）実施しても、マーカを検出できないことである。本要件の判定を実施すべく、マーカの検出を実施したが検出できなかった回数を保持する、検出不可カウンタが、マーカ情報保持部１３３に導入されている（図２３）。
要件２は、当該検出不可マーカと同じ表示機器に表示されている他のマーカは検出されていることである。ここで、当該検出不可マーカと同じ表示機器に表示されている他のマーカとは、当該検出不可マーカに対応する表示機器に複数のマーカが表示されている場合において、複数のマーカのうちの検出不可マーカ以外の全てのマーカのことである。
なお、他のマーカが検出されていない場合、又は、他のマーカが存在しない場合（ある表示機器に表示されているマーカ全てが検出不可マーカである場合）は、表示機器全体がカメラ部１１の撮影範囲外になったと考えられるため、遮蔽等状態でないと判断される。
図２２において、マーカ２７４ｃは検出不可マーカであり、検出不可マーカ２７４ｃに対応する表示機器はテレビ２である。そして、検出不可マーカ２７４ｃ以外で、テレビ２に対応するマーカ２７１ｃないしマーカ２７３ｃが「他のマーカ」である。
なお、表示機器が表示するマーカの個数が１つの場合は、例えば、上記要件１のみによって遮蔽等状態を判断することができる。また、例えば、この場合においては、当該表示機器が表示するマーカの数を動的に増やすことにより、要件２による判断が可能な状態へ変更する、との構成としてもよい。
検出不可マーカ制御部１３５には、実施の形態２にて説明した機能に加え、マーカ遮蔽等判断部１３６にて検出不可マーカが遮蔽されている等の遮蔽等状態であると判断された場合に、当該検出不可マーカの表示位置を変更する機能が追加されている。
図２３に、マーカ情報保持部１３３に保持されたマーカ情報を示す。
マーカ情報保持部１３３は、実施の形態１、２で説明した項目に加え、マーカ表示指示位置を記憶する表示指示位置、検出不可カウンタ、遮蔽フラグ、移動カウンタ、及びマーカの移動量を記憶するマーカ移動量を、保持する記憶領域を備えている（図２３）。表示指示位置（Ｘｒ，Ｙｒ）は、テレビ２等の表示領域の座標（Ｘｒ，Ｙｒ）にマーカの左上の角が位置するようにマーカを表示させることを示すものである。
検出不可カウンタは、後述する遮蔽等状態の検出に用いられる。遮蔽フラグは、遮蔽等状態であるか否かを示すフラグである。移動カウンタは、検出不可マーカ（遮蔽等状態マーカ）を移動させる処理において用いられる。
マーカ移動量（Ｘｍ，Ｙｍ）は、表示指示位置より、Ｘ軸方向にＸｍピクセル、Ｙ軸方向にＹｍピクセル移動させた位置にマーカを表示させることを示すものである。なお、テレビ２等の表示領域の座標は、左上を原点（０，０）とし、右側に向かってＸ座標が増加し、下側に向かってＹ座標が増加するものとする。
（２）検出不可マーカ処理２
次に図２２の構成における小型情報端末１の処理手順について、図２４、図２５、及び図２６に示すフローチャートを用いて説明する。
図２２のテレビ２は、小型情報端末１からのマーカ表示指示（図２３に記載のマーカ情報に基づく）により、画面の四隅にマーカ２７１ｃないしマーカ２７４ｃを表示している。ところが、マーカ２７４ｃは、遮蔽物４によって遮蔽されている。このため、小型情報端末１が生成する撮影画像情報には、マーカ２７４ｃに相当する部分は現れない（当該撮影画像をそのまま表示する表示部１２にも現れない）。このため、このままでは前述した四隅のマーカを検出することによってポイント情報Ｑｂの算出を行なうことができない。なお、２つのマーカ２７２ｃ、２７３ｃを検出することで、ポイント情報Ｑｂを算出することは可能であるが、説明の都合上、マーカ２７４ｃの再検出を試みることとする。
このような状態において、小型情報端末６００に搭載のマーカ表示制御装置は、以下の処理手順により、マーカ２７４ｃが遮蔽されていることを判断し、マーカ２７４ｃの表示位置を調節する。なお、図２４に示す検出不可マーカ表示態様変更処理２（検出不可マーカ処理２と記載する）は、先に示した図１９の検出不可マーカ処理のフローチャートに処理を追加したものである。また、本事例においては、小型情報端末６００に、図２３に示すマーカ状態保持部１３３の内容が設定されている状態とする。
図２４は、検出不可マーカ表示態様変更処理２（以下、検出不可マーカ処理２と記載する）のフローチャートである。
ステップＳ４４１ないしＳ４４３については、実施の形態２における説明のとおりである。
そして、ステップＳ４４２において、検出不可マーカがあると判断された場合、マーカが遮蔽されている状態等（以下、遮蔽等状態という）であるかを検出する処理が行われる（Ｓ４４５）。具体的には、検出不可マーカ制御部１３５は、マーカ遮蔽等判断部１３６に、マーカ２７４ｃが遮蔽等状態により検出不可となっているかにつき判断を要求する。マーカ遮蔽等判断部１３６は、図２５のフローチャートに示す処理に従って本判断（Ｓ４４５の処理）を実施する。
ステップＳ４４６の判定により、遮蔽等状態でない場合に、指示サイズを増加させる処理が行われる（Ｓ４４３）。一方、遮蔽等状態であると判断された場合に、遮蔽等状態のマーカを移動させる処理が行われる（Ｓ４４７）。
ステップＳ４４２において、検出不可マーカがない場合は、ステップＳ４４８において、遮蔽フラグ、検出不可カウンタ等がオフ（非遮蔽）、あるいは「０」にリセットされる。
（３）マーカ遮蔽等状態判断処理
ここで、図２５に示すマーカ遮蔽等状態判断処理（Ｓ４４５）について説明する。
ステップＳ４４５１では、当該検出不可マーカに係るマーカ情報をマーカ情報保持部１３３より取得し、遮蔽フラグの設定値を確認する。本遮蔽フラグの値が「遮蔽（オン）」の場合は、以下の遮蔽等判定の処理を実施せず、マーカ遮蔽等状態判断処理を終了する。本事例においては、マーカ２７４ｃに係るマーカ情報の遮蔽フラグには「遮蔽」が設定されていないので（遮蔽フラグがオフ）、次のステップＳ４４５２へ進む。
ステップＳ４４５２では、当該検出不可マーカと同じ表示機器に対応する「他のマーカ」が検出されているか否かを判断する。これが検出されていない場合は、当該検出不可マーカに係る表示機器全体が撮影画像入力部１１の撮影領域範囲外であると考えられ、遮蔽等状態の判断は不要のためである。本事例においては、図２３に示すように、マーカ２７４ｃを表示するテレビ２の「他のマーカ」であるマーカ２７１ｃないし２７３ｃの検出フラグが「検出（オン）」である。よって、テレビ２の「他のマーカ」は検出されているため、前記要件２が満たされており、次のステップＳ４４５３へ進む。
ステップＳ４４５３では、当該検出不可マーカに係るマーカ情報の検出不可カウンタの値をインクリメントする。本事例においては、マーカ２７４ｃに係るマーカ情報の検出不可カウンタの値は「３」であるため、これをインクリメントした値である「４」に更新する。
ステップＳ４４５４では、当該検出不可マーカに係るマーカ情報の検出不可カウンタが、予め定められた設定値Ｅ以上であるか否かを判断する。ここで本値が設定値Ｅ未満の場合は、実施の形態２にて示したマーカの表示サイズ拡大によるマーカ検出の可能性があるとして、本遮蔽等判定を終了する。本事例においては、本設定値Ｅの値を４とすると、マーカ２７４ｃに係るマーカ情報の検出不可カウンタの値は「４」であり、上記条件を満たす。よって、前記要件１が満たされており、次のステップＳ４４５５へ進む。
ステップＳ４４５５では、当該検出不可マーカに係るマーカ情報の遮蔽フラグの値を「遮蔽（オン）」に更新する。本事例においては、マーカ２７４ｃに係るマーカ情報の遮蔽フラグの値を「遮蔽」に更新し、マーカが遮蔽等状態であるか否かの判断処理を終了する。
ここで、ステップＳ４４５３において、検出不可カウンタの値が「２以下」である場合の処理の流れについて説明する。検出不可カウンタの初期値は「０」にされている。そのため、検出不可マーカが特定されてから（Ｓ４４１，Ｓ４４２）、本遮蔽等状態判断処理（Ｓ４４５）の実行回数が３回目までは、上記Ｓ４４５３において検出不可カウンタの値が「３以下」となる。その結果、遮蔽フラグがオンにセットされることなく、マーカ遮蔽等状態判断処理が終了する。
その結果、検出不可マーカ処理２（図２４）において、ステップＳ４４３の指示サイズ増加処理が行われて、検出不可マーカの指示サイズが大きくされる。さらに、マーカ表示指示情報を受信したテレビ２は、検出不可マーカ２７４ｃの表示サイズを大きくする。しかし、遮蔽物４の存在により、検出不可マーカ２７４ｃは撮影されず、検出されないため、Ｓ４４１，Ｓ４４２において再び検出不可マーカとして特定される。
このような処理が繰り返され、検出不可カウンタが上記設定値Ｅ以上になると、前記要件１が満たされ、遮蔽等状態であると判断される。一方、検出不可マーカがマーカとして検出された場合、検出不可マーカが存在しなくなるため、Ｓ４４２の判定がＮＯとなり、Ｓ４４８において検出不可カウンタが０にリセットされる。
（４）マーカ移動処理
図２４に戻り、図２５のステップＳ４４５５にて遮蔽フラグがオンにされた場合、Ｓ４４７の処理が実行される。
ステップＳ４４６では、検出不可マーカ制御部１３５は、上記判断処理にて遮蔽等状態により検出不可（すなわち遮蔽フラグの値が「遮蔽」）と判断されたマーカ（以下、遮蔽等状態マーカという）を適当な位置へ移動させ、遮蔽等による検出不可状態を解消する。以下、遮蔽等状態マーカの移動処理（Ｓ４４７）について、図２６に示すフローチャートを用いて説明する。
ステップＳ４４７１では、遮蔽等状態の検出不可マーカと同じ表示機器に表示された他のマーカのマーカ情報を取得する。本事例においては、遮蔽等状態マーカであるマーカ２７４ｃの表示機器は「テレビ２」であり、他のマーカとしてマーカ２７１ｃないしマーカ２７３ｃが検出されている。よって、本ステップでは、これら他のマーカのマーカ情報が読み出される。
ステップＳ４４７２では、遮蔽等状態マーカおよび他のマーカの表示指示位置、前回検出位置等に基づき、表示機器の表示領域における他のマーカ及び検出不可マーカの表示場所を特定する。ここで表示場所とは、座標のような詳細な情報ではなく、例えば、表示機器の表示領域内における、検出不可マーカが表示されている大まかな位置を示す情報である。
本事例のように表示機器の表示領域の四隅にマーカを配置した場合においては、各マーカの表示場所は、「左上」、「左下」、「右上」、「右下」となる。そして、マーカ２７４ｃの表示場所は「右下」である。
ステップＳ４４７３では、先のステップにて特定した表示場所及び、遮蔽等された検出不可マーカ（以下、遮蔽等状態マーカという）の表示指示位置、及び指示サイズに基づき、マーカ移動量を計算する。
ステップＳ４４７４では、後に詳述するが、マーカ表示指示情報がテレビ２へ送信される。
（５）移動量算出処理
図２７に、マーカ移動量算出処理（Ｓ４４７３）のフローチャートを示す。
本マーカ移動量算出処理において、遮蔽等状態マーカは、当初の表示指示位置に対して水平方向（Ｘ軸方向）、垂直方向（Ｙ軸方向）、斜め方向へ順に移動させられ、マーカの再検出が図られる。なお、上記１回目又は２回目の移動後にマーカが検出された場合には、その後の移動は行われない。一方、上記３回の移動によってもマーカが検出できない場合は、マーカ移動処理は終了する。
以下、具体的に説明する。
まず、ステップＳ４４７３１にて、移動カウンタの値が２以下である場合にステップＳ４４７３２に進む。移動カウンタは、遮蔽等状態マーカを移動させた回数をカウントしている。
ステップＳ４４７３２の判定において、移動カウンタの値に応じてステップＳ４４７３３〜Ｓ４４７３４のいずれかの処理が選択される。
ステップＳ４４７３３は、移動カウンタが「０」の場合に実行され、Ｘ軸方向への移動量が算出される。なお、Ｘ軸方向においてプラス・マイナスのいずれの向きに移動させるのかについては、検出不可マーカの表示場所に基づいて、表示領域の中央側に移動する向きに決定される。本例では、検出不可マーカの表示場所は「右下」にあるので、左側、つまり、マイナス側への移動が決定される。
移動量は、マーカの中心がＸ軸方向において表示領域の中央に位置するように算出される。
本例では、テレビ２のＸ軸方向における中央の座標（５１２）から、マーカのＸ軸方向における中心の座標（９３１）を差し引いた値（−４１９）とされる。
なお、ステップＳ４４７３４、Ｓ４４７３５が実行される場合、Ｓ４４７３３と同様の処理が行われ、それぞれ、表示機器の中央の座標（５１２，３８４）から、マーカの中心がＹ軸方向、あるいはＸ軸方向及びＹ軸方向において表示領域の中央に位置するように移動量が算出される。
ステップＳ４４７３６にて、移動カウンタの値がインクリメントされ、１増加する。この移動カウンタのインクリメントにより、本マーカ移動処理の次回実行時に、Ｓ４４７３２の判定により、Ｓ４４７３４の処理が実行され、マーカが垂直方向に移動させられるのである。さらに、その次の実行時にはＳ４４７３５の処理が実行される。なお、マーカがＸ軸方向に移動させられたことで検出が可能になった後は、Ｓ４４８にて遮蔽フラグがオフにリセットされることで、本マーカ移動処理は実行されず、マーカはＹ軸方向に移動させられない。
ステップＳ４４７３７にて、遮蔽等による検出不可マーカについて、マーカ情報保持部１３３のマーカ移動量（−４１９，０）が設定される。図２８に、マーカ移動量が設定された状態のマーカ情報保持部１３３の内容を示す。
なお、３回の移動によってマーカの検出を図ってもマーカが検出されない場合は、移動カウンタの値が３になり、ステップＳ４４７３１の判定がＮＯとなる。そして、ステップＳ４４７３８にて、マーカ移動処理が終了される。具体的には、検出不可カウンタ及び移動カウンタの値が「０」にされ、遮蔽フラグがオフにされ、前回検出位置が未設定にされ、指示サイズが他のマーカの指示サイズと同じにされる。
この終了処理により、マーカ２７４ｄは、検出不可マーカとして特定されなくなり、マーカ２７４ｄの再検出処理は行われなくなる。なお、遮蔽物４が移動させられて、マーカ２７４ｄの撮影が可能になれば、マーカ２７４ｄは検出される。
上記終了処理の後は、表示機器制御処理を終了してもよいし、３つのマーカ２７１ｄ〜２７３ｄを用いて表示機器制御処理を続けてもよい。
ステップＳ４４７４では、マーカ表示指示部１３４は、前記にて算出したマーカ移動量、及び表示指示位置を含むマーカ表示指示情報を、当該検出不可マーカに係る機器へ送信すべく、送信部１５へ送る。送信部１５から本マーカ表示指示情報を受信したテレビ２の受信部２１は、当該情報をマーカ表示情報制御部２２へ入力する。本入力を受け付けたマーカ表示情報制御部２２は、マーカ表示情報更新処理（ステップＳ１６）にて、マーカ表示指示情報に基づいて、「色」、「指示サイズ」、「表示指示位置」、及び「マーカ移動量」を更新する。また、マーカの重畳処理（ステップＳ１７）において、表示部２７は、マーカ表示情報に基づき、座標（Ｘｒ＋Ｘｍ，Ｙｒ＋Ｙｍ）に、サイズ（Ｗｒ，Ｈｒ）にて、「色」で指定された色のマーカを重畳表示する。本例においては、マーカ２７４ｃの表示位置は（４２０，５６７）となり、遮蔽物４を避けた位置に表示される（図２９）。
つまり、図２９に示すように、マーカ２７４ｄが表示領域のＸ軸方向の中央に移動させられ、遮蔽等状態を脱して撮影可能となる。よって、その後の検出処理において、小型情報端末６００は、撮影画像情報におけるマーカ撮影画像１２４ｄを検出すること、すなわち、マーカ２７４ｄを検出することが可能となる。
また、本状態において、検出されたマーカ２７４ｄに対して前記実施の形態１にて示したマーカサイズ調整処理（Ｓ４）を実施することにより、マーカ２７４ｄの表示サイズを検出が可能な程度で小さなサイズへ調整することが可能である。
本実施の形態において、「マーカ移動量」を含むマーカ表示指示情報をテレビ２に送信することが、「マーカの表示位置を変更する指示を行うこと」に相当する。
なお、上記マーカ表示時情報の送信において、マーカ表示指示部１３４によって検出不可マーカの表示指示位置とマーカ移動量とを加算して「移動後の表示指示位置」を算出し、その移動後の表示指示位置をマーカ表示指示情報の一部としてテレビ２に送信してもよい。
（６）ポイント情報Ｑｂの生成に関して
本実施の形態において、前述のように、マーカの座標Ｍ1ないしＭ4に基づいてポイント情報Ｑｂが生成される。ここで、移動されたマーカ２７４ｄの座標Ｍ4は、実際のマーカ２７４ｄの座標からマーカ移動量を差し引いた値とされる。すなわち、次式により、移動後の座標Ｍｉ（Ｘｉ，Ｙｉ）と移動量（Ｘｍ，Ｙｍ）とに基づいて、遮蔽物４がないと仮定した場合に、移動前のマーカが検出されると予測される座標Ｍｇｉ（Ｘｇｉ，Ｙｇｉ）が求められる。
なお、（Ｗａ，Ｈａ）は、撮影画像におけるテレビ２の表示領域の大きさ（ピクセル数）である。また、（Ｗｂ，Ｈｂ）は、実際のテレビ２の表示領域の大きさ（解像度）である（数式４参照）。
Figure 2011004612
上記座標Ｍｇｉを算出することにより、ポイント情報Ｑｂの生成が容易になる。
本実施の形態において、表示機器情報生成部１３７のうち、上記座標Ｍｇｉ（Ｘｇｉ，Ｙｇｉ）を算出する処理を行う部分が、「位置算出部」を構成している。
（７）まとめ
上記検出不可マーカ処理２により、遮蔽等状態のマーカを移動させて、再検出を図ることができる。そのため、通常時は、マーカをテレビ２の表示領域の四隅に小さいサイズで表示しておくことでテレビ２の見づらさを低減しつつ、遮蔽等状態のマーカを移動させてマーカ検出を容易にすることができる。また、移動後のマーカが検出された場合、前述のステップＳ４２においてマーカの指示サイズが小さくされ、テレビ２におけるマーカの表示サイズが小さくされる。
本実施の形態において、マーカ表示態様変更部６３０は、表示マーカ制御部１３２と、マーカ情報保持部１３３と、マーカ表示指示部１３４と、検出不可マーカ制御部１３５と、マーカ遮蔽等判断部１３６とにより構成される。
［変形例１］
上記実施の形態３において、カメラ部１１の動きを考慮して検出不可マーカ処理２を行うこともできる。つまり、ユーザによって小型情報端末６００の向きが変えられると、マーカの検出位置が変化する。そして、他のマーカについて、前回検出位置と今回の検出位置とを比較すれば、検出位置の変化量を算出することができる。
上記検出位置の変化量と検出不可マーカの前回検出位置とに基づけば、検出不可マーカが今回検出されたと仮定した場合の予測検出位置を算出することができる。その予測検出位置が、小型情報端末６００の表示部１２の範囲外であれば、検出不可マーカは撮影範囲外に位置している撮影範囲外状態と判断することができる。この場合、マーカの指示サイズを増加させる処理を行わなくとも、撮影範囲外状態であると判断することが可能である。
検出不可マーカが撮影範囲外に位置している場合、検出不可マーカの表示指示位置を、撮影範囲内側に移動させることで、検出不可マーカの再検出を図ることができる。
すなわち、マーカ表示制御装置６１３は、マーカの表示位置が不適切で撮影できない状態において、一部のマーカが遮蔽された状態と、一部のマーカが撮影範囲外に位置する状態との少なくとも一方の状態においてマーカを移動させ、再検出を図ることができるのである。
また、上記実施の形態３において、検出不可マーカが存在する場合に、まず、撮影範囲外状態であるか否かを判断し、撮影範囲外状態でない場合に遮蔽等状態であるか否かを判断することができる。
［変形例２］
上記実施の形態３において、遮蔽等状態のマーカは、表示領域の中央側に移動させられることが予め定められていた。それに対して、移動量をランダムに決定することもできる。
ステップＳ４４７３では、先のステップにて算出した表示場所及び、遮蔽された検出不可マーカの表示指示位置、及び指示サイズに基づき、マーカ移動量を計算する。本マーカ移動量の算出において、下記マーカ移動方向、及びマーカ変動量を定義する。
マーカ移動方向とは、マーカの「表示場所」に基づき決定される値であり、マーカをどの方向へ移動するかを示すものである。図３０は、本マーカ移動方向を決定するために用いる表を示す図であり、表示場所と、乱数Ｒｐ（０〜９９とする）に基づきマーカ移動方向を決定する。本例においては、マーカ２７４ｃのマーカの表示場所は「右下」なので、乱数値Ｒｐに従い、「上」（Ｒｐが０〜３２の場合）、「左」（Ｒｐが３３〜６５の場合）、及び「左上」（Ｒｐが６６〜９９の場合）のいずれかが選択される。なお、図３０の表のように「左」、「左上」、及び「上」のいずれを選択するかにつき、等確率にていずれかが選択されるとしてもよいし、重み付けを行なっていずれかが選択されやすい、としてもよい。本事例においては、乱数値Ｒｐが３５であって「左」が選択されたものとする。
マーカ変動量とは、上記マーカ移動方向にどれだけマーカを移動させるかを示すものである。本値は、当該遮蔽等された検出不可マーカの指示サイズに基づき算出をする。具体的には、乱数Ｒｖを０．０より大きく１．０以下の値をとる乱数値として、マーカ変動量Ｖを、（数６）により算出する。
Figure 2011004612
本事例においては、Ｒｖ＝０．５として、Ｖ＝１９２を算出したものとする。
なお、乱数Ｒｖは、検出不可マーカ制御部１３５にて生成されるものとする。
上記マーカ移動方向、及びマーカ変動量に基づき、マーカ移動量（Ｘｍ，Ｙｍ）は、（数７）にて算出する。
Figure 2011004612
なお、本数式におけるマーカ移動方向は図３０に示す通り、横方向の移動量をＤｘ、縦方向の移動量Ｄｙとして表現するものとする。本例においては、Ｄｘ＝−１、Ｄｙ＝０であるから、マーカ移動量は（−１９２，０）となる。本状態におけるマーカ情報保持部１３３の内容は図３１に示す通りとなる。
乱数を用いてマーカの移動量を決定することで、マーカの表示位置が多様な位置に変更される。よって、テレビ２等の表示領域のどの部分が撮影可能であるかが不明である場合でも、マーカの移動を繰り返すうちにマーカが検出される可能性がある。
[その他]
（１）前記実施の形態および変形例の説明は本発明の例示にすぎず、その範囲を限定するものではない。また、本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
（２）図３３は、操作機器７００および表示装置７０２（テレビ２、ＰＣ３）の構成を示すブロック図である。小型情報端末７００は、マーカ表示制御装置７１３を備えている。本発明の実施の形態であるマーカ表示制御装置７１３は、通信手段（５）によって表示装置７０２に接続され、当該表示装置７０２に認識用のマーカを表示させる制御を行う制御装置である。また、マーカ表示制御装置７１３は、表示装置７０２の表示内容を撮影した画像から前記認識用のマーカを検出するマーカ検出部１３１と、マーカ検出の結果に基づいて、マーカを表示している表示装置７０２に対して、マーカの表示態様を変更する指示を行うマーカ表示態様変更部７３０とを備えている。
上記構成により、実施の形態１と同じ作用効果を奏することができる。なお、操作機器７００は、例えば、小型情報端末によって構成することができる。また、表示装置７０２は、テレビ、ＰＣ等の表示機器によって構成することができる。なお、図３３において、図１と同じ構成要素には同じ符号を付している。
（３）前記実施の形態および変形例において、テレビ２のマーカ表示情報制御部２２を、表示部２７にマーカの表示を指示する機能、あるいは、表示部２７にマーカの画像情報を送る機能を有していてもよい。
（４）前記実施の形態１，２において、前記実施の形態３と同様に、表示機器に複数のマーカを表示させてもよい。また、前記実施の形態１，２の小型情報端末に、撮影画像情報における表示機器上の座標位置Ｑａ（Ｘａ，Ｙａ）を、実際の表示機器の表示領域における座標位置Ｑｂ（Ｘｂ，Ｙｂ）に変換する座標変換機能を設けてもよい。
（５）前記実施の形態および変形例において、マーカ検出処理では、撮影画像情報に含まれるマーカの画像が検出されていた。このマーカ検出処理を、単に、撮影画像に含まれるマーカの画像を検出する処理と表現してもよい。
（６）上記の各実施の形態（あるいは変形例）のマーカ表示制御装置は、典型的には集積回路であるＬＳＩとして実現される。マーカ表示制御装置は、１チップ化されてもよいし、複数のチップで実現されてもよい。また、マーカ表示制御装置の一部がチップ化されてもよい。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適応等の可能性がある。
（７）上記の各実施の形態で説明したマーカ表示制御装置の動作の手順の少なくとも一部をマーカ表示制御プログラムに記載し、例えばＣＰＵ（Central Processing Unit）がメモリに記憶された当該プログラムを読み出して実行するようにしてもよい。また、上記のプログラムを記録媒体（例えば、非一時的な記録媒体）に保存して頒布等するようにしてもよい。
本発明にかかるマーカ表示制御装置は、例えば、認識用のマーカを検出可能なサイズに調整する機能を有しており、テレビ等の表示装置を遠隔操作するリモコン機器等に用いることが有用である。また、携帯電話、小型音楽プレーヤ、携帯情報端末などの情報端末に、リモコン機能を付与するため、あるいは、情報端末が有するリモコン機能を高機能化させるためなどの用途にも応用できる。
１ 小型情報端末
１０ 操作入力部
１１ 撮影画像入力部（カメラ部）
１１１ 撮影画像
１２ 表示部
１２１ 撮影画像中のマーカ１
１２２ 撮影画像中のマーカ２
１２３ 撮影画像中のマーカ３
１２４ 撮影画像中のマーカ４
１３ マーカ表示制御装置
１３０ マーカ表示態様変更部
１３１ マーカ検出部
１３２ 表示マーカ制御部
１３３ マーカ情報保持部
１３４ マーカ表示指示部
１３５ 検出不可マーカ制御部
１３６ マーカ遮蔽等判断部
１３７ 表示機器情報生成部
１４ 機器操作制御部
１５ 送信部
２ テレビ（表示機器）
２１ 受信部
２２ マーカ表示情報受信部
２３ マーカ表示情報保持部
２４ 操作情報受信部
２５ 操作入力部
２６ コンテンツ部
２７ 表示部
２７１ マーカ１
２７２ マーカ２
２７３ マーカ３
２７４ マーカ４
３ ＰＣ（表示機器）
４ 遮蔽物
５ 通信手段

Claims (15)

  1. 通信手段によって表示装置に接続され、当該表示装置に認識用のマーカを表示させる制御を行う制御装置であって、
    表示装置の表示内容を撮影した画像から前記認識用のマーカを検出するマーカ検出部と、
    マーカ検出の結果に基づいて、マーカを表示している表示装置に対して、マーカの表示態様を変更する指示を行うマーカ表示態様変更部と
    を備えたことを特徴とするマーカ表示制御装置。
  2. 前記マーカ表示態様変更部は、前記マーカ検出部によって検出されたマーカを表示している表示装置に対して、マーカの表示面積を小さくする指示を行う
    請求項１に記載のマーカ表示制御装置。
  3. さらに、マーカを繰り返し撮影する撮影画像入力部を備え、
    前記マーカ検出部は、前記撮影画像入力部によって順次得られた画像からマーカを検出する処理を行い、
    前記マーカ表示態様変更部は、前記マーカ検出部によって検出されたマーカが、その後のマーカ検出処理において検出されなくなった場合に、前記マーカを表示している表示装置に対して、当該マーカの表示サイズを大きくする指示、又は当該マーカの表示位置を変更する指示を行う
    請求項２に記載のマーカ表示制御装置。
  4. さらに、表示装置に割当てたマーカの色情報を含むマーカ識別情報と、当該マーカに対応付けられた表示装置と、表示装置が表示しているマーカの表示サイズと、を少なくとも構成要素とするマーカ情報をマーカ毎に記憶するマーカ情報保持部を備えた
    請求項３に記載のマーカ表示制御装置。
  5. 表示装置の表示領域には、相隔たる複数箇所にそれぞれマーカが表示されており、
    前記マーカ表示態様変更部は、
    表示装置に表示されたマーカが遮蔽物によって遮蔽されたことにより、若しくは撮影範囲からマーカが外れたことにより、当該マーカがマーカ検出部によって検出できない遮蔽等状態であると判断するマーカ遮蔽等状態判断部を備え、
    前記マーカ遮蔽等状態判断部によって遮蔽等状態と判断されたマーカの表示位置を変更する指示を行う
    請求項４に記載のマーカ表示制御装置。
  6. 前記マーカ表示態様変更部は、
    遮蔽等状態ではないマーカの表示位置を、表示装置の表示領域の４隅のうちのいずれかにする指示を行い、
    遮蔽等状態のマーカの表示位置を、表示領域の水平方向及び垂直方向の少なくとも一方の中央側に変更する指示を行うものである
    請求項５に記載のマーカ表示制御装置。
  7. 前記マーカ表示態様変更部は、表示装置の表示内容を撮影した画像におけるマーカのサイズが、前記マーカ検出部にて検出したマーカの検出サイズ未満、かつ、前記画像においてマーカとして検出される下限サイズ以上になる表示サイズでマーカを表示する指示を表示装置に行う
    請求項２に記載のマーカ表示制御装置。
  8. 前記マーカ表示態様変更部は、検出されたマーカが検出されなくなるまで、表示装置に対してマーカの表示サイズを小さくする指示を行い、マーカが検出されなくなった場合に、マーカの表示サイズを大きくする指示を行うものである
    請求項３に記載のマーカ表示制御装置。
  9. 前記マーカ表示態様変更部は、表示装置に表示させるマーカの色を指定し、
    前記マーカ検出部は、表示装置の表示内容を撮影した画像において、前記指定色のピクセルからなるピクセル群で下限サイズ以上のものをマーカとして検出するものである
    請求項２に記載のマーカ表示制御装置。
  10. さらに、表示装置の表示内容を撮影した画像における座標を、表示装置の表示領域における座標に変換する座標変換部を備え、
    前記マーカ検出部は、少なくとも前記画像におけるマーカの位置を検出し、
    前記座標変換部は、少なくとも前記マーカの位置に基づいて前記座標の変換を行うものである
    請求項１ないし９のいずれか1項に記載のマーカ表示制御装置。
  11. 前記表示装置は、表示領域にマーカと操作メニューとを含む表示内容を表示する機能を有しており、
    前記座標変換部は、前記画像における表示装置の表示領域上の座標が指定された場合に、その座標を表示装置の表示領域における座標に変換するものである
    請求項１０に記載のマーカ表示制御装置。
  12. 当該マーカ表示制御装置は、前記表示装置の表示内容が撮影された画像を表示する表示部と、表示部の任意の座標を指定する操作入力が行われる操作入力部とを備えた操作機器に搭載され、
    前記表示装置は、表示領域にマーカと操作メニューとを含む表示内容を表示する機能を有しており、
    前記座標変換部は、操作入力部に入力された表示部の座標を、表示装置の表示領域における座標に変換するものである
    請求項１０に記載のマーカ表示制御装置。
  13. さらに、表示装置の表示内容を撮影した画像における座標を、表示装置の表示領域における座標に変換する座標変換部と、
    前記遮蔽等状態のマーカの表示位置の変更量と、前記画像における前記マーカの変更後の位置とに基づいて、前記画像における前記マーカの変更前の位置を算出する位置算出部とを備え、
    前記マーカ検出部は、前記画像におけるマーカの位置を検出するものであり、
    前記座標変換部は、遮蔽等状態ではないマーカの位置と、前記位置算出部によって算出された遮蔽等状態のマーカの変更前の位置とに基づいて前記座標の変換を行う
    請求項５又は６に記載のマーカ表示制御装置。
  14. 通信手段によって表示装置に接続され、当該表示装置に認識用のマーカを表示させる制御を行う集積回路であって、
    表示装置の表示内容を撮影した画像から前記認識用のマーカを検出するマーカ検出部と、
    マーカの検出結果に基づいて、マーカを表示している表示装置に対して、マーカの表示態様を変更する指示を行うマーカ表示態様変更部と
    を備えたことを特徴とする集積回路。
  15. 表示装置に認識用のマーカを表示させる制御を行う方法であって、
    表示装置の表示内容を撮影した画像を得るステップと、
    前記画像から前記認識用のマーカを検出するステップと、
    マーカの検出結果に基づいて、マーカを表示している表示装置に対して、マーカの表示態様を変更する指示を行うステップと
    を備えたことを特徴とするマーカ表示制御方法。
JP2011521829A 2009-07-10 2010-07-09 マーカ表示制御装置、集積回路、及び、マーカ表示制御方法 Withdrawn JPWO2011004612A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009163433 2009-07-10
JP2009163433 2009-07-10
PCT/JP2010/004476 WO2011004612A1 (ja) 2009-07-10 2010-07-09 マーカ表示制御装置、集積回路、及び、マーカ表示制御方法

Publications (1)

Publication Number Publication Date
JPWO2011004612A1 true JPWO2011004612A1 (ja) 2012-12-20

Family

ID=43429039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011521829A Withdrawn JPWO2011004612A1 (ja) 2009-07-10 2010-07-09 マーカ表示制御装置、集積回路、及び、マーカ表示制御方法

Country Status (4)

Country Link
US (1) US20110187731A1 (ja)
JP (1) JPWO2011004612A1 (ja)
CN (1) CN102292978A (ja)
WO (1) WO2011004612A1 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5715842B2 (ja) * 2011-02-08 2015-05-13 新日鉄住金ソリューションズ株式会社 情報提供システム、情報提供方法、及びプログラム
JP5691802B2 (ja) * 2011-04-28 2015-04-01 コニカミノルタ株式会社 投影システム、投影装置、投影方法、および制御プログラム
JP2013041348A (ja) * 2011-08-12 2013-02-28 Kyocera Corp 携帯端末、補助情報表示プログラムおよび補助情報表示方法
JP5988563B2 (ja) * 2011-10-25 2016-09-07 キヤノン株式会社 画像処理装置と画像処理装置の制御方法およびプログラムと、情報処理装置と情報処理装置の制御方法およびプログラム
US9337926B2 (en) * 2011-10-31 2016-05-10 Nokia Technologies Oy Apparatus and method for providing dynamic fiducial markers for devices
JP5349623B2 (ja) * 2012-01-06 2013-11-20 株式会社東芝 電子機器
US9652824B2 (en) * 2012-06-29 2017-05-16 Hitachi Maxell, Ltd. Display system, display device, display terminal, display method of display terminal, and control program
WO2014053075A1 (en) * 2012-10-04 2014-04-10 Intel Corporation Method, apparatus and system of managing a user login interface
JP6159015B2 (ja) 2013-04-02 2017-07-05 スリーエム イノベイティブ プロパティズ カンパニー メモ認識システム及び方法
WO2014165438A1 (en) 2013-04-02 2014-10-09 3M Innovative Properties Company Systems and methods for managing notes
US10127196B2 (en) 2013-04-02 2018-11-13 3M Innovative Properties Company Systems and methods for managing notes
EP3020002B1 (en) 2013-07-09 2022-05-04 3M Innovative Properties Company Note recognition and management using color classification
US9274693B2 (en) * 2013-10-16 2016-03-01 3M Innovative Properties Company Editing digital notes representing physical notes
TWI643134B (zh) 2013-10-16 2018-12-01 ３Ｍ新設資產公司 建立並操作表示實體便箋的軟體便箋之方法、電腦系統、非暫時性電腦可讀取媒體及運算裝置
WO2015057785A2 (en) 2013-10-16 2015-04-23 3M Innovative Properties Company Adding, deleting digital notes from a group of digital notes
WO2015057793A1 (en) 2013-10-16 2015-04-23 3M Innovative Properties Company Multi-color channel detection for note recognition and management
EP3644224B1 (en) 2013-10-16 2023-09-27 3M Innovative Properties Company Note recognition for overlapping physical notes
TWI651640B (zh) 2013-10-16 2019-02-21 ３Ｍ新設資產公司 在使用者介面上組織數位便箋
JP6393986B2 (ja) * 2013-12-26 2018-09-26 セイコーエプソン株式会社 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法
WO2015116803A1 (en) 2014-01-31 2015-08-06 3M Innovative Properties Company Note capture and recognition with manual assist
JP5773036B2 (ja) * 2014-06-11 2015-09-02 コニカミノルタ株式会社 投影システム、投影装置、投影方法、および制御プログラム
US10229543B2 (en) 2014-06-13 2019-03-12 Mitsubishi Electric Corporation Information processing device, information superimposed image display device, non-transitory computer readable medium recorded with marker display program, non-transitory computer readable medium recorded with information superimposed image display program, marker display method, and information-superimposed image display method
EP3159829A1 (en) * 2015-10-21 2017-04-26 Thomson Licensing Methods of detecting and managing a fiducial marker displayed on a display device
JP2017211766A (ja) * 2016-05-24 2017-11-30 株式会社Ｓｃｒｅｅｎホールディングス 画像処理システム、画像処理プログラム、および画像処理方法
EP3550825A4 (en) * 2016-12-01 2020-05-13 LG Electronics Inc. -1- IMAGE DISPLAY DEVICE AND THIS IMAGE DISPLAY SYSTEM
US10096133B1 (en) 2017-03-31 2018-10-09 Electronic Arts Inc. Blendshape compression system
EP3416092A1 (en) * 2017-06-16 2018-12-19 Thomson Licensing Method and devices to optimize marker management for pose estimation
US10878540B1 (en) * 2017-08-15 2020-12-29 Electronic Arts Inc. Contrast ratio detection and rendering system
US10535174B1 (en) 2017-09-14 2020-01-14 Electronic Arts Inc. Particle-based inverse kinematic rendering system
US10860838B1 (en) 2018-01-16 2020-12-08 Electronic Arts Inc. Universal facial expression translation and character rendering system
KR102328121B1 (ko) * 2018-02-12 2021-11-17 삼성전자주식회사 전자 장치 및 그 동작 방법
KR102338900B1 (ko) * 2018-02-13 2021-12-13 삼성전자주식회사 전자 장치 및 그 동작 방법
US10902618B2 (en) 2019-06-14 2021-01-26 Electronic Arts Inc. Universal body movement translation and character rendering system
WO2021087826A1 (en) * 2019-11-06 2021-05-14 Qualcomm Incorporated Methods and apparatus to improve image data transfer efficiency for portable devices
US11504625B2 (en) 2020-02-14 2022-11-22 Electronic Arts Inc. Color blindness diagnostic system
US11232621B2 (en) 2020-04-06 2022-01-25 Electronic Arts Inc. Enhanced animation generation based on conditional modeling
US11648480B2 (en) 2020-04-06 2023-05-16 Electronic Arts Inc. Enhanced pose generation based on generative modeling
US11830121B1 (en) 2021-01-26 2023-11-28 Electronic Arts Inc. Neural animation layering for synthesizing martial arts movements
US11887232B2 (en) 2021-06-10 2024-01-30 Electronic Arts Inc. Enhanced system for generation of facial models and animation
US11670030B2 (en) 2021-07-01 2023-06-06 Electronic Arts Inc. Enhanced animation generation based on video with local phase
US11562523B1 (en) 2021-08-02 2023-01-24 Electronic Arts Inc. Enhanced animation generation based on motion matching using local bone phases

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142845A (ja) * 1999-11-17 2001-05-25 Toshiba Corp コンピュータシステムおよびデータ転送制御方法
JP4729791B2 (ja) * 2001-01-23 2011-07-20 ヤマハ株式会社 リモコン送信システム
JP4200435B2 (ja) * 2002-09-10 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US7130584B2 (en) * 2003-03-07 2006-10-31 Nokia Corporation Method and device for identifying and pairing Bluetooth devices
JP4041993B2 (ja) * 2004-06-01 2008-02-06 ソニー株式会社 表示装置、受光装置、通信システムおよび通信方法
JP2006330027A (ja) * 2005-05-23 2006-12-07 Matsushita Electric Ind Co Ltd 画像出力装置、画像出力システム、およびプログラム
JP4997783B2 (ja) * 2006-02-15 2012-08-08 富士ゼロックス株式会社 電子会議システム、電子会議支援プログラム、電子会議制御装置、情報端末機器、電子会議支援方法
JP4296210B2 (ja) * 2006-12-21 2009-07-15 キヤノン株式会社 二次元コード画像表示装置、および二次元コード画像表示プログラム
US7900838B2 (en) * 2006-12-21 2011-03-08 Canon Kabushiki Kaisha Form editing apparatus, control method, and storage medium
JP2008181198A (ja) * 2007-01-23 2008-08-07 Funai Electric Co Ltd 画像表示システム
JP5361159B2 (ja) * 2007-09-06 2013-12-04 キヤノン株式会社 画像表示制御装置、その制御方法、プログラム、および記録媒体
CN101889291B (zh) * 2007-12-04 2013-09-11 At信息股份有限公司 二维码显示系统、二维码显示方法

Also Published As

Publication number Publication date
CN102292978A (zh) 2011-12-21
WO2011004612A1 (ja) 2011-01-13
US20110187731A1 (en) 2011-08-04

Similar Documents

Publication Publication Date Title
WO2011004612A1 (ja) マーカ表示制御装置、集積回路、及び、マーカ表示制御方法
US9733718B2 (en) Display apparatus and display method thereof
CN106851234B (zh) 投影仪以及投影仪的控制方法
US9906762B2 (en) Communication apparatus, method of controlling communication apparatus, non-transitory computer-readable storage medium
US6940558B2 (en) Streaming content associated with a portion of a TV screen to a companion device
EP2753075A1 (en) Display apparatus and method for video calling thereof
CN113051432B (zh) 显示设备及媒资播放方法
EP4287610A1 (en) Focusing method and apparatus, electronic device, and medium
JP2009089068A (ja) 電子機器の制御装置、制御方法及び制御プログラム
US11917329B2 (en) Display device and video communication data processing method
CN113645494A (zh) 一种屏幕融合方法、显示设备、终端设备及服务器
US10609305B2 (en) Electronic apparatus and operating method thereof
JP2009087095A (ja) 電子機器の制御装置、制御方法及び制御プログラム
CN111078926A (zh) 一种人像缩略图像的确定方法及显示设备
CN113015014A (zh) 缩放显示方法、显示终端及存储介质
CN113076031B (zh) 显示设备、触摸定位方法及装置
WO2021218473A1 (zh) 一种显示方法及显示设备
CN114430492A (zh) 显示设备、移动终端及图片同步缩放方法
JP5117620B2 (ja) 液晶表示装置、画像表示方法、プログラムおよび記録媒体
CN112399235A (zh) 一种智能电视的摄像头拍照效果增强方法及显示设备
CN113645502B (zh) 一种动态调整控件的方法及显示设备
WO2021248671A1 (zh) 一种显示设备
US20200175649A1 (en) Information processing apparatus, storage medium, and image output system
CN107924295A (zh) 宽视图图像显示系统、信息处理装置和图像显示方法
CN113587812A (zh) 显示设备、测量方法及装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20131001