TWI736702B - 資訊通訊方法、資訊通訊裝置及程式 - Google Patents

資訊通訊方法、資訊通訊裝置及程式 Download PDF

Info

Publication number
TWI736702B
TWI736702B TW106138104A TW106138104A TWI736702B TW I736702 B TWI736702 B TW I736702B TW 106138104 A TW106138104 A TW 106138104A TW 106138104 A TW106138104 A TW 106138104A TW I736702 B TWI736702 B TW I736702B
Authority
TW
Taiwan
Prior art keywords
image
information
receiver
signal
exposure
Prior art date
Application number
TW106138104A
Other languages
English (en)
Other versions
TW201830892A (zh
Inventor
青山秀紀
大嶋光昭
Original Assignee
美商松下電器(美國)知識產權公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商松下電器(美國)知識產權公司 filed Critical 美商松下電器(美國)知識產權公司
Publication of TW201830892A publication Critical patent/TW201830892A/zh
Application granted granted Critical
Publication of TWI736702B publication Critical patent/TWI736702B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/1141One-way transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/1149Arrangements for indoor wireless networking of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Abstract

本發明提供一種可接收可見光訊號的接收方法。

本發明的資訊通訊方法從被攝體取得資訊,且包含以下步驟: 第1曝光時間設定步驟,設定第1曝光時間;一般圖像取得步驟,影像感測器藉由在第1曝光時間攝影被攝體及該被攝體周圍,來取得一般攝影圖像;圖像顯示步驟,顯示一般攝影圖像;第2曝光時間設定步驟,對藉由影像感測器攝影被攝體所獲得的圖像,設定影像感測器的第2曝光時間,以使對應於影像感測器所含的曝光線的明線會因應被攝體的亮度變化而產生;明線圖像取得步驟,影像感測器藉由在設定的前述第2曝光時間攝影亮度變化的被攝體,來取得包含明線的明線圖像;及資訊取得步驟,藉由將資料解碼來取得資訊,其中前述資料是依據取得的明線圖像所含的前述明線的圖案來特定。

Description

資訊通訊方法、資訊通訊裝置及程式
本發明是關於一種可見光訊號的資訊通訊方法、資訊通訊裝置及程式等。
在近年來的家用網路中,除了由Ethernet(註冊商標)或無線LAN(Local Area Network)下的IP(Internet Protocol)連接進行的AV家電的協同之外、還藉由具有對應於環境問題的電力使用量的管理、或具有來自住宅外的電源ON/OFF這樣的功能的家庭能源管理系統(HEMS)而推進多種多樣的家電機器連接網路之家電協同功能的導入。但是,在具有通訊功能方面,也有運算力不充分的家電、或在成本方面難以實現通訊功能的搭載的家電等。
為了解決這樣的問題,在專利文獻1中,記載有在使用光向自由空間傳遞資訊的光空間傳送裝置中,藉由進行使用多個照明光的單色光源的通訊,能夠在有限的發送裝置中有效率地實現機器間的通訊的技術。
先行技術文獻 專利文獻
專利文獻1:日本特開第2002-290335號公報
發明概要
然而,前述以往的方式限定於所適用的機器具有照明那樣的3色光源的情況。
本發明提供的資訊通訊方法等可解決這樣的問題,且能夠在包含具有3色光源的照明以外的機器之多種多樣的機器間進行通訊。
本發明一形態的發送方法是藉由光源的亮度變化來發送訊號的發送方法,包含如下步驟:受理步驟,受理對於前述光源指定的調光度,來作為指定調光度;及發送步驟,當前述指定調光度為第1值以下時,一面以前述指定調光度令前述光源發光,一面藉由亮度變化來發送以第1模式編碼的前述訊號,當前述指定調光度大於前述第1值時,一面以前述指定調光度令前述光源發光,一面藉由亮度變化來發送以第2模式編碼的前述訊號;在前述指定調光度大於前述第1值且為前述第2值以下時,用以藉由亮度變化來發送以前述第2模式編碼的前述訊號之前述光源的峰值電流值,比在前述指定調光度為前述第1值的情況下,用以藉由亮度變化來發送以前述第1模式編碼的前述訊號之前述光源的峰值電流值小。
此外,這些總括性或具體的態樣既可以藉由系統、方法、積體電路、電腦程式或電腦可讀取的CD-ROM等記錄媒體來實現,也可以藉由系統、方法、積體電路、 電腦程式及記錄媒體的任意組合來實現。又,亦可採用以下態樣來實現:執行一實施形態的方法的電腦程式保存於伺服器的記錄媒體,因應終端的要求,從伺服器遞送給終端。
若藉由本發明,可實現一種能夠進行機器間通訊的資訊通訊方法,前述機器間通訊為包含具有3色光源的照明以外的機器在內的態樣。
1、2‧‧‧發光元件、光感測器
10‧‧‧顯示裝置
11、10010a、10011a、10012a、10014a、10014b、10014c、10015a、10015c、10080a‧‧‧影像感測器
12、8367、A33‧‧‧解碼部
13、8365‧‧‧發送部
14‧‧‧取得部
15‧‧‧辨識部
16‧‧‧顯示部
21‧‧‧人物
100、100a、100b、100c、120、571、1220、1220a、1220b、1230、1240、1800b、1800d、2301、7006a、7007b、8012、8143、8165、8185、8195a、8420b~8420g、 8421b、8421c、8955b、8960b、10020d、10131b‧‧‧發送機
101、104、107‧‧‧導覽板
102‧‧‧框
105‧‧‧城牆
106‧‧‧隱藏角色
108‧‧‧紅外線阻隔塗料
109‧‧‧反射板
110‧‧‧車站出口導覽板
111‧‧‧台座
112‧‧‧構造物
113‧‧‧菜單
114‧‧‧電視
131‧‧‧發光元件
132a、132b‧‧‧標記
141‧‧‧玻璃球
142‧‧‧發光部
142a‧‧‧像
143‧‧‧圖形
144‧‧‧透光板
200、1210a、1210b、1800a、1800c、2302、7007a、7510a、8000、8011、8030、8142、8167、8183、8186、8420a、8421a、8955a、8957a、8960a、8973、9020a、9023b、10131a‧‧‧接收機
201‧‧‧顯示器
203‧‧‧視線檢出相機
204‧‧‧視線框
211‧‧‧廣角鏡頭
212‧‧‧望遠鏡頭
213‧‧‧內相機
300‧‧‧伺服器
301‧‧‧第1伺服器
302‧‧‧第2伺服器
301a‧‧‧位元再配置部
302a‧‧‧複製部
303a‧‧‧前轉換部
304a‧‧‧後轉換部
501‧‧‧AR對象物
551、561‧‧‧受理部
552、562‧‧‧發送部
571‧‧‧決定部
1211‧‧‧影像輸入部
1212‧‧‧條碼/可見光識別部
1212a‧‧‧條碼辨識部
1212b‧‧‧可見光辨識部
1212c‧‧‧圖像辨識部
1213、1215‧‧‧輸出部
1215a‧‧‧像
1215b‧‧‧指示器
1215c‧‧‧AR標記
1221‧‧‧受光部
1221a‧‧‧第1受光部
1221b‧‧‧第2受光部
1222‧‧‧訊號解析部
1223a、1223b‧‧‧發送時脈調整部
1225‧‧‧比較部
1224、1231‧‧‧發光部
1241‧‧‧控制部
1242‧‧‧同步控制部
1243‧‧‧光耦合器
1244‧‧‧LED驅動電路
1245‧‧‧LED
1246‧‧‧光電二極體
1610‧‧‧接收裝置
1611‧‧‧框
1630‧‧‧發送裝置
1631~1634‧‧‧圖像
1640‧‧‧接收裝置
1650、1800f、1904、8013、8141、8187、8957c‧‧‧伺服器
1801‧‧‧顯示器
1802‧‧‧相機
1803‧‧‧閃光燈
1810、1820‧‧‧支架
1810a、1820a‧‧‧背板部
1810b‧‧‧卡止部
1811‧‧‧通孔
1812‧‧‧可變濾光器
1901‧‧‧遊樂設備
1902‧‧‧智慧型手機
1903‧‧‧相機
1905‧‧‧照明裝置
1906‧‧‧智慧型手機
1907‧‧‧裝飾品
1911‧‧‧圖像/影像輸入部
1912‧‧‧N倍速化部
1913‧‧‧共通開關控制部
1914‧‧‧畫素開關控制部
1915‧‧‧訊號輸入部
1916‧‧‧畫素值調整部
1921‧‧‧自主飛行裝置
1921a‧‧‧無線供電裝置
1922‧‧‧監視攝影機
2303‧‧‧藍色LED
2304‧‧‧綠色螢光成分
2305‧‧‧紅色螢光成分
2310‧‧‧螢光體
2718a、2718b、2718c、2718d‧‧‧發光部
2718e‧‧‧舞台
2718f‧‧‧擴增實境物件
7500a~7500d、7501a~7501b、7502a~7502h‧‧‧情況
7510b‧‧‧光源
7510c‧‧‧後相機
7510e‧‧‧使用者
7510f‧‧‧前相機
8001‧‧‧資訊通知圖像
8032‧‧‧資訊通知圖像
8034‧‧‧合成圖像
8166‧‧‧控制部
8185a‧‧‧顯示器
8185b‧‧‧條碼部分
8195‧‧‧路燈
8196‧‧‧一般攝影圖像
8196a‧‧‧AR物件
8197‧‧‧人物
8361‧‧‧ID存儲部
8362‧‧‧亂數產生部
8363‧‧‧加法部
8364‧‧‧加密部
8366‧‧‧接收部
8368‧‧‧ID取得部
8420h、8420i‧‧‧基地台
8420j、8420k、8420l、8420m‧‧‧位置
8957b‧‧‧招牌
8960d‧‧‧密碼輸入畫面
8970‧‧‧機器人
8971a、8971b、8974‧‧‧照明機器
8973a‧‧‧導引圖像
8973b‧‧‧補充導引圖像
8975‧‧‧路線公告板
9020b、9020c‧‧‧受光部
9022a‧‧‧智慧型手機
10010b、10011b、10012b‧‧‧一般拍攝圖像
10010c、10011c、10012c‧‧‧可見光拍攝圖像
10010d、10011d、10012d‧‧‧預覽圖像
10020a、10020b、10020c、10080b、10080d‧‧‧圖像
10020e‧‧‧物件
10020f‧‧‧取得資料圖像
10024a‧‧‧背面顯示按鈕
10090a~10090e‧‧‧發光部
10090f‧‧‧物體
10131c‧‧‧通訊裝置
A0、A'0、A1、A'1、B0、B'0、B1、C0~C3、D0~D3、D'0~D'3、DL1~DL4、DR1~DR4‧‧‧時間長
a1、a2‧‧‧發送機100a的一部分
A10‧‧‧顯示裝置
A11‧‧‧拍攝感測器
A12‧‧‧解碼部
A13‧‧‧顯示控制部
A30‧‧‧接收裝置
A31‧‧‧曝光時間設定部
A32‧‧‧拍攝部
b1、b2‧‧‧發送機100b的一部分
B10‧‧‧再生裝置
B11‧‧‧感測器
B12‧‧‧請求訊號發送部
B13‧‧‧內容接收部
B14‧‧‧時鐘
B15‧‧‧再生部
C10‧‧‧發送裝置
C11‧‧‧決定部
C12‧‧‧共通開關控制部
C13‧‧‧畫素開關控制部
Ca1、Ca2‧‧‧相機
D0‧‧‧第1時間長
D1‧‧‧第2時間長
D2‧‧‧第3時間長
D3‧‧‧第4時間長
D10‧‧‧訊號生成裝置
D11‧‧‧前文生成部
D12‧‧‧資料生成部
D13‧‧‧結合部
dw、dh、h0、w0‧‧‧畫素數
E0、E'0‧‧‧全時間長
E1、E'1‧‧‧有效時間長
f2‧‧‧空間頻率
Ib、Ic、Id、Ie‧‧‧電流值
K‧‧‧第1閾值
K90‧‧‧資訊通訊裝置
K91‧‧‧曝光時間設定部
K92‧‧‧圖像取得部
K93‧‧‧資訊取得部
L1、L2‧‧‧鏡頭
L1‧‧‧最長距離
L2‧‧‧最短距離
LSN‧‧‧順序號碼子欄位的位元長度
m‧‧‧訊息
m1‧‧‧菜單畫面
m2、m4‧‧‧區域
M4‧‧‧記號
ma1‧‧‧輸入欄
mb1‧‧‧座位欄
mc1‧‧‧訂購按鈕
Meven‧‧‧第偶數個符元所含的位元長
Modd‧‧‧第奇數個符元所含的位元長
N、yk‧‧‧參數
N‧‧‧閾值
P1~P5、P6a、P6b、P7~P17、P21~P26、P27a~P27c、P28~P30、P32a~P32d、P33、P42~P44‧‧‧AR圖像
P100‧‧‧掃描線
Pa、Pb、Pc、Pd、Pe、Pf、Pg、Ph、Pi、Pj、Pk、Pm、Pn、Po、Pp、Pq、Ppre‧‧‧拍攝顯示圖像
Pbas‧‧‧基準區域
Pdec、Pdec11、Pdec12、Pdec13、Pdec14‧‧‧解碼用圖像
Pdec1、X、Y、Z1、Z2‧‧‧明線圖案區域
Pdec2‧‧‧亮區域
PS‧‧‧靜止圖像
Ptar‧‧‧對象區域
9001a~9001g、9002a~9002f、9003a~9003e、9004a~9004f、9005a~9005h、9030a~9030h、S10017a~S10017g、S10101~S10107、S10111~S10114、S10121~S10125、S10131~S10136、S10141~S10147、S10151~S10160、S10165~S10172、S10181~S10185、S10188~S10193、S10196~S10200、S10211~S10217、S10221~S10224、S1211~S1214、S1221~S1229、S1601~S1603、S1831~S1833、 S2310~S2312、SA31~SA33、SA41~SA43、SB11~SB14、SK91~SK93、S41~S43、S101~S108、S101a~S110a、S111~S114、S121~S123、S131~S134、S141~S143、S201~S212、S201a~S210a、S301~S309、S301a、310b、S311~S317、S320b~324b、S330b、S401~S411、S421~S431、S441~S453、S461~S464、S471~S477、S481~S494、S501~S511、S521~S528、S531~S535、S541~S546、S551、S552、S561、S562、S571、S572、SL11~SL16、‧‧‧步驟
SN‧‧‧子欄位的位元長度
tD‧‧‧時間差
tD2‧‧‧閒置時間
tE‧‧‧曝光時間
tHT‧‧‧高頻雜訊
tS‧‧‧週期
tT‧‧‧變遷時間
Vmax‧‧‧最大音量
Vmin‧‧‧最小音量
W0、W2、b‧‧‧常數
W1‧‧‧符元值偏移
W2‧‧‧符元值單位
y0~y3‧‧‧變數
圖1是表示實施形態1的發光部的亮度的觀測方法的一例的圖。
圖2是表示實施形態1的發光部的亮度的觀測方法的一例的圖。
圖3是表示實施形態1的發光部的亮度的觀測方法的一例的圖。
圖4是表示實施形態1的發光部的亮度的觀測方法的一例的圖。
圖5A是表示實施形態1的發光部的亮度的觀測方法的一例的圖。
圖5B是表示實施形態1的發光部的亮度的觀測方法的一例的圖。
圖5C是表示實施形態1的發光部的亮度的觀測方法的一例的圖。
圖5D是表示實施形態1的發光部的亮度的觀測方法的 一例的圖。
圖5E是表示實施形態1的發光部的亮度的觀測方法的一例的圖。
圖5F是表示實施形態1的發光部的亮度的觀測方法的一例的圖。
圖5G是表示實施形態1的發光部的亮度的觀測方法的一例的圖。
圖5H是表示實施形態1的發光部的亮度的觀測方法的一例的圖。
圖6A是表示實施形態1的資訊通訊方法的流程圖。
圖6B是表示實施形態1的資訊通訊裝置的方塊圖。
圖7是表示實施形態2的接收機的攝影動作的一例的圖。
圖8是表示實施形態2的接收機的攝影動作的另一例的圖。
圖9是表示實施形態2的接收機的攝影動作的另一例的圖。
圖10是表示實施形態2的接收機的顯示動作的一例的圖。
圖11(a)~(d)是表示實施形態2的接收機的顯示動作的一例的圖。
圖12是表示實施形態2的接收機的動作的一例的圖。
圖13是表示實施形態2的接收機的動作的另一例的圖。
圖14是表示實施形態2的接收機的動作的另一例的圖。
圖15是表示實施形態2的接收機的動作的另一例的圖。
圖16是表示實施形態2的接收機的動作的另一例的圖。
圖17是表示實施形態2的接收機的動作的另一例的圖。
圖18是表示實施形態2的接收機、發送機和伺服器的動作的一例的圖。
圖19是表示實施形態2的接收機的動作的另一例的圖。
圖20是表示實施形態2的接收機的動作的另一例的圖。
圖21是表示實施形態2的接收機的動作的另一例的圖。
圖22是表示實施形態2的發送機的動作的一例的圖。
圖23是表示實施形態2的發送機的動作的另一例的圖。
圖24是表示實施形態2的接收機的應用例的圖。
圖25是表示實施形態2的接收機的動作的另一例的圖。
圖26是表示實施形態3的接收機、發送機及伺服器的處理動作的一例的圖。
圖27是表示實施形態3的發送機及接收機的動作的一例的圖。
圖28是表示實施形態3的發送機、接收機及伺服器的動作的一例的圖。
圖29是表示實施形態3的發送機及接收機的動作的一例的圖。
圖30是表示實施形態4的發送機及接收機的動作的一例的圖。
圖31是表示實施形態4的發送機及接收機的動作的一例的圖。
圖32是表示實施形態4的發送機及接收機的動作的一例的圖。
圖33是表示實施形態4的發送機及接收機的動作的一例的圖。
圖34(a)、(b)是表示實施形態4的發送機及接收機的動作的一例的圖。
圖35是表示實施形態4的發送機及接收機的動作的一例的圖。
圖36是表示實施形態4的發送機及接收機的動作的一例的圖。
圖37(a)~(c)是用來說明實施形態5的向人的可見光通訊的通知的圖。
圖38是用來說明實施形態5的對道路指引的應用例的圖。
圖39(a)~(d)是用來說明實施形態5的對利用日誌累積和解析的應用例的圖。
圖40是用來說明實施形態5的對畫面共用的應用例的圖。
圖41是表示實施形態5的資訊通訊方法的應用例的圖。
圖42是表示實施形態6的發送機和接收機的應用例的圖。
圖43是表示實施形態6的發送機及接收機的應用例的圖。
圖44是表示實施形態7的接收機的一例的圖。
圖45是表示實施形態7的接收系統的一例的圖。
圖46是表示實施形態7的訊號發送接收系統的一例的圖。
圖47是表示實施形態7的排除了干涉的接收方法的流程圖。
圖48是表示實施形態7的發送機的方位的推測方法的流程圖。
圖49是表示實施形態7的接收的開始方法的流程圖。
圖50是表示實施形態7的並用其它媒體的資訊的ID的生成方法的流程圖。
圖51是表示實施形態7的基於頻率分離的接收方式的選擇方法的流程圖。
圖52是表示實施形態7的曝光時間較長的情況下的訊 號接收方法的流程圖。
圖53(a)~(c)是表示實施形態7的發送機的調光(調整明亮度)方法的一例的圖。
圖54是表示實施形態7的發送機的調光功能的構成方法的一例的圖。
圖55(a)、(b)是用來說明EX變焦的圖。
圖56是表示實施形態9的訊號接收方法的一例的圖。
圖57是表示實施形態9的訊號接收方法的一例的圖。
圖58是表示實施形態9的訊號接收方法的一例的圖。
圖59是表示實施形態9的接收機的畫面顯示方法的一例的圖。
圖60是表示實施形態9的訊號接收方法的一例的圖。
圖61(a)~(e)是表示實施形態9的訊號接收方法的一例的圖。
圖62是表示實施形態9的訊號接收方法的一例的流程圖。
圖63(a)、(b)是表示實施形態9的訊號接收方法的一例的圖。
圖64是表示實施形態9的接收程式的處理的流程圖。
圖65是實施形態9的接收裝置的方塊圖。
圖66(a)、(b)是表示接收到可見光訊號時的接收機的顯示的一例的圖。
圖67是表示接收到可見光訊號時的接收機的顯示的一例的圖。
圖68是表示取得資料圖像的顯示的一例的圖。
圖69(a)、(b)是表示保存或者丟棄取得資料的情況下的操作的一例的圖。
圖70(a)~(c)是表示閱覽取得資料時的顯示例子的圖。
圖71是表示實施形態9的發送機的一例的圖。
圖72(a)、(b)是表示實施形態9的接收方法的一例的圖。
圖73是表示實施形態10的接收方法的一例的流程圖。
圖74是表示實施形態10的接收方法的一例的流程圖。
圖75是表示實施形態10的接收方法的一例的流程圖。
圖76(a)、(b)是用來說明實施形態10的接收機使用了比調變頻率的週期(調變週期)長的曝光時間的接收方法的圖。
圖77(a)~(c)是用來說明實施形態10的接收機使用了比調變頻率的週期(調變週期)長的曝光時間的接收方法的圖。
圖78(a)、(b)是表示實施形態10的對於發送資料的大小之有效率的分割數的圖。
圖79A是表示實施形態10的設定方法的一例的圖。
圖79B是表示實施形態10的設定方法的另一例的圖。
圖80是表示實施形態10的資訊處理程式的處理的流程圖。
圖81是用來說明實施形態10的發送接收系統的應用例的圖。
圖82(a)、(b)是表示實施形態10的發送接收系統的處 理動作的流程圖。
圖83是用來說明實施形態10的發送接收系統的應用例的圖。
圖84(a)~(c)是表示實施形態10的發送接收系統的處理動作的流程圖。
圖85是用來說明實施形態10的發送接收系統的應用例的圖。
圖86是表示實施形態10的發送接收系統的處理動作的流程圖。
圖87是用來說明實施形態10的發送機的應用例的圖。
圖88是用來說明實施形態11的發送接收系統的應用例的圖。
圖89是用來說明實施形態11的發送接收系統的應用例的圖。
圖90(a)、(b)是用來說明實施形態11的發送接收系統的應用例的圖。
圖91(a)、(b)是用來說明實施形態11的發送接收系統的應用例的圖。
圖92(a)、(b)是用來說明實施形態11的發送接收系統的應用例的圖。
圖93(a)、(b)是用來說明實施形態11的發送接收系統的應用例的圖。
圖94是用來說明實施形態11的發送接收系統的應用例的圖。
圖95是用來說明實施形態11的發送接收系統的應用例的圖。
圖96是用來說明實施形態11的發送接收系統的應用例的圖。
圖97是用來說明實施形態11的發送接收系統的應用例的圖。
圖98是用來說明實施形態11的發送接收系統的應用例的圖。
圖99是用來說明實施形態11的發送接收系統的應用例的圖。
圖100是用來說明實施形態11的發送接收系統的應用例的圖。
圖101(a)~(e)是用來說明實施形態11的發送接收系統的應用例的圖。
圖102是用來說明實施形態12的接收機的動作的圖。
圖103A是用來說明實施形態12的接收機的另一動作的圖。
圖103B是表示實施形態12的藉由輸出部1215顯示的指示器的例子的圖。
圖103C是表示實施形態12的AR的顯示例的圖。
圖104A是用來說明實施形態12的發送機的一例的圖。
圖104B是用來說明實施形態12的發送機的另一例的圖。
圖105A是用來說明實施形態12的多個發送機的同步發送的一例的圖。
圖105B是用來說明實施形態12的多個發送機的同步發送的另一例的圖。
圖106是用來說明實施形態12的多個發送機的同步發送的另一例的圖。
圖107是用來說明實施形態12的發送機的訊號處理的圖。
圖108是表示實施形態12的接收方法的一例的流程圖。
圖109(a)~(c)是用來說明實施形態12的接收方法的一例的說明圖。
圖110是表示實施形態12的接收方法的另一例的流程圖。
圖111(a)~(c)是表示實施形態13的發送訊號的一例的圖。
圖112(a)~(g)是表示實施形態13的發送訊號的另一例的圖。
圖113(a)~(c)是表示實施形態13的發送訊號的另一例的圖。
圖114A是用來說明實施形態14的發送機的圖。
圖114B(a)~(c)是表示實施形態14的RGB的各自的亮度變化的圖。
圖115是表示實施形態14的綠色螢光成分以及紅色螢 光成分的殘光特性的圖。
圖116是用來說明實施形態14的為了抑制條碼的讀取錯誤的產生而新產生的課題的圖。
圖117是用來說明由實施形態14的接收機進行的降階取樣的圖。
圖118是表示實施形態14的接收機的處理動作的流程圖。
圖119(a)~(c)是表示實施形態15的接收裝置(拍攝裝置)的處理動作的圖。
圖120(a)、(b)是表示實施形態15的接收裝置(拍攝裝置)的處理動作的圖。
圖121是表示實施形態15的接收裝置(拍攝裝置)的處理動作的圖。
圖122是表示實施形態15的接收裝置(拍攝裝置)的處理動作的圖。
圖123是表示實施形態16的應用程式的一例的圖。
圖124是表示實施形態16的應用程式的一例的圖。
圖125(a)、(b)是表示實施形態16的發送訊號的例子和聲音同步方法的例子的圖。
圖126是表示實施形態16的發送訊號的例子的圖。
圖127是表示實施形態16的接收機的處理流程的一例的圖。
圖128(a)、(b)是表示實施形態16的接收機的使用者介面的一例的圖。
圖129是表示實施形態16的接收機的處理流程的一例的圖。
圖130是表示實施形態16的接收機的處理流程的另一例的圖。
圖131A是用來說明實施形態16的同步再生的具體方法的圖。
圖131B是表示實施形態16的進行同步再生的再生裝置(接收機)的結構的方塊圖。
圖131C是表示實施形態16的進行同步再生的再生裝置(接收機)的處理動作的流程圖。
圖132是用來說明實施形態16的同步再生的事先準備的圖。
圖133是表示實施形態16的接收機的應用例的圖。
圖134A是實施形態16的保持於支架的接收機的主視圖。
圖134B是實施形態16的保持於支架的接收機的後視圖。
圖135是用來說明實施形態16的保持於支架的接收機的使用案例的圖。
圖136是表示實施形態16的保持於支架的接收機的處理動作的流程圖。
圖137(a)、(b)是表示實施形態16的藉由接收機顯示的圖像的一例的圖。
圖138是表示實施形態16的支架的另一例的圖。
圖139A是示出實施形態17的可見光訊號的一例的圖。
圖139B是示出實施形態17的可見光訊號的一例的圖。
圖139C是示出實施形態17的可見光訊號的一例的圖。
圖139D是示出實施形態17的可見光訊號的一例的圖。
圖140是示出實施形態17的可見光訊號的構成的圖。
圖141是示出實施形態17的藉由接收機的拍攝得到的明線圖像的一例的圖。
圖142是示出實施形態17的藉由接收機的拍攝得到的明線圖像的另一例的圖。
圖143是示出實施形態17的藉由接收機的拍攝得到的明線圖像的另一例的圖。
圖144是用於說明實施形態17的接收機應用於進行HDR合成的相機系統的圖。
圖145是用於說明實施形態17的可見光通訊系統的處理動作的圖。
圖146A是示出實施形態17的使用了可見光的車車間通訊的一例的圖。
圖146B是示出實施形態17的使用了可見光的車車間通訊的其它例的圖。
圖147是示出實施形態17的多個LED的位置決定方法的一例的圖。
圖148是示出實施形態17的藉由對車輛進行拍攝而得 到的明線圖像的一例的圖。
圖149是示出實施形態17的接收機和發送機的應用例的圖。此外,圖149是從後面觀察汽車的圖。
圖150是示出實施形態17的接收機和發送機的處理動作的一例的流程圖。
圖151是示出實施形態17的接收機和發送機的應用例的圖。
圖152是示出實施形態17的接收機7007a和發送機7007b的處理動作的一例的流程圖。
圖153是示出實施形態17的、在電車的車內應用的可見光通訊系統的結構的圖。
圖154是示出實施形態17的、在遊樂場等設施應用的可見光通訊系統的結構的圖。
圖155(a)、(b)是示出實施形態17的、包括遊樂設備和智慧型手機的可見光通訊系統的一例的圖。
圖156是示出實施形態18的發送訊號的一例的圖。
圖157是示出實施形態18的發送訊號的一例的圖。
圖158(a)~(d)是示出實施形態19的發送訊號的一例的圖。
圖159(a)~(d)是示出實施形態19的發送訊號的一例的圖。
圖160(a)、(b)是示出實施形態19的發送訊號的一例的圖。
圖161(a)、(b)是示出實施形態19的發送訊號的一例的 圖。
圖162(a)~(c)是示出實施形態19的發送訊號的一例的圖。
圖163(a)、(b)是示出實施形態19的發送訊號的一例的圖。
圖164是示出實施形態19的發送接收系統的一例的圖。
圖165是示出實施形態19的發送接收系統的處理的一例的流程圖。
圖166是示出實施形態19的伺服器的動作的流程圖。
圖167是示出實施形態19的接收機的動作的一例的流程圖。
圖168是示出實施形態19的簡易模式下的進度狀況的計算方法的流程圖。
圖169是示出實施形態19的最大似然估計模式下的進度狀況的計算方法的流程圖。
圖170是示出實施形態19的進度狀況不減少的顯示方法的流程圖。
圖171是示出實施形態19的存在多個封包長度的情況之進度狀況的顯示方法的流程圖。
圖172是示出實施形態19的接收機的動作狀態的一例的圖。
圖173(a)~(e)是示出實施形態19的發送訊號的一例的圖。
圖174是示出實施形態19的發送訊號的一例的圖。
圖175(a)~(e)是示出實施形態19的發送訊號的一例的圖。
圖176(a)、(b)是示出實施形態19的發送機的一例的方塊圖。
圖177是示出實施形態19的以本發明的光ID調變訊號驅動LED顯示器的情況的時序圖的圖。
圖178是示出實施形態19的以本發明的光ID調變訊號驅動LED顯示器的情況的時序圖的圖。
圖179是示出實施形態19的以本發明的光ID調變訊號驅動LED顯示器的情況的時序圖的圖。
圖180A是示出本發明的一態樣的發送方法的流程圖。
圖180B是示出本發明的一態樣的發送裝置的功能結構的方塊圖。
圖181是示出實施形態19的發送訊號的一例的圖。
圖182是示出實施形態19的發送訊號的一例的圖。
圖183是示出實施形態19的發送訊號的一例的圖。
圖184(a)~(d)是示出實施形態19的發送訊號的一例的圖。
圖185(a)、(b)是示出實施形態19的發送訊號的一例的圖。
圖186是示出實施形態19的發送訊號的一例的圖。
圖187是示出實施形態20的可見光訊號的結構的一例的圖。
圖188是示出實施形態20的可見光訊號的詳細結構的一例的圖。
圖189A(a)、(b)是示出實施形態20的可見光訊號的另一例的圖。
圖189B是示出實施形態20的可見光訊號的另一例的圖。
圖189C是示出實施形態20的可見光訊號的訊號長度的圖。
圖190是示出實施形態20的可見光訊號與標準IEC的可見光訊號之間的亮度值的比較結果的圖。
圖191是示出實施形態20的可見光訊號與標準IEC的可見光訊號之間的、相對於視角的接收封包數以及可靠度的比較結果的圖。
圖192是示出實施形態20的可見光訊號與標準IEC的可見光訊號之間的、相對於雜訊的接收封包數以及可靠度的比較結果的圖。
圖193是示出實施形態20的可見光訊號與標準IEC的可見光訊號之間的、相對於接收側時脈誤差的接收封包數以及可靠度的比較結果的圖。
圖194是示出實施形態20的發送對象的訊號的結構的圖。
圖195A是示出實施形態20的可見光訊號的接收方法的圖。
圖195B是示出實施形態20的可見光訊號的排序的圖。
圖196是示出實施形態20的可見光訊號的另一例的圖。
圖197是示出實施形態20的可見光訊號的詳細結構的另一例的圖。
圖198是示出實施形態20的可見光訊號的詳細結構的另一例的圖。
圖199是示出實施形態20的可見光訊號的詳細結構的另一例的圖。
圖200是示出實施形態20的可見光訊號的詳細結構的另一例的圖。
圖201是示出實施形態20的可見光訊號的詳細結構的另一例的圖。
圖202是示出實施形態20的可見光訊號的詳細結構的另一例的圖。
圖203是用於說明決定圖197的x1~x4的值的方法的圖。
圖204是用於說明決定圖197的x1~x4的值的方法的圖。
圖205是用於說明決定圖197的x1~x4的值的方法的圖。
圖206是用於說明決定圖197的x1~x4的值的方法的圖。
圖207是用於說明決定圖197的x1~x4的值的方法的圖。
圖208是用於說明決定圖197的x1~x4的值的方法的圖。
圖209是用於說明決定圖197的x1~x4的值的方法的圖。
圖210是用於說明決定圖197的x1~x4的值的方法的圖。
圖211是用於說明決定圖197的x1~x4的值的方法的圖。
圖212是示出實施形態20的變形例1涉及的可見光訊號的詳細結構的一例的圖。
圖213是示出實施形態20的變形例1涉及的可見光訊號的另一例的圖。
圖214是示出實施形態20的變形例1涉及的可見光訊號的又一例的圖。
圖215是示出實施形態20的變形例1涉及的封包調變的一例的圖。
圖216是示出實施形態20的變形例1涉及的將原始資料分割成1部分的處理的圖。
圖217是示出實施形態20的變形例1涉及的將原始資料分割成2部分的處理的圖。
圖218是示出實施形態20的變形例1涉及的將原始資料分割成3部分的處理的圖。
圖219是示出實施形態20的變形例1涉及的將原始資料分割成3部分的處理的另一例的圖。
圖220是示出實施形態20的變形例1涉及的將原始資料分割成3部分的處理的另一例的圖。
圖221是示出實施形態20的變形例1涉及的將原始資料分割成4部分的處理的圖。
圖222是示出實施形態20的變形例1涉及的將原始資料分割成5部分的處理的圖。
圖223是示出實施形態20的變形例1涉及的將原始資料分割成6、7或8部分的處理的圖。
圖224是示出實施形態20的變形例1涉及的將原始資料分割成6、7或8部分的處理的另一例的圖。
圖225是示出實施形態20的變形例1涉及的將原始資料分割成9部分的處理的圖。
圖226是示出實施形態20的變形例1涉及的將原始資料分割成10~16的某一數的部分的處理的圖。
圖227是示出實施形態20的變形例1涉及的原始資料的分割數、資料尺寸和錯誤更正碼的關係的一例的圖。
圖228是示出實施形態20的變形例1涉及的原始資料的分割數、資料尺寸和錯誤更正碼的關係的另一例的圖。
圖229是示出實施形態20的變形例1涉及的原始資料的分割數、資料尺寸和錯誤更正碼的關係的又一例的圖。
圖230A是示出實施形態20的可見光訊號的生成方法的流程圖。
圖230B是示出實施形態20的訊號生成裝置的結構的方塊圖。
圖231(a)、(b)是表示接收實施形態21的高頻可見光訊號的方法的圖。
圖232A是表示接收實施形態21的高頻可見光訊號的其他方法的圖。
圖232B是表示接收實施形態21的高頻可見光訊號的其他方法的圖。
圖233是表示輸出實施形態21的高頻訊號的方法的圖。
圖234是用以說明實施形態22的自主飛行裝置的圖。
圖235是表示實施形態23的接收機顯示AR圖像之例的圖。
圖236是表示實施形態23的顯示系統的一例的圖。
圖237是表示實施形態23的顯示系統的其他例的圖。
圖238是表示實施形態23的顯示系統的其他例的圖。
圖239是表示實施形態23的接收機的處理動作的一例的流程圖。
圖240是表示實施形態23的接收機顯示AR圖像的其他例的圖。
圖241是表示實施形態23的接收機顯示AR圖像的其他例的圖。
圖242是表示實施形態23的接收機顯示AR圖像的其他例的圖。
圖243是表示實施形態23的接收機顯示AR圖像的其他例的圖。
圖244是表示實施形態23的接收機顯示AR圖像的其他例的圖。
圖245是表示實施形態23的接收機顯示AR圖像的其他例的圖。
圖246是表示實施形態23的接收機的處理動作的其他例的流程圖。
圖247是表示實施形態23的接收機顯示AR圖像的其他例的圖。
圖248(a1)、(a2)、(b1)、(b2)是表示實施形態23中藉由接收機的拍攝所取得的拍攝顯示圖像Ppre及解碼用圖像Pdec的圖。
圖249(a)、(b)是表示實施形態23中顯示於接收機的拍攝顯示圖像Ppre的一例的圖。
圖250是表示實施形態23的接收機的處理動作的其他例的流程圖。
圖251是表示實施形態23的接收機顯示AR圖像的其他例的圖。
圖252是表示實施形態23的接收機顯示AR圖像的其他例的圖。
圖253是表示實施形態23的接收機顯示AR圖像的其他例的圖。
圖254是表示實施形態23的接收機顯示AR圖像的其他例的圖。
圖255是表示實施形態23的辨識資訊的一例的圖。
圖256是表示實施形態23的接收機的處理動作的其他例的流程圖。
圖257(a)~(e)是表示實施形態23的接收機識別明線圖案區域的一例的圖。
圖258是表示實施形態23的接收機的其他例的圖。
圖259是表示實施形態23的接收機的處理動作的其他例的流程圖。
圖260是表示包含實施形態23的複數個發送機的發送系統的一例的圖。
圖261是表示包含實施形態23的複數個發送機及接收機的發送系統的一例的圖。
圖262A是表示實施形態23的接收機的處理動作的一例的流程圖。
圖262B是表示實施形態23的接收機的處理動作的一例的流程圖。
圖263A是表示實施形態23的顯示方法的流程圖。
圖263B是表示實施形態23的顯示裝置構成的方塊圖。
圖264是表示實施形態23的變形例1的接收機顯示AR圖像之例的圖。
圖265是表示實施形態23的變形例1的接收機200顯示AR圖像的其他例的圖。
圖266(a)~(c)是表示實施形態23的變形例1的接收機200顯示AR圖像的其他例的圖。
圖267是表示實施形態23的變形例1的接收機200顯示 AR圖像的其他例的圖。
圖268(a)、(b)是表示實施形態23的變形例1的接收機200的其他例的圖。
圖269是表示實施形態23的變形例1的接收機200顯示AR圖像的其他例的圖。
圖270是表示實施形態23的變形例1的接收機200顯示AR圖像的其他例的圖。
圖271是表示實施形態23的變形例1的接收機200的處理動作的一例的流程圖。
圖272是表示就實施形態23或其變形例1的接收機設想的顯示AR圖像時的課題的一例的圖。
圖273是表示實施形態23的變形例2的接收機顯示AR圖像之例的圖。
圖274是表示實施形態23的變形例2的接收機的處理動作的一例的流程圖。
圖275是表示實施形態23的變形例2的接收機顯示AR圖像的其他例的圖。
圖276是表示實施形態23的變形例2的接收機的處理動作的其他例的流程圖。
圖277是表示實施形態23的變形例2的接收機顯示AR圖像的其他例的圖。
圖278是表示實施形態23的變形例2的接收機顯示AR圖像的其他例的圖。
圖279是表示實施形態23的變形例2的接收機顯示AR 圖像的其他例的圖。
圖280是表示實施形態23的變形例2的接收機顯示AR圖像的其他例的圖。
圖281A是表示本發明一態樣的顯示方法的流程圖。
圖281B是表示本發明一態樣的顯示裝置構成的方塊圖。
圖282(a)~(c)是表示實施形態23的變形例3的AR圖像的放大及移動的一例的圖。
圖283(a)~(c)是表示實施形態23的變形例3的AR圖像的放大的一例的圖。
圖284是表示實施形態23的變形例3中由接收機所進行有關AR圖像的放大及移動的處理動作的一例的流程圖。
圖285是表示實施形態23的變形例3的AR圖像的重疊的一例的圖。
圖286是表示實施形態23的變形例3的AR圖像的重疊的一例的圖。
圖287是表示實施形態23的變形例3的AR圖像的重疊的一例的圖。
圖288是表示實施形態23的變形例3的AR圖像的重疊的一例的圖。
圖289A是表示實施形態23的變形例3中由接收機的拍攝所獲得的拍攝顯示圖像的一例的圖。
圖289B是表示實施形態23的變形例3中顯示於接收機的顯示器的選單畫面的一例的圖。
圖290是表示實施形態23的變形例3的接收機及伺服器的處理動作的一例的流程圖。
圖291是用以說明實施形態23的變形例3中由接收機再生的聲音音量的圖。
圖292是表示實施形態23的變形例3中從接收機到發送機的距離與音量的關係圖。
圖293(a)~(c)是表示實施形態23的變形例3中由接收機重疊AR圖像的一例的圖。
圖294是表示實施形態23的變形例3中由接收機重疊AR圖像的一例的圖。
圖295是用以說明實施形態23的變形例3中由接收機進行的線掃描時間的求出方式的一例的圖。
圖296是用以說明實施形態23的變形例3中由接收機進行的線掃描時間的求出方式的一例的圖。
圖297是用以說明實施形態23的變形例3中由接收機進行的線掃描時間的求出方式的一例的流程圖。
圖298是表示實施形態23的變形例3中由接收機重疊AR圖像的一例的圖。
圖299是表示實施形態23的變形例3中由接收機重疊AR圖像的一例的圖。
圖300是表示實施形態23的變形例3中由接收機重疊AR圖像的一例的圖。
圖301(a)、(b)是表示實施形態23的變形例3中因應接收機的姿勢所取得的解碼用圖像的其他例的圖。
圖302(a)~(c)是表示實施形態23的變形例3中因應接收機的姿勢所取得的解碼用圖像的其他例的圖。
圖303是表示實施形態23的變形例3的接收機的處理動作的一例的流程圖。
圖304是表示實施形態23的變形例3中由接收機進行的相機鏡頭的切換處理的一例的圖。
圖305是表示實施形態23的變形例3中由接收機進行的相機的切換處理的一例的圖。
圖306是表示實施形態23的變形例3的接收機及伺服器的處理動作的一例的流程圖。
圖307是表示實施形態23的變形例3中由接收機重疊AR圖像的一例的圖。
圖308是表示實施形態23的變形例3中包含接收機、微波爐、中繼伺服器及電子結帳用伺服器的系統的處理動作的循序圖。
圖309是表示實施形態23的變形例3中包含POS終端、伺服器、接收機200及微波爐的系統的處理動作的循序圖。
圖310是表示實施形態23的變形例3中在屋內的利用的一例的圖。
圖311是表示實施形態23的變形例3的擴增實境物件的顯示的一例的圖。
圖312是表示實施形態23的變形例4的顯示系統的構成圖。
圖313是表示實施形態23的變形例4的顯示系統的處理動作的流程圖。
圖314是表示本發明一態樣的辨識方法的流程圖。
圖315是表示實施形態24的可見光訊號的動作模式的一例的圖。
圖316是表示實施形態24的封包PWM的模式1的PPDU格式的一例的圖。
圖317是表示實施形態24的封包PWM的模式2的PPDU格式的一例的圖。
圖318是表示實施形態24的封包PWM的模式3的PPDU格式的一例的圖。
圖319是表示實施形態24的封包PWM的模式1~3各模式的SHR的脈衝寬度樣式的一例的圖。
圖320是表示實施形態24的封包PPM的模式1的PPDU格式的一例的圖。
圖321是表示實施形態24的封包PPM的模式2的PPDU格式的一例的圖。
圖322是表示實施形態24的封包PPM的模式3的PPDU格式的一例的圖。
圖323是表示實施形態24的封包PPM的模式1~3分別的SHR的區間樣式的一例的圖。
圖324是表示實施形態24的PHY酬載所含12位元的資料的一例的圖。
圖325是表示實施形態24使PHY訊框控制在1封包的 處理的圖。
圖326是表示實施形態24將PHY訊框分割為2封包的處理的圖。
圖327是表示實施形態24將PHY訊框分割為3封包的處理的圖。
圖328是表示實施形態24將PHY訊框分割為4封包的處理的圖。
圖329是表示實施形態24將PHY訊框分割為5封包的處理的圖。
圖330是表示實施形態24將PHY訊框分割為N(N=6、7或8)封包的處理的圖。
圖331是表示實施形態24將PHY訊框分割為9封包的處理的圖。
圖332是表示實施形態24將PHY訊框分割為N(N=10~16)封包的處理的圖。
圖333A是表示實施形態24的可見光訊號的生成方法的流程圖。
圖333B是表示實施形態24的訊號生成裝置構成的方塊圖。
圖334是表示實施形態25的MPM的MAC訊框的格式的圖。
圖335是表示生成實施形態25的MPM的MAC訊框之編碼裝置的處理動作的流程圖。
圖336是表示解碼實施形態25的MPM的MAC訊框之 解碼裝置的處理動作的流程圖。
圖337是表示實施形態25的MAC的PIB的屬性的圖。
圖338(a)~(d)是用以說明實施形態25的MPM的調光方法的圖。
圖339是表示實施形態25的PHY的PIB的屬性的圖。
圖340是用以說明實施形態25的MPM的圖。
圖341是表示實施形態25的PLCP標頭子欄位的圖。
圖342是表示實施形態25的PLCP中心子欄位的圖。
圖343是表示實施形態25的PLCP註腳子欄位的圖。
圖344是表示實施形態25的MPM的PHY的PWM模式的波形的圖。
圖345是表示實施形態25的MPM的PHY的PPM模式的波形的圖。
圖346是表示實施形態25的解碼方法的一例的流程圖。
圖347是表示實施形態25的編碼方法的一例的流程圖。
圖348是表示實施形態26的接收機顯示AR圖像之例的圖。
圖349是表示實施形態26中重疊了AR圖像的拍攝顯示圖像之例的圖。
圖350是表示實施形態26的接收機顯示AR圖像的其他例的圖。
圖351是表示實施形態26的接收機的動作的流程圖。
圖352是用以說明實施形態26的接收機的動作的圖。
圖353是用以說明實施形態26的發送機的其他動作的圖。
圖354是用以說明實施形態26的發送機的其他動作的圖。
圖355是用以說明實施形態26的光ID的容易接收性的比較例的圖。
圖356A是表示實施形態26的發送機的動作的流程圖。
圖356B是表示實施形態26的發送機的構成的方塊圖。
圖357是表示實施形態26的接收機顯示AR圖像的其他例的圖。
圖358是用以說明實施形態27的發送機的動作的圖。
圖359A是用以說明實施形態27的發送方法的流程圖。
圖359B是表示實施形態27的發送機的構成的方塊圖。
圖360是表示實施形態27的可見光訊號的詳細構成的一例的圖。
圖361是表示實施形態27的可見光訊號的詳細構成的其他例的圖。
圖361是表示實施形態27的可見光訊號的詳細構成的其他例的圖。
圖362(a)、(b)是表示實施形態27的可見光訊號的詳細構成的其他例的圖。
圖363(a)、(b)是表示實施形態27的可見光訊號的詳細構成的其他例的圖。
圖364是表示實施形態27的變數y0~y3的總和、與全時間長及有效時間長的關係圖。
圖365A是表示實施形態27的發送方法的流程圖。
圖365B是表示實施形態27的發送機的構成的方塊圖。
用以實施發明之形態
本發明一態樣的發送方法是藉由光源的亮度變化來發送訊號的發送方法,包含如下步驟:受理步驟,受理對於前述光源指定的調光度,來作為指定調光度;及發送步驟,當前述指定調光度為第1值以下時,一面以前述指定調光度令前述光源發光,一面藉由亮度變化來發送以第1模式編碼的前述訊號,當前述指定調光度大於前述第1值時,一面以前述指定調光度令前述光源發光,一面藉由亮度變化來發送以第2模式編碼的前述訊號;在前述指定調光度大於前述第1值且為前述第2值以下時,用以藉由亮度變化來發送以前述第2模式編碼的前述訊號之前述光源的峰值電流值,比在前述指定調光度為前述第1值的情況下,用以藉由亮度變化來發送以前述第1模式編碼的前述訊號之前述光源的峰值電流值小。
藉此,如圖354所示,藉由切換將訊號編碼的模式,指定調光度為大於第1值的第2值以下時的光源的峰值電流值,會小於指定調光度為第1值時的光源的峰值 電流值。因此,可抑制指定調光度越大,流入光源的峰值電流越大。其結果,可抑制光源劣化。又,由於光源劣化受到抑制,因此可長期進行各種機器間的通訊。
又,也可以是,前述指定調光度小於第3值時,一面以前述指定調光度令前述光源發光,一面藉由亮度變化來發送以前述第1模式編碼的前述訊號,並且將前述峰值電流值相對於前述指定調光度的變化維持在一定值,且前述第3值小於前述第1值。具體而言,也可以是前述指定調光度小於前述第3值時,隨著前述指定調光度變小,增長關閉前述光源的時間,藉此以變小的前述指定調光度令前述光源發光,且將前述峰值電流值維持在一定值。
藉此,即使指定調光度變小時,峰值電流值仍維持在一定,因此可使接收機容易接收藉由亮度變化而發送的訊號即可見光訊號(亦即光ID)。
又,亦可決定關閉前述光源的時間,以使藉由亮度變化發送前述訊號的時間、與關閉前述光源的時間相加後的1週期,不超過10毫秒。
例如若該1週期超過10毫秒,用以發送已編碼訊號的光源的亮度變化唯恐被人眼辨識到閃爍。因此,於本揭示中,決定關閉光源的時間,以使1週期不超過10毫秒,從而可抑制被人辨識到閃爍。
又,也可以是,前述指定調光度小於第4值時,一面以前述指定調光度令前述光源發光,一面藉由亮度變化來發送以前述第1模式編碼的前述訊號,並且隨著 前述指定調光度變小,使前述峰值電流值變小,藉此以變小的前述指定調光度令前述光源發光,且前述第4值小於前述第2值。
藉此,即使指定調光度更小,仍能以該指定調光度令光源適當地發光。
又,前述指定調光度為前述第1值時之前述光源的峰值電流值、與前述指定調光度為最大值時之前述光源的峰值電流值亦可相同。例如指定調光度的最大值為100%。
藉此,即使是第1模式,仍可使大峰值電流流入光源,因此可使接收機容易接收藉由該光源的亮度變化而發送的訊號。
又,以前述第2模式編碼的前述訊號的工作比,亦可大於以前述第1模式編碼的前述訊號的工作比。
第1模式是即使調光度的增加小,仍加大峰值電流之增加的模式,第2模式是即使調光度的增加大,仍抑制峰值電流之增加的模式。因此,由於藉由第2模式來抑制大峰值電流流入光源,因此可抑制光源劣化。進而言之,藉由第1模式,即使調光度小,大峰值電流仍流入光源,因此可使接收機容易接收藉由該光源的亮度變化而發送的訊號。因此,在本揭示中,可謀求同時達成光源劣化的抑制與訊號的容易接收性。
又,前述光源的峰值電流值超過第5值時,亦可停止藉由前述光源的亮度變化所進行的前述訊號的發 送。
藉此,可進一步抑制光源劣化。
又,測量前述光源的使用時間,前述使用時間為預定時間以上時,亦可利用一參數值,藉由亮度變化來發送前述訊號,其中前述一參數值是用以以大於前述指定調光度的調光度令前述光源發光。
藉此,可抑制由於光源的經時性劣化,使得接收機難以接收藉由亮度變化所發送的訊號。
又,測量前述光源的使用時間,前述使用時間為預定時間以上時,亦可使前述光源的電流的脈衝寬度比前述使用時間為小於預定時間時增大。
藉此,即使光源經時性地劣化,由於光源的電流的脈衝寬度變大,因此可抑制接收機難以接收藉由該光源的亮度變化所發送的訊號。
又,也可以是,本發明其他態樣的發送方法是藉由光源的亮度變化來發送訊號的發送方法,包含如下步驟:受理步驟,受理對於光源指定的調光度,來作為指定調光度;及發送步驟,一面以指定調光度令前述光源發光,一面藉由亮度變化來發送以第1模式或第2模式編碼的訊號;以第2模式編碼的訊號的工作比,大於以第1模式編碼的訊號的工作比;於發送步驟,指定調光度從較小值變更為較大值時,在指定調光度為第1值時,將訊號編碼所用的模式從第1模式切換為第2模式,指定調光度從較大值變更為較小值時,在指定調光度為第2值時,將訊號編碼 所用的模式從第2模式切換為第1模式,且第2值小於第1值。
藉此,如圖358所示,進行第1模式與第2模式的切換之指定調光度(亦即切換點)在指定用光度增加時與減少時不同。因此,可抑制該等模式的頻繁切換。亦即,可抑制所謂顫動的發生。其結果,可使發送訊號的發送裝置的動作安定。又,以第2模式編碼的訊號的工作比,大於以第1模式編碼的訊號的工作比。因此,與上述本發明一態樣的發送方法同樣地,可抑制指定調光度越大,流入光源的峰值電流越大。其結果,可抑制光源劣化。又,由於光源劣化受到抑制,因此可長期進行各種機器間的通訊。又,於指定調光度小時,採用工作比較小的第1模式。因此,可增大上述峰值電流,可將容易被接收機接收的訊號作為可見光訊號發送。
又,也可以是,本發明其他態樣的發送方法在從第1模式往第2模式進行切換時,將用以藉由亮度變化來發送已編碼訊號之光源的峰值電流,從第1電流值變更為小於第1電流值的第2電流值,在從第2模式往第1模式進行切換時,將峰值電流從第3電流值變更為大於第3電流值的第4電流值,且第1電流值大於第4電流值,第2電流值大於第3電流值。
藉此,可適當地切換第1模式與第2模式。
又,也可以是,本發明進一步的其他態樣的發送方法,是藉由發光體的亮度變化來發送可見光訊號的 發送方法,包含如下步驟:決定步驟,藉由調變可見光訊號來決定亮度變化的樣式;及發送步驟,藉由按照決定的樣式,令發光體所含的紅色光源進行亮度變化,來發送可見光訊號;可見光訊號包含:第1亮度值及小於第1亮度值的第2亮度值沿著時間軸上出現,第2亮度值的時間長為第1預定值以下的資料;第1及第2亮度值分別沿著時間軸上交替出現的前文;及第1及第2亮度值沿著時間軸上交替出現,第1及第2亮度值分別持續的時間長大於第1預定值,且按照預定方式決定的酬載。
藉此,如圖363所示,可見光訊號包含1個因應調變的訊號所決定的波形酬載(亦即L資料部或R資料部),不包含2個酬載。因此,可縮短可見光訊號,亦即可見光訊號的封包。總言之,可於短時間發送可見光訊號,可於短時間進行各種機器間的通訊。其結果,例如即使由發光體所含的光源表現的紅色光的發光期間短,仍可於該發光期間發送可見光訊號的封包。
又,也可以是,於酬載,以第1時間長的第1亮度值、第2時間長的第2亮度值、第3時間長的第1亮度值、第4時間長的第2亮度值的順序,出現各個亮度值,發送步驟在第1時間長與第3時間長的和小於第2預定值時,使相對於紅色光源的電流值比第1時間長與第3時間長的和大於第2預定值時增大,且第2預定值大於前述第1預定值。
藉此,如圖362及圖363所示,於第1時間長 及第3時間長的和小時,光源的電流值增大,於第1時間長及第3時間長的和大時,光源的電流值減少。因此,包含資料、前文及酬載的封包的平均亮度可不受訊號影響而保持在一定。
又,也可以是,於酬載,以第1時間長(D0)的第1亮度值、第2時間長(D1)的第2亮度值、第3時間長(D2)的第1亮度值、第4時間長(D3)的第2亮度值的順序,出現各個亮度值,發送步驟在調整第1~4時間長(D0~3)之各時間長的參數yk(k=0、1、2、3)的總和為第3預定值以下時,按照Dk=W0+W1×yk(W0、W1為預定常數),來決定前述第1~4時間長(D0~3)。
藉此,可如圖363(b)所示,一面使第1~4時間長D0~D3的各時間長維持在W0以上,一面對應於訊號來生成短波形的酬載。
又,參數yk(k=0、1、2、3)的總和為第3預定值以下時,發送步驟亦可依前述資料、前述前文、前述酬載的順序發送。
藉此,可如圖363(b)所示,將包含資料(亦即無效資料)的可見光訊號的封包不包含L資料部一事,藉由該資料通知接收該封包的接收裝置。
又,也可以是,當調整第1~4時間長(D0~3)之各時間長的參數yk(k=0、1、2、3)的總和大於第3預定值時,按照D0=W0+W1×(A-y0) D1=W0+W1×(B-y1) D2=W0+W1×(A-y2) D3=W0+W1×(B-y3)(W0、W1、A、B為預定常數),來決定第1~4時間長(D0~3)。
藉此,可如圖363(a)所示,一面使第1~4時間長D0~D3(亦即第1~4時間長D'0~D'3)的各時間長維持在W0以上,即使上述總和大,仍一面對應於訊號來生成短波形的酬載。
又,調整第1~4時間長(D0~3)之各時間長的參數yk(k=0、1、2、3)的總和大於第3預定值時,發送步驟亦可依酬載、前文、資料的順序發送。
藉此,可如圖363(a)所示,將包含資料(亦即無效資料)的可見光訊號的封包不包含R資料部一事,藉由該資料通知接收該封包的接收裝置。
又,發光體亦可具有包含紅色光源、藍色光源、綠色光源的複數個光源,而發送步驟僅利用複數個光源中的紅色光源來發送可見光訊號。
藉此,發光體可利用紅色光源、藍色光源及綠色光源來顯示影像,並且可發送波長為接收裝置所容易接收的可見光訊號。
此外,這些總括性的或者具體的態樣可以由裝置、系統、方法、積體電路、電腦程式或者電腦可讀取的CD-ROM等記錄媒體實現,也可以由裝置、系統、方法、 積體電路、電腦程式或者記錄媒體的任意的組合來實現。
以下,一邊參照附圖一邊對實施形態具體地進行說明。
此外,以下說明的實施形態都是表示總括的或具體的例子。在以下的實施形態中表示的數值、形狀、材料、構成要件、構成要件的配置位置及連接形態、步驟、步驟的順序等是一例,並不是限定本發明的意思。此外,關於以下的實施形態的構成要件中的、在表示最上位概念的獨立請求項中沒有記載的構成要件,是設為任意的構成要件進行說明。
(實施形態1)
以下,對實施形態1進行說明。
(發光部的亮度的觀測)
提出了一種在拍攝1張圖像時、不是使全部的拍攝元件在相同的時間點曝光、而是按照每個拍攝元件在不同的時刻開始/結束曝光的拍攝方法。圖1是使排列為1列的拍攝元件同時曝光、按照列從近到遠的順序將曝光開始時刻錯開而拍攝的情況下的例子。在此,是稱作同時曝光的拍攝元件的曝光線,並將與該拍攝元件對應的圖像上的畫素的線稱作明線。
在使用該拍攝方法將正在閃爍的光源照在拍攝元件的整面上並拍攝的情況下,如圖2那樣,在拍攝圖像上會產生沿著曝光線的明線(畫素值的明暗的線)。藉由辨識該明線的圖案,能夠推測超過拍攝幀率的速度的 光源亮度變化。藉此,藉由將訊號作為光源亮度的變化而發送,能夠進行拍攝幀率以上的速度的通訊。在藉由光源取2種亮度值來表現訊號的情況下,將較低的亮度值稱作低(LO),將較高的亮度值稱作高(HI)。低可以是光源不發光的狀態,也可以是與高相比較弱地發光。
藉由該方法,以超過拍攝幀率的速度進行資訊的傳送。
在一張拍攝圖像中,曝光時間不重疊的曝光線有20線,當拍攝的幀率為30fps時,能夠辨識1.67毫秒週期的亮度變化。在曝光時間不重疊的曝光線有1000線的情況下,能夠辨識3萬分之1秒(約33微秒)週期的亮度變化。另外,曝光時間例如設定得比10毫秒短。
圖2表示一個曝光線的曝光完成後開始下個曝光線的曝光的情況。
在此情況下,當每1秒的幀數(幀率)為f、構成1圖像的曝光線數為l時,如果根據各曝光線是否受光一定以上的光來傳送資訊,則最大能夠以每秒f1位元的速度傳送資訊。
另外,在不是按照線、而是按照畫素以時間差進行曝光的情況下,能夠更高速地進行通訊。
此時,在每曝光線的畫素數是m畫素、藉由各畫素是否受光一定以上的光來傳送資訊的情況下,傳送速度最大為每秒flm位元。
如圖3那樣,如果能夠用多個等級辨識由發 光部的發光帶來的各曝光線的曝光狀態,則藉由將發光部的發光時間以比各曝光線的曝光時間短的單位的時間來控制,能夠傳送更多的資訊。
在能夠以Elv個階段辨識曝光狀態的情況下,最大能夠以每秒flElv位元的速度傳送資訊。
此外,藉由在與各曝光線的曝光的時間點稍稍錯開的時間點使發光部發光,能夠辨識發訊的基本週期。
圖4表示在一個曝光線的曝光完成之前開始下個曝光線的曝光的情況。即,為相鄰的曝光線的曝光時間具有部分的時間上重疊的結構。藉由這樣的結構,(1)與等待一個曝光線的曝光時間的結束而開始下個曝光線的曝光的情況相比,能夠使規定的時間內的樣本數變多。藉由規定時間內的樣本數變多,能夠將作為被攝體的光發送機產生的光訊號更適當地檢測到。即,能夠降低檢測光訊號時的錯誤率。進而,(2)與等待一個曝光線的曝光時間的結束而開始下個曝光線的曝光的情況相比,能夠使各曝光線的曝光時間變長,所以即使在被攝體較暗的情況下,也能夠取得更明亮的圖像。即,能夠使S/N比提高。此外,不需要是在全部的曝光線中相鄰的曝光線的曝光時間具有部分的時間上的重疊的結構,也可以是一部分的曝光線不具有部分的時間上的重疊的結構。藉由做成一部分的曝光線不具有部分的時間上的重疊的結構,能夠抑制拍攝畫面上的因曝光時間的重疊帶來的中間色的發生,能夠更適當地檢測明線。
在此情況下,根據各曝光線的明亮程度計算曝光時間,辨識發光部的發光狀態。
另外,在藉由亮度是否是閾值以上的2值而判別各曝光線的明亮程度的情況下,為了辨識不發光的狀態,發光部必須將不發光的狀態持續各線的曝光時間以上的時間。
圖5A表示在各曝光線的曝光開始時刻相等的情況下、因曝光時間的差異帶來的影響。7500a是前個曝光線的曝光結束時刻與下個曝光線的曝光開始時刻相等的情況,7500b是與其相比曝光時間更長的情況。藉由如7500b那樣做成相鄰的曝光線的曝光時間具有部分的時間上的重疊的結構,能夠較長地取得曝光時間。即,向拍攝元件入射的光增大,能夠得到明亮的圖像。此外,藉由將用來拍攝相同的明亮度的圖像的拍攝感光度降低,能夠得到雜訊較少的圖像,所以通訊錯誤被抑制。
圖5B表示在曝光時間相等的情況下、因各曝光線的曝光開始時刻的差異帶來的影響。7501a是前個曝光線的曝光結束時刻與下個曝光線的曝光開始時刻相等的情況,7501b是比前個曝光線的曝光結束更早地開始下個曝光線的曝光的情況。藉由如7501b那樣做成相鄰的曝光線的曝光時間具有部分的時間上的重疊的結構,能夠增加每單位時間能夠曝光的線。藉此,解析度變得更高,能夠得到較多的資訊量。樣本間隔(=曝光開始時刻的差)變密,所以能夠更正確地推測光源亮度的變化,能夠降低錯 誤率,進而能夠辨識更短的時間中的光源亮度的變化。藉由使曝光時間具有重疊,能夠利用相鄰的曝光線的曝光量的差來辨識比曝光時間短的光源的閃爍。
另外,在上述的樣本數少的情況下,也即是當樣本間隔(圖5B所示的時間差tD)長時,無法正確地檢測光源亮度的變化的可能性變高。該情況下,藉由縮短曝光時間,能夠抑制該可能性。也即是,能夠正確地檢測光源亮度的變化。另外,希望曝光時間滿足曝光時間>(樣本間隔-脈衝寬度)。脈衝寬度是光源的亮度為High的期間即光的脈衝寬度。藉此,能夠適當地檢測High的亮度。
如在圖5A、圖5B中說明那樣,在將各曝光線依次曝光以使相鄰的曝光線的曝光時間具有部分的時間上的重疊的結構中,藉由將曝光時間設定得比一般攝影模式短,並將由此產生的明線圖案用於訊號傳送,能夠使通訊速度飛躍性地提高。在此,藉由將可見光通訊時的曝光時間設定為1/480秒以下,能夠產生適當的明線圖案。在此,如果設幀頻率=f,則需要設定為曝光時間<1/8×f。在攝影時產生的消隱(blanking)最大為1幀的一半的大小。即,由於消隱時間是攝影時間的一半以下,所以實際的攝影時間在最短的時間下成為1/2f。進而,由於在1/2f的時間內需要接受4值的資訊,所以至少需要曝光時間比1/(2f×4)短。由於一般幀率是60幀/秒以下,所以藉由設定為1/480秒以下的曝光時間,能夠使圖像資料產生適當的明線圖案,進行高速的訊號傳送。
圖5C表示在各曝光線的曝光時間不重疊的情況下、曝光時間較短的情況下的優點。在曝光時間較長的情況下,即使光源如7502a那樣進行2值的亮度變化,在拍攝圖像中也會如7502e那樣形成中間色的部分,有難以辨識光源的亮度變化的傾向。但是,藉由如7502d那樣,設定為在一個曝光線的曝光結束後、在下個曝光線的曝光開始前設置有預定的不曝光的閒置時間(預定的等待時間)tD2的結構,能夠使光源的亮度變化變得容易辨識。即,如7502f那樣,能夠檢測更適當的明線圖案。如7502d那樣設置有預定的不曝光的閒置時間的結構,可以藉由使曝光時間tE比各曝光線的曝光開始時刻的時間差tD小來實現。在一般攝影模式是相鄰的曝光線的曝光時間具有部分的時間上的重疊的結構的情況下,可以藉由將曝光時間設定得與一般攝影模式時相比短到產生預定的不曝光的閒置時間來實現。此外,即使一般攝影模式是前個曝光線的曝光結束時刻與下個曝光線的曝光開始時刻相等的情況,也可以藉由將曝光時間設定得較短直到產生預定的不曝光的時間來實現。此外,藉由如7502g那樣使各曝光線的曝光開始時刻的間隔tD變大,也能夠採用在一個曝光線的曝光結束後、在下個曝光線的曝光開始前設置有預定的不曝光的閒置時間(預定的等待時間)tD2的結構。在該結構中,由於能夠使曝光時間變長,所以能夠拍攝明亮的圖像,由於雜訊變少,所以容錯性較高。另一方面,在該結構中,由於在一定時間內能夠曝光的曝光線變少,所以如7502h那樣 具有樣本數變少的缺點,所以希望根據狀況而區分使用。例如,藉由在拍攝物件較明亮的情況下使用前者的結構、在較暗的情況下使用後者的結構,能夠降低光源亮度變化的推測誤差。
另外,不需要在全部的曝光線中,相鄰的曝光線的曝光時間都具有部分的時間上的重疊,也可以是一部分的曝光線不具有部分的時間上的重疊。此外,不需要在全部的曝光線中、在一個曝光線的曝光結束後到下個曝光線的曝光開始之前都設置有預定的不曝光的閒置時間(預定的等待時間),也可以是一部分的曝光線具有部分的時間上的重疊。藉由做成這樣的結構,能夠發揮各自的結構中的優點。此外,在以一般的幀率(30fps,60fps)進行攝影的一般攝影模式和以進行可見光通訊的1/480秒以下的曝光時間進行攝影的可見光通訊模式中,也可以藉由相同的讀出方法或電路進行訊號的讀出。藉由用相同的讀出方法或電路將訊號讀出,不再需要對一般攝影模式和可見光通訊模式使用分別不同的電路,能夠使電路規模變小。
圖5D表示光源亮度的最小變化時間tS、曝光時間tE、各曝光線的曝光開始時刻的時間差tD和拍攝圖像的關係。在設為tE+tD<tS的情況下,一個以上的曝光線從曝光的開始到結束為止必定以光源不變化的狀態拍攝,所以如7503d那樣能夠得到亮度清晰的圖像,容易辨識光源的亮度變化。在設為2tE>tS的情況下,有時能夠得到與光 源的亮度變化不同樣式的明線,難以根據拍攝圖像辨識光源的亮度變化。
圖5E表示光源亮度的變遷時間tT和各曝光線的曝光開始時刻的時間差tD的關係。與tT相比,tD越大,成為中間色的曝光線越少,光源亮度的推測越容易。當tD>tT時,中間色的曝光線為連續的2線以下,是理想的。tT在光源是LED的情況下為1微秒以下,在光源是有機EL的情況下為5微秒左右,所以藉由使tD為5微秒以上,能夠使光源亮度的推測變容易。
圖5F表示光源亮度的高頻雜訊tHT與曝光時間tE的關係。與tHT相比,tE越大,拍攝圖像中高頻雜訊的影響越少,光源亮度的推測變容易。當tE為tHT的整數倍時,不再有高頻雜訊的影響,光源亮度的推測變得最容易。在光源亮度的推測中,理想的是tE>tHT。高頻雜訊的主要的原因來源於開關電源電路,在許多電燈用的開關電源中,由於tHT是20微秒以下,所以藉由使tE成為20微秒以上,能夠容易地進行光源亮度的推測。
圖5G是表示tHT為20微秒的情況下的曝光時間tE與高頻雜訊的大小的關係的曲線圖。考慮tHT根據光源而有偏差,根據曲線圖,tE是與雜訊量取極大時的值相等的值,如果設定為15微秒以上、35微秒以上、54微秒以上或74微秒以上,則能夠確認到效率較好。根據高頻雜訊降低的觀點,tE理想的是較大,但如前述那樣,在tE越小則越不易產生中間色部分這一點上,還具有光源亮度的推測 變容易的性質。因此,當光源亮度的變化的週期為15~35微秒時,tE理想的是設定為15微秒以上,當光源亮度的變化的週期為35~54微秒時,tE理想的是設定為35微秒以上,當光源亮度的變化的週期為54~74微秒時,tE理想的是設定為54微秒以上,當光源亮度的變化的週期為74微秒以上時,tE理想的是設定為74微秒以上。
圖5H表示曝光時間tE與識別成功率的關係。曝光時間tE相對於光源的亮度為一定的時間,具有相對性的意義,所以取將光源亮度呈變化的週期tS除以曝光時間tE的值(相對曝光時間)為橫軸。根據曲線圖可知,在想要使辨識成功率大致成為100%的情況下,只要將相對曝光時間設為1.2以下即可。例如,在設發送訊號為1kHz的情況下,只要將曝光時間設為約0.83毫秒以下即可。同樣,在想要使辨識成功率成為95%以上的情況下,只要使相對曝光時間為1.25以下即可,在想要使辨識成功率成為80%以上的情況下,只要使相對曝光時間為1.4以下即可。此外,由於在相對曝光時間1.5附近識別成功率急劇下降,在1.6大致成為0%,所以可知相對曝光時間應設定為不超過1.5。此外可知,辨識率在7507c成為0之後,在7507d或7507e、7507f再次上升。因此,在想要使曝光時間變長而拍攝明亮的圖像的情況下等,相對曝光時間只要利用從1.9到2.2、從2.4到2.6、從2.8到3.0的曝光時間即可。例如,可使用這些曝光時間作為中間模式。
圖6A是本實施形態的資訊通訊方法的流程 圖。
本實施形態的資訊通訊方法是從被攝體取得資訊的資訊通訊方法,包含步驟SK91~SK93。
即,該資訊通訊方法包括:第1曝光時間設定步驟SK91,設定影像感測器的第1曝光時間,以使得在由前述影像感測器對前述被攝體進行攝影而得到的圖像中,根據前述被攝體的亮度變化而產生與前述影像感測器中包含的多個曝光線對應的多個明線;第1圖像取得步驟SK92,前述影像感測器以設定的前述第1曝光時間對亮度呈變化的前述被攝體進行攝影,藉此取得包括前述多個明線的明線圖像;以及資訊取得步驟SK93,對由取得的前述明線圖像中包含的前述多個明線的圖案所特定出的資料進行解調,藉此取得資訊;在前述第1圖像取得步驟SK92中,前述多個曝光線各自依次在不同的時刻開始曝光,並且從與該曝光線相鄰的相鄰曝光線的曝光結束後起經過預定的閒置時間後,開始曝光。
圖6B是本實施形態的資訊通訊裝置的方塊圖。
本實施形態的資訊通訊裝置K90,是從被攝體取得資訊的資訊通訊裝置,具備構成要件K91~K93。
即,該資訊通訊裝置K90具備:曝光時間設定部K91,設定前述影像感測器的曝光時間,以使得在由影像感測器對前述被攝體進行攝影而得到的圖像中,根據前述被攝體的亮度變化而產生與前述影像感測器中包含的 多個曝光線對應的多個明線;圖像取得部K92,具有前述影像感測器,該影像感測器以設定的前述曝光時間對亮度呈變化的前述被攝體進行攝影,由此取得包括前述多個明線的明線圖像;以及資訊取得部K93,對由取得的前述明線圖像中包含的前述多個明線的圖案所特定出的資料進行解調,藉此取得資訊;前述多個曝光線分別依次在不同的時刻開始曝光,並且從與該曝光線相鄰的相鄰曝光線的曝光結束後起經過預定的閒置時間後,開始曝光。
在這樣的圖6A及圖6B所示的資訊通訊方法及資訊通訊裝置K90中,例如圖5C等所示,多個曝光線分別從與該曝光線相鄰的相鄰曝光線的曝光結束後起經過預定的閒置時間後開始曝光,因此能夠容易地辨識被攝體的亮度變化。結果,能夠適當地從被攝體取得資訊。
另外,在前述實施形態中,各構成要件也可以由專用的硬體構成、或藉由執行適合各構成要件的軟體程式來實現。各構成要件也可以藉由CPU或處理器等的程式執行部將記錄在硬碟或半導體記憶體等的記錄媒體中的軟體程式讀出並執行來實現。例如,程式使電腦執行由圖6A的流程圖所示的資訊通訊方法。
(實施形態2)
在本實施形態中,是對使用作為上述實施形態1之資訊通訊裝置K90的智慧型手機等接收機、和以LED或有機EL等光源的閃爍樣式而發送資訊的發送機之各應用例進行說明。
另外,在以下的說明中,將一般攝影模式或一般攝影模式下的攝影稱作一般攝影,將可見光通訊模式或可見光通訊模式下的攝影稱作可見光攝影(可見光通訊)。此外,也可以代替一般攝影及可見光攝影而使用中間模式的攝影,也可以代替後述的合成圖像而使用中間圖像。
圖7是表示本實施形態的接收機的攝影動作的一例的圖。
接收機8000將攝影模式如一般攝影、可見光通訊、一般攝影、...那樣切換。並且,接收機8000藉由將一般攝影圖像與可見光通訊圖像合成,生成鮮明地顯現明線圖樣、被攝體及其周圍的合成圖像,將該合成圖像顯示在顯示器上。該合成圖像是藉由在一般攝影圖像中的發送了訊號的部位疊加可見光通訊圖像的明線圖樣而生成的圖像。此外,由該合成圖像顯現的明線圖樣、被攝體及其周圍分別是鮮明的,具有對於使用者而言可充分辨識的鮮明度。藉由顯示這樣的合成圖像,使用者能夠更明確地知道從哪裡或哪個位置發送了訊號。
圖8是表示本實施形態的接收機的攝影動作的另一例的圖。
接收機8000具備相機Ca1及相機Ca2。在這樣的接收機8000中,相機Ca1進行一般攝影,相機Ca2進行可見光攝影。藉此,相機Ca1取得前述那樣的一般攝影圖像,相機Ca2取得前述那樣的可見光通訊圖像。並且, 接收機8000藉由將一般攝影圖像及可見光通訊圖像合成,生成前述合成圖像,並顯示在顯示器上。
圖9表示本實施形態的接收機的攝影動作的另一例的圖。
在具有2個相機的前述接收機8000中,相機Ca1將攝影模式如一般攝影、可見光通訊、一般攝影、...那樣切換。另一方面,相機Ca2持續進行一般攝影。並且,當由相機Ca1和相機Ca2同時進行一般攝影時,接收機8000根據由這些相機取得的一般攝影圖像,利用立體視(三角測量的原理),推測從接收機8000到被攝體的距離(以下稱作被攝體距離)。藉由使用這樣推測出的被攝體距離,接收機8000能夠將可見光通訊圖像的明線圖樣疊加到一般攝影圖像的適當的位置。即,能夠生成適當的合成圖像。
圖10是表示本實施形態的接收機的顯示動作的一例的圖。
接收機8000如上述那樣,將攝影模式如可見光通訊、一般攝影、可見光通訊、...那樣切換。在此,接收機8000在最初進行可見光通訊時將應用程式起動。並且,接收機8000基於藉由可見光通訊接收到的訊號,推測自己的位置。接著,接收機8000在進行一般攝影時,在藉由該一般攝影取得的一般攝影圖像中顯示AR(Augmented Reality)資訊。該AR資訊是基於如前述那樣推測出的位置等而取得的資訊。此外,接收機8000基於 9軸感測器的檢測結果及一般攝影圖像的運動檢測等,推測接收機8000的移動及方向的變化,與該推測出的移動及方向的變化相應地使AR資訊的顯示位置移動。藉此,能夠使AR資訊追隨於一般攝影圖像的被攝體像。
此外,接收機8000如果將攝影模式從一般攝影切換為可見光通訊,則在該可見光通訊時,會將AR資訊疊加到在緊接著之前的一般攝影時取得的最新的一般攝影圖像上。並且,接收機8000將疊加了AR資訊的一般攝影圖像顯示。此外,接收機8000與一般攝影時同樣,基於9軸感測器的檢測結果,推測接收機8000的移動及方向的變化,與該推測出的移動及方向的變化相應地使AR資訊及一般攝影圖像移動。藉此,在可見光通訊時,也與一般攝影時同樣,能夠與接收機8000的移動等相應地使AR資訊追隨於一般攝影圖像的被攝體像。此外,能夠與接收機8000的移動等相應地將該一般圖像放大及縮小。
圖11是表示本實施形態的接收機的顯示動作的一例的圖。
例如,接收機8000也可以如圖11的(a)所示,顯示拍出明線圖樣的上述合成圖像。此外,接收機8000也可以如圖11的(b)所示,藉由代替明線圖樣而將用來通知發送了訊號的具有預定顏色的圖像、即訊號明示物件疊加到一般攝影圖像中,而生成合成圖像,並顯示該合成圖像。
此外,接收機8000也可以如圖11的(c)所 示那樣,顯示發送了訊號的部位用虛線的框和識別碼(例如,ID:101、ID:102等)表示的一般攝影圖像作為合成圖像。此外,接收機8000也可以如圖11的(d)所示,藉由代替明線圖樣而將用來通知發送了特定種類的訊號的具有預定顏色的圖像、即訊號識別物件疊加到一般攝影圖像中,而生成合成圖像,並顯示該合成圖像。在此情況下,該訊號識別物件的顏色是根據從發送機輸出的訊號的種類而不同。例如,在從發送機輸出的訊號是位置資訊的情況下,疊加紅色的訊號識別物件,在從發送機輸出的訊號是優惠券的情況下,疊加綠色的訊號識別物件。
圖12是表示本實施形態的接收機的動作的一例的圖。
例如,接收機8000也可以在藉由可見光通訊接收到訊號的情況下顯示一般攝影圖像,並輸出用來通知使用者發現了發送機的聲音。在此情況下,接收機8000也可以根據發現的發送機的個數、接收到的訊號的種類或由該訊號特定出的資訊的種類等,使輸出的聲音的種類、輸出次數或輸出時間不同。
圖13是表示本實施形態的接收機的動作的另一例的圖。
例如,如果使用者觸碰合成圖像中顯現的明線圖樣,則接收機8000基於從與該觸碰的明線圖樣對應的從被攝體發送的訊號來生成資訊通知圖像,並顯示該資訊通知圖像。該資訊通知圖像例如表示店鋪的優惠券或場所 等。另外,明線圖樣也可以是圖11所示的訊號明示物件、訊號識別物件或虛線框等。關於以下記載的明線圖樣也是同樣的。
圖14是表示本實施形態的接收機的動作的另一例的圖。
例如,如果使用者觸碰合成圖像上顯現的明線圖樣,則接收機8000基於與該觸碰的明線圖樣對應的從被攝體發送的訊號來生成資訊通知圖像,並顯示該資訊通知圖像。該資訊通知圖像例如用地圖等表示接收機8000的當前地。
圖15是表示本實施形態的接收機的動作的另一例的圖。
例如,如果使用者對顯示有合成圖像的接收機8000進行滑動,則接收機8000顯示與圖11的(c)所示的一般攝影圖像同樣的具有虛線框及識別碼的一般攝影圖像,並以追隨於滑動操作的方式顯示資訊的一覽。在該一覽中,顯示有藉由從各識別碼表示的部位(發送機)發送的訊號特定出的資訊。此外,滑動例如也可以是從接收機8000中的顯示器的右側的外側向中間移動手指的操作。另外,滑動也可以是從顯示器的上側、下側或左側向中間移動手指的操作。
此外,如果由使用者對該一覽中包含的資訊點擊,則接收機8000顯示更詳細地表示該資訊的資訊通知圖像(例如表示優惠券的圖像)。
圖16是表示本實施形態的接收機的動作的另一例的圖。
例如,如果使用者對顯示有合成圖像的接收機8000進行滑動,則接收機8000以追隨於滑動操作的方式將資訊通知圖像疊加在合成圖像上而顯示。該資訊通知圖像是將被攝體距離與箭頭一起向使用者容易理解地表示的圖像。此外,滑動例如也可以是從接收機8000的顯示器的下側的外側向中間移動手指的操作。另外,滑動也可以是從顯示器的左側、上側或右側向中間移動手指的操作。
圖17是表示本實施形態的接收機的動作的另一例的圖。
例如,接收機8000將表示多個店鋪的作為標牌(signage)的發送機作為被攝體攝影,並顯示由該攝影取得的一般攝影圖像。在此,如果使用者點擊一般攝影圖像中所拍到的被攝體中包含的1個店鋪的標牌的圖像,則接收機8000基於從該店鋪的標牌發送的訊號生成資訊通知圖像,並顯示該資訊通知圖像8001。該資訊通知圖像8001例如是表示店鋪的空席狀況等的圖像。
圖18是表示本實施形態的接收機、發送機和伺服器的動作的一例的圖。
首先,構成為電視機的發送機8012藉由亮度變化向接收機8011發送訊號。該訊號例如包括用來向使用者提醒與正在視聽的節目關聯的內容的購買之資訊。接收機8011如果藉由可見光通訊接收到該訊號,則基於該訊 號,顯示向使用者提醒內容的購買之資訊通知圖像。如果使用者進行用來購買該內容的操作,則接收機8011將插入在接收機8011中的SIM(Subscriber Identity Module)卡中包含的資訊、使用者ID、終端ID、信用卡資訊、用於收費的資訊、密碼及發送機ID中的至少1個向伺服器8013發送。伺服器8013按照每個使用者將使用者ID和支付資訊建立聯繫而管理。並且,伺服器8013基於從接收機8011發送的資訊特定出使用者ID,確認與該使用者ID建立了聯繫的支付資訊。藉由該確認,伺服器8013判斷是否對使用者許可內容的購買。並且,伺服器8013如果判斷為許可,則向接收機8011發送許可資訊。接收機8011如果接收到許可資訊,則向發送機8012發送該許可資訊。接收到許可資訊的發送機8012例如經由網路取得並再生該內容。
此外,發送機8012也可以藉由亮度變化將包含發送機8012的ID的資訊對接收機8011發送。在此情況下,接收機8011將該資訊向伺服器8013發送。伺服器8013如果取得該資訊,則能夠判斷為正在由該發送機8012視聽例如電視節目,能夠進行電視節目的視聽率調查。
此外,接收機8011藉由將由使用者操作的內容(投票等)包含在前述資訊中向伺服器8013發送,伺服器8013能夠將該內容反映到電視節目中。即,能夠實現視聽者參加型的節目。進而,接收機8011在受理了使用者的寫入的情況下,藉由將該寫入的內容包含在前述資訊中向伺服器8013發送,伺服器8013能夠將該寫入反映到電視節 目或網路上的公告板等上。
進而,藉由發送機8012發送上述那樣的資訊,伺服器8013能夠對付費播放或隨選程式的電視節目之視聽進行收費。此外,伺服器8013可以對接收機8011顯示廣告,或顯示在發送機8012上顯示的電視節目的詳細資訊,或顯示表示該詳細資訊的網站的URL。進而,伺服器8013藉由取得由接收機8011顯示了廣告的次數、或透過該廣告購買的商品的金額等,能夠對廣告主進行與該次數或金額對應的收費。這樣的基於金額的收費,即使看到了廣告的使用者不立即購買該商品也能夠進行。此外,伺服器8013從發送機8012經由接收機8011取得了表示發送機8012的生產商的資訊時,能夠對透過該資訊而表示的生產商進行服務(例如對於上述商品的銷售的報酬的支付)。
圖19是表示本實施形態的接收機的動作的另一例的圖。
接收機8030例如構成為具備相機的頭戴式顯示器。當開始按鈕被按下時,該接收機8030開始進行基於可見光通訊模式的攝影、即可見光通訊。並且,在藉由可見光通訊接收到訊號的情況下,接收機8030將與該接收到的訊號對應的資訊向使用者通知。該通知例如藉由從接收機8030所具備的揚聲器輸出聲音來進行、或藉由圖像的顯示來進行。此外,除了在開始按鈕被按下時以外,也可以在指示開始的聲音的輸入被接收機8030受理時、或指示開始的訊號被接收機8030以無線通訊接收到時開始可見 光通訊。此外,也可以在接收機8030所具備的9軸感測器得到的值的變化幅度超過預定的範圍時、或在一般攝影圖像中稍稍出現了明線圖樣時開始可見光通訊。
圖20是表示本實施形態的接收機的動作的另一例的圖。
接收機8030與上述同樣地顯示合成圖像8034。在此,使用者進行移動指尖的操作,以將合成圖像8034中的明線圖樣圍起。接收機8030如果受理了該操作,則特定出作為該操作之對象的明線圖樣,顯示基於從與該明線圖樣對應的部位發送的訊號的資訊通知圖像8032。
圖21是表示本實施形態的接收機的動作的另一例的圖。
接收機8030與上述同樣地顯示合成圖像8034。在此,使用者進行將指尖以預先決定的時間以上抵按在合成圖像8034中的明線圖樣上的操作。接收機8030如果受理了該操作,則特定出作為該操作之對象的明線圖樣,顯示基於從與該明線圖樣對應的部位發送的訊號的資訊通知圖像8032。
圖22是表示本實施形態的發送機的動作的一例的圖。
發送機以例如預先決定的週期將訊號1和訊號2交替地發送。訊號1的發送和訊號2的發送分別藉由可見光的閃爍等的亮度變化進行。此外,用來發送訊號1的亮度變化的樣式和用來發送訊號2的亮度變化的樣式相互 不同。
圖23是表示本實施形態的發送機的動作的另一例的圖。
發送機如上述那樣,將包括區塊1、區塊2及區塊3的結構單位的訊號列反覆發送時,也可以按照每個訊號列來變更該訊號列中包含的區塊的配置。例如,在最初的訊號列中,以區塊1、區塊2、區塊3的順序配置各區塊,在下個訊號列中,以區塊3、區塊1、區塊2的順序配置各區塊。藉此,能夠避免需要週期性的消隱期間的接收機僅取得相同的區塊。
圖24是表示本實施形態的接收機的應用例的圖。
例如構成為智慧型手機的接收機7510a是用後相機(外相機)7510c將光源7510b拍攝,接收從光源7510b發送的訊號,根據接收到的訊號取得光源7510b的位置和方向。接收機7510a根據光源7510b的拍攝圖像中的拍攝方式及接收機7510a具備的9軸感測器的感測值,推測接收機7510a自身的位置和方向。接收機7510a用前相機(面部相機、內相機)7510f對使用者7510e進行拍攝,藉由影像處理推測7510e的頭部的位置和方向、及視線方向(眼球的位置和方向)。接收機7510a將推測結果向伺服器發送。接收機7510a根據使用者7510e的視線方向而變更行為(顯示器的顯示內容及再生音)。藉由後相機7510c的拍攝和藉由前相機7510f的拍攝既可以同時進行,也可 以交替地進行。
圖25是表示本實施形態的接收機的動作的另一例的圖。
接收機藉由上述那樣的合成圖像或中間圖像等來顯示明線圖樣。此時,接收機也可以不能接收與該明線圖樣對應的來自發送機的訊號。在此,如果使用者藉由進行對明線圖樣的操作(例如點擊)而選擇該明線圖樣,則接收機藉由進行光學變焦,顯示該明線圖樣的部位被放大的合成圖像或中間圖像。藉由進行這樣的光學變焦,接收機能夠將與該明線圖樣對應的來自發送機的訊號適當地接收。即,即使藉由拍攝得到的圖像過小而不能取得訊號,藉由進行光學變焦,也能夠將該訊號適當地接收。此外,即使是顯示有能夠取得訊號的大小的圖像的情況,藉由進行光學變焦,也能夠進行較快的接收。
(本實施形態的總結)
本實施形態的資訊通訊方法,是從被攝體取得資訊的資訊通訊方法,包括:第1曝光時間設定步驟,設定影像感測器的曝光時間,使得在藉由前述影像感測器對前述被攝體的攝影而得到的圖像中,根據前述被攝體的亮度變化而產生與前述影像感測器中包含的曝光線對應的明線;明線圖像取得步驟,藉由前述影像感測器將亮度呈變化的前述被攝體以設定的前述曝光時間進行攝影,而取得作為包含前述明線的圖像的明線圖像;圖像顯示步驟,基於前述明線圖像,以能夠識別前述明線的部位出現的空間位置的 態樣,顯示拍到前述被攝體和該被攝體的周圍的顯示用圖像;及資訊取得步驟,藉由對由取得的前述明線圖像中包含的前述明線的圖案所特定出的資料進行解調,而取得發送資訊。
例如,將圖7、圖8及圖11所示那樣的合成圖像或中間圖像作為顯示用圖像顯示。此外,在拍到被攝體和該被攝體的周圍的顯示用圖像中,出現明線的部位的空間位置是藉由明線圖樣、訊號明示物件、訊號識別物件或虛線框等而識別。因而,使用者藉由觀察這樣的顯示圖像,能夠容易地找出藉由亮度變化來發送訊號的被攝體。
此外,也可以是,前述資訊通訊方法還包括:第2曝光時間設定步驟,設定比前述曝光時間長的曝光時間;一般圖像取得步驟,藉由前述影像感測器將前述被攝體和該被攝體的周圍以前述較長的曝光時間進行攝影,而取得一般攝影圖像;及合成步驟,基於前述明線圖像特定出在前述一般攝影圖像中出現前述明線的部位,並藉由將作為指示前述部位的圖像的訊號物件疊加到前述一般攝影圖像上,而生成合成圖像;在前述圖像顯示步驟中,亦可將前述合成圖像作為前述顯示用圖像顯示。
例如,訊號物件是明線圖樣、訊號明示物件、訊號識別物件或虛線框等,如圖7、圖8及圖11所示,顯示合成圖像作為顯示用圖像。藉此,使用者能夠更容易地找到藉由亮度變化來發送訊號的被攝體。
此外,也可以是,在前述第1曝光時間設定 步驟中,將曝光時間設定為1/3000秒;在前述明線圖像取得步驟中,取得拍到前述被攝體體的周圍的前述明線圖像;在前述圖像顯示步驟中,將前述明線圖像作為前述顯示用圖像顯示。
例如,取得明線圖像作為中間圖像並顯示。因而,不需要進行取得一般攝影圖像和可見光通訊圖像並合成等的處理,能夠實現處理的簡略化。
此外,也可以是,前述影像感測器包括第1影像感測器和第2影像感測器;在前述一般圖像取得步驟中,藉由前述第1影像感測器進行攝影而取得前述一般攝影圖像;在前述明線圖像取得步驟中,藉由前述第2影像感測器與前述第1影像感測器的攝影同時地進行攝影,而取得前述明線圖像。
例如,如圖8所示,將一般攝影圖像和作為明線圖像的可見光通訊圖像藉由各自的相機取得。因而,與用1個相機取得一般攝影圖像和可見光通訊圖像的情況相比,能夠更快地取得這些圖像,能夠使處理高速化。
此外,也可以是,前述資訊通訊方法還包括:資訊提示步驟,在藉由使用者的操作指定了前述顯示用圖像中的前述明線出現的部位的情況下,提示以從指定的部位的前述明線的圖案取得的前述發送資訊為基礎的提示資訊。例如,前述使用者的操作,是點擊、滑動、將指尖持續預定的時間以上抵按在前述部位上的操作;持續預定的時間以上使視線朝向前述部位的狀態的操作;將前述 使用者的身體的一部分朝向與前述部位相關聯而表示的箭頭進行移動的操作;將亮度呈變化的筆尖抵按在前述部位上的操作;或藉由觸碰接觸感測器而使顯示在前述顯示用圖像上的指標對準前述部位的操作。
例如,如圖13~圖17、圖20以及圖21所示,將提示資訊作為資訊通知圖像顯示。藉此,能夠向使用者提示希望的資訊。
此外,也可以是,前述影像感測器被裝備在頭戴式顯示器上;在前述圖像顯示步驟中,搭載在前述頭戴式顯示器上的投影機顯示前述顯示用圖像。
藉此,例如如圖19~圖21所示,能夠簡單地向使用者提示資訊。
此外,也可以是從被攝體取得資訊的資訊通訊方法,包括:第1曝光時間設定步驟,設定影像感測器的曝光時間,使得在藉由前述影像感測器對前述被攝體的攝影而得到的圖像中,根據前述被攝體的亮度變化而產生與前述影像感測器中包含的曝光線對應的明線;明線圖像取得步驟,藉由前述影像感測器將亮度呈變化的前述被攝體以設定的前述曝光時間進行攝影,而取得作為包含前述明線的圖像的明線圖像;及資訊取得步驟,藉由對由取得的前述明線圖像中包含的前述明線的圖案所特定出的資料進行解調,而取得資訊;在前述明線圖像取得步驟中,藉由在前述影像感測器被移動的期間中對多個前述被攝體進行攝影,而取得包含多個前述明線出現的部位的前述明線 圖像;在前述資訊取得步驟中,按照每個前述部位,將由該部位的前述明線的圖案所特定出的資料進行解調,藉此取得多個前述被攝體各自的位置;前述資訊通訊方法還包括基於所取得的多個前述被攝體各自的位置及前述影像感測器的移動狀態來推測前述影像感測器的位置的位置推測步驟。
藉此,根據多個照明等的被攝體的亮度變化,能夠正確地推測包含有影像感測器的接收機的位置。
此外,也可以是從被攝體取得資訊的資訊通訊方法,包括:第1曝光時間設定步驟,設定影像感測器的曝光時間,使得在藉由前述影像感測器對前述被攝體的攝影而得到的圖像中,根據前述被攝體的亮度變化而產生與前述影像感測器中包含的曝光線對應的明線;明線圖像取得步驟,藉由前述影像感測器將亮度呈變化的前述被攝體以設定的前述曝光時間進行攝影,而取得作為包含前述明線的圖像的明線圖像;資訊取得步驟,藉由將由取得的前述明線圖像中包含的前述明線的圖案所特定出的資料進行解調,而取得資訊;及資訊提示步驟,提示取得的前述資訊;在前述資訊提示步驟中,將提醒預先決定的手勢的圖像作為前述資訊對前述影像感測器的使用者提示。
藉此,能夠根據使用者是否進行被提醒的手勢,來進行對該使用者的認證等,能夠提高方便性。
此外,也可以是從被攝體取得資訊的資訊通訊方法,包括:曝光時間設定步驟,設定影像感測器的曝 光時間,使得在藉由前述影像感測器對前述被攝體的攝影而得到的圖像中,根據前述被攝體的亮度變化而產生與前述影像感測器中包含的曝光線對應的明線;圖像取得步驟,藉由前述影像感測器將亮度呈變化的前述被攝體以設定的前述曝光時間進行攝影,而取得包含前述明線的圖像;資訊取得步驟,藉由對由取得的前述明線圖像中包含的前述明線的圖案所特定出的資料進行解調,而取得資訊;在前述圖像取得步驟中,藉由將映在反射面上的多個前述被攝體進行攝影而取得前述明線圖像;在前述資訊取得步驟中,根據前述明線圖像中包含的明線的強度,將前述明線分離為與多個前述被攝體分別對應的明線,並按照每個前述被攝體,將由與該被攝體對應的明線的圖案所特定出的資料進行解調,藉此取得資訊。
藉此,即使是多個照明等的被攝體分別發生亮度變化的情況,也能夠從被攝體分別取得適當的資訊。
此外,也可以是從被攝體取得資訊的資訊通訊方法,包括:曝光時間設定步驟,設定影像感測器的曝光時間,使得在藉由前述影像感測器對前述被攝體的攝影而得到的圖像中,根據前述被攝體的亮度變化而產生與前述影像感測器中包含的曝光線對應的明線;圖像取得步驟,藉由前述影像感測器將亮度呈變化的前述被攝體以設定的前述曝光時間進行攝影,而取得包含前述明線的明線圖像;及資訊取得步驟,藉由對由取得的前述明線圖像中包含的前述明線的圖案所特定出的資料進行解調,而取得 資訊;在前述圖像取得步驟中,藉由將映在反射面上的多個前述被攝體進行攝影而取得前述明線圖像;前述資訊通訊方法還包括位置推測步驟,是基於前述明線圖像內的亮度分佈來推測前述被攝體的位置。
藉此,能夠基於亮度分佈推測適當的被攝體的位置。
此外,也可以是藉由亮度變化來發送訊號的資訊通訊方法,包括:第1決定步驟,藉由對發送對象的第1訊號進行調變,來決定亮度變化的第1樣式;第2決定步驟,藉由對發送對象的第2訊號進行調變,來決定亮度變化的第2樣式;及發送步驟,藉由發光體交替地進行所決定的按照前述第1樣式的亮度變化和所決定的按照前述第2樣式的亮度變化,來發送前述第1及第2訊號。
藉此,例如如圖22所示,能夠將第1訊號和第2訊號分別沒有延遲地發送。
此外,也可以是,在前述發送步驟中,當使亮度變化在按照前述第1樣式的亮度變化和按照前述第2樣式的亮度變化之間切換時,空出緩衝時間來切換。
藉此,能夠抑制第1訊號和第2訊號的干擾。
此外,也可以是藉由亮度變化來發送訊號的資訊通訊方法,包括:決定步驟,藉由對發送對象的訊號進行調變,來決定亮度變化的樣式;及發送步驟,藉由發光體按照所決定的前述樣式進行亮度變化,而發送前述發送對象的訊號;前述訊號由多個大區塊構成;前述多個大 區塊分別包括第1資料、與前述第1資料對應的前文、和與前述第1資料對應的檢驗訊號;前述第1資料由多個小區塊構成,前述小區塊包括第2資料、與前述第2資料對應的前文、和與前述第2資料對應的檢驗訊號。
藉此,不論是需要消隱期間的接收機、還是不需要消隱期間的接收機,都能夠適當地取得資料。
此外,也可以是藉由亮度變化來發送訊號的資訊通訊方法,包括:決定步驟,藉由多個發送機分別對發送對象的訊號進行調變,而決定亮度變化的樣式;及發送步驟,按照每個發送機,由該發送機中具備的發光體按照所決定的前述樣式而進行亮度變化,從而發送前述發送對象的訊號;在前述發送步驟中,發送頻率或協定相互不同的訊號。
藉此,能夠抑制來自多個發送機的訊號的干擾。
此外,也可以是藉由亮度變化來發送訊號的資訊通訊方法,包括:決定步驟,藉由多個發送機分別對發送對象的訊號進行調變,而決定亮度變化的樣式;及發送步驟,按照每個發送機,由該發送機中具備的發光體按照所決定的前述樣式而進行亮度變化,從而發送前述發送對象的訊號;在前述發送步驟中,前述多個發送機中的1個發送機是接收從另一方的發送機發送的訊號,並以不與接收到的訊號干擾的方式發送其它訊號。
藉此,能夠抑制來自多個發送機的訊號的干 擾。
(實施形態3)
在本實施形態中,是對使用上述實施形態1或2的智慧型手機等接收機、和以LED或有機EL等的閃爍樣式而發送資訊的發送機之各應用例進行說明。
圖26是表示實施形態3的接收機、發送機及伺服器的處理動作的一例的圖。
例如構成為智慧型手機的接收機8142取得表示自己的位置的位置資訊,將該位置資訊向伺服器8141發送。另外,接收機8142例如利用GPS等,在接收到其它訊號時取得其位置資訊。伺服器8141將與由該位置資訊表示的位置相對應的ID列表向接收機8142發送。在ID列表中,按照「abcd」等的ID,包括有該ID和與該ID相對應的資訊。
接收機8142例如從構成為照明機器的發送機8143接收訊號。此時,接收機8142有只能接收ID的一部分(例如「b」)作為前述訊號的情況。在此情況下,接收機8142從ID列表中檢索包括該ID的一部分的ID。在找不到唯一的ID的情況下,接收機8142還從發送機8143接收包括該ID的其它部分的訊號。藉此,接收機8142取得該ID中的更多的部分(例如「bc」)。並且,接收機8142從ID列表再次檢索包含該ID的一部分(例如「bc」)的ID。藉由進行這樣的檢索,接收機8142即使僅能夠取得ID的一部分,也能夠特定ID的全部。另外,接收機8142當從 發送機8143接收訊號時,不僅是ID的一部分,還接收CRC(Cyclic Redundancy Check)等的檢驗部分等。
圖27是表示實施形態3的發送機及接收機的動作的一例的圖。
例如構成為電視機的發送機8165從控制部8166取得圖像、和與該圖像相對應的ID(ID 1000)。並且,發送機8165將該圖像顯示,並藉由亮度變化,將該ID(ID 1000)向接收機8167發送。接收機8167藉由拍攝來接收該ID(ID 1000),並顯示與該ID(ID 1000)相對應的資訊。在此,控制部8166將向發送機8165輸出的圖像變更為其它圖像。此時,控制部8166也變更向發送機8165輸出的ID。即,控制部8166與其它圖像一起,將與其它圖像相對應的其它ID(ID 1001)也向發送機8165輸出。藉此,發送機8165將其它圖像顯示,並藉由亮度變化將其它ID(ID 1001)向接收機8167發送。接收機8167藉由拍攝而將其它ID(ID 1001)接收,並顯示與其它ID(ID 1001)相對應的資訊。
圖28是表示實施形態3的發送機、接收機及伺服器的動作的一例的圖。
例如構成為智慧型手機的發送機8185是藉由使顯示器8185a中的除了條碼部分8185b以外的部分進行亮度變化,即,是藉由可見光通訊,而將例如表示「優惠券減去100日元」的資訊發送。此外,發送機8185不使條碼部分8185b進行亮度變化,而使該條碼部分8185b顯 示條碼。該條碼是表示與藉由前述可見光通訊發送的資訊相同的資訊。進而,發送機8185在顯示器8185a中的除了條碼部分8185b以外的部分上,顯示文字或圖畫,該文字或圖畫是用以表示藉由可見光通訊發送的資訊,例如文字「優惠券減去100日元」。藉由將這樣的文字或圖畫顯示,發送機8185的使用者能夠容易地掌握發送了怎樣的資訊。
接收機8186藉由拍攝,而取得藉由可見光通訊發送的資訊、和由條碼表示的資訊,將這些資訊向伺服器8187發送。伺服器8187判斷這些資訊是否一致或關聯,在判斷為一致或關聯時,執行按照這些資訊的處理。或者,伺服器8187將該判斷結果向接收機8186發送,使接收機8186執行遵循這些資訊的處理。
另外,發送機8185也可以將由條碼表示的資訊中的一部分藉由可見光通訊發送。此外,也可以在條碼中表示伺服器8187的URL。此外,發送機8185也可以作為接收機而取得ID,藉由將該ID向伺服器8187發送,而取得與該ID相對應的資訊。與該ID相對應的資訊與藉由前述可見光通訊發送的資訊、或由條碼表示的資訊相同。此外,伺服器8187也可以經由接收機8186,將與從發送機8185發送的資訊(可見光通訊的資訊或條碼的資訊)相對應的ID向發送機8185發送。
圖29是表示實施形態3的發送機及接收機的動作的一例的圖。
例如,接收機8183將包括多個人物8197及路 燈8195的被攝體拍攝。路燈8195具備藉由亮度變化發送資訊的發送機8195a。藉由該拍攝,接收機8183取得將發送機8195a的像表示為前述明線圖樣的圖像。進而,接收機8183例如從伺服器等取得與由該明線圖樣表示的ID相關聯的AR物件8196a。並且,接收機8183將該AR物件8196a疊加到藉由一般攝影得到的一般攝影圖像8196上,並將疊加了該AR物件8196a的一般攝影圖像8196顯示。
(本實施形態的總結)
本實施形態的資訊通訊方法,是藉由亮度變化來發送訊號的資訊通訊方法,包括:決定步驟,藉由對發送對象的訊號進行調變,決定亮度變化的樣式;及發送步驟,發光體按照所決定的前述樣式而進行亮度變化,藉此發送前述發送對象的訊號;前述亮度變化的樣式是在預先設定的時間寬度中的任意的各位置,出現相互不同的2個亮度值中的一者;在前述決定步驟中,對發送對象的相互不同的訊號,分別決定前述亮度變化的樣式,以使前述時間寬度中的作為亮度的上升位置或下降位置的亮度變化位置相互不同,並且前述時間寬度中的前述發光體的亮度的積分值成為與預先設定的明亮度對應的相同的值。
例如,對發送對象的相互不同的訊號「00」、「01」、「10」及「11」,分別決定亮度變化的樣式,以使亮度的上升位置(亮度變化位置)相互不同、並且預先決定的時間寬度(單位時間寬度)中的發光體的亮度的積分值成為與預先決定的明亮度(例如99%或1%等)對應的 相同的值。藉此,能夠對發送對象的訊號分別將發光體的明亮度保持為一定,能夠抑制閃爍,並且將該發光體拍攝的接收機能夠基於亮度變化位置,將該亮度變化的樣式適當地解調。此外,由於亮度變化的樣式是在單位時間寬度中的任意的各位置出現相互不同的2個亮度值(亮度H(High)或亮度L(Low))中的一者,所以能夠使發光體的明亮度連續地變化。
此外,也可以是,前述資訊通訊方法還包括將多個圖像的各個圖像依次切換而顯示的圖像顯示步驟;在前述決定步驟中,每當由前述圖像顯示步驟顯示圖像,就將與所顯示的圖像對應的識別資訊調變為前述發送對象的訊號,藉此決定與前述識別資訊對應的亮度變化的樣式;在前述發送步驟中,每當由前述圖像顯示步驟顯示圖像,前述發光體就按照對與所顯示的圖像對應的識別資訊而決定的亮度變化的樣式,來進行亮度變化,藉此發送前述識別資訊。
藉此,例如如圖27所示,每當顯示圖像,就發送與所顯示的圖像對應的識別資訊,所以使用者能夠基於顯示的圖像,容易地選擇使接收機接收的識別資訊。
此外,也可以是,在前述發送步驟中,每當由前述圖像顯示步驟顯示圖像,前述發光體就進一步按照對與過去顯示的圖像對應的識別資訊而決定的亮度變化的樣式,來進行亮度變化,藉此發送前述識別資訊。
藉此,即使是因顯示的圖像切換而接收機不 能接收到在切換前發送的識別訊號的情況,由於與過去顯示的圖像對應的識別資訊也會和與當前顯示的圖像對應的識別資訊一起發送,所以能夠由接收機適當地重新接收在切換前發送的識別資訊。
此外,也可以是,在前述決定步驟中,每當由前述圖像顯示步驟顯示圖像,就將與顯示的圖像對應的識別資訊、和前述圖像被顯示的時刻調變為前述發送對象的訊號,藉此決定與前述識別資訊及前述時刻對應的亮度變化的樣式;在前述發送步驟中,每當由前述圖像顯示步驟顯示圖像,前述發光體就按照對與所顯示的圖像對應的識別資訊及時刻而決定的亮度變化的樣式,來進行亮度變化,藉此發送前述識別資訊及前述時刻,進而前述發光體按照對與過去顯示的圖像對應的識別資訊及時刻而決定的亮度變化的樣式,來進行亮度變化,藉此發送前述識別資訊及前述時刻。
藉此,由於每當顯示圖像時,就將多個ID時刻資訊(由識別資訊及時刻構成的資訊)發送,所以接收機能夠從接收到的多個ID時刻資訊中,基於該ID時刻資訊的各個資訊中包含的時刻,而容易地選擇在過去被發送而未能接收到的識別訊號。
此外,也可以是,前述發光體具有分別發光的多個區域,前述多個區域中彼此相鄰的區域的光相互干涉;在前述多個區域中的僅1個區域按照所決定的前述亮度變化的樣式而進行亮度變化的情況下,在前述發送步驟 中,是僅有前述多個區域中的配置在端部的區域按照所決定的前述亮度變化的樣式而進行亮度變化。
藉此,由於僅配置在端部的區域(發光部)亮度呈變化,所以與僅配置在端部以外的區域亮度呈變化的情況相比,能夠抑制來自其它區域的光帶來的對該亮度變化的影響。結果,接收機能夠藉由攝影適當地捕捉該亮度變化的樣式。
此外,也可以是,在僅前述多個區域中的2個按照所決定的前述亮度變化的樣式而進行亮度變化的情況下,在前述發送步驟中,是前述多個區域中的配置在端部的區域和與前述配置在端部的區域相鄰的區域按照所決定的前述亮度變化的樣式而進行亮度變化。
藉此,由於配置在端部的區域(發光部)和與該配置在端部的區域相鄰的區域(發光部)亮度呈變化,所以與相互分離的區域亮度呈變化的情況相比,能夠將在空間上連續並進行亮度變化的範圍的面積保持得較大。結果,接收機能夠藉由攝影適當地捕捉該亮度變化的樣式。
本實施形態的資訊通訊方法,是從被攝體取得資訊的資訊通訊方法,包括:資訊發送步驟,發送表示在前述被攝體的攝影中使用的影像感測器的位置之位置資訊;清單接收步驟,接收與由前述位置資訊表示的位置相對應的、包含多個識別資訊的ID清單;曝光時間設定步驟,設定前述影像感測器的曝光時間,以使得在藉由前述影像感測器對前述被攝體的攝影得到的圖像中,根據前述 被攝體的亮度變化而產生與前述影像感測器中包含的曝光線對應的明線;圖像取得步驟,藉由前述影像感測器將亮度呈變化的前述被攝體以設定的前述曝光時間進行攝影,而取得包含前述明線的明線圖像;資訊取得步驟,藉由對由取得的前述明線圖像中包含的前述明線的圖案所特定出的資料進行解調,而取得資訊;及檢索步驟,從前述ID清單中檢索包含取得的前述資訊的識別資訊。
藉此,例如如圖26所示,由於預先接收了ID列表,所以即使取得的資訊「bc」僅為識別資訊的一部分,也能夠基於ID清單特定出適當的識別資訊「abcd」。
此外,也可以是,在前述檢索步驟中,在沒有唯一特定出包含取得的前述資訊的識別資訊的情況下,藉由反覆進行前述圖像取得步驟及前述資訊取得步驟,而取得新的資訊;前述資訊通訊方法還包括從前述ID列表中檢索包含取得的前述資訊和前述新的資訊的識別資訊的再檢索步驟。
藉此,例如如圖26所示,即使是在取得的資訊「b」僅為識別資訊的一部分、僅藉由該資訊不能唯一特定出識別資訊的情況下,由於取得新的資訊「c」,所以能夠基於該新的資訊和ID清單特定出適當的識別資訊「abcd」。
本實施形態的資訊通訊方法,是從被攝體取得資訊的資訊通訊方法,包括:曝光時間設定步驟,設定影像感測器的曝光時間,以使得在藉由前述影像感測器對 前述被攝體的攝影得到的圖像中,根據前述被攝體的亮度變化而產生與前述影像感測器中包含的曝光線對應的明線;圖像取得步驟,藉由前述影像感測器將亮度呈變化的前述被攝體以設定的前述曝光時間進行攝影,而取得包含前述明線的明線圖像;資訊取得步驟,藉由對由取得的前述明線圖像中包含的前述明線的圖案所特定出的資料進行解調,而取得資訊;發送步驟,將取得的前述識別資訊和表示前述影像感測器的位置的位置資訊發送;及錯誤接收步驟,在與由前述位置資訊表示的位置相對應的、包含多個識別資訊的ID清單中沒有取得的前述識別資訊的情況下,接收用來通知錯誤的錯誤通知資訊。
藉此,由於是在ID列表中沒有取得的識別資訊的情況下接收錯誤通知資訊,所以接收到該錯誤通知資訊的接收機的使用者,能夠容易地掌握不能得到與該取得的識別資訊相關聯的資訊的情況。
(實施形態4)
在本實施形態中,是對使用上述實施形態1~4的智慧型手機等接收機、和以LED或有機EL等的閃爍樣式而發送資訊的發送機之應用例進行說明。
圖30是表示實施形態4的發送機及接收機的動作的一例的圖。
發送機具備ID存儲部8361、亂數產生部8362、加法部8363,加密部8364及發送部8365。ID存儲部8361存儲有發送機的ID。亂數產生部8362每一定時間 生成不同的亂數。加法部8363將由亂數產生部8362生成的最新的亂數,對存儲在ID存儲部8361中的ID進行組合,將其結果作為編輯ID輸出。加密部8364藉由對該編輯ID進行加密而生成加密編輯ID。發送部8365藉由亮度變化而將該加密編輯ID向接收機發送。
接收機具備接收部8366、解碼部8367及ID取得部8368。接收部8366藉由將發送機拍攝(可見光攝影),從發送機接收加密編輯ID。解碼部8367藉由將該接收到的加密編輯ID解碼,將編輯ID復原。ID取得部8368藉由從復原後的編輯ID中提取ID,而取得該ID。
例如,ID存儲部8361存儲有ID「100」,亂數產生部8362生成最新的亂數「817」(例1)。在此情況下,加法部8363藉由將亂數「817」對ID「100」組合,生成編輯ID「100817」並輸出。加密部8364藉由對該編輯ID「100817」進行加密,生成加密編輯ID「abced」。接收機的解碼部8367藉由將該加密編輯ID「abced」解碼,將編輯ID「100817」復原。並且,ID取得部8368從復原後的編輯ID「100817」中提取ID「100」。換言之,ID取得部8368藉由將編輯ID的下3位刪除而取得ID「100」。
接著,亂數產生部8362生成新的亂數「619」(例2)。在此情況下,加法部8363藉由將亂數「619」對ID「100」組合,生成編輯ID「100619」並輸出。加密部8364藉由對該編輯ID「100619」進行加密,生成加密編輯ID「difia」。發送機的解碼部8367藉由將該加密編輯ID 「difia」解碼,將編輯ID「100619」復原。並且,ID取得部8368從復原後的編輯ID「100619」中提取ID「100」。換言之,ID取得部8368藉由將編輯ID的下3位刪除而取得ID「100」。
這樣,發送機不是將ID單純地加密,而是將組合了按一定時間變更的亂數而得到的值進行加密,所以能夠防止根據從發送部8365發送的訊號簡單地解讀ID。即,在將單純被加密的ID從發送機向接收機多次發送的情況下,即使該ID被加密,由於只要該ID相同,從發送機向接收機發送的訊號也相同,所以也有可能將該ID解讀。但是,在圖30所示的例子中,將按一定時間變更的亂數與ID組合,將組合了該亂數的ID加密。因而,即使是將相同的ID向接收機多次發送的情況,只要這些ID的發送的時間點不同,就能夠使從發送機向接收機發送的訊號不同。結果,能夠防止ID被容易地解讀。
另外,也可以是,圖30所示的接收機如果取得加密編輯ID,則將該加密編輯ID向伺服器發送,從該伺服器取得ID。
(車站中的導引)
圖31是表示電車的月臺中的本發明的利用形態的一例的圖。使用者舉起可攜式終端朝向電子公告板或照明,藉由可見光通訊,取得顯示在電子公告板上的資訊、或者設置有電子公告板的車站的電車資訊/車站的站內資訊等。在此,既可以將顯示在電子公告板上的資訊自身藉由 可見光通訊向可攜式終端發送,也可以將與電子公告板對應的ID資訊向可攜式終端發送,可攜式終端藉由將所取得的ID資訊向伺服器查詢,取得顯示在電子公告板上的資訊。伺服器在從可攜式終端發送來ID資訊的情況下,基於ID資訊,將顯示在電子公告板上的內容向可攜式終端發送。將保存在可攜式終端的記憶體中的電車的車票資訊與顯示在電子公告板上的資訊對比,在與使用者的車票對應的車票資訊顯示在電子公告板上的情況下,在可攜式終端的顯示器上,顯示表示前往使用者計畫乘坐的電車所到達的月臺之路線的箭頭。也可以在下車時顯示到出口或距轉乘路徑較近的車輛的路徑。在指定座位的情況下,也可以顯示到該座位的路徑。當顯示箭頭時,藉由使用地圖或電車導引資訊中的與電車的路線的顏色相同的顏色來顯示箭頭,能夠更容易理解地顯示。此外,也可以與箭頭的顯示一起顯示使用者的預約資訊(月臺號碼、車輛號碼、發車時刻、座位號碼)。藉由將使用者的預約資訊一起顯示,能夠防止誤辨識。在車票資訊保存在伺服器中的情況下,藉由從可攜式終端向伺服器查詢而取得車票資訊並對比、或者在伺服器側將車票資訊與顯示在電子公告板上的資訊對比,能夠取得與車票資訊關聯的資訊。也可以是,根據使用者進行轉乘檢索的記錄,推測目標路線並顯示路徑。此外,也可以不僅取得顯示在電子公告板上的內容,還取得設置有電子公告板的車站的電車資訊/站內資訊並進行對比。對於顯示器上的電子公告板的顯示,可以將與使用 者關聯的資訊強調顯示,也可以改寫顯示。在使用者的乘車計畫不明的情況下,也可以顯示往各路線的乘車處的導引箭頭。在取得了車站的站內資訊的情況下,也可以將導引到販賣處/洗手間等的箭頭顯示在顯示器上。也可以構成為,將使用者的行動特性預先用伺服器管理,在使用者在車站內順便到販賣處/洗手間的情況較多的情況下,將導引到販賣處/洗手間等的箭頭顯示在顯示器上。由於僅對具有順便到販賣處/洗手間的行動特性的使用者顯示導引到販賣處/洗手間等的箭頭,對其它使用者不進行顯示,所以能夠減少處理量。也可以將導引到販賣處/洗手間等的箭頭的顏色設為與導引到月臺的目的地的箭頭不同的顏色。當將兩者的箭頭同時顯示時,藉由設為不同的顏色,能夠防止誤辨識。另外,在圖31中表示了電車的例子,但如果是飛機或公車等,也能夠以同樣的結構進行顯示。
(優惠券的彈出)
圖32是表示如果使用者接近店鋪,則顯示藉由可見光通訊取得的優惠券資訊、或者在可攜式終端的顯示器上顯示彈出消息的一例的圖。使用者使用可攜式終端,藉由可見光通訊從電子公告板等取得店鋪的優惠券資訊。接著,如果使用者進入距店鋪為預定距離的範圍內,則顯示店鋪的優惠券資訊或彈出消息。使用者是否進入距店鋪為預定距離的範圍內,是使用可攜式終端的GPS資訊和優惠券資訊中包含的店鋪資訊來判斷。並不限於優惠券資訊,也可以是票券資訊。由於接近能夠利用優惠券或票券的店鋪等 則自動地提醒,所以使用者能夠將優惠券或票券適當地利用。
(操作用應用程式的起動)
圖33是表示使用者使用可攜式終端,藉由可見光通訊從家電取得資訊的一例的圖。在藉由可見光通訊從家電取得了ID資訊或關於該家電的資訊的情況下,用來操作該家電的應用程式自動地啟動。在圖33中是表示使用電視機的例子。藉由這樣的結構,僅舉起可攜式終端朝向家電,就能夠將用來操作家電的應用程式起動。
(資料庫)
圖34是表示管理發送機所發送的ID的伺服器所保持的資料庫的結構的一例的圖。
資料庫具有ID-資料表,用以保持對以ID為金鑰(key)之查詢提供的資料;和存取日誌表,用以保存以ID為金鑰的查詢記錄。ID-資料表具有:發送機所發送的ID、對以ID為金鑰之查詢提供的資料、提供資料的條件、曾經以ID為金鑰的存取的次數、達成條件而提供了資料的次數。在提供資料的條件中,有日期時間、存取次數、存取成功次數、查詢來源的終端資訊(終端的機種、進行了查詢的應用程式、終端的當前位置等)、以及查詢來源的使用者資訊(年齡、性別、職業、國籍、使用語言、宗教等)。藉由以存取成功次數為條件,能夠實現「每存取1次1日元,但以100日元為上限,在這以後不送回資料」的服務方法。當日誌表存在以ID為金鑰的存取時,記錄該 ID、請求的使用者的ID、時刻、其它附帶資訊、是否達成條件而提供了資料、以及提供的資料的內容。
(按每個區段(zone)而不同的通訊協定)
圖35是表示實施形態4的發送機和接收機的動作的一例的圖。
接收機8420a從基地台8420h獲取區段資訊,辨識自身位於哪個區段,選擇接收協定。基地台8420h構成為例如手機的通訊基地台、Wi-Fi存取點、IMES發送機、揚聲器或無線發送機(Bluetooth(註冊商標)、ZigBee、特定小電力無線站等)。另外,接收機8420a也可以基於從GPS等得到的位置資訊來特定出區段。作為例子,假設決定為在區段A中以9.6kHz的訊號頻率進行通訊,在區段B中天花板照明以15kHz的訊號頻率進行通訊,標牌以4.8kHz的訊號頻率進行通訊。接收機8420a在位置8420j處,根據基地台8420h的資訊辨識出當前地是區段A,以9.6kHz的訊號頻率進行接收,將發送機8420b/8420c發送的訊號接收。接收機8420a在位置8420l處,根據基地台8420i的資訊辨識出當前地是區段B,進而因為內部相機被朝向上方所以推測為要接收來自天花板照明的訊號,以15kHz的訊號頻率進行接收,將發送機8420e/8420f發送的訊號接收。接收機8420a在位置8420m處,從基地台8420i的上方辨識出當前地是區段B,進而根據使外部相機伸出的運動,推測要接收標牌發送的訊號,以4.8kHz的訊號頻率進行接收,將發送機8420g發送的訊 號接收。接收機8420a在位置8420k處,接收基地台8420h和基地台8420i兩者的訊號,不能判斷出當前地是區段A和區段B的哪個,所以以9.6kHz和15kHz兩者進行接收處理。另外,也可以是,根據區段,協定不同的部分不僅是頻率,連發送訊號的調變方式、訊號格式、查詢ID的伺服器也不同。另外,基地台8420h/8420i既可以將區段內的協定向接收機發送,也可以僅將表示區段的ID發送,接收機以區段ID為金鑰從伺服器獲得協定資訊。
發送機8420b~8420f將基地台8420h/8420i發送的區段ID及協定資訊接收,決定訊號發送協定。能夠接收基地台8420h和基地台8420i兩者發送的訊號的發送機8420d是利用訊號強度更強的基地台的區段的協定,或交替地利用兩者的協定。
(區段的辨識和每區段的服務)
圖36是表示實施形態4的接收機和發送機的動作的一例的圖。
接收機8421a根據接收到的訊號,辨識自身的位置屬於的區段。接收機8421a提供按每個區段設定的服務(優惠券的發布、點數的賦予、道路導引等)。作為一例,接收機8421a接收從發送機8421b的左側發送的訊號,辨識出處於區段A中。在此,發送機8421b也可以根據發送方向而發送不同的訊號。此外,發送機8421b也可以藉由使用2217a那樣的發光樣式的訊號,而以根據到接收機的距離來使不同的訊號被接收的方式發送訊號。此 外,接收機8421a也可以根據發送機8421b的被拍攝的方向和大小來辨識與發送機8421b的位置關係,並辨識自身位於的區段。
也可以使表示位於相同區段的訊號的一部分共通。例如,使從發送機8421b和發送機8421c發送的表示區段A的ID前半為共通。藉此,接收機8421a僅藉由接收訊號的前半,就能夠辨識自身位於的區段。
(本實施形態的總結)
本實施形態的資訊通訊方法,是藉由亮度變化來發送訊號的資訊通訊方法,包括:決定步驟,藉由將多個發送對象的訊號分別調變,決定多個亮度變化的樣式;及發送步驟,多個發光體分別按照所決定的多個亮度變化的樣式中的某1個樣式而進行亮度變化,藉此將與前述某1個樣式對應的發送對象的訊號發送;在前述發送步驟中,前述多個發光體中的2個以上的發光體分別按照對該發光體預先設定的每個時間單位,而以相互不同的頻率進行亮度變化,以輸出相互亮度不同的2種光中的某一方的光、並且使對前述2個以上的發光體分別預先設定的前述時間單位相互不同。
藉此,由於2個以上的發光體(例如構成為照明機器的發送機)分別以相互不同的頻率進行亮度變化,所以從這些發光體接收發送對象的訊號(例如發光體的ID)的接收機,能夠容易地區別並取得這些發送對象的訊號。
此外,也可以是,在前述發送步驟中,前述多個發光體分別以至少4種頻率中的某1個頻率進行亮度變化,前述多個發光體中的2個以上的發光體以相同的頻率進行亮度變化。例如,在前述發送步驟中,在向用來接收前述多個發送對象的訊號的影像感測器的受光面上投影前述多個發光體的情況下,前述多個發光體分別進行亮度變化,以使得在前述受光面上彼此相鄰的全部的發光體間亮度變化的頻率不同。
藉此,如果在亮度變化中使用的頻率至少有4種,則即使在以相同的頻率進行亮度變化的發光體有2個以上的情況下,即,即使在頻率的種類的數量比多個發光體的數量少的情況下,也能夠基於四色問題或四色定理,在影像感測器的受光面上相互相鄰的全部的發光體間使亮度變化的頻率確實地不同。結果,接收機能夠將從多個發光體發送的發送對象的訊號分別容易地區別並取得。
此外,也可以是,在前述發送步驟中,前述多個發光體分別以由發送對象的訊號的散列值所特定出的頻率進行亮度變化,藉此發送前述發送對象的訊號。
藉此,多個發光體分別以由發送對象的訊號(例如發光體的ID)的散列值所特定出的頻率進行亮度變化,所以接收機在接收到發送對象的訊號時,能夠判斷根據實際的亮度變化所特定出的頻率與藉由散列值所特定出的頻率是否一致。即,接收機能夠判斷在接收到的訊號(例如發光體的ID)中是否有錯誤。
此外,也可以是,前述資訊通訊方法還包括:頻率計算步驟,根據存儲在訊號存儲部中的發送對象的訊號,按照預先設定的函數,計算出與該發送對象的訊號對應的頻率,作為第1頻率;頻率判斷步驟,判斷存儲在頻率存儲部中的第2頻率與計算出的前述第1頻率是否一致;及頻率錯誤報告步驟,在判斷為前述第1頻率與前述第2頻率不一致的情況下,報告錯誤;在判斷為前述第1頻率與前述第2頻率一致的情況下,在前述決定步驟中,是藉由將存儲在前述訊號存儲部中的前述發送對象的訊號進行調變,來決定亮度變化的樣式;在前述發送步驟中,是藉由前述多個發光體中的某1個發光體按照所決定的前述樣式以前述第1頻率進行亮度變化,而將存儲在前述訊號存儲部中的前述發送對象的訊號發送。
藉此,判斷存儲在頻率存儲部中的頻率、與根據存儲在訊號存儲部(ID存儲部)中的發送對象的訊號計算出的頻率是否一致,在判斷為不一致的情況下報告錯誤,所以能夠容易地進行發光體的訊號發送功能的異常檢測。
此外,也可以是,前述資訊通訊方法還包括:檢驗值計算步驟,根據存儲在訊號存儲部中的發送對象的訊號,按照預先設定的函數計算第1檢驗值;檢驗值判斷步驟,判斷存儲在檢驗值存儲部中的第2檢驗值與計算出的前述第1檢驗值是否一致;及檢驗值錯誤報告步驟,在判斷為前述第1檢驗值與前述第2檢驗值不一致的情 況下,報告錯誤;在判斷為前述第1檢驗值與前述第2檢驗值一致的情況下,在前述決定步驟中,是藉由將存儲在前述訊號存儲部中的前述發送對象的訊號進行調變,來決定亮度變化的樣式;在前述發送步驟中,是藉由前述多個發光體中的某1個發光體按照所決定的前述樣式進行亮度變化,而將存儲在前述訊號存儲部中的前述發送對象的訊號發送。
藉此,判斷存儲在檢驗值存儲部中的檢驗值與根據存儲在訊號存儲部(ID存儲部)中的發送對象的訊號計算出的檢驗值是否一致,在判斷為不一致的情況下報告錯誤,所以能夠容易地進行發光體的訊號發送功能的異常檢測。
此外,本實施形態的資訊通訊方法,是從被攝體取得資訊的資訊通訊方法,包括:曝光時間設定步驟,設定影像感測器的曝光時間,以使得在藉由前述影像感測器對前述被攝體的攝影得到的圖像中,根據前述被攝體的亮度變化而產生與前述影像感測器中包含的多個曝光線對應的多個明線;圖像取得步驟,藉由前述影像感測器將亮度呈變化的前述被攝體以設定的前述曝光時間進行攝影,而取得包含前述多個明線的明線圖像;資訊取得步驟,藉由對由取得的前述明線圖像中包含的前述多個明線的圖案所特定出的資料進行解調,而取得資訊;及頻率特定步驟,基於取得的前述明線圖像中包含的前述多個明線的圖案,特定出前述被攝體的亮度變化的頻率。例如,在前述頻率 特定步驟中,特定出在前述多個明線的圖案中包含的、為了分別表示標頭而預先設定的多個圖案、即多個標頭圖案,並將與前述多個標頭圖案間的畫素數對應的頻率,特定為前述被攝體的亮度變化的頻率。
藉此,由於被攝體的亮度變化的頻率被特定,所以在將亮度變化的頻率不同的多個被攝體攝影的情況下,能夠將來自這些被攝體的資訊容易地區別並取得。
此外,也可以是,在前述圖像取得步驟中,藉由將分別進行亮度變化的多個被攝體攝影,而取得包含由多個明線分別表示的多個圖案的前述明線圖像;在前述資訊取得步驟中,是在取得的前述明線圖像中包含的前述多個圖案的各自的一部分重疊的情況下,藉由將由從前述多個圖案的各自中除了前述一部分以外的部分所特定出的資料進行解調,而從前述多個圖案分別取得資訊。
藉此,由於不從多個圖案(多個明線圖案)重疊的部分進行資料的解調,所以能夠防止取得錯誤的資訊。
此外,也可以是,在前述圖像取得步驟中,是藉由將前述多個被攝體在相互不同的時間點攝影多次,而取得多個明線圖像;在前述頻率特定步驟中,是按每個明線圖像,特定出與該明線圖像中包含的前述多個圖案分別對應的頻率;在前述資訊取得步驟中,是從前述多個明線圖像中,搜尋被特定了相同的頻率的多個圖案,將搜尋出的前述多個圖案結合,並將由結合後的前述多個圖案所 特定出的資料進行解調,藉此取得資訊。
藉此,從多個明線圖像中搜尋被特定了相同的頻率的多個圖案(多個明線圖案),將搜尋出的多個圖案結合,從結合後的多個圖案取得資訊,所以即使是多個被攝體移動的情況,也能夠容易地區別並取得來自這些多個被攝體的資訊。
此外,也可以是,前述資訊通訊方法還包括:發送步驟,對於對識別資訊分別登錄了頻率的伺服器,發送在前述資訊取得步驟中取得的資訊中包含的前述被攝體的識別資訊、和表示在前述頻率特定步驟中特定出的頻率的特定頻率資訊;及關聯資訊取得步驟,從前述伺服器取得與前述識別資訊、和由前述特定頻率資訊表示的頻率相關聯的關聯資訊。
藉此,取得與基於被攝體(發送機)的亮度變化取得的識別資訊(ID)、和該亮度變化的頻率相關聯的關聯資訊。因而,藉由將被攝體的亮度變化的頻率變更,並將登錄在伺服器中的頻率更新為變更後的頻率,能夠防止在頻率的變更前取得了識別資訊的接收機從伺服器取得關聯資訊。即,藉由配合被攝體的亮度變化的頻率的變更,而將登錄在伺服器中的頻率也變更,能夠防止過去取得了被攝體的識別資訊的接收機成為能夠無期限地從伺服器取得關聯資訊的狀態。
此外,也可以是,前述資訊通訊方法還包括:識別資訊取得步驟,藉由從在前述資訊取得步驟中取 得的前述資訊中提取一部分,而取得前述被攝體的識別資訊;及設定頻率特定步驟,將由在前述資訊取得步驟中取得的前述資訊中的前述一部分以外的其餘的部分所表示的數,特定為對前述被攝體設定的亮度變化的設定頻率。
藉此,能夠令從多個明線的圖案所得到的資訊中,包含有不相互依存之被攝體的識別資訊、和設定於被攝體的亮度變化的設定頻率,所以能夠提高識別資訊和設定頻率的自由度。
(實施形態5)
在本實施形態中,是對使用作為上述各實施形態的智慧型手機等接收機、和以LED或有機EL的閃爍樣式而發送資訊的發送機之各應用例進行說明。
(向人通知可見光通訊)
圖37是表示實施形態5的發送機的動作的一例的圖。
發送機8921a的發光部如圖37的(a)所示,反覆進行人能夠辨識的閃爍(即亮滅)和可見光通訊。藉由進行人能夠辨識的閃爍,能向人通知能夠可見光通訊的情況。使用者藉由發送機8921a的閃爍,注意到能夠可見光通訊,將接收機8921b朝向發送機8921a而進行可見光通訊,並進行發送機8921a的使用者登錄。
即,本實施形態的發送機交替地反覆進行發光體藉由亮度變化來發送訊號的步驟、和進行閃爍以使發光體能夠被人的眼睛辨識的步驟。
發送機也可以如圖37的(b)那樣將可見光 通訊部和閃爍部(通訊狀況顯示部)分別設置。
發送機如圖37的(c)那樣動作,藉此能夠一邊進行可見光通訊,一邊使人看到發光部正在閃爍。即,發送機交替地反覆進行例如明亮度75%的高亮度可見光通訊和明亮度1%的低亮度可見光通訊。例如當在發送機中發生異常等而發送與一般不同的訊號時,藉由進行圖37的(c)的動作,能夠不停止可見光通訊而提醒使用者注意。
(對道路導引的應用例)
圖38是表示實施形態5的發送接收系統的應用例的一例的圖。
接收機8955a接收例如構成為導覽板的發送機8955b的發送ID,從伺服器取得顯示在導覽板上的地圖的資料並顯示。此時,也可以是,伺服器發送適合接收機8955a的使用者的廣告,接收機8955a顯示該廣告資訊。接收機8955a顯示從當前地點到使用者指定的場所的路徑。
(對利用日誌累積和解析的應用例)
圖39是表示實施形態5的發送接收系統的應用例的一例的圖。
接收機8957a接收例如構成為招牌的發送機8957b發送的ID,從伺服器取得優惠券資訊並顯示。接收機8957a在伺服器8957c保存之後的使用者的行動,例如將優惠券保存、移動到顯示在優惠券上的店鋪、在該店鋪進行了購物、沒有將優惠券保存而離去等行動。藉此,能夠將從招牌8957b取得了資訊的使用者之後的行動進行解 析,能夠估計招牌8957b的廣告價值。
(對畫面共用的應用例)
圖40是表示實施形態5的收發系統的應用例的一例的圖。
例如構成為投影機或顯示器的發送機8960b是發送用於向自身無線連接的資訊(SSID、無線連接用密碼、IP位址、用來操作發送機的密碼)。或者,發送用於對這些資訊進行存取的金鑰即ID。例如構成為智慧型手機、平板電腦、筆記型電腦或相機的接收機8960a接收從發送機8960b發送的訊號並取得前述資訊,建立與發送機8960b的無線連接。該無線連接既可以經由路由器連接,也可以藉由Wi-Fi Direct、Bluetooth或Wireless Home Digital Interface等直接連接。接收機8960a發送欲藉由發送機8960b顯示的畫面。藉此,能夠輕鬆地將接收機的圖像顯示在發送機上。
另外,發送機8960b當與接收機8960a連接時,為了畫面顯示,除了發送機發送的資訊以外,也可以告知接收機8960a需要密碼,在沒有送來正確的密碼的情況下不顯示所發送的畫面。此時,接收機8960a顯示8960d那樣的密碼輸入畫面,供使用者輸入密碼。
以上,基於實施形態對一個或者多個態樣的資訊通訊方法進行了說明,但本發明不限定於該等實施形態。只要不脫離本發明的主旨,本領域技術人員將可以想到的各種變形施加於本實施形態者、或將不同的實施形態 的構成要件組合而構築的形態,都可以包含於一個或者多個態樣的範圍內。
此外,如圖41所示那樣,也可以應用本發明的一態樣的資訊通訊方法。
圖41是表示實施形態5的發送接收系統的應用例的一例的圖。
作為可見光通訊的接收機而構成的相機以一般拍攝模式進行拍攝(步驟1)。藉由該拍攝,相機取得由例如EXIF(Exchangeable image file format)等格式構成的圖像檔。接著,相機以可見光通訊拍攝模式進行拍攝(步驟2)。相機基於藉由該拍攝而得到的圖像中的明線的圖案,從作為被攝體的發送機取得藉由可見光通訊而發送的訊號(可見光通訊資訊)(步驟3)。然後,相機藉由將該訊號(接收資訊)作為金鑰而存取伺服器,來從伺服器取得與該金鑰對應的資訊(步驟4)。然後,相機將從被攝體藉由可見光通訊而發送的訊號(可見光接收資料)、從伺服器取得的資訊、將由圖像檔所示的圖像中拍到被攝體即發送機的位置加以表示的資料、以及將接收到藉由可見光通訊而發送的訊號的時刻(動畫中的時刻)加以表示的資料等,分別作為上述的影像檔中的中繼資料而保存。此外,相機在藉由拍攝而得到的圖像(圖像檔)中拍到多個發送機作為被攝體的情況下,按每個發送機,將與該發送機對應的一些中繼資料保存於該影像檔。
作為可見光通訊的發送機而構成的顯示器 或者投影機在顯示由前述影像檔所示的圖像時,是藉由可見光通訊來發送與該影像檔所包含的中繼資料相應的訊號。例如,顯示器或者投影機可以藉由可見光通訊來發送中繼資料自身,也可以將與圖像中拍到的發送機相關聯的訊號作為金鑰而發送。
作為可見光通訊的接收機而構成的可攜式終端(智慧型手機)是藉由對顯示器或者投影機的圖像進行拍攝,來接收從顯示器或者投影機藉由可見光通訊而發送的訊號。在該接收到的訊號是上述金鑰時,可攜式終端使用該金鑰,從顯示器、投影機或者伺服器取得與該金鑰相關聯的發送機的中繼資料。此外,可攜式終端在該接收到的訊號是從實際的發送機藉由可見光通訊而發送的訊號(可見光接收資料或者可見光通訊資訊)時,從顯示器、投影機或者伺服器取得與該可見光受光資料或者可見光通訊資訊對應的資訊。
(本實施形態等的總結)
本實施形態的資訊通訊方法,是從被攝體取得資訊的方法,包括:第1曝光時間設定步驟,設定影像感測器的第1曝光時間,以使得在藉由前述影像感測器對作為前述被攝體的第1被攝體進行攝影而得到的圖像中,根據前述第1被攝體的亮度變化而產生與前述影像感測器中包含的各個曝光線對應的多個明線;第1明線圖像取得步驟,藉由前述影像感測器以所設定的前述第1曝光時間對亮度呈變化的前述第1被攝體進行攝影,而取得作為包含前述多 個明線的圖像的第1明線圖像;第1資訊取得步驟,藉由對由取得的前述第1明線圖像中包含的前述多個明線的圖案所特定出的資料進行解調,而取得第1發送資訊;以及門控制步驟,在取得了前述第1發送資訊後,藉由發送控制訊號,使門的開閉驅動機器打開前述門。
藉此,能夠如門鑰匙那樣使用具有影像感測器的接收機,能夠不需要特殊的電子鎖。結果,能夠在包括運算力較少的機器的多種多樣的機器間進行通訊。
此外,也可以是,前述資訊通訊方法包括:第2明線圖像取得步驟,藉由前述影像感測器以所設定的前述第1曝光時間對亮度呈變化的第2被攝體物件進行攝影,而取得作為包含多個明線的圖像的第2明線圖像;第2資訊取得步驟,藉由對由取得的前述第2明線圖像中包含的前述多個明線的圖案所特定出的資料進行解調,而取得第2發送資訊;以及接近判定步驟,基於取得的前述第1及第2發送資訊,判定具備前述影像感測器的接收裝置是否接近前述門,在前述門控制步驟中,當判定為前述接收裝置接近前述門時,發送前述控制訊號。
藉此,能夠僅在接收裝置(接收機)靠近了門時,即,僅在適當的時間點打開該門。
此外,也可以是,前述資訊通訊方法包括:第2曝光時間設定步驟,設定比前述第1曝光時間長的第2曝光時間;以及一般圖像取得步驟,藉由前述影像感測器以所設定的前述第2曝光時間對第3被攝體進行攝影,而取 得拍到前述第3被攝體的一般圖像,在前述一般圖像取得步驟中,針對前述影像感測器的處於包含光學黑(optical black)的區域中的多個曝光線,分別在從針對該曝光線的相鄰的曝光線進行了電荷的讀出的時間點起經過預定的時間後,進行電荷的讀出;在前述第1明線圖像取得步驟中,不將前述光學黑用於電荷的讀出,而是針對前述影像感測器中的處於前述光學黑以外的區域中的多個曝光線,分別在從針對該曝光線的相鄰的曝光線進行了電荷的讀出的時間點起經過比前述預定的時間長的時間後,進行電荷的讀出。
藉此,在取得了第1明線圖像時,由於不進行針對光學黑的電荷的讀出(曝光),所以能夠使針對影像感測器中的除了光學黑以外的區域、即有效畫素區域的電荷的讀出(曝光)所花費的時間變長。結果,能夠使在該有效畫素區域中接收訊號的時間變長,能夠取得較多的訊號。
此外,也可以是,前述資訊通訊方法還包括:長度判定步驟,判定前述第1明線圖像中包含的前述多個明線的圖案的、與該多個明線分別垂直的方向的長度是否小於預先決定的長度;幀率變更步驟,在判定為前述圖案的長度小於前述預先決定的長度的情況下,將前述影像感測器的幀率變更為比取得了前述第1明線圖像時的第1幀率慢的第2幀率;第3明線圖像取得步驟,藉由前述影像感測器以前述第2幀率且以所設定的前述第1曝光時間 對亮度呈變化的前述第1被攝體物件進行攝影,而取得作為包含多個明線的圖像的第3明線圖像;以及第3資訊取得步驟,藉由對由取得的前述第3明線圖像中包含的前述多個明線的圖案所特定出的資料進行解調,而取得前述第1發送資訊。
藉此,在由第1明線圖像中包含的明線的圖案(明線區域)表示的訊號長度小於所發送的訊號的例如1個區塊的量的情況下,幀率降低,明線圖像改為取得第3明線圖像。結果,能夠使第3明線圖像中包含的明線的圖案的長度變長,能夠取得1個區塊的量的已發送訊號。
此外,也可以是,前述資訊通訊方法還包括:比率設定步驟,設定由前述影像感測器得到的圖像的縱寬與橫寬的比率;前述第1明線圖像取得步驟包括:裁剪判定步驟,判定是否根據所設定的前述比率裁剪前述圖像中的與前述各曝光線垂直的方向的端部;比率變更步驟,當判定為前述端部被裁剪時,將在前述比率設定步驟中設定的前述比率變更為作為前述端部不被裁剪的比率的非裁剪比率;以及取得步驟,藉由前述影像感測器對亮度呈變化的前述第1被攝體進行攝影,而取得前述非裁剪比率的前述第1明線圖像。
藉此,在例如影像感測器的有效畫素區域的橫寬與縱寬的比率是4:3,圖像的橫寬與縱寬的比率設定為16:9,且呈現出明線沿著水平方向的情況下,即,曝光線沿著水平方向的情況下,判定為上述圖像的上端以及 下端要被裁剪。即,判定為第1明線圖像的端部缺失。這種情況下,將該圖像的比率變更為不被裁剪的比率即例如4:3。結果,能夠防止第1明線圖像的端部的缺失,能夠從第1明線圖像取得更多的資訊。
此外,也可以是,前述資訊通訊方法還包括:壓縮步驟,藉由在與前述第1明線圖像中包含的前述多個明線分別平行的方向上對前述第1明線圖像進行壓縮,而生成壓縮圖像;以及壓縮圖像發送步驟,發送前述壓縮圖像。
藉此,能夠適當壓縮第1明線圖像,而不會缺失由多個明線表示的資訊。
此外,也可以是,前述資訊通訊方法還包括:手勢判定步驟,判定具備前述影像感測器的接收裝置是否被以預先決定的態樣移動了;以及起動步驟,當判定為被以前述預先決定的態樣移動了時,起動前述影像感測器。
藉此,能夠僅在需要時簡單地起動影像感測器,能夠提高消耗電力的效率。
(實施形態6)
在本實施形態中,是對使用上述各實施形態的智慧型手機等接收機、和以LED或有機EL的閃爍樣式而發送資訊的發送機之各應用例進行說明。
圖42是表示實施形態6的發送機和接收機的應用例的圖。
機器人8970例如具有自走式的清掃機的功能和上述各實施形態的接收機的功能。照明機器8971a、8971b分別具有上述各實施形態的發送機的功能。
例如,機器人8970一邊在室內移動一邊進行清掃,並對照明該室內的照明機器8971a進行攝影。該照明機器8971a藉由亮度變化而發送照明機器8971a的ID。結果,機器人8970與上述各實施形態同樣,從照明機器8971a接收該ID,基於該ID推測自己的位置(自己位置)。即,機器人8970基於9軸感測器的檢測結果、因攝影而得到的圖像中拍到的照明機器8971a的相對位置、和藉由ID所特定出的照明機器8971a的絕對位置,而一邊移動一邊推測自己位置。
進而,機器人8970如果由於移動而從照明機器8971a離開,則對照明機器8971a發送命令關燈的訊號(關燈命令)。例如,機器人8970如果從照明機器8971a離開了預先設定的距離,則發送關燈命令。或者,當該照明機器8971a沒有拍在因攝影而得到的圖像中時、或者如果其它照明機器被拍在該圖像中,則機器人8970將關燈命令向照明機器8971a發送。照明機器8971a如果從機器人8970接收到關燈命令,則根據該關燈命令而關燈。
接著,機器人8970在移動並進行清掃的中途,基於推測出的自己位置而檢測出接近於照明機器8971b的情況。即,機器人8970保持表示照明機器8971b的位置之資訊,當自己位置與該照明機器8971b的位置之 間的距離成為預先設定的距離以下時,檢測出接近於照明機器8971b的情況。並且,機器人8970對該照明機器8971b發送命令點燈的訊號(點燈命令)。照明機器8971b如果接受到點燈命令,則根據該點燈命令而點燈。
藉此,機器人8970能夠一邊移動一邊僅使自己的周圍變亮而容易地進行清掃。
圖43是表示實施形態6的發送機及接收機的應用例的圖。
照明機器8974具有作為上述各實施形態的發送機的功能。該照明機器8974一邊進行亮度變化一邊對例如處於火車站中的路線公告板8975進行照明。被使用者朝向了該路線公告板8975的接收機8973對該路線公告板8975進行攝影。藉此,接收機8973取得該路線公告板8975的ID,並取得與該ID相關聯的資訊、同時也是記載在該路線公告板8975中的關於各路線的詳細的資訊。並且,接收機8973顯示用以表示該詳細的資訊的導引圖像8973a。例如,導引圖像8973a是表示到記載在路線公告板8975中的路線的距離、朝向該路線的方向、和在該路線中下一班電車到達的時刻。
在此,接收機8973如果被使用者接觸該導引圖像8973a,則顯示補充導引圖像8973b。該補充導引圖像8973b例如是用來將鐵路的時刻表、與由導引圖像8973a表示的路線不同的別的路線的相關資訊、以及關於該車站的詳細的資訊中的某個根據使用者的選擇操作而顯示的圖 像。
(實施形態7)
在本實施形態中,是對使用上述各實施形態的智慧型手機等接收機、和以LED或有機EL的閃爍樣式而發送資訊的發送機之各應用例進行說明。
(多個受光部的從多個方向的訊號的接收)
圖44是表示實施形態7的接收機的一例的圖。
例如構成為手錶的接收機9020a具備多個接收部。例如,接收機9020a如圖44所示,具備在支承手錶的長針和短針的旋轉軸的上端部配置的受光部9020b、和在手錶的周緣部的表示12點鐘的文字附近配置的受光部9020c。受光部9020b接受沿著上述的旋轉軸的方向而朝向受光部9020b的光,受光部9020c接受沿著將該旋轉軸和表示12點鐘的文字連結的方向而朝向受光部9020c的光。藉此,在如使用者確認時刻時那樣將接收機9020a舉到胸前時,受光部9020b能夠接受來自上方向的光。結果,接收機9020a能夠接收來自天花板照明的訊號。進而,在如使用者確認時刻時那樣將接收機9020a舉到胸前時,受光部9020c能夠接受來自正面方向的光。結果,接收機9020a能夠接收來自處於正面的標牌等的訊號。
藉由讓這些受光部9020b和9020c具有指向性,即使在較近的位置有多個發送機的情況下也能夠不干擾地接收訊號。
(手錶型顯示器的道路指引)
圖45是表示實施形態7的接收系統的一例的圖。
例如構成為手錶的接收機9023b經由Bluetooth(註冊商標)等無線通訊與智慧型手機9022a連接。接收機9023b的文字盤由液晶等顯示器構成,能夠顯示時刻以外的資訊。智慧型手機9022a根據接收機9023b接收到的訊號來辨識當前地,將到目的地的路徑及距離顯示在接收機9023b的顯示面上。
圖46是示出實施形態7的訊號發送接收系統的一例的圖。
訊號發送接收系統具備:作為多功能可攜式手機的智慧型手機(智慧手機)、作為照明機器的LED發光機、冰箱等家電機器、以及伺服器。LED發光機進行使用BTLE(Bluetooth(註冊商標)Low Energy)的通訊,並且進行使用LED(Light Emitting Diode)的可見光通訊。例如,LED發光機藉由BTLE控制冰箱,或與空調進行通訊。此外,LED發光機藉由可見光通訊來控制微波爐、空氣清潔劑或者電視機(TV)等的電源。
電視機例如具備太陽能發電元件,將該太陽能發電元件作為光感測器加以利用。即,在LED發光機藉由亮度變化來發送訊號時,電視機根據由太陽能發電元件發出的電力的變化,來檢測該LED發光機的亮度變化。然後,電視機藉由對由該檢測出的亮度變化表示的訊號進行解調,來取得從LED發光機發送的訊號。電視機在該訊號為表示電源ON的命令的情況下,將自己的主電源切換為 ON,在該訊號為表示電源OFF的命令的情況下,將自己的主電源切換為OFF。
此外,伺服器透過路由器和特定小功率無線站(特小)與空調進行通訊。並且,空調能夠透過BTLE與LED發光機進行通訊,所以伺服器能夠與LED發光機進行通訊。因此,伺服器能夠透過LED發光機將TV的電源切換為ON和OFF。此外,智慧型手機藉由透過例如Wi-Fi(Wireless Fidelity)等與伺服器進行通訊,能夠透過伺服器控制TV的電源。
如圖46所示,本實施形態之資訊通訊方法包括:無線通訊步驟,可攜式終端(智慧型手機)藉由與可見光通訊不同的無線通訊(BTLE或者Wi-Fi等)將控制訊號(發送資料列或者使用者指令)發送到照明機器(發光機);可見光通訊步驟,藉由照明機器根據該控制訊號發生亮度變化,而進行可見光通訊;以及執行步驟,控制對象機器(微波爐等)檢測該照明機器的亮度變化,藉由對由檢測到的亮度變化而特定的訊號進行解調來取得控制訊號,執行與該控制訊號相應的處理。藉此,即使可攜式終端不能進行用於可見光通訊的亮度變化,也能夠藉由無線通訊,使照明機器取代可攜式終端而發生亮度變化,能夠適當地控制控制對象機器。此外,可攜式終端也可以不是智慧型手機而是手錶。
(排除了干涉的接收)
圖47是表示實施形態7的排除了干涉的接收方法的流 程圖。
首先,在步驟9001a中開始,在步驟9001b中確認在受光的光的強度中是否存在週期性變化,在「是」的情況下進入步驟9001c。在「否」的情況下進入步驟9001d,使受光部的透鏡成為廣角而接受大範圍的光,返回步驟9001b。在步驟9001c中確認是否能夠接收訊號,在「是」的情況下進入步驟9001e,接收訊號,在步驟9001g中結束。在「否」的情況下進入步驟9001f,使受光部的透鏡成為望遠,接受小範圍的光,返回步驟9001c。
藉由該方法,既能排除來自多個發送機的訊號的干涉,又能接收來自處於較廣的方向的發送機的訊號。
(發送機的方位的推測)
圖48是表示實施形態7中的發送機的方位的推測方法的流程圖。
首先,在步驟9002a中開始,在步驟9002b中使受光部的透鏡成為最大望遠,在步驟9002c中確認接受的光的強度是否存在週期性變化,在「是」的情況下進入步驟9002d。在「否」的情況下進入步驟9002e,使受光部的透鏡成為廣角而接受大範圍的光,返回步驟9002c。在步驟9002d中接收訊號,在步驟9002f中使受光部的透鏡成為最大望遠,使受光方向以沿著受光範圍的邊界的方式變化,檢測受光強度為最大的方向,推測為發送機處於該方向,在步驟9002d中結束。
藉由該方法,能夠推測發送機存在的方向。 此外,也可以最初設為最大廣角,逐漸設為望遠。
(接收的開始)
圖49是示出實施形態7的接收的開始方法的流程圖。
首先,在步驟9003a中開始,在步驟9003b中確認是否接收到來自Wi-Fi、Bluetooth(註冊商標)或IMES等基地台的訊號,在「是」的情況下,進入步驟9003c。在「否」的情況下返回步驟9003b。在步驟9003c中確認前述基地台是否作為接收開始的觸發器而登錄在接收機或伺服器中,在「是」的情況下進入步驟9003d,開始訊號的接收,在步驟9003e中結束。在「否」的情況下返回步驟9003b。
藉由該方法,即使使用者不進行接收開始的操作也能夠開始接收。此外,與總是進行接收相比能夠抑制消耗電力。
(並用其它媒體的資訊的ID的生成)
圖50是表示實施形態7的並用其它媒體的資訊的ID的生成方法的流程圖。
首先,在步驟9004a中開始,在步驟9004b中,將連接的載波通訊網、Wi-Fi或Bluetooth(註冊商標)等的ID、或從上述ID得到的位置資訊、或從GPS等得到的位置資訊向高有效位元ID索引伺服器發送。在步驟9004c中,從高有效位元ID索引伺服器接收可見光ID的高有效位元,在步驟9004d中,接收來自發送機的訊號作為可見光ID的低有效位元。在步驟9004e中,將可見光ID的高有效 位元和低有效位元加在一起而向ID解決伺服器發送,在步驟9004f中結束。
藉由該方法,能夠得到在接收機的附近的場所共通地使用的高有效位元,能夠使發送機發送的資料量變少。此外,能夠提高接收機接收的速度。
另外,發送機也可以發送高有效位元和低有效位元雙方。在該情況下,使用該方法的接收機能夠在接收到低有效位元的時間點將ID合成,不使用該方法的接收機從發送機接收ID整體而得到ID。
(基於頻率分離的接收方式的選擇)
圖51是表示實施形態7的基於頻率分離的接收方式的選擇方法的流程圖。
首先,在步驟9005a中開始,在步驟9005b中,將接收到的光訊號施加給頻率濾波電路,或進行離散傅立葉級數展開而進行頻率分解。在步驟9005c中確認是否存在低頻率成分,在「是」的情況下進入步驟9005d,將用頻率調變等的低頻率區域表現的訊號解碼,進入步驟9005e。在「否」的情況下進入步驟9005e。在步驟9005e中,確認前述基地台是否作為接收開始的觸發器而登錄在接收機或伺服器中,在「是」的情況下進入步驟9005f,將用脈衝位置調變等的高頻率區域表現的訊號解碼,進入步驟9005g。在「否」的情況下進入步驟9005g。在步驟9005g中開始訊號的接收,在步驟9005h中結束。
藉由該方法,能夠接收用多個調變方式調變 成的訊號。
(曝光時間較長的情況下的訊號接收)
圖52是表示實施形態7的曝光時間較長的情況下的訊號接收方法的流程圖。
首先,在步驟9030a中開始,在步驟9030b中,在能夠設定感光度的情況下將感光度設定為最高。在步驟9030c中,在能夠設定曝光時間的情況下設定為比一般攝影模式短的時間。在步驟9030d中,對2張圖像進行拍攝,求出亮度的差分。在對2張圖像進行拍攝的期間中拍攝部的位置或方向變化了的情況下,將該變化消除,生成如同從相同的位置、方向拍攝的圖像,求出差分。在步驟9030e中,求出將與差分圖像或拍攝圖像的曝光線平行的方向的亮度值平均後的值。在步驟9030f中,將前述平均後的值在與曝光線垂直的方向上排列並進行離散傅立葉轉換,在步驟9030g中辨識在預定的頻率的附近是否有峰值,在步驟9030h中結束。
藉由該方法,在不能設定曝光時間的情況或對一般圖像同時進行拍攝的情況下等曝光時間較長的情況下,也能夠接收訊號。
在使曝光時間為自動設定的情況下,如果將相機朝向構成為照明的發送機,則藉由自動曝光修正功能將曝光時間設定為60分之1秒到480分之1秒左右。在不能進行曝光時間的設定的情況下,以該條件接收訊號。在實驗中,在使照明週期性地閃爍的情況下,只要1週期的時 間是曝光時間的約16分之1以上,就能夠在與曝光線垂直的方向上看出條紋,能夠藉由圖像處理而辨識閃爍的週期。此時,由於照到照明的部分亮度過高而難以確認條紋,所以理想的是根據照明光反射的部分求出訊號的週期。
在使用如頻率偏移調變方式或頻率多工調變方式那樣使發光部週期性地點亮、關燈的方式的情況下,與使用脈衝位置調變方式的情況相比,即使是相同的調變頻率,對人而言也不易辨識到閃爍,此外,在由攝影機攝影的動畫中也不易出現閃爍。因此,能夠將較低的頻率作為調變頻率使用。人的視覺的時間解析能力是60Hz左右,所以可以使用該頻率以上的頻率作為調變頻率。
另外,當調變頻率為接收機的拍攝幀率的整數倍時,由於2張圖像的相同位置的畫素是在發送機的光樣式為相同相位的時間點進行拍攝,所以在差分圖像中不會出現明線,難以進行接收。接收機的拍攝幀率一般是30fps,所以如果調變頻率設定為30Hz的整數倍以外,則容易進行接收。此外,由於接收機的拍攝幀率存在各種各樣的值,所以藉由將互質的兩個調變頻率分配給相同的訊號,發送機將這兩個調變頻率交替使用來進行發送,接收機就能夠藉由接收至少一個訊號而容易地將訊號復原。
圖53是表示發送機的調光(調整明亮度)方法的一例的圖。
藉由調整亮度高的區間和亮度低的區間的比例,平均亮度產生變化,能夠調整明亮度。此時,藉由 將使亮度的高低反覆的週期T1保持為一定,能夠將頻率峰值保持為一定。例如,圖53的(a)、(b)、(c)均為,一邊讓變得比平均亮度亮的第1亮度變化與第2亮度變化之間的時間T1保持一定,一邊在將發送機調暗時縮短比平均亮度亮的照明時間。另一方面,在將發送機調亮時,加長比平均亮度亮的照明時間。圖53的(b)、(c)被調光成比(a)暗,圖53的(c)被調光成最暗。藉此,能夠一邊發送具有同一意義的訊號一邊進行調光。
也可以藉由使亮度高的區間的亮度、或者亮度低的區間的亮度、或者雙方的亮度的值產生變化,來使平均亮度變化。
圖54是表示發送機的調光功能的構成方法的一例的圖。
由於構成零件的精度存在極限,所以即使進行了相同的調光設定,與其它的發送機相比明亮度也稍有不同。但是,在將發送機排列配置的情況下,若相鄰的發送機的明亮度不同,則會感到不自然。因此,使用者藉由操作調光修正操作部,來調整發送機的明亮度。調光修正部是用於保持修正值,調光控制部是用於按照修正值控制發光部的明亮度。在使用者操作調光操作部而使調光的程度變化了的情況下,調光控制部以變化後的調光設定值和保持於調光修正部的修正值為基礎,控制發光部的明亮度。此外,調光控制部是透過連動調光部而向其它發送機傳達調光設定值。在從其它機器透過連動調光部而傳來了 調光設定值的情況下,調光控制部以該調光設定值和保持於調光修正部的修正值為基礎,控制發光部的明亮度。
根據本發明的一實施形態,也可以是控制藉由使發光體進行亮度變化來發送訊號的資訊通訊裝置的控制方法,包括:決定步驟,藉由使資訊通訊裝置之電腦調變包含多個不同訊號之發送對象的訊號,來按不同的訊號決定不同頻率的亮度變化的樣式;和發送步驟,以在與單一頻率相符的時間僅包含調變了單一訊號的亮度變化的樣式的方式,使發光體進行亮度變化,藉此來發送發送對象的訊號。
例如,在與單一頻率相符的時間內包含調變了多個訊號的亮度變化的樣式的情況下,隨著時間經過,亮度變化的波形變得複雜,難以適當地接收。但是,藉由以在與單一頻率相符的時間僅包含調變了單一訊號的亮度變化的樣式的方式進行控制,能夠在接收時更適當地進行接收。
根據本發明的一實施形態,也可以在決定步驟中,在預定的時間內決定發送次數,以使得發送多個不同的訊號中的一個訊號的發送次數與發送其它訊號的發送次數不同。
藉由使發送一個訊號的發送次數與發送其它訊號的發送次數不同,能夠防止發送時的閃爍。
根據本發明的一實施形態,也可以在決定步驟中,在預定的時間內,使與高頻率相符的訊號的發送次 數比其它訊號的發送次數多。
在接收側進行頻率轉換時,與高頻率相符的訊號雖然亮度變小,但藉由使發送次數增多,能夠加大進行頻率轉換時的亮度值。
根據本發明的一實施形態,亮度變化的樣式也可以是,隨著時間經過而進行亮度變化的波形成為矩形波、三角波、鋸齒波的任一種。
藉由設為矩形波等,能夠更適當地進行接收。
根據本發明的一實施形態,也可以在加大發光體的平均亮度的值的情況下,在與單一頻率相符的時間內,將使發光體的亮度變得比預定值大的時間,設成比使前述發光體的平均亮度值變小的情況更長。
藉由在與單一頻率相符的時間內,將使發光體的亮度變得比預定值大的時間加以調整,能夠發送訊號並且調整發光體的平均亮度。例如,在使用發光體作為照明的情況下,能夠一邊將整體的明亮度設為暗或者設為亮,一邊發送訊號。
接收機藉由利用設定曝光時間的API(應用程式設計介面(Application Programming Interface)的省略,指用於利用OS的功能之手段),能夠將曝光時間設定為預定的值,能夠穩定地接收可見光訊號。此外,接收機藉由利用設定感光度的API,能夠將感光度設定為預定的值,即使在發送訊號的明亮度較暗或較亮的情況下,也 能夠穩定地接收可見光訊號。
(實施形態8)
在本實施形態中,對使用上述各實施形態中的智慧型手機等接收機、和以LED或有機EL的閃爍樣式發送資訊的發送機的各應用例進行說明。
在此,對EX變焦進行說明。
圖55是用來說明EX變焦的圖。
在變焦、即得到大的像的方法中,存在有:調整透鏡的焦點距離來使欲照在拍攝元件的像的大小進行變化的光學變焦、以數位處理插補照在拍攝元件上的像來得到大的像的數位變焦、以及藉由變更使用於拍攝的多個拍攝元件來得到大的像的EX變焦。EX變焦能夠利用於與拍攝圖像的解析度相比包含於影像感測器的拍攝元件的數量較多的情況。
例如,在圖55所示的影像感測器10080a中,32×24個拍攝元件排列成矩陣狀。即,拍攝元件配置成橫32個、縱24個。藉由該影像感測器10080a的拍攝,在得到橫16×縱12的解析度的圖像的情況下,如圖55的(a)所示,影像感測器10080a所包含的32×24個的拍攝元件中,只有在影像感測器10080a中整體地且均勻地分散配置的16×12個拍攝元件(例如,圖55的(a)的影像感測器1080a中由黑色方形表示的拍攝元件)用於拍攝。即,在縱方向和橫方向分別排列的多個拍攝元件中,僅第奇數個或者第偶數個的拍攝元件用於拍攝。藉此,可得到期望的解析度 的圖像10080b。另外,在圖55中,影像感測器1008a中雖然出現了被攝體,但這是為了使各拍攝元件和藉由拍攝而得到的圖像的對應關係容易理解。
具備該影像感測器10080a的接收機在藉由拍攝大的範圍來探索發送機、或者接收來自多個發送機的資訊的情況下,僅使用影像感測器10080a中整體地且均勻地分散配置的一部分拍攝元件來進行拍攝。
此外,接收機在進行EX變焦時,如圖55的(b)所示,僅將在影像感測器10080a中局部地且緊密地配置的一部分拍攝元件(例如,圖55的(b)中的影像感測器1080a中由黑色方形表示的16×12個拍攝元件)用於拍攝。藉此,圖像10080b中與該一部分拍攝元件對應的部分被進行變焦,得到圖像10080d。藉由以這樣的EX變焦將發送機拍攝得較大,變得能夠長時間接收可見光訊號,接收速度提高,此外,能夠從遠處接收可見光訊號。
在數位變焦中,不能增加接受可見光訊號的曝光線的數量,可見光訊號的接收時間也不會增加,所以盡可能使用其它變焦比較好。光學變焦需要透鏡或影像感測器之物理性的移動時間,而EX變焦僅變更電子設定即可進行,所以具有變焦所花費的時間短這一優點。從該觀點來看,各變焦的優先順序是(1)EX變焦、(2)光學變焦、(3)數位變焦。接收機也可以根據該優先順序和變焦倍率的必要性,來選擇並使用某一個或者多個變焦。此外,在圖55的(a)和(b)所示的拍攝方法中,藉由使用 沒有使用的拍攝元件,能夠抑制圖像雜訊。
(實施形態9)
在本實施形態中,對使用上述各實施形態中的智慧型手機等接收機、和以LED或有機EL的閃爍樣式發送資訊的發送機的各應用例進行說明。
在本實施形態中,是按每個曝光線或者每個拍攝元件來設定曝光時間。
圖56、圖57、圖58是表示實施形態9的訊號接收方法的一例的圖。
如圖56所示,在接收機所具備的拍攝部即影像感測器10010a中,是按每個曝光線設定曝光時間。即,對預定的曝光線(圖56中白色的曝光線)設定一般拍攝用的長曝光時間,對其它曝光線(圖56中黑色的曝光線),設定可見光拍攝用的短曝光時間。例如,針對在垂直方向排列的各曝光線,交替設定長曝光時間和短曝光時間。藉此,在藉由亮度變化來拍攝發送可見光訊號的發送機時,能夠幾乎同時進行一般拍攝和可見光拍攝(可見光通訊)。另外,兩個曝光時間可以按每1行交替地設定,也可以按每數行進行設定,還可以在影像感測器10010a的上部與下部分別設定曝光時間。藉由這樣使用2個曝光時間,若將藉由被設定成相同曝光時間的多個曝光線的拍攝而得到的資料分別彙集,可得到一般拍攝圖像10010b和表示多個明線的圖案的明線圖像即可見光拍攝圖像10010c。在一般拍攝圖像10010b中,因為缺少沒有以長曝光時間拍攝的部分 (即,與被設定為短曝光時間的多個曝光線對應的圖像),所以藉由插補該部分,能夠顯示預覽圖像10010d。在此,能夠在預覽圖像10010d中疊加藉由可見光通訊而得到的資訊。該資訊是與藉由對可見光拍攝圖像10010c所包含的多個明線的圖案進行解碼而得到的可見光訊號相關聯的資訊。另外,接收機也可以將一般拍攝圖像10010b或者對該一般拍攝圖像10010b進行了插補的圖像保存為拍攝圖像,將接收到的可見光訊號或者與該可見光訊號相關聯的資訊,作為附加資訊附加於保存的拍攝圖像。
如圖57所示,也可以取代影像感測器10010a而使用影像感測器10011a。在影像感測器1011a中,不是按每個曝光線,而是按每個由沿著與曝光線垂直的方向排列的多個拍攝元件所構成的列(以下,稱作垂直行)設定曝光時間。即,對預定的垂直行(圖57中白色的垂直行)設定一般拍攝用的長曝光時間,對其它垂直行(圖57中黑色的垂直行)設定可見光拍攝用的短曝光時間。在該情況下,在影像感測器10011a中,與影像感測器10010a同樣,按每個曝光線而在彼此不同的時間點開始曝光,但在各曝光線中,該曝光線所包含的各拍攝元件的曝光時間為不同。接收機藉由該影像感測器10011a的拍攝,來得到一般拍攝圖像10011b和可見光拍攝圖像10011c。進而,接收機基於該一般拍攝圖像10011b和與從可見光拍攝圖像10011c得到的可見光訊號相關聯的資訊,生成並顯示預覽圖像10011d。
在該影像感測器10011a中,與影像感測器10010a不同,能夠對可見光拍攝使用所有曝光線。結果,在藉由影像感測器10011a得到的可見光拍攝圖像10011c中,包含比可見光拍攝圖像10010c多的明線,所以能夠提高可見光訊號的接收精度。
此外,如圖58所示,也可以取代影像感測器10010a而使用影像感測器10012a。在影像感測器10012a中,是以沿著水平方向和垂直方向對各拍攝元件不連續設定相同曝光時間的方式,按每個拍攝元件設定曝光時間。即,以設定成長曝光時間的多個拍攝元件和設定成短曝光時間的多個拍攝元件分佈為格子狀或者相間方格圖案的方式,對各拍攝元件設定曝光時間。在該情況下,也與影像感測器10010a同樣,按每個曝光線在彼此不同的時間點開始曝光,但在各曝光線中,該曝光線所包含的各拍攝元件的曝光時間為不同。接收機藉由該影像感測器10012a的拍攝,來得到一般拍攝圖像10012b和可見光拍攝圖像10012c。進而,接收機基於該一般拍攝圖像10012b和與從可見光拍攝圖像10012c得到的可見光訊號相關聯的資訊,生成並顯示預覽圖像10012d。
藉由影像感測器10012a而得到的一般拍攝圖像10012b具有配置成格子狀或者均一配置的多個拍攝元件的資料,所以與一般拍攝圖像10010b和一般拍攝圖像10011b相比,能夠更正確地進行插補或調節大小。此外,可見光拍攝圖像10012c是藉由使用影像感測器10012a的 所有曝光線的拍攝而生成。即,在該影像感測器10012a中,與影像感測器10010a不同,能夠在可見光拍攝中使用所有曝光線。結果,在藉由影像感測器10012a而得到的可見光拍攝圖像10012c中,與可見光拍攝圖像10011c同樣地,與可見光拍攝圖像10010c相比包含更多明線,所以能夠高精度地進行可見光訊號的接收。
在此,對預覽圖像的交錯顯示進行說明。
圖59是表示實施形態9的接收機的畫面顯示方法的一例的圖。
具備上述的圖56所示的影像感測器10010a的接收機每隔預定的時間,將對第奇數個曝光線(以下,稱作奇數行)設定的曝光時間、與對第偶數個曝光線(以下,稱作偶數行)設定的曝光時間調換。例如,如圖59所示,接收機在時刻t1,對奇數行的各拍攝元件設定長曝光時間,對偶數行的各拍攝元件設定短曝光時間,使用這些設定好的曝光時間進行拍攝。進而,接收機在時刻t2,對奇數行的各拍攝元件設定短曝光時間,對偶數行的各拍攝元件設定長曝光時間,使用這些設定好的曝光時間進行拍攝。然後,接收機在時刻t3,使用與時刻t1時同樣地設定的各曝光時間進行拍攝,在時刻t4,使用與時刻t2時同樣地設定的各曝光時間進行拍攝。
此外,接收機在時刻t1,取得包含藉由拍攝而從多個奇數行分別得到的圖像(以下,稱作奇數行像)、和藉由拍攝而從多個偶數行分別得到的圖像(以下,稱作 偶數行像)的Image1。此時,在多個偶數行的各個中,曝光時間短,所以在偶數行像的各個中,被攝體沒有被鮮明地拍到。因此,接收機藉由對多個奇數行像進行畫素值的插補,而生成多個插補行像。然後,接收機取代多個偶數行像而顯示包含多個插補行像的預覽圖像。即,預覽圖像中,交互排列有奇數行像和插補行像。
接收機在時刻t2,藉由拍攝取得包含多個奇數行像和偶數行像的Image2。此時,在多個奇數行的各個中,曝光時間短,所以在奇數行像的各個中,被攝體沒有被鮮明地拍到。因此,接收機取代Image2的奇數行像,而顯示包含Image1的奇數行像的預覽圖像。即,預覽圖像中,交互排列有Image1的奇數行像和Image2的偶數行像。
進而,接收機在時刻t3,藉由拍攝取得包含多個奇數行像和偶數行像的Image3。此時,與時刻t1時同樣,在多個偶數行的各個中,曝光時間短,所以在偶數行像的各個中,被攝體沒有被鮮明地拍到。因此,接收機取代Image3的偶數行像,而顯示包含Image2的偶數行像的預覽圖像。即,預覽圖像中,交互排列有Image2的偶數行像和Image3的奇數行像。然後,接收機在時刻t4,藉由拍攝取得包含多個奇數行像和偶數行像的Image4。此時,與時刻t2時同樣,在多個奇數行的各個中,曝光時間短,所以在奇數行像的各個中,被攝體沒有被鮮明地拍到。因此,接收機取代Image4的奇數行像,而顯示包含Image3的奇數行像的預覽圖像。即,預覽圖像中交互排列有Image3 的奇數行像和Image4的偶數行像。
如此,接收機顯示包含所取得的時間點互不相同的偶數行像和奇數行像的Image,即進行所謂的交錯顯示。
這樣的接收機能夠一邊進行可見光拍攝一邊顯示精細的預覽圖像。此外,設定相同曝光時間的多個拍攝元件,可以是像影像感測器10010a那樣沿著與曝光線水平的方向排列的多個拍攝元件,也可以是像影像感測器10011a那樣沿著與曝光線垂直的方向排列的多個拍攝元件,還可以是像影像感測器10012a那樣呈相間方格圖案排列的多個拍攝元件。此外,接收機也可以將預覽圖像保存為拍攝資料。
接著,對一般拍攝和可見光拍攝的空間比率進行說明。
圖60是表示實施形態9的訊號接收方法的一例的圖。
在接收機所具備的影像感測器10014b中,與上述的影像感測器10010a同樣地,按每個曝光線設定長曝光時間或者短曝光時間。在該影像感測器10014b中,設定成長曝光時間的拍攝元件的數量和設定成短曝光時間的拍攝元件的數量的比是1:1。另外,該比是一般拍攝與可見光拍攝的比,以下稱作空間比率。
但是,在本實施形態中,該空間比率不需要是1:1。例如,接收機也可以具備影像感測器10014a。在 該影像感測器10014a中,短曝光時間的拍攝元件比長曝光時間的拍攝元件多,空間比率是1:N(N>1)。此外,接收機也可以具備影像感測器10014c。在該影像感測器10014c中,短曝光時間的拍攝元件比長曝光時間的拍攝元件少,空間比率是N(N>1):1。此外,接收機也可以取代影像感測器10014a~10014c,而具備按上述的每個垂直行設定曝光時間,且分別具有1:N、1:1或者N:1的空間比率的影像感測器10015a~10015c中的任一個。
在這樣的影像感測器10014a、10015a中,短曝光時間的拍攝元件多,所以能夠提高可見光訊號的接收精度或者接收速度。另一方面,在影像感測器10014c、10015c中,長曝光時間的拍攝元件多,所以能夠顯示精細的預覽圖像。
此外,接收機也可以使用影像感測器10014a、10014c、10015a、10015c,如圖59所示,進行交錯顯示。
接著,對一般拍攝和可見光拍攝的時間比率進行說明。
圖61是表示實施形態9的訊號接收方法的一例的圖。
接收機也可以如圖61的(a)所示,按每1個幀將拍攝模式切換為一般拍攝模式和可見光拍攝模式。一般拍攝模式是對接收機的影像感測器的所有拍攝元件設定一般拍攝用的長曝光時間之拍攝模式。可見光拍攝模式是 對接收機的影像感測器的所有拍攝元件設定可見光拍攝用的短曝光時間之拍攝模式。如此,藉由切換曝光時間的長/短,既能藉由短曝光時間的拍攝來接收可見光訊號,又能藉由長曝光時間的拍攝來顯示預覽圖像。
另外,接收機也可以在藉由自動曝光決定長曝光時間的情況下,無視藉由短曝光時間的拍攝而得到的圖像,僅以藉由長曝光時間的拍攝而得到的圖像的明亮度為基準而進行自動曝光。藉此,能夠將長曝光時間決定為適當的時間。
此外,接收機也可以如圖61的(b)所示,按每個具有多幀的組將拍攝模式切換為一般拍攝模式和可見光拍攝模式。在曝光時間的切換需要花費時間的情況下、或到曝光時間穩定為止需要花費時間的情況下,如圖61的(b)所示,藉由按每個具有多幀的組使曝光時間變化,能夠使可見光拍攝(可見光訊號的接收)和一般拍攝同時成立。此外,組所包含的幀的數量越多,則曝光時間的切換的次數越少,所以能夠抑制接收機的電力消耗和發熱。
在此,藉由一般拍攝模式下的長曝光時間的拍攝而連續生成的至少1個幀的數量、和藉由可見光拍攝模式下的短曝光時間的拍攝而連續生成的至少1個幀的數量的比(以下,稱作時間比率)也可以不是1:1。即,在圖61的(a)和(b)所示的情況下,時間比率是1:1,但其時間比率也可以不是1:1。
例如,接收機也可以如圖61的(c)所示,將可見光拍攝模式的幀設為比一般拍攝模式的幀更多。藉此,能夠使可見光訊號的接收速度變快。若預覽圖像的幀率為預定的速率以上,則因幀率引起的預覽圖像的差異不會被人眼辨識到。在拍攝的幀率足夠高的情況下,例如該幀率為120fps的情況下,接收機對連續的3幀設定可見光拍攝模式,對接下來的1幀設定可見光拍攝模式。藉此,接收機能夠一邊以比上述的預定的速率更足夠高的30fps的幀率顯示預覽圖像,一邊高速地接收可見光訊號。此外,因為切換的次數變少,所以還可得到圖61的(b)所說明的效果。
此外,接收機也可以如圖61的(d)所示,將一般拍攝模式的幀設為比可見光拍攝模式的幀更多。如此,藉由使一般拍攝模式的幀即藉由以長曝光時間拍攝而得到的幀變多,能夠平順地顯示預覽圖像。此外,因為進行可見光訊號的接收處理的次數減少,所以具有省電效果。此外,因為切換的次數變少,所以還可得到圖61的(b)所說明的效果。
此外,接收機也可以如圖61的(e)所示,首先與圖61的(a)所示的情況同樣地按每1個幀切換拍攝模式,接著,當可見光訊號的接收完成時,與圖61的(d)所示的情況同樣地使一般拍攝模式的幀變多。藉此,在可見光訊號的接收完成後,既能平順地顯示預覽圖像,又能繼續探索是否存在新的可見光訊號。此外,因為切換的次 數少,所以還可得到圖61的(b)所說明的效果。
圖62是表示實施形態9的訊號接收方法的一例的流程圖。
接收機開始進行接收可見光訊號的處理即可見光接收(步驟S10017a),將曝光時間長短設定比設定為使用者所指定的值(步驟S10017b)。曝光時間長短設定比是上述的空間比率與時間比率中的至少1個。使用者可以僅指定空間比率、僅指定時間比率、或者指定該空間比率和時間比率雙方的值,接收機也可以與使用者的指定無關地自動設定。
接著,接收機判定接收性能是否為預定的值以下(步驟S10017c)。若判定為預定的值以下(步驟S10017c的「是」),則接收機將短曝光時間的比率設定得高(步驟S10017d)。藉此,能夠提高接收性能。此外,在短曝光時間的比率是空間比率的情況下,該空間比率為設定成短曝光時間的拍攝元件的數量相對於設定成長曝光時間的拍攝元件的數量的比率;在短曝光時間的比率是時間比率的情況下,該時間比率為以可見光拍攝模式連續生成的幀的數量相對於以一般拍攝模式連續生成的幀的數量的比率。
接著,接收機接收可見光訊號的至少一部分,判定該接收到的可見光訊號的至少一部分(以下,稱作接收訊號)是否設定了優先度(步驟S10017e)。另外,在設定有優先度的情況下,用以表示優先度的識別碼是包 含於接收訊號。接收機在判定為設定有優先度時(步驟S10017e的「是」),按照該優先度設定曝光時間長短比(步驟S10017f)。即,優先度越高,接收機將短曝光時間的比率設定得越高。例如,藉由使構成為發送機的緊急燈發生亮度變化,來發出表示高優先度的識別碼。在該情況下,接收機藉由提高短曝光時間的比率來提升接收速度,能夠快速地顯示避難路徑等。
接著,接收機判定可見光訊號的所有接收是否已完成(步驟S10017g)。在此,在判定為沒有完成時(步驟S10017g的「否」),接收機反覆執行自步驟S10017c起的處理。另一方面,在判定為已完成時(步驟S10017g的「是」),接收機將長曝光時間的比率設定得高,並轉移至省電模式(步驟S10017h)。此外,在長曝光時間的比率是空間比率的情況下,該空間比率為被設定成長曝光時間的拍攝元件的數量相對於被設定成短曝光時間的拍攝元件的數量的比率;在長曝光時間的比率是時間比率的情況下,該時間比率為以一般拍攝模式連續生成的幀的數量相對於以可見光拍攝模式連續生成的幀的數量的比率。藉此,能夠不進行不必要的可見光接收,而平順地顯示預覽圖像。
接著,接收機判定是否發現其它可見光訊號(步驟S10017i)。在此,在判定為發現時(步驟S10017i的「是」),接收機反覆執行自步驟S10017b起的處理。
接著,對可見光拍攝和一般拍攝的同時執行 進行說明。
圖63是表示實施形態9的訊號接收方法的一例的圖。
接收機也可以對影像感測器設定2個以上的曝光時間。即,如圖63的(a)所示,影像感測器所包含的曝光線的各個以所設定的2個以上的曝光時間中最長的曝光時間連續曝光。接收機按每個曝光線,在上述的所設定的2個以上的曝光時間分別經過了的時間點,讀出藉由該曝光線的曝光而得到的拍攝資料。在此,接收機在經過最長的曝光時間之前,不重置已讀出的拍攝資料。因此,接收機能夠藉由預先記錄已讀出的拍攝資料的累積值,僅以最長曝光時間的曝光就得到多個曝光時間下的拍攝資料。另外,影像感測器可以進行拍攝資料的累積值的記錄,也可以不進行。在影像感測器不進行的情況下,從影像感測器讀出資料的接收機之構成要件會進行累積的計算,即拍攝資料的累積值的記錄。
例如,在設定了2個曝光時間的情況下,如圖63的(a)所示,接收機讀出藉由短曝光時間的曝光而生成的、包含可見光訊號的可見光拍攝資料,接著,讀出藉由長曝光時間的曝光而生成的一般拍攝資料。
藉此,能夠同時進行用於接收可見光訊號的拍攝即可見光拍攝和一般拍攝,能夠一邊接收可見光訊號一邊進行一般的拍攝。此外,藉由使用多個曝光時間的資料,能夠辨識取樣定理以上的訊號頻率,能夠進行高頻訊 號或高密度調變訊號的接收。
進而,接收機在輸出拍攝資料時,如圖63(b)所示,輸出包含該拍攝資料作為拍攝資料主體的資料列。即,接收機藉由將包含下列內容在內的附加資訊附加於拍攝資料主體,來生成並輸出上述的資料列:用以表示拍攝模式(可見光拍攝或者一般拍攝)的拍攝模式識別碼、用於特定拍攝元件或者拍攝元件所屬的曝光線的拍攝元件識別碼、用以表示拍攝資料主體是第幾個曝光時間的拍攝資料的拍攝資料號碼、以及用以表示拍攝資料主體的大小的拍攝資料長度。在使用圖63的(a)來說明的拍攝資料的讀出方法中,各個拍攝資料不限於按曝光線的順序輸出。因此,藉由附加圖63的(b)所示的附加資訊,能夠特定出拍攝資料是哪個曝光線的拍攝資料。
圖64是表示實施形態9的接收程式的處理的流程圖。
該接收程式是使接收機所具備的電腦執行例如圖56~圖63所示的處理的程式。
即,該接收程式是用於從發生亮度變化的發光體接收資訊的接收程式。具體而言,該接收程式使電腦執行步驟SA31、步驟SA32和步驟SA33。在步驟SA31中,對影像感測器所包含的K個(K為4以上的整數)拍攝元件中的一部分的多個拍攝元件設定第1曝光時間,對K個拍攝元件中剩餘的多個拍攝元件設定比第1曝光時間短的第2曝光時間。在步驟SA32中,藉由以所設定的第1曝光時間 和第2曝光時間使影像感測器拍攝作為發生亮度變化的發光體的被攝體,而取得與來自被設定成第1曝光時間的多個拍攝元件的輸出相應的一般圖像,並且取得與來自被設定成第2曝光時間的多個拍攝元件的輸出相應的、包含與影像感測器所包含的多個曝光線分別對應的明線的圖像即明線圖像。在步驟SA33中,藉由對取得的明線圖像所包含的多個明線的圖案進行解碼來取得資訊。
藉此,因為藉由被設定成第1曝光時間的多個拍攝元件和被設定成第2曝光時間的多個拍攝元件來進行拍攝,所以能夠在影像感測器的1次拍攝中,取得一般圖像和明線圖像。即,能夠同時進行一般圖像的拍攝、和可見光通訊之資訊的取得。
此外,在曝光時間設定步驟SA31中,可以對影像感測器所包含的L個(L為4以上的整數)拍攝元件列中的一部分的多個拍攝元件列設定第1曝光時間,對L個拍攝元件列中剩餘的多個拍攝元件列設定第2曝光時間。在此,L個拍攝元件列分別是由影像感測器所包含的排列成一列的多個拍攝元件所構成。
藉此,能夠不對作為小單位的拍攝元件分別單獨地設定曝光時間,而按每個作為大單位的拍攝元件列設定曝光時間,能夠減輕處理負擔。
例如,L個拍攝元件列分別如圖56所示,是影像感測器所包含的曝光線。或者,L個拍攝元件列分別如圖57所示,是由沿著與影像感測器所包含的曝光線垂直 的方向排列的多個拍攝元件所構成。
此外,如圖59所示,在曝光時間設定步驟SA31中,也可以對影像感測器所包含的L個拍攝元件列中處於第奇數列的拍攝元件列,分別設定作為相同曝光時間的第1曝光時間和第2曝光時間中的一者,對L個拍攝元件列中處於第偶數列的拍攝元件列,分別設定作為相同曝光時間的第1曝光時間和第2曝光時間中的另一者。然後,在反覆進行曝光時間設定步驟SA31、圖像取得步驟SA32和資訊取得步驟SA33的情況下,在反覆進行的曝光時間設定步驟SA31中,也可以將在前一次曝光時間設定步驟SA31中對第奇數列的拍攝元件列分別設定的曝光時間、與對第偶數列的拍攝元件列分別設定的曝光時間調換。
藉此,每當進行一般圖像的取得時,能夠將用於該取得的多個拍攝元件列切換成第奇數列的多個拍攝元件列、和第偶數列的多個拍攝元件列。結果,能夠藉由交錯來顯示依次取得的一般圖像的每一張圖像。此外,藉由相互補充連續取得的2個一般圖像,能夠生成包含第奇數列的多個拍攝元件列的圖像和第偶數列的多個拍攝元件列的圖像的新一般圖像。
此外,如圖60所示,在曝光時間設定步驟SA31中,也可以將設定模式切換為一般優先模式和可見光優先模式,在被切換為一般優先模式的情況下,使被設定成第1曝光時間的拍攝元件的數量比被設定成第2曝光時間的拍攝元件的數量多。此外,在被切換為可見光優先模 式的情況下,也可以使被設定成第1曝光時間的拍攝元件的數量比被設定成第2曝光時間的拍攝元件的數量少。
藉此,在設定模式被切換為一般優先模式的情況下,能夠提高一般圖像的畫質,在被切換為可見光優先模式的情況下,能夠提高來自發光體的資訊的接收效率。
此外,也可以如圖58所示,在曝光時間設定步驟SA31中,以被設定成第1曝光時間的多個拍攝元件和被設定成第2曝光時間的多個拍攝元件分佈為相間方格圖案(Checkered pattern)的方式,按影像感測器所包含的每個拍攝元件設定該拍攝元件的曝光時間。
藉此,因為被設定成第1曝光時間的多個拍攝元件和被設定成第2曝光時間的多個拍攝元件分別均一地分佈,所以能夠取得在水平方向和垂直方向上畫質無偏差的一般圖像和明線圖像。
圖65是實施形態9的接收裝置的方塊圖。
該接收裝置A30是執行例如圖56~圖63所示的處理的上述接收機。
即,該接收裝置A30是從發生亮度變化的發光體接收資訊的接收裝置,具備多個曝光時間設定部A31、拍攝部A32以及解碼部A33。多個曝光時間設定部A31對影像感測器所包含的K個(K為4以上的整數)拍攝元件中的一部分的多個拍攝元件設定第1曝光時間,對K個拍攝元件中剩餘的多個拍攝元件設定比第1曝光時間短的第2曝光時間。拍攝部A32藉由以所設定的第1曝光時間和 第2曝光時間使影像感測器拍攝作為發生亮度變化的發光體的被攝體物件,來取得與來自被設定成第1曝光時間的多個拍攝元件的輸出相應的一般圖像,並且取得明線圖像,該明線圖像是與來自被設定成第2曝光時間的多個拍攝元件的輸出相應的圖像,且是包含與影像感測器所包含的多個曝光線分別對應的明線的圖像。解碼部A33藉由對取得的明線圖像所包含的多個明線的圖案進行解碼來取得資訊。在這樣的接收裝置A30中,能夠達到與上述的接收程式同樣的效果。
接著,對與接收到的可見光訊號相關的內容的顯示進行說明。
圖66和圖67是示出接收到可見光訊號時的接收機的顯示的一例的圖。
如圖66的(a)所示,接收機在拍攝發送機10020d時,會顯示出拍到該發送機10020d的圖像10020a。進而,接收機藉由對圖像10020a疊加物件10020e,來生成並顯示圖像10020b。物件10020e是用以表示存在有該發送機10020d的像的場所、和接收到來自該發送機10020d的可見光訊號的圖像。物件10020e也可以是根據可見光訊號的接收狀態(接收中的狀態、探索發送機的狀態、接收的進行程度、接收速度或者錯誤率等)而不同的圖像。例如,接收機使物件1020e的顏色、線的粗細、線的種類(單線、雙重線或者虛線等)或者虛線的間隔等發生變化。藉此,能夠讓使用者辨識接收狀態。接著, 接收機藉由將表示取得資料的內容的圖像作為取得資料圖像10020f而疊加於圖像10020a,來生成並顯示圖像10020c。取得資料是與接收到的可見光訊號、或者由接收到的可見光訊號所表示的ID相關聯的資料。
接收機在顯示該取得資料圖像10020f時,如圖66的(a)所示,像從發送機10020d出現對白框那樣顯示取得資料圖像10020f,或者在發送機10020d的附近顯示取得資料圖像10020f。此外,接收機也可以如圖66的(b)所示,以取得資料圖像10020f從發送機10020d逐漸向接收機側靠近的方式顯示該取得資料圖像10020f。藉此,能夠讓使用者認識到取得資料圖像10020f是以從哪個發送機接收到的可見光訊號為基礎的圖像。此外,接收機也可以如圖67所示,以取得資料圖像10020f從接收機的顯示器的端部逐漸出現的方式,顯示該取得資料圖像10020f。藉此,能夠讓使用者容易地認識到在當時取得了可見光訊號。
接著,對AR(Augmented Reality)進行說明。
圖68是表示取得資料圖像10020f的顯示的一例的圖。
接收機在顯示器內的發送機的像移動了的情況下,使取得資料圖像10020f配合發送機的像的移動而移動。藉此,能夠讓使用者認識到取得資料圖像10020f是與該發送機相對應。此外,接收機也可以使取得資料圖像10020f不與該發送機的像而是與其它東西相對應地顯 示。藉此,能夠進行AR顯示。
接著,對取得資料的保存和丟棄進行說明。
圖69是表示保存或者丟棄取得資料的情況下的操作的一例的圖。
例如,接收機如圖69的(a)所示,在由使用者對取得資料圖像10020f進行向下側的滑動時,保存由該取得資料圖像10020f表示的取得資料。接收機將保存的用以表示取得資料的取得資料圖像10020f配置在其它已經保存的1個或者多個用以表示取得資料的取得資料圖像的最端部。藉此,能夠讓使用者認識到由取得資料圖像10020f表示的取得資料是最後保存的取得資料。例如,接收機如圖69的(a)所示,將取得資料圖像10020f配置在多個取得資料圖像中的最前面。
此外,接收機如圖69的(b)所示,在由使用者對取得資料圖像10020f進行向右側的滑動時,丟棄由該取得資料圖像10020f表示的取得資料。或者,接收機也可以在使用者移動接收機來使發送機的像從顯示器退出(frame out)時,丟棄由取得資料圖像10020f表示的取得資料。另外,無論滑動的方向是上下左右的哪一個,都可以得到與上述同樣的效果。接收機也可以顯示與保存或者丟棄相對應的滑動方向。藉此,能夠讓使用者認識到藉由該操作能夠進行保存或者丟棄。
接著,對取得資料的閱覽進行說明。
圖70是表示閱覽取得資料時的顯示例子的 圖。
接收機如圖70的(a)所示,將保存的多個取得資料的取得資料圖像在顯示器的下端重疊且較小地顯示。此時,若使用者點擊顯示的取得資料圖像的一部分,則接收機如圖70的(b)所示,將多個取得資料圖像分別較大地顯示。藉此,能夠僅在需要閱覽各取得資料時,將這些取得資料圖像較大地顯示,在非必要時,則將顯示器有效利用於其它顯示。
若在圖70的(b)所示的狀態下,使用者點擊想要顯示的取得資料圖像,則接收機如圖70的(c)所示,將該被點擊的取得資料圖像更大地顯示,而在該取得資料圖像中顯示較多的資訊。此外,若使用者點擊背面顯示按鈕10024a,則接收機顯示取得資料圖像的背面,而顯示與該取得資料相關聯的其它的資料。
接著,對意外位置推測時的手震修正之關閉進行說明。
接收機藉由使手震修正無效(關閉)或者與手震修正的修正方向和修正量對應地變換拍攝圖像,能夠取得正確的拍攝方向,正確地進行自身位置推測。另外,拍攝圖像是藉由接收機的拍攝部的拍攝而得到的圖像。此外,自身位置推測是接收機推測自己的位置。在自身位置推測中,具體而言,接收機是基於所接收到的可見光訊號來特定出發送機的位置,並基於映在拍攝圖像中的發送機的大小、位置或者形狀等,來特定出接收機與發送機之間 的相對位置關係。然後,接收機基於發送機的位置、接收機與發送機之間的相對的位置關係,來推測接收機的位置。
此外,在圖56等所示的僅使用一部分的曝光線來進行拍攝的部分讀出時,即進行圖56等所示的拍攝時,只要接收機稍稍震動,發送機就會退出畫面外。這樣的情況下,接收機藉由將手震修正設為有效,能夠持續接收訊號。
接著,對使用非對稱形的發光部的自身位置推測進行說明。
圖71是表示實施形態9的發送機的一例的圖。
上述的發送機具備發光部,藉由使該發光部發生亮度變化來發送可見光訊號。在上述的自身位置推測中,接收機基於拍攝圖像中的發送機(具體而言是發光部)的形狀,來作為接收機與發送機之間的相對位置關係,求出接收機與發送機之間的相對角度。在此,例如如圖71所示,在發送機具備旋轉對稱之形狀的發光部10090a的情況下,不能如上述那樣基於拍攝圖像中的發送機的形狀,正確地求出發送機與接收機之間的相對角度。因此,理想的是,發送機具備非旋轉對稱之形狀的發光部。藉此,接收機能夠正確地求出上述的相對角度。即,由於在用於取得角度的方位感測器中計測結果的誤差大,所以接收機藉由使用由上述的方法求出的相對角度,能夠進行正確的自身位置推測。
在此,發送機也可以如圖71所示,具備非完全的旋轉對稱之形狀的發光部10090b。該發光部10090b的形狀雖然相對於90°的旋轉是對稱形狀,但並非完全的旋轉對稱。在該情況下,接收機利用方位感測器求出大致的角度,進而藉由使用拍攝圖像中的發送機的形狀,能夠唯一地限定接收機與發送機之間的相對角度,能夠進行正確的自身位置推測。
此外,發送機也可以具備圖71所示的發光部10090c。該發光部10090c的形狀基本上是旋轉對稱的形狀。但是,藉由在該發光部10090c的一部分設置導光板等,能使發光部10090c的形狀成為非旋轉對稱的形狀。
此外,發送機也可以具備圖71所示的發光部10090d。該發光部10090d具備分別為旋轉對稱的形狀的照明。但是,將它們組合配置而構成的發光部10090d的整體形狀不是旋轉對稱的形狀。因此,接收機能夠藉由拍攝該發送機,來進行正確的自身位置推測。此外,並非發光部10090d所包含的所有照明都需要是為了發送可見光訊號而發生亮度變化的可見光通訊用的照明,也可以僅一部分的照明是可見光通訊用的照明。
此外,發送機也可以具備圖71所示的發光部10090e和物體10090f。在此,物體10090f是構成為與發光部10090e之間的位置關係不變化的物體(例如,火災報知機或配管等)。因為發光部10090e與物體10090f的組合的形狀不是旋轉對稱的形狀,所以接收機能夠藉由拍攝發 光部10090e和物體10090f,來正確地進行自身位置推測。
接著,對自身位置推測的時序處理進行說明。
接收機在每當拍攝時,能夠根據拍攝圖像中的發送機的位置和形狀,進行自身位置推測。結果,接收機能夠推測拍攝中的接收機的移動方向和距離。此外,接收機藉由進行使用多個幀或者圖像的三角測量,能夠進行更正確的自身位置推測。藉由將使用多個圖像的推測結果、或使用不同組合的多個圖像的推測結果進行綜合,接收機能夠更正確地進行自身位置推測。此時,接收機藉由將根據最近的拍攝圖像所推測的結果比較看重地進行綜合,能夠更正確地進行自身位置推測。
接著,對光學黑的跳過進行說明。
圖72是表示實施形態9的接收方法的一例的圖。另外,圖72所示的圖表的橫軸表示時刻,縱軸表示影像感測器內的各曝光線的位置。進而,該圖表的實線箭頭表示開始影像感測器內的各曝光線的曝光的時刻(曝光時間點)。
接收機在一般拍攝時,如圖72的(a)所示,讀出影像感測器的水平光學黑的訊號,但也可以如圖72的(b)所示,跳過水平光學黑的訊號。藉此,能夠接收連續的可見光訊號。
水平光學黑是曝光線上水平方向的光學黑。此外,垂直光學黑是光學黑中的水平光學黑以外的部 分。
接收機藉由從光學黑讀出的訊號來進行黑等級的調整,所以能夠在可見光拍攝開始時,與一般拍攝時同樣地使用光學黑來調整黑等級。在能夠利用垂直光學黑的情況下,接收機藉由僅使用垂直光學黑來進行黑等級調整,能夠連續接收和調整黑等級。在可見光拍攝繼續時,接收機也可以每隔預定的時間使用水平光學黑來調整黑等級。接收機在交替進行一般拍攝和可見光拍攝的情況下,在連續進行可見光拍攝時,跳過水平光學黑的訊號,在其以外時,讀出水平光學黑的訊號。然後,接收機藉由基於該讀出的訊號來進行黑等級的調整,能夠連續地接收可見光訊號,同時進行黑等級的調整。接收機也可以將可見光拍攝圖像的最暗的部分作為黑來進行黑等級的調整。
如此,藉由將讀出訊號的光學黑僅設為垂直光學黑,能夠進行連續的可見光訊號的接收。此外,藉由具備跳過水平光學黑的訊號的模式,能夠在一般拍攝時進行黑等級調整,在可見光拍攝時根據需要進行連續通訊。此外,藉由跳過水平光學黑的訊號,開始曝光線間的曝光的時間點的差變大,所以還能夠接收來自僅被照得較小的發送機的可見光訊號。
接著,對表示發送機的種類的識別碼進行說明。
發送機也可以將表示發送機的種類的發送機識別碼附加於可見光訊號而進行發送。在該情況下,接 收機能夠在接收到發送機識別碼的時間點,進行與該發送機的種類相應的接收動作。例如,在發送機識別碼表示數位標牌的情況下,除了用於進行發送機的個體識別的發送機ID之外,發送機還將表示當前正在顯示哪個內容的內容ID作為可見光訊號發送。接收機藉由基於發送機識別碼將這些ID分開處理,能夠顯示與發送機當前顯示的內容相符的資訊。此外,例如,在發送機識別碼表示數位標牌或緊急燈的情況下,接收機能夠提高感光度而拍攝,藉此減低接收錯誤。
(實施形態10)
在本實施形態中,是對使用前述各實施形態的智慧型手機等接收機、和以LED或有機EL的閃爍樣式而發送資訊的發送機之各應用例進行說明。
在此,對比較相同位址的資料部的接收方法進行說明。
圖73是表示本實施形態的接收方法的一例的流程圖。
接收機接收封包(步驟S10101),進行錯誤更正(步驟S10102)。然後,接收機判定是否已經接收到與所接收的封包的位址相同位址的封包(步驟S10103)。在此,在判定為接收到了的情況下(步驟S10103的「是」),接收機對這些資料進行比較。即,接收機判定數據部是否相等(步驟S10104)。在此,在判定為不相等的情況下(步驟S10104的「否」),接收機進一步判定多個資料部的差 異是否為預定的數量以上,具體而言,是判定不同的位元的數量或者亮度狀態不同的時隙的數量是否為預定的數量以上(步驟S10105)。在此,若判定為預定的數量以上(步驟S10105的「否」),則接收機丟棄已經接收到的封包(步驟S10106)。藉此,在開始從其它發送機接收封包時,能夠避免與從以前的發送機接收到的封包的干擾。另一方面,若判定為不是預定的數量以上(步驟S10105的「否」),則接收機將具有相等資料部的封包最多的資料部的資料設為該位址的資料(步驟S10107)。或者,接收機將相等的位元最多的位元設為該位址的該位元的值。或者,接收機將相等的亮度狀態最多的亮度狀態設為該位址的該時隙的亮度狀態,對該位址的資料進行解調。
如此,在本實施形態中,接收機首先由多個明線的圖案,取得包含資料部以及位址部的第1封包。接下來,接收機判定在第1封包之前已經取得的至少1個封包中是否存在至少1個作為包含與該第1封包的位址部相同的位址部的封包之第2封包。接下來,接收機在判定為存在該至少1個第2封包的情況下,判定該至少1個第2封包與第1封包的各自的資料部是否完全相等。在判定為各自的資料部不完全相等的情況下,接收機在該至少1個第2封包的各個中,判定第2封包的資料部所含的各部分中,與第1封包的資料部所含的各部分不同的部分的數量是否存在預定的數量以上。在此,在該至少1個第2封包中,具有被判定為不同的部分的數量存在預定的數量以上的第2封包的 情況下,接收機丟棄該至少1個第2封包。另一方面,在該至少1個第2封包中,沒有被判定為不同的部分的數量存在預定的數量以上的第2封包的情況下,接收機特定出第1封包以及至少1個第2封包中的、具有相同資料部的封包的數量最多的多個封包。並且,接收機藉由對該多個封包的各個所含的資料部進行解碼來作為與第1封包所含的位址部對應的資料部,從而取得可見光識別碼(ID)的至少一部分。
藉此,在接收到具有同一位址部的多個封包時,即便這些封包的資料部不同,也能夠對適當的資料部進行解碼,能夠正確地取得可見光識別碼的至少一部分。即,具有從同一發送機發送的同一位址部的多個封包,基本上具有同一資料部。但是,在接收機切換成封包的發送來源之發送機的情況下,接收機有時會接收即便具有同一位址部也具有相互不同的資料部的多個封包。在這樣的情況下,在本實施形態中,如圖73的步驟S10106所示,能夠丟棄已經接收到的封包(第2封包),並解碼最新的封包(第1封包)的資料部來作為與該位址部對應的正確的資料部。進而,即便在沒有上述那樣的發送機的切換的情況下,根據可見光訊號的發送接收狀況而定,有時具有同一位址部的多個封包的資料部會略微不同。在這樣的情況下,在本實施形態中,如圖73的步驟S10107那樣,能夠藉由所謂的多數決定,對適當的資料部進行解碼。
在此,對從多個封包解調資料部之資料的接 收方法進行說明。
圖74是表示本實施形態的接收方法的一例的流程圖。
首先,接收機接收封包(步驟S10111),進行位址部的錯誤更正(步驟S10112)。此時,接收機不進行資料部的解調,原樣保持藉由拍攝得到的畫素值。然後,接收機判定在已經接收到的多個封包中,是否存在預定數量以上的相同位址的封包(步驟S10113)。在此,若判定為存在(步驟S10113的「是」),則接收機與相當於具有相同位址的多個封包的資料部之部分的畫素值相配合地進行解調處理(步驟S10114)。
如此,在本實施形態的接收方法中,是根據多個明線的圖案,取得包含資料部以及位址部的第1封包。並且,判定在第1封包之前已經取得的至少1個封包中是否存在預定數量以上的作為包含與第1封包的位址部相同的位址部的封包之第2封包。在判定為存在該預定的數量以上的第2封包的情況下,將與該預定數量以上的第2封包的各個的資料部對應的明線圖像的一部分的區域的畫素值、和與第1封包的資料部對應的明線圖像的一部分的區域的畫素值相加。即,對畫素值進行加算。藉由該加算,算出合成畫素值,藉由對包含該合成畫素值的資料部進行解碼,取得可見光識別碼(ID)的至少一部分。
接收到多個封包的時間點分別不同,所以資料部的畫素值成為反映了各自稍微不同的時間點的發送機 的亮度之值。因此,如上述那樣進行解調處理的部分會包含比單一封包的資料部多的資料量(樣本數)。藉此,能夠更正確地解調資料部。此外,藉由樣本數的增加,能夠解調以更高的調變頻率調變的訊號。
資料部和其錯誤更正碼部以比頭部、位址部、及位址部的錯誤更正碼部更高的頻率被調變。藉由上述的解調方法,即使資料部以後以高的調變頻率被調變也能夠進行解調,所以根據該結構,能夠縮短封包整體的發送時間,即使從更遠處,從更小的光源,也能夠更快速地接收可見光訊號。
接著,對接收可變長度位址的資料的接收方法進行說明。
圖75是表示本實施形態的接收方法的一例的流程圖。
接收機接收封包(步驟S10121),判定是否接收到資料部之所有的位元成為0的封包(以下,稱作0末端封包)(步驟S10122)。在此,若判定為接收到了,即判定為存在0末端封包(步驟S10122的「是」),則接收機判定該0末端封包的位址以下的位址的封包是否全部湊齊,即判定是否接收到了該0末端封包的位址以下的所有的位址的封包(步驟S10123)。另外,對於位址而言,是針對藉由對所發送的資料進行分割而生成的封包的各個,按照這些封包的發送順序而被設為變大的值。接收機在判定為全部湊齊時(步驟S10123的「是」),判斷為0末端 封包的位址是從發送機發送的封包的最後的位址。然後,接收機藉由將到0末端封包為止的各位址的封包的資料相連,來復原資料(步驟S10124)。然後,接收機進行復原了的資料的錯誤檢驗(步驟S10125)。藉此,在不知道被發送的資料被分割成幾部分的情況下,即,位址不是固定長度而是可變長度的情況下,也能夠發送或接收可變長度位址的資料,能夠以高的效率發送接收比固定長度位址的資料多的ID。
如此,在本實施形態中,接收機根據多個明線的圖案,取得各自包含資料部以及位址部的多個封包。並且,接收機判定所取得的多個封包中,是否存在資料部所含的所有位元(bit)表示為0的封包即0末端封包。在判定為存在0末端封包的情況下,接收機判定多個封包中的、作為包含與該0末端封包的位址部相關聯的位址部的封包之\N個(N為1以上的整數)關聯封包是否全部存在。接著,接收機在判定為N個關聯封包全部存在的情況下,藉由將N個關聯封包的各自的資料部排列並解碼,來取得可見光識別碼(ID)。在此,與0末端封包的位址部相關聯的位址部,是表示比0末端封包的位址部所示的位址小且為0以上的位址的位址部。
接著,對使用比調變頻率的週期長的曝光時間的接收方法進行說明。
圖76和圖77是用於說明本實施形態的接收機使用了比調變頻率的週期(調變週期)長的曝光時間的 接收方法的圖。
例如如圖76的(a)所示,若曝光時間被設定為與調變週期相等的時間,則有時不能正確地接收可見光訊號。另外,調變週期是上述的1個時隙的時間。即,在這樣的情況下,反映某時隙的亮度的狀態的曝光線(圖76中以黑表示的曝光線)較少。結果,在這些曝光線的畫素值偶然包含較多雜訊的情況下,難以推測發送機的亮度。
另一方面,例如如圖76的(b)所示,若曝光時間被設定為比調變週期長的時間,則能夠正確地接收可見光訊號。即,在這樣的情況下,反映某時隙的亮度的曝光線多,所以能夠根據較多的曝光線的畫素值推測發送機的亮度,且耐雜訊度強。
此外,若曝光時間過長,則反而不能正確地接收可見光訊號。
例如,如圖77的(a)所示,在曝光時間與調變週期相等的情況下,由接收機接收的亮度變化(即,各曝光線的畫素值的變化)是跟隨用於發送的亮度變化。但是,如圖77的(b)所示,在曝光時間為調變週期的3倍的情況下,由接收機接收的亮度變化不能充分地跟隨用於發送的亮度變化。此外,如圖77的(c)所示,在曝光時間為調變週期的10倍的情況下,由接收機接收的亮度變化完全不能跟隨用於發送的亮度變化。即,曝光時間較長時能夠根據較多的曝光線推測亮度,所以雜訊耐性變高,但若曝光時間變長,則識別餘裕(margin)下降,或者識別餘 裕變小,因此雜訊耐性變低。藉由平均該等曝光時間,將曝光時間設為調變週期的2~5倍左右,能夠使雜訊耐性最高。
接著,對封包的分割數進行說明。
圖78是表示相對於發送資料的大小之有效率的分割數的圖。
在發送機藉由亮度變化發送資料的情況下,若將發送的所有資料(發送資料)包含於1個封包,則該封包的資料大小較大。但是,若將該發送資料分割成多個部分資料,並將這些部分資料包含於各封包,則各個封包的資料大小較小。在此,接收機藉由拍攝來接收該封包。但是,封包的資料大小越大,則接收機越難以藉由1次拍攝接收該封包,需要反覆進行拍攝。
因此,理想的是,發送機如圖78的(a)和(b)所示,發送資料的資料大小越大則使該發送資料的分割數越多。但是,若分割數過多,若不全部接收這些部分資料則不能復原發送資料,所以接收效率反而下降。
因此,如圖78的(a)所示,若在位址的資料大小(位址大小)為可變、發送資料的資料大小為2-16位元、16-24位元、24-64位元、66-78位元、78-128位元、128位元以上的情況下,將發送資料分別分割成1-2個、2-4個、4個、4-6個、6-8個、7個以上的部分資料,則能夠藉由可見光訊號有效率地發送發送資料。此外,如圖78的(b)所示,若在位址的資料大小(位址大小)固定為4位元、 發送資料的資料大小為2-8位元、8-16位元、16-30位元、30-64位元、66-80位元、80-96位元、96-132位元、132位元以上的情況下,將發送資料分別分割成1-2個、2-3個、2-4個、4-5個、4-7個、6個、6-8個、7個以上的部分資料,則能夠藉由可見光訊號有效率地發送發送資料。
此外,發送機依次進行基於包含多個部分資料的各個的各封包的亮度變化。例如,發送機按照各封包的位址順序,進行基於該封包的亮度變化。進而,發送機也可以以與位址順序不同的順序,再次進行基於該等多個部分資料的亮度變化。藉此,能夠使接收機確實地接收各部分資料。
接著,對接收機的通知動作的設定方法進行說明。
圖79A是表示本實施形態的設定方法的一例的圖。
首先,接收機從處於接收機的附近的伺服器取得用於識別通知動作的通知動作識別碼、和該通知動作識別碼的優先度(具體而言是表示優先度的識別碼)(步驟S10131)。在此,通知動作是在包含多個部分資料的各個的各封包藉由亮度變化被發送而被接收機接收到時,向接收機的使用者通知接收到這些封包之接收機的動作。例如,該動作是聲音的鳴動、振動或者畫面顯示等。
接著,接收機接收包含封包化了的可見光訊號、即多個部分資料的各個之各封包(步驟S10132)。在 此,接收機取得包含於該可見光訊號的通知動作識別碼、和該通知動作識別碼的優先度(具體而言是表示優先度的識別碼)(步驟S10133)。
然後,接收機讀出接收機的當前的通知動作的設定內容,即預先設定於接收機的通知動作識別碼和該通知動作識別碼的優先度(具體而言是表示優先度的識別碼)(步驟S10134)。另外,預先設定於接收機的通知動作識別碼例如是藉由使用者的操作而設定。
然後,接收機選擇預先設定的通知動作識別碼、和在步驟S10131及步驟S10133中分別取得的通知動作識別碼中優先度最高的識別碼(步驟S10135)。接著,接收機藉由自己重新設定所選擇的通知動作識別碼,來進行藉由所選擇的通知動作識別碼所表示的動作,對使用者通知可見光訊號的接收(步驟S10136)。
另外,接收機也可以不進行步驟S10131和步驟S10133的任一步驟,而從2個通知動作識別碼中選擇優先度高的通知動作識別碼。
另外,也可以將從設置於劇場或者美術館等的伺服器所發送的通知動作識別碼的優先度、或者在這些設施內發送的可見光訊號所包含的通知動作識別碼的優先度設定得高。藉此,在該設施內,能夠與使用者的設定無關地,使用於接收通知的聲音不響起。此外,在其它設施中,藉由事先使通知動作識別碼的優先度變低,接收機能夠藉由與使用者的設定相應的動作來通知接收。
圖79B是表示本實施形態的設定方法的另一例的圖。
首先,接收機從處於接收機的附近的伺服器取得用於識別通知動作的通知動作識別碼、和該通知動作識別碼的優先度(具體而言是表示優先度的識別碼)(步驟S10141)。接著,接收機接收包含封包化了的可見光訊號,即多個部分資料的各個之各封包(步驟S10142)。在此,接收機取得包含於該可見光訊號的通知動作識別碼和該通知動作識別碼的優先度(具體而言是表示優先度的識別碼)(步驟S10143)。
進而,接收機讀出接收機的當前的通知動作的設定內容,即預先設定於接收機的通知動作識別碼和該通知動作識別碼的優先度(具體而言是表示優先度的識別碼)(步驟S10144)。
然後,接收機判定在預先設定的通知動作識別碼、和在步驟S10141及步驟S10143中分別取得的通知動作識別碼中,是否包含用以表示禁止發出通知音的動作之動作通知識別碼(步驟S10145)。在此,若判定為包含(步驟S10145的「是」),則接收機響起用於通知接收完成的通知音(步驟S10146)。另一方面,若判定為不包含(步驟S10145的「否」),則接收機藉由例如振動等,通知使用者接收完成(步驟S10147)。
另外,接收機也可以不進行步驟S10141和步驟S10143的任一步驟,而判定在2個通知動作識別碼中是 否包含用以表示禁止發出通知音的動作之動作通知識別碼。
此外,接收機也可以基於藉由拍攝而得到的圖像來進行自身位置推測,藉由與推測出的位置或者處於該位置的設施相關聯的動作,通知使用者接收。
圖80是表示實施形態10的資訊處理程式的處理的流程圖。
該資訊處理程式是用於使上述的發送機的發光體按照圖78所示的分割數而發生亮度變化的程式。
即,該資訊處理程式是為了藉由亮度變化發送發送對象的資訊,而使電腦處理發送對象的資訊的資訊處理程式。具體而言,該資訊處理程式使電腦執行以下步驟:編碼步驟SA41,藉由將發送對象的資訊編碼而生成編碼訊號;分割步驟SA42,在生成的編碼訊號的位元數處於24~64位元的範圍的情況下,將編碼訊號分割為4個部分訊號;以及輸出步驟SA43,依次輸出4個部分訊號。另外,這些部分訊號作為封包而輸出。此外,資訊處理程式也可以使電腦特定編碼訊號的位元數,基於該特定出的位元數,決定部分訊號的數量。在該情況下,資訊處理程式使電腦藉由將編碼訊號分割,來生成該決定出的數量的部分訊號。
藉此,在編碼訊號的位元數處於24~64位元的範圍的情況下,編碼訊號被分割成4個部分訊號並輸出。結果,若發光體按照所輸出的4個部分訊號而發生亮 度變化,則該4個部分訊號分別作為可見光訊號而發送並被接收機接收。在此,輸出的訊號的位元數越多,則接收機越難以藉由拍攝適當地接收該訊號,接收效率下降。因此,理想的是將該訊號分割為位元數少的訊號、即分割為小的訊號。但是,若將訊號過細地分割為大量的小的訊號,則接收機若不單獨分別接收所有小的訊號,則不能接收原來的訊號,所以接收效率下降。因此,如上述那樣,在編碼訊號的位元數處於24~64位元的範圍的情況下,將編碼訊號分割為4個部分訊號而依次輸出,藉此能夠以最高的接收效率將表示發送對象的資訊的編碼訊號作為可見光訊號而發送。結果,能夠使得各種各樣的機器間的通訊成為可能。
此外,在輸出步驟SA43中,也可以按照第1順序輸出4個部分訊號,然後按照與第1順序不同的第2順序再次輸出4個部分訊號。
藉此,這些4個部分訊號改變順序而反覆輸出,所以在所輸出的各訊號作為可見光訊號而向接收機發送的情況下,能夠進一步提高這些4個部分訊號的接收效率。即,即使以相同順序反覆輸出4個部分訊號,也會產生相同部分訊號不被接收機接收的情況,但藉由改變其順序,能夠抑制產生那樣的情況。
此外,也可以如圖79A和圖79B所示,在輸出步驟SA43中,還使通知動作識別碼附隨於4個部分訊號並輸出。通知動作識別碼是用於識別在4個部分訊號藉由 亮度變化被發送而被接收機接收時,通知接收機的使用者接收到4個部分訊號之接收機的動作的識別碼。
藉此,在該通知動作識別碼作為可見光訊號被發送並被接收機接收的情況下,接收機能夠按照藉由該通知動作識別碼而識別的動作,通知使用者4個部分訊號的接收。即,在發送發送對象的資訊之側,能夠設定接收機的通知動作。
此外,也可以如圖79A和圖79B所示,在輸出步驟SA43中,還使用於識別通知動作識別碼的優先度的優先度識別碼附隨於4個部分訊號並輸出。
藉此,在該優先度識別碼和通知動作識別碼作為可見光訊號被發送並被接收機接收的情況下,接收機能夠按照藉由該優先度識別碼而識別的優先度來處理通知動作識別碼。即,在接收機取得其它通知動作識別碼的情況下,接收機能夠基於其優先度,選擇藉由作為可見光訊號發送的通知動作識別碼而識別的通知動作、和藉由其它通知動作識別碼而識別的通知動作中的一者。
本發明的一態樣所涉及的資訊處理程式是為了藉由亮度變化來發送發送對象的資訊,而使電腦處理前述發送對象的資訊的資訊處理程式,該資訊處理程式使前述電腦執行如下步驟:編碼步驟,藉由對前述發送對象的資訊進行編碼而生成編碼訊號;分割步驟,在生成的前述編碼訊號的位元數處於24~64位元的範圍的情況下,將前述編碼訊號分割為4個部分訊號;以及輸出步驟,依次 輸出前述4個部分訊號。
藉此,如圖77~圖80所示,在編碼訊號的位元數處於24~64位元的範圍的情況下,編碼訊號被分割為4個部分訊號並輸出。其結果,當發光體按照輸出的4個部分訊號發生亮度變化時,該4個部分訊號分別作為可見光訊號被發送並被接收機接收。在此,輸出的訊號的位元數越多,則接收機越難以藉由拍攝適當地接收該訊號,接收效率會降低。因此,理想的是將該訊號分割為位元數少的訊號、即分割為小的訊號。但是,若將訊號過細地分割為大量的小的訊號,則接收機若不單獨分別接收所有的小的訊號,則不能接收原來的訊號,所以接收效率會降低。因此,如上述那樣,在編碼訊號的位元數處於24~64位元的範圍的情況下,將編碼訊號分割為4個部分訊號而依次輸出,藉此,能夠以最佳的接收效率將表示發送對象的資訊的編碼訊號作為可見光訊號而發送。結果,能夠使得各種各樣的機器間的通訊成為可能。
另外,在前述輸出步驟中,也可以按照第1順序輸出前述4個部分訊號,然後,按照與前述第1順序不同的第2順序再次輸出前述4個部分訊號。
藉此,這些4個部分訊號改變順序而反覆輸出,所以在所輸出的各訊號作為可見光訊號而向接收機發送的情況下,能夠進一步提高這些4個部分訊號的接收效率。即,即使以相同順序反覆輸出4個部分訊號,也會產生相同部分訊號不被接收機接收的情況,但藉由改變其順 序,能夠抑制產生那樣的情況。
另外,也可以是,在前述輸出步驟中,還使通知動作識別碼附隨於前述4個部分訊號並輸出,前述通知動作識別碼是用於識別在前述4個部分訊號藉由亮度變化被發送而被接收機接收時,通知前述接收機的使用者接收到前述4個部分訊號之前述接收機的動作的識別碼。
藉此,在該通知動作識別碼作為可見光訊號被發送並被接收機接收的情況下,接收機能夠按照藉由該通知動作識別碼而識別的動作,通知使用者4個部分訊號的接收。即,在發送發送對象的資訊之側,能夠設定接收機的通知動作。
另外,也可以是,在前述輸出步驟中,還使用於識別前述通知動作識別碼的優先度的優先度識別碼附隨於前述4個部分訊號並輸出。
藉此,在該優先度識別碼和通知動作識別碼作為可見光訊號被發送並被接收機接收的情況下,接收機能夠按照藉由該優先度識別碼而識別的優先度來處理通知動作識別碼。即,在接收機取得其它通知動作識別碼的情況下,接收機能夠基於其優先度,選擇藉由作為可見光訊號發送的通知動作識別碼而識別的通知動作、和藉由其它通知動作識別碼而識別的通知動作中的一者。
接著,對電子機器的網路連接的登錄進行說明。
圖81是用來說明本實施形態的發送接收系 統的應用例的圖。
該發送接收系統具備構成為例如洗衣機等電子機器的發送機10131b、構成為例如智慧型手機的接收機10131a、以及構成為無線存取點或者路由器的通訊裝置10131c。
圖82是表示本實施形態的發送接收系統的處理動作的流程圖。
發送機10131b在按下開始按鈕時(步驟S10165),將SSID、密碼、IP位址、MAC位址或者加密金鑰等用於與自身連接的資訊,經由Wi-Fi、Bluetooth(註冊商標)或者乙太網路(註冊商標)等而發送(步驟S10166),等候連接。發送機10131b可以直接發送這些資訊,也可以間接發送這些資訊。在間接發送的情況下,發送機10131b發送與這些資訊相關聯的ID。接收到該ID的接收機10131a例如從伺服器等下載與該ID相關聯的資訊。
接收機10131a接收該資訊(步驟S10151),對發送機10131b連接,將用於對構成為無線存取點或路由器的通訊裝置10131c連接的資訊(SSID、密碼、IP位址、MAC位址或者加密金鑰等)向發送機10131b發送(步驟S10152)。接收機10131a將發送機10131b用於對通訊裝置10131c連接的資訊(MAC位址、IP位址或者加密金鑰等)向通訊裝置10131c登錄,使通訊裝置10131c等候連接。然後,接收機10131a通知發送機10131b從發送機 10131b對通訊裝置10131c的連接已準備完成(步驟S10153)。
發送機10131b切斷與接收機10131a的連接(步驟S10168),對通訊裝置10131c連接(步驟S10169)。若連接成功(步驟S10170的「是」),則發送機10131b經由通訊裝置10131c通知接收機10131a連接成功,藉由畫面顯示、LED的狀態、聲音等通知使用者連接成功(步驟S10171)。若連接失敗(步驟S10170的「否」),則發送機10131b藉由可見光通訊通知接收機10131a連接失敗,與成功時同樣地通知使用者(步驟S10172)。此外,也可以藉由可見光通訊通知連接成功。
接收機10131a與通訊裝置10131c連接(步驟S10154),若無連接成功或失敗的通知(步驟S10155的「否」,且步驟S10156的「否」),則確認是否能夠經由通訊裝置10131c來存取發送機10131b(步驟S10157)。若不能(步驟S10157的「否」),則接收機10131a使用從發送機10131b接收到的資訊來判定是否對發送機10131b進行了預定次數以上的連接(步驟S10158)。在此,若判定為沒有進行預定次數以上(步驟S10158的「否」),則接收機10131a反覆進行自步驟S10152起的處理。另一方面,若判定為進行了預定次數以上(步驟S10158的「是」),則接收機10131a通知使用者處理失敗(步驟S10159)。此外,接收機10131a若在步驟S10156中判定為產生了連接成功的通知(步驟S10156的「是」), 則通知使用者處理成功(步驟S10160)。即,接收機10131a藉由畫面顯示、聲音等通知使用者發送機10131b是否成功地與通訊裝置10131c連接。藉此,即使使用者不進行複雜的輸入,也能夠使發送機10131b對通訊裝置10131c連接。
接著,對電子機器的網路連接的登錄(經由其它電子機器來連接的情況)進行說明。
圖83是用來說明本實施形態的發送接收系統的應用例的圖。
該發送接收系統具備:空調10133b、構成為與空調10133b連接的無線配接器等電子機器的發送機10133c、構成為例如智慧型手機的接收機10133a、構成為無線存取點或者路由器的通訊裝置10133d、以及構成為例如無線配接器、無線存取點或者路由器等的其它電子機器10133e。
圖84是表示本實施形態的發送接收系統的處理動作的流程圖。另外,以下,將空調10133b或者發送機10133c稱作電子機器A,將電子機器10133e稱作電子機器B。
首先,電子機器A在按下開始按鈕時(步驟S10188),發送用於與自身連接的資訊(個體ID、密碼、IP位址、MAC位址或者加密金鑰等)(步驟S10189),等候連接(步驟S10190)。電子機器A可以將這些資訊與上述同樣地直接發送,也可以間接發送。
接收機10133a從電子機器A接收該資訊(步 驟S10181),向電子機器B發送該資訊(步驟S10182)。電子機器B在接收到該資訊時(步驟S10196),按照該接收到的資訊對電子機器A連接(步驟S10197)。然後,電子機器B判定與電子機器A的連接是否成立(步驟S10198),將該是否成立通知給接收機10133a(步驟S10199或者步驟S101200)。
電子機器A若在預定時間的期間內與電子機器B連接(步驟S10191的「是」),則經由電子機器B通知接收機10133a連接成功(步驟S10192),若沒有連接(步驟S10191的「否」),則藉由可見光通訊通知接收機10133a連接失敗(步驟S10193)。另外,電子機器A藉由畫面顯示、發光狀態或聲音等,通知使用者連接是否成功。藉此,即使使用者不進行複雜的輸入,也能夠使電子機器A(發送機10133c)對電子機器B(電子機器10133e)連接。此外,圖83所示的空調10133b和發送機10133c可以一體構成,同樣地,通訊裝置10133d和電子機器10133e也可以一體構成。
接著,對適當的拍攝資訊的發送進行說明。
圖85是用來說明本實施形態的發送接收系統的應用例的圖。
該發送接收系統具備構成為例如數位靜態相機或數位攝影機的接收機10135a、和構成為例如照明的發送機10135b。
圖86是表示本實施形態的發送接收系統的 處理動作的流程圖。
首先,接收機10135a向發送機10135b送出拍攝資訊發送命令(步驟S10211)。接著,發送機10135b在接收到拍攝資訊發送命令的情況下、按下了拍攝資訊發送按鈕的情況下、拍攝資訊發送開關開啟的情況下、開啟了電源的情況下(步驟S10221的「是」),發送拍攝資訊(步驟S10222)。拍攝資訊發送命令是用於發送拍攝資訊的命令,拍攝資訊是表示例如照明的色溫度、光譜分佈、照度或者配光。發送機10135b是與上述同樣地,可以直接發送拍攝資訊,也可以間接發送拍攝資訊。在間接發送的情況下,發送機10135b發送與拍攝資訊相關聯的ID。接收到該ID的接收機10135a例如從伺服器等下載與該ID相關聯的拍攝資訊。此時,發送機10135b也可以發送用於向自身發送發送停止命令的方法(傳送發送停止命令的電波、紅外線、或是音波的頻率、或是用於對自身連接的SSID、密碼或IP位址等)。
接收機10135a在接收到拍攝資訊時(步驟S10212),將發送停止命令向發送機10135b發送(步驟S10213)。在此,發送機10135b在從接收機10135a接收到發送停止命令時(步驟S10223的),停止拍攝資訊的發送,均勻地發光(步驟S10224)。
進而,接收機10135a按照在步驟S10212中接收到的拍攝資訊設定拍攝參數(步驟S10214),或者,通知使用者拍攝資訊。拍攝參數例如是白平衡、曝光時間、 焦點距離、感光度或者場景模式。藉此,能夠配合照明以最佳的設定進行拍攝。接著,接收機10135a在停止來自發送機10135b的拍攝資訊的發送之後(步驟S10215的「是」),進行拍攝(步驟S10216)。藉此,能夠消除因訊號發送所引起的被攝體的明亮度的變化並進行拍攝。另外,接收機10135a也可以在步驟S10216後,將催促開始發送拍攝資訊的發送開始命令向發送機10135b發送(步驟S10217)。
接著,對充電狀態的顯示進行說明。
圖87是用來說明本實施形態的發送機的應用例的圖。
構成為例如充電器的發送機10137b具備發光部,將表示電池的充電狀態的可見光訊號從發光部發送。藉此,即使不具備高價的顯示裝置,也能夠通知電池的充電狀態。另外,在使用小的LED作為發光部的情況下,若不從附近拍攝該LED,則不能接收可見光訊號。此外,在該LED的附近存在突起部的發送機10137c中,突起部成為妨礙而難以近拍LED。因此,與來自發送機10137c的可見光訊號相比,來自在LED的附近無突起部的發送機10137b的可見光訊號能夠更容易接收。
(實施形態11)
在本實施形態中,是對使用上述各實施形態的智慧型手機等接收機、和以LED或有機EL的閃爍樣式而發送資訊的發送機之各應用例進行說明。
首先,對演示模式時和故障時的發送進行說明。
圖88是說明本實施形態的發送機的動作的一例的圖。
發送機在產生錯誤的情況下,能夠藉由發送表示產生錯誤的訊號、或者與錯誤碼對應的訊號,來告知接收機產生了錯誤或錯誤內容。接收機能夠藉由配合錯誤內容表示適當的對應,來修復錯誤或者向服務中心適當地報告錯誤內容。
發送機在成為演示模式的情況下,發送演示碼。藉此,在例如店面處進行作為商品的發送機的演示的情況下,來店者能夠接收演示碼,取得與演示碼相關聯的商品說明。是否處於演示模式能夠根據以下的點來判斷:發送機的動作設定成為了演示模式、插入了店面用CAS卡、沒有插入CAS卡、沒有插入記錄用媒體。
接著,對來自遙控器的訊號發送進行說明。
圖89是說明本實施形態的發送機的動作的一例的圖。
在構成為例如空調的遙控器之發送機接收了本體資訊時,藉由發送機發送本體資訊,接收機能夠從位於附近的發送機接收遠處的本體的資訊。接收機也能夠透過網路等而從存在於不能進行可見光通訊的場所的本體接收資訊。
接著,對僅在處於亮的場所時發送的處理進 行說明。
圖90是說明本實施形態的發送機的動作的一例的圖。
發送機在周圍的明亮度為一定以上時進行發送,在成為一定以下時停止發送。藉此,構成為例如電車的廣告的發送機能夠在車輛入庫時自動停止動作,能夠抑制電池的消耗。
接著,對與發送機的顯示相符的內容發布(相關聯的變更/排程)進行說明。
圖91是說明本實施形態的發送機的動作的一例的圖。
發送機配合顯示的內容之顯示時間點,而將想要使接收機取得的內容與發送ID相關聯。每當變更顯示內容時,將相關聯的變更向伺服器登錄。
發送機在顯示內容的顯示時間點為已知的情況下,以配合顯示內容的變化時間點而將其它內容交付給接收機的方式設定伺服器。伺服器在接收機請求與發送ID相關聯的內容時,將與所設定的排程相符的內容向接收機發送。
藉此,在構成為例如數位標牌的發送機不斷變更顯示內容的情況下,接收機能夠取得與發送機所顯示的內容相符的內容。
接著,對與發送機的顯示相符的內容發布(時刻的同步)進行說明。
圖92是說明本實施形態的發送機的動作的一例的圖。
對與預定的ID相關聯之內容取得的請求,以根據時刻而交付不同內容的方式,預先向伺服器登錄。
發送機與伺服器同步時刻,以在預定的時刻顯示預定的部分的方式調整時間點而顯示內容。
藉此,在構成為例如數位標牌的發送機不斷變更顯示內容的情況下,接收機能夠取得與發送機所顯示的內容相符的內容。
接著,對與發送機的顯示相符的內容發布(顯示時刻的發送)進行說明。
圖93是說明本實施形態的發送機和接收機的動作的一例的圖。
除了發送機的ID之外,發送機還發送顯示中的內容的顯示時刻。內容顯示時刻是能夠特定出當前顯示之內容的資訊,例如能夠表現為自內容的開始時間點起的經過時刻等。
接收機從伺服器取得與所接收到的ID相關聯的內容,並配合接收到的顯示時刻而顯示內容。藉此,在構成為例如數位標牌的發送機不斷變更顯示內容的情況下,接收機能夠取得與發送機所顯示的內容相符的內容。
此外,隨著時間的經過,接收機變更顯示的內容。藉此,即使在發送機的顯示內容變化時不再次接收訊號,也可顯示與顯示內容相符的內容。
接著,對與使用者的許諾狀況相符的資料的上傳進行說明。
圖94是說明本實施形態的接收機的動作的一例的圖。
在使用者進行了帳戶登錄的情況下,接收機將帳戶登錄時等使用者進行了存取許可的資訊(接收機的位置、電話號碼、ID、安裝的應用程式、使用者的年齡、性別、職業、喜好等)與接收到的ID相搭配,並向伺服器發送。
在沒有進行帳戶登錄的情況下,若使用者允許前述那樣的資訊的上傳,則同樣向伺服器發送,在沒有許可的情況下,僅將所接收到的ID向伺服器發送。
藉此,使用者能夠接收到與接收時的狀況或自身的個性相符的內容,此外,伺服器藉由得到使用者的資訊,而能夠有助於資料解析。
接著,對內容再生應用程式的起動進行說明。
圖95是說明本實施形態的接收機的動作的一例的圖。
接收機從伺服器取得與所接收到的ID相關聯的內容。在起動中的應用程式能夠處理(能夠顯示或者再生)取得內容的情況下,藉由起動中的應用程式來顯示/再生取得內容。在不能處理的情況下,確認可處理的應用程式是否安裝於接收機,在安裝有可處理的應用程式的情 況下,起動該應用程式並進行取得內容的顯示/再生。在沒有安裝的情況下,自動進行安裝,或者進行催促安裝的顯示,或者顯示下載畫面,並在安裝後進行取得內容的顯示/再生。
藉此,能夠適當地處理(進行顯示/再生等)取得內容。
接著,對指定應用程式的起動進行說明。
圖96是說明本實施形態的接收機的動作的一例的圖。
接收機從伺服器取得與所接收到的ID相關聯的內容、和指定應起動的應用程式的資訊(應用ID)。在起動中的應用程式為指定應用程式的情況下,顯示/再生所取得的內容。在指定應用程式已安裝於接收機的情況下,起動指定應用程式來進行取得內容的顯示/再生。在沒有安裝的情況下自動進行安裝,或者進行催促安裝的顯示,或者顯示下載畫面,並在安裝後進行取得內容的顯示/再生。
接收機也可以僅從伺服器取得應用程式ID,並起動指定應用程式。
接收機也可以進行所指定的設定。接收機也可以設定所指定的參數,並起動所指定的應用程式。
接著,對串流接收和一般接收的選擇進行說明。
圖97是說明本實施形態的接收機的動作的 一例的圖。
接收機在接收到的資料的預定位址的值是預定的值的情況下、或接收到的資料包含預定的識別碼的情況下,判斷為訊號被進行串流發布,並以串流資料的接收方法進行接收。在非上述的情況下,以一般的接收方法來接收。
藉此,無論以串流發布和一般發布的任一方法發送訊號,都能夠進行接收。
接著,對私人資料進行說明。
圖98是說明本實施形態的接收機的動作的一例的圖。
接收機在接收到的ID的值處於預定的範圍內的情況下、或包含預定的識別碼的情況下,在應用程式內參照表格,若接收ID存在於表格,則取得由該表格指定的內容。在非上述的情況下,從伺服器取得被設為接收ID的內容。
藉此,即使不向伺服器進行登錄也能夠接收內容。此外,因為不進行與伺服器的通訊,所以可得到迅速的回應。
接著,對配合頻率的曝光時間之設定進行說明。
圖99是說明本實施形態的接收機的動作的一例的圖。
接收機檢測訊號,並辨識訊號的調變頻率。 接收機與調變頻率的週期(調變週期)相應地設定曝光時間。例如,藉由設為與調變週期同程度的曝光時間,能夠容易地接收訊號。此外,例如,藉由將曝光時間設定成調變週期的整數倍或者與其接近的值(大致±30%左右),能夠藉由卷積碼容易地接收訊號。
接著,對發送機的最佳參數設定進行說明。
圖100是說明本實施形態的接收機的動作的一例的圖。
除了從發送機接收的資料之外,接收機還將與當前位置資訊或使用者相關聯的資訊(住址、性別、年齡、喜好等)向伺服器發送。伺服器與所接收的資訊相應地,將用於使發送機最佳地動作的參數向接收機發送。接收機在能夠對發送機設定所接收到的參數的情況下進行設定。在不能設定的情況下,顯示參數,催促使用者對發送機設定該參數。
藉此,例如,能夠配合使用發送機的地區的水的性質而使洗衣機最適當地動作,或者以最適合於使用者所使用的米的種類的煮飯方法來使電鍋動作。
接著,對表示資料之結構的識別碼進行說明。
圖101是說明本實施形態的發送資料的結構的一例的圖。
發送的資訊包含識別碼,接收機能夠根據該值來得知後續部分的結構。例如,能夠特定出資料的長度、 錯誤更正碼的種類和長度、資料的分割點等。
藉此,發送機能夠根據發送機或通訊路的性質來變更資料本體或錯誤更正碼的種類或長度。此外,除了發送機的ID之外,發送機還發送內容ID,藉此,能夠使接收機取得與內容ID相應的ID。
(實施形態12)
在本實施形態中,是對使用上述各實施形態的智慧型手機等接收機、和以LED或有機EL的閃爍樣式而發送資訊的發送機之各應用例進行說明。
圖102是用來說明本實施形態的接收機的動作的圖。
本實施形態中的接收機1210a在進行基於影像感測器的連續攝影時,例如以幀為單位將快門速度切換為高速和低速。進而,接收機1210a基於藉由該攝影而得到的幀,將針對該幀的處理切換為條碼辨識處理和可見光辨識處理。在此,條碼辨識處理是指對藉由低速的快門速度得到的幀上顯現的條碼進行解碼的處理。可見光辨識處理是指對藉由高速的快門速度得到的幀上顯現的上述明線的圖案進行解碼的處理。
這樣的接收機1210a具備:影像輸入部1211、條碼/可見光識別部1212、條碼辨識部1212a、可見光辨識部1212b和輸出部1213。
影像輸入部1211具備影像感測器,並切換基於影像感測器的攝影的快門速度。即,影像輸入部1211例 如以幀為單位將快門速度交替地切換為低速和高速。更具體而言,影像輸入部1211針對第奇數個幀將快門速度切換為高速,針對第偶數個幀將快門速度切換為低速。低速的快門速度的攝影是上述一般攝影模式的攝影,高速的快門速度的攝影是上述可見光通訊模式的攝影。即,在快門速度為低速的情況下,影像感測器所包含的各曝光線的曝光時間長,可以獲得拍到被攝體的一般攝影圖像來作為幀。另外,在快門速度為高速的情況下,影像感測器所包含的各曝光線的曝光時間短,可以獲得拍到上述明線的可見光通訊圖像來作為幀。
條碼/可見光識別部1212藉由判別由影像輸入部1211得到的圖像上是否出現條碼、或是否出現明線,來切換針對該圖像的處理。例如,如果藉由低速的快門速度之攝影所得到的幀上出現條碼,則條碼/可見光識別部1212使條碼辨識部1212a執行針對該圖像的處理。另一方面,如果藉由高速的快門速度之攝影所得到的圖像上出現明線,則條碼/可見光識別部1212使可見光辨識部1212b執行針對該圖像的處理。
條碼辨識部1212a對藉由低速的快門速度之攝影所得到的幀上出現的條碼進行解碼。條碼辨識部1212a是藉由其解碼而取得條碼的資料(例如條碼識別碼),並將該條碼識別碼向輸出部1213輸出。此外,條碼既可以是一維碼,也可以是二維碼(例如,QR碼(註冊商標))。
可見光辨識部1212b對藉由高速的快門速度之攝影所得到的幀上出現的明線的圖案進行解碼。可見光辨識部1212b是藉由其解碼而取得可見光的資料(例如可見光識別碼),並將該可見光識別碼向輸出部1213輸出。此外,可見光的資料是上述可見光訊號。
輸出部1213僅顯示藉由低速的快門速度之攝影所得到的幀。因此,在基於影像輸入部1211之攝影的被攝體是條碼的情況下,輸出部1213顯示條碼。另外,在基於影像輸入部1211之攝影的被攝體是發送可見光訊號的數位標牌等的情況下,輸出部1213不顯示明線的圖案,而顯示該數位標牌的像。並且,在取得了條碼識別碼的情況下,輸出部1213從例如伺服器等取得與該條碼識別碼相對應的資訊,並顯示該資訊。另外,在取得了可見光識別碼的情況下,輸出部1213從例如伺服器等取得與該可見光識別碼相對應的資訊,並顯示該資訊。
即,作為終端裝置的接收機1210a具備影像感測器,一邊將影像感測器的快門速度交替地切換為第1速度和比第1速度高速的第2速度,一邊進行影像感測器的連續攝影。並且,(a)在基於影像感測器之攝影的被攝體是條碼的情況下,接收機1210a利用快門速度為第1速度時的攝影,取得顯現有條碼的圖像,並對該圖像所顯現的條碼進行解碼,藉此取得條碼識別碼。另外,(b)在基於影像感測器之攝影的被攝體是光源(例如數位標牌等)的情況下,接收機1210a利用在快門速度是第2速度時的攝 影,取得包含與影像感測器所包含的多個曝光線的各個對應的明線的圖像即明線圖像。並且,接收機1210a藉由對所取得的明線圖像中所包含的多個明線的圖案進行解碼,取得可見光訊號來作為可見光識別碼。進而,該接收機1210a顯示當快門速度是第1速度時藉由攝影而得到的圖像。
在這樣的本實施形態的接收機1210a中,藉由切換並進行條碼辨識處理和可見光辨識處理,能夠進行條碼的解碼,並且能夠接收可見光訊號。進而,藉由切換,能夠抑制消耗電力。
本實施形態的接收機也可以與可見光處理同時地進行圖像辨識處理,以取代同時地進行條碼辨識處理。
圖103A是用來說明本實施形態的接收機的另一動作的圖。
本實施形態的接收機1210b在進行基於影像感測器的連續攝影時,例如以幀為單位將快門速度切換為高速和低速。進而,接收機1210b針對藉由該攝影得到的圖像(幀),同時執行圖像辨識處理和上述可見光辨識處理。圖像辨識處理是對藉由低速的快門速度得到的幀上顯現的被攝體進行辨識的處理。
這樣的接收機1210b具備:影像輸入部1211、圖像辨識部1212c、可見光辨識部1212b和輸出部1215。
影像輸入部1211具備影像感測器,並且切換基於影像感測器的攝影的快門速度。即,影像輸入部1211例如以幀為單位將快門速度交替地切換為低速和高速。更具體而言,影像輸入部1211針對第奇數個幀將快門速度切換為高速,針對第偶數個幀將快門速度切換為低速。低速的快門速度的攝影是上述一般攝影模式的攝影,高速的快門速度的攝影是上述可見光通訊模式的攝影。即,在快門速度為低速的情況下,影像感測器所包含的各曝光線的曝光時間長,可以獲得拍到被攝體的一般攝影圖像來作為幀。另外,在快門速度為高速的情況下,影像感測器所包含的各曝光線的曝光時間短,可以獲得拍到上述明線的可見光通訊圖像來作為幀。
圖像辨識部1212c是對藉由低速的快門速度的攝影得到的幀上出現的被攝體進行辨識,並且特定出該被攝體在幀內的位置。圖像辨識部1212c,作為辨識的結果,判斷該被攝體是否被作為AR(Augmented Reality;擴增實境)的對象(以下,稱為AR對象物)。並且,在判斷為被攝體是AR對象物時,圖像辨識部1212c生成用於表示與該被攝體相關之資訊的資料(例如,被攝體的位置以及AR標記等)即圖像辨識資料,並將該AR標記向輸出部1215輸出。
輸出部1215與前述輸出部1213同樣,僅顯示藉由低速的快門速度的攝影所得到的幀。因此,在基於影像輸入部1211之攝影的被攝體是發送可見光訊號的數位 標牌等的情況下,輸出部1213不顯示明線的圖案,而顯示該數位標牌的像。進而,當從圖像辨識部1212c取得圖像辨識資料時,輸出部1215基於由圖像辨識資料表示的幀內的被攝體的位置,將包圍該被攝體的白框狀的指示器(indicator)重疊於該幀。
圖103B是示出由輸出部1215顯示的指示器的例子的圖。
輸出部1215將包圍例如構成為數位標牌的被攝體的像1215a之白框狀的指示器1215b重疊於幀。即,輸出部1215顯示用以表示被圖像辨識出的被攝體的指示器1215b。進而,當從可見光辨識部1212b取得可見光識別碼時,輸出部1215將該指示器1215b的顏色例如從白色變更為紅色。
圖103C是示出AR的顯示例的圖。
輸出部1215還從例如伺服器等取得與該可見光識別碼相對應的、與被攝體相關的資訊作為關聯資訊。輸出部1215對由圖像辨識資料表示的AR標記1215c記載關聯資訊,將記載有關聯資訊的AR標記1215c與幀內的被攝體的像1215a相關聯地顯示。
在這樣的本實施形態的接收機1210b中,藉由同時地進行圖像辨識處理和可見光辨識處理,能夠實現利用了可見光通訊的AR。此外,圖103A所示的接收機1210a也可以與接收機1210b同樣,顯示圖103B所示的指示器1215b。該情況下,當在藉由低速的快門速度的攝影 得到的幀中辨識到條碼時,接收機1210a顯示包圍該條碼之白框狀的指示器1215b。並且,若該條碼被進行解碼,則接收機1210a將該指示器1215b的顏色從白色變更為紅色。同樣地,當在藉由高速的快門速度的攝影得到的幀中辨識到明線的圖案時,接收機1210a特定出與存在該明線圖案的部位對應之低速幀內的部位。例如,在數位標牌發送可見光訊號的情況下,特定出低速幀內的數位標牌的像。此外,低速幀是指藉由低速的快門速度的攝影所得到的幀。並且,接收機1210a將包圍低速幀內被特定出的部位(例如,上述數位標牌的像)之白框狀的指示器1215b重疊於低速幀並顯示。並且,若該明線的圖案被解碼,則接收機1210a將該指示器1215b的顏色從白色變更為紅色。
圖104A是用來說明本實施形態的發送機的一例的圖。
本實施形態中的發送機1220a與發送機1230同步地發送可見光訊號。即,發送機1220a在發送機1230發送可見光訊號的時間點,發送與該可見光訊號相同的可見光訊號。此外,發送機1230具備發光部1231,該發光部1231藉由發生亮度變化來發送可見光訊號。
這樣的發送機1220a具備:受光部1221、訊號解析部1222、發送時脈調整部1223a和發光部1224。發光部1224藉由亮度變化發送與從發送機1230發送的可見光訊號相同的可見光訊號。受光部1221藉由接受來自發送機1230的可見光,來從發送機1230接收可見光訊號。訊號 解析部1222對藉由受光部1221接收到的可見光訊號進行解析,並將該解析結果向發送時脈調整部1223a發送。發送時脈調整部1223a基於該解析結果,來調整從發光部1224發送的可見光訊號的時間點。即,發送時脈調整部1223a是調整發光部1224的亮度變化的時間點,以使得從發送機1230的發光部1231發送可見光訊號的時間點與從發光部1224發送可見光訊號的時間點一致。
藉此,能夠使由發送機1220a發送的可見光訊號的波形和由發送機1230發送的可見光訊號的波形在時間點上一致。
圖104B是用來說明本實施形態的發送機的另一例的圖。
本實施形態的發送機1220b與發送機1220a同樣,與發送機1230同步地發送可見光訊號。即,發送機1200b在發送機1230發送可見光訊號的時間點,發送與該可見光訊號相同的可見光訊號。
這樣的發送機1220b具備:第1受光部1221a、第2受光部1221b、比較部1225、發送時脈調整部1223b以及發光部1224。
第1受光部1221a與受光部1221同樣地,藉由接受來自發送機1230的可見光,從該發送機1230接收可見光訊號。第2受光部1221b接受來自發光部1224的可見光。比較部1225對藉由第1受光部1221a接收到可見光的第1時間點和藉由第2受光部1221b接收到可見光的第2時間 點進行比較。並且,比較部1225將該第1時間點與第2時間點的差(即延遲時間)向發送時脈調整部1223b輸出。發送時脈調整部1223b對從發光部1224發送的可見光訊號的時間點進行調整,以使得該延遲時間縮短。
藉此,能夠使由發送機1220b發送的可見光訊號的波形、和由發送機1230發送的可見光訊號的波形在時間點上更正確地一致。
此外,在圖104A以及圖104B所示的例子中,2個發送機是發送相同的可見光訊號,但也可以發送不同的可見光訊號。即,當2個發送機發送相同的可見光訊號時,是如上述那樣取得同步並發送。並且,當2個發送機發送不同的可見光訊號時,僅2個發送機中的一個發送機發送可見光訊號,在此期間,另一個發送機一樣地點亮或熄滅。之後,其中一個發送機一樣地點亮或熄滅,在此期間,僅另一個發送機發送可見光訊號。此外,2個發送機也可以同時地發送相互不同的可見光訊號。
圖105A是用來說明本實施形態的多個發送機的同步發送的一例的圖。
如圖105A所示,本實施形態的多個發送機1220例如排列成一列。此外,這些發送機1220具有與圖104A所示的發送機1220a或圖104B所示的發送機1220b相同的結構。這樣的多個發送機1220的每一個是與左右相鄰的發送機1220中的一個發送機1220同步地發送可見光訊號。
藉此,許多發送機能夠同步地發送可見光訊號。
圖105B是用來說明本實施形態的多個發送機的同步發送的一例的圖。
本實施形態中的多個發送機1220中的1個發送機1220成為用於取得可見光訊號之同步的基準,其餘的多個發送機1220則按照該基準發送可見光訊號。
藉此,許多發送機能夠更正確地且同步地發送可見光訊號。
圖106是用來說明本實施形態的多個發送機的同步發送的另一例的圖。
本實施形態的多個發送機1240的每一個是接收同步訊號,並與該同步訊號相應地發送可見光訊號。藉此,從多個發送機1240的每一個同步地發送可見光訊號。
具體而言,多個發送機1240的每一個具備:控制部1241、同步控制部1242、光耦合器1243、LED驅動電路1244、LED1245和光電二極體1246。
控制部1241接收同步訊號,並將該同步訊號向同步控制部1242輸出。
LED1245是發出可見光的光源,且根據LED驅動電路1244的控制而明滅(即亮度變化)。藉此,可見光訊號從LED1245被發送至發送機1240之外。
光耦合器1243將同步控制部1242與LED驅 動電路1244之間進行電絕緣,並且在其間傳遞訊號。具體而言,光耦合器1243是將從同步控制部1242發送的下述發送開始訊號向LED驅動電路1244傳遞。
LED驅動電路1244若從同步控制部1242經由光耦合器1243接收到發送開始訊號,則在接收到該發送開始訊號的時間點,使LED1245開始可見光訊號的發送。
光電二極體1246檢測從LED1245發出的可見光,並將表示已檢測到可見光的檢測訊號向同步控制部1242輸出。
同步控制部1242若從控制部1241接收到同步訊號,則將發送開始訊號經由光耦合器1243向LED驅動電路1244發送。藉由發送該發送開始訊號,可見光訊號的發送會開始進行。另外,同步控制部1242若藉由該可見光訊號的發送而從光電二極體1246接收到檢測訊號,則算出作為接收到該檢測訊號的時間點與從控制部1241接收到同步訊號的時間點之差的延遲時間。同步控制部1242若從控制部1241接收到下一個同步訊號,則基於該算出的延遲時間,來調整發送下一個發送開始訊號的時間點。即,同步控制部1242對發送下一個發送開始訊號的時間點進行調整,以使得針對下一個同步訊號的延遲時間成為預先決定的設定延遲時間。藉此,同步控制部1242在該調整後的時間點,發送下一個發送開始訊號。
圖107是用來說明發送機1240的訊號處理的圖。
同步控制部1242當接收到同步訊號時,生成在預定的時間點產生延遲時間設定脈衝的延遲時間設定訊號。此外,具體而言,接收同步訊號是指接收同步脈衝。即,同步控制部1242生成延遲時間設定訊號,以使得延遲時間設定脈衝在從同步脈衝的下降開始經過了上述設定延遲時間後的時間點上升。
並且,同步控制部1242在從同步脈衝的下降開始延遲了上次得到的補正值N的時間點,將發送開始訊號經由光耦合器1243向LED驅動電路1244發送。結果,可見光訊號藉由LED驅動電路1244從LED1245發送。在此,同步控制部1242是在從同步脈衝的下降開始延遲了固有延遲時間和補正值N的和之時間點,從光電二極體1246接收檢測訊號。即,從該時間點開始進行可見光訊號的發送。以下,將該時間點稱為發送開始時間點。此外,上述固有延遲時間是起因於光耦合器1243等電路的延遲時間,該延遲時間是即便同步控制部1242接收到同步訊號就馬上發送發送開始訊號也會產生的延遲時間。
同步控制部1242特定出從發送開始時間點到延遲時間設定脈衝之上升為止的時間差來作為修正補正值N。並且,同步控制部1242利用補正值(N+1)=補正值N+修正補正值N來算出補正值(N+1)並加以保持。藉此,同步控制部1242在接收到下一個同步訊號(同步脈衝)時,在從該同步脈衝的下降開始延遲了補正值(N+1)的時間點,將發送開始訊號向LED驅動電路1244發送。此 外,修正補正值N不僅可以是正值,也可以成為負值。
藉此,多個發送機1240的每一個是在從接收同步訊號(同步脈衝)開始經過設定延遲時間後發送可見光訊號,因此,能夠正確地且同步地發送可見光訊號。即,在多個發送機1240的每一個中,即便是因光耦合器1243等的電路所引起的固有延遲時間中存在偏差,也能夠不受該偏差的影響,而使來自多個發送機1240的每一個的可見光訊號的發送正確地同步。
此外,LED驅動電路是電力消耗大的電路,要使用光耦合器等使該LED驅動電路與處理同步訊號的控制電路電絕緣。因此,在使用這樣的光耦合器的情況下,由於上述的固有延遲時間的偏差,難以使來自多個發送機的可見光訊號的發送同步。但是,在本實施形態的多個發送機1240中,是利用光電二極體1246檢測LED1245的發光時間點,利用同步控制部1242檢測來自同步訊號的延遲時間,並將該延遲時間調整為預先設定的延遲時間(上述設定延遲時間)。藉此,即便各個例如構成為LED照明的多個發送機所具備的光耦合器存在個體偏差,也能夠以高精度地同步的狀態從多個LED照明發送可見光訊號(例如可見光ID)。
此外,可見光訊號發送期間以外,既可以使LED照明點亮,也可以使其熄滅。在前述可見光訊號發送期間以外使之點亮的情況下,只要檢測可見光訊號的最初的下降邊緣即可。在前述可見光訊號發送期間以外使之熄 滅的情況下,只要檢測可見光訊號的最初的上升邊緣即可。
此外,在前述的例子中,發送機1240是每當接收同步訊號時就發送可見光訊號,但是,即便未接收同步訊號,也可以發送可見光訊號。即,發送機1240如果與同步訊號的接收相應地發送一次可見光訊號,則即便未接收到同步訊號也可以依次發送可見光訊號。具體而言,發送機1240可以針對同步訊號的一次接收,依次進行2次~幾千次的可見光訊號的發送。另外,發送機1240也可以以每100m秒1次的比例或每數秒1次的比例,進行與同步訊號相應的可見光訊號的發送。
另外,當反覆進行與同步訊號對應的可見光訊號的發送時,有因上述的設定延遲時間而使LED1245的發光連續性喪失的可能性。即,有產生稍長的消隱期間的可能性。其結果,有LED1245的閃爍會被人視覺辨認、即產生所謂的閃光(flicker)的可能性。因此,發送機1240也可以以60Hz以上的週期進行與同步訊號相應的可見光訊號的發送。藉此,閃爍會高速地進行,該閃爍會難以被人視覺辨認。其結果,能夠抑制閃光的產生。或者,發送機1240也可以以例如每幾分鐘1次的週期等足夠長的週期,進行與同步訊號對應的可見光訊號的發送。藉此,閃爍雖然會被人視覺辨認,但是能夠防止閃爍反覆連續地被視覺辨認,能夠減輕閃光帶給人的不舒適感。
(接收方法的前處理)
圖108是示出本實施形態的接收方法的一例的流程 圖。另外,圖109是用來說明本實施形態的接收方法的一例的說明圖。
首先,接收機計算排列在與曝光線平行的方向上的多個畫素的各自的畫素值的平均值(步驟S1211)。根據中心極限定理,當對N個畫素的畫素值進行平均時,則雜訊量的期待值成為N的-1/2次方,SN比得以改善。
接著,接收機僅留存在所有顏色的每一種顏色中畫素值在垂直方向上發生相同變化的部分,在發生不同變化的部分中,去除畫素值的變化(步驟S1212)。在利用發送機所具備的發光部的亮度表現發送訊號(可見光訊號)的情況下,作為發送機的照明或顯示器的背光源的亮度發生變化。此時,如圖109的(b)的部分所示,在所有顏色的各個顏色中,畫素值向相同方向變化。在圖109的(a)以及(c)的部分中,在各顏色中畫素值發生不同的變化。在這些部分中,因接收雜訊或者顯示器或標牌的畫面使畫素值發生變動,因此,藉由去除這些變動,能夠改善SN比。
接著,接收機求取亮度值(步驟S1213)。亮度難以接受到基於顏色的變化,因此,能夠排除顯示器或標牌的畫面的影響,能夠改善SN比。
接著,接收機對亮度值施加低通濾波(步驟S1214)。在本實施形態的接收方法中,是施加基於曝光時間的長度的移動平均濾波,因此,在高頻區域幾乎不含有訊號,雜訊處於支配地位。因此,藉由使用將高頻區域 去除的低通濾波,能夠改善SN比。在直至曝光時間的倒數為止的之前的頻率中,訊號成分多,因此,藉由阻斷這以上的頻率,能夠提高SN比的改善效果。在訊號所含的頻率成分有限的情況下,藉由阻斷比該頻率高的頻率,能夠改善SN比。不含頻率振動成分的濾波(巴特沃斯濾波等)適於低通濾波。
(基於卷積最大似然解碼的接收方法)
圖110是示出本實施形態的接收方法的另一例的流程圖。以下,使用該圖,針對曝光時間比發送週期長的情況下的接收方法進行說明。
在曝光時間是發送週期的整數倍的情況下,能夠進行精度最佳的接收。即便在不是整數倍的情況下,只要是(N±0.33)倍(N為整數)程度的範圍,則能夠進行接收。
首先,接收機將發送接收偏移量設定為0(步驟S1221)。發送接收偏移量是指用於修正發送時間點與接收時間點的偏離的值。由於該偏離是不明確的,因此,接收機使成為該發送接收偏移量的候補的值一點一點地變化,並將最合理的值採用為發送接收偏移量。
接著,接收機判定發送接收偏移量是否小於發送週期(步驟S1222)。在此,由於接收的週期和發送週期不同步,因此,不一定得到與發送週期相匹配的接收值。因此,接收機若在步驟S1222中判定為小於發送週期(步驟S1222的「是」),則使用其鄰近的接收值,按每 個發送週期,藉由插補來計算與發送週期相匹配的接收值(例如畫素值)(步驟S1223)。插補方法可以使用線性插補、最鄰近值或仿樣插補等。然後,接收機求出按每個發送週期求出的接收值的差分(步驟S1224)。
接收機在發送接收偏移量上加上預定值(步驟S1226),重複執行從步驟S1222開始的處理。另外,接收機若在步驟S1222中判定為不是小於發送週期(步驟S1222的「否」),則特定出針對各發送接收偏移量計算出的接收訊號的似然度中的最高似然度。並且,接收機判定該最高似然度是否為預定值以上(步驟S1227)。若判定為預定值以上(步驟S1227的「是」),則接收機將似然度最高的接收訊號作為最終的推測結果來使用。或者,接收機將具有從最高的似然度減去預定值而得的值以上的似然度之接收訊號用作接收訊號候補(步驟S1228)。另一方面,在步驟S1227中,若判定為最高似然度小於預定值(步驟S1227的「否」),則接收機丟棄推測結果(步驟S1229)。
在雜訊過多的情況下,多會無法適當地進行接收訊號的推測,同時,似然度會變低。因此,在似然度低的情況下,藉由丟棄推測結果,能夠使接收訊號的可靠性提高。另外,即使是在輸入圖像中不含有效訊號的情況下,最大似然解碼中也會有輸出有效訊號來作為推測結果這一問題。但是,在該情況下,由於似然度會變低,因此,在似然度低的情況下,藉由丟棄推測結果,也能夠避免該 問題。
(實施形態13)
在本實施形態中,對可見光通訊的協定送出方式進行說明。
(多值振幅脈衝訊號)
圖111、圖112以及圖113是示出本實施形態的發送訊號的一例的圖。
藉由使脈衝的振幅具有意義,能夠在每單位時間表現更多的資訊。例如,若將振幅分類為3等級,則如圖111所示,能夠在平均亮度保持為50%不變的情況下,以2個時隙的發送時間表現3個值。但是,當連續發送圖111的(c)時,沒有亮度變化,因此,難以知道訊號的存在。另外,在數位處理中,3個值有些難處理。
因此,藉由使用圖112的(a)至(d)的4種符元,能夠在平均亮度保持為50%不變的情況下,以平均3個時隙的發送時間表現4個值。雖然由於符元不同而發送時間不同,但是,藉由將符元的最後狀態設為亮度低的狀態,能夠辨識符元的結束時間點。即便將亮度高的狀態和亮度低的狀態調換,也能得到同樣的效果。圖112的(e)難以與發送2次的(a)相區別,因此不適合。圖112的(f)和(g)的中間亮度連續,因此,雖然稍難辨識,但是能夠利用。
考慮將圖113的(a)、(b)的樣式作為標頭來利用。由於這些樣式在頻率解析中顯著地具有特定頻 率成分,因此,藉由將這些樣式作為標頭,能夠藉由頻率解析進行訊號檢測。
如圖113的(c)所示,構成為使用(a)、(b)的樣式來發送封包。藉由將特定長度的樣式作為封包整體的標頭,將不同長度的樣式作為分隔來使用,能夠劃分資料。另外,藉由在中途的部位包含該樣式,能夠使訊號容易檢測。藉此,即便在1封包比1幀圖像的拍攝時間長的情況下,接收機也能夠將資料接合在一起來解碼。另外,藉此,藉由調整分隔的數量,能夠將封包的長度設為可變。也可以利用封包標頭的樣式的長度來表現封包整體的長度。另外,藉由將分隔作為封包標頭,將分隔的長度作為資料的位址,接收機能夠對部分地接收到的資料進行合成。
發送機反覆發送這樣構成的封包。圖113的(c)的封包1~4的內容既可以完全相同,也可以作為不同的資料在接收側進行合成。
(實施形態14)
在本實施形態中,是對使用上述各實施形態中的智慧型手機等接收機、和以LED或有機EL的閃爍樣式來發送資訊的發送機之各應用例進行說明。
圖114A是用來說明本實施形態的發送機的圖。
本實施形態的發送機例如構成為液晶顯示器的背光源,具備藍色LED2303、和由綠色螢光成分2304 及紅色螢光成分2305構成的螢光體2310。
藍色LED2303發出藍色(B)的光。螢光體2310在接受從藍色LED2303發出的藍色的光作為激發光時,呈黃色(Y)地發光。即,螢光體2310發出黃色的光。詳細而言,螢光體2130是由綠色螢光成分2304和紅色螢光成分2305構成,所以藉由這些螢光成分的發光而發出黃色的光。這2個螢光成分中的綠色螢光成分2304在接受從藍色LED2303發出的藍色的光作為激發光時,呈綠色地發光。即,綠色螢光成分2304發出綠色(G)的光。上述2個螢光成分中的紅色螢光成分2305在接受從藍色LED2303發出的藍色的光作為激發光時,呈紅色地發光。即,紅色螢光成分2305發出紅色(R)的光。藉此,由於發出RGB或者Y(RG)B的各個光,所以發送機輸出白色光作為背光源。
該發送機藉由使藍色LED2303與上述各實施形態同樣地發生亮度變化,來發送白色光的可見光訊號。此時,藉由白色光的亮度發生變化,來輸出具有預定的輸送頻率的可見光訊號。
在此,條碼讀取器向條碼照射紅色雷射光,基於從條碼反射的紅色雷射光的亮度變化,來讀取該條碼。該紅色雷射光的條碼的讀取頻率有時與從當前實用化的一般的發送機輸出的可見光訊號的輸送頻率一致或者近似。因此,在這樣的情況下,條碼讀取器在想要讀取被來自該一般的發送機的可見光訊號即白色光照射的條碼時, 有時會因該白色光所包含的紅色的光的亮度變化而使該讀取失敗。即,因可見光訊號(尤其是紅色的光)的輸送頻率與條碼的讀取頻率的干涉,產生條碼的讀取錯誤。
因此,本實施形態的紅色螢光成分2305中,是使用殘光的持續時間比綠色螢光成分2304長的螢光材料。即,本實施形態的紅色螢光成分2305是以比藍色LED2303和綠色螢光成分2304的亮度變化的頻率更低許多的頻率發生亮度變化。換言之,紅色螢光成分2305使可見光訊號所包含的紅色的亮度變化的頻率變慢。
圖114B是表示RGB各自的亮度變化的圖。
來自藍色LED2303的藍色的光如圖114B的(a)所示,包含於可見光訊號而被輸出。綠色螢光成分2304如圖114B的(b)所示,在接受來自藍色LED2303的藍色的光時,發出綠色光。該綠色螢光成分2304的殘光的持續時間短。因此,在該藍色LED2303發生亮度變化時,綠色螢光成分2304發出以與該藍色LED2303的亮度變化的頻率(即可見光訊號的輸送頻率)大致相同的頻率,發出亮度變化的綠色的光。
紅色螢光成分2305如圖114B的(c)所示,在接受來自藍色LED2303的藍色的光時,發出紅色光。該紅色螢光成分2305的殘光的持續時間長。因此,在該藍色LED2303發生亮度變化時,紅色螢光成分2305以比該藍色LED2303的亮度變化的頻率(即可見光訊號的輸送頻率)更低的頻率,發出亮度變化的紅色的光。
圖115是表示本實施形態的綠色螢光成分2304和紅色螢光成分2305的殘光特性的圖。
綠色螢光成分2304在例如藍色LED2303不發生亮度變化地點亮的情況下,不發生亮度變化地發出強度I=I0的綠色的光(即亮度變化的頻率f=0的光)。此外,即使藍色LED2303以低頻率發生亮度變化,綠色螢光成分2304也會發出以與該低頻率大致相同的頻率f發生亮度變化、強度I=I0的綠色的光。但是,在藍色LED2303以高頻率發生亮度變化時,以與該高頻率大致相同的頻率f發生亮度變化的、從綠色螢光成分2304發出的綠色的光的強度I,會因綠色螢光成分2304的殘光的影響,而變得比強度I0小。結果,從綠色螢光成分2304發出的綠色的光的強度I如圖115的虛線所示,在該光的亮度變化的頻率f為閾值fb以下時,保持為I=I0,但在頻率f超過閾值fb而變高時,逐漸變小。
此外,本實施形態的紅色螢光成分2305的殘光的持續時間比綠色螢光成分2304的殘光的持續時間長。因此,從紅色螢光成分2305發出的紅色的光的強度I如圖115的實線所示,在該光的亮度變化的頻率f為比上述閾值fb低的閾值fa以下時,保持I=I0,但在頻率f超過閾值fb而變高時,逐漸變小。換言之,從紅色螢光成分2305發出的紅色的光不存在於從綠色螢光成分2304發出的綠色的光的頻帶中的高頻區域,而是僅存在於低頻區域。
更具體而言,本實施形態的紅色螢光成分 2305中,是使用以與可見光訊號的輸送頻率f1相同的頻率f發出的紅色的光的強度I成為I=I1的螢光材料。輸送頻率f1是發送機所具備的藍色LED2303的亮度變化的輸送頻率。此外,上述的強度I1是強度I0的1/3的強度或者強度I0的-10dB的強度。例如,輸送頻率f1是10kHz或者5~100kHz。
即,本實施形態的發送機是發送可見光訊號的發送機,具備:藍色LED,其將發生亮度變化的藍色的光作為前述可見光訊號所包含的光而發出;綠色螢光成分,其藉由接受前述藍色的光而將綠色的光作為前述可見光訊號所包含的光發出;以及紅色螢光成分,其藉由接受前述藍色的光而將紅色的光作為前述可見光訊號所包含的光而發出。並且,前述紅色螢光成分的殘光的持續時間比綠色螢光成分的殘光的持續時間長。另外,前述綠色螢光成分和前述紅色螢光成分也可以包含於單一螢光體,該單一螢光體是藉由接受前述藍色的光而將黃色的光作為前述可見光訊號所包含的光而發出。或者,也可以是,前述綠色螢光成分包含於綠色螢光體,且前述紅色螢光成分包含於與前述綠色螢光體為不同個體的紅色螢光體。
藉此,紅色螢光成分的殘光的持續時間長,所以能夠使紅色的光以比藍色和綠色的光的亮度變化的頻率低的頻率發生亮度變化。因此,即使白色光的可見光訊號所包含的藍色和綠色的光的亮度變化的頻率與紅色雷射光的條碼的讀取頻率相同或者近似,也能夠使白色光的可 見光訊號所包含的紅色的光的頻率與條碼的讀取頻率大不相同。結果,能夠抑制條碼的讀取錯誤的產生。
在此,前述紅色螢光成分也能以比從藍色LED發出的光的亮度變化的頻率更低的頻率,發出亮度變化的紅色的光。
此外,前述紅色螢光成分也可以具備藉由接受藍色的光而發出紅色的光的紅色螢光材料、和僅使預定的頻帶的光透射的低頻濾光器。例如,前述低頻濾光器僅使從前述藍色LED發出的藍色的光中的低域的頻帶的光透射,而抵達前述紅色螢光材料。另外,前述紅色螢光材料也可以具有與前述綠色螢光成分相同的殘光特性。或者,前述低頻濾光器藉由使從前述藍色LED發出的藍色的光抵達前述紅色螢光材料,而使從前述紅色螢光材料發出的紅色的光中僅低域頻帶的光透射。在使用這樣的低頻濾光器的情況下,也能夠與上述同樣,抑制條碼的讀取錯誤的產生。
此外,前述紅色螢光成分也可以是由具有預先決定的殘光特性的螢光材料所構成。例如,預先決定的殘光特性是如下特性:(a)將從前述紅色螢光成分發出的紅色的光的亮度變化的頻率f為0的情況下的前述紅色的光的強度設為I0,(b)在將從前述藍色LED發出的光的亮度變化的輸送頻率設為f1的情況下,在前述紅色的光的頻率f為f=f1時,前述紅色的光的強度成為前述I0的1/3以下或者-10dB以下。
藉此,能夠使可見光訊號所包含的紅色的光的頻率與條碼的讀取頻率確實地大不相同。結果,能夠確實地抑制條碼的讀取錯誤的產生。
此外,前述輸送頻率f1也可以是大致10kHz。
藉此,因為當前實用化的可見光訊號的發送所使用的輸送頻率為9.6kHz,所以在該實用化的可見光訊號的發送中,能夠有效地抑制條碼的讀取錯誤的產生。
此外,前述輸送頻率f1也可以是大致5~100kHz。
因接收可見光訊號的接收機的影像感測器(拍攝元件)的進步,在今後的可見光通訊中,設想會使用20kHz、40kHz、80kHz或者100kHz等的輸送頻率。因此,藉由將上述的輸送頻率f1設為大致5~100kHz,在今後的可見光通訊中,也能夠有效地抑制條碼的讀取錯誤的產生。
此外,在本實施形態中,不管是綠色螢光成分和紅色螢光成分包含於單一螢光體,還是這2個螢光成分分別包含於獨立的螢光體,都能夠達到上述各效果。即,即使在使用單一螢光體的情況下,從該螢光體發出的紅色的光和綠色的光各自的殘光特性、即頻率特性也是不同的。因此,藉由使用紅色的光的殘光特性或者頻率特性差、綠色的光的殘光特性或者頻率特性優的單一螢光體,也能夠達到上述各效果。另外,殘光特性或者頻率特性差是指殘光的持續時間長或者高頻帶下的光的強度弱,殘光特性 或者頻率特性優是指殘光的持續時間短或者高頻帶下的光的強度強。
在此,在圖114A~圖115所示的例子中,藉由使可見光訊號所包含的紅色的亮度變化的頻率變慢,抑制了條碼的讀取錯誤的產生,但也可以藉由提高可見光訊號的輸送頻率,來抑制該讀取錯誤的產生。
圖116是用來說明為了抑制條碼的讀取錯誤的產生而新產生的課題的圖。
如圖116所示,在可見光訊號的輸送頻率fc為約10kHz的情況下,條碼的讀取所使用的紅色雷射光的讀取頻率也為約10~20kHz,所以彼此的頻率會干涉,產生條碼的讀取錯誤。
因此,藉由將可見光訊號的輸送頻率fc從約10kHz提高到例如40kHz,能夠抑制條碼的讀取錯誤的產生。
但是,若可見光訊號的輸送頻率fc為約40kHz,則接收機藉由攝影而對可見光訊號進行取樣所使用的取樣頻率fs需要是80kHz以上。
即,因為在接收機中所需的取樣頻率fs高,所以產生接收機的處理負擔增大這一新的課題。因此,為了解決該新的課題,本實施形態的接收機進行降階取樣(down sampling)。
圖117是用來說明由本實施形態的接收機進行的降階取樣的圖。
本實施形態的發送機2301構成為例如液晶顯示器、數位標牌或者照明機器。並且,發送機2301輸出頻率調變後的可見光訊號。此時,發送機2301將該可見光訊號的輸送頻率fc切換成例如40kHz和45kHz。
本實施形態的接收機2302以例如30fps的幀率攝影該發送機2301。此時,接收機2302與上述各實施形態的接收機同樣地,以在藉由攝影而得到的各圖像(具體而言是各幀)中產生明線的方式,以短的曝光時間進行攝影。此外,接收機2302的攝影所使用的影像感測器中,存在例如1000個曝光線。因此,在1幀的攝影中,是藉由1000個曝光線分別在不同的時間點開始曝光,而對可見光訊號進行取樣。結果,在1秒內,進行30fps×1000個=30000次的取樣(30ks/秒)。換言之,可見光訊號的取樣頻率fs成為30kHz。
按照一般的取樣定理,在取樣頻率fs=30kHz下,僅能解調15kHz以下的輸送頻率的可見光訊號。
但是,本實施形態的接收機2302是在取樣頻率fs=30kHz下對輸送頻率fc=40kHz或者45kHz的可見光訊號進行降階取樣。藉由該降階取樣,雖然訊框中產生頻疊(alias),但本實施形態的接收機2302藉由觀察和分析該頻疊,來推測可見光訊號的輸送頻率fc。
圖118是表示本實施形態的接收機2302的處理動作的流程圖。
首先,接收機2302藉由對被攝體進行攝影, 來對輸送頻率fc=40kHz或者45kHz的可見光訊號,進行取樣頻率fs=30kHz的降階取樣(步驟S2310)。
接著,接收機2302觀察和分析藉由該降階取樣而得到的訊框中產生的頻疊(步驟S2311)。藉此,接收機2302將該頻疊的頻率特定為例如5.1kHz或者5.5kHz。
然後,接收機2302基於該特定出的頻疊的頻率,來推測可見光訊號的輸送頻率fc(步驟S2311)。即,接收機2302從頻疊復原原來的頻率。藉此,接收機2302將可見光訊號的輸送頻率fc推測為例如40kHz或者45kHz。
如此,本實施形態的接收機2302藉由進行降階取樣和基於頻疊的頻率的復原,能夠適當地接收高的輸送頻率的可見光訊號。例如,即使取樣頻率為fs=30kHz,接收機2302也能夠接收30kHz~60kHz的輸送頻率的可見光訊號。因此,能夠將可見光訊號的輸送頻率從當前實用化的頻率(約10kHz)提高到30kHz~60kHz。結果,能夠使可見光訊號的輸送頻率與條碼的讀取頻率(10~20kHz)大不相同,抑制彼此的頻率的干涉。結果,能夠抑制條碼的讀取錯誤的產生。
這樣的本實施形態的接收方法是從被攝體取得資訊的接收方法,包括:曝光時間設定步驟,以在影像感測器對前述被攝體攝影而得到的幀中與前述被攝體的亮度變化相應地產生與前述影像感測器所包含的多個曝光 線對應的多個明線的方式,設定前述影像感測器的曝光時間;攝影步驟,藉由前述影像感測器所包含的前述多個曝光線分別反覆依次在不同的時刻開始曝光,前述影像感測器以預定的幀率且以所設定的前述曝光時間對發生亮度變化的前述被攝體進行攝影;以及資訊取得步驟,在藉由前述攝影而得到的每個幀,藉由對根據該幀所包含的前述多個明線的圖案而特定出的資料進行解調,來取得資訊。並且,在前述攝影步驟中,是藉由前述多個曝光線分別反覆依次在不同的時刻開始曝光,而以比藉由前述被攝體的亮度變化而發送的可見光訊號的輸送頻率更低的取樣頻率,對前述可見光訊號進行降階取樣;在前述資訊取得步驟中,是在藉由前述攝影而得到的每個幀,對根據該幀所包含的前述多個明線的圖案而特定出的頻疊的頻率進行特定,並根據特定出的前述頻疊的頻率來推測前述可見光訊號的頻率,藉由對推測出的前述可見光訊號的頻率進行解調,來取得前述資訊。
在這樣的接收方法中,藉由進行降階取樣和基於頻疊的頻率的復原,能夠適當地接收高的輸送頻率的可見光訊號。
此外,在前述降階取樣中,也可以對輸送頻率比30kHz高的可見光訊號進行降階取樣。藉此,能夠避免可見光訊號的輸送頻率與條碼的讀取頻率(10~20kHz)的干涉,能夠更有效地抑制條碼的讀取錯誤。
(實施形態15)
圖119是表示接收裝置(拍攝裝置)的處理動作的圖。具體而言,圖119是用來對接收可見光通訊的情況下之一般拍攝模式和微距(macro)拍攝模式的切換處理的一例進行說明的圖。
在此,接收裝置1610是接收由多個光源(在圖119中是4個光源)構成的發送裝置所發出的可見光。
首先,接收裝置1610在轉變為進行可見光通訊的模式的情況下,以一般拍攝模式起動拍攝部(S1601)。另外,接收裝置1610在轉變為進行可見光通訊的模式的情況下,將拍攝光源的框1611顯示於畫面。
在預定時間之後,接收裝置1610將拍攝部的拍攝模式切換成微距拍攝模式(S1602)。此外,從步驟S1601向步驟S1602切換的時間點也可以不是步驟S1601後的預定時間,而是在判定為接收裝置1610以光源處於框1611內的方式進行了拍攝時。若像這樣切換成微距拍攝模式,則使用者只要在因微距拍攝模式而使圖像模糊前的一般拍攝模式下的清楚的圖像中使光源處於框1611內即可,因此能夠容易地使光源處於框1611內。
接著,接收裝置1610判定是否接收到了來自光源的訊號(S1603)。若判定為接收到了來自光源的訊號(在S1603中的「是」),則返回步驟S1601的一般拍攝模式,若判定為沒有接收到來自光源的訊號(在S1603中的「否」),則持續步驟1602的微距拍攝模式。另外,在步驟S1603中為「是」的情況下,也可以進行基於接收 到的訊號的處理(例如,顯示接收到的訊號所表示的圖像的處理)。
根據該接收裝置1610,藉由使用者用手指觸摸智慧型手機的光源1611的顯示部來從一般拍攝模式切換成微距拍攝模式,能夠在模糊的狀態下拍攝多個光源。因而,在以微距拍攝模式拍攝的圖像中,包含大量比以一般拍攝模式拍攝的情況下的圖像亮的區域。尤其是,由於在多個光源中相鄰的2個光源之間,來自2個光源的光相重疊,所以就下述課題,即,如圖119的(a)的左圖所示,因條紋狀的影像分離,而不能作為連續訊號來接收之此一課題,因變為如右圖般連續之條紋的連續接收訊號,故可解調。因為能夠一次接收較長的碼,所以具有回應時間變短這一效果。如圖119的(b)所示,若首先以一般快門和一般焦點來對攝影圖像進行攝影,則可得到美麗的一般圖像。但是,若如文字那樣光源分離,則即使使快門高速化也不能得到連續資料,所以不能解調。接著,若使快門高速化並且將透鏡的焦點用驅動部設為近距離(微距),則光源會模糊而擴開,所以4個光源相連,能夠接收資料。接著若返回焦點,使快門速度返回一般速度,則可得到原來的美麗的圖像。如(c)那樣,在顯示部中,將美麗的圖像記錄於記憶體並進行顯示,具有在顯示部僅顯示美麗的圖像這一效果。與以一般拍攝模式拍攝的圖像相比,以微距拍攝模式拍攝的圖像中能夠包括更多比預定的明亮度亮的區域。因而,在微距拍攝模式中,能夠增加相對於該 被攝體能夠生成明線之曝光線的數量。
圖120是表示接收裝置(拍攝裝置)的處理動作的圖。具體而言,圖120是用來對接收可見光通訊的情況下之一般拍攝模式和微距拍攝模式的切換處理的另一例進行說明的圖。
在此,接收裝置1620接收從由多個光源(在圖120中是4個光源)構成的發送裝置所發出的可見光。
首先,接收裝置1620在轉變為進行可見光通訊的模式的情況下,以一般拍攝模式起動拍攝部,拍攝比接收裝置1620的畫面所顯示的圖像1622廣的範圍的圖像1623。然後,將表示所拍攝的圖像1623的圖像資料、和拍攝該圖像1623時由接收裝置1620之陀螺儀感測器、地磁感測器以及加速度感測器檢測到的表示接收裝置1620的姿勢的姿勢資訊保持於記憶體(S1611)。另外,拍攝到的圖像1623是以接收裝置1620的畫面所顯示的圖像1622為基準而在上下方向以及左右方向上大出預定的寬度範圍的圖像。此外,接收裝置1620在轉變為進行可見光通訊的模式的情況下,將拍攝光源的框1621顯示於畫面。
在預定時間之後,接收裝置1620將拍攝部的拍攝模式切換為微距拍攝模式(S1612)。另外,從步驟S1611向步驟S1612切換的時間點可以不是步驟S1611後的預定時間,而是拍攝圖像1623並判斷為表示所拍攝的圖像1623的圖像資料保持於記憶體時。此時,接收裝置1620基於保持於記憶體的圖像資料來顯示圖像1623中與接收 裝置1620的畫面尺寸對應的尺寸的圖像1624。
另外,此時接收裝置1620所顯示的圖像1624是圖像1623中一部分的圖像,且是以下區域的圖像:根據由在步驟S1611中取得的姿勢資訊表示的接收裝置1620的姿勢(由白虛線表示的位置)與當前的接收裝置1620的姿勢的差分,而預測出正在被當前的接收裝置1620拍攝。即,圖像1624是圖像1623中一部分的圖像,是與實際以微距拍攝模式拍攝的圖像1625的拍攝對象對應的區域的圖像。即,在步驟S1612中,取得從步驟S1611的時間點起發生了變化的姿勢(拍攝方向),並根據取得的當前的姿勢(拍攝方向)來特定出推測為當前正在被拍攝的拍攝對象,根據預先拍攝的圖像1623來特定出與當前的姿勢(拍攝方向)相應的圖像1624,進行顯示圖像1624的處理。因而,接收裝置1620如圖120的圖像1623所示,在接收裝置1620從以白虛線表示的位置向空心箭頭的方向移動了的情況下,能夠根據該移動量決定從圖像1623裁出的圖像1624的區域,並顯示所決定的區域的圖像1623即圖像1624。
藉此,接收裝置1620即使在以微距拍攝模式拍攝的情況下,也能夠不顯示以微距拍攝模式拍攝的圖像1625,而是顯示從以更清楚的一般拍攝模式拍攝的圖像1623中,根據當前的接收裝置1620的姿勢而裁出的圖像1624。在從距離焦點模糊的圖像一段距離的多個光源得到連續的可見光資訊的同時、使顯示部顯示所存儲的一般面 像的本發明的方式中,預想到會產生如下課題:在使用者使用智慧型手機來攝影時,會產生手震,實際的攝影圖像與從記憶體顯示的靜止圖像的方向會偏離,使用者難以將方向對準作為目標的光源。在該情況下,變得不能接收來自光源的資料,所以需要採取對策。但是,根據改良後的本發明,即使手震,藉由圖像擺動檢測機構或每個振動陀螺儀的擺動檢測機構檢測到手震,靜止圖像中的目標圖像會被移動到預定的方向,而讓使用者知道與相機的方向的偏離。藉由該顯示,使用者變得能夠將相機朝向作為目標的光源,所以能夠顯示一般圖像,且將分割的多個光源光學地連結並進行攝影,能夠連續地接收訊號。藉此,能夠在顯示一般圖像之後接收分割成多個的光源。在該情況下,能夠容易地以多個光源與框1621相對的方式調整接收裝置1620的姿勢。另外,在焦點模糊的情況下,光源被分散,所以等價地亮度下降,因此,藉由提升相機的ISO等的感光度,具有能夠更確實地接收可見光資料這一效果。
接著,接收裝置1620判定是否接收到來自光源的訊號(S1613)。若判定為接收到來自光源的訊號(在S1613中的「是」),則返回步驟S1611的一般拍攝模式,若判定為沒有接收到來自光源的訊號(在S1613中的「否」),則持續步驟1612的微距拍攝模式。此外,也可以在步驟S1613中為「是」的情況下,進行基於所接收到的訊號的處理(例如,顯示由所接收的訊號表示的圖像的處理)。
在該接收裝置1620中也與接收裝置1610同樣,在微距拍攝模式中能夠拍攝包含更亮的區域的圖像。因而,在微距拍攝模式中,能夠增加相對於該被攝體能夠生成的明線之曝光線的數量。
圖121是表示接收裝置(拍攝裝置)的處理動作的圖。
此處,發送裝置1630例如是電視機等顯示裝置,以預定時間間隔△1630藉由可見光通訊來發送不同的發送ID。具體而言,在時刻t1631、t1632、t1633、t1634,分別發送作為與所顯示的圖像1631、1632、1633、1634對應的資料分別相關聯的發送ID之ID1631、ID1632、ID1633、ID1634。即,從發送裝置1630,以預定時間間隔△t1630依次發送ID1631~ID1634。
接收裝置1640基於藉由可見光通訊而接收到的發送ID,向伺服器1650請求與各發送ID相關聯的資料,從伺服器接收資料,顯示與該資料對應的圖像。具體而言,分別在時刻t1631、t1632、t1633、t1634顯示與ID1631、ID1632、ID1633、ID1634分別對應的圖像1641、1642、1643、1644。
接收裝置1640也可以在取得了在時刻t1631接收到的ID1631的情況下,從伺服器1650取得表示預定在其後的時刻t1632~t1634從發送裝置1630發送的發送ID的ID資訊。在該情況下,接收裝置1640藉由使用所取得的ID資訊,即使不每次都從發送裝置1630接收發送 ID,也能夠向伺服器1650請求與在時刻t1632~t1634的ID1632~ID1634相關聯的資料,在各時刻t1632~t1634顯示所接收到的資料。
此外,也可以是,接收裝置1640即使不從伺服器1650取得表示預定在其後的時刻t1632~t1634從發送裝置1630發送的發送ID的資訊,而在時刻t1631請求與ID1631對應的資料,則從伺服器1650接收與在其後的時刻t1632~t1634對應的發送ID相關聯的資料,在各時刻t1632~t1634顯示所接收到的資料。即,伺服器1650在從接收裝置1640接收到了與在時刻t1631發送的ID1631相關聯的資料的請求的情況下,即使不存在來自接收裝置1640的請求,也在各時刻t1632~t1634對接收裝置1640發送與對應於其後的時刻t1632~t1634的發送ID相關聯的資料。即,在該情況下,伺服器1650將各時刻t1631~1634、和與對應於各時刻t1631~1634的發送ID相關聯的資料建立了關聯的相關聯資訊加以保持,並基於相關聯資訊,在預定的時刻發送與該預定的時刻相關聯的預定的資料。
這樣,接收裝置1640若能夠在時刻t1631藉由可見光通訊取得發送ID1631,則在其後的時刻t1632~t1634,即使不進行可見光通訊,也能夠從伺服器1650接收與各時刻t1632~t1634對應的資料。因而,使用者不需要為了藉由可見光通訊來取得發送ID而將接收裝置1640持續地朝向發送裝置1630,能夠容易地使接收裝置1640顯示從伺服器1650取得的資料。在該情況下,接收裝 置1640在每次從伺服器取得與ID對應的資料時,會產生來自伺服器的時間延遲而使回應時間變長。因此,為了使回應加快,從伺服器等預先將與ID對應的資料存儲於接收機的存儲部,藉由顯示存儲部中的與ID對應的資料,能夠使回應時間加快。在該方式中,若對來自可見光發送機的發送訊號預先加入輸出下一ID的時間資訊,則接收機側即使不連續地接收可見光訊號,在到了該時間時,也能夠知曉下一ID的發送時間,所以具有無需將接收裝置一直朝向光源的方向這一效果。該方式具有如下效果:在接收到可見光時,僅藉由將發送機側的時間資訊(時鐘)與接收機側的時間資訊(時鐘)同步,即使在同步後不接收發送機的資料,也能夠連續地顯示與發送機同步了的畫面。
此外,在上述的例子中,接收裝置1640在時刻t1631、t1632、t1633以及t1634,分別顯示與作為發送ID的ID1631、ID1632、ID1633以及ID1634的各個對應的圖像1641、1642、1643、1644。在此,接收裝置1640也可以如圖122所示,在上述各時刻並非僅提示圖像,還提示其他資訊。即,接收裝置1640在時刻t1631,顯示與ID1631對應的圖像1641,並且輸出與該ID1631對應的聲響或者聲音。此時,接收裝置1640也可以進一步顯示在該圖像顯現的例如商品的購入網站。這樣的聲響的輸出和購入網站的顯示在時刻t1631以外的各個時刻t1632、t1633以及t1634也能同樣地進行。
接著,在如圖119的(b)所示搭載了立體用 的左右2個相機的智慧型手機的情況下,在左眼用相機中以一般的快門速度、一般的焦點來顯示一般的畫質的圖像。同時在右眼用相機中,以比左眼高速的快門並且/或者距離短的焦點或設定成微距,得到本發明的條紋狀的明線,對資料進行解調。藉此,可得到如下效果:在顯示部顯示一般的畫質的圖像,並且能夠藉由右眼相機來接收距離上被分割了的多個光源的光通訊資料。
(實施形態16)
在此,針對聲音同步再生的應用例說明如下。
圖123是示出實施形態16的應用程式的一例的圖。
構成為例如智慧型手機的接收機1800a,是接收從例如構成為街頭數位標牌的發送機1800b發送的訊號(可見光訊號)。即,接收機1800a是接收發送機1800b的圖像再生的時間點。接收機1800a在與該圖像再生相同的時間點,使聲音再生。換言之,接收機1800a進行該聲音的同步再生,以使得藉由發送機1800b再生的圖像和聲音同步。此外,接收機1800a也可以使與藉由發送機1800b再生的圖像(再生圖像)相同的圖像、或與該再生圖像相關聯的關聯圖像和聲音一起再生。另外,接收機1800a也可以使與接收機1800a連接的機器再生聲音等。另外,接收機1800a也可以在接收到可見光訊號後,從伺服器下載與該可見光訊號相對應的聲音或關聯圖像等內容。接收機1800a在該下載後進行同步再生。
藉此,即便在聽不到來自發送機1800b的聲音的情況下、或由於街頭聲音再生被禁止而使來自發送機1800b的聲音未被再生的情況下,使用者也能夠聽到與發送機1800b的顯示相匹配的聲音。另外,即使是在有距離以至於聲音到達前要花費時間的情況下,也能夠聽到與顯示相匹配的聲音。
在此,對基於聲音同步再生的多語言對應說明如下。
圖124是示出實施形態16的應用的一例的圖。
接收機1800a以及接收機1800c分別從伺服器取得設定於該接收機的語言的聲音、且是與發送機1800d所顯示的例如電影等影像對應的聲音,並且再生。具體而言,發送機1800d將表示用於識別所顯示的影像之ID的可見光訊號向接收機發送。接收機當接收該可見光訊號時,將包含該可見光訊號所表示的ID和自己設定的語言的請求訊號向伺服器發送。接收機從伺服器取得與該請求訊號對應的聲音並進行再生。藉此,使用者能夠以自己設定的語言享受發送機1800d所顯示的作品。
在此,對聲音同步方法說明如下。
圖125以及圖126是表示實施形態16的發送訊號的例子和聲音同步方法的例子的圖。
各自不同的資料(例如圖125所示的資料:1~6等)與每一定時間(N秒)的時刻相關聯。這些資料例 如既可以是用於識別時間的ID,也可以是時間,還可以是聲音資料(例如64Kbps的資料)。以下,以資料是ID為前提進行說明。各自不同的ID也可以是附隨於ID的附加資訊部分不同的ID。
理想的是構成ID的封包不同。因此,理想的是ID不連續。或者,在將ID封包化時,理想的是將非連續的部分構成為一個封包的封包化方法。即便是連續的ID,錯誤更正訊號成為不同的樣式的傾向也較高,因此,也可以構成為不將錯誤更正訊號彙集於一個封包,而使其分散於多個封包。
發送機1800d例如與顯示的圖像的再生時刻相匹配地發送ID。接收機藉由檢測ID變更後的時間點,能夠辨識發送機1800d的圖像的再生時刻(同步時刻)。
在(a)的情況下,接收到ID:1和ID:2的變化時間點,因此,能夠正確地辨識同步時刻。
在發送ID的時間N較長的情況下,這樣的機會少,有時能夠如(b)那樣接收ID。在該情況下,也能夠藉由以下的方法來辨識同步時刻。
(b1)將ID變化了的接收區間的中點設想為ID變化點。另外,將從過去推測到的ID變化點經過時間N的整數倍後的時刻也推測為ID變化點,將多個ID變化點的中點推測為更正確的ID變化點。藉由如此推測的演算法,能夠逐漸地推測正確的ID變化點。
(b2)除了上述之外,藉由將ID未變化的接 收區間、及其時間N的整數倍後的時刻推測為不包含ID變化點,有可能是ID變化點的區間逐漸地減少,能夠推測正確的ID變化點。
藉由將N設定為0.5秒以下,能夠正確地進行同步。
藉由將N設定為2秒以下,能夠以不讓使用者感覺到延遲的方式進行同步。
藉由將N設定為10秒以下,能夠以抑制ID的浪費的方式進行同步。
圖126是表示實施形態16的發送訊號的例的圖。
在圖126中,藉由利用時間封包進行同步,能夠避免ID的浪費。時間封包是保持有進行了發送的時刻的封包。在需要表現長的時間的情況下,分割為表示精細的時間的時間封包1和表示粗略的時間的時間封包2來構成時間封包。例如,時間封包2表示時刻中的時以及分,時間封包1僅表示時刻中的秒。也可以將表示時刻的封包分割為3個以上的時間封包。由於粗略的時間的必要性少,因此,藉由與粗略的時間封包相比較多地發送精細的時間封包,接收機能夠快速且正確地辨識同步時刻。
即,在本實施形態中,是藉由可見光訊號包含表示時刻中的時以及分的第2資訊(時間封包2)和表示時刻中的秒的第1資訊(時間封包1),而表示可見光訊號被從發送機1800d發送的時刻。並且,接收機1800a接收第 2資訊,並且接收比接收該第2資訊的次數多的次數的第1資訊。
在此,對同步時刻調整說明如下。
圖127是表示實施形態16的接收機1800a的處理流程的一例的圖。
由於從訊號被發送到由接收機1800a處理並再生聲音或動畫為止,需要花費某程度的時間,因此,藉由進行估計該處理時間而再生聲音或動畫的處理,能夠正確地進行同步再生。
首先,對接收機1800a指定處理延遲時間(步驟S1801)。該步驟既可以保持於處理程式中,也可以由使用者指定。藉由使用者進行修正,能夠實現與接收機個體相匹配的更正確的同步。藉由按接收機的各個型號,使該處理延遲時間根據接收機的溫度或CPU使用比例來變化,能夠更正確地進行同步。
接收機1800a判定是否接收到時間封包,或是否接收到作為聲音同步用而相關聯的ID(步驟S1802)。在此,接收機1800a在判定為接收到時(步驟S1802的「是」),進一步判定是否存在待處理圖像(步驟S1804)。在判定為存在待處理圖像時(步驟S1804的「是」),接收機1800a廢棄該待處理圖像,或將待處理圖像的處理延後,進行從取得的最新圖像開始的接收處理(步驟S1805)。藉此,能夠避免由待處理量導致的無法預測的延遲。
接收機1800a計測可見光訊號(具體而言是明線)位於圖像中的哪個位置(步驟S1806)。即,藉由計測訊號出現在從影像感測器的最初曝光線開始的與曝光線垂直的方向的哪個位置,能夠計算從圖像取得開始時刻到訊號接收時刻為止的時間差(圖像內延遲時間)。
接收機1800a藉由在辨識到的同步時刻,再生加上了處理延遲時間和圖像內延遲時間的時刻的聲音或動畫,能夠正確地進行同步再生(步驟S1807)。
另一方面,在步驟S1802中,接收機1800a當判定為未接收到時間封包或聲音同步用ID時,從藉由拍攝而得到的圖像中接收訊號(步驟S1803)。
圖128是示出實施形態16的接收機1800a的使用者介面的一例的圖。
如圖128的(a)所示,使用者藉由按壓接收機1800a所顯示的按鈕Bt1~Bt4的某一個,能夠調整上述的處理延遲時間。另外,也可以是,如圖128的(b)所示,能夠藉由滑動動作來設定處理延遲時間。藉此,能夠基於使用者的感覺更正確地進行同步再生。
在此,對耳機限定再生(限定用耳機進行再生)說明如下。
圖129是示出實施形態16的接收機1800a的處理流程的一例的圖。
藉由由該處理流程示出的耳機限定再生,能夠不給周圍帶來麻煩地進行聲音再生。
接收機1800a確認是否正進行耳機限定的設定(步驟S1811)。在正進行耳機限定的設定的情況下,例如在接收機1800a中進行耳機限定的設定。或者,在接收到的訊號(可見光訊號)中進行作為耳機限定的設定。或者,耳機限定這一狀況與所接收的訊號相關聯地記錄於伺服器或接收機1800a。
接收機1800a在確認進行了耳機限定時(步驟S1811的「是」),判定耳機是否與接收機1800a連接(步驟S1813)。
接收機1800a當確認未進行耳機限定時(步驟S1811的「否」),或,當判定為連接著耳機時(步驟S1813的「是」),將聲音再生(步驟S1812)。當將聲音再生時,接收機1800a將音量調整為該音量處於設定範圍內。該設定範圍是與耳機限定的設定同樣地被設定。
接收機1800a當判定為耳機未連接時(步驟S1813的否),進行催促使用者連接耳機的通知(步驟S1814)。該通知例如藉由畫面顯示、聲音輸出或振動來進行。
另外,接收機1800a在未設定禁止強制性地進行聲音再生的情況下,準備用於強制再生的介面,並判定使用者是否進行了強制再生的操作(步驟S1815)。在此,當判定為進行了強制再生的操作時(步驟S1815的是),接收機1800a在未連接有耳機的情況下也將聲音再生(步驟S1812)。
另一方面,當判定為未進行強制再生的操作時(步驟S1815的「否」),接收機1800a藉由保持預先接收到的聲音資料以及解析出的同步時刻,而在連接了耳機時,快速地進行聲音的同步再生。
圖130是示出實施形態16的接收機1800a的處理流程的另一例的圖。
接收機1800a首先從發送機1800d接收ID(步驟S1821)。即,接收機1800a接收表示發送機1800d的ID、或表示發送機1800d所顯示的內容的ID之可見光訊號。
接著,接收機1800a從伺服器下載與該接收到的ID相關聯的資訊(內容)(步驟S1822)。或者,接收機1800a從位於接收機1800a的內部的資料保持部讀出該資訊。以下,將該資訊稱為關聯資訊。
接著,接收機1800a判定該關聯資訊所含的同步再生旗標是否表示ON(啟動)(步驟S1823)。在此,當判定為同步再生旗標不表示ON時(步驟S1823的「否」),接收機1800a輸出由該關聯資訊表示的內容(步驟S1824)。即,在該內容為圖像的情況下,接收機1800a顯示圖像,在該內容是聲音的情況下,接收機1800a輸出聲音。
另一方面,接收機1800a當判定為同步再生旗標表示ON時(步驟S1823的「是」),進一步判定該關聯資訊所含的時刻匹配模式是被設定為發送機基準模式, 還是被設定為絕對時刻模式(步驟S1825)。當判定為被設定為絕對時刻模式時,接收機1800a判定最後的時刻匹配是否在從當前時刻起的一定時間以內被進行(步驟S1826)。此時的時刻匹配是如下的處理:藉由預定的方法得到時刻資訊,並使用該時刻資訊,使接收機1800a所具備的時鐘的時刻匹配於基準時脈的絕對時刻。預定的方法例如是使用了GPS(Global Positioning System:全球定位系統)電波或NTP(Network Time Protocol:網路時間協定)電波的方法。此外,前述的當前時刻也可以是作為終端裝置的接收機1800a接收到可見光訊號的時刻。
接收機1800a當判定最後的時刻匹配為在一定時間以內進行了時(步驟S1826的是),基於接收機1800a的時鐘的時刻輸出關聯資訊,藉此使發送機1800d所顯示的內容與關聯資訊同步(步驟S1827)。在藉由關聯資訊表示的內容例如為動態圖像的情況下,接收機1800a以與發送機1800d所顯示的內容同步的方式,顯示該動態圖像。在藉由關聯資訊表示的內容例如為聲音的情況下,接收機1800a以與發送機1800d所顯示的內容同步的方式,輸出該聲音。例如,在關聯資訊表示聲音的情況下,關聯資訊包含構成聲音的各訊框,在這些訊框上附有時間戳記。接收機1800a藉由將附有與自身的時鐘的時刻相符的時間戳記的訊框再生,而輸出與發送機1800d的內容同步的聲音。
接收機1800a當判定最後的時刻匹配為未在 一定時間以內進行時(步驟S1826的「否」),以預定的方法嘗試時刻資訊的取得,並判定是否能夠取得該時刻資訊(步驟S1828)。在此,當判定為能夠取得時刻資訊時(步驟S1828的「是」),接收機1800a使用該時刻資訊,來更新接收機1800a的時鐘的時刻(步驟S1829)。並且,接收機1800a執行上述的步驟S1827的處理。
另外,當在步驟S1825中,判定為時刻匹配模式是發送機基準模式時,或在步驟S1828中,判定為無法取得時刻資訊時(步驟S1828的「否」),接收機1800a從發送機1800d取得時刻資訊(步驟S1830)。即,接收機1800a利用可見光通訊從發送機1800d取得作為同步訊號的時刻資訊。例如,同步訊號是圖126所示的時間封包1以及時間封包2。或,接收機1800a利用Bluetooth(註冊商標)或Wi-Fi等的電波從發送機1800d取得時刻資訊。並且,接收機1800a執行上述的步驟S1829以及S1827的處理。
在本實施形態中,如步驟S1829、S1830那樣,在藉由GPS電波或NTP電波,來進行用於在作為接收機1800a的終端裝置的時鐘和基準時脈之間取得同步之處理(時刻匹配)的時刻,為比從終端裝置接收到可見光訊號的時刻還往前預定時間的情況下,可藉由從發送機1800d發送的可見光訊號所表示的時刻,在終端裝置的時鐘和發送機的時鐘之間取得同步。藉此,終端裝置能夠在與發送機1800d所再生的發送機側內容同步的時間點,對 內容(動畫或聲音)進行再生。
圖131A是用來說明實施形態16中的同步再生的具體方法的圖。同步再生的方法包括圖131A所示的方法a~e。
(方法a)
在方法a中,發送機1800d與上述各實施形態同樣地,藉由使顯示器發生亮度變化,來輸出表示內容ID以及內容再生中時刻的可見光訊號。內容再生中時刻是當內容ID從發送機1800d被發送時,由發送機1800d再生的、作為內容的一部分之資料的再生時刻。如果內容是動態圖像,則資料是構成該動態圖像的圖片或場景等,如果內容是聲音,則資料是構成該聲音的訊框等。再生時刻例如是將從內容的開頭開始的再生時間表示為時刻。如果內容是動態圖像,則再生時刻作為PTS(Presentation Time Stamp:呈現時間戳記)包含於內容中。即,內容是按構成該內容的各個資料,而包含有該資料的再生時刻(顯示時刻)。
接收機1800a與上述各實施形態同樣地,藉由對發送機1800d進行攝影來接收該可見光訊號。並且,接收機1800a將包含由可見光訊號表示的內容ID的請求訊號向伺服器1800f發送。伺服器1800f接收該請求訊號,將與請求訊號所含的內容ID相對應的內容向接收機1800a發送。
接收機1800a若接收到該內容,則從(內容再生中時刻+從ID接收開始的經過時間)的時間點開始再 生該內容。從ID接收開始的經過時間是從內容ID被接收機1800a接收到時開始的經過時間。
(方法b)
在方法b中,發送機1800d與上述各實施形態同樣地,藉由使顯示器發生亮度變化,來輸出表示內容ID以及內容再生中時刻的可見光訊號。接收機1800a與上述各實施形態同樣地,藉由對發送機1800d進行攝影來接收該可見光訊號。並且,接收機1800a將包含由可見光訊號表示的內容ID、以及內容再生中時刻的請求訊號向伺服器1800f發送。伺服器1800f接收該請求訊號,在與請求訊號所含的內容ID相對應的內容中,僅將內容再生中時刻以後的一部分內容向接收機1800a發送。
接收機1800a若接收到該一部分的內容,則從(從ID接收開始的經過時間)的時間點開始再生該一部分的內容。
(方法c)
在方法c中,發送機1800d與上述各實施形態同樣地,藉由使顯示器發生亮度變化,來輸出表示發送機ID以及內容再生中時刻的可見光訊號。發送機ID是用於識別發送機的資訊。
接收機1800a與上述各實施形態同樣地,藉由對發送機1800d進行攝影來接收該可見光訊號。並且,接收機1800a將包含由可見光訊號表示的發送機ID的請求訊號向伺服器1800f發送。
伺服器1800f按照各發送機ID,保持有由該發送機ID之發送機所再生的內容的時間表即再生預定表。伺服器1800f還具備時鐘。這樣的伺服器1800f在接收到該請求訊號時,根據再生預定表特定出與該請求訊號所含的發送機ID、和伺服器1800f的時鐘的時刻(伺服器時刻)相對應的內容,作為再生中的內容。並且,伺服器1800f將該內容向接收機1800a發送。
接收機1800a在接收到該內容時,從(內容再生中時刻+從ID接收開始的經過時間)的時間點開始再生該內容。
(方法d)
在方法d中,發送機1800d與上述各實施形態同樣地,藉由使顯示器發生亮度變化,來輸出表示發送機ID以及發送機時刻的可見光訊號。發送機時刻是由發送機1800d所具備的時鐘表示的時刻。
接收機1800a與上述各實施形態同樣地,藉由對發送機1800d進行攝影來接收該可見光訊號。並且,接收機1800a將包含由可見光訊號表示的發送機ID以及發送機時刻的請求訊號向伺服器1800f發送。
伺服器1800f保持有上述的再生預定表。這樣的伺服器1800f在接收到該請求訊號時,根據再生預定表特定出與該請求訊號所含的發送機ID和發送機時刻相對應的內容,作為再生中的內容。進一步,伺服器1800f根據發送機時刻特定出內容再生中時刻。即,伺服器1800f 根據再生預定表找到所特定的內容的再生開始時刻,將發送機時刻和再生開始時刻之間的時間特定為內容再生中時刻。並且,伺服器1800f將該內容以及內容再生中時刻向接收機1800a發送。
接收機1800a在接收到該內容以及內容再生中時刻時,從(內容再生中時刻+從ID接收開始的經過時間)的時間點開始再生該內容。
如此,在本實施形態中,可見光訊號表示該可見光訊號從發送機1800d發送的時刻。因此,作為終端裝置的接收機1800a能夠接收與可見光訊號從發送機1800d發送的時刻(發送機時刻)相對應的內容。例如,如果發送機時刻是5時43分,則能夠接收在5時43分再生的內容。
另外,在本實施形態中,伺服器1800f具有與各個時刻相關聯的多個內容。但是,有時在伺服器1800f中不存在與可見光訊號所示的時刻相關聯的內容。在這樣的情況下,作為終端裝置的接收機1800a也可以接收該多個內容中的、與可見光訊號所示的時刻最接近且與可見光訊號所示的時刻之後的時刻相關聯的內容。藉此,即便在伺服器1800f中不存在與可見光訊號所示的時刻相關聯的內容,也能夠從存在於該伺服器1800f中的多個內容中接收適當的內容。
另外,本實施形態的再生方法包括:訊號接收步驟,利用接收機1800a(終端裝置)的感測器從藉由 光源的亮度變化發送可見光訊號的發送機1800d接收可見光訊號;發送步驟,從接收機1800a將用於請求與可見光訊號相對應的內容的請求訊號向伺服器1800f發送;內容接收步驟,接收機1800a從伺服器1800f接收內容;以及再生步驟,將內容再生。可見光訊號表示發送機ID和發送機時刻。發送機ID是ID資訊。另外,發送機時刻是由發送機1800d的時鐘表示的時刻,是該可見光訊號被從發送機1800d發送的時刻。並且,在內容接收步驟中,接收機1800a接收與由可見光訊號示出的發送機ID以及發送機時刻相對應的內容。藉此,接收機1800a能夠針對發送機ID以及發送機時刻將適當的內容進行再生。
(方法e)
在方法e中,發送機1800d與上述各實施形態同樣地,藉由使顯示器發生亮度變化來輸出表示發送機ID的可見光訊號。
接收機1800a藉由與上述各實施形態同樣地,對發送機1800d進行攝影來接收該可見光訊號。並且,接收機1800a將包含由可見光訊號表示的發送機ID的請求訊號向伺服器1800f發送。
伺服器1800f保持上述再生預定表,還具備時鐘。這樣的伺服器1800f在接收到該請求訊號時,根據再生預定表,特定出與該請求訊號所包含的發送機ID和伺服器時刻相對應的內容,作為再生中的內容。此外,伺服器時刻是由伺服器1800f的時鐘表示的時刻。進一步,伺 服器1800f還根據再生預定表找到所特定的內容的再生開始時刻。並且,伺服器1800f將該內容以及內容再生開始時刻向接收機1800a發送。
接收機1800a在接收到該內容以及內容再生開始時刻時,從(接收機時刻一內容再生開始時刻)的時間點再生該內容。此外,接收機時刻是由接收機1800a所具備的時鐘表示的時刻。
如此,本實施形態的再生方法包括:訊號接收步驟,利用接收機1800a(終端裝置)的感測器從藉由光源的亮度變化發送可見光訊號的發送機1800d接收可見光訊號;發送步驟,從接收機1800a將用於請求與可見光訊號相對應的內容的請求訊號向伺服器1800f發送;內容接收步驟,接收機1800a從伺服器1800f接收包含各時刻和在各時刻再生的資料的內容;以及再生步驟,將該內容中的與接收機1800a所具備的時鐘的時刻相符合的資料進行再生。因此,接收機1800a不會在錯誤的時刻再生該內容中的資料,而能夠在該內容所示的正確的時刻,適當地再生該內容中的資料。另外,如果在發送機1800d中也正在再生與該內容關聯的內容(發送機側內容),則接收機1800a能夠使內容與該發送機側內容適當地同步並再生。
此外,上述方法c~e也可以如方法b那樣,伺服器1800f僅將內容中的內容再生中時刻以後的一部分的內容向接收機1800a發送。
另外,在上述方法a~e中,接收機1800a向伺 服器1800f發送請求訊號,從伺服器1800f接收必要的資料,但也可以不進行這樣的發送接收,而預先保持處於伺服器1800f中的資料。
圖131B是示出藉由上述的方法e進行同步再生的再生裝置的結構的方塊圖。
再生裝置B10是藉由上述的方法e進行同步再生的接收機1800a或終端裝置,具備:感測器B11、請求訊號發送部B12、內容接收部B13、時鐘B14和再生部B15。
感測器B11例如是影像感測器,從根據光源的亮度變化發送可見光訊號的發送機1800d接收該可見光訊號。請求訊號發送部B12將用於請求與可見光訊號相對應的內容的請求訊號向伺服器1800f發送。內容接收部B13從伺服器1800f接收包含各時刻和在各時刻再生的資料的內容。再生部B15將該內容中的與時鐘B14的時刻相符的資料再生。
圖131C是示出藉由上述的方法e進行同步再生的終端裝置的處理動作的流程圖。
再生裝置B10是藉由上述的方法e進行同步再生的接收機1800a或終端裝置,執行步驟SB11~SB14的各處理。
在步驟SB11中,從根據光源的亮度變化發送可見光訊號的發送機1800d接收該可見光訊號。在步驟SB12中,將用於請求與可見光訊號相對應的內容的請求訊 號向伺服器1800f發送。在步驟SB13中,從伺服器1800f接收包含各時刻和在各時刻再生的資料的內容。在步驟SB14中,將該內容中的與時鐘B14的時刻相符的資料再生。
如此,在本實施形態的再生裝置B10以及再生方法中,不會在錯誤的時刻將內容中的資料再生,能夠在該內容所示的正確的時刻適當地將內容中的資料再生。
此外,在本實施形態中,各構成要件可以由專用的硬體構成,或者藉由執行適合各構成要件的軟體程式來實現。各構成要件也可以藉由CPU或處理器等程式執行部讀出並執行記錄於硬碟或半導體記憶體等記錄媒體的軟體程式來實現。在此,實現本實施形態的再生裝置B10等的軟體是使電腦執行圖131C所示之流程圖所包含之各步驟的程式。
圖132是用來說明實施形態16的同步再生的事先準備的圖。
接收機1800a為了進行同步再生,而進行使接收機1800a所具備的時鐘的時刻與基準時脈的時刻相匹配的時刻匹配。為了該時刻匹配,接收機1800a進行以下的(1)~(5)的處理。
(1)接收機1800a接收訊號。該訊號既可以是藉由發送機1800d的顯示器的亮度變化而發送的可見光訊號,也可以是基於來自無線機器的Wi-Fi或Bluetooth(註冊商標)的電波訊號。或者,接收機1800a取代接收 這樣的訊號,而藉由例如GPS等取得表示接收機1800a的位置的位置資訊。並且,接收機1800a藉由該位置資訊,辨識出接收機1800a進入到預先決定的場所或建築物。
(2)接收機1800a在接收到上述訊號時,或辨識到進入預先決定的場所時,將請求與該訊號或場所等相關聯的資料(關聯資訊)的請求訊號向伺服器(可見光ID解決伺服器)1800f發送。
(3)伺服器1800f將上述的資料和用於使接收機1800a進行時刻匹配的時刻匹配請求向接收機1800a發送。
(4)接收機1800a在接收到資料和時刻匹配請求時,將時刻匹配請求向GPS時間伺服器、NTP伺服器或電信營運商(carrier)的基地台發送。
(5)上述伺服器或基地台在接收到該時刻匹配請求時,將表示當前時刻(基準時脈的時刻或絕對時刻)的時刻資料(時刻資訊)向接收機1800a發送。接收機1800a藉由使自身所具備的時鐘的時刻與該時刻資料所示的當前時刻相匹配,來進行時刻匹配。
這樣在本實施形態中,在接收機1800a(終端裝置)所具備的時鐘和基準時脈之間,是藉由GPS(Global Positioning System)電波或NTP(Network Time Protocol)電波來取得同步。因此,接收機1800a能夠在以基準時脈為準的適當時刻,將與該時刻相符合的資料再生。
圖133是示出實施形態16的接收機1800a的應用例的圖。
接收機1800a如上述那樣構成為智慧型手機,例如被保持於由具有透光性的樹脂或玻璃等構件構成的支架1810而被利用。該支架1810具有:背板部1810a和豎立設置於背板部1810a的卡止部1810b。接收機1800a是以沿著該背板部1810a的方式,插入背板部1810a與卡止部1810b之間。
圖134A是實施形態16的被保持於支架1810的接收機1800a的主視圖。
接收機1800a在如上述那樣被插入的狀態下被支架1810所保持。此時,卡止部1810b與接收機1800a的下部卡止,並與背板部1810a夾持該下部。另外,接收機1800a的背面與背板部1810a相對,接收機1800a的顯示器1801成為露出的狀態。
圖134B是實施形態16的被保持於支架1810的接收機1800a的後視圖。
另外,在背板部1810a形成有通孔1811,在該通孔1811的附近安裝有可變濾光器1812。當接收機1800a被支架1810保持時,接收機1800a的相機1802從背板部1810a透過通孔1811而露出。另外,接收機1800a的閃光燈1803與可變濾光器1812相對。
可變濾光器1812例如形成為圓盤狀,具有分別為扇狀且具有相同尺寸的3個色彩濾光器(紅色濾光 器、黃色濾光器以及綠色濾光器)。另外,可變濾光器1812以可變濾光器1812的中心為軸旋轉自如地安裝於背板部1810a。另外,紅色濾光器是對紅色具有透光性的濾光器,黃色濾光器是對黃色具有透光性的濾光器,綠色濾光器是對綠色具有透光性的濾光器。
因此,可變濾光器1812被旋轉,例如,紅色濾光器配置在與閃光燈1803a相對的位置。該情況下,從閃光燈1803a發出的光透射紅色濾光器,藉此,作為紅色的光在支架1810的內部擴散。其結果,支架1810的大致整體呈紅色地發光。
同樣地,可變濾光器1812被旋轉,例如,黃色濾光器配置在與閃光燈1803a相對的位置。該情況下,從閃光燈1803a發出的光透射黃色濾光器,藉此,作為黃色的光在支架1810的內部擴散。其結果,支架1810的大致整體呈黃色地發光。
同樣地,可變濾光器1812被旋轉,例如,綠色濾光器配置在與閃光燈1803a相對的位置。該情況下,從閃光燈1803a發出的光透射綠色濾光器,藉此,作為綠色的光在支架1810的內部擴散。其結果,支架1810的大致整體呈綠色地發光。
即,支架1810如筆燈那樣,點亮為紅色、黃色或綠色。
圖135是用來說明實施形態16的保持於支架1810的接收機1800a的使用案例的圖。
例如,被支架1810保持的接收機1800a即帶支架接收機,在遊樂場等被利用。即,在遊樂場朝向移動的彩飾花車的多個帶支架接收機,按照從該彩飾花車流出的音樂同步地閃爍。即,彩飾花車構成為上述各實施形態的發送機,根據安裝於彩飾花車的光源的亮度變化來發送可見光訊號。例如,彩飾花車發送表示彩飾花車的ID的可見光訊號。並且,帶支架接收機與上述各實施形態同樣地,藉由接收機1800a的相機1802的攝影來接收該可見光訊號、即ID。接收到ID的接收機1800a例如從伺服器取得與該ID相對應的程式。該程式包括在預定的各時刻使接收機1800a的閃光燈1803點亮的命令。該預定的各時刻是與從彩飾花車流出的音樂相匹配地(同步地)設定。並且,接收機1800a遵照該程式使閃光燈1803a閃爍。
藉此,接收到該ID的各接收機1800a的支架1810配合從該ID之彩飾花車流出的音樂反覆在相同的時間點點亮。
在此,各接收機1800a根據設定的色彩濾光器(以下,稱為設定濾光器)進行閃光燈1803的閃爍。設定濾光器是與接收機1800a的閃光燈1803相對的色彩濾光器。另外,各接收機1800a是基於使用者的操作,辨識出當前的設定濾光器。或,各接收機1800a基於藉由相機1802的攝影得到的圖像的顏色等,辨識出當前的設定濾光器。
即,接收到ID的多個接收機1800a中,在預定的時刻,僅有辨識出設定濾光器是紅色濾光器的多個接 收機1800a之支架1810同時點亮。在下一時刻,僅有辨識出設定濾光器是綠色濾光器的多個接收機1800a之支架1810同時點亮。在又下一時刻,僅有辨識出設定濾光器是黃色濾光器的多個接收機1800a之支架1810同時點亮。
如此,支架1810所保持的接收機1800a是與上述的圖123~圖129所示的同步再生同樣地,與彩飾花車的音樂、及其他的支架1810所保持的接收機1800a同步地使閃光燈1803、即支架1810閃爍。
圖136是表示實施形態16的被支架1810保持的接收機1800a的處理動作的流程圖。
接收機1800a接收由來自彩飾花車的可見光訊號表示的彩飾花車的ID(步驟S1831)。接著,接收機1800a從伺服器取得與該ID相對應的程式(步驟S1832)。接著,接收機1800a藉由執行該程式,在對應於設定濾光器的預定的各時刻使閃光燈1803點亮(步驟S1833)。
在此,接收機1800a也可以使對應於所接收的ID或所取得的程式的圖像在顯示器1801上顯示。
圖137是示出實施形態16的由接收機1800a顯示的圖像的一例的圖。
接收機1800a當例如從聖誕老人的彩飾花車接收ID時,如圖137的(a)所示,使聖誕老人的圖像顯示。進而,接收機1800a也可以如圖137的(b)所示,在閃光燈1803點亮的同時,使該聖誕老人的圖像的背景色變更為設定濾光器的顏色。例如,在設定濾光器的顏色是紅色的 情況下,藉由閃光燈1803的點亮使支架1810點亮為紅色的同時,具有紅色的背景色的聖誕老人的圖像被顯示在顯示器1801。即,支架1810的閃爍和顯示器1801的顯示同步。
圖138是示出實施形態16的支架的另一例的圖。
支架1820構成為與上述的支架1810同樣,但是沒有通孔1811以及可變濾光器1812。這樣的支架1820是以接收機1800a的顯示器1801朝向背板部1820a的狀態,保持該接收機1800a。該情況下,接收機1800a取代閃光燈1803,使顯示器1801發光。藉此,來自顯示器1801的光向支架1820的大致整體擴散。因此,當接收機1800a根據上述的程式,以紅色的光使顯示器1801發光時,支架1820點亮為紅色。同樣地,當接收機1800a根據上述的程式,以黃色的光使顯示器1801發光時,支架1820點亮為黃色。當接收機1800a根據上述的程式,以綠色的光使顯示器1801發光時,支架1820點亮為綠色。如果使用這樣的支架1820,則能夠省略可變濾光器1812的設定。
(實施形態17)
(可見光訊號)
圖139A~圖139D是示出實施形態17的可見光訊號的一例的圖。
與上述同樣,例如如圖139A所示,發送機生成4PPM的可見光訊號,根據該可見光訊號進行亮度變化。具體而言,發送機是將4時隙分配為一個訊號單位, 生成包括多個訊號單位的可見光訊號。訊號單位按每個時隙表示High(H)或Low(L)。並且,發送機在H的時隙明亮地發光,在L的時隙暗淡地發光或熄滅。例如,1時隙是相當於1/9600秒之時間的期間。
另外,例如如圖139B所示,發送機也可以生成分配為一個訊號單位之時隙數為可變的可見光訊號。該情況下,訊號單位中包含在1個以上連續的時隙中表示H的訊號、和接著該H訊號的在1個時隙中表示L的訊號。由於H的時隙數為可變,因此,訊號單位整體的時隙數為可變。例如如圖139B所示,發送機生成按3時隙的訊號單位、4時隙的訊號單位、6時隙的訊號單位的順序包含這些訊號單位的可見光訊號。並且,發送機在該情況下也在H的時隙明亮地發光,在L的時隙暗淡地發光或熄滅。
另外,例如如圖139C所示,發送機也可以不將多個時隙分配為一個訊號單位,而將任意的期間(訊號單位期間)分配為一個訊號單位。該訊號單位期間包含H期間和接著該H期間的L期間。H期間根據調變前的訊號被調整。L期間可以是固定的且與上述時隙相當的期間。另外,H期間以及L期間分別例如是100μs以上的期間。例如如圖139C所示,發送機發送按訊號單位期間為210μs訊號單位、訊號單位期間為220μs訊號單位、訊號單位期間為230μs訊號單位的順序包含這些訊號單位的可見光訊號。並且,發送機在該情況下也在H期間明亮地發光,在L期間暗淡地發光或熄滅。
另外,例如如圖139D所示,發送機也可以將交替地表示L和H的訊號作為可見光訊號而生成。該情況下,可見光訊號中,L期間和H期間分別根據調變前的訊號被調整。例如如圖139D所示,發送機發送下述可見光訊號:在100μs的期間表示H,接著,在120μs的期間表示L,接著,在110μs的期間表示H,進一步,在200μs的期間表示L。並且,發送機在該情況下也在H期間明亮地發光,在L期間暗淡地發光或熄滅。
圖140是示出實施形態17的可見光訊號的構成的圖。
可見光訊號例如包含訊號1、與該訊號1對應的明亮度調整訊號、訊號2、以及與該訊號2對應的明亮度調整訊號。發送機當藉由對調變前的訊號進行調變而生成訊號1以及訊號2時,生成針對這些訊號的明亮度調整訊號,以生成上述的可見光訊號。
與訊號1對應的明亮度調整訊號是補充因訊號1的亮度變化而產生的明亮度的增減的訊號。與訊號2對應的明亮度調整訊號是補充因訊號2的亮度變化而產生的明亮度的增減的訊號。在此,藉由根據訊號1和該訊號1的明亮度調整訊號的亮度變化來表現明亮度B1,藉由根據訊號2和該訊號2的明亮度調整訊號的亮度變化來表現明亮度B2。本實施形態中的發送機是將訊號1以及訊號2的各自的明亮度調整訊號作為可見光訊號的一部分而生成,以使得該明亮度B1和明亮度B2相等。藉此,明亮度被保持為 一定,能夠抑制閃爍。
另外,發送機在生成上述訊號1時,生成包含資料1、接著該資料1的前文(標頭)和接著該前文的資料1的訊號1。在此,前文是與配置在其前後的資料1相對應的訊號。例如,該前文是用於讀出資料1的成為識別碼的訊號。這樣,由於是由2個資料1和配置在它們之間的前文構成訊號1,因此,接收機即便從位於前面的資料1的中途讀出可見光訊號,也能夠正確地對該資料1(即訊號1)進行解調。
(明線圖像)
圖141是示出實施形態17的藉由接收機的拍攝而得到的明線圖像的一例的圖。
如上所述,接收機藉由對發生亮度變化的發送機進行拍攝,取得將從該發送機發送的可見光訊號作為明線圖案而包含的明線圖像。藉由這樣的拍攝,可見光訊號被接收機接收。
例如如圖141所示,接收機使用影像感測器所包含的N個曝光線,在時刻t1進行拍攝,藉此取得包含各自顯現明線圖案的區域a以及區域b的明線圖像。區域a以及區域b是各自藉由作為被攝體的發送機發生亮度變化而顯現明線圖案的區域。
在此,接收機根據區域a以及區域b的明線圖案對可見光訊號進行解調。但是,接收機在判定為僅有解調後的可見光訊號不夠充分時,僅使用該N個曝光線中 的、屬於區域a的M(M<N)個連續的曝光線,在時刻t2進行拍攝。藉此,接收機取得區域a以及區域b中僅包含區域a的明線圖像。接收機在時刻t3~t5也反覆實施這樣的拍攝。結果,能夠高速地接收來自與區域a對應之被攝體的充足的資料量的可見光訊號。進而,接收機僅使用該N個曝光線中的屬於區域b的L(L<N)個連續的曝光線,在時刻t6進行拍攝。藉此,接收機取得區域a以及區域b中僅包含區域b的明線圖像。接收機在時刻t7~t9也反覆實施這樣的拍攝。結果,能夠高速地接收來自與區域b對應之被攝體的充足的資料量的可見光訊號。
另外,接收機也可以藉由在時刻t10以及t11,進行與時刻t2~t5同樣的拍攝,來取得僅包含區域a的明線圖像。進而,接收機也可以藉由在時刻t12以及t13,進行與時刻t6~t9同樣的拍攝,來取得僅包含區域b的明線圖像。
另外,在上述的例子中,接收機在判定為可見光訊號不充分時,在時刻t2~t5進行了僅包含區域a的明線圖像的連拍,但是,只要在藉由時刻t1的拍攝得到的圖像中顯現明線,則也可以進行上述的連拍。同樣地,接收機在判定為可見光訊號不充分時,在時刻t6~t9進行了僅包含區域b的明線圖像的連拍,但是,只要在藉由時刻t1的拍攝得到的圖像中顯現明線,則也可以進行上述的連拍。另外,接收機也可以交替地進行僅包含區域a的明線圖像的取得和僅包含區域b的明線圖像的取得。
此外,屬於上述區域a的M個連續的曝光線,是有助於區域a的生成的曝光線,屬於上述區域b的L個連續的曝光線是有助於區域b的生成的曝光線。
圖142是示出實施形態17的藉由接收機的拍攝得到的明線圖像的其它例的圖。
例如如圖142所示,接收機使用影像感測器所含的N個曝光線,在時刻t1進行拍攝,藉此,取得包含各自顯現明線圖案的區域a以及區域b的明線圖像。與上述同樣地,區域a以及區域b是各自藉由作為被攝體的發送機發生亮度變化而顯現明線圖案的區域。另外,區域a以及區域b各自具有沿著明線或曝光線的方向相互重疊的區域(以下,稱為重疊區域)。
在此,接收機在判定為根據該區域a以及區域b的明線圖案解調出的可見光訊號不充分時,僅使用該N個曝光線中的、屬於重疊區域的P(P<N)個連續的曝光線,在時刻t2進行拍攝。藉此,接收機取得區域a以及區域b之僅包含各個重疊區域的明線圖像。接收機在時刻t3以及t4也反覆實施這樣的拍攝。結果,能夠大致同時且高速地接收來自與區域a以及區域b的各個區域對應之被攝體的充足的資料量的可見光訊號。
圖143是示出實施形態17的藉由接收機的拍攝得到的明線圖像的其它例的圖。
例如如圖143所示,接收機使用影像感測器所含的N個曝光線,在時刻t1進行拍攝,藉此取得包含由 明線圖案不清晰地顯現的部分a和明線圖案清晰地顯現的部分b構成的區域的明線圖像。與上述同樣地,該區域是藉由作為被攝體的發送機發生亮度變化而顯現明線圖案的區域。
在這樣的情況下,當判定為根據上述區域的明線圖案解調後的可見光訊號不夠充分時,接收機使用該N個曝光線中的僅屬於部分b的Q(Q<N)個連續的曝光線,在時刻t2進行拍攝。藉此,接收機取得僅包含上述區域中的部分b的明線圖像。接收機在時刻t3以及t4也反覆實施這樣的拍攝。結果,能夠高速地接收來自與上述區域對應之被攝體的充足的資料量的可見光訊號。
另外,也可以是,接收機在進行了僅包含部分b的明線圖像的連拍後,進一步進行僅包含部分a的明線圖像的連拍。
如上所述,在明線圖像中包含多個顯現明線圖案的區域(或部分)的情況下,接收機使各個區域具有順序,根據該順序,進行僅包含該區域之明線圖像的連拍。該情況下,該順序既可以是根據訊號的大小(區域或部分的面積)的順序,也可以是根據明線的清晰度的順序。另外,該順序也可以是根據來自與這些區域對應之被攝體的光的顏色的順序。例如,最初的連拍針對與紅色的光對應的區域進行,下一連拍針對與白色的光對應的區域進行。另外,也可以僅進行與紅色的光對應的區域的連拍。
(HDR合成)
圖144是用於說明實施形態17的接收機應用於進行HDR合成的相機系統的圖。
為防止碰撞等,在車輛搭載有相機系統。該相機系統使用藉由相機的拍攝而得到的圖像,進行HDR(High Dynamic Range;高動態範圍)合成。藉由該HDR合成,得到亮度的動態範圍寬的圖像。相機系統基於該寬動態範圍的圖像,進行周邊的車輛、障礙物或人等的辨識。
例如,作為設定模式,相機系統具有一般設定模式以及通訊設定模式。在設定模式是一般設定模式的情況下,例如如圖144所示,相機系統在時刻t1~t4,分別以相同的1/100秒的快門速度,並且以分別不同的感光度,進行4次拍攝。相機系統使用藉由該4次拍攝而得到的4張圖像來進行HDR合成。
另一方面,在設定模式是通訊設定模式的情況下,例如如圖144所示,相機系統在時刻t5~t7分別以相同的1/100秒的快門速度,並且以分別不同的感光度,進行3次拍攝。進一步,相機系統在時刻t8以1/10000秒的快門速度、並且以最大感光度(例如ISO=1600)進行拍攝。相機系統使用該4次拍攝中的最初3次拍攝所獲得的3張圖像來進行HDR合成。進一步,相機系統藉由上述4次拍攝中的最後的拍攝來接收可見光訊號,對藉由該拍攝得到的圖像所顯現的明線圖案進行解調。
另外,在設定模式是通訊設定模式的情況下,相機系統也可以不進行HDR合成。例如如圖144所示, 相機系統在時刻t9以1/100秒的快門速度、且以低感光度(例如,ISO=200)進行拍攝。進一步,相機系統在時刻t10~t12以1/10000秒的快門速度且以相互不同的感光度進行3次拍攝。相機系統根據藉由該4次拍攝中的最初的1次拍攝得到的圖像,進行周邊的車輛、障礙物或人等的辨識。進一步,相機系統藉由上述4次拍攝中的最後的3次拍攝接收可見光訊號,對藉由該拍攝得到的圖像所顯現的明線圖案進行解調。
此外,在圖144所示的例子中,在時刻t10~t12的各時刻,是以相互不同的感光度進行拍攝,但是,也可以以相同的感光度進行拍攝。
在這樣的相機系統中,能夠進行HDR合成,並且也能夠進行可見光訊號的接收。
(安全性)
圖145是用於說明實施形態17的可見光通訊系統的處理動作的圖。
該可見光通訊系統包括:配置於例如收銀機的發送機、作為接收機的智慧型手機和伺服器。此外,智慧型手機與伺服器之間的通訊、發送機與伺服器之間的通訊分別經由安全的通訊線路來進行。另外,發送機與智慧型手機之間的通訊是藉由可見光通訊來進行。本實施形態的可見光通訊系統是藉由判定來自發送機的可見光訊號是否正確地被智慧型手機接收,來確保安全性。
具體而言,發送機是藉由時刻t1的亮度變 化,將表示例如值「100」的可見光訊號向智慧型手機發送。智慧型手機當在時刻t2接收該可見光訊號時,將表示該值「100」的電波訊號向伺服器發送。伺服器在時刻t3從智慧型手機接收該電波訊號。此時,伺服器進行用於判定由該電波訊號表示的值「100」是否是從發送機發送並被智慧型手機接收的可見光訊號的值的處理。即,伺服器將表示例如值「200」的電波訊號向發送機發送。接收到該電波訊號的發送機藉由時刻t4的亮度變化,將表示該值「200」的可見光訊號向智慧型手機發送。智慧手機當在時刻t5接收該可見光訊號時,將表示該值「200」的電波訊號向伺服器發送。伺服器在時刻t6從智慧型手機接收該電波訊號。伺服器判別該接收到的電波訊號所示的值是否與在時刻t3發送的電波訊號所示的值相同。如果相同,則伺服器判定為在時刻t3接收到的可見光訊號所示的值「100」是從發送機發送給智慧型手機並被接收的可見光訊號的值。另一方面,如果不同,則伺服器判定為在時刻t3接收到的可見光訊號所示的值「100」作為從發送機發送給智慧型手機並被接收的可見光訊號的值是可疑的。
藉此,伺服器能夠判定智慧型手機是否確實地從發送機接收到可見光訊號。也即是,能夠防止即便智慧型手機未從發送機接收到可見光訊號,仍偽裝成接收到該可見光訊號的樣子而將訊號向伺服器發送。
此外,在上述的例子中,在智慧型手機、伺服器和發送機之間,進行使用了電波訊號的通訊,但是, 也可以進行基於可見光訊號以外的光訊號的通訊、或基於電訊號的通訊。另外,從發送機發送至智慧型手機的可見光訊號例如是表示收費的值、優惠券的值、怪物的值或賓果(bingo)的值等。
(車輛聯繫)
圖146A是示出實施形態17的使用了可見光的車車間通訊的一例的圖。
例如,最前面的車輛利用搭載於該車輛的感測器(相機等),來辨識行進方向上存在事故。當像這樣辨識到事故時,最前面的車輛藉由使後照燈發生亮度變化,來發送可見光訊號。例如,最前面的車輛針對後續車輛發送催促減速的可見光訊號。後續車輛當利用搭載於該車輛的相機的拍攝,接收到該可見光訊號時,根據該可見光訊號進行減速,並且進一步針對後續的車輛發送催促減速的可見光訊號。
如此,催促減速的可見光訊號從排成一列行駛的多個車輛的最前面車輛開始依次被發送,接收到該可見光訊號的車輛進行減速。由於對各車輛之可見光訊號的發送被快速地進行,因此,這些多個車輛能夠大致同時地進行同樣的減速。因此,能夠緩解因事故造成的堵塞。
圖146B是示出實施形態17的使用了可見光的車車間通訊的其它例的圖。
例如,也可以是,前面的車輛藉由使後照燈發生亮度變化,來發送表示針對後面的車輛的消息(例如 「謝謝」)的可見光訊號。該消息例如藉由使用者對智慧型手機的操作而生成。並且,智慧手機將表示該消息的訊號向上述前面的車輛發送。結果,前面的車輛能夠將表示該消息的可見光訊號向後面的車輛發送。
圖147是示出實施形態17的多個LED的位置決定方法的一例的圖。
例如,車輛的前照燈具有多個LED(Light Emitting Diode)。該車輛的發送機藉由使前照燈的多個LED的每一個獨立地進行亮度變化,而從各個LED發送可見光訊號。其它的車輛的接收機藉由對具有該前照燈的車輛進行拍攝,來接收來自這些多個LED的可見光訊號。
此時,接收機為了辨識所接收的可見光訊號是從哪個LED發送的訊號,而根據藉由該拍攝得到的圖像來決定多個LED的各自的位置。具體而言,接收機利用與該接收機安裝於相同車輛的加速度感測器,以由該加速度感測器表示的重力的方向(例如圖147中的朝下箭頭)為基準,決定多個LED的各自的位置。
此外,在上述的例子中,作為亮度發生變化的發光體的一例,列舉了LED,但也可以是LED以外的發光體。
圖148是示出實施形態17的、藉由對車輛進行拍攝而得到的明線圖像的一例的圖。
例如,搭載於行駛的車輛的接收機藉由對後面的車輛(後續車輛)進行拍攝,來取得圖148所示的明 線圖像。搭載於後續車輛的發送機藉由使車輛的2個前照燈發生亮度變化,來將可見光訊號向前面的車輛發送。在前面的車輛的後部或後視鏡等,安裝有對後方進行拍攝的相機。接收機藉由將後續車輛作為被攝體之該相機的拍攝,取得明線圖像,並對該明線圖像所含的明線圖案(可見光訊號)進行解調。藉此,從後續車輛的發送機發送的可見光訊號被前面的車輛的接收機接收。
在此,接收機從由2個前照燈發送並解調後的可見光訊號的各訊號中,取得具有該前照燈之車輛的ID、該車輛的速度、該車輛的車型。如果2個可見光訊號的各自的ID相同,則接收機判斷為該2個可見光訊號是從相同車輛發送的訊號。並且,接收機根據該車輛的車型,特定出該車輛具有的2個前照燈之間的長度(燈間距離)。進而,接收機計測明線圖像所含的、顯現明線圖案的2個區域之間的距離L1。並且,接收機利用使用了該距離L1和燈間距離的三角測量,算出從搭載該接收機的車輛到後續車輛為止的距離(車間距離)。接收機基於該車間距離和從可見光訊號取得的車輛的速度,判斷碰撞的危險性,將根據該判斷結果的警告向車輛的駕駛者報知。藉此,能夠避免車輛的碰撞。
此外,在上述的例子中,接收機是根據可見光訊號所含的車型來特定燈間距離,但是,也可以根據車型以外的資訊來特定燈間距離。另外,在上述的例子中,接收機當判斷為存在碰撞的危險性時發出警告,但是,也 可以將用於使車輛執行避免該危險性的動作的控制訊號向車輛輸出。例如,該控制訊號是用於使車輛加速的訊號或者用於使車輛變更車道的訊號。
另外,在上述的例子中,相機是對後續車輛拍攝,但也可以對相對向的車輛拍攝。另外,也可以是,接收機在根據藉由相機的拍攝得到的圖像判斷為接收機(即是具備接收機的車輛)周邊被霧籠罩時,成為接收上述那樣的可見光訊號的模式。藉此,即便周邊被霧籠罩,車輛的接收機藉由接收從相對向車輛的前照燈發送的可見光訊號,也能夠特定出該相對向車輛的位置以及速度。
圖149是示出實施形態17的接收機和發送機的應用例的圖。此外,圖149是從後面觀察汽車的圖。
例如具有車的2個後照燈(發光部或燈)的發送機(車)7006a,將發送機7006a的識別資訊(ID)向構成為例如智慧型手機的接收機發送。接收機當接收該ID時,從伺服器取得與該ID相對應的資訊。例如,該資訊是表示該車或發送機的ID、發光部間的距離、發光部的大小、車的大小、車的形狀、車的重量、車的牌照、前方的樣子或危險的有無的資訊。另外,接收機也可以從發送機7006a直接取得這些資訊。
圖150是示出實施形態17的接收機和發送機7006a的處理動作的一例的流程圖。
將發送機7006a的ID、和交付給接收到ID之接收機的資訊相關聯地存儲於伺服器(7106a)。交付給 接收機的資訊中也可以包含以下資訊:成為發送機7006a之發光部的大小、發光部間的距離、將發送機7006a作為構成要件的一部分之物體的形狀、重量、車體牌照等識別編號、從接收機難以觀察的地方的樣子、或危險的有無等。
發送機7006a發送ID(7106b)。發送內容中也可以包含前述伺服器的URL或使前述伺服器存儲的資訊。
接收機接收被發送的ID等資訊(7106c)。接收機從伺服器取得與接收到的ID相關聯的資訊(7106d)。接收機顯示接收到的資訊或從伺服器取得的資訊(7106e)。
接收機根據發光部的大小資訊和拍攝到的發光部的看上去的大小、或者發光部間的距離資訊和拍攝到的發光部間的距離,以三角測量的方法,計算接收機和發光部的距離(7106f)。接收機基於從接收機難以觀察的地方的樣子或危險的有無等資訊,進行危險的警告等(7106g)。
圖151是示出實施形態17的接收機和發送機的應用例的圖。
例如具有車的2個後照燈(發光部或燈)的發送機(車)7007b,將發送機7007b的資訊向例如構成為停車場之發送接收裝置的接收機7007a發送。發送機7007b的資訊是表示發送機7007b的識別資訊(ID)、車的牌照、車的大小、車的形狀、或車的重量。接收機7007a 當接收到該資訊時,發送可否停車、收費資訊或停車位置。此外,接收機7007a也可以接收ID,並從伺服器取得ID以外的資訊。
圖152是示出實施形態17的接收機7007a和發送機7007b的處理動作的一例的流程圖。此外,由於發送機7007b不是僅進行發送、而是還進行接收,因此,具備車載發送機和車載接收機。
將發送機7007b的ID、和交付給接收到ID之接收機7007a的資訊相關聯地存儲於伺服器(停車場管理伺服器)(7107a)。交付給接收機7007a的資訊也可以包含:將發送機7007b作為構成要件的一部分之物體的形狀、重量、車體牌照等識別編號、發送機7007b之使用者的識別編號或用於支付的資訊。
發送機7007b(車載發送機)發送ID(7107b)。發送內容中也可以包含前述伺服器的URL或使前述伺服器存儲的資訊。停車場的接收機7007a(停車場的發送接收裝置)將接收到的資訊向管理停車場的伺服器(停車場管理伺服器)發送(7107c)。停車場管理伺服器以發送機7007b的ID作為金鑰,取得與ID相關聯的資訊(7107d)。停車場管理伺服器對停車場的空位狀況進行調查(7107e)。
停車場的接收機7007a(停車場的發送接收裝置)發送可否停車、停車位置資訊或者保持這些資訊的伺服器的位址(7107f)。或者,停車場管理伺服器將這 些資訊向另外的伺服器發送。發送機(車載接收機)7007b接收上述發送的資訊(7107g)。或者,車載系統從另外的伺服器取得這些資訊。
停車場管理伺服器以容易進行停車的方式進行停車場的控制(7107h)。例如,進行立體停車場的控制。停車場的發送接收裝置發送ID(7107i)。車載接收機(發送機7007b)基於車載接收機的使用者資訊和接收到的ID,向停車場管理伺服器進行詢問(7107j)。
停車場管理伺服器根據停車時間等來進行收費(7107k)。停車場管理伺服器以容易存取已停車的車輛的方式,進行停車場的控制(7107m)。例如,進行立體停車場的控制。車載接收機(發送機7007b)顯示往停車位置的地圖,並進行從當前地開始的導航(7107n)。
(電車內)
圖153是示出實施形態17的、在電車的車內應用的可見光通訊系統的構成的圖。
可見光通訊系統例如具備:配置在電車內的多個照明裝置1905、使用者所保持的智慧型手機1906、伺服器1904、配置在電車內的相機1903。
多個照明裝置1905的各個構成為上述的發送機,藉由照射光線並且使亮度變化來發送可見光訊號。該可見光訊號表示發送該可見光訊號的照明裝置1905的ID。
智慧型手機1906構成為上述的接收機,藉由 對照明裝置1905進行拍攝,來接收從該照明裝置1905發送的可見光訊號。例如,使用者在電車內被捲入糾紛(例如色狼或爭吵等)的情況下,使智慧型手機1906接收該可見光訊號。智慧型手機1906在接收到可見光訊號時,將由該可見光訊號表示的ID通知給伺服器1904。
伺服器1904當接受到該ID的通知時,特定出將由該ID識別出的照明裝置1905所照亮的範圍作為拍攝範圍的相機1903。並且,伺服器1904使該特定出的相機1903對由照明裝置1905照亮的範圍進行拍攝。
相機1903根據來自伺服器1904的指示進行拍攝,並將藉由該拍攝得到的圖像向伺服器1904發送。
藉此,能夠取得顯示電車內的糾紛的狀況的圖像。該圖像能夠作為糾紛的證據而利用。
另外,使用者也可以藉由操作智慧型手機1906,將藉由相機1903之拍攝而得到的圖像從伺服器1904向智慧型手機1906發送。
另外,也可以是,智慧型手機1906在畫面上顯示拍攝按鈕,當該拍攝按鈕被使用者點擊時,將催促拍攝的訊號向伺服器1904發送。藉此,使用者能夠自己決定拍攝的時間點。
圖154是示出實施形態17的應用於遊樂場等的設施的可見光通訊系統的構成的圖。
可見光通訊系統例如具備配置於設施的多個相機1903、和穿戴於人身上的裝飾品1907。
裝飾品1907例如是具有安裝有多個LED之絲帶的髮箍等。另外,該裝飾品1907構成為上述的發送機,藉由使多個LED發生亮度變化,來發送可見光訊號。
多個相機1903的各相機構成為上述的接收機,具有可見光通訊模式和一般拍攝模式。另外,這些多個相機1903的各相機配置在設施內的通道中的相互不同的部位。
具體而言,相機1903當被設定為可見光通訊模式時,若裝飾品1907作為被攝體被拍攝,則從該裝飾品1907接收可見光訊號。相機1903當接收到該可見光訊號時,將所設定的模式從可見光通訊模式切換為一般拍攝模式。結果,相機1903將把裝飾品1907戴在身上的人作為被攝體來進行拍攝。
因此,當配戴裝飾品1907的人在設施內的通道中行走時,位於該人的附近的相機1903會接連地對該人進行拍攝。藉此,能夠自動地取得並保存顯現該人在設施中玩樂的樣子的圖像。
此外,相機1903也可以不是接收到可見光訊號就馬上進行一般拍攝模式的拍攝,而是當例如從智慧型手機接受到拍攝開始的指示時,進行一般拍攝模式的拍攝。藉此,使用者能夠在碰觸智慧型手機的畫面所顯示的拍攝開始按鈕的時間點,使相機1903對自己進行拍攝。
圖155是示出實施形態17的、包括遊樂設備和智慧型手機的可見光通訊系統的一例的圖。
遊樂設備1901例如構成為具備多個LED的上述發送機。也即是,遊樂設備1901藉由使該多個LED發生亮度變化,來發送可見光訊號。
智慧型手機1902藉由對該遊樂設備1901進行拍攝,來接收從該遊樂設備1901發送的可見光訊號。並且,如圖155的(a)所示,智慧型手機1902在第1次接收到該可見光訊號時,例如從伺服器等下載與該可見光訊號和第1次相對應的動畫1並進行再生。另一方面,智慧型手機1902在第2次接收到該可見光訊號時,如圖155的(b)所示,例如從伺服器等下載與該可見光訊號和第2次相對應的動畫2並進行再生。
也即是,智慧型手機1902即便接收相同可見光訊號,也會根據接收到該可見光訊號的次數,來切換再生的動畫。接收到可見光訊號的次數,既可以由智慧型手機1902計數,也可以由伺服器計數。或者,智慧型手機1902即便多次接收同一可見光訊號,也不會連續地再生相同動畫。或者,智慧型手機1902也可以使與同一可見光訊號相對應的多個動畫中的、已經再生過的動畫的出現概率降低,而優先地下載出現概率高的動畫並進行再生。
另外,智慧型手機1902也可以接收從具有多個店鋪的設施之詢問處所具備的觸控面板發送的可見光訊號,而顯示與該可見光訊號相對應的圖像。例如,觸控面板當正顯示表示設施之概要的初始畫面時,根據亮度變化發送表示該設施的概要的可見光訊號。因此,智慧型手機 當藉由對顯示該初始畫面的觸控面板進行拍攝,而接收該可見光訊號時,能夠將表示設施的概要的圖像在自己的顯示器上顯示。在此,當由使用者操作觸控面板時,觸控面板例如顯示表示特定的店鋪的資訊的店鋪圖像。此時,觸控面板發送表示該特定的店鋪的資訊的可見光訊號。因此,智慧型手機當藉由對顯示該店鋪圖像的觸控面板進行拍攝,來接收該可見光訊號時,能夠顯示表示特定的店鋪的資訊的店鋪圖像。如此,智慧型手機能夠顯示與觸控面板同步的圖像。
(上述實施形態的總結)
本發明的一態樣的再生方法包括:訊號接收步驟,利用終端裝置的感測器從藉由光源的亮度變化來發送可見光訊號的發送機接收前述可見光訊號;發送步驟,從前述終端裝置向伺服器發送用於請求與前述可見光訊號相對應的內容的請求訊號;內容接收步驟,前述終端裝置從前述伺服器接收包含各時刻和在前述各時刻再生之資料的內容;以及再生步驟,對前述內容中的、與前述終端裝置所具備的時鐘的時刻相符合的資料進行再生。
藉此,如圖131C所示,包含各時刻和在該各時刻再生之資料的內容被終端裝置接收,而再生與終端裝置的時鐘的時刻相符合的資料。因此,終端裝置不會在錯誤的時刻再生該內容中的資料,能夠在該內容所示的正確的時刻,適當地再生該內容中的資料。具體而言,如圖131A的方法e所示,作為終端裝置的接收機從(接收機時刻- 內容再生開始時刻)的時間點開始再生內容。與上述終端裝置的時鐘的時刻相符合的資料,是在內容中位於(接收機時刻-內容再生開始時刻)的時間點的資料。另外,如果在發送機中也再生與該內容相關聯的內容(發送機側內容),則終端裝置能夠使內容與該發送機側內容適當地同步並再生。此外,內容是聲音或圖像。
另外,在前述終端裝置所具備的時鐘和基準時脈之間,也可以藉由GPS(Global Positioning System)電波或者NTP(Network Time Protocol)電波來取得同步。
藉此,如圖130以及圖132所示,由於在終端裝置(接收機)的時鐘和基準時脈之間取得了同步,因此,能夠在根據基準時脈的適當的時刻,再生與該時刻相符合的資料。
另外,前述可見光訊號也可以表示從前述發送機發送前述可見光訊號的時刻。
藉此,如圖131A的方法d所示,終端裝置(接收機)能夠接收與可見光訊號從發送機被發送的時刻(發送機時刻)相對應的內容。例如,如果發送機時刻為5時43分,則能夠接收在5時43分再生的內容。
另外,也可以是,在前述再生方法中,進一步在藉由前述GPS電波或前述NTP電波,來進行用於在前述終端裝置的時鐘與前述基準時脈之間取得同步的處理的時刻,為比從前述終端裝置接收到前述可見光訊號的時刻 還往前的預定時間的情況下,可藉由從前述發送機發送的前述可見光訊號所示的時刻,在前述終端裝置的時鐘和前述發送機的時鐘之間取得同步。
例如,用於在終端裝置的時鐘和基準時脈之間取得同步的處理如果從進行後經過預定時間,則會有該同步無法適當地保持的情況。在這樣的情況下,終端裝置在與由發送機再生的發送機側內容同步的時刻,有可能無法將內容再生。因此,在上述本發明之一態樣的再生方法中,是如圖130的步驟S1829、S1830所示,當經過了預定時間時,在終端裝置(接收機)的時鐘與發送機的時鐘之間取得同步。因此,終端裝置能夠在與由發送機再生的發送機側內容同步的時刻,將內容進行再生。
另外,也可以是,前述伺服器具有與各個時刻相關聯的多個內容,在前述內容接收步驟中,在與前述可見光訊號所示的時刻相關聯的內容不存在於前述伺服器的情況下,接收前述多個內容中的、與前述可見光訊號所示的時刻最接近且與前述可見光訊號所示的時刻之後的時刻相關聯的內容。
藉此,如圖131A的方法d所示,即便與可見光訊號所示的時刻相關聯的內容不存在於伺服器,也能夠從位於該伺服器的多個內容中接收適當的內容。
另外,也可以是包括:訊號接收步驟,利用終端裝置的感測器,從藉由光源的亮度變化發送可見光訊號的發送機接收前述可見光訊號;發送步驟,從前述終端 裝置向伺服器發送用於請求與前述可見光訊號相對應的內容的請求訊號;內容接收步驟,前述終端裝置從前述伺服器接收內容;以及再生步驟,對前述內容進行再生;前述可見光訊號表示ID資訊和前述可見光訊號從前述發送機被發送的時刻,在前述內容接收步驟中,接收與由前述可見光訊號示出的ID資訊以及時刻相對應的前述內容。
藉此,如圖131A的方法d所示,從與ID資訊(發送機ID)相關聯的多個內容中,接收與可見光訊號被從發送機發送的時刻(發送機時刻)相對應的內容並進行再生。因此,能夠針對該發送機ID以及發送機時刻,將適當的內容進行再生。
另外,也可以是,前述可見光訊號藉由包含表示時刻中的時和分的第2資訊和表示時刻中的秒的第1資訊,來表示前述可見光訊號被從前述發送機發送的時刻,在前述訊號接收步驟中,接收前述第2資訊,並且以比接收前述第2資訊的次數更多的次數,來接收前述第1資訊。
藉此,例如在以秒為單位向終端裝置通知可見光訊號所含的各封包被發送的時刻的情況下,能夠減輕每經過1秒向終端裝置發送封包的麻煩,該封包表示有使用時、分以及秒全部來表現的當前時間點的時刻。即,如圖126所示,如果封包被發送的時刻中的時以及分未根據之前發送的封包所示的時以及分進行更新,則只要發送僅表示秒的封包(時間封包1)即第1資訊即可。因此,藉由 使表示時以及分的封包(時間封包2)即第2資訊,比由發送機發送的表示秒的封包(時間封包1)即第1資訊更少,能夠抑制包含冗長的內容之封包的發送。
另外,也可以是,前述終端裝置的感測器是影像感測器,在前述訊號接收步驟中,一邊將前述影像感測器的快門速度交替地切換為第1速度和比前述第1速度高速的第2速度,一邊進行利用前述影像感測器的連續攝影,(a)在利用前述影像感測器之攝影的被攝體是條碼的情況下,藉由前述快門速度是前述第1速度時的攝影,取得顯現有條碼的圖像,藉由對在前述圖像中顯現的條碼進行解碼,來取得條碼識別碼,(b)在利用前述影像感測器之攝影的被攝體是前述光源的情況下,藉由前述快門速度是前述第2速度時的攝影,取得包含與前述影像感測器所含的多個曝光線的各個對應的明線的圖像即明線圖像,藉由對所取得的明線圖像所含的多個明線的圖案進行解碼,來取得前述可見光訊號作為可見光識別碼,在前述再生方法中,顯示藉由前述快門速度是前述第1速度時的攝影所得到的圖像。
藉此,如圖102所示,無論從條碼還是從可見光訊號,都能夠適當地取得與它們相對應的識別碼,並且能夠顯示拍到成為被攝體之條碼或光源的圖像。
另外,也可以是,在前述可見光識別碼的取得中,根據前述多個明線的圖案,取得包含資料部以及位址部的第1封包,判定在前述第1封包之前已經取得的至少 1個封包中的、包含與前述第1封包的位址部相同的位址部的封包即第2封包是否存在預定數量以上,在判定為前述第2封包存在前述預定數量以上的情況下,藉由將與前述預定數量以上的前述第2封包的各自的資料部對應的前述明線圖像之一部分區域的畫素值、和與前述第1封包的資料部對應的前述明線圖像之一部分區域的畫素值相加,來算出合成畫素值,藉由對包含前述合成畫素值的資料部進行解碼,來取得前述可見光識別碼的至少一部分。
藉此,如圖74所示,即便在包含相同位址部的多個封包的各個中,資料部稍有不同,也能夠藉由將這些封包的資料部的畫素值相加,來對適當的資料部進行解碼,能夠正確地取得可見光識別碼的至少一部分。
另外,也可以是,前述第1封包還包含:針對前述資料部的第1錯誤更正碼、和針對前述位址部的第2錯誤更正碼,在前述訊號接收步驟中,從前述發送機接收藉由根據第2頻率的亮度變化發送的前述位址部和前述第2錯誤更正碼,並且接收藉由根據比前述第2頻率高的第1頻率的亮度變化發送的前述資料部和前述第1錯誤更正碼。
藉此,能夠抑制錯誤地接收位址部,並且能夠迅速地取得資料量多的資料部。
另外,也可以是,在前述可見光識別碼的取得中,由前述多個明線的圖案,取得包含資料部和位址部的第1封包,判定在前述第1封包之前已經取得的至少1個 封包中的、包含與前述第1封包的位址部相同的位址部的封包即至少1個第2封包是否存在,在判定為前述至少1個第2封包存在的情況下,判定前述至少1個第2封包與前述第1封包的各個的資料部是否完全相等,在判定為各個前述資料部不完全相等的情況下,判定在前述至少1個第2封包的各個中,該第2封包的資料部所含的各部分中的、與前述第1封包的資料部所含的各部分不同的部分的數量是否存在預定數量以上,在前述至少1個第2封包中,存在有被判定為不同部分的數量存在前述預定數量以上的第2封包的情況下,丟棄前述至少1個第2封包;在前述至少1個第2封包中,不存在被判定為不同部分的數量存在前述預定數量以上的第2封包的情況下,特定出前述第1封包以及前述至少1個第2封包中的、具有相同資料部的封包的數量最多的多個封包,藉由對該多個封包的各個所含的資料部進行解碼而作為與前述第1封包所含的位址部對應的資料部,來取得前述可見光識別碼的至少一部分。
藉此,如圖73所示,在接收到具有相同位址部的多個封包時,即便這些封包的資料部不同,也能夠對適當的資料部進行解碼,能夠正確地取得可見光識別碼的至少一部分。也即是,從同一發送機發送的具有相同位址部的多個封包,基本上具有同一資料部。但是,在終端裝置切換成封包的發送來源即發送機的情況下,終端裝置有時會接收具有相同的位址部但具有相互不同的資料部的多個封包。在這樣的情況下,在上述本發明之一態樣的再生 方法中,如圖73的步驟S10106所示,能夠丟棄已經接收的封包(第2封包),並將最新的封包(第1封包)的資料部作為與該位址部對應的正確資料部來進行解碼。進一步,即便在不存在上述那樣的發送機的切換的情況下,根據可見光訊號的發送接收狀況,具有相同位址部的多個封包的資料部有時也會稍有不同。在這樣的情況下,在上述本發明之一態樣的再生方法中,如圖73的步驟S10107所示,藉由所謂的多數決定,能夠對適當的資料部進行解碼。
另外,也可以是,在前述可見光識別碼的取得中,由前述多個明線的圖案,分別取得包含資料部和位址部的多個封包,判定在取得的前述多個封包中,是否存在前述資料部所含之所有位元表示0的封包即0末端封包,在判定為存在前述0末端封包的情況下,判定在前述多個封包中,包含有與前述0末端封包的位址部相關聯的位址部的封包即N個(N為1以上的整數)相關聯封包是否全部存在,在判定為前述N個相關聯封包全部存在的情況下,藉由排列前述N個相關聯封包各自的資料部並進行解碼,來取得前述可見光識別碼。例如,與前述0末端封包的位址部相關聯的前述位址部,是比前述0末端封包的位址部所示的位址小且表示0以上的位址的位址部。
具體而言,如圖75所示,判定具有0末端封包的位址以下的位址的封包是否作為相關聯封包而全部湊齊,在判定為湊齊的情況下,對這些相關聯封包各自的資料部進行解碼。藉此,即便終端裝置事先不知道為了取得 可見光識別碼而需要幾個相關聯封包,進一步,即便事先不知道這些相關聯封包的位址,也能夠在取得了0末端封包的時間點輕易地獲知。結果,終端裝置能夠藉由排列N個相關聯封包各自的資料部並解碼,來取得適當的可見光識別碼。
(實施形態18)
以下,對可變長度、可變分割數對應協定進行說明。
圖156是示出本實施形態的發送訊號的一例的圖。
發送封包由前文、類型(TYPE)、酬載以及校驗部構成。封包既可以連續地被發送,也可以斷續地被發送。藉由設置不發送封包的期間,能夠在背光燈熄滅時使液晶的狀態變化,並提高液晶顯示器的動態清晰感。藉由使封包發送間隔隨機,能夠避免干擾。
前文是使用未出現於4PPM的樣式。藉由使用短的基本樣式,能夠簡單地進行接收處理。
藉由利用前文的種類表現資料的分割數,能夠不使用多餘的發送時隙就使資料分割數可變。
藉由利用類型(TYPE)的值使酬載長度變化,能夠使發送資料為可變長度。在TYPE中,既可以表現酬載長度,又可以表現分割前的資料長度。藉由利用TYPE的值表現封包的位址,接收機能夠正確地排列接收到的封包。另外,也可以根據前文的種類或分割數,使TYPE的值表現的酬載長度(資料長度)變化。
藉由根據酬載長度使校驗部的長度變化,能夠進行有效率的錯誤更正(檢測)。藉由使校驗部的最短的長度為2位元,能夠有效率地變換為4PPM。另外,藉由根據酬載長度使錯誤更正(檢測)碼的種類變化,能夠有效率地進行錯誤更正(檢測)。也可以根據前文的種類或類型的值,使校驗部的長度或錯誤更正(檢測)碼的種類變化。
存在有因酬載和分割數的組合不同而成為相同資料長度的組合。在這樣的情況下,即便是相同的資料值,也能夠依據各種組合而具有不同的意義,並藉此表現更多的值。
以下,對高速發送、亮度調變協定進行說明。
圖157是示出本實施形態的發送訊號的一例的圖。
發送封包由前文部、主體部、亮度調整部構成。主體中包含位址部、資料部、錯誤更正(檢測)碼部。藉由允許斷續的發送,可以得到與前述同樣的效果。
(實施形態19)
(單訊框發送(Single frame transmission)的訊框構成)
圖158是示出本實施形態的發送訊號的一例的圖。
發送訊框由前文(PRE)、訊框長度(FLEN)、ID類型(IDTYPE)、內容(ID/DATA)以及檢查碼(CRC)構成,也可以包含內容類型 (CONTENTTYPE)。各區域的位元數是一個例子。
藉由以FLEN指定ID/DATA的長度,能夠發送可變長度的內容。
CRC是更正或者檢測PRE以外的部分的錯誤的檢查碼。藉由根據檢查區域的長度來使CRC長度發生變化,能夠將檢查能力保持為一定以上。另外,藉由使用根據檢查區域的長度而不同的檢查碼,能夠提高每CRC長度的檢查能力。
(多訊框發送(Multiple frame transmission)的訊框構成)
圖159是示出本實施形態的發送訊號的一例的圖。
發送訊框由前文(PRE)、位址(ADDR)和分割後的部分資料(DATAPART)構成,也可以包含各個分割數(PARTNUM)和位址旗標(ADDRFRAG)。各區域的位元數是一個例子。
藉由將內容分割為多個部分來發送,能夠進行遠距離通訊。
藉由使分割的大小為等分,能夠縮小最大訊框長度,能夠穩定地進行通訊。
在無法等分割的情況下,藉由使一部分的分割部分比其它的分割部分小,能夠發送大小恰好的資料。
藉由使分割的大小為不同的大小,並使分割大小的組合具有意義,能夠發送更多的資訊。例如,即便是32位元的相同值的資料,藉由將發送4次8位元的情況、 發送2次16位元的情況、發送1次15位元並發送1次17位元的情況作為不同的資訊來處理,能夠表現更多的資訊量。
藉由以PARTNUM表示分割數,接收機能夠立刻得知分割數,能夠正確地顯示接收的進度。
藉由設成在ADDRFRAG為0的情況下不是最後的位址,在ADDRFRAG為1的情況下是最後的位址,變得不需要表示分割數的區域,能夠以更短的時間進行發送。
與前述同樣地,CRC是更正或者檢測PRE以外的部分的錯誤的檢查碼。藉由該檢查,在接收到來自多個發送來源的發送訊框時,能夠檢測干擾。藉由使CRC長度為DATAPART長度的整數倍,能夠效率最佳地檢測干擾。
也可以在分割後的訊框(由圖159的(a)、(b)或(c)表示的訊框)的末尾,增加檢查各訊框的PRE以外的部分的檢查碼。
與圖158的(a)~(d)同樣地,由圖159的(d)表示的IDTYPE既可以設為4位元或5位元等固定長度,也可以根據ID/DATA長度使IDTYPE長度變化。藉此,可以得到與前述同樣的效果。
(ID/DATA長度的指定)
圖160是示出本實施形態的發送訊號的一例的圖。
在圖158的(a)~(d)的情況下,藉由分別設定為圖160所示的表(a)以及(b),在128位元時,能 夠表示泛在識別碼(ucode)。
(CRC長度和生成多項式)
圖161是示出本實施形態的發送訊號的一例的圖。
藉由像這樣設定CRC長度,能夠不受檢查對象的長度影響而保持檢查能力。
生成多項式是一個例子,也可以使用另外的生成多項式。另外,也可以使用CRC以外的檢查碼。據此,能夠提高檢查能力。
(基於前文的種類之DATAPART長度的指定和最後的位址的指定)
圖162是示出本實施形態的發送訊號的一例的圖。
藉由用前文的種類表示DATAPART長度,不需要表示DATAPART長度的區域,能夠以更短的發送時間發送資訊。另外,藉由表示是否是最後的位址,不需要表示分割的個數的區域,能夠以更短的發送時間發送資訊。另外,在圖162的(b)的情況下,當為最後的位址時,由於不知道DATAPART長度,因此,藉由將該DATAPART長度推定為與在該訊框接收的前一個或後一個接收到的不是最後位址的訊框之DATAPART長度相同,並進行接收處理,而能夠正常地進行接收。
也可以為位址長度根據前文的種類而不同。藉此,能夠使發送資訊的長度的組合變多或者能夠以短時間進行發送。
在圖162的(c)的情況下,是用前文規定分 割數,增加表示DATAPART長度的區域。
(位址的指定)
圖163是示出本實施形態的發送訊號的一例的圖。
藉由用ADDR的值表示該訊框的位址,接收機能夠重構被正確地發送後的資訊。
藉由用PARTNUM的值表示分割數,接收機在接收到最初的訊框的時間點,一定能夠獲知分割數,能夠正確地顯示接收的進度。
(利用分割數的差異來防止干擾)
圖164和圖165是示出本實施形態的發送接收系統的一例的圖和流程圖。
在將發送資訊等分割地分割發送的情況下,來自圖164的發送機A和發送機B的訊號由於前文不同,因此,即便在同時地接收到這些訊號的情況下,接收機也能夠不將發送來源混同而重構發送資訊。
發送機A、B具備分割數設定部,藉此,使用者能夠將設置得較近的發送機的分割數設定成不同,能夠防止干擾。
接收機將接收到的訊號的分割數登錄在伺服器中,藉此,伺服器能夠得知發送機所設定的分割數,其它的接收機藉由從伺服器取得該資訊,能夠正確地顯示接收的進度狀況。
接收機從伺服器或者從接收機的存儲部取得來自附近的或者對應的發送機的訊號是否是等長分割。 在前述取得的資訊是等長分割的情況下,僅從相同DATAPART長度的訊框對訊號進行復原。在不是等長分割的情況下、或在相同DATAPART長度的訊框中沒有湊齊所有位址的狀況持續了預定時間以上的情況下,按照不同的DATAPART長度的訊框來將訊號復原。
(利用分割數的差異來防止干擾)
圖166是示出本實施形態的伺服器的動作的流程圖。
伺服器從接收機接受接收機所接收的ID和分割構成(以怎樣的DATAPART長度的組合接收到訊號)。在前述ID是分割構成之擴充的對象的情況下,將對分割構成的樣式進行了數值化後的結果作為輔助ID,並將前述ID和前述輔助ID合在一起後的擴充ID作為金鑰而相關聯的資訊交付給接收機。
在不是分割構成之擴充的對象的情況下,確認與ID相關聯的分割構成是否存在於存儲部中,並確認是否與接收到的分割構成相同。在不同的情況下,向接收機發送再確認命令。藉此,能夠防止提示因接收機的接收錯誤而搞錯的資訊。
發送再確認命令後,在預定時間以內接收到相同ID、相同分割構成的情況下,判斷為分割構成已被變更,更新與ID相關聯的分割構成。藉此,能夠對應作為圖164的說明而記述的分割構成被變更了的情況。
在未存儲有分割構成的情況、在接收到的分割構成與所存儲的分割構成不一致的情況、或者更新分割 構成的情況下,把將ID作為金鑰而相關聯的資訊交付給接收機,使分割構成與ID相關聯並存儲在存儲部。
(接收的進度狀況的顯示)
圖167~圖172是示出本實施形態的接收機的動作的一例的流程圖和圖。
接收機從伺服器或接收機的存儲區域取得接收機所對應的發送機、或者位於接收機附近的發送機之分割數的種類和比例。另外,在已經接收到一部分的分割資料的情況下,取得正發送與該一部分一致的資訊的發送機之分割數的種類和比例。
接收機接收分割後的訊框。
在已經接收到最後的位址的情況、前述取得的分割數僅有1種的情況、或者執行中的接收應用程式所支援的分割數僅有1種的情況下,由於分割數是已知的,因此,以該分割數為基準來顯示進度狀況。
在非上述情況、且可利用的處理資源少或為節能模式的情況下,接收機以簡易模式計算進度狀況並進行顯示。另一方面,在可利用的處理資源多或不為節能模式的情況下,以最大似然估計模式計算進度狀況並進行顯示。
圖168是示出簡易模式下的進度狀況的計算方法的流程圖。
首先,接收機從伺服器取得標準分割數Ns。或者,接收機從自身內部的資料保持部讀出標準分割數 Ns。此外,標準分割數是(a)以該分割數發送的發送機數的最頻值或期待值、(b)按封包長度決定的分割數、(c)按應用程式決定的分割數、或者(d)按存在有接收機的場所且能夠識別的範圍來決定的分割數。
接著,接收機判定是否接收到表示是最終位址的封包。在判定為接收到時,將最終封包的位址設為N。另一方面,在判定為未接收到時,將在已接收的最大位址Amax加上1或2以上的數後的數設為Ne。在此,接收機判定是否Ne>Ns。在判定為是Ne>Ns時,接收機設為N=Ne。另一方面,在判定為不是Ne>Ns時,接收機設為N=Ns。
並且,接收機設為接收中的訊號的分割數為N,計算訊號整體的接收所需的封包中的接收完成封包數的比例。
在這種簡易模式下,與最大似然估計模式相比,能夠以簡單的計算來計算進度狀況,在處理時間或能源消耗上是有利的。
圖169是示出最大似然估計模式下的進度狀況的計算方法的流程圖。
首先,接收機從伺服器取得分割數的事先分佈。或者,接收機從自身內部的資料保持部讀出事先分佈。此外,事先分佈是(a)以利用該分割數發送的發送機數之分佈來決定,(b)按封包長度來決定,(c)按應用程式來決定,或者(d)按存在有接收機的場所且能夠識別的範圍來決定。
接著,接收機接收封包x,計算在分割數為y時接收封包x的概率P(x|y)。並且,接收機將在接收到封包x的情況下發送訊號的分割數為y的概率P(y|x),以P(x|y)×P(y)÷A來求取(此外,A是歸一化乘數)。進而,接收機設為P(y)=P(y|x)。
在此,接收機判定分割數估計模式是最大似然模式、還是似然度平均模式。在為最大似然模式的情況下,接收機將P(y)成為最大的y作為分割數,來算出接收完成的封包數的比例。另一方面,在為似然度平均模式的情況下,接收機將y×P(y)的總和作為分割數,來計算接收完成的封包數的比例。
在這種最大似然估計模式下,與簡易模式相比,能夠計算更正確的進度程度。
另外,在分割數估計模式為最大似然模式的情況下,根據至今接收到的位址計算最後的位址為幾號的似然度,將具有最大似然者推定為分割數,並顯示接收的進度。該顯示方法能夠顯示與實際的進度狀況最接近的進度狀況。
圖170是示出進度狀況不減少的顯示方法的流程圖。
首先,接收機計算訊號整體的接收所需要的封包中接收完成封包數的比例。並且,接收機判定計算出的比例是否比顯示中的比例小。當判定為比顯示中的比例小時,接收機進一步判定顯示中的比例是否為預定時間以 上之前的計算結果。在判定為是預定時間以上之前的計算結果時,接收機顯示計算出的比例。另一方面,在判定為不是預定時間以上之前的計算結果時,接收機繼續顯示顯示中的比例。
另外,接收機當判定為計算出的比例是顯示中的比例以上時,將在接收完成的最大位址Amax上加上1或2以上的數後的數設為Ne。並且,接收機顯示該計算出的比例。
在接收到最終封包時等,進度狀況的計算結果變得比之前小,即顯示的進度狀況(進度程度)降低將會是不自然的。但是,在上述的顯示方法中,能夠抑制這樣的不自然的顯示。
圖171是示出存在多個封包長度的情況之進度狀況的顯示方法的流程圖。
首先,接收機按封包長度計算接收完成封包數的比例P。在此,接收機判定顯示模式是最大模式、全顯示模式以及最新模式中的哪個。在判定為是最大模式時,接收機顯示多個封包長度的各自的比例P中的最大比例。在判定為是全顯示模式時,接收機顯示全部的比例P。在判定為是最新模式時,接收機顯示最後接收到的封包的封包長度的比例P。
圖172中,(a)是以前述簡易模式計算出的進度狀況,(b)是以前述最大似然模式計算出的進度狀況,(c)是將取得的分割數中最小的分割數作為分割數 計算後的進度狀況。按(a)(b)(c)的順序,進度狀況會變大,因此,藉由像這樣重疊顯示(a)(b)(c),能夠同時地顯示所有的進度狀況。
(基於共通開關和畫素開關的發光控制)
在本實施形態的發送方法中,例如,藉由根據共通開關以及畫素開關的開關(switching),使影像顯示用的LED顯示器所含的各LED進行亮度變化,從而發送可見光訊號(也稱為可見光通訊訊號)。
LED顯示器例如構成為配設在屋外的大型顯示器。另外,LED顯示器具備排列為矩陣狀的多個LED,並根據影像訊號使這些LED明滅,藉此顯示影像。這種LED顯示器包括多條共通線(COM線),並且包括多條畫素線(SEG線)。各共通線包括沿水平方向排列成一列的多個LED,各畫素線包括沿垂直方向排列成一列的多個LED。另外,多條共通線分別連接於與該共通線對應的共通開關。共通開關例如是電晶體。多條畫素線分別連接於與該畫素線對應的畫素開關。與多條畫素線對應的多個畫素開關例如設於LED驅動電路(定電流電路)。此外,該LED驅動電路是構成為使多個畫素開關進行開關的畫素開關控制部。
更具體而言,共通線所含的各LED的陽極以及陰極中的一方連接於與該共通線對應的電晶體之集電器等端子。另外,畫素線所含的各LED的陽極以及陰極中的另一方連接於上述LED驅動電路中的、與該畫素線對應的 端子(畫素開關)。
在這樣的LED顯示器顯示影像時,控制多個共通開關的共通開關控制部,以時間分隔的方式使這些共通開關開啟。例如,共通開關控制部在第1期間中僅使多個共通開關中的第1共通開關開啟,在接下來的第2期間中,僅使多個共通開關中的第2共通開關開啟。並且,LED驅動電路在任一共通開關開啟的期間,根據影像訊號使各畫素開關開啟。藉此,僅在共通開關為開啟、並且畫素開關為開啟的期間,與該共通開關以及畫素開關對應的LED會點亮。藉由該點亮的期間,表現影像中的畫素的亮度。也即是,影像的畫素的亮度被進行PWM控制。
在本實施形態的發送方法中,是利用這樣的LED顯示器、共通開關以及畫素開關、共通開關控制部以及畫素開關控制部,來發送可見光訊號。另外,利用這樣的發送方法發送可見光訊號之本實施形態中的發送裝置(也稱為發送機),具備該共通開關控制部以及畫素開關控制部。
圖173是示出本實施形態的發送訊號的一例的圖。
發送機是根據預先決定的符元週期,發送可見光訊號所含的各符元。例如,發送機在利用4PPM發送符元「00」時,在由4時隙構成的符元週期中,根據該符元(「00」的亮度變化樣式)來使共通開關進行開關。並且,發送機根據由影像訊號等表示的平均亮度來使畫素開 關進行開關。
更具體而言,在使符元週期中的平均亮度為75%的情況下(圖173的(a)),發送機在第1時隙的期間中,使共通開關為關閉,在第2時隙~第4時隙的期間中,使共通開關為開啟。進一步,發送機在第1時隙的期間中,使畫素開關為關閉,在第2時隙~第4時隙的期間中,使畫素開關為開啟。藉此,僅在共通開關為開啟、並且畫素開關為開啟的期間,與該共通開關以及畫素開關對應的LED會點亮。也即是,LED在4時隙的各個中,以LO(Low)、HI(High)、HI、HI的亮度點亮,藉以進行亮度變化。結果,符元「00」被發送。
另外,在符元週期中的平均亮度為25%的情況下(圖173的(e)),發送機在第1時隙的期間中,使共通開關關閉,在第2時隙~第4時隙的期間中,使共通開關開啟。進一步,發送機在第1時隙、第3時隙以及第4時隙的期間中,使畫素開關關閉,在第2時隙的期間中,使畫素開關開啟。藉此,僅在共通開關為開啟、並且畫素開關為開啟的期間,與該共通開關以及畫素開關對應的LED會點亮。也即是,LED在4時隙的各個中,以LO(Low)、HI(High)、LO、LO的亮度點亮,藉以進行亮度變化。結果,符元「00」被發送。此外,本實施形態中的發送機是發送接近上述的V4PPM(可變的(variable)4PPM)的可見光訊號,因此,即便在發送相同符元的情況下,也能夠使平均亮度為可變。也即是,當以相互不同的平均亮 度發送相同符元(例如「00」)時,發送機如圖173的(a)~(e)所示,與平均亮度無關地使該符元中固有的亮度的上升位置(時間點)為一定。藉此,接收機不需認識到亮度就能夠接收可見光訊號。
此外,共通開關是藉由上述的共通開關控制部進行開關,畫素開關是藉由上述的畫素開關控制部進行開關。
這樣,本實施形態的發送方法是根據亮度變化發送可見光訊號的發送方法,包括:決定步驟、共通開關控制步驟、第1畫素開關控制步驟。在決定步驟中,藉由對可見光訊號進行調變,來決定亮度變化樣式。在共通開關控制步驟中,根據該亮度變化樣式來使共通開關進行開關,前述共通開關是用於使顯示器所具備的光源組(共通線)所含的、用於分別表示影像中的畫素的多個光源(LED)共通地點亮。在第1畫素開關控制步驟中,使用於讓該光源組所含的多個光源中的第1光源點亮的第1畫素開關為開啟,藉此,使第1光源僅在共通開關為開啟、並且第1畫素開關為開啟的期間點亮,據此來發送可見光訊號。
藉此,能夠從具備多個LED等作為光源的顯示器適當地發送可見光訊號。因此,使得包含照明以外的機器之態樣的機器間通訊成為可能。另外,在該顯示器是用於以共通開關以及第1畫素開關的控制來顯示影像之顯示器的情況下,利用該共通開關以及第1畫素開關,能夠 發送可見光訊號。因此,不必對用於在顯示器顯示影像的構成大幅地進行變更,就能夠簡單地發送可見光訊號。
另外,藉由使畫素開關的控制時間點與發送符元(4PPM的1次份)一致而如圖173所示那樣進行控制,能夠不閃爍地從LED顯示器發送可見光訊號。圖像訊號(即影像訊號)通常以1/30秒或1/60秒為週期變化,但是,藉由按照符元發送週期(符元週期)來使圖像訊號變化,能夠不對電路施加變更地加以實現。
如此,在本實施形態的發送方法的上述決定步驟中,是按符元週期決定亮度變化樣式。另外,在上述第1畫素開關控制步驟中,是與符元週期同步地使畫素開關進行開關。藉此,即便符元週期例如是1/2400秒,也能夠根據該符元週期來適當地發送可見光訊號。
在訊號(符元)為「10」、平均亮度為50%附近時,亮度變化樣式會接近0101,亮度的上升部位為2個部位。但是,在該情況下,藉由使後面的上升部位優先,接收機能夠正確地接收訊號。即,後面的上升部位是能得到符元「10」所固有的亮度的上升之時間點。
平均亮度越高,越能夠輸出接近以4PPM調變後的訊號的訊號。因此,在畫面整體或者電源線共用的部分的亮度低的情況下,藉由減小電流來降低亮度的瞬時值,能夠延長HI區間,能夠降低錯誤。該情況下,畫面的最高亮度降低,但是,在根據屋內的用途等而原本就不需要高亮度的情況下、或使可見光通訊優先的情況下等,藉 由使將該情況設為有效的開關設為有效,能夠最適當地設定通訊品質和畫質的平衡。
另外,在本實施形態的發送方法的上述第1畫素開關控制步驟中,當使顯示器(LED顯示器)顯示影像時,是使上述第1畫素開關以如下方式進行開關:在上述第1光源所對應之用於表現影像中的畫素的畫素值的點亮期間中,僅在第1光源為了發送可見光訊號而熄滅的期間補充該點亮期間。也即是,在本實施形態的發送方法中,當LED顯示器顯示影像時,發送可見光訊號。因此,在為了表現由影像訊號表示的畫素值(具體而言是亮度值)而應該點亮LED的期間中,有時會為了發送可見光訊號而使該LED熄滅。在這樣的情況下,在本實施形態的發送方法中,是以僅在該LED熄滅的期間補充該點亮期間的方式,使第1畫素開關進行開關。
例如,在不發送可見光訊號而顯示由影像訊號示出的影像時,在1個符元週期中,共通開關為開啟,畫素開關僅在對應於由該影像訊號表示的畫素值即平均亮度的期間為開啟。在平均亮度為75%的情況下,共通開關在符元週期的第1時隙~第4時隙中為開啟。進一步,畫素開關在符元週期的第1時隙~第3時隙中為開啟。藉此,符元週期中,LED在第1時隙~第3時隙中點亮,因此,能夠表現上述的畫素值。但是,為了發送符元「01」,第2時隙被熄滅。因此,在本實施形態的發送方法中,是以僅在該LED被熄滅的第2時隙補充該LED的點亮期間的方式, 即,以LED在第4時隙中點亮的方式,使畫素開關進行開關。
另外,在本實施形態的發送方法中,是藉由變更影像中的畫素的畫素值,來補充該點亮期間。例如,在上述情況下,將平均亮度75%的畫素值變更為平均亮度100%的畫素值。在平均亮度100%的情況下,LED本該在第1時隙~第4時隙點亮,但是,為了發送符元「01」,第1時隙被熄滅。因此,即便在發送可見光訊號的情況下,也能夠以本來的畫素值(平均亮度75%)使LED點亮。
藉此,能夠抑制由於可見光訊號的發送而使影像走樣。
(按畫素錯開的發光控制)
圖174是示出本實施形態的發送訊號的一例的圖。
如圖174所示,本實施形態的發送機在從畫素A和該畫素A附近的畫素(例如,畫素B以及畫素C)發送相同符元(例如「10」)時,使這些畫素的發光時間點錯開。但是,發送機以該符元中固有的亮度上升時間點在這些畫素間不錯開的方式,來使這些畫素發光。此外,畫素A~畫素C分別相當於光源(具體而言是LED)。另外,只要符元為「10」,則該符元中固有的亮度上升時間點為第3時隙與第4時隙的邊界的時間點。另外,以下將這樣的時間點稱為符元固有時間點。接收機藉由特定出該符元固有時間點,能夠接收對應於該時間點的符元。
藉由像這樣錯開發光時間點,如圖174所 示,對表示畫素間之平均亮度推移的波形而言,除了符元固有時間點處的上升之外,還有緩和的上升或下降。也即是,符元固有時間點處的上升比其它時間點的上升陡峭。因此,接收機藉由優先地接收多個上升中的最陡峭的上升,能夠特定出適當的符元固有時間點,結果,能夠抑制接收錯誤。
也即是,在從預定畫素發送符元「10」且該預定畫素的亮度為25%至75%的中間值的情況下,發送機將與該預定畫素對應之畫素開關的開區間設定得短或長。進而,發送機相反地調整與該預定畫素附近的畫素對應之畫素開關的開區間。這樣,即便將各畫素開關的開區間設定成包含該預定畫素和附近畫素的整體亮度不變,也能夠抑制錯誤。此外,開區間是指畫素開關開啟的區間。
如此,本實施形態的發送方法還包括第2畫素開關控制步驟。該第2畫素開關控制步驟中,藉由將用於使上述光源組(共通線)所含之位於第1光源周圍的第2光源點亮的第2畫素開關設為開啟,僅在共通開關為開啟、並且第2畫素開關為開啟的期間,使該第2光源點亮,藉此來發送可見光訊號。此外,第2光源例如是與第1光源相鄰的光源。
並且,在該第1以及第2畫素開關控制步驟中,在從第1以及第2光源的各光源同時地發送可見光訊號所含的同一符元時,是將第1以及第2畫素開關的各開關為了發送同一符元而開啟或關閉的多個時間點中的、得到該 同一符元中固有的亮度上升的時間點,設為在第1以及第2畫素開關的各開關中相同,並將其它的時間點設為在第1以及第2畫素開關的各開關中不同,來使該同一符元被發送的期間的、第1以及第2光源的整體的平均亮度與預先決定的亮度一致。
藉此,如圖174所示的畫素間平均亮度推移,在空間上平均後的亮度下,能夠僅在得到符元中固有的亮度上升之時間點使該上升為陡峭,能夠抑制接收錯誤的發生。也即是,能夠抑制接收機的可見光訊號的接收錯誤。
另外,在從預定畫素發送符元「10」且該預定畫素的亮度為25%至75%的中間值的情況下,發送機將第1期間中與該預定畫素對應之畫素開關的開區間設定得短或長。進而,發送機在第1期間和在時間上在前或在後的第2期間(例如訊框)中,相反地調整該畫素開關的開區間。這樣,即便將畫素開關的開區間設定成預定畫素中的、包含第1期間和第2期間之整體的時間平均亮度不變,也能夠抑制錯誤。
即,在本實施形態的發送方法的上述第1畫素開關控制步驟中,例如,在第1期間和接著該第1期間的第2期間,發送可見光訊號所含的同一符元。此時,在該第1以及第2期間的各期間中,使第1畫素開關為了發送該同一符元而開啟或關閉的多個時間點中得到同一符元中固有的亮度上升的時間點為相同,使其它的時間點為不同。 並且,使該第1以及第2期間之整體的第1光源的平均亮度與預先決定的亮度一致。該第1期間以及第2期間也可以分別是用於顯示訊框的期間和用於顯示下一訊框的期間。另外,第1期間以及第2期間也可以分別是符元週期。也即是,第1期間以及第2期間也可以分別是用於發送1個符元的期間和用於發送下一符元的期間。
藉此,與圖174所示的畫素間平均亮度推移同樣地,在時間上平均化後的亮度下,能夠僅在得到符元中固有的亮度上升的時間點使該上升為陡峭,能夠抑制接收錯誤的發生。也即是,能夠抑制接收機的可見光訊號的接收錯誤。
(畫素開關能夠倍速驅動的情況的發光控制)
圖175是示出本實施形態的發送訊號的一例的圖。
在能夠以發送符元週期的半個週期開閉畫素開關的情況下、也即是在畫素開關能夠倍速驅動的情況下,如圖175所示,能夠設成與V4PPM相同的發光樣式。
換言之,在符元週期(符元被發送的期間)由4時隙構成的情況下,控制畫素開關之LED驅動電路等的畫素開關控制部,能夠按每2時隙來控制畫素開關。也即是,畫素開關控制部在從該符元週期最初的時間點開始2時隙份的期間,能夠使畫素開關開啟任意的時間。進而,畫素開關控制部在該符元週期的第3時隙的最初的時間點開始2時隙份的期間,能夠使畫素開關開啟任意的時間。
也即是,在本實施形態的發送方法中,也可以以上述符元週期的1/2週期變更畫素值。
該情況下,存在畫素開關之開閉的每1次的精細度會降低(精度會降低)的可能性。因此,藉由僅在發送優先開關為有效時進行畫素開關的開閉,能夠最適當地設定畫質和發送品質的平衡。
(基於畫素值調整的發光控制的方塊圖)
圖176是示出本實施形態的發送機的一例的方塊圖。
圖176的(a)是示出不進行可見光訊號的發送而僅進行影像的顯示的裝置、亦即使上述的LED顯示器顯示影像的顯示裝置的之構成的方塊圖。如圖176的(a)所示,該顯示裝置具備:圖像/影像輸入部1911、N倍速化部1912、共通開關控制部1913、畫素開關控制部1914。
圖像/影像輸入部1911將例如以60Hz的訊框率表示圖像或影像的影像訊號向N倍速化部1912輸出。
N倍速化部1912將從圖像/影像輸入部1911輸入的影像訊號的訊框率提升至N(N>1)倍,並輸出該影像訊號。例如,N倍速化部1912將訊框率提升至10倍(N=10),即提升至600Hz的訊框率。
共通開關控制部1913基於該600Hz的訊框率的影像來使共通開關進行開關。同樣地,畫素開關控制部1914基於該600Hz的訊框率的影像來使畫素開關進行開關。這樣,藉由利用N倍速化部1912提升訊框率,能夠避免因共通開關或畫素開關等開關的開閉而導致的閃爍。 另外,在由拍攝裝置以高速快門對LED顯示器進行拍攝的情況下,也能夠使該拍攝裝置拍攝無畫素缺失或無閃爍的圖像。
圖176的(b)是示出不僅進行影像的顯示還進行上述可見光訊號的發送的顯示裝置、即發送機(發送裝置)之構成的方塊圖。該發送機具備:圖像/影像輸入部1911、共通開關控制部1913、畫素開關控制部1914、訊號輸入部1915、畫素值調整部1916。訊號輸入部1915將由多個符元構成的可見光訊號以2400符元/秒的符元速率(頻率)向畫素值調整部1916輸出。
畫素值調整部1916與該可見光訊號的符元速率相匹配地複製從圖像/影像輸入部1911輸入的圖像,根據上述方法對畫素值進行調整。藉此,從畫素值調整部1916到後面的共通開關控制部1913以及畫素開關控制部1914,能夠不改變圖像或影像的亮度地輸出可見光訊號。
例如,在圖176所示的例子的情況下,如果可見光訊號的符元速率為2400符元/秒,則畫素值調整部1916以影像訊號的訊框率60Hz成為4800Hz的方式,複製影像訊號所含的圖像。例如,可見光訊號所含的符元的值為「00」,且複製前的第1張圖像所含的畫素的畫素值(亮度值)為50%。該情況下,畫素值調整部1916在複製後的第1張圖像中將該畫素值調整為100%,在第2張圖像中調整為50%。藉此,如圖175的(c)所示之符元「00」的情況的亮度變化那樣,藉由共通開關和畫素開關的和 (and),亮度成為50%。結果,能夠一邊保持為與原圖像的亮度相等,一邊發送可見光訊號。此外,共通開關和畫素開關的和是指,僅在共通開關開啟、且畫素開關開啟的期間,與該共通開關以及畫素開關對應的光源(即LED)會點亮。
另外,在本實施形態的發送方法中,也可以不同時地進行影像的顯示和可見光訊號的發送,而藉由訊號發送期間和影像顯示時間將它們分開來進行。
也即是,在本實施形態的上述第1畫素開關控制步驟中,在共通開關根據亮度變化樣式而進行開關之訊號發送期間中,第1畫素開關為開啟。並且,本實施形態的發送方法還可以包含影像顯示步驟:在與該訊號發送期間不同的影像顯示期間中,使該共通開關開啟,在影像顯示期間中根據顯示對象的影像使第1畫素開關開啟,藉此使第1光源僅在共通開關開啟且第1畫素開關開啟的期間點亮,據此顯示該影像中的畫素。
藉此,由於影像的顯示和可見光訊號的發送在相互不同的期間進行,因此,能夠簡單地進行該顯示和發送。
(電源變更的時間點)
在電源線變更時,會發生訊號關閉(off)的區間,但是,由於4PPM的最後的部分即使不發光也不會對接收有影響,因此,藉由與4PPM符元的發送週期相匹配地變更電源線,能夠不影響接收品質地變更電源線。
另外,即便在4PPM的LO期間變更電源線,也能夠不對接收品質造成影響地變更電源線。該情況下,還能夠將最大亮度保持得高地進行發送。
(驅動時間點)
另外,本實施形態中,也可以在圖177~圖179所示的時間點驅動LED顯示器。
圖177~圖179是以本發明的光ID調變訊號驅動LED顯示器的情況的時序圖。
例如如圖178所示,為了發送可見光訊號(光ID),在共通開關(COM1)關閉時(期間t1),無法以影像訊號所表示的亮度使LED點亮,因此,在該期間t1以後,使該LED點亮。藉此,能夠一邊適當地發送可見光訊號,一邊不使由影像訊號表示的影像走樣地適當顯示該影像。
(總結)
圖180A是示出本發明的一態樣的發送方法的流程圖。
本發明的一態樣的發送方法是利用亮度變化發送可見光訊號的發送方法,包括步驟SC11~SC13。
在步驟SC11中,與上述的各實施形態同樣地,藉由對可見光訊號進行調變來決定亮度變化樣式。
步驟SC12中,根據該亮度變化樣式來使共通開關進行開關,該共通開關是用於使顯示器所具備的光源組所含的、用於分別表示影像中之畫素的多個光源共通點亮。
步驟S13中,將用於使該光源組所含的多個光源中的第1光源點亮的第1畫素開關(即畫素開關)設為開啟,藉此,使第1光源僅在共通開關為開啟且第1畫素開關為開啟的期間點亮,據此發送可見光訊號。
圖180B是示出本發明的一態樣的發送裝置的功能結構的方塊圖。
本發明的一態樣的發送裝置C10是根據亮度變化來發送可見光訊號的發送裝置(或發送機),具備決定部C11、共通開關控制部C12、畫素開關控制部C13。決定部C11與上述的各實施形態同樣地,藉由對可見光訊號進行調變來決定亮度變化樣式。此外,該決定部C11例如設於圖176所示的訊號輸入部1915。
共通開關控制部C12根據該亮度變化樣式來使共通開關進行開關。該共通開關是用於使顯示器所具備的光源組所含的、用於分別表示影像中的畫素的多個光源共通點亮的開關。
畫素開關控制部C13藉由將用於使光源組所含的多個光源中的控制對象之光源點亮的畫素開關設為開啟,僅在共通開關為開啟且畫素開關為開啟的期間,使控制對象之光源點亮,據此發送可見光訊號。此外,控制對象之光源是上述第1光源。
藉此,能夠從具備多個LED等作為光源的顯示器適當地發送可見光訊號。因此,能夠使包含照明以外的機器之態樣的機器間通訊成為可能。另外,在該顯示器 是用於藉由共通開關以及畫素開關的控制而顯示影像之顯示器的情況下,能夠利用該共通開關以及畫素開關,發送可見光訊號。因此,不必對用於使顯示器顯示影像的構成(即顯示裝置)進行大幅的變更,就能夠簡單地發送可見光訊號。
(單訊框發送(Single frame transmission)的訊框構成)
圖181是示出本實施形態的發送訊號的一例的圖。
如圖181的(a)所示,發送訊框由前文(PRE)、ID長度(IDLEN)、ID類型(IDTYPE)、內容(ID/DATA)以及檢查碼(CRC)構成。各區域的位元數是一例。
藉由使用圖181的(b)所示的前文,接收機能夠與用4PPM、I-4PPM或V4PPM編碼的其它部分相區別,能夠找到訊號的區分處。
如圖181的(c)所示,藉由用IDLEN指定ID/DATA的長度,能夠發送可變長度的內容。
CRC是更正或者檢測PRE以外的部分的錯誤的檢查碼。藉由根據檢查區域的長度使CRC長度變化,能夠將檢查能力保持為一定以上。另外,藉由使用根據檢查區域的長度而不同的檢查碼,能夠提高每CRC長度的檢查能力。
(多訊框發送(Multiple frame transmission)的訊框構成)
圖182和圖183是示出本實施形態的發送訊號的一例的圖。
在發送資料(BODY)附加劃分(partition)類型(PTYPE)和檢查碼(CRC)而成為連接資料(Joined data)。連接資料被分割為幾個DATAPART,並被附加前文(PRE)和位址(ADDR)而被發送。
PTYPE(或者是劃分模式(PMODE))是表示BODY的分割方法或意義。藉由如圖182的(a)所示設為2位元,能夠以4PPM恰好地進行編碼。藉由如圖182的(b)所示設為1位元,能夠縮短發送時間。
CRC是檢查PTYPE和BODY的檢查碼。如圖161決定的那樣,藉由根據所檢查的部分的長度使CRC的編碼長度變化,能夠將檢查能力保持為一定以上。
前文藉由如圖162那樣決定,能夠確保分割樣式的變化(variation),並且能夠縮短發送時間。
位址藉由如圖163那樣決定,接收機能夠與接收到訊框的順序無關地對資料進行復原。
圖183是可能的連接資料長度和訊框數的組合。帶底線的組合是下述的PTYPE為單訊框相容(Single frame compatible)時所使用的組合。
(BODY欄位的構成)
圖184是示出本實施形態的發送訊號的一例的圖。
藉由將BODY設為如圖那樣的欄位構成,能夠發送與單訊框發送同樣的ID。
在相同IDTYPE、相同ID的情況下,藉由設為與單訊框發送還是多訊框發送無關地、且與封包發送的組合無關地表示相同意義,能夠在連續發送、接收時間短等情況下靈活地發送訊號。
以IDLEN指定ID的長度,剩餘的部分發送填充(PADDING)。該部分可以全部為0或1,也可以發送用以擴充ID的資料,還可以設為檢查碼。PADDING也可以在左端。
在圖184的(b)、(c)或(d)中,能夠比圖184的(a)更縮短發送時間。此時ID的長度是設為可作為ID被取得的長度中的最大長度。
在圖184的(b)或(c)的情況下,IDTYPE的位元數為奇數,但是,藉由與圖182的(b)所示的1位元的PTYPE進行組合,能夠成為偶數,能夠以4PPM有效率地進行編碼。
在圖184的(c)中,能夠發送更長的ID。
在圖184的(d)中,能夠表現更多的IDTYPE。
(PTYPE)
圖185是示出本實施形態的發送訊號的一例的圖。
在PTYPE為預定的位元時,表示BODY為單訊框相容模式。藉此,能夠發送與單訊框發送的情況相同的ID。
例如,在PTYPE=00時,能夠與以單訊框發 送方式發送的ID或ID類型同樣地處理與該PTYPE對應的ID或ID類型,能夠使ID或ID類型的管理變簡單。
當PTYPE為預定的位元時,表示BODY是資料串流(Data stream)模式。此時,發送訊框數和DATAPART長度能夠使用所有的組合,不同的組合的資料能夠具有不同的意義。藉由PTYPE的位元,前述不同的組合可以設為具有相同意義的情況和具有不同意義的情況。藉此,能夠靈活地選擇發送方法。
例如,當PTYPE=01時,能夠發送單訊框發送中大小未定義的ID。另外,即便與該PTYPE對應的ID與單訊框發送的ID相同,也能夠將與該PTYPE對應的ID作為與該單訊框發送的ID不同的其他ID來處理。結果,能夠增多可以表現的ID數量。
(單訊框相容(Single frame compatible)模式的欄位構成)
圖186是示出本實施形態的發送訊號的一例的圖。
在使用圖184的(a)的情況下,在單訊框相容模式下,以圖186所示的表的組合發送的情況的效率最佳。
在使用圖184的(b)、(c)或(d)的情況下,當ID為32位元時,訊框數為13、DATAPART長度為4位元的組合的效率較好。另外,當ID為64位元時,訊框數為11、DATAPART長度為8位元的組合的效率較好。
藉由僅以表的組合進行發送,使得不同的組 合能夠判斷出接收錯誤,能夠降低接收錯誤率。
(實施形態19的總結)
本發明的一態樣的發送方法是藉由亮度變化來發送可見光訊號的發送方法,該方法包括:決定步驟,藉由調變可見光訊號來決定亮度變化樣式;共通開關控制步驟,按照前述亮度變化樣式來使共通開關進行開關,前述共通開關是用於使顯示器所具備的光源組所含的、用於分別表示影像中的畫素的多個光源共通點亮;以及第1畫素開關控制步驟,藉由使用於點亮前述光源組所含的多個光源中的第1光源的第1畫素開關為開啟,而使前述第1光源僅在前述共通開關為開啟、並且前述第1畫素開關為開啟的期間點亮,藉此發送前述可見光訊號。
藉此,例如如圖173~圖180B所示,能夠從具備多個LED等作為光源的顯示器適當地發送可見光訊號。因此,能夠使得包含照明以外的機器之態樣的機器間通訊成為可能。另外,在該顯示器是用於藉由共通開關以及第1畫素開關的控制來顯示影像之顯示器的情況下,能夠利用該共通開關以及第1畫素開關,發送可見光訊號。因此,不必對用於使顯示器顯示影像的構成進行大幅的變更,就能夠簡單地發送可見光訊號。
另外,也可以是,在前述決定步驟中,按符元週期決定前述亮度變化樣式,在前述第1畫素開關控制步驟中,與前述符元週期同步地使前述第1畫素開關進行開關。
藉此,例如如圖173所示,即使符元週期例如為1/2400秒,也能夠根據該符元週期適當地發送可見光訊號。
另外,也可以是,在前述第1畫素開關控制步驟中,在前述顯示器顯示影像時,使前述第1畫素開關進行開關,以使得:在前述第1光源所對應之用於表現前述影像中的畫素的畫素值的點亮期間中,僅在第1光源為了發送前述可見光訊號而熄滅的期間補充前述點亮期間。例如,也可以藉由改變前述影像中的畫素的畫素值,來補充前述點亮期間。
藉此,例如如圖173以及圖175所示,即便在為了發送可見光訊號而熄滅第1光源的情況下,由於點亮期間得到補充,因此,能夠不使本來的影像走樣而適當地顯示。
另外,也可以是,以前述符元週期的1/2週期來改變前述畫素值。
藉此,例如如圖175所示,能夠適當地進行影像的顯示和可見光訊號的發送。
另外,也可以是,前述發送方法還包括第2畫素開關控制步驟,在前述第2畫素開關控制步驟中,藉由使用於使前述光源組所含的、位於前述第1光源周圍的第2光源點亮的第2畫素開關為開啟,而使前述第2光源僅在前述共通開關為開啟、並且前述第2畫素開關為開啟的期間點亮,藉此發送前述可見光訊號,在前述第1及第2畫 素開關控制步驟中,在從前述第1及第2光源的各個光源同時地發送前述可見光訊號所含的同一符元時,使前述第1及第2畫素開關的各個畫素開關為了發送前述同一符元而開啟或關閉的多個時間點中的、得到前述同一符元中固有的亮度上升的時間點,在前述第1及第2畫素開關的各畫素開關中相同,並使其它的時間點在前述第1及第2畫素開關的各畫素開關中不同,而使發送前述同一符元的期間之前述第1及第2光源整體的平均亮度與預先決定的亮度一致。
藉此,例如如圖174所示,能夠在空間上平均化後的亮度下,僅在得到符元中固有的亮度上升的時間點,使該上升為陡峭,能夠抑制接收錯誤的發生。
另外,也可以是,在前述第1畫素開關控制步驟中,在第1期間和接著前述第1期間的第2期間發送前述可見光訊號所含的同一符元時,在前述第1及第2期間的各期間中,使前述第1畫素開關為了發送前述同一符元而開啟或關閉的多個時間點中的、得到前述同一符元中固有的亮度上升的時間點相同,使其它的時間點不同,而使前述第1及第2期間整體之前述第1光源的平均亮度與預先決定的亮度一致。
藉此,例如如圖174所示,能夠在時間上平均化後的亮度下,僅在得到符元中固有的亮度上升的時間點,使該上升為陡峭,能夠抑制接收錯誤的發生。
另外,也可以是,在前述第1畫素開關控制步驟中,在前述共通開關按照前述亮度變化樣式來進行開 關的訊號發送期間中,使前述第1畫素開關為開啟,前述發送方法還包括影像顯示步驟,在前述影像顯示步驟中,藉由在與前述訊號發送期間不同的影像顯示期間中,使前述共通開關為開啟,在前述影像顯示期間使前述第1畫素開關按照顯示對象的影像來成為開啟,從而使前述第1光源僅在前述共通開關為開啟、並且前述第1畫素開關為開啟的期間點亮,藉此顯示前述影像中的畫素。
藉此,由於影像的顯示和可見光訊號的發送在相互不同的期間進行,因此,能夠簡單地進行該顯示和發送。
(實施形態20)
在本實施形態中,對上述各實施形態的可見光訊號的詳細情況或變形例進行具體說明。此外,相機的發展趨勢是高解析度化(4K)、高幀率化(60fps)。藉由高幀率化,幀掃描時間減少。其結果是接收距離減少,接收時間增加。因此,對於發送可見光訊號的發送機,需要縮短封包發送時間。另外,藉由線掃描時間的減少,接收的時間解析能力提高。另外,曝光時間為1/8000秒。對於4PPM,由於同時進行訊號表現和調光,因此訊號密度低,效率差。因此,在本實施形態的可見光訊號中,將訊號部分和調光部分分離,縮短了接收所需的部分。
圖187是輸出本實施形態的可見光訊號的結構的一例的圖。
如圖187所示,可見光訊號包括訊號部與調 光部的多個組合。該組合的時間長例如為2ms以下(頻率為500Hz以上)。
圖188是示出本實施形態的可見光訊號的詳細結構的一例的圖。
可見光訊號包括資料L(DataL)、前文(Preamble)、數據R(DataR)和調光部(Dimming)。由資料L、前文和資料R構成上述訊號部。
前文沿著時間軸交替地示出High(高)和Low(低)的亮度值。也即是,前文按時間長P1示出High的亮度值,按下一個時間長P2示出Low的亮度值,按下一個時間長P3示出High的亮度值,按下一個時間長P4示出Low的亮度值。此外,時間長P1~P4例如為100μs。
資料R沿著時間軸交替地示出High和Low的亮度值,被配置在緊接前文之後。也即是,資料R按時間長DR1示出High的亮度值,按下一個時間長DR2示出Low的亮度值,按下一個時間長DR3示出High的亮度值,按下一個時間長DR4示出Low的亮度值。此外,時間長DR1~DR4是根據與發送對象的訊號相應的算式來決定。該算式是DRi=120+20xi(i
Figure 106138104-A0202-12-0292-1
1~4,xi
Figure 106138104-A0202-12-0292-2
0~15)。此外,120以及20等數值表示時間(μs)。另外,這些數值是一例。
資料L沿著時間軸交替地示出High和Low的亮度值,被配置在緊接前文之前。也即是,資料L按時間長DL1示出High的亮度值,按下一個時間長DL2示出Low的亮度值,按下一個時間長DL3示出High的亮度值,按下一 個時間長DL4示出Low的亮度值。此外,時間長DL1~DL4是根據與發送對象的訊號相應的算式來決定。該算式是DLi=120+20×(15-xi)。此外,與上述同樣地,120以及20等數值表示時間(μs)。另外,這些數值是一例。
此外,發送對象的訊號由4×4=16位元構成,xi是該發送對象的訊號中的4位元的訊號。在可見光訊號中,是藉由資料R中的時間長DR1~DR4的各時間長、或資料L中的時間長DL1~DL4的各時間長,表示該xi(4位元的訊號)的數值。另外,在發送對象的訊號的16位元中,4位元表示位址,8位元表示資料,4位元用於錯誤檢測。
在此,資料R和資料L針對明亮度具有互補關係。也即是,如果資料R的明亮度為亮,則資料L的明亮度為暗,反過來,如果資料R的明亮度為暗,則資料L的明亮度為亮。也即是,資料R的整體的時間長與資料L的時間長之和,無關於發送對象的訊號而是恆定的。
調光部是用於調整可見光訊號的明亮度(亮度)的訊號,按時間長C1示出High的亮度值,按下一個時間長C2示出Low的訊號。時間長C1以及C2可進行任意調整。此外,調光部既可以包含在可見光訊號中,也可以不包含在可見光訊號中。
另外,在圖188所示的例子中,資料R以及資料L包含在可見光訊號中,但也可以僅包含資料R和資料L中的某一方。在想要使可見光訊號變亮時,也可以僅發送資料R和資料L中亮的資料。另外,也可以使資料R和資料 L的配置相反。另外,在包含資料R的情況下,調光部的時間長C1例如比100μs長,在包含資料L的情況下,調光部的時間長C2例如比100μs長。
圖189A是示出本實施形態的可見光訊號的另一例的圖。
在圖188所示的可見光訊號中,藉由表示High的亮度值的時間長和表示Low的亮度值的時間長之各時間長表現了發送對象的訊號,但也可以如圖189A的(a)所示,僅藉由表示Low的亮度值的時間長來表現發送對象的訊號。此外,圖189A的(b)是表示圖188的可見光訊號。
例如,如圖189A的(a)所示,在前文中,表示High的亮度值的時間長都相等而相對較短,表示Low的亮度值的時間長P1~P4分別例如為100μs。另外,在資料R中,表示High的亮度值的時間長都相等而相對較短,表示Low的亮度值的時間長DR1~DR4分別根據訊號xi來調整。此外,在前文以及資料R中,表示High的亮度值的時間長例如為10μs以下。
圖189B是示出本實施形態的可見光訊號的另一例的圖。
例如,如圖189B所示,在前文中,表示High的亮度值的時間長都相等而相對較短,表示Low的亮度值的時間長P1~P3分別例如為160μs、180μs、160μs。另外,在資料R中,表示High的亮度值的時間長都相等而相對較 短,表示Low的亮度值的時間長DR1~DR4分別根據訊號xi來調整。此外,在前文以及資料R中,表示High的亮度值的時間長例如為10μs以下。
圖189C是示出本實施形態的可見光訊號的訊號長度的圖。
圖190是示出本實施形態的可見光訊號與標準IEC(International Electrotechnical Commission,國際電工委員會)的可見光訊號之間的亮度值的比較結果的圖。此外,標準IEC具體是「VISIBLE LIGHT BEACON SYSTEM FOR MULTIMEDIA APPLICATIONS(用於多媒體應用程式的可見光信標系統)」。
在本實施形態的可見光訊號(實施形態的方式(Data單側))中,能夠獲得比標準IEC的可見光訊號的最高亮度更高的最高亮度82%,能夠獲得比標準IEC的可見光訊號的最低亮度更低的最低亮度18%。此外,最高亮度82%以及最低亮度18%是藉由本實施形態中僅包含資料R和資料L中某一方的可見光訊號而得到的數值。
圖191是示出本實施形態的可見光訊號與標準IEC的可見光訊號之間的、相對於視角的接收封包數以及可靠度的比較結果的圖。
在本實施形態的可見光訊號(實施形態的方式(兩方(both))中,即使視角變小、亦即從發送可見光訊號的發送機到接收機的距離變長,相比於標準IEC的可見光訊號,接收封包數仍較多,能夠獲得高的可靠度。 此外,圖191所示的實施形態的方式(both)的數值是藉由包含資料R和資料L這兩方的可見光訊號而得到的數值。
圖192是示出本實施形態的可見光訊號與標準IEC的可見光訊號之間的、相對於雜訊的接收封包數以及可靠度的比較結果的圖。
在本實施形態的可見光訊號(IEEE)中,不管雜訊(雜訊的方差值)如何,相比於標準IEC的可見光訊號,接收封包數都較多,能夠獲得高的可靠度。
圖193是示出本實施形態的可見光訊號與標準IEC的可見光訊號之間的、相對於接收側時脈誤差的接收封包數以及可靠度的比較結果的圖。
在本實施形態的可見光訊號(IEEE)中,在接收側時脈誤差的廣大範圍內,相比於標準IEC的可見光訊號,接收封包數多,能夠獲得高的可靠度。此外,接收側時脈誤差是接收機的影像感測器中的曝光線開始曝光的時間點的誤差。
圖194是示出本實施形態的發送對象的訊號的結構的圖。
發送對象之訊號如上述那樣包括4個4位元(4×4=16位元)的訊號(xi)。例如,發送對象之訊號包括訊號x1~x4。訊號x1由位元x11~x14構成,訊號x2由位元x21~x24構成。另外,訊號x3由位元x31~x34構成,訊號x4由位元x41~x44構成。在此,位元x11、位元x21、位元x31以及位元x41容易出錯,除此之外的位元不容易出錯。因 此,訊號x4所包含的位元x42~位元x44是分別用於訊號x1的位元x11、訊號x2的位元x21、訊號x3的位元x31的同位(parity),訊號x4所包含的位元x41不使用而一直表示0。在位元x42、x43、x44各自的計算中,是使用圖194所示的算式。藉由該算式,分別算出位元x42、x43、x44,使得位元x42=位元x11、位元x43=位元x21、位元x44=位元x31
圖195A是示出本實施形態的可見光訊號的接收方法的圖。
接收機依次取得上述可見光訊號的訊號部。訊號部包括4位元的位址(Addr)和8位元的資料(Data)。接收機將這些訊號部的資料分別結合,生成由多個資料構成的ID、和由1個或多個資料構成的同位。
圖195B是示出本實施形態的可見光訊號的排序的圖。
圖196是示出本實施形態的可見光訊號的另一例的圖。
圖196所示的可見光訊號是藉由對圖188所示的可見光訊號重疊高頻訊號而構成。高頻訊號的頻率例如為1~數Gbps。藉此,能夠比圖188所示的可見光訊號更高速地發送資料。
圖197是示出本實施形態的可見光訊號的詳細結構的另一例的圖。此外,圖197所示的可見光訊號的結構與圖188所示的結構是同樣的,但圖197所示的可見光訊號中的調光部的時間長C1以及C2不同於圖188所示的時 間長C1以及C2
圖198是示出本實施形態的可見光訊號的詳細結構的另一例的圖。在該圖198所示的可見光訊號中,資料R以及資料L包含8個V4PPM符元。資料L所包含的符元DLi的上升位置或下降位置與資料R所包含的符元DRi的上升位置或下降位置相同。但是,符元DLi的平均亮度和符元DRi的平均亮度既可以相同也可以不同。
圖199是示出本實施形態的可見光訊號的詳細結構的另一例的圖。該圖199所示的可見光訊號是ID通訊用或低平均亮度用途的訊號,與圖189B所示的可見光訊號相同。
圖200是示出本實施形態的可見光訊號的詳細結構的另一例的圖。在該圖200所示的可見光訊號中,資料(Data)中的第偶數個時間長D2i和第奇數個時間長D2i+1相等。
圖201是示出本實施形態的可見光訊號的詳細結構的另一例的圖。該圖201所示的可見光訊號中的資料(Data)包含多個作為脈衝位置調變之訊號的符元。
圖202是示出本實施形態的可見光訊號的詳細結構的另一例的圖。該圖202所示的可見光訊號是連續通訊用的訊號,與圖198所示的可見光訊號相同。
圖203~圖211是用於說明決定圖197的x1~x4之值的方法的圖。此外,圖203~圖211所示的x1~x4是藉由與決定以下變形例所示的碼w1~w4之值(W1~W4) 的方法同樣的方法來決定。但是,x1~x4分別是由4位元構成的碼,且在第1位元包含同位,這一點與以下的變形例所示的碼w1~w4不同。
(變形例1)
圖212是示出本實施形態的變形例1涉及的可見光訊號的詳細結構的一例的圖。該變形例1涉及的可見光訊號與上述實施形態的圖188所示的可見光訊號相同,但表示High或Low的亮度值的時間長不同於圖188所示的可見光訊號。例如,在本變形例涉及的可見光訊號中,前文的時間長P2、P3為90μs。另外,在本變形例涉及的可見光訊號中,與上述實施形態同樣,資料R中的時間長DR1~DR4是按照與發送對象之訊號相應的算式來決定。但是,本變形例中的算式是DRi=120+30×wi(i
Figure 106138104-A0202-12-0299-3
1~4,wi
Figure 106138104-A0202-12-0299-4
0~7)。此外,wi是由3位元構成的碼,是表示0~7的任一個整數之值的發送對象之訊號。另外,在本變形例涉及的可見光訊號中,與上述實施形態同樣,資料L中的時間長DL1~DL4是按照與發送對象之訊號相應的算式來決定。但是,本變形例中的算式是DLi=120+30×(7-wi)。
另外,在圖212所示的例子中,資料R以及資料L包含在可見光訊號中,但也可以是資料R和資料L中的僅某一方包含在可見光訊號中。在想要使可見光訊號變亮時,也可以僅發送資料R和資料L中的亮的資料。另外,也可以使資料R和資料L的配置相反。
圖213是示出本變形例涉及的可見光訊號的 另一例的圖。
變形例1涉及的可見光訊號與圖189A的(a)以及圖189B所示的例子同樣地,也可以僅藉由表示Low的亮度值的時間長來表現發送對象之訊號。
例如,如圖213所示,在前文中,表示High的亮度值的時間長例如小於10μs,表示Low的亮度值的時間長P1~P3分別例如為160μs、180μs、160μs。另外,在資料(Data)中,表示High的亮度值的時間長小於10μs,表示Low的亮度值的時間長D1~D3分別根據訊號wi來調整。具體而言,表示Low的亮度值的時間長Di為Di=180+30×wi(i
Figure 106138104-A0202-12-0300-5
1~4,wi
Figure 106138104-A0202-12-0300-6
0~7)。
圖214是示出本變形例涉及的可見光訊號的又一例的圖。
本變形例涉及的可見光訊號也可以包含圖214所示的前文和資料。前文與圖212所示的前文同樣地,沿著時間軸交替地示出High和Low的亮度值。另外,前文中的時間長P1~P4分別為50μs、40μs、40μs、50μs。資料(Data)沿著時間軸交替地示出High和Low的亮度值。例如,資料L按時間長D1示出High的亮度值,按下一個時間長D2示出Low的亮度值,按下一個時間長D3示出High的亮度值,按下一個時間長D4示出Low的亮度值。
在此,時間長D2i-1+D2i是按照與發送對象之訊號相應的算式來決定。也即是,表示High的亮度值的時間長、與繼該亮度值之後的表示Low的亮度值的時間長之 和,是按照該算式來決定。該算式例如是D2i-1+D2i=100+20×xi(i
Figure 106138104-A0202-12-0301-7
1~N,xi
Figure 106138104-A0202-12-0301-8
0~7,D2i>50μs,D2i+1>50μs)。
圖215是示出封包調變的一例的圖。
訊號生成裝置是藉由本變形例涉及的可見光訊號的生成方法,來生成可見光訊號。在本變形例涉及的可見光訊號的生成方法中,是將封包調變(即變換)成上述的發送對象之訊號wi。此外,上述的訊號生成裝置既可以設置在上述各實施形態的發送機中,也可以不設置在該發送機中。
例如,訊號生成裝置如圖215所示將封包變換成包含由碼w1、w2、w3以及w4分別表示的數值在內的發送對象之訊號。這些碼w1、w2、w3以及w4分別是由從第1位元到第3位元的3位元構成的碼,如圖212所示,表示0~7的整數值。
在此,在碼w1~w4的各個碼中,設第1位元的值為b1,設第2位元的值為b2,設第3位元的值為b3。此外,b1、b2以及b3是0或1。該情況下,由碼w1~w4表示的數值W1~W4分別例如是b1×20+b2×21+b3×22
封包包含由0~4位元構成的位址資料(A1~A4)、由4~7位元構成的主資料Da(Da1~Da7)、由3~4位元構成的副資料Db(Db1~Db4)和停止位元的值(S)來作為資料。此外,Da1~Da7、A1~A4、Db1~Db4以及S分別表示位元的值,即0或1。
即,訊號生成裝置在將封包調變成發送對象之訊號時,將該封包所包含的資料分配到碼w1、w2、w3以及w4的某個位元。藉此,封包被變換成包含由碼w1、w2、w3以及w4分別表示的數值在內的發送對象之訊號。
訊號生成裝置在分配封包所包含的資料時,具體而言,是向由碼w1~w4各自的第1位元(bit1)構成的第1位元串,分配封包所包含的主資料Da的至少一部分(Da1~Da4)。進而,訊號生成裝置向碼w1的第2位元(bit2)分配封包所包含的停止位元的值(S)。進而,訊號生成裝置向由碼w2~w4各自的第2位元(bit2)構成的第2位元串,分配封包所包含的主資料Da的一部分(Da5~Da7)或封包所包含的位址資料的至少一部分(A1~A3)。進而,訊號生成裝置向由碼w1~w4各自的第3位元(bit3)構成的第3位元串,分配封包所包含的副資料Db的至少一部分(Db1~Db3)、和該副資料Db的一部分(Db4)或位址資料的一部分(A4)。
此外,在碼w1~w4各自的第3位元(bit3)都為0的情況下,藉由上述的「b1×20+b2×21+b3×22」,這些碼所表示的數值被抑制在3以下。因此,藉由圖212所示的算式DRi=120+30×wi(i
Figure 106138104-A0202-12-0302-9
1~4,wi
Figure 106138104-A0202-12-0302-10
0~7),能夠縮短時間長DRi。其結果是,能夠縮短發送1個封包的時間,即使從較遠的地方,也能夠接收該封包。
圖216~圖226是示出從原始資料生成封包的處理的圖。
本變形例涉及的訊號生成裝置是根據原始資料的位元長度來判定是否對該原始資料進行分割。並且,訊號生成裝置藉由進行與該判定的結果相應的處理,從原始資料生成至少1個封包。也即是,原始資料的位元長度越長,則訊號生成裝置將該原始資料分割成越多的封包。反過來,如果原始資料的位元長度比預定的位元長度短,則訊號生成裝置不分割原始資料而生成封包。
當如此從原始資料生成至少1個封包時,訊號生成裝置將該至少1個封包的各封包變換成上述的發送對象之訊號、即碼w1~w4。
此外,在圖216~圖226中,Data表示原始資料,Dataa表示原始資料所包含的主原始資料,Datab表示原始資料所包含的副原始資料。另外,Da(k)表示構成主原始資料本身或包含主原始資料和同位的資料之多個部分中的第k個部分。同樣地,Db(k)表示構成副原始資料本身或包含副原始資料和同位的資料之多個部分中的第k個部分。例如,Da(2)表示構成包含主原始資料和同位的資料之多個部分中的第2個部分。另外,S表示起始位元,A表示位址資料。
另外,各區塊內所示出的最上部的註記是用於識別原始資料、主原始資料、副原始資料、起始位元以及位址資料等的標籤。另外,各區塊內所示出的中央的數值是位元大小(位元數),最下部的數值是各位元的值。
圖216是示出將原始資料分割成1部分的處 理的圖。
例如,如果原始資料(Data)的位元長為7位元,則訊號生成裝置不對該原始資料進行分割而生成1個封包。具體而言,原始資料包含4位元的主原始資料Dataa(Da1~Da4)、3位元的副原始資料Datab(Db1~Db3)來分別作為主資料Da(1)和副資料Db(1)。該情況下,訊號生成裝置藉由對該原始資料附加起始位元S(S=1)和由4位元構成且表示「0000」的位址資料(A1~A4),來生成封包。此外,起始位元S=1表示包含該起始位元的封包是末端的封包。
訊號生成裝置藉由對該封包進行變換,生成碼w1=(Da1,S=1,Db1)、碼w2=(Da2,A1=0,Db2)、碼w3=(Da3,A2=0,Db3)以及碼w4=(Da4,A3=0,A4=0)。進而,訊號生成裝置生成包含由碼w1、w2、w3以及w4分別表示的數值W1、W2、W3以及W4在內的發送對象之訊號。
此外,在本變形例中,wi表現為3位元的碼,並且也表現為十進位數字的數值。因此,在本變形例中,為了易於理解地說明,將作為十進位數字的數值而使用的wi(w1~w4)表述為數值Wi(W1~W4)。
圖217是示出將原始資料分割成2部分的處理的圖。
例如,如果原始資料(Data)的位元長度為16位元,則訊號生成裝置藉由對該原始資料進行分割,而 生成2個中間資料。具體而言,原始資料包含10位元的主原始資料Dataa和6位元的副原始資料Datab。該情況下,訊號生成裝置生成包含主原始資料Dataa和與該主原始資料Dataa對應之1位元的同位的第1中間資料,並生成包含副原始資料Datab和與該副原始資料Datab對應之1位的同位的第2中間資料。
接著,訊號生成裝置將第1中間資料分割成由7位元構成的主資料Da(1)和由4位元構成的主資料Da(2)。進而,訊號生成裝置將第2中間資料分割成由4位元構成的副資料Db(1)和由3位元構成的副資料Db(2)。此外,主資料是構成包含主原始資料和同位的資料之多個部分中的1個部分。同樣地,副資料是構成包含副原始資料和同位的資料之多個部分中的1個部分。
接著,訊號生成裝置生成包含起始位元S(S=0)、主資料Da(1)和副資料Db(1)在內的12位元的第1封包。藉此,可輸出不包含位址資料的第1封包。
進而,訊號生成裝置生成包含起始位元S(S=1)、由4位元構成且表示「1000」的位址資料、主資料Da(2)和副資料Db(2)在內的12位元的第2封包。此外,起始位元S=0表示所生成的多個封包中的、包含該起始位元的封包是不位於末端的封包。另外,起始位元S=1表示所生成的多個封包中的、包含該起始位元的封包是位於末端的封包。
藉此,原始資料被分割成第1封包和第2封 包。
訊號生成裝置藉由對第1封包進行變換,而生成碼w1=(Da1,S=0,Db1)、碼w2=(Da2,Da7,Db2)、碼w3=(Da3,Da6,Db3)以及碼w4=(Da4,Da5,Db4)。進而,訊號生成裝置生成包含由碼w1、w2、w3以及w4分別表示的數值W1、W2、W3以及W4在內的發送對象之訊號。
進而,訊號生成裝置藉由對第2封包進行變換,生成碼w1=(Da1,S=1,Db1)、碼w2=(Da2,A1=1,Db2)、碼w3=(Da3,A2=0,Db3)以及碼w4=(Da4,A3=0,A4=0)。進而,訊號生成裝置生成包含由碼w1、w2、w3以及w4分別表示的數值W1、W2、W3以及W4在內的發送對象之訊號。
圖218是示出將原始資料分割成3部分的處理的圖。
例如,如果原始資料(Data)的位元長度為17位元,則訊號生成裝置藉由對該原始資料進行分割,而生成2個中間資料。具體而言,原始資料包含10位元的主原始資料Dataa和7位元的副原始資料Datab。該情況下,訊號生成裝置生成包含主原始資料Dataa和與該主原始資料Dataa對應之6位元的同位的第1中間資料。進而,訊號生成裝置生成包含副原始資料Datab和與該副原始資料Datab對應的4位元的同位的第2中間資料。例如,訊號生成裝置藉由CRC(Cyclic Redundancy Check,循環冗餘 檢查)來生成同位。
接著,訊號生成裝置將第1中間資料分割成由6位元的同位構成的主資料Da(1)、由6位元構成的主資料Da(2)和由4位元構成的主資料Da(3)。進而,訊號生成裝置將第2中間資料分割成由4位元的同位構成的副資料Db(1)、由4位元構成的副資料Db(2)和由3位元構成的副資料Db(3)。
接著,訊號生成裝置生成包含起始位元S(S=0)、由1位元構成且表示「0」的位址資料、主資料Da(1)和副資料Db(1)在內的12位元的第1封包。進而,訊號生成裝置生成包含起始位元S(S=0)、由1位元構成且表示「1」的位址資料、主資料Da(2)和副資料Db(2)在內的12位元的第2封包。進而,訊號生成裝置生成包含起始位元S(S=1)、由4位元構成且表示「0100」的位址資料、主資料Da(3)和副資料Db(3)在內的12位元的第3封包。
藉此,原始資料被分割成第1封包、第2封包和第3封包。
訊號生成裝置藉由對第1封包進行變換,生成碼w1=(Da1,S=0,Db1)、碼w2=(Da2,A1=0,Db2)、碼w3=(Da3,Da6,Db3)以及碼w4=(Da4,Da5,Db4)。進而,訊號生成裝置生成包含由碼w1、w2、w3以及w4分別表示的數值W1、W2、W3以及W4在內的發送對象之訊號。
同樣地,訊號生成裝置藉由對第2封包進行變換,生成碼w1=(Da1,S=0,Db1)、碼w2=(Da2,A1=1,Db2)、碼w3=(Da3,Da6,Db3)以及碼w4=(Da4,Da5,Db4)。進而,訊號生成裝置生成包含由碼w1、w2、w3以及w4分別表示的數值W1、W2、W3以及W4在內的發送對象之訊號。
同樣地,訊號生成裝置藉由對第3封包進行變換,生成碼w1=(Da1,S=1,Db1)、碼w2=(Da2,A1=0,Db2)、碼w3=(Da3,A2=1,Db3)以及碼w4=(Da4,A3=0,A4=0)。進而,訊號生成裝置生成包含由碼w1、w2、w3以及w4分別表示的數值W1、W2、W3以及W4在內的發送對象之訊號。
圖219是示出將原始資料分割成3部分的處理的另一例的圖。
在圖218所示的例子中,是藉由CRC生成6位元或4位元的同位,但也可以生成1位元的同位。
該情況下,如果原始資料(Data)的位元長度為25位元,則訊號生成裝置藉由對該原始資料進行分割,而生成2個中間資料。具體而言,原始資料包含15位元的主原始資料Dataa和10位元的副原始資料Datab。該情況下,訊號生成裝置生成包含主原始資料Dataa和與該主原始資料Dataa對應之1位元的同位的第1中間資料,並生成包含副原始資料Datab和與該副原始資料Datab對應之1位元的同位的第2中間資料。
接著,訊號生成裝置將第1中間資料分割成由包含同位之6位元構成的主資料Da(1)、由6位元構成的主資料Da(2)和由4位元構成的主資料Da(3)。進而,訊號生成裝置將第2中間資料分割成由包含同位之4位元構成的副資料Db(1)、由4位元構成的副資料Db(2)和由3位元構成的副資料Db(3)。
接著,訊號生成裝置以與圖218所示的例子同樣的方式,從第1中間資料以及第2中間資料生成第1封包、第2封包和第3封包。
圖220是示出將原始資料分割成3部分的處理的另一例的圖。
在圖218所示的例子中,是藉由針對主原始資料Dataa之CRC而生成6位元的同位,藉由針對副原始資料Datab之CRC而生成4位元的同位。但是,也可以藉由針對主原始資料Dataa以及副原始資料Datab之整體的CRC來生成同位。
該情況下,如果原始資料(Data)的位元長度為22位元,則訊號生成裝置藉由對該原始資料進行分割,而生成2個中間資料。
具體而言,原始資料包含15位元的主原始資料Dataa和7位元的副原始資料Datab。訊號生成裝置生成包含主原始資料Dataa和與該主原始資料Dataa對應之1位元的同位的第1中間資料。進而,訊號生成裝置藉由針對主原始資料Dataa以及副原始資料Datab的整體的CRC,生 成該4位元的同位。並且,訊號生成裝置生成包含副原始資料Datab和4位元的同位的第2中間資料。
接著,訊號生成裝置將第1中間資料分割成由包含同位的6位元構成的主資料Da(1)、由6位元構成的主資料Da(2)和由4位元構成的主資料Da(3)。進而,訊號生成裝置將第2中間資料分割成由4位元構成的副資料Db(1)、由包含CRC的同位的一部分的4位元構成的副資料Db(2)和由包含CRC的同位的剩餘部分的3位元構成的副資料Db(3)。
接著,訊號生成裝置以與圖218所示的例子同樣的方式,從第1中間資料以及第2中間資料生成第1封包、第2封包和第3封包。
此外,稱將原始資料分割成3部分的處理之各具體例中的圖218所示的處理為版本(version)1,稱圖219所示的處理為版本2,稱圖220所示的處理為版本3。
圖221是示出將原始資料分割成4部分的處理的圖。另外,圖222示出將原始資料分割成5部分的處理的圖。
訊號生成裝置以與將原始資料分割成3部分的處理同樣的方式、即以與圖218~圖220所示的處理同樣的方式,將原始資料分割成4部分或5部分。
圖223是示出將原始資料分割成6、7或8部分的處理的圖。
例如,如果原始資料(Data)的位元長度為 31位元,則訊號生成裝置藉由對該原始資料進行分割,而生成2個中間資料。具體而言,原始資料包含16位元的主原始資料Dataa和15位元的副原始資料Datab。該情況下,訊號生成裝置生成包含主原始資料Dataa和與該主原始資料Dataa對應之8位元的同位的第1中間資料。進而,訊號生成裝置生成包含副原始資料Datab和與該副原始資料Datab對應之8位元的同位的第2中間資料。例如,訊號生成裝置藉由RS編碼(Reed-Solomon Coding,理德-所羅門編碼)來生成同位。
在此,在RS編碼中將4位元作為1個符元來處理的情況下,主原始資料Dataa以及副原始資料Datab各自的位元長度必須是4位元的整數倍。然而,副原始資料Datab如上述那樣是15位元,比作為4位元的整數倍的16位元少1位元。
因此,訊號生成裝置在生成第2中間資料時,對副原始資料Datab進行填充(padding),藉由RS編碼來生成與進行了該填充的16位元的副原始資料Datab對應之8位元的同位。
接著,訊號生成裝置藉由與上述同樣的方法將第1中間資料以及第2中間資料分別分割成6個部分(4位元或3位元)。並且,訊號生成裝置生成包含起始位元、由3位元或4位元構成的位址資料、第1主資料、及第1副資料的第1封包。同樣地,訊號生成裝置生成第2封包~第6封包。
圖224是示出將原始資料分割成6、7或8部分的處理的另一例的圖。
在圖223所示的例子中,藉由RS編碼生成了同位,但也可以藉由CRC來生成同位。
例如,如果原始資料(Data)的位元長度為39位元,則訊號生成裝置藉由對該原始資料進行分割,而生成2個中間資料。具體而言,原始資料包含20位元的主原始資料Dataa和19位元的副原始資料Datab。該情況下,訊號生成裝置生成包含主原始資料Dataa和與該主原始資料Dataa對應之4位元的同位的第1中間資料,並生成包含副原始資料Datab和與該副原始資料Datab對應之4位元的同位的第2中間資料。例如,訊號生成裝置藉由CRC生成同位。
接著,訊號生成裝置藉由與上述同樣的方法將第1中間資料和第2中間資料分別分割成6個部分(4位元或3位元)。並且,訊號生成裝置生成包含起始位元、由3位元或4位元構成的位址資料、第1主資料和第1副資料的第1封包。同樣地,訊號生成裝置生成第2封包~第6封包。
此外,稱將原始資料分割成6、7或8部分的處理之各具體例中的圖223所示的處理為版本1,稱圖224所示的處理為版本2。
圖225是示出將原始資料分割成9部分的處理的圖。
例如,如果原始資料(Data)的位元長度為 55位元,則訊號生成裝置藉由對該原始資料進行分割,生成從第1封包到第9封包的9個封包。此外,在圖225中,省略了第1中間資料以及第2中間資料。
具體而言,原始資料(Data)的位元長度為55位元,比作為4位元的整數倍的56位元少1位元。因此,訊號生成裝置對該原始資料進行填充,並藉由RS編碼來生成針對由進行了填充的56位元構成的原始資料的同位(16位元)。
接著,訊號生成裝置將包含16位元之同位和55位元之原始資料的資料整體分割成9個資料DaDb(1)~DaDb(9)。
資料DaDb(k)分別包含由主原始資料Dataa所包含的第k個4位元構成的部分、和由副原始資料Datab所包含的第k個4位元構成的部分。此外,k為1~8的任一個整數。另外,資料DaDb(9)包含由主原始資料Dataa所包含的第9個4位元構成的部分、和由副原始資料Datab所包含的第9個3位元構成的部分。
接著,訊號生成裝置藉由對9個資料DaDb(1)~DaDb(9)的各資料附加起始位元S和位址資料,生成第1封包~第9封包。
圖226是示出將原始資料分割成10~16的任一數的部分的處理的圖。
例如,如果原始資料(Data)的位元長度為7×(N-2)位元,則訊號生成裝置藉由對該原始資料進行 分割,而生成從第1封包到第N封包的N個封包。此外,N為10~16的任一個整數。另外,在圖226中,省略了第1中間資料以及第2中間資料。
具體而言,訊號生成裝置藉由RS編碼來生成針對由7×(N-2)位元構成的原始資料的同位(14位元)。 此外,在該RS編碼中,是將7位元作為1個符元來處理。
接著,訊號生成裝置將包含14位元之同位和7×(N-2)位元之原始資料的資料整體分割成N個資料DaDb(1)~DaDb(N)。
資料DaDb(k)分別包含由主原始資料Dataa所包含的第k個4位元構成的部分、和由副原始資料Datab所包含的第k個3位元構成的部分。此外,k為1~(N-1)的任一個整數。
接著,訊號生成裝置藉由對9個資料DaDb(1)~DaDb(N)分別附加起始位元S和位址資料,生成第1封包~第N封包。
圖227~圖229是示出原始資料的分割數、資料大小和錯誤更正碼的關係的一例的圖。
具體而言,圖227~圖229集中顯示了圖216~圖226所示的各處理中的上述關係。另外,如上所述,將原始資料分割成3部分的處理存在版本1~3,將原始資料分割成6、7或8部分的處理存在版本1以及版本2。如果相對於分割數而存在多個版本,則圖227示出多個版本中的版本1中的上述關係。同樣地,如果相對於分割數而存在多 個版本,則圖228示出多個版本中的版本2中的上述關係。同樣地,如果相對於分割數而存在多個版本,則圖229示出多個版本中的版本3中的上述關係。
另外,在本變形例中,存在短模式(short mode)和完整模式(full mode)。在短模式的情況下,封包中的副資料為0、且圖215所示的第3位元串的所有位元都為0。該情況下,由碼w1~w4表示的數值W1~W4可藉由上述的「b1×20+b2×21+b3×22」抑制在3以下。其結果是,如圖212所示,資料R中的時間長DR1~DR4藉由DRi=120+30×wi(i
Figure 106138104-A0202-12-0315-11
1~4,wi
Figure 106138104-A0202-12-0315-12
0~7)來決定,因此變短。即,在短模式的情況下,能夠縮短每1個封包的可見光訊號。藉由縮短每1個封包的可見光訊號,接收機即使從遠處也能夠接收到該封包,能夠增長通訊距離。
另一方面,在完整模式的情況下,圖215所示的第3位元串中的任何位元都為1。該情況下,可見光訊號不會如短模式那樣短。
在本變形例中,如圖227~圖229所示,如果分割數少,則能夠生成短模式的可見光訊號。此外,圖227~圖229中的短模式的資料大小是表示主原始資料(Dataa)的位元數,完整模式的資料大小是表示原始資料(Data)的位數。
(實施形態20的總結)
圖230A是示出本實施形態的可見光訊號的生成方法的流程圖。
本實施形態的可見光訊號的生成方法是生成藉由發送機所具備的光源之亮度變化而發送的可見光訊號的方法,包括步驟SD1~SD3。
在步驟SD1中生成前文,該前文是互不相同的亮度值即第1亮度值和第2亮度值分別按預定的時間長沿時間軸上交替地出現的資料。
在步驟SD2中,在第1以及第2亮度值沿時間軸上交替地出現的資料中,藉由按照與發送對象之訊號相應的第1方式來決定前述第1以及第2亮度值各自持續的時間長,而生成第1資料。
最後,在步驟SD3中,藉由將前文和第1資料結合來生成可見光訊號。
例如,如圖188所示,第1以及第2亮度值是High以及Low,第1資料是資料R或資料L。藉由發送如此生成的可見光訊號,如圖191~圖193所示,能夠增加接收封包數,並且能夠提高可靠度。其結果是,能夠使得多種多樣的機器間的通訊成為可能。
另外,也可以是:在前述可見光訊號的生成方法中,進一步,在前述第1以及第2亮度值沿時間軸上交替地出現的資料中,藉由按照與發送對象之訊號相應的第2方式,來決定前述第1以及第2亮度值各自持續的時間長,藉此生成與由前述第1資料表現的明亮度具有互補關係的第2資料,在前述可見光訊號的生成中,藉由按前述第1資料、前述前文、前述第2資料的順序將前述前文與前 述第1以及第2資料進行結合,而生成前述可見光訊號。
例如,如圖188所示,第1以及第2亮度值是High以及Low,第1以及第2資料是資料R以及資料L。
另外,也可以是:在將a以及b分別設為常數、將前述發送對象之訊號所包含的數值設為n、將作為數值n可取的最大值之常數設為m的情況下,前述第1方式是藉由a+b×n決定前述第1資料中前述第1或第2亮度值持續的時間長的方式,前述第2方式是藉由a+b×(m-n)決定前述第2資料中前述第1或第2亮度值持續的時間長的方式。
例如,如圖188所示,a為120μs,b為20μs,n為0~15中的任一個整數值(訊號xi所表示的數值),m為15。
另外,也可以是:在前述互補關係中,前述第1資料整體的時間長與前述第2資料整體的時間長之和是恆定的。
另外,也可以是:在前述可見光訊號的生成方法中,進一步生成調光部,該調光部是用於調整由前述可見光訊號表現的明亮度之資料,在前述可見光訊號的生成中,藉由進一步結合前述調光部來生成前述可見光訊號。
調光部例如是圖188中的按時間長C1示出High的亮度值、按時間長C2輸出Low的亮度值的訊號(Dimming)。藉此,能夠對可見光訊號的明亮度進行任意調整。
圖230B是示出本實施形態的訊號生成裝置的結構的方塊圖。
本實施形態的訊號生成裝置D10是生成藉由發送機所具備的光源之亮度變化而發送的可見光訊號的訊號生成裝置,具備前文生成部D11、資料生成部D12和結合部D13。
前文生成部D11生成前文,前述前文是互不相同的亮度值即第1以及第2亮度值分別按預定的時間長沿時間軸上交替地出現的資料。
資料生成部D12在第1以及第2亮度值沿時間軸上交替地出現的資料中,藉由按照與發送對象之訊號相應的第1方式,來決定第1以及第2亮度值各自持續的時間長,而生成第1資料。
結合部D13藉由將前文和第1資料結合來生成可見光訊號。
藉由發送如此生成的可見光訊號,如圖191~圖193所示,能夠增加接收封包數,並且能夠提高可靠度。其結果是,能夠使得多種多樣的機器間的通訊成為可能。
(實施形態20的變形例1的總結)
另外,如實施形態20的變形例1那樣,前述可見光訊號的生成方法也可以是:進一步,根據原始資料的位元長度來判定是否對前述原始資料進行分割,並藉由進行與該判定的結果相應的處理,從原始資料生成至少1個封包。並且,也可以將該至少1個封包的各封包變換成發送對象 之訊號。
在對該發送對象之訊號進行的變換中,如圖215所示,按該至少1個封包所包含的各個對象封包,將該對象封包所包含的資料分別分配到由第1位元到第3位元的3位元所構成的碼w1、w2、w3以及w4的任一個位元,藉此將該對象封包變換成包含由碼w1、w2、w3以及w4分別表示的數值在內的發送對象之訊號。
在該資料的分配中,對由碼w1~w4各自的第1位元構成的第1位元串,分配對象封包所包含的主資料的至少一部分。對碼w1的第2位元分配對象封包所包含的停止位元的值。對由碼w2~w4各自的第2位元構成的第2位元串,分配對象封包所包含的主資料的一部分、或對象封包所包含的位址資料的至少一部分,對由碼w1~w4各自的第3位元構成的第3位元串,分配對象封包所包含的副資料。
在此,停止位元示出所生成的至少1個封包中的對象封包是否位於末端。位址資料示出所生成的至少1個封包中的對象封包的順序來作為位址。主資料和副資料分別是用於恢復原始資料的資料。
另外,在將a以及b分別設為常數、將由碼w1、w2、w3以及w4分別表示的數值設為W1、W2、W3以及W4的情況下,例如如圖212所示,上述的第1方式是藉由a+b×W1、a+b×W2、a+b×W3以及a+b×W4來決定第1資料中的第1或第2亮度值持續的時間長的方式。
例如,在碼w1~w4的各個碼中,設第1位元 的值為b1,設第2位元的值為b2,設第3位元的值為b3。該情況下,由碼w1~w4表示的值W1~W4的各值例如是b1×20+b2×21+b3×22。因此,在碼w1~w4中,比起使第1位元為1,在使第2位元為1時,由該碼w1~w4表示的值W1~W4更大。另外,比起使第2位元為1,在使第3位元為1時,由該碼w1~w4表示的值W1~W4更大。若由這些碼w1~w4表示的值W1~W4較大,則上述的第1以及第2亮度值各自持續的時間長(例如DRi)較長,因此能夠抑制可見光訊號的亮度的誤檢測,能夠降低接收錯誤。反過來,若由這些碼w1~w4表示的值W1~W4小,則上述的第1以及第2亮度值各自持續的時間長短,因此比較容易發生可見光訊號的亮度的誤檢測。
因此,在實施形態20的變形例1中,藉由將接收原始資料時較重要的停止位元以及位址優先分配到碼w1~w4的第2位元,能夠實現其接收錯誤的降低。另外,碼w1是定義與前文最接近的High或Low的亮度值持續的時間長。也即是,碼w1比其他碼w2~w4接近前文,因此相比於這些其他碼更容易被適當地接收。因此,在實施形態20的變形例1中,藉由將停止位元分配到碼w1的第2位元,能夠進一步抑制接收錯誤。
另外,在實施形態20的變形例1中,主資料被優先分配到比較容易發生誤檢測的第1位元串。但是,如果對主資料附加錯誤更正碼(同位),則能夠抑制該主資料的接收錯誤。
進而,在實施形態20的變形例1中,是對由碼w1~w4的第3位元構成的第3位元串分配副資料。因此,如果使副資料為0,則能夠大幅縮短由碼w1~w4定義的High以及Low的亮度值各自持續的時間長。其結果是,能夠大幅縮短每1個封包的可見光訊號的發送時間,能夠實現所謂的短模式。在該短模式中,如上述那樣發送時間短,因此即使從遠處也能夠容易接收到封包。因此,能夠增長可見光通訊的通訊距離。
另外,在實施形態20的變形例1中,如圖217所示,在至少1個封包的生成中,是藉由將原始資料分割到2個封包,從而生成2個封包,在資料的分配中,在將2個封包中不位於末端的封包作為對象封包而變換成發送對象之訊號的情況下,對第2位元串,不是分配位址資料的至少一部分,而是分配不位於末端的封包所包含的主資料的一部分。
例如,在圖217所示的不位於末端的封包(Packet1)中不包含位址資料。並且,在該不位於末端的封包中,主資料Da(1)有7位元。因此,如圖215所示,7位元的主資料Da(1)所包含的資料Da1~Da4被分配到第1位元串,資料Da5~Da7被分配到第2位元串。
如此,在原始資料被分割成2個封包的情況下,在不位於末端的封包、即第1個封包中,如果存在起始位元(S=0),則不需要位址資料。因此,能夠將第2位元串的所有位元都用於主資料,能夠增大封包所包含的 資料量。
另外,在實施形態20的變形例1的資料的分配中,是將第2位元串所包含的3個位元中排列順序在開頭側的位元優先用於位址資料的分配,在對第2位元串的開頭側的1個或2個位元分配位址資料的全部的情況下,對第2位元串中未被分配位址資料的1個或2個位元分配主資料的一部分。例如,在圖218的Paket1中,對第2位元串的開頭側的1個位元(碼w2的第2位元)分配1位元的位址資料A1。該情況下,對第2位元串中未被分配位址資料的2個位元(碼w3、w4各自的第2位元)分配主資料Da6、Da5。
藉此,能夠使第2位元串供位址資料和主資料的一部分共用,能夠增加封包結構的自由度。
另外,在實施形態20的變形例1的資料的分配中,在無法對第2位元串分配位址資料的全部的情況下,對第3位元串中的任意位元分配位址資料中除已分配到第2位元串的部分之外的剩餘部分。例如,在圖218的Paket3中,無法對第2位元串分配4位元的位址資料A1~A4的全部。該情況下,對第3位元串中的最後的位元(碼w4的第3位元)分配位址資料A1~A4中除已分配到第2位元串的部分A1~A3之外的剩餘部分A4。
藉此,能夠將位址資料適當地分配到碼w1~w4。
另外,在實施形態20的變形例1的資料的分配中,在將至少1個封包中的末端封包作為對象封包而變 換成發送對象之訊號的情況下,對第2位元串以及第3位元串所包含的任一位元分配位址資料。例如,圖217~圖226中的末端封包的位址資料的位元數為4。該情況下,對第2位元串以及第3位元串中最後的位元(碼w4的第3位元)分配4位元的位址資料A1~A4。
藉此,能夠將位址資料適當地分配到碼w1~w4。
另外,在實施形態20的變形例1的至少1個封包的生成中,是藉由將原始資料分割成2部分,而生成2個分割原始資料,並生成前述2個分割原始資料各自的錯誤更正碼。並且,使用2個分割原始資料和針對該2個分割原始資料分別生成的前述錯誤更正碼,來生成2個以上的封包。在2個分割原始資料各自的錯誤更正碼的生成中,在2個分割原始資料中的任一個分割原始資料的位元數不足錯誤更正碼的生成所需的位元數的情況下,對分割原始資料進行填充,並生成已填充的分割原始資料的錯誤更正碼。例如,如圖223所示,在針對分割原始資料即Datab藉由RS編碼生成同位時,在該Datab只有15位元而不足16位元的情況下,對該Datab進行填充,並針對填充後的分割原始資料(16位元),藉由RS編碼生成同位。
藉此,即使分割原始資料的位元數不足錯誤更正碼的生成所需的的位元數,也能夠生成適當的錯誤更正碼。
另外,在實施形態20的變形例1的資料的分 配中,在副資料表示0的情況下,對第3位元串所包含的所有位元分配0。藉此,能夠實現上述的短模式,能夠增長可見光通訊的通訊距離。
(實施形態21)
圖231是表示接收本實施形態的高頻可見光訊號的方法的圖。
接收機在接收高頻可見光訊號時,例如如圖231(a)所示,在可見光訊號的上升及下降設置保護時間(保護區間)。然後,接收機藉由不利用該保護時間的高頻訊號,而是複製緊接於該保護時間前所接收的高頻訊號,來補充該保護時間的高頻訊號。再者,重疊於可見光訊號的高頻訊號亦可藉由OFDM(Orthogonal Frequency Division Multiplexing(正交分頻多工))來調變。
又,接收機若從高頻可見光訊號,分離出表示High(高)的亮度值的高頻訊號與表示Low(低)的亮度值的高頻訊號,則自動調整該等高頻訊號的增益(Automatic Gain Control(自動增益控制))。藉此,統一高頻訊號的增益(亮度值)。
圖232A是表示接收本實施形態的高頻可見光訊號的其他方法的圖。
接收高頻可見光訊號的接收機與上述各實施形態同樣具備影像感測器,並且具備DMD(Digital Mirror Device(數位反射鏡裝置))元件及光感測器。光感測器為光二極體或雪崩光二極體。
接收機藉由影像感測器,攝影發送高頻可見光訊號的發送機(光源)。藉此,接收機取得包含明線的條紋圖案的明線圖像。該明線的條紋圖案是由於高頻可見光訊號中高頻訊號以外的訊號,亦即圖188所示的可見光訊號的亮度變化而出現。接收機特定出該明線圖像中的明線的條紋圖案的位置(x1,y1)及(x2,y2)。然後,接收機特定出DMD元件之對應於該位置(x1,y1)及(x2,y2)的各位置的微反射鏡。該等微反射鏡接收表現明線的條紋圖案的高頻可見光訊號的光。因此,接收機調整各微反射鏡的角度,以使僅有來自DMD元件所含的複數個微反射鏡中之經特定的微反射鏡的反射光,被光感測器接收。總言之,接收機為使僅有來自對應於位置(x1,y1)的微反射鏡的反射光,被光感測器1接收,而將該微反射鏡開啟。進而,接收機為使僅有來自對應於位置(x2,y2)的微反射鏡的反射光,被光感測器2接收,而將該微反射鏡開啟。然後,接收機關閉該等經特定的微反射鏡以外的各微反射鏡。藉此,來自被關閉的微反射鏡的反射光會由光吸收體(黑體)吸收。又,藉由被開啟的微反射鏡,高頻可見光訊號會適當地由光感測器接收。再者,DMD元件的各微反射鏡是藉由開啟及關閉的切換,來切換傾斜角度(+0°或-0°)。微反射鏡開啟時,該微反射鏡朝向光感測器輸出反射光,微反射鏡關閉時,該微反射鏡朝向光吸收部輸出反射光。
又,接收機亦可如圖232A所示,具備半反射鏡及發光元件。發光元件1藉由發出光,進行亮度變化, 來發送可見光訊號(或高頻可見光訊號)。從該發光元件1輸出的光由半反射鏡反射,進一步於DMD元件,亦由對應於位置(x1,y1)之開啟的微反射鏡反射。其結果,來自發光元件1的可見光訊號發送至對應於位於位置(x1,y1)的明線的條紋圖案的發送機。藉此,接收機與對應於位於位置(x1,y1)的明線的條紋圖案的發送機可進行雙向通訊。同樣地,從發光元件2輸出的光由半反射鏡反射,進一步於DMD元件,由對應於位置(x2,y2)之開啟的微反射鏡反射。其結果,來自發光元件2的可見光訊號發送至對應於位於位置(x2,y2)的明線的條紋圖案的發送機。藉此,接收機與對應於位於位置(x2,y2)的明線的條紋圖案的發送機可進行雙向通訊。
藉此,即使由影像感測器攝影的發送機(光源)有複數個,接收機仍可與該等發送機同時且高速地進行雙向通訊。例如接收機具備100個光感測器,該等光感測器能以10Gbps接收;該等接收機與100個發送機通訊時,可實現1Tbps的通訊速度。
圖232B是表示接收本實施形態的高頻可見光訊號的進一步其他方法的圖。
接收機具備例如鏡頭L1及L2、複數個半反射鏡、DMD元件、影像感測器、光吸收部(黑體)、處理部、DMD控制部、光感測器1及2、及發光元件1及2。
該接收機是採用與圖232A所示例同樣的原理,來與2輛車進行雙向通訊。2輛車從頭燈輸出光,使該 頭燈進行亮度變化,藉此發送高頻可見光訊號。又,1輛車從頭燈輸出一般的光(亮度不變化的光)。
影像感測器經由鏡頭L1,來接收該等高頻可見光訊號及一般的光。藉此,與圖232A所示例同樣地獲得明線圖像,而前述明線圖像包含由該等高頻可見光訊號所產生的明線的條紋圖案。處理部特定出該明線圖像中該等條紋圖案的位置。DMD控制部從DMD元件所含的複數個微反射鏡中,特定出對應於該等經特定的條紋圖案的位置的微反射鏡,開啟該等微反射鏡。
藉此,分別從2輛車穿透鏡頭L1及半反射鏡的高頻可見光訊號,由DMD元件的微反射鏡反射而前往鏡頭L2。又,1輛車的頭燈的一般的光不因該光而產生明線的條紋圖案,因此即使穿透鏡頭L1及半反射鏡,仍會由DMD元件之關閉的微反射鏡反射。由關閉的微反射鏡反射的光,會由光吸收部(黑體)吸收。
穿透鏡頭L2的高頻可見光訊號穿透半反射鏡,並由光感測器1或2接收。藉此,可接收來自各車的高頻可見光訊號。又,若發光元件1及2對半反射鏡輸出可見光訊號(或高頻可見光訊號),則該可見光訊號會由半反射鏡反射,穿透鏡頭L2,並進一步由DMD元件之開啟的微反射鏡反射。其結果,來自發光元件1及2的可見光訊號經由半反射鏡及鏡頭L1,對發送了高頻可見光訊號的車發送。總言之,接收機可於發送高頻可見光訊號的複數輛車之間進行雙向通訊。
如此,本實施形態的接收機藉由影像感測器取得明線圖像,特定出該明線圖像的明線的條紋圖案的位置。然後,接收機特定出DMD元件所含的複數個微反射鏡中,對應於該條紋圖案的位置的微反射鏡。然後,接收機藉由開啟該微反射鏡,以光感測器接收高頻可見光訊號。又,接收機藉由從發光元件輸出可見光訊號,使該被開啟的微反射鏡反射,可將該可見光訊號發送至發送機。
再者,於圖232A及圖232B所示例中,光學機器採用了半反射鏡及鏡頭等,但只要與該等具有同樣功能,可採用任何光學機器。又,DMD元件、半反射鏡及鏡頭等的配置為一例,如何配置均可。又,於圖232A及圖232B所示例中,接收機具備2組光感測器及發光元件的套組,但僅具備1組或具備3組以上均可。又,1個發光元件亦可對複數個開啟的微反射鏡,發送可見光訊號。藉此,接收機可對複數個發送機,同時發送相同的可見光訊號。又,接收機亦可未完全具備圖232A及圖232B所示的各構成要件,僅具備該等構成要件的一部分。
圖233是表示輸出本實施形態的高頻訊號的方法的圖。
輸出重疊於圖188所示的可見光訊號的高頻訊號的訊號輸出裝置具備例如藍光雷射及螢光體。總言之,與圖114A所示例相同,該訊號輸出裝置從藍光雷射使高頻的藍色雷射光照射於螢光體。藉此,訊號輸出裝置將高頻的自然光作為高頻訊號輸出。
(實施形態22)
於本實施形態,說明利用上述各實施形態的可見光通訊的自主飛行裝置(亦稱為空拍機)。
圖234是用以說明本實施形態的自主飛行裝置的圖。
本實施形態的自主飛行裝置1921收納於監視攝影機1922的內部。例如若由監視攝影機1922捕捉到可疑人士的圖像,監視攝影機1922會打開,收納於內部的自主飛行裝置1921從該監視攝影機1922起飛,開始追蹤該可疑人士。自主飛行裝置1921具備小型攝影機,以該小型攝影機亦可捕捉由監視攝影機1922所捕捉到的可疑人士圖像的方式,來進行追蹤。又,當自主飛行裝置1921檢測出用以進行飛行等的電力不足時,返回監視攝影機1922,並收納於監視攝影機1922的內部。此時,若於監視攝影機1922收納有其他自主飛行裝置1921,則該其他自主飛行裝置1921會取代電力不足的自主飛行裝置1921,開始追蹤可疑人士。又,電力不足的自主飛行裝置1921是由監視攝影機1922所具備的無線供電裝置1921a來供電。再者,無線供電裝置1921a的供電是按照例如規格Qi來進行。
自主飛行裝置1921的小型攝影機及監視攝影機1922可接收上述各實施形態的可見光訊號,進行因應該接收到的可見光訊號的動作。又,於自主飛行裝置1921及監視攝影機1922中至少一方,若具備可見光訊號的發送機,則可於自主飛行裝置1921與監視攝影機1922之間,進 行可見光通訊。其結果,可更有效率地進行可疑人士的追蹤。
(實施形態23)
於本實施形態,說明實現利用光ID之AR(Augmented Reality)的顯示方法等。
圖235是表示本實施形態的接收機顯示AR圖像之例的圖。
本實施形態的接收機200是上述實施形態1~22中任一實施形態的接收機,其具備影像感測器及顯示器201,作為例如智慧型手機而構成。該類接收機200藉由利用該影像感測器拍攝被攝體,來取得上述一般攝影圖像之拍攝顯示圖像Pa、及上述可見光通訊圖像或明線圖像之解碼用圖像。
具體而言,接收機200的影像感測器拍攝作為站名牌而構成的發送機100。發送機100是上述實施形態1~22中任一實施形態的發送機,具備1個或複數個發光元件(例如LED)。該發送機100藉由使該1個或複數個發光元件亮暗,來進行亮度變化,藉由該亮度變化來發送光ID(光識別資訊)。該光ID為上述可見光訊號。
接收機200藉由以一般曝光時間來拍攝發送機100,取得拍到該發送機100的拍攝顯示圖像Pa,並且以短於該一般曝光時間的通訊用曝光時間拍攝發送機100,來取得解碼用圖像。再者,一般曝光時間為上述一般攝影模式的曝光時間,通訊用曝光時間為上述可見光通訊模式 的曝光時間。
接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,接收機200從發送機100接收光ID。接收機200將該光ID發送至伺服器。然後,接收機200從伺服器取得對應於該光ID的AR圖像P1及辨識資訊。接收機200辨識出拍攝顯示圖像Pa中對應於該辨識資訊的區域,來作為對象區域。例如接收機200辨識出拍到作為發送機100之站名牌的區域,來作為對象區域。然後,接收機200將AR圖像P1重疊於該對象區域,將重疊有AR圖像P1的拍攝顯示圖像Pa顯示於顯示器201。例如於作為發送機100的站名牌,站名是以日語記載有「京都站」時,接收機200取得以英語記載有站名的AR圖像P1,亦即取得記載有「Kyoto Station」的AR圖像P1。此時,由於該AR圖像P1重疊於拍攝顯示圖像Pa的對象區域,因此可將拍攝顯示圖像Pa顯示成如同真實存在有以英語記載著站名的站名牌。其結果,可理解英語的使用者即使無法閱讀日語,若觀看該拍攝顯示圖像Pa,即可容易理解記載於作為該發送機100的站名牌的站名。
例如辨識資訊可為辨識對象的圖像(例如上述站名牌的圖像),或亦可為該圖像的特徵點及特徵量。特徵點及特徵量由例如SIFT(Scale-invariant feature transform(尺度不變特徵轉換))、SURF(Speed-Upped Robust Feature(加速穩健特徵))、ORB(Oriented-BRIEF(導向特徵擷取))、 AKAZE(Accelerated KAZE(加速KAZE))等圖像處理來獲得。又,辨識資訊可為類似於辨識對象的圖像的白色四角形圖像,進而亦可為表示該四角形的縱橫比(長寬比)。又,識別資訊亦可為出現於辨識對象的圖像的隨機點。進而,辨識資訊亦可表示上述白色四角形或隨機點等之以預定方向作為基準的方向。預定方向為例如重力方向。
接收機200從拍攝顯示圖像Pa中,辨識對應於該類辨識資訊的區域,來作為對象區域。具體而言,若辨識資訊為圖像,則接收機200辨識與該辨識資訊的圖像類似的區域,來作為對象區域。又,若辨識資訊是藉由圖像處理所獲得的特徵點及特徵量,則接收機200藉由對拍攝顯示圖像Pa進行該圖像處理,來進行特徵點檢出及特徵量擷取。然後,接收機200於拍攝顯示圖像Pa,辨識類似於辨識資訊之特徵點及特徵量之具有特徵點及特徵量的區域,來作為對象區域。又,辨識資訊若表示白色四角形及其方向,則接收機200首先藉由本身具備的加速度感測器,來檢出重力方向。然後,接收機200從以重力方向為基準而配置的拍攝顯示圖像Pa,辨識與朝向辨識資訊所示之方向的白色四角形類似的區域,來作為對象區域。
於此,辨識資訊亦可包含:基準資訊,其用以特定出拍攝顯示圖像Pa中之基準區域;及對象資訊,其表示對象區域相對於該基準區域的相對位置。基準資訊是如上述之辨識對象的圖像、特徵點及特徵量、白色四角形、或隨機點等。此時,接收機200在辨識對象區域時,首先 根據基準資訊,從拍攝顯示圖像Pa特定出基準區域。然後,接收機200於拍攝顯示圖像Pa中,辨識出位於以基準區域的位置作為基準、並由對象資訊所示之相對位置的區域,來作為對象區域。再者,對象資訊亦可表示對象區域與基準區域位於相同位置。如此,藉由辨識資訊包含基準資訊及對象資訊,可於廣大的範圍辨識對象區域。又,伺服器可自由設定重疊AR圖像的場所,並告知接收機200。
又,基準資訊亦可表示拍攝顯示圖像Pa的基準區域是拍攝顯示圖像中拍到顯示器的區域。此時,發送機100若是作為例如電視等顯示器而構成,則能以拍到該顯示器的區域作為基準,來辨識對象區域。
換言之,本實施形態的接收機200根據光ID,來特定出基準圖像及圖像辨識方法。圖像辨識方法是辨識出拍攝顯示圖像Pa的方法,例如幾何學特徵量擷取、向量特徵量擷取或紋理特徵量擷取等。基準圖像是表示作為基準的特徵量的資料。該特徵量為例如圖像的白色外框的特徵量,具體而言,亦可是以向量表現圖像特徵的資料。接收機200藉由從拍攝顯示圖像Pa,按照圖像辨識方法擷取特徵量,比較該特徵量與基準圖像的特徵量,以從拍攝顯示圖像Pa找出上述基準區域或對象區域。
又,圖像辨識方法亦可為例如位置利用方法、標記利用方法及無標記方法。位置利用方法是活用GPS的位置資訊(亦即接收機200的位置)的方法,根據該位置資訊,從拍攝顯示圖像Pa辨識對象區域。標記利用方法是將 諸如二維條碼等由白色及黑色圖形所構成的標記,作為標的物特定用的標記來使用的方法。總言之,於該標記利用方法,是根據於拍攝顯示圖像Pa拍到的標記來辨識對象區域。於無標記方法,是藉由對拍攝顯示圖像Pa的圖像分析,從該拍攝顯示圖像Pa擷取特徵點及特徵量,根據該擷取的特徵點及特徵量,來特定出標的物的位置及區域。總言之,圖像辨識方法為無標記方法時,該圖像辨識方法為上述幾何學特徵量擷取、向量特徵量擷取或紋理特徵量擷取等。
該類接收機200亦可藉由從發送機100接收光ID,從伺服器取得與該光ID(以下稱為接收光ID)相對應的基準圖像及圖像辨識方法,來特定出該基準圖像及圖像辨識方法。總言之,於伺服器保持有複數個包含基準圖像及圖像辨識方法的集合,複數個集合的各集合與互異的光ID相對應。藉此,可從保持於伺服器的複數個集合中,特定出與接收光ID相對應的1個集合。因此,可提升AR圖像重疊用的圖像處理的速度。又,接收機200亦可藉由向伺服器詢問,來取得與接收光ID相對應的基準圖像等,亦可從本身所預先保持的複數個基準圖像中,取得與該接收光ID相對應的基準圖像。
又,伺服器亦可就各光ID,將與該光ID相對應的相對位置資訊,與基準圖像、圖像辨識方法及AR圖像一同保持。相對位置資訊是例如表示上述基準區域與對象區域的相對性位置關係的資訊。藉此,接收機200將接收 光ID發送至伺服器並詢問時,取得與該接收光ID相對應的基準圖像、圖像辨識方法、AR圖像及相對位置資訊。此時,接收機200根據基準圖像及圖像辨識方法,從拍攝顯示圖像Pa特定出上述基準區域。然後,接收機200從該基準區域的位置,辨識位於上述相對位置資訊所示的方向及距離的區域,來作為上述對象區域,將AR圖像重疊於該對象區域。又,接收機200若無相對位置資訊,亦可將上述基準區域辨識作為對象區域,將AR圖像重疊於該基準區域。總言之,接收機200亦可預先保持根據基準圖像來顯示AR圖像的程式,以取代相對位置資訊的取得,並於例如基準區域之白框內顯示AR圖像。在此情況下,不需要相對位置資訊。
基準圖像、相對位置資訊、AR圖像及圖像辨識方法的保持或取得,包括以下4種變化(1)~(4)。
(1)伺服器保持複數個包括基準圖像、相對位置資訊、AR圖像及圖像辨識方法的集合。接收機200從該等集合中,取得與接收光ID相對應的1個集合。
(2)伺服器保持複數個包括基準圖像及AR圖像的集合。接收機200利用預先決定的相對位置資訊及圖像辨識方法,且從該等集合中,取得與接收光ID相對應的1個集合。又,接收機200亦可預先保持包括相對位置資訊及圖像辨識方法的複數個集合,且從該複數個集合中,取得與接收光ID相對應的1個集合。此時,接收機200亦可將接收光ID發送至伺服器並詢問,從伺服器取得用以特定出 對應於該接收光ID的相對位置資訊及圖像辨識方法的資訊。然後,接收機200從預先保持之分別包括相對位置資訊及圖像辨識方法的複數個集合中,根據從該伺服器取得的資訊來選擇1個集合。或者,接收機200亦可不向伺服器詢問,從預先保持之分別包括相對位置資訊及圖像辨識方法的複數個集合中,選擇與接收光ID相對應的1個集合。
(3)接收機200保持複數個包括基準圖像、相對位置資訊、AR圖像及圖像辨識方法的集合,從該等集合中選擇1個集合。接收機200可與上述(2)同樣地,藉由向伺服器詢問來選擇1個集合,亦可選擇與接收機光ID相對應的1個集合。
(4)接收機200保持複數個包括基準圖像及AR圖像的集合,選擇與接收光ID相對應的1個集合。接收機200利用預先決定的圖像辨識方法及相對位置資訊。
圖236是表示本實施形態的顯示系統的一例的圖。
本實施形態的顯示系統具備例如上述站名牌之發送機100、接收機200及伺服器300。
接收機200為了如上述顯示重疊有AR圖像的拍攝顯示圖像,首先從發送機100接收光ID。接著,接收機200將該光ID發送至伺服器300。
伺服器300就各光ID,保持有與該光ID相對應的AR圖像及辨識資訊。因此,伺服器300若從接收機200接收光ID,則選擇與該接收到的光ID相對應的AR圖像及 辨識資訊,將該選擇的AR圖像及辨識資訊發送至接收機200。藉此,接收機200接收從伺服器300發送的AR圖像及辨識資訊,顯示重疊有AR圖像的拍攝顯示圖像。
圖237是表示本實施形態的顯示系統的其他例的圖。
本實施形態的顯示系統具備例如上述站名牌之發送機100、接收機200、第1伺服器301及第2伺服器302。
接收機200為了如上述顯示重疊有AR圖像的拍攝顯示圖像,首先從發送機100接收光ID。接著,接收機200將該光ID發送至第1伺服器301。
第1伺服器301若從接收機200接收光ID,則將與該接收到的光ID相對應的URL(Uniform Resource Locator(全球資源定址器))及Key(金鑰)通知接收機200。接受該通知的接收機200根據該URL,存取第2伺服器302,將Key交付給第2伺服器302。
第2伺服器302就各Key,保持有與該Key相對應的AR圖像及辨識資訊。因此,第2伺服器302若從第1伺服器301接收Key,則選擇與該Key相對應的AR圖像及辨識資訊,將該選擇的AR圖像及辨識資訊發送至接收機200。藉此,接收機200接收從第2伺服器302發送的AR圖像及辨識資訊,顯示重疊有AR圖像的拍攝顯示圖像。
圖238是表示本實施形態的顯示系統的其他例的圖。
本實施形態的顯示系統具備例如上述站名牌之發送機100、接收機200、第1伺服器301及第2伺服器302。
接收機200為了如上述顯示重疊有AR圖像的拍攝顯示圖像,首先從發送機100接收光ID。接著,接收機200將該光ID發送至第1伺服器301。
第1伺服器301若從接收機200接收光ID,則將與該接收到的光ID相對應的Key通知第2伺服器302。
第2伺服器302就各Key,保持有與該Key相對應的AR圖像及辨識資訊。因此,第2伺服器302若從接收機200接收Key,則選擇與該Key相對應的AR圖像及辨識資訊,將該選擇的AR圖像及辨識資訊發送至第1伺服器301。第1伺服器301若從第2伺服器302接收AR圖像及辨識資訊,則將該AR圖像及辨識資訊發送至接收機200。藉此,接收機200接收從第1伺服器301發送的AR圖像及辨識資訊,顯示重疊有AR圖像的拍攝顯示圖像。
再者,於上述例中,第2伺服器302雖將AR圖像及辨識資訊發送至第1伺服器301,但亦可不發送至第1伺服器301而發送至接收機200。
圖239是表示本實施形態的接收機200的處理動作的一例的流程圖。
首先,接收機200開始上述一般曝光時間及通訊用曝光時間的拍攝(步驟S101)。然後,接收機200藉由對利用通訊用曝光時間的拍攝所獲得的解碼用圖像解 碼,來取得光ID(步驟S102)。接著,接收機200將該光ID發送至伺服器(步驟S103)。
接收機200從伺服器,取得對應於發送的光ID之AR圖像及辨識資訊(步驟S104)。接著,接收機200辨識出藉由一般曝光時間的拍攝所獲得的拍攝顯示圖像中對應於該辨識資訊的區域,來作為對象區域(步驟S105)。然後,接收機200將AR圖像重疊於該對象區域,顯示重疊有該AR圖像的拍攝顯示圖像(步驟S106)。
接著,接收機200判定是否應結束拍攝及拍攝顯示圖像的顯示(步驟S107)。於此,接收機200若判定不應結束(步驟S107,N),進一步判定接收機200的加速度是否為閾值以上(步驟S108)。該加速度是由接收機200所具備的加速度感測器來測量。接收機200若判定加速度小於閾值(步驟S108,N),則執行從步驟S105開始的處理。藉此,即使是顯示於接收機200的顯示器201的拍攝顯示圖像偏離時,仍可使AR圖像追隨該拍攝顯示圖像的對象區域。又,接收機200若判定加速度為閾值以上(步驟S108,Y),則執行從步驟S102開始的處理。藉此,可抑制當拍攝顯示圖像中未拍到發送機100時,誤將拍到不同於發送機100的被攝體的區域辨識為對象區域。
如此,於本實施形態,由於AR圖像重疊於拍攝顯示圖像而顯示,因此可顯示對使用者有助益的圖像。進而,可抑制處理負擔,將AR圖像重疊於適當的對象區域。
總言之,於一般的擴增實境(亦即AR),是藉由比較預先保存的數量龐大的辨識對象圖像與拍攝顯示圖像,來判定該拍攝顯示圖像是否包含某些辨識對象圖像。然後,若判定包含辨識對象圖像,則對應於該辨識對象圖像的AR圖像會被重疊於拍攝顯示圖像。此時,以辨識對象圖像為基準來進行AR圖像的位置對齊。如此,於一般的擴增實境,由於比較數量龐大的辨識對象圖像與拍攝顯示圖像,且進一步於位置對齊中,亦需要檢出拍攝顯示圖像中的辨識對象圖像的位置,因此具有計算量多、處理負擔高的問題。
然而,於本實施形態的顯示方法,是藉由將利用被攝體之拍攝所獲得的解碼用圖像解碼,來取得光ID。總言之,是接收從作為被攝體的發送機所發送的光ID。進一步從伺服器,取得對應於該光ID的AR圖像及辨識資訊。因此,於伺服器,無須比較數量龐大的辨識對象圖像與拍攝顯示圖像,即可選擇預先與光ID賦予對應的AR圖像,並發送至顯示裝置。藉此,可減少計算量,大幅抑制處理負擔。進而,可使AR圖像的顯示處理高速化。
又,於本實施形態,是從伺服器取得對應於該光ID的辨識資訊。辨識資訊是用以在拍攝顯示圖像中辨識重疊有AR圖像的區域即對象區域的資訊。該辨識資訊亦可為例如表示白色四角形為對象區域的資訊。於此情況下,可簡單辨識對象區域,進一步抑制處理負擔。總言之,可因應辨識資訊的內容,進一步抑制處理負擔。又,於伺 服器,可因應光ID,任意設定該辨識資訊的內容,因此可適當保持處理負擔與辨識精度的平衡。
再者,於本實施形態,接收機200將光ID發送至伺服器後,接收機200亦可從伺服器取得對應於該光ID的AR圖像及辨識資訊,或事先取得AR圖像及辨識資訊中至少一方。總言之,接收機200預先從伺服器,集中取得對應於具接收可能性的複數個光ID的複數個AR圖像及複數個辨識資訊並保存。其後,接收機200若接收光ID,則從本身保存的複數個AR圖像及複數個辨識資訊,選擇對應於該光ID的AR圖像及辨識資訊。藉此,可使AR圖像的顯示處理進一步高速化。
圖240是表示本實施形態的接收機200顯示AR圖像的其他例的圖。
發送機100例如如圖240所示,作為照明裝置而構成,藉由一面照亮設施的導覽板101一面進行亮度變化,來發送光ID。由於導覽板101是由來自該發送機100的光所照亮,因此會與發送機100同樣地進行亮度變化,發送光ID。
接收機200藉由拍攝由發送機100照亮的導覽板101,來與上述同樣地取得拍攝顯示圖像Pb及解碼用圖像。接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,接收機200從導覽板101接收光ID。接收機200將該光ID發送至伺服器。然後,接收機200從伺服器,取得對應於該光ID的AR圖像P2及辨識資訊。接收機200辨識出 拍攝顯示圖像Pb中對應於該辨識資訊的區域,來作為對象區域。例如接收機200辨識出導覽板101中拍到框102的區域,來作為對象區域。該框102是用以表示設施的等待時間的框。然後,接收機200可將AR圖像P2重疊於該對象區域,並將重疊有AR圖像P2的拍攝顯示圖像Pb顯示於顯示器201。例如,AR圖像P2為包含有文字列「30分」的圖像。在此情況下,由於拍攝顯示圖像Pb的對象區域中重疊有該AR圖像P2,接收機200可將拍攝顯示圖像Pb顯示成如同真實存在有記載著等待時間「30分鐘」的導覽板101。藉此,不必於導覽板101具備特別的顯示裝置,即可將等待時間簡單且容易理解地通知接收機200的使用者。
圖241是表示本實施形態的接收機200顯示AR圖像的其他例的圖。
發送機100例如如圖241所示,包括2個照明裝置。發送機100藉由一面照亮設施的導覽板104一面進行亮度變化,來發送光ID。由於導覽板104是由來自該發送機100的光所照亮,因此會與發送機100同樣地進行亮度變化,發送光ID。又,導覽板104表示例如「ABC樂園」及「冒險樂園」等複數個設施的名稱。
接收機200藉由拍攝由發送機100照亮的導覽板104,來與上述同樣地取得拍攝顯示圖像Pc及解碼用圖像。接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,接收機200從導覽板104接收光ID。接收機200將該光ID發送至伺服器。然後,接收機200從伺服器,取得 對應於該光ID的AR圖像P3及辨識資訊。接收機200辨識出拍攝顯示圖像Pc中對應於該辨識資訊的區域,來作為對象區域。例如接收機200辨識出拍到導覽板104的區域,來作為對象區域。然後,接收機200將AR圖像P3重疊於該對象區域,將重疊有AR圖像P3的拍攝顯示圖像Pc顯示於顯示器201。例如AR圖像P3是表示複數個設施的名稱的圖像。於該AR圖像P3,設施的等待時間越長,該設施的名稱顯示越小,反之,設施的等待時間越短,該設施的名稱顯示越大。此時,由於該AR圖像P3重疊於拍攝顯示圖像Pc的對象區域,因此接收機200可將拍攝顯示圖像Pc顯示成如同真實存在有記載著大小與等待時間相應之各設施名稱的導覽板104。藉此,不必於導覽板104具備特別的顯示裝置,即可將各設施的等待時間簡單且容易理解地通知接收機200的使用者。
圖242是表示本實施形態的接收機200顯示AR圖像的其他例的圖。
發送機100例如如圖242所示,包括2個照明裝置。發送機100藉由一面照亮城牆105一面進行亮度變化,來發送光ID。由於城牆105是由來自該發送機100的光所照亮,因此會與發送機100同樣地進行亮度變化,發送光ID。又,於城牆105,刻有模仿角色臉部的小記號,以作為隱藏角色106。
接收機200藉由拍攝由發送機100照亮的城牆105,來與上述同樣地取得拍攝顯示圖像Pd及解碼用圖 像。接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,接收機200從城牆105接收光ID。接收機200將該光ID發送至伺服器。然後,接收機200從伺服器,取得對應於該光ID的AR圖像P4及辨識資訊。接收機200辨識出拍攝顯示圖像Pd中對應於該辨識資訊的區域,來作為對象區域。例如接收機200辨識出城牆105中包含隱藏角色106的的範圍被拍到的區域,來作為對象區域。然後,接收機200將AR圖像P4重疊於該對象區域,將重疊有AR圖像P4的拍攝顯示圖像Pd顯示於顯示器201。例如AR圖像P4是模仿角色臉部的圖像。該AR圖像P4是充分大於拍攝顯示圖像Pd所拍到的隱藏角色106的圖像。此時,由於該AR圖像P4重疊於拍攝顯示圖像Pd的對象區域,因此接收機200可將拍攝顯示圖像Pd顯示成如同真實存在有刻有模仿角色臉部的大記號的城牆105。藉此,可將隱藏角色106的位置容易理解地通知接收機200的使用者。
圖243是表示本實施形態的接收機200顯示AR圖像的其他例的圖。
發送機100例如如圖243所示,包括2個照明裝置。發送機100藉由一面照亮設施的導覽板107一面進行亮度變化,來發送光ID。由於導覽板107是由來自該發送機100的光所照亮,因此會與發送機100同樣地進行亮度變化,發送光ID。又,於導覽板107角落的複數處,塗布有紅外線阻隔塗料108。
接收機200藉由拍攝由發送機100照亮的導 覽板107,來與上述同樣地取得拍攝顯示圖像Pe及解碼用圖像。接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,接收機200從導覽板107接收光ID。接收機200將該光ID發送至伺服器。然後,接收機200從伺服器,取得對應於該光ID的AR圖像P5及辨識資訊。接收機200辨識出拍攝顯示圖像Pe中對應於該辨識資訊的區域,來作為對象區域。例如接收機200辨識出拍到導覽板107的區域,來作為對象區域。
具體而言,辨識資訊表示出外接於複數處紅外線阻隔塗料108的矩形為對象區域。又,紅外線阻隔塗料108是阻隔從發送機100照射的光所含的紅外線。因此,於接收機200的影像感測器,紅外線阻隔塗料108被辨識為較其周邊暗的像。接收機200辨識出外接於分別作為暗像而出現的複數處紅外線阻隔塗料108矩形,來作為對象區域。
然後,接收機200將AR圖像P5重疊於該對象區域,將重疊有AR圖像P5的拍攝顯示圖像Pe顯示於顯示器201。例如AR圖像P5是表示在導覽板107的設施進行的活動的行事曆。此時,由於該AR圖像P5重疊於拍攝顯示圖像Pe的對象區域,因此接收機200可將拍攝顯示圖像Pe顯示成如同真實存在有記載著活動的行事曆的導覽板107。藉此,不必於導覽板107具備特別的顯示裝置,即可將設施的活動的行事曆容易理解地通知接收機200的使用者。
再者,於導覽板107,亦可塗布紅外線反射塗料,以取代紅外線阻隔塗料108。紅外線反射塗料反射從發送機100照射的光所含的紅外線。因此,於接收機200的影像感測器,將紅外線反射塗料辨識為比其周邊亮的像。總言之,此情況下,接收機200辨識出外接於分別作為亮像而出現的複數處紅外線反射塗料的矩形,來作為對象區域。
圖244是表示本實施形態的接收機200顯示AR圖像的其他例的圖。
發送機100作為站名牌而構成,配置於車站出口導覽板110的附近。車站出口導覽板110雖具備光源而發光,但與發送機100不同,不發送光ID。
接收機200藉由拍攝發送機100及車站出口導覽板110,來取得拍攝顯示圖像Ppre及解碼用圖像Pdec。由於發送機100進行亮度變化,車站出口導覽板110發光,因此於該解碼用圖像Pdec,會出現對應於發送機100的明線圖案區域Pdec1、及對應於車站出口導覽板110的亮區域Pdec2。明線圖案區域Pdec1是由複數個明線的圖案所組成的區域,前述複數個明線的圖案是藉由接收機200的影像感測器所具有的複數條曝光線以通訊用曝光時間進行曝光而出現。
於此,識別資訊如上述包含:基準資訊,其用以特定出拍攝顯示圖像Ppre中的基準區域Pbas;及對象資訊,其表示對象區域Ptar相對於該基準區域Pbas的相對 位置。例如該基準資訊是表示:拍攝顯示圖像Ppre的基準區域Pbas的位置,與解碼用圖像Pdec的明線圖案區域Pdec1的位置相同。進而,對象資訊是表示:對象區域的位置為基準區域的位置。
因此,接收機200根據基準資訊,從拍攝顯示圖像Ppre特定出基準區域Pbas。總言之,接收機200於拍攝顯示圖像Ppre,特定出與解碼用圖像Pdec的明線圖案區域Pdec1的位置位於同一位置的區域,來作為基準區域Pbas。進而,接收機200辨識出拍攝顯示圖像Ppre中,以基準區域Pbas的位置為基準而位於由對象資訊所示之相對位置的區域,來作為對象區域Ptar。於上述例中,由於對象資訊表示對象區域Ptar的位置為基準區域Pbas的位置,因此接收機200辨識出拍攝顯示圖像Ppre中的基準區域Pbas,來作為對象區域Ptar。
然後,接收機200將AR圖像P1,重疊於拍攝顯示圖像Ppre的對象區域Ptar。
如此,於上述例中,為了辨識對象區域Ptar而利用明線圖案區域Pdec1。另,不利用明線圖案區域Pdec1,僅從拍攝顯示圖像Ppre辨識出拍到發送機100的區域來作為對象區域Ptar時,可能發生誤辨識。總言之,不僅辨識出拍攝顯示圖像Ppre中拍到發送機100的區域,亦可能將拍到車站出口導覽板110的區域,誤辨識為對象區域Ptar。這是由於拍攝顯示圖像Ppre中,發送機100的圖像與車站出口導覽板110的圖像相似所致。然而,如上述 例利用明線圖案區域Pdec1時,可抑制誤辨識發生,正確辨識對象區域Ptar。
圖245是表示本實施形態的接收機200顯示AR圖像的其他例的圖。
於圖244所示例中,發送機100藉由使站名牌全體進行亮度變化,來發送光ID,對象資訊表示對象區域的位置為基準區域的位置。然而,於本實施形態,發送機100亦可不使站名牌全體進行亮度變化,而使配置於站名牌外框的一部分的發光元件進行亮度變化,來發送光ID。又,對象資訊只要表示對象區域Ptar相對於基準區域Pbas的相對位置即可,例如表示對象區域Ptar的位置為基準區域Pbas之上(具體而言為鉛直方向向上)亦可。
於圖245所示例中,發送機100藉由使站名牌的外框下部、沿著水平方向配置的複數個發光元件進行亮度變化,來發送光ID。又,對象資訊表示對象區域Ptar的位置為基準區域Pbas之上。
該情況下,接收機200根據基準資訊,從拍攝顯示圖像Ppre特定出基準區域Pbas。總言之,接收機200於拍攝顯示圖像Ppre,特定出與解碼用圖像Pdec的明線圖案區域Pdec1的位置位於同一位置的區域,來作為基準區域Pbas。具體而言,接收機200特定出水平方向長、垂直方向短的矩形的基準區域Pbas。進而,接收機200辨識出拍攝顯示圖像Ppre中,位於以基準區域Pbas的位置作為基準,並由對象資訊所示的相對位置的區域,來作為對象區 域Ptar。總言之,接收機200辨識出拍攝顯示圖像Ppre中位於比基準區域Pbas上方的區域,來作為對象區域Ptar。再者,此時,接收機200根據本身所具備的加速度感測器所測量的重力方向,來特定出比基準區域Pbas上方的方向。
再者,對象資訊不僅表示對象區域Ptar的相對位置,亦可表示對象區域Ptar的尺寸、形狀及長寬比。此時,接收機200辨識由對象資訊所示的尺寸、形狀及長寬比的對象區域Ptar。又,接收機200亦可根據基準區域Pbas的尺寸,來決定對象區域Ptar的尺寸。
圖246是表示本實施形態的接收機200的處理動作的其他例的流程圖。
接收機200與圖239所示例同樣地執行步驟S101~S104的處理。
接著,接收機200從解碼用圖像Pdec特定出明線圖案區域Pdec1(步驟S111)。接著,接收機200從拍攝顯示圖像Ppre,特定出對應於該明線圖案區域Pdec1的基準區域Pbas(步驟S112)。然後,接收機200根據辨識資訊(具體而言為對象資訊)及該基準區域Pbas,從拍攝顯示圖像Ppre辨識出對象區域Ptar(步驟S113)。
接著,接收機200與圖239所示例同樣,將AR圖像重疊於拍攝顯示圖像Ppre的對象區域Ptar,顯示重疊有該AR圖像的拍攝顯示圖像Ppre(步驟S106)。然後,接收機200判定是否應結束拍攝及拍攝顯示圖像Ppre的顯 示(步驟S107)。於此,接收機200若判定不應結束(步驟S107,N),進一步判定接收機200的加速度是否為閾值以上(步驟S114)。該加速度是由接收機200所具備的加速度感測器來測量。接收機200若判定加速度小於閾值(步驟S114,N),則執行從步驟S113開始的處理。藉此,即使是顯示於接收機200的顯示器201的拍攝顯示圖像Ppre有偏離時,仍可使AR圖像追隨該拍攝顯示圖像Ppre的對象區域Ptar。又,接收機200若判定加速度為閾值以上(步驟S114,Y),則執行從步驟S111或步驟S102開始的處理。藉此,可抑制將拍到與發送機100不同的被攝體(例如車站出口導覽板110)的區域,誤辨識為對象區域Ptar。
圖247是表示本實施形態的接收機200顯示AR圖像的其他例的圖。
當所顯示的拍攝顯示圖像Ppre的AR圖像P1被點擊時,接收機200放大顯示該AR圖像P1。又,當被點擊時,接收機200亦可顯示內容比AR圖像P1所示內容更詳細的新AR圖像,以取代該AR圖像P1。又,AR圖像P1表示包括複數頁的資訊刊物之1頁份量的資訊時,接收機200亦可顯示表示AR圖像P1的頁面之下一頁面的資訊的新AR圖像,以取代該AR圖像P1。又,若被點擊,接收機200亦可顯示與該AR圖像P1相關聯的動態圖像以作為新AR圖像,以取代該AR圖像P1。此時,接收機200亦可顯示如同從對象區域Ptar跳出物件(圖247的例中為楓葉)的動態圖像,來作為AR圖像。
圖248是表示本實施形態中藉由接收機200的拍攝所取得的拍攝顯示圖像Ppre及解碼用圖像Pdec的圖。
接收機200在拍攝時,例如圖248(a1)所示,以30fps的幀率來取得拍攝顯示圖像Ppre及解碼用圖像Pdec等拍攝圖像。具體而言,接收機200以在時刻t1取得拍攝顯示圖像Ppre「A」,在時刻t2取得解碼用圖像Pdec,在時刻t3取得拍攝顯示圖像Ppre「B」的方式,交替取得拍攝顯示圖像Ppre與解碼用圖像Pdec。
又,接收機200在顯示拍攝圖像時,拍攝圖像中僅顯示拍攝顯示圖像Ppre,不顯示解碼用圖像Pdec。總言之,接收機200如圖248(a2)所示,於取得解碼用圖像Pdec時,顯示剛取得的拍攝顯示圖像Ppre以取代該解碼用圖像Pdec。具體而言,接收機200在時刻t1,顯示取得的拍攝顯示圖像Ppre「A」,在時刻t2,再度顯示在時刻t1取得的拍攝顯示圖像Ppre「A」。藉此,接收機200以15fps的幀率顯示拍攝顯示圖像Ppre。
於此,於圖248(a1)所示例中,接收機200雖交替取得拍攝顯示圖像Ppre與解碼用圖像Pdec,但本實施形態的該等圖像的取得形態不限於此類形態。總言之,接收機200亦可重複以下動作:連續取得N(N為1以上的整數)張解碼用圖像Pdec,其後連續取得M(M為1以上的整數)張拍攝顯示圖像Ppre。
又,接收機200必須將取得的拍攝圖像,切 換為拍攝顯示圖像Ppre及解碼用圖像Pdec,該切換有時會耗費時間。因此,如圖248(b1)所示,接收機200亦可於取得拍攝顯示圖像Ppre、與取得解碼用圖像Pdec之間切換時,設置切換期間。具體而言,接收機200若在時刻t3取得解碼用圖像Pdec,則在時刻t3~t5的切換期間,執行用以切換拍攝圖像的處理,在時刻t5取得拍攝顯示圖像Ppre「A」。其後,接收機200在時刻t5~t7的切換期間,執行用以切換拍攝圖像的處理,在時刻t7取得解碼用圖像Pdec。
如此設置切換期間時,接收機200如圖248(b2)所示,於切換期間顯示剛取得的拍攝顯示圖像Ppre。因此,此情況下,接收機200顯示拍攝顯示圖像Ppre的幀率低,為例如3fps。幀率如此低時,即使使用者移動接收機200,所顯示的拍攝顯示圖像Ppre有時不會因應該接收機200的運動而移動。總言之,拍攝顯示圖像Ppre不會顯示為即時預覽。因此,接收機200亦可使拍攝顯示圖像Ppre因應接收機200的運動而移動。
圖249是表示本實施形態中顯示於接收機200的拍攝顯示圖像Ppre的一例的圖。
接收機200例如如圖249(a)所示,於顯示器201顯示藉由拍攝所獲得的拍攝顯示圖像Ppre。於此,使用者將接收機200往左側移動。此時,若未藉由接收機200的拍攝取得新的拍攝顯示圖像Ppre時,接收機200如圖249(b)所示,使顯示的拍攝顯示圖像Ppre往右側移動。總 言之,接收機200具備加速度感測器,以因應藉由該加速度感測器所測量的加速度來與接收機200的運動整合的方式,使顯示的拍攝顯示圖像Ppre移動。藉此,接收機200可將拍攝顯示圖像Ppre擬似作為即時預覽而顯示。
圖250是表示本實施形態的接收機200的處理動作的其他例的流程圖。
接收機200首先與上述同樣,將AR圖像重疊於拍攝顯示圖像Ppre的對象區域Ptar,使其追隨該對象區域Ptar(步驟S122)。總言之,顯示與拍攝顯示圖像Ppre的對象區域Ptar一起移動的AR圖像。接著,接收機200判定是否維持AR圖像的顯示(步驟S122)。於此,若判定不維持AR圖像(步驟S122,N),接收機200藉由拍攝取得新的光ID時,便將對應於該光ID的新AR圖像重疊於拍攝顯示圖像Ppre而顯示(步驟S123)。
另,若判定維持AR圖像的顯示(步驟S122,Y),接收機200重複執行從步驟S121開始的處理。此時,接收機200即使取得其他AR圖像,仍不顯示其他AR圖像。又,接收機200即使取得新解碼用圖像Pdec,仍不藉由對該解碼用圖像Pdec的解碼來取得光ID。此時,可抑制解碼所花費的消耗電力。
如此,藉由維持AR圖像的顯示,可抑制顯示的該AR圖像被抹除,或因顯示其他AR圖像而難以觀看。總言之,可讓使用者容易觀看顯示的AR圖像。
例如於步驟S122,接收機200判定維持AR 圖像的顯示,直到從顯示AR圖像之後經過預先決定的期間(一定期間)為止。總言之,接收機200在顯示拍攝顯示圖像Ppre時,一面限制與步驟S121所重疊的AR圖像、即第1AR圖像不同的第2AR圖像的顯示,一面僅於預先決定的顯示期間,顯示該第1AR圖像。接收機200亦可在該顯示期間,禁止對新取得的解碼用圖像Pdec解碼。
藉此,可抑制當使用者觀看曾顯示的第1AR圖像時,該第1AR圖像立即置換成與其不同的第2AR圖像。進而,由於在第2AR圖像的顯示受到抑制時,新取得的解碼用圖像Pdec的解碼為多餘的處理,因此藉由禁止其解碼,可抑制消耗電力。
又,於步驟S122,接收機200亦可具備面部相機,若根據該面部相機的拍攝結果,檢出使用者的臉部接近,則判定維持AR圖像的顯示。總言之,接收機200在顯示拍攝顯示圖像Ppre時,進一步藉由接收機200所具備的面部相機的拍攝,來判定使用者的臉部是否接近接收機200。然後,若接收機200判定臉部接近,則一面限制與步驟S121所重疊的AR圖像、即第1AR圖像不同的第2AR圖像的顯示,一面顯示該第1AR圖像。
又,於步驟S122,接收機200亦可具備加速度感測器,若根據該加速度感測器的測量結果,檢出使用者的臉部接近,則判定維持AR圖像的顯示。總言之,接收機200在顯示拍攝顯示圖像Ppre時,進一步依據由加速度感測器所測量的接收機200的加速度,來判定使用者的臉 部是否接近接收機200。例如由加速度感測器測量的接收機200的加速度,相對於接收機200的顯示器201向垂直朝外的方向顯示正值時,接收機200判定使用者的臉部接近。然後,接收機200若判定臉部接近,則一面限制與步驟S121所重疊的AR圖像、即第1擴增實境圖像不同的第2AR圖像的顯示,一面顯示該第1AR圖像。
藉此,可抑制當使用者想觀看第1AR圖像而使臉部接近接收機200時,該第1AR圖像置換成與其不同的第2AR圖像。
又,於步驟S122,接收機200亦可是若該接收機200所具備的鎖定按鈕被按下,則判定維持AR圖像的顯示。
又,於步驟S122,若經過上述一定期間(亦即顯示期間),則接收機200判定不維持AR圖像的顯示。又,即使在未經過上述一定期間的情況下,當由加速度感測器測量到閾值以上的加速度時,接收機200亦判定不維持AR圖像。總言之,接收機200在顯示拍攝顯示圖像Ppre時,進一步於上述顯示期間,藉由接收機200的加速度感測器測量,判定測量到的加速度是否為閾值以上。然後,接收機200在判定為閾值以上時,藉由解除抑制第2AR圖像的顯示,於步驟S123顯示第2AR圖像以取代第1AR圖像。
藉此,於測量到閾值以上的顯示裝置的加速度時,解除抑制第2AR圖像的顯示。因此,例如於使用者 欲將影像感測器朝向其他被攝體,而大幅移動接收機200時,可立即顯示第2AR圖像。
圖251是表示本實施形態的接收機200顯示AR圖像的其他例的圖。
發送機100例如如圖251所示,作為照明裝置而構成,藉由一面照亮小型的玩偶用台座111,一面進行亮度變化,來發送光ID。由於台座111是由來自該發送機100的光所照亮,因此會與發送機100同樣地進行亮度變化,發送光ID。
2個接收機200從左右拍攝由發送機100照亮的台座111。
2個接收機200中左側的接收機200藉由從左側拍攝由發送機100照亮的台座111,來與上述同樣地取得拍攝顯示圖像Pf及解碼用圖像。左側的接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,左側的接收機200從台座111接收光ID。左側的接收機200將該光ID發送至伺服器。然後,左側的接收機200從伺服器取得對應於該光ID的三維AR圖像及辨識資訊。該三維AR圖像為例如用以立體顯示玩偶的圖像。左側的接收機200辨識出拍攝顯示圖像Pf中對應於該辨識資訊的區域,來作為對象區域。例如左側的接收機200將台座111中央的上側區域辨識為對象區域。
接著,左側的接收機200根據拍攝顯示圖像Pf中拍到的台座111的方向,從三維AR圖像生成對應於該 方向的二維AR圖像P6a。然後,左側的接收機200將二維AR圖像P6a重疊於該對象區域,將重疊有AR圖像P6a的拍攝顯示圖像Pf顯示於顯示器201。此時,由於在拍攝顯示圖像Pf的對象區域,重疊有該二維AR圖像P6a,因此左側的接收機200可將拍攝顯示圖像Pf顯示成如同玩偶真實存在於台座111上。
同樣地,2個接收機200中右側的接收機200藉由從右側拍攝由發送機100所照亮的台座111,來與上述同樣地取得拍攝顯示圖像Pg及解碼用圖像。右側的接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,右側的接收機200從台座111接收光ID。右側的接收機200將該光ID發送至伺服器。然後,右側的接收機200從伺服器取得對應於該光ID的三維AR圖像及辨識資訊。右側的接收機200辨識出拍攝顯示圖像Pg中對應於該辨識資訊的區域,來作為對象區域。例如右側的接收機200將台座111中央的上側區域辨識為對象區域。
接著,右側的接收機200根據拍攝顯示圖像Pg中拍到的台座111的方向,從三維AR圖像生成對應於該方向的二維AR圖像P6b。然後,右側的接收機200將二維AR圖像P6b重疊於該對象區域,將重疊有AR圖像P6b的拍攝顯示圖像Pg顯示於顯示器201。此時,由於在拍攝顯示圖像Pg的對象區域,重疊有該二維AR圖像P6b,因此右側的接收機200可將拍攝顯示圖像Pg顯示成如同玩偶真實存在於台座111上。
如此,2個接收機200在台座111上的相同位置,顯示AR圖像P6a及P6b。又,該等AR圖像P6a及P6b是以虛擬的玩偶實際上朝向預定方向的方式,對應於接收機200的方向而生成。因此,從台座111的任何方向拍攝,均可將拍攝顯示圖像顯示成如同玩偶真實存在於台座111上。
再者,於上述例中,接收機200是從三維AR圖像,生成對應於接收機200與台座111之間的位置關係的二維AR圖像,但亦可從伺服器取得該二維AR圖像。總言之,接收機200將表示該位置關係的資訊,與光ID一同發送至伺服器,從伺服器取得該二維AR圖像以取代三維AR圖像。藉此,可減輕接收機200的負擔。
圖252是表示本實施形態的接收機200顯示AR圖像的其他例的圖。
發送機100例如如圖252所示,作為照明裝置而構成,藉由一面照亮圓柱狀的構造物112,一面進行亮度變化,來發送光ID。由於構造物112是由來自該發送機100的光所照亮,因此會與發送機100同樣地進行亮度變化,發送光ID。
接收機200藉由拍攝由發送機100照亮的構造物112,來與上述同樣地取得拍攝顯示圖像Ph及解碼用圖像。接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,接收機200從構造物112接收光ID。接收機200將該光ID發送至伺服器。然後,接收機200從伺服器取得對 應於該光ID的AR圖像P7及辨識資訊。接收機200辨識出拍攝顯示圖像Ph中對應於該辨識資訊的區域,來作為對象區域。例如接收機200將拍到構造物112的中央部的區域辨識為對象區域。然後,接收機200將AR圖像P7重疊於該對象區域,將重疊有AR圖像P7的拍攝顯示圖像Ph顯示於顯示器201。例如AR圖像P7是包含文字列「ABCD」的圖像,且該文字列配合構造物112的中央部的曲面而扭曲。此時,由於在拍攝顯示圖像Ph的對象區域,重疊有包含該扭曲的文字列的AR圖像P2,因此接收機200可將拍攝顯示圖像Ph,顯示成如同真實存在有對構造物112描繪的文字列。
圖253是表示本實施形態的接收機200顯示AR圖像的其他例的圖。
發送機100例如如圖253所示,藉由一面照亮餐飲店的菜單113,一面進行亮度變化,來發送光ID。由於菜單113是由來自該發送機100的光所照亮,因此會與發送機100同樣地進行亮度變化,發送光ID。又,菜單113表示例如「ABC湯品」、「XYZ沙拉」及「KLM午餐」等複數種料理的名稱。
接收機200藉由拍攝由發送機100照亮的菜單113,來與上述同樣地取得拍攝顯示圖像Pi及解碼用圖像。接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,接收機200從菜單113接收光ID。接收機200將該光ID發送至伺服器。然後,接收機200從伺服器取得對應於該光ID的AR圖像P8及辨識資訊。接收機200辨識出拍攝 顯示圖像Pi中對應於該辨識資訊的區域,來作為對象區域。例如接收機200辨識出拍到菜單113的區域,來作為對象區域。然後,接收機200將AR圖像P8重疊於該對象區域,將重疊有AR圖像P8的拍攝顯示圖像Pi顯示於顯示器201。例如AR圖像P8是以記號來表示複數種料理分別所使用的食材的圖像。例如AR圖像P8對使用蛋的料理「XYZ沙拉」,表示模仿蛋的記號,對使用豬肉的料理「KLM午餐」,表示模仿豬隻的記號。此時,由於在拍攝顯示圖像Pi的對象區域重疊有該AR圖像P8,因此接收機200可將拍攝顯示圖像Pi,顯示成如同真實存在有附上食材記號的菜單113。藉此,於菜單113不需具備特別的顯示裝置,即可將各料理的食材簡單且容易理解地通知接收機200的使用者。
又,接收機200亦可取得複數個AR圖像,根據由使用者設定的使用者資訊,從該等複數個AR圖像選擇適合使用者的AR圖像,來重疊該AR圖像。例如於使用者資訊,若表示使用者對蛋顯示過敏反應,則接收機200選擇對使用蛋的料理附有蛋的記號的AR圖像。又,於使用者資訊,若表示禁止攝取豬肉,則接收機200選擇對使用豬肉的料理附有豬隻的記號的AR圖像。又,接收機200亦可將該使用者資訊,與光ID一同發送至伺服器,從伺服器取得對應於該光ID及使用者資訊的AR圖像。藉此,可向各使用者顯示引起該使用者注意的菜單。
圖254是表示本實施形態的接收機200顯示 AR圖像的其他例的圖。
發送機100例如如圖254所示,作為電視而構成,藉由一面於顯示器顯示影像,一面進行亮度變化,來發送光ID。又,於發送機100的附近,配置有一般的電視114。電視114於顯示器顯示影像,不發送光ID。
接收機200藉由例如一同拍攝發送機100及電視114,來取得拍攝顯示圖像Pj及解碼用圖像。接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,接收機200從發送機100接收光ID。接收機200將該光ID發送至伺服器。然後,接收機200從伺服器,取得對應於該光ID的AR圖像P9及辨識資訊。接收機200辨識出拍攝顯示圖像Pj中對應於該辨識資訊的區域,來作為對象區域。
例如接收機200藉由利用解碼用圖像的明線圖案區域,於拍攝顯示圖像Pj,辨識出拍到發送光ID的發送機100的區域的下部,來作為第1對象區域。再者,此時,辨識資訊所含的基準資訊是表示,拍攝顯示圖像Pj的基準區域的位置,與解碼用圖像的明線圖案區域的位置相同。進而,辨識資訊所含的對象資訊是表示於該基準區域的下部有對象區域。接收機200利用該類辨識資訊,來辨識上述第1對象區域。
進而,接收機200辨識於拍攝顯示圖像Pj的下部預先固定有位置的區域,來作為第2對象區域。第2對象區域大於第1對象區域。再者,辨識資訊所含的對象資訊不僅表示第1對象區域的位置,亦表示如上述的第2對象 區域的位置及尺寸。接收機200利用該類辨識資訊,來辨識上述第2對象區域。
然後,接收機200將AR圖像P9,重疊於該第1對象區域及第2對象區域,將重疊有AR圖像P8的拍攝顯示圖像Pj顯示於顯示器201。於該AR圖像P9的重疊中,接收機200使該AR圖像P9的尺寸配合第1對象區域的尺寸,並將尺寸經調整的AR圖像P9重疊於該第1對象區域。進而,接收機200使該AR圖像P9的尺寸配合第2對象區域的尺寸,並將尺寸經調整的AR圖像P9重疊於該第2對象區域。
例如AR圖像P9是表示相對於發送機100的影像的字幕。又,AR圖像P9的字幕語言是因應設定登錄於接收機200的使用者資訊的語言。總言之,接收機200在將光ID發送至伺服器時,亦將該使用者資訊(例如表示使用者的國籍或使用語言等之資訊)發送至伺服器。然後,接收機200取得AR圖像P9,其表示因應該使用者資訊的語言的字幕。又,接收機200亦可取得複數種AR圖像P9,其分別表示不同語言的字幕,並因應設定登錄的使用者資訊,從該等複數種AR圖像P9中,選擇使用於重疊的AR圖像P9。
換言之,於圖254所示例中,接收機200藉由將分別顯示有圖像的複數個顯示器,作為被攝體拍攝,來取得拍攝顯示圖像Pj及解碼用圖像。然後,接收機200在辨識對象區域時,辨識出拍攝顯示圖像Pj中,複數個顯示 器中發送光ID的顯示器,即發送顯示器(亦即發送機100)所出現的區域,來作為對象區域。接著,接收機200將對應於顯示在發送顯示器的圖像的第1字幕,作為AR圖像重疊於該對象區域。進而,接收機200將第1字幕經放大的字幕,即第2字幕重疊在比拍攝顯示圖像Pj中之對象區域大的區域。
藉此,接收機200可將拍攝顯示圖像Pj,顯示成如同字幕真實存在於發送機100的影像。進而,由於接收機200亦將大字幕重疊於拍攝顯示圖像Pj的下部,因此即使發送機100的影像附帶的字幕小,仍可使得字幕容易觀看。再者,發送機100的影像未附有字幕,僅於拍攝顯示圖像Pj的下部重疊大字幕時,難以判斷該重疊的字幕是相對於發送機100的影像的字幕,亦或相對於電視114的影像的字幕。然而,於本實施形態,由於對發送光ID的發送機100的影像亦附有字幕,因此使用者可容易判斷重疊的字幕是相對於哪個影像的字幕。
又,接收機200亦可於拍攝顯示圖像Pj的顯示中,進一步判定從伺服器取得的資訊,是否包含聲音資訊。然後,接收機200在判定包含聲音資訊時,將表示聲音資訊的聲音優先於第1及第2字幕輸出。藉此,由於優先輸出聲音,因此可減輕使用者閱讀字幕的負擔。
又,於上述例中,是因應使用者資訊(亦即使用者屬性)來使字幕的語言不同,但亦可使顯示於發送機100的影像(亦即內容)本身不同。例如顯示於發送機100的 影像為新聞的影像時,若於使用者資訊表示有使用者為日本人,則接收機200取得在日本播放的新聞影像來作為AR圖像。然後,接收機200將該新聞影像,重疊於拍到發送機100的顯示器的區域(亦即對象區域)。另,若於使用者資訊表示有使用者為美國人,則接收機200取得在美國播放的新聞影像來作為AR圖像。然後,接收機200將該新聞影像,重疊於拍到發送機100的顯示器的區域(亦即對象區域)。藉此,可顯示適合使用者的影像。再者,於使用者資訊,表示有例如國籍或使用語言等使用者的屬性,接收機200是根據該屬性來取得上述AR圖像。
圖255是表示本實施形態的辨識資訊的一例的圖。
即使辨識資訊為例如上述的特徵點及特徵量等,仍可能發生誤辨識。例如發送機100a及100b分別與發送機100同樣作為站名牌而構成。該等發送機100a及100b即使為互異的站名牌,但若位於相近的位置,仍因類似而可能被誤辨識。
因此,發送機100a及100b各自的辨識資訊亦可不表示發送機100a或100b的圖像全體的各特徵點及各特徵量,而表示該圖像中之僅特徵性的一部分的各特徵點及各特徵量。
例如發送機100a的一部分a1與發送機100b的一部分b1相互差異甚大,發送機100a的一部分a2與發送機100b的一部分b2相互差異甚大。因此,若發送機100a 及100b設置於預先決定的範圍內(亦即近距離),則伺服器保持一部分a1及一部分a2各自的圖像的特徵點及特徵量,來作為對應於發送機100a的辨識資訊。同樣地,伺服器保持一部分b1及一部分b2各自的圖像的特徵點及特徵量,來作為對應於發送機100b的辨識資訊。
藉此,即使在相互類似的發送機100a及100b互位於附近時(位於上述預先決定的範圍內時),接收機200仍可利用該等的識別資訊來適當地辨識對象區域。
圖256是表示本實施形態的接收機200的處理動作的其他例的流程圖。
接收機200首先根據設定登錄於接收機200的使用者資訊,來判定使用者是否有視覺障礙(步驟S131)。於此,接收機200若判定有視覺障礙(步驟S131,Y),則以聲音輸出重疊顯示的AR圖像的文字(步驟S132)。另,接收機200若判斷無視覺障礙(步驟S131,N),進一步根據使用者資訊,判定使用者是否有聽覺障礙(步驟S133)。於此,接收機200若判定有聽覺障礙(步驟S133,Y),則停止聲音輸出(步驟S134)。此時,接收機200停止所有功能的聲音輸出。
再者,接收機200亦可於步驟S131判定有視覺障礙時(步驟S131,Y),進行步驟S133的處理。總言之,接收機200亦可於判定有視覺障礙且無聽覺障礙時,以聲音輸出重疊顯示的AR圖像的文字。
圖257是表示本實施形態的接收機200識別 明線圖案區域的一例的圖。
接收機200首先藉由分別拍攝發送光ID的2個發送機,來取得解碼用圖像,藉由對該解碼用圖像解碼,如圖257(e)所示取得光ID。此時,由於解碼用圖像包含2個明線圖案區域X及Y,因此接收機200取得對應於明線圖案區域X的發送機的光ID、及對應於明線圖案區域Y的發送機的光ID。對應於明線圖案區域X的發送機的光ID包括例如對應於位址0~9的各位址的數值(亦即資料),表示「5、2、8、4、3、6、1、9、4、3」。對應於明線圖案區域X的發送機的光ID亦同樣包括例如對應於位址0~9的各位址的數值,表示「5、2、7、7、1、5、3、2、7、4」。
即使接收機200曾取得該等光ID,亦即該等光ID為已知,於拍攝時,仍可能處於不知各個光ID是從哪一方的明線圖案區域獲得的狀況。該情況下,接收機200藉由進行圖257(a)~(d)所示處理,可容易且迅速判定各個已知的光ID是從哪一方的明線圖案區域獲得。
具體而言,接收機200首先如圖257(a)所示,取得解碼用圖像Pdec11,藉由對該解碼用圖像Pdec11解碼,來取得明線圖案區域X及Y各自的光ID的位址0的數值。例如明線圖案區域X的光ID的位址0的數值為「5」,明線圖案區域Y的光ID的位址0的數值亦為「5」。由於各自的光ID的位址0的數值為「5」,因此於此時,無法判定已知的光ID是從哪一方的明線圖案區域獲得。
因此,接收機200如圖257(b)所示,取得解碼用圖像Pdec12,藉由對該解碼用圖像Pdec12解碼,來取得明線圖案區域X及Y各自的光ID的位址1的數值。例如明線圖案區域X的光ID的位址1的數值為「2」,明線圖案區域Y的光ID的位址1的數值亦為「2」。由於各自的光ID的位址1的數值為「2」,因此於此時,亦無法判定已知的光ID是從哪一方的明線圖案區域獲得。
因此,接收機200進一步如圖257(c)所示,取得解碼用圖像Pdec13,藉由對該解碼用圖像Pdec13解碼,來取得明線圖案區域X及Y各自的光ID的位址2的數值。例如明線圖案區域X的光ID的位址2的數值為「8」,明線圖案區域Y的光ID的位址2的數值為「7」。此時,可判定已知的光ID「5、2、8、4、3、6、1、9、4、3」是從明線圖案區域X獲得,並可判定已知的光ID「5、2、7、7、1、5、3、2、7、4」是從明線圖案區域Y獲得。
然而,接收機200為了提高可靠性,亦可進一步如圖257(d)所示,取得各自的光ID的位址3的數值。總言之,接收機200取得解碼用圖像Pdec14,藉由對該解碼用圖像Pdec14解碼,來取得明線圖案區域X及Y各自的光ID的位址3的數值。例如明線圖案區域X的光ID的位址3的數值為「4」,明線圖案區域Y的光ID的位址3的數值為「7」。此時,可判定已知的光ID「5、2、8、4、3、6、1、9、4、3」是從明線圖案區域X獲得,並可判定已知的光ID「5、2、7、7、1、5、3、2、7、4」是從明線圖案 區域Y獲得。總言之,不僅可藉由位址2,亦可藉由位址3來識別明線圖案區域X及Y的光ID,可提高可靠性。
如此,於本實施形態,不再次取得光ID的所有位址的數值(亦即資料),而是重新取得至少1個位址的數值。藉此,可容易且迅速判定已知的光ID是從哪一個明線圖案區域獲得。
再者,於上述圖257(c)及(d)所示例中,相對於預定位址所取得的數值是與已知的光ID的數值一致,但亦可不一致。例如於圖257(d)所示例中,接收機200取得「6」作為明線圖案區域Y的光ID的位址3的數值。該位址3的數值「6」與已知的光ID「5、2、7、7、1、5、3、2、7、4」的位址3的數值「7」不同。然而,由於數值「6」是接近數值「7」的數值,因此接收機200亦可判定已知的光ID「5、2、7、7、1、5、3、2、7、4」是從明線圖案區域Y獲得。再者,接收機亦可依據數值「6」是否在數值「7」±n(n為例如1以上的數)的範圍內,來判定數值「6」是否為接近數值「7」的數值。
圖258是表示本實施形態的接收機200的其他例的圖。
於上述例中,接收機200是作為智慧型手機而構成,但亦可與圖19~圖21所示例同樣,作為具備影像感測器的頭戴式顯示器(亦稱為眼鏡)而構成。
該類接收機200若一直預先啟動用以顯示如上述AR圖像的處理電路(以下稱為AR處理電路),則消耗 電力變多,因此亦可於檢出預先決定的訊號時,啟動該AR處理電路。
例如接收機200具備觸控感測器202。觸控感測器202若被使用者的手指等觸碰,會輸出觸控訊號。接收機200在檢出該觸控訊號時,啟動AR處理電路。
又,接收機200亦可於檢出Bluetooth(註冊商標)或Wi-Fi(註冊商標)等之電波訊號時,啟動AR處理電路。
又,接收機200亦可具備加速度感測器,當由該加速度感測器測量到與重力的方向往相反方向的閾值以上的加速度時,啟動AR處理電路。總言之,接收機200在檢出表示上述加速度的訊號時,啟動AR處理電路。例如若使用者以指尖,從下方將作為眼鏡而構成的接收機200的鼻墊部分朝上推升,則接收機200檢出表示上述加速度的訊號,啟動AR處理電路。
又,接收機200亦可在藉由GPS及9軸感測器等,檢測到影像感測器朝向發送機100時,啟動AR處理電路。總言之,接收機200在檢出表示接收機200朝向預定方向的訊號時,啟動AR處理電路。此時,若發送機100為上述日語的站名牌等,則接收機200將表示英語站名的AR圖像,重疊於該站名牌並顯示。
圖259是表示本實施形態的接收機200的處理動作的其他例的流程圖。
接收機200若從發送機100取得光ID(步驟 S141),則藉由接收對應於該光ID的模式指定資訊,來切換雜訊取消的模式(步驟S142)。然後,接收機200判定是否應結束該模式的切換處理(步驟S143),若判定不應結束(步驟S143,N),重複從步驟S141開始的處理。雜訊取消的模式之切換,為例如刪除飛機內的引擎等噪音的模式(開啟)、與不進行該噪音刪除的模式(關閉)。具體而言,攜帶接收機200的使用者將連接於該接收機200的耳機貼近耳部,收聽從該接收機200輸出的音樂等之聲音。若該類使用者搭乘飛機,則接收機200取得光ID。其結果,接收機200將雜訊取消的模式從關閉切換為開啟。藉此,使用者即使在機內,仍可收聽不包含引擎的噪音等雜訊的聲音。又,於使用者離開飛機時,接收機200亦取得光ID。取得該光ID的接收機200將雜訊取消的模式從開啟切換為關閉。再者,作為雜訊取消對象的雜訊不僅止於引擎的噪音,亦可為人聲等任何聲音。
圖260是表示包含本實施形態的複數個發送機的發送系統的一例的圖。
該發送系統具備依預先決定的順序排列的複數個發送機120。該等發送機120與發送機100同樣是上述實施形態1~22中任一實施形態的發送機,具備1個或複數個發光元件(例如LED)。開頭的發送機120藉由按照預先決定的頻率(載波頻率),使1個或複數個發光元件的亮度變化,來發送光ID。進而,開頭的發送機120將表示該亮度變化的訊號,作為同步訊號輸出至後續的發送機120。 後續的發送機120若接受該同步訊號,則藉由按照該同步訊號,使1個或複數個發光元件的亮度變化,來發送光ID。進而,後續的發送機120將表示該亮度變化的訊號,作為同步訊號輸出至下一個後續的發送機120。藉此,發送系統所包含的所有發送機120同步發送光ID。
於此,同步訊號從開頭的發送機120交付給後續的發送機120,從後續的發送機120,進一步交付給下一個後續的發送機120,送到最後的發送機120。同步訊號的交付耗費例如約1μ秒。因此,若發送系統具備N台(N為2以上的整數)發送機120,則同步訊號從開頭的發送機120送到最後的發送機120會耗費1×Nμ秒。其結果,光ID的發送時序最大會偏離Nμ秒。例如N台發送機120按照9.6kHz的頻率發送光ID,即使接收機200欲以9.6kHz的頻率接收光ID,但由於接收機200接收偏離了Nμ秒的光ID,因此有時無法正確接收該光ID。
因此,於本實施形態,開頭的發送機120因應發送系統所包含的發送機120的台數,迅速發送光ID。例如開頭的發送機120按照9.605kHz的頻率發送光ID。另,接收機200以9.6kHz的頻率接收光ID。此時,即使接收機200接收偏離了Nμ秒的光ID,由於開頭的發送機120的頻率比接收機200的頻率恰好高出0.005kHz,因此可抑制由於該光ID的偏離而發生接收錯誤。
又,開頭的發送機120亦可藉由從最後的發送機120回授同步訊號,來控制頻率的調整量。例如開頭 的發送機120測量本身輸出同步訊號之後,到收到從最後的發送機120回授的同步訊號為止的時間。然後,若該時間越長,開頭的發送機120按照越高於基準頻率(例如9.6kHz)的頻率,來發送光ID。
圖261是表示包含本實施形態的複數個發送機及接收機的發送系統的一例的圖。
該發送系統具備例如2個發送機120及接收機200。2個發送機120之一的發送機120按照9.599kHz的頻率來發送光ID。另一發送機120按照9.601kHz的頻率來發送光ID。該情況下,2個發送機120是分別以電波訊號,將本身的光ID的頻率通知接收機200。
接收機200若接受該等頻率的通知,則按照被通知的各頻率嘗試解碼。總言之,接收機200按照9.599kHz的頻率,嘗試對解碼用圖像解碼,若無法藉此接收光ID,則按照9.601kHz的頻率,嘗試對解碼用圖像解碼。如此,接收機200按照被通知的所有頻率的各頻率,嘗試對解碼用圖像解碼。換言之,接收機200對於被通知的各頻率,進行輪替嘗試。又,接收機200亦可按照被通知的所有頻率的平均頻率來嘗試解碼。總言之,接收機200按照9.599kHz與9.601kHz的平均頻率9.6kHz來嘗試解碼。
藉此,可降低由於接收機200與發送機120各自的頻率差異所造成的接收錯誤的發生率。
圖262A是表示本實施形態的接收機200的 處理動作的一例的流程圖。
接收機200首先開始拍攝(步驟S151),將參數N初始化為1(步驟S152)。接著,接收機200將藉由該拍攝所獲得的解碼用圖像,按照對應於參數N的頻率予以解碼,算出對該解碼結果的評估值(步驟S153)。例如預先對參數N=1、2、3、4、5的各個參數,將9.6kHz、9.601kHz、9.599kHz、9.602kHz等頻率賦予對應。解碼結果越類似正確的光ID,評估值表示越高的數值。
接著,接收機200判定參數N的數值是否等於預先決定的1以上的整數Nmax(步驟S154)。於此,接收機200若判定不等於Nmax(步驟S154,N),則將參數N遞增(步驟S155),重複執行從步驟S153開始的處理。另,接收機200若判斷等於Nmax(步驟S154,Y),則將算出有最大評估值的頻率作為最佳頻率,對表示接收機200的場所的場所資訊賦予對應,登錄於伺服器。如此登錄的最佳頻率及場所資訊在登錄後,是供移動到由該場所資訊所示的場所之接收機200接收光ID而利用。又,場所資訊例如可為表示由GPS測量的位置的資訊,亦可為無線LAN(Local Area Network(區域網路))的存取點的識別資訊(例如SSID:Service Set Identifier(服務集標識符))。
又,對伺服器進行登錄後的接收機200,按照藉由該最佳頻率的解碼所獲得的光ID,來進行例如如上述的AR圖像的顯示。
圖262B是表示本實施形態的接收機200的 處理動作的一例的流程圖。
進行圖262A所示對伺服器的登錄後,接收機200將表示本身存在的場所的場所資訊,發送至伺服器(步驟S161)。接著,接收機200從該伺服器,取得與該場所資訊賦予對應而登錄的最佳頻率(步驟S162)。
接著,接收機200開始拍攝(步驟S163),將藉由該拍攝所獲得的解碼用圖像,按照步驟S162所取得的最佳頻率來解碼(步驟S164)。接收機200按照藉由該解碼所獲得的光ID,來進行例如如上述的AR圖像的顯示。
如此,對伺服器進行登錄後,接收機200不執行圖262A所示的處理,即可取得最佳頻率並接收光ID。再者,接收機200無法於步驟S162取得最佳頻率時,亦可藉由執行圖262A所示的處理來取得最佳頻率。
[實施形態23的總結]
圖263A是表示本實施形態的顯示方法的流程圖。
本實施形態的顯示方法,是上述接收機200即顯示裝置用以顯示圖像的顯示方法,包含步驟SL11~SL16。
於步驟SL11,藉由影像感測器拍攝被攝體,來取得拍攝顯示圖像及解碼用圖像。於步驟SL12,藉由對該解碼用圖像解碼,來取得光ID。於步驟SL13,將該光ID發送至伺服器。於步驟SL14,從伺服器取得對應於該光ID的AR圖像及辨識資訊。於步驟SL15,辨識出拍攝顯示圖像中對應於辨識資訊的區域,來作為對象區域。於步驟 SL16,顯示在對象區域中重疊有AR圖像的拍攝顯示圖像。
藉此,由於AR圖像重疊於拍攝顯示圖像而顯示,因此可顯示對使用者有助益的圖像。進而,可抑制處理負擔,將AR圖像重疊於適當的對象區域。
總言之,於一般的擴增實境(亦即AR),是藉由比較預先保存的數量龐大的辨識對象圖像與拍攝顯示圖像,來判定該拍攝顯示圖像是否包含某些辨識對象圖像。然後,若判定包含辨識對象圖像,則對應於該辨識對象圖像的AR圖像會被重疊於拍攝顯示圖像。此時,以辨識對象圖像為基準來進行AR圖像的位置對齊。如此,於一般的擴增實境,由於比較數量龐大的辨識對象圖像與拍攝顯示圖像,且進一步於位置對齊中,亦需要檢出拍攝顯示圖像中的辨識對象圖像的位置,因此有計算量多、處理負擔高的問題。
然而,於本實施形態的顯示方法,如圖235~圖262B所示,是藉由將利用被攝體之拍攝所獲得的解碼用圖像解碼,來取得光ID。總言之,是接收從作為被攝體的發送機所發送的光ID。進一步從伺服器,取得對應於該光ID的AR圖像及辨識資訊。因此,於伺服器,無須比較數量龐大的辨識對象圖像與拍攝顯示圖像,即可選擇預先與光ID賦予對應的AR圖像,並發送至顯示裝置。藉此,可減少計算量,大幅抑制處理負擔。
又,於本實施形態的顯示方法,是從伺服器取得對應於該光ID的辨識資訊。辨識資訊是用以在拍攝顯 示圖像中辨識重疊有AR圖像的區域即對象區域的資訊。該辨識資訊亦可為例如表示白色四角形為對象區域的資訊。於此情況下,可簡單辨識對象區域,進一步抑制處理負擔。總言之,可因應辨識資訊的內容,進一步抑制處理負擔。又,於伺服器,可因應光ID,任意設定該辨識資訊的內容,因此可適當保持處理負擔與辨識精度的平衡。
於此,辨識資訊是用以特定出拍攝顯示圖像中之基準區域的基準資訊,於對象區域的辨識中,亦可根據該基準資訊,從拍攝顯示圖像特定出基準區域,並於拍攝顯示圖像中,藉由該基準區域的位置來辨識出對象區域。
又,辨識資訊亦可包含:基準資訊,其用以特定出拍攝顯示圖像中之基準區域;及對象資訊,其表示對象區域相對於該基準區域的相對位置。此時,於對象區域的辨識中,是根據基準資訊,從拍攝顯示圖像特定出基準區域,並辨識出拍攝顯示圖像中,位於以該基準區域的位置作為基準、並由對象資訊所示之相對位置的區域,來作為對象區域。
藉此,如圖244及圖245所示,可擴大在拍攝顯示圖像中辨識的對象區域的位置的自由度。
又,基準資訊亦可表示:拍攝顯示圖像的基準區域的位置與解碼用圖像的明線圖案區域的位置相同,其中明線圖案區域包括藉由影像感測器所具有的複數條曝光線的曝光而出現的複數個明線的圖案。
藉此,如圖244及圖245所示,能以拍攝顯示 圖像之對應於明線圖案區域的區域為基準,來辨識出對象區域。
又,基準資訊亦可表示:拍攝顯示圖像的基準區域,是拍攝顯示圖像中拍到顯示器的區域。
藉此,如圖235所示,例如若將站名牌作為顯示器,可將拍到該顯示器的區域作為基準,來辨識出對象區域。
又,於拍攝顯示圖像的顯示中,亦可一面抑制與上述AR圖像之第1AR圖像不同的第2AR圖像的顯示,一面僅於預先決定的顯示期間,顯示第1AR圖像。
藉此,如圖250所示,可抑制當使用者觀看曾顯示的第1AR圖像時,該第1AR圖像立即置換成與其不同的第2AR圖像。
又,於拍攝顯示圖像的顯示中,亦可於顯示期間,禁止對新取得的解碼用圖像解碼。
藉此,如圖250所示,由於在第2AR圖像的顯示受到抑制時,新取得的解碼用圖像的解碼為多餘的處理,因此藉由禁止其解碼,可抑制消耗電力。
又,於拍攝顯示圖像的顯示中,亦可進一步於顯示期間,藉由加速度感測器測量顯示裝置的加速度,判定測量到的加速度是否為閾值以上。然後,在判定為閾值以上時,解除抑制第2AR圖像的顯示,藉此顯示第2AR圖像以取代第1AR圖像。
藉此,如圖250所示,於測量到閾值以上的 顯示裝置的加速度時,解除抑制第2AR圖像的顯示。因此,例如於使用者欲將影像感測器朝向其他被攝體,而大幅移動顯示裝置時,可立即顯示第2AR圖像。
又,於拍攝顯示圖像的顯示中,亦可進一步藉由顯示裝置所具備的面部相機的拍攝,來判定使用者的臉部是否接近顯示裝置。然後,若判定臉部接近,亦可一面限制與與第1AR圖像不同的第2AR圖像的顯示,一面顯示該第1AR圖像。又,於拍攝顯示圖像的顯示中,亦可進一步依據由加速度感測器所測量的顯示裝置的加速度,來判定使用者的臉部是否接近顯示裝置。然後,若判定臉部接近,亦可一面限制與第1AR圖像不同的第2AR圖像的顯示,一面顯示第1AR圖像。
藉此,如圖250所示,可抑制當使用者想觀看第1AR圖像而使臉部接近顯示裝置時,該第1AR圖像被置換成與其不同的第2AR圖像。
又,如圖254所示,亦可於拍攝顯示圖像及解碼用圖像的取得中,藉由將分別顯示圖像的複數個顯示器作為被攝體拍攝,來取得該拍攝顯示圖像及解碼用圖像。此時,於對象區域的辨識中,是辨識複數個顯示器中發送光ID的顯示器,即發送顯示器所出現的區域,來作為對象區域。又,於拍攝顯示圖像的顯示中,將對應於顯示在發送顯示器的圖像的第1字幕,作為AR圖像重疊於對象區域,進而將第1字幕經放大的字幕,即第2字幕重疊於比拍攝顯示圖像中之對象區域大的區域。
藉此,由於第1字幕重疊於發送顯示器的圖像,因此可讓使用者容易掌握該第1字幕是針對複數個顯示器中的哪一個顯示器的圖像的字幕。又,由於亦顯示第1字幕經放大的字幕即第2字幕,因此即使是第1字幕小而難以閱讀時,仍可藉由第2字幕的顯示,使得字幕容易閱讀。
又,於拍攝顯示圖像的顯示中,亦可進一步判定從上述伺服器取得的資訊,是否包含聲音資訊,在判定包含時,將表示該聲音資訊的聲音優先於第1及第2字幕輸出。
藉此,由於優先輸出聲音,因此可減輕使用者閱讀字幕的負擔。
圖263B是表示本實施形態的顯示裝置構成的方塊圖。
本實施形態的顯示裝置10是顯示圖像的顯示裝置,具備影像感測器11、解碼部12、發送部13、取得部14、辨識部15及顯示部16。再者,該顯示裝置10相當於上述接收機200。
影像感測器11藉由拍攝被攝體,來取得拍攝顯示圖像及解碼用圖像。解碼部12藉由對該解碼用圖像解碼,來取得光ID。發送部13將該光ID發送至伺服器。取得部14從伺服器取得對應於光ID的AR圖像及辨識資訊。辨識部15辨識出拍攝顯示圖像中對應於該辨識資訊的區域,來作為對象區域。顯示部16顯示AR圖像重疊於該對 象區域的拍攝顯示圖像。
藉此,由於AR圖像重疊於拍攝顯示圖像而顯示,因此可顯示對使用者有助益的圖像。進而,可抑制處理負擔,將AR圖像重疊於適當的對象區域。
再者,於本實施形態中,各構成要件是以專用的硬體構成,或亦可藉由執行適合各構成要件的軟體程式來實現。各構成要件亦可藉由CPU或處理器等之程式執行部,讀出記錄於硬體或半導體記憶體等記錄媒體的軟體程式並執行而實現。於此,實現本實施形態的接收機200或顯示裝置10等之軟體是一程式,其令電腦執行圖239、圖246、圖250、圖256、圖259及圖262A~圖263A所示流程圖所包含的步驟。
[實施形態23的變形例1]
以下說明實施形態23的變形例1,亦即實現利用光ID的AR的顯示方法的變形例1。
圖264是表示實施形態23的變形例1的接收機顯示AR圖像之例的圖。
接收機200藉由利用該影像感測器拍攝被攝體,來取得上述一般攝影圖像即拍攝顯示圖像Pk、及上述可見光通訊圖像或明線圖像即解碼用圖像。
具體而言,接收機200的影像感測器拍攝作為機器人而構成的發送機100c、及位於發送機100c旁的人物21。發送機100c是上述實施形態1~22中任一實施形態的發送機,具備1個或複數個發光元件(例如LED)131。該 發送機100c藉由使該1個或複數個發光元件131亮暗,來進行亮度變化,藉由該亮度變化來發送光ID(光識別資訊)。該光ID為上述可見光訊號。
接收機200藉由以一般曝光時間來拍攝發送機100c及人物21,取得拍到該等的拍攝顯示圖像Pk。進而,接收機200藉由以短於該一般曝光時間的通訊用曝光時間,拍攝發送機100c及人物21,來取得解碼用圖像。
接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,接收機200從發送機100c接收光ID。接收機200將該光ID發送至伺服器。然後,接收機200從伺服器取得對應於該光ID的AR圖像P10及辨識資訊。接收機200辨識出拍攝顯示圖像Pk中對應於該辨識資訊的區域,來作為對象區域。例如接收機200辨識出位於拍到發送機100c即機器人的區域右側的區域,來作為對象區域。具體而言,接收機200特定出拍攝顯示圖像Pk所拍到的發送機100c的2個標記132a及132b之間的距離。然後,接收機200辨識出具有對應於該距離的寬度及高度的區域,來作為對象區域。總言之,辨識資訊表示標記132a及132b的形狀、及以該等標記132a及132b作為基準的對象區域的位置及大小。
然後,接收機200將AR圖像P10重疊於該對象區域,將重疊有AR圖像P10的拍攝顯示圖像Pk顯示於顯示器201。例如接收機200取得表示與發送機100c不同的其他機器人的AR圖像P10。此時,由於該AR圖像P10重疊於 拍攝顯示圖像Pk的對象區域,因此可將拍攝顯示圖像Pk,顯示成如同其他機器人真實存在於發送機100c旁。其結果,即使其他機器人並非實際存在,人物21仍可與發送機100c,一同與其他機器人照在相片中。
圖265是表示實施形態23的變形例1的接收機200顯示AR圖像的其他例的圖。
發送機100例如如圖265所示,作為具有顯示面板的圖像顯示裝置而構成,藉由一面於該顯示面板顯示靜止圖像PS一面進行亮度變化,來發送光ID。再者,顯示面板為例如液晶顯示器或有機EL(electroluminescence(電致發光))顯示器。
接收機200藉由拍攝發送機100,來與上述同樣地取得拍攝顯示圖像Pm及解碼用圖像。接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,接收機200從發送機100接收光ID。接收機200將該光ID發送至伺服器。然後,接收機200從伺服器,取得對應於該光ID的AR圖像P11及辨識資訊。接收機200辨識出拍攝顯示圖像Pm中對應於該辨識資訊的區域,來作為對象區域。例如接收機200辨識出拍到發送機100的顯示面板的區域,來作為對象區域。然後,接收機200將AR圖像P11重疊於該對象區域,將重疊有AR圖像P11的拍攝顯示圖像Pm顯示於顯示器201。例如AR圖像P11是具有與顯示於發送機100的顯示面板的靜止圖像PS為同一或實質上為同一的圖片,來作為顯示順序上為開頭圖片的動態圖像。總言之,AR圖像P11 是從靜止圖像PS開始動起來的動態圖像。
此時,由於該AR圖像P11重疊於拍攝顯示圖像Pm的對象區域,因此接收機200可將拍攝顯示圖像Pm顯示成如同真實存在有顯示動態圖像的圖像顯示裝置。
圖266是表示實施形態23的變形例1的接收機200顯示AR圖像的其他例的圖。
發送機100例如如圖266所示,作為站名牌而構成,藉由進行亮度變化來發送光ID。
接收機200如圖266(a)所示,從遠離發送機100的位置拍攝發送機100。藉此,接收機200與上述同樣地取得拍攝顯示圖像Pn及解碼用圖像。接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,接收機200從發送機100接收光ID。接收機200將該光ID發送至伺服器。然後,接收機200從伺服器,取得對應於該光ID的AR圖像P12~P14及辨識資訊。接收機200辨識出拍攝顯示圖像Pn中對應於該辨識資訊的2個區域,來作為第1及第2對象區域。例如接收機200辨識出發送機100周圍的區域,來作為第1對象區域。然後,接收機200將AR圖像P12重疊於該第1對象區域,將重疊有AR圖像P12的拍攝顯示圖像Pn顯示於顯示器201。例如AR圖像P12是對接收機200的使用者催促接近發送機100的箭頭。
此時,由於該AR圖像P12重疊於拍攝顯示圖像Pn的第1對象區域,因此使用者在將接收機200朝向發送機100的狀態下接近發送機100。藉由接收機200如此對發 送機100接近,拍攝顯示圖像Pn中拍到的發送機100的區域(相當於上述基準區域)變大。若該區域的大小為第1閾值以上,則接收機200例如如圖266(b)所示,進一步將AR圖像P13重疊於拍到發送機100的區域,即第2對象區域。總言之,接收機200將重疊有AR圖像P12及P13的拍攝顯示圖像Pn,顯示於顯示器201。例如AR圖像P13是對使用者,通知站名牌所示車站周邊的概要的訊息。又,AR圖像P13與在拍攝顯示圖像Pn拍到的發送機100的區域的大小相等。
又,於此情況,由於箭頭即AR圖像P12重疊於拍攝顯示圖像Pn的第1對象區域,因此使用者在將接收機200朝向發送機100的狀態下接近發送機100。藉由接收機200如此對發送機100接近,拍攝顯示圖像Pn中拍到的發送機100的區域(相當於上述基準區域)進一步變大。若該區域的大小為第2閾值以上,則接收機200例如如圖266(c)所示,將重疊於第2對象區域的AR圖像P13變更為AR圖像P14。進而,接收機200刪除重疊於第1對象區域的AR圖像P12。
總言之,接收機200將重疊有AR圖像P14的拍攝顯示圖像Pn顯示於顯示器201。例如AR圖像P14是對使用者通知站名牌所示車站周邊的細節的訊息。又,AR圖像P14與在拍攝顯示圖像Pn拍到的發送機100的區域的大小相等。接收機200越接近發送機100,該發送機100的區域越大。因此,AR圖像P14大於AR圖像P13。
如此,越接近發送機100,接收機200越增大AR圖像,顯示更多資訊。又,由於顯示如AR圖像P12催促使用者接近的箭頭,因此可讓使用者容易掌握若接近發送機100,會顯示更多資訊。
圖267是表示實施形態23的變形例1的接收機200顯示AR圖像的其他例的圖。
於圖266所示例中,接收機200若接近發送機100,則顯示更多資訊,但亦可是無論與發送機100之間的距離為何,均以例如對話框的形態來顯示更多資訊。
具體而言,接收機200如圖267所示,藉由拍攝發送機100,來與上述同樣地取得拍攝顯示圖像Po及解碼用圖像。接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,接收機200從發送機100接收光ID。接收機200將該光ID發送至伺服器。然後,接收機200從伺服器,取得對應於該光ID的AR圖像P15及辨識資訊。接收機200辨識出拍攝顯示圖像Po中對應於該辨識資訊的區域,來作為對象區域。例如接收機200辨識出發送機100周圍的區域,來作為對象區域。然後,接收機200將AR圖像P15重疊於該對象區域,將重疊有AR圖像P15的拍攝顯示圖像Po顯示於顯示器201。例如AR圖像P15是以對話框的形態,對使用者通知站名牌所示車站周邊的細節概要之訊息。
此時,由於該AR圖像P15重疊於拍攝顯示圖像Po的對象區域,因此接收機200的使用者即使不接近發送機100,仍可使接收機200顯示更多資訊。
圖268是表示實施形態23的變形例1的接收機200的其他例的圖。
接收機200在上述例是作為智慧型手機而構成,但亦可與圖19~圖21及圖258所示例同樣,作為具備影像感測器的頭戴式顯示器(亦稱為眼鏡)而構成。
該類接收機200藉由僅對解碼用圖像的一部分的解碼對象區域進行解碼,來取得光ID。例如接收機200如圖268(a)所示具備視線檢出相機203。視線檢出相機203拍攝配戴了作為接收機200之頭戴式顯示器的使用者的眼部。接收機200根據藉由該視線檢出相機203的拍攝所獲得的眼部的圖像,來檢出該使用者的視線。
接收機200如圖268(b)所示,例如以使用者的視野中檢出的視線所朝向的區域會出現視線框204的方式,來顯示該視線框204。因此,該視線框204會因應使用者視線的運動來移動。接收機200將解碼用圖像中相當於該視線框204內的區域,視為解碼對象區域。總言之,即使解碼用圖像中之解碼對象區域外有明線圖案區域,接收機200仍不對該明線圖案區域進行解碼,僅對解碼對象區域內的明線圖案區域進行解碼。藉此,即使於解碼用圖像有複數個明線圖案區域時,仍不對該等所有明線圖案區域進行解碼,因此可減輕處理負擔,並且可抑制多餘的AR圖像顯示。
又,接收機200亦可於分別用以輸出聲音的複數個明線圖案區域包含於解碼用圖像時,僅將解碼對象 區域內的明線圖案區域解碼,僅輸出對應於該明線圖案區域的聲音。或者,接收機200亦可將解碼用圖像所含的複數個明線圖案區域的各個明線圖案區域解碼,大聲量地輸出對應於解碼對象區域內的明線圖案區域的聲音,小聲量地輸出對應於解碼對象區域外的明線圖案區域的聲音。又,於解碼對象區域外有複數個明線圖案區域時,明線圖案區域越接近解碼對象區域,接收機200亦可越大聲量地輸出對應於該明線圖案區域的聲音。
圖269是表示實施形態23的變形例1的接收機200顯示AR圖像的其他例的圖。
發送機100例如如圖269所示,作為具有顯示面板的圖像顯示裝置而構成,藉由一面於該顯示面板顯示圖像一面進行亮度變化,來發送光ID。
接收機200藉由拍攝發送機100,來與上述同樣地取得拍攝顯示圖像Pp及解碼用圖像。
此時,接收機200從拍攝顯示圖像Pp中,特定出與解碼用圖像的明線圖案區域位於相同位置,且與該明線圖案區域為相同大小的區域。然後,接收機200亦可顯示掃描線P100,其是從該區域的一端向另一端重複移動。
於顯示有該掃描線P100的期間,接收機200藉由對解碼用圖像解碼,來取得光ID,將該光ID發送至伺服器。然後,接收機200從伺服器,取得對應於該光ID的AR圖像及辨識資訊。接收機200辨識出拍攝顯示圖像Pp中 對應於該辨識資訊的區域,來作為對象區域。
若辨識到該類對象區域,接收機200結束掃描線P100的顯示,將AR圖像重疊於該對象區域,將重疊有該AR圖像的拍攝顯示圖像Pp顯示於顯示器201。
藉此,由於從進行發送機100的拍攝後到顯示AR圖像的期間,顯示了移動的掃描線P100,因此可對使用者通知正在進行光ID及AR圖像的讀取等處理。
圖270是表示實施形態23的變形例1的接收機200顯示AR圖像的其他例的圖。
2個發送機100分別例如圖270所示,作為具有顯示面板的圖像顯示裝置而構成,藉由一面於該顯示面板顯示靜止圖像PS,一面進行亮度變化,來發送光ID。於此,2個發送機100分別藉由以互異的態樣進行亮度變化,來發送互異的光ID(例如光ID「01」及「02」)。
接收機200與圖265所示例同樣,藉由拍攝2個發送機100,來取得拍攝顯示圖像Pq及解碼用圖像。接收機200藉由對該解碼用圖像解碼,來取得光ID「01」及「02」。總言之,接收機200從2個發送機100中之一方接收光ID「01」,從另一方接收光ID「02」。接收機200將該等光ID發送至伺服器。然後,接收機200從伺服器,取得對應於該光ID「01」的AR圖像P16及辨識資訊。進而,接收機200從伺服器,取得對應於該光ID「02」的AR圖像P17及辨識資訊。
接收機200辨識出拍攝顯示圖像Pq中對應於 該辨識資訊的區域,來作為對象區域。例如接收機200辨識出拍到2個發送機100各自的顯示面板的區域,來作為對象區域。然後,接收機200將AR圖像P16重疊於與光ID「01」對應的對象區域,將AR圖像P17重疊於與光ID「02」對應的對象區域。然後,接收機200將重疊有AR圖像P16及P17的拍攝顯示圖像Pq顯示於顯示器201。例如AR圖像P16是動態圖像,其與顯示在對應於光ID「01」的發送機100的顯示面板上顯示的靜止圖像PS具有同一或實質上為同一的圖片,來作為顯示順序上的開頭圖片。又,AR圖像P17是動態圖像,其與顯示在對應於光ID「02」的發送機100的顯示面板上顯示的靜止圖像PS具有同一或實質上為同一的圖片,來作為顯示順序上的開頭圖片。總言之,各為動態圖像的AR圖像P16及AR圖像P17的開頭圖片相同。然而,AR圖像P16及AR圖像P17為互異的動態圖像,各自的開頭以外的圖片不同。
因此,由於該類AR圖像P16及AR圖像P17重疊於拍攝顯示圖像Pq,接收機200可將拍攝顯示圖像Pq,顯示成如同真實存在一圖像顯示裝置,其顯示從相同圖片再生的互異的動態圖像。
圖271是表示實施形態23的變形例1的接收機200的處理動作的一例的流程圖。具體而言,圖265所示的發送機100有2個時,由該圖271的流程圖所示的處理動作,為個別拍攝該等發送機100之接收機200的處理動作的一例。
首先,接收機200藉由將第1發送機100作為第1被攝體拍攝,來取得第1光ID(步驟S201)。接著,接收機200從拍攝顯示圖像中,辨識出該第1被攝體(步驟S202)。總言之,接收機200從伺服器,取得對應於第1光ID的第1AR圖像及第1辨識資訊,根據該第1辨識資訊來辨識第1被攝體。然後,接收機200從最初開始再生該第1AR圖像即第1動態圖像(步驟S203)。總言之,接收機200從第1動態圖像的開頭圖片開始再生。
於此,接收機200判定第1被攝體是否從拍攝顯示圖像偏離(步驟S204)。總言之,接收機200判定是否無法從拍攝顯示圖像辨識第1被攝體。於此,若判定第1被攝體從拍攝顯示圖像偏離(步驟S204,Y),則接收機200中斷第1AR圖像即第1動態圖像的再生(步驟S205)。
接著,接收機200判定是否已藉由將不同於第1發送機100的第2發送機100作為第2被攝體拍攝,來取得不同於步驟S201所取得的第1光ID之第2光ID(步驟S206)。於此,接收機200若判定已取得第2光ID(步驟S206,Y),則進行與取得第1光ID時之後續的步驟S202~S203同樣的處理。總言之,接收機200從拍攝顯示圖像中,辨識該第2被攝體(步驟S207)。然後,接收機200從最初開始再生對應於第2光ID的第2AR圖像即第2動態圖像(步驟S208)。總言之,接收機200從第2動態圖像的開頭圖片開始再生。
另,接收機200於步驟S206,若判定未取得 第2光ID(步驟S206,N),則判定第1被攝體是否再次進入拍攝顯示圖像(步驟S209)。總言之,接收機200判定是否從拍攝顯示圖像,再次辨識到第1被攝體。於此,接收機200若判定第1被攝體進入拍攝顯示圖像(步驟S209,Y),則進一步判定是否已經過預先決定的時間(亦即預定時間)(步驟S210)。總言之,接收機200判定從第1被攝體偏離拍攝顯示圖像到再次進入為止,是否已經過預定時間。於此,若判定未經過預定時間(步驟S210,Y),則接收機200從被中斷的第1動態圖像的中途開始再生(步驟S211)。再者,該始於中途的再生開始時,最初顯示的第1動態圖像的圖片即再生重開開頭圖片,亦可為第1動態圖像的再生被中斷時最後顯示的圖片的下一顯示順序的圖片。或者,再生重開開頭圖片亦可是從最後顯示的圖片算起n張(n為1以上的整數)顯示順序前的圖片。
另,若判定已經過預定時間(步驟S210,N),接收機200從被中斷的第1動態圖像的最初開始再生(步驟S212)。
又,於上述例中,接收機200是將AR圖像重疊於拍攝顯示圖像的對象區域,但此時亦可調整AR圖像的明亮度。總言之,接收機200判定從伺服器取得的AR圖像的明亮度,是否與拍攝顯示圖像的對象區域的明亮度一致。然後,接收機200若判定不一致,則藉由調整AR圖像的明亮度,來使該AR圖像的明亮度與對象區域的明亮度一致。然後,接收機200將明亮度經調整的AR圖像,重疊於 拍攝顯示圖像的對象區域。藉此,可使重疊的AR圖像更接近實際存在的物件的圖像,可抑制使用者對AR圖像的不調和感。再者,AR圖像的明亮度為該AR圖像的空間性的平均明亮度,對象區域的明亮度亦為該對象區域的空間性的平均明亮度。
又,接收機200亦可如圖247所示,若點擊AR圖像,則放大該AR圖像,並顯示於顯示器201的全體。又,於圖247所示例中,若AR圖像被點擊,接收機200將該AR圖像切換為其他AR圖像,但亦可無關於點擊,自動地切換AR圖像。例如若顯示有AR圖像的時間經過預先決定的時間,接收機200將該AR圖像切換為其他AR圖像而顯示。又,若現在時刻成為預先決定的時刻,接收機200將目前為止顯示的AR圖像切換為其他AR圖像。藉此,使用者不進行操作,即可簡單地觀看新的AR圖像。
[實施形態23的變形例2]
以下說明實施形態23的變形例2,亦即說明實現利用光ID的AR的顯示方法的變形例2。
圖272是表示就實施形態23或其變形例1的接收機200設想的顯示AR圖像時的課題的一例的圖。
例如實施形態23或其變形例1的接收機200在時刻t1拍攝被攝體。再者,上述被攝體是藉由亮度變化來發送光ID的電視等發送機,或藉由來自該發送機的光所照亮的海報、導覽板或招牌等。其結果,接收機200將藉由影像感測器的有效畫素區域所獲得的圖像全體(以下稱 為全拍攝圖像),作為拍攝顯示圖像而顯示於顯示器201。此時,接收機200辨識出該拍攝顯示圖像中對應於根據光ID所取得的辨識資訊的區域,來作為重疊AR圖像的對象區域。對象區域是例如顯示電視等發送機的像或海報等的像的區域。然後,接收機200將AR圖像重疊於該拍攝顯示圖像的對象區域,將重疊有AR圖像的拍攝顯示圖像顯示於顯示器201。再者,AR圖像為靜止圖或動畫,或是包括1個以上的文字或記號的文字列均可。
於此,接收機200的使用者若為了使AR圖像顯示得較大而接近被攝體,則於時刻t2,對應於影像感測器之對象區域的區域(以下稱為辨識區域)會超出有效畫素區域。再者,辨識區域是影像感測器的有效畫素區域中,拍攝顯示圖像的對象區域的圖像所投影的區域。總言之,影像感測器的有效畫素區域及辨識區域分別相當於顯示器201的拍攝顯示圖像及對象區域。
由於辨識區域超出有效畫素區域,因此接收機200無法從拍攝顯示圖像辨識出對象區域,成為無法顯示AR圖像的狀態。
因此,本變形例的接收機200取得視角比顯示於顯示器201全體的拍攝顯示圖像更廣的圖像,來作為全拍攝圖像。
圖273是表示實施形態23的變形例2的接收機200顯示AR圖像之例的圖。
本變形例的接收機200的全拍攝圖像的視 角,亦即影像感測器的有效畫素區域的視角,比顯示於顯示器201全體的拍攝顯示圖像的視角更廣。再者,於影像感測器,與顯示於顯示器201的圖像範圍相當的區域,以下稱為顯示區域。
例如接收機200在時刻t1拍攝被攝體。其結果,接收機200僅將藉由影像感測器的有效畫素區域所獲得的全拍攝圖像中,藉由比有效畫素區域窄的顯示區域所獲得的圖像,作為拍攝顯示圖像而顯示於顯示器201。此時,接收機200與上述同樣,辨識出該全拍攝圖像中對應於根據光ID所取得的辨識資訊的區域,來作為重疊AR圖像的對象區域。然後,接收機200將AR圖像重疊於該拍攝顯示圖像的對象區域,將重疊有AR圖像的拍攝顯示圖像顯示於顯示器201。
於此,接收機200的使用者若為了使AR圖像顯示得較大而接近被攝體,則影像感測器的辨識區域放大。然後,於時刻t2,該辨識區域超出影像感測器的顯示區域。總言之,對象區域的圖像(例如海報的像等)超出顯示於顯示器201的拍攝顯示圖像。然而,影像感測器的辨識區域不會超出有效畫素區域。總言之,接收機200即使於時刻t2,仍取得包含對象區域的全拍攝圖像。其結果,接收機200可從全拍攝圖像辨識出對象區域,僅於對象區域中位於拍攝顯示圖像內的一部分區域,重疊對應於該區域的AR圖像的一部分,並顯示於顯示器201。
藉此,即使使用者為了使AR圖像顯示得較 大而接近被攝體,對象區域超出拍攝顯示圖像,仍可繼續顯示AR圖像。
圖274是表示實施形態23的變形例2的接收機200的處理動作的一例的流程圖。
接收機200藉由影像感測器拍攝被攝體,來取得全拍攝圖像及解碼用圖像(步驟S301)。接著,接收機200藉由對該解碼用圖像解碼,來取得光ID(步驟S302)。接著,接收機200將該光ID發送至伺服器(步驟S303)。接著,接收機200從伺服器,取得對應於該光ID的AR圖像及辨識資訊(步驟S304)。接著,接收機200辨識出全拍攝圖像中對應於辨識資訊的區域,來作為對象區域(步驟S305)。
於此,接收機200判定影像感測器的有效畫素區域中之對應於該對象區域的圖像的區域,即辨識區域是否超出顯示區域(步驟S306)。於此,若判定超出(步驟S306,Yes),接收機200僅於對象區域中位於拍攝顯示圖像內的一部分區域,顯示對應於該區域的AR圖像的一部分(步驟S307)。另,接收機200若判定未超出(步驟S306,No),接收機200將AR圖像重疊於拍攝顯示圖像的對象區域,顯示重疊有該AR圖像的拍攝顯示圖像(步驟S308)。
然後,接收機200判定是否應結束AR圖像的顯示處理(步驟S309),若判定不應結束(步驟S309,No),重複執行從步驟S305開始的處理。
圖275是表示實施形態23的變形例2的接收 機200顯示AR圖像的其他例的圖。
接收機200亦可依據辨識區域相對於上述顯示區域的大小比率,來切換AR圖像的畫面顯示。
將影像感測器的顯示區域的水平方向的寬度設為w1,將垂直方向的寬度設為h1,將辨識區域的水平方向的寬度設為w2,將垂直方向的寬度設為h2時,接收機將比率(h2/h1)及(w2/w1)中較大的比率,與閾值比較。
例如接收機200在如圖275(畫面顯示1),顯示有AR圖像重疊於對象區域的拍攝顯示圖像時,將該較大的比率與第1閾值(例如0.9)比較。然後,較大的比率為0.9以上時,接收機200如圖275(畫面顯示2),將AR圖像放大顯示於顯示器201的全體。再者,辨識區域大於顯示區域時,進而大於有效畫素區域時,接收機200仍繼續將AR圖像放大顯示於顯示器201的全體。
又,接收機200在例如如圖275(畫面顯示2),將AR圖像放大顯示於顯示器201的全體時,將該較大的比率與第2閾值(例如0.7)比較。第2閾值小於第1閾值。然後,較大的比率為0.7以下時,接收機200如圖275(畫面顯示1),顯示AR圖像重疊於對象區域的拍攝顯示圖像。
圖276是表示實施形態23的變形例2的接收機200的處理動作的其他例的流程圖。
接收機200首先進行光ID處理(步驟S301a)。該光ID處理是包含圖274所示之步驟S301~S304的處理。接著,接收機200辨識出拍攝顯示圖像中對 應於辨識資訊的區域,來作為對象區域(步驟S311)。然後,接收機200將AR圖像重疊於拍攝顯示圖像的對象區域,顯示重疊有該AR圖像的拍攝顯示圖像(步驟S312)。
接著,接收機200判定辨識區域的比率,亦即比率(h2/h1)及(w2/w1)中較大的比率,是否為第1閾值K(例如K=0.9)以上(步驟S313)。於此,若判定非第1閾值K以上(步驟S313,No),接收機200重複執行從步驟S311開始的處理。另,若判定為第1閾值K以上(步驟S313,Yes),接收機200將AR圖像放大顯示於顯示器201的全體(步驟S314)。此時,接收機200將影像感測器的電源週期性地切換為開啟與關閉。藉由週期性地關閉影像感測器的電源,可謀求接收機200的省電化。
接著,接收機200在影像感測器的電源週期性地開啟時,判定辨識區域的比率是否為第2閾值L(例如L=0.7)以下。於此,若判定非第2閾值L以下(步驟S315,No),接收機200重複執行從步驟S314開始的處理。另,若判定為第2閾值L以下(步驟S315,Yes),接收機200將AR圖像重疊於拍攝顯示圖像的對象區域,顯示重疊有該AR圖像的拍攝顯示圖像(步驟S316)。
然後,接收機200判定是否應結束AR圖像的顯示處理(步驟S317),若判定不應結束(步驟S317,No),重複執行從步驟S313開始的處理。
如此,藉由預先使第2閾值L為小於第1閾值K的值,可避免接收機200的畫面顯示在(畫面顯示1)與(畫 面顯示2)頻繁地切換,使畫面顯示的狀態穩定。
再者,於圖275及圖276所示例中,顯示區域與有效畫素區域為同一區域或不同區域均可。又,於該例中是採用辨識區域相對於顯示區域的大小比率,但在顯示區域與有效畫素區域不同時,亦可採用辨識區域相對於有效畫素區域的大小比率,以取代顯示區域。
圖277是表示實施形態23的變形例2的接收機200顯示AR圖像的其他例的圖。
於圖277所示例中,與圖273所示例同樣,接收機200的影像感測器具有比顯示區域更廣的有效畫素區域。
例如接收機200在時刻t1拍攝被攝體。其結果,接收機200僅將藉由影像感測器的有效畫素區域所獲得的全拍攝圖像中,藉由比有效畫素區域窄的顯示區域所獲得圖像,作為拍攝顯示圖像而顯示於顯示器201。此時,接收機200與上述同樣,辨識出該全拍攝圖像中對應於根據光ID所取得的辨識資訊的區域,來作為重疊AR圖像的對象區域。然後,接收機200將AR圖像重疊於該拍攝顯示圖像的對象區域,將重疊有AR圖像的拍攝顯示圖像顯示於顯示器201。
於此,使用者若改變接收機200(具體而言為影像感測器)的方向,影像感測器的辨識區域往例如圖277中左上方移動,於時刻t2超出顯示區域。總言之,對象區域的圖像(例如海報的像等)超出顯示於顯示器201的拍攝 顯示圖像。然而,影像感測器的辨識區域不會超出有效畫素區域。總言之,接收機200即使於時刻t2,仍取得包含對象區域的全拍攝圖像。其結果,接收機200可從全拍攝圖像辨識出對象區域,僅於對象區域中位於拍攝顯示圖像內的一部分區域,重疊對應於該區域的AR圖像的一部分,並顯示於顯示器201。進而,接收機200因應影像感測器的辨識區域的運動,亦即全拍攝圖像的對象區域的運動,來變更顯示的AR圖像的一部分大小及位置。
又,辨識區域如上述般超出顯示區域時,接收機200將對應於有效畫素區域的邊緣與顯示區域的邊緣之間的距離(以下稱為區域間距離)的畫素數,與閾值比較。
例如將對應於有效畫素區域的上邊與顯示區域的上邊之間的距離,及有效畫素區域的下邊與顯示區域的下邊之間的距離之中較短的距離(以下稱為第1距離)的畫素數設為dh。又,將對應於有效畫素區域的左邊與顯示區域的左邊之間的距離,及有效畫素區域的右邊與顯示區域的右邊之間的距離之中較短的距離(以下稱為第2距離)的畫素數設為dw。此時,上述區域間距離為第1及第2距離中較短的距離。
總言之,接收機200將畫素數dw、dh中較小的畫素數,與閾值N比較。然後,例如於時刻t2,若該較小的畫素數為閾值N以下,接收機200固定AR圖像的一部分大小及位置,不因應該影像感測器的辨識區域的位置來變更。亦即,接收機200切換AR圖像的畫面顯示。例如, 接收機200將顯示的AR圖像的一部分大小及位置,固定在該較小的畫素數為閾值N時顯示於顯示器201的AR圖像的一部分大小及位置。
因此,即使於時刻t3,辨識區域進一步移動而超出有效畫素區域,接收機200仍與時刻t2同樣地繼續顯示AR圖像的一部分。亦即,只要畫素數dw、dh中較小的畫素數為閾值N以下,接收機200即與時刻t2時同樣地繼續將大小及位置固定的AR圖像的一部分,重疊於拍攝顯示圖像而顯示。
於圖277所示例中,接收機200是因應影像感測器的辨識區域的移動,來變更顯示的AR圖像的一部分大小及位置,但亦可變更AR圖像全體的顯示倍率及位置。
圖278是表示實施形態23的變形例2的接收機200顯示AR圖像的其他例的圖。具體而言,圖278是表示變更AR圖像的顯示倍率之例。
例如與圖277所示例同樣,若使用者從時刻t1的狀態改變接收機200(具體而言為影像感測器)的方向,影像感測器的辨識區域往例如圖278中左上方移動,於時刻t2超出顯示區域。總言之,對象區域的圖像(例如海報的像等)超出顯示於顯示器201的拍攝顯示圖像。然而,影像感測器的辨識區域不會超出有效畫素區域。總言之,接收機200即使於時刻t2,仍取得包含對象區域的全拍攝圖像。其結果,接收機200可從全拍攝圖像辨識出對象區域。
因此,於圖278所示例中,接收機200變更AR圖像的顯示倍率,以使該AR圖像全體的尺寸,會與對象區域中位於拍攝顯示圖像內的一部分區域的尺寸一致。亦即,接收機200會縮小AR圖像。然後,接收機200將顯示倍率經變更(亦即被縮小)的AR圖像重疊於該區域,並顯示於顯示器201。進而,接收機200因應影像感測器的辨識區域的運動,亦即因應全拍攝圖像的對象區域的運動,來變更顯示的AR圖像的顯示倍率及位置。
又,當辨識區域如上述般超出顯示區域時,接收機200將畫素數dw、dh中較小的畫素數與閾值N比較。然後,例如於時刻t2,若該較小的畫素數為閾值N以下,接收機200固定AR圖像的顯示倍率及位置,不因應該影像感測器的辨識區域的位置來變更。總言之,接收機200切換AR圖像的畫面顯示。例如,接收機200將顯示的AR圖像的顯示倍率及位置,固定在該較小的畫素數為閾值N時顯示於顯示器201的AR圖像的顯示倍率及位置。
因此,即使於時刻t3,辨識區域進一步移動而超出有效畫素區域,接收機200仍與時刻t2同樣地繼續顯示AR圖像。亦即,只要畫素數dw、dh中較小的畫素數為閾值N以下,接收機200即與時刻t2時同樣地繼續將顯示倍率及位置固定的AR圖像,重疊於拍攝顯示圖像並顯示。
再者,於上述例中,比較了畫素數dw、dh中較小者與閾值,但亦可比較該較小的畫素數的比率與閾值。該畫素數dw的比率是例如畫素數dw相對於有效畫素 區域的水平方向的畫素數w0的比率(dw/w0)。同樣地,畫素數dh的比率是例如畫素數dh相對於有效畫素區域的垂直方向的畫素數h0的比率(dh/h0)。又,亦可利用顯示區域的水平方向或垂直方向的畫素數,來表示畫素數dw、dh分別的比率,以取代有效畫素區域的水平方向或垂直方向的畫素數。與畫素數dw、dh的比率比較的閾值為例如0.05。
又,亦可比較畫素數dw、dh中較小的視角與閾值。若有效畫素區域的對角線的畫素數為m,對應於該對角線的視角為θ(例如55°)時,對應於畫素數dw的視角為θ×dw/m,對應於畫素數dh的視角為θ×dh/m。
又,於圖277及圖278所示例中,接收機200是根據有效畫素區域與辨識區域之間的區域間距離,來切換AR圖像的畫面顯示,但亦可根據顯示區域與辨識區域之間的關係,來切換AR圖像的畫面顯示。
圖279是表示實施形態23的變形例2的接收機200顯示AR圖像的其他例的圖。具體而言,圖279是表示根據顯示區域與辨識區域的關係來切換AR圖像的畫面顯示之例。又,於圖279所示例中,與圖273所示例同樣,接收機200的影像感測器具有比顯示區域更廣的有效畫素區域。
例如接收機200在時刻t1拍攝被攝體。其結果,接收機200僅將藉由影像感測器的有效畫素區域所獲得的全拍攝圖像中,藉由比有效畫素區域窄的顯示區域所獲得的圖像,作為拍攝顯示圖像而顯示於顯示器201。此 時,接收機200與上述同樣,辨識出該全拍攝圖像中對應於根據光ID所取得的辨識資訊的區域,來作為重疊AR圖像的對象區域。然後,接收機200將AR圖像重疊於該拍攝顯示圖像的對象區域,將重疊有AR圖像的拍攝顯示圖像顯示於顯示器201。
於此,使用者若改變接收機200的方向,接收機200因應影像感測器的辨識區域的運動,來使AR圖像的位置變更。然後,例如影像感測器的辨識區域往例如圖279中左上方移動,於時刻t2,辨識區域的邊緣的一部分與顯示區域的邊緣的一部分一致。亦即,於顯示於顯示器201的拍攝顯示圖像的角落,配置有對象區域的圖像(例如海報等的像)。其結果,接收機200將AR圖像重疊於位在拍攝顯示圖像的角落的對象區域,並顯示於顯示器201。
然後,辨識區域進一步移動而超出顯示區域時,接收機200將時刻t2所顯示的AR圖像的大小及位置固定不變更。總言之,接收機200切換AR圖像的畫面顯示。
因此,即使於時刻t3,辨識區域進一步移動而超出有效畫素區域,接收機200仍與時刻t2同樣地繼續顯示AR圖像。亦即,接收機200是只要辨識區域不超出顯示區域,接收機200仍將尺寸與時刻t2時相同的AR圖像,重疊在與拍攝顯示圖像的時刻t2時相同的位置而繼續顯示。
如此,於圖279所示例中,接收機200因應辨識區域是否超出顯示區域,來切換AR圖像的畫面顯示。 又,接收機200亦可利用包含顯示區域,且大於該顯示區域、小於有效畫素區域的判定區域,以取代顯示區域。此時,接收機200因應辨識區域是否超出判定區域,來切換AR圖像的畫面顯示。
以上,利用圖273~圖279說明了AR圖像的畫面顯示,但接收機200亦可於無法從全拍攝圖像辨識出對象區域時,將先前剛辨識到的對象區域大小的AR圖像,重疊於拍攝顯示圖像而顯示。
圖280是表示實施形態23的變形例2的接收機200顯示AR圖像的其他例的圖。
再者,於圖243所示例中,接收機200藉由拍攝發送機100所照亮的導覽板107,來與上述同樣地取得拍攝顯示圖像Pe及解碼用圖像。接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,接收機200從導覽板107接收光ID。然而,若導覽板107的表面全體為吸收光的顏色(例如暗色),由於即使由發送機100照亮,其表面仍舊陰暗,因此接收機200有時無法正確接收光ID。又,導覽板107的表面全體即使是如同解碼用圖像(亦即明線圖像)的條紋圖案,接收機200有時仍無法正確接收光ID。
因此,亦可如圖280所示,於導覽板107附近配置反射板109。藉此,接收機200可接受從發送機100藉由反射板109反射的光,亦即從發送機100發送的可見光(具體而言為光ID)。其結果,接收機200可適當接收光ID,顯示AR圖像P5。
[實施形態23的變形例1及2的總結]
圖281A是表示本發明一態樣的顯示方法的流程圖。
本發明一態樣的顯示方法包含步驟S41~S43。
於步驟S41,藉由光的亮度變化發送訊號的發送機,藉由拍攝感測器,將被照明的對象物作為被攝體拍攝,來取得拍攝圖像。於步驟S42,從該拍攝圖像解碼訊號。於步驟S43,從記憶體讀出對應於已解碼的訊號的動態圖像,於拍攝圖像中對應於該被攝體的對象區域,使動態圖像重疊而顯示於顯示器。於此,於步驟S43,從該動態圖像所包含的複數個圖像中之任一圖像,且為包含該對象物的圖像、及顯示時間上位於包含前述對象物的圖像前後預定數的複數個圖像中之任一圖像,來顯示該動態圖像。例如該預定數為10幀。或者,對象物為靜止圖,於步驟S43,從與靜止圖同一的圖像起顯示該動態圖像。再者,開始顯示動態圖像的圖像不限於與靜止圖同一的圖像,亦可是從與該靜止圖同一的圖像、亦即從包含對象物的圖像算起在顯示順序上位於前後預定幀數的圖像。又,對象物不限於靜止圖,亦可為玩偶等。
再者,拍攝感測器及拍攝圖像為例如實施形態23的影像感測器及全拍攝圖像。又,被照明的靜止圖為顯示於圖像顯示裝置的顯示面板的靜止圖像,或藉由來自發送機的光所照亮的海報、導覽板或招牌等均可。
又,該類顯示方法亦可進一步包含:發送步 驟,其將訊號發送至伺服器;及接收步驟,其從伺服器接收對應於該訊號的動態圖像。
藉此,例如如圖265所示,能以如同靜止圖動起來的方式,虛擬現實般地顯示動態圖像,可顯示對使用者有助益的圖像。
又,靜止圖亦可具有預定顏色的外框,本發明一態樣的顯示方法亦可進一步包含辨識步驟,其依據該預定顏色,從拍攝圖像辨識出對象區域。此時,於步驟S43,將動態圖像重調尺寸,以使其與辨識的對象區域的尺寸成為同一尺寸,於拍攝圖像中的對象區域,使重調尺寸的動態圖像重疊而顯示於顯示器。例如預定顏色的外框是圍住靜止圖的白色或黑色的矩形框,藉由實施形態23的辨識資訊來表示。然後,將實施形態23的AR圖像作為動態圖像來重調尺寸並重疊。
藉此,能以如同動態圖像作為被攝體實際存在的方式,更具現實感地顯示該動態圖像。
又,僅有投影於拍攝感測器的拍攝區域中之小於該拍攝區域的區域,即顯示區域的圖像顯示於顯示器。此時,於步驟S43,當在該拍攝區域投影有被攝體的投影區域大於顯示區域時,亦可不將藉由投影區域中超過顯示區域的部分所獲得的圖像顯示於顯示器。於此,例如圖273所示,拍攝區域及投影區域為影像感測器的有效畫素區域及辨識區域。
藉此,例如如圖273所示,即使由於拍攝感 測器接近被攝體即靜止圖,所以藉由投影區域(圖273的辨識區域)所獲得的圖像的一部分未顯示於顯示器,被攝體即靜止圖的全體有時仍會投影於拍攝區域。因此,此情況下,可適當地辨識被攝體即靜止圖,可使動態圖像適當地重疊於拍攝圖像中對應於被攝體的對象區域。
又,例如顯示區域的水平方向及垂直方向分別的寬度為w1及h1,投影區域的水平方向及垂直方向分別的寬度為w2及h2。此時,於步驟S43,亦可當h2/h1或w2/w1的任一個較大值為預定值以上時,將動態圖像顯示於顯示器的全畫面,當h2/h1或w2/w1的任一個較大值小於預定值時,使動態圖像重疊於拍攝圖像中的對象區域而顯示於顯示器。
藉此,例如如圖275所示,若拍攝感測器接近被攝體即靜止圖,由於動態圖像顯示於全畫面,因此使用者無須使拍攝感測器進一步接近靜止圖來使動態圖像顯示得較大。因此,可抑制由於拍攝感測器過於接近靜止圖,而使投影區域(圖275的辨識區域)超出拍攝區域(有效畫素區域),從而無法解碼訊號。
又,本發明一態樣的顯示方法亦可進一步包含控制步驟,其在將動態圖像顯示於顯示器的全畫面時,關閉拍攝感測器的動作。
藉此,例如如圖276的步驟S314所示,藉由關閉拍攝感測器的動作,可抑制拍攝感測器的消耗電力。
又,於步驟S43,由於拍攝感測器移動而無 法從拍攝圖像辨識對象區域時,亦可以與無法辨識前剛辨識的對象區域的尺寸為同一的尺寸,來顯示動態圖像。再者,無法從拍攝圖像辨識對象區域,是指例如對應於被攝體即靜止圖的對象區域之至少一部分,不包含於拍攝圖像的狀況。如此,在無法辨識對象區域時,例如像圖279的時刻t3時一樣,顯示與之前剛辨識過的對象區域的尺寸為同一尺寸的動態圖像。因此,可抑制由於移動了拍攝感測器而未能顯示動態圖像的至少一部分。
又,於步驟S43,在由於拍攝感測器移動,而使對象區域中的僅一部分包含於拍攝圖像中顯示於顯示器的區域時,亦可使對應於該對象區域的一部分之動態圖像的空間區域的一部分,重疊於對象區域的一部分而顯示於顯示器。再者,動態圖像的空間區域的一部分是指構成動態圖像的各圖片中的一部分。
藉此,例如像圖277的時刻t2時一樣,僅有動態圖像(圖277的AR圖像)的空間區域的一部分顯示於顯示器。其結果,可通知使用者拍攝感測器未適當地朝向被攝體即靜止圖。
又,於步驟S43,在由於拍攝感測器移動,而無法從拍攝圖像辨識出對象區域時,亦可繼續顯示無法辨識前剛顯示過的對應於對象區域的一部分之動態圖像的空間區域的一部分。
藉此,例如像圖277的時刻t3時一樣,當使用者將拍攝感測器朝向與被攝體即靜止圖不同的方向時, 動態圖像(圖277的AR圖像)的空間區域的一部分仍繼續顯示。其結果,使用者可容易掌握如何改變拍攝感測器所朝向的方向,以顯示動態圖像的全體。
又,於步驟S43,亦可是拍攝感測器的拍攝區域的水平方向及垂直方向的寬度分別為w0及h0,當拍攝區域內之投影有被攝體的投影區域、與該拍攝區域之間的水平方向及垂直方向分別的距離為dh及dw時,且dw/w0或dh/h0的任一個較小值為預定值以下時,判斷為無法辨識對象區域。再者,投影區域為例如圖277所示的辨識區域。又,於步驟S43,亦可是當對應於拍攝感測器的拍攝區域內投影有被攝體的投影區域、與該拍攝區域之間的水平方向及垂直方向分別的距離之中的較短距離之視角為預定值以下時,判斷無法辨識對象區域。
藉此,可適當判斷是否可辨識對象區域。
圖281B是表示本發明一態樣的顯示裝置構成的方塊圖。
本發明一態樣的顯示裝置A10具備拍攝感測器A11、解碼部A12及顯示控制部A13。
拍攝感測器A11藉由將靜止圖作為被攝體拍攝,來取得拍攝圖像,其中前述靜止圖是由藉由光的亮度變化來發送訊號的發送機所照明。
解碼部A12是從該拍攝圖像解碼訊號的解碼部。
顯示控制部A13從記憶體讀出對應於已解碼 的訊號的動態圖像,於該拍攝圖像中對應於被攝體的對象區域,使該動態圖像重疊而顯示於顯示器。於此,顯示控制部A13是從該動態圖像所含的複數個圖像中與靜止圖為同一圖像的開頭圖像開始,依序顯示該複數個圖像。
藉此,可與上述顯示方法發揮同樣的效果。
又,拍攝感測器A11亦可具有複數個微反射鏡及光感測器,顯示裝置A10亦可進一步具備控制拍攝感測器的拍攝控制部。此時,拍攝控制部特定出拍攝圖像中包含訊號的區域,來作為訊號區域,並控制複數個微反射鏡中對應於經特定的訊號區域的微反射鏡的角度。然後,拍攝控制部使上述光感測器,僅接受來自複數個微反射鏡中之角度經控制的微反射鏡的反射光。
藉此,例如如圖232A所示,即使藉由光的亮度變化來表示的訊號即可見光訊號中包含高頻成分,仍可正確解碼該高頻成分。
再者,於上述實施形態及各變形例中,各構成要件是以專用的硬體構成,或亦可藉由執行適合各構成要件的軟體程式來實現。各構成要件亦可藉由CPU或處理器等之程式執行部,讀出記錄於硬體或半導體記憶體等記錄媒體的軟體程式並執行而實現。例如程式令電腦執行由圖271、圖274、圖276及圖281A的流程圖所示的顯示方法。
以上,根據上述各實施形態及各變形例,說明了一個或複數個態樣的顯示方法,但本發明不限定於該實施形態。只要未脫離本發明的主旨,將熟悉該技藝人士 所想到的各種變形施行於本實施形態後的形態,或組合不同實施形態及變形例來建構的形態,亦可包含於本發明的範圍內。
[實施形態23的變形例3]
以下說明實施形態23的變形例3,亦即實現利用光ID的AR的顯示方法的變形例3。
圖282是表示AR圖像的放大及移動的一例的圖。
接收機200如圖282(a)所示,與上述實施形態23或其變形例1或2同樣,將AR圖像P21重疊於拍攝顯示圖像Ppre的對象區域。然後,接收機200將重疊有該AR圖像P21的拍攝顯示圖像Ppre顯示於顯示器201。例如,AR圖像P21為動態圖像。
於此,接收機200若如圖282(b)所示受理尺寸變更的指示,則因應該指示變更AR圖像P21的尺寸。例如接收機200若受理放大的指示,則因應該指示放大AR圖像P21。尺寸變更的指示是藉由使用者對AR圖像P21例如用雙指縮放操作、雙點擊或長按來進行。具體而言,接收機200若受理用雙指放大的放大指示,則因應該指示來放大AR圖像P21。反之,接收機200若受理用雙指縮小的縮小指示,則因應該指示來縮小AR圖像P21。
又,接收機200若如圖282(c)所示受理位置變更的指示,則因應該指示變更AR圖像P21的位置。位置變更的指示是藉由使用者對AR圖像例如滑動等來進行。具 體而言,接收機200若受理藉由滑動進行位置變更的指示,則因應該指示來變更AR圖像P21的位置。亦即,AR圖像P21移動。
藉此,藉由動態圖像即AR圖像的放大,可使該AR圖像更容易觀看,並且藉由動態圖像即AR圖像的縮小或移動,可向使用者顯示隱藏於AR圖像的拍攝顯示圖像Ppre的區域。
圖283是表示AR圖像的放大的一例的圖。
接收機200如圖283(a)所示,與上述實施形態23或其變形例1或2同樣,將AR圖像P22重疊於拍攝顯示圖像Ppre的對象區域。然後,接收機200將重疊有該AR圖像P22的拍攝顯示圖像Ppre顯示於顯示器201。例如AR圖像P22為記載有文字列的靜止圖像。
於此,接收機200若如圖283(b)所示受理尺寸變更的指示,則因應該指示變更AR圖像P22的尺寸。例如接收機200若受理放大的指示,則因應該指示放大AR圖像P22。尺寸變更的指示與上述同樣,是藉由使用者對AR圖像P22例如用雙指縮放操作、雙點擊或長按來進行。具體而言,接收機200若受理用雙指放大的放大指示,則因應該指示來放大AR圖像P22。藉由該AR圖像P22的放大,可使得記載於AR圖像P22的文字列對使用者而言容易閱讀。
接收機200若如圖283(c)所示進一步受理尺寸變更的指示,則因應該指示變更AR圖像P22的尺寸。例 如接收機200若受理進一步放大的指示,因應該指示進一步放大AR圖像P22。藉由該AR圖像P22的放大,可使得記載於AR圖像P22的文字列對使用者而言更加容易閱讀。
再者,接收機200受理了放大指示時,亦可於因應該指示的AR圖像的放大率為閾值以上時,取得高解析度的AR圖像。此時,接收機200亦可將該高解析度的AR圖像放大至上述放大率,以取代已經顯示的原本的AR圖像。例如接收機200顯示1920×1080畫素的AR圖像,以取代640×480畫素的AR圖像。藉此,能以如同AR圖像在現實中作為被攝體被拍攝的方式,來放大該AR圖像,並且能顯示無法以光學變焦來獲得的高解析度的圖像。
圖284是表示由接收機200所進行有關AR圖像的放大及移動的處理動作的一例的流程圖。
首先,接收機200與圖239的流程圖所示的步驟S101同樣,開始一般曝光時間及通訊用曝光時間的拍攝(步驟S401)。若開始該拍攝,則分別週期性地取得一般曝光時間的拍攝顯示圖像Ppre及通訊用曝光時間的解碼用圖像(亦即明線圖像)Pdec。然後,接收機200藉由解碼該解碼用圖像Pdec,來取得光ID。
接著,接收機200進行AR圖像重疊處理,其包含圖239的流程圖所示的步驟S102~S106的處理(步驟S402)。若進行該AR圖像重疊處理,AR圖像會重疊於拍攝顯示圖像Ppre而顯示。此時,接收機200降低光ID取得率(步驟S403)。光ID取得率是指於步驟S401開始拍攝所獲 得的每單位時間的拍攝圖像的張數中,解碼用圖像(亦即明線圖像)Pdec的張數比率。例如由於光ID取得率下降,每單位時間所獲得的解碼用圖像Pdec的張數,會比每單位時間所獲得的拍攝顯示圖像Ppre的張數少。
接著,接收機200判定是否受理尺寸變更的指示(步驟S404)。於此,若判定受理尺寸變更的指示(步驟S404,Yes),接收機200進一步判定該尺寸變更的指示是否為放大的指示(步驟S405)。若判定尺寸變更的指示為放大的指示(步驟S405,Yes),接收機200進一步判定是否須再次取得AR圖像(步驟S406)。例如接收機200在判斷對應於放大指示的AR圖像的放大率為閾值以上時,判定須再次取得AR圖像。於此,接收機200若判定須再次取得(步驟S406,Yes),從例如伺服器取得高解析度的AR圖像,將重疊顯示的AR圖像置換成該高解析度的AR圖像(步驟S407)。
然後,接收機200因應受理的尺寸變更的指示,變更AR圖像的尺寸(步驟S408)。總言之,於步驟S407取得了高解析度的AR圖像時,接收機200放大該高解析度的AR圖像。又,於步驟S406,判定無須再次取得AR圖像時(步驟S406,No),接收機200放大重疊的AR圖像。又,於步驟S405,若判定尺寸變更的指示為縮小的指示(步驟S405,No),接收機200因應受理的尺寸變更的指示,亦即縮小的指示,來縮小重疊顯示的AR圖像。
另,接收機200在步驟S404若判定不受理尺 寸變更的指示(步驟S404,No),則判定是否受理了位置變更的指示(步驟S409)。於此,若判定受理了位置變更的指示(步驟S409,Yes),接收機200因應該位置變更的指示,變更重疊顯示的AR圖像的位置(步驟S410)。總言之,接收機200使AR圖像移動。又,若判定未受理位置變更的指示(步驟S409,No),接收機200重複執行從步驟S404開始的處理。
若於步驟S408變更AR圖像的尺寸,或於步驟S410變更AR圖像的位置,則接收機200判定從步驟S401開始週期性地取得的光ID是否變得不能取得(步驟S411)。於此,若判定光ID變得不能取得(步驟S411,Yes),接收機200結束關於AR圖像的放大及移動的處理動作。另,若判定現在仍可取得光ID(步驟S411,No),接收機200重複執行從步驟S404開始的處理。
圖285是表示由接收機200所進行的AR圖像的重疊的一例的圖。
接收機200如上述,將AR圖像P23重疊於拍攝顯示圖像Ppre中的對象區域。於此,如圖285所示,AR圖像P23構成為AR圖像P23的各部位越接近AR圖像P23的端部,該部位的穿透率變得越高。穿透率是指重疊的圖像透明地顯示的程度。例如AR圖像全體的穿透率為100%,意味著即使於拍攝顯示圖像的對象區域重疊AR圖像,於顯示器201仍不會顯示該AR圖像,僅顯示對象區域。反之,AR圖像全體的穿透率為0%,意味著於顯示器 201不會顯示拍攝顯示圖像的對象區域,僅顯示重疊於該對象區域的AR圖像。
例如AR圖像P23為矩形時,AR圖像P23的各部位的穿透率是當該部位越接近矩形的上端、下端、左端或右端時越高。更具體而言,該等端部的穿透率為100%。又,於AR圖像P23的中央部分,有小於AR圖像P23且穿透率為0%的矩形區域,於該矩形區域,以英語記載有例如「Kyoto Station」。總言之,於AR圖像P23的周緣部,穿透率如漸層般從0%階段性地變化至100%。
接收機200將該類AR圖像P23,如圖285所示重疊於拍攝顯示圖像Ppre中的對象區域。此時,接收機200使AR圖像P23的尺寸配合對象區域的尺寸,並將該重調尺寸後的AR圖像P23重疊於對象區域。例如於對象區域中,出現背景色與位於AR圖像P23的中央部的矩形區域相同之站名牌的像。再者,於站名牌以日語記載有「京都」。
於此,如上述,AR圖像P23的各部位的穿透率是當該部位越接近AR圖像P23的端部越高。因此,若AR圖像P23重疊於對象區域,即使顯示AR圖像P23的中央部分的矩形區域,該AR圖像P23的端部仍不會顯示,而是顯示對象區域的端部,亦即站名牌的像的端部。
藉此,可使AR圖像P23與對象區域的偏離不醒目。總言之,即使AR圖像P23重疊於對象區域,由於接收機200的運動等,於AR圖像P23與對象區域之間有時會產生偏離。此時,假設AR圖像P23全體的穿透率為0%, 則會顯示AR圖像P23的端部及對象區域的端部,使該偏離變得醒目。然而,於本變形例的AR圖像P23,由於越接近端部,該部位的穿透率越高,因此AR圖像P23的端部不易被顯示,其結果,可使得AR圖像P23與對象區域之間的偏離不醒目。進而,於AR圖像P23的周緣部,穿透率如漸層般地變化,因此可使得AR圖像P23與對象區域的重疊不醒目。
圖286是表示由接收機200進行的AR圖像的重疊的一例的圖。
接收機200如上述,將AR圖像P24重疊於拍攝顯示圖像Ppre中的對象區域。於此,如圖286所示,拍攝的被攝體為例如餐飲店的菜單。該菜單由白框圍住,該白框進而由黑框圍住。總言之,被攝體包含菜單、圍住該菜單的白框、及圍住該白框的黑框。
接收機200辨識出拍攝顯示圖像Ppre中,大於白框的像且小於黑框的像的區域,來作為對象區域。然後,接收機200使AR圖像P24的尺寸配合該對象區域的尺寸,並將該重調尺寸後的AR圖像P24重疊於對象區域。
藉此,即使是重疊的AR圖像P24由於接收機200的運動等而從對象區域偏離時,仍可使該AR圖像P24繼續以被黑框圍住的狀態顯示。因此,可使AR圖像P24與對象區域之間的偏離不醒目。
再者,於圖286所示例中,框的顏色為黑色或白色,但不限定於該等顏色,任何顏色均可。
圖287是表示由接收機200進行的AR圖像的重疊的一例的圖。
例如接收機200將描繪有夜空中被照明的城堡的海報,作為被攝體拍攝。例如該海報是由作為背光而構成的上述發送機100所照亮,藉由該背光來發送可見光訊號(亦即光ID)。接收機200藉由該拍攝,來取得包含該海報即被攝體的像的拍攝顯示圖像Ppre、及對應於該光ID的AR圖像P25。於此,AR圖像P25與描繪有上述城堡的區域被挖空後的海報的像,具有同一形狀。亦即,AR圖像P25中對應於海報的像的城堡的區域被遮罩。進而,AR圖像P25與上述AR圖像P23同樣,構成為AR圖像P25的各部位越接近AR圖像P25的端部,該部位的穿透率越高。又,於AR圖像P25,在穿透率為0%的中央部分,在夜空施放的煙火是作為動畫顯示。
接收機200使該類AR圖像P25的尺寸,配合作為被攝體的像即對象區域的尺寸,並將該重調尺寸後的AR圖像P25重疊於對象區域。其結果,描繪於海報的城堡不是作為AR圖像,而是作為被攝體的像而顯示,進而煙火的動畫是作為AR圖像而顯示。
藉此,可將拍攝顯示圖像Ppre顯示成如同在海報中正在真實地施放煙火。又,AR圖像P25的各部位的穿透率是當該部位越接近AR圖像P25的端部時越高。因此,若於對象區域重疊AR圖像P25,即使顯示AR圖像P25的中央部分,該AR圖像P25的端部仍不會顯示,而是顯示 對象區域的端部。其結果,可使得AR圖像P25與對象區域之間的偏離不醒目。進而,於AR圖像P25的周緣部,穿透率如漸層般地變化,因此可使得AR圖像P25與對象區域的重疊不醒目。
圖288是表示由接收機200進行的AR圖像的重疊的一例的圖。
例如接收機200將構成為電視的發送機100作為被攝體拍攝。具體而言,該發送機100是將夜空中被照明的城堡顯示於顯示器,並發送可見光訊號(亦即光ID)。接收機200藉由該拍攝,來取得拍到發送機100的拍攝顯示圖像Ppre、及對應於該光ID的AR圖像P26。於此,接收機200首先將拍攝顯示圖像Ppre顯示於顯示器201。此時,接收機200亦於顯示器201,顯示催促使用者關燈的訊息m。具體而言,該訊息m為例如「請關閉房間的照明,使房間變暗」。
使用者若依據該訊息m的顯示而關燈,使設置有發送機100的房間變暗時,接收機200將AR圖像P26重疊於拍攝顯示圖像Ppre並顯示。於此,AR圖像P26與拍攝顯示圖像Ppre為相同尺寸,該AR圖像P26中對應於拍攝顯示圖像Ppre的城堡的區域被挖空。總言之,AR圖像P26中對應於拍攝顯示圖像Ppre的城堡的區域被遮罩。因此,可讓使用者從該區域觀看拍攝顯示圖像Ppre的城堡。又,於AR圖像P26中之該區域的周緣部,亦可與上述同樣,穿透率如漸層般從0%階段性地變化至100%。此時,可使拍 攝顯示圖像Ppre與AR圖像P26之間的偏離不醒目。
於上述例中,是將周緣部的穿透率高的AR圖像重疊於拍攝顯示圖像Ppre的對象區域,藉此來使AR圖像與對象區域的偏離不醒目。然而,亦可將與拍攝顯示圖像Ppre相同尺寸且全體為半透明(亦即穿透率為50%)的AR圖像,重疊於拍攝顯示圖像Ppre,用以取代上述AR圖像。此情況下,亦可使AR圖像與對象區域的偏離不醒目。又,亦可在拍攝顯示圖像Ppre全體明亮時,將透明度平均較低的AR圖像重疊於拍攝顯示圖像Ppre,反之,在拍攝顯示圖像Ppre全體陰暗時,將透明度平均較高的AR圖像重疊於拍攝顯示圖像Ppre。
再者,AR圖像P25及AR圖像P26的煙火等物件亦可藉由CG(computer graphics(電腦繪圖))來表現。此時,可不需要遮罩。又,於圖288所示例中,接收機200顯示催促使用者關燈的訊息m,但亦可不進行該類顯示,自動地關燈。例如接收機200藉由Bluetooth(註冊商標)、ZigBee或特定小電力無線台等,對設定有電視即發送機100的照明裝置,輸出關燈訊號。藉此,自動地進行照明裝置的關燈。
圖289A是表示由接收機200的拍攝所獲得的拍攝顯示圖像Ppre的一例的圖。
例如發送機100是作為設置於體育場的大型顯示器而構成。然後,發送機100顯示表示能以光ID進行例如速食或飲料的訂購的訊息,並且發送可見光訊號(亦即 光ID)。若該類訊息顯示,使用者將接收機200朝向發送機100進行拍攝。總言之,接收機200將作為設置於體育場的大型顯示器而構成的發送機100,作為被攝體拍攝。
接收機200藉由該拍攝,來取得拍攝顯示圖像Ppre及解碼用圖像Pdec。然後,接收機200藉由將該解碼用圖像Pdec解碼,來取得光ID,將該光ID及拍攝顯示圖像Ppre發送至伺服器。
伺服器就各光ID,從與該光ID相對應的設置資訊中,特定出與發送自接收機200的光ID相對應之被拍攝的大型顯示器的設置資訊。例如設置資訊是表示大型顯示器設置的位置及方向,及該大型顯示器的大小等。進而,伺服器根據在拍攝顯示圖像Ppre拍到的大型顯示器的大小及方向、及該設置資訊,特定出於體育場進行該拍攝顯示圖像Ppre之拍攝的座位號碼。然後,伺服器使包含該座位號碼的菜單畫面,顯示於接收機200。
圖289B是表示顯示於接收機200的顯示器201的選單畫面的一例的圖。
菜單畫面m1包含例如:輸入欄ma1,其就各商品,輸入有該商品的訂購數;及座位欄mb1,其記載有藉由伺服器來特定的體育場的座位號碼;及訂購按鈕mc1。使用者藉由操作接收機200,於對應於所需商品的輸入欄ma1輸入該商品的訂購數,並選擇訂購按鈕mc1。藉此,確定訂購,接收機200將對應於該輸入結果的訂購內容發送至伺服器。
伺服器若接收該訂購內容,則向體育場的工作人員指示,令其將按照該訂購內容的訂購數的商品,送到如上述所特定的號碼的座位。
圖290是表示接收機200及伺服器的處理動作的一例的流程圖。
接收機200首先拍攝作為體育場的大型顯示器而構成的發送機100(步驟S421)。接收機200將藉由該拍攝所獲得的解碼用圖像Pdec解碼,藉此取得從發送機100發送的光ID(步驟S422)。接收機200將步驟S422所取得的光ID、及藉由步驟S421的拍攝所取得的拍攝顯示圖像Ppre,發送至伺服器(步驟S423)。
伺服器若接收該光ID及拍攝顯示圖像Ppre(步驟S424),則根據該光ID,來特定出設置於體育場的大型顯示器的設置資訊(步驟S425)。例如伺服器就各光ID,保持有表示與該光ID相對應的大型顯示器的設置資訊的表,藉由從該表,搜尋與發送自接收機200的光ID相對應的設置資訊,來特定出該設置資訊。
接著,伺服器根據該經特定的設置資訊、及拍攝顯示圖像Ppre所拍到的大型顯示器的大小及方向,特定出在體育場進行該拍攝顯示圖像Ppre的取得(亦即拍攝)的座位的號碼(步驟S426)。然後,伺服器將包含經特定的座位號碼的菜單畫面m1的URL(Uniform Resource Locator(全球資源定址器)),發送至接收機200(步驟S427)。
接收機200若接收從伺服器發送的菜單畫面m1的URL(步驟S428),則存取該URL,並顯示菜單畫面m1(步驟S429)。於此,使用者藉由操作接收機200,將訂購內容輸入菜單畫面m1,選擇訂購按鈕mc1,以確定訂購。藉此,接收機200將訂購內容發送至伺服器(步驟S430)。
伺服器若接收從該接收機200發送的訂購內容,按照該訂購內容進行接受訂購的處理(步驟S431)。此時,伺服器向體育場的工作人員指示,令其將對應於該訂購內容的訂購數的商品,送到步驟S426所特定的號碼的座位。
如此,由於是根據藉由接收機200的拍攝所獲得的拍攝顯示圖像Ppre,來特定出座位號碼,因此接收機200的使用者在訂購商品時,無須特意輸入座位號碼。因此,使用者可省去座位號碼的輸入,簡單地進行商品訂購。
再者,於上述例中,伺服器雖特定出座位號碼,但亦可由接收機200特定出座位號碼。此時,接收機200從伺服器取得設置資訊,根據該設置資訊、及拍攝顯示圖像Ppre中拍到的大型顯示器的大小及方向,來特定出座位號碼。
圖291是用以說明由接收機1800a再生的聲音音量的圖。
接收機1800a與圖123所示例同樣,接收從例 如作為街頭數位標牌而構成的發送機1800b所發送的光ID(可見光訊號)。然後,接收機1800a與發送機1800b所再生的圖像,在相同時間點再生聲音。總言之,接收機1800a是以與由發送機1800b再生的圖像同步的方式再生聲音。再者,接收機1800a亦可將與發送機1800b再生的圖像(再生圖像)相同的圖像,或與該再生圖像相關連的AR圖像(AR的動態圖像),與聲音一同再生。
於此,接收機1800a在如上述般再生聲音時,是因應與發送機1800b的距離來調整該聲音的音量。具體而言,若與發送機1800b的距離越長,接收機1800a將音量調整到越小,反之,若與發送機1800b的距離越短則將音量調整到越大。
接收機1800a亦可利用GPS(Global Positioning System(全球定位系統))等,來特定出與發送機1800b的距離。具體而言,接收機1800a是從伺服器等,取得與光ID相對應的發送機1800b的位置資訊,進而藉由GPS特定出接收機1800a的位置。然後,接收機1800a將由取自伺服器的位置資訊所示的發送機1800b的位置、與經特定的接收機1800a的位置之間的距離,特定為與上述發送機1800b的距離。再者,接收機1800a亦可利用Bluetooth(註冊商標)等取代GPS,來特定出與發送機1800b的距離。
又,接收機1800a亦可根據藉由拍攝所獲得的上述解碼用圖像Pdec的明線圖案區域的大小,來特定出 與發送機1800b的距離。與圖245及圖246所示例同樣,明線圖案區域是由複數個明線的圖案所組成的區域,前述複數個明線的圖案是藉由接收機1800a之影像感測器所具有的複數條曝光線以通訊用曝光時間進行曝光而出現。該明線圖案區域相當於在拍攝顯示圖像Ppre拍到的發送機1800b的顯示器的區域。具體而言,接收機1800a是當明線圖案區域越大時,特定出越短的距離來作為與發送機1800b的距離,反之,當明線圖案區域越小時,特定出越長的距離來作為與發送機1800b的距離。又,接收機1800a亦可利用表示明線圖案區域的大小與距離的關係的距離資料,於該距離資料中,特定出與拍攝顯示圖像Ppre中的明線圖案區域的大小相對應的距離,來作為與發送機1800b的距離。再者,接收機1800a亦可將如上述般接收的光ID發送至伺服器,從該伺服器取得與該光ID相對應的距離資料。
如此,由於是因應與發送機1800b的距離來調整音量,因此接收機1800a的使用者可如同真實聽到由發送機1800b再生的聲音般,聽到由接收機1800a再生的聲音。
圖292是表示從接收機1800a到發送機1800b的距離與音量的關係圖。
例如與發送機1800b的距離若為L1~L2[m]之間,則音量在Vmin~Vmax[dB]的範圍內,與該距離成比例地增加或減少。具體而言,若與發送機1800b的距離 從L1[m]增長至L2[m],則接收機1800a使音量從Vmax[dB]直線減少至Vmin[dB]。又,即使與發送機1800b的距離短於L1[m],接收機1800a仍將音量維持在Vmax[dB],即使與發送機1800b的距離長於L2[m],仍將音量維持在Vmin[dB]。
如此,接收機1800a記憶最大音量Vmax與輸出該最大音量Vmax的聲音的最長距離L1,及最小音量Vmin與輸出該最小音量Vmin的聲音的最短距離L2。又,接收機1800a亦可因應設定於自身的屬性,來變更該最大音量Vmax、最小音量Vmin、最長距離L1及最短距離L2。例如屬性亦可為使用者的年齡,當該年齡表示高齡時,接收機1800a使最大音量Vmax比基準最大音量大,使最小音量Vmin比基準最小音量大。又,屬性亦可為表示聲音的輸出是從揚聲器進行,亦或從耳機進行的資訊。
如此,由於在接收機1800a設定有最小音量Vmin,因此可抑制由於接收機1800a過於遠離發送機1800b而無法聽到聲音的情況。進而,由於在接收機1800a設定有最大音量Vmax,因此可抑制由於接收機1800a過於接近發送機1800b,而超過需要地輸出大音量的聲音的情況。
圖293是表示由接收機200重疊AR圖像的一例的圖。
接收機200拍攝被照明的招牌。於此,招牌是由發送光ID的上述發送機100即照明裝置所照明。因 此,接收機200藉由該拍攝來取得拍攝顯示圖像Ppre及解碼用圖像Pdec。然後,接收機200藉由解碼解碼用圖像Pdec來取得光ID,從伺服器取得與該光ID相對應的複數個AR圖像P27a~P27c及辨識資訊。接收機200根據辨識資訊,辨識出拍攝顯示圖像Ppre中之拍到招牌的區域m2的周邊,來作為對象區域。
具體而言,接收機200如圖293(a)所示,辨識出與區域m2的左側相接的區域,來作為第1對象區域,於該第1對象區域重疊AR圖像P27a。
接著,接收機200如圖293(b)所示,辨識出包含區域m2的下側的區域,來作為第2對象區域,於該第2對象區域重疊AR圖像P27b。
接著,接收機200如圖293(c)所示,辨識出與區域m2的上側相接的區域,來作為第3對象區域,於該第3對象區域重疊AR圖像P27c。
於此,AR圖像P27a~P27c的各個為例如雪怪的角色的圖像,亦可為動畫。
又,接收機200亦可在繼續重複取得光ID的期間,以預先決定的順序及時序,將要辨識的對象區域切換為第1~第3對象區域中之任一者。總言之,接收機200亦可依第1對象區域、第2對象區域、第3對象區域的順序,來切換辨識的對象區域。或者,接收機200亦可每當取得上述光ID時,以預先決定的順序,將辨識的對象區域切換為第1~第3對象區域中之任一者。總言之,接收機200在 最初取得光ID,並繼續重複取得該光ID的期間,如圖293(a)所示,辨識出第1對象區域,將AR圖像P27a重疊於該第1對象區域。然後,接收機200在已無法取得該光ID時,不顯示AR圖像P27a。接著,接收機200於再次取得光ID時,在繼續重複取得該光ID的期間,如圖293(b)所示,辨識出第2對象區域,將AR圖像P27b重疊於該第2對象區域。然後,接收機200在已無法再次取得該光ID時,不顯示AR圖像P27b。接著,接收機200於再次取得光ID時,在繼續重複取得該光ID的期間,如圖293(c)所示,辨識出第3對象區域,將AR圖像P27c重疊於該第3對象區域。
如此,每當取得光ID就切換辨識的對象區域時,接收機200亦可以每N次(N為2以上的整數)中出現1次的頻繁度,來變更顯示的AR圖像的顏色。N次為AR圖像的顯示次數,亦可為例如200次。總言之,AR圖像P27a~P27c全都同為白色的角色的圖像,但以200次中出現1次的頻繁度來顯示例如粉紅色的角色的AR圖像。接收機200亦可於該粉紅色的角色的AR圖像顯示時,若受理使用者對該AR圖像的操作,則對該使用者賦予點數。
如此,藉由切換重疊AR圖像的對象區域,亦或以預定的頻繁度變更AR圖像的顏色,可吸引使用者對由發送機100所照明的看板產生拍攝的興趣,可讓使用者重複取得光ID。
圖294是表示由接收機200重疊AR圖像的一例的圖。
接收機200具有例如作為所謂尋路系統(Way Finder)的功能,其藉由拍攝在建築物內的複數個通路交叉的位置的地面描繪的記號M4,來提示使用者應前往的前進路線。建築物為例如飯店,提示的前進路線是已進行報到的使用者前往自己房間的前進路線。
記號M4是由照明裝置所照明,前述照明裝置是藉由亮度變化來發送光ID的上述發送機100。因此,接收機200藉由拍攝該記號M4,來取得拍攝顯示圖像Ppre及解碼用圖像Pdec。然後,接收機200藉由將解碼用圖像Pdec解碼,來取得光ID,將該光ID及接收機200的終端資訊發送至伺服器。接收機200從伺服器,取得與該光ID及終端資訊相對應的複數個AR圖像P28及辨識資訊。再者,光ID及終端資訊是在使用者報到時,與複數個AR圖像P28及辨識資訊相對應地儲存於伺服器。
接收機200根據辨識資訊,於拍攝顯示圖像Ppre中拍到記號M4的區域m4的周邊,辨識複數個對象區域。然後,接收機200如圖294所示,於該複數個對象區域的各區域,重疊例如如動物足跡的AR圖像P28而顯示。
具體而言,辨識資訊是在記號M4的位置,表示向右轉的前進路線。接收機200根據該類辨識資訊,特定出拍攝顯示圖像Ppre中的路徑,辨識沿著該路徑排列的複數個對象區域。該路徑是從顯示器201的下側向區域m4前進,在區域m4右轉的路徑。接收機200是以彷彿動物沿著該路徑走過的方式,將AR圖像P28配置於辨識到的複 數個對象區域的各區域。
於此,接收機200在特定拍攝顯示圖像Ppre的路徑時,亦可利用由本身具備的9軸感測器所檢出的地磁。此時,辨識資訊是以地磁的方向為基準來表示在記號M4的位置應前進的方位。例如辨識資訊表示西,來作為在記號M4的位置應前進的方位。接收機200根據該類辨識資訊,於拍攝顯示圖像Ppre中,特定出從顯示器201的下側向區域m4前進,並在區域m4朝向西的路徑。然後,接收機200辨識沿著該路徑排列的複數個對象區域。再者,接收機200是藉由9軸感測器的重力加速度的檢出,來特定出顯示器201的下側。
如此,由於藉由接收機200提示使用者的前進路線,因此使用者若按照該前進路線前進,可簡單地到達目的地。又,由於該前進路線是顯示為拍攝顯示圖像Ppre的AR圖像,因此可向使用者易於理解地提示該前進路線。
再者,作為發送機100的照明裝置藉由以短脈衝的光來照亮記號M4,可一面抑制明亮度,一面適當地發送光ID。又,接收機200雖拍攝了記號M4,但亦可利用配置於顯示器201側的相機(所謂自拍相機)來拍攝照明裝置。又,接收機200亦可拍攝記號M4及照明裝置雙方。
圖295是用以說明由接收機200進行的線掃描時間的求出方式的一例的圖。
接收機200在將解碼用圖像Pdec解碼時,利 用線掃描時間進行解碼。該線掃描時間是從影像感測器所含的1條曝光線的曝光開始之後,到下一曝光線開始曝光為止的時間。接收機200若確認該線掃描時間,則可利用該確認的線掃描時間來將解碼用圖像Pdec解碼。然而,在未確認該線掃描時間時,接收機200從解碼用圖像Pdec求出線掃描時間。
例如接收機200如圖295所示,從解碼用圖像Pdec中構成明線圖案的複數條明線及複數條暗線中,找出最小寬度的線。再者,明線是於發送機100的亮度高時,藉由1條或複數條連續的曝光線分別曝光而產生的解碼用圖像Pdec上的線。又,暗線是於發送機100的亮度低時,藉由1條或複數條連續的曝光線分別曝光而產生的解碼用圖像Pdec上的線。
接收機200若找到該最小寬度的線,特定出對應於該最小寬度的線的曝光線的線數,亦即特定出像素數。當發送機100為了發送光ID而進行亮度變化的載波頻率為9.6kHz時,發送機100的亮度最高的時間或最低的時間最短為104μs。因此,接收機200是藉由將104μs除以經特定的最小寬度的像素數,來算出線掃描時間。
圖296是用以說明由接收機200進行的線掃描時間的求出方式的一例的圖。
接收機200亦可對解碼用圖像Pdec的明線圖案進行傅立葉轉換,根據藉由該傅立葉轉換所獲得的空間頻率,來求出線掃描時間。
例如如圖296所示,接收機200藉由上述傅立葉轉換,導出一頻譜,其表示空間頻率、與解碼用圖像Pdec中該空間頻率的成分的強度之關係。接著,接收機200依序選擇該頻譜所示的複數個峰值的各個峰值。然後,接收機200每當選擇峰值時,算出該選擇的峰值的空間頻率(例如圖296的空間頻率f2)藉由9.6kHz的時間頻率可獲得的線掃描時間,來作為線掃描時間候補。9.6kHz如上述為發送機100的亮度變化的載波頻率。藉此,算出複數個線掃描時間候補。接收機200選擇該等複數個線掃描時間候補中最大似然的候補,來作為線掃描時間。
為了選擇最大似然的候補,接收機200根據拍攝的幀率、及影像感測器所含的曝光線的數目,來算出線掃描時間的容許範圍。總言之,接收機200依據1×106[μs]/{(幀率)×(曝光線數)},來算出線掃描時間的最大值。然後,接收機200將該最大值×常數K(K<1)~最大值,決定為線掃描時間的容許範圍。常數K為例如0.9或0.8等。
接收機200選擇複數個線掃描時間候補中之該容許範圍內的候補,來作為最大似然的候補,亦即作為線掃描時間。
再者,接收機200亦可依據由圖295所示例所算出的線掃描時間是否在上述容許範圍內,來評估該算出的線掃描時間的可靠性。
圖297是用以說明由接收機200進行的線掃 描時間的求出方式的一例的流程圖。
接收機200亦可藉由嘗試解碼用圖像Pdec的解碼,來求出線掃描時間。具體而言,首先,接收機200開始拍攝(步驟S441)。接著,接收機200判定是否已確認線掃描時間(步驟S442)。例如接收機200亦可向使用者通知本身的種類及型式,詢問對應於該種類及型式的線掃描時間,藉此判定是否已確認該線掃描時間。於此,若判定已確認(步驟S442,Yes),接收機200將光ID的基準取得次數設為n(n為2以上的整數,例如4)(步驟S443)。接著,接收機200利用該已確認的線掃描時間,將解碼用圖像Pdec解碼,藉此取得光ID(步驟S444)。此時,接收機200藉由在步驟S441開始的拍攝,對依序取得的複數個解碼用圖像Pdec的各圖像進行解碼,來取得複數個光ID。於此,接收機200判定是否恰以基準取得次數(亦即n次)取得了相同的光ID(步驟S445)。若判定取得了n次(步驟S445,Yes),接收機200信賴該光ID,開始進行利用該光ID的處理(例如AR圖像的重疊)(步驟S446)。另,若判定未取得n次(步驟S445,No),接收機200不信賴該光ID,結束處理。
於步驟S442,若判定線掃描時間未確認(步驟S442,No),接收機200將光ID的基準取得次數設定為n+k(k為1以上的整數)(步驟S447)。總言之,接收機200在線掃描時間未確認時,設定比線掃描時間已確認時更多的基準取得次數。接著,接收機200決定暫時的線掃描時間(步驟S448)。然後,接收機200藉由利用暫訂的線掃描 時間,將解碼用圖像Pdec解碼,來取得光ID(步驟S449)。此時,接收機200與上述同樣,藉由對在步驟S441開始拍攝所依序獲得的複數個解碼用圖像Pdec的各圖像進行解碼,來取得複數個光ID。於此,接收機200判定是否恰以基準取得次數(亦即(n+k)次)取得了相同的光ID(步驟S450)。
若判定取得了(n+k)次(步驟S450,Yes),接收機200判斷暫訂的線掃描時間為正確的線掃描時間。然後,接收機200向伺服器通知接收機200的種類及型式、及該線掃描時間(步驟S451)。藉此,於伺服器,會將接收機的種類及型式、與適合該接收機的線掃描時間相對應地記憶。因此,在相同種類及型式的其他接收機開始拍攝時,其他接收機可藉由向伺服器詢問,來特定出本身的線掃描時間。總言之,其他接收機可於步驟S442的判定中,判定線掃描時間已確認。
然後,接收機200信賴取得(n+k)次的光ID,並開始進行利用該光ID的處理(例如AR圖像的重疊)(步驟S446)。
又,於步驟S450,若判定相同的光ID未取得(n+k)次時(步驟S450,No),接收機200進一步判定是否符合結束條件(步驟S452)。結束條件為例如從開始拍攝經過了預先決定的時間,或者光ID的取得已進行最大取得次數以上等。若判定符合該類結束條件(步驟S452,Yes),接收機200結束處理。另,若判定不符合結束條件(步驟 S452,No),接收機200變更暫訂的線掃描時間(步驟S453)。然後,接收機200利用該變更後的暫訂的線掃描時間,重複執行從步驟S449開始的處理。
如此,即使線掃描時間未確認,接收機200仍可如圖295~圖297所示求出該線掃描時間。藉此,無論接收機200的種類及型式為何,接收機200仍可將解碼用圖像Pdec適當地解碼來取得光ID。
圖298是表示由接收機200重疊AR圖像的一例的圖。
接收機200拍攝構成為電視的發送機100。該發送機100藉由例如一面顯示電視節目,一面進行亮度變化,來週期性地發送光ID及時間碼。時間碼是每次發送時,表示該發送時的時刻的資訊,亦可為例如圖126所示的時間封包。
接收機200藉由上述拍攝,週期性地取得拍攝顯示圖像Ppre及解碼用圖像Pdec。然後,接收機200一面將週期性地取得之拍攝顯示圖像Ppre顯示於顯示器201,一面將解碼用圖像Pdec解碼,藉此取得上述光ID及時間碼。接著,接收機200將該光ID發送至伺服器300。伺服器300若接收該光ID,則將對應於該光ID的聲音資料、AR開始時刻資訊、AR圖像P29及辨識資訊發送至接收機200。
接收機200若取得聲音資料,則使該聲音資料與發送機100拍到的電視節目的影像同步並再生。總言 之,聲音資料包括複數個聲音單位資料,該等複數個聲音單位資料包含時間碼。接收機200是從聲音資料中之聲音單位資料,開始複數個聲音單位資料的再生,該聲音單位資料包含與從發送機100跟光ID一同取得的時間碼表示同一時刻的時間碼。藉此,聲音資料的再生會與電視節目的影像同步。再者,該類聲音與影像的同步,亦可藉由與圖123以後的各圖所示的聲音同步再生同樣的方法來進行。
接收機200若取得AR圖像P29及辨識資訊,則辨識出拍攝顯示圖像Ppre中對應於該辨識資訊的區域,來作為對象區域,將AR圖像P29重疊於該對象區域。例如AR圖像P29是表示接收機200的顯示器201的龜裂之圖像,對象區域是表示拍攝顯示圖像Ppre中橫跨發送機100的像之區域。
於此,接收機200在對應於AR開始時刻資訊的時間點,顯示重疊有如上述的AR圖像P29的拍攝顯示圖像Ppre。AR開始時刻資訊是表示顯示AR圖像P29的時刻的資訊。總言之,接收機200在從發送機100隨時發送的時間碼中、接收到與AR開始時刻資訊表示同一時刻的時間碼的時間點,顯示重疊有上述AR圖像P29的拍攝顯示圖像Ppre。例如由AR開始時刻資訊所示的時刻,在電視節目中是魔法師少女施以冰的魔法的場景登場的時刻。又,於該時刻,接收機200亦可藉由聲音資料的再生,從接收機200的揚聲器,輸出該AR圖像P29產生龜裂的聲音。
藉此,使用者可更具臨場感地收看電視節目 的場景。
又,接收機200亦可於AR開始時刻資訊所示的時刻,使接收機200所具備的振動器振動,或使光源如閃光燈般發光,或使顯示器201瞬間變亮或亮暗。又,AR圖像P29不僅包含表示龜裂的圖像,亦可包含表示顯示器201的結霜凍結的狀態的圖像。
圖299是表示由接收機200重疊AR圖像的一例的圖。
接收機200拍攝例如作為玩具杖而構成的發送機100。該發送機100具備光源,藉由該光源進行亮度變化,來發送光ID。
接收機200藉由上述拍攝,週期性地取得拍攝顯示圖像Ppre及解碼用圖像Pdec。然後,接收機200一面將週期性地取得之拍攝顯示圖像Ppre顯示於顯示器201,一面將解碼用圖像Pdec解碼,藉此取得上述光ID。接著,接收機200將該光ID發送至伺服器300。伺服器300若接收該光ID,則將對應於該光ID的AR圖像P30及辨識資訊發送至接收機200。
於此,辨識資訊進一步包含手勢資訊,其是表示拿持發送機100的人物所做出的手勢(亦即動作)。手勢資訊表示例如人物將發送機100從右往左移動的手勢。接收機200比較各拍攝顯示圖像Ppre所拍到的拿持發送機100的人物所做出的手勢、與手勢資訊所示的手勢。然後,若該等手勢一致,接收機200以例如許多星形之AR圖像 P30沿著因該手勢而移動的發送機100的軌跡排列的方式,將該等AR圖像P30重疊於拍攝顯示圖像Ppre。
圖300是表示由接收機200重疊AR圖像的一例的圖。
接收機200與上述同樣,拍攝例如構成為玩具杖的發送機100。
接收機200藉由該拍攝,週期性地取得拍攝顯示圖像Ppre及解碼用圖像Pdec。然後,接收機200一面將週期性地取得之拍攝顯示圖像Ppre顯示於顯示器201,一面將解碼用圖像Pdec解碼,藉此取得上述光ID。接著,接收機200將該光ID發送至伺服器300。伺服器300若接收該光ID,則將對應於該光ID的AR圖像P31及辨識資訊發送至接收機200。
於此,辨識資訊與上述同樣包含手勢資訊,其是表示拿持發送機100的人物所做出的手勢。手勢資訊表示例如人物將發送機100從右往左移動的手勢。接收機200比較各拍攝顯示圖像Ppre所拍到的拿持發送機100的人物所做出的手勢、與手勢資訊所示的手勢。然後,若該等手勢一致,接收機200例如將表示連衣裙的衣裝的AR圖像P30,重疊於拍攝顯示圖像Ppre中拍出拿持該發送機100的人物的區域,即對象區域。
如此,於本變形例的顯示方法中,從伺服器取得對應於光ID的手勢資訊。接著,判定由週期性取得的拍攝顯示圖像所示的被攝體的運動,是否與取自伺服器的 手勢資訊所示的運動一致。然後,若判定一致時,顯示重疊有AR圖像的拍攝顯示圖像Ppre。
藉此,可因應例如人物等被攝體的運動,來顯示AR圖像。總言之,可於適當的時間點顯示AR圖像。
圖301是表示因應接收機200的姿勢所取得的解碼用圖像Pdec的一例的圖。
例如圖301(a)所示,接收機200以橫向的姿勢,拍攝藉由亮度變化來發送光ID的發送機100。再者,橫向的姿勢是接收機200的顯示器201的長度方向沿著水平方向的姿勢。又,接收機200所具備的影像顯示器的各曝光線,相對於顯示器201的長度方向呈正交。藉由如上述的拍攝,取得包含明線數少的明線圖案區域X的解碼用圖像Pdec。於該解碼用圖像Pdec的明線圖案區域X,明線的數目少。總言之,亮度變化為High(高)或Low(低)的部位少。因此,接收機200有時無法藉由對該解碼用圖像Pdec解碼,適當地取得光ID。
因此,例如如圖301(b)所示,使用者將接收機200的姿勢從橫向改為縱向。再者,縱向的姿勢是接收機200的顯示器201的長度方向沿著垂直方向的姿勢。該類姿勢的接收機200若拍攝發送光ID的發送機100,可取得包含明線數多的明線圖案區域Y的解碼用圖像Pdec。
如此,由於有時無法因應接收機200的姿勢適當地取得光ID,因此令接收機200取得光ID時,可適宜地變更正在進行拍攝的接收機200的姿勢。變更姿勢時, 接收機200可在成為容易取得光ID的姿勢的時間點,適當地取得光ID。
圖302是表示因應接收機200的姿勢所取得的解碼用圖像Pdec的其他例的圖。
例如發送機100作為咖啡廳的數位標牌而構成,於影像顯示期間,顯示關於咖啡廳的廣告的影像,於光ID發送期間,藉由亮度變化來發送光ID。總言之,發送機100交替地重複執行影像顯示期間的影像顯示、與光ID發送期間的光ID發送。
接收機200藉由發送機100的拍攝,週期性地取得拍攝顯示圖像Ppre及解碼用圖像Pdec。此時,依發送機100的影像顯示期間及光ID發送期間的重複週期,與接收機200取得拍攝顯示圖像Ppre及解碼用圖像Pdec的重複週期的同步,有時無法取得包含明線圖案區域的解碼用圖像Pdec。進而,依接收機200的姿勢,有時無法取得包含明線圖案區域的解碼用圖像Pdec。
例如接收機200以圖302(a)所示的姿勢拍攝發送機100。總言之,接收機200接近發送機100,以發送機100的像投影於接收機200的影像感測器全體的方式,拍攝該發送機100。
於此,若接收機200取得拍攝顯示圖像Ppre的時間點是在發送機100的影像顯示期間內,接收機200會適當地取得拍到發送機100的拍攝顯示圖像Ppre。
於此,即使接收機200取得解碼用圖像Pdec 的時間點橫跨發送機100的影像顯示期間及光ID發送期間,接收機200仍可取得包含明線圖案區域Z1的解碼用圖像Pdec。
總言之,影像感測器所含的各曝光線的曝光,是從位於垂直方向上端的曝光線往下側依序開始。因此,於影像顯示期間,即使接收機200為了取得解碼用圖像Pdec而開始影像感測器的曝光,仍無法取得明線圖案區域。然而,若該影像顯示期間切換為光ID發送期間,則可獲得與在該光ID發送期間進行曝光的各曝光線對應的明線圖案區域。
於此,接收機200以圖302(b)所示的姿勢拍攝發送機100。總言之,接收機200離開發送機100,以發送機100的像僅投影於接收機200的影像感測器上側的區域的方式,拍攝該發送機100。此時,與上述同樣,若接收機200取得拍攝顯示圖像Ppre的時間點是在發送機100的影像顯示期間內,接收機200會適當地取得拍到發送機100的拍攝顯示圖像Ppre。然而,若接收機200取得解碼用圖像Pdec的時間點橫跨發送機100的影像顯示期間及光ID發送期間,接收機200有時無法取得包含明線圖案區域的解碼用圖像Pdec。總言之,即使發送機100的影像顯示期間切換為光ID發送期間,亮度變化的發送機100的像有時仍不會投影於,位在影像感測器下側的、於該光ID發送期間進行曝光的各曝光線。因此,無法取得具有明線圖案區域的解碼用圖像Pdec。
另,接收機200如圖302(c)所示,在離開發送機100的狀態下,以發送機100的像僅投影於接收機200的影像感測器下側的區域的方式,拍攝該發送機100。此時,與上述同樣,若接收機200取得拍攝顯示圖像Ppre的時間點是在發送機100的影像顯示期間內,接收機200會適當地取得拍到發送機100的拍攝顯示圖像Ppre。進而,即使接收機200取得解碼用圖像Pdec的時間點橫跨發送機100的影像顯示期間及光ID發送期間,接收機200有時仍可取得包含明線圖案區域的解碼用圖像Pdec。總言之,若發送機100的影像顯示期間切換為光ID發送期間,亮度變化的發送機100的像會投影於,位在影像感測器下側的、於該光ID發送期間進行曝光的各曝光線。因此,可取得具有明線圖案區域Z2的解碼用圖像Pdec。
如此,由於有時無法因應接收機200的姿勢適當地取得光ID,因此接收機200亦可於取得光ID時,催促使用者改變接收機200的姿勢。總言之,接收機200若開始拍攝,為使接收機200的姿勢改變,而進行例如「請移動」或「請晃動」的訊息顯示或聲音輸出。藉此,由於接收機200一面改變姿勢一面進行拍攝,因此可適當地取得光ID。
圖303是表示接收機200的處理動作的一例的流程圖。
例如接收機200判定在拍攝時,接收機200是否被晃動(步驟S461)。具體而言,接收機200根據接收 機200所具備的9軸感測器的輸出,來判定是否被晃動。於此,接收機200若判定拍攝中被晃動(步驟S461,Yes),則提高上述光ID取得率(步驟S462)。具體而言,接收機200取得拍攝中所獲得的每單位時間的所有拍攝圖像,來作為解碼用圖像(亦即明線圖像)Pdec,將取得的所有解碼用圖像的各圖像予以解碼。又,接收機200在取得了所有拍攝圖像來作為拍攝顯示圖像Ppre時,亦即在已停止解碼用圖像Pdec的取得及解碼時,開始該取得及解碼。
另,接收機200若判定拍攝中未被晃動(步驟S461,No),以低光ID取得率取得解碼用圖像Pdec(步驟S463)。具體而言,若光ID取得率在步驟S462被提高,現在仍是高光ID取得率時,由於現在的光ID取得率高,因此接收機200降低該光ID取得率。藉此,由於接收機200進行解碼用圖像Pdec的解碼處理的頻繁度變少,可抑制消耗電力。
然後,接收機200判定是否符合用以結束光ID取得率的調整處理的結束條件(步驟S464),若判定不符合(步驟S464,No),則重複執行從步驟S461開始的處理。另,若接收機200判定符合結束條件(步驟S464,Yes),結束光ID取得率的調整處理。
圖304是表示由接收機200進行的相機鏡頭的切換處理的一例的圖。
接收機200可分別具備廣角鏡頭211及望遠鏡頭212來作為相機鏡頭。藉由利用廣角鏡頭211的拍攝所 獲得的拍攝圖像為視角廣的圖像,於該圖像,較小地拍出被攝體。另,藉由利用望遠鏡頭212的拍攝所獲得的拍攝圖像為視角窄的圖像,於該圖像,較大地拍出被攝體。
如上述的接收機200在進行拍攝時,亦可藉由圖304所示的方法A~E的任一方法,來切換用於拍攝的相機鏡頭。
於方法A,無論在一般拍攝的情況或在接收光ID的情況,接收機200始終使用望遠鏡頭212。於此,一般拍攝的情況是指藉由拍攝,取得所有拍攝圖像來作為拍攝顯示圖像Ppre的情況。又,接收光ID的情況是指藉由拍攝,週期性地取得拍攝顯示圖像Ppre及解碼用圖像Pdec的情況。
於方法B,接收機200在一般拍攝的情況使用廣角鏡頭211。另,在接收光ID的情況,接收機200首先使用廣角鏡頭211。然後,若使用該廣角鏡頭211時取得的解碼用圖像Pdec包含有明線圖案區域時,接收機200將相機鏡頭從廣角鏡頭211切換為望遠鏡頭212。於該切換後,接收機200可取得視角窄,亦即明線圖案區域表示得較大的解碼用圖像Pdec。
於方法C,接收機200在一般拍攝的情況使用廣角鏡頭211。另,在接收光ID的情況,接收機200將相機鏡頭從廣角鏡頭211切換為望遠鏡頭212。總言之,接收機200使用廣角鏡頭211取得拍攝顯示圖像Ppre,使用望遠鏡頭212取得解碼用圖像Pdec。
於方法D,接收機200無論在一般拍攝的情況,或在接收光ID的情況,均因應使用者的操作,來將相機鏡頭切換為廣角鏡頭211與望遠鏡頭212。
於方法E,在接收光ID的情況,接收機200將使用廣角鏡頭211取得的解碼用圖像Pdec解碼,若無法正確解碼,則將相機鏡頭從廣角鏡頭211切換為望遠鏡頭212。又,接收機200將使用望遠鏡頭212取得的解碼用圖像Pdec解碼,若無法正確解碼,則將相機鏡頭從望遠鏡頭212切換為廣角鏡頭211。再者,接收機200在判定是否可正確解碼解碼用圖像Pdec時,首先將藉由對該解碼用圖像Pdec解碼所獲得的光ID,發送至伺服器。若是該光ID與伺服器本身登錄的光ID一致,伺服器將表示一致的一致資訊通知接收機200,若不一致,將表示不一致的不一致資訊通知接收機200。若從伺服器通知的資訊為一致資訊,接收機200判定解碼用圖像Pdec可正確解碼,若從伺服器通知的資訊為不一致資訊,判定解碼用圖像Pdec無法正確解碼。又,在藉由解碼用圖像Pdec的解碼所獲得的光ID符合預先決定的條件時,接收機200判定解碼用圖像Pdec可正確解碼。另,不符合該條件時,接收機200判定解碼用圖像Pdec無法正確解碼。
藉由如此切換相機鏡頭,可取得適當的解碼用圖像Pdec。
圖305是表示由接收機200進行的相機的切換處理的一例的圖。
例如接收機200具備內相機213及外相機(圖305未圖示)來作為相機。內相機213亦稱為面部相機或自拍相機,是與接收機200的顯示器201配置於相同的面的相機。外相機是配置在與接收機200的顯示器201的面相反側的面的相機。
該類接收機200是在將內相機213朝上的狀態下,藉由內相機213拍攝構成為照明裝置的發送機100。藉由該拍攝,接收機200取得解碼用圖像Pdec,藉由對該解碼用圖像Pdec解碼,取得從發送機100發送的光ID。
接著,接收機200將該取得的光ID發送至伺服器,藉此從伺服器取得與該光ID相對應的AR圖像及辨識資訊。接收機200開始進行以下處理:從由外相機及內相機213分別獲得的各拍攝顯示圖像Ppre中,辨識出對應於該辨識資訊的對象區域。於此,接收機200在無法從由外相機及內相機213分別獲得的各拍攝顯示圖像Ppre的任一者辨識出對象區域時,催促使用者移動接收機200。被接收機200催促的使用者移動接收機200。具體而言,使用者以內相機213及外相機朝向使用者的前後方向的方式,移動接收機200。其結果,接收機200從外相機所取得的拍攝顯示圖像Ppre中辨識出對象區域。總言之,接收機200辨識出拍到人的區域來作為對象區域,將AR圖像重疊於拍攝顯示圖像Ppre中之該對象區域,並顯示重疊有該AR圖像的拍攝顯示圖像Ppre。
圖306是表示接收機200及伺服器的處理動 作的一例的流程圖。
接收機200藉由以內相機213拍攝作為照明裝置的發送機100,來取得從該發送機100發送的光ID,將該光ID發送至伺服器(步驟S471)。伺服器從接收機200接收光ID(步驟S472),根據該光ID來推定接收機200的位置(步驟S473)。例如伺服器就各光ID,記憶有用以表示發送該光ID的發送機100所配置的房間、建築物或空間等之表。然後,伺服器將該表中與發送自接收機200的光ID相對應的房間等,推定為接收機200的位置。進而,伺服器將與該推定的位置相對應的AR圖像及辨識資訊,發送至接收機200(步驟S474)。
接收機200取得從伺服器發送的AR圖像及辨識資訊(步驟S475)。於此,接收機200開始進行以下處理:從由外相機及內相機213分別獲得的各拍攝顯示圖像Ppre中,辨識出對應於該辨識資訊的對象區域。然後,接收機200從例如由外相機取得的拍攝顯示圖像Ppre中,辨識出對象區域(步驟S476)。接收機200將AR圖像重疊於拍攝顯示圖像Ppre中的辨識區域,並顯示重疊有該AR圖像的拍攝顯示圖像Ppre(步驟S477)。
再者,於上述例中,接收機200若取得從伺服器發送的AR圖像及辨識資訊,則於步驟S476開始進行以下處理:從由外相機及內相機213分別獲得的各拍攝顯示圖像Ppre中,辨識出對象區域。然而,接收機200亦可於步驟S476,開始進行從外相機獲得的拍攝顯示圖像Ppre 中辨識出對象區域的處理。總言之,亦可使用以取得光ID的相機(於上述例為內相機213)、與用以取得欲重疊AR圖像的拍攝顯示圖像Ppre的相機(於上述例為外相機)始終為不同相機。
又,於上述例中,接收機200是以內相機213拍攝作為照明裝置的發送機100,但亦可以外相機拍攝由發送機100照亮的地面。即使是該類藉由外相機的拍攝,接收機200亦可取得從發送機100發送的光ID。
圖307是表示由接收機200重疊AR圖像的一例的圖。
接收機200拍攝發送機100,前述發送機100是構成為例如設置於便利商店等店鋪的微波爐。該發送機100具備用以拍攝微波爐爐內的相機、及照亮該爐內的照明裝置。然後,發送機100藉由相機的拍攝,來辨識收納於爐內的飲食(亦即加熱對象物)。又,在加熱該飲食時,發送機100藉由使上述照明裝置發光,並且使該照明裝置進行亮度變化,來發送表示辨識到的飲食的光ID。再者,該照明裝置雖照亮微波爐的爐內,但該照明裝置的光是從微波爐之具有穿透性的窗部釋放到外部。因此,光ID是從照明裝置,經由微波爐的窗部往微波爐的外部發送。
於此,使用者在便利商店購買飲食,為了加熱該飲食,將該飲食放入作為微波爐的發送機100。此時,發送機100藉由相機辨識該飲食,一面發送表示該辨識到的飲食的光ID,一面開始飲食的加熱。
接收機200藉由拍攝該開始加熱的發送機100,取得從發送機100發送的光ID,將該光ID發送至伺服器。接著,接收機200從伺服器,取得與該光ID相對應的AR圖像、聲音資料及辨識資訊。
上述AR圖像包含:AR圖像P32a,其為表示發送機100的內部的虛擬狀況的動畫;AR圖像P32b,其詳細表示收納於爐內的飲食;AR圖像P32c,其藉由動畫表示從發送機100飄出水蒸氣的狀況;及AR圖像P32d,其藉由動畫表示到飲食加熱完畢為止的時間。
例如收納於微波爐爐內的飲食若為披薩,AR圖像P32a則為放著披薩的轉盤在旋轉,且複數個小人在該披薩周圍跳舞的動畫。例如收納於爐內的飲食若為披薩,AR圖像P32b則為表示其商品名「披薩」及該披薩的材料的圖像。
接收機200根據辨識資訊,辨識出拍攝顯示圖像Ppre中拍到發送機100的窗部的區域,來作為AR圖像P32a的對象區域,將AR圖像P32a重疊於該對象區域。進而,接收機200根據辨識資訊,辨識出拍攝顯示圖像Ppre中比拍到發送機100的區域更上方的區域,來作為AR圖像P32b的對象區域,將AR圖像P32b重疊於該對象區域。進而,接收機200根據辨識資訊,辨識出拍攝顯示圖像Ppre中,位於AR圖像P32a的對象區域與AR圖像P32b的對象區域之間的區域,來作為AR圖像P32c的對象區域,將AR圖像P32c重疊於該對象區域。進而,接收機200根據辨識資 訊,辨識出拍攝顯示圖像Ppre中比拍到發送機100的區域更下方的區域,來作為AR圖像P32d的對象區域,將AR圖像P32d重疊於該對象區域。
進而,接收機200藉由再生聲音資料,來輸出飲食加熱時產生的聲音。
藉由接收機200顯示如上述的AR圖像P32a~P32d,進而藉由輸出聲音,可吸引使用者對接收機200的興趣,直到飲食的加熱期間完畢為止。其結果,可減輕等待加熱完畢的使用者的負擔。又,藉由顯示表示水蒸氣等之AR圖像P32c,且輸出飲食加熱時產生的聲音,可賦予使用者滋滋作響的感覺。又,藉由AR圖像P32d的顯示,使用者可容易得知飲食加熱完畢為止的剩餘時間。因此,到加熱完畢為止的期間,使用者可例如遠離作為微波爐的發送機100,閱讀陳列在店鋪內的書本等。又,接收機200在剩餘時間成為0時,向使用者通知加熱完畢。
再者,於上述例中,AR圖像P32a是放著披薩的轉盤在旋轉,且複數個小人在該披薩周圍跳舞的動畫,但亦可為例如虛擬地表示爐內的溫度分布的圖像。又,AR圖像P32b是表示收納於爐內的飲食的商品名及材料的圖像,但亦可為表示營養成分或卡路里的圖像。或者,AR圖像P32b亦可為表示折價券的圖像。
如此,於本變形例的顯示方法中,被攝體是具備照明裝置的微波爐,照明裝置是照亮微波爐的爐內,且藉由亮度變化,將光ID向微波爐的外部發送。然後,於 拍攝顯示圖像Ppre及解碼用圖像Pdec的取得中,是藉由拍攝發送光ID的微波爐,來取得拍攝顯示圖像Ppre及解碼用圖像Pdec。於對象區域的辨識中,是辨識出拍攝顯示圖像Ppre中拍到的微波爐的窗部,來作為對象區域。於拍攝顯示圖像Ppre的顯示中,是顯示重疊有表示爐內狀態變化的AR圖像的拍攝顯示圖像Ppre。
藉此,由於微波爐的爐內狀態變化是作為AR圖像而顯示,因此可對微波爐的利用者,易於理解地傳達爐內的狀況。
圖308是表示包含接收機200、微波爐、中繼伺服器及電子結帳用伺服器的系統的處理動作的循序圖。再者,微波爐與上述同樣具備相機及照明裝置,藉由使該照明裝置的亮度變化,來發送光ID。總言之,微波爐具有作為發送機100的功能。
首先,微波爐是藉由相機來辨識收納於爐內的飲食(步驟S481)。接著,微波爐藉由照明裝置的亮度變化,將表示該辨識到的飲食的光ID發送至接收機200。
接收機200藉由拍攝微波爐,來接收從該微波爐發送的光ID(步驟S483),將光ID及保護資訊發送至中繼伺服器。保護資訊是於接收機200預先保存的信用卡等資訊,是電子結帳所需的資訊。
中繼伺服器就各光ID,保持有表示對應於該光ID的AR圖像、辨識資訊及商品資訊的表。該商品資訊是表示由光ID表示的飲食的收費等。該類中繼伺服器若接 收從接收機200發送的光ID及保護資訊(步驟S486),則從上述表找出與該光ID相對應的商品資訊。然後,中繼伺服器將該商品資訊及保護資訊,發送至電子結帳用伺服器(步驟S486)。電子結帳用伺服器若接收從中繼伺服器發送的商品資訊及保護資訊(步驟S487),則根據該商品資訊及保護資訊來進行電子結帳(步驟S488)。然後,若該電子結帳的處理完畢,電子結帳用伺服器將該完畢通知中繼伺服器(步驟S489)。
中繼伺服器若確認來自電子結帳用伺服器的結帳完畢的通知(步驟S490),向微波爐指示開始加熱飲食(步驟S491)。進而,中繼伺服器將上述表中,與步驟S485接收到的光ID相對應的AR圖像及辨識資訊,發送至接收機200(步驟S493)。
微波爐若從中繼伺服器接受開始加熱的指示,則開始加熱收納於爐內的飲食(步驟S492)。又,接收機200若接收從中繼伺服器發送的AR圖像及辨識資訊,則從始於步驟S483的拍攝所週期性地取得的拍攝顯示圖像Ppre中,辨識出對應於該辨識資訊的對象區域。然後,接收機200將AR圖像重疊於該對象區域(步驟S494)。
藉此,接收機200的使用者若於微波爐的爐內放入飲食,進行拍攝,則可簡單地完成結帳,開始加熱飲食。又,在無法結帳時,可禁止使用者加熱飲食。進而,於開始加熱時,可進行圖307所示的AR圖像P32a等之顯示,可向使用者通知爐內的狀況。
圖309是表示包含POS終端、伺服器、接收機200及微波爐的系統的處理動作的循序圖。再者,微波爐與上述同樣具備相機及照明裝置,藉由使該照明裝置的亮度變化,來發送光ID。總言之,微波爐具有作為發送機100的功能。又,POS(point-of-sale(銷售時點情報系統))終端是與微波爐同為設置於便利商店等店鋪的終端。
首先,接收機200的使用者在店鋪選擇商品即飲食,為了購買該飲食而前往設置有POS終端的場所。該店鋪的店員操作POS終端,從使用者收取飲食的費用。因該店員操作POS終端,POS終端取得操作輸入資料及銷售資訊(步驟S501)。銷售資訊是表示例如商品的名稱、個數及價格、銷售場所、及銷售日時。操作輸入資料是表示例如由店員輸入的使用者的性別及年齡層等。POS終端將該操作輸入資料及銷售資訊發送至伺服器(步驟S502)。伺服器接收從POS終端發送的操作輸入資料及銷售資訊(步驟S503)。
另,接收機200的使用者向店員支付飲食的費用後,為了加熱該飲食而將飲食放入微波爐的爐內。微波爐藉由相機來辨識收納於爐內的飲食(步驟S504)。接著,微波爐藉由照明裝置的亮度變化,將表示該辨識到的飲食的光ID發送至接收機200(步驟S505)。然後,微波爐開始加熱飲食(步驟S507)。
接收機200藉由拍攝微波爐,來接收從該微波爐發送的光ID(步驟S508),將光ID及終端資訊發送至伺 服器(步驟S509)。終端資訊是預先保存於接收機200的資訊,其表示例如顯示於接收機200的顯示器201的語言的類別(例如英語或日語等)。
伺服器若被接收機200存取,並接收從接收機200發送的光ID及終端資訊,則判定來自該接收機200的存取是否為最初的存取(步驟S510)。最初的存取是指從步驟S503的處理開始進行時算起,於預定時間內最初進行的存取。於此,伺服器若判定來自該接收機200的存取為最初的存取(步驟S510,Yes),則將操作輸入資料與終端資訊賦予關聯並保存(步驟S511)。
再者,伺服器雖判定來自接收機200的存取是否為最初的存取,但亦可判定銷售資訊所示的商品是否與光ID所示的飲食一致。又,伺服器在步驟S511,不僅可將操作輸入資料與終端資訊賦予關聯,亦可將銷售資訊也與該等賦予關聯並保存。
(在屋內的利用)
圖310是表示在地下街等屋內的利用狀況的的圖。
接收機200接收構成為照明裝置的發送機100所發送的光ID,推定自身的現在位置。又,接收機200在地圖上顯示現在位置並導引路線,亦或顯示附近店鋪的資訊。
緊急時,藉由從發送機100發送災害資訊或避難資訊,即使於通訊擁擠時,或通訊基地台故障時,或來自通訊基地台的電波送不到時,仍可獲得該等資訊。這 對漏聽緊急播放、或無法收聽緊急播放的聽覺障礙者有效。
總言之,接收機200藉由拍攝,來取得從發送機100發送的光ID,進而從伺服器,取得與該光ID相對應的AR圖像P33及辨識資訊。然後,接收機200從藉由上述拍攝所獲得的拍攝顯示圖像Ppre,辨識出對應於辨識資訊的對象區域,將呈箭頭形狀的AR圖像P33重疊於該對象區域。藉此,可將接收機200作為上述尋路系統(參考圖294)來利用。
(擴增實境物件的顯示)
圖311是表示顯示擴增實境物件的狀況的圖。
讓擴增實境顯示的舞台2718e是作為上述發送機100而構成,以發光部2718a、2718b、2718c、2718d的發光樣式或位置樣式,來發送擴增實境物件的資訊、或使擴增實境物件顯示的基準位置。
接收機200根據接收的資訊,將AR圖像即擴增實境物件2718f重疊於拍攝圖像而顯示。
再者,該等概括性或具體的態樣可由裝置、系統、方法、積體電路、電腦程式或電腦可讀取的CD-ROM等記錄媒體來實現,亦可由裝置、系統、方法、積體電路、電腦程式或記錄媒體的任意組合來實現。又,亦可以以下態樣來實現:執行一實施形態的方法的電腦程式是保存於伺服器的記錄媒體,並因應終端的要求而從伺服器配送至終端。
[實施形態23的變形例4]
圖312是表示實施形態23的變形例4的顯示系統的構成圖。
該顯示系統500進行利用了可見光訊號的物體辨識及擴增實境(Augmented Reality/Mixed Reality(擴增實境/混合實境))顯示。
接收機200進行拍攝,並進行可見光訊號的接收、及物體辨識或空間辨識用的特徵量擷取。特徵量擷取是指從藉由拍攝所獲得的拍攝圖像擷取圖像特徵量。再者,可見光訊號亦可為紅外線或紫外線等之可見光鄰接載波訊號。又,於本變形例,接收機200是作為辨識裝置而構成,前述辨識裝置進行顯示有擴增實境感圖像(亦即AR圖像)的對象物的辨識。再者,於圖312所示例中,對象物為例如AR對象物501等。
發送機100將用以識別自身或AR對象物501的ID等資訊,作為可見光訊號或電波訊號而發送。再者,ID為例如上述光ID等識別資訊,AR對象物501為上述對象區域。可見光訊號是藉由發送機100所具有的光源的亮度變化所發送的訊號。
接收機200或伺服器300將發送機100所發送的識別資訊,與AR辨識資訊及AR顯示資訊相關聯並保存。相關聯為1對1或1對多均可。AR辨識資訊為上述辨識資訊,是為了辨識用以進行AR顯示的AR對象物501的資訊。具體而言,AR辨識資訊是AR對象物501的圖像特徵量(SIFT特徵量、SURF特徵量或ORB特徵量等)、顏色、 形狀、大小、反射率、穿透率或三維模型等。又,AR辨識資訊亦可包含辨識資訊或辨識運算法,其表示採用何種辨識手法來進行辨識。AR顯示資訊是用以進行AR顯示的資訊,其為圖像(亦即上述AR圖像)、影像、聲音、三維模型、運動資料、顯示座標、顯示尺寸或穿透率等。又,AR顯示資訊亦可為色相、彩度及明度各自的絕對值或變更比率。
發送機100亦可兼具伺服器300的功能。總言之,發送機100亦可保持有AR辨識資訊及AR顯示資訊,藉由有線或無線通訊來發送該等資訊。
接收機200以相機(具體而言為影像感測器)拍攝圖像。又,接收機200接收可見光訊號、或WiFi或Bluetooth(註冊商標)等電波訊號。又,接收機200亦可取得由GPS等所獲得的位置資訊、由陀螺儀感測器或加速度感測器所獲得的資訊、及來自微音器的聲音等資訊,整合該等所有資訊或一部分資訊,來辨識存在於附近的AR對象物。又,接收機200亦可不整合該等資訊,僅利用某些資訊來辨識AR對象物。
圖313是表示實施形態23的變形例4的顯示系統的處理動作的流程圖。
接收機200首先判定是否已接收可見光訊號(步驟S521)。總言之,例如,接收機200判定是否已藉由拍攝利用光源的亮度變化來發送可見光訊號的發送機100,而取得了表示識別資訊的可見光訊號。此時,藉由該拍攝,取得發送機100的拍攝圖像。
於此,接收機200判定已接收可見光訊號時(步驟S521,Y),從接收的資訊,特定出AR對象物(物體、基準點、空間座標、或空間中的接收機200的位置及方向)。進而,接收機200辨識出AR對象物的相對位置。該相對位置是由接收機200到AR對象物的距離及方向來表示。例如接收機200根據圖244所示的明線圖案區域的大小及位置等,來特定出AR對象物(亦即作為明線圖案區域的對象區域),並辨識出該AR對象物的相對位置。
然後,接收機200將可見光訊號所含的ID等資訊及相對位置,發送至伺服器300,利用該資訊及相位位置作為金鑰,來取得登錄於伺服器300的AR辨識資訊及AR顯示資訊(步驟S522)。此時,接收機200不僅取得辨識到的AR對象物的資訊,亦可同時取得存在於該AR對象物附近的其他AR對象物的資訊(亦即AR辨識資訊及AR顯示資訊)。藉此,在存在於附近的其他AR對象物被該接收機200拍攝時,接收機200可迅速且無誤地辨識該存在於附近的其他AR對象物。例如存在於附近的其他AR對象物與最初辨識到的AR對象物不同。
再者,接收機200亦可從接收機200內的資料庫取得該等資訊,以取代存取伺服器300。接收機200亦可在取得該等資訊時起經過一定時間後,或在特定處理(例如關閉畫面、按下按鈕、結束或停止應用程式、顯示AR圖像、或辨識到別的AR對象物等)之後,捨棄該等資訊。或者,接收機200亦可於取得的複數個資訊的各資訊中,從該資 訊的取得起每經過一定時間,即降低該資訊的可靠性,並利用複數個資訊中可靠性高的資訊。
於此,接收機200亦可根據與各AR對象物的相對位置,來優先取得就該相對位置的關係而言為有效的AR對象物的AR辨識資訊。例如接收機200於步驟S521,藉由拍攝複數個發送機100,來取得複數個可見光訊號(亦即識別資訊),於步驟S522,取得對應於該等複數個可見光訊號的複數個AR辨識資訊(亦即圖像特徵量)。此時,接收機200於步驟S522,選擇複數個AR對象物中,距離進行該等發送機100的拍攝的接收機200最近的AR對象物的圖像特徵量。總言之,該被選擇的圖像特徵量是用於利用可見光訊號所特定的1個AR對象物(亦即第1對象物)之特定。藉此,即使取得複數個圖像特徵量,仍可將適當的圖像特徵量用於第1對象物之特定。
另,接收機200判定未接收可見光訊號時(步驟S521,N),進一步判定是否已經取得AR辨識資訊(步驟S523)。若判定未取得AR辨識資訊(步驟S523,N),接收機200不利用由可見光訊號所示的ID等識別資訊,而是藉由圖像處理,或利用位置資訊或電波資訊等其他資訊,來辨識出AR對象物的候補(步驟S524)。該處理亦可僅於接收機200進行。或者,接收機200亦可將拍攝圖像、或該拍攝圖像的圖像特徵量等資訊,對伺服器300發送,伺服器300辨識該AR對象物的候補。其結果,接收機200從伺服器300或本身的資料庫,取得對應於辨識到的候補之AR辨 識資訊及AR顯示資訊。
於步驟S522之後,接收機200判定是否是以例如圖像辨識等,不利用由可見光訊號所示的ID等識別資訊的其他方法,來檢出AR對象物(步驟S525)。總言之,接收機200判定是否是以複數種方法,辨識到AR對象物。具體而言,接收機200是利用根據可見光訊號所示的識別資訊所取得的圖像特徵量,從拍攝圖像特定出AR對象物(亦即第1對象物)。然後,接收機200判定是否未利用該類識別資訊,而是藉由圖像處理,從拍攝圖像特定出AR對象物(亦即第2對象物)。
於此,接收機200若判定是以複數種方法辨識到AR對象物(步驟S525,Y),則以可見光訊號的辨識結果為優先。總言之,接收機200確認藉由各方法辨識到的AR對象物是否一致。然後,若不一致,接收機200從該等AR對象物中,將拍攝圖像中重疊有AR圖像的1個AR對象物,決定為由可見光訊號辨識到的AR對象物(步驟S526)。總言之,第1對象物與第2對象物不同時,接收機200以第1對象物為優先,將其辨識為顯示有AR圖像的對象物。再者,顯示有AR圖像的對象物為重疊有AR圖像的對象物。
又,接收機200亦可以複數種方法的各方法被賦予的優先順序為基準,以被賦予高優先順序的方法為優先。總言之,接收機200從藉由各方法辨識到的AR對象物中,將拍攝圖像中重疊有AR圖像的1個AR對象物,決定 為藉由例如被賦予最高優先順位的方法所辨識到的AR對象物。又,接收機200亦可藉由多數決定或附有優先度的多數決定,來決定拍攝圖像中重疊有AR圖像的1個AR對象物。依據該處理,若推翻先前的辨識結果,則接收機200進行錯誤應對處理。
接著,接收機200根據取得的AR辨識資訊,辨識出拍攝圖像中的AR對象物的狀態(具體而言為絕對位置、距離接收機200的相對位置、大小、角度、照明狀況或遮蔽等)(步驟S527)。然後,接收機200配合該辨識結果,將AR顯示資訊(亦即AR圖像)重疊於拍攝圖像而顯示(步驟S528)。總言之,接收機200將AR顯示資訊,重疊於拍攝圖像中之辨識到的AR對象物。又,接收機200僅顯示AR顯示資訊。
藉此,可完成僅以圖像處理難以進行的辨識或檢出。該困難的辨識或檢出為例如(僅文字內容不同等)圖像相似的AR對象物的識別、紋路少的AR對象物的檢出、反射率或穿透率高的AR對象物的檢出、形狀或紋路呈變化的AR對象物(例如動物等)的檢出、或來自廣角(各種方向)的AR對象物的檢出。總言之,於本變形例,可進行該等AR對象物的辨識及AR顯示。又,於不利用可見光訊號的圖像處理中,隨著欲辨識的AR對象物變多,圖像特徵量的鄰近搜尋耗費時間,辨識處理耗費時間,且辨識率亦惡化。然而,於本變形例,辨識對象增加所造成的辨識時間增加及辨識率惡化的影像幾乎全無或極小,可有效地辨 識AR對象物。又,藉由利用AR對象物的相對位置,可實現有效率的辨識。例如,藉由利用到AR對象物為止的大致距離,在計算圖像特徵量時,可省去不取決於AR對象物的大小而耗費的處理,或者也可利用取決於大小的特徵。又,利用AR對象物的角度時,一般需要對許多角度進行圖像特徵量的評估,但此時僅需進行對應於該AR對象物的角度之圖像特徵量的保持及計算,可提升計算速度或記憶體效率。
[實施形態23的變形例4的總結]
圖314是表示本發明一態樣的辨識方法的流程圖。
本發明一態樣的顯示方法是顯示有擴增實境感圖像(AR圖像)的對象物的辨識方法,包含步驟S531~535。
於步驟S531,接收機200藉由拍攝利用光源的亮度變化發送可見光訊號的發送機100,來取得識別資訊。識別資訊為例如光ID。於步驟S532,接收機200將該識別資訊發送至伺服器300,從伺服器300取得對應於識別資訊的圖像特徵量。圖像特徵量表示為AR辨識資訊或辨識資訊。
於步驟S533,接收機200利用該圖像特徵量,從發送機100的拍攝圖像特定出第1對象物。於步驟S534,接收機200不利用識別資訊(亦即光ID),而是藉由圖像處理,從發送機100的拍攝圖像特定出第2對象物。
於步驟S535,當步驟S533特定出的第1對象物與步驟S534特定出的第2對象物不同時,接收機200優先 辨識出第1對象物,來作為顯示有擴增實境感圖像的對象物。
例如,擴增實境感圖像、拍攝圖像及對象物分別相當於實施形態23及其各變形例的AR圖像、拍攝顯示圖像、對象區域。
藉此,如圖313所示,即使是利用由可見光訊號所示的識別資訊特定出的第1對象物、與不利用該識別資訊而藉由圖像處理特定出的第2對象物為不同時,仍優先辨識出第1對象物來作為顯示有擴增實境感圖像的對象物。因此,可從拍攝圖像適當地辨識出顯示有擴增實境感圖像的對象物。
又,除了第1對象物的圖像特徵量以外,圖像特徵量亦可包含位於第1對象物附近,且與第1對象物不同的第3對象物的圖像特徵量。
藉此,如圖313的步驟S522所示,不僅取得第1對象物的圖像特徵量,亦取得第3對象物的圖像特徵量,因此之後當第3對象物出現於拍攝圖像時,可迅速特定或辨識出該第3對象物。
又,接收機200有時會於步驟S531,藉由拍攝複數個發送機來取得複數個辨識資訊,並於步驟S532,取得對應於複數個辨識資訊的複數個圖像特徵量。於該類情況下,接收機200亦可在步驟S533,將複數個對象物中,距離進行複數個發送機之拍攝的接收機200最近的對象物的圖像特徵量,用於第1對象物之特定。
藉此,如圖313的步驟S522所示,即使取得複數個圖像特徵量,仍可將適當的圖像特徵量用於第1對象物之特定。
再者,本變形例的辨識裝置例如是上述接收機200所具備的裝置,且具備處理器及記錄媒體。於該記錄媒體,記錄有令處理器執行圖314所示的辨識方法的程式。又,本變形例的程式是令電腦執行圖314所示的辨識方法的程式。
(實施形態24)
圖315是表示本實施形態的可見光訊號的動作模式的一例的圖。再者,本實施形態相當於實施形態20的變形例。
可見光訊號的實體(PHY)層的動作模式如圖315所示存在2個模式。第1個動作模式是進行封包PWM(Pulse Width Modulation,脈衝寬度調變)的模式,第2個動作模式是進行封包PPM(Pulse-Position Modulation,脈衝位置調變)的模式。上述各實施形態或其變形例涉及的發送機藉由按照該任一個動作模式來調變發送對象之訊號,生成可見光訊號並發送。
在封包PWM的動作模式中,不進行RLL(Run-Length Limited,連續長度限制)編碼,光時脈頻率為100kHz,反覆進行前向糾錯(FEC)編碼,典型的資料速率是5.5kbps。
在該封包PWM中,對脈衝寬度進行調變,脈衝由2個明亮度的狀態來表示。2個明亮度的狀態是亮的 狀態(Bright或High)和暗的狀態(Dark或Low),典型而言是光的通(ON)和斷(OFF)。被稱為封包(也稱為PHY封包)的實體層的訊號的資料塊(chunk)與MAC(medium access control,媒體存取控制)訊框對應。發送機反覆發送PHY封包,無關於特別的順序而能夠發送多個PHY封包的組(set)。
此外,該封包PWM例如是上述的圖188、圖189A的(b)以及圖197等所示的調變。另外,封包PWM被用於從一般的發送機發送的可見光訊號的生成。
在封包PPM的動作模式中,不進行RLL編碼,光時脈頻率為100kHz,反覆進行前向糾錯(FEC)編碼,典型的資料速率是8kbps。
在該封包PPM中,對短的時間長的脈衝的位置進行調變。也即是,該脈衝是亮的脈衝(High)和暗的脈衝(Low)中的亮的脈衝,該脈衝的位置被進行調變。另外,該脈衝的位置由脈衝與下一個脈衝之間的區間來表示。
封包PPM實現深度的調光。未在本實施形態及其變形例中說明的封包PPM中的格式、波形以及特徵,與封包PWM是同樣的。此外,該封包PPM例如是上述的圖189B、圖199以及圖213等所示的調變。另外,封包PPM被用於從具有非常明亮地發光的光源的發送機發送的可見光訊號的生成。
另外,在封包PWM以及封包PPM各自中, 可見光訊號的實體層中的調光是藉由可選(optional)欄位的平均亮度來控制。
<封包PWM的PPDU格式>
在此,對PPDU(physical-layer data unit,實體層資料單元)的格式進行說明。
圖316是示出封包PWM的模式1下的PPDU格式的一例的圖。圖317是示出封包PWM的模式2下的PPDU格式的一例的圖。圖318是示出封包PWM的模式3下的PPDU格式的一例的圖。
在模式1以及模式2下,如圖316以及圖317所示,藉由封包PWM而調變的封包包含PHY酬載A、SHR(synchronization header,同步標頭)、PHY酬載B和可選欄位。SHR是相對於PHY酬載A以及PHY酬載B的標頭。此外,將PHY酬載A以及PHY酬載B分別總稱為PHY酬載。
另外,在模式3下,如圖318所示,藉由封包PWM而調變的封包包含SHR、PHY酬載、SFT(synchronization footer,同步註腳)和可選欄位。SHT是相對於PHY酬載的標頭,SFT是相對於PHY酬載的註腳。
在模式1~3的各模式下,在PHY酬載A、SHR、PHY酬載B以及SFT中,作為互不相同的亮度值的第1以及第2亮度值分別沿時間軸上交替地出現。第1亮度值是Bright或High,第2亮度值是Dark或Low。
在此,封包PWM的SHR包含2個或4個脈衝。這些脈衝是Bright或Dark的明亮度的脈衝。
圖319是示出封包PWM的模式1~3的各模式下的SHR中的脈衝寬度的樣式的一例的圖。
如圖319所示,在封包PWM的模式1下,SHR包含2個脈衝。該2個脈衝中發送順序為第1個脈衝的脈衝寬度H1為100μ秒,第2個脈衝的脈衝寬度H2為90μ秒。在封包PWM的模式2下,SHR包含4個脈衝。該4個脈衝中發送順序為第1個脈衝的脈衝寬度H1為100μ秒,第2個脈衝的脈衝寬度H2為90μ秒,第3個脈衝的脈衝寬度H3為90μ秒,第4個脈衝的脈衝寬度H4為100μ秒。在封包PWM的模式3下,SHR包含4個脈衝。該4個脈衝中發送順序為第1個脈衝的脈衝寬度H1為50μ秒,第2個脈衝的脈衝寬度H2為40μ秒,第3個脈衝的脈衝寬度H3為40μ秒,第4個脈衝的脈衝寬度H4為50μ秒。
PHY酬載是在模式1下,作為發送對象之訊號而包含6位元的資料(即x0-x5),在模式2下,作為發送對象之訊號而包含12位元的資料(即x0-x11)。另外,PHY酬載是在模式3下,作為發送對象之訊號而包含可變位元數的資料(即x0-xn)。n為1以上的整數,但更具體而言是從3的倍數減去1而得到的整數。
在此,參數yk被定義為yk=yk=x3k+x3k+1×2+x3k+2×4。在模式1下,k為0或1,在模式2下,k為0、1、2或3。在模式3下,k為0~{(n+1) /3-1}的整數。
在模式1以及模式2的各模式下,PHY酬載A所包含的發送對象之訊號是藉由脈衝寬度PAk=120+30×(7-yk)[μ秒]而被調變成2個脈衝寬度PA1以及PA2或4個脈衝寬度PA1~PA4。PHY酬載B所包含的發送對象之訊號是藉由脈衝寬度PBk=120+30×yk[μ秒]而被調變成2個脈衝寬度PB1以及PB2或4個脈衝寬度PB1~PB4
另外,在模式3下,PHY酬載所包含的發送對象之訊號是藉由脈衝寬度Pk=100+20×yk[μ秒]而被調變成(n+1)/3個脈衝寬度P1、P2、......。
在模式1以及模式2下,包含PHY酬載A和PHY酬載B的全部酬載中的一半是可選的。也即是,發送機既可以發送PHY酬載A以及PHY酬載B,也可以僅發送PHY酬載A和PHY酬載B之一。進而,發送機也可以發送PHY酬載A的僅一部分和PHY酬載B的僅一部分。具體而言,發送機在模式2下,也可以發送PHY酬載A中脈衝寬度PA3的脈衝以及脈衝寬度PA4的脈衝、和PHY酬載B中脈衝寬度PB1的脈衝以及脈衝寬度PB2的脈衝。
模式3的SFT包含脈衝寬度F1~F4分別為40μ秒、50μ秒、60μ秒以及40μ秒的4個脈衝。另外,SFT是可選的。因此,發送機也可以取代SFT而發送下一個SHR。
發送機也可以發送任何種類的訊號來作為可選欄位所包含的訊號。但是,該訊號不能包含SHR的樣 式。這樣的可選欄位被用於直流電流的補償或調光控制等。
<封包PPM的PPDU格式>
圖320是示出封包PPM的模式1下的PPDU格式的一例的圖。圖321是示出封包PPM的模式2下的PPDU格式的一例的圖。圖322是示出封包PPM的模式3下的PPDU格式的一例的圖。
在模式1以及模式2下,如圖320以及圖321所示,藉由封包PPM而調變的封包包含SHR、PHY酬載和可選欄位。SHR是相對於PHY酬載的標頭。
另外,在模式3下,如圖322所示,藉由封包PPM而調變的封包包含SHR、PHY酬載、SFT和可選欄位。SFT是相對於PHY酬載的註腳。
在模式1~3的各模式下,在SHR、PHY酬載以及SFT中,作為互不相同的亮度值的第1以及第2亮度值分別沿時間軸上交替地出現。第1亮度值是Bright或High,第2亮度值是Dark或Low。
封包PPM中的短且亮的脈衝的時間長(圖320~圖322中的L)比10μ秒短。藉此,能夠抑制可見光訊號的平均亮度而變暗。
封包PPM的SHR的時間長包含3個區間H1~H3。3個區間H1~H3分別是連續的4個脈衝(具體是上述的亮的脈衝)的區間。
圖323是示出封包PPM的模式1~3的各模式下的SHR中的區間的樣式的一例的圖。
如圖323所示,在封包PPM的模式1下,3個區間H1~H3分別為160μ秒。在封包PWM的模式2下,3個區間H1~H3中的第1個區間H1為160μ秒,第2個區間H2為180μ秒,第3個區間H3為160μ秒。在封包PPM的模式3下,3個區間H1~H3中的第1個區間H1為80μ秒,第2個區間H2為90μ秒,第3個區間H3為80μ秒。
PHY酬載是在模式1下,作為發送對象之訊號而包含6位元的資料(即x0-x5),在模式2下,作為發送對象之訊號而包含12位元的資料(即x0-x11)。另外,PHY酬載是在模式3下,作為發送對象之訊號而包含可變位元數的資料(即x0-xn)。n為5以上的整數,但更具體而言是從3的倍數減去1而得到的整數。
在此,參數yk被定義為yk=yk=x3k+x3k+1×2+x3k+2×4。在模式1下,k為0或1,在模式2下,k為0、1、2或3。在模式3下,k為0~{(n+1)/3-1}的整數。
在模式1以及模式2的各模式下,PHY酬載所包含的發送對象之訊號是藉由區間Pk=180+30×yk[μ秒]而被調變成2個區間P1以及P2或4個區間P1~P4
另外,在模式3下,PHY酬載所包含的發送對象之訊號是藉由區間Pk=100+20×yk[μ秒]被調變成(n+1)/3個區間P1、P2、......。在模式3下,可在SFT或下一個SHR之前發送接下來的PHY酬載。
另外,模式3的SFT包含3個區間F1~F3,區 間F1~F3分別為90μ秒、80μ秒以及90μ秒。另外,SFT是可選的。因此,發送機也可以取代SFT而發送下一個SHR。
發送機也可以發送任意種類的訊號來作為可選欄位所包含的訊號。但是,該訊號不能包含SHR的樣式。這樣的可選欄位被用於直流電流的補償或調光控制等。
<PHY訊框格式>
以下,對封包PWM以及封包PPM各自的模式1下的PHY訊框進行說明。
PHY酬載如上述那樣包含6位元的資料(即x0-x5)。包含該資料的封包之封包位址A(a0,a1)由(x1,x4)來表示。並且,封包資料D(d0,d1,d2,d3)由(x0,x2,x3,x5)來表示。作為上述MAC訊框的PHY訊框由包含4個封包的封包資料D00、D01、D10、D11之16位元構成。在此,封包資料Dk是具有表示k之位址A的封包的封包資料D。
在此,如上所述,6位元(x0-x5)中的2位(x1,x4)被用於封包位址A(a0,a1)。藉此,能夠縮短6位元的PHY酬載的時間長,其結果是,能夠將可見光訊號發送至遠方。也即是,6位元(x0-x5)中的2位元(x2,x5)分別未被用於封包位址A,因此能夠設為0。另外,對於該2位元(x2,x5),是藉由上述的yk=x3k+x3k+1×2+x3k+2×4而乘以大的係數4,基於該乘法運算結果來決定脈衝寬度或區間。因此,在該2位元(x2,x5)分別為0的情況下,能夠縮短PHY酬載的時間長,其結果是,能夠延長可見光 訊號的發送距離。
另外,6位元(x0-x5)中的2位元(x0,x3)分別未被用於封包位址A,因此能夠抑制接收錯誤。也即是,6位元(x0-x5)中的2位元(x0,x3)對上述的參數yk(x3k+x3k+1×2+x3k+2×4)造成的影響小。因此,如果將該2位元(x0,x3)用於封包位址A,則存在如下可能性:即使針對互不相同的封包位址A,也會決定相同的參數yk的數值、即相同的脈衝寬度或區間。其結果是,接收機有時會弄錯封包位址A。相比於弄錯封包資料的一部分,弄錯封包位址A會使PHY訊框的接收錯誤率更大。因此,藉由將6位元(x0-x5)中的2位元(x1,x4)而非(x0,x3)分別用於封包位址A,能夠抑制接收錯誤。
可是,MPDU(medium-access-control protocol-data unit,媒體存取控制協定資料單元)具有相對於PHY訊框非常大的開銷(overhead),其大部分欄位相對於短且反覆的MSDU(medium-access-control service-data unit,媒體存取控制服務資料單元)而言是不需要的。因此,PHY訊框不具有MHR(medium-access-control header,媒體存取控制標頭),MFR(medium-access-control footer,媒體存取控制註腳)是可選的。
接著,對封包PWM和封包PPM各自的模式2下的PHY訊框進行說明。
圖324是示出PHY酬載所包含的12位元的資 料的一例的圖。
PHY酬載如上述那樣包含12位元的資料(即x0-x11)。該資料由封包位址A(a0-a3的全部或一部分)、封包資料Da(da0-da6的全部或一部分)、封包資料Db(db0-db3的全部或一部分)和停止位元S(s)構成。
也即是,如圖324所示,3位元(x0,x1,x2)表示(da0,s,db0),3位元(x3,x4,x5)表示(da1,a0或da6,db1)。進而,3位元(x6,x7,x8)表示da2,a1或da5,db2),3位元(x9,x10,x11)表示(da3,a2或da4,a3或db3)。
此外,圖324所示的12位元的資料與圖215所示的資料相同。也即是,圖215所示的碼w1、w2、w3以及w4分別相當於3位元(x0,x1,x2)、(x3,x4,x5)、(x6,x7,x8)以及(x9,x10,x11)。
位元x4、x7、x10以及x11按照封包分割規則,被用於封包位址和封包資料中的某一方。
圖325~圖332是示出將PHY訊框分割到封包的處理的圖。此外,圖325~圖332所示的處理與圖216~圖226所示的封包的生成的處理是同樣的,但在藉由分割而生成的封包中不包含同位這一點上,不同於圖216~圖226所示的處理。另外,圖325~圖332所示的各框內的從上數起第2行的數值表示位元大小,從上數起第3行的數值表示位元的值(0或1)。
圖325是示出將PHY訊框包含在1個封包內 的處理的圖。也即是,圖325示出不分割PHY訊框而將該PHY訊框所包含的7位元的資料包含在1個封包內的處理。
具體而言,PHY訊框的7位元中由4位元構成的封包資料Da(0)和由3位元構成的封包資料Db(0),與1位元的停止位元和4位元的封包位址一起包含在封包0中。該停止位元表示「1」,封包位址表示「0000」。
圖326是示出將PHY訊框分割到2個封包的處理的圖。
PHY訊框的18位元中由7位元構成的封包資料Da(0)和由4位元構成的封包資料Db(0),與1位元的停止位元一起包含在封包0中。該停止位元表示「0」。另外,PHY訊框的18位元中由4位元構成的封包資料Da(1)和由3位元構成的封包資料Db(1),與1位元的停止位元和4位元的封包位址一起包含在封包1中。該停止位元表示「1」,封包位址表示「1000」。
圖327示出將PHY訊框分割到3個封包的處理的圖。
PHY訊框的27位元中由6位元構成的封包資料Da(0)和由4位元構成的封包資料Db(0),與1位元的停止位元和1位元的封包位址一起包含在封包0中。該停止位元表示「0」,封包位址表示「0」。另外,PHY訊框的27位元中由6位元構成的封包資料Da(1)和由4位元構成的封包資料Db(1),與1位元的停止位元和1位元的封包位址一起包含在封包1中。該停止位元表示「0」,封包 位址表示「1」。進而,PHY訊框的27位元中由4位元構成的封包資料Da(2)和由3位元構成的封包資料Db(2),與1位元的停止位元和4位元的封包位址一起包含在封包2中。該停止位元表示「1」,封包位址表示「0100」。
圖328是示出將PHY訊框分割到4個封包的處理的圖。
PHY訊框的34位元中由5位元構成的封包資料Da(0)和由4位元構成的封包資料Db(0),與1位元的停止位元和2位元的封包位址一起包含在封包0中。該停止位元表示「0」,封包位址表示「00」。另外,PHY訊框的34位元中由5位元構成的封包資料Da(1)和由4位元構成的封包資料Db(1),與1位元的停止位元和2位元的封包位址一起包含在封包1中。該停止位元表示「0」,封包位址表示「10」。另外,PHY訊框的34位元中由5位元構成的封包資料Da(2)和由4位元構成的封包資料Db(2),與1位元的停止位元和2位元的封包位址一起包含在封包2中。該停止位元表示「0」,封包位址表示「01」。進而,PHY訊框的34位元中由4位元構成的封包資料Da(3)和由3位元構成的封包資料Db(3),與1位元的停止位元和4位元的封包位址一起包含在封包3中。該停止位元表示「1」,封包位址表示「1100」。
圖329是示出將PHY訊框分割到5個封包的處理的圖。
PHY訊框的43位元中由5位元構成的封包資 料Da(0)和由4位元構成的封包資料Db(0),與1位元的停止位元和2位元的封包位址一起包含在封包0中。該停止位元表示「0」,封包位址表示「00」。同樣地,在封包1~封包3中,也包含有由5位元構成的封包資料Da和由4位元構成的封包資料Db,以及1位元的停止位元和2位元的封包位址。這些封包的停止位元表示「0」。進而,PHY訊框的34位元中由4位元構成的封包資料Da(4)和由3位元構成的封包資料Db(4),與1位元的停止位元和4位元的封包位址一起包含在封包4中。該停止位元表示「1」,封包位址表示「0010」。
圖330是示出將PHY訊框分割到N個(N=6、7或8)封包的處理的圖。
PHY訊框的(8N-1)位元中由4位元構成的封包資料Da(0)和由4位元構成的封包資料Db(0),與1位元的停止位元和3位元的封包位址一起包含在封包0中。該停止位元表示「0」,封包位址表示「000」。同樣地,在封包1~封包(N-2)中,也包含有由4位元構成的封包資料Da和由4位元構成的封包資料Db,以及1位元的停止位元和3位元的封包位址。這些封包的停止位元表示「0」。進而,PHY訊框的(8N-1)位元中由4位元構成的封包資料Da(N-1)和由3位元構成的封包資料Db(N-1),與1位元的停止位元和4位元的封包位址一起包含在封包(N-1)中。該停止位元表示「1」。
圖331是示出將PHY訊框分割到9個封包的 處理的圖。
PHY訊框的71位元中由4位元構成的封包資料Da(0)和由4位元構成的封包資料Db(0),與1位元的停止位元和3位元的封包位址一起包含在封包0中。該停止位元表示「0」,封包位址表示「000」。同樣地,在封包1~封包7中,也包含有由4位元構成的封包資料Da和由4位元構成的封包資料Db,以及1位元的停止位元和3位元的封包位址。這些封包的停止位元表示「0」。進而,PHY訊框的71位元中由4位元構成的封包資料Da(8)和由3位元構成的封包資料Db(8),與1位元的停止位元和4位元的封包位址一起包含在封包8中。該停止位元表示「1」,封包位址表示「0001」。
圖332是示出將PHY訊框分割到N個(N=10~16)封包的處理的圖。
PHY訊框的7N位元中由4位元構成的封包資料Da(0)和由3位元構成的封包資料Db(0),與1位元的停止位元和4位元的封包位址一起包含在封包0中。該停止位元表示「0」,封包位址表示「0000」。同樣地,在封包1~封包(N-2)中,也包含有由4位元構成的封包資料Da和由3位元構成的封包資料Db,以及1位元的停止位元和4位元的封包位址。這些封包的停止位元表示「0」。進而,PHY訊框的7N位元中由4位元構成的封包資料Da(N-1)和由3位元構成的封包資料Db(N-1),與1位元的停止位元和4位元的封包位址一起包含在封包(N-1)中。 該停止位元表示「1」。
另外,發送機在發送超過112位元的資料(PHY訊框)或串流資料等大量資料時,將封包15的停止位元不設定為「1」而設定為「0」。並且,發送機將上述的大量資料中無法包含在封包0~封包15中的資料保存於重新從封包0開始排列的各封包並進行發送。換言之,發送機將無法包含在封包0~封包15中的資料保存於具有再次從「0000」開始的封包位址之各封包並進行發送。
模式2下的PHY訊框與模式1下的PHY訊框同樣地不具有MHR,MFR是可選的。
(實施形態24的總結)
實施形態24涉及的可見光訊號的生成方法是藉由圖230A的流程圖來表示。
也即是,該可見光訊號的生成方法是生成藉由發送機所具備的光源的亮度變化而發送的可見光訊號的方法,包括步驟SD1~SD3。
在步驟SD1中,生成前文,前述前文是作為互不相同的亮度值的第1以及第2亮度值分別沿時間軸上交替地出現的資料。
在步驟SD2中,在第1以及第2亮度值沿時間軸上交替地出現的資料中,按照與發送對象之訊號相應的第1方式來決定第1以及第2亮度值各自持續的時間長,藉此生成第1酬載。
最後,在步驟SD3中,藉由將前文和第1酬 載結合來生成可見光訊號。
例如,如圖316~圖318所示,第1以及第2亮度值是Bright(High)以及Dark(Low),第1資料是PHY酬載(PHY酬載A或PHY酬載B)。藉由發送如此生成的可見光訊號,如圖191~圖193所示,能夠增加接收封包數,並且能夠提高可靠度。其結果是,能夠使得多種多樣的機器間的通訊成為可能。
另外,也可以是:在該可見光訊號的生成方法中,進一步,在第1以及第2亮度值沿時間軸上交替地出現的資料中,按照與發送對象之訊號相應的第2方式來決定第1以及第2亮度值各自持續的時間長,藉此生成與由第1酬載表現的明亮度具有互補關係的第2酬載。該情況下,在可見光訊號的生成中,是藉由按照第1酬載、前文、第2酬載的順序將前文和第1以及第2酬載進行結合,而生成可見光訊號。
例如,如圖316以及圖317所示,第1以及第2亮度值是Bright(High)以及Dark(Low),第1以及第2酬載是PHY酬載A以及PHY酬載B。
藉此,由於第1酬載的明亮度和第2酬載的明亮度具有互補關係,因此能夠無關於發送對象之訊號而將明亮度保持恆定。進而,由於第1酬載以及第2酬載是按照不同的方式對相同的發送對象之訊號進行了調變而得到的資料,因此接收機只要接受任一方的酬載,就能夠將該酬載解調為發送對象之訊號。另外,在第1酬載與第2酬載之 間配置有作為前文的標頭(SHR)。因此,接收機只要接收第1酬載的後側的僅一部分、標頭、和第2酬載的開頭側的僅一部分,就能夠將它們解調為發送對象之訊號。因此,能夠提高可見光訊號的接收效率。
例如,前文是相對於第1以及第2酬載的標頭,在該標頭中,按第1時間長的第1亮度值、第2時間長的第2亮度值的順序,出現各個亮度值。在此,該第1時間長為100μ秒,第2時間長為90μ秒。也即是,如圖319所示,可定義封包PWM的模式1下的標頭(SHR)所包含的各脈衝的時間長(脈衝寬度)的樣式。
另外,前文是相對於第1以及第2酬載的標頭,在該標頭中,按第1時間長的第1亮度值、第2時間長的第2亮度值、第3時間長的第1亮度值、第4時間長的第2亮度值的順序,出現各個亮度值。在此,該第1時間長為100μ秒,第2時間長為90μ秒,第3時間長為90μ秒,第4時間長為100μ秒。也即是,如圖319所示,可定義封包PWM的模式2下的標頭(SHR)所包含的各脈衝的時間長(脈衝寬度)的樣式。
如此,由於可定義封包PWM的模式1以及模式2之各模式下的標頭的樣式,因此接收機能夠適當地接收可見光訊號中的第1以及第2酬載。
另外,發送對象之訊號由從第1位元x0到第6位元x5的6位元構成,在第1以及第2酬載的各酬載中,按第3時間長的第1亮度值、第4時間長的第2亮度值的順序, 出現各個亮度值。在此,在參數yk被表示為yk=x3k+x3k+1×2+x3k+2×4的情況下(k為0或1),在第1酬載的生成中,按照作為第1方式的時間長Pk=120+30×(7-yk)[μ秒]來決定第1酬載中的第3以及第4時間長的各時間長。另外,在第2酬載的生成中,按照作為第2方式的時間長Pk=120+30×yk[μ秒]來決定第2酬載中的第3以及第4時間長的各時間長。也即是,如圖316所示,在封包PWM的模式1下,發送對象之訊號被調變為第1酬載(PHY酬載A)和第2酬載(PHY酬載B)各自所包含的各脈衝的時間長(脈衝寬度)。
另外,發送對象之訊號由從第1位元x0到第12位元x11的12位元構成,在第1以及第2酬載的各酬載中,按第5時間長的第1亮度值、第6時間長的第2亮度值、第7時間長的前述第1亮度值、第8時間長的第2亮度值的順序,出現各個亮度值。在此,在參數yk被表示為yk=x3k+x3k+1×2+x3k+2×4的情況下(k為0、1、2或3),在第1酬載的生成中,按照作為第1方式的時間長Pk=120+30×(7-yk)[μ秒]來決定第1酬載中前述第5~第8時間長的各時間長。另外,在第2酬載的生成中,按照作為第2方式的時間長Pk=120+30×yk[μ秒]來決定第2酬載中第5~第8時間長的各時間長。也即是,如圖317所示,在封包PWM的模式2下,發送對象之訊號被調變為第1酬載(PHY酬載A)和第2酬載(PHY酬載B)各自所包含的各脈衝的時間長(脈衝寬度)。
如此,在封包PWM的模式1以及模式2下,發送對象之訊號被調變為各脈衝的脈衝寬度,因此接收機基於該脈衝寬度,能夠將可見光訊號適當地解調為發送對象之訊號。
另外,前文是相對於第1酬載的標頭,在該標頭中,按第1時間長的第1亮度值、第2時間長的第2亮度值、第3時間長的第1亮度值、第4時間長的第2亮度值的順序,出現各個亮度值。在此,該第1時間長為50μ秒,第2時間長為40μ秒,第3時間長為40μ秒,第4時間長為50μ秒。也即是,如圖319所示,可定義封包PWM的模式3下的標頭(SHR)所包含的各脈衝的時間長(脈衝寬度)的樣式。
如此,由於可定義封包PWM的模式3的標頭的樣式,因此接收機能夠適當地接收可見光訊號中的第1酬載。
另外,發送對象之訊號由從第1位元x0到第3n位元x3n-1的3n位元構成(n為2以上的整數),第1酬載的時間長由第1或第2亮度值各自持續的第1~第n時間長構成。在此,在參數yk被表示為yk=x3k+x3k+1×2+x3k+2×4的情況下(k為0~(n-1)的整數),在第1酬載的生成中,按照作為第1方式的時間長Pk=100+20×yk[μ秒]來決定第1酬載中第1~第n時間長的各時間長。也即是,如圖318所示,在封包PWM的模式3下,發送對象之訊號被調變為第1酬載(PHY酬載)所包含的各脈衝的時間長(脈衝寬度)。
如此,在封包PWM的模式3下,發送對象之訊號被調變為各脈衝的脈衝寬度,因此接收機基於該脈衝寬度,能夠將可見光訊號適當地解調為發送對象之訊號。
圖333A是示出實施形態24涉及的另一可見光訊號的生成方法的流程圖。該可見光訊號的生成方法是生成藉由發送機所具備的光源的亮度變化而發送的可見光訊號的方法,包括步驟SE1~SE3。
在步驟SE1中,生成前文,前述前文是作為互不相同的亮度值的第1以及第2亮度值分別沿時間軸上交替地出現的資料。
在步驟SE2中,在第1以及第2亮度值沿時間軸上交替地出現的資料中,按照與發送對象之訊號相應的方式來決定從出現第1亮度值到出現下一個第1亮度值為止的區間,藉此生成第1酬載。
在步驟SE3中,藉由將前文和第1酬載結合來生成可見光訊號。
圖333B是示出實施形態24涉及的另一訊號生成裝置的結構的方塊圖。該訊號生成裝置E10是生成藉由發送機所具備的光源的亮度變化而發送的可見光訊號的訊號生成裝置,具備前文生成部E11、酬載生成部E12和結合部E13。另外,該訊號生成裝置E10執行圖333A所示的流程圖的處理。
也即是,前文生成部E11生成前文,前述前文是作為互不相同的亮度值的第1以及第2亮度值分別沿 時間軸上交替地出現的資料。
酬載生成部E12在第1以及第2亮度值沿時間軸上交替地出現的資料中,按照與發送對象之訊號相應的方式來決定從出現第1亮度值到出現下一個第1亮度值為止的區間,藉此生成第1酬載。
結合部E13藉由將前文和第1酬載結合來生成可見光訊號。
例如,如圖320~圖322所示,第1以及第2亮度值是Bright(High)以及Dark(Low),第1酬載是PHY酬載。藉由發送如此生成的可見光訊號,如圖191~圖193所示,能夠增加接收封包數,並且能夠提高可靠度。其結果是,能夠使得多種多樣的機器間的通訊成為可能。
例如,前文以及第1酬載各自中的第1亮度值的時間長為10μ秒以下。
藉此,能夠一邊進行可見光通訊一邊抑制光源的平均亮度。
另外,前文是相對於第1酬載的標頭,該標頭的時間長包含3個從出現第1亮度值到出現下一個第1亮度值為止的區間。在此,該3個區間分別為160μ秒。也即是,如圖323所示,可定義封包PPM的模式1下的標頭(SHR)所包含的各脈衝間的區間的樣式。此外,上述各脈衝例如是具有第1亮度值的脈衝。
另外,前文是相對於第1酬載的標頭,該標頭的時間長包含3個從出現第1亮度值到出現下一個第1亮 度值為止的區間。在此,該3個區間中的第1個區間為160μ秒,第2個區間為180μ秒,第3個區間為160μ秒。也即是,如圖323所示,可定義封包PPM的模式2下的標頭(SHR)所包含的各脈衝間的區間的樣式。
另外,前文是相對於第1酬載的標頭,該標頭的時間長包含3個從出現第1亮度值到出現下一個第1亮度值為止的區間。在此,3個區間中的第1個區間為80μ秒,第2個區間為90μ秒,第3個區間為80μ秒。也即是,如圖323所示,可定義封包PPM的模式3下的標頭(SHR)所包含的各脈衝間的區間的樣式。
如此,由於可定義封包PPM的模式1、模式2以及模式3的各模式下的標頭的樣式,因此接收機能夠適當地接收可見光訊號中的第1酬載。
另外,發送對象之訊號由從第1位元x0到第6位元x5的6位元構成,第1酬載的時間長包含2個從出現第1亮度值到出現下一個第1亮度值為止的區間。在此,在參數yk被表示為yk=x3k+x3k+1×2+x3k+2×4的情況下(k為0或1),在第1酬載的生成中,按照作為上述方式的區間Pk=180+30×yk[μ秒]來決定第1酬載中的2個區間的各區間。也即是,如圖320所示,在封包PPM的模式1下,發送對象之訊號被調變為第1酬載(PHY酬載)所包含的各脈衝間的區間。
另外,發送對象之訊號由從第1位元x0到第12位元x11的12位元構成,第1酬載的時間長包含4個從出 現第1亮度值到出現下一個第1亮度值為止的區間。在此,在參數yk被表示為yk=x3k+x3k+1×2+x3k+2×4的情況下(k為0、1、2或3),在第1酬載的生成中,按照作為上述方式的區間Pk=180+30×yk[μ秒]來決定第1酬載中的4個區間的各區間。也即是,如圖321所示,在封包PPM的模式2下,發送對象之訊號被調變為第1酬載(PHY酬載)所包含的各脈衝間的區間。
另外,發送對象之訊號由從第1位元x0到第3n位元x3n-1的3n位元構成(n為2以上的整數),第1酬載的時間長包含n個從出現第1亮度值到出現下一個第1亮度值為止的區間。在此,在參數yk被表示為yk=x3k+x3k+1×2+x3k+2×4的情況下(k為0~(n-1)的整數),在第1酬載的生成中,按照作為上述方式的區間Pk=100+20×yk[μ秒]來決定第1酬載中的n個前述區間的各區間。也即是,如圖322所示,在封包PPM的模式3下,發送對象之訊號被調變為第1酬載(PHY酬載)所包含的各脈衝間的區間。
如此,在封包PPM的模式1、模式2以及模式3下,發送對象之訊號被調變為各脈衝間的區間,因此接收機基於該區間,能夠將可見光訊號適當地解調為發送對象之訊號。
另外,也可以是:在可見光訊號的生成方法中,進一步生成相對於第1酬載的註腳,在可見光訊號的生成中,接在第1酬載之後來結合該註腳。也即是,如圖 318以及圖322所示,在封包PWM以及封包PPM的模式3下,繼第1酬載(PHY酬載)之後發送註腳(SFT)。藉此,能夠藉由註腳來明確地指定第1酬載的結束,因此能夠有效率地進行可見光通訊。
另外,也可以是:在可見光訊號的生成中,在不發送註腳的情況下,取代該註腳而結合相對於發送對象之訊號的下一個訊號的標頭。也即是,在封包PWM以及封包PPM的模式3下,取代圖318以及圖322所示的註腳(SFT),而在繼第1酬載(PHY酬載)之後發送相對於該接下來的第1酬載的標頭(SHR)。藉此,能夠藉由相對於接下來的第1酬載的標頭來明確地指定第1酬載的結束,並且由於不發送註腳,因此能夠更有效率地進行可見光通訊。
實施形態24涉及的訊號生成裝置的結構由圖230B的方塊圖來表示。
也即是,實施形態24涉及的訊號生成裝置D10是生成藉由發送機所具備的光源的亮度變化而發送的可見光訊號的訊號生成裝置,具備前文生成部D11、資料生成部D12和結合部D13。
前文生成部D11生成前文,前述前文是作為互不相同的亮度值的第1以及第2亮度值分別沿時間軸上交替地出現的資料。
資料生成部D12在第1以及第2亮度值沿時間軸上交替地出現的資料中,按照與發送對象之訊號相應 的第1方式來決定第1以及第2亮度值各自持續的時間長,藉此生成第1酬載。
結合部D13藉由將前文和第1酬載結合來生成可見光訊號。
藉由發送由該訊號生成裝置D10生成的可見光訊號,如圖191~圖193所示,能夠增加接收封包數,並且能夠提高可靠度。其結果是,能夠使得多種多樣的機器間的通訊成為可能。
此外,在上述各實施形態以及各變形例中,各構成要件可以藉由專用的硬體來構成,或藉由執行適合各構成要件的軟體程式來實現。各構成要件也可以藉由CPU或處理器等程式執行部讀出硬碟或半導體記憶體等記錄媒體所記錄的軟體程式並執行來實現。例如,程式使電腦執行由圖230A以及圖333A的流程圖所示的可見光訊號的生成方法。
以上,基於上述各實施形態以及各變形例對一個或多個態樣涉及的可見光訊號的生成方法進行了說明,但本發明並不限定於該等實施形態。在不脫離本發明的主旨的範圍內,本發明領域中具有一般知識者在本實施形態中實施想到的各種變形、組合不同實施形態以及變形例中的構成要件而構成的形態,都可以包含在本發明的範圍內。
(實施形態25)
於本實施形態,說明可見光訊號的解碼方法及編碼方 法等。
圖334是表示MPM的MAC訊框的格式的圖。
MPM(Mirror Pulse Modulation(鏡脈衝調變))的MAC(medium access control(媒體存取控制))訊框的格式是由MHR(medium access control header(媒體存取控制標頭))及MSDU(medium access control service-data unit(媒體存取控制服務-資料單元))構成。MHR欄位包含順序號碼子欄位。MSDU包含訊框酬載,長度可變。包含MHR及MSDU的MPDU(medium access control protocol-data unit(媒體存取控制協定-資料單元))的位元長度設定為macMpmMpduLength。
再者,MPM是實施形態20及實施形態24的調變方式,且是例如如圖188~189B、圖197~圖230B、及圖315~圖332所示調變發送對象的資訊或訊號的方式。
圖335是表示生成MPM的MAC訊框的編碼裝置的處理動作的流程圖。具體而言,圖335是表示順序號碼子欄位的位元長度的決定方式的圖。再者,編碼裝置是由例如發送可見光訊號的上述發送機或發送裝置等所具備。
順序號碼子欄位包含訊框順序號碼(亦稱為順序號碼)。順序號碼子欄位的位元長度設定為macMpmSnLength。順序號碼子欄位的位元長度設定為可變長度時,順序號碼子欄位的開頭位元作為最終訊框旗標而使用。總言之,此時,順序號碼子欄位包含最終訊框旗 標及表示順序號碼的位元串。該最終訊框旗標在最終訊框設定為1,在其他訊框設定為0。總言之,該最終訊框旗標表示處理對象訊框是否為最終訊框。再者,該最終訊框旗標相當於上述停止位元。又,順序號碼相當於上述位址。
首先,編碼裝置判定SN是否設定為可變長度(步驟S101a)。再者,SN為順序號碼子欄位的位元長度。總言之,編碼裝置判定macMpmSnLength是否表示0xf。於macMpmSnLength表示0xf時,SN為可變長度,於macMpmSnLength表示0xf以外時,SN為固定長度。編碼裝置若判定SN未設定為可變長度,亦即SN設定為固定長度(步驟S101a,N),則將SN決定為macMpmSnLength所示的值(步驟S102a)。此時,編碼裝置不使用最終訊框旗標(亦即LFF)。
另,若判定SN設定為可變長度(步驟S101a,Y),編碼裝置判定處理對象訊框是否為最終訊框(步驟S103a)。於此,編碼裝置若判定處理對象訊框為最終訊框(步驟S103a,Y),則將SN決定為5位元(步驟S104a)。此時,編碼裝置決定表示1的最終訊框旗標,作為順序號碼子欄位的開頭位元。
又,編碼裝置若判定處理對象訊框非最終訊框(步驟S103a,N),判定最終訊框的順序號碼之值為1-15中的某一者(步驟S105a)。再者,順序號碼是從0起依升序對各訊框分配的整數。又,在步驟S103a為N時,訊框數為2以上。因此,此情況下,最終訊框的順序號碼之值可 取除了0以外的1-15中的某一者。
編碼裝置於步驟S105a,若判定最終訊框的順序號碼之值為1,則將SN決定為1位元(步驟S106a)。此時,編碼裝置將順序號碼子欄位的開頭位元,即最終訊框旗標之值,決定為0。
例如最終訊框的順序號碼之值為1時,最終訊框的順序號碼子欄位表示為(1,1),其包含最終訊框旗標(1)及順序號碼之值(1)。此時,編碼裝置將處理對象訊框的順序號碼子欄位的位元長度,決定為1位元。總言之,編碼裝置決定僅包含最終訊框旗標(0)的順序號碼子欄位。
編碼裝置於步驟S105a,若判定最終訊框的順序號碼之值為2,則將SN決定為2位元(步驟S107a)。此時,編碼裝置亦將最終訊框旗標之值決定為0。
例如最終訊框的順序號碼之值為2時,最終訊框的順序號碼子欄位表示為(1,0,1),其包含最終訊框旗標(1)及順序號碼之值(2)。再者,順序號碼是由位元串表示,於該位元串,左端的位元為LSB(least significant bit(最低有效位元)),右端的位元為MSB(most significant bit(最高有效位元))。因此,順序號碼之值(2)標示為位元串(0,1)。如此,最終訊框的順序號碼之值為2時,編碼裝置將處理對象訊框的順序號碼子欄位的位元長度決定為2位元。總言之,編碼裝置決定包含最終訊框旗標(0)、及表示順序號碼的位元(0)或(1)的順序號碼子欄位。
編碼裝置於步驟S105a,若判定最終訊框的 順序號碼之值為3或4,則將SN決定為3位元(步驟S108a)。此時,編碼裝置亦將最終訊框旗標之值決定為0。
編碼裝置於步驟S105a,若判定最終訊框的順序號碼之值為5-8的某一整數,則將SN決定為4位元(步驟S109a)。此時,編碼裝置亦將最終訊框旗標之值決定為0。
編碼裝置於步驟S105a,若判定最終訊框的順序號碼之值為9-15的某一整數,則將SN決定為5位元(步驟S110a)。此時,編碼裝置亦將最終訊框旗標之值決定為0。
圖336是表示解碼MPM的MAC訊框的解碼裝置的處理動作的流程圖。具體而言,圖336是表示順序號碼子欄位的位元長度的決定方式的圖。再者,解碼裝置是由例如發送可見光訊號的上述接收機或接收裝置等所具備。
於此,解碼裝置判定SN是否設定為可變長度(步驟S201a)。總言之,解碼裝置判定macMpmSnLength是否表示0xf。解碼裝置若判定SN未設定為可變長度,亦即SN設定為固定長度(步驟S201a,N),則將SN決定為macMpmSnLength所示的值(步驟S202a)。此時,解碼裝置不使用最終訊框旗標(亦即LFF)。
另,若判定SN設定為可變長度(步驟S201a,Y),解碼裝置判定解碼對象訊框的最終訊框之值為1或0(步驟S203a)。總言之,解碼裝置判定解碼對象訊 框是否為最終訊框。於此,解碼裝置若判定最終訊框旗標之值為1(步驟S203a,1),則將SN決定為5位元(步驟S204a)。
又,解碼裝置若判定最終訊框旗標之值為0(步驟S203a,0),則判定由最終訊框的順序號碼子欄位中之第2位元至第5位元的位元串所示之值,為1-15中之任一者(步驟S205a)。最終訊框是具有表示1的最終訊框旗標,並與解碼對象訊框從相同來源生成的訊框。又,各來源是藉由拍攝圖像中的位置來特定。再者,來源例如如圖325~圖332所示,分割為複數個訊框(亦即封包)。總言之,最終訊框是藉由1個來源的分割所生成的複數個訊框中的最後訊框。又,由順序號碼子欄位中之第2位元至第5位元的位元串所示之值為順序號碼之值。
解碼裝置於步驟S205a,若判定由上述位元串所示之值為1,則將SN決定為1位元(步驟S206a)。例如最終訊框的順序號碼子欄位為(1,1)之2位元時,最終訊框旗標為1,由最終訊框的順序號碼亦即上述位元串所示之值為1。此時,解碼裝置將解碼對象訊框的順序號碼子欄位的位元長度決定為1位元。總言之,解碼裝置將解碼對象訊框的順序號碼子欄位決定為(0)。
解碼裝置於步驟S205a,若判定由上述位元串所示之值為2,則將SN決定為2位元(步驟S207a)。例如最終訊框的順序號碼子欄位為(1,0,1)之3位元時,最終訊框旗標為1,由最終訊框的順序號碼亦即上述位元串(0,1) 所示之值為2。再者,於上述位元串,左端的位元為LSB(least significant bit(最低有效位元)),右端的位元為MSB(most significant bit(最高有效位元))。
此時,解碼裝置將解碼對象訊框的順序號碼子欄位的位元長度決定為2位元。總言之,解碼裝置將解碼對象訊框的順序號碼子欄位決定為(0,0)或(0,1)。
解碼裝置於步驟S205a,若判定由上述位元串所示之值為3或4,則將SN決定為3位元(步驟S208a)。
解碼裝置於步驟S205a,若判定由上述位元串所示之值為5-8的某一整數,則將SN決定為4位元(步驟S209a)。
解碼裝置於步驟S205a,若判定由上述位元串所示之值為9-15的某一整數,則將SN決定為5位元(步驟S210a)。
圖337是表示MAC的PIB的屬性的圖。
MAC的PIB(physical-layer personal-area-network information base(實體層個人區域網路資訊基礎))的屬性包括macMpmSnLength及macMpmMpduLength。macMpmSnLength為0x0-0xf的範圍內的任一整數值,表示順序號碼子欄位的位元長度。具體而言,macMpmSnLength為0x0-0xe的範圍內的任一整數值時,將該整數值表示為順序號碼子欄位的固定的位元長度。又,macMpmSnLength在0xf時,表示順序號碼子欄位的位元長度為可變。
macMpmMpduLength為0x00-0xff的範圍內的任一整數值,表示MPDU的位元長度。
圖338是用以說明MPM的調光方法的圖。
MPM具有調光功能。MPM的調光方法包括例如圖338所示之(a)類比調光方式、(b)PWM調光方式、(c)VPPM調光方式、及(d)欄位插入調光方式。
於類比調光方式中,例如(a2)所示,藉由使亮度變化來發送可見光訊號。於此,使該可見光訊號變暗時,例如如(a1)所示,降低可見光訊號全體的亮度。反之,使該可見光訊號變亮時,例如如(a3)所示,提高可見光訊號全體的亮度。
於PWM調光方式中,例如如(b2)所示,藉由使亮度變化來發送可見光訊號。於此,使該可見光訊號變暗時,例如如(b1)所示,於輸出(b2)所示的高亮度的光的期間,僅於短暫期間降低該亮度。反之,使該可見光訊號變亮時,例如如(b3)所示,於輸出(b2)所示的低亮度的光的期間,僅於短暫期間提高該亮度。再者,上述短暫期間必須小於原本的脈衝寬度的1/3,且小於50μ秒。
於VPPM調光方式中,例如如(c2)所示,藉由使亮度變化來發送可見光訊號。於此,使該可見光訊號變暗時,例如如(c1)所示,提早亮度的下降時間點。反之,使該可見光訊號變亮時,例如如(c3)所示,延後亮度的下降時間點。再者,於VPPM調變方式,可僅對MPM的PHY的PPM模式使用。
於欄位插入調光方式中,例如如(d2)所示,發送包含複數個PPDU(physical-layer data unit(實體層資料單元))的可見光訊號。於此,使該可見光訊號變暗時,例如如(d1)所示,於PPDU的期間,插入亮度比PPDU的亮度低的調光欄位。反之,使該可見光訊號變亮時,例如如(d3)所示,於PPDU的期間,插入亮度比PPDU的亮度高的調光欄位。
圖339是表示PHY的PIB的屬性的圖。
PHY(physical layer(實體層))的PIB的屬性包括phyMpmMode、phyMpmPlcpHeaderMode、phyMpmPlcpCenterMode、phyMpmSymbolSize、phyMpmOddSymbolBit、phyMpmEvenSymbolBit、phyMpmSymbolOffset、及phyMpmSymbolUnit。
phyMpmMode為0或1,表示MPM的PHY模式。具體而言,phyMpmMode為0時,表示PHY模式為PWM模式,為1時,表示PHY模式為PWM模式。
phyMpmPlcpHeaderMode為0x0-0xf的範圍內的任一整數值,表示PLCP(Physical Layer Conversion Protocol(實體層轉換協定))標頭子欄位模式及PLCP註腳子欄位模式。
phyMpmPlcpCenterMode為0x0-0xf的範圍內的任一整數值,表示PLCP中心子欄位模式。
phyMpmSymbolSize為0x0-0xf的範圍內的任一整數值,表示酬載子欄位的符元數。具體而言, phyMpmSymbolSize為0x0時,表示該符元數可變,參考作N。
phyMpmOddSymbolBit為0x0-0xf的範圍內的任一整數值,表示酬載子欄位的各奇數符元所含的位元長度,參考作Modd
phyMpmEvenSymbolBit為0x0-0xf的範圍內的任一整數值,表示酬載子欄位的各偶數符元所含的位元長度,參考作Meven
phyMpmSymbolOffset為0x00-0xff的範圍內的任一整數值,表示酬載子欄位的符元的偏移值,參考作W1
phyMpmSymbolUnit為0x00-0xff的範圍內的任一整數值,表示酬載子欄位的符元的單元值,參考作W2
圖340是用以說明MPM的圖。
MPM僅由PSDU(PHY service data unit(PHY服務資料單元))欄位構成。又,PSDU欄位包含藉由MPM的PLCP所轉換的MPDU。
MPM的PLCP如圖340所示,將MPDU轉換為5個子欄位。5個子欄位為PLCP標頭子欄位、前酬載子欄位、PLCP中心子欄位、後酬載子欄位及PLCP註腳子欄位。MPM的PHY模式設定為phyMpmMode。
如圖340所示,MPM的PLCP具備位元再配置部301a、複製部302a、前轉換部303a及後轉換部304a。
於此,(x0、x1、x2、…)是MPDU所含的各位元,LSN為順序號碼子欄位的位元長度,N為各酬載子欄位的符元數。位元再配置部301a按照以下(式1),將(x0、x1、x2、…)再配置成(y0、y1、y2、…)。
Figure 106138104-A0202-12-0498-13
藉由該再配置,位於MPDU的開頭的順序號碼子欄位所包含的各位元,往後側移動LSN。複製部302a複製該位元再配置後的MPDU。
前酬載子欄位及後酬載子欄位分別包括N個符元。於此,Modd為第奇數個符元所含的位元長度,Meven為第偶數個符元所含的位元長度,W1為符元偏移值(上述偏移值),W2為符元值單位(上述單元值)。再者,N、Modd、Meven、W1及W2是藉由圖339所示的PHY的PIB所設定。
前轉換部303a及後轉換部304a藉由以下(式2)~(式5),將再配置的MPDU的酬載位元(y0、y1、y2、…)轉換成zi
Figure 106138104-A0202-12-0498-14
[數3]
Figure 106138104-A0202-12-0499-15
前轉換部303a利用zi,藉由以下(式6)來算出前酬載子欄位的第i個符元(亦即符元值)。
[數4]W 1+W 2×(2 m -1-z i ) (式6)
後轉換部304a利用zi,藉由以下(式7)來算出後酬載子欄位的第i個符元(亦即符元值)。
[數5]W 1+W 2×z i (式7)
再者,藉由(式6)及(式7)所算出的符元值,相當於例如圖188所示的時間長DR1~DR4及DL1~DL4
圖341是表示PLCP標頭子欄位的圖。
PLCP標頭子欄位如圖341所示,於PWM模式中,由4個符元構成,於PPM模式中,由3個符元構成。
圖342是表示PLCP中心子欄位的圖。
PLCP中心子欄位如圖342所示,於PWM模式中,由4個符元構成,於PPM模式中,由3個符元構成。
圖343是表示PLCP註腳子欄位的圖。
PLCP註腳子欄位如圖343所示,於PWM模式中,由4個符元構成,於PPM模式中,由3個符元構成。
圖344是表示MPM的PHY的PWM模式的波 形的圖。
於PWM模式中,符元必須作為光強度的2種狀態中的任一種狀態,亦即作為亮狀態或暗狀態而發送。於MPM的PHY的PWM模式中,符元值對應於微秒單位的連續時間。例如如圖344所示,第1符元值對應於第1亮狀態的連續時間,第2符元值對應於下一次暗狀態的連續時間。再者,於圖344所示例中,各子欄位的最初狀態雖為亮狀態,但亦可為暗狀態。
圖345是表示MPM的PHY的PPM模式的波形的圖。
於PPM模式中,如圖345所示,符元值是以微秒單位,表示從亮狀態的開始到下一亮狀態的開始為止的時間。亮狀態的時間必須短於符元值的90%。
於雙方的模式中,發送機僅可發送複數個符元的一部分。然而,發送機必須發送PLCP中心子欄位的所有符元、及至少N個符元。該至少N個符元分別是包含於前酬載子欄位及後酬載子欄位的任一者的符元。
(實施形態25的總結)
圖346是表示實施形態25的解碼方法的一例的流程圖。再者,該圖346所示的流程圖相當於圖336所示的流程圖。
該解碼方法是將由複數個訊框構成的可見光訊號解碼的方法,且如圖346所示,包含步驟S310b、步驟S320b及步驟S330b。又,該等複數個訊框分別包含順 序號碼及訊框酬載。
於步驟S310b,根據解碼對象訊框中用以決定儲存有順序號碼的子欄位的位元長度的資訊,即macSnLength,來進行可變長度判定處理,判定該子欄位的位元長度是否為可變長度。
於步驟S320b,根據該可變長度判定處理,決定該子欄位的位元長度。然後,於步驟S330b,根據經決定的子欄位的位元長度,來將解碼對象訊框解碼。
於此,步驟S320b中之上述子欄位的位元長度的決定包含步驟S321b~S324b。
總言之,於步驟S310b的可變長度判定處理中,於判定子欄位的位元長度非可變長度時,將該子欄位的位元長度,決定為上述macSnLength所示之值(步驟S321b)。
另,於步驟S310b的可變長度判定處理中,於判定子欄位的位元長度為可變長度時,進行最終判定處理,判定解碼對象訊框是否為上述複數個訊框中的最終訊框(步驟S322b)。於此,於判定為最終訊框時(步驟S322b,Y),將該子欄位的位元長度決定為預定值(步驟S323b)。另,判定為非最終訊框時(步驟S322b,N),根據最終訊框的順序號碼之值,來決定該子欄位的位元長度(步驟S324b)。
藉此,如圖346所示,無論儲存有順序號碼的子欄位(具體而言為順序號碼子欄位)的位元長度為固定 長度或可變長度,均可適當地決定該子欄位的位元長度。
於此,於步驟S322b的最終判定處理中,亦可根據表示解碼對象訊框是否為最終訊框的最終訊框旗標,來判定該解碼對象訊框是否為最終訊框。具體而言,於步驟S322b的最終判定處理中,亦可於最終訊框旗標表示1時,判定該解碼對象訊框為最終訊框,於最終訊框旗標表示0時,判定該解碼對象訊框非最終訊框。例如最終訊框旗標亦可包含於該子欄位的第1位元。
藉此,可如圖336的步驟S203a所示,適當地判定解碼對象訊框是否為最終訊框。
更具體而言,於步驟S320b中之子欄位的位元長度的決定中,於步驟S322b的最終判定處理中,若判定解碼對象訊框為最終訊框,則將子欄位的位元長度決定為上述預定值之5位元。總言之,如圖336的步驟S204a所示,子欄位的位元長度SN決定為5位元。
又,於步驟S320b中之子欄位的位元長度的決定中,於步驟S322b的最終判定處理中,若判定解碼對象訊框非最終訊框時,亦可在最終訊框的順序號碼之值為1時,將子欄位的位元長度決定為1位元。又,在最終訊框的順序號碼之值為2時,亦可將該子欄位的位元長度決定為2位元。又,在最終訊框的順序號碼之值為3或4時,亦可將該子欄位的位元長度決定為3位元。又,在最終訊框的順序號碼之值為5至8的任一整數時,亦可將該子欄位的位元長度決定為4位元。又,在最終訊框的順序號碼之值 為9至15的任一整數時,亦可將該子欄位的位元長度決定為5位元。總言之,如圖336的步驟S206a~S210a所示,子欄位的位元長度SN決定為1~5位元的任一者。
圖347是表示實施形態25的編碼方法的一例的流程圖。再者,於該圖347所示的流程圖是相當於圖335所示的流程圖。
該編碼方法是將編碼對象的資訊,編碼為由複數個訊框構成的可見光訊號的方法,如圖347所示,包含步驟S410a、步驟S420a及步驟S430a。又,該等複數個訊框分別包含順序號碼及訊框酬載。
於步驟S410a,根據解碼對象訊框中用以決定儲存有順序號碼的子欄位的位元長度的資訊,即macSnLength,來進行可變長度判定處理,判定該子欄位的位元長度是否為可變長度。
於步驟S420a,根據該可變長度判定處理,決定該子欄位的位元長度。然後,於步驟S430a,根據經決定的子欄位的位元長度,來將編碼對象的資訊的一部分編碼為處理對象訊框。
於此,步驟S420a中之上述子欄位的位元長度的決定包含步驟S421a~S424a。
總言之,於步驟S410a的可變長度判定處理中,於判定子欄位的位元長度非可變長度時,將該子欄位的位元長度,決定為上述macSnLength所示之值(步驟S421a)。
另,於步驟S410a的可變長度判定處理中,於判定子欄位的位元長度為可變長度時,進行最終判定處理,判定處理對象訊框是否為上述複數個訊框中的最終訊框(步驟S422a)。於此,於判定為最終訊框時(步驟S422a,Y),將該子欄位的位元長度決定為預定值(步驟S423a)。另,判定為非最終訊框時(步驟S422a,N),根據最終訊框的順序號碼之值,來決定該子欄位的位元長度(步驟S424a)。
藉此,如圖347所示,無論儲存有順序號碼的子欄位(具體而言為順序號碼子欄位)的位元長度為固定長度或可變長度,均可適當地決定該子欄位的位元長度。
再者,本實施形態的解碼裝置具備處理器及記憶體,於記憶體記錄有令處理器執行圖346所示的解碼方法的程式。本實施形態的編碼裝置具備處理器及記憶體,於記憶體記錄有令處理器執行圖347所示的編碼方法的程式。又,本實施形態的程式是令電腦執行圖346所示的解碼方法或圖347所示的編碼方法。
(實施形態26)
於本實施形態,說明藉由可見光訊號發送光ID的發送方法。再者,本實施形態的發送機及接收機,亦可與上述實施形態的發送機(或發送裝置)及接收機(或接收裝置)具有同一功能及構成。
圖348是表示本實施形態的接收機顯示AR圖像之例的圖。
本實施形態的接收機200是具備影像感測器及顯示器201的接收機,構成為例如智慧型手機。該類接收機200藉由利用該影像感測器拍攝被攝體,來取得上述一般攝影圖像即拍攝顯示圖像Pa、及上述可見光通訊圖像或明線圖像即解碼用圖像。
具體而言,接收機200的影像感測器拍攝發送機100。發送機100具有例如如燈泡的形態,具備:玻璃球141;及發光部142,其於該玻璃球141的內部,一面如火焰般發光一面搖曳。該發光部142藉由發送機100所具備的1個或複數個發光元件(例如LED)的亮燈而發光。該發送機100藉由使該發光部142亮暗,來進行亮度變化,藉由該亮度變化來發送光ID(光識別資訊)。該光ID為上述可見光訊號。
接收機200藉由以一般曝光時間來拍攝發送機100,取得拍到該發送機100的拍攝顯示圖像Pa,並且以短於該一般曝光時間的通訊用曝光時間拍攝發送機100,來取得解碼用圖像。再者,一般曝光時間為上述一般攝影模式的曝光時間,通訊用曝光時間為上述可見光通訊模式的曝光時間。
接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,接收機200從發送機100接收光ID。接收機200將該光ID發送至伺服器。然後,接收機200從伺服器取得對應於該光ID的AR圖像P42及辨識資訊。接收機200辨識出拍攝顯示圖像Pa中對應於該辨識資訊的區域, 來作為對象區域。然後,接收機200將AR圖像P42重疊於該對象區域,將重疊有AR圖像P42的拍攝顯示圖像Pa顯示於顯示器201。
例如接收機200與圖245所示例同樣,按照辨識資訊,辨識出拍到發送機100的區域的左上之區域,來作為對象區域。其結果,例如表示妖精的AR圖像P42顯示成如同飛在發送機100的周圍。
圖349是表示重疊有AR圖像P42的拍攝顯示圖像Pa的其他例的圖。
接收機200如圖349所示,將重疊有AR圖像P42的拍攝顯示圖像Pa,顯示於顯示器201。
於此,上述辨識資訊表示:拍攝顯示圖像Pa中具有閾值以上的亮度的範圍為基準區域。進而,該辨識資訊表示:相對於該基準區域,在預先決定的方向有對象區域,及該對象區域從基準區域的中心(或重心)離開預先決定的距離。
因此,若由接收機200拍攝的發送機100的發光部142搖曳,則如圖349所示,重疊於拍攝顯示圖像Pa的對象區域的AR圖像p42亦以同步於該發光部142的運動的方式移動。總言之,若發光部142搖曳,拍攝顯示圖像Pa中拍到的發光部142的像142a亦搖曳。該像142a是具有上述閾值以上的亮度的範圍,且為基準區域。亦即,由於基準區域移動,接收機200以該基準區域與對象區域之間的距離維持在預先決定的距離的方式,使對象區域移動, 並將AR圖像P42重疊於該移動的對象區域。其結果,若發光部142搖曳,則重疊於拍攝顯示圖像Pa的對象區域的AR圖像P42亦同步於該發光部142的運動而移動。再者,基準區域的中心位置有時亦因發光部142的變形而移動。因此,於發光部142變形時,AR圖像42有時亦以與該移動的基準區域的中心位置之間的距離維持在預先決定的距離的方式移動。
又,於上述例中,接收機200亦可根據辨識資訊來辨識對象區域,將AR圖像P42重疊於該對象區域,使AR圖像P42以該對象區域為中心而振動。總言之,接收機200按照表示振幅對於時間的變化的函數,使該AR圖像P42往例如上下方向振動。該函數為例如正弦波等三角函數。
又,接收機200亦可因應上述具有閾值以上的亮度的範圍大小,使AR圖像P42的大小變化。總言之,接收機200是當拍攝顯示圖像Pa的明亮區域的面積越大,則越增大AR圖像P42的尺寸,反之,該明亮區域的面積越小,則越縮小AR圖像P42的尺寸。
又,接收機200亦可是當上述具有閾值以上的亮度的範圍的平均亮度越高,則越增大AR圖像P42的尺寸,反之,該平均亮度越低,則越縮小AR圖像P42的尺寸。再者,亦可因應該平均亮度,使AR圖像P42的透明度變化,以取代使AR圖像P42的尺寸變化。
又,於圖349所示例中,發光部142的像142a 之中,任何畫素均具有閾值以上的亮度,但亦可是任一畫素小於閾值。總言之,相當於像142a之具有閾值以上的亮度的範圍,亦可為環狀。該情況下,該具有閾值以上的亮度的範圍被特定為基準區域,並於從該基準區域的中心(或重心)離開預先決定的距離的對象區域,重疊AR圖像P42。
圖350是表示本實施形態的接收機200顯示AR圖像的其他例的圖。
發送機100例如如圖350所示,作為照明裝置而構成,藉由例如一面照亮描繪於壁面的3個圓所組成的圖形143一面進行亮度變化,來發送光ID。圖形143是由來自該發送機100的光所照亮,因此會與發送機100同樣地進行亮度變化,發送光ID。
接收機200藉由拍攝由發送機100照亮的圖形143,來與上述同樣地取得拍攝顯示圖像Pa及解碼用圖像。接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,接收機200從圖形143接收光ID。接收機200將該光ID發送至伺服器。然後,接收機200從伺服器,取得對應於該光ID的AR圖像P43及辨識資訊。接收機200辨識出拍攝顯示圖像Pa中對應於該辨識資訊的區域,來作為對象區域。例如接收機200辨識出拍到圖形143的區域,來作為對象區域。然後,接收機200將AR圖像P43重疊於該對象區域,將重疊有AR圖像P43的拍攝顯示圖像Pa顯示於顯示器201。例如AR圖像P43為角色的臉部圖像。
於此,圖形143雖如上述由3個圓組成,但該 圖形143的幾何學特徵少。因此,僅以藉由拍攝圖形143所獲得的拍攝圖像,難以從積存於伺服器的許多圖像中適當地選擇並取得對應於該圖形143的AR圖像。然而,於本實施形態,接收機200取得光ID,從伺服器取得對應於該光ID的AR圖像P43。因此,即使伺服器積存有許多圖像,仍可從該許多圖像中,適當地選擇並取得對應於該光ID的AR圖像P43,來作為對應於圖形143的AR圖像。
圖351是表示本實施形態的接收機200的動作的流程圖。
本實施形態的接收機200首先取得複數個AR圖像候補(步驟S541)。例如接收機200藉由與可見光通訊不同的無線通訊(BTLE和Wi-Fi等),從伺服器取得複數個AR圖像候補。接著,接收機200拍攝被攝體(步驟S542)。接收機200藉由該拍攝,如上述般取得拍攝顯示圖像Pa及解碼用圖像。然而,該被攝體為發送機100的照片時,由於從該被攝體未發送光ID,因此接收機200即使進行對解碼用圖像的解碼,仍無法取得光ID。
因此,接收機200判定是否可取得光ID,亦即判定是否從被攝體接收到光ID(步驟S543)。
於此,若判定未接收光ID(步驟S543,No),接收機200判定設定於本身的AR顯示旗標是否為1(步驟S544)。AR顯示旗標是表示即使未取得光ID,是否亦可僅從拍攝顯示圖像Pa顯示AR圖像的旗標。AR顯示旗標為1時,該AR顯示旗標表示亦可僅從拍攝顯示圖像Pa顯示AR 圖像,AR顯示旗標為0時,該AR顯示旗標表示不得僅從拍攝顯示圖像Pa顯示AR圖像。
若判定AR顯示旗標為1(步驟S544,Yes),接收機200從步驟S541所取得的複數個AR圖像候補之中,選擇對應於拍攝顯示圖像Pa的候補來作為AR圖像(步驟S545)。總言之,接收機200擷取拍攝顯示圖像Pa所含的特徵量,並選擇與該擷取到的特徵量相關聯的候補,來作為AR圖像。
然後,接收機200將選擇的候補即AR圖像,重疊於拍攝顯示圖像Pa而顯示(步驟S546)。
另,若判定AR顯示旗標為0(步驟S544,No),接收機200不顯示AR圖像。
又,於步驟S543若判定接收到光ID(步驟S543,Yes),接收機200從步驟S541所取得的複數個AR圖像候補中,選擇與該光ID相關聯的候補來作為AR圖像(步驟S547)。然後,接收機200將選擇的候補即AR圖像,重疊於拍攝顯示圖像Pa而顯示(步驟S546)。
再者,於上述例中,AR顯示旗標雖設定於接收機200,但亦可設定於伺服器。此時,接收機200是於步驟S544,向伺服器詢問AR顯示旗標是1或是0。
藉此,即使接收機200進行拍攝仍未接收到光ID時,可藉由AR顯示旗標,來控制是否令該接收機200顯示AR圖像。
圖352是用以說明本實施形態的接收機100 的動作的圖。
例如發送機100是作為投影機而構成。於此,從投影機照射而被螢幕反射的光的強度,會因該投影機的光源的經時劣化、或從該光源到螢幕的距離等各要因而變化。光的強度小時,從發送機100發送的光ID難以被接收機200接收。
因此,本實施形態的發送機100為了抑制與該各要因相應的光強度的變化,而調整用以使光源發光的參數。該參數為用以使光源發光而輸入於該光源的電流之值、及其發光時間(更具體而言是每單位時間的發光時間)中的至少一方。例如越增大電流之值,越加長發光時間,則光源的光強度越大。
總言之,發送機100以光源越是經時劣化,越增強該光源的光的方式,來調整參數。具體而言,發送機100具備計時器,以由該計時器測量的光源的使用時間越長,越增強該光源的光的方式,來調整參數。總言之,若使用時間越長,發送機100越提高光源的電流值,或越加長發光時間。或者,發送機100檢出從光源照射的光的強度,以使該檢出的光的強度不降低的方式,來調整參數。亦即,發送機100以檢出的光的強度越小,越增強該光的方式,來調整參數。
又,發送機100以從光源到螢幕的照射距離越長,越增強該光源的光的方式,來調整參數。具體而言,發送機100檢出照射並被螢幕反射的光的強度,以該檢出 的光的強度越小,越增強光源的光的方式,來調整參數。總言之,若檢出的光的強度越小,發送機100越提高該光源的電流值,或越加長發光時間。藉此,以反射的光的強度無關於照射距離而均保持為一定的方式,來調整參數。或者,發送機100藉由測距感測器,檢出從光源到螢幕的照射距離,以該檢出的照射距離越長,越增強光源的光的方式,來調整參數。
又,發送機100以螢幕的顏色越黑,越增強該光源的光的方式,來調整參數。具體而言,發送機100藉由拍攝螢幕,來檢出該螢幕的顏色,以該檢出的螢幕的顏色越黑,越增強光源的光的方式,來調整參數。總言之,若檢出的顏色越黑,發送機100越提高該光源的電流值,或越加長發光時間。藉此,以反射的光的強度無關於螢幕的顏色而均保持為一定的方式,來調整參數。
又,發送機100以外光越強,越增強該光源的光的方式,來調整參數。具體而言,發送機100檢出開啟光源並照射光時的螢幕的明亮度,與關閉光源不照射光時的螢幕的明亮度之間的差。然後,發送機100以該明亮度的差越小,越增強光源的光的方式,來調整參數。總言之,若明亮度的差越小,發送機100越提高該光源的電流值,或越加長發光時間。藉此,以光ID的S/N比無關於外光而均保持為一定的方式,來調整參數。又,發送機100作為例如LED顯示器而構成時,亦可檢出太陽光的強度,以該太陽光的強度越大,越增強光源的光的方式,來調整 參數。
再者,如上述的參數調整亦可於使用者進行操作時實施。例如發送機100具備校準按鈕,當使用者按下該校準按鈕時,實施上述參數的調整。又,發送機100亦可定期地實施上述參數的調整。
圖353是用以說明本實施形態的發送機100的其他動作的圖。
例如發送機100作為投影機而構成,將來自光源的光透過前構件而照射於螢幕。投影機為液晶投影機時,該前構件為液晶面板,投影機為DLP(註冊商標)投影機時,該前構件為DMD(Digital Mirror Device(數位反射鏡裝置))。總言之,前構件是就各畫素調整影像亮度的構件。又,光源是朝前構件照射光,並將該光的強度切換為High(高)與Low(低)。又,光源是藉由調整每單位時間的High時間,來調整時間平均的明亮度。
於此,前構件的穿透率為例如100%時,光源變暗,以使從投影機向螢幕投影的影像不會變得過亮。總言之,光源縮短每單位時間的High時間。
此時,光源在藉由亮度變化發送光ID時,使光ID的脈衝寬度變寬。
另,前構件的穿透率為例如20%時,光源變亮,以使從投影機向螢幕投影的影像不會變得過暗。總言之,光源加長每單位時間的High時間。
此時,光源在藉由亮度變化發送光ID時,使 光ID的脈衝寬度變窄。
如此,由於光源暗時,光ID的脈衝寬度變寬,反之,光源亮時,光ID的脈衝寬度變窄,因此可抑制由於光ID的發送,而使來自光源的光的強度過弱或過亮。
再者,於上述例中,發送機100雖為投影機,但亦可作為大型LED顯示器而構成。大型LED顯示器如圖173、圖175及圖180B所示,具備畫素開關及共通開關。藉由畫素開關的開啟及關閉來顯示影像,藉由共通開關的開啟及關閉來發送光ID。此時,在功能上,畫素開關相當於前構件,共通開關相當於光源。畫素開關的平均亮度高時,亦可縮短共通開關的光ID的脈衝寬度。
圖354是用以說明本實施形態的發送機100的其他動作的圖。具體而言,圖354是表示構成為附調光功能的聚光燈的發送機100的調光度、與輸入於該發送機100的光源之電流(具體而言為峰值電流值)的關係。
發送機100受理對本身具備的光源指定的調光度,以該指定的調光度使光源發光。再者,調光度是光源的平均亮度相對於最大平均亮度的比率。平均亮度為時間上平均的亮度,並非瞬間的亮度。又,調光度的調整是藉由調整輸入於光源的電流之值,亦或調整光源的亮度為Low時的時間來實現。光源的亮度為Low時的時間亦可為關閉光源的時間。
於此,發送機100將發送對象訊號作為光ID發送時,藉由以預先決定的模式,將該發送對象訊號編碼, 來生成編碼訊號。然後,發送機100藉由按照該編碼訊號使本身具備的光源進行亮度變化,來將該編碼訊號作為光ID(亦即可見光訊號)發送。
例如指定的調光度為0%以上且為x3(%)以下時,發送機100藉由以工作比35%的PWM模式將發送對象訊號編碼,來生成編碼訊號。x3(%)為例如50%。再者,於本實施形態,亦將工作比35%的PWM模式稱為第1模式,亦將上述x3稱為第1值。
總言之,在指定的調光度為0%以上且為x3(%)以下時,發送機100一面將可見光訊號的工作比維持在35%,一面藉由峰值電流值來調整光源的調光度。
又,指定的調光度大於x3(%)且為100%以下時,發送機100藉由以工作比65%的PWM模式將發送對象訊號編碼,來生成編碼訊號。再者,於本實施形態,亦將工作比65%的PWM模式稱為第2模式。
總言之,在指定的調光度為大於x3(%)且為100%以下時,發送機100一面將可見光訊號的工作比維持在65%,一面藉由峰值電流值來調整光源的調光度。
如此,本實施形態的發送機100受理對光源指定的調光度,來作為指定調光度。然後,發送機100在指定調光度為第1值以下時,一面以該指定調光度使光源發光,一面藉由亮度變化來發送以第1模式編碼的訊號。又,發送機100在指定調光度之值大於第1值時,一面以該指定調光度使光源發光,一面藉由亮度變化來發送以第2 模式編碼的訊號。具體而言,以第2模式編碼的訊號的工作比,大於以第1模式編碼的訊號的工作比。
於此,由於第2模式的工作比大於第1模式的工作比,因此可使峰值電流相對於第2模式的調光度的變化率,小於峰值電流相對於第1模式的調光度的變化率。
又,指定的調光度超過x3(%)時,模式從第1模式切換為第2模式。因此,此時,可使峰值電流瞬間降低。總言之,指定的調光度為x3(%)時,峰值電流為y3(mA),但若指定的調光度些許超過x3(%),則可將峰值電流抑制在y2(mA)。再者,y3(mA)為例如143mA,y2(mA)為例如100mA。其結果,可抑制為了將調光度調大而使峰值電流大於y3(mA),可抑制光源因大的電流流入而劣化。
又,指定的調光度超過x4(%)時,即使模式為第2模式,峰值電流仍會大於y3(mA)。然而,在指定的調光度超過x4(%)的頻繁度較少時,可抑制光源劣化。再者,於本實施形態,亦將上述x4稱為第2值。又,於圖354所示例中,x4(%)雖小於100%,但亦可為100%。
總言之,於本實施形態的發送機100,在指定調光度大於第1值且為第2值以下時,用以藉由亮度變化發送以第2模式編碼的訊號的光源的峰值電流值,比指定調光度為第1值時,用以藉由亮度變化發送以第1模式編碼的訊號的光源的峰值電流值小。
藉此,藉由切換將訊號編碼的模式,指定調 光度大於第1值且為第2值以下時之光源的峰值電流值,會小於指定調光度為第1值時之光源的峰值電流值。因此,可抑制指定調光度越大,越大的峰值電流流入光源。其結果,可抑制光源劣化。
進而,本實施形態的發送機100在指定調光度為x1(%)以上且小於x2(%)時,一面以指定的調光度使光源發光,一面藉由亮度變化發送以第1模式編碼的訊號,並且將峰值電流值相對於指定之調光度的變化維持在一定值。x2(%)小於x3(%)。再者,於本實施形態,亦將上述x2稱為第3值。
總言之,發送機100在指定調光度小於x2(%)時,隨著指定調光度變小而增長關閉光源的時間,藉此以變小的該指定調光度來使光源發光,且將峰值電流值維持在一定值。具體而言,發送機100一面將編碼訊號的工作比維持在35%,一面加長發送複數個編碼訊號的各訊號的週期。藉此,關閉光源的時間,亦即關燈時間變長。其結果,可一面將峰值電流值維持在一定,一面使調光度變小。又,即使在指定調光度變小時,由於峰值電流值維持在一定,因此可使接收機200容易接收藉由亮度變化發送的訊號,即可見光訊號(亦即光ID)。
於此,發送機100決定關閉光源的時間,以使藉由亮度變化發送編碼訊號的時間、與關閉光源的時間相加所得之1週期,不超過10毫秒。例如若關閉光源的時間過長,該1週期超過10毫秒,則用以發送編碼訊號的光 源的亮度變化唯恐被人眼辨識到閃爍。因此,於本實施形態決定關閉光源的時間,以使1週期不超過10毫秒,從而可抑制被人辨識到閃爍。
進而,發送機100在指定調光度小於x1(%)時,一面以該指定調光度令光源發光,一面藉由亮度變化來發送以第1模式編碼的訊號。此時,發送機100隨著指定調光度變小,使峰值電流值變小,藉此以變小的指定調光度令光源發光。x1(%)小於x2(%)。再者,於本實施形態,亦將上述x1稱為第4值。
藉此,即使指定調光度更小,仍能以該指定調光度令光源適當地發光。
於此,於圖354所示例中,第1模式的最大峰值電流值(亦即y3(mA))雖小於第2模式的最大峰值電流值(亦即y4(mA)),但亦可為相同。亦即,在指定的調光度為大於x3(%)的x3a(%)為止,發送機100以第1模式來對發送對象訊號進行編碼。然後,在指定的調光度為x3a(%)時,發送機100以與第2模式的最大峰值電流值(亦即y4(mA))相同的峰值電流值,使電源發光。此時,x3a成為第1值。再者,第2模式的最大峰值電流值是指定的調光度為最大值、亦即100%時的峰值電流值。
總言之,於本實施形態,指定調光度為第1值時之光源的峰值電流值、與指定調光度為最大值時之光源的峰值電流值亦可為相同。此時,由於以y3(mA)以上的峰值電流使光源發光的調光度之範圍擴大,因此可於調光 度大的範圍內,使接收機200容易接收光ID。換言之,即使是第1模式,仍可使大的峰值電流流入光源,因此可使接收機容易接收藉由該光源的亮度變化而發送的訊號。再者,此情況下,由於流入大的峰值電流的期間變長,因此光源容易劣化。
圖355是用以說明本實施形態的光ID的容易接收性的比較例的圖。
於本實施形態,如圖354所示,於調光度小時,採用第1模式,於調光度大時,採用第2模式。第1模式是即使調光度的增加小,仍加大峰值電流之增加的模式,第2模式是即使調光度的增加大,仍抑制峰值電流之增加的模式。因此,由於是藉由第2模式來抑制大的峰值電流流入光源,因此可抑制光源劣化。進而,藉由第1模式,即使調光度小,大的峰值電流仍流入光源,因此可使接收機200容易接收光ID。
另,在調光度小時仍採用第2模式的情況下,如圖355所示,由於調光度小時,峰值電流值亦小,因此難以使接收機200接收光ID。
因此,本實施形態的發送機100,可謀求同時達成光源劣化的抑制與光ID的容易接收性。
又,在光源的峰值電流值超過第5值時,發送機100亦可停止藉由光源的亮度變化所進行的訊號之發送。第5值亦可為例如y3(mA)。
藉此,可進一步抑制光源劣化。
又,發送機100亦可與圖352所示例同樣,測量光源的使用時間。然後,該使用時間為預定時間以上時,發送機100亦可利用一參數值,藉由亮度變化來發送訊號,其中前述一參數值是用以以大於指定調光度的調光度令光源發光。此時,參數值亦可為峰值電流值或關閉光源的時間。藉此,可抑制由於光源的經時性劣化,使得接收機200難以接收光ID。
又,發送機100亦可測量光源的使用時間,當該使用時間為預定時間以上時,使光源的電流的脈衝寬度,變得比使用時間小於預定時間時更大。藉此,與上述同樣,可抑制由於光源的劣化而難以接收光ID。
再者,於上述實施形態,發送機100雖因應指定的調光度來切換第1模式與第2模式,但亦可因應使用者的操作來進行該模式的切換。總言之,若使用者操作開關,發送機100將第1模式切換為第2模式,反之則將第2模式切換為第1模式。又,發送機100亦可於模式切換時通知使用者。例如發送機100亦可藉由播放聲音、以人可視認的週期使光源亮暗、亦或使通知用的LED亮燈,來向使用者通知模式的切換。又,發送機100不僅於模式的切換,亦可於峰值電流與調光度的關係變化的時點,向使用者通知該關係的變化。該時點是例如圖354所示的調光度從x1(%)變化的時點,或調光度從x2(%)變化的時點。
圖356A是表示本實施形態的發送機100的動作的流程圖。
發送機100首先受理對光源指定的調光度,來作為指定調光度(步驟S551)。接著,發送機100藉由光源的亮度變化來發送訊號(步驟S552)。具體而言,當指定調光度為第1值以下時,發送機100一面以該指定調光度令光源發光,一面藉由亮度變化來發送以第1模式編碼的訊號。又,當指定調光度大於第1值時,發送機100一面以該指定調光度令光源發光,一面藉由亮度變化來發送以第2模式編碼的訊號。於此,在指定調光度大於第1值且為第2值以下時,用以藉由亮度變化來發送以第2模式編碼的訊號的光源的峰值電流值,比在指定調光度為第1值的情況下,用以藉由亮度變化來發送以第1模式編碼的訊號的光源的峰值電流值小。
圖356B是表示本實施形態的發送機100的構成的方塊圖。
發送機100具備受理部551及發送部552。受理部551受理對光源指定的調光度,來作為指定調光度(步驟S551)。發送部552藉由光源的亮度變化來發送訊號。具體而言,當指定調光度為第1值以下時,發送部552一面以該指定調光度令光源發光,一面藉由亮度變化來發送以第1模式編碼的訊號。又,當指定調光度大於第1值時,發送部552一面以該指定調光度令光源發光,一面藉由亮度變化來發送以第2模式編碼的訊號。於此,在指定調光度大於第1值且為第2值以下時,用以藉由亮度變化來發送以第2模式編碼的訊號的光源的峰值電流值,比在指定調光度 為第1值的情況下,用以藉由亮度變化來發送以第1模式編碼的訊號的光源的峰值電流值小。
藉此,如圖354所示,藉由切換將訊號編碼的模式,指定調光度大於第1值且為第2值以下時之光源的峰值電流值,會小於指定調光度為第1值時之光源的峰值電流值。因此,可抑制指定調光度越大,流入光源的峰值電流越大。其結果,可抑制光源劣化。
圖357是表示本實施形態的接收機200顯示AR圖像的其他例的圖。
接收機200藉由利用該影像感測器拍攝被攝體,來取得上述一般攝影圖像即拍攝顯示圖像Pk、及上述可見光通訊圖像或明線圖像即解碼用圖像。
具體而言,接收機200的影像感測器拍攝作為標牌而構成的發送機100、及位於發送機100旁的人物21。發送機100是上述各實施形態的發送機,具備1個或複數個發光元件(例如LED)、及如毛玻璃般具有透光性的透光板144。1個或複數個發光元件在發送機100的內部發光,來自1個或複數個發光元件的光穿透透光板144而往外部照射。其結果,發送機100的透光板144成為明亮發光的狀態。該類發送機100藉由使該1個或複數個發光元件亮暗來進行亮度變化,藉由該亮度變化來發送光ID(光識別資訊)。該光ID為上述可見光訊號。
於此,於透光板144記載有「請將智慧型手機朝向此處」的訊息。因此,接收機200的使用者令人物 21站在發送機100旁,指示該人物21將手臂搭在發送機100上。然後,使用者將接收機200的相機(亦即影像感測器),朝向人物21及發送機100進行拍攝。接收機200藉由以一般曝光時間來拍攝發送機100及人物21,取得拍到該等的拍攝顯示圖像Pk。進而,接收機200以短於該一般曝光時間的通訊用曝光時間,拍攝發送機100及人物21,藉此取得解碼用圖像。
接收機200藉由對該解碼用圖像解碼,來取得光ID。總言之,接收機200從發送機100接收光ID。接收機200將該光ID發送至伺服器。然後,接收機200從伺服器取得對應於該光ID的AR圖像P44及辨識資訊。接收機200辨識出拍攝顯示圖像Pk中對應於該辨識資訊的區域,來作為對象區域。例如接收機200辨識出拍到發送機100即標牌的區域,來作為對象區域。
然後,接收機200以該對象區域被AR圖像P44掩蓋的方式,將該AR圖像P44重疊於拍攝顯示圖像Pk,將該拍攝顯示圖像Pk顯示於顯示器201。例如接收機200取得表示足球選手的AR圖像P44。此時,由於是以掩蓋拍攝顯示圖像Pk的對象區域的方式重疊AR圖像P44,因此可將拍攝顯示圖像Pk,顯示成如同足球選手真實存在於人物21旁。其結果,即使足球選手不在旁邊,人物21仍可與該足球選手一起拍在照片中。更具體而言,能以將人物21的手臂搭在足球選手的肩膀的狀態,與該足球選手一同拍在照片中。
(實施形態27)
於本實施形態,說明藉由可見光訊號來發送光ID的發送方法。再者,本實施形態的發送機及接收機亦可與上述各實施形態的發送機(或發送裝置)及接收機(或接收裝置),具有同一功能及構成。
圖358是用以說明本實施形態的發送機100的動作的圖。具體而言,圖358是表示構成為附調光功能的聚光燈之發送機100的調光度、與輸入於該發送機100之光源的電流(具體而言為峰值電流值)的關係。
指定的調光度為0%以上且為x14(%)以下時,本實施形態的發送機100藉由以工作比35%的PWM模式,將發送對象訊號編碼,來生成編碼訊號。總言之,發送機100在指定的調光度從0%變化為x14(%)時,一面將可見光訊號的工作比維持在35%,一面藉由增加峰值電流值,來以該指定的調光度使光源發光。再者,工作比35%的PWM模式與實施形態26相同,亦稱為第1模式,亦將上述x14稱為第1值。例如x14(%)為50~60%的範圍內之值。
又,指定的調光度為x13(%)以上且為100%以下時,發送機100藉由以工作比65%的PWM模式將發送對象訊號編碼,來生成編碼訊號。總言之,發送機100在指定的調光度從100%變化為x13(%)時,一面將可見光訊號的工作比維持在65%,一面抑制峰值電流值,來以該指定的調光度使光源發光。再者,工作比65%的PWM模式與實施形態26同樣,亦稱為第2模式,亦將上述x13稱為第2 值。於此,x13(%)為小於x14(%)之值,例如40~50%的範圍內之值。
如此,於本實施形態,在指定的調光度增加時,PWM模式在調光度x14(%),從工作比35%的PWM模式切換為工作比65%的PWM模式。另,在指定的調光度減少時,PWM模式在小於調光度x14(%)的調光度x13(%),從工作比65%的PWM模式切換為工作比35%的PWM模式。總言之,指定的調光度增加時與指定的調光度減少時,切換PWM模式的調光度不同。以下,將切換PWM模式的調光度稱為切換點。
因此,於本實施形態,可抑制PWM模式的頻繁切換。於實施形態26的圖354所示例中,PWM模式的切換點為50%,在指定的調光度增加時與指定的調光度減少時相同。其結果,如圖354所示例中,若指定的調光度在50%前後重複增減,則PWM模式會在工作比35%的PWM模式與工作比65%的PWM模式頻繁切換。然而,於本實施形態,由於在指定的調光度增加時與指定的調光度減少時,PWM模式的切換點不同,因此可抑制該類PWM模式的頻繁切換。
又,於本實施形態,與實施形態26的圖354所示例同樣,於指定的調光度小時,採用工作比小的PWM模式,反之,於指定的調光度大時,採用工作比大的PWM模式。
因此,由於在指定的調光度大時,採用工作 比大的PWM模式,因此可縮小峰值電流相對於調光度的變化率,可藉由小的峰值電流,使光源以大的調光度發光。例如在工作比35%之工作比小的PWM模式下,若未使峰值電流為250mA,則無法以100%的調光度來使光源發光。然而,於本實施形態,由於對大的調光度採用像是工作比65%之工作比大的PWM模式,因此只要使峰值電流成為例如更小的154mA,即能以100%的調光度來使光源發光。總言之,可抑制過量電流流入光源,而縮短該光源的使用壽命。
又,由於在指定的調光度小時,採用工作比小的PWM模式,因此可增大峰值電流相對於調光度的變化率。其結果,可一面以小的調光度使光源發光,一面藉由大的峰值電流來發送可見光訊號。若輸入的電流越大,光源越明亮地發光。因此,藉由大的峰值電流發送可見光訊號時,可使接收機200容易接收可見光訊號。換言之,能將可發送接收機200可接收的可見光訊號的調光度的範圍,擴大到更小的調光度。例如如圖385所示,若峰值電流為Ia(mA)以上,接收機200可接收藉由該峰值電流發送的可見光訊號。此時,在像是工作比65%之大工作比的PWM模式下,可發送可接收的可見光訊號的調光度的範圍為x12(%)以上。然而,在像是工作比35%之小工作比的PWM模式下,可使可發送可接收的可見光訊號的調光度的範圍,成為小於x12(%)的x11(%)以上。
如此,藉由切換PWM模式,可增長光源的 使用壽命,且能在寬廣的調光度的範圍內發送可見光訊號。
圖359A是用以說明本實施形態的發送方法的流程圖。
本實施形態的發送方法是藉由光源的亮度變化,來發送訊號的發送方法,包含受理步驟S561、發送步驟S562。於受理步驟S561,發送機100受理對光源指定的調光度,來作為指定調光度。於發送步驟S562,發送機100一面以該指定調光度令光源發光,一面藉由亮度變化來發送以第1模式或第2模式編碼的訊號。於此,以第2模式編碼的訊號的工作比,大於以第1模式編碼的前述訊號的工作比。又,於發送步驟S562,指定調光度從較小值變更為較大值時,發送機100在指定調光度為第1值時,將訊號編碼所用的模式從第1模式切換為第2模式。進而,指定調光度從較大值變更為較小值時,發送機100在指定調光度為第2值時,將訊號編碼所用的模式從第2模式切換為第1模式。於此,第2值小於第1值。
例如第1模式及第2模式分別為圖358所示的工作比35%的PWM模式及工作比65%的PWM模式。又,第1值及第2值分別為圖358所示的x14(%)及x15(%)。
藉此,進行第1模式與第2模式之切換的指定調光度(亦即切換點),在指定用光度增加時與減少時為不同。因此,可抑制該等模式的頻繁切換。亦即,可抑制所謂顫動的發生。其結果,可使發送訊號的發送機100的動作穩定。又,以第2模式編碼的訊號的工作比,大於以第1 模式編碼的訊號的工作比。因此,與圖354所示的發送方法同樣,可抑制指定調光度越大,流入光源的峰值電流越大。其結果,可抑制光源劣化。又,由於光源劣化受到抑制,因此可長期進行各種機器間的通訊。又,指定調光度小時,採用工作比小的第1模式。因此,可增大上述峰值電流,可將容易被接收機200接收的訊號作為可見光訊號發送。
又,於發送步驟S562,從第1模式往第2模式進行切換時,發送機100將用以藉由亮度變化來發送已編碼訊號的光源的峰值電流,從第1電流值變更為小於第1電流值的第2電流值。進而,在從第2模式往第1模式進行切換時,發送機100將峰值電流,從第3電流值變更為大於第3電流值的第4電流值。於此,第1電流值大於第4電流值,第2電流值大於第3電流值。
例如第1電流值、第2電流值、第3電流值及第4電流值分別為圖358所示的電流值Ie、電流值Ic、電流值Ib及電流值Id。
藉此,可適當地切換第1模式與第2模式。
圖359B是表示本實施形態的發送機100的構成的方塊圖。
本實施形態的發送機100是藉由光源的亮度變化來發送訊號的發送機,具備受理部561及發送部562。受理部561受理對光源指定的調光度,來作為指定調光度。發送部562一面以該指定調光度令光源發光,一面藉 由亮度變化來發送以第1模式或第2模式編碼的訊號。於此,以第2模式編碼的訊號的工作比,大於以第1模式編碼的前述訊號的工作比。又,指定調光度從較小值變更為較大值時,發送部562在指定調光度為第1值時,將訊號編碼所用的模式從第1模式切換為第2模式。進而,指定調光度從較大值變更為較小值時,發送部562在指定調光度為第2值時,將訊號編碼所用的模式從第2模式切換為第1模式。於此,第2值小於第1值。
藉由該類發送機100,來實現圖359A所示的流程圖的發送方法。
圖360是表示本實施形態的可見光訊號的詳細構成的一例的圖。
該類可見光訊號與圖188、圖189A(b)、圖197、圖212、圖316及圖317同樣為PWM模式的訊號。
可見光訊號的封包包括L資料部、前文及R資料部。再者,L資料部及R資料部分別相當於酬載。
前文相當於圖188、圖189A(b)、圖197及圖212的前文,相當於圖316及圖317的SHR。具體而言,前文沿著時間軸交替表示High(高)與Low(低)的亮度值。總言之,前文以時間長C0表示High亮度值,以下一時間長C1表示Low亮度值,以下一時間長C2表示High亮度值,以下一時間長C3表示Low亮度值。再者,時間長C0及C3為例如100μs。又,時間長C1及C2例如比時間長C1及C3短10μs而為90μs。
L資料部相當於圖188、圖189A(b)、圖197及圖212的資料L,相當於圖316及圖317的PHY酬載A。具體而言,L資料部沿著時間軸,交替表示High與Low的亮度值,且緊接於前文之前配置。總言之,L資料部以時間長D'0表示High亮度值,以下一時間長D'1表示Low亮度值,以下一時間長D'2表示High亮度值,以下一時間長D'3表示Low亮度值。再者,時間長D'0~D'3是按照對應於發送對象的訊號的數式來決定。該等數式為D’0=W0+W1×(3-y0)、D’1=W0+W1×(7-y1)、D’2=W0+W1×(3-y2)、及D’3=W0+W1×(7-y3)。於此,常數W0為例如110μs,常數W1為例如30μs。變數y0及y2是以2位元表示的0~3的任一整數,變數y1及y3是以3位元表示的0~7的任一整數。又,變數y0~y3為發送對象的訊號。再者,於圖360~圖363,採用「*」作為意指乘法的記號。
R資料部相當於圖188、圖189A(b)、圖197及圖212的資料R,相當於圖316及圖317的PHY酬載B。具體而言,R資料部沿著時間軸,交替表示High與Low的亮度值,且緊接於前文之後配置。總言之,R資料部以時間長D0表示High亮度值,以下一時間長D1表示Low亮度值,以下一時間長D2表示High亮度值,以下一時間長D3表示Low亮度值。再者,時間長D0~D3是按照對應於發送對象的訊號的數式來決定。該等數式為D0=W0+W1×y0、D1=W0+W1×y1、D2=W0+W1×y2、及D3=W0+W1×y3
於此,L資料部與R資料部相對於明亮度具有 互補關係。總言之,L資料部的明亮度若為明亮,則R資料部的明亮度為陰暗,反之,L資料部的明亮度若為陰暗,則R資料部的明亮度為明亮。總言之,L資料部的時間長與R資料部的時間長的和,無關於發送對象的訊號而均為固定。換言之,可無關於發送對象的訊號,均將從光源發送的可見光訊號之時間平均的明亮度維持在一定。
又,藉由變更D’0=W0+W1×(3-y0)、D’1=W0+W1×(7-y1)、D’2=W0+W1×(3-y2)、及D’3=W0+W1×(7-y3)中之3與7的比率,可變更PWM模式的工作比。再者,3與7的比率相當於變數y0及y2的最大值、與變數y1及y3的最大值的比率。例如該比率為3:7時,選擇工作比小的PWM模式,反之,該比率為7:3時,選擇工作比大的PWM模式。因此,藉由調整該比率,可將PWM模式切換成圖354及圖358所示的工作比35%的PWM模式、與工作比65%的PWM模式。又,為了向接收機200通知切換為何種PWM模式,亦可利用前文。例如發送機100使封包包含樣式與切換的PWM模式相對應的前文,藉此向接收機200通知該切換的PWM模式。再者,前文的樣式是依時間長C0、C1、C2及C3而變更。
然而,於圖360所示的可見光訊號中,由於封包包含2個資料部,因此該封包的發送耗費時間。例如發送機100為DLP投影機時,發送機100採時間分割投影紅、綠及藍各自的影像。於此,發送機100在投影紅的影像時,宜發送可見光訊號。這是由於此時發送的可見光訊 號具有紅色波長,因此容易由接收機200接收。繼續投影紅的影像的期間為例如1.5ms。再者,以下稱該期間為紅色投影期間。難以於如此短的紅色投影期間,發送包括上述L資料部、前文及R資料部的封包。
因此,想到2個資料部中僅具有R資料部的封包。
圖361是表示本實施形態的可見光訊號的詳細構成的其他例的圖。
圖361所示的可見光訊號的封包與圖360所示例不同,不包含L資料部。圖361所示的可見光訊號的封包包含無效資料及平均亮度調整部,以取代L資料部。
無效資料沿著時間軸,交替表示High與Low的亮度值。總言之,無效資料以時間長A0表示High的亮度值,以下一時間長A1表示Low的亮度值。時間長A0為例如100μs,時間長A1是以例如A1=W0-W1來表示。如此的無效資料表示封包不包含L資料部。
平均亮度調整部沿著時間軸,交替表示High與Low的亮度值。總言之,無效資料以時間長B0表示High的亮度值,以下一時間長B1表示Low的亮度值。時間長B0是由例如B0=100+W1×((3-y0)+(3-y2))表示,時間長B1是由例如B1=W1×((7-y1)+(7-y3))表示。
藉由該類平均亮度調整部,可使封包的平均亮度無關於發送對象的訊號y0~y3而均保持在一定。總言之,可使封包中亮度值為High的時間長的總和(亦即合計 開啟時間),成為A0+C0+C2+D0+D2+B0=790。進而,可使封包中亮度值為Low的時間長的總和(亦即合計關閉時間),成為A1+C1+C3+D1+D3+B1=910。
然而,即使是該類可見光訊號的構成,仍無法縮短封包中的全時間長E0中的一部分時間長、即有效時間長E1。該有效時間長E1是於封包中最初出現High亮度值之後,到最後出現的High亮度值結束為止的時間,且是接收機200為了解調或解碼可見光訊號所必需的時間。具體而言,有效時間長E1為E1=A0+A1+C0+C1+C2+C3+D0+D1+D2+D3+B0。再者,全時間長E0為E0=E1+B1
總言之,即使有效時間長E1為圖361所示之構成的可見光訊號,由於最大為1700μs,因此發送機100難以於上述紅色投影期間,以該有效時間長E1繼續發送1個封包。
因此,為了縮短有效時間長E1,且使封包的平均亮度無關於發送對象的訊號而均維持在一定,想到不僅要調整High與Low分別的亮度值的時間長,亦要調整Hight的亮度值。
圖362是表示本實施形態的可見光訊號的詳細構成的其他例的圖。
於圖362所示的可見光訊號的封包,與圖361所示例不同,為了縮短有效時間長E1,將平均亮度調整部的High亮度值的時間長B0,無關於發送對象的訊號而均固 定成最短的100μs。取而代之地,於圖362所示的可見光訊號的封包,因應發送對象的訊號所含的變數y0及y2,亦即因應時間長D0及D2,來調整High亮度值。例如時間長D0及D2短時,發送機100如圖362(a)所示,將High亮度值調整為較大值。又,時間長D0及D2長時,發送機100如圖362(b)所示,將High亮度值調整為較小值。具體而言,時間長D0及D2分別為最短的W0(例如110μs)時,High亮度值為100%的明亮度。又,時間長D0及D2分別為最大的「W0+3W1」(例如200μs)時,High亮度值為77.2%的明亮度。
於如此的可見光訊號的封包中,可使亮度值為High的時間長的總和(亦即合計開啟時間),成為例如A0+C0+C2+D0+D2+B0=610~790。進而,可使亮度值為Low的時間長的總和(亦即合計關閉時間),成為A1+C1+C3+D1+D3+B1=910。
然而,於圖362所示的可見光訊號,雖可使封包的全時間長E0及有效時間長E1各自的最短時間長比圖361所示例更縮短,但無法縮短最大時間長。
因此,為了縮短有效時間長E1,且使封包的平均亮度無關於發送對象的訊號而均為一定,想到因應發送對象的訊號而區分使用L資料部與R資料部,來作為封包所含的資料部。
圖363是表示本實施形態的可見光訊號的詳細構成的其他例的圖。
於圖363所示的可見光訊號,與圖360~圖362所示例不同,為了縮短有效時間,因應發送對象的訊號即變數y0~y3的總和,來區分使用包含L資料部的封包與包含R資料部的封包。
總言之,發送機100在變數y0~y3的總和為4以上時,如圖363(a)所示,生成僅包含2個資料部中之L資料部的封包。以下將該封包稱為L封包。又,發送機100在變數y0~y3的總和為3以下時,如圖363(b)所示,生成僅包含2個資料部中之R資料部的封包。以下將該封包稱為R封包。
L封包如圖363(a)所示,包含平均亮度調整部、L資料部、前文及無效資料。
L封包的平均亮度調整部不表示High亮度值,而是以時間長B'0表示Low亮度值。時間長B'0是由例如B’0=100+W1×(y0+y1+y2+y3-4)表示。
L封包的無效資料沿著時間軸,交替表示High與Low的亮度值。總言之,無效資料以時間長A'0表示High亮度值,以下一時間長A'1表示Low亮度值。時間長A'0是由A’0=W0-W1表示,例如為80μs,時間長A'1例如為150μs。該類無效資料是表示:於具有該無效資料的封包,不包含R資料部。
於該類L封包,全時間長E'0無關於發送對象的訊號,均為E'0=5W0+15W1+4b+230=1630μs。又,有效時間長E'1是對應於發送對象的訊號的時間長,在900~ 1380μs的範圍內。又,相對於全時間長E'0為一定之1630μs,亮度值為High的時間長的總和(亦即合計開啟時間)是在490~670μs的範圍內,根據發送對象的訊號而變化。因此,發送機100於該L封包,亦與圖362所示例同樣,對應於合計開啟時間,亦即對應於時間長D0及D2,使High亮度值在100%~73.1%的範圍內變化。
R封包與圖361所示例同樣,如圖363(b)所示,包含無效資料、前文、R資料部及平均亮度調整部。
於此,於圖363(b)所示的R封包,為了縮短有效時間長E1,平均亮度調整部的High亮度值的時間長B0無關於發送對象的訊號,均固定成最短的100μs。又,為了使全時間長E1為一定,平均亮度調整部的Low亮度值的時間長B1由例如B1=W1×(3-(y0+y1+y2+y3)表示。進而,於圖363(b)所示的R封包,亦是對應於發送對象的訊號所含的變數y0及y2,亦即對應於時間長D0及D2,來調整High亮度值。
於該類R封包,全時間長E0無關於發送對象的訊號,均為E0=4W0+3W1+4b+260=1190μs。又,有效時間長E1是對應於發送對象的訊號之時間長,且在1100~1190μs的範圍內。又,相對於全時間長E0為一定之1190μs,亮度值為High之時間長的總和(亦即合計開啟時間)是在610~700μs的範圍內,根據發送對象的訊號而變化。因此,於該L封包,發送機100亦與圖362所示例同樣,對應於合計開啟時間,亦即對應於時間長D0及D2,使High 亮度值在80.3%~62.1%的範圍內變化。
如此,於圖363所示的可見光訊號,可縮短封包的有效時間長的最大值。因此,發送機100可於上述紅色投影期間,以該有效時間長E1或E'1,繼續發送1個封包。
於此,於圖363所示例中,發送機100在變數y0~y3的總和為4以上時,生成L封包,於變數y0~y3的總和為3以下時,生成R封包。換言之,由於變數y0~y3的總和為整數,因此發送機100在變數y0~y3的總和大於3時,生成L封包,在變數y0~y3的總和為3以下時,生成R封包。總言之,於該例,用以切換封包類型的閾值為3。然而,如此的封包類型之切換的閾值並不限定於3,亦可是3~10中任一值。
圖364是表示變數y0~y3的總和、與全時間長及有效時間長的關係圖。圖364所示的全時間長是R封包的全時間長E0、與L封包的全時間長E'0中較大的時間長。又,圖364所示的有效時間長是R封包的有效時間長E1的最大值、與L封包的有效時間長E'1的最大值中較大的時間長。再者,於圖364所示例中,常數W0、W1及b分別為W0=110μs,W1=15μs及b=100μs。
全時間長如圖364所示,對應於變數y0~y3的總和而變化,且在該總和約為10時成為最小。又,有效時間長如圖364所示,對應於變數y0~y3的總和而變化,且在該總和約為3時成為最小。
因此,封包類型的切換之閾值亦可於3~10的範圍內,根據縮短全時間長及有效時間長中的一者來設定。
圖365A是表示本實施形態的發送方法的流程圖。
本實施形態的發送方法是藉由發光體的亮度變化來發送可見光訊號的發送方法,包含決定步驟S571及發送步驟S572。於決定步驟S571,發送機100藉由調變訊號,來決定亮度變化的樣式。於發送步驟S572,發送機100使由該發光體所含的光源所顯示的紅色的亮度,按照決定的樣式來變化,藉此發送可見光訊號。於此,可見光訊號包含資料、前文及酬載。於資料中,第1亮度值、及小於該第1亮度值的第2亮度值沿著時間軸上出現,第1亮度值及第2亮度值中之至少一方繼續的時間長為第1預定值以下。於前文中,第1及第2亮度值分別沿著時間軸上交替出現。於酬載中,第1及第2亮度值沿著時間軸上交替出現,第1及第2亮度值分別繼續的時間長大於第1預定值,且是按照上述訊號及預定方式來決定。
例如資料、前文及酬載分別為圖363(a)及(b)所示的無效資料、前文、及L資料部或R資料部。又,例如第1預定值為100μs。
藉此,如圖363(a)及(b)所示,可見光訊號包含1個酬載(亦即L資料部或R資料部),其波形是對應於調變的訊號而決定,不包含2個酬載。因此,可縮短可見光 訊號,亦即可見光訊號的封包。其結果,例如即使由發光體所含的光源所顯示的紅色光的發光期間短,仍可於該發光期間發送可見光訊號的封包。
又,於酬載中,亦可依第1時間長的第1亮度值、第2時間長的第2亮度值、第3時間長的第1亮度值、第4時間長的第2亮度值之順序出現各個亮度值。此時,於發送步驟S572,發送機100使在第1時間長與第3時間長的和小於第2預定值時流入光源的電流值,比在第1時間長與第3時間長的和大於第2預定值時增大。於此,第2預定值大於第1預定值。再者,第2預定值為例如大於220μs之值。
藉此,如圖362及圖363所示,於第1時間長與第3時間長的和小時,光源的電流值被增大,於第1時間長與第3時間長的和大時,光源的電流值被減少。因此,可無關於訊號而將包括資料、前文及酬載的封包的平均亮度保持在一定。
又,於酬載中,亦可依第1時間長D0的第1亮度值、第2時間長D1的第2亮度值、第3時間長D2的第1亮度值、第4時間長D3的第2亮度值之順序出現各個亮度值。此時,從訊號取得的4個參數yk(k=0、1、2、3)的總和為第3預定值以下時,第1~4時間長D0~D3之各時間長是按照Dk=W0+W1×yk(W0、W1為0以上的整數)來決定。例如如圖363(b)所示,第3預定值為3。
藉此,如圖363(b)所示,可一面使第1~4時間長D0~D3之各時間長維持在W0以上,一面對應於訊號 而生成短波形的酬載。
又,4個參數yk(k=0、1、2、3)的總和為第3預定值以下時,於發送步驟S572,亦可將資料、前文及酬載依資料、前文、酬載的順序發送。再者,於圖363(b)所示例的情況下,該酬載為R資料部。
藉此,如圖363(b)所示,可將包含資料(亦即無效資料)的可見光訊號的封包不包含L資料部一事,藉由該資料通知接收該封包的接收機200。
又,4個參數yk(k=0、1、2、3)的總和大於第3預定值時,第1~4時間長D0~D3之各時間長亦可按照D0=W0+W1×(A-y0)、D1=W0+W1×(B-y1)、D2=W0+W1×(A-y2)、及D3=W0+W1×(B-y3)(A及B分別為0以上的整數)來決定。
藉此,可如圖363(a)所示,一面使第1~4時間長D0~D3(亦即第1~4時間長D'0~D'3)的各時間長維持在W0以上,即使上述總和大,仍可一面對應於訊號來生成短波形的酬載。
又,4個參數yk(k=0、1、2、3)的總和大於第3預定值時,於發送步驟S572,亦可將資料、前文及酬載依酬載、前文、資料的順序發送。再者,於圖363(a)所示例的情況下,該酬載為L資料部。
藉此,可如圖363(a)所示,將包含資料(亦即無效資料)的可見光訊號的封包不包含R資料部一事,藉由該資料通知接收該封包的接收裝置。
又,發光體具有包含紅色光源、藍色光源、綠色光源的複數個光源,於發送步驟S572,亦可僅利用複數個光源中的紅色光源,來發送可見光訊號。
藉此,發光體可利用紅色光源、藍色光源及綠色光源來顯示影像,並且可發送波長為接收機200所容易接收的可見光訊號。
再者,發光體亦可為例如DLP投影機。DLP投影機可如上述般具有包含紅色光源、藍色光源、綠色光源的複數個光源,但亦可僅具有1個光源。總言之,DLP投影機亦可具備1個光源、DMD(Digital Micromirror Device)、及配置於光源與DMD之間的色環。此情況下,在採時間分割而從光源經由色環往DMD輸出的紅色光、藍色光及綠色光中的紅色光輸出的期間,DLP投影機發送可見光訊號的封包。
圖365B是表示本實施形態的發送機100的構成的方塊圖。
本實施形態的發送機100具備:發送機,其藉由發光體的亮度變化來發送可見光訊號;決定部571;及發送部572。決定部571藉由調變訊號,來決定亮度變化的樣式。發送部572使由該發光體所含的光源所顯示的紅色的亮度,按照決定的樣式變化,藉此發送可見光訊號。於此,可見光訊號包含資料、前文及酬載。於資料中,第1亮度值及小於第1亮度值的第2亮度值沿著時間軸上出現,第1亮度值及第2亮度值中之至少一方繼續的時間長為 第1預定值以下。於前文中,第1及第2亮度值分別沿著時間軸上交替出現。於酬載中,第1及第2亮度值沿著時間軸上交替出現,第1及第2亮度值分別繼續的時間長大於第1預定值,且是按照上述訊號及預定方式來決定。
藉由該類發送機100,來實現圖365A所示的流程圖的發送方法。
產業上之可利用性
本發明的發送方法可利用於例如從顯示器或照明等發送可見光訊號的發送裝置,特別是可利用於例如從聚光燈等發送可見光訊號的發送裝置等。
SK91、SK92、SK93‧‧‧步驟

Claims (8)

  1. 一種資訊通訊方法,是從被攝體取得資訊的資訊通訊方法,且包含以下步驟:第1曝光時間設定步驟,設定第1曝光時間;一般圖像取得步驟,影像感測器藉由在前述第1曝光時間攝影前述被攝體及該被攝體周圍,來取得一般攝影圖像;第2曝光時間設定步驟,設定前述影像感測器的第2曝光時間,以使在藉由前述影像感測器攝影前述被攝體所獲得的圖像中,對應於前述影像感測器所含的曝光線的明線會因應前述被攝體的亮度變化而產生;明線圖像取得步驟,前述影像感測器藉由在設定的前述第2曝光時間攝影亮度變化的前述被攝體,來取得包含前述明線的明線圖像;資訊取得步驟,藉由將資料解碼來取得資訊,其中前述資料是依據取得的前述明線圖像所含的前述明線的圖案來特定,並取得對應於前述資訊的擴增實境圖像;及顯示步驟,顯示前述一般攝影圖像,前述一般攝影圖像是於前述一般攝影圖像中的前述明線圖像的明線圖案區域相同的位置,重疊有前述擴增實境圖像,其中前述明線圖案區域包括藉由前述影像感測器所具有的複數條曝光線的曝光而出現的複數個明線的圖案。
  2. 如請求項1之資訊通訊方法,其中前述資訊取得步驟,更取得對應於前述資訊的辨識資 訊,前述辨識資訊包含:基準資訊,用以特定出前述一般攝影圖像中的基準區域;及對象資訊,表示前述對象區域相對於前述基準區域的相對位置,前述資訊通訊方法,更包含有識別步驟,該識別步驟根據前述基準資訊,從前述一般攝影圖像特定出前述基準區域,並辨識出前述一般攝影圖像中,位於以前述基準區域的位置作為基準、並由前述對象資訊所示的前述相對位置的區域,來作為前述對象區域,前述顯示步驟,顯示於前述對象區域重疊有前述擴增實境圖像的前述一般攝影圖像。
  3. 如請求項2之資訊通訊方法,其中前述基準資訊為前述一般攝影圖像的前述基準區域的位置與前述明線圖像的明線圖案區域的位置相同。
  4. 如請求項2之資訊通訊方法,其中前述基準資訊是表示前述一般攝影圖像的前述基準區域,為前述一般攝影圖像中之拍到顯示器的區域。
  5. 如請求項2之資訊通訊方法,其中前述基準區域為顯示於前述顯示器的圖像之預定色的外框部分。
  6. 如請求項1之資訊通訊方法,其中於前述一般攝影圖像的顯示中,一面限制與前述擴增實境圖像即第1擴增實境圖像不同的第2擴增實境圖像的顯示,一面僅於預先決定的顯示期間,顯示前述第1擴增實境圖像。
  7. 一種資訊通訊裝置,是從被攝體取得資訊的資訊通訊裝置,且包含:第1曝光時間設定部,設定第1曝光時間;一般圖像取得部,影像感測器藉由在前述第1曝光時間攝影前述被攝體及該被攝體周圍,來取得一般攝影圖像;第2曝光時間設定部,設定前述影像感測器的第2曝光時間,以使在藉由前述影像感測器攝影前述被攝體所獲得的圖像中,對應於前述影像感測器所含的曝光線的明線會因應前述被攝體的亮度變化而產生;明線圖像取得部,前述影像感測器藉由在設定的前述第2曝光時間攝影亮度變化的前述被攝體,來取得包含前述明線的明線圖像;資訊取得部,藉由將資料解碼來取得資訊,其中前述資料是依據取得的前述明線圖像所含的前述明線的圖案來特定,並取得對應於前述資訊的擴增實境圖像;及顯示部,顯示前述一般攝影圖像,前述一般攝影圖像是於前述一般攝影圖像中的前述明線圖像的明線圖案區域相同的位置,重疊有前述擴增實境圖像,其中前述明線圖案區域包括藉由前述影像感測器所具有的複數條曝光線的曝光而出現的複數個明線的圖案。
  8. 一種程式,是用以從被攝體取得資訊的程式,且讓電腦執行以下步驟:第1曝光時間設定步驟,設定第1曝光時間;一般圖像取得步驟,影像感測器藉由在前述第1曝光 時間攝影前述被攝體及該被攝體周圍,來取得一般攝影圖像;第2曝光時間設定步驟,設定前述影像感測器的第2曝光時間,以使在藉由前述影像感測器攝影前述被攝體所獲得的圖像中,對應於前述影像感測器所含的曝光線的明線會因應前述被攝體的亮度變化而產生;明線圖像取得步驟,前述影像感測器藉由在設定的前述第2曝光時間攝影亮度變化的前述被攝體,來取得包含前述明線的明線圖像;資訊取得步驟,藉由將資料解碼來取得資訊,其中前述資料是依據取得的前述明線圖像所含的前述明線的圖案來特定,並取得對應於前述資訊的擴增實境圖像;及顯示步驟,顯示前述一般攝影圖像,前述一般攝影圖像是於前述一般攝影圖像中的前述明線圖像的明線圖案區域相同的位置,重疊有前述擴增實境圖像,其中前述明線圖案區域包括藉由前述影像感測器所具有的複數條曝光線的曝光而出現的複數個明線的圖案。
TW106138104A 2016-11-10 2017-11-03 資訊通訊方法、資訊通訊裝置及程式 TWI736702B (zh)

Applications Claiming Priority (20)

Application Number Priority Date Filing Date Title
JP2016-220024 2016-11-10
JP2016220024 2016-11-10
US201662434644P 2016-12-15 2016-12-15
JP2016-243825 2016-12-15
JP2016243825 2016-12-15
US62/434,644 2016-12-15
US201762446632P 2017-01-16 2017-01-16
US62/446,632 2017-01-16
US201762457382P 2017-02-10 2017-02-10
US62/457,382 2017-02-10
US201762466534P 2017-03-03 2017-03-03
US62/466,534 2017-03-03
US201762467376P 2017-03-06 2017-03-06
US62/467,376 2017-03-06
JP2017080664 2017-04-14
JP2017080595 2017-04-14
JP2017-080595 2017-04-14
JP2017-080664 2017-04-14
US201762558629P 2017-09-14 2017-09-14
US62/558,629 2017-09-14

Publications (2)

Publication Number Publication Date
TW201830892A TW201830892A (zh) 2018-08-16
TWI736702B true TWI736702B (zh) 2021-08-21

Family

ID=62110315

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106138104A TWI736702B (zh) 2016-11-10 2017-11-03 資訊通訊方法、資訊通訊裝置及程式

Country Status (3)

Country Link
JP (1) JP7023239B2 (zh)
TW (1) TWI736702B (zh)
WO (1) WO2018088380A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230142456A1 (en) * 2016-10-21 2023-05-11 Panasonic Intellectual Property Corporation Of America Transmission device, reception device, communication system, transmission method, reception method, and communication method

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6591262B2 (ja) 2014-11-14 2019-10-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 再生方法、再生装置およびプログラム
WO2017081870A1 (ja) 2015-11-12 2017-05-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 表示方法、プログラムおよび表示装置
EP3393132B1 (en) * 2015-12-17 2022-11-02 Panasonic Intellectual Property Corporation of America Display method and display device
CN110114988B (zh) 2016-11-10 2021-09-07 松下电器(美国)知识产权公司 发送方法、发送装置及记录介质
TWI706385B (zh) * 2019-10-21 2020-10-01 大陸商南京深視光點科技有限公司 車用光訊號傳遞接收系統及其實施方法
US20220311606A1 (en) * 2020-06-10 2022-09-29 Beijing Boe Technology Development Co., Ltd. Optical communication apparatus, optical communication system and method
TWI769471B (zh) * 2020-07-02 2022-07-01 黑快馬股份有限公司 自動攝錄影跟拍系統及自動攝錄影跟拍方法
CN112383366B (zh) * 2020-11-12 2023-03-10 广州通导信息技术服务有限公司 一种数字荧光频谱的频谱监测方法、装置及存储介质
CN113268400B (zh) * 2021-04-27 2022-07-12 新华三信息技术有限公司 一种指示灯同步闪烁方法、装置以及服务器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008206087A (ja) * 2007-02-22 2008-09-04 Matsushita Electric Works Ltd 可視光通信システム
US20140286644A1 (en) * 2012-12-27 2014-09-25 Panasonic Corporation Information communication method
US9100589B1 (en) * 2012-09-11 2015-08-04 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
US20150269782A1 (en) * 2014-03-20 2015-09-24 Konica Minolta, Inc. Augmented reality display system, augmented reality information generating apparatus, augmented reality display apparatus, and server
JP2015173508A (ja) * 2009-09-18 2015-10-01 インターデイジタル パテント ホールディングス インコーポレイテッド 可視光通信(vlc)のためのレート制御を有する調光方法および装置
US20160191159A1 (en) * 2013-11-22 2016-06-30 Panasonic Intellectual Property Corporation Of America Information processing method for generating encoded signal for visible light communication

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09312612A (ja) * 1996-05-24 1997-12-02 Sharp Corp 光通信用発光回路
JP5354995B2 (ja) * 2008-08-26 2013-11-27 パナソニック株式会社 可視光通信システム
JP5610803B2 (ja) * 2010-03-17 2014-10-22 三菱電機照明株式会社 点灯装置及び照明器具

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008206087A (ja) * 2007-02-22 2008-09-04 Matsushita Electric Works Ltd 可視光通信システム
JP2015173508A (ja) * 2009-09-18 2015-10-01 インターデイジタル パテント ホールディングス インコーポレイテッド 可視光通信(vlc)のためのレート制御を有する調光方法および装置
US9100589B1 (en) * 2012-09-11 2015-08-04 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
US20140286644A1 (en) * 2012-12-27 2014-09-25 Panasonic Corporation Information communication method
US20160191159A1 (en) * 2013-11-22 2016-06-30 Panasonic Intellectual Property Corporation Of America Information processing method for generating encoded signal for visible light communication
US20150269782A1 (en) * 2014-03-20 2015-09-24 Konica Minolta, Inc. Augmented reality display system, augmented reality information generating apparatus, augmented reality display apparatus, and server

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230142456A1 (en) * 2016-10-21 2023-05-11 Panasonic Intellectual Property Corporation Of America Transmission device, reception device, communication system, transmission method, reception method, and communication method

Also Published As

Publication number Publication date
JP7023239B2 (ja) 2022-02-21
JPWO2018088380A1 (ja) 2019-10-03
WO2018088380A1 (ja) 2018-05-17
TW201830892A (zh) 2018-08-16

Similar Documents

Publication Publication Date Title
CN110114988B (zh) 发送方法、发送装置及记录介质
TWI736702B (zh) 資訊通訊方法、資訊通訊裝置及程式
CN107343392B (zh) 显示方法以及显示装置
CN107466477B (zh) 显示方法、计算机可读取记录介质以及显示装置
US10530486B2 (en) Transmitting method, transmitting apparatus, and program
US10521668B2 (en) Display method and display apparatus
CN107534486B (zh) 信号解码方法、信号解码装置以及记录介质
JP6591262B2 (ja) 再生方法、再生装置およびプログラム
CN106605377B (zh) 信号生成方法、信号生成装置以及程序
CN110073612B (zh) 发送方法、发送装置及记录介质
CN107113058A (zh) 可见光信号的生成方法、信号生成装置以及程序
CN106575998B (zh) 发送方法、发送装置以及程序
WO2018110373A1 (ja) 送信方法、送信装置、およびプログラム
JP2017118160A (ja) 送信方法、送信装置およびプログラム