KR101297144B1 - 차량용 조작 입력 장치 - Google Patents

차량용 조작 입력 장치 Download PDF

Info

Publication number
KR101297144B1
KR101297144B1 KR1020127027535A KR20127027535A KR101297144B1 KR 101297144 B1 KR101297144 B1 KR 101297144B1 KR 1020127027535 A KR1020127027535 A KR 1020127027535A KR 20127027535 A KR20127027535 A KR 20127027535A KR 101297144 B1 KR101297144 B1 KR 101297144B1
Authority
KR
South Korea
Prior art keywords
finger
image
information
specified
manipulation
Prior art date
Application number
KR1020127027535A
Other languages
English (en)
Other versions
KR20120132561A (ko
Inventor
다카시 아오키
이치로 아카호리
신지 니와
마사히로 이토
다케시 가와시마
다카시 나가타
Original Assignee
가부시키가이샤 덴소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2009021003A external-priority patent/JP5257779B2/ja
Priority claimed from JP2009021004A external-priority patent/JP5077773B2/ja
Application filed by 가부시키가이샤 덴소 filed Critical 가부시키가이샤 덴소
Publication of KR20120132561A publication Critical patent/KR20120132561A/ko
Application granted granted Critical
Publication of KR101297144B1 publication Critical patent/KR101297144B1/ko

Links

Images

Classifications

    • B60K35/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/212—
    • B60K35/29—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0312—Detection arrangements using opto-electronic means for tracking the rotation of a spherical or circular member, e.g. optical rotary encoders used in mice or trackballs using a tracking ball or in mouse scroll wheels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • B60K2360/141—
    • B60K2360/195—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60R11/0235—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes of flat type, e.g. LCD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0007—Mid-console

Abstract

본 발명은 조작 패널(12a) 및 상기 조작 패널(12a) 상에 표시 위치를 표시하기 위한 위치 지시 화상(200H)을 표시하는 표시장치(15)를 구비하는 차량용 조작 입력 장치이다. 조작 패널(12a)에 대향하는 손의 손가락 상태가 조작의사 표시용 손가락 상태인지 아닌지 여부를 특정하고, 차량이 주행 상태에 있는 경우, 상기 손가락 상태가 특정되면 위치 지시 화상(200H)의 표시가 허용되고, 상기 손가락 상태가 특정되지 않으면 위치 지시 화상(200H)의 표시는 금지된다.

Description

차량용 조작 입력 장치{OPERATION INPUT DEVICE FOR VEHICLE}
본 발명은 차량용 조작 입력 장치에 관한 것이다.
본 발명은 2008.3.19.자 일본 특허출원 제2008-71467호, 2008.3.19.자 일본 특허출원 제2008-71468호, 2008.3.19.자 일본 특허출원 제2008-71470호, 2008.11.14.자 일본 특허출원 제2008-291592호, 2009.1.30.자 일본 특허출원 제2009-21003호, 2009.1.30.자 일본 특허출원 제2009-21104호, 2009.1.30.자 일본 특허출원 제2009-21005호에 근거하여 이를 참조로서 병합한 것에 기초한다.
[특허문헌 1] 일본 특허공개공보 제2000-6687호
최근 조작 입력 장치(특허문헌 1)로서 프롬프터(prompter) 타입의 조작 입력 장치와 같이 원격적으로 기기 조작을 행하는 조작 입력 장치가 개발되어 있다. 이러한 조작 입력 장치에 있어서, 조작 표시 화면(메인 표시 화면)을 표시하는 표시 장치와 별도로, 조작자의 손이 닿는 거리 내에 원격 조작부가 구비된다. 또한, 원격 조작부를 조작하기 위한 손이 촬영되고 추출된다. 이렇게 취득된 손 화상 및 손 조작은 상기 표시 장치의 조작 표시 화면(메인 표시 화면)에 반영된다. 따라서, 조작 표시 화면에 손이 직접적으로 닿으면, 표시 제어가 이루어질 수 있다. 상기 조작 입력 장치는 차량 내에 구비될 수 있다. 이 경우, 조작성을 향상시키기 위하여 상기 원격 조작부는 좌석에 앉아 있는 사용자의 손이 닿는 거리 내에 배치된다. 상기 원격 조작부는 터치 조작 영역을 갖는 터치 조작 타입의 조작부로서 구성되는 경우가 많다.
상기 조작 입력 장치의 원격 조작부는 사용자의 손이 닿는 거리 내에 배치됨으로써, 상기 조작부가 사용자의 의도하지 않게 터치되어 잘못된 조작 입력을 발생시키는 문제점이 있다. 특히, 조작부가 터치 패널과 같은 터치 조작 타입인 경우에는 의도하지 않은 터치로 인해 입력이 실행될 수 있다.
또한, 원격 조작부에 대한 손 조작이 상기 조작 입력 장치의 조작 표시 화면상에 실제로 표시되는 경우, 손이 원격 조작부에 근접할 때, 오직 1개의 손가락만이 표시된다. 그러나 사용자 중 일부는 보다 빠른 입력을 위하여 한 손의 5개의 손가락에 의해 터치 조작 입력을 실행한다. 여기에서, 일렬로 배치되는 복수의 손가락이 상기 조작 표시 화면에 표시되며, 이에 따라 표시되는 손가락과 실제로 조작자가 위치 지시에 사용하고자하는 손가락과의 대응 관계를 알 수 없게 되어 오조작을 초래할 가능성이 있다. 특히, 차량 운전 중의 운전자는 조작 표시 화면을 주의 깊게 바라볼 수 없기 때문에, 운전자는 차량을 운전하면서 복수의 손가락을 사용하여 조작 입력을 수행하는 것은 어렵고, 때로는 오조작을 발생하게 된다.
본 발명은 원격 조작부에서의 오조작을 방지하는데 도움이 되는 차량용 조작 입력 장치를 제공하는데 그 목적이 있다.
또한, 본 발명은 손가락에 대응되는 위치를 표시하기 위한 화상이 다른 화상과 중첩 또는 합성되는 표시에서 위치 표시를 위해 사용되는 손가락을 더욱 쉽게 특정하는 위치 지시 화상을 표시하기 위한 표시 방법을 제공하는데 다른 목적이 있다. 또한, 본 발명은 상기 표시 방법을 이용하는 표시 장치를 제공하고, 앞서 말한 표시 장치를 갖는 조작 입력 장치를 제공하는데 또 다른 목적이 있다.
본 발명의 실시 예로서, 차량용 조작 입력 장치는 다음과 같이 제공된다. 차량에 제공된 장치의 동작 등을 실행하기 위하여 표시 화면을 구비하도록 표시부가 구성된다. 상기 표시 화면으로부터 별도의 위치에 제공되고, 상기 표시 화면에서의 조작 입력을 원격으로 실행하기 위한 원격 조작 영역을 구비하는 원격 조작부가 제공된다. 상기 원격 조작 영역에 대한 가압 조작에 근거하여 가압 조작 위치에 대응하는 입력을 제공받도록 구성되는 입력 수락부가 구성된다. 상기 원격 조작 영역에 대향하는 손의 화상을 촬영하도록 구성되는 손 화상 촬영부가 구성된다. 상기 손에 의해 위치 지시되는 상기 표시 화면상의 위치에서 상기 손의 촬영된 화상에 근거하여 생성되는 위치 지시화상을 표시하도록 구성되는 위치 지시화상 표시부가 구성된다. 상기 원격 조작 영역에 대향하는 손의 손가락 상태가 소정의 손가락 상태인지 여부를 특정하도록 구성되는 소정 손가락 상태 특정부가 구성된다. 상기 위치 지시 화상 표시부에 대하여 설정된 표시 모드의 표시모드 전환 제어를 실행하도록 구성되는 표시모드 설정부가 구성된다. 상기 표시모드 전환제어는 상기 소정의 손가락 상태가 특정되는 경우, 상기 위치 지시 화상의 표시를 허용하도록 상기 표시 모드를 표시 허가 모드로 설정하고, 상기 소정의 손가락 상태가 특정되지 않은 경우, 상기 위치 지시 화상의 표시를 금지하도록 상기 표시 모드를 표시 금지 모드로 설정한다.
본 발명의 실시 예로서, 표시 장치용 표시 방법이 다음과 같이 제공된다. 상기 표시 장치는 표시 화면을 구비하는 표시부 및 상기 표시 화면에 대한 조작을 원격으로 실행하도록 이용되는 원격 조작 영역을 갖는 원격 조작부를 포함한다. 상기 표시 방법은 표시 장치에 위치 지시 화상을 표시하기 위한 것이다. 상기 원격 조작부의 전방에 손가락이 대향함에 따라, 상기 위치 지시 화상은 상기 손가락의 위치에 대응하는 표시 화면의 화면 위치에서 배경의 화상에 합성되거나 중첩되는 방식으로 표시된다. 상기 방법은 상기 원격 조작부에 대향하는 손의 손가락 상태가 미리 정해진 손가락 상태인지 여부를 특정하는 소정의 손가락 상태 특정 단계; 상기 소정의 손가락 상태가 특정될 때, 상기 위치 지시 화상의 표시를 허용하는 표시 허가 모드를 설정하는 단계; 및 상기 소정의 손가락 상태가 특정되지 않을 때, 상기 위치 지시 화상의 표시를 금지하는 표시 금지 모드를 설정하는 단계를 더 포함한다.
본 발명의 다른 실시 예로서, 표시 장치에 대한 표시 방법은 다음과 같이 제공된다. 상기 표시 장치는 표시 화면을 구비하는 표시부 및 상기 표시 화면에 대한 조작을 원격으로 실행하도록 이용되는 원격 조작 영역을 갖는 원격 조작부를 포함한다. 상기 표시 방법은 표시 장치에 위치 지시 화상을 표시하기 위한 것이다. 상기 원격 조작부의 전방에 손가락이 대향함에 따라, 상기 위치 지시 화상은 상기 손가락의 위치에 대응하는 표시 화면의 화면 위치에서 배경의 화상에 합성되거나 중첩되는 방식으로 표시된다. 상기 방법은 상기 원격 조작부의 전방에 대향하는 손의 손가락을 특정하는 손가락 특정 단계; 상기 원격 조작부에 대한 조작에 이용되거나 이용되는 것으로 추정되는 조작대상 손가락을 상기 특정된 손가락으로부터 지정하는 조작대상 손가락 지정 단계; 상기 특정된 손가락의 지시 위치를 지시하는 상기 위치 지시 화상을 상기 표시 화면의 배경의 화상에 합성되거나 중첩되는 방식으로 표시하는 표시 단계; 및 상기 조작대상 손가락과 다른 손가락에 대응하는 위치 지시 화상에 비하여 상대적으로 더 강조하도록 상기 표시된 위치 지시 화상 중에서 상기 지정된 조작대상 손가락에 대응하는 위치 지시 화상의 강조 표시를 실행하는 위치지시화상 강조 단계를 더 포함한다.
본 발명의 상기 및 추가적인 목적들, 특징들 및 장점들은 다음의 상세한 설명 및 첨부도면으로부터 보다 명료하게 이해될 수 있다.
도 1은 본 발명의 제1 실시 형태의 터치식 입력 장치의 일 예인 조작 입력 장치를 이용한 차량용 내비게이션 장치의 구성을 나타내는 블록도.
도 2는 차량 조작 입력 장치의 개요를 설명하기 위한 차량 객실의 주요부의 사시도.
도 3은 조작 정보 입력부의 제1 구성을 나타내는 단면도.
도 4는 제1 실시 형태의 제1 실시 예에서 조작 패널에 대향하는 손의 촬영 및 표시를 설명하기 위한 제1의 도면.
도 5는 제1 실시 형태의 제1 실시 예에서 조작 패널에 대향하는 손의 촬영 및 표시를 설명하기 위한 제2의 도면.
도 6은 제1 실시 형태의 제1 실시 예에서 조작 패널에 대향하는 손의 촬영 및 표시를 설명하기 위한 제3의 도면.
도 7은 제1 실시 형태의 제1 실시 예에서 조작 패널에 대향하는 손의 촬영 및 표시를 설명하기 위한 제4의 도면.
도 8은 조작자를 특정하기 위하여 촬영된 화상의 일 예를 나타내는 도면.
도 9는 제1 실시 형태의 제1 실시 예에서 위치지시화상 표시처리를 나타내는 플로차트.
도 10은 제1 실시 형태의 제1 실시 예에서 터치조작 입력처리를 나타내는 플로차트.
도 11은 제1 실시 형태의 제2 실시 예에서 위치지시화상 표시처리를 나타내는 플로차트.
도 12는 제1 실시 형태의 제3 실시 예에서 위치지시화상 표시처리를 나타내는 플로차트.
도 13은 제1 실시 형태의 제4 실시 예에서 위치지시화상 표시처리를 나타내는 플로차트.
도 14는 제1 실시 형태의 제5 실시 예에서 터치조작 입력처리를 나타내는 플로차트.
도 15는 도 2와 다른 차량 조작 입력 장치의 개요(제6 실시 예)를 설명하기 위한 차량 객실의 주요부의 사시도.
도 16은 제2 실시 예 내지 제4 실시 예에서 차량속도 역치의 설정 예.
도 17은 제1 실시 형태의 제7 실시 예에서 위치지시화상 표시처리를 나타내는 플로차트.
도 18은 제1 실시 형태에서 설정가능한 표시 허가 기간의 일 예를 나타내는 도면.
도 19는 제1 실시 형태의 제7 실시 예에서 설정가능한 표시 허가 기간을 나타내는 도면.
도 20은 제1 실시 형태의 제8 실시 예에서 설정가능한 표시 허가 기간을 나타내는 도면.
도 21은 제1 실시 형태의 제9 실시 예에서 위치 지시 화상의 강조표시 처리를 나타내는 플로차트.
도 22는 제1 실시 형태에서의 조작 화면의 일 예.
도 23은 제1 실시 형태에서의 조작 화면의 일 예.
도 24는 제1 실시 형태에서의 조작 화면의 일 예.
도 25는 제1 실시 형태에서의 제10 실시 예에서 위치 지시 화상의 강조표시 처리를 나타내는 플로차트.
도 26은 제1 실시 형태의 제10 실시 예에서 조작대상 손가락에 대한 특정 처리의 제1 변형 예를 나타내는 플로차트.
도 27은 제1 실시 형태의 제10 실시 예에서 조작 패널에 대향하는 손가락의 촬영 및 표시를 설명하기 위한 제1 도면.
도 28은 제1 실시 형태의 제10 실시 예에서 조작 패널에 대향하는 손가락의 촬영 및 표시를 설명하기 위한 제2 도면.
도 29는 손가락끝의 특정 방법을 설명하는 도면.
도 30은 도 26의 실시 예에서 조작대상 손가락을 특정하는 방법의 제1 예를 설명하는 도면.
도 31은 도 26의 실시 예에서 조작대상 손가락을 특정하는 방법의 제2 예를 설명하는 도면.
도 32는 도 26의 실시 예에서 조작대상 손가락을 특정하는 방법의 제3 예를 설명하는 도면.
도 33은 제1 실시 형태의 제10 실시 예에서 위치 지시 화상의 강조표시의 시간 변화의 일 예를 나타내는 플로차트.
도 34는 제1 실시 형태의 제10 실시 예에서 조작대상 손가락에 대한 특정 처리의 제2 변형 예를 나타내는 플로차트.
도 35는 제1 실시 형태의 제10 실시 예의 제2 변형에서 조작대상 손가락을 특정하는 방법의 제1 예를 설명하는 도면.
도 36은 제1 실시 형태의 제10 실시 예의 제2 변형에서 조작대상 손가락을 특정하는 방법의 제2 예를 설명하는 도면.
도 37은 제1 실시 형태의 제10 실시 예에서 조작대상 손가락에 대한 특정 처리의 제3 변형 예를 나타내는 플로차트.
도 38은 제1 실시 형태의 제10 실시 예의 제3 변형 예에서 조작대상 손가락을 특정하기 위한 방법의 일 예를 설명하는 도면.
도 39는 제1 실시 형태의 제10 실시 예에서 조작대상 손가락에 대한 특정 처리의 제4 변형 예를 나타내는 플로차트.
도 40은 제1 실시 형태의 제10 실시 예에서 조작대상 손가락에 대한 특정 처리의 제5 변형 예를 나타내는 플로차트.
도 41은 제1 실시 형태의 제10 실시 예의 제5 변형 예에서 조작대상 손가락을 특정하기 위한 방법의 일 예를 설명하는 도면.
도 42는 제1 실시 형태의 제10 실시 예에서 조작대상 손가락에 대한 특정 처리의 제6 변형 예를 나타내는 플로차트.
도 43은 제1 실시 형태의 제10 실시 예의 제6 변형 예에서 조작대상 손가락을 특정하기 위한 방법의 일 예를 설명하는 도면.
도 44는 제1 실시 형태의 제10 실시 예에서 조작대상 손가락에 대한 특정 처리의 제7 변형 예를 나타내는 플로차트.
도 45는 제1 실시 형태의 제10 실시 예의 제7 변형 예에서 조작대상 손가락을 특정하기 위한 방법의 제1 예를 설명하는 도면.
도 46은 제1 실시 형태의 제10 실시 예의 제7 변형 예에서 조작대상 손가락을 특정하기 위한 방법의 제2 예를 설명하는 도면.
도 47은 제1 실시 형태의 제10 실시 예에서 위치지시 화상의 강조표시의 일 표시 예를 나타내는 플로차트.
도 48은 제1 실시 형태의 제10 실시 예에서 위치 지시 화상의 강조표시의 일 표시 예를 나타내는 플로차트.
도 49는 제1 실시 형태의 제10 실시 예의 제11 변형 예에서 핀치(pinch) 조작을 전제로 하는 조작부를 개략적으로 나타내는 사시도.
도 50은 도 49에 나타내는 x방향, y방향 및 z방향으로부터의 촬영 화상의 일 예.
도 51은 도 50에 근거하는 표시 화상의 일 예.
도 52는 도 51과 다른, 도 50에 근거하는 표시 화상의 일 예.
도 53은 제1 실시 형태의 제10 실시 예의 제11 변형 예에서 조작대상 손가락을 특정하기 위한 방법의 일 예를 설명하는 도면.
도 54는 손가락 추적 처리의 흐름을 나타내는 플로차트.
도 55는 도 54에 이어지는 플로차트.
도 56은 손가락끝 위치를 예측하는 제어 회로에 기억된 추적 정보를 설명하는 도면.
도 57은 이동 화상 프레임 사이에서 손가락끝을 추적하는 기본 알고리즘을 설명하는 도면.
도 58은 손가락끝(손가락)의 출현 예측 위치의 산출 방법을 설명하는 도면.
도 59는 이전 프레임에서 신규 출현된 손가락끝의 다음 프레임에서의 출현 예측 위치에 대한 산출 방법을 설명하는 도면.
도 60은 손가락끝의 신규 출현 및 손가락끝의 사라짐을 설명하는 도면.
도 61은 제1 실시 형태의 제10 실시 예에서 위치 지시 화상의 강조표시 처리의 시간 변화의 일 예를 나타내는 도면.
도 62는 제1 실시 형태의 제10 실시 예에서 위치 지시 화상의 강조표시 처리의 시간 변화의 일 예를 나타내는 도면.
도 63은 제1 실시 형태의 제10 실시 예에서 위치 지시 화상의 강조표시의 표시 일 예를 나타내는 플로차트.
도 64는 제1 실시 형태의 제10 실시 예에서 위치 지시 화상의 강조표시의 표시 일 예를 나타내는 플로차트.
도 65는 제1 실시 형태의 제10 실시 예에서 위치 지시 화상의 강조표시의 표시 일 예를 나타내는 플로차트.
도 66은 제1 실시 형태에서 의사(false) 손가락 화상을 이용하여 위치 지시 화상을 표시하는 표시 일 예의 도면.
도 67은 제1 실시 형태에서 손가락끝 위치 화상을 이용하여 위치 지시 화상을 표시하는 표시 일 예의 도면.
도 68은 소정 손가락 상태의 제2 예를 설명하는 도면.
도 69는 도 2 및 도 15와 다른, 차량 입력 조작 장치의 개요(제6 실시 예)를 설명하기 위한 차량 객실의 주요부의 사시도.
도 70은 소정 손가락 상태의 제3 예를 설명하는 도면.
도 71은 소정 손가락 상태의 제4 예를 설명하는 도면.
도 72는 소정 손가락 상태의 제5 예를 설명하는 도면.
도 73은 표시모드 전환제어의 실시 대상으로 되는 표시 화면 조건의 예를 나타내는 도면.
도 74는 터치 조작 입력 처리의 흐름을 나타내는 플로차트.
도 75는 소정 손가락 상태의 예시들.
1. 제1 실시 형태
1.1 제1 실시 예
이하에서는 본 발명의 제1 실시 형태에 따른 조작 입력 장치의 제1 실시 예를 도면을 참조하여 설명한다.
(구성)
도 1은 본 실시 예에 의한 조작 입력 장치를 사용하는 차량용 내비게이션 장치의 구성을 나타내는 블록도이다. 본 실시 예에 있어서, 조작 입력 장치(1)에는 표시 장치(15) 및 조작 패널(12a)이 각각 다른 위치에 개별적으로 배열된다. 상기 표시 장치(15)는 표시 화면상에서 터치 조작(조작 아이콘)용의 스위치 이미지와 같은 조작 입력용 화상을 표시할 수 있다. 상기 조작 패널(12a)은 터치 조작을 표시 화면에서 원격으로 실행하기 위하여 사용된다. 본 실시 예의 터치 타입 조작 입력 장치는 조작대상으로서, 내비게이션 기능뿐만 아니라 차량 내장 랜(LAN)(50)을 통해 연결되는 ECU(100)에 의해 제어되는 또 다른 차량 내장 전자 장치의 기능도 수행한다. 이러한 기능들은 오디오, 에어컨, 파워 윈도우 및 시트 조절 기능을 포함한다.
상기 내비게이션 장치(10)는 차량의 현재 위치를 검출하기 위한 위치 검출 장치(11); 운전자 등의 조작자로부터의 다양한 지시들을 입력하기 위한 조작 정보 입력부(12); 맵 데이터 및 다양한 종류의 정보를 기록하는 외부 저장 매체로부터 맵 데이터 등을 입력하기 위한 맵 데이터 입력 장치(14); 맵 표시 화면 또는 TV(텔레비전) 화면 등의 다양한 표시를 수행하기 위한 표시 장치(15); 다양한 안내 음성을 출력하거나 운전자 등의 조작자의 음성을 입력하기 위한 음성 입력/출력 장치(16); 차량 정보 등의 다양한 종류의 데이터를 기억하기 위한 하드디스크 기억 장치(17); 차량 정보를 전송하거나 수신하기 위한 차량 I/F(interface)부(19); 다른 통신 장치(13a)와 단거리 무선 통신을 수행하기 위한 무선 통신 장치(13); 및 상기 11 내지 19와 접속되는 제어 회로(18)를 포함한다. 또한, 상기 제어 회로(18)는 카메라(20, 40) 및 차량 속도 센서(30)와 접속될 수도 있다. 본 실시 예에서, 도 69에 도시된 바와 같이, 상기에서 설명한 카메라(12b)만이 포함될 수 있다.
상기 위치 검출 장치(11)는 GPS(Global Positioning System)용 위성으로부터 GPS 안테나를 통해 전파를 수신하고 차량의 위치, 방향 또는 속도를 검출하는데 사용되는 GPS 수신기(11a); 차량에 가해지는 회전 운동을 검출하는 자이로스코프(gyroscope)(11b); 차량의 전방 및 후방에서의 가속도로부터 차량의 주행 거리를 검출하는 거리 센서(11c); 및 지자기(geomagnetism)에 의해 차량의 진행 방향을 검출하는 지자기 센서(11d) 등의 센서 또는 이와 유사한 센서를 포함한다. 상기 각 센서들 또는 이와 유사한 센서(11a 내지 11d)는 서로 다른 타입의 검출 에러를 갖기 때문에, 상기 센서들은 상호 보완하면서 사용되도록 구성되어 있다. 또한, 요구되는 검출 정확도에 따라 상기 센서 또는 이와 유사한 센서 중 일부만이 사용될 수 있다. 또한, 스티어링의 회전 센서 및 전동 휠(following wheel)의 휠 센서와 같은 다른 센서 또는 이와 유사한 센서들(미도시)이 사용될 수 있다.
상기 조작 정보 입력부(12)는 도 3에 나타낸 바와 같이, 미리 정해진(소정의) 파장 대역을 갖는 광을 조사하는 광원(12c); 상기 광원(12c)으로부터 조사되는 광이 후면(12a2) 측으로부터 정면(12a1) 측을 향해서 통과할 수 있도록 배치되는 투광성을 갖는 조작 패널(12a); 및 상기 조작 패널(12a)을 촬영 범위에 포함하는 형태로 상기 후면(12a2)으로부터 촬영하는 카메라(접근 대상물 촬영부 또는 접근 대상물 촬영 수단)(12b)를 포함한다.
도 2에 나타낸 바와 같이, 본 실시 예의 조작 정보 입력부(12)는 인접하는 우측 좌석 및 좌측 좌석으로부터 조작되도록 하기 위하여 예를 들어 차량 앞유리의 하단부 아래의 중앙 콘솔부(C)에 배치된다. 또한, 상기 조작 정보 입력부(12)는 표시 장치(15) 아래 및 좌우측 좌석 사이의 중간 지점의 전방에 배치된다. 본 실시 예의 인접하는 좌우측 좌석은 도 2의 운전석(2D) 및 조수석(2P)으로 특정되고, 예를 들어 이는 선택적으로 뒷줄의 좌측 좌석 및 우측 좌석일 수도 있음을 알 수 있다. 또한, 상기 조작 정보 입력부(12)는 우측 좌석과 좌측 좌석 모두에서 조작될 수 있는 지점뿐만 아니라 스티어링 휠 또는 도어 등 조작자에 의해 쉽게 조작될 수 있는 어떠한 지점에도 배치될 수 있다.
상기 조작 패널(12a)은 적어도 상기 광원(12c)으로부터 조사되는 광에 대하여 투광성을 갖는 패널을 포함한다. 본 실시 예에 의한 상기 조작 패널(12a)은 레지스턴스(resistance) 필름 타입의 주지된 터치 패널로 구성되고, 이는 세로 방향의 투명 전극 및 가로 방향의 투명 전극을 갖는다. 상기 조작 패널(12a)의 출력은 상기 제어 회로(18)로 입력된다.
도 3에 나타낸 바와 같이, 상기 조작 패널(12a)은 내부 공간을 갖는 하우징(12f)의 전방단 개구에 삽입된다. 표면(12a1)은 터치 조작 영역(원격 조작 영역)으로 제공된다. 상기 전방단 개구는 상기 하우징의 전방 단부(121e)에 의해 형성된다. 원통형의 벽부(122e)는 상기 전방 단부(121e)의 외연으로부터 후방 측을 향해 형성된다. 상기 원통형의 벽부(122e)의 후방 단은 회로 기판(12k)에 고정된다. 상기 하우징(12f)은 내부에 카메라(12b) 및 광원(12c)을 갖는 차량용 함체 내의 소정 위치에 고정되도록 배치된다.
상기 광원(12c)은 도 3에 나타낸 바와 같이 후면(12a2)으로부터 전면(12a1)까지 조작 패널(12a)을 통과하기 위한 광을 조사한다. 상기 터치 조작 영역(12a1)을 덮어 위치되는 접근 대상물(예를 들어, 손 등)이 없으면, 상기 광원(12c)으로부터의 광(광 조사)은 터치 조작 영역(12a1)을 통해 외측으로 통과한다. 이에 반해, 상기 터치 조작 영역(12a1)에 대향하도록 상기 터치 조작 영역(12a1)에 접근하는 접근 대상물(H)이 있는 경우, 광은 상기 접근 대상물(H)에 의해 반사된다. 상기 광(반사광) 중 일부는 후면(12a2) 측으로 되돌아오게 되고, 상기 카메라(12b)에 의해 포착된다.
상기 광원(12c)에 의해 조사되는 광은 접근하는 대상물(H)에 의해 반사되고 상기 반사된 광은 상기 카메라(12b)에 의해 포착된다. 따라서, 상기 카메라(12b)는 상기 조작 패널(12a)의 후면(12a2) 측으로부터 상기 접근하는 대상물(H)을 촬영한다. 상기 카메라(12b)는 미리 정해진 촬영 범위를 촬영하도록 차체 측에 고정된다. 구체적으로, 반사 부재(12r)는 촬영 범위가 카메라(12b)에 의해 촬영될 수 있도록 배치된다. 상기 카메라(12b)는 그 반사 화상을 촬영한다. 반사 부재(12r)가 없는 경우, 촬영 범위는 상기 카메라(12b)에 의해 직접적으로 촬영하는 것으로 되기 때문에, 촬영 후의 화상에 좌우 반전 처리를 수행할 필요가 있다.
본 실시 예에 있어서, 상기 광원(12c)은 적외선 광원이다. 상기 카메라(12b)는 어두운 장소에서의 촬영에도 적절한 적외선 카메라이다(가시광선을 차단하기 위한 적외선 필터(미도시)가 구비되고, 상기 필터를 통해 촬영이 실행된다). 상기 적외선 광원(12c)에 의해 조사되는 광(적외선 광)은 접근하는 대상물(H)에 의해 반사되고 상기 반사된 광은 상기 카메라(12b)에 의해 포착됨으로써 촬영이 이루어진다. 상기 카메라(12b)는 상기 차체에 고정된 기판에 고정되도록 배치된다. 촬영 범위는 상기 터치 조작 영역(12a1)을 포함하도록 설계된다. 또한, 상기 적외선 광원(12c)은 상기 조작 패널(12a)의 후면 측 후방에 위치되는 LED이다. 또한, 본 실시 예에서 상기 조작 패널(12a)은 상기 광원(12c)의 광에 대해서만 투광성을 갖는 재료로 구성되고, 그러므로 상기 카메라(12b) 내의 적외선 필터는 필요하지 않을 수 있고, 상기 하우징(12f)의 내부는 외부에서 볼 수 없게 된다.
본 실시 예에서의 카메라(12b)는 촬영부 또는 촬영 수단으로서 기능을 하는 것이다. 상기 카메라(12b)는 조작 패널(12a)에 대향하도록 접근하는 접근 대상물을 촬영하기 위한 접근 대상물 촬영부 또는 접근 대상물 촬영 수단으로서 기능을 한다. 접근 대상물에 손이 포함되는 것을 고려하면, 상기 카메라(12b)는 손의 화상(image)을 촬영하는 손 화상 촬영부 또는 손 화상 촬영 수단으로서 기능을 하고, 나아가 손가락의 화상을 촬영하는 손가락 화상 촬영부 또는 손가락 화상 촬영 수단으로서도 기능을 할 수 있다.
도 4 내지 7은 상기 조작 패널(12a)에 대향하는 손(손가락)(H)의 촬영을 설명하기 위한 도면들이다. 여기에서, 각 도면의 (a)는 상기 조작패널(12a) 및 전면(12a1)에 대향하는 손의 상태(손가락의 상태)를 나타낸다. 또한, 각 도면의 (b)는 (a) 상태에서의 손을 카메라(12b)로 촬영한 영상(150)이며, 조작 패널(12a)의 전체를 촬영 범위로 하여 촬영된 영상이다. 본 실시 예의 (b)에서의 영상(150)은 촬영 후의 영상에 대하여 2치화(binarization)에 의해 얻어진 것임을 알 수 있다. 상기 (b)에서, 부호 150H는 접근하는 대상물(H)이 반사된 영역이고, 부호 150B는 어떠한 이미지도 반사되지 않은 영역이다. 부호 150B는 상기 조작 패널(12a)이 반사되는 실질적인 영역이더라도, 상기 조작 패널(12a)은 광원(12c)의 광에 대하여 투광성을 갖고 있어 반사되지 않는다. 또한, 상기 조작 패널(12a)이 반사되지 않더라도, 상기 조작 패널(12a) 너머로 배경(차량의 천장 등)이 반사되어도 이상하지는 않지만, 이러한 배경은 제거된다. 이러한 배경 제거는 일본 특허공개공보 제2007-272596호에서 기술된 다른 조명 조건의 화상을 사용하는 것으로 가능하게 된다. 이와 관련하여 각 도면의 (c)는 상기 (b)의 화상(150)이 촬영될 때 상기 표시 장치(15)에서의 화면 표시에 대한 예시이다. 도 4의 (c)는 전형적인 프롬프터 타입 조작 입력 장치에서의 화면 표시의 예시를 나타내는 것임을 알 수 있다. 본 실시 예에서, 상기 영상(150)이 도 4의 (b)에서와 같이 반사될 때, 화면 표시가 도 5의 (c)에서 나타낸 바와 같이 형성된다.
도 1을 다시 참조해 보면, 상기 표시 장치(15)는 운전자에게 보일 수 있도록 도 2의 운전석(2D)의 차량 전방 측에 배치되는 컬러 표시 장치이다. 표시 화면은 운전자로부터 터치 조작 영역(12a1)이 위치한 거리보다 더 먼 거리에 있다. 상기 표시 장치(15)는 액정 디스플레이, 플라즈마 디스플레이 및 유기 EL(organic electorluminescence) 디스플레이 중 어느 하나를 사용할 수 있다. 상기 표시 장치(15)는 표시 화면에서 중첩되는 맵 및 관련 데이터를 표시한다. 상기 관련 데이터는 위치 검출 장치(11)에 의해 검출되는 현 위치 및 상기 맵 데이터 입력 장치(14)로부터 입력되는 맵 데이터로부터 특정되는 차량의 현 위치를 나타내는 현재 위치 마크; 목적지 안내 루트; 명칭, 랜드 마크, 시설 마크 등을 포함하고, 각종 시설의 안내도 표시한다. 상기 표시 장치(15)는 표시부 또는 표시 수단의 일 예로서 기능한다.
또한, 상기 표시 장치(15)는 차량에 제공되는 장치의 동작을 실행하기 위한 표시 화면을 구비한다. 본 실시 예에서, 터치 패널(15a)은 상기 표시 화면상에 배치된다. 전술한 조작 정보 입력부(12)의 상기 터치 패널(12a)은 운전자 좌석 또는 조수석 좌석에서의 동승자에게 상기 터치 패널(15a)의 위치보다 가까운 위치에서 터치 패널(15a)을 원격으로 조작할 수 있도록 배치되는 원격 조작부이다. 상기 터치 조작 영역(12a1)에 인가되는 터치 조작에 근거하여, 터치 조작 위치에 대응되는 표시 장치(15)의 온-화면(on-window) 위치(상기 터치 패널(15a)의 터치 조작 영역의 위치)로의 입력이 허용된다. 보다 구체적으로, 상기 표시 장치(15)의 표시 화면상에서 결정된 2차원 좌표계(터치 패널(15a)의 터치 조작 영역 상에서 결정되는 2차원 좌표계)와 상기 조작 패널(12a)의 터치 조작 영역(12a1) 상에서 결정되는 2차원 좌표계 사이에는 단일의 대응 관계가 미리 결정되어 있다. 하나의 영역 상에서의 온-화면 위치는 다른 영역에서의 온-화면 위치에 의해 단일하게 특정될 수 있다. 터치 조작이 터치 조작 영역(12a1)에서 행해질 때, 대응 관계에 근거하여 상기 표시 장치(15)의 표시 화면상에서의 위치 좌표에 대한 조작 입력은 상기 터치 조작이 행해지는 위치 좌표에 대응되도록 수락된다.
즉, 상기 터치 조작 영역(12a1)에 터치 조작이 있을 경우, 상기 제어 회로(18)는 터치 조작이 행해진 상기 터치 조작 영역(12a1) 상에 위치 좌표를 특정한다. 또한, 상기 제어 회로(18)는 상기 특정된 터치 조작 영역(12a1) 상에서의 위치 좌표에 대응하여 상기 표시 장치(15)의 표시 화면상에서의 위치 좌표를 특정한다. 그러므로 상기 제어 회로(18)는 상기 표시 화면상에서의 특정화된 위치 좌표에 대응되는 제어 내용을 실행하는 제어 신호를 출력한다. 예를 들면, 상기 표시 장치(15)의 표시 화면상에 스위치 화상(조작 아이콘 등)(200I)이 표시되는 경우를 상정하면, 상기 터치 조작 영역(12a1) 상에서 터치 조작은 상기 스위치 화상(200I)에 대응되는 위치에서 이루어진다. 따라서, 상기 제어 회로(18)는 터치 조작이 상기 스위치 화상(200I)에 대해 행해져서 입력이 허용된 것인지를 판단한다. 상기 제어 회로(18)는 상기 스위치 화상(200I)에 대응되는 제어 내용을 실행한다. 상기 표시 장치(15)의 표시 화면상에 표시-스크롤 맵 화면(맵 조작용 화상)이 표시되는 경우를 상정하면, 터치 조작 영역(12a1) 상에서 터치 조작은 맵 상의 위치에서 이루어진다. 그러므로 상기 제어 회로(18)는 상기 터치 조작 위치에 대한 입력을 허용하고, 그에 따라서 상기 맵이 터치 조작 위치의 중앙에 위치하여 맵을 새롭게 표시할 수 있도록 표시-스크롤 제어를 실행한다.
상기 표시 장치(15)는 도 2에 나타낸 바와 같이 중앙 콘솔(C) 내에 배치되는 것에 제한되지 않으며, 앞유리(FG)의 하부 가장자리(lower edge)보다 높은 위치에 배치될 수 있다. 보다 구체적으로, 상기 차량의 앞유리(FG) 상에 상기에서 언급한 화상/데이터를 표시하는 헤드업(head-up) 디스플레이(HUD)나, 스티어링 휠의 후면에 위치되는 미터 디스플레이 장치 등을 예로 들 수 있다.
도 1을 다시 참조해 보면, 상기 맵 데이터 입력 장치(14)는 네트워크 데이터로서의 도로 데이터, 차량의 위치를 특정하기 위한 정확성을 향상시키는 맵 매칭 데이터, 시설을 표시하는 마크 데이터 및 안내용의 화상이나 음성 데이터 등을 포함하는 각종 데이터를 입력하는데 사용된다. 상기 데이터를 저장하기 위한 저장 매체는 CD-ROM, DVD-ROM, 하드 디스크, 메모리 및 메모리 카드를 포함한다.
음성 입출력 장치(16)는 상기 맵 데이터 입력 장치(14)로부터 입력된 시설의 안내 음성을 출력하고, I/F(19)를 통해 획득되는 정보의 판독 음성을 출력할 수 있다. 또한, 상기 음성 입출력 장치(16)는 마이크로폰 및 공지된 음성 인식 유닛(미도시)을 포함한다. 상기 음성 입출력 장치(16)는 운전자 등의 조작자의 지시나 음성 등을 상기 제어 회로(18)에 입력할 수 있다.
상기 무선 통신 장치(13)는 다른 통신 장치(13a)와 협대역 통신(narrow band communication)을 실행하기 위한 것이다. 예를 들어 DSRC(Dedicated Short Range Communications), 블루투스(등록 상표), 무선 랜(근거리 통신망), UWB(Ultra WideBand, 초광대역) 등이 사용된다.
상기 랜 I/F(19)는 차량 내장 랜(50)을 통하여 다른 차량 내장 전자 장치나 센서와 데이터를 통신하기 위한 인터페이스 회로이다. 또한, 상기 랜 I/F(19)는 다른 ECU(도 1의 ECU(100) 등)로부터의 데이터 취득을 실행하기 위하여 사용될 수 있다.
상기 카메라(20)는 차량 전방 상부에서 후사경에 인접하여 배치된다. 상기 카메라(20)는 상기 조작 패널(12a)의 터치 조작 영역(12a1)을 포함하는 주변 영역을 촬영한다. 더욱 구체적으로, 예를 들어 도 8에 나타낸 촬영 화상(300)을 촬영한다. 촬영 범위는 상기 조작 패널(12a)의 조작자의 손만이 아닌 그 손에서 연속하는 팔까지 촬영하도록 정의된다. 촬영된 조작 패널 주변 화상을 취득하는 상기 제어 회로(18)는 화상 처리부(18a)를 이용하여 손으로부터 연장되는 팔의 방향을 특정함으로써 조작자가 운전자인지를 판단한다. 도 8의 촬영 화상(300)을 보면, 부호 300A은 손과 연결된 팔의 이미지를 나타내는 반면, 부호 300H는 손의 이미지를 나타낸다. 부호 312a는 상기 조작 패널(12a)이 촬영되는 영역을 나타낸다. 상기 조작 패널(12a)에서의 조작자의 팔은 촬영 화상의 우측, 즉 운전자 측으로부터 연장되기 때문에 조작자가 운전자라는 것을 특정하게 된다. 본 실시 예에서, 상기 제어 회로(18)(화상 처리부(18a))는 카메라(20)와 함께 조작자 특정부 또는 조작자 특정 수단으로서 기능을 한다. 상기 조작 패널(12a)의 조작자가 운전자인지를 특정하는 방법은 다른 방법일 수도 있다. 예를 들어, 접근하는 대상물을 검출하는 접근 대상물 검출장치(예를 들어, 적외선 반사 센서와 같은 반사 타입 광센서)가 상기 터치 조작 영역(12a1)의 차량 좌우 양측에 각각 배치됨으로써 조작자를 특정할 수 있다.
상기 차량 속도 센서(30)는 주지의 로터리 인코더(rotary encoder) 등의 회전 검출 유닛을 포함하고, 차륜 설치부 부근에서 차륜의 회전을 검출한다. 상기 검출된 회전은 펄스 신호로서 상기 제어 회로(18)로 전송된다. 상기 제어 회로(18)는 차륜의 회전수를 차량의 속도(차량 속도)로 변환함으로써 차량의 현재 위치부터 지정된 장소까지의 추정된 이동 시간 또는 각 이동 도로 구간 동안의 평균 차량 속도를 계산한다. 본 실시 예에서는, 상기 차량 속도 센서(30)는 차량 속도 검출부 또는 차량 속도 검출 수단이다. 상기 제어 회로(18)는 검출 결과에 근거하여 차량의 주행 상태가 미리 설정된(소정의) 저속 주행 상태인지 여부를 특정하는 주행 상태 특정부 또는 주행 상태 특정 수단으로서 기능을 한다.
상기 제어 회로(18)는 주지된 CPU, ROM, RAM, I/O (Input/Output)(미도시)를 구비하는 주지된 마이크로컴퓨터, 및 이전의 구성요소 또는 이와 유사한 것들과 연결되는 버스 라인(bus line)을 중심으로 포함한다. 상기 ROM 등의 기억부(18d)에 의해 기억되는 프로그램에 근거하여 맵 표시 처리가 실행된다. 상기 맵 표시 처리에서는, 상기 위치 검출 장치(11)로부터의 각각의 검출 신호에 근거하여 좌표 및 진행 방향을 한 세트로 해서 차량의 현재 위치를 산출하고, 현재 위치 주변의 맵은 상기 맵 데이터 입력 장치(14)를 통해 독취되며, 상기 조작 정보 입력부(12)의 조작에 의해 지시되는 범위의 맵 등은 도 7에 나타낸 표시 장치(15) 내의 표시 화면 내에 메인 화상(200B)(동적 화상 및 정적 화상을 포함함)으로서 표시된다. 상기 맵 데이터 입력 장치(14)에 기억된 지점 데이터에 근거하여 상기 제어 회로(18)는 조작 정보 입력부(12)의 조작에 따른 목적지로서의 시설을 선택하고, 현재 위치로부터 목적지까지의 최적의 경로를 자동으로 획득하도록 경로 계산을 실행하여 경로 안내를 실행하는 경로 안내 처리를 실행한다. 상기 자동으로 최적의 경로를 지정하는 기술은 공지의 다익스트라(Dijkstra) 방법을 이용한다.
또한, 상기 제어 회로(18)는 ROM 등의 기억부(18d)에 기억된 프로그램에 근거하여 메인 화상(맵 조작용 화상)과 서브 화상이 합성되게 또는 중첩되게 표시하는 화상 처리부(18a)를 포함한다. 상기 서브 화상은 스위치 화상(조작 아이콘)(200I)을 포함하고, 접근하는 대상물 화상(150H)에 근거하는 처리 화상(200H)은 조작 정보 입력부(12)로부터 획득된다. 본 실시 예에서, 상기 접근하는 대상물 화상(150H)이 손가락 등이 존재하는 손의 화상인 경우, 손의 촬영된 화상(150H)에 근거하여 생성된 상기 처리 화상(200H)은 위치 지시 화상으로서 정의되고, 그 손에 의해 지시되는 표시 화면의 위치에서 중첩되게 표시된다. 즉, 상기 처리 화상(200H)은 위치 지시가 손의 손가락에 의해 이루어지는 표시 화면에서 위치를 지시하는 위치 지시 화상(200H)으로서 중첩되게 표시된다.
상기 접근하는 대상물 화상(150H)에 근거하는 상기 처리 화상(200H)은 본 실시 예에서 다음과 같이 의미하는 것임을 알 수 있다. 상기 접근하는 대상물 화상(150H)의 적어도 외형 형태(윤곽(outline))가 반영되도록 처리되고 생성되는 접근 대상물 외형 반사 화상(200H)이다. 상기 화상(200H)은 메인 화상(200B)에 중첩되게 표시된다. 상기 중첩에 의한 표시 대신에, 상기 화상(200H)은 메인 화상(200B)과 합성되어 표시될 수도 있다. 그러므로 다음과 같이 이루어질 수 있다. 운전자 등의 조작자가 상기 조작 패널(12a)의 터치 조작 영역(12a1)에 대항하는 방식으로 손의 손가락을 이동시키면, 예를 들면 손 형상(손가락 형상)을 반영한 처리 화상(200H)이 표시 장치(15)의 표시 화면의 표시와 동시에 이동된다. 상기 조작자는 조작 패널(12a)이 표시 장치(15)의 표시 화면에 존재하고 있는 것과 같은 감각을 갖고 조작하게 된다.
또한, 상기 위치 지시 화상(200H)은 촬영된 손 형상/손가락 형상의 윤곽을 반영할 필요는 없고, 적어도 촬영된 손의 손가락이 지시하는 위치를 지시하는 화상이면 좋다. 예를 들면, 손의 손가락의 일부분, 손가락끝 또는 포인터 화상 등의 심벌 화상만으로 될 수 있다. 또한, 상기 위치 지시 화상(200H)으로서 카메라(12b)에 의해 촬영된 손의 화상(또는 손가락의 화상)(150H)이 처리되지 않고 그대로 표시(중첩 표시 또는 합성 표시) 하더라도 문제는 없다. 상기 중첩이 이루어지는 위치에서 메인 화상(200B)의 일부가 중첩에 의한 표시에서 보이지 않는 것을 고려할 경우, 조작이 보다 용이하게 되도록 하기 위한 처리(예를 들면, 반투명 합성)를 실행하는 것이 보다 바람직하다.
또한, 상기 제어 회로(18)의 ROM 등의 기억부(18d)에는 스위치 화상(200I)을 표시하기 위한 스위치 화상 데이터가 기억되어 있다. 상기 스위치 화상 데이터는 스위치 화상(200I)의 중첩 표시 또는 합성 표시에 이용된다. 한편, 제어 회로(18)의 ROM 등의 기억부(18d)에는 각 스위치 화상(200I)과 대응하게 조작 입력(터치 조작 영역(12a1)에서 대응하는 영역으로의 터치 입력)에 의해 각각 실행되는 제어 내용이 기억되어 있다. 상기 제어 회로(18)는 표시 화면에 표시되는 메인 화상(200)에 스위치 화상(200I)을 중첩되게 표시하는 것으로 상정한다. 여기에서, 조작 입력 허용 범위(조작 입력 위치)는 터치 패널(12a, 15a) 모두의 터치 조작 영역에 스위치 화상(200I)의 표시 위치에 대응하는 영역으로 설정된다(조작입력위치 설정부 또는 조작입력위치 설정수단). 또한, 표시-스크롤 맵 화면(맵 조작용 화상)(200B2)이 메인 화상(200B)으로서 표시되는 것으로 상정한다. 여기에서, 조작입력 허용범위(조작 입력 위치)는 현재 표시되는 전체 맵으로 되는 것으로서 설정된다(조작입력위치 설정부 또는 조작입력위치 설정수단).
또한, 상기 제어 회로(18)는 자신의 타이머(18b)를 기동하고, 카운터(18c)를 카운트 업(count up) 하여 시간 계시(clock timing)를 실행할 수 있다. 이들은 후술하는 처리에서 상기 시간 계시를 실행할 때 이용된다.
또한, 상기 제어 회로(18)는 입력 수용, 위치지시 화상표시, 조작자 특정, 주행상태 특정, 소정의 손가락 상태 특정, 간이 조작용 손가락 상태 특정, 조작의사 표현용 손가락 상태 특정, 표시 모드 설정, 및 조작 입력 제어와 같은 부(section) 또는 수단의 예로서 기능을 한다. 상기 화상 처리부(18)도 위치 지시 화상 표시 및 조작자 특정의 부 또는 수단의 일부의 예로서 기능을 한다.
(위치지시화상의 표시 처리)
다음으로, 표시 장치(15)에서의 위치 지시 화상의 표시 처리를 도 9를 참조하여 설명한다. 본 처리는 제어 회로(18)의 기억부(18d)에 기억된 프로그램을 CPU가 실행하는 방식으로 실행되는 것임을 알 수 있다.
S1에서, 제어 회로(18)는 카메라(12b)에 의해 촬영된 촬영 화상에 근거하여 조작자의 손의 화상을 취득했는지 여부를 판정한다. 상기 카메라(12b)는 터치 조작 영역(전면)(12a1)에 접근하는 접근 대상물(H)(예를 들면, 운전자 등의 조작자의 손)의 화상을 조작 패널(12a)의 후면(12a2) 측으로부터 조작 패널(12a)을 통해 상시 촬영한다(화상 촬영 단계). 상기 촬영 화상은 제어 회로(18)의 화상 처리부(18a)로 항시 입력된다. 상기 접근 대상물(H)이 터치 조작 영역(12a1)에 대향하는 위치로 들어올 때, 상기 접근 대상물(H)을 당연히 포함하는 상기 촬영 화상(150)은 화상 처리부(18a)로 입력된다. 상기 입력된 촬영 화상(150)은 화상 처리부(18a)에서 공지의 화상 분석 기술에 의해 분석된다. 컬러 등의 차이에 근거하여 상기 접근 대상물 화상(150H)이 추출된다. 그리고 상기 화상(150H)이 추출된 접근 대상물 화상(150H)의 형상으로부터 사람의 손의 화상인지 여부를 판정한다. 상기 판정 결과는 제어 회로(18)로 출력된다. 손의 화상이 인식되는 것으로 판정되는 경우, 상기 처리는 S2로 진행한다. 그렇지 않은 것으로 판정될 때, 본 처리는 종료된다.
본 실시 예에서, 광원(12c)이 배치되고, 상기 카메라(12b)는 광원(12c)의 반사광을 포착함으로써 화상을 촬영하는 것임을 알 수 있다. 따라서, 상기 반사광의 강도는 촬영 화상(150)에서 나타나는 컬러의 단조(gradatin)로 반영된다. 높은 강도를 갖는 반사광을 포착할수록 단조 레벨은 높게 나타난다. 본 실시 예의 카메라(12b)에 의해 촬영된 촬영 화상(150)은 다-단조(multi-gradatin) 레벨의 촬영 화상(본 실시 예에서 흑과 백의 촬영 화상)이다. 상기 화상 처리부(18a)는 미리 결정된 단조 역치(gradation threshold value)를 이용하여 각 픽셀의 단조 레벨을 2치화 한다. 도 4 내지 도 7에 나타낸 바와 같이, 상기 단조 역치를 초과하는 영역은 접근 대상물 화상(150H)으로서 추출된다. 또한, 상기 화상 처리부(18a)는 추출된 접근 대상물 화상(150H)으로부터 사람의 손의 화상을 특정한다. 이를 위하여, 상기 접근 대상물 화상(150H)의 형상은 제어 회로(18)의 기억부(18d)에 기억된 손 형상 패턴과 비교된다. 상기 손 형상 패턴에 따르는 접근 대상물 화상(150H)은 손의 화상으로서 인식된다(손 화상 인식부나 손 화상 인식 수단 또는 손 형상 인식부나 손 형상 인식 수단).
S2에서, 취득한 손의 화상에 근거하여, 손의 상태가 소정의 손가락 상태인지 아닌지 여부를 특정한다(소정의 손가락 상태 특정부 또는 소정의 손가락 상태 특정 수단). 본 실시 형태에서 또는 본 실시 예에서, 상기 소정의 손가락 상태는 도 75의 예2에 포함된 간이 조작용 손가락 상태(simple manipulation-use finger state) 를 채용한다. 따라서, 상세하게는 간이 조작용 손가락 상태인지 여부를 특정한다(간이 조작용 손가락 상태 특정부 또는 간이 조작용 손가락 상태 특정 수단). 상기 간이 조작용 손가락 상태는 예를 들면 조작대상으로 제공되는 손가락의 개수, 즉 터치 조작 영역(12a1)을 따라 대략 연장하는 손가락의 개수가 1개 또는 2개 정도의 적은 수로 되는 상태를 의미한다. 부연하면, 입력을 빨리 하기 위하여 5개의 손가락을 사용하는 조작은 난이도가 높은 손가락의 상태이다. 상기에서 언급한 간이 조작용 손가락 상태는 이러한 손가락의 상태와 다르다. 본 실시 예에서, 상기 간이 조작용 손가락 상태는 터치 조작 패널(12a)의 영역 방향(영역이 확장하는 방향)으로 연장하는 접근 손가락의 개수가 취득된 손의 화상에서 하나만으로 되는 1개의 손가락 조작 상태로서 특정된다. 구체적으로, S1에서, 상기 화상 처리부(18a)는 손의 화상을 추출하고, 그 손의 화상의 전체 형상으로부터 소정 길이 이상의 축선(axis line)을 갖는 대략 직선적인 원통형 화상 패턴을 식별한다. 이러한 원통형 화상 패턴이 존재할 경우, 손가락 화상(150F)으로 인식되고 특정된다(손가락 특정부 또는 손가락 특정 수단). 상기 특정된 결과는 제어 회로(18)로 출력된다. 상기 제어 회로(18)는 손가락 화상(150F)의 개수를 특정한다(손가락 개수 특정부 또는 손가락 개수 특정 수단; 손 형상 인식부 또는 손 형상 인식 수단). 상기 손가락의 개수가 1개인 경우, 상기한 상태는 간이 조작용 손가락 상태로서 특정된다(간이 조작용 손가락 형상)
다음으로, S3에서, 상기 출력 결과에 근거하여 현재 손가락 상태가 간이 조작용 손가락 상태인지 판정한다. 간이 조작용 손가락 상태로 판정되는 경우, 상기 처리는 S4로 진행한다. S4에서, 표시 모드는 상기 위치 지시 화상의 표시가 허용되는 표시 허가 모드로 설정된다. 상기 처리는 S5로 진행한다. 상기 설정된 표시 모드는 제어 회로(18)의 기억부(18d)에 제공된 소정의 기억 영역(표시 모드 기억부)에 기억되는 것임을 알 수 있다. S4에서, 상기 표시 허가 모드는 상기 기억 영역에 기억된다.
S5에서, 상기 제어 회로(18)는 표시 장치(15)의 표시 화면과 촬영된 손 간의 위치 관계를 특정한다. 즉, 상기 제어 회로(18)는 촬영된 손의 화상(H)이 표시 화면상의 어느 위치에서 대향하고 있는가를 특정한다(도 3 참조). 본 실시 예에서, 상기 터치 조작 영역(12a1)이 위치되는 조작 패널 화상 영역은 카메라(12b)에 의해 촬영된 촬영 화상 상에서 특정된다. 상기 터치 조작 패널(12a)의 조작 좌표계는 조작 패널 화상 영역에서 설정된다. 그런 다음, 상기 촬영된 손의 화상(H)의 위치는 설정된 조작 좌표계 상에서 특정된다. 상기 표시 장치(15)의 표시 화면에 정의된 표시 좌표계에서, 상기 조작 좌표계 상에서 특정된 손 화상(H)의 위치에 상응하는 위치가 특정된다. 본 실시 예에서, 도 5 내지 도 7의 (b)에서 나타낸 촬영 화상(2치화 화상)은 전체 터치 조작 영역(12a1)을 촬영하는 조작 패널 화상 영역으로서 제공된다.
또한, S6에서, 도 6 및 도 7의 (c)에 나타낸 바와 같이, 상기 위치 지시 화상(200H)은 표시 장치(15)의 표시 화면의 상기한 조작 패널 화상 영역 상에서 특정되는 손의 화상(H)에 상응하는 위치에 표시된다(위치지시화상 표시부 또는 위치지시화상 표시수단). 본 실시 예에서, 상기 손 화상(150H)의 윤곽은 명확하게 표시된다. 상기 표시 장치(15)의 표시 화면상에 표시된 메인 화상(200B)에 상응하는 좌표 위치에 상기 윤곽의 내측이 반투명 상태로 변화되는 상기 처리 화상(200H)이 생성되고 중첩 표시된다.
한편, S3에서 현재 손가락 상태가 간이 조작용 손가락 상태가 아닌 것으로 판정되는 경우, 상기 처리는 S7로 진행한다. S7에서, 상기 표시 모드는 위치 지시 화상의 표시가 금지되는 표시 금지 모드로 설정된다. 도 5의 (c)에 나타낸 바와 같이, 예를 들면 상기 위치 지시 화상(2OOH)은 표시 장치(15)의 표시 화면상에 표시되지 않는다. 상기 표시 금지 모드는 제어 회로(18)의 기억부(18d)에 제공된 소정의 기억 영역(표시 모드 기억부)에 기억되는 것임을 알 수 있다.
S6 및 S7이 종료된 다음, 본 처리는 종료된다. 본 처리의 종료 이후라도, 본 처리는 소정 주기로 반복적으로 실행되는 것임을 알 수 있다. 상기 조작 패널(12a)에 대향하는 간이 조작용 손가락 상태에서의 손이 이동에 따라, 상기 표시 장치(15)의 표시 화면에 표시되는 위치 지시 화상(처리 화상)(200H)의 표시 위치도 이동한다.
상기 위치 지시 화상의 표시 처리에서, 도 18에 나타낸 바와 같이, 표시 허가 기간은 소정 손가락 형상 상태(본 실시 형태에서는 간이 조작용 손가락 상태)가 특정되지 않을 때까지의 기간으로서 정의된다. 즉, 상기 표시 처리에서, 상기 간이 조작용 손가락 상태가 특정되는 경우에 상기 표시 허가 모드가 설정되고, 상기 간이 조작용 손가락 상태가 특정되지 않은 경우에는 상기 표시 금지 모드가 설정된다. 상기 제어 회로(18)는 위치 지시 화상의 표시 처리를 실행함으로써 표시 모드 설정부 또는 표시 모드 설정 수단의 예로서 기능을 한다.
(터치 조작 입력 처리)
마지막으로, 상기 조작 정보 입력 장치(12)의 조작 패널(12a)에 대한 터치 조작 입력 처리를 도 10을 참조하여 설명한다. 본 처리는 CPU가 제어 회로(18)의 기억부(18d)에 기억된 프로그램을 실행하는 방식으로 실행되는 것임을 알 수 있다.
상기 터치 조작 입력 처리는 표시 허가 모드가 설정되는 경우에 조작 패널(12a)에 대한 터치 조작 입력의 수락(제어 회로(18)가 입력 허용 모드를 설정)이 허용되고, 표시 금지 모드가 설정되는 경우에는 조작 패널(12a)에 대한 터치 조작 입력의 수락이 금지(제어 회로(18)가 입력 금지 모드를 설정)되는 조작 입력 수락 제어를 포함한다. 상기 제어 회로(18)는 터치 조작 입력 처리를 실행함으로써 조작 입력 제어부 또는 조작 입력 제어 수단의 예로서 기능을 하는 것임을 알 수 있다.
S101에서, 상기 제어 회로(18)는 조작 패널(12a)에 대한 터치 조작의 유무를 판정한다. 상기 조작 패널(12a)은 터치 패널로서 구성된다. 상기 터치 조작이 이루어지는 경우, 조작 신호는 제어 회로(18)로 입력된다. 상기 제어 회로(18)는 그 입력에 근거하여 유무를 판정한다. 상기 조작 패널(12a)에 대한 터치 조작이 이루어지는 경우, 상기 처리는 S102로 진행된다. 터치 조작이 이루어지지 않은 경우에는 본 처리는 종료된다.
S102에서, 상기 제어 회로(18)는 현재의 표시 모드가 표시 허가 모드인지 여부를 판정한다. 현재의 표시 모드는 제어 회로(18)의 기억부(18d)에 제공된 소정의 기억부(표시 모드 기억부)에 기억된다. 그러므로, 이는 표시 모드의 기억된 정보에 근거하여 판정된다. 현재의 표시 모드가 표시 허가 모드인 것으로 판정되는 경우, 상기 처리는 S103으로 진행된다. 현재의 표시 모드가 표시 허가 모드가 아닌 것으로 판정되는 경우, 즉, 표시 금지 모드인 것으로 판정되는 경우에는 본 처리는 종료된다.
S103에서, 상기 조작 패널(12a)에 대한 터치 조작 위치, 즉 상기 터치 조작 영역(12a1)에서의 터치 조작 위치가 특정된다. 상기 조작 패널(12a)은 터치 패널로서 구성된다. 터치 조작이 이루어지는 경우에 조작 신호는 제어 회로(18)로 입력된다. 상기 조작 신호는 터치 조작 영역(12a1)에 정의된 조작 좌표계 상에서 좌표 정보로서 터치 조작 위치를 반영한다. 상기 제어 회로(18)는 조작 신호에 근거하여 터치 조작 위치를 특정한다.
계속해서, S104에서, 상기 제어 회로(18)는 조작 패널(12a)에서 터치 조작 위치에 대응하는 제어를 실행한다. 구체적으로, 상기 터치 패널(12a)의 터치 조작 영역(12a1)에서의 각 위치는 표시 장치(15)의 표시 화면에서의 위치에 대응한다. S103에서 특정된 터치 조작 영역(12a1)에서의 위치에 대응하는 표시 장치(15)의 표시 화면에서의 위치에서 판정된 상기 제어 내용이 실행된다. 구체적으로, 상기 제어 회로(18)는 상기 제어 내용을 실행하기 위한 제어 신호를 출력한다. S103에서 특정된 터치 조작 영역(12a1)에서의 위치가 표시 장치(15)의 표시 화면에 표시된 스위치 화상(200I)에 대응하는 것으로 상정한다. 여기에서, 상기 제어 회로(18)는 스위치 화상에 할당된 제어 내용을 실행하기 위한 제어 신호를 출력한다.
S104가 종료된 다음 본 처리는 종료된다. 본 처리의 종료 이후라도 본 처리는 소정 주기로 반복적으로 실행되는 것임을 알 수 있다. 상기 제어 회로(18)는 터치 조작이 이루어질 때의 위치에 따른 제어 내용을 실행한다. 한편, 상기 제어 내용은 그에 따른 다른 제어 회로(예를 들면, ECU(100))에 의해 실행된다.
본 터치 조작 입력 처리에서, 조작 패널(12a)에 대한 터치 조작 입력의 수락은 표시 허가 모드가 설정(입력 허용 모드)되는 경우에 허용되고, 표시 금지 모드가 설정(입력 금지 모드)되는 경우에는 상기 조작 패널(12a)에 대한 터치 조작 입력의 수락은 금지된다. 도 9의 위치지시화상 표시처리에서, 소정의 손가락 상태(본 실시 예에서 간이 조작용 손가락 상태)가 특정되는 경우, 상기 표시 허가 모드가 설정되고, 상기 소정의 손가락 상태가 특정되지 않은 경우에는 상기 표시 금지 모드가 설정된다. 그 결과, 사용자의 손가락의 상태가 소정의 손가락 상태에 있지 않은 경우, 상기 조작 패널(12a)에 대한 터치 조작 입력은 수락되지 않는다. 앞의 예에서, 사용자의 손가락 상태가 간이 조작용 손가락 상태에 있지 않은 경우, 상기 조작 패널(12a)에 대한 터치 조작 입력은 수락되지 않는다.
본 발명의 실시 형태의 실시 예를 앞에서 설명하였지만, 이러한 실시 예는 하나의 예이다. 본 실시 형태는 앞의 실시 예에 한정될 필요는 없으며, 특허청구범위로부터 벗어나지 않는 한 해당 기술분야의 당업자의 지식에 근거하여 다양한 방식으로 변경될 수 있다. 앞의 실시 예는 제1 실시 예이고, 아래에서는 이와 다른 실시 예를 설명한다. 동일 구성에 대해서는 동일 부호를 부여하고, 이에 대한 설명은 생략한다.
1.2 제2 실시 예
이하 본 실시 형태의 제2 실시 예를 설명한다.
상기 제1 실시 예는 다음과 같이 구성된다. 간이 조작용 손가락 상태가 소정의 손가락 상태로서 특정되는 경우, 위치 지시 화상의 표시를 허용하는 표시 허가 모드가 설정되고, 상기 간이 조작용 손가락 상태가 특정되지 않은 경우에는 위치 지시 화상의 표시를 금지하는 표시 금지 모드가 설정된다. 이러한 표시모드 전환제어는 다음과 같이 구성될 수 있다. 차량이 소정 주행 상태에 있을 때, 상기 제어가 이루어진다. 이 경우, 차량 주행상태 검출부 또는 차량 주행상태 검출 수단이 포함될 필요가 있다. 도 11은 이러한 처리의 실시 예를 나타낸 것이다. 여기에서 상기 구성은 제어 회로(18)에 접속되어 차량의 차량 속도를 검출하는 차량 속도 센서(30)(차량 속도 검출부 또는 차량 속도 검출 수단)를 포함한다. 상기 제어 회로(18)는 다음과 같이 실행한다. 차량이 소정의 차량 속도 레벨(차량 속도 역치(vehicle velocity threshold value))을 초과하는 차량 주행 상태에 있을 경우에 상기 표시모드 전환제어가 실행된다. 차량이 상기 차량 주행 상태에 있지 않을 경우에는 손가락 상태와 관계없이 상기 표시 허가 모드가 상기 표시 모드로 설정된다.
구체적으로, S21에서 상기 제어 회로(18)는 조작자의 손의 화상이 취득되었는지 여부를 판정한다. 이는 도 9의 S1에서의 처리와 유사하다. 조작자의 손의 화상이 취득된 경우, 상기 처리는 S22로 진행된다. 조작자의 손의 화상이 취득되지 않은 경우에는 본 처리는 종료된다.
S22에서, 차량의 현재 주행 상태가 특정된다. 즉, 차량이 소정의 차량 속도 레벨을 초과하는 주행 상태에 있는지 여부를 판정한다. 상기 제어 회로(18)는 ROM 등의 소정 기억부(18d)에 차량 속도 역치를 미리 기억해 놓는다. 상기 차량 속도 센서(30)가 검출하는 차량 속도가 차량 속도 역치를 초과하는지 여부를 판정한다. 초과하는 경우, 차량 주행 상태로 특정된다. 초과하지 않는 경우에는 저속 주행 상태(정지 상태 포함)로 특정된다. 여기에서, 상기 차량 속도 역치는 예를 들면 5km/h로 되는 것으로서 고정적으로 정의된다. S23에서 차량이 현재 상기의 차량 주행 상태인지 여부를 판정한다. 상기 차량 주행 상태에 있는 것으로 판정되는 경우, 상기 처리는 S24로 진행한다. 이에 대하여, 상기 차량이 상기의 차량 주행 상태에 있지 않은 것으로 판정되는 경우(차량이 정지 상태를 포함하는 저속 상태에 있는 것으로 판정되는 경우), 상기 처리는 S26으로 진행된다.
S24에서 조작자의 손(조작 손)이 소정의 손가락 상태(본 실시 형태에서는 간이 조작용 손가락 상태)에 있는지 여부를 특정한다. 상기 소정의 손가락 상태의 특정은 도 9의 S2에서의 소정의 손가락 상태의 특정과 유사한 처리에 의해 실행된다. 계속해서 S25에서 현재 손가락 상태가 소정의 손가락 상태에 있는 것으로 판정되는 경우, 상기 처리는 S26으로 진행된다. 상기 소정의 손가락 상태에 있지 않은 것으로 판정되는 경우, 상기 처리는 S29로 진행된다.
S26에서 상기 표시 모드는 위치지시 화상의 표시가 허용되는 표시 허가 모드로 설정된다. 상기 표시 허가 모드는 제어 회로(18)의 기억부(18d)에 제공된 소정의 기억 영역(표시 모드 기억부)에 기억되어 있음을 알 수 있다. 이어지는 S27에서 상기 제어 회로(18)는 표시 장치(15)의 표시 화면과 촬영된 손 간의 위치 관계를 특정한다. 이 처리는 도 9의 S5의 처리와 유사하다. 이어서 S28에서 상기 표시 장치(15)의 표시 화면에 현재 표시된 메인 화상(200B)에 상기 위치 지시 화상(200H)이 중첩되어 표시된다(위치지시 화상표시부 또는 위치지시 화상표시 수단). 이 처리는 도 9의 S6의 처리와 유사하다.
예를 들면, 차량이 소정의 주행 상태에 있지 않은 것으로 판정되는 경우(차량이 정지 상태를 포함하는 저속 상태에 있는 것으로 판정되는 경우), 상기 손가락 상태에 근거하여 위치 지시 화상(200H)이 S27 및 S28에서의 처리를 통해 조작자의 손가락 상태와 관계없이 표시된다(도 4, 도 6 및 도 7의 (c) 참조). S22에서 차량이 차량 주행 상태에 잇는 것으로 판정되고, S25에서 현재 조작자의 손가락 상태가 소정의 손가락 상태(즉, 간이 조작용 손가락 상태)에 있는 것으로 판정되는 경우, 조작자가 실행하는 간이 조작용 손가락 상태에 근거하는 위치 지시 화상(200H)이 S27 및 S28에서의 처리를 통해 표시된다(도 6 및 도 7의 (c) 참조).
한편, S25에서 현재 손가락 상태가 간이 조작용 손가락 상태에 있지 않은 것으로 판정되는 경우, 상기 처리는 S29로 진행된다. S29에서 상기 표시 모드는 위치 지시 화상의 표시가 금지되는 표시 금지 모드로 설정된다. 이는 제어 회로(18)의 기억부(18d)의 소정의 기억 영역(표시 모드 기억부)에 기억되어 있다. 이에 따라 S27 및 S28에서 실행되는 위치 지시 화상(200H)은 실행되지 않는다. 도 5의 (c)에 나타낸 바와 같이, 상기 위치 지시 화상(200H)은 표시 장치(15)의 표시 화면에 표시되지 않는다.
S28 및 S29가 종료된 다음 본 처리는 종료된다. 이후 본 처리는 소정 주기로 반복적으로 실행되는 것임을 알 수 있다.
본 실시 예에서, 상기 소정의 차량 속도 레벨(차량 속도 역치)은 5km/h로 되는 것으로 정의된다. 상기 차량 속도 레벨을 초과하지 않는 차량의 서행 주행 상태에서는 항시 상기 표시 허가 모드가 설정된다. 그러나 이러한 차량 속도 레벨은 도 16에 나타낸 바와 같이 0km/h이상 5km/h 미만의 차량 속도 역치 범위 또는 5km/h이상 10km/h 미만의 차량 속도 역치 범위(차량 감속 주행 상태)에서의 범위 중 하나로 변경될 수 있다. 상기 차량 속도 레벨은 0km/h로서 정의될 수 있으며, 그러므로 상기 표시 허가 모드는 차량 정지 상태에서 항시 설정될 수 있다. 또한, 상기 차량 속도 레벨은 10km/h이상 30km/h 미만의 차량 속도 범위(차량 저속 주행 상태), 30km/h이상 60km/h 미만의 차량 속도 범위(차량 중속 주행 상태) 또는 60km/h 이상의 차량 속도 범위(차량 고속 주행 상태)로 정의될 수 있다.
또한, 도 11의 처리에서, 차량이 소정의 차량 주행 상태에 있을 경우(차량 속도 역치보다 큰 속도), 상기 표시모드 전환제어가 실행된다. 차량이 소정의 차량 주행 상태에 있지 않을 경우(차량이 차량 속도 역치보다 작은 속도를 가질 때), 상기 표시 허가 모드가 고정적으로 설정된다. 이러한 구성은 다음과 같이 변경될 수 있다. 차량이 소정의 차량 주행 상태에 있을 경우(차량 속도 역치보다 큰 속도), 상기 표시 금지 모드가 고정적으로 설정될 수 있다. 상기 차량이 소정의 차량 주행 상태에 있지 않을 경우(차량이 차량 속도 역치보다 작은 속도를 가질 때), 상기 표시모드 전환제어가 실행될 수 있다.
1.3 제3 실시 예
이하 본 발명의 실시 형태의 제3 실시 예를 설명한다.
상기의 실시 예에서, 간이 조작용 손가락 상태가 특정되는 경우, 위치 지시 화상의 표시를 허용하기 위한 표시허가 모드가 설정되고, 상기 간이 조작용 손가락 상태가 특정되지 않은 경우, 상기 위치 지시 화상의 표시를 금지하는 표시금지 모드가 설정된다. 한편, 이러한 구성은 다음과 같이 변경될 수 있다. 운전자가 터치 조작 영역(12a1)의 조작자로서 특정되는 경우, 상기 표시모드 전환제어가 실행될 수 있다. 상기 운전자가 터치 조작 영역의 조작자로서 특정되지 않은 경우, 상기 표시 허가 모드가 손가락의 상태에 관계없이 상기 표시 모드로 설정될 수 있다. 제3 실시 예에 있어서, 상기 제1 실시 예에서의 도 9에 나타낸 위치 지시 화상 표시 처리는 도 12의 위치 지시 화상 처리로 대체된다. 이하 상기 처리의 특정 흐름을 도 12를 참조하여 설명한다.
구체적으로, S31에서 제어 회로(18)는 조작자의 손의 화상이 취득되었는지 여부를 판정한다. 이는 도 9의 S1에서의 처리와 유사하다. 조작자의 손의 화상이 취득되는 경우, 상기 처리는 S32로 진행된다. 상기 조작자의 손의 화상이 취득되지 않은 경우에 본 처리는 종료된다.
S32에서 조작 패널(12a)에 대향하는 손을 갖는 조작자가 운전자인지 여부를 특정한다(조작자 특정부 또는 조작자 특정 수단). 상기 조작자의 특정은 예를 들면 도 2에 나타낸 카메라(20)에 의한 촬영 화상(도 8)에 근거하여 실행될 수 있다. 구체적으로, 팔로부터 연장하는 방향이 카메라(20)의 촬영 화상으로부터 특정되고, 그 방향이 운전석(2D) 측으로부터 연장하는지 여부를 판정하여 조작자가 운전자인지 여부를 특정한다. S33에서 조작 패널(12a)의 조작자가 운전자인지 여부를 판정한다. 조작자가 운전자인 것으로 판정되는 경우, 상기 처리는 S34로 진행된다. 한편, S33에서 조작 패널(12a)의 조작자가 운전자가 아닌 다른 사람으로 판정되는 경우에 상기 처리는 S36으로 진행된다.
S34에서 조작자인 운전자의 손(조작 손)이 소정의 손가락 상태, 즉 본 실시 형태에서 간이 조작용 손가락 상태에 있는지 여부를 특정한다. 상기 간이 조작용 손가락 상태의 특정은 도 9의 S2의 처리와 유사한 처리에 의해 실행된다. 다음으로 S35에서 현재 손가락 상태가 간이 조작용 손가락 상태에 있는지 여부를 판정한다. 간이 조작용 손가락 상태에 있는 것으로 판정되는 경우, 상기 처리는 S36으로 진행된다. 간이 조작용 손가락 상태에 있지 않은 것으로 판정되는 경우에 상기 처리는 S39로 진행된다.
S36에서 표시 모드는 위치지시 화상의 표시가 허용되는 표시 허가 모드로 설정된다. 상기 표시 허가 모드는 제어 회로(18)의 기억부(18d)에 제공된 소정의 기억 영역(표시 모드 기억부)에 기억되어 있음을 알 수 있다. 다음으로 S37에서, 상기 제어 회로(18)는 표시 장치(15)의 표시 화면과 촬영된 손 간의 위치 관계를 특정한다. 이러한 처리는 도 9의 S5의 처리와 유사하다. 이어서 S38에서 위치 지시 화상(200H)은 표시 장치(15)의 표시 화면에 현재 표시되는 메인 화상(200B) 상에 중첩되어 표시된다(위치지시화상 표시부 또는 위치지시화상 표시수단). 이러한 처리는 도 9의 S6의 처리와 유사하다.
구체적으로, S33에서 운전자 이외의 사람이 조작 패널(12a)의 조작자로서 특정되는 경우, S37 및 S38에서의 처리에서, 상기 조작자의 손가락 상태에 관계없이 손가락 상태에 근거한 위치 지시 화상(200H)이 표시된다(도 4, 도 6 및 도 7의 (c) 참조). 한편, S32에서 조작 패널(12a)의 조작자로서 운전자가 특정되고, S35에서 상기 손가락 상태가 간이 조작용 손가락 상태로 판정되는 경우, S37 및 S38에서의 처리를 통해 운전자가 실행하는 간이 조작용 손가락 상태에 근거하여 위치 지시 화상(200H)이 표시된다(도 6 및 도 7의 (c) 참조).
한편, S35에서 현재 손가락 상태가 간이 조작용 손가락 상태인 것으로 판정되는 경우, 상기 처리는 S39로 진행된다. S39에서, 상기 표시 모드는 위치 지시 화상의 표시가 금지되는 표시 금지 모드로 설정된다. 이는 제어 회로(18)의 기억부(18d)의 소정의 기억 영역(표시 모드 기억부)에 기억되어 있다. 따라서, S37 및 S38에서 실행되는 위치 지시 화상(200H)의 표시는 실행되지 않는다. 도 5의 (c)에 나타낸 바와 같이, 예를 들면 상기 위치 지시 화상(200H)은 표시 장치(15)의 표시 화면에 표시되지 않는다.
S38 및 S39가 종료된 다음 본 처리는 종료된다. 본 처리의 종료 이후라도 본 처리는 소정 주기로 반복되게 실행되는 것임을 알 수 있다.
1.4 제4 실시 예
이하 본 발명의 실시 형태의 제4 실시 예를 설명한다.
제4 실시 예는 도 9에 나타낸 위치지시 화상의 표시 처리를 도 11 및 도 12 모두를 통합함으로써 형성되는 처리로 대체된다. 즉, 차량의 주행 상태(예를 들면, 차량의 차량 속도)가 검출되고, 또한 원격 터치 조작 영역(12a1)의 조작자가 운전자인지 여부를 특정한다. 따라서 상기 차량의 소정의 주행 상태(예를 들면, 소정 차량 속도 레벨보다 작은 저속 주행 상태에 있지 않은 주행 상태, 정지 상태를 포함하는 저속 주행 상태)에 있는 것으로 판정되고, 상기 원격 터치 조작 영역(12a1)의 조작자가 운전자로서 특정된다. 이 경우, 간이 조작용 손가락 상태가 특정되는 경우에만, 위치 지시 화상(200H)의 표시가 허용되는 반면, 상기 간이 조작용 손가락 상태가 특정되지 않은 경우에는 상기 위치 지시 화상(2O0H)의 표시는 금지된다. 상기 차량이 전술한 소정 주행 상태에 있지 않은 것으로 판정되는 경우, 상기 원격 터치 조작 영역(12a1)의 특정된 조작자가 운전자가 아닌 경우, 또는 앞의 두 조건이 동시에 발생하는 경우, 상기 위치 지시 화상(200H)의 표시는 특정된 손가락 상태와 관계없이 허용될 수 있다. 구체적으로, 전술한 도 9의 터치 조작 입력 처리는 도 13에 나타낸 처리로 대체된다.
즉, S41에서 상기 원격 터치 조작 영역(12a1)의 조작자의 손의 화상이 취득되면(도 9의 S1에서의 처리와 유사), S42 및 S43에서 차량이 소정 주행 상태에 있는지 여부를 판정한다(도 11의 S22, S23에서의 처리와 유사). 소정 주행 상태에 있을 경우, 상기 처리는 상기 원격 터치 조작 영역(12a1)의 조작자가 운전자인지 여부를 판정하는 S44 및 S45로 진행된다(도 12의 S32, S33과 유사한 처리).
S42 내지 S45에서 상기 차량이 소정 주행 상태에 있는 것으로 판정되고, 상기 원격 터치 조작 영역(12a1)의 조작자가 운전자인 것으로 판정되는 경우, 상기 처리는 S46 및 S47로 진행된다. 여기에서, 상기 조작자의 손(조작 손)이 소정의 손가락 상태, 즉 본 실시 형태에서 간이 조작용 손가락 상태에 있는지 여부를 특정한다(도 9의 S3 및 S3에서의 처리와 유사한 처리). 현재 손가락 상태가 간이 조작용 손가락 상태에 있는 것으로 판정되는 경우, 상기 처리는 S48로 진행된다. 상기 간이 조작용 손가락 상태가 아닌 것으로 판정되는 경우, 상기 처리는 S51로 진행된다.
S48에서 상기 표시 모드는 표시 허가 모드로 설정된다. 이는 제어 회로(18)의 기억부(18d)에서의 소정의 기억 영역(표시모드 기억부)에 기억되어 있다. 이어서 S49에서, 상기 제어 회로(18)는 표시 장치(15)의 표시 화면과 촬영된 손 간의 위치 관계를 특정한다. 또한, S50에서 상기 위치 지시 화상(200H)은 표시 장치(15)의 표시 화면에서 현재 표시되는 메인 화상(200B)에 중첩되어 표시된다(위치 지시 화상 표시부 또는 위치 지시 화상 표시 수단). 이러한 처리는 도 9의 S4 내지 S6에서의 처리와 유사하다.
구체적으로, S42에서 차량이 차량 주행 상태가 아닌 경우, 또는 S44에서 운전자 이외의 조작자가 조작 패널(12a)의 조작자로서 특정되는 경우, S48 내지 S50에서의 처리에서, 상기 손가락 상태에 근거한 위치 지시 화상(2OOH)은 조작자의 손가락 상태에 관계없이 표시된다(도 4, 도 6 및 도 7의 (c) 참조). 한편, S42에서 차량이 차량 주행 상태에 있는 것으로 판정되고, S44에서 운전자가 조작 패널(12a)의 조작자로서 특정되는 경우, S46에서 상기 간이 조작용 손가락 상태에 있는지 여부를 특정한다. S46에서 상기 간이 조작용 손가락 상태로 특정되는 경우, 운전자가 실행하는 상기 간이 조작용 손가락 상태에 근거한 위치 지시 화상(200H)이 S48 내지 S50에서의 처리를 통해 표시된다(도 6 및 도 7의 (c) 참조).
한편, S47에서 현재 손가락 상태가 간이 조작용 손가락 상태에 있지 않은 것으로 판정되는 경우, 상기 처리는 S51로 진행된다. S51에서 상기 표시 모드는 표시 금지 모드로 설정된다. 이는 제어 회로(18)의 기억부(18d)의 소정 기억 영역(표시모드 기억부)에 기억되어 있다. 이에 따라 S49 및 S50에서 실행되는 위치 지시 화상(200H)의 표시는 실행되지 않으며, 예를 들면 도 5의 (c)에 나타낸 바와 같이 상기 위치 지시 화상(2OOH)은 표시 장치(15)의 표시 화면에 표시되지 않는다.
S50 및 S51이 종료된 다음 본 처리는 종료된다. 본 처리의 종료 이후라도 본 처리는 소정 주기로 반복적으로 실행되는 것임을 알 수 있다.
차량이 소정 차량 주행 상태에 있고(역치보다 큰 차량 속도), 도 13의 처리에서 조작자가 운전자인 경우, 상기한 표시모드 전환제어가 실행된다. 이외의 경우(차량이 차량 주행 상태에 있지 않은 경우(차량이 역치보다 작은 차량 속도를 갖는 경우) 또는 조작자가 운전자가 아닌 경우)가 발생하는 경우, 상기 표시 허가 모드는 상기한 실시 예에서 고정적으로 설정된다. 한편, 차량이 소정 차량 주행 상태에 있고, 또한 조작자가 운전자인 경우, 상기 표시 금지 모드가 고정적으로 설정될 수 있다. 차량이 소정의 차량 주행 상태에 있지 않고, 또한 조작자가 운전자인 경우, 상기한 표시모드 전환제어가 실행될 수 있다. 이외의 경우(조작자가 운전자가 아닌 경우), 상기 표시 허가 모드는 고정적으로 설정될 수 있다. 이러한 실시 예는 변형되게 제공될 수 있다.
1.5 제5 실시 예
이하 본 본 발명의 실시 형태의 제5 실시 예를 설명한다.
앞의 실시 예에 있어서, 도 10의 터치 조작 입력 처리에서, 표시 허가 모드가 설정되는 경우, 상기 원격 터치 조작 영역(12a1)에 대한 터치 조작 입력에 대응하는 제어 내용이 실행된다. 즉 대응하는 제어 내용이 허용된다. 상기 표시 금지 모드가 설정되는 경우, 상기 원격 터치 조작 영역(12a1)에 대한 터치 조작 입력에 대응하는 제어 내용은 실행되지 않는다. 즉 대응하는 제어 내용의 실행은 금지된다. 한편, 다음과 같은 구성이 제공될 수 있다. 즉, 표시 허가 모드가 설정되지 않으며 간이 조작용 손가락 상태가 특정되는 경우, 상기 원격 터치 조작 영역(12a1)에 대한 터치 조작 입력에 대응하는 제어 내용의 실행이 허용될 수 있다. 상기 표시 금지 모드가 설정되지 않으며, 소정의 손가락 상태, 즉 본 실시 형태에서 간이 조작용 손가락 상태가 특정되지 않은 경우, 상기 원격 터치 조작 영역(12a1)에 대한 터치 조작 입력에 대응하는 제어 내용의 실행은 금지될 수 있다.
구체적으로, 다음과 같은 구성이 제공될 수 있다. 즉, 상기 간이 조작용 손가락 상태가 특정되는 경우, 상기 원격 터치 조작 영역(12a1)에 대한 터치 조작 입력의 수락은 허용된다. 상기 간이 조작용 손가락 상태가 특정되지 않은 경우에는, 상기 원격 터치 조작 영역(12a1)에 대한 터치 조작 입력의 수락이 금지되는 조작 입력 수락 제어가 실행된다. 이하, 이러한 처리의 특정 흐름의 일 예를 도 14를 참조하여 설명한다.
S111에서 상기 제어 회로(18)는 조작 패널(12a)에 대한 터치 조작 입력의 유무를 판정한다. 상기 S111에서의 처리는 도 10의 S101에서의 처리와 유사하다. S112에서 상기 제어 회로(18)는 현재 손가락 상태가 소정의 손가락 상태, 즉 제1 실시 형태에서 간이 조작용 손가락 상태에 있는지 여부를 판정한다. 본 실시 예에서, 도 9의 S2, 도 11의 S24, 도 12의 S34, 도 13의 S46, 도 17의 S12를 대체함으로써 다음의 처리가 실행된다. 소정의 손가락 상태가 상기 간이 조작용 손가락 상태인지 여부를 특정하는 처리에 부가하여, 상기 처리는 현재 손가락 상태의 특정과 관련하여 상기 특정된 현재의 손가락 상태가 제어 회로(18)의 기억부(18d)의 소정 기억 영역(손가락 상태 기억부)에 기억되는 처리를 실행한다.
그리고 S112에서 상기 기억 영역(손가락 상태 기억부)에 기억된 손가락 상태 정보에 근거하여 현재의 손가락 상태가 소정의 손가락 상태로서 간이 조작용 손가락 상태인지 여부를 판정한다. 상기 간이 조작용 손가락 상태인 것으로 판정되는 경우, 상기 처리는 S113으로 진행된다. 상기 간이 조작용 손가락 상태가 아닌 것으로 판정되는 경우에는 본 처리는 종료된다.
S113에서 상기 조작 패널(12a)에 대한 터치 조작 위치, 즉 상기 터치 조작 영역(12a1)에서의 터치 조작 위치가 특정된다(도 10의 S013에서의 처리와 유사). 이어서 S114에서 상기 조작 패널(12a)에 대한 터치 조작 위치에 대응하는 제어가 실행된다(도 10의 S104에서의 처리와 유사). 본 처리가 S114의 종료에 의해 종료되더라도, 본 처리는 본 처리 이후더라도 소정 주기로 반복적으로 실행된다.
도 14에 나타낸 터치 조작 입력 처리를 실행하는 예에서 위치지시화상 표시처리는 전술한 위치지시화상 표시처리 또는 후술할 위치지시화상 표시처리 중 어느 하나와 동일하게 이루어질 수 있다.
1.6 제6 실시 예
이하 본 실시 형태의 제6 실시 예를 설명한다.
앞의 실시 예에서, 손 화상 촬영부 또는 손 화상 촬영 수단으로서 제공되는 카메라(12b)는 터치 패널(12a)의 터치 조작 영역(전면)(12a1)이 대향하는 차량 객실의 고정 영역을 촬영하는 카메라이다. 앞의 실시 예들에서 설명한 바와 같이, 상기 카메라는 터치 패널(12a)의 후면(12a2) 측으로부터 화상을 촬영하도록 구성된다. 그러나 본 실시 형태는 이러한 구성에 제한되지 않는다. 예를 들면, 도 15에 나타낸 바와 같이, 터치 패널(12a)의 터치 조작 영역(12a1)을 경사 상측으로부터 촬영하여 터치 조작 영역(12a1)에 접근하는 접근 대상물을 촬영할 수 있도록 차량의 중앙 콘솔부(C)에 카메라가 배치될 수 있어 상기 터치 조작 영역(12a1)의 측방으로부터 촬영한다. 이 경우에서, 앞의 실시 예들과 달리, 촬영에서의 특정 화상(예를 들면, 손의 화상)을 추출하고 표시 장치(15)에 표시하는 경우, 화상을 좌우 반전하는 처리는 생략될 수 있다. 또한, 손 화상 촬영부 또는 손 화상 촬영 수단으로서 제공되는 상기 카메라(12b)는 조작 패널(12a)의 터치 조작 영역(12a1)을 포함하는 주변 영역의 화상을 촬영하는 카메라(20)로서 제공될 수 있다.
1.7 제7 실시 예
이하 본 실시 형태의 제7 실시 예를 설명한다.
앞의 실시 예에서, 표시 허가 기간은 소정 손가락 상태로서 간이 조작용 손가락 상태가 도 18에 나타낸 바와 같이 특정되지 않은 상태로 될 때까지의 기간으로서 정의된다. 한편, 다른 구성이 아래와 같이 제공될 수 있다. 상기 표시 허가 기간은 도 19에 나타낸 바와 같은 소정 기간으로서 정의될 수 있다. 즉, 상기 표시 허가 기간은 표시 허가 모드가 설정될 때로부터 소정 시간(금지 모드 복귀 시간)이 경과할 때까지의 기간으로서 정의된다. 상기 금지 모드 복귀 시간이 경과 할 때, 상기 표시 모드는 표시 금지 모드로 복귀된다. 상기 터치 조작 입력 처리는 도 10의 처리와 같이 실행되는 것임을 알 수 있다. 이러한 구성에서, 표시 지시 화상을 표시할 수 있는 기간(표시 허가 모드)은 사용자가 특정 손가락 상태를 나타내는 트리거(trigger)에 의해 시작된다. 그런 다음, 사용자는 위치 지시 화상을 보면서 터치 조작 영역(12a1)에 대한 위치 지시 입력(터치 조작)을 실행할 수 있다. 한편, 사용자가 어떠한 특정 손가락 상태를 나타내지 않는 경우에, 상기 위치 지시 화상은 표시되지 않는다. 그러므로 상기 위치 지시 입력을 실행하기 위한 터치 조작은 스무스하게 실행될 수 없다. 즉, 사용자가 위치 지시 입력을 실행하는 의사를 명확히 나타내는 경우에만, 위치 지시 화상의 표시가 허용된다. 따라서 그 의사 표시는 사용자의 손가락 상태를 특정함으로써 확인된다. 여기에서, 표시 허가 모드가 설정되는 경우, 도 4의 (c)에 나타낸 화상이 표시될 수 있다. 구체적으로, 앞의 실시 예들에서의 위치 지시의 표시 처리(도 9)는 도 17에 나타낸 처리로 대체된다.
S10에서, 상기 제어 회로(18)는 카메라(12b)에 의해 촬영된 촬영 화상에 근거하여 조작자의 손의 화상을 취득했는지 여부를 판정한다. 이러한 처리는 도 9의 S1의 처리와 유사하다.
S11에서, 상기 제어 회로(18)는 현재의 표시 모드가 표시 허가 모드인지 여부를 판정한다. 현재의 표시 모드는 제어 회로(18)의 기억부(18d)에 제공된 소정 기억 영역(표시 모드 기억부)에 저장되고, 그러므로 이는 표시 모드에서 기억된 정보에 근거하여 판정된다. 현재의 표시 모드가 표시 금지 모드인 것으로 판정되는 경우에 상기 처리는 S12로 진행된다. 현재의 표시 모드가 표시 금지 모드가 아닌 것으로 판정되는 경우, 즉, 표시 허가 모드로 판정되는 경우, 상기 처리는 S19로 진행된다.
S12에서, 취득된 손의 화상에 근거하여 손의 상태가 소정의 손가락 상태, 즉 본 실시 형태에서 간이 조작용 손가락 상태인지 여부를 판정한다(간이 조작용 손가락 상태 특정부 또는 간이 조작용 손가락 상태 특정 수단). 이러한 처리는 도 9의 S2의 처리와 유사하다. S13에서 현재 손가락 상태가 간이 조작용 손가락 상태인 것으로 판정되는 경우, 상기 처리는 S14로 진행된다.
S14에서, 상기 표시 모드는 위치 지시 화상의 표시가 허용되는 표시 허가 모드로 설정되고, 상기 처리는 S15로 진행된다. 상기 표시 허가 모드는 제어 회로(18)의 기억부(18d)에 제공되는 소정의 기억 영역(표시 모드 기억부)에 저장되는 것임을 알 수 있다.
이어서 S15에서, 제어 회로(18)에 제공된 타이머(18b)가 기동하고, 시간 카운팅이 개시되며, 상기 처리는 S16으로 진행된다. 시간은 카운터(18c)에서 카운트 업(count up) 되는 방식으로 기억된다. 상기 카운터(18c)의 카운트된 값은 타이머가 기동하기 전에 리셋(reset) 된다.
S16에서, 상기 제어 회로(18)는 표시 장치(15)의 표시 화면과 촬영된 손 간의 위치 관계를 특정한다. 이러한 처리는 도 9의 S5에서의 처리와 유사하다. 이어서 S17에서, 위치 지시 화상(200H)은 도 6 및 도 7의 (c)에 나타낸 바와 같이, 표시 장치(15)의 표시 화면에 현재 표시되는 메인 화상(200B)에 중첩되어 표시된다(위치 지시 화상 표시부 또는 위치 지시 화상 표시 수단). S17에서의 이러한 처리는 도 9의 S6에서의 처리와 유사하다. 여기에서, 제7 실시 예에 있어서, 도 4의 (c)에 나타낸 위치 지시 화상(200H)은 S16 및 S17에서 표시된다. 즉, 제7 실시 예에서, 표시 허가 모드가 설정되는 한, 상기 손 화상(손가락 화상)의 중첩 표시(또는 합성 표시)는 허용된다. 화상이 적어도 상기 손 화상에 근거하여 손가락의 지시 위치를 나타내는 한, 어떠한 형태를 갖는 위치 지시 화상(2OOH)의 표시는 허용될 수 있다. 따라서, 표시 허가 모드가 설정되는 경우, 도 4의 (c)에 나타낸 복수의 손가락을 갖는 손가락 구성의 중첩 표시는 허용될 수 있다.
한편, S13에서 현재의 손가락 상태가 간이 조작용 손가락 상태에 있지 않은 것으로 판정되는 경우, 상기 처리는 S18로 진행된다. S18에서 상기 표시 금지 모드가 설정되고, 이는 제어 회로(18)의 기억부(18d)에 제공된 소정의 기억 영역(표시모드 기억부)에 기억된다.
본 처리는 S17 및 S18의 종료에 의해 종료된다. 본 처리는 본 처리의 종료 이후더라도 소정 주기로 반복적으로 실행된다. 손 화상이 취득되고, 표시 허가 모드가 계속되는 한, S16 및 S17에서 위치 지시 화상의 표시 허가 상태는 계속된다. 즉, 이러한 기간 동안, 손가락 상태가 간이 조작용 손가락 상태에 있지 않더라도, 상기 위치 지시 화상은 표시된다. 한편, S19에서 소정 시간이 S15에서 기동하는 타이머(18b)에 의해 경과되는 것으로 판정되는 경우, S20에서 상기 표시 금지 모드는 강제적으로 설정되며, 본 처리는 종료된다. S20에서의 처리는 S18에서의 처리와 유사하다.
본 제7 실시 예에서, 사용자가 손의 형상(간이 조작용 손가락 상태)에 의해 조작 의사를 나타내는 경우, 상기 표시 허가 모드는 고정된 시간 동안만 설정된다. 이 경우, 상기 간이 조작용 손가락 상태는 1개의 손가락 상태(예를 들면, 도 6 및 도 7 참조)에 한정되지 않는다. 2개의 손가락을 편 2개의 손가락 상태(도 70 참조), 2개의 손가락을 편 3개의 손가락 상태(도 71 참조) 또는 4개의 손가락을 편 4개의 손가락 상태(도 72 참조) 등과 같이 다양하게 정의될 수 있다. 또한, 1개의 손가락 상태이더라도, 간이 조작용 손가락 상태에서의 1개의 손가락은 검지(index finger)만으로 설정될 수 있으며(도 6 및 도 7 참조), 또는 중지(middle finger)만으로 설정될 수 있다(도 68 참조). 또한, 2개의 손가락 상태이더라도, 간이 조작용 손가락 상태에서의 2개의 손가락은 검지와 중지만으로 설정될 수 있다(도 70 참조). 또한, 상기 간이 조작용 손가락 상태에서의 손가락들에 대한 앞의 정의 중에서, 하나의 정의가 적용되거나 여러 정의의 조합이 적용될 수 있다. 처리 관점으로부터 보면, 보다 식별하기 쉬운 손의 상태(손가락 상태)가 정의되는 것이 바람직하다.
1.8 제8 실시 예
이하 본 실시 형태의 제8 실시 예를 설명한다.
도 9의 S2에서의 소정 손가락 상태로서 간이 조작용 손가락 상태의 특정은 촬영 화상에 근거하여 실행되는 전술한 처리로 한정될 필요는 없다. 예를 들면, 소정 기간 동안 터치 조작 영역(12a1)(원격 조작 영역)에 대하여 행해지는 터치 조작으로 인한 여러 입력 중에서, 제어 회로(18)는 상기 터치 조작 영역(12a1)에서의 다른 위치에서 행해지는 터치 조작에 의한 입력수(number of input)를 특정한다(조작수 특정부 또는 조작수 특정 수단). 상기 소정 기간 동안 조작수가 간이 조작 이용의 수인 경우, 상기 간이 조작용 손가락 상태는 특정될 수 있다. 예를 들면 1초 내에서(또는 동시에) 3회의 터치 조작이 서로 다른 세 위치에서 행해질 때의 경우에서, 3개의 손가락의 존재가 특정될 수 있다. 간이 조작 이용에 대한 횟수가 3회로 되는 것으로 정의되는 경우, 상기 간이 조작용 손가락 상태는 3개의 손가락의 존재의 상기 특정에 의해 소정의 손가락 상태로서 특정된다. 구체적으로, 도 20에 나타낸 바와 같이, 표시 금지 모드(또한, 입력 금지 모드)가 설정되는 조건에서, 상기 터치 조작은 터치 조작 영역(12a1)에 대해 행해진다. 여기에서 상기 제어 회로(18)는 자신의 타이머(18b)를 작동시키고, 카운터(18c)를 카운트 업하도록 시간 타이밍을 개시한다. 이에 따라 상기 제어 회로(18)는 시간 타이밍의 개시에서 터치 조작을 포함하는 터치 조작들에 의한 입력의 횟수를 카운트한다. 터치 조작이 터치 조작 영역(12a1)에 대해 행해지는 경우, 터치 위치 정보(예를 들면, 터치 조작 영역(12a1)에서의 위치 좌표)가 취득되는 것임을 알 수 있다. 여기에서, 상기 터치 조작 영역(12a1)에서 동일 위치에 대하여 행해지는 재-터치 조작은 입력으로서 카운트 업되지 않는다. 또한, 소정 기간(t0)이 경과한 때에 입력의 횟수가 간이 조작용 손가락 상태를 정의하는 손가락의 개수와 동일할 때, 조작자의 손의 현재 손가락 상태는 간이 조작용 손가락 상태로서 특정된다. 특정 시간으로부터 개시되는 소정의 표시 허가 기간 동안에만, 상기 표시 허가 모드(추가 입력 허용 모드)가 설정된다. 상기 표시 허가 기간이 종료되는 경우, 상기 표시 금지 모드(추가 입력 금지 모드)는 다시 설정된다.
1.9 제9 실시 예
이하 본 실시 형태의 제9 실시 예를 설명한다.
앞의 실시 예들에 있어서, 표시 장치(15)에 표시되는 모든 조작 표시 화면에서, 전술한 표시모드 전환제어가 실행되는 구성을 제공한다. 한편, 이러한 표시모드 전환제어는 소정의 조작 표시 화면에서만 실행될 수 있다. 한편, 상기 표시 허가 모드 또는 표시 금지 모드는 다른 조작 표시 화면에서 고정적으로 설정될 수 있다.
제어 회로(18)로부터의 제어 지령에 근거하여, 상기 표시 장치(15)는 표시 화면에서 터치 조작 영역(12a1)에 대한 가압 조작에 의한 입력이 수락되는 다수의 조작 표시 화면(200)의 전환을 실행할 수 있다(조작표시화면 표시부 또는 조작표시화면 표시수단). 예를 들면, 도 22에 나타낸 메뉴 선택 화면(2003), 도 23에 나타낸 바와 같이 차량 공조기의 풍량 설정 화면(2004), 도 24에 나타낸 카 오디오의 볼륨 설정 화면(2005), 앞서 언급한 카 네비게이션의 맵 표시 화면(2002)(도 7의 (c)), 문자 입력 화면(2001)(도 6의 (c)) 등과 같은 표시 화면 서로들 간에 전환될 수 있다. 이들 화면은 다양한 입력에 따라 전환될 수 있다. 이들 다수의 조작 표시 화면 중으로부터 앞의 표시모드 전환제어에 대한 실행 대상의 조작 표시 화면을 특정할 수 있는 표시모드실행 적용가능 정보가 제공된다. 상기 표시모드실행 적용가능 정보는 제어 회로(18)의 소정 기억 영역(표시모드실행 적용가능 정보 기억부 또는 표시모드실행 적용가능 정보 기억수단)에 미리 기억된다. 상기 제어 회로(18)는 위치지시화상 표시처리를 실행하는 경우 상기 표시모드실행 적용가능 정보를 참조한다. 이에 따라 상기 표시 장치(15)에 표시되는 조작 표시 화면이 상기의 표시모드 전환제어에 대한 실행 대상일 경우에만, 상기 제어 회로(18)는 특정된 조작 표시 화면에서 표시모드 전환제어를 실행할 수 있다. 이하, 상기 처리의 특정 흐름을 도 21을 참조하여 설명한다.
S61에서. 상기 제어 회로(18)는 조작자의 손의 화상이 취득되었는지 여부를 판정한다. 이는 도 9의 S1에서의 처리와 유사하다. 조작자의 손의 화상이 취득되는 경우, 상기 처리는 S62로 진행된다. 조작자의 손의 화상이 취득되지 않은 경우, 본 처리는 종료된다.
S62에서 상기 제어 회로(18)는 현재 표시되는 한 종류의 조작 표시 화면(200)을 특정하고, 표시모드 전환제어를 위한 소정의 실행 대상인지 여부를 특정한다. 여기에서, 상기 제어 회로(18)의 기억부(18d)의 소정 기억 영역에 기억된 표시모드실행 적용가능 정보가 이용된다. 상기 조작 표시 화면 중, 상기 터치 조작 영역(12a1)에 대한 가압 조작이 소정 조작 부하(load) 레벨을 초과하는 조작을 포함하는 복잡 조작 표시화면(complicated manipulation display window)이 표시모드 전환제어를 위한 실행 대상으로 되도록 판정되고, 터치 조작 영역(12a1)에 대한 가압 조작이 소정의 조작 부하(load) 레벨을 초과하지 않는 조작만을 포함하는 간이 조작 표시 화면이 표시 허가 모드의 고정 설정 대상으로 판정된다. 상기 제어 회로(18)는 표시모드실행 적용가능 정보를 참조하고, 이에 따라 현재 표시되는 조작 표시 화면(200)이 표시모드 전환제어를 위한 실행 대상인지 여부를 특정한다.
상기 표시모드실행 적용가능 정보는 다음과 같이 화면 종별(window kinds)을 분류한 정보로서 기억되는 것임을 알 수 있다. 상기 표시 장치(15)는 표시 화면에서 하나 이상의 조작 입력 화상을 표시한다. SI는 조작 입력 화상의 전체 영역 또는 조작 입력 화상(200I)(조작 아이콘)에 상응하여 터치 조작 영역(12a1)에서 정의되는 전체 가압 조작 영역의 전체 영역으로서 정의된다. SA는 표시 화면의 전체 표시 화면의 전체 영역 또는 터치 조작 영역(12a1)의 전체 구역의 전 영역으로서 정의된다. 여기에서, 비율 SI/SA가 소정 비율 SO보다 큰 경우, 그 조작 표시 화면은 복잡 조작 표시 화면으로 되는 것으로 판정되고, 상기 비율 SI/SA가 소정의 비율 SO보다 크지 않은 경우, 다른 조작 표시 화면은 간이 조작 표시 화면으로 되는 것으로 판정될 수 있다(도 73의 예 1 참조). 또한, KI는 조작 입력 화상의 개수 또는 조작 입력 화상(200I)(조작 아이콘)에 상응하여 터치 조작 영역(12a1)에 형성되는 가압 조작 영역들의 전체 개수로서 정의된다. 여기에서, 개수 KI이 소정 개수 KO보다 큰 경우, 그 조작 표시 화면은 복잡 조작 표시 화면으로 되는 것으로 판정될 수 있고, 개수 KI가 소정 개수 KO보다 크지 않은 경우, 다른 조작 표시 화면이 간이 조작 표시 화면으로 되는 것으로 판정될 수 있다(도 73의 예2 참조). 또한, LI는 조작 입력 화상들간의 간격 또는 조작 입력 화상(20OI)(조작 아이콘)에 상응하여 터치 조작 영역(12a1)에서 정의되는 인접하는 가압 조작 영역들의 간격으로서 정의된다. 여기에서, 상기 간격 LI이 소정 간격 LO보다 좁은 경우, 그 조작 표시 화면은 복잡 조작 표시 화면으로 되는 것으로 판정될 수 있고, 상기 간격 LI가 소정 간격 LO보다 좁지 않은 경우, 다른 조작 표시 화면이 간이 조작 표시 화면으로 되는 것으로 판정될 수 있다(도 73의 예 3 참조). 여기에서 상기 간이 조작 표시 화면은 도 22 내지 도 24 및 도 7의 (c)에서의 화면 2002. 2003, 2004 및 2005를 예로 들 수 있다. 상기 복잡 조작 표시 화면은 도 6의 (c)에서 문자 입력 화면 200I(예를 들면, 목적지 명칭 입력 화면 등)을 예로 들 수 있다.
S62에서 상기 제어 회로(18)는 상기의 복잡 조작 표시 화면(2000) 및 간이 조작 표시 화면을 특정할 수 있는 표시모드실행 적용가능 정보를 참조하고, 이에 따라 현재 표시되는 조작 표시 화면(200)이 표시모드 전환제어를 위한 실행 대상(즉, 여기에서 복잡 조작 표시 화면)인지 여부를 특정한다. 특정될 때, 상기 처리는 S63으로 진행된다. S63에서 현재 표시되는 조작 표시 화면(200)이 표시모드 전환제어의 실행 대상으로 판정되는 경우, 상기 처리는 S64로 진행된다. 상기 표시모드 전환제어의 실행 대상이 아닌 것으로 판정되는 경우, 상기 처리는 S66으로 진행된다.
S64에서 조작자의 손(조작 손)이 소정의 손가락 상태, 즉 본 제1 실시 형태에서 간이 조작용 손가락 상태에 있는지 여부를 판정한다(도 9의 S2에서의 처리와 유사). 이어서 S65에서 현재 손가락 상태가 간이 조작용 손가락 상태에 있는 것으로 판정되는 경우, 상기 처리는 S66으로 진행된다. 상기 간이 조작용 손가락 상태에 있지 않은 것으로 판정되는 경우, 상기 처리는 S69로 진행된다.
S66에서, 상기 표시 모드는 표시 지시 화상의 표시가 허용되는 표시 허가 모드로 설정된다. 상기 표시 허가 모드는 제어 회로(18)의 기억부(18d)에 제공되는 소정의 기억 영역(표시 모드 기억부)에 기억되는 것임을 알 수 있다. 이어서 S67에서 상기 제어 회로(18)는 표시 장치(15)의 표시 화면(200)과 촬영된 손 간의 위치 관계를 특정한다(도 9의 S5에서의 처리와 유사). 계속해서 S68에서, 상기 표시 지시 화상(200H)은 표시 장치(15)의 표시 화면(200)에서 현재 표시되는 메인 화상(200B)에 중첩되어 표시된다(위치지시화상 표시부 또는 위치지시화상 표시수단; 도 9의 S6에서의 처리와 유사).
구체적으로, S62에서 현재 표시되는 조작 표시 화면(200)이 표시모드 전환제어의 실행 대상이 아닌 것으로 판정되는 경우(간이 조작 표시 화면인 것으로 특정되는 경우), S67 및 S68에 있어서의 처리에서, 손가락 상태에 근거한 위치 지시 화상(200H)이 조작자의 손가락 상태와 관계없이 표시된다(도 4, 도 6 및 도 7의 (c) 참조). S62에서 현재 표시되는 상기 조작 표시 화면(200)이 표시모드 전환제어의 실행 대상인 것으로 판정되는 경우(여기에서, 복잡 조작 표시 화면인 것으로 특정되는 경우). 조작자에 의해 실행되는 간이 조작용 손가락 상태에 근거한 위치 지시 화상(200H)은 S67 및 S68에서의 처리를 통해 표시된다(도 6 및 도 7의 (c) 참조).
한편, S65에서 현재 손가락 상태가 간이 조작용 손가락 상태가 아닌 것으로 판정되는 경우, 상기 처리는 S69로 진행된다. S69에서, 표시 모드는 위치 지시 화면(200)의 표시를 금지하는 표시 금지 모드로 설정된다. 이는 제어 회로(18)의 기억부(18d)의 소정 기억 영역(표시 모드 기억부)에 저장된다. 이에 따라 S67 및 S68에서 실행되는 위치 지시 화상(200H)의 표시는 실행되지 않고, 예를 들면 도 5의 (c)에 나타낸 바와 같이 상기 표시 지시 화상(200H)은 표시 장치(15)의 표시 화면(200)에 표시되지 않는다.
본 처리는 S68 및 S69에 의해 종료된다. 본 처리는 그 본 처리의 종료 이후라도 소정 주기로 반복되게 실행된다.
도 21의 처리에서, 상기 표시모드 전환제어는 복잡 조작 표시 화면에서 실행되고, 상기 표시 허가 모드는 간이 조작 표시 화면에서 고정적으로 설정된다. 다른 예가 다음과 같이 제공될 수 있다. 상기 표시 금지 모드는 복합 조작 표시 화면에서 고정적으로 설정될 수 있고, 상기 표시모드 전환제어는 간이 조작 표시 화면에서 실행될 수 있다.
1.10 제10 실시 예
이하 본 실시 형태의 제10 실시 예를 설명한다.
또한, 상기 실시 예들의 조작 입력 장치에서, 조작 표시 화면에서 원격 조작부(터치 패널(12a))를 조작하는 손을 실제로 표시할 때, 손이 원격 조작부에 가까이 있다면 도 4의 (c)에 나타낸 바와 같이 상기 표시 장치는 손가락들만을 표시한다. 복수의 손가락이 일렬로 동시에 표시되는 경우에서, 어느 손가락이 실제 조작되는지 의문이 발생하고, 상기 표시된 손가락과 조작자가 위치 지시에 실제 사용하고자 하는 손가락 간의 대응 관계가 명확하지 않다. 이에 따라 오조작이 발생할 수 있다. 상기의 조작 입력 장치가 차량용인 경우, 차량 운전중인 운전자는 조작 표시 화면을 주의 깊게 응시할 수 없고, 그러므로 차량을 운전하면서 여러 손가락을 이용하여 운전자가 조작 입력을 실행하는 데는 어려움이 있고, 이에 따라 종종 오조작이 발생한다.
이러한 문제를 해결하기 위하여, 위치지시화상 표시처리는 위치 지시를 위하여 실제 사용되는 손가락을 용이하게 특정하기 위하여 제공된다. 이러한 위치지시화상 표시처리는, 원격 조작부(터치 패널(12a))의 전방에서 대향하는 손의 손가락을 특정하는 손가락 특정 단계; 상기 특정된 손가락으로부터 원격 조작부에 대한 조작을 위하여 이용되거나 이용되는 것으로 추정되는 조작대상 손가락을 지정하는 조작대상 손가락 지정 단계; 표시 화면상의 배경의 배경 화상(200B)에 합성되거나 중첩되는 방식으로 상기 특정된 손가락의 지시 위치를 지시하는 위치 지시 화상(200H)을 표시하는 표시 단계; 및 조작대상 손가락과 다른 손가락에 대응하는 위치 지시 화상(200R)에 비하여 상대적으로 강조하기 위하여 표시되는 위치 지시 화상(200H) 중 소정의 조작대상 손가락에 대응하는 위치 지시 화상(200P)의 강조 표시를 실행하는 위치지시화상 강조 단계를 포함한다. 이에 따라 도 27 및 도 28에 나타낸 바와 같이, 상기 특정된 조작대상 손가락(여기에서 1개의 검지 손가락)은 다른 손가락들에 비하여 강조되게 표시되고, 이에 따라 조작성을 향상시킨다. 각 단계를 실행함으로써, 상기 제어 회로(18)는 손가락 특정부 또는 손가락 특정 수단, 조작대상 손가락 지정부 또는 조작대상 손가락 지정 수단, 위치지시화상 강조부 또는 위치지시화상 강조 수단으로서 기능을 하는 것임을 알 수 있다.
구체적으로, 전술한 각 실시 예에서 도 9의 S6에 대응하는 처리는 도 25에서의 처리로 대체된다.
1.10.1 제10 실시 예의 제1 변형 예
도 25에 있어서, T1에서 제어 회로(18)는 터치 조작 영역(원격 조작 영역)(12a1)에 대하여 터치 조작 영역(12a1)의 전방에 대향하는(여기에서 카메라(12b) 측에 대향하는 측) 손의 손가락을 특정한다(손가락 특정 단계). 여기에서, 도 9의 S1과 유사하게, 제어 회로(18)는 카메라(12b)에 의해 촬영된 촬영 화상에 근거하여 조작자의 손의 손가락의 화상을 취득하는지 여부를 판정한다. 상기 판정 결과는 제어 회로(18)로 출력된다. 상기 손의 손가락의 화상이 인식되는 것으로 판정되는 경우, 상기 처리는 T2로 진행된다. 그렇지 않게 판정되는 경우, 본 처리는 종료된다.
T2에서 상기 제어 회로(18)는 취득된 손가락 화상(150F)으로부터 손가락끝을 검출한다. 상기 손가락끝의 검출은 특정된 손가락 화상(150F)으로부터 손가락끝(Q)을 특정하는 방식으로 실행된다(손가락끝 특정 단계). 본 실시 예에서 상기 손가락끝의 특정은 도 29에 나타낸 바와 같은 방식으로 실행된다. 즉, 도 29의 (a)에 나타낸 바와 같이, 먼저 손가락 화상(150F)이 특정된다. 상기 화상 처리부(18a)는 상기 특정된 손가락 화상(150F)을 포함하는 손의 화상(150H)과, 소정양 만큼만 손가락 화상(150F)의 길이 방향으로 손의 화상(150H)을 이동시킴으로써 발생하는 이동된 손의 화상(160H)을 서로 중첩시킨다. 상기 손가락 화상(150H, 160H)이 서로 중첩되지 않은 비-중첩 영역(170)이 특정된다. 상기 비-중첩 영역(170)의 중심이 산출되고, 이에 따라 상기 산출된 중심의 지점이 손가락끝(손가락끝 위치)(Q)로서 특정된다. 상기 손가락끝(Q)의 특정 방법은 상기와 다를 수 있다. 예를 들면, 곡선으로 나타나는 상기 손가락끝의 윤곽은 추출 및 평활화되고, 그런 다음, 곡률 중심이 손가락끝(Q)으로서 특정된다. 또한, 상기 손가락끝(Q)의 특정 방법은 전술한 바와 같이 손가락의 한 지점으로서 특정될 필요는 없고, 손가락의 제1 관절까지의 영역이 손가락끝(손가락끝 영역)(Q)으로서 특정될 수 있다.
T1 및 T2는 각각 손가락 특정 처리 및 손가락끝 특정 처리의 단계들이지만, 이들 모두는 동시에 실행될 수 있음을 알 수 있다. 즉, 손가락 화상으로부터 손가락끝을 특정하는 대신에, 다음과 같은 예가 이용될 수 있다. 손가락끝은 카메라(12b)에 의해 촬영된 촬영 화상으로부터 직접적으로 특정되고, 손가락은 손가락끝을 특정함으로써 특정되며, 이에 따라 처리는 간략화된다.
이어서 T3에서, 상기 제어 회로(18)는 원격 조작부에 대한 조작을 위해 이용되거나 이용되는 것으로 추정되는 조작 손가락(P)(위치 지시를 위한 손가락)을 지정한다(조작대상 손가락 지정 단계). 구체적으로, 터치 조작 영역의 방향으로 각각 특정된 손가락끝의 위치 관계를 반영한 위치 관계 정보가 지정 손가락 정보로서 취득된다(지정손가락 정보 취득 단계). 상기 터치 조작 영역의 방향은 상기 터치 조작 영역(12a1)이 확장하는 방향, 즉 상기 터치 조작 영역(12a1)의 법선에 대하여 직교하는 방향을 의미한다. 따라서 상기 취득된 위치 관계 정보에 근거하여 T1에서 특정된 손가락들 중 상기 위치 관계에 대하여 소정의 선정 조건에 대하여 가장 적합한 위치 관계 정보를 갖는 손가락이 상기 조작대상 손가락(P)으로 우선적으로 지정된다.
한 그룹의 여러 손가락이 조작대상 손가락으로 지정될 수 있다. 한편, 접촉식 조작부(12a)에 대한 조작이 용이하게 인식되도록 위치 지시를 실행하는 관점으로부터 보면, 1개의 손가락 또는 2개의 손가락과 같이 비교적 작은 수의 손가락으로 지정되는 것이 바람직하다. 본 실시 예에서는 1개의 손가락이 지정된다. 또한, 지정 대상으로서 이용되는 손가락의 종류는 위치 지시에 적합한 검지(도 27 및 도 28의 (c) 참조), 중지(도 47 참조) 또는 검지와 중지의 두 손가락(도 48 참조)이다. 본 실시 예에서는 검지가 지정되는 것으로 상정한다.
본 실시 예의 T3의 처리는 도 26의 플로차트에 나타낸 처리와 같이 실행된다. 즉, T11에서 도 29의 (c)에 나타낸 바와 같이 특정된 손가락끝(Q)이 2차원 좌표계의 평면(180)상에서 특정된다. 상기 평면(180)에서 정의된 하나의 축 X에 의해, 상기 2차원 좌표계에서 다른 하나의 1차원 좌표계가 정의된다. 여기에서, 상기 특정된 손가락끝(Q)은 터치 조작 영역(12a1)으로(원격 조작부에 대향하는 방향으로) 투영된다. 상기 투영면은 상기 평면(180)으로서 정의된다. 하나의 축 X는 상기 투영면에서 소정 위치로서 표기되어 1차원 좌표계를 정의한다. T12에서 상기 면(180)에서 특정된 손가락끝(Q)의 1차원 좌표계에서의 위치 좌표(좌표 값)(XQ)는 특정되고, 상기 위치 좌표(XQ)를 반영하는 축 좌표 정보는 위치 관계 정보로서 취득된다. 따라서, T13에서 상기 취득된 축 좌표 정보에 근거하여 도 25의 T1에서 특정된 손가락들 중에서 상기 축 좌표 정보에 대하여 소정 선정 조건에 가장 적합한 손가락을 상기 조작대상 손가락(P)으로 우선적으로 지정된다.
또한, 본 실시 예는 오른쪽 핸들의 차량을 전제로 하며, 조작은 조수석 탑승자의 오른손에 의해 실행되는 것으로 상정한다. 또한, 상기 축 X은 조작자의 검지가 조작대상 손가락(P)으로 지정되도록 설정된다. 따라서 T11에서 상기 축 X는 도 30에서 나타낸 위치로서 설정된다. T12에서 상기 손가락끝(Q)은 설정된 축 X 측으로 투영되고, 각각의 투영 위치의 좌표 값(X1-X3)이 산출된다. T13에서 취득된 좌표 값(X1-X3) 중에서, 가장 큰 좌표값을 갖는 상기 손가락끝(Q)이 특정된다. 상기 특정된 손가락끝(Q)을 갖는 손가락은 검지이고, 이에 따라 상기 손가락이 조작대상 손가락(P)으로 지정되는 것으로 추정한다.
또한, 본 실시 예에서 상기 축 X은 도 30에 나타낸 바와 같이 오른쪽 검지가 종종 위치되지 않는 촬영 화상의 우측 하부로부터 오른쪽 검지가 종종 위치되는 왼쪽 상부 쪽으로의 방향으로 결정된다. 한편, 예를 들면 도 31 또는 도 32에 나타낸 다른 설정이 적용될 수 있다. 도 31의 경우에서, 가장 큰 좌표값을 갖는 손가락이 중지인 것을 추정하는데 적절하다. 또한, 조작 손이 오른손 및 왼손 중 어느 손인지 추정되거나 결정된다면, 중지에 인접하는 손가락이 검지로서 추정될 수 있다. 도 32의 경우에서, 조작 손이 오른손 및 왼손 중 어느 손인지 추정되거나 결정된다면, 오른쪽 또는 왼쪽 중 가장 끝단의 손가락이 검지로서 적절히 추정된다. 그러므로, 인접하는 손가락을 중지로 추정할 수 있다.
본 실시 예에서, 카메라(12b)에 의해 촬영된 촬영 화상은 손가락끝(Q)이 터치 조작 영역(12a1) 측으로 투영되는 투영면(180)이다. 따라서, 상기 조작 패널 화상 영역 및 상기 투영면(180) 각각은 동일 좌표계를 갖는 2차원 평면으로서 인식된다. 상기 조작 패널 화상 영역은 터치 조작 영역(12a1)을 반영하는 영역, 즉 터치 조작 영역(12a1)이 카메라(12b)에 의해 촬영된 촬영 화상 내에 위치되는 촬영 화상(150)의 전체 영역이다. 상기 조작 패널 화상 영역에서의 손가락끝(Q)의 좌표 위치는 투영면(180)에서의 투영 손가락끝(Q)의 좌표 위치로서 직접적으로 이용될 수 있다. T3에서, 상기 조작대상 손가락(P)은 가상적으로 정의된 투영면(180)에서의 좌표계에서 산출됨으로써 지정되고, 이에 따라 화상 처리의 필요성을 생략한다. 즉, 화상 데이터는 조작대상 손가락(P)의 지정 처리를 위하여 이용되지 않고, 이에 따라 연산 코스트(연산량, 메모리 양)는 절감될 수 있다.
도 25를 다시 참조해 보면, T4에서 상기 제어 회로(18)는 도 33의 (c)에 나타낸 바와 같이 표시 화면의 배경의 화상에 대하여 합성 또는 중첩되는 방식으로 상기 특정된 손가락끝(Q)에 대응하는 표시 화면에서의 위치에서 위치 지시를 우한 화상(200H)을 표시한다. 이러한 표시는 위치 지시 화상(200H) 내에서 상기 지정된 조작대상 손가락(P)에 대응하는 위치 지시 화상(200H)의 표시 영역(200P)을 조작대상 손가락(P) 이외의 손가락(R)에 대응하는 위치 지시 화상(200H)의 표시 영역(200R)에 비하여 강조되게 표시하는 강조 표시의 방식으로 행해질 수 있음을 알 수 있다. 따라서, 상기 조작대상 손가락(P)의 가시성은 향상된다. 조작될 손가락은 사용자에 의해 용이하게 인식될 수 있고, 조작성도 향상될 수 있다.
본 실시 예에서, 상기 제어 회로(18)는 먼저 표시 장치(15)의 표시 화면과 촬영된 손의 손가락 간의 위치 관계를 특정한다. 즉, 상기 제어 회로(18)는 촬영된 손의 손가락이 대향하는 표시 화면에서의 위치를 특정한다. 본 실시 예에서, 상기 카메라(12b)에 의해 촬영된 촬영 화상(150)에 터치 조작 영역(12a)이 있는 조작 패널 화상 영역이 특정된다. 여기에서, 상기 조작 패널 화상 영역은 터치 조작 영역(12a1)을 반영하는 영역, 즉 촬영 화상(150)의 전체 영역이다. 이와 동시에, 상기 2차원 조작 좌표계는 상기 조작 패널 화상 범위에 설정되고, 상기 촬영된 손가락의 위치는 조작 좌표계에 특정된다. 상기 조작 좌표계에 특정된 손가락의 위치에 대응하는 표시 장치(15)의 표시 화면의 위치는 표시 화면에서 정의된 2차원 표시 좌표계에서 특정된다.
그런 다음, 상기 표시 장치(15)의 표시 화면에서 특정된 위치에서, 상기 위치 지시 화상(200H)이 도 33의 (a)에 나타낸 바와 같이 메인 화상(200B)이 대응하는 위치 좌표에 중첩되게 표시된다. 전술한 위치 지시 화상(200H)(200P, 200R)의 강조 표시는 도 61에 나타낸 바와 같이 소정 시간(t1)에서의 단계에 의해 강조 레벨(강조 정도) 단계를 변경하는 방식으로 실행된다. 즉 상기 강조 표시에서의 변화의 처리에서, 상기 변화의 중간 상태는 도 33의 (b)에 나타낸 바와 같이 이루어진다. 상기 강조 표시에서의 중간 상태를 경유해서, 상기 강조 표시의 변화는 도 33의 (c)에 나타낸 바와 같이 종료된다. 특정되지 않은 손가락이 강조 표시에서 덜 가시적으로 하는 경우에서, 이러한 특정되지 않은 손가락이 갑자기 덜 가시적으로 되도록 한다면, 어떤 손가락이 강조되고 있는 것인지 인식하는 것은 어려울 수 있다. 따라서, 도 33의 (a)에 나타낸 바와 같이 강조 표시에서 먼저 모든 손가락들은 유사하게 표시된다. 그런 다음 단계적으로 강조 레벨은 변화된다. 그러므로 사용자로서는 표시 화면에 표시되는 손가락과 자기 자신의 손가락을 쉽게 관련시킬 수 있다.
또한, 강조 표시는 상기 위치 지시 화상(200H)의 손가락 표시 영역(200P 또는 200R)의 전제, 윤곽 또는 윤곽의 내측에 대하여, 색의 변화(도 63 참조), 명암 농도 변화(도 63 참조: 조작대상 손가락 이외의 손가락은 소거될 수 있음), 형상 변화(도 64: 예로서 조작대상 손가락(P)이 두껍게 될 수 있음), 다른 화상으로의 전환, 투명도의 변화(도 27 참조), 플래싱(flashing)(도 65 참조) 또는 이들의 어떠한 조합에 의해 행해진다. 본 실시 예에서, 상기 강조 표시는 위치 지시 화상(200H)의 처리 화상의 윤곽의 내측에 대하여 투명도를 변화시키는 형태로 행해진다. 또한, 상기 강조 표시에서, 상기 조작대상 손가락(P)에 대응하는 위치 지시 화상(200H)의 표시 영역(200P)의 강조 상태는 일정하게 유지되고, 나머지 손가락(R)에 대응하는 위치 지시 화상(200H)의 표시 영역(200R)의 강조 레벨은 감소될 수 있다. 상기 나머지 손가락(R)에 대응하는 위치 지시 화상 영역(200R)은 소거될 수 있다. 조작성을 고려할 때, 전체적으로 소거되는 경우보다도 강조 레벨은 낮아지지만, 상기 위치 지시 화상 영역(2OOR)이 비교적 용이하게 인식될 수 있게 유지되도록 하는 것이 바람직하다.
또한, T4에서의 상기 강조 표시는 도 61에 나타낸 바와 같이 조작대상 손가락(P)이 T3에서 지정된 바로 후에 개시되거나, 상기 조작대상 손가락(P)이 도 62에 나타낸 바와 같이 T3에서 지정된 이후에 소정 기간이 경과된 후 개시될 수 있다. 특히, 강조 표시가 단계적으로 적용되지 않는 경우의 구성에서는 후자를 선택하는 것이 바람직하다.
T4가 종료된 다음 본 처리는 종료된다. 본 처리의 종료 이후더라도 본 처리는 소정 주기로 반복적으로 실행되는 것임을 알 수 있다. 상기 조작 패널(12a)에 대향하는 손의 이동과 함께, 상기 표시 장치(15)의 표시 화면에 표시되는 위치 지시 화상(200H)의 표시 위치는 이에 따라 이동된다. 상기 강조 변화 도중에서 손이 이동할 경우, 상기 위치 지시 화상(200H)(200P 및 2OOR)의 표시 위치는 강조 변화를 계속하면서 이동한다. 상기 강조 변화가 완료된 이후 손이 이동할 경우, 상기 위치 지시 화상(200H)(200P 및 200R)의 표시 위치는 강조 상태가 유지된 채로 이동한다.
상기 위치지시화상의 표시 처리는 손가락 특정 단계, 손가락끝 특정 단계, 조작대상 손가락 지정 단계. 위치지시화상 강조 표시 단계 및 지정 손가락 정보 취득 단계를 포함하는 것임을 알 수 있다. 상기 제어 회로(18)는 CPU를 이용하여 상기 처리를 실행하고, 이에 따라 각 단계(손가락 특정 단계, 손가락끝 특정 단계, 조작대상 손가락 지정 단계. 위치지시화상 강조 표시 단계 및 지정 손가락 정보 취득 단계)를 실행하는 실행부 또는 실행 수단으로서 기능을 한다.
1.10.2 제10 실시 예의 제2 변형 예
상기 조작대상 손가락(P)의 지정 방법은 도 34 내지 도 36에 나타낸 바와 같이 구성될 수 있다. 도 34의 플로차트에 나타낸 바와 같이, T21에 있어서, 도 25의 T2에서 특정된 손가락끝(Q)은 터치 조작 영역(12a1)으로 투영되고, 상기 투영면(180)에서의 소정 영역에 기준 영역(Y)이 설정된다(도 35 또는 도 36 참조). T22에 있어서는, T22에서 설정된 기준 영역(Y)과 상기 투영된 손가락끝(Q) 사이의 거리를 반영하는 거리 정보는 위치 관계 정보로서 취득된다(지정손가락 정보 취득 단계). T23에서 상기 취득된 거리 정보에 근거하여, 도 25의 T1에서 특정된 손가락들 중에서 상기 거리 정보에 대한 소정의 선정 조건에 가장 적합한 손가락이 상기 조작대상 손가락(P)으로서 우선적으로 지정된다(조작대상 손가락 지정 단계).
본 실시 예에서, 상기한 실시 예들과 유사하게, 상기 손가락끝(Q)은 가상적으로 정의된 면(180)에서 특정되고, 상기 기준 영역(Y)이 더 정의된다(T21). 또한, 상기 거리 각각이 산출되고(T22), 이에 근거하여 상기 조작대상 손가락(P)이 지정된다(T23). 여기에서, 조작자의 중지가 조작대상 손가락(P)으로 되는 것으로 상정되며, 상기 거리 중에서 가장 긴 거리를 갖는 손가락이 조작대상 손가락(P)으로 지정된다. 상기 기준 거리(Y)는 면적을 갖는 영역으로서 정의될 수 있고, 면적을 갖지 않는 점 또는 선으로서 정의될 수 있다.
또한, 상기 기준 거리(Y)는 예를 들면 도 35에 나타낸 바와 같이 카메라(12b)에 의해 손가락이 촬영되는 상태에서 손등이 위치되는 것으로 추정되는 소정 위치에 배치될 수 있다. 이 경우, 상기 거리 정보는 T1에서 특정된 손가락의 길이를 직접적으로 반영하지 않지만 그에 관한 정보이고, 따라서 특정 손가락이 그 거리의 길이로부터 지정될 수 있다. 예를 들면, 가장 긴 거리를 갖는 손가락은 중지로 추정될 수 있다. 또한, 조작자의 손이 좌우의 어느 쪽인가가 추정 또는 판정되면, 상기 중지에 인접하는 손가락이 검지로서 추정될 수 있다. 또한, 검지 등이 조작대상 손가락(P)으로 상정되는 경우, 두 번째로 긴 손가락이 검지로 추정되고 지정될 수 있다.
또한, 상기 기준 거리(Y)는 예를 들면 도 36에 나타낸 바와 같이 카메라(12b)에 의해 손가락이 촬영된 상태에서 조작대상 손가락(P)으로 추정되는 손가락의 손가락끝이 흔히 위치되는 위치에 배치될 수 있다. 이 경우, 상기 기준 영역(Y)과의 거리가 가장 짧은 거리를 갖는 손가락끝(Q)을 갖는 손가락이 조작대상 손가락(P)으로 지정될 수 있다. 도 36에서, 상기 조작 손은 오른손으로 상정되고, 상기 조작대상 손가락(P)은 왼쪽의 가장 상부에 위치된다.
1.10.3 제10 실시 예의 제3 변형 예
상기 조작대상 손가락(P)의 지정 방법은 도 37 내지 도 38에 나타낸 바와 같이 구성될 수 있다. 여기에서, 도 37의 플로차트에 나타낸 바와 같이, T31에서 도 25의 T1에서 특정된 각 손가락의 형상과 관련되는 손가락 형상 정보가 지정 손가락 정보로서 취득된다(지정 손가락 정보 취득 단계). T32에서 상기 취득된 손가락 형상 정보에 근거하여 T1에서 특정된 손가락들 중 상기 손가락 형상 정보에 대하여 소정의 선정 조건에 가장 적합한 손가락을 상기 조작대상 손가락(P)으로 우선적으로 지정한다(조작대상 손가락 지정 단계).
도 25의 T1에서 특정된 손가락들의 터치 조작 영역의 방향으로의 길이 관계에 관한 손가락 길이 정보가 손가락 형상 정보로서 정의될 수 있다. 구체적으로, 도 25의 T2에서 특정된 손가락끝(Q)으로부터 촬영 화상(150)에 나타나는 손가락 단부 가장자리의 선분의 중간 지점에 상당하는 위치까지의 길이 d1-d3(도 38 참조)를 산출한다. 이들은 상기 손가락 길이 정보로서 정의된다. 이 경우, 상기 손가락 길이 정보는 T1에서 특정된 각 손가락의 길이를 반영하는 정보이고, 이에 따라 그 길이로부터 특정 손가락을 지정할 수 있다. 예를 들면, 가장 긴 거리를 갖는 손가락이 중지로 되는 것으로 추정될 수 있다. 또한, 조작 손이 좌우 어느 쪽인지 추정 또는 판정되면, 상기 중지에 인접하는 손가락은 검지로서 추정될 수 있다. 또한, 상기 검지 등이 조작대상 손가락(P)으로 되는 것으로 상정되는 경우, 두 번째로 긴 손가락이 검지인 것으로 추정되고 지정될 수 있다. 이러한 구성은 조작에 사용할 의도가 없는 절반 연장하는 손가락에 대하여 위치지시 손가락으로 지정될 가능성을 확실하게 배제할 수 있다. 여기에서, 손가락 길이 정보(d1 내지 d3)는 적어도 각 손가락의 길이를 반영하는 정보로 될 필요가 있다. 예를 들면, 만곡하는 손가락끝의 위치로부터 촬영 화상(150)에 나타나는 손가락의 단부 가장자리까지의 손가락의 길이 방향을 따르는 거리로 될 수 있다.
또한, 도 25의 T1에서 특정된 손가락들의 터치 조작 영역의 방향으로 폭 관계와 관련되는 손가락 폭 정보 또한 손가락 형상 정보로서 정의될 수 있다. 구체적으로, 도 25의 T2에서 특정된 손가락끝(Q)을 통과하는 손가락의 길이 방향에 직교하는 폭방향의 길이(w1 내지 w3)(도 38 참조)는 상기 손가락 폭 정보로서 정의될 수 있다. 이 경우, 상기 손가락 폭 정보에서, 상기 터치 조작 영역(12a1)에 손가락이 접근할수록 그 폭은 크게 나타나기 때문에, 상기 터치 조작 영역(12a1)에 대한 접근 거리 관계를 반영하는 접근 거리 정보로서 정의될 수도 있다. 가장 큰 폭을 갖는 손가락이 조작대상 손가락(P)으로 지정될 수 있다. 여기에서, 상기 손가락 폭 정보(w1 내지 w3)는 적어도 각 손가락의 폭을 반영하는 정보로 될 필요가 있다. 상기 손가락 폭은 상기 위치와 다른 위치에서 산출될 수 있다.
1.10.4 제10 실시 예의 제4 변형 예
상기 조작대상 손가락(P)의 지정 방법은 도 39에 나타낸 바와 같이 구성될 수 있다. T41에서 상기 터치 조작 영역(12a1)에서의 터치 조작 위치(T)는 도 25의 T1에서 특정된 손가락에 의해 검출되고, T42에서 검출된 처음 터치 조작을 실행하는 손가락이 터치 대상 손가락(P)으로 지정된다(조작대상 손가락 지정 단계). 즉 상기 터치 조작 영역(12a1)에서의 터치 조작 위치(T)는 지정 손가락 정보로서 취득되고, 이에 근거하여 조작대상 손가락(P)이 지정된다. 이 구성에서, 강조 표시의 개시 트리거(start-up trigger)는 사용자 터치 조작으로서 정의되고, 이에 따라 강조 표시에 의한 표시 변화를 간과하는 것을 방지한다. 이 경우, 손 조작에 의해 이동되는 상기 지정된 조작대상 손가락(P)은 추적된다. 상기 조작대상 손가락(P)의 지정은 조작대상 손가락(P)이 표시 화면으로부터 사라질 때까지 또는 새로운 터치 조작이 행해질 때까지 계속된다. 한편, 손가락이 표시 화면으로부터 사라진 후 표시 화면에 다시 손가락이 나타나는(출현하는) 경우라도, 동일 손가락이 조작대상 손가락(P)으로 지정되는 것을 필요로 할 수 있다. 그러므로 다른 손가락(R)과의 위치 관계 정보 및 조작대상 손가락(P)의 손가락 형상 정보와 같은 조건들은 제어 회로(18)의 기억부(18d)에 기억될 수 있고, 기억된 조건들에 근거하여 상기 조작대상 손가락(P)이 지정될 수 있다.
1.10.5 제10 실시 예의 제5 변형 예
상기 조작대상 손가락(P)의 지정 방법은 도 40 및 도 41에 나타낸 바와 같이 구성될 수 있다. 여기에서, 도 40의 플로차트에 나타낸 바와 같이, T51에서 터치 조작 영역(12a1)에서의 터치 조작 위치(T)가 도 25의 T1에서 특정된 손가락에 의해 검출되고, 상기 터치 조작 위치(T)가 도 41에 나타낸 바와 같이 검출되는 경우, T52에서 상기 검출된 터치 조작 위치(T)에 가장 가까운 손가락이 조작대상 손가락(P)으로 지정된다(조작대상 손가락 지정 단계). 또한, 도 25의 T4에서의 강조 표시는 터치 조작이 터치 조작 패널(12a1)에서 행해진 후(바로 직후) 개시되거나, 상기 터치 조작이 터치 조작 패널(12a1)에서 행해진 이후 소정 시간이 경과한 후에 개시될 수 있다. 특히, 강조 표시가 단계적으로 이루어지지 않는 구성에서는 후자가 선택되는 것이 바람직하다.
상기 제10 실시 예의 제4 변형 예 및 제5 변형 예에서, 상기 터치 조작 패널(12a1)이 잘못 터치되어 터치 조작이 행해지는 경우, 상기 강조 표시는 개시되지 않도록 할 수 있다. 구체적으로, 통상의 터치 조작보다 큰 조작 부하를 필요로 하는 터치 조작은 강조 표시 개시 조작으로서 T41 또는 T51에서 정의될 수 있다. 예를 들면, 강조 표시 개시를 위한 터치 조작(강조 표시 개시 조작)은 필요에 따라 통상의 터치 조작보다도 입력이 유효하게 될 때까지의 긴 터치 조작으로서 정의되거나 필요에 따라 통상의 터치 조작보다도 큰 터치 조작 강도를 갖는 터치 조작으로서 정의될 수 있다. 이 경우, T41 또는 T51에서 상기 정의된 강조 표시 개시 조작이 행해질 경우에만, 상기 처리는 T42 또는 T52로 진행되고, 상기 강조 표시 개시 조작이 행해지지 않을 경우에는 강조 표시 개시 조작이 행해질 때까지 강조 표시는 개시하지 않는 대기 상태를 개시한다.
1.10.6 제10 실시 예의 제6 변형 예
상기 조작대상 손가락(P)의 지정 방법은 도 42 및 도 43에 나타낸 바와 같이 구성될 수 있다. 도 42의 플로차트에 나타낸 바와 같이, T61에서 손가락의 촬영 화상의 휘도(輝度) 정보가 지정 손가락 정보로서 취득된다(지정 손가락 정보 취득 단계). T62에서 상기 취득된 휘도 정보에 근거하여 상기 손가락들의 촬영 화상 중에서 상기 휘도 정보에 대하여 소정의 선정 조건에 가장 적합한 손가락을 상기 조작대상 손가락(P)으로 우선적으로 지정한다(조작대상 손가락 지정 단계). 상기 카메라(12b)는 터치 조작 영역(12a1)을 조작하는 손으로부터 반사광을 포착하고, 이에 따라 화상을 촬영하고, 그러므로 상기 터치 조작 영역(12a1)에 가장 가까운 손가락끝이 고휘도로 나타난다. 즉, 상기 휘도 정보는 앞서 언급된 접근 거리 정보(지정 손가락 정보)로서 정의될 수 있다. 한편, 상기 터치 조작 영역(12a1)을 조작하는 손가락끝과 관련하여, 상기 터치 조작 영역(12a1)에 가까울수록 위치 지시의 가능성은 더 높아진다. 예를 들면, 가장 높은 휘도를 갖는 손가락끝이 조작대상 손가락(P)으로 우선적으로 지정되는 구성이 제공될 수 있다.
상기 카메라(12b)는 도 3에 나타낸 바와 같이 광원(12c)의 반사광을 포착함으로써 화상을 촬영한다. 따라서, 상기 반사광의 강도는 상기 촬영 화상(150)에 나타나는 색의 단조(gradation)로 반영된다. 고강도를 갖는 상기 반사광을 포착할수록 단조 레벨은 높게 나타난다. 즉, 본 실시 형태에서의 카메라(12b)에 의해 촬영된 촬영 화상(150)은 다중 단조 레벨의 촬영 화상(본 실시 예에서의 흑백 촬영 화상)이다. 상기 화상 처리부(18a)는 소정의 단조 역치(gradation threshold)를 이용하여 각 픽셀의 단조 레벨을 2치화하여 도 29의 (a)에 나타낸 화상을 생성한다. 그러므로 상기 단조 역치를 초과하는 영역은 접근하는 대상물 화상으로서 추출된다. 또한, 상기 화상 처리부(18a)는 상기 추출된 접근 대상물 화상(150H)으로부터 사람의 손 및 손가락의 화상을 특정하도록 한다. 따라서, 상기 접근 대상물 화상(150H)의 형상은 제어 회로(18)의 기억부(18d)에 기억된 손 또는 손가락 형상 패턴과 비교된다. 상기 패턴과 일치하는 접근 대상물 화상(150H)은 손 및 손가락의 화상으로서 인식된다. 본 실시 예에 있어서, 손 또는 손가락의 화상을 특정하기 위한 상기 단조 역치는 제1 단조 역치로서 정의된다. 또한, 상기 제1 단조 역치보다 큰 다른 역치는 제2 단조 역치로서 정의된다. 상기 제2 단조 역치를 초과하는 영역 L1(도 43 참조)을 갖는 손가락끝의 손가락은 조작대상 손가락(P)으로서 지정될 수 있다. 다른 방법이 다음과 같이 제공될 수 있다. 상기 조작대상 손가락(P)의 지정은 손가락끝(Q)의 휘도 또는 손가락끝(Q)에 근거한 소정 영역의 평균(또는 최소/최대) 휘도의 비교에 의해 이루어질 수 있다. 도 42의 영역 L1 내지 L3은 촬영 화상(150)에서 다른 휘도를 갖는 각각의 영역을 나타내며, 상기 휘도는 L1, L2, L3의 순서로 감소한다.
즉, 도 25의 T1은 카메라(12b)에 의해 촬영된 화상의 휘도에 근거하여 손가락 화상이 특정되고, 손가락은 상기 손가락 화상에 의해 특정되는 단계이다. 도 25의 T2는 카메라(12b)에 의해 촬영된 손의 화상을 이용하여 손가락끝이 특정되는 단계이다. 또한, 도 25의 T3는 유사하게 카메라(12b)에 의해 촬영된 손 화상의 화상 휘도에 근거하여 조작대상 손가락(P)이 특정되는 단계이다. 따라서, 본 실시 예에서, 상기 카메라(12b)의 촬영 화상에 근거한 상기 특정은 손가락, 손가락끝 및 조작대상 손가락(P)에 대하여 이루어질 수 있다.
또한, 여기에서 상기 조작대상 손가락(P)의 지정 처리는 전체 손가락 대신에 손가락끝 부분의 화상 정보를 이용하여 행해진다. 따라서 상기 조작대상 손가락(P)의 지정 처리에 이용되는 화상 데이터는 한정될 수 있고, 이에 따라 산출 코스트(산출량 및 메모리량)는 감소할 수 있다. 구체적으로, 도 43에 나타낸 바와 같이, 소정 형상(여기에서는 사각)을 갖는 영역(S)은 T2에서 특정된 손가락끝(Q)을 중심으로 그 손가락끝의 전체를 포함하도록 정의된다. T61에서 상기 영역(S)의 휘도 정보는 T1에서 특정된 전체 손가락들에 대하여 특정되고 취득된다. T62에서 상기 취득된 휘도 정보 가운데서 가장 고휘도를 갖는 영역(S)의 손가락이 조작대상 손가락(P)으로 우선적으로 지정된다.
1.10.7 제10 실시 예의 제7 변형 예
상기 조작대상 손가락(P)의 지정 방법은 도 44 내지 도 46에 나타낸 바와 같이 구성될 수 있다. 도 44에 나타낸 바와 같이, T61에서 지정 손가락 정보로서 접근 거리 정보가 취득되고, 상기 접근 거리 정보는 도 25의 T1에서 특정된 손가락끝에 대하여 터치 조작 영역(12a1)에 관한 접근 거리를 반영한 것이다(지정 손가락 정보 취득 단계). T62에서 상기 취득된 접근 거리 정보에 근거하여 상기 손가락 특정 단계에서 특정된 손가락들 중에서 상기 접근 거리 정보에 대하여 소정의 선정 조건에 가장 적합한 손가락을 조작대상 손가락으로 우선적으로 지정한다(조작대상 손가락 지정 단계). 여기에서 이러한 구성에 있어서, 상기 터치 조작 영역(12a1)과 조작 손의 손가락끝 사이의 거리를 검출하기 위한 수단이 필요로 된다. 상기한 제10 실시 예의 제5 변형 예와 마찬가지로, 상기 접근 거리 정보로서 휘도가 취득될 수 있다. 한편, 예를 들면 도 45에 나타낸 바와 같이 상기 접근 거리 정보를 취득하기 위한 접근 거리 취득부 또는 접근 거리 취득수단으로서 카메라(40)(화상 촬영부 또는 화상 촬영 수단)가 이용될 수 있다. 상기 카메라(40)는 상기 터치 조작 영역(12a1)과 조작 손의 손가락끝 사이의 거리의 화상을 포착하도록 배치된다. 상기 촬영 화상(예를 들면, 도 46)으로부터 상기 제어 회로(18)는 터치 조작 영역(12a1)에 대하여 조작 손의 각 손가락의 손가락끝의 거리(d1 내지 d4)를 산출할 수 있다. 예를 들면, 가장 가까운 거리를 갖는 손가락끝의 손가락이 조작대상 손가락(P)으로 지정될 수 있다. 도 46은 도 45의 카메라(40)에 의한 촬영 화상의 일 예를 나타내고 있다.
1.10.8 제10 실시 예의 제8 변형 예
상기 조작대상 손가락의 지정은 위치 관계 정보 및 손가락 형상 정보와 같은 상기한 둘 이상의 지정 손가락 정보를 통합함으로써 행해질 수 있다. 이는 검지나 중지와 같이 결정된 종별의 손가락을 더욱 정확히 특정할 수 있다.
1.10.9 제10 실시 예의 제9 변형 예
예를 들면 상기 터치 패널(12a)의 후면(12a2) 측으로부터 화상을 촬영하는 카메라 대신에, 도 15에 나타낸 바와 손 화상 촬영부 또는 손 화상 촬영 수단으로서 제공되는 카메라(12b)가 배치될 수 있다. 또한, 도 15의 상기 카메라(20)는 손 화상 촬영부 또는 손 화상 촬영 수단으로서 제공되는 카메라(12b)로서 제공될 수 있다.
도 15의 상기 카메라(20)는 조작 패널(12a)의 조작자의 손뿐만 아니라 손으로부터 연장하는 팔까지를 커버하는 촬영 영역을 가질 수 있다(예를 들면, 도 8의 촬영 화상(300)). 이러한 카메라를 이용하여, 상기 제어 회로(18)는 촬영된 조작 패널 주변 화상을 취득하고, 상기 화상 처리부(18a)를 이용하여 손으로부터 연장하는 팔의 방향을 특정하여 조작자가 좌우 어느 쪽의 탑승자인지 여부를 판정한다. 상기 터치 조작 영역(12a1)의 조작자가 터치 조작 영역(12a1)의 좌측에 위치되는 사람이면, 상기 조작 손은 오른손으로서 특정될 수 있다. 상기 터치 조작 영역(12a1)의 오른쪽에 위치되는 사람이면, 조작 손은 왼손으로서 특정될 수 있다.
상기 제어 회로(18)는 조작 손의 특정 결과에 근거하여 조작대상 손가락(P)의 지정 조건을 변경할 수 있다. 구체적으로, 상기 조작대상 손가락(P)은 검지로 지정되는 것으로 상정한다. 조작 손이 왼손인 경우, 검지는 가장 우측에 나타나는 손가락 또는 오른쪽에서 가장 긴 길이를 가지면서 나타나는 중지에 인접하는 손가락으로서 특정된다. 조작 손이 오른 손인 경우, 검지는 가장 왼쪽에 나타나는 손가락 또는 왼쪽에서 가장 긴 길이를 가지면서 나타나는 중지에 인접하는 손가락으로서 특정된다. 따라서 상기 조작대상 손가락(P)을 지정함에 있어 조작 손이 왼손인지 또는 오른손인지 여부에 따라 선정 조건이 변경되는 경우, 상기 변경은 조작 손의 특정 결과에 근거하여 실행될 수 있다. 또한, 조작 손이 운전자의 손으로서 특정되는 경우, 조작을 방지하도록 표시를 행하지 않을 수 있다. 이에 따라 좌측의 조수석의 탑승자만이 조작자로서 지정될 수 있고, 오른손이 조작 손으로서 지속적으로 정의될 수 있다. 그 결과, 이는 상기 조작대상 손가락(P)의 선정 조건에서 미리 반영될 수 있다.
도 8의 촬영 화상(300)에서, 부호 300H는 손의 화상을 의미하고, 부호 300A는 손으로부터 연장하는 팔의 화상을 의미하며, 부호 312a는 조작 패널(12a)이 촬영되는 영역을 의미한다. 상기 조작 패널(12a)의 조작자의 팔은 촬영 화상의 우측, 즉 운전자 측으로부터 연장되고, 이에 따라 운전자를 조작자로서 특정한다.
이 경우, 상기 카메라(20)는 상기 제어 회로(18)(화상 처리부(18a))와 함께 조작자 특정부 또는 조작자 특정 수단으로서 기능을 한다. 상기 조작 패널(12a)의 조작자가 운전자인지 여부를 특정하는 방법은 다른 방법으로 이루어질 수 있다. 예를 들면, 접근하는 대상물을 검출하는 접근 대상물 검출 장치(예를 들면, 적외 반사 센서와 같은 반사식 광학 센서)가 터치 조작 영역(12a)의 차량 좌우 양측 각각에 배치될 수 있어 상기 조작자를 특정한다.
1.10.10 제10 실시 예의 제10 변형 예
전술한 제10 실시 예의 모든 변형 예에 있어서, 1개 이상의 손가락이 특정될 때만 상기한 강조 표시가 실행될 수 있다. 손가락 특정부 또는 손가락 특정 수단으로서 기능을 하는 상기 제어 회로(18)는 손가락의 개수를 특정할 수 있다. 상기 특정된 손가락의 개수가 2개 이상일 경우, 상기한 제10 실시 예의 위치지시화상 표시 처리가 실행될 수 있다. 1개일 경우에는, 상기 손가락에 대응하는 위치 지시 화상만이 표시되는 간이 표시 처리가 실행될 수 있다.
1.10.11 제10 실시 예의 제11 변형 예
상기한 제10 실시 예의 모든 변형 예에서, 원격 조작부는 접촉 조작(푸쉬 조작 또는 터치 조작)에 응답하는 것을 전제로 하고, 1개의 손가락이 위치 지시용으로 지정된다. 또한, 도 48에 나타낸 바와 같이 2개의 손가락이 위치 지시를 위하여 지정되는 다른 구성이 가능할 수 있는 것도 설명되어 있다. 한편, 원격 조작부는 다이얼(dial) 조작과 같이 조작 노브(knob)를 핀치(pinch)하는 조작에 응답하는 것을 전제로 하는 조작부로 이루어질 수 있다. 이 경우, 2개 또는 3개의 개수를 갖는 손가락이 조작대상 손가락(P)으로 지정될 수 있다. 또한, 핀치를 위한 조작에서의 손가락 또는 손가락끝의 특정은 상기한 접근 거리 정보(원격 조작 영역에 관한 접근 거리를 반영하는 정보)를 이용하여 실행될 수 있다.
예를 들면, 도 49에 나타낸 바와 같이, 본 실시 형태의 원격 조작부로서 다이얼 조작부(12a')(다이얼 노브 주변의 하우징 전방단부(121e)도 다이얼 조작부(12a')의 일부로서 포함된다)가 제공된다. 상기 다이얼 조작부(12a')를 조작하기 위하여 접근하는 손의 화상을 촬영하도록 카메라(41, 42)가 배치되고, 상기 카메라(41, 42)는 제어 회로(18)에 접속된다. 상기 카메라(41, 42)는 화상 촬영 범위가 다르고, 상기 다이얼 조작부(12a')의 회전축에 직교하는 평면에서 서로 직교하는 방향으로 각 화상 촬영을 갖도록 배치된다. 상기 카메라(41, 42)의 각 촬영 화상(150a, 150b)(도 27 및 도 28의 (b)의 화상과 유사한 2치화 후의 화상)의 예시는 각각 도 50의 (a) 또는 (b)에 나타나 있다. 한편, 카메라(12b)는 조작 정보 입력부(12)의 내측(또는 도 15에 나타낸 바와 같이 조작 정보 입력부의 외측)에서 도 3에 나타내는 방식으로 배치될 수 있다. 상기 카메라(12b)의 촬영 화상(150c)(도 27 및 도 28의 (b)의 화상과 유사하게 2치화 후의 화상)의 예는 도 50의 (c)에 나타나 있다. 상기 화상(150a, 150b 및 150c)에서의 화상 영역(150S)은 상기 다이얼 조작부(12a')를 반영하는 영역이다.
이러한 구성에서 실행되는 강조 표시 처리의 흐름을 설명한다.
먼저, 도 50의 (a) 및 (b)의 화상(150a, 150b)이 취득된다(도 25의 T1에 대응하는 처리). 손가락끝(Q)은 화상(150a, 150b)으로부터 추출된 손 화상(150H)으로부터 특정된다. 또한, 상기 손가락끝(Q)의 특정 위치가 특정된다(도 25의 T2에 대응하는 처리). 여기에서, 도 49에 나타낸 x-축, y-축 및 z-축을 갖도록 3차원 좌표계(차량 객실 좌표계)가 차량 객실에 제공되고, 상기 좌표계에서 위치 좌표로서 특정된다. 구체적으로, 상기 x-z 좌표계 및 y-z 좌표계는 화상(150a, 150b)에 제공된다. 상기 손가락끝(Q)은 하우징 전방 단부(121e) 측으로 연장되는 투영 화상(150F)의 선단 영역에서 전술한 방법들 중 하나에 의해 특정된다. 상기 손가락끝(Q)의 위치 좌표가 특정되고, 이에 따라 상기 차량 객실 좌표계에서 3차원 좌표계를 특정한다.
그런 다음, 상기 조작대상 손가락(P)이 특정된다. 여기에서 상기 각 손가락끝(Q)으로부터 상기 하우징 전방 단부(121e)의 전방 단면까지의 거리가 산출된다. 상기 하우징 전방 단부(121e)의 전방 단면에 가장 가까운 위치의 손가락끝(Q)과 두번째로 가까운 위치에 있는 손가락끝(Q) 모두가 조작대상 손가락(P)으로서 특정된다. 상기 하우징 전방 단부(121e)의 전방 단면(부호 150E)은 화상(150a, 150b)에 반영되기 때문에, 상기 거리의 산출은 이를 이용하거나 상기 화상(150c)의 휘도로부터 행해질 수 있다.
상기 특정된 조작대상 손가락(P)의 손가락끝(Q)에 대응하는 위치 지시 화상(2OOH)의 위치 지시 영역(200Q)(200P)은 다른 손가락끝(Q)에 대응하는 위치 지시 화상(2OOH)의 위치 지시 영역(2OOQ)(200R)보다 강조되는 방식으로, 도 51에 나타낸 바와 같이 배경 화상(200B)에 대해 중첩되게 또는 합성되어 표시된다. 여기에서, 도 51의 상기 배경 화상(200B)(200B3)은 전환 화상(2OOI)으로서 다이얼 전환 화상을 포함한다. 상기 원격 조작부로서 제공되는 다이얼 조작부(12a')의 회전 조작에 따른 회전 표시가 행해진다. 상기 회전 위치에 따른 제어 내용이 실행된다.
상기 조작대상 손가락(P)의 지정 방법은 제10 실시 예의 제2 변형 예와 동일하다. 즉, 상기 특정된 손가락끝(Q)은 원격 조작부로서 제공되는 다이얼 조작부(12a') 측으로(다이얼 조작부(12a')에 대향하는 방향으로) 투영된다. 상기 투영면(180)의 소정 영역에 설정된 기준 영역(Y)과 상기 투영된 손가락끝(Q) 간의 거리를 반영하는 거리 정보가 위치 관계 정보로서 취득된다. 상기 취득된 거리 정보를 이용하여, 상기 거리에 대하여 소정의 선정 조건에 적합한 손가락을 상기 조작대상 손가락(P)으로 우선적으로 지정한다. 상기 기준 영역(Y)은 도 53에 나타낸 바와 같이 상기 투영면(180)의 다이얼 조작부(12a')를 투영함으로써 생성되는 투영 영역(120)의 중심 위치로서 정의된다.
또한, 여기에서 상기 조작대상 손가락(P)의 지정 방법은 적어도 엄지가 포함되는 방법으로 이루어질 수 있다. 구체적으로, 다른 손가락들과의 두께의 차이, 다른 손가락들과의 위치 관계 차이, 손가락의 연장 방향에서의 차이 등 다양한 요소로부터 엄지가 특정될 수 있다. 또한, 상기 조작대상 손가락(P)이 2개의 손가락으로 지정되는 경우, 엄지 이외의 나머지 하나의 손가락은 엄지를 제외한 하우징 전방 단부(121e)의 전방 단부에 가장 가까운 손가락으로 될 수 있다. 상기 나머지 1개의 손가락은 핀치 조작을 실행하기 쉬운 관점에서 검지 또는 중지로 지정되는 것이 바람직한 것임을 알 수 있다. 예를 들면, 엄지를 기준으로 해서(예를 들면, 엄지로부터 위치 관계) 지정될 수 있다. 또한, 상기 원격 조작부가 전술한 핀치 조작에 응답하는 것으로 전제하는 경우, 3개의 손가락의 손가락끝들은 도 52에 나타낸 바와 같이 강조될 수 있다. 이 경우, 엄지, 검지 및 중지가 조작대상 손가락(P)으로 지정되는 것이 바람직하다.
또한, 본 실시 예에서, 상기 위치 지시 화상(2OOH)에서의 손가락끝 영역(200Q)은 위치 지시 영역으로서 정의된다. 또한, 전술한 다른 실시 예들과 같이, 상기 위치 지시 화상(2OOH)에 포함되는 전체 손가락이 위치 지시 영역으로서 정의된다. 반대로, 전술한 다른 실시 들에서, 상기 위치 지시 화상(2OOH)에서의 손가락끝 영역(2OOQ)이 위치 지시 영역으로서 정의될 수 있다.
1.10.12 제10 실시 예의 제12 변형 예
(손가락 또는 손가락끝의 추적 처리)
전술한 모든 실시 예들에서 적용가능한 처리를 제10 실시 예의 제12 변형 예로서 설명한다. 제10 실시 예에서, 조작대상 손가락(P)은 촬영 화상의 프레임마다에 대하여 특정된다. 여기에서, 상기 조작 패널(12a(12a'))과 조작 손 간의 위치 관계가 변화하는 경우, 상기 조작대상 손가락(P)은 다른 손가락으로 자동으로 지정될 수 있다. 특히, 상기 조작대상 손가락(P)이 제10 실시 예의 제4 변형 예 또는 제5 변형 예와 같이 원격 조작부에 대한 접촉 위치(사용자의 조작)에 근거하여 특정되는 경우, 상기 조작대상 손가락(P)은 터치 조작에 근거하여 특정된다. 손 또는 손가락의 위치가 이동했다고 해서 단순히 다른 손가락이 조작대상 손가락(P)으로서 이용되는 것은 바람직하지 않다. 또한, 제10 실시 예 이외에서, 간이 조작용 손가락 상태로서 미리 결정된 간이 조작용의 손가락의 종별이 특정되는 상태가 정의되는 것으로 상정한다(예를 들면, 검지 및 중지 중 하나 또는 모두가 특정되는 손가락 상태). 여기에서, 해당 종별의 손가락이 특정된 후에, 손이나 손가락의 위치가 이동했다고 해서 단순히 다른 손가락이 간이 조작용의 종별의 손가락으로서 특정되어버리는 것은 바람직하지 않다. 이러한 이유로, 상기 조작대상 손가락(P) 등의 손가락이 지정 또는 특정된 후, 지정 또는 특정된 손가락의 이동을 추적하는 처리가 추가된다. 상기 추적 결과에 근거하여 동일한 손가락이 지속적으로 지정 또는 특정되고, 이에 따라 상기의 문제를 해결할 수 있다.
도 54 및 도 55는 도 25의 T1에서 특정된 모든 손가락을 추적하기 위한 처리, 또한 T2에서 특정된 모든 손가락끝을 추적하기 위한 처리 또는 도 9의 S2(및 S2에 대당하는 처리)에서 특정된 모든 손가락(또한 손가락끝)을 추적하기 위한 처리를 나타낸다. 여기에서, 화상 촬영부 또는 화상 촬영 수단으로서 제공되는 카메라(12b)에 의해 촬영된 이동 화상에 근거하여, 상기 원격 조작부로서 제공되는 조작 패널(12a(12a'))을 조작하기 위하여 상기 조작 패널(12a(12a'))의 전방에서 대향하는 손(손가락)을 특정하기 위한 구성이 제공된다. 이 경우에서, 상기 조작 패널(12a(12a'))의 전방에 대향하는 손(손가락)의 손가락 특정 가능 영역(손가락끝 특정 가능 영역)은 고정되게 배치되는 카메라(12b)의 화상 촬영 영역이다. 상기 카메라(12b)는 상기 영역에서 이동 화상을 촬영하고, 상기 제어 회로(18)는 소정 시간 간격마다 순차적으로 촬영된 이동 화상 프레임을 취득한다.
도 54 및 도 55의 손가락 추적 처리(손가락 추적 단계)에서, 순차적으로 취득된 이동 화상 프레임으로부터 특정된 각 손가락끝의 프레임 내의 위치가 산출된다. 상기 산출된 위치 정보는 제어 회로(18)의 ROM과 같은 기억부(18d)의 소정 추적 정보 기억부에 추적 정보로서 기억되고 축적된다. 이에 따라 순차적으로 취득된 이동 화상 프레임으로부터 특정된 각 손가락끝을 식별하면서 각 이동을 추적한다.
상기 추적 정보는 도 56의 부호 500으로 나타낸 포맷(format)으로 기억된다. 도 56에 나타낸 추적 정보에서, 손가락끝 ID(식별 정보)는 취득된 이동 화상 프레임에서 특정된 각 손가락끝에 대해 지정된다. 상기 손가락끝 ID에 대응하여, 각 손가락끝의 이전 이동 화상 프레임(이하, 전(前) 프레임이라 칭함)과 상기 이전 전의 이동 화상 프레임(이하, 전전 프레임이라 칭함)에서의 위치들을 나타내는 위치 정보가 기억될 수 있다. 상기 위치 정보는 이동 화상 프레임에서 정의되는 소정의 2차원 좌표계에서의 각 손가락끝의 위치 좌표이다. 도 56에서의 상부 도면은 전 프레임에서 특정된 손가락끝의 위치 좌표(Pi)(-1), 전전 프레임에서 특정된 손가락끝의 위치 좌표(Pi)(-2) 및 도 56의 추적 정보로서 모두 기억된 현재 프레임에서 특정된 손가락끝(Rj)(0)을 표시하면서 2차원 좌표계가 정의되는 이동 화상 프레임(손가락 특정 가능 영역으로서도 칭함)을 나타내고 있다. 도 56에 나타낸 바와 같이, 새로운 이동 화상 프레임이 취득됨에 따라 각 손가락끝의 위치 좌표는 순차적으로 기억되고 갱신된다. 상기 기억된 위치 좌표는 전 프레임과 전전 프레임의 위치 좌표이고, 상기 전전 프레임 이전의 프레임들의 위치 좌표는 순차적으로 소거된다.
또한, 상기 추적 정보(500)는 가장 최근의 이동 화상 프레임(이하 현재 프레임이라 칭함)으로부터 특정된 각 손가락끝의 프레임에서의 위치를 나타내는 위치 정보를 포함한다. 이러한 위치 정보는 추적 정보 기억부에서 손가락끝 ID마다 기억된다. 또한, 상기 추적 정보는 현재 위치에서 각 손가락끝이 위치될 것으로 예상되는 예측 위치(다음 위치)를 포함한다. 상기 예측 위치를 나타내는 예측위치 정보는 추적 정보 기억부에 기억된다. 또한, 현재 프레임에서의 손가락끝의 위치 정보와 현재 프레임에서 예측되는 손가락끝의 예측위치 정보 간의 대응 관계가 특정된다. 상기 대응 관계의 결과로부터, 손가락끝 ID마다에 대하여 현재 프레임을 취득한 때의 대응하는 손가락끝의 추적 상황이 상기 추적 정보로서 추적 정보 기억부에 특정되고 또한 기억된다. 상기 추적 상황은 손가락끝의 추적이 전 프레임으로부터 현재 프레임까지 지속하는 현재 상태(추적 중), 전 프레임까지 추적된 손가락끝이 현재 프레임에서 사라지는(소멸) 추적 불가 상태, 및 전 프레임에서 추적되지 않은 손가락끝이 새로이 출현하는 신규 출현 상태(신규 출현)의 적어도 3개의 상태를 포함한다.
상기 손가락끝의 예측 위치의 산출 방법은 다음의 방법과 같이 예시된다. 즉, 상기 방법에서, 상기 예측 위치는 과거 복수회의 이동 화상 프레임에서 각 손가락끝의 위치를 나타내는 위치 정보에 근거하여 산출된다. 여기에서, 전 프레임과 전전 프레임에서의 각 손가락끝의 위치 정보는 각 손가락의 추적 정보로서 포함된다. 이러한 위치 정보에 근거하여, 각 손가락끝의 이동이 예측된다. 다음 프레임에서의 각 손가락끝의 예측 이동 목적지는 상기 예측 위치로서 산출된다(도 57 참조). 도 58의 (a)는 특정 예시를 나타내고 있다. 각 이동 화상 프레임에서 공통으로 정의되는 이동 화상 프레임(400)의 2차원 좌표계에서, 전전 프레임에서 특정된 손가락의 위치 좌표(Pi)(-2)로부터 전 프레임에서 특정된 위치 좌표(Pi)(-1)까지 이동할 때의 위치 좌표(Pi)(-1)에서의 손가락의 속도 벡터(Vi)(-1)는 이동 방향 및 이동의 이동 거리에 근거하여 산출된다. 상기 위치 좌표(Pi)(-1)에 위치되는 손가락은 다음 프레임에서 속도 벡터(Vi)(-1)만큼 이동하는 것으로 예측된다. 예측된 이동 목적지의 위치 좌표(Qi)(-0)가 산출된다(Qi(-0)=Pi(-1)+Vi(-1)). 상기 산출된 위치 좌표(Qi(-0))는 예측 위치 정보이고, 하나의 추적 정보로서 제어 회로(18)의 기억부(18d)의 소정의 추적정보 기억부에 기억된다.
한편, 전 프레임에서 새로이 출현되는 손가락끝에 대하여, 다음 프레임에서의 출현은 전 프레임 및 전전 프레임 모두를 이용하는 상기 예측 방법에 의해 예측될 수 없다. 이 경우, 전 프레임에서 특정된 손가락끝의 위치 정보에 근거하여 상기 전전 프레임에서의 손가락끝의 위치는 임시 위치로서 정의된다. 상기 임시 위치를 나타내는 위치 정보 및 전 프레임에서의 위치 정보에 근거하여, 다음 프레임에서의 손가락끝의 출현 위치가 특정된다. 상기 임시 위치의 결정 방법은 다음과 같다. 즉, 도 59에 나타낸 바와 같이, 이동 화상 프레임에서의 영역(손가락끝 특정 가능 영역)(400)은 각 가장자리(여기에서는 상하좌우 가장자리)에 대응하게 분할된다(점선은 분할선을 나타냄). 각 가장자리(401)(401a 내지 401d)에 대응하는 가장자리 대응 영역(410)이 설정된다. 또한, 먼저 전 프레임에서 특정된 손가락끝 위치(Pi(-1))가 존재하는 상기 가장자리 대응 영역(410)(401A 내지 401D)이 특정된다. Pi(-1)이 존재하는 상기 가장자리 대응 영역(410)이 특정될 때, 상기 Pi(-1)에 가장 가까운 가장자리 대응 영역(410)의 가장자리(401)에서의 위치가 전전 프레임의 임시 위치로서 결정된다. 즉, 상기 임시 위치(Pi'(-2))는 수직선과 상기 가장자리(401)의 교차점으로서 정의된다. 상기 수직선은 전 프레임에서 특정된 손가락끝 위치(Pi(-1))를 통과하고, 상기 손가락끝 위치(Pi(-1))가 존재하는 가장자리 대응 영역(410)의 가장자리(401)를 향한다.
상기 손가락끝의 예측 위치의 산출 방법은 전 프레임 및 전전 프레임에서의 각 손가락끝의 위치 정보에 근거하여 산출하는 것이다. 또한, 높은 정확성을 산출하기 위하여, 도 58의 (b)에 나타낸 바와 같은 산출이 행해진다. 즉, 각 이동 화상 프레임에서 공통으로 정의된 이동 화상 프레임(400)에서의 2차원 좌표계에서, 속도 벡터(Vi(-1))와 가속 벡터(Ai(-1)) 각각은 현재 프레임으로부터 1회 전의 프레임에서 특정된 위치 좌표(Pi(-1))에서의 손가락에 대하여 산출된다. 다음 프레임에서, 상기 위치 좌표(Pi(-1))에 위치된 손가락은 속도 벡터(Vi(-1))와 가속 벡터(Ai(-1))에 대응하여 이동하는 것으로 예측된다. 상기 예측된 이동 목적지의 위치 좌표(Qi(-0))가 산출된다(Qi(-0)=Pi(-1)+Vi(0)=Pi(-1)+Vi(-1)+Ai(-1)). 현재 프레임으로부터 3회 이전의 프레임에서 특정된 위치 좌표(Pi(-3))로부터 현재 프레임으로부터 2회 이전의 프레임에서 특정된 손가락의 위치 좌표(Pi(-2))까지 이동할 때의 이동 방향 및 이동 거리에 근거하여, 상기 위치 좌표(Pi(-2))에서의 손가락의 속도 벡터(Vi(-2))가 산출된다. 상기 벡터(Vi(-2))만큼 상기 이동 화상 프레임(400)에서의 위치 좌표(Pi(-2))로부터, 현재 프레임으로부터 1회 이전의 프레임에서 특정된 위치 좌표(Pi(-1))까지 그 손가락이 이동하는 이동 목적지인 위치 좌표로부터 이동할 때의 이동 방향 및 이동 거리에 근거하여, 상기 가속 벡터(Ai(-1))가 산출된다(Ai(-1)=Vi(-1)-Vi(-2)=Pi(-1)-Pi(-2)-Vi(-2)). 또한, 현재 프레임으로부터 2회 이전의 프레임에서 특정된 위치 좌표(Pi(-2))로부터, 현재 프레임으로부터 1회 이전의 프레임에서 특정된 위치 좌표(Pi(-1))까지 이동할 때의 이동 방향 및 이동 거리에 근거하여 상기 속도 벡터(Vi(-1))가 산출된다.
상기 손가락끝의 추적 상황의 특정 방법은 다음의 특정 방법으로서 예시된다. 즉, 현재 프레임에서 특정된 손가락끝의 위치 정보와 손가락끝의 해당 손가락끝의 현재 프레임에서의 예측 위치 정보 간의 비교가 이루어지고, 상기 특정은 이들 위치 관계가 소정의 기준 조건을 만족하는지 여부에 근거해서 이루어진다. 예를 들면, 도 56은 각 예측 위치 정보가 현재 프레임에 대하여 산출하는 손가락끝의 위치 좌표(Q1(-0), Q2(-0) 및 Q3(-0)) 및 상기 현재 프레임에서 실제로 특정된 전체 손가락끝의 위치 좌표(Ra(0), Rb(0), Rc(0), ...)를 나타낸다. 이들 위치 좌표 가운데, 상기 이동 화상 프레임에 가장 가까운 위치를 갖는 한 쌍의 위치 좌표가 기준 조건을 만족하는 페어(pair)로서 인식된다. 여기에서, 상기 페어의 두 위치 간의 거리가 미리 결정된 기준 거리보다 작지 않도록 일정 이상 서로 떨어진 위치 관계인 경우, 해당 페어는 상기 대응하는 페어로서 인식되지 않는다. 상기 대응하는 페어에 대하여, 상기 현재 프레임에서 실제로 특정되는 손가락끝과, 상기 예측 위치 정보를 산출하기 위한 기준으로서 이용되는 전 프레임에서의 위치 정보에 대응하는 손가락끝이 동일한 손가락끝인 것으로 판정된다. 전 프레임으로부터 현재 프레임까지 손가락끝의 추적이 계속되는 상기 추적 지속 상태(추적중)가 특정된다. 상기 현재 프레임에서 실제로 특정되는 손가락끝 중에서, 대응하는 페어 파트너(pairing partner)가 발견되지 않는 손가락끝은 신규 출연 상태(신규 출현)에 있는 것으로서 특정된다. 상기 현재 프레임에 대하여 산출된 상기 예측 위치 정보에 대응하는 손가락끝(전 프레임에서 추적중으로서 특정된 손가락끝) 중에서, 대응하는 페어 파트너가 발견되지 않은 손가락끝은 추적 불가 상태(소멸)에 있는 것으로서 특정된다. 각 특정된 손가락끝의 추적 상황은 제어 회로(18)의 기억부(18d)의 소정의 추적 정보 기억부에 각 손가락끝의 ID와 대응하여 기억된다.
상기 추적 상황이 추적 불가 상태(소멸)에 잇는 것으로 특정되는 경우, 이 추적 불가 상태 및 이 추적 불가 상태가 특정되는 프레임 바로 전의 프레임에서의 손가락끝의 위치 정보와 함께, 상기 추적 정보 기억부(추적 복귀 판단 정보 기억부)에 추적 복귀 판단 정보로서 추적불가 인식 순서가 기억된다. 상기 추적불가 인식 순서는 추적불가 특정 시기에 대하여 추적불가 상태 하에서 다른 손가락과의 전후 관계를 특정할 수 있다. 이러한 추적 복귀 판단 정보는 추적 정보의 하나로서 취급될 수 있음을 알 수 있다.
도 54 및 도 55에 나타낸 손가락 추적 처리의 흐름(손가락 추적 단계)을 설명한다. 이 손가락 추적 처리는 제어 회로(18)가 카메라(12b)로부터 이동 화상 프레임을 취득할 때마다 실행되는 처리이다. 이에 따라 상기 제어 회로(18)는 손가락 추적부 또는 손가락 추적 수단으로서 기능을 한다.
먼저, R201(도 54)에서, 카메라(12b)에 의해 촬영된 이동 화상을 이용하여 제어 회로(18)가 취득하는 신규 이동 화상 프레임(현재 프레임)에서 손가락끝이 특정되는지 여부를 판정한다. 손가락끝이 특정되는 경우, 상기 처리는 R202로 진행되고, 손가락끝이 특정되지 않은 경우, 상기 처리는 R215로 진행된다. 여기에서, 손가락끝의 특정 방법은 도 25의 T1 및 T2와 유사하다.
R202에서, 상기 제어 회로(18)는 현재 프레임에서 특정된 각 손가락끝과 전 프레임에서 특정된 각 손가락끝 간의 대응 관계를 특정한다. 여기에서, 현재 프레임에서 손가락끝의 위치 정보와 현재 프레임에 대하여 예측되는 손가락끝의 예측 위치 정보 간의 대응 관계가 특정된다. 상기 대응 관계의 결과로부터, 현재 프레임을 취득할 때의 각 손가락끝의 추적 상태의 상황이 손가락 ID마다에 대하여 특정된다. 이러한 상태는 추적 지속 상태(추적중), 추적 불가 상태(소멸), 신규 출현 상태(신규 출현) 및 미특정(미출현) 가운데서 특정된다. 상기 특정된 추적 상황은 제어 회로(18)의 기억부(18d)의 소정의 추적 정보 기억부에 대응하는 손가락 ID마다에 대하여 도 56의 부호 500을 이용하여 나타낸 포맷으로 기억된다. 여기에서, 전 프레임에서 특정된 손가락끝이 상기 기준 조건을 만족하면서 현재 프레임에서 특정된 손가락끝이 있을 경우, 상기 추적 지속 상태(추적중)가 인식된다. 상기 전 프레임에서 특정된 어떠한 손가락끝과 상기 기준 조건이 만족하지 않으면서 현재 프레임에서 특정된 손가락끝이 있을 경우, 상기 신규 출현 상태(신규 출현)가 인식된다. 현재 프레임에서 특정된 어떤 손가락끝과 상기 기준 조건을 만족하지 않으면서 전 프레임에서 특정된 손가락끝이 있을 경우, 상기 추적 불가 상태(소멸)가 인식된다.
R203에서, 전 프레임에서 특정된 손가락끝과 현재 프레임에서 특정된 손가락끝 사이에서 동일한 손가락이 있는지 여부를 판정한다. 즉, 현재 프레임에서 추적 지속 상태(추적중)에서의 손가락끝이 있는지 여부를 판정한다. 상기 추적 지속 상태(추적중)에서의 손가락끝이 존재하는 경우, 상기 처리는 R2O4로 진행된다. 상기 추적 지속 상태(추적중)에서의 손가락끝이 존재하지 않은 경우, 상기 처리는 도 55의 R205로 진행된다.
R204에서, 상기 추적 지속 상태(추적중)에서의 손가락끝의 손가락끝 ID에 대응하는 추적 정보에 대하여 갱신이 이루어진다. 상기 추적 지속 상태(추적중)에서의 손가락끝은 전 프레임을 취득할 때에 추적 정보가 갱신되는 것에 대한 손가락끝이다. 상기 손가락의 손가락끝 ID에 대응하는 현재 프레임에서의 위치 정보는 그 손가락끝의 현재 프레임에서의 위치를 나타내는 위치 정보에 의하여 갱신된다. 또한, 이제까지 기억되어 있는 상기 현재 프레임에서의 위치 정보는 갱신되기 전에 전 프레임의 위치 정보로서 기억된다. 또한, 이제까지 기억되어 있는 전 프레임의 위치 정보는 갱신되기 전에 전전 프레임의 위치 정보로서 기억된다.
R205에서, 전 프레임에서 특정된 손가락끝 중에서 현재 프레임에 손가락끝이 있는지 여부를 판정한다. 즉, 도 60에 나타낸 P1(0)과 같이 현재 프레임에서 추적 불가로 되는 손가락끝이 있는지 여부를 판정한다. 상기 추적 불가 상태(추적중)에서의 손가락끝이 존재할 경우, 상기 처리는 R206으로 진행된다. 상기 추적 지속 상태(추적중)에서의 손가락끝이 존재하지 않을 경우, 상기 처리는 R207로 진행된다.
R206에서, 상기 추적 불가 상태(소멸)에서의 손가락끝의 손가락끝 ID에 대응하여 상기 추적 복귀 판단 정보가 기억되며, 상기 추적 복귀 판단 정보는 추적 불가 상태에 있는 것으로 인식될 때의 관련 손가락의 정보이다. 추적중이 아닌 신규 손가락끝이 나중에 취득된 이동 화상 프레임에 출현되는 경우, 이 추적 복귀 판단 정보는 그 신규 손가락이 상기 추적 불가 상태에 있는 것으로서 인식되는 손가락인지 여부를 판정하도록 이용된다. 이에 따라 한번 프레임으로부터 벗어난 손가락끝이 다시 프레임으로 진입할 때, 벗어난 손가락과 진입한 손가락 모두는 동일한 손가락으로서 인식될 수 있다. 이는 그 손가락을 다시 한번 추적할 수 있다. 여기에서, 상기 추적 불가 상태로 되는 손가락끝의 손가락끝 ID는 소거되지 않고 기억된다. 상기 손가락끝 ID에 대응하여, 추적불가 인식 순서(소멸 순서)는 그 손가락끝 ID에 대응하는 전 프레임에서의 위치 정보(소멸 전의 위치)와 함께 추적 복귀 판단 정보로서 기억된다. 상기 추적불가 인식 순서는 추적불가 인식 시기에 대하여 추적 불가 하에서의 손가락과의 전후 관계를 특정할 수 있다. 도 56의 경우, 손가락끝 ID "2"에 "1"이 소멸 순서로서 주어진다. 상기 주어진 번호가 클수록 상기 추적불가 인식 시기가 새로운 것으로 판정된다.
R207에서, 상기 현재 프레임에서 특정된 손가락끝 가운데서, 전 프레임에서 특정되지 않은 손가락끝이 있는지 여부가 판정된다. 즉, 상기 현재 프레임에서 신규 출현하는 손가락끝이 있는지 여부를 판정한다. 신규 출현 상태(신규 출현)에서의 손가락끝이 존재하는 경우, 상기 처리는 R208로 진행된다. 추적 지속 상태에서의 손가락끝이 존재하지 않는 경우, 상기 처리는 R209로 진행된다.
R207에서 상기 신규 출현 상태(신규 출현)에서의 손가락끝이 존재하는 것으로 판정된 이후, R208에서 상기 추적 불가 상태(소멸)를 지속하고 있는 손가락끝이 있는지 여부를 판정한다. 이러한 판정은 도 56에 나타낸 추적 정보에 기억된 추적 복귀 판단 정보를 갖는 손가락끝 ID가 있는지 여부에 근거하여 실행된다. 상기 추적 불가 상태(소멸)를 지속하고 있는 손가락끝이 존재하지 않는 것으로 판정되는 경우, 상기 처리는 S213으로 진행된다. R207에서 특정된 신규 출현 상태에서의 손가락끝에는 어떠한 손가락끝에도 주어지지 않은 새로운 손가락끝 ID가 주어진다. 상기 손가락끝 ID에 대응하여 현재 프레임에서 특정된 새로운 출현 상태에서의 손가락끝의 위치를 나타내는 위치 정보가 기억된다. 또한, 상기 손가락끝 ID에 대응하는 추적 상황은 추적 불가 상태로부터 추적 지속 상태(추적 재개시)로 변경된다. 이제까지 지속적으로 기억된 상기 추적 복귀 판단 정보는 소거된다. R213은 종료된 다음 본 처리는 종료된다. 한편, 상기 추적 불가 상태(소멸)를 지속하는 손가락끝이 존재하는 것으로 R208에서 판정하는 경우, 상기 처리는 R209로 진행된다.
R209에서, 신규 출현의 손가락끝 가운데서 추적 불가 상태(소멸)에서 지속하는 손가락끝과 동일한 손가락끝이 있는지 여부를 판정한다. 구체적으로, R207에서 실제로 특정된 신규 출현의 손가락끝의 현재 프레임에서의 위치 정보와 상기 추적 정보(500)에 포함된 추적 불가 상태에서의 손가락끝의 최후의 위치를 나타내는 위치 정보(추적 복귀 판단 정보)에 근거하여, 상기 추적 불가 상태에 있는 손가락끝 가운데서, 미리 정해진 범위 내에서 실제로 특정된 신규 출현의 손가락끝의 위치에 가장 가까운 손가락끝이 있는지 여부를 판정한다. 여기에서, 현재 프레임에서 실제로 특정된 각 손가락끝의 손가락끝 위치와 상기 추적 불가 상태에 있는 각 손가락끝의 손가락끝 위치 간의 거리가 산출된다. 상기 산출된 거리 중에서, 가장 작으면서 미리 정해진 기준 거리보다 작은 거리가 특정된다. 상기 특정된 거리에 대응하는 현재 프레임에서 실제로 특정된 각 손가락끝과 상기 특정된 거리에 대응하는 추적 불가 상태에서의 각 손가락끝이 동일한 손가락끝인 것으로 판정된다. 상기 미리 정해진 범위 내에서 상기 추적 불가 상태에 있는 2개 이상의 손가락끝이 있을 경우, 상기 추적 불가 상태에서 가장 최근으로 되는 손가락끝이 상기 추적 불가 인식 순서(추적 복귀 판단 정보)에 근거하여 신규 출현의 손가락끝과 동일한 것으로 특정되는 것임을 알 수 있다.
이어서 R210에서, R209의 결과에 근거하여 현재 프레임에서 신규 출현하는 것으로서 특정된 손가락끝 가운데서, 상기 추적 불가 상태(소멸)를 지속하는 손가락끝과 동일한 손가락끝이 있는지 여부를 판정한다. 존재할 경우, 상기 처리는 R211로 진행된다. 존재하지 않을 경우, 상기 처리는 R213으로 진행된다.
R211에서, R209의 결과에 근거하여 현재 프레임에서 신규 출현되는 것으로서 특정된 손가락끝 가운데서, 상기 추적 불가 상태(소멸)를 지속하는 손가락끝과 동일한 것으로 판정된 2개 이상의 손가락끝이 있는지 여부를 판정한다. 2개 이상 대신에 1개가 있는 것으로 판정될 경우, 상기 처리는 R212로 진행된다. R212에서, 1개의 손가락끝의 추적 불가 상태(소멸)에서의 손가락끝 ID와 대응하여, 상기 현재 프레임에서 특정되고 상기 손가락끝과 동일한 것으로 판정된 신규 출현의 손가락끝의 위치 정보가 기억되고, 상기 손가락끝 ID의 추적 정보는 갱신된다. 이에 따라 상기 추적 불가 상태에서의 손가락끝의 위치 추적은 재개시된다. 또한, 여기에서, 상기 손가락끝 ID에 대응하는 추적 상태가 상기 추적 불가 상태로부터 추적 지속 상태(추적 재개시)로 변화되고, 이제까지 지속적으로 기억된 상기 추적 복귀 판단 정보는 소거된다. R212가 종료된 다음 본 처리는 종료된다.
한편, R211에서 R209의 결과에 근거하여 현재 프레임에서 신규 출현하는 것으로서 특정된 손가락끝 가운데서, 상기 추적 불가 상태(소멸)를 지속하는 손가락끝과 동일한 것으로 판정된 2개 이상의 손가락끝이 있는 것으로 판정되는 경우, 상기 처리는 R214로 진행된다. R214에서, 상기 추적 불가 인식 순서(추적 복귀 판단 정보)에 근거하여 2개 이상의 손가락끝 가운데서 상기 추적 불가 상태에서 가장 최근으로 되는 손가락끝이 특정된다. 상기 특정된 손가락끝의 손가락끝 ID에 대응하여, 현재 프레임에서 특정되고 상기 손가락끝과 동일한 것으로 판정되는 신규 출현의 손가락끝에서의 위치 정보가 기억되고, 상기 손가락끝 ID의 추적 정보는 갱신된다. 이에 따라, 상기 추적 불가 상태에서의 손가락끝의 위치 추적은 재개시된다. 또한, 여기에서, 상기 손가락끝 ID에 대응하는 추적 상태는 추적 불가 상태로부터 추적 지속 상태(추적 재개시)로 변경된다. 이제까지 지속적으로 기억된 상기 추적 복귀 판단 정보는 소거된다. R214가 종료된 다음 본 처리는 종료된다.
R201에서 취득된 신규 이동 화상 프레임에서 손가락끝이 특정되지 않은 경우, 도 56에 나타낸 추적 정보(500)는 리셋(reset)되는 것임을 알 수 있다. 각 ID에 대응하는 정보는 소거된다.
그러므로, 카메라(12b)에 의해 촬영된 이동 화상으로부터 특정된 모든 손가락끝에 대하여, 프레임으로부터의 소멸도 고려하여 추적이 지속적으로 실행된다. 상기 조작대상 손가락(P)은 동일 손가락에 대하여 고정적으로 지정될 수 있다. 구체적으로, 상기 조작대상 손가락(P)은 조작대상 손가락(P)을 특정하는 처리에 의해 지정되고, 상기 조작대상 손가락(P)을 나타내는 조작대상 손가락 정보는 도 56에 나타낸 바와 같은 손가락끝 ID에 대응하여 기억된다. 따라서 이를 참조함으로써, 상기 조작대상 손가락(P)은 매 타이밍에서 특정될 수 있다. 즉, 도 54 및 도 55에 나타낸 손가락 추적 처리를 부가함으로써, 미리 정해진 주기로 반복적으로 실행되는 도 25의 처리에서, T3에서의 조작대상 손가락(P)의 특정 처리는 별개로 실행된다. T3에서, 상기 손가락끝 ID와 대응하게 기억된 조작대상 정보에 근거하여 조작대상 손가락(P)이 특정되는 것만이 필요로 된다.
또한, 도 39의 제10 실시 예의 제4 변형 예 및 도 40의 제10 실시 예의 제5 변형 예와 같이, 사용자에 의해 이루어진 조작대상 손가락 지정 조작의 조작 내용에 근거하여 상기 조작대상 손가락(P)이 지정되는 예시에 이러한 손가락끝 추적 처리의 적용은 적합하다. 도 39의 제10 실시 예의 제4 변형 예 및 도 40의 제10 실시 예의 제5 변형 예에서, 상기 터치 패널(12a)에 대한 터치 조작은 조작대상 손가락 지정 조작이다. 상기 조작대상 손가락(P)은 상기 터치 조작의 조작 내용에 근거하여 지정된다. 즉 상기 조작대상 손가락 지정 조작이 사용자에 의해서 이루어지지 않는 한, 상기 조작대상 손가락(P)이 변경되지 않는 실시 예에서, 이동 화상 프레임을 취득하는 각 시간에서 상기 조작대상 손가락(P)을 특정하는 산출을 할 필요가 없게 된다. 각 손가락에서의 추적 정보로부터 지정될 수 있는 손가락을 픽업하는 것만으로, 상기 조작대상 손가락(P)은 용이하게 특정될 수 있다.
또한, 제10 실시 예에서 조작대상 손가락(P)은 앞서 언급한 간이 조작 손가락 상태에서 특정되는 손가락과 동일하게 되도록 구성될 수 있다.
1.11 다른 실시 예들
이하 다른 실시 예를 설명한다.
또한, 상기한 실시 예들에서, 상기 위치 지시 화상(200H)으로서, 촬영된 손가락의 윤곽 형상이 그대로 반영된 처리 화상(실제 손가락 화상)(200H)이 표시된다. 한편, 촬영된 손가락의 손가락끝(Q)(즉, 촬영된 손가락의 지시 위치)을 지시하는 손가락끝 위치 화상(포인터 등, 도 67 참조)(200H2)과 같이, 상기 손가락 형상과 전혀 다른 화상이 표시될 수 있다. 강조 표시를 실행하는 경우에서, 상기 손가락끝(Q)을 포함하는 손가락끝 영역(예를 들면, 손가락의 제1 관절까지의 영역 또는 손가락끝 위치(Q)를 중심으로 하는 소정 반경 내의 영역 등)만이 강조될 수 있다. 이 경우에서, 촬영된 손가락의 손가락끝(Q)이 표시화면상의 어느 위치에 대향하는지를 특정한다. 또한, 위치 지시 화상(2OOH)으로서, 촬영된 손가락의 길이 방향(F) 및 촬영된 손가락의 손가락끝(Q)을 나타내는 의사(false) 손가락 화상(막대형 화상; 도 66 참조)이 표시된다.
또한, 제10 실시 예에서의 조작대상 손가락(P)은 앞서 언급한 간이 조작 손가락 상태로서 특정되는 손가락과 동일하게 되도록 구성될 수 있다.
또한, 상기 실시 예들에서, 본 실시 형태의 원격 조작부로서 터치 패널이 제공된다. 또한, 조작부는 푸쉬 스위치 또는 시소 스위치와 같은 가압 조작에 응답하는 스위치로 제공될 수 있다. 또한, 상기 실시 예들에서, 조작 패널(12a)로서 저항 필름방식 터치 패널이 이용되지만, 다른 방식의 터치 패널이 이용될 수 있다.
또한, 상기 조작 패널(12a)은 카메라와 같은 촬영 화상부 또는 촬영 화상 수단에 의해 촬영된 촬영 화상으로의 화상 처리를 이용하여 터치 조작의 위치 검출을 실행하는 것을 상기 터치 패널 대신에 채용할 수 있다. 구체적으로, 다음의 구성이 제공될 수 있다. 즉, 상기 조작 패널(12a)은 반투명 특성을 가지며 터치 조작 영역용으로 이용되는 면(12a1)을 갖는 패널로서 제공된다. 광원(12c)은 조작 패널(12a)을 통해 터치 조작 영역(12a1) 측으로부터 조작 패널(12a)에 접근하는 접근 대상물에 대하여 소정의 파장을 갖는 광을 조사하도록 제공된다. 또한, 손 화상 촬영부 또는 손 화상 촬영 수단으로서 제공되는 카메라(12b)는, 상기 광원(12c)에 의해 조사되는 광이 접근 대상물에 의해 반사되도록 생성된 반사광을 적어도 포착함으로써 상기 조작 패널(12a1)의 후면(12a2) 측으로부터 접근 대상물의 화상을 촬영하는 화상 촬영부 또는 화상 촬영 수단으로 제공된다. 또한, 상기 제어 회로(18)는 카메라(12b)에 의해 촬영된 화상에서 미리 정해진 역치 강도를 초과하는 강도를 갖는 광을 반사하는 광 반사 영역을 특정한다. 또한, 상기 제어 회로(18)는 이 특정된 광 반사 영역(좌표 정보)에 근거하여 광 반상 영역에 터치 입력을 수락하기 위한 입력 수락부 또는 입력 수락 수단으로서 기능을 한다.
이러한 구성에서, 상기 미리 정해진 역치 강도를 초과하는 광 반사 영역이 카메라(12b)의 촬영 화상에서 특정될 때, 터치 조작 입력이 상기 특정 영역에 대해 행해지고 입력이 수락되는 것으로 판정된다. 즉, 상기 카메라(12b)의 촬영 화상은 전술한 예시 들과 유사하게 위치 지시 화상의 표시를 위하여 이용될 뿐만 아니라, 상기 광 반사 영역을 특정하기 위하여 이용될 수 있다. 또한, 이 경우, 상기 특정된 광 반사 영역의 면적이 미리 정해진 역치 면적보다 큰 경우, 상기 광 반사 영역에 대한 터치 조작 입력이 수락될 수 있다. 상기 조작 정보 입력부(12)가 소위 중앙 콘솔의 평면부에 배치되더라도(예를 들면, 도 2 참조), 이에 한정될 필요는 없다. 예를 들면, 상기 조작 정보 입력부(12)는 다음의 위치에 배치될 수 있다. 예를 들면, 상기 조작 정보 입력부(12)는 스티어링 휠 측에 가까운 위치(스티어링 휠의 우측 또는 좌측)에서 계기를 포함하는 계기 패널 내에 배치될 수 있다. 상기 스티어링 휠의 조작을 방해하지 않는 위치에서 상기 스티어링 휠 주위에 보조 패널이 배치되고, 상기 조작 정보 입력부(12)는 보조 패널에 배치될 수 있다. 상기 조작 정보 입력부(12)는 스티어링 휠 측에 가깝기 때문에, 이러한 구성은 스티어링 휠로부터 손을 이격시켜서 조작할 때의 부하(load)를 경감시킬 수 있다.
또한, 표시 장치(15)를 상기 계기 패널의 중앙부에 설치할 필요는 없다. 예를 들면, 상기 스티어링 휠에 의해 시계(視界)가 방해되지 않는 영역에서 상기 계기 패널 내에 배치될 수 있다. 또한, 차량의 앞유리에 화상을 투영하는 헤드-업 디스플레이(head-up display)가 상기 표시 장치(15)로서 제공될 수 있다.
상기한 각 요소를 조합하여 실행하는 것도 물론 가능하다.
상기에서 설명한 처리, 단계 또는 수단 각각 또는 어떠한 조합도 관련 장치의 기능을 포함하거나 포함하지 않는 소프트웨어 부분(예를 들면, 서브루틴) 및/또는 하드웨어 부분으로서 달성될 수 있으며, 또한 상기 하드웨어 부분은 마이크로컴퓨터 내부에 구성될 수 있다. 또한, 상기 소프트웨어 부분 또는 복수의 소프트웨어 부분의 어떠한 조합은 컴퓨터 독취 가능한 기억 매체에 포함될 수 있는 소프트 프로그램에 포함될 수 있으며, 통신 네트워크를 통해 컴퓨터에서 다운로드 되고 설치될 수 있다.
2. 제2 실시 형태
2.1 제1 실시 예
이하 본 발명의 제2 실시 형태에 따른 조작 입력 장치의 제1 실시 예를 도면을 참조하여 설명한다. 제2 실시 형태의 설명은 주로 제1 실시 예와 다른 부분을 중심으로 설명하며, 제1 실시 예와 동일한 부분은 생략한다.
(구성)
제2 실시 형태의 조작 입력 장치를 이용하는 차량용 네비게이션 장치의 구성은 대부분 제1 실시 형태의 도 1과 도 3, 및 도 69에 나타나 있다. 즉, 도 69는 도 2에 나타낸 카메라(20)를 포함하지 않는다. 다른 구성요소들은 거의 동일하다.
도 4 내지 도 7은 조작 패널(12a)에 대향하는 손(손가락)(H)의 촬영을 설명하기 위한 도면들이다. 도 4의 (c)에 나타낸 표시 화면은 제1 실시 형태에서 실행되지 않지만, 도 4의 (c)에 나타낸 표시 화면은 제2 실시 형태에서 실행될 수 있다.
(위치지시 화상의 표시 처리)
표시 장치(15)에서 위치 지시 화상의 표시 처리는 제1 실시 형태의 표시 처리와 거의 동일하다. 소정 손가락 상태 또는 소정 손가락 형상에 대해서 그 차이가 존재한다. 예를 들면, S2에서 취득된 손의 화상에 근거하여 손의 상태가 소정의 손가락 상태인지 아닌지 여부를 특정한다. 이 경우, 제1 실시 형태에서, 상기 소정의 손가락 상태는 도 75의 예시 2에 포함된 간이 조작용 손가락 상태를 채용한다. 한편, 제2 실시 형태에서, 상기 소정의 손가락 상태는 도 75의 예시 1의 조작의사 표현용 손가락 상태를 채용한다. 따라서, 도 9의 S2, 도 11의 S24 및 S25, 도 12의 S34 및 S35, 도 13의 S46 및 S47, 도 14의 S112, 도 17의 S12 및 S13, 도 21의 S64 및 S65에서, 각 소정의 손가락 형상은 조작의사 표현용 손가락 상태를 의미한다. 또한, 유사하게 도 18 및 도 19에서, 각 소정의 손가락 형상은 조작의사 표현용 손가락 상태를 의미한다.
또한, 상기 조작의사 표현용 손가락 상태는 본 실시 예에서 간이 조작용 손가락 상태이다. 예를 들면, 조작대상으로서 제공되는 손가락의 개수, 즉 터치 조작 영역(12a1)와 대략 평행하게 연장하는 손가락의 개수는 적은 개수, 즉 1개 또는 2개 이하의 개수이다. 또한, 입력을 빨리 하기 위하여 5개의 손가락을 이용하는 조작은 난이도가 높은 손가락 상태이고, 그러므로 5개의 손가락을 이용하는 이러한 손가락 상태는 전술한 간이 조작용 손가락 상태와 다르다. 본 실시 예에서, 상기 터치 조작 패널(12a)의 면 방향(면의 확장 방향)으로 연장되게 출현하는 손가락의 개수가 취득된 화상에서 1개의 손가락 조작 상태만이 조작의사 표현용 손가락 상태로서 특정된다. 이 의미에서 상기 소정의 손가락 상태는 제1 실시 예의 손가락 상태와 동일한 것으로 말할 수 있다.
(터치 조작 입력 처리)
상기 조작 정보 입력부(12)의 조작 패널(원격 조작부)(12a)에 대한 터치 조작 입력 처리는 제1 실시 예의 터치 조작 입력 처리와 거의 동일하다. 상기 표시 처리에 대하여 설명한 바와 같이 유사하게 소정의 손가락 상태에 대하여 차이점이 있다. 제1 실시 형태에서, 상기 소정의 손가락 상태는 도 75의 예시 2에 포함된 간이 조작용 손가락 상태를 채용한다. 이에 반하여 제2 실시 형태에서 상기 소정의 손가락 상태는 도 75의 예시 1의 조작의사 표현용 손가락 상태를 채용한다.
제1 실시 형태에서 설명한 바와 같이, 터치 조작 입력 처리에 대하여, 상기 조작 패널(12a)에 대한 터치 조작 입력 수락은 표시 금지 모드가 설정될 때 금지된다(입력 금지 모드). 도 9의 위치 지시 화상 표시 처리에서, 상기 조작의사 표현용 손가락 상태가 특정되는 경우, 상기 표지 허용 모드가 설정되고, 상기 조작의사 표현용 손가락 상태가 특정되지 않는 경우에는 상기 표시 금지 모드가 설정되는 것임을 알 수 있다. 그 결과, 사용자의 손가락 상태가 상기 조작의사 표현용 손가락 상태에 있지 않은 경우, 상기 조작 패널(12a)에 대한 터치 조작 입력은 수락되지 않는다. 상기 실시 예에서, 1개의 손가락 상태인 간이 조작용 손가락 상태가 상기 조작의사 표현용 손가락 상태로서 간주된다.
그런데, 종래의 조작 입력 장치에서, 손이 터치 패널(12a)(원격 조작부)에 근접할 때 원격 조작을 실행하는 손이 조작 화면에 실제 표시되는 경우에서, 손가락들은 도 4에 나타낸 바와 같이만 표시된다. 그러나 어떤 사용자는 입력을 빨리 하기 위하여 하나의 손의 5개의 손가락으로 터치 조작 입력을 실행한다. 이 경우, 일렬로 정렬되는 복수의 손가락이 조작 표시 화면에 표시되고, 이에 따라 표시된 손가락과, 조작자가 실제 위치 지시에 이용하고자하는 손가락 간의 대응 관계가 더 이상 명확하지 않게 되며, 오조작을 쉽게 초래할 수 있는 문제가 제기된다. 이에 반하여, 상기 실시 예의 구성에 따르면, 손가락 형상이 조작의사 표현용 손가락 상태로서 제공되는 간이 조작용 손가락 상태가 아닌 경우, 상기 조작 패널(12a)에 대한 터치 조작 입력은 수락되지 않는다. 이는 상기 오조작의 문제를 해결할 수 있다.
상기에서 본 실시 형태의 실시 예를 설명하였지만, 이러한 실시 예는 하나의 실시 예일 뿐이다. 본 실시 형태는 상기한 실시 예에 한정될 필요는 없고, 특허청구범위를 벗어나지 않는 한 해당 기술분야의 당업자의 지식에 근거하여 다양하게 변경될 수 있다. 상기 실시 예는 제1 실시 예로서 간주되며, 이와 다른 실시 예를 아래에서 설명한다. 동일 구성은 동일 부호를 부여하며, 그에 대한 설명은 생략한다.
2.2 다른 실시 예들
제2 실시 형태에서 다른 실시 예는 제1 실시 형태에서의 제2 실시 예 및 그 다음의 실시 예들과 동일하다. 차이는 상기의 표시 처리에서 설명한 것과 유사하게 소정의 손가락 상태에 관해서 존재한다. 제1 실시 예에서, 상기 소정의 손가락 상태는 도 75의 예시 2에 포함된 간이 조작용 손가락 상태를 채용한다. 이에 반하여, 제2 실시 형태에서의 상기 소정의 손가락 상태는 도 75의 예시 1에서의 조작의사 표현용 손가락 상태를 채용한다. 따라서 상기 간이 조작용 손가락 상태를 상기 조작의사 표현용 손가락 상태로 대체함으로써, 다른 실시 예들의 설명은 가능하게 된다. 또한, 제2 실시 형태에서, 기본 구성은 도 69에 나타낸 바와 같이 카메라(20)를 포함하지 않는다. 제1 실시 형태에서와 같이 카메라(20)를 포함한다면, 상기 구성은 동일하게 된다.
또한, 오조작을 방지하는 관점에서 보면, 상기 조작의사 표현용 손가락 상태는 사용자가 대개 조작하지 않는 손 상태(손가락 상태)로서 정의되는 것이 바람직하다. 처리의 관점에서 보면, 더욱 식별하기 쉬운 손 상태(손가락 상태)로서 정의되는 것이 바람직하다.
3. 제3 실시 형태
3.1. 제1 실시 예
이하 본 발명의 제3 실시 형태에 따른 조작 입력 장치의 실시 예를 도면을 참조하여 설명한다. 제3 실시 형태의 설명은 제1 실시 형태와 다른 부분을 중점으로 설명하고, 제1 실시 형태와 동일한 부분을 생략한다. 또한, 도면들은 거의 동일하며, 그러므로 제1 실시 예에서 설명된 도면들을 참조하여 설명한다.
(구성)
제3 실시 형태의 조작 입력 장치를 이용하는 차량용 네비게이션의 구성은 제1 실시 형태의 도 1과 도 3 및 도 69에 주로 나타나 있다. 즉, 도 69는 도 2에 나타낸 카메라(20)를 포함하지 않는다. 다른 부분들은 거의 동일하다.
조작 패널(12a)에 대향하는 손(손가락)의 촬영은 제1 실시 형태의 촬영과 다른 것으로, 제3 실시 형태에서는 도 27, 도 7 및 도 6을 참조하여 설명한다. 제1 실시 형태와 다른 점은 다음과 같다. 상기 조작 패널(12a)에 복수의 손가락이 대향하는 경우, 특정 손가락에 대응하는 위치 지시 화상(200H)의 표시 영역이 그 표시에 있어서 도 27의 (c)에 나타낸 바와 같이 나머지 손가락에 대응하는 위치 지시 화상(200H)의 표시 영역보다 강조되도록 이들 손가락은 배경 화상(200B)에 합성 또는 중첩되어 표시된다.
(위치 지시 화상의 표시 처리)
다음으로, 표시 장치(15)에서 위치 지시 화상의 표시 처리를 도 25를 참조하여 설명한다. 본 처리는 제어 회로(18)의 기억부(18d)에 기억된 프로그램을 CPU가 실행하는 방식으로 실행되는 것임을 알 수 있다.
T1에서, 상기 제어 회로(18)는 터치 조작 영역(원격 조작부)(12a1)에 대하여 터치 조작 영역(12a1)의 전방에서 대향하는(여기에서 카메라(12b) 측에 대향하는 측) 손의 손가락을 특정한다(손가락 특정 단계). 여기에서, 상기 제어 회로(18)는 상기 카메라(12b)에 의해 촬영된 촬영 화상에 근거하여 조작자의 손의 손가락의 화상을 취득하는지 여부를 판정한다. 상기 카메라(12)는 조작 패널(12a)의 후면(12a2) 측으로부터 조작 패널(12a)을 통해 터치 조작 영역(전면)(12a1)으로 접근하는 접근 대상물(H)(예를 들면, 운전자 등의 조작자의 손)을 촬영한다(화상 촬영 단계). 상기 촬영 화상은 제어 회로(18)의 화상 처리부(18a)로 상시 입력된다. 접근하는 대상물(H)이 터치 조작 영역(12a1)에 대향하는 위치로 진입하는 경우, 상기 접근하는 대상물(H)을 당연히 포함하는 상기 촬영 화상(150)은 화상 처리부(18a)로 입력된다. 상기 입력된 촬영 화상(150)은 화상 처리부(18a)에서 공지의 화상 분석 기술에 의해 분석된다. 칼라 등에서의 차이에 근거하여, 상기 접근 대상물 화상(150H)이 추출된다. 그런 다음, 상기 추출된 접근 대상물 화상(150H)의 형태에 근거하여 사람의 손의 손가락 화상(150F)이 화상(150H)에 포함되어 있는지 여부를 판정한다. 소정 길이 이상의 축선을 갖는 대략 직선 원통형 화상 패턴이 상기 추출된 손 화상의 전체 형상으로부터 식별되고, 해당 직선 원통형 화상 패턴이 존재하는 경우, 상기 원통형 화상 패턴은 손가락 화상(150F)으로서 인식된다. 상기 손의 손가락 화상이 인식되는 것으로 판정되는 경우, 상기 철는 T2로 진행된다. 상기 원통형 화상 패턴이 존재하지 않는 경우, 본 처리는 종료된다.
T2에서, 상기 제어 회로(18)는 취득된 손가락 화상(150F)으로부터 손가락끝을 검출한다. 상기 손가락끝의 검출은 특정된 손가락 화상(150)으로부터 손가락끝(Q)을 특정하는 방식으로 실행된다(손가락끝 특정 단계). 본 실시 예에서의 손가락끝(Q)의 특정은 도 29에 나타낸 방식으로 실행된다. 즉 도 29의 (a)에 나타낸 바와 같이, 먼저 상기 손가락 화상(150F)이 특정된다. 상기 화상 처리부(18a)는 상기 특정된 손가락 화상(150F)을 포함하는 손 화상(150H)과, 손가락 화상(150F)의 길이방향으로 손 화상(150H)이 소정량만큼 이동함으로써 생성되는 이동 손 화상(160H)을 서로 중첩시킨다. 상기 손가락 화상들(150H, 160H) 모두가 서로 중첩되지 않은 비-중첩 영역(170)이 특정된다. 상기 비-중첩 영역(170)의 중심이 산출되고, 그러므로 상기 산출된 중심의 지점이 손가락끝(손가락끝 위치)(Q)으로서 특정된다. 상기 손가락끝(Q)의 특정 방법은 상기와 다르게 이루어질 수 있다. 예를 들면, 만곡으로 나타나는 손가락끝의 윤곽이 추출되고 평활화된 다음, 곡률의 중심이 손가락끝(Q)으로서 특정된다. 또한, 상기 손가락끝(Q)의 특정 방법은 전술한 바와 같이 손가락의 하나의 지점으로서 특정될 필요는 없고, 손가락의 제1 관절까지의 영역이 손가락끝(손가락끝 영역)(Q)으로서 특정될 수 있다.
T1 및 T2는 각각 손가락 특정 처리 및 손가락끝 특정 처리의 단계들이지만, 이 두 처리는 동시에 실행될 수 있음을 알 수 있다. 즉, 손가락 화상으로부터 손가락끝을 특정하는 것 대신에, 다음의 처리가 이용될 수 있다. 상기 손가락끝은 카메라(12b)에 의해 촬영된 촬영 화상으로부터 직접적으로 특정되고, 손가락은 손가락끝을 특정함으로써 특정되어 그 처리를 간략화된다.
이어서 T3에서, 상기 제어 회로(18)는 원격 조작부에 대한 조작에 이용되는 또는 이용되는 것으로 추정되는 조작대상 손가락(P)(위치 지시용 손가락)을 지정한다(조작대상 손가락 지정 단계). 구체적으로, 터치 조작 영역의 방향으로 특정된 각 손가락끝의 위치 관계를 반영하는 위치 관계 정보가 지정 손가락 정보로서 취득된다(지정 손가락 정보 취득 단계). 상기 터치 조작 영역의 방향은 터치 조작 영역(12a1)이 확장되는 방향, 즉 상기 터치 조작 영역(12a1)의 법선에 직교하는 방향을 의미한다. 이에 따라 상기 취득된 위치 관계 정보에 근거하여, T1에서 특정된 손가락들 가운데서 상기 위치 관계에 대하여 소정의 선정 조건에 가장 적합한 위치 관계 정보를 갖는 손가락이 상기 조작대상 손가락(P)으로 우선적으로 지정된다.
상기 조작대상 손가락(P)으로서 복수의 손가락 그룹이 지정될 수 있다. 한편, 접촉방식 조작부(12a)에 대한 조작이 용이하게 인식될 수 있는 위치 지시를 실행하는 관점에서 보면, 1개의 손가락 또는 2개의 손가락과 같이 상대적으로 적은 수의 손가락을 지정하는 것이 바람직하다. 본 실시 예에서는 1개의 손가락을 지정한다. 또한, 지정 대상으로서 이용되는 손가락의 종별은 위치 지시에 적합한 검지(도 27의 (c) 참조). 중지(도 47 참조), 또는 검지와 중지 2개의 손가락((도 48 참조)이다. 본 실시 예에서는 검지가 지정되는 것으로 상정된다.
본 실시 예의 T3의 처리는 도 26의 플로차트에서 나타낸 처리와 같이 실행된다. 즉, T11에서 도 29의 (c)에 나타낸 바와 같이 특정된 손가락끝(Q)은 가상 2차원 좌표계의 면(180)에 특정된다. 상기 면(180)(도 30 참조)에 정의된 하나의 축 X에 의하여, 상기 2차원 좌표계에 다른 하나의 1차원 좌표가 정의된다. 여기에서 상기 특정된 손가락끝(Q)은 터치 조작 영역(12a1)으로(원격 조작부에 대향하는 방향으로) 투영된다. 상기 투영면은 상기 면(180)으로서 정의된다. 하나의 축 X는 상기 투영면에서의 미리 결정된 위치로서 설정되어 상기 1차원 좌표계를 정의한다. T12에서, 상기 면(180)에서의 손가락끝(Q)의 1차원 좌표계에서의 위치 좌표(좌표 값)(XQ)이 특정되고, 상기 위치 좌표(XQ)를 반영하는 축 좌표 정보는 위치 관계 정보로서 취득된다. 이에 따라 T13에서 상기 취득된 축 좌표 정보에 근거하여, 도 25의 T1에서 특정된 손가락들 중에서 상기 축 좌표 정보에 대하여 미리 결정된 선정 조건에 가장 적합한 손가락이 상기 조작대상 손가락(P)으로 우선적으로 지정된다.
또한, 본 실시 예는 조수석의 탑승자의 오른손에 의해 조작이 행해지는 것으로 상정된다. 또한, 상기 축 X은 조작자의 검지가 상기 조작대상 손가락(P)으로 지정되도록 설정된다. 따라서, T11에서 상기 축 X은 도 30에 나타낸 위치로서 설정된다. T12에서 상기 손가락끝(Q)은 설정된 축 X 측으로 투영되고, 각각 투영된 위치들의 상기 좌표값(X1 내지 X3)이 산출된다. T13에서, 상기 취득된 좌표값(X1 내지 X3)중에서 가장 큰 값을 갖는 손가락끝(Q)이 특정된다. 상기 특정된 손가락끝(Q)을 갖는 손가락이 검지인 것으로 추정되고, 상기 손가락은 조작대상 손가락(P)으로 지정된다.
또한, 본 실시 예에서, 상기 축 X은 도 30에 나타낸 바와 같이 오른쪽 검지가 좀처럼 위치되지 않는 촬영 화상의 우측 하부로부터 오른쪽 검지가 자주 위치되는 왼쪽 상부 쪽으로 진행하는 것으로 정의된다. 예를 들면, 도 31 또는 도 32에 나타낸 다른 설정이 채용될 수 있다. 도 31의 경우, 가장 큰 좌표값을 갖는 손가락이 중지인 것으로 추정하는데 적합하다. 또한, 조작 손이 오른손 또는 왼손의 어느 측인지 추정 또는 판정되면, 상기 중지에 인접하는 손가락은 상기 추정 또는 판정된 측의 조작 손에 따라 상기 중지에 인접하는 손가락은 검지로서 추정될 수 있다. 도 32에서, 조작 손이 오른손 또는 왼손의 어느 측인지 추정 또는 판정되면, 좌우 중 맨 끝에 있는 손가락이 검지로서 적절히 추정된다. 상기 검지에 인접하는 손가락은 중지로서 추정될 수 있다.
본 실시 예에서, 상기 카메라(12b)에 의해 촬영된 촬영 화상은 손가락끝(Q)이 터치 조작 영역(12a1) 측으로 투영되는 투영면(180)이다. 따라서, 상기 조작 패널 화상 영역 및 상기 투영면(180) 각각은 동일 좌표계를 갖는 2차원 평면으로서 인식된다. 상기 조작 패널 화상 영역은 터치 조작 영역(12a1)을 반영하는 영역, 즉 상기 터치 조작 영역(12a1)이 카메라(12b)에 의해 촬영된 촬영 화상에 위치되는 촬영 화상(150)의 전체 영역이다. 상기 조작 패널 화상 영역에서의 손가락끝(Q)의 좌표 위치는 투영면(180)에 투영된 손가락끝(Q)의 좌표 위치로서 직접적으로 이용될 수 있다. T3에서, 상기 조작대상 손가락(P)은 가상적으로 정의된 투영면(180)에서의 좌표에서 산출됨으로써 지정되고, 이에 따라 화상을 처리할 필요는 없게 된다. 즉, 화상 데이터는 조작대상 손가락(P)의 지정 처리에 이용되지 않으며, 이에 따라 산출 코스트(산출양 및 메모리량)는 절감될 수 있다.
도 25를 다시 참조해 보면, T4에서 상기 제어 회로(18)는 도 33의 (c)에 나타낸 바와 같이 표시 화면의 배경의 화상에 합성 또는 중첩되는 방식으로 상기 특정된 손가락끝(Q)에 대응하는 표시 화면에서의 위치에 위치 지시용 화상(200H)을 표시한다. 이러한 표시는, 상기 위치 지시 화상(2OOH) 내에서 상기 지정된 조작대상 손가락(P)에 대응하는 위치 지시 화상(2OOH)의 표시 영역(200P)이 조작대상 손가락(P) 이외의 손가락(R)에 대응하는 위치 지시 화상(200H)의 표시 영역(2OOR)보다 상대적으로 강조되는 강조 표시 방식으로 이루어지는 것임을 알 수 있다. 따라서, 상기 조작대상 손가락(P)의 가시성은 향상된다. 사용자는 조작될 손가락을 용이하게 인식할 수 있고, 조작성도 향상된다.
본 실시 예에서, 상기 제어 회로(18)는 먼저 표시 장치(15)의 표시 화면 및 촬영 손의 손가락 간의 위치 관계를 특정한다. 즉, 상기 제어 회로(18)는 촬영 손의 손가락이 표시 화면상의 어느 위치에 대향하는가를 특정한다. 본 실시 예에서, 상기 터치 조작 영역(12a)이 있는 조작 패널 화상 영역은 카메라(12b)에 의해 촬영된 촬영 화상(150)에서 특정된다. 여기에서, 상기 조작 패널 화상 영역은 터치 조작 영역(12a1)을 반영하는 영역, 즉 촬영 화상(150)의 전체 영역이다. 상기 2차원 조작 좌표계는 상기 조작 패널 화상 영역에서 설정되고, 상기 촬영된 손가락의 위치는 조작 좌표계에서 특정된다. 상기 조작 좌표계에서 특정된 손가락의 위치에 대응하는 표시 장치(15)의 표시 화면에서의 위치는 상기 표시 화면에서 정의된 2차원 표시 좌표계에서 특정된다.
그런 다음, 상기 표시 장치(15)의 표시 화면에서 특정된 위치에서, 상기 위치 지시 화상(200H)은 도 33의 (a)에 나타낸 바와 같이 대응하는 메인 화상(200B)에 대한 위치 좌표에 중첩되게 표시된다. 상기한 위치 지시 화상(2OOH)(200P, 200R)의 강조 표시는 도 61에 나타낸 바와 같이 소정 시간(t1)에서 단계적으로 강조 레벨(강조 정도)을 변화시키는 방식으로 실행된다. 즉, 상기 강조 표시에서의 변화의 처리에서, 그 변화의 중간 상태는 도 33의 (b)에 나타낸 바와 같이 발생한다. 상기 강조 표시에서의 중간 상태를 통하여, 상기 강조 표시의 변화는 도 33의 (c)에 나타낸 바와 같이 종료된다. 상기 강조 표시에서 특정되지 않은 손가락이 덜 가시적으로 되는 경우, 이러한 특정되지 않은 손가락이 갑자기 덜 가시적으로 되게 되면, 손가락이 강조되는 것을 인식하는데 어려움이 있을 수 있다. 따라서, 도 33의 (a)에 나타낸 바와 같이 상기 강조 표시에서 먼저 모든 손가락이 유사하게 표시된다. 그런 다음 강조 레벨은 단계적으로 변화된다. 그러므로 상기 표시 화면에서 표시되는 손가락과 자신의 손가락을 용이하게 관련시킬 수 있다.
또한, 상기 강조 표시는 상기 위치 지시 화상(200H)의 손가락 표시 영역(200P 또는 200R)의 전제, 윤곽 또는 윤곽의 내측에 대하여, 색의 변화(도 63 참조), 명암 농도 변화(도 63 참조: 조작대상 손가락 이외의 손가락은 소거될 수 있음), 형상 변화(도 64: 예로서 조작대상 손가락(P)이 두껍게 될 수 있음), 다른 화상에 대한 전환, 투명도의 변화(도 27 참조), 플래싱(flashing)(도 65 참조) 또는 이들의 어떠한 조합에 의해 행해진다. 본 실시 예에서, 상기 강조 표시는 위치 지시 화상(200H)의 처리 화상의 윤곽의 내측에 대하여 투명도를 변화시키는 형태로 행해진다. 또한, 상기 조작대상 손가락(P)에 대응하는 위치 지시 화상(200H)의 표시 영역(200P)의 강조 상태는 일정하게 유지되고, 나머지 손가락(R)에 대응하는 위치 지시 화상(200H)의 표시 영역(200R)의 강조 레벨은 감소될 수 있다. 상기 나머지 손가락(R)에 대응하는 위치 지시 화상 영역(200R)은 소거될 수 있다. 조작성을 고려할 때, 강조 레벨이 전체적으로 소거되는 경우보다 낮아지지만, 상기 위치 지시 화상 영역(2OOR)이 비교적 용이하게 인식될 수 있게 유지되도록 하는 것이 바람직하다.
또한, T4에서의 상기 강조 표시는 도 61에 나타낸 바와 같이 조작대상 손가락(P)이 T3에서 지정된 바로 후에 개시되거나, 상기 조작대상 손가락(P)이 도 62에 나타낸 바와 같이 T3에서 지정된 이후에 소정 기간이 경과된 후 개시될 수 있다. 특히, 강조 표시가 단계적으로 적용되는 않도록 하는 경우의 구성에서, 후자를 선택하는 것이 바람직하다.
T4가 종료된 다음 본 처리는 종료된다. 본 처리의 종료 이후더라도 본 처리는 소정 주기로 반복적으로 실행되는 것임을 알 수 있다. 상기 조작 패널(12a)에 대향하는 손의 이동과 함께, 상기 표시 장치(15)의 표시 화면에 표시되는 위치 지시 화상(200H)의 표시 위치는 이에 따라서 이동된다. 상기 강조 변화 도중에 손이 이동하는 경우, 상기 위치 지시 화상(200H)(200P 및 2OOR)의 표시 위치는 강조 변화를 계속하면서 이동한다. 상기 강조 변화가 완료된 이후 손이 이동하는 경우, 상기 위치 지시 화상(200H)(200P 및 200R)의 표시 위치는 강조 상태가 유지된 채로 이동한다.
상기 위치 지시 화상의 표시 처리는 손가락 특정 단계, 손가락끝 특정 단계, 조작대상 손가락 지정 단계. 위치지시화상 강조 표시 단계 및 지정 손가락 정보 취득 단계를 포함하는 것임을 알 수 있다. 상기 제어 회로(18)는 CPU를 이용하여 상기 처리를 실행하고, 이에 따라 각 단계(손가락 특정 단계, 손가락끝 특정 단계, 조작대상 손가락 지정 단계. 위치지시화상 강조 표시 단계 및 지정 손가락 정보 취득 단계)를 실행하는 실행부 또는 실행 수단으로서 기능을 한다.
(터치 조작 입력 처리)
마지막으로, 상기 조작 정보 입력 장치(12)의 조작 패널(12a)에 대한 터치 조작 입력 처리를 도 74를 참조하여 설명한다. 본 처리는 CPU가 제어 회로(18)의 기억부(18d)에 기억된 프로그램을 실행하는 방식으로 실행되는 것임을 알 수 있다.
T101에서, 상기 제어 회로(18)는 조작 패널(12a)에 대한 터치 조작의 유무를 판정한다. 상기 조작 패널(12a)은 터치 패널로서 구성된다. 상기 터치 조작이 이루어지는 경우, 조작 신호는 제어 회로(18)로 입력된다. 상기 제어 회로(18)는 그 입력에 근거하여 유무를 판정한다. 상기 조작 패널(12a)에 대한 터치 조작이 이루어지는 경우, 상기 처리는 T102로 진행된다. 터치 조작이 이루어지지 않은 경우, 본 처리는 종료된다.
이어서 T102에서, 상기 조작 패널(12a)에 대한 터치 조작 위치, 즉 상기 터치 조작 영역(12a1)에서의 터치 조작 위치가 특정된다. 상기 조작 패널(12a)은 터치 패널로서 구성된다. 터치 조작이 이루어지는 경우, 조작 신호는 제어 회로(18)로 입력된다. 상기 조작 신호는 터치 조작 영역(12a1)에 정의된 조작 좌표계 상에서 좌표 정보로서 터치 조작 위치를 반영한다. 상기 제어 회로(18)는 조작 신호에 근거하여 터치 조작 위치를 특정한다.
계속해서, T103에서, 상기 제어 회로(18)는 조작 패널(12a)에서 터치 조작 위치에 대응하는 제어를 실행한다. 구체적으로, 상기 터치 패널(12a)의 터치 조작 영역(12a1)에서의 각 위치는 표시 장치(15)의 표시 화면에서의 위치에 대응한다. T103에서 특정된 터치 조작 영역(12a1)에서의 위치에 대응하는 표시 장치(15)의 표시 화면에서의 위치에서 판정된 상기 제어 내용이 실행된다. 구체적으로 상기 제어 회로(18)는 상기 제어 내용을 실행하기 위한 제어 신호를 출력한다. T103에서 특정된 터치 조작 영역(12a1)에서의 위치가 표시 장치(15)의 표시 화면에 표시된 스위치 화상(200I)에 대응하는 것으로 상정한다. 여기에서, 상기 제어 회로(18)는 스위치 화상에 할당된 제어 내용을 실행하기 위한 제어 신호를 출력한다.
T103가 종료된 다음 본 처리는 종료된다. 본 처리의 종료 이후라도 본 처리는 소정 주기로 반복적으로 실행되는 것임을 알 수 있다. 상기 제어 회로(18)는 터치 조작이 이루어지는 위치에 따른 제어 내용을 실행한다. 한편, 상기 제어 내용은 그에 맞춰 다른 제어 회로(예를 들면, ECU(100))에 의해 실행된다.
상기 제어 회로(18)는 CPU를 이용하여 터치 조작 입력 처리를 실행하고, 그러므로 입력 수락부 또는 입력 수락 수단 및 조작입력 제어부 또는 조작입력 제어 수단으로서 기능을 한다.
이상 제3 실시 형태의 예시를 설명하였지만, 이러한 실시 예는 하나의 실시 예일뿐이다. 본 제3 실시 형태는 상기 실시 예에 한정되는 것은 아니며, 특허청구범위를 벗어나지 않는 한 해당 기술분야의 당업자의 지식에 근거하여 다양하게 변경될 수 있다.
예를 들면, 상기 실시 예에 있어서, 상기 구성은 차량용 조작 입력 장치에 의하여 본 제3 실시 형태의 표시 방법을 실현한다. 상기 조작 입력 장치는 차량용으로 한정될 필요는 없다. 예를 들면, 일반 가전 기기의 조작입력장치로 될 수 있다. 또한, 상기 조작 입력 장치는 장치의 동작을 실행할 뿐만 아니라, 화면 표시를 메인기능으로 하는 일반의 표시 장치로 될 수 있다.
이하 상기 실시 예를 제1 실시 예로 하고, 이와 다른 실시 예를 설명한다. 동일 구성에 대해서는 동일 부호를 부여하고, 그에 대한 상세한 설명은 생략한다.
3.1.1 제1 실시 예의 변형 예
상기 제1 실시 예는 다양하게 변형될 수 있다. 각 변형 예는 제1 실시 형태의 제10 실시 예의 제2 변형 예 내지 제12 변형 예와 동일하고, 따라서 이에 대한 설명은 생략한다.
3.2 제2 실시 예
이하 본 제3 실시 형태의 제2 실시 예를 설명한다.
상기 실시 예에서, 상기 조작 입력 장치의 원격 조작부는 사용자의 손이 닿게 배치되고, 그러므로 사용자의 의도 없이 조작부가 터치되는 문제가 제기되며, 따라서 잘못된 조작 입력을 발생시킨다. 특히, 조작부가 터치 방식이면, 의도하지 않은 터치에 의해 입력이 실행될 수 있다. 이러한 문제를 해결하기 위하여, 다음과 같은 구성이 제공될 수 있다. 소정의 손가락 상태가 조작자의 손가락 상태로서 특정되는 경우, 상기 제1 실시 예에서 위치 지시 화상(2OOH)의 강조 표시는 미리 정해진 표시 허가 기간 동안에만 실행된다. 한편, 다른 경우로서, 도 5에 나타낸 바와 같이 손이 터치 조작 영역(12a1)에 대향하는 상태에 있더라도 상기 위치 지시 화상(200H)은 표시되지 않는다. 구체적으로, 도 9에 나타낸 바와 같은 위치 지시 화상 표시 처리가 실행된다. 본 처리는 제어 회로(18)의 기억부(18d)에 기억된 프로그램을 CPU가 실행하는 방식으로 실행되는 것임을 알 수 있다.
S1에서, 상기 제어 회로(18)는 카메라(12b)에 의해 촬영된 촬영 화상에 근거하여 조작자의 손의 화상을 취득했는지 여부를 판정한다. 상기 카메라(12b)는 터치 조작 영역(전면)(12a1)에 접근하는 접근 대상물(H)(예를 들면, 운전자 등의 조작자의 손)을 조작 패널(12a)의 후면(12a2) 측으로부터 조작 패널(12a)을 통해 촬영한다(화상 촬영 단계). 상기 촬영 화상은 제어 회로(18)의 화상 처리부(18a)로 상시 입력된다. 상기 접근 대상물(H)이 터치 조작 영역(12a1)에 대향하는 위치로 들어올 때(진입할 때), 상기 접근 대상물(H)을 당연히 포함하는 상기 촬영 화상(150)은 화상 처리부(18a)로 입력된다. 상기 입력된 촬영 화상(150)은 화상 처리부(18a)에서 공지의 화상 분석 기술에 의해 분석된다. 칼라 등의 차이에 근거하여, 상기 접근 대상물 화상(150H)이 추출된다. 그리고 상기 화상(150H)이 추출된 접근 대상물 화상(150H)의 형태로부터 사람의 손의 화상인지 여부를 판정한다. 상기 판정 결과는 제어 회로(18)로 출력된다. 손의 화상이 인식되는 것으로 판정되는 경우, 상기 처리는 S2로 진행한다. 그렇지 않은 것으로 판정되는 경우, 본 처리는 종료된다.
본 실시 예에서, 광원(12c)이 배치되고, 상기 카메라(12b)는 광원(12c)의 반사광을 포착함으로써 화상을 촬영하는 것임을 알 수 있다. 따라서, 상기 반사광의 강도는 촬영 화상(150)에서 나타나는 칼라의 단조(gradatin)로 반영된다. 고강도를 갖는 반사광을 포착할수록 단조 레벨은 높게 나타난다. 본 실시 예의 카메라(12b)에 의해 촬영된 촬영 화상(150)은 다-단조(multi-gradatin) 레벨의 촬영 화상(본 실시 예에서 흑과 백의 촬영 화상) 이다. 상기 화상 처리부(18a)는 미리 결정된 단조 역치(gradation threshold value)를 이용하여 각 픽셀의 단조 레벨을 2치화 한다. 도 27, 도 7, 도 6 및 도 5의 (b)에 나타낸 바와 같이, 상기 단조 역치를 초과하는 영역은 접근 대상물 화상(150H)으로서 추출된다. 또한, 상기 화상 처리부(18a)는 추출된 접근 대상물 화상(150H)으로부터 사람의 손의 화상을 특정한다. 이를 위하여, 상기 접근 대상물 화상(150H)의 형상은 제어 회로(18)의 기억부(18d)에 기억된 손 형상 패턴과 비교된다. 상기 패턴에 따른 접근 대상물 화상(150H)은 손의 화상으로서 인식된다(손 화상 인식부 또는 손 화상 인식 수단).
S2에서, 취득한 손의 화상에 근거하여, 손의 상태가 소정의 손가락 상태인지 아닌지 여부를 특정한다(소정의 손가락 상태 특정부 또는 소정의 손가락 상태 특정 수단). 여기에서는 상기 소정의 조작의사 표현용 손가락 상태인지 여부를 특정한다(조작의사 표현용 손가락 상태 특정부 또는 조작의사 표현용 손가락 상태 특정 수단). 본 실시 예에서, 상기 조작의사 표현용 손가락 상태는 간이 조작용 손가락 상태이다. 예를 들면, 상기 조작대상으로서 제공되는 손가락의 개수, 즉 터치 조작 영역(12a1)에 대략 평행하게 연장하는 손가락의 개수가 1개 또는 2개 정도의 소수이다. 또한, 입력을 빠르게 하기 위하여 5개의 손가락을 이용하는 조작은 난이도가 높은 손가락 상태이다. 상기한 간이 조작용 손가락 상태는 이러한 5개의 손가락을 이용하는 손가락 상태와 다르다. 본 실시 예에서, 상기 조작의사 표현용 손가락 상태는 터치 조작 영역(12a1)의 면 방향(면이 확장하는 방향)으로 연장되게 나타나는 손가락의 개수가 취득된 손의 화상에서 하나만으로 되는 1개 손가락 조작 상태로서 특정된다. 구체적으로, S1에서, 상기 화상 처리부(18a)는 상기 추출된 손의 화상의 전체 형상으로부터 소정 길이 이상의 축선을 갖는 대략 직선적인 원통형 화상 패턴을 식별한다. 이러한 원통형 화상 패턴이 존재하는 경우, 손가락 화상(150F)으로 인식하고 특정한다(손가락 특정부 또는 손가락 특정 수단). 상기 특정된 결과는 제어 회로(18)로 출력된다. 상기 제어 회로(18)는 손가락 화상(150F)의 개수를 특정한다(손가락 개수 특정부 또는 손가락 개수 특정 수단; 손 형상 인식부 또는 손 형상 인식 수단). 상기 손가락의 개수가 1개인 경우, 상기한 상태는 조작의사 표현용 손가락 상태로서 특정된다(조작의사 표현용 손가락 형상).
다음으로 S3에서, 상기 출력 결과에 근거하여 현재 손가락 상태가 소정의 손가락 상태(여기에서는 조작의사 표현용 손가락 상태)인지 판정한다. 상기 소정의 손가락 상태로 판정되는 경우, 상기 처리는 S4로 진행한다. S4에서, 표시 모드는 상기 위치 지시 화상의 표시가 허용되는 표시 허가 모드로 설정되고, 상기 처리는 S5로 진행한다. 상기 설정된 표시 모드는 제어 회로(18)의 기억부(18d)에 제공된 소정의 기억 영역(표시 모드 기억부)에 기억되는 것임을 알 수 있다. S4에서, 상기 표시 허가 모드는 상기 기억 영역에 기억된다.
S5에서, 상기 제어 회로(18)는 표시 장치(15)의 표시 화면과 촬영된 손 간의 위치 관계를 특정한다. 즉, 상기 제어 회로(18)는 촬영된 손의 화상(H)이 표시 화면상의 어느 위치에서 대향하고 있는가를 특정한다. 본 실시 예에서, 상기 터치 조작 영역(12a1)이 위치되는 조작 패널 화상 영역은 카메라(12b)에 의해 촬영된 촬영 화상 상에서 특정된다. 이와 동시에, 상기 터치 조작 영역(12a)의 2차원 조작 좌표계가 조작 패널 화상 영역에 설정되고, 상기 촬영된 손가락 화상(H)의 위치는 조작 좌표계에서 특정된다. 상기 표시 장치(15)의 표시 화면에 정의된 표시 좌표계에서, 상기 조작 좌표계 상에서 특정된 손 화상(H)의 위치에 대응하는 위치가 특정된다. 본 실시 예에서, 도 27, 도 7, 도 6, 도 5의 (b)에 나타낸 촬영 화상(2치화 화상)은 전체 터치 조작 영역(12a1)을 촬영하는 조작 패널 화상 영역으로서 제공된다.
또한, S6에서, 도 6 및 도 7의 (c)에 나타낸 바와 같이, 상기 위치 지시 화상(200H)은 표시 장치(15)의 표시 화면의 상기한 조작 패널 화상 영역 상에 특정되는 손의 화상(H)에 대응하는 위치에 표시된다(위치지시화상 표시부 또는 위치지시화상 표시 수단). 본 실시 예에서, 상기 손 화상(150H)의 윤곽은 명확하게 표시된다. 상기 손 화상의 윤곽의 내측이 반투명 상태로 변화되는 처리 화상(200H)이 상기 표시 장치(15)의 표시 화면상에 표시된 메인 화상(200B)에 대응하는 좌표 위치에 생성되고 중첩 표시된다. 또한, S6에서 상기 제1 실시 예에서의 위치 지시 화상의 강조 표시 처리가 실행된다(도 25). 상기 조작대상 손가락(P)으로서 특정된 손가락의 위치 지시 화상(200H)은 표시 화면에서 나머지 손가락에 비하여 상대적으로 더 강조된다.
여기에서, 강조되는 상기 조작대상 손가락(P)이 검지인 것으로 판정되는 것을 전제로 한다. 따라서, 1개의 손가락 상태이지만, 상기 대응하는 연장된 손가락이 검지가 아니면, 해당 손가락에 대응하는 위치 지시 화상은 강조되지 않은 상태로 표시된다. 한편, 상기 1개의 손가락 상태에서의 손가락이 검지인 경우, 도 7 및 도 6의 (c)에 나타낸 바와 같이 이 검지는 강조 상태로 표시되지만, 강조되지 않은 상태의 다른 손가락들은 표시되지 않는다.
한편, S3에서 현재 손가락 상태가 소정의 손가락 상태(여기에서, 조작의사 표현용 손가락 상태)가 아닌 것으로 판정되는 경우, 상기 처리는 S7로 진행된다. S7에서, 상기 표시 모드는 위치 지시 화상의 표시가 금지되는 표시 금지 모드로 설정된다. 따라서 S5 및 S6에서 실행되는 상기 위치 지시 화상(200H)의 표시는 실행되지 않으며, 도 5의 (c)에 나타낸 바와 같이, 예를 들면 상기 위치 지시 화상(2OOH)은 표시 장치(15)의 표시 화면상에 표시되지 않게 유지된다. 상기 표시 금지 모드는 제어 회로(18)의 기억부(18d)에 제공된 소정의 기억 영역(표시 모드 기억부)에 기억되는 것임을 알 수 있다.
S6 및 S7이 종료된 다음, 본 처리는 종료된다. 본 처리의 종료 이후라도, 본 처리는 소정 주기로 반복적으로 실행되는 것임을 알 수 있다. 상기 조작 패널(12a)에 대향하는 소정의 손가락 상태에서의 손이 이동에 따라, 상기 표시 장치(15)의 표시 화면에 표시되는 위치 지시 화상(처리 화상)(200H)의 표시 위치도 이동한다.
상기 위치 지시 화상의 표시 처리에서, 도 18에 나타낸 바와 같이, 표시 허가 기간은 소정의 손가락 상태가 특정되지 않을 때까지의 기간으로서 정의된다. 즉, 상기 표시 처리에서, 상기 소정의 손가락 상태가 특정되는 경우, 상기 표시 허가 모드는 설정되고, 상기 소정의 손가락 상태가 특정되지 않은 경우에는 상기 표시 금지 모드가 설정된다. 상기 제어 회로(18)는 위치 지시 화상의 표시 처리를 실행함으로써 표시 모드 설정부 또는 표시 모드 설정 수단으로서 기능을 한다.
종래의 조작 입력 장치에서, 손이 터치 패널(12a)(원격 조작부)에 접근할 때 원격 조작을 실행하는 손이 조작 화면에 실제 표시되는 경우에서, 손가락들만이 표시되는 상태로 된다. 그러나 어떤 사용자는 입력을 빨리 하기 위하여 한 손의 5개의 손가락으로 터치 조작 입력을 실행한다. 여기에서, 일렬로 정렬되는 복수의 손가락이 조작 표시 화면에 표시되고, 이에 따라 표시된 손가락과, 조작자가 실제 위치 지시에 이용하고자하는 손가락 간의 대응 관계가 더 이상 명확하지 않게 되며, 오조작을 쉽게 초래할 수 있는 문제가 제기된다. 한편, 상기 실시 예에서, 상기 소정의 손가락 상태가 아닌 경우, 상기 구성은 조작 패널(12a)에 대한 터치 조작 입력을 수락하지 않는 것으로 제공된다. 이러한 구성은 상기한 문제를 해결할 수 있다.
3.3 제3 실시 예
이하 본 발명의 제3 실시 형태의 제3 실시 예를 설명한다.
제2 실시 예에서, 상기 조작 정보 입력 장치(12)의 조작 패널(원격 조작부)(12a)에 대한 터치 조작 입력 처리는 도 74에서의 처리 대신에, 도 10에서의 처리로서 제공될 수 있다. 본 처리는 CPU가 제어 회로(18)의 기억부(18d)에 기억된 프로그램을 실행하는 방식으로 실행되는 것임을 알 수 있다.
도 10에서의 터치 조작 입력 처리는, 표시 허가 모드가 설정되는 경우 조작 패널(12a)에 대한 터치 조작 입력의 수락(제어 회로(18)가 입력 허용 모드를 설정)이 허용되고, 표시 금지 모드가 설정되는 경우에는 상기 조작 패널(12a)에 대한 터치 조작 입력의 수락이 금지(제어 회로(18)가 입력 금지 모드를 설정)되는 조작 입력 수락 제어를 포함한다. 상기 제어 회로(18)는 터치 조작 입력 처리를 실행함으로써 조작 입력 제어부 또는 조작 입력 제어 수단으로서 기능을 한다.
S101에서, 상기 제어 회로(18)는 조작 패널(12a)에 대한 터치 조작의 유무를 판정한다. 상기 조작 패널(12a)은 터치 패널로서 구성되며, 이에 따라 상기 터치 조작이 이루어지는 경우, 조작 신호는 제어 회로(18)로 입력된다. 상기 제어 회로(18)는 그 입력에 근거하여 유무를 판정한다. 상기 조작 패널(12a)에 대한 터치 조작이 이루어지는 경우, 상기 처리는 S102로 진행된다. 터치 조작이 이루어지지 않은 경우, 본 처리는 종료된다.
S102에서, 상기 제어 회로(18)는 현재의 표시 모드가 표시 허가 모드인지 여부를 판정한다. 현재의 표시 모드는 제어 회로(18)의 기억부(18d)에 제공된 소정의 기억부(표시 모드 기억부)에 기억된다. 그러므로, 현재의 표시 모드는 표시 모드에서의 기억된 정보에 근거하여 판정된다. 현재의 표시 모드가 표시 허가 모드인 것으로 판정되는 경우, 상기 처리는 S103으로 진행된다. 현재의 표시 모드가 표시 허가 모드가 아닌 것으로 판정되는 경우, 즉, 표시 금지 모드인 것으로 판정되는 경우, 본 처리는 종료된다.
S103에서, 상기 조작 패널(12a)에 대한 터치 조작 위치, 즉 상기 터치 조작 영역(12a1)에서의 터치 조작 위치가 특정된다. 상기 조작 패널(12a)은 터치 패널로서 구성되며, 그러므로 터치 조작이 이루어지는 경우, 조작 신호는 제어 회로(18)로 입력된다. 상기 조작 신호는 터치 조작 영역(12a1)에 정의된 조작 좌표계 상에서 좌표 정보로서 터치 조작 위치를 반영한다. 상기 제어 회로(18)는 조작 신호에 근거하여 터치 조작 위치를 특정한다.
계속해서, S104에서, 상기 제어 회로(18)는 조작 패널(12a)에서 터치 조작 위치에 대응하는 제어를 실행한다. 구체적으로, 상기 터치 패널(12a)의 터치 조작 영역(12a1)에서의 각 위치는 표시 장치(15)의 표시 화면에서의 위치에 대응한다. S103에서 특정된 터치 조작 영역(12a1)에서의 위치에 대응하는 표시 장치(15)의 표시 화면에서의 위치에서 판정된 상기 제어 내용이 실행된다. 구체적으로, 상기 제어 회로(18)는 상기 제어 내용을 실행하기 위한 제어 신호를 출력한다. S103에서 특정된 터치 조작 영역(12a1)에서의 위치가 표시 장치(15)의 표시 화면에 표시된 스위치 화상(200I)에 대응하는 것으로 상정한다. 여기에서, 상기 제어 회로(18)는 스위치 화상에 할당된 제어 내용을 실행하기 위한 제어 신호를 출력한다.
S104가 종료된 다음 본 처리는 종료된다. 본 처리의 종료 이후라도 본 처리는 소정 주기로 반복적으로 실행되는 것임을 알 수 있다. 상기 제어 회로(18)는 터치 조작이 이루어질 때의 위치에 따른 제어 내용을 실행한다. 한편, 상기 제어 내용은 그에 따라서 다른 제어 회로(예를 들면, ECU(100))에 의해 실행된다.
본 터치 조작 입력 처리에서, 조작 패널(12a)에 대한 터치 조작 입력의 수락은 표시 허가 모드가 설정(입력 허용 모드)는 경우에 허용되고, 표시 금지 모드가 설정(입력 금지 모드)되는 경우에는 상기 조작 패널(12a)에 대한 터치 조작 입력의 수락은 금지된다. 여기에서, 도 9의 위치 지시 화상 표시 처리에서, 소정의 손가락 상태가 특정되는 경우, 상기 표시 허가 모드가 설정되고, 상기 소정의 손가락 상태가 특정되지 않은 경우에는 상기 표시 금지 모드가 설정된다. 그 결과, 사용자의 손가락의 상태가 소정의 손가락 상태에 있지 않은 경우, 상기 조작 패널(12a)에 대한 터치 조작 입력은 수락되지 않는다. 여기에서, 상기 소정의 손가락 상태(여기에서, 조작의사 표현용 손가락 상태)는 1개의 손가락 상태의 간이 조작용 손가락 상태이다.
3.4 제4 실시 예
상기 제2 및 제3 실시 예에서, 도 18에 나타낸 바와 같이, 표시 허가 기간은 소정 손가락 형상 상태가 특정되지 않은 손가락 상태로 될 때까지의 기간으로서 정의된다. 한편, 다른 구성이 아래와 같이 제공될 수 있다. 상기 표시 허가 기간은 도 19에 나타낸 바와 같이 소정 기간으로서 정의될 수 있다. 즉, 상기 표시 허가 기간은 표기 허용 모드가 설정될 때로부터 소정 시간(금지 모드 복귀 시간)이 경과할 때까지의 기간으로서 정의된다. 상기 금지 모드 복귀 시간이 경과 할 때, 상기 표시 모드는 표시 금지 모드로 복귀된다. 이러한 구성에서, 표시 지시 화상을 표시할 수 있는 기간(표시 허가 모드)은 사용자가 특정 손가락 상태를 나타내는 트리거(trigger)에 의해 시작된다. 그런 다음, 사용자는 위치 지시 화상을 보면서 터치 조작 영역(12a1)에 대한 위치 지시 입력(터치 조작)을 실행할 수 있다. 한편, 사용자가 어떠한 특정 손가락 상태를 나타내지 않는 경우, 상기 위치 지시 화상은 표시되지 않는다. 그러므로 상기 위치 지시 입력을 실행하기 위한 터치 조작은 순조롭게(smoothly) 실행될 수 없다. 즉, 사용자가 위치 지시 입력을 실행하는 의사를 명확히 나타내는 경우에만, 위치 지시 화상의 표시가 허용된다. 따라서 그 의사 표시는 사용자의 손가락 상태를 특정함으로써 확인된다. 여기에서, 표시 허가 모드가 설정되는 경우, 상기 소정의 손가락 상태와 다른 손가락 상태의 화상이 표시될 수 있다. 구체적으로, 도 9에서 나타낸 위치 지시 표시 처리가 도 17에 나타낸 처리로서 달성될 수 있다.
S10에서, 상기 제어 회로(18)는 카메라(12b)에 의해 촬영된 촬영 화상에 근거하여 조작자의 손의 화상을 취득했는지 여부를 판정한다. 이 처리는 도 9의 S1에서의 처리와 유사하다.
S11에서, 상기 제어 회로(18)는 현재의 표시 모드가 표시 허가 모드인지 여부를 판정한다. 상기 현재의 표시 모드는 제어 회로(18)의 기억부(18d)에 제공된 소정의 기억부(표시 모드 기억부)에 기억되며, 따라서 표시 모드에서의 기억된 정보에 근거하여 판정된다. 현재의 표시 모드가 표시 금지 모드인 것으로 판정되는 경우, 상기 처리는 S12로 진행된다. 현재의 표시 모드가 표시 금지 모드가 아닌 것으로 판정되는 경우, 즉, 표시 허가 모드인 것으로 판정되는 경우, 본 처리는 S19 로 진행된다.
S12에서, 취득된 손의 화상에 근거하여 손의 상태가 소정의 손가락 상태(여기에서는 조작의사 표현용 손가락 상태)인지 여부를 판정한다(소정의 손가락 상태 특정부 또는 소정의 손가락 상태 특정 수단; 조작의사 표현용 손가락 상태 특정부 또는 조작의사 표현용 손가락 상태 특정 수단). 이러한 처리는 도 9의 S2의 처리와 유사하다. S13에서 현재 손가락 상태가 소정의 손가락 상태인 것으로 판정되는 경우, 상기 처리는 S14로 진행된다.
S14에서, 상기 표시 모드는 위치 지시 화상의 표시가 허용되는 표시 허가 모드로 설정되고, 상기 처리는 S15로 진행된다. 상기 표시 허가 모드는 제어 회로(18)의 기억부(18d)에 제공되는 소정의 기억 영역(표시 모드 기억부)에 저장되는 것임을 알 수 있다.
이어서 S15에서, 제어 회로(18)에 제공된 타이머(18b)가 기동하고, 시간 카운팅이 개시되며, 상기 처리는 S16으로 진행된다. 시간은 카운터(18c)에서 카운트 업(count up) 되는 방식으로 기억된다. 상기 카운터(18c)의 카운트된 값은 타이머가 기동하기 전에 리셋(reset) 된다.
S16에서, 상기 제어 회로(18)는 표시 장치(15)의 표시 화면과 촬영된 손 간의 위치 관계를 특정한다. S16에서의 이러한 처리는 도 9의 S5에서의 처리와 유사하다. 이어서 S17에서, 위치 지시 화상(200H)은 도 27, 도 7 및 도 6의 (c)에 나타낸 바와 같이, 표시 장치(15)의 표시 화면에 현재 표시되는 메인 화상(200B)에 중첩되어 표시된다(위치지시화상 강조 표시부 위치지시화상 강조 표시 수단). S17에서의 이러한 처리는 도 9의 S6과 같이, 도 25에 나타낸 위치 지시 화상의 강조 표시 처리이다. 여기에서, 제2 실시 예에 있어서, 도 27의 (c)에 나타낸 위치 지시 화상(200H)은 S16 및 S17에 표시된다. 즉, 제4 실시 예에서, 표시 허가 모드가 설정되는 한, 상기 손 화상(손가락 화상)의 중첩 표시(또는 합성 표시)는 허용된다. 화상이 적어도 상기 손 화상에 근거하여 손가락의 지시 위치를 나타내는 한, 어떠한 형태를 갖는 위치 지시 화상(2OOH)의 표시는 허용될 수 있다. 따라서, 표시 허가 모드가 설정되는 경우, 도 27의 (c)에 나타낸 복수의 손가락을 갖는 손가락 구성의 중첩 표시는 허용될 수 있다. 그러나 상기 조작대상 손가락(P)은 나머지 손가락에 비하여 그 표시에 있어서 강조된다.
한편, S13에서 현재의 손가락 상태가 소정의 손가락 상태(여기에서는 조작의사 표현용 손가락 상태)에 있지 않은 것으로 판정되는 경우, 상기 처리는 S18로 진행된다. S18에서 상기 표시 금지 모드가 설정되고, 이는 제어 회로(18)의 기억부(18d)에 제공된 소정의 기억 영역(표시모드 기억부)에 기억된다.
본 처리는 S17 및 S18의 종료에 의해 종료된다. 본 처리는 본 처리의 종료 이후더라도 소정 주기로 반복적으로 실행된다. 손 화상이 취득되고, 표시 허가 모드가 계속되는 한, S16 및 S17에서 위치 지시 화상의 표시 허가 상태는 계속된다. 즉, 이러한 기간 동안, 손가락 상태가 소정의 손가락 상태에 있지 않더라도, 상기 위치 지시 화상은 그때에 상기 손가락 상태에 근거하여 표시된다. 한편, S19에서는 S15에서 기동하는 타이머(18b)에 의해 소정 시간이 경과되는 것으로 판정되는 경우, 상기 표시 금지 모드는 S20에서 강제적으로 설정되며, 본 처리는 종료된다. S20에서의 처리는 S18에서의 처리와 유사하다.
본 실시 예에서, 사용자가 손의 형상(조작의사 표현용 손가락 상태)에 의해 조작 의사를 나타내고, 그 의사가 표현되는 경우, 상기 표시 허가 모드는 고정된 시간 동안만 설정된다. 상기 조작의사 표현용 손가락 상태는 1개의 손가락 상태(예를 들면, 도 7 및 도 6)와 같은 간이 조작용 손가락 상태만으로 한정되는 것은 아니다. 2개의 손가락을 편 상태를 나타내는 2개의 손가락 상태(도 70 참조), 3개의 손가락을 편 상태를 나타내는 3개의 손가락 상태(도 71 참조) 또는 4개의 손가락을 편 상태를 나타내는 4개의 손가락 상태(도 72 참조) 등과 같이 다양하게 정의될 수 있다. 또한, 1개의 손가락 상태가 지정되더라도, 상기 대상 손가락이 검지인 경우에만(도 6 및 도 7 참조), 상기 1개의 손가락 상태가 조작의사 표현용 손가락을 지정될 수 있는 한편, 또는 상기 대상 손가락이 중지인 경우에만(도 68 참조), 상기 1개의 손가락 상태가 조작의사 표현용 손가락 상태로 지정될 수 있다. 또한, 2개의 손가락 상태에서, 상기 대상 손가락이 검지와 중지인 경우에만(도 70 참조), 상기 2개의 손가락 상태가 상기 조작의사 표현용 손가락 상태로 지정될 수 있다. 또한, 상기 조작의사 표현용 손가락 상태에서의 손가락에 관한 상기한 정의(definition) 중에서, 하나의 정의가 적용되거나 여러 정의의 조합이 적용될 수 있다. 오조작을 방지하는 관점에서 보면, 사용자가 통상 행하지 않는 손의 상태가 상기 조작의사 표현용 손가락 상태로 지정되는 것이 바람직하다. 또한, 처리 관점으로부터 보면, 보다 식별하기 쉬운 손의 상태(손가락 상태)를 정의하는 것이 바람직하다.
3.5 제5 실시 예
이하 본 발명의 제3 실시 형태의 제5 실시 예를 설명한다.
도 9의 S2에서 간이 조작용 손가락 상태와 조작의사 표현용 손가락 상태와 같은 소정의 손가락 상태의 특정은 촬영 화상에 근거하여 실행되는 전술한 처리로 한정될 필요는 없다. 예를 들면, 소정 기간 동안, 터치 조작 영역(12a1)(원격 조작 영역)에 대하여 행해지는 터치 조작으로 인한 여러 입력 중에서, 제어 회로(18)는 상기 터치 조작 영역(12a1)에서의 다른 위치에서 행해지는 터치 조작에 의한 입력수를 특정한다(조작수 특정부 또는 조작수 특정 수단). 상기 소정 기간 동안의 조작수가 소정 수(간이 조작용 개수 또는 조작의사 표현용 개수)인 경우, 상기 소정의 손가락 상태가 특정될 수 있다. 예를 들면 1초 내에서(또는 동시에) 3회의 터치 조작이 서로 다른 세 위치에서 행해질 때의 경우에서, 3개의 손가락의 존재가 특정될 수 있다. 소정 개수의 손가락이 3개로 정의되는 경우, 상기 소정의 손가락 상태는 3개의 손가락의 존재의 상기 특정에 의해 특정될 수 있다. 구체적으로, 도 20에 나타낸 바와 같이, 표시 금지 모드(또한, 입력 금지 모드)가 설정되는 조건에서, 상기 터치 조작은 터치 조작 영역(12a1)에 대해 행해진다. 여기에서 상기 제어 회로(18)는 자신의 타이머(18b)를 작동시키고, 카운터(18c)를 카운트 업 하도록 시간 타이밍을 개시한다. 이에 따라 상기 제어 회로(18)는 시간 타이밍의 개시에서 터치 조작을 포함하는 터치 조작들에 의한 입력의 횟수를 카운트한다. 터치 조작이 터치 조작 영역(12a1)에 대해 행해지는 경우, 터치 위치 정보(예를 들면, 터치 조작 영역(12a1)에서의 위치 좌표)가 취득되는 것임을 알 수 있다. 여기에서, 상기 터치 조작 영역(12a1)에서 동일 위치에 대하여 행해지는 재-터치 조작은 입력으로서 카운트 업 되지 않는다. 또한, 소정 기간(t0)이 경과 한 때까지의 입력의 횟수가 소정의 손가락 상태를 정의하는 손가락의 개수와 동일한 경우, 조작자의 손의 현재 손가락 상태는 소정의 손가락 상태로서 특정된다. 상기 현재의 손가락 상태가 특정될 때로부터 개시되는 소정의 표시 허가 기간 동안에만, 상기 표시 허가 모드(추가 입력 허용 모드)가 설정된다. 상기 표시 허가 기간이 종료되는 경우, 상기 표시 금지 모드(추가 입력 금지 모드)는 다시 설정된다.
3.6 제6 실시 예
이하 본 발명의 제3 실시 형태의 제6 실시 예를 설명한다.
도 10에 나타낸 터치 조작 입력 처리에서, 표시 허가 모드가 설정되는 경우, 상기 원격 터치 조작 영역(12a1)에 대한 터치 조작 입력에 대응하는 제어 내용이 실행된다. 한편, 상기 대응하는 제어 내용의 실행이 허용되고, 상기 표시 금지 모드가 설정되는 경우, 상기 원격 터치 조작 영역(12a1)에 대한 터치 조작 입력에 대응하는 제어 내용은 실행되지 않는다. 즉 상기 대응하는 제어 내용의 실행은 금지된다. 한편, 다음과 같은 구성이 제공될 수 있다. 즉, 표시 허가 모드가 설정되지 않으며, 소정의 손가락 상태(여기에서는 조작의사 표현용 손가락 상태)가 특정되는 경우, 상기 원격 터치 조작 영역(12a1)에 대한 터치 조작 입력에 대응하는 제어 내용의 실행이 허용될 수 있는 한편, 상기 표시 금지 모드가 설정되지 않으며, 소정의 손가락 상태가 특정되지 않은 경우, 상기 원격 터치 조작 영역(12a1)에 대한 터치 조작 입력에 대응하는 제어 내용의 실행은 금지된다.
구체적으로, 다음과 같은 구성이 제공될 수 있다. 즉, 상기 소정의 손가락 상태(여기에서는 조작의사 표현용 손가락 상태)가 특정되는 경우, 상기 원격 터치 조작 영역(12a1)에 대한 터치 조작 입력의 수락은 허용된다. 상기 소정의 손가락 상태가 특정되지 않은 경우, 상기 원격 터치 조작 영역(12a1)에 대한 터치 조작 입력의 수락이 금지되는 조작입력 수락제어가 실행된다. 이하, 이러한 처리의 특정 흐름의 일 예를 도 14를 참조하여 설명한다.
S111에서 상기 제어 회로(18)는 조작 패널(12a)에 대한 터치 조작 입력의 유무를 판정한다. 상기 S111에서의 처리는 도 10의 S101에서의 처리와 유사하다. S112에서 상기 제어 회로(18)는 현재 손가락 상태가 소정의 손가락 상태(여기에서는 조작의사 표현용 손가락 상태)에 있는지 여부를 판정한다. 본 실시 예에서, 도 9의 S2 또는 도 17의 S12에서의 처리와 같고, 상기 현재의 손가락 상태가 소정의 손가락 상태인지 여부를 특정하기 위한 처리에 부가하여, 상기 현재의 손가락 상태가 특정된 후, 상기 특정된 현재의 손가락 상태가 제어 회로(18)의 기억부(18d)의 소정 기억 영역(손가락 상태 기억부)에 기억되는 처리를 실행한다. 그리고 S112에서 상기 기억 영역(손가락 상태 기억부)에 기억된 손가락 상태 정보에 근거하여 현재의 손가락 상태가 상기 소정의 손가락 상태인지 여부를 판정한다. 상기 소정의 손가락 상태인 것으로 판정되는 경우, 상기 처리는 S113으로 진행된다. 상기 소정의 손가락 상태가 아닌 것으로 판정되는 경우, 본 처리를 종료된다.
S113에서 상기 조작 패널(12a)에 대한 터치 조작 위치, 즉 상기 터치 조작 영역(12a1)에서의 터치 조작 위치가 특정된다. 이 처리는 도 10의 S013에서의 처리와 유사하다. 이어서 S114에서 상기 제어 회로(18)는 상기 조작 패널(12a)에 대한 터치 조작 위치에 대응하는 제어를 실행한다. 이 처리는 도 10의 S104에서의 처리와 유사하다. 본 처리가 S114의 종료에 의해 종료되더라도, 본 처리는 본 처리 이후더라도 소정 주기로 반복적으로 실행된다.
도 14에 나타낸 터치 조작 입력 처리를 실행하는 실시 예에서의 위치지시화상 표시 처리는 도 9, 도 17 , 그리고 후술할 위치 지시 화상 표시 처리 중 어떠한 것으로 이루어질 수 있다.
3.7 제7 실시 예
이하 본 발명의 제3 실시 형태의 제7 실시 예를 설명한다.
상기 실시 예들은 다음과 같이 구성된다. 상기 소정의 손가락 상태가 특정되는 경우, 위치 지시 화상의 표시를 허용하는 표시 허가 모드가 설정되고; 상기 소정의 손가락 상태가 특정되지 않은 경우, 위치 지시 화상의 표시를 금지하는 표시 금지 모드가 설정된다. 또한, 다음과 같은 구성이 제공될 수 있다. 차량이 소정 주행 상태에 있을 때, 상기 표시모드 전환제어가 실행되고, 상기 소정 주행 상태에 있지 않은 경우, 상기 표지 허용 모드가 상기 표시 모드로 설정된다. 이 경우, 차량 주행 상태 검출부 또는 차량 주행 상태 검출 수단이 포함될 필요가 있다. 도 11은 이러한 처리의 실시 예를 나타낸 것이다. 여기에서 상기 구성은 제어 회로(18)에 접속되어 차량의 차량 속도를 검출하는 차량 속도 센서(30)(차량 속도 검출부 또는 차량 속도 검출 수단)를 포함한다. 차량이 소정의 차량 속도 레벨(차량 속도 역치)을 초과하는 차량 주행 상태에 있을 경우, 상기 제어 회로(18)에 의해 상기 표시모드 전환제어가 실행된다. 차량이 상기 차량 주행 상태에 있지 않을 경우, 상기 표시 허가 모드가 손가락 상태와 관계없이 상기 표시 모드로 설정된다.
구체적으로, S21에서 상기 제어 회로(18)는 조작자의 손의 화상이 취득되었는지 여부를 판정한다. 이는 도 9의 S1에서의 처리와 유사하다. 조작자의 손의 화상이 취득된 경우, 상기 처리는 S22로 진행된다. 조작자의 손의 화상이 취득되지 않은 경우, 본 처리는 종료된다.
S22에서, 차량의 현재 주행 상태가 특정된다. 즉, 차량이 소정의 차량 속도 레벨을 초과하는 주행 상태에 있는지 여부를 판정한다. 상기 제어 회로(18)는 ROM 등의 소정 기억부(18d)에 차량 속도 역치를 미리 기억해 놓는다. 상기 차량 속도 센서(30)가 검출하는 차량 속도가 차량 속도 역치를 초과하는지 여부를 판정한다. 초과하는 경우, 차량 주행 상태로 특정된다. 초과하지 않는 경우, 저속 주행 상태(정지 상태 포함)로 특정된다. 여기에서, 상기 차량 속도 역치는 예를 들면 5km/h로 되는 것으로서 고정적으로 정의된다. S23에서 차량이 현재 상기의 차량 주행 상태인지 여부를 판정한다. 상기 차량 주행 상태에 있는 것으로 판정되는 경우, 상기 처리는 S24로 진행한다. 이에 대하여, 상기 차량이 상기의 차량 주행 상태에 있지 않은 것으로 판정되는 경우(차량이 정지 상태를 포함하는 저속 상태에 있는 것으로 판정되는 경우). 상기 처리는 S26으로 진행된다.
S24에서 조작자의 손(조작 손)이 소정의 손가락 상태(여기에서는 조작의사 표현용 손가락 상태)에 있는지 여부를 특정한다. 상기 소정의 손가락 상태의 특정은 도 9의 S2에서의 소정의 손가락 상태의 특정과 유사한 처리에 의해 실행된다. 계속해서 S25에서 현재 손가락 상태가 소정의 손가락 상태에 있는 것으로 판정되는 경우, 상기 처리는 S26으로 진행된다. 상기 소정의 손가락 상태에 있지 않은 것으로 판정되는 경우, 상기 처리는 S29로 진행된다.
S26에서 표시 모드는 위치 지시 화상의 표시가 허용되는 표시 허가 모드로 설정된다. 상기 표시 허가 모드는 제어 회로(18)의 기억부(18d)에 제공된 소정의 기억 영역(표시 모드 기억부)에 기억되어 있음을 알 수 있다. 이어지는 S27에서 상기 제어 회로(18)는 표시 장치(15)의 표시 화면과 촬영된 손 간의 위치 관계를 특정한다. 이 처리는 도 9의 S5의 처리와 유사하다. 이어서 S28에서 상기 표시 장치(15)의 표시 화면에 현재 표시된 메인 화상(200B)에 상기 위치 지시 화상(200H)이 중첩되어 표시된다(위치지시 화상표시부 또는 위치지시 화상표시 수단). 이 처리는 도 9의 S6의 처리와 유사하다.
구체적으로, S23에서 차량이 소정의 주행 상태에 있지 않은 것으로 판정되는 경우(차량이 정지 상태를 포함하는 저속 상태에 있는 것으로 판정되는 경우), 상기 손가락 상태에 근거하여 위치 지시 화상(200H)이 S27 및 S28에서의 처리를 통해 조작자의 손가락 상태와 관계없이 표시된다(도 27, 도 7 및 도 6의 (c) 참조). 한편, S22에서 차량이 차량 주행 상태에 잇는 것으로 판정되고, S25에서 현재 조작자의 손가락 상태가 소정의 손가락 상태(여기에서는 조작의사 표현용 손가락 상태)에 있는 것으로 판정되는 경우, 조작자가 실행하는 상기 소정의 손가락 상태에 근거하는 위치 지시 화상(200H)이 S27 및 S28에서의 처리를 통해 표시된다(도 6 및 도 7의 (c) 참조).
한편, S25에서 현재 손가락 상태가 상기 소정의 손가락 상태(여기에서는 조작의사 표현용 손가락 상태)에 있지 않은 것으로 판정되는 경우, 상기 처리는 S29로 진행된다. S29에서 상기 표시 모드는 위치 지시 화면(200)의 표시가 금지되는 표시 금지 모드로 설정된다. 이는 제어 회로(18)의 기억부(18d)의 소정의 기억 영역(표시 모드 기억부)에 기억되어 있다. 이에 따라 S27 및 S28에서 실행되는 위치 지시 화상(200H)은 실행되지 않고, 도 5의 (c)에 나타낸 바와 같이, 예를 들면 상기 위치 지시 화상(200H)은 표시 장치(15)의 표시 화면에 표시되지 않는다.
본 처리는 S28 및 S29에 의해 종료된다. 본 처리는 그 본 처리의 종료 이후라도 소정 주기로 반복적으로 실행되는 것임을 알 수 있다.
또한, 본 실시 예에서, 상기 소정의 차량 속도 레벨(차량 속도 역치)은 5km/h로 되는 것으로 정의된다. 상기 차량 속도 레벨을 초과하지 않는 차량의 서행 주행 상태에서는 항상 상기 표시 허가 모드가 설정된다. 이러한 차량 속도 레벨은 도 16에 나타낸 바와 같이 0km/h이상 5km/h 미만의 차량 속도 역치 범위 또는 5km/h이상 10km/h 미만의 차량 속도 역치 범위(차량 감속 주행 상태)에서의 범위 중 하나로 정의될 수 있다. 상기 차량 속도 레벨은 0km/h로서 정의될 수 있으며, 그러므로 상기 표시 허가 모드는 차량 정지 상태에서 항시 설정될 수 있다. 또한, 상기 차량 속도 레벨은 10km/h이상 30km/h 미만의 차량 속도 범위(차량 저속 주행 상태), 30km/h이상 60km/h 미만의 차량 속도 범위(차량 중속 주행 상태) 또는 60km/h 이상의 차량 속도 범위(차량 고속 주행 상태)로 정의될 수 있다.
또한, 도 11의 처리에서, 차량이 소정의 차량 주행 상태에 있을 경우(차량 속도 역치보다 큰 속도), 상기 표시모드 전환제어가 실행되며; 차량이 소정의 차량 주행 상태에 있지 않을 경우(차량이 차량 속도 역치보다 작은 속도를 갖는 경우), 상기 표시 허가 모드가 고정적으로 설정된다. 차량이 소정의 차량 주행 상태에 있을 경우(차량 속도 역치보다 큰 속도), 상기 표시 금지 모드가 고정적으로 설정될 수 있다. 상기 차량이 소정의 차량 주행 상태에 있지 않을 경우(차량이 차량 속도 역치보다 작은 속도를 갖는 경우), 상기 표시모드 전환제어가 실행될 수 있다.
3.8 제8 실시 예
이하 본 발명의 제3 실시 형태의 제8 실시 예를 설명한다.
상기의 실시 예에서, 상기 소정의 손가락 상태가 특정되는 경우, 위치 지시 화상의 표시를 허용하기 위한 표시 허가 모드가 설정된다. 상기 소정의 손가락 상태가 특정되지 않은 경우, 상기 위치 지시 화상의 표시를 금지하는 표시 금지 모드가 설정된다. 한편, 다음과 같은 구성이 제공될 수 있다. 운전자가 터치 조작 영역(12a1)의 조작자로서 특정되는 경우, 상기 표시모드 전환제어가 실행될 수 있다. 상기 차량이 상기 차량 주행 상태에 있지 않은 경우, 상기 표시 허가 모드가 손가락의 상태에 관계없이 상기 표시 모드로 설정될 수 있다. 이하 상기 처리의 특정 흐름을 도 12를 참조하여 설명한다.
구체적으로, S31에서 제어 회로(18)는 조작자의 손의 화상이 취득되었는지 여부를 판정한다. 이는 도 9의 S1에서의 처리와 유사하다. 조작자의 손의 화상이 취득되는 경우, 상기 처리는 S32로 진행된다. 상기 조작자의 손의 화상이 취득되지 않은 경우, 본 처리는 종료된다.
S32에서 조작 패널(12a)에 대향하는 손을 갖는 조작자가 운전자인지 여부를 특정한다(조작자 특정부 또는 조작자 특정 수단). 상기 조작자의 특정은 예를 들면 도 15에 나타낸 카메라(20)에 의한 촬영 화상(도 8)에 근거하여 실행될 수 있다. 구체적으로, 팔로부터 연장하는 방향이 카메라(20)의 촬영 화상으로부터 특정되고, 그 방향이 운전자 좌석(운전석)(2D) 측으로부터 연장하는지 여부를 판정하여 조작자가 운전자인지 여부를 특정한다. S33에서 조작 패널(12a)의 조작자가 운전자인지 여부를 판정한다. 조작자가 운전자인 것으로 판정되는 경우, 상기 처리는 S34로 진행된다. 한편, S33에서 조작 패널(12a)의 조작자가 운전자가 아닌 다른 사람으로 판정되는 경우, 상기 처리는 S36으로 진행된다.
S34에서 조작자인 운전자의 손(조작 손)이 소정의 손가락 상태(여기에서는 조작의사 표현용 손가락 상태)에 있는지 여부를 특정한다. 상기 소정의 손가락 상태의 특정은 도 9의 S2의 처리에 의해 실행된다. 다음으로 S35에서 현재 손가락 상태가 상기 소정의 손가락 상태에 있는지 여부를 판정한다. 상기 현재 손가락 상태가 상기 소정의 손가락 상태에 있는 것으로 판정되는 경우, 상기 처리는 S36으로 진행된다. 상기 소정의 손가락 상태에 있지 않은 것으로 판정되는 경우, 상기 처리는 S39로 진행된다.
S36에서 표시 모드는 위치 지시 화상의 표시가 허용되는 표시 허가 모드로 설정된다. 상기 표시 허가 모드는 제어 회로(18)의 기억부(18d)에 제공된 소정의 기억 영역(표시 모드 기억부)에 기억되어 있음을 알 수 있다. 다음으로 S37에서, 상기 제어 회로(18)는 표시 장치(15)의 표시 화면과 촬영된 손 간의 위치 관계를 특정한다. 이러한 처리는 도 9의 S5의 처리와 유사하다. 이어서 S38에서 위치 지시 화상(200H)은 표시 장치(15)의 표시 화면에 현재 표시되는 메인 화상(200B) 상에 중첩되어 표시된다(위치 지시 화상 표시부 또는 위치지시 화상 표시 수단). 이러한 처리는 도 9의 S6의 처리와 유사하다.
구체적으로, S33에서 운전자 이외의 사람이 조작 패널(12a)의 조작자로서 특정되는 경우, S37 및 S38에서의 처리에서, 상기 조작자의 손가락 상태에 관계없이 손가락 상태에 근거한 위치 지시 화상(200H)이 표시된다(도 27, 도 7 및 도 6의 (c) 참조). 한편, S32에서 조작 패널(12a)의 조작자로서 운전자가 특정되고, S35에서 현재 손가락 상태가 상기 소정의 손가락 상태(여기에서는 조작의사 표현용 손가락 상태)로 판정되는 경우, S37 및 S38에서의 처리를 통해 운전자가 실행하는 상기 소정의 손가락 상태에 근거한 위치 지시 화상(200H)이 표시된다(도 6 및 도 7의 (c) 참조).
한편, S35에서 현재 손가락 상태가 상기 소정의 손가락 상태(여기에서는 조작의사 표현용 손가락 상태)인 것으로 판정되는 경우, 상기 처리는 S39로 진행된다. S39에서, 상기 표시 모드는 위치 지시 화상의 표시가 금지되는 표시 금지 모드로 설정된다. 이는 제어 회로(18)의 기억부(18d)의 소정의 기억 영역(표시 모드 기억부)에 기억되어 있다. 따라서, S37 및 S38에서 실행되는 위치 지시 화상(200H)의 표시는 실행되지 않으며, 도 5의 (c)에 나타낸 바와 같이, 예를 들면 상기 위치 지시 화상(200H)은 표시 장치(15)의 표시 화면에 표시되지 않는다.
S38 및 S39가 종료된 다음 본 처리는 종료된다. 본 처리의 종료 이후라도 본 처리는 소정 주기로 반복되게 실행되는 것임을 알 수 있다.
3.9 제9 실시 예
이하 본 발명의 제3 실시 형태의 제9 실시 예를 설명한다.
본 실시 예는 앞서 설명된 위치지시 화상표시처리를 도 11 및 도 12 모두의 통합에 의한 처리로 대체된다. 즉, 차량의 주행 상태(예를 들면, 차량의 차량 속도)가 검출되고, 또한 원격 터치 조작 영역(12a1)의 조작자가 운전자인지 여부를 특정한다. 따라서 상기 차량의 소정의 주행 상태(예를 들면, 소정 차량 속도 레벨보다 작은 저속 주행 상태에 있지 않은 주행 상태, 정지 상태를 포함하는 저속 주행 상태)에 있는 것으로 판정되고, 상기 원격 터치 조작 영역(12a1)의 조작자가 운전자로서 특정된다. 이 경우, 상기 소정의 손가락 상태가 특정되는 경우에만, 위치 지시 화상(200H)의 표시가 허용되는 반면, 상기 소정의 손가락 상태가 특정되지 않은 경우, 상기 위치 지시 화상(2O0H)의 표시는 금지된다. 상기 차량이 소정 주행 상태에 있지 않은 것으로 판정되는 경우, 그리고 상기 원격 터치 조작 영역(12a1)의 특정된 조작자가 운전자가 아닌 경우, 또는 앞의 두 부정 조건이 동시에 발생하는 경우, 상기 위치 지시 화상(200H)의 표시는 특정된 손가락 상태와 관계없이 허용될 수 있다. 이하, 상기 처리의 특정 흐름을 도 13을 참조하여 설명한다.
즉, S41에서 상기 원격 터치 조작 영역(12a1)의 조작자의 손의 화상이 취득될 때(도 9의 S1에서의 처리와 유사), S42 및 S43에서 차량이 소정 주행 상태에 있는지 여부를 판정한다(도 11의 S22, S23에서의 처리와 유사). 소정 주행 상태에 있을 경우, 상기 처리는 상기 원격 터치 조작 영역(12a1)의 조작자가 운전자인지 여부를 판정하는 S44 및 S45로 진행된다(도 12의 S32, S33과 유사한 처리).
S42 내지 S45에서 상기 차량이 소정 주행 상태에 있는 것으로 판정되고, 상기 원격 터치 조작 영역(12a1)의 조작자가 운전자인 것으로 판정되는 경우, 상기 처리는 S46 및 S47로 진행된다. 여기에서, 상기 조작자의 손(조작 손)이 소정의 손가락 상태(여기에서는 상기 조작의사 표현용 손가락 상태)에 있는지 여부를 특정한다(도 9의 S3 및 S3에서의 처리와 유사한 처리). 현재 손가락 상태가 상기 소정의 손가락 상태에 있는 것으로 판정되는 경우, 상기 처리는 S48로 진행된다. 상기 소정의 손가락 상태에 있지 않은 것으로 판정되는 경우, 상기 처리는 S51로 진행된다.
S48에서 상기 표시 모드는 표시 허가 모드로 설정된다. 이는 제어 회로(18)의 기억부(18d)에서의 소정의 기억 영역(표시모드 기억부)에 기억되어 있다. 이어서 S49에서, 상기 제어 회로(18)는 표시 장치(15)의 표시 화면과 촬영된 손 간의 위치 관계를 특정한다. 또한, S50에서 상기 위치 지시 화상(200H)은 표시 장치(15)의 표시 화면에 현재 표시되는 메인 화상(200B)에 중첩되어 표시된다(위치지시화상 표시부 또는 위치지시화상 표시 수단). 이러한 처리는 도 9의 S4 내지 S6에서의 처리와 유사하다.
구체적으로, S42에서 차량이 차량 주행 상태가 아닌 경우, 또는 S44에서 운전자 이외의 조작자가 조작 패널(12a)의 조작자로서 특정되는 경우, S48 내지 S50에서의 처리에서, 상기 손가락 상태에 근거한 위치 지시 화상(2OOH)은 조작자의 손가락 상태에 관계없이 표시된다(도 27, 도 7 및 도 6의 (c) 참조). 한편, S42에서 차량이 차량 주행 상태에 있는 것으로 판정되고, S44에서 운전자가 조작 패널(12a)의 조작자로서 특정되는 경우, 그리고 S46에서 상기 소정의 손가락 상태(여기에서는 조작의사 표현용 손가락 상태)가 특정되는 경우, 운전자가 실행하는 상기 소정의 손가락 상태에 근거한 위치 지시 화상(200H)이 S48 내지 S50에서의 처리를 통해 표시된다(도 6 및 도 7의 (c) 참조).
한편, S47에서 상기 현재 손가락 상태가 소정의 손가락 상태(여기에서는 조작의사 표현용 손가락 상태)가 아닌 것으로 판정되는 경우, 상기 처리는 S51로 진행된다. S51에서 상기 표시 모드는 표시 금지 모드로 설정된다. 이는 제어 회로(18)의 기억부(18d)의 소정 기억 영역(표시모드 기억부)에 기억되어 있다. 이에 따라 S49 및 S50에서 실행되는 상기 위치 지시 화상(200H)의 표시는 실행되지 않으며, 도 5의 (c)에 나타낸 바와 같이, 예를 들면 상기 위치 지시 화상(2OOH)은 표시 장치(15)의 표시 화면에 표시되지 않는다.
S50 및 S51이 종료된 다음 본 처리는 종료된다. 본 처리의 종료 이후라도 본 처리는 소정 주기로 반복적으로 실행되는 것임을 알 수 있다.
차량이 소정 차량 주행 상태에 있고(역치보다 큰 차량 속도), 도 13의 처리에서 조작자가 운전자인 경우, 상기의 표시모드 전환제어가 실행된다. 이외의 경우, 즉 차량이 상기 소정의 차량 주행 상태에 있지 않은 경우(차량이 차량 속도 역치보다 작은 차량 속도를 갖는 경우) 또는 조작자가 운전자가 아닌 경우, 상기 표시 허가 모드는 고정적으로 설정된다. 한편, 다음의 예시가 제공될 수 있다. 즉, 차량이 상기 소정 차량 주행 상태에 있고, 또한 조작자가 운전자인 경우, 상기 표시 금지 모드는 고정적으로 설정될 수 있다. 차량이 소정의 차량 주행 상태에 있지 않고, 또한 조작자가 운전자인 경우, 상기 표시모드 전환제어가 실행될 수 있다. 이외의 경우(조작자가 운전자가 아닌 경우), 상기 표시 허가 모드가 고정적으로 설정될 수 있다.
3.10 제10 실시 예
이하 본 발명의 제3 실시 형태의 제10 실시 예를 설명한다.
앞의 실시 예에서, 손 화상 촬영부 또는 손 화상 촬영 수단으로서 제공되는 카메라(12b)는 터치 패널(12a)의 터치 조작 영역(전면)(12a1)이 대향하는 차량 객실의 고정 영역을 촬영하는 카메라이다. 앞의 실시 예들에서 설명한 바와 같이, 상기 카메라는 터치 패널(12a)의 후면(12a2) 측으로부터 화상을 촬영하도록 구성된다. 본 제3 실시 형태는 이러한 구성에 제한되지 않는다. 예를 들면, 도 15에 나타낸 바와 같이, 터치 패널(12a)의 터치 조작 영역(12a1)을 경사 상측으로부터 촬영하고, 상기 터치 조작 영역(12a1)에 접근하는 접근 대상물을 그 터치 조작 영역(12a1) 측으로부터 촬영할 수 있도록 차량의 중앙 콘솔부(C)에 카메라가 배치될 수 있다. 이 경우에서, 앞의 실시 예들과 달리, 촬영에서의 특정 화상(예를 들면, 손의 화상)을 추출하고 표시 장치(15)에 표시하는 경우, 화상을 좌우 반전하는 처리는 생략될 수 있다. 또한, 손 화상 촬영부 또는 손 화상 촬영 수단으로서 제공되는 상기 카메라(12b)는 조작 패널(12a)의 터치 조작 영역(12a1)을 포함하는 주변 영역의 화상을 촬영하는 카메라(20)로서 제공될 수 있다.
3.11 제11 실시 예
이하, 본 발명의 제3 실시 형태의 제11 실시 예를 설명한다.
상기 표시 장치(15)에 표시되는 모든 조작 표시 화면에서, 전술한 표시모드 전환제어가 실행되는 구성이 제공된다. 한편, 이러한 표시모드 전환제어는 소정의 조작 표시 화면에서만 실행될 수 있다. 한편, 상기 표시 허가 모드 또는 표시 금지 모드는 다른 조작 표시 화면에서 고정적으로 설정될 수 있다.
상기 제어 회로(18)로부터의 제어 지령에 근거하여, 상기 표시 장치(15)는 표시 화면에서 터치 조작 영역(12a1)에 대한 가압 조작에 의한 입력이 수락되는 다수의 조작 표시 화면(200)의 전환을 실행할 수 있다(조작 표시 화면 표시부 또는 조작 표시 화면 표시 수단). 예를 들면, 상기 다수의 조작 표시 화면(200)은 도 22에 나타낸 메뉴 선택 화면(2003), 도 23에 나타낸 바와 같이 차량 공조기의 풍량 설정 화면(2004), 도 24에 나타낸 카 오디오의 볼륨 설정 화면(2005), 앞서 언급한 카 네비게이션의 맵 표시 화면(2002)(도 7의 (c)), 및 문자 입력 화면(2001)(도 27의 (c)) 등을 포함한다. 이들 화면은 다양한 입력에 따라 전환될 수 있다. 이들 다수의 조작 표시 화면 중으로부터 상기의 표시모드 전환제어에 대한 실행 대상의 조작 표시 화면을 특정할 수 있는 표시모드실행 적용가능 정보가 제공된다. 상기 표시모드실행 적용가능 정보는 제어 회로(18)의 소정 기억 영역(표시모드실행 적용가능 정보 기억부 또는 표시모드실행 적용가능 정보 기억 수단)에 미리 기억된다. 상기 제어 회로(18)는 위치지시화상 표시 처리를 실행할 때 상기 표시 모드 실행 적용가능 정보를 참조한다. 이에 따라 상기 표시 장치(15)에 표시되는 조작 표시 화면이 상기의 표시모드 전환제어에 대한 실행 대상일 경우에만, 상기 제어 회로(18)는 특정된 조작 표시 화면에서 표시모드 전환제어를 실행할 수 있다. 이하, 상기 처리의 특정 흐름을 도 21을 참조하여 설명한다.
S61에서. 상기 제어 회로(18)는 조작자의 손의 화상이 취득되었는지 여부를 판정한다. 이는 도 9의 S1에서의 처리와 유사하다. 조작자의 손의 화상이 취득되는 경우, 상기 처리는 S62로 진행된다. 조작자의 손의 화상이 취득되지 않은 경우, 본 처리는 종료된다.
S62에서 상기 제어 회로(18)는 현재 표시되는 한 종류의 조작 표시 화면(200)을 특정하고, 표시모드 전환제어를 위한 소정의 실행 대상인지 여부를 특정한다. 여기에서, 상기 제어 회로(18)의 기억부(18d)의 소정 기억 영역에 기억된 표시모드실행 적용가능 정보가 이용된다. 상기 조작 표시 화면 중, 상기 터치 조작 영역(12a1)에 대한 가압 조작이 소정 조작 부하(load) 레벨을 초과하는 조작을 포함하는 복잡 조작 표시 화면이 상기 표시모드 전환제어를 위한 실행 대상으로 되도록 판정되고, 상기 터치 조작 영역(12a1)에 대한 가압 조작이 소정의 조작 부하 레벨을 초과하지 않는 조작만을 포함하는 간이 조작 표시 화면이 표시 허가 모드의 고정 설정 대상으로 판정된다. 상기 제어 회로(18)는 표시모드실행 적용가능 정보를 참조하고, 이에 따라 현재 표시되는 조작 표시 화면(200)이 상기 표시모드 전환제어를 위한 실행 대상인지 여부를 특정한다.
상기 표시모드실행 적용가능 정보는 다음과 같이 화면 종별을 분류한 정보로서 기억되는 것임을 알 수 있다. 상기 표시 장치(15)는 표시 화면에서 하나 이상의 조작 입력 화상을 표시한다. SI는 조작 입력 화상의 전체 영역 또는 조작 입력 화상(200I)(조작 아이콘)에 상응하여 터치 조작 영역(12a1)에서 정의되는 전체 가압 조작 영역의 전체 영역으로서 정의된다. SA는 표시 화면의 전체 표시 화면의 전체 영역 또는 터치 조작 영역(12a1)의 전체 구역의 전 영역으로서 정의된다. 여기에서, 비율 SI/SA가 소정 비율 SO보다 큰 경우, 그 조작 표시 화면은 복잡 조작 표시 화면으로 되는 것으로 판정되고, 상기 비율 SI/SA가 소정의 비율 SO보다 크지 않은 경우, 다른 조작 표시 화면이 간이 조작 표시 화면으로 되는 것으로 판정될 수 있다(도 73의 예 1 참조). 또한, KI는 조작 입력 화상의 개수 또는 조작 입력 화상(200I)(조작 아이콘)에 대응하여 상기 터치 조작 영역(12a1)에 형성되는 가압 조작 영역들의 전체 개수로서 정의된다. 여기에서, 개수 KI이 소정 개수 KO보다 큰 경우, 그 조작 표시 화면은 복잡 조작 표시 화면으로 되는 것으로 판정될 수 있고, 개수 KI가 소정 개수 KO보다 크지 않은 경우, 다른 조작 표시 화면이 간이 조작 표시 화면으로 되는 것으로 판정될 수 있다(도 73의 예2 참조). 또한, LI는 조작 입력 화상들간의 간격 또는 조작 입력 화상(20OI)(조작 아이콘)에 대응하여 터치 조작 영역(12a1)에서 정의되는 인접하는 가압 조작 영역들의 간격으로서 정의된다. 여기에서, 상기 간격 LI이 소정 간격 LO보다 좁은 경우, 그 조작 표시 화면은 복잡 조작 표시 화면으로 되는 것으로 판정될 수 있고, 상기 간격 LI가 소정 간격 LO보다 좁지 않은 경우, 다른 조작 표시 화면이 간이 조작 표시 화면으로 되는 것으로 판정될 수 있다(도 73의 예 3 참조). 여기에서 상기 간이 조작 표시 화면은 도 22 내지 도 24 및 도 7의 (c)에서의 화면 2003, 2004, 2005를 예로 들 수 있다. 상기 복잡 조작 표시 화면은 도 27의 (c)에서 문자 입력 화면 2001(예를 들면, 목적지 명칭 입력 화면 등)을 예로 들 수 있다.
S62에서 상기 제어 회로(18)는 상기의 복잡 조작 표시 화면 및 간이 조작 표시 화면을 특정할 수 있는 표시모드실행 적용가능 정보를 참조하고, 이에 따라 현재 표시되는 조작 표시 화면(200)이 상기 표시모드 전환제어를 위한 실행 대상(즉, 여기에서는 상기 복잡 조작 표시 화면)인지 여부를 특정한다. 특정되는 경우, 상기 처리는 S63으로 진행된다. S63에서 현재 표시되는 조작 표시 화면(200)이 표시모드 전환제어의 실행 대상으로 판정되는 경우, 상기 처리는 S69로 진행된다. 상기 표시모드 전환제어의 실행 대상이 아닌 것으로 판정되는 경우, 상기 처리는 S66으로 진행된다.
S64에서 조작자의 손(조작 손)이 소정의 손가락 상태(여기에서는 조작의사용 표현 손가락 상태)에 있는지 여부를 판정한다(도 9의 S2에서의 처리와 유사). 이어서 S65에서 현재 손가락 상태가 상기 소정의 손가락 상태에 있는 것으로 판정되는 경우, 상기 처리는 S66으로 진행된다. 상기 소정의 손가락 상태에 있지 않은 것으로 판정되는 경우, 상기 처리는 S69로 진행된다.
S66에서, 상기 표시 모드는 표시 지시 화상의 표시가 허용되는 표시 허가 모드로 설정된다. 상기 표시 허가 모드는 제어 회로(18)의 기억부(18d)에 제공되는 소정 기억 영역(표시 모드 기억부)에 기억되는 것임을 알 수 있다. 이어서 S67에서 상기 제어 회로(18)는 표시 장치(15)의 표시 화면(200)과 촬영된 손 간의 위치 관계를 특정한다(도 9의 S5에서의 처리와 유사). 계속해서 S68에서, 상기 표시 지시 화상(200H)은 표시 장치(15)의 표시 화면(200)에서 현재 표시되는 메인 화상(200B)에 중첩되어 표시된다(위치지시화상 표시부 또는 위치지시화상 표시 수단; 도 9의 S6에서의 처리와 유사).
구체적으로, S62에서 현재 표시되는 조작 표시 화면(200)이 표시모드 전환제어의 실행 대상이 아닌 것으로 판정되는 경우(간이 조작 표시 화면인 것으로 특정되는 경우), S67 및 S68에 있어서의 처리에서, 손가락 상태에 근거한 위치 지시 화상(200H)이 조작자의 손가락 상태와 관계없이 표시된다(도 27, 도 7 및 도 6의 (c) 참조). S62에서 현재 표시되는 상기 조작 표시 화면(200)이 표시모드 전환제어의 실행 대상인 것으로 판정되는 경우(여기에서, 복잡 조작 표시 화면인 것으로 특정되는 경우). 조작자에 의해 실행되는 상기 조작의사용 손가락 상태에 근거한 위치 지시 화상(200H)은 S67 및 S68에서의 처리를 통해 표시된다(도 6 및 도 7의 (c) 참조).
한편, S65에서 현재 손가락 상태가 상기 소정의 손가락 상태가 아닌 것으로 판정되는 경우, 상기 처리는 S69로 진행된다. S69에서, 표시 모드는 위치 지시 화면(200)의 표시를 금지하는 표시 금지 모드로 설정된다. 이는 제어 회로(18)의 기억부(18d)의 소정 기억 영역(표시 모드 기억부)에 저장된다. 이에 따라 S67 및 S68에서 실행되는 위치 지시 화상(200H)의 표시는 실행되지 않고, 예를 들면 도 5의 (c)에 나타낸 바와 같이 상기 표시 지시 화상(200H)은 표시 장치(15)의 표시 화면(200)에 표시되지 않는다.
본 처리는 S68 및 S69에 의해 종료된다. 본 처리는 그 본 처리의 종료 이후라도 소정 주기로 반복되게 실행된다.
도 21의 처리에서, 상기의 표시모드 전환제어는 복잡 조작 표시 화면에서 실행되고, 상기 표시 허가 모드는 간이 조작 표시 화면에서 고정적으로 설정된다. 다른 예가 다음과 같이 제공될 수 있다. 상기 표시 금지 모드는 복합 조작 표시 화면에서 고정적으로 설정될 수 있고, 상기 표시모드 전환제어는 간이 조작 표시 화면에서 실행될 수 있다.
3.12 제12 실시 예
이하 본 발명의 제3 실시 형태의 제12 실시 예를 설명한다.
상기 제2 내지 제11 실시 예는 다음과 같이 구성된다. 상기 소정의 손가락 상태가 조작자의 손가락 상태로서 특정되는 경우, 상기 제1 실시 예에서 위치 지시 화상(200H)의 강조 표시는 소정의 표시 허가 기간에만 실행된다. 이에 반하여, 다른 경우에서,는 상기 위치 지시 화상(200H)은 표시되지 않는다. 또한, 상기 조작의사용 표현 손가락 상태는 소정의 손가락 상태(도 75의 예시 1)로서 정의된다. 다른 특징적인 손가락 상태가 이용될 수 있다. 또한, 상기 간이 조작용 손가락 상태(조작을 간단히 행할 수 있는 손가락 상태(특정의 개수 또는 종별의 손가락이 연장한 상태): 도 75의 예시 2)가 선택적으로 정의될 수 있다.
3.13 다른 실시 예
이하 제3 실시 형태의 다른 실시 예에 대해서는 제1 실시 형태의 1.11의 다른 실시 예와 동일할 수 있다. 이에 대한 설명은 생략한다.
4. 설명의 관점
상기 설명의 제1 관점으로서, 차량용 조작 입력 장치는 다음과 같이 제공될 수 있다. 표시부는 차량의 장치의 조작을 실행하기 위한 표시 화면을 갖도록 포함된다. 원격 조작부는 상기 표시 화면으로부터 별도의 위치에 배치되고, 상기 표시 화면의 조작 입력을 원격으로 실행하기 위한 원격 조작부를 갖도록 포함된다. 입력 수락부는 상기 원격 조작부에 대한 가압 조작에 근거하여 가압 조작 위치에 대응하는 입력을 수락하도록 포함된다. 손 화상 촬영부는 상기 원격 조작부에 대향하는 손의 화상을 촬영하도록 포함된다. 위치지시화상 표시부는 손의 의해 지시된 위치를 상기 표시 화면에서의 위치에서 손의 촬영 화상에 근거하여 생성되는 위치 지시 화상을 표시하도록 포함된다. 간이 조작용 손가락 상태 특정부는 상기 원격 조작 영역에 대향하는 손의 손가락 상태가 소정의 간이 조작용 손가락 상태인지 여부를 특정하도록 포함된다. 표시 모드 설정부는 상기 위치 지시 화상 표시부에 설정되는 표시 모드의 표시모드 전환제어를 실행하도록 포함된다. 여기에서, 상기 표시모드 설정부는 상기 간이 조작용 손가락 상태가 특정되는 경우에 상기 위치 지시 화상의 표시를 허용하는 표시 허가 모드로 상기 표시 모드를 설정하고, 상기 간이 조작용 손가락 상태가 특정되지 않은 경우에는 상기 위치 지시 화상의 표시를 금지하는 표시 금지 모드로 상기 표시 모드를 설정한다.
전술한 구성에 따르면, 상기 원격 조작부에 대한 조작이 5개의 손가락을 이용하고 난이도가 높은 손가락 상태에 의한 조작인 경우에, 상기 조작의 표시(상기 표시부에서 조작 화면에서의 위치 지시 화상으로서 상기 원격 조작부에 조작 상태를 표시하는 것)은 제한된다. 이는 원격 조작부에 대한 의도하지 않는 오조작을 방지할 수 있고, 표시된 손가락과 실제 조작자가 원격 조작부로의 위치 지시에 사용하고자 하는 손가락과의 대응 관계를 알 수 없게 되도록 하는 것도 없앨 수 있다.
또한, 차량의 차량 속도를 검출하는 차량 속도 검출부가 제공될 수 있다. 이 경우, 상기 표시 모드 설정부는 다음과 같이 설정한다. 차량이 소정의 차량 속도 레벨을 초과하는 차량 주행 상태일 경우, 상기 표시모드 전환제어가 실행될 수 있고, 상기 차량 주행 상태에 있지 않은 경우, 상기 표시 허가 모드가 표시 모드로 설정될 수 있다. 이러한 구성에서, 예를 들면 차량 정지 상태에 있어서, 고 난이도를 갖는 손가락 상태에 의한 조작 입력은 상기 원격 조작부에 대한 조작으로서 허용되고, 이에 따라 다양하게 조작하기 쉬운 방식으로 조작 입력을 행할 수 있다. 이에 반하여, 소정 속도보다 높은 차량 주행에서 상기 조작 표시는 규제되고, 이에 따라 원격 조작부에 대한 조작으로서 보다 단순하고 조작이 용이한 특정의 손가락 상태에서의 조작이 강제되고, 특히 운전자에 의한 오조작이 발생하기 어렵게 되며, 표시되는 손가락과 실제 사용하는 손가락 간의 대응 관계를 알 수 없게 되는 것을 없앨 수 있다.
또한, 상기 원격 조작 영역의 조작자가 운전자인지 여부를 특정하기 위한 조작자 특정부가 구성될 수 있다. 이 경우, 상기 표시 모드 설정부는 다음과 같이 실행될 수 있다. 운전자가 상기 원격 조작 영역의 조작자로서 특정되는 경우, 상기 표시모드 전환제어가 실행되고, 상기 원격 조작 영역의 조작자로서 운전자가 특정되지 않은 경우, 상기 표시 모드로서 표시 허가 모드로 설정된다. 이러한 구성에서, 예를 들면 상기 원격 조작 영역의 조작자가 예를 들면 조수석 탑승자 등의 운전자 이외의 사람이면, 고 난이도를 갖는 손가락 상태의 조작 입력이 상기 원격 조작부에 대한 조작으로서 허용될 수 있고, 이에 따라 다양하게 용이한 조작 방식으로 조작 입력을 행할 수 있다. 한편, 상기 원격 조작 영역의 조작자가 운전자인 경우, 상기 조작 표시는 규제되고, 이에 따라 원격 조작부에 대한 조작으로서 보다 단순하고 조작이 용이한 특정의 손가락 상태에서의 조작이 강제되고, 특히 운전자에 의한 오조작이 발생하기 어렵게 되며, 표시되는 손가락과 실제 사용하는 손가락 간의 대응 관계를 알 수 없게 되는 것을 없앨 수 있다.
조작 입력 수락 제어를 실행하기 위한 조작 입력 수락 제어부가 제공될 수 있다. 여기에서, 상기 표시 허가 모드가 표시 모드 설정부에 의해 설정되는 경우, 상기 입력 수락부에 의한 입력의 수락이 허용되고, 표시 금지 모드가 설정되는 경우, 상기 입력 수락부에 의한 입력의 수락은 금지된다. 상기 조작 입력 장치에서 조작 표시가 이루어지지 않는다면, 상기 원격 조작부로부터의 위치 지시 조작은 어렵게 된다. 이러한 구성하에서, 위치 지시 화상을 표시하기 위한 표시 허가 모드에서만 입력의 수락이 허용된다. 그러므로 상기 원격 조작부에 대한 오조작을 확실하게 방지할 수 있다. 역으로 말하자면, 위치 지시 화상의 표시는 상기 원격 조작부에 대한 입력의 수락이 가능할 때에만 가능하다. 위치지시 화상의 쓸모없는 표시는 감소되고, 전력 절약의 효과도 얻는다.
조작 입력 수락 제어를 실행하기 위한 조작 입력 수락 제어부가 제공될 수 있다. 여기에서, 상기 간이 조작용 손가락 상태가 간이 조작용 손가락 상태 특정부에 의해 특정되는 경우, 상기 입력 수락부에 의한 입력의 수락은 허용되고, 상기 간이 조작용 손가락 상태가 특정되지 않은 경우, 상기 입력 수락부에 의한 입력의 수락은 금지된다. 이러한 구성에서, 상기 표시 모드와 관계없이, 상기 간이 조작용 손가락 상태가 특정되는 경우에만, 상기 원격 조작부에 대한 입력의 수락이 허용된다. 이는 원격 조작부에 대한 오조작이 확실하게 방지될 수 있다.
또한, 상기 간이 조작용 손가락 상태 특정부는 그 간이 조작용 손가락 상태가 손 화상 촬영부에 의해 촬영된 손의 화상에 근거하여 특정되도록 구성될 수 있다. 구체적으로, 상기 간이 조작용 손가락 상태 특정부는 상기 손 화상 촬영부에 의해 촬영된 손의 화상에 근거하여 상기 원격 조작부에 대향하는 손의 손가락의 형상을 인식하는 손가락 형상 인식부를 포함한다. 상기 인식된 손가락 상태가 간이 조작을 위한 소정의 손가락 상태인 경우, 상기 간이 조작용 손가락 상태가 특정된다. 이러한 구성에서, 상기 손 화상 촬영부에 의해 촬영된 손 화상은 지시 위치의 표시뿐만 아니라 상기 간이 조작용 손가락 상태의 특정을 위하여 이용될 수 있다. 즉, 상기 화상 촬영부는 하나 이상의 이용을 위하여 기능을 하는 구성으로 제공될 수 있다. 상기 구성의 쓸모없는 부가 구성은 생략될 수 있고, 이는 저 코스트화를 제공한다.
상기 간이 조작용 손가락 상태 특정부는 손가락 형상 인식부에 의해 인식되고, 원격 조작 영역에 대략 평행하게 연장되는 상태에 있는 손가락의 개수를 특정하는 손가락 개수 특정부를 포함할 수 있다. 상기 원격 조작 영역과 대략 평행하게 연장되는 상태에서 상기 특정된 손가락 개수가 상기 간이 조작용의 소정의 개수인 경우, 현재 손가락 상태는 상기 간이 조작용 손가락 상태로서 특정된다. 연장된 상태의 손가락을 카운팅하는 것은 화상 분석에 의해 용이하게 실행될 수 있어 카운팅의 오류는 적어진다. 또한, 상기 손가락이 연장되는 상태는 그대로 조작에 이용될 수 있는 손가락 형상이기 때문에, 조작자는 그 간이 조작용 손가락 상태 대로의 조작을 개시할 수 있고, 이에 따라 뛰어난 조작성을 제공한다.
상기 간이 조작용 손가락 상태 특정부는 미리 정해진 기간 동안에 입력 수락부가 수락한, 상기 원격 조작 영역의 다른 위치에서 이루어진 가압 조작에 의한 입력의 수를 특정하는 조작수 특정부를 포함할 수 있다. 상기 미리 정해진 기간 동안 특정된 입력수가 간이 조작용에 대한 수일 때, 현재 손가락 상태는 간이 조작용 손가락 상태로서 특정된다. 이 구성에서, 상기 간이 조작용 손가락 상태는 사용자에 의한 소정 수의 터치 조작으로부터 용이하게 특정될 수 있다.
상기 간이 조작을 위한 손가락 개수는 1개의 손가락으로서 정의될 수 있다. 손 조작이 표시되는 조작 입력 장치에 있어서, 원격 조작부를 조작하는 경우, 위치 지시에 사용되는 손가락의 개수가 적을수록 조작 난이도가 낮아진다. 따라서, 손가락 개수가 가장 적은 1개의 손가락 상태가 가장 단순하고 알기 쉬운 조작용 손가락 상태로 된다. 또한, 1개의 손가락 상태는 심플한 손가락 상태를 가지며, 1개의 손가락 상태를 특정하는 처리를 용이하게 한다.
상기 간이 조작을 위한 손가락의 개수는 4개, 3개(바람직함) 또는 2개(보다 바람직함)로 될 수 있다. 또한, 상기 2개의 손가락 상태는 비교적 심플한 손가락 상태를 갖으며, 이에 따라 간이 조작용 손가락 상태를 특정하는 처리를 보다 용이하게 할 수 있다. 또한, 3개의 손가락 상태 및 4개의 손가락 상태 각각은 비교적 심플한 손가락 상태이다. 또한, 이들 손가락 상태는 사용자가 우연히 형성하는 손의 형상을 갖지 않으며, 그러므로 오조작을 확실히 방지하여 실행할 수 있다.
상기 간이 조작용 손가락 상태 특정부는 상기 손가락 형상 인식부에 의해 인식되고, 상기 원격 조작 영역과 대략 평행하게 연장하는 상태에 있는 손가락의 종별을 특정하는 손가락 종별 특정부를 포함할 수 있다. 상기 원격 조작 영역에 대략 평행하게 연장되는 상태에서의 특정된 종별의 손가락이 간이 조작용의 미리 결정된 종별의 손가락인 경우, 현재의 손가락 상태는 상기 간이 조작용 손가락 상태로서 특정된다. 또한, 특정 손가락만이 연장되는 손 형상은 사용자가 우연히 형성하는 손의 형상을 갖지 않으며, 이에 따라 오조작의 방지를 확실하게 실행한다. 또한, 연장된 손가락의 상태는 조작에 직접적으로 이용될 수 있는 손가락 상태이다. 조작자는 현재 간이 조작용 손가락 상태로 조작을 개시할 수 있고, 그러므로 뛰어난 조작성을 제공한다.
상기 간이 조작용의 손가락 종별은 검지만으로 될 수 있다. 검지의 1개의 손가락 상태는 심플한 손가락 상태를 가지며, 1개의 손가락 상태를 특정하는 처리를 용이하게 한다. 또한, 검지는 주로 조작을 위해 이용되며, 그러므로 그대로 조작을 개시함에 있어 편리하다.
상기 간이 조작용의 손가락 종별은 중지만을 이용할 수 있다. 중지의 1개의 손가락 상태는 심플한 손 형상을 가지며, 1개의 손가락 상태를 특정하는 처리를 용이하게 한다. 또한, 중지는 가장 긴 손가락의 특정을 갖기 때문에, 종별의 인식을 용이하게 한다. 또한, 중지는 조작용으로 이용될 수 있어 그대로 조작을 개시함에 있어 편리하다.
상기 간이 조작용의 손가락 종별은 검지와 중지만을 이용할 수 있다. 상기 검지와 중지의 2개의 손가락 상태는 심플한 손 형상을 가지며, 2개의 손가락 상태를 특정하는 처리를 용이하게 한다. 또한, 상기 긴 손가락인 중지가 2개의 손가락 상태에 포함되어 있어 종별의 인식을 용이하게 한다. 또한, 상기 손가락 모두가 조작에 이용될 수 있어 그대로 조작을 개시함에 있어 편리하다.
상기 위치 지시 화상 표시부는 상기 손 화상 촬영부에 의해 촬영된 손의 화상에 근거하여 적어도 손의 손가락의 윤곽을 특정할 수 있는 실제 손가락 화상을 생성할 수 있고, 상기 생성된 실제 손가락을 전술한 위치 지시 화상으로서 표시한다. 상기 손의 위치는 표시 화면에서 손의 윤곽으로부터 파악될 수 있어 위치를 인식하기 쉽고 조작성이 보다 용이하게 된다.
상기 위치 지시 화상 표시부는 적어도 연장된 손가락과 손가락 끝의 위치의 방향을 특정할 수 있는 의사 손가락 화상 또는 적어도 손가락의 손가락끝 위치를 특정할 수 있는 손가락끝 위치 화상 중 하나를 위치 지시 화상으로서 표시할 수 있다. 상기 위치 지시 화상은 손가락의 지시 위치가 인식될 수 있을 정도로 간략화된 화상을 이용할 수 있어 처리 부담을 감소시킬 수 있다.
상기 표시 모드 설정부는 차량이 미리 정해진(소정의) 차량 속도 레벨(차량 속도 역치)을 초과하는 차량 주행 상태에 있을 경우, 상기 표시모드 전환제어를 실행하고, 상기 차량 주행 상태에 있지 않을 경우, 상기 표시 모드를 표시 허가 모드로 설정한다. 이러한 구성에서, 상기 미리 정해진 차량 속도 레벨은 Okm/h로 정의될 수 있다. 차량 정지 상태에서, 운전자는 조작에 집중할 수 있고, 이에 따라 조작 제한을 할 필요는 없다. 상기 구성에 따르면, 위치 지시 화상은 차량 정지 상태에서 항시 표시되고, 그러므로 조작자는 조작을 자유로이 실행할 수 있다.
또한, 상기 표시 모드 설정부는 차량이 미리 정해진 차량 속도 레벨(차량 속도 역치)을 초과하는 차량 주행 상태에 있을 경우 표시모드 전환제어를 실행할 수 있고, 상기 차량 주행 상태에 있지 않을 경우, 상기 표시 모드를 표시 금지 모드로 설정한다. 이러한 구성에서, 상기 미리 정해진 차량 속도 레벨은 0km/h 이상 5km/h 미만의 차량 속도 범위(감속 상태) 또는 5km/h 이상 10km/h 미만의 차량 속도 범위(감속 상태) 내로 정의될 수 있다. 또한, 상기 미리 정해진 차량 속도 레벨은 10km/h이상 30km/h 미만의 차량 속도 범위(차량 저속 주행 상태), 30km/h이상 60km/h 미만의 차량 속도 범위(차량 중속 주행 상태) 또는 60km/h 이상의 차량 속도 범위(차량 고속 주행 상태)로 정의될 수 있다. 상기의 정의는 표시 화면의 표시에서 전환 표시되는 각 조작 화면의 각각의 조작 난이도(조작 부담 레벨)에 따라 적절한 차량 속도 역치를 정의할 수 있다.
조작 화면 표시부 및 표시 모드 실행 적용가능 정보 기억부가 제공될 수 있다. 상기 조작 화면 표시부는, 상기 원격 조작 영역에 대한 가압 조작에 의한 입력이 입력 수락부에 의해 수락되는 복수의 조작 표시 화면을 전환 방식으로 표시한다. 상기 표시 모드 실행 적용가능 정보 기억부는 복수 조작 표시 화면 중에서 표시모드 전환제어를 위한 실행 대상의 조작 표시 화면을 적용할 수 있는 표시 모드 실행 적용가능 정보를 기억한다. 이 경우, 상기 표시 모드 설정부는 상기 조작 화면 표시부에 의해 표시된 조작 화면이 상기 표시 모드 실행 적용가능 정보에 근거하여 표시모드 전환제어에 대한 실행 대상인지 여부를 특정하도록 구성될 수 있다. 상기 표시모드 전환제어의 실생 대상인 것을 특정한 경우에만, 상기 표시모드 전환제어는 상기 특정된 조작 표시 화면에서 실행될 수 있다. 이러한 구성에서, 상기 표시모드 전환제어는 미리 정해진 조작 화면이 표시되는 경우에만 실행된다. 예를 들면, 차량이 주행중인 경우라도 조작이 용이한 조작 화면에 있어서는, 상기 표시 허가 모드가 고정적으로 설정되고, 상기 표시모드 전환제어는 설정되지 않는다. 반대로, 차량이 주행 중일 때 조작이 곤란한 조작 화면에 있어서는, 상기 표시금지 모드가 고정적으로 설정되고, 상기 표시모드 전환제어는 설정되지 않는다. 그러므로 쓸모없는 표시모드 전환제어를 생략할 수 있다.
상기 표시 모드 실행 적용가능 정보는 조작 표시 화면 가운데서 복잡 조작 화면을 표시모드 전환제어를 위한 실행 대상으로서 정의할 수 있다. 상기 복잡 조작 화면에서, 상기 입력 수락부에 의해 입력으로서 수락되는 상기 원격 조작 영역에 대한 가압 조작은 미리 정해진 조작 로드 레벨을 초과하는 조작을 포함한다. 상기 표시 모드 실행 적용가능 정보는 상기 표시 허가 모드에 대한 고정된 설정 대상으로서 간이 조작 화면을 정의할 수 있다. 상기 간이 조작 화면에서, 상기 입력 수락부에 의해 입력으로 수락되는 상기 원격 조작 영역에 대한 가압 조작은 미리 정해진 조작 로드 레벨을 초과하지 않는 조작을 포함한다. 이러한 구성에 따르면, 상기 표시 허가 모드는 간이 조작 화면에서 고정적으로 설정되고, 그러므로 상기 표시모드 전환제어는 생략될 수 있다.
상기 간이 조작 화면은 메뉴 선택 화면, 볼륨 조정 화면 및 풍량 조정 화면 중 적어도 하나를 포함할 수 있다. 상기 메뉴 화면은 표시 화면에 표시되는 상대적으로 적은 개수의 조작 입력 화상(조작 아이콘) 및 인접하는 조작 입력 화상들 간의 소정량의 거리를 가지며, 이에 따라 상대적으로 용이하게 조작한다. 음량 조정 또는 풍량 조정과 같은 상기 볼륨 조정 화면도 상대적으로 간단한 조작 화면으로서 표시된다. 따라서, 이들 조작 화면들은 간이 조작 화면으로서 정의되는데 적합하다. 이에 반하여, 상기 복잡 조작 화면은 적어도 문자 입력 화면을 포함할 수 있다. 50 문자의 음절 문자 체계의 문자 입력은 표시 화면에 표시된 많은 조작 입력 화상을 필요로 하고, 이에 따라 인접하는 조작 입력 화상들 간의 거리는 가깝다. 이는 조작하고자 하는 조작 입력 화상을 조작하는데 어려움이 따른다. 따라서, 이러한 조작 화면은 복잡 조작 화면으로서 정의되는데 적합하다.
상기 설명의 제2 관점으로서, 차량용 조작 입력 장치는 다음과 같이 제공될 수 있다. 표시부는 차량의 장치의 조작을 실행하기 위한 표시 화면을 갖도록 포함된다. 원격 조작부는 상기 표시 화면으로부터 별도의 위치에 배치되고, 상기 표시 화면의 조작 입력을 원격으로 실행하기 위한 원격 조작부를 갖도록 포함된다. 입력 수락부는 상기 원격 조작부에 대한 가압 조작에 근거하여 가압 조작 위치에 대응하는 입력을 수락하도록 포함된다. 손 화상 촬영부는 상기 원격 조작부에 대향하는 손의 화상을 촬영하도록 포함된다. 위치 지시 화상 표시부는 손의 의해 지시된 위치를 상기 표시 화면에서의 위치에서 손의 촬영 화상에 근거하여 생성되는 위치 지시 화상을 표시하도록 포함된다. 조작의사 표현용 손가락 상태 특정부는 상기 원격 조작 영역에 대향하는 손의 손가락 상태가 미리 정해진 조작의사 표현용 손가락 상태인지 여부를 특정하도록 포함된다. 표시 모드 설정부가 포함된다. 상기 표시 모드 설정부는 상기 위치 지시 화상 표시부에 대하여 설정되는 표시 모드를 위치 지시 화상의 표시를 금지하는 표시 금지 모드로 설정할 수 있고, 상기 조작의사 표현용 손가락 상태가 특정되는 경우 소정의 표시 허가 기간 동안에만 위치 지시 화상의 표시를 허용하는 표시 허가 모드로 전환 실행할 수 있다.
상기 구성은 특정 손가락 상태가 조작하고자 하는 사용자에 의해 이루어지지 않으면 상기 원격 조작부의 조작이 실행될 수 없도록 규제된다. 이는 원격 조작부에 대하여 의도하지 않게 이루어지는 오조작을 효과적으로 방지할 수 있다.
상기 표시 모드 설정부는 표시 허가 기간으로서, 표시 모드가 표시 허가 모드로 전환될 때로부터 미리 정해진 금지 모드 복귀 시간이 경과할 때까지의 기간을 정의하고, 상기 금지 모드 복귀 시간이 경과할 때 상기 표시 모드를 상기 표시 금지 모드로 복귀하도록 구성될 수 있다. 상기 구성에 따르면, 상기 표시 허가 모드로부터 상기 표시 금지 모드로의 복귀는 간단한 처리에 의해 실행될 수 있다.
한편, 상기 표시 모드 설정부는 조작의사 표현용 손가락 상태가 특정되지 안을 때까지의 기간을 상기 표시 허가 기간으로서 정의할 수 있다. 상기 조작의사 표현용 손가락 상태가 특정되는 경우, 상기 표시 허가 모드는 설정될 수 있고, 상기 조작의사 표현용 손가락 상태가 특정되지 않은 경우, 상기 표시 금지 모드가 설정될 수 있다. 이러한 구성에서, 상기 조작의사 표현용 손가락 상태가 특정되는 여부의 판정에 근거하여, 상기 표시 허가 모드와 표시 금지 모드 간의 전환은 용이하게 실행될 수 있다.
조작 입력 수락 제어부가 다음과 같이 구성될 수 있다. 상기 표시 허가 모드가 설정되는 경우, 상기 입력 수락부에 의한 입력의 수락이 허용되고, 표시 금지 모드가 설정되는 경우, 상기 입력 수락부에 의한 입력의 수락은 금지된다. 프롬프터(prompter) 방식의 상기 조작 입력 장치에서, 상기 원격 조작부에서의 조작 상태가 위치 지시 화상을 이용하여 표시되지 않는 경우 상기 위치 지시 조작은 매우 어렵게 된다. 이러한 구성하에서, 위치 지시 화상을 표시하기 위한 표시 허가 모드에서만 입력의 수락이 허용된다. 그러므로 상기 원격 조작부에 대한 오조작을 확실하게 방지할 수 있다. 역으로 말하자면, 위치 지시 화상의 표시는 상기 원격 조작부에 대한 입력의 수락이 가능할 때에만 가능하다. 위치지시 화상의 쓸모없는 표시는 감소되고, 전력 절약의 효과도 얻는다.
또한, 조작 입력 수락 제어부가 다음과 같이 구성될 수 있다. 상기 조작의사 표현용 손가락 상태가 특정되는 경우, 상기 입력 수락부에 의한 입력의 수락은 허용되고, 상기 조작의사 표현용 손가락 상태가 특정되지 않은 경우, 상기 입력 수락부에 의한 입력의 수락은 금지된다. 이러한 구성에서, 상기 표시 모드와 관계없이, 상기 조작의사 표현용 손가락 상태가 특정되는 경우에만, 상기 원격 조작부에 대한 입력의 수락이 허용된다. 이는 원격 조작부에 대한 오조작이 확실하게 방지될 수 있다.
상기 조작의사 표현용 손가락 상태 특정부는 손 화상 촬영부에 의해 촬영된 손의 화상에 근거하여 상기 원격 조작 영역에 대향하는 손의 손가락의 형상을 인식하는 인식하는 손가락 형상 인식부를 포함할 수 있다. 상기 인식된 손가락 상태가 조작의사 표현용의 미리 정해진 손가락 상태인 경우, 상기 조작의사 표현용 손가락 상태가 특정된다. 이러한 구성에서, 상기 손 화상 촬영부에 의해 촬영된 손 화상은 표시 위치의 표시뿐만 아니라 상기 조작의사 표현용 손가락 상태의 특정을 위하여 이용될 수 있다. 즉, 상기 화상 촬영부는 하나 이상의 이용을 위하여 기능을 하는 구성으로 제공될 수 있다. 상기 구성의 쓸모없는 부가 구성은 생략될 수 있고, 이는 저 코스트화를 제공한다.
상기 조작의사 표현용 손가락 상태 특정부는 상기원격 조작 영역과 대략 평행하게 연장하는 손가락들이 상기 손가락 형상 인식부에 의해 인식될 때의 손가락 개수를 특정하는 손가락 개수 특정부를 포함할 수 있다. 상기 원격 조작 영역과 대략 평행하게 연장되는 상태에서 상기 특정된 손가락 개수가 상기 조작의사 표현용 손가락용의 소정의 개수인 경우, 현재 손가락 상태는 상기 조작의사 표현용 손가락 상태로서 특정될 수 있다. 연장된 상태의 손가락을 카운팅하는 것은 화상 분석에 의해 용이하게 실행될 수 있어 카운팅의 오류는 적어진다. 또한, 손가락이 연장되는 상태는 조작을 위하여 직접적으로 이용될 수 있는 손가락 상태이다. 조작자는 그 현재의 조작의사 표현용 손가락 상태로 조작을 개시할 수 있고, 이에 따라 뛰어난 조작성을 제공한다.
상기 조작의사 표현용 손가락 상태 특정부는 미리 정해진 기간 동안에 상기 입력 수락부가 수락한, 상기 원격 조작 영역의 다른 위치에서 이루어진 가압 조작에 의한 입력의 수를 특정하는 조작수 특정부를 포함할 수 있다. 상기 미리 정해진 기간 동안 특정된 입력수가 상기 조작의사 표현용에 대한 수일 때, 현재 손가락 상태는 상기 조작의사 표현용 손가락 상태로서 특정된다. 이 구성에서, 상기 조작의사 표현용 손가락 상태는 사용자에 의한 소정 수의 터치 조작으로부터 용이하게 특정될 수 있다.
상기 조작의사 표현용의 손가락 개수는 1개의 손가락으로서 정의될 수 있다. 상기 1개의 손가락 상태는 심플한 손가락 형상을 가지며, 1개의 손가락 상태를 특정하는 처리를 용이하게 한다. 또한, 조작의사 표현용 손가락 상태가 특정되는 경우에만 상기원격 조작부에 대한 입력이 허용되는 구성이 있다. 즉, 상기 원격 조작부에 대한 입력은 현재 손가락 상태가 조작의사 표현용 손가락 상태가 아닌 경우에 행할 수 없는 구성이 있다. 이러한 구성에서, 가장 단순하고 알기 쉬운 손가락 상태가 조작의사 표현용 손가락 상태로서 정의되는 것이 바람직하다. 이 경우, 가장 적은 수의 손가락을 갖는 1개의 손가락 상태가 조작의사 표현용 손가락 상태로서 정의된다.
상기 조작의사 표현용에 대한 손가락의 개수는 4개, 3개(바람직함) 또는 2개(보다 바람직함)로 될 수 있다. 또한, 상기 2개의 손가락 상태는 비교적 심플한 손가락 상태를 갖으며, 이에 따라 조작의사 표현용 손가락 상태를 특정하는 처리를 보다 용이하게 할 수 있다. 또한, 3개의 손가락 상태 및 4개의 손가락 상태 각각도 비교적 심플한 손가락 상태이다. 또한, 이들 손가락 상태는 사용자가 우연히 형성하는 손의 형상을 갖지 않으며, 그러므로 오조작을 확실히 방지하여 실행할 수 있다.
상기 조작의사 표현용 손가락 상태 특정부는 상기 손가락 형상 인식부에 의해 인식되고, 상기 원격 조작 영역과 대략 평행하게 연장하는 상태에 있는 손가락의 종별을 특정하는 손가락 종별 특정부를 포함할 수 있다. 상기 원격 조작 영역에 대략 평행하게 연장되는 상태에서의 특정된 종별의 손가락이 조작의사 표현용을 위한 미리 결정된 종별의 손가락인 경우, 현재의 손가락 상태는 상기 조작의사 표현용 손가락 상태로서 특정된다. 또한, 특정 손가락만이 연장되는 손 형상은 사용자가 우연히 형성하는 손의 형상을 갖지 않으며, 이에 따라 오조작의 방지를 확실하게 실행한다. 또한, 연장된 손가락의 상태는 조작에 직접적으로 이용될 수 있는 손가락 상태이다. 조작자는 현재 조작의사 표현용 손가락 상태로 조작을 개시할 수 있고, 그러므로 뛰어난 조작성을 제공한다.
상기 조작의사 표현용 손가락 종별은 검지만으로 될 수 있다. 검지의 1개의 손가락 상태는 심플한 손가락 형상을 가지며, 1개의 손가락 상태를 특정하는 처리를 용이하게 한다. 또한, 검지는 주로 조작을 위해 이용되며, 그러므로 그대로 조작을 개시함에 있어 편리하다.
상기 조작의사 표현용의 손가락 종별은 중지만을 이용할 수 있다. 중지의 1개의 손가락 상태는 심플한 손 형상을 가지며, 1개의 손가락 상태를 특정하는 처리를 용이하게 한다. 또한, 중지는 가장 긴 손가락의 특정을 갖기 때문에, 종별의 인식을 용이하게 한다. 또한, 중지는 조작용으로 이용될 수 있어 그대로 조작을 개시함에 있어 편리하다.
상기 조작의사 표현용 손가락 종별은 검지와 중지만을 이용할 수 있다. 상기 검지와 중지의 2개의 손가락 상태는 심플한 손 형상을 가지며, 2개의 손가락 상태를 특정하는 처리를 용이하게 한다. 또한, 상기 긴 손가락인 중지가 2개의 손가락 상태에 포함되어 있어 종별의 인식을 용이하게 한다. 또한, 상기 손가락 모두가 조작에 이용될 수 있어 그대로 조작을 개시함에 있어 편리하다.
상기 위치 지시 화상 표시부는 상기 손 화상 촬영부에 의해 촬영된 손의 화상에 근거하여 적어도 손의 손가락의 윤곽을 특정할 수 있는 실제 손가락 화상을 생성할 수 있고, 상기 생성된 실제 손가락을 전술한 위치 지시 화상으로서 표시한다. 상기 손의 위치는 표시 화면에서 손의 윤곽으로부터 파악될 수 있어 위치를 인식하기 쉽고 조작성이 보다 용이하게 된다.
상기 위치 지시 화상 표시부는 적어도 연장된 손가락과 손가락 끝의 위치의 방향을 특정할 수 있는 의사 손가락 화상 또는 적어도 손가락의 손가락끝 위치를 특정할 수 있는 손가락끝 위치 화상 중 하나를 위치 지시 화상으로서 표시할 수 있다. 상기 위치 지시 화상은 지시 위치가 인식될 수 있을 정도로 간략화된 화상을 이용할 수 있어 처리 부담을 감소시킬 수 있다.
본 설명의 제3 관점으로서, 상기 표시 장치는 표시 화면 및 상기 표시 화면에 대한 조작을 원격으로 실행하기 위한 원격 조작 영역을 갖는 원격 조작부를 포함한다. 표시 방법은 상기 표시 장치에 위치 지시 화상을 표시하기 위한 것이다. 사기 원격 조작부의 전방부에 대향하는 손가락으로서, 상기 위치 지시 화상은 배경의 화상에 합성되거나 중첩되도록 하는 방식으로 상기 손가락의 위치에 대응하는 표시 화면에서의 화면 위치에 표시된다. 상기 방법은 원격 조작부의 전방에 대향하는 손의 손가락을 특정하는 손가락 특정 단계; 상기 특정된 손가락으로부터 상기 원격 조작부에 대한 조작에 이용되는 또는 이용되도록 추정되는 조작대상 손가락을 설정하는 조작대상 손가락 설정 단계; 상기 표시 화면의 배경의 화상에 합성되게 또는 중첩되도록 하는 방식으로 상기 특정된 손가락의 지시 위치를 지시하는 위치 지시 화상을 표시하는 표시 단계; 및 상기 조작대상 손가락과 다른 손가락에 대응하는 위치 지시 화상에 비하여 상대적으로 더 강조되도록 상기 표시된 위치 지시 화상 가운데서 상기 지정된 조작대상 손가락에 대응하는 위치 지시 화상의 강조 표시를 실행하는 위치지시 화상 강조 단계를 포함한다.
상기한 구성에 따르면, 상기 원격 조작 영역의 전방에 대향하는 복수의 손가락들 모두가 상기 표시 화면에 표시되는 경우라도, 조작대상 손가락의 위치에 대응하는 위치 지시 화상이 미리 정해진 방법 및 미리 정해진 룰(rule)에 따라 특정된다. 상기 특정된 위치 지시 화상은 다른 손가락보다 강조되어 표시된다. 따라서, 사용자는 표시 화면으로부터 조작에 이용되는 손가락을 용이하게 인식할 수 있다. 또한, 현재 표시되는 손가락과 실제 손가락 간의 대응 관계는 적어도 사용자가 조작대상 손가락의 판정 방법을 이해하는 한 용이하게 인식될 수 있다. 따라서, 상기 원격 위치 지시에 적합한 위치 지시 화상의 표시가 달성될 수 있다.
또한, 상기 원격 조작 영역에 대향하는 손의 손가락끝을 특정하도록 손가락끝 특정 단계가 구성될 수 있다. 구체적으로, 상기 손가락 특정 단계는 상기 원격 조작 영역에 대향하는 손으로부터 손가락끝을 특정하는 손가락끝 특정 단계로 될 수 있으며, 이는 손가락끝을 특정하는 방식으로 손가락을 특정하는 단계이다. 이 경우, 상기 위치 지시 화상 강조 표시 단계는 상기 표시 화면의 배경 화상에 합성되게 또는 중첩되는 방식으로 상기 특정된 손가락끝에 대응하는 위치에 위치 지시 화상을 표시하도록 하는 것을 전제로 한다.
손가락끝은 손가락 끝 측에서의 미리 정해진 영역(예를 들면, 제1 관절까지) 또는 상기 영역에 포함되는 특정 위치(예를 들면, 손가락끝으로부터 제1 관절까지의 중심)으로서 정의될 수 있다.
또한, 상기 조작대상 손가락 지정 단계는 조작대상 손가락에 대한 하나의 손가락을 지정할 수 있다. 상기 하나의 손가락이 지정될 때, 상기 조작대상 손가락을 명확하게 인식하기 쉽고, 푸쉬(push) 조작을 포함하는 터치 조작이 이루어지는 상기 원격 조작부에 대한 적용에 적합하다. 또한, 상기 하나의 손가락 상태는 매우 심플한 손 형상을 갖기 때문에, 각 처리는 용이하게 된다.
또한, 상기 조작대상 손가락 지정 단계는 조작대상 손가락으로 2개 또는 3개의 손가락을 지정할 수 있다. 2개 또는 3개의 손가락이 지정되는 경우, 풀링(pulling) 조작 또는 회전 조작이 이루어지는 원격 조작부에 대한 적용에 적합하다.
또한, 상기 위치 지시 화상 강조 단계에서, 상기 조작 지시 대상 손가락과 다른 손가락은 표시되지 않게 행해진다. 상기 표시되는 조작대상 손가락과 실제 조작대상 손가락 간의 대응 관계는 다른 손가락들의 표시 상태를 참조하면서 파악될 수 있다.
또한, 상기 손가락 특정 단계에 의해 특정된 손가락의 형상에 관한 손가락 형상 정보를 지정 손가락 정보로서 취득하는 지정 손가락 정보 취득 단계가 구성될 수 있다. 이 경우에 있어서, 상기 조작대상 손가락 지정 단계에서, 상기 취득된 손가락 형상 정보에 근거하여, 상기 손가락 특정 단계에 의해 특정된 손가락들 가운데서, 상기 손가락의 형상에 관한 미리 정해진 선정 조건에 가장 적합한 손가락 형상 정보를 갖는 손가락이 조작대상 손가락으로서 우선적으로 지정될 수 있다. 1개의 조작대상 손가락만이 지정되는 경우, 선정 조건에 가장 적합한 손가락이 조작대상 손가락으로서 지정될 수 있다.
이러한 구성하에서, 손가락의 형상에서의 정보로부터 소정의 종별의 손가락이 특정 또는 추정된 다음, 상기 조작대상 손가락으로 지정된다. 각 종별의 손가락 간에는 그 형상에 있어서 차이가 있고, 이에 따라 상기 손가락의 특정 또는 추정이 이루어질 수 있다. 또한, 위치 지시에 사용되기 쉬운 검지 또는 중지를 특정 또는 추정할 수 있다.
구체적으로, 상기 지정 손가락 정보 취득 단계는 손가락 형상 정보로서, 상기 원격 조작 영역의 방향으로 손가락 특정 단계에 의해 특정된 손가락의 길이 관계를 반영하는 손가락 길이 정보를 취득하도록 구성될 수 있다. 이 경우, 상기 조작대상 손가락 지정 단계에서, 상기 취득된 손가락 길이 정보에 근거하여 상기 손가락 특정 단계에서 특정된 손가락들 가운데서, 상기 손가락 길이에 관한 미리 정해진 선정 조건에 가장 적합한 손가락 길이 정보를 갖는 손가락이 조작대상 손가락으로서 우선적으로 지정될 수 있다. 이러한 구성하에서, 상기 손가락 길이 관계는 명확해진다. 상기 길이의 비교로부터, 소정 종별의 손가락이 특정되거나 추정된 다음, 상기 조작대상 손가락으로 지정된다. 예를 들면, 위치 지시에 용이하게 사용되는 중지가 가장 긴 길이로 되는 것으로 특정 또는 추정되는 손가락으로서 특정될 수 있다. 조작 손의 우측(오른손) 또는 좌측(왼손)인지 여부가 판정되면, 검지는 상기 가장 긴 길이의 손가락으로서 특정 또는 추정되는 손가락의 대응하는 측에 인접하는 손가락으로서 특정될 수 있다. 또한, 가장 길게 나타나는 손가락이 조작에 사용될 가능성이 일반적으로 높고, 가장 길게 나타나지 않으며 절반정도 연장되는 손가락은 사용자가 조작에 사용할 의도가 없는 손가락으로서 추정되며, 이러한 손가락은 확실하게 배제할 수 있다.
또한, 상기 지정 손가락 정보 취득 단계는 손가락 형상 정보로서 원격 조작 영역의 방향에서 상기 손가락 특정 단계에 의해 특정된 손가락의 폭 관계를 반영하는 손가락 폭 정보를 취득하도록 구성될 수 있다. 이 경우, 상기 조작대상 손가락 지정 단계에서, 상기 손가락 특정 단계에서 특정된 손가락들 가운데서, 상기 조작대상 손가락은 상기 취득된 손가락 폭 정보에 근거하여 손가락 폭 정보에 대하여 미리 정해진 선정 조건에 가장 적합한 손가락으로 우선적으로 지정된다. 이러한 구성에서, 상기 손가락 폭(두께) 관계는 명확해진다. 상기 폭의 비교로부터, 소정의 종별 손가락이 특정 또는 추정된 다음, 상기 조작대상 손가락으로 지정된다.
또한, 지정 손가락 정보 취득 단계는 정지 손가락 정보로서, 원격 조작 영역 방향으로(원격 조작 영역이 확장되는 방향, 즉 상기 원격 조작 영역의 법선에 대한 직교하는 방향으로) 상기 손가락 특정 단계에 의해 특정된 손가락들 가운데서 위치 관계에 관한 위치 관계 정보를 취득하도록 구성될 수 있다. 이 경우, 상기 조작대상 손가락 지정 단계에서, 상기 취득된 위치 관계 정보에 근거하여, 상기 조작대상 손가락이 상기 손가락 특정 단계에 의해 특정된 손가락들 가운데서 상기 위치 관계에 대하여 미리 정해진 선정 조건에 가장 적합한 위치 관계 정보를 갖는 손가락으로 우선적으로 지정될 수 있다. 하나의 조작대상 손가락만이 특정되는 경우, 상기 선정 조건에 가장 적합한 손가락이 조작대상 손가락으로서 특정된다.
이러한 구성하에서, 소정 종별의 손가락이 예를 들면 상기 원격 조작 영역 방향에서 특정된 다수의 손가락의 위치 정보로부터 특정되거나 추정될 수 있으며, 그런 다음 조작대상 손가락으로 지정된다. 상기 각 손가락의 위치 관계는 각 종별에 대하여 결정되기 때문에 손가락은 이를 이용하여 특정될 수 있다. 예를 들면, 위치 지시용으로 검지가 용이하게 이용되는 것으로 상정한다. 상기 손가락 형상 등으로부터 엄지를 생략한 후, 조작에 대한 손이 왼손인 경우, 가장 오른쪽에 위치되는 손가락이 검지로서 특정될 수 있다. 조작에 대한 손이 오른손인 경우,가장 왼쪽에 있는 손가락이 검지로서 특정될 수 있다. 검지가 특정될 수 있으면, 인접하는 손가락은 중지로서 특정될 수 있다. 또한, 이러한 구성하에서, 조작대상 손가락은 손가락의 위치 관계에 따라 선택될 수 있고, 그러므로 사용자는 어느 손가락이 선정되는지를 용이하게 알 수 있다.
구체적으로, 상기 지정 손가락 정보 취득 단계에서, 상기 손가락끝 특정 단계에 의해 특정된 손가락끝은 상기 원격 조작부에 대향하는 방향으로 투영될 수 있다. 상기 투영 면에서 미리 정해진 위치로서 하나의 축이 설정될 수 있고, 이에 따라 1차원 좌표계를 설정할 수 있다. 상기 투영된 손가락끝이 좌표계에서의 좌표값이 특정될 수 있다. 상기 위치 좌표를 반영하는 축 좌표 정보는 위치 관계 정보로서 취득될 수 있다. 이 경우, 상기조작대상 손가락 지정 단계에서, 상기 취득된 축 좌표 정보에 근거하여, 상기 손가락 특정 단계에 의해 특정된 손가락들 가운데서, 상기 축 좌표 정보에 관한 미리 정해진 선정 조건에 가장 적합한 손가락이 조작대상 손가락으로서 우선적으로 지정될 수 있다. 이러한 구성에서, 상기의 1차원 좌표계에서 각 손가락끝이 위치되는 좌표를 이용하는 것만으로, 조작대상 손가락은 간단히 특정될 수 있다. 여기에서, 축은 예를 들면 조작대상 손가락이 가장 위치되기 쉬운 영역으로부터 상기 조작대상 손가락이 가장 위치되기 어려운 영역까지 진행하는 선분으로서 정의될 수 있다. 한편, 역으로 진행하는 선분으로서 정의될 수도 있다.
상기 지정 손가락 정보 취득 단계에서, 상기 손가락끝 특정 단계에 의해 특정된 손가락끝은 상기 원격 조작부에 대향하는 방향으로 투영될 수 있고, 상기 투영면에서 미리 정해진 영역에 설정된 기준 영역과 상기 투영된 손가락끝 사이의 거리를 반영하는 거리 정보가 위치 관계 정보로서 취득될 수 있다. 이 경우, 상기조작대상 손가락 지정 단계에서, 상기 취득된 거리 정보에 근거하여, 상기 손가락 특정 단계에서 특정된 손가락들 가운데서, 상기 거리 정보에 관계하는 미리 정해진 선정 조건에 가장 적합한 손가락이 좍 대상 손가락으로서 우선적으로 지정될 수 있다. 이러한 구성에 따르면, 상기 조작대상 손가락은 기준 영역과의 거리 산출만으로 간단히 특정될 수 있다. 이 경우에서의 기준 영역은 예를 들면 조작대상 손가락이 원격 조작 영역에 가장 빈번히 위치되는 영역 또는 그 역의 영역으로서 정의될 수 있다.
또한, 지정 손가락 정보 취득 단계는 손가락 특정 단계에 의해 특정된 손가락들 가운데서 상기 원격 조작 영역에 대한 접근 거리를 반영하는 접근 거리 관계 정보를 지정 손가락 정보로서 취득하도록 구성될 수 있다. 이 경우, 상기 조작대상 손가락 지정 단계에서, 상기 접근 거리 정보에 관하여 미리 정해진 선정 조건에 대하여 가장 적합한 손가락이 조작대상 손가락으로서 우선적으로 지정될 수 있다. 이러한 구성하에서, 둘 이상의 특정 손가락의 원격 조작 영역에 대한 접근 방향에서 위치 관계로부터 조작대상 손가락을 특정할 수 있게 된다. 상기 원격 조작 영역에 대한 조작은 손의 손가락끝에 의한 접촉에 의해 달성된다. 상기 원격 조작 영역에 대하여 가장 가까운 손가락끝의 손가락은 위치 지시를 위한 손가락으로 될 가능성이 가장 높다. 상기 조작대상 손가락 지정 단계에서, 상기 취득된 접근 거리 정보에 근거하여, 상기 손가락 특정 단계에 의해 특정된 손가락들 가운데서, 상기 원격 조작 영역에 보다 가까운 손가락끝의 손가락이 조작대상 손가락으로 먼저 우선적으로 지정될 수 있다. 이러한 구성에서, 상기 위치 지시에 가장 적합한 손가락이 조작대상 손가락으로 지정될 수 있다.
또한, 상기 지정 손가락 정보 취득 단계는 접근 거리 정보로서 촬영부에 의해 촬영된 손의 화상의 휘도를 취득하도록 구성될 수 있다. 이 경우, 상기 조작대상 손가락 지정 단계에서, 상기 휘도에 관하여 미리 정해진 선정 조건에 가장 적합한 손가락이 조작대상 손가락으로 우선적으로 지정될 수 있다. 상기의 구성을 실현하기 위하여, 상기 원격 조작 영역으로 접근하는 손 측으로 광원으로부터 광이 조사되면서, 반사광을 포착하는 방식으로 상기 조작 영역의 후면 측으로부터 상기 손이 촬영되는 촬영 단계가 필요로 될 수 있다. 상기 화상 촬영부는 상기 원격 조작 영역을 조작하는 손으로부터 반사광을 포착하여 화상을 촬영하고, 그러므로 상기 원격 조작 영역에 가장 가까운 손가락이 높은 휘도로 나타난다. 상기 접근 거리 정보는 이 휘도를 이용하여 용이하게 취득될 수 있다. 실제 접근 거리를 측정하기 위한 측정부 또는 측정 처리는 생략할 수 있다. 상기 원격 조작 영역에 가장 가까운 손가락끝의 손가락은 위치 지시를 위한 손가락으로 될 가능성이 가장 높다. 상기 조작대상 손가락 지정 단계에서, 상기 손가락 특정 단계에 의해 특정된 손가락들 가운데서 가장 높은 휘도를 갖는 손가락끝의 손가락이 조작대상 손가락으로 우선적으로 지정될 수 있다.
그런데, 상기 지정 손가락 정보 취득 단계 각각은 촬영 단계에 의한 촬영 화상에 근거하여 지정 손가락 정보를 취득하도록 구성될 수 있다. 이러한 구성에 따르면, 상기 손가락 지정 정보는 상기 촬영 화상으로부터 취득된 정보를 이용하여 용이하게 취득될 수 있다. 상기 구성을 실현하기 위하여, 상기 원격 조작 영역으로 접근하는 손 측으로 광원으로부터 광이 조사되면서, 반사광을 포착하는 방식으로 상기 조작 영역의 후면 측으로부터 상기 손이 촬영되는 촬영 단계가 필요로 될 수 있다.
상기 촬영 단계는 상기 원격 조작 영역으로 접근하는 손 측으로 광원으로부터 광이 조사되면서, 반사광을 포착하는 방식으로 상기 조작 영역의 후면 측으로부터 상기 손이 촬영되게 제공될 수 있다. 이 경우, 상기 손가락 특정 단계는 촬영된 손의 화상으로부터 손가락을 특정하도록 구성될 수 있다. 또한, 상기 손가락끝 특정 단계는 촬영된 손의 화상으로부터 손가락끝을 특정하도록 구성될 수 있다. 또한, 상기 위치 지시 화상을 표시하는 표시 단계는 상기 촬영된 손의 화상에 근거하여 생성된 위치 지시화상을 표시하는 단계로 이루어질 수 있다. 이러한 구성은 카메라 등의 단일 화상 촬영부의 촬영 화상을 이용하여 손가락의 특정, 손가락끝의 특정, 조작대상 손가락의 특정, 및 위치 지시 표시를 가능하게 한다. 상기 구성은 상기의 특정 등에 대하여 개별적으로 전용되는 전용부들을 포함하는 구성에 비하여 단순화될 수 있다.
그런데, 상기 원격 조작부는 원격 조작 영역이 터치 조작 영역이고, 상기 터치 조작 영역에 대한 행해지는 터치 조작의 유무를 검출하는, 터치 패널과 같은 터치 조작부로 구성될 수 있다. 이 경우, 상기 조작대상 손가락 지정 단계에서, 상기 손가락 특정 단계에 의해 특정된 손가락들 가운데서 터치 조작 영역에 대한 터치 조작이 실행되는 손가락은 조작대상 손가락으로 지정될 수 있다. 이러한 구성에 따르면, 상기 위치 지시가 실제로 행해진 후, 그 위치 지시에 사용되는 손가락은 상기 조작대상 손가락으로서 특정된다. 통상적인 조작자는 조작대상 손가락을 고정하여 사용하는 경향이 있으며, 이에 따라 상기 조작대상 손가락은 올바르게 정의될 수 있고, 강조되게 표시된다. 또한, 상기 터치 조작을 실행한 손가락은 강조되게 표시되어 이러한 터치 조작은 표시 화면에 표시되는 다수의 손가락과 실제 손가락 간의 대응 관계의 명확한 인식을 트리거한다.
또한, 상기 원격 조작부가 잘못 터치되어 터치 조작이 실행되는 경우, 상기 조작은 입력을 반영하지 않도록 이루어질 수 있다. 또한, 강조 표시로 반영되지 않게 이루어질 수 있다. 구체적으로, 상기 조작대상 손가락 지정 단계에서, 미리 정해진 가압 조작 시간을 초과하는 터치 조작이 있을 경우, 터치 조작을 실행하는 손가락은 조작대상 손가락으로 지정될 수 있다. 또한, 상기 조작대상 손가락 지정 단계에서, 1회 터치 조작이 미리 정해진 가압 조작력을 초과하는 터치 조작인 경우, 상기 터치 조작을 실행하는 손가락은 조작대상 손가락으로 지정될 수 있다. 이러한 구성하에서, 고정된 로드를 초과하는 로드를 갖는 조작만이 효과적으로 이루어질 수 있고, 이에 따라 오조작은 방지될 수 있다.
그런데, 상기 위치 지시 화상 강조 표시 단계는 미리 정해진 시간에서 단계적으로 강조 레벨을 변화시키는 방식으로 강조 표시를 실행하도록 구성될 수 있다. 즉, 강조 표시가 개시되는 것으로부터 강조 표시가 완료될 때까지의 기간 동안, 상기 강조 표시를 개시하는 상태 및 강조 표시를 완료하는 상태와 다른 하나 이상의 중간 변화 상태가 실행되는 표시를 행할 수 있다. 이러한 구성에서, 강조 표시의 변화의 과정이 표시되기 때문에, 그 변화 과정을 봄으로써 현재 표시되는 손가락(특히 조작대상 손가락)과 실제 손가락 간의 대응 관계를 용이하게 인식할 수 있다.
또한, 상기 위치 지시 화상 강조 표시 단계에서, 상기 강조 표시를 개시하는 시점에서, 상기 조작대상 손가락에 대응하는 위치 지시 화상 및 상기 위치 지시용 손가락과 다른 손가락에 대응하는 위치 지시 화상은 동일한 강조 레벨(강조 정도)로 강조되어 표시된다. 상기 강조 표시를 개시하는 시간이 경과 함에 따라, 상기 조작대상 손가락에 대응하는 위치 지시 화상의 강조 레벨은 단계적으로 증가한다. 이러한 구성에서, 상기 조작대상 손가락에 대응하는 위치 지시 화상의 강조 레벨은 점차 증가한다(상대적으로). 상기 강조 레벨이 강조 표시를 완료하는 시점에서 갑자기 변화된다면, 그의 직후 강조되어 표시되는 조작대상 손가락이 어느 손가락에 실제 대응되는지를 인식하는데 혼란스럽게 된다. 강조 표시가 점차 진행하도록 하는 경우에는 이러한 혼란은 방지될 수 있다.
그러므로 강조 표시 이전의 상태의 중요성의 관점에서 보면, 상기 위치 지시 화상 강조 표시 단계는 다음과 같이 구성될 수 있다. 상기 조작대상 손가락이 조작대상 손가락 지정 단계에 의해 지정된 이후 소정 시간이 경과 한 후, 상대적인 강조 표시가 개시된다. 상기 강조 레벨이 점차 증가하는 상기의 구성에서, 이러한 변화 처리를 시간에 걸쳐 시인할 수 있음을 알 수 있다. 상기 위치 지시 화상 강조 표시 단계는 상기 조작대상 손가락 지정 단계에 의한 조작대상 손가락의 지정에 따라 상대적인 강조 표시를 개시하도록 구성될 수 있다.
상기 원격 조작 영역에 대향하는 손의 화상을 촬영하도록 손 화상 촬영 단계가 구성될 수 있다. 이 경우, 상기 손가락 특정 단계는 촬영된 손의 화상에 근거하여 원격 조작 영역에 대향하는 손의 손가락을 특정하도록 구성될 수 있다. 또한, 이 경우, 상기 위치 지시 화상 강조 표시 단계에서, 손의 특정된 손가락의 적어도 윤곽을 특정하도록 하는 실제 손가락 화상은 촬영된 손의 화상에 근거하여 생성될 수 있으며, 상기 생성된 실제 손가락 화상은 전술한 위치 지시 화상으로서 표시될 수 있다. 상기 실제 손의 윤곽이 조작 화면에 표시되기 때문에, 상기 손의 위치는 윤곽으로부터 인식될 수 있다. 이는 실제 손가락의 윤곽이기 때문에 위치를 인식하기 쉽고 조작을 보다 용이하게 한다.
또한, 상기 위치 지시 화상 강조 단계는 연장된 손가락의 방향 및 손가락끝을 적어도 특정하도록 하는 의사 손가락 화상, 또는 손가락의 손가락끝 위치를 적어도 특정하도록 하는 손가락끝 위치 화상 중 하나를 상기 위치 지시 화상으로서 표시하도록 구성될 수 있다. 상기 위치 지시 화상은 지시 위치가 인식되는 정도로 단순화되는 화상을 이용하여 처리 부담을 감소시킬 수 있다.
또한, 상기 강조 표시는 상기 위치 지시 화상의 윤곽에 대하여 이루어질 수 있다. 윤곽선이 강조됨으로써, 상기 특정 손가락의 지시 위치는 보다 알기 쉽게 된다.
또한, 상기 강조 표시는 상기 위치 지시 화상의 표시 칼라의 명암 정도를 변화시킴으로써, 위치 지시 화상의 형상의 변화시킴으로써, 상기 위치 지시 화상의 투명도를 변화시킴으로써, 또는 상기 위치 지시 화상을 플래싱(flashing) 함으로써 행해질 수 있다. 이러한 간단한 화상 처리에 의한 강조 표시를 실행함으로써, cfl 부담은 감소될 수 있다. 또한, 이들 강조 표시는 특정 손가락을 충분히 강조할 수 있다.
그런데, 상기 원격 조작부에 대한 조작에 이용되거나 이용되는 것으로 추정되는 손가락은 조작대상 손가락으로 지정된다. 상기 지정된 조작대상 손가락과 대응하게 표시되는 위치 지시 화상은 다른 손가락에 대응하여 표시되는 위치 지시 화상보다 상대적으로 강조된다. 이 경우, 항상 고정된 손가락이 조작대상 손가락으로서 지정되는 쪽이 조작성의 관점에서 더 바람직하다. 즉, 조작대상 손가락으로서 동일의 손가락이 계속해서 지정되는 것이 바람직하다.
이를 달성하기 위하여, 상기 표시 방법은, 조작대상 손가락이 조작대상 손가락 지정 단계에 의해 지정된 후, 조작대상 손가락으로 지정된 손가락의 이동이 추적될 수 있는 조작대상 손가락 추적 단계를 포함하도록 구성될 수 있다. 상기 조작대상 손가락 지정 단계는, 상기 조작대상 손가락 추적 단계에 의한 추적 결과에 근거하여, 상기 조작대상 손가락으로 지정된 손가락으로서의 동일 손가락이 조작대상 손가락으로 계속해서 지정될 수 있다. 이러한 구성에 따르면, 상기 조작대상 손가락으로 지정된 손가락의 이동이 추적되기 때문에, 동일한 손가락이 조작대상 손가락으로 지정될 수 있다. 상기 조작대상 손가락이 손가락의 이동에 따라 변화되는 경우에 비하여, 조작이 용이하게 된다.
또한, 상기 손가락 특정 단계는 상기 원격 조작부의 전방에서 미리 정해진 손가락 특정 가능 영역 내에 존재하는 손의 손가락을 미리 정해진 시간 간격으로 순차적으로 특정할 수 있다. 예를 들면, 상기 촬영부에 의해 촬영된 손의 화상으로부터 손가락을 특정할 때, 상기 손가락 특정 단계는 미리 정해진 시간 간격마다 상기 촬영부에 의해 하나씩 취득된 이동 화상 프레임마다에 대하여 프레임에 나타나는 손 화상으로부터 손가락을 특정한다. 이 경우, 상기 손가락 특정 단계에 의해 하나씩 특정된 손가락마다에 대한 위치 정보를 취득하고, 상기 미리 정해진 추적 종보 기억부에서 추적 정보로서 상기 취득된 위치 정보를 기억하기 위한 손가락 추적 단계가 구성될 수 있어, 손가락마다에 대하여 상기 손가락 특정 단계에 의해 하나씩 특정되는 손가락의 이동을 추적한다. 이에 따라 상기 조작대상 손가락 지정 단계는 상기 손가락 추적 단계에 의해 기억된 손가락마다에 대한 추적 정보 가운데서 상기 조작대상 손가락의 추적 정보에 근거하여 조작대상 손가락으로 지정된 손가락의 이동을 추적할 수 있다. 이러한 구성은 상기 손가락 특정 단계에 의해 특정된 모든 손가락들의 이동이 추적되기 때문에 상기 조작대상 손가락으로 지정된 어떠한 손가락에 대하여 응답할 수 있다. 또한, 상기 조작대상 손가락의 이동은 다른 손가락들과 함께 발생한다. 상기 조작대상 손가락뿐만 아니라 다른 손가락들의 추적 정보가 수집되면, 상기 조작대상 손가락을 추적하기 위한 상기 수집된 정보의 이용은 보다 정확한 추적을 제공할 수 있다.
또한, 상기 손가락 추적 단계는 손가락 특정 단계마다에서 상기 추적 정보를 기억하고 있는 추적 중의 각 손가락이 다음의 손가락 특정 단계에서 위치하는 것으로 추정되는 다음 위치를, 대응하는 상기 추적 정보에 근거하여 산출하는 다음 위치 추정 단계를 포함할 수 있다. 이 경우에서, 상기 조작대상 손가락 지정 단계는 다음과 같이 실행할 수 있다. 미리 정해진 기준 조건을 만족하는 위치 관계를 갖는 페어(pair)를 특정하되, 여기에서, 상기 위치 관계는 상기 다음 위치 추정 단계에서 산출된 추적 하에서의 각 손가락의 다음 위치와 상기 다음 손가락 특정 단계에서 실제로 특정된 각 손가락의 실제 위치 간의 위치 관계이다. 또한, 상기 페어 중인 하나인 상기 추적 중의 손가락과 상기 손가락 특정 단계에서 실제로 특정된 손가락은 서로 동일한 손가락으로 판단되고, 상기 추적중의 손가락이 상기 실제로 특정된 손가락의 위치로 이동되는 것인지 판정된다. 그리고 상기 손가락의 이동 추적을 계속한다. 구체적으로, 동일한 것으로 판정되고 실제로 특정된 손가락의 위치 정보는 추적 중인 손가락의 가장 최신 위치 정보로서 기억되는데, 이는 상기 추적 정보 기억부에서 기억된 추적 정보가 갱신되어 상기 손가락의 이동 추적을 계속하는 방식으로 기억된다. 이러한 구성에 따르면, 상기 추적 정보는 기억되고, 이에 따라 상기 추적 중인 손가락의 다음 이동 목적지가 과거 추적 정보로부터 추정될 수 있다. 또한, 상기 추정된 위치와 상기 손가락이 실제로 특정되는 위치 간의 위치 관계가 비교된다. 상기 위치들 모두가 미리 정해진 거리 이내에서 서로 가까운 위치 관계에 있을 경우, 추적 중인 손가락이 이동되고 추정되는 것으로 판정된다. 즉, 추적 중의 이동 목적지의 추정은 과거 추적 정보를 이용함으로써 행해지고, 이에 따라 높은 정확도를 제공한다. 또한, 상기 손가락의 이동 추적은 추정된 결과를 이용하여 이루어지고, 이에 따라 높은 추적 정확도를 제공한다.
상기 추적 정보는 복수회의 손가락 특정 단계에 의하여 특정된 추적중의 손가락의 각 대응하는 위치 정보를 포함할 수 있다. 이 경우, 상기 다음 위치 추정 단계는 각 위치 정보에 근거하여 추정중의 손가락의 다음 위치를 산출하도록 구성될 수 있다. 이러한 구성은 추적중의 손가락의 과거 복수회의 위치들로부터 다음 위치를 추정할 수 있으며, 그러므로 높은 추정 정확도를 제공한다.
또한, 상기 추적 정보는 전회(前回) 및 전전회(前前回)의 손가락 특정 단계에 의해 특정된 추적중의 손가락의 각 대응하는 위치 정보를 포함하는 경우를 상정한다. 이 경우, 상기 다음 위치 추정 단계는 상기 전회 및 전전회 모두의 위치 정보에 근거하여 추적중의 손가락의 다음 위치를 산출할 수 있다. 한편, 상기 추적 정보는 전회의 손가락 특정 단계에 의해 특정된 추적중의 손가락의 대응 위치 정보를 포함하지만, 전전회의 손가락 특정 단계에 의해 특정된 추적중의 손가락의 대응하는 위치 정보는 포함하지 않는 경우를 상정한다. 이 경우, 상기 다음 위치 추정 단계는 전회의 손가락 특정 단계에 의해 특정된 위치 정보 및 해당 위치 정보가 표시되는 위치에 근접하는 상기 손가락 특정 가능 범위의 가장자리부(edge portion)의 위치에 근거하여 추적중의 손가락의 다음 위치를 산출할 수 있다. 전회 및 전전회의 추적중의 손가락의 위치가 이용되는 경우, 이들을 이용함으로써 상기 다음 위치는 높은 정확도로 추정될 수 있다. 한편, 전회의 추적중의 손가락의 위치를 알 수 있는 경우, 즉 상기 추적중의 손가락이 전회에서 새로이 나타나는 손가락일 경우, 하나의 위치만을 알 수 있어 상기 다음 위치는 높은 정확도로 추정될 수 없다. 그러나 상기 구성에 따르면, 전회 위치에 근접하는 손가락 특정 가능 영역의 가장자리부의 위치는 전전회의 위치 대신에 이용된다. 이 경우, 전회에서 새로이 나타나는 손가락은 상기 손가락 특정 가능 범위에서 가장 가까운 가장자리부로부터 나타날 가능성이 높다. 상기 가장자리부는 전전회의 위치로서 이용되고, 전회의 이치가 없더라도 상기 다음 위치는 충분한 정확도로 추정될 수 있다.
상기 손가락 추적 단계에서, 상기 손가락 특정 단계에 의해 실제 특정된 손가락과는 기준 조건이 만족하지 않는 추적중의 손가락이 있는 경우를 상정한다. 이 경우, 이러한 손가락은 추적 불가의 손가락으로 인식을 전환하고, 상기 인식이 추적 불가의 손가락으로 전환될 때의 손가락의 정보는 미리 정해진 추적 복귀 판정 정보 기억부에 추적 복귀 판정 정보로서 기억된다. 이 경우, 상기 조작대상 손가락 지정 단계는 다음과 같이 더 실행될 수 있다. 추적중의 손가락과의 기준 조건을 만족하지 않고 상기 손가락 특정 단계에 의해 실제 특정된 손가락이 있을 경우, 상기 추적 복귀 판정 정보 기억부에 기억된 추적 복귀 판정 정보에 근거하여 상기 실제로 특정된 손가락이 과거에서 추적 불가로서 정의된 손가락과 동일한 것인지 여부를 판정한다. 동일한 것으로 판정되는 경우, 추적 불가로 정의되고, 상기 추적 복귀 판정 정보에 대응하는 손가락은 실제 특정된 손가락의 위치에 다시 나타나는 것으로 인식되며, 그러므로 상기 손가락의 이동 추적은 재개시된다. 한편, 동일하지 않는 것으로 판정되는 경우, 실제로 특정된 상기 손가락은 새로이 나타나는 것으로 인식되고, 이에 따라 상기 손가락의 이동 축적은 새로이 개시된다. 구체적으로, 동일한 것으로 판정되는 경우, 상기 실제로 특정된 손가락의 위치 정보는 손가락의 가장 최신의 위치 정보로서 추적 정보 기억부에 기억된다. 이러한 방식에서, 상기 추적 정보 기억부에 기억된 추적 정보는 갱신되고, 이에 따라 상기 손가락의 이동 추적은 재개시된다. 한편, 동일하지 않는 것으로 판정되는 경우, 신규 출현의 손가락의 위치 정보는 추적 정보 기억부에서 추적 정보로서 기억되고, 이에 따라 손가락의 이동 추적은 새로이 개시된다. 상기 조작대상 손가락은 상기 손가락 특정 단계에서 손가락 특정 가능 범위 외로 이동한 때에는 더 이상 특정되지 않는다. 상기 조작대상 손가락이 특정되지 않게 되기 때문에, 그 이외의 다른 손가락이 조작대상 손가락으로 특정되는 것이 바람직하다. 예를 들면, 상기 조작대상 손가락으로서 이용되는 검지가 상기 특정 가능 범위 외로 이동되는 것으로 상정하는 경우, 약지가 특정되기 때문에 상기 조작대상 손가락이 약지로 변경되는 것은 그다지 바람직하지 않다. 이는 검지가 다시 특정될 때까지 상기 조작대상 손가락을 지정하지 않는 것이 좋다. 즉, 일정의 손가락이 항상 조작대상 손가락으로 지정되는 것이 조작하기 쉽다. 상기 구성에서, 추적중의 손가락이 로스트(lost)(추적 불가)된 경우, 로스트된 때의 상황이 상기 추적 복귀 판정 정보로서 기억된다. 추적되지 않는 손가락이 새로이 특정된 경우, 추적된 추적복귀 판정 정보에 근거하여 그 손가락이 과거에 로스트한 손가락인지 여부를 판정한다. 그러므로 한번 로스트(lost)된 손가락이 다시 나타나는(출현되는) 경우, 이를 동일한 손가락으로 인식할 수 있다. 로스트된 손가락이 조작대상 손가락인 경우에는, 다시 출현된 대에 다시 조작대상 손가락으로서 바로 지정할 수 있고, 그대로 이동 추적을 재개시할 수 있다.
이 경우에서의 상기 추적 정보는 적어도 상기 손가락 특정 단계에 의해 특정된 손가락의 최신의 위치 정보를 포함하는 것으로 할 수 있다. 또한, 추적 복귀 판정 정보는 대응하는 손가락이 추적불가로 인식되기 전의 최후의 위치 정보를 포함한다. 이러한 구성에 따르면, 상기 손가락 추적 단계에서 로스트(추적 불가)하기 직전의 위치와, 재출현의 위치를 비교하고, 서로 가까운 위치 관계에 있는 페어(pair)를 동일한 손가락으로 판정한다. 즉, 로스트되기 바로 전의 위치가 기억되고, 재출현의 위치가 기억되며, 이에 따라 이러한 기억 처리만으로 새로이 특정된 손가락이 재출현 손가락인지 여부에 관한 판정을 용이하게 할 수 있다.
상기 손가락 추적 단계에서, 상기 추적중의 손가락과의 기준 조건을 만족하지 않고, 상기 손가락 특정 단계에 의해 실제 특정된 손가락이 있으며, 상기 추적 복귀 판정 정보 기억부에 상기 추적 복귀 판정 정보가 기억되는 복수의 손가락이 있는 경우를 가정한다. 이 경우, 상기 실제로 특정된 손가락에서의 위치 정보 및 상기 추적 복귀 판정 정보에 포함된 추적 불가의 각 손가락의 최후의 위치 정보에 근거하여, 상기 실제 특정된 손가락에 가장 가까운 위치를 나타내는 위치 정보를 포함하는 상기 추적 복귀 판정 정보에 대응하는 추적 불가의 손가락이 상기 실제 특정된 손가락과 동일한 것으로 판정할 수 있다. 이러한 구성에 따르면, n적 불가 손가락이 복수 존재하더라도, 상기 새로이 특정된 손가락의 위치와 추적 불가의 가가 손가락에서 최종 특정된 위치를 비교함으로써, 가장 가까운 추적 불가 손가락은 상기 새로이 특정된 손가락과 동일한 것으로 판정된다. 로스트된 상기 손가락은 손가락이 로스트된 위치로서 상기 동일 위치로부터 출현할 가능성이 높다. 이를 이용함으로써, 상기 새로이 특정된 손가락이 새로이 출현하는 손가락 또는 로스트되고 재출현되는 손가락인지 여부를 정확하게 특정할 수 있다.
상기 손가락 추적 단계에서, 추적중의 손가락과의 기준 조건을 만족하지 않으며 상기 손가락 특정 단계에 의해 실제로 특정된 손가락이 존재하는 경우를 상정한다. 여기에서, 상기 실제로 특정된 손가락의 위치 정보와 상기 추적 복귀 판정 정보에 포함된 추적 불가의 손가락의 최후의 위치 정보에 의해 각각 나타내는 위치 사이로 되는 거리가 정의된다. 상기 거리가 미리 정해진 기준 거리 이하인 경우, 실제로 특정된 해당 손가락과 해당 추적복귀 판정 정보에 대응하는 추적 불가의 손가락을 동일한 것으로 인식하는 것을 허용할 수 있다. 한편, 상기 거리가 미리 정해진 기준 거리 이하가 아닌 경우, 실제로 특정된 해당 손가락과 해당 추적 복귀 판정 정보에 대응하는 추적불가 손가락을 동일한 것으로 인식하는 것을 금지할 수 있다. 로스트(추적 불가) 중의 손가락의 최종 특정 위치와 새로이 특정된 손가락의 위치를 비교할 때에, 두 손가락은 그들 사이의 거리가 먼 경우 다르다. 상기 구성에 따르면, 새로이 특정된 손가락이 신규로 출현하는 손가락인지 또는 로스트되어 재출현하는 손가락인지 여부를 정확하게 특정할 수 있다.
상기 손가락 추적 단계에서, 상기 손가락 특정 단계에 의해 상기 실제로 특정된 손가락과 기준 조건을 만족하지 않는 추적중의 손가락이 존재하고, 상기 추적중의 손가락이 추적중으로부터 추적 불가 중으로 인식 전환되는 경우를 상정한다. 이 경우, 추적 불가로 인식 전환된 때의 손가락에 관한 정보에 따라, 추적불가 인식 순서는 상기 추적 복귀 판정 정보 기억부의 추적 복귀 판정 정보로서 기억될 수 있다. 상기 추적 불가 인식 순서는 상기 추적 불가 인식 시기에 대하여 추적 불가 중의 다른 손가락과의 전후 관계를 특정할 수 있다. 이 경우, 상기 손가락 추적 단계에서, 추적 중의 손가락과 기준 조건을 만족하지 않으며 상기 손가락 특정 단계에 의해 실제로 특정된 손가락이 존재하고, 상기 추적 복귀 판정 정보 기억부에 추적 복귀 판정 정보가 기억된 복수의 손가락이 존재하는 경우를 더 상정한다. 이 경우, 상기 실제 특정된 손가락의 위치 정보 및 상기 추적 복귀 판정 정보에 포함된 추적 불가 중의 각 손가락의 최후의 위치 정보에 근거하여, 상기 실제 특정된 손가락에 가장 가까운 위치를 나타내는 위치 정보를 포함하는 추적 복귀 판정 정보가 특정될 수 있다. 여기에서, 상기 실제로 특정된 손가락에 가장 가까운 위치를 나타내는 위치 정보를 포함하는 수적 복귀 판정 정보가 하나 특정되는 경우, 해당 추적 복귀 판정 정보에 대응하는 추적 불가 중의 손가락이 상기 실제로 특정된 손가락과 동일한 것으로 판정된다. 한편, 상기 추적 복귀 판정 정보에 포함된 상기 추적 불가 인식 순서를 참조함으로써, 상기 실제로 특정된 손가락에 가장 가까운 위치를 나타내는 위치 정보를 포함하는 추적 복귀 판정 정보가 둘 이상 있을 경우(복수의 추적 복귀 판정 정보에 포함되는 위치 정보에 의해 나타내는 위치들이 미리 정해진 근접 조건을 만족하는 위치 정보를 가질 때), 상기 실제로 특정된 손가락은 상기 복수의 추적 복귀 판정 정보 중에서 추적 불가 인식 시기에서 가장 최신에 대응하는 추적 불가 중의 손가락과 동일한 것으로 판정된다.
사람의 손의 손가락이 일렬로 되어 있는 것을 고려하여, 대략 유사한 위치에서 복수의 손가락이 로스트된 경우, 이들이 다시 출현할 때에는 최후에 로스트된 손가락부터 순서로 출현할 가능성이 높다. 상기의 구성을 제공함으로써, 로스트 중의 손가락이 복수이더라도, 새로이 특정된 손가락이 로스트 중의 어느 손가락과 동일한 것인지를 정확히 특정할 수 있다.
또한, 상기 추적 복귀 판정 정보는 해당 손가락이 추적 불가로서 인식될 때 추적 정보 기억부에 기억되는 손가락의 추적 정보로서 정의될 수 있다. 이러한 구성에서, 추적 중의 손가락이 로스트(추적 불가)된 경우, 상기 추적 정보 기억부에 기억된 손가락의 추적 정보는 추적 복귀 판정 정보로서 그대로 기억된다. 상기 추적 정보 기억부 및 추적 복귀 판정 정보 기억부가 서로 동일한 경우, 상기 기억된 추적 정보는 그대로 유지될 수 있다.
상기 손가락 추적 단계에서, 상기 손가락 특정 단계에 의해 손가락이 특정되고, 상기 특정된 손가락이 새로이 출현하는 것으로서 인식되는 경우를 상정한다. 이 경우, 새로운 식별 정보가 새로이 출현하는 손가락에 지정될 수 있고, 상기 식별 정보에 대응하여 각 손가락의 추적 정보는 상기 추적 정보 기억부에 기억된다. 이에 따라 상기 식별 정보는 손가락 특정 단계에 의해 특정된 손가락에 부여되고, 손가락에 대한 정보 관리는 보다 용이하게 이루어질 수 있다.
또한, 상기 추적 복귀 판정 정보 기억부를 갖는 구성에서, 상기 손가락 추적 단계는 다음과 같이 구성될 수 있다. 상기 식별 정보가 지정된 추적 중의 손가락이 추적 중에서 추적 불가 중으로 인식 전환되는 경우, 상기 추적 복귀 판정 정보는 상기 추적 복귀 판정 정보 기억부에서 해당 손가락의 식별 정보와 대응하여 기억될 수 있다. 이 경우, 추적 중의 손가락이 로스트(추적 불가) 되더라도, 해당 손가락의 식별 정보는 계속되게 기억되고, 그러므로 로스트 된 이후, 해당 손가락의 정보는 용이하게 관리될 수 있다.
상기 손가락 추적 단계에서, 상기 손가락 특정 단계에 의해 손가락이 특정될 때, 상기 추적 정보 기억부에 기억된 추적 정보 및 상기 추적 복귀 판정 정보 기억부에 추가로 기억된 상기 추적 복귀 판정 정보에 근거하여, 상기 손가락 특정 단계에 의해 실제로 특정된 손가락이 추적 중의 손가락인지 여부를 판정하고, 또한, 사기 식별 정보가 지정된 각 손가락마다에 대하여 추적 불가의 손가락인지 여부를 판정한다. 상기 판정 결과는 미리 정해진 추적 상황 기억부에 식별 정보와 대응하게 추적 상황으로서 기억될 수 있다. 이러한 구성에 따르면, 상기 식별 정보가 부착된 손가락의 추적 상황(추정중, 추적 불가 등)은 용이하게 특정될 수 있다.
상기 손가락 추적 단계에서, 상기 손가락 특정 단계에 의해 특정된 손가락이 특정되지 않는 경우, 상기 식별 정보 및 상기 식별 정보에 대응하여 기억된 각종 정보는 소거되고 초기화된다. 순차적으로 특정된 손가락의 각종 정보는 식별 정보와 대응하여 기억부에서 갱신되고, 손가락이 특정되지 않을 때와 동시에 모든 정보는 초기화될 수 있다.
또한, 표시 장치는 상기의 표시 방법의 단계들을 실현하는 부(section)를 포함하도록 구성될 수 있다(상기 단계는 손가락 특정 단계, 조작대상 손가락 지정 단계, 손가락끝 특정 단계, 위치 지시 화상 강조 표시 단계, 및 지정 손가락 정보 취득 단계를 포함한다)(상기 부는 손가락 특정부, 조작대상 손가락 지정부, 손가락끝 특정부, 위치 지시 화상 강조 표시부, 및 지정 손가락 정보 취득부를 포함한다). 이에 따라 상기 표시 장치에서 상기의 효과는 실현될 수 있다.
또한, 조작 입력 장치는 표시 화면을 갖는 표시부 및 원격 조작 영역을 갖는 원격 조작부를 포함하는 상기 표시 장치를 포함하도록 구성될 수 있다. 구체적으로, 상기 표시 화면은 장치 등의 동작을 실행하기 위한 표시 화면으로 되도록 구성될 수 있다. 상기 원격 조작 영역은 표시 화면으로부터 별도의 위치에 제공되는 조작 영역으로 구성될 수 있으며, 상기 원격 조작 영역은 표시 화면에 조작 입력을 원격으로 실행하기 위한 것이다. 상기 원격 조작 영역에 대한 가압 조작에 근거하여 가압 조작 위치에 대응하는 입력을 수락하기 위한 입력 수락부가 포함된다. 상기 원격 조작 영역에 대향하는 손의 화상을 촬영하는 손 화상 촬영부가 포함될 수 있다. 상기 손의 촬영 화상에 근거하여 상기 표시 화면의 위치에서 생성되는 위치 지시 화상을 표시하는 위치 지시 화상 강조 표시부가 포함될 수 있으며, 사기 위지는 손에 의해 나타난다. 이에 따라 상기 표시 방법의 효과를 갖는 원격 조작용의 조작 입력 장치를 실현할 수 있다.
또한, 상기 조작 입력 장치는 차량 조작 입력 장치로 이루어질 수 있다. 구체적으로, 상기 장치는 차량 탑재 장치이다. 상기 표시 화면은 운전자에 의해 보여지도록 운전자보다 차량 전방에 가깝게 배치될 수 있다. 상기 원격 조작 영역은 표시 화면보다 운전자에게 가깝게 배치될 수 있다. 상기 표시는 조작대상 손가락을 알기 쉽게 행해질 수 있으며, 이에 따라 용이한 조작을 제공한다. 특히 이는 운전자의 조작의 간이화에 기여할 수 있다.
또한, 상기 제1 관점과 제2 관점은 상위의 개념으로서 제공될 수 있다. 즉, 차량용 조작 입력 장치는 다음과 같이 제공될 수 있다. 표시부는 차량에서의 장치의 동작을 실행하기 위한 표시 화면을 갖도록 구성될 수 있다. 원격 조작부는 표시 화면으로부터 별도의 위치에 제공될 수 있으며, 상기 원격 조작부는 표시 화면에서 조작 입력을 원격으로 실행하기 위한 원격 조작 영역을 구비한다. 입력 수락부는 원격 조작 영역에 대한 가압 조작에 근거하여 가압 조작 위치에 대응하는 입력을 수락하도록 구성될 수 있다. 손 화상 촬영부는 상기 원격 조작 영역에 대향하는 손의 화상을 촬영하도록 구성될 수 있다. 위치 지시 화상 표시부는 표시 화면의 위치에서 손의 화상의 촬영 화상에 근거하여 생성된 위치 지시 화상을 표시하도록 구성될 수 있으며, 상기 위치는 손에 의해 지시되는 위치이다. 소정의 손가락 상태 특정부는 상기 원격 조작 영역에 대향하는 손의 손가락 상태가 미리 정해진(소정의) 손가락 상태인지 여부를 특정하도록 구성될 수 있다. 표시 모드 설정부는 상기 위치 지시 화상 표시부에 대하여 설정된 표시모드 전환제어를 실행하도록 구성될 수 있다. 상기 표시모드 전환제어는 상기 소정의 손가락 상태가 특정되는 경우, 상기 표시 모드를 상기 위치 지시 화상의 표시를 허용하는 표시 허가 모드로 설정하고, 상기 소정의 손가락 상태가 특정되지 않은 경우, 상기 표시 모드를 상기 위치 지시 화상의 표시를 금지하는 표시 금지 모드로 설정한다.
또한, 상기 설명의 다른 관점으로서, 다음과 같은 표시 방법으로서 제공될 수 있다. 즉, 상기 방법은 표시 화면을 갖는 표시부 및 상기 표시 화면에 대한 조작을 원격으로 실행하기 위한 원격 조작 영역을 갖는 원격 조작부를 구비한 표시 장치에서 이용된다. 상기 표시 방법은 표시 장치에서 위치 지시 화상을 표시하기 위한 것이다. 상기 원격 조작부의 전방에서 대향하는 손가락으로서, 상기 위치 지시 화상은 배경의 화상에 합성 또는 중첩되는 방식으로 손가락의 위치에 대응하는 표시 화면의 화면 위치에 표시된다. 상기 방법은 상기 원격 조작 영역을 향하는 손의 손가락의 상태가 소정의 손가락 상태인지 여부를 특정하는 손가락 상태 특정 단계; 상기 소정의 손가락 상태가 특정되는 경우 상기 위치 지시 화상의 표시를 허용하는 표시 허가 모드로 상기 표시 모드를 설정하는 단계; 및 상기 소정의 손가락 상태가 특정되지 않은 경우, 상기 위치 지시 화상의 표시를 금지하는 표시 금지 모드로 상기 표시 모드를 설정하는 단계를 포함한다.
이상에서 설명한 본 발명은 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경의 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
1: 조작 입력 장치
10: 차량용 네비게이션 장치
12: 조작 정보 입력부(원격 조작부)
12a: 조작 패널
12b: 카메라(손 화상 촬영부 또는 손 화상 촬영 수단)
12c: 광원
15: 표시 장치(표시부 또는 표시 수단, 조작 화면 표시부 또는 조작 화면 표시 수단)
15a: 터치 패널
18: 제어 회로(입력수락부 또는 입력수락 수단, 위치 지시 화상 표시부 또는 위치 지시 화상 표시 수단, 소정의 손가락 상태 특정부 또는 소정의 손가락 상태 특정 수단, 조작의사 표현용 손가락 상태 특정부 또는 조작의사 표현용 손가락 상태 특정 수단, 간이 조작용 손가락 상태 특정부 또는 간이 조작용 손가락 상태 특정 수단, 조작 입력 제어부 또는 조작 입력 제어 수단, 표시모드 설정부 또는 표시모드 설정 수단, 조작자 특정부 또는 조작자 특정 수단, 주행 상태 특정부 또는 주행상태 특정 수단, 위치 지시 화상 강조 표시부 또는 위치 지시 화상 강조 표시 수단, 손가락 특정부 또는 손가락 특정 수단, 조작대상 손가락 특정부 또는 조작대상 손가락 특정 수단, 손가락끝 특정부 또는 손가락끝 특정 수단, 지정손가락 정보 취득부, 지정손가락 정보 취득 수단, 손가락 개수 특정부 또는 손가락 개수 특정 수단, 손 형상 인식부 또는 손 형상 인식 수단, 조작수 특정부 또는 조작수 특정 수단, 표시모드 실행 적용가능 정보 기억부 또는 표시모드 실행 적용가능 정보 기억 수단)
18a: 화상 처리부
21: 기억부
20: 카메라
30: 차량 속도 센서(차량 속도 검출부 또는 차량속도 검출 수단)
40: 카메라
41, 42: 카메라
50: 차량 내 LAN
100: ECU
150: 촬영 화상
200B: 메인 화상
200I: 스위치 화상(조작 아이콘)
200H: 위치 지시 화상(손 화상)
H: 접근 대상물(손 및 손가락)

Claims (46)

  1. 표시 화면을 갖는 표시부(15) 및 상기 표시 화면에 대한 조작을 원격으로 실행하기 위한 원격 조작 영역을 갖는 원격 조작부(12, 12a)를 구비하는 표시 장치에 위치 지시 화상을 표시하며, 상기 원격 조작부의 전방에 손가락이 대향 할 때, 상기 손가락의 위치에 대응하는 표시 화면의 화면 위치에 상기 위치 지시 화상이 배경의 화상에 합성되거나 중첩되는 방식으로 표시되는 방법에 있어서,
    상기 방법은
    상기 원격 조작부의 전방에 대향하는 손의 손가락을 특정하는 손가락 특정 단계(T1);
    상기 원격 조작부에 대한 조작에 이용되거나 이용되는 것으로 추정되는 조작대상 손가락을 상기 특정된 손가락으로부터 지정하는 조작대상 손가락 지정 단계(T3);
    상기 특정된 손가락의 지시 위치를 지시하는 상기 위치 지시 화상을 상기 표시 화면의 배경의 화상에 합성되거나 중첩되는 방식으로 표시하는 표시 단계; 및
    상기 조작대상 손가락과 다른 손가락에 대응하는 위치 지시 화상에 비하여 상대적으로 더 강조하도록 상기 표시된 위치 지시 화상 중에서 상기 지정된 조작대상 손가락에 대응하는 위치 지시 화상의 강조 표시를 실행하는 위치지시화상 강조 단계(T4)
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 손가락 특정 단계는 상기 손의 손가락끝을 특정하는 손가락끝 특정 단계(T2)이고, 상기 손가락끝을 특정하는 방식으로 상기 손가락을 특정하는 단계인
    방법.
  3. 제1항에 있어서,
    상기 조작대상 손가락 지정 단계는 상기 조작대상 손가락으로서 1개의 손가락을 지정하는
    방법.
  4. 제1항에 있어서,
    상기 조작대상 손가락 지정 단계는 상기 조작대상 손가락으로서 2개의 손가락 또는 3개의 손가락을 지정하는
    방법.
  5. 제1항에 있어서,
    상기 손가락 특정 단계에 의해 특정된 손가락의 형상에 관한 손가락 형상 정보를 지정 손가락 정보로서 취득하는 지정 손가락 정보 취득 단계(T2)를 더 포함하고,
    상기 조작대상 손가락 지정 단계는 상기 손가락 특정 단계에 의해 특정된 손가락 중에서, 상기 취득된 손가락 형상 정보에 근거하여 상기 손가락 형상에 대하여 미리 정해진 선정 조건에 가장 적합한 상기 손가락 형상 정보를 갖는 손가락을 상기 조작대상 손가락으로 우선적으로 지정하는
    방법.
  6. 제5항에 있어서,
    상기 지정 손가락 정보 취득 단계는 상기 손가락 특정 단계에 의해 특정된 손가락 중에서 상기 원격 조작 영역의 방향으로의 길이 관계를 반영하는 손가락 길이 정보를 상기 손가락 형상 정보로서 취득하고;
    상기 조작대상 손가락 지정 단계는 상기 손가락 특정 단계에 의해 특정된 손가락 중에서 상기 취득된 손가락 길이 정보에 근거하여 상기 손가락 길이 정보에 대하여 미리 정해진 선정 조건에 가장 적합한 상기 손가락 형상 정보를 갖는 손가락을 상기 조작대상 손가락으로 우선적으로 지정하는
    방법.
  7. 제5항에 있어서,
    상기 지정 손가락 정보 취득 단계는 상기 손가락 특정 단계에 의해 특정된 손가락의 상기 원격 조작 영역의 방향으로의 폭 관계를 반영하는 손가락 폭 정보를 상기 손가락 형상 정보로서 취득하고;
    상기 조작대상 손가락 지정 단계는 상기 손가락 특정 단계에 의해 특정된 손가락 중에서 상기 취득된 손가락 폭 정보에 근거하여 상기 손가락 폭 정보에 대하여 미리 정해진 선정 조건에 가장 적합한 상기 손가락 형상 정보를 갖는 손가락을 상기 조작대상 손가락으로 우선적으로 지정하는
    방법.
  8. 제1항에 있어서,
    상기 지정 손가락 정보 취득 단계(T2)는 상기 손가락 특정 단계에 의해 특정된 손가락 중에서 상기 원격 조작 영역의 방향으로의 위치 관계에 관한 위치 관계 정보를 상기 지정 손가락 정보로서 취득하고;
    상기 조작대상 손가락 지정 단계는 상기 손가락 특정 단계에 의해 특정된 손가락 중에서 상기 취득된 위치 관계 정보에 근거하여 상기 위치 관계 정보에 대하여 미리 정해진 선정 조건에 가장 적합한 상기 위치 관계 정보를 갖는 손가락을 상기 조작대상 손가락으로 우선적으로 지정하는
    방법.
  9. 제8항에 있어서,
    상기 손가락 특정 단계는 상기 손으로부터 손가락끝을 특정하는 손가락끝 특정 단계(T2)이고, 상기 손가락끝을 특정하는 방식으로 상기 손가락을 특정하는 단계이며,
    상기 지정 손가락 정보 취득 단계는
    상기 손가락끝 특정 단계에 의해 특정된 손가락끝을 상기 원격 조작 영역에 대향하는 방향으로 투영하고;
    1차원 좌표계를 형성하는 투영면에서 미리 정해진 위치에 1개의 축을 정의하고;
    상기 좌표계에서 상기 투영된 손가락끝의 좌표값을 특정하며;
    상기 좌표값을 반영하는 축 좌표 정보를 상기 위치 관계 정보로서 취득하고,
    상기 조작대상 손가락 지정 단계는 상기 손가락 특정 단계에 의해 특정된 손가락 중에서 상기 취득된 축 좌표 정보에 근거하여 상기 축 좌표 정보에 대하여 미리 정해진 선정 조건에 가장 적합한 손가락을 상기 조작대상 손가락으로 우선적으로 지정하는
    방법.
  10. 제8항에 있어서,
    상기 손가락 특정 단계는 상기 손으로부터 손가락끝을 특정하는 손가락끝 특정 단계(T2)이고, 상기 손가락끝을 특정하는 방식으로 상기 손가락을 특정하는 단계이며,
    상기 지정 손가락 정보 취득 단계는
    상기 손가락끝 특정 단계에 의해 특정된 손가락끝을 상기 원격 조작 영역에 대향하는 방향으로 투영하며;
    투영면에서 미리 정해진 영역에 정의된 기준 영역과 상기 투영된 손가락끝 간의 거리를 반영하는 거리 정보를 상기 위치 관계 정보로서 취득하고;
    상기 조작대상 손가락 지정 단계는 상기 손가락 특정 단계에 의해 특정된 손가락 중에서 상기 취득된 거리 정보에 근거하여 상기 거리 정보에 대하여 미리 정해진 선정 조건에 가장 적합한 손가락을 상기 조작대상 손가락으로 우선적으로 지정하는
    방법.
  11. 제1항에 있어서,
    상기 손가락 특정 단계에 의해 특정된 손가락 중에서, 상기 원격 조작 영역에 대한 접근 거리 관계를 반영하는 접근 거리 관계 정보를 지정 손가락 정보로서 취득하는 지정 손가락 정보 취득 단계를 더 포함하고,
    상기 조작대상 손가락 지정 단계는 상기 손가락 특정 단계에 의해 특정된 손가락 중에서 상기 취득된 접근 거리 정보에 근거하여 상기 원격 조작 영역에 가까운 손가락끝을 갖는 손가락을 상기 조작대상 손가락으로 우선적으로 지정하는
    방법.
  12. 제11항에 있어서,
    광원으로부터의 광을 상기 원격 조작 영역에 접근하는 손 측으로 조사하고, 화상 촬영부를 이용하여 상기 손으로부터의 반사광을 포착하는 방식으로 상기 원격 조작 영역의 후면 측으로부터 손을 촬영하는 화상 촬영 단계(T1)를 더 포함하고,
    상기 지정 손가락 정보 취득 단계는 상기 촬영부에 의해 촬영된 손의 화상의 휘도(輝度)를 상기 접근 거리 정보로서 취득하며,
    상기 조작대상 손가락 지정 단계는 상기 손가락 특정 단계에 의해 특정된 손가락 중에서 가장 높은 휘도를 갖는 손가락끝의 손가락을 상기 조작대상 손가락으로 우선적으로 지정하는
    방법.
  13. 제5항에 있어서,
    광원으로부터의 광을 상기 원격 조작 영역에 접근하는 손 측으로 조사하고, 화상 촬영부를 이용하여 상기 손으로부터의 반사광을 포착하는 방식으로 상기 원격 조작 영역의 후면 측으로부터 손을 촬영하는 화상 촬영 단계(T1)를 더 포함하고,
    상기 지정 손가락 정보 취득 단계는 상기 촬영부에 의한 촬영 화상에 근거하는 상기 지정 손가락 정보를 취득하는
    방법.
  14. 제1항에 있어서,
    광원으로부터의 광을 상기 원격 조작 영역에 접근하는 손 측으로 조사하고, 화상 촬영부를 이용하여 상기 손으로부터의 반사광을 포착하는 방식으로 상기 원격 조작 영역의 후면 측으로부터 손을 촬영하는 화상 촬영 단계(T1)를 더 포함하고,
    상기 손가락 특정 단계는 상기 촬영된 손의 화상으로부터 손가락을 특정하는
    방법.
  15. 제1항에 있어서,
    상기 원격 조작 영역에 접근하는 손을 화상 촬영부를 이용하여 상기 원격 조작 영역의 후측으로부터 촬영하는 화상 촬영 단계를 더 포함하고,
    상기 표시 단계는 상기 촬영된 손의 화상에 근거하여 생성된 위치 지시 화상을 표시하는
    방법.
  16. 제1항에 있어서,
    상기 원격 조작부는 상기 원격 조작 영역으로 되는 터치 조작 영역을 구비하며, 상기 터치 조작 영역에 대해 행해지는 터치 조작의 유무를 검출하는 터치 조작부(12a)이고,
    상기 조작대상 손가락 지정 단계는 상기 손가락 특정 단계에 의해 특정된 손가락 중에서 상기 터치 조작 영역에 대해 터치 조작이 실행된 손가락을 지정하는
    방법.
  17. 제1항에 있어서,
    상기 위치지시화상 강조표시 단계는 소정 시간 동안 단계적으로 강조 레벨을 변화시키는 방식으로 상기 강조 표시를 실행하는
    방법.
  18. 제17항에 있어서,
    상기 위치지시화상 강조표시 단계는 상기 강조 표시를 실행하되,
    상기 강조 표시를 개시 시에, 상기 조작대상 손가락에 대응하는 상기 위치 지시 화상과 상기 조작대상 손가락과 다른 손가락에 대응하는 상기 위치 지시 화상이 동일한 강조 레벨을 갖고 강조 표시되고,
    상기 강조 표시의 개시로부터 개시되는 기간 동안, 상기 기간이 경과함에 따라, 상기 조작대상 손가락에 대응하는 상기 위치 지시 화상의 상대적인 강조 레벨은 단계적으로 증가되는
    방법.

  19. 제17항에 있어서,
    상기 위치지시화상 강조표시 단계는 상기 조작대상 손가락 지정 단계에 의하여 상기 조작대상 손가락의 지정에 따라 상기 상대적인 강조 표시를 개시하는
    방법.
  20. 제17항에 있어서,
    상기 위치지시화상 강조표시 단계는 상기 조작대상 손가락 지정 단계에 의하여 상기 조작대상 손가락이 지정된 후, 소정 시간이 경과한 때에 상기 상대적인 강조 표시를 개시하는
    방법.
  21. 제1항에 있어서,
    상기 원격 조작 영역에 대향하는 손의 화상을 촬영하는 손 화상 촬영 단계(T1)를 더 포함하고,
    상기 손가락 특정 단계는 상기 촬영된 손의 화상에 근거하여 상기 원격 조작 영역에 대향하는 손의 손가락을 특정하고,
    상기 위치지시화상 강조표시 단계는
    상기 촬영된 손의 화상에 근거하여 적어도 상기 특정된 손의 손가락의 윤곽을 특정할 수 있는 실제 손가락 화상을 생성하며,
    상기 생성된 실제 손가락 화상을 상기 위치 지시 화상으로서 표시하는
    방법.
  22. 제1항에 있어서,
    상기 위치지시화상 강조표시 단계는 의사(false) 손가락 화상 및 손가락끝 화상 중 하나를 상기 위치 지시 화상으로서 표시하고,
    상기 의사 손가락 화상은 적어도 연장된 손가락의 방향을 특정할 수 있고,
    상기 손가락끝 위치 화상은 적어도 손가락의 손가락끝 위치를 특정할 수 있는
    방법.
  23. 제1항에 있어서,
    상기 강조 표시는 상기 위치 지시 화상의 윤곽선에 적용되는
    방법.

  24. 제1항에 있어서,
    상기 강조 표시는 상기 위치 지시 화상의 표시 칼라를 변화시키는 방식으로 적용되는
    방법.
  25. 제1항에 있어서,
    상기 강조 표시는 상기 위치 지시 화상의 표시 칼라의 명암 농도를 변화시키는 방식으로 적용되는
    방법.
  26. 제1항에 있어서,
    상기 강조 표시는 상기 위치 지시 화상의 형상을 변화시키는 방식으로 적용되는
    방법.
  27. 제1항에 있어서,
    상기 강조 표시는 상기 위치 지시 화상의 투명도를 변화시키는 방식으로 적용되는
    방법.
  28. 제1항에 있어서,
    상기 강조 표시는 상기 위치 지시 화상을 플래싱(flashing) 하는 방식으로 적용되는
    방법.
  29. 제1항에 있어서,
    상기 조작대상 손가락 지정 단계에 의해 상기 조작대상 손가락이 지정된 후, 상기 조작대상 손가락으로 지정된 손가락의 이동을 추적하는 조작대상 손가락 추적 단계(R201 내지 R215)를 더 포함하고,
    상기 조작대상 손가락 지정 단계는 상기 조작대상 손가락 추적 단계에 의한 추적 결과에 근거하여 상기 조작대상 손가락으로 지정된 손가락과 동일한 손가락을 지속적으로 지정하는
    방법.
  30. 제29항에 있어서,
    상기 손가락 특정 단계는 상기 원격 조작부의 전방에서 미리 정해진 손가락 특정 가능 범위 내에 존재하는 손의 손가락을 소정의 시간 간격으로 순차적으로 특정하고,
    상기 방법은 상기 손가락 특정 단계에 의해 순차적으로 특정된 각 손가락에 대한 위치 정보를 취득하고, 상기 손가락 특정 단계에 의해 순차적으로 특정된 각 손가락의 이동을 상기 각 손가락에 대하여 추적하도록 상기 취득된 위치 정보를 추적 정보로서 소정의 추적정보 기억부에 기억하는 손가락 추적 단계(R201 내지 R215)를 더 포함하고,
    상기 조작대상 손가락 지정 단계는 상기 손가락 추적 단계에 의해 기억된 각 손가락에 대하여 상기 추적 정보로부터 상기 조작대상 손가락의 추적 정보를 특정하고, 상기 조작대상 손가락의 추적 정보에 근거하여 상기 조작대상으로 지정된 손가락의 이동을 추적하는
    방법.
  31. 제30항에 있어서,
    상기 손가락 추적 단계는 상기 각 손가락에 대한 상기 추적 정보가 상기 손가락 특정 단계마다 기억된 추적중의 손가락이 상기 대응하는 추적 정보에 근거하여 상기 손가락 특정 단계의 다음회(next time)에 위치되는 것으로 추정되는 다음 위치를 산출하는 다음위치 추정 단계(R201 내지 R205)를 포함하고,
    상기 손가락 추적 단계는 미리 정해진 기준 조건을 만족하는 위치 관계를 갖는 2개 손가락의 페어(pair)를 특정하되, 상기 위치 관계는 상기 다음위치 추정 단계에서 산출된 추적중의 각 손가락의 상기 다음 위치와, 상기 손가락 특정 단계의 다음회에서 실제 특정되는 각 손가락의 실제 위치 간의 위치 관계로 되고,
    상기 손가락 추적 단계는 상기 페어의 2개의 손가락 중 하나인 추적중의 손가락과, 상기 손가락 특정 단계에서 실제 특정된 손가락이 서로 동일한 것인지 판정하며,
    상기 손가락 추적 단계는
    동일한 것으로 판정되고 실제 특정된 손가락의 위치로 상기 추적중의 손가락이 이동되는 것으로 판정하고,
    상기 추적중의 손가락의 이동 추적을 계속하는
    방법.
  32. 제31항에 있어서,
    상기 추적 정보는 상기 손가락 특정 단계의 복수회 각각에서 특정된 추적중의 손가락의 각 대응하는 위치 정보를 포함할 수 있고,
    상기 다음위치 추정 단계는 각 위치 정보에 근거하여 상기 추적중의 손가락의 상기 다음 위치를 산출하는
    방법.
  33. 제32항에 있어서,
    상기 손가락 특정 단계의 전회(前回)에서 특정된 상기 추적중의 손가락의 위치 정보와, 상기 손가락 특정 단계의 전전회(前前回)에서 특정된 상기 추적중의 손가락의 위치 정보가 상기 추적 정보에 포함되는 경우,
    상기 다음위치 추정 단계는 상기 전회의 위치 정보 및 상기 전전회의 위치 정보에 근거하여 상기 추적중의 손가락의 다음 위치를 산출하고,
    상기 손가락 특정 단계의 전회에서 특정된 상기 추적중의 손가락의 위치 정보는 상기 추적 정보에 포함되고, 상기 손가락 특정 단계의 전전회(前前回)에서 특정된 상기 추적중의 손가락의 위치 정보는 상기 추적 정보에 포함되지 않은 경우,
    상기 다음위치 추정 단계는 상기 손가락 특정 단계의 전회에서 특정된 상기 위치 정보와 상기 전회에서 특정된 상기 위치 정보에 의해 표시되는 위치에 인접하는 상기 손가락 특정 가능 범위의 가장자리부의 위치에 근거하여 상기 추적중의 손가락의 다음 위치를 산출하는
    방법.
  34. 제31항에 있어서,
    상기 손가락 특정 단계에 의해 상기 실제 특정된 손가락과의 기준 조건을 만족하지 않는 추적중의 손가락이 있을 경우,
    상기 손가락 추적 단계는
    상기 추적중의 손가락으로부터 추적불가의 손가락으로 인식 전환을 실행하고,
    상기 인식 전환 시에서 상기 추적불가의 정보를 추적복귀 판정 정보로서 소정의 추적 복귀 판정 정보 기억부(18a)에 기억하고;
    상기 손가락 특정부에 의해 실제 특정되고, 상기 추적중의 손가락과의 기준 조건을 만족하지 않는 손가락이 있을 경우,
    상기 손가락 추적 단계는 상기 추적복귀 판정정보 기억부에 기억된 상기 추적복귀 판정정보에 근거하여, 상기 실제 특정된 손가락이 과거에 추적 불가로서 인식되는 손가락과 동일한지 여부를 판정하고,
    동일한 것으로 판정되는 경우,
    상기 손가락 추적 단계는
    상기 추적복귀 판정정보에 대응하는 추적불가의 손가락이 상기 손가락 특정 단계의 위치에서 재출현하는 손가락인 것으로 인식하고,
    상기 손가락의 이동 추적을 재개시하며,
    동일하지 않은 것으로 판정되는 경우,
    상기 손가락 추적 단계는
    상기 실제 특정된 손가락이 새로이 출현되는 손가락인 것으로 인식하고,
    상기 손가락의 이동 추적을 새로이 개시하는
    방법.
  35. 제34항에 있어서,
    상기 추적 정보는 상기 손가락 특정 단계에 의해 특정된 손가락의 가장 최신의 위치 정보를 포함하고,
    상기 추적복귀 판정정보는 대응하는 손가락이 추적불가로 되는 것으로 인식되기 전의 최후의 최근 위치 정보를 포함하는
    방법.
  36. 제35항에 있어서,
    상기 손가락 특정 단계에 의하여 실제 특정되고, 추적중의 손가락과의 기준 조건을 만족하지 않으며, 상기 추적복귀 판정정보 기억부에 상기 추적복귀 판정정보가 저장되어 있는 복수의 손가락이 존재하는 경우,
    상기 손가락 추적 단계는 상기 실제 특정된 손가락에 가장 가까운 위치를 나타내는 상기 위치 정보를 포함하는 상기 추적복귀 판정정보에 대응하는 추적불가의 손가락과 상기 실제 특정된 손가락이 동일한지를 판정하되,
    상기 실제 특정된 손가락의 위치 정보 및 상기 추적복귀 판정정보에 포함된 추적중의 복수의 손가락 각각의 최후의 위치 정보에 근거하여 판정하는
    방법.
  37. 제35항에 있어서,
    상기 손가락 특정 단계에 의하여 실제 특정되고, 추적중의 손가락과의 기준 조건을 만족하지 않으며, 상기 실제 특정된 손가락의 위치 정보 및 상기 추적복귀 판정정보에 포함되는 추적불가의 손가락의 최후의 위치 정보에 의해 각각 나타나는 위치들 사이로 되는 거리가 정의되는 경우,
    상기 손가락 추적 단계는 상기 실제 특정된 손가락과 상기 추적복귀 판정정보에 대응하는 추적불가의 손가락이 미리 정해진 기준 거리보다 작은 거리인 경우에 서로 동일한 것으로 인식하는 것을 허가하며,
    상기 손가락 추적 단계는 상기 실제 특정된 손가락과 상기 추적복귀 판정정보에 대응하는 추적불가의 손가락이 미리 정해진 기준 거리보다 작은 거리인 경우에 서로 동일한 것으로 인식하는 것을 금지하는
    방법.
  38. 제35항에 있어서,
    상기 손가락 특정 단계에 의하여 상기 실제 특정된 손가락과의 기준 조건을 만족하지 않아 추적중의 손가락이 추적불가로 인식되는 경우,
    상기 손가락 추적 단계는 상기 추적 복귀 판정 정보 기억부에 추적복귀 판정정보로서 추적불가 인식 순서를 기억하되, 상기 추적불가 인식 순서는 추적불가로서 인식될 때의 손가락의 정보와 함께 추적불가 인식 시기에 대한 추적불가의 다른 손가락과의 전후 관계를 특정할 수 있으며.
    상기 손가락 특정 단계에 의해 실제 특정되고, 상기 추적중의 손가락과의 기준 조건을 만족하지 않는 손가락이 있을 경우,
    상기 손가락 추적 단계는 상기 실제 특정된 손가락과 가장 가까운 위치를 나타내는 위치 정보를 포함하는 상기 추적복귀 판정정보를 특정하되, 상기 실제 특정된 손가락의 위치 정보와, 상기 추적 복귀 판정 정보에 포함된 추적불가의 복수의 손가락 각각의 최후의 위치 정보에 근거하여 특정하고,
    상기 추적복귀 판정정보 중 하나의 추적복귀 판정정보가 판정되는 경우,
    상기 손가락 추적 단계는 상기 하나의 추적복귀 판정정보에 대응하는 추적불가의 손가락이 상기 실제 특정된 손가락과 동일한 것으로 판정하고,
    상기 추적복귀 판정정보 중 두 개의 추적복귀 판정정보가 판정되는 경우,
    상기 손가락 추적 단계는
    상기 두 개의 추적복귀 판정정보에 포함된 상기 추적불가 인식 순서를 참조하고,
    상기 실제 특정된 손가락은 상기 두 개의 추적복귀 판정정보 가운데 상기 추적불가 인식시기에서 가장 최신의 것에 대응하는 추적불가로 인식된 손가락과 동일한 것으로 판정하는
    방법.
  39. 제35항에 있어서,
    상기 추적복귀 판정정보는 상기 손가락이 추적불가로서 인식될 때 상기 추적 정보 기억부에 기억되어 있는 상기 손가락의 추적 정보인
    방법.
  40. 제30항에 있어서,
    상기 손가락 특정 단계에 의해 손가락이 특정되고, 상기 특정된 손가락이 새로 출현하는 손가락으로서 인식되는 경우,
    상기 손가락 추적 단계는
    상기 새로 출현하는 손가락에 대한 신규 식별 정보를 부여하고,
    상기 식별 정보에 대응하여 상기 추적 정보를 상기 추적정보 기억부에 저장하는
    방법.
  41. 제39항에 있어서,
    상기 추적 정보는 적어도 상기 손가락 특정 단계에 의해 특정된 손가락의 최신의 위치를 포함하고,
    상기 추적복귀 판정정보는 대응하는 손가락이 추적불가로 인식되기 전의 최후의 위치 정보를 포함하며,
    식별 정보가 부여된 상기 추적중의 손가락이 추적불가 손가락으로 인식되는 경우,
    상기 손가락 추적 단계는 상기 추적복귀 판정정보 기억부에 상기 식별 정보에 대응하여 상기 추적복귀 판정정보를 기억하는
    방법.
  42. 제41항에 있어서,
    상기 손가락 특정 단계에 의해 손가락이 특정되는 경우,
    상기 손가락 추적 단계는, 상기 손가락 특정 단계에 의해 상기 실제 특정된 손가락이 추적중의 손가락인지 여부를 판정하고, 상기 손가락 특정 단계에 의해 상기 실제 특정된 손가락이 추적불가의 손가락인지 여부를 판정하되, 상기 추적 정보 기억부에 기억된 상기 추적 정보와, 상기 추적복귀 판정정보 기억부에 기억된 상기 추적복귀 판정정보에 근거하여 판정하고,
    상기 손가락 추적 단계는 상기 식별 정보에 대응하여 추적 상태로서의 판정 결과를 미리 정해진 추적상태 기억부에 기억하는
    방법.
  43. 제40항에 있어서,
    상기 손가락 특정 단계에 의해 특정되는 손가락이 특정되지 않을 경우,
    상기 손가락의 식별 정보 및 상기 식별 정보에 대응하여 저장된 각종 정보는 소거되고 초기화되는
    방법.
  44. 제 1항에 따른 상기 표시 방법의 각 단계를 달성하기 위한 부(section)를 포함하는 표시 장치.
  45. 표시부 및 원격 조작부를 구비하며, 장치의 동작을 실행하기 위한 표시 화면이 제공되고, 상기 표시 화면으로부터 별도의 위치에 원격 조작 영역이 제공되며, 상기 원격 조작 영역은 상기 표시 화면에서의 조작 입력을 원격으로 실행하는 제 44항에 따른 상기 표시 장치;
    상기 원격 조작 영역에 대한 가압 조작에 근거하여 가압 조작 위치에 대응하는 입력을 수락하도록 구성되는 입력 수락부(18);
    상기 원격 조작 영역에 대향하는 손의 화상을 촬영하도록 구성되는 손 화상 촬영부(12b); 및
    상기 손의 촬영된 화상에 근거하여 생성되는 위치 지시 화상을 상기 표시 화면의 위치에 표시하도록 구성되되, 상기 위치는 상기 손에 의해 지시되는 위치로 되는
    조작 입력 장치.
  46. 제45항에 있어서,
    상기 장치는 차량 탑재 장치이고,
    상기 표시 화면은 운전자에 의해 시인(視認)되도록 운전자보다 차량 전방 측에 가깝게 배치되며,
    상기 원격 조작 영역은 상기 표시 화면보다 운전자 측에 가깝게 배치되는
    조작 입력 장치.
KR1020127027535A 2008-03-19 2009-03-18 차량용 조작 입력 장치 KR101297144B1 (ko)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
JP2008071470 2008-03-19
JPJP-P-2008-071468 2008-03-19
JPJP-P-2008-071470 2008-03-19
JPJP-P-2008-071467 2008-03-19
JP2008071468 2008-03-19
JP2008071467 2008-03-19
JP2008291592 2008-11-14
JPJP-P-2008-291592 2008-11-14
JP2009021003A JP5257779B2 (ja) 2008-03-19 2009-01-30 表示方法、表示装置、及び操作入力装置
JPJP-P-2009-021005 2009-01-30
JPJP-P-2009-021003 2009-01-30
JPJP-P-2009-021004 2009-01-30
JP2009021004A JP5077773B2 (ja) 2008-03-19 2009-01-30 車両用操作入力装置
JP2009021005A JP5077774B2 (ja) 2008-03-19 2009-01-30 車両用操作入力装置
PCT/JP2009/001213 WO2009116285A1 (ja) 2008-03-19 2009-03-18 車両用操作入力装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020107021928A Division KR101267378B1 (ko) 2008-03-19 2009-03-18 차량용 조작 입력 장치

Publications (2)

Publication Number Publication Date
KR20120132561A KR20120132561A (ko) 2012-12-05
KR101297144B1 true KR101297144B1 (ko) 2013-08-21

Family

ID=43048978

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020107021928A KR101267378B1 (ko) 2008-03-19 2009-03-18 차량용 조작 입력 장치
KR1020127027535A KR101297144B1 (ko) 2008-03-19 2009-03-18 차량용 조작 입력 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020107021928A KR101267378B1 (ko) 2008-03-19 2009-03-18 차량용 조작 입력 장치

Country Status (5)

Country Link
US (1) US20110029185A1 (ko)
EP (2) EP2258587A4 (ko)
KR (2) KR101267378B1 (ko)
CN (2) CN101977796B (ko)
WO (1) WO2009116285A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101422060B1 (ko) 2013-10-30 2014-07-28 전자부품연구원 터치패드를 이용한 차량용 정보 표시 장치 및 방법, 그 정보 입력 모듈
KR101575650B1 (ko) * 2014-03-11 2015-12-08 현대자동차주식회사 단말기, 그를 가지는 차량 및 그 제어 방법

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730169B2 (en) * 2009-10-29 2014-05-20 Pixart Imaging Inc. Hybrid pointing device
DE102008029446A1 (de) * 2008-06-20 2009-12-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Steuerung von Funktionen in einem Kraftfahrzeug mit benachbart liegenden Bedienelementen
JP4840620B2 (ja) 2009-04-30 2011-12-21 株式会社デンソー 車載用電子機器操作装置
JP5482023B2 (ja) * 2009-08-27 2014-04-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US8581847B2 (en) 2009-10-29 2013-11-12 Pixart Imaging Inc. Hybrid pointing device
US20120013532A1 (en) * 2009-10-29 2012-01-19 Pixart Imaging Inc. Hybrid pointing device
CN102667849B (zh) * 2009-12-07 2015-07-08 日本电气株式会社 伪指判别设备
JP2011131686A (ja) * 2009-12-24 2011-07-07 Nec Access Technica Ltd ナビゲーションシステム
JP5556423B2 (ja) * 2010-01-29 2014-07-23 ブラザー工業株式会社 入力装置および入力制御プログラム
US20110257958A1 (en) * 2010-04-15 2011-10-20 Michael Rogler Kildevaeld Virtual smart phone
US9529523B2 (en) 2010-04-23 2016-12-27 Handscape Inc. Method using a finger above a touchpad for controlling a computerized system
US9891820B2 (en) 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a virtual keyboard from a touchpad of a computerized device
US8384683B2 (en) * 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device
US9310905B2 (en) 2010-04-23 2016-04-12 Handscape Inc. Detachable back mounted touchpad for a handheld computerized device
US9639195B2 (en) 2010-04-23 2017-05-02 Handscape Inc. Method using finger force upon a touchpad for controlling a computerized system
US9678662B2 (en) 2010-04-23 2017-06-13 Handscape Inc. Method for detecting user gestures from alternative touchpads of a handheld computerized device
US9430147B2 (en) 2010-04-23 2016-08-30 Handscape Inc. Method for user input from alternative touchpads of a computerized system
US9311724B2 (en) * 2010-04-23 2016-04-12 Handscape Inc. Method for user input from alternative touchpads of a handheld computerized device
US9542032B2 (en) 2010-04-23 2017-01-10 Handscape Inc. Method using a predicted finger location above a touchpad for controlling a computerized system
US9891821B2 (en) 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a control region of a computerized device from a touchpad
US8760403B2 (en) 2010-04-30 2014-06-24 Pixart Imaging Inc. Hybrid human-interface device
US8648836B2 (en) 2010-04-30 2014-02-11 Pixart Imaging Inc. Hybrid pointing device
US20110310126A1 (en) * 2010-06-22 2011-12-22 Emil Markov Georgiev Method and system for interacting with datasets for display
US8542218B2 (en) * 2010-08-19 2013-09-24 Hyundai Motor Company Electronic switch apparatus for vehicle
DE102010035373A1 (de) * 2010-08-25 2012-03-01 Elektrobit Automotive Gmbh Technik zur bildschirmbasierten Routenmanipulation
US9354804B2 (en) * 2010-12-29 2016-05-31 Microsoft Technology Licensing, Llc Touch event anticipation in a computing device
US8514192B2 (en) * 2011-01-04 2013-08-20 Ma Lighting Technology Gmbh Method for operating a lighting control console
FR2970797B1 (fr) * 2011-01-25 2013-12-20 Intui Sense Dispositif a commandes tactile et gestuelle et procede d'interpretation de la gestuelle associe
JP5229379B2 (ja) * 2011-02-21 2013-07-03 株式会社デンソー 表示制御装置
KR20120122378A (ko) * 2011-04-29 2012-11-07 삼성전기주식회사 차량 화상 기록 시스템
KR20120122379A (ko) * 2011-04-29 2012-11-07 삼성전기주식회사 차량 화상 기록 시스템 및 반사 기구
US9043042B2 (en) * 2011-07-19 2015-05-26 GM Global Technology Operations LLC Method to map gaze position to information display in vehicle
CN103748543B (zh) * 2011-08-11 2016-10-19 株式会社电装 显示控制设备
US20140361988A1 (en) 2011-09-19 2014-12-11 Eyesight Mobile Technologies Ltd. Touch Free Interface for Augmented Reality Systems
US20130179811A1 (en) * 2012-01-05 2013-07-11 Visteon Global Technologies, Inc. Projection dynamic icon knobs
EP3196752B1 (en) 2012-02-09 2020-05-06 Sony Corporation Capacitive touch panel device, corresponding touch input detection method and computer program product
DE102012004793B4 (de) * 2012-03-07 2018-03-22 Audi Ag Kraftfahrzeug mit einem elektronischen Rückspiegel
US9310922B2 (en) * 2012-04-30 2016-04-12 Blackberry Limited Method and apparatus for determining a selection option
KR101868352B1 (ko) * 2012-05-14 2018-06-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9182233B2 (en) * 2012-05-17 2015-11-10 Robert Bosch Gmbh System and method for autocompletion and alignment of user gestures
US8872781B1 (en) * 2012-06-27 2014-10-28 Google Inc. Method and system for filtering movements on a trackpad
US9165469B2 (en) 2012-07-09 2015-10-20 Elwha Llc Systems and methods for coordinating sensor operation for collision detection
US9558667B2 (en) 2012-07-09 2017-01-31 Elwha Llc Systems and methods for cooperative collision detection
CN105378593B (zh) * 2012-07-13 2019-03-01 索尼深度传感解决方案股份有限公司 利用手上的奇异兴趣点基于手势进行人机同步交互的方法和系统
JP5812054B2 (ja) * 2012-08-23 2015-11-11 株式会社デンソー 操作デバイス
KR101392861B1 (ko) * 2012-09-21 2014-05-27 전자부품연구원 조작자와 차량 주행 상황을 반영한 차량용 ｕｉ 제공방법 및 장치
WO2014089202A1 (en) * 2012-12-04 2014-06-12 L3 Communications Corporation Touch sensor controller responsive to environmental operating conditions
WO2014096896A1 (en) * 2012-12-20 2014-06-26 Renault Trucks A method of selecting display data in a display system of a vehicle
DE102013006069A1 (de) * 2013-04-08 2014-10-09 Audi Ag Verfahren zum Herstellen eines Bedienelements und Bedienelement
DE102013214326A1 (de) * 2013-07-23 2015-01-29 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
US9776632B2 (en) * 2013-07-31 2017-10-03 Elwha Llc Systems and methods for adaptive vehicle sensing systems
US9269268B2 (en) 2013-07-31 2016-02-23 Elwha Llc Systems and methods for adaptive vehicle sensing systems
US9230442B2 (en) 2013-07-31 2016-01-05 Elwha Llc Systems and methods for adaptive vehicle sensing systems
JP6086350B2 (ja) * 2013-08-09 2017-03-01 株式会社デンソー タッチパネル式入力装置、およびタッチパネル式入力方法
KR101550604B1 (ko) 2013-09-25 2015-09-07 현대자동차 주식회사 차량용 조작 장치
JP6683605B2 (ja) * 2013-10-07 2020-04-22 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 車両の少なくとも１つの機能を制御するための位置又は運動情報を提供するための方法及びシステム
US10937187B2 (en) 2013-10-07 2021-03-02 Apple Inc. Method and system for providing position or movement information for controlling at least one function of an environment
US10259384B2 (en) 2013-10-14 2019-04-16 Continental Automotive Gmbh Dual graphics label for an input area of control device
KR101480775B1 (ko) * 2013-10-30 2015-01-22 전자부품연구원 필기 인식을 이용한 차량용 정보 표시 장치 및 방법, 그 정보 입력 모듈
WO2015071961A1 (ja) * 2013-11-12 2015-05-21 三菱電機株式会社 表示制御装置、情報表示方法および情報表示システム
KR101558354B1 (ko) 2013-11-13 2015-10-20 현대자동차 주식회사 차량용 블라인드 콘트롤 시스템
CN104691444A (zh) * 2013-12-09 2015-06-10 奇点新源国际技术开发(北京)有限公司 一种基于电动汽车的车载终端和车载终端系统
EP2891950B1 (en) 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
US20150205374A1 (en) * 2014-01-20 2015-07-23 Beijing Lenovo Software Ltd. Information processing method and electronic device
WO2015146283A1 (ja) * 2014-03-25 2015-10-01 クラリオン株式会社 車両用機器
JP2015201062A (ja) * 2014-04-09 2015-11-12 株式会社東海理化電機製作所 操作装置
CN104019826A (zh) * 2014-06-16 2014-09-03 张善珍 一种基于触控的自动导航方法及系统
JP2016035685A (ja) * 2014-08-04 2016-03-17 三菱自動車工業株式会社 タッチパネル装置
US9315197B1 (en) * 2014-09-30 2016-04-19 Continental Automotive Systems, Inc. Hands accelerating control system
KR101646117B1 (ko) * 2014-10-30 2016-08-05 현대자동차 주식회사 곡면 터치 디스플레이 장치 및 상기 곡면 터치 디스플레이 장치를 이용한 터치 인식 방법
DE102014016222A1 (de) * 2014-10-31 2016-05-04 Audi Ag Verfahren und System zum Betreiben einer berührungssensitiven Anzeigeeinrichtung eines Kraftwagens
CN104363345A (zh) * 2014-11-17 2015-02-18 联想(北京)有限公司 一种显示方法和电子设备
DE102014224641A1 (de) * 2014-12-02 2016-06-02 Robert Bosch Gmbh Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
US20180267637A1 (en) * 2014-12-22 2018-09-20 Volkswagen Ag Finger-operated control bar, and use of the finger-operated control bar
JP2016200887A (ja) * 2015-04-08 2016-12-01 株式会社リコー 情報処理装置、情報入力システム、情報処理方法およびプログラム
CN106325840B (zh) * 2015-06-29 2018-11-30 华为技术有限公司 一种文本输入实现方法及装置
CN105204764B (zh) * 2015-09-06 2020-08-21 惠州Tcl移动通信有限公司 具有悬浮屏的手持终端、显示设备及遥控方法
CN105388973B (zh) * 2015-11-13 2019-03-19 业成光电（深圳）有限公司 可携式电子装置
CN105625857B (zh) * 2015-12-25 2018-09-11 北京新能源汽车股份有限公司 车窗玻璃的控制装置、方法和车辆
JP2017219957A (ja) * 2016-06-06 2017-12-14 株式会社東海理化電機製作所 操作予測装置
JP7178349B2 (ja) * 2017-08-23 2022-11-25 住友建機株式会社 ショベル及びショベル用の操作システム
DE102019204481A1 (de) * 2019-03-29 2020-10-01 Deere & Company System zur Erkennung einer Bedienabsicht an einer von Hand betätigbaren Bedieneinheit
US10747371B1 (en) 2019-06-28 2020-08-18 Konica Minolta Business Solutions U.S.A., Inc. Detection of finger press from live video stream
US11353993B2 (en) * 2020-05-05 2022-06-07 Pixart Imaging Inc. Optical detection device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918456A (ja) * 1995-06-29 1997-01-17 Matsushita Electric Ind Co Ltd ダイバーシティ受信機
JP2000006687A (ja) 1998-06-25 2000-01-11 Yazaki Corp 車載機器スイッチ安全操作システム
JP2004026046A (ja) 2002-06-26 2004-01-29 Clarion Co Ltd 車載用情報機器の操作装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
WO1996034332A1 (fr) * 1995-04-28 1996-10-31 Matsushita Electric Industrial Co., Ltd. Dispositif d'interface
JP3777650B2 (ja) * 1995-04-28 2006-05-24 松下電器産業株式会社 インターフェイス装置
JP3588527B2 (ja) * 1997-01-22 2004-11-10 株式会社東芝 ユーザインタフェース装置及び指示入力方法
JP2000346651A (ja) * 1999-06-07 2000-12-15 Tokai Rika Co Ltd ディスプレイシステム
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
US20020070852A1 (en) * 2000-12-12 2002-06-13 Pearl I, Llc Automobile display control system
JP3863809B2 (ja) * 2002-05-28 2006-12-27 独立行政法人科学技術振興機構 手の画像認識による入力システム
JP2004348522A (ja) * 2003-05-23 2004-12-09 Nippon Telegr & Teleph Corp <Ntt> 掌形認証用基準点検出方法、掌形認証用基準点検出装置、プログラムおよび記録媒体
JP4274997B2 (ja) * 2004-05-06 2009-06-10 アルパイン株式会社 操作入力装置および操作入力方法
JP4351599B2 (ja) * 2004-09-03 2009-10-28 パナソニック株式会社 入力装置
EP1865404A4 (en) * 2005-03-28 2012-09-05 Panasonic Corp USER INTERFACE SYSTEM
JP4645299B2 (ja) * 2005-05-16 2011-03-09 株式会社デンソー 車載用表示装置
CN100478862C (zh) * 2005-10-05 2009-04-15 索尼株式会社 显示装置和显示方法
EP1983402A4 (en) * 2006-02-03 2013-06-26 Panasonic Corp INPUT DEVICE AND ITS METHOD
JP4797752B2 (ja) 2006-03-31 2011-10-19 株式会社デンソー 移動体用操作物体抽出装置
JP5086560B2 (ja) * 2006-04-12 2012-11-28 トヨタ自動車株式会社 入力装置
EP2124139A4 (en) * 2006-12-22 2013-01-09 Panasonic Corp USER INTERFACE DEVICE
TW200928892A (en) * 2007-12-28 2009-07-01 Wistron Corp Electronic apparatus and operation method thereof
US8140970B2 (en) * 2009-02-23 2012-03-20 International Business Machines Corporation System and method for semi-transparent display of hands over a keyboard in real-time

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918456A (ja) * 1995-06-29 1997-01-17 Matsushita Electric Ind Co Ltd ダイバーシティ受信機
JP2000006687A (ja) 1998-06-25 2000-01-11 Yazaki Corp 車載機器スイッチ安全操作システム
JP2004026046A (ja) 2002-06-26 2004-01-29 Clarion Co Ltd 車載用情報機器の操作装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101422060B1 (ko) 2013-10-30 2014-07-28 전자부품연구원 터치패드를 이용한 차량용 정보 표시 장치 및 방법, 그 정보 입력 모듈
KR101575650B1 (ko) * 2014-03-11 2015-12-08 현대자동차주식회사 단말기, 그를 가지는 차량 및 그 제어 방법
US10649587B2 (en) 2014-03-11 2020-05-12 Hyundai Motor Company Terminal, for gesture recognition and operation command determination, vehicle having the same and method for controlling the same

Also Published As

Publication number Publication date
EP2258587A1 (en) 2010-12-08
EP2258587A4 (en) 2013-08-07
KR20120132561A (ko) 2012-12-05
CN101977796B (zh) 2013-05-08
CN103076949A (zh) 2013-05-01
WO2009116285A1 (ja) 2009-09-24
CN103076949B (zh) 2016-04-20
KR20100120705A (ko) 2010-11-16
EP2700528A2 (en) 2014-02-26
KR101267378B1 (ko) 2013-05-24
EP2700528A3 (en) 2014-12-24
US20110029185A1 (en) 2011-02-03
CN101977796A (zh) 2011-02-16

Similar Documents

Publication Publication Date Title
KR101297144B1 (ko) 차량용 조작 입력 장치
JP5077773B2 (ja) 車両用操作入力装置
JP5257779B2 (ja) 表示方法、表示装置、及び操作入力装置
US8270669B2 (en) Apparatus for extracting operating object and apparatus for projecting operating hand
US8284168B2 (en) User interface device
EP3237845B1 (en) System and methods for interactive hybrid-dimension map visualization
EP2270767B1 (en) Device, Method and Program for Displaying Map Information
JP4246195B2 (ja) カーナビゲーションシステム
EP1915588B1 (en) Navigation device and method of scrolling map data displayed on a navigation device
CN103870802A (zh) 使用指谷操作车辆内的用户界面的系统和方法
JP5141878B2 (ja) タッチ式操作入力装置
JP4626860B2 (ja) 操作装置
JPWO2011092746A1 (ja) 地図情報処理装置
JP5382313B2 (ja) 車両用操作入力装置
CN113330395A (zh) 一种多屏交互的方法、装置、终端设备和车辆
JP2010117917A (ja) 動作検出装置および操作システム
WO2018134897A1 (ja) 位置姿勢検出装置、ａｒ表示装置、位置姿勢検出方法およびａｒ表示方法
KR101835363B1 (ko) 시선의 이동에 따라 변하는 오브젝트의 정보를 연속적으로 표시하는 장치 및 방법
KR101361643B1 (ko) 투명 디스플레이 패널을 이용한 객체 표시 방법 및 장치
WO2018116565A1 (ja) 車両用情報表示装置及び車両用情報表示プログラム
KR100939831B1 (ko) 입력 에러를 감소시키기 위한 조작 입력 장치 및 정보 기기조작 장치
JP5619202B2 (ja) 地図情報処理装置
CN112735180A (zh) 停车引导方法及装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160729

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170728

Year of fee payment: 5