METHOD AND SYSTEM FOR REMOTE CONTROL OF MOBILE ROBOT

[1]
PROBLEM TO BE SOLVED: To provide methods of remote control of a mobile robot and an intuitive user interface for remotely controlling the mobile robot.

[2]
SOLUTION: Using a point-and-click device 405, a user is able to choose a target location 430 within a heads-up display toward which to move the mobile robot. Additional graphical overlays 410 and 412 are provided to aid the user in navigating even in systems with asynchronous communication.

[3]
COPYRIGHT: (C)2011,JPO&INPIT

ある環境下でロボットを遠隔操縦するための方法であって、
前記ロボットの遠隔操縦を制御するためのユーザ・インタフェースを供給する段階と、
前記ロボットに関連付けられたイメージング装置を介して、前記ユーザ・インタフェースに前記ロボットの周辺の前記環境を表す画像情報を供給する段階と、
前記ユーザ・インタフェースにおいて前記ロボットの周辺の前記環境を表すユーザ知覚画像を供給するために前記画像情報を用いる段階と、
前記ロボットが移動する方へ前記ユーザ知覚画像のある場所に目標を指定する段階と、
前記ユーザ・インタフェースにおいて、前記ユーザ知覚画像で指定された前記目標を、前記ロボットの前記環境におけるx、y、およびz座標を有する目標位置に自動的に変換する段階と、
前記環境における前記ロボットの現在の位置から、前記環境の前記目標位置のx、y、およびz座標に移動するために、リアルタイム命令を前記ユーザ・インタフェースから前記ロボットに供給する段階と、
を具備する方法。

各指定目標に対する前記変換段階は、
前記環境の前記ロボットの現在の参照フレームを決定する段階と、
前記ロボットに関連付けられたイメージング装置に対する現在の参照フレームを決定する段階と、
前記ロボットおよび前記イメージング装置の前記現在の参照フレームに基づいてクリック・ベクトルの一端を識別する段階と、
前記ユーザ知覚画像の視界および前記指定された目標に基づき前記クリック・ベクトルの他端を決定する段階と、
前記目標位置のx、y、z座標を供給するために前記ロボットの環境の三次元グローバル・マップに前記クリック・ベクトルを投影する段階と、
をさらに具備する、請求項1に記載のロボット遠隔操縦方法。

前記クリック・ベクトル決定段階は、
前記ユーザ知覚画像の前記視界を供給する前記ロボットに関連付けられた前記イメージング装置の固定角およびズームを決定する段階と、
前記ユーザ知覚画像の画素サイズを決定する段階と、
前記指定された目標に対応する前記ユーザ知覚画像の画素位置を識別する段階と、
前記イメージング装置の固定角およびズーム、前記ユーザ知覚画像の前記画素サイズ、および前記指定された目標に対応する前記画素位置を用いて前記クリック・ベクトルの他端を計算する段階と、
をさらに具備する、請求項2に記載のロボット遠隔操縦方法。

前記目標指定段階は、
前記指定された目標に対応している前記ユーザ知覚画像の位置に可視ポインタを移動する段階と、
前記指定された目標を選択するために前記位置においてポイント-アンド-クリック選択装置を起動する段階と、
をさらに具備する、請求項1に記載のロボット遠隔操縦方法。

前記目標指定段階は、
アイコンを選択する段階と、
前記指定された目標に対応している前記ユーザ知覚画像の位置に前記アイコンをドラッグする段階と、
前記指定された目標を選択するために前記ユーザ知覚画像の前記位置に前記アイコンをドロップする段階と、
をさらに具備する、請求項1に記載のロボット遠隔操縦方法。

前記ユーザ知覚画像は、コンピュータ・モニタに供給される、請求項1に記載のロボット遠隔操縦方法。

前記ユーザ知覚画像は、携帯用液晶ディスプレイに供給される、請求項1に記載のロボット遠隔操縦方法。

前記ロボットの周辺の環境を表す画像情報は、ビデオ信号によって供給される、請求項1に記載のロボット遠隔操縦方法。

前記ビデオ信号はインターネットを介して送信される、請求項8に記載のロボット遠隔操縦方法。

前記イメージング装置はカメラである、請求項1に記載のロボット遠隔操縦方法。

ある環境下でロボットを遠隔操縦するためのシステムであって、
前記ロボットの前記遠隔操縦を制御するためのユーザ・インタフェースと、
前記ロボットの周辺の前記環境を表す画像情報を供給するための前記ロボットに関連付けられたイメージング装置と、
前記ユーザ・インタフェースに前記画像情報を送信するための手段と、
前記ユーザ・インタフェースにおいて前記画像情報をユーザ知覚画像に変換するための手段と、
前記ロボットが移動すべき方へ前記ユーザ知覚画像の目標を指定するための手段と、
前記ユーザ知覚画像にて指定された前記目標を前記ロボットの環境のx、y、z座標を有している目標位置に自動的に変換するための手段と、
前記環境の前記ロボットの現在の位置から前記環境の目標位置のx、y、z座標に移動するために、前記ユーザ・インタフェースから前記ロボットにリアルタイム命令を供給するための手段と
を備えている、システム。

前記変換手段は、
前記環境の前記ロボットの現在の参照フレームを決定する手段と、
前記ロボットに関連付けられた前記イメージ装置の現在の参照フレームを決定する手段と、
前記ロボットおよび前記イメージング装置の現在の参照フレームを用いてクリック・ベクトルの一端を識別するための手段と、
前記ユーザ知覚画像の視界および前記指定されたターゲットに基づき前記クリック・ベクトルの他端を決定する手段と、
前記ターゲット位置のx、y、z座標を供給するために前記ロボットの環境の三次元グローバル・マップに前記クリック・ベクトルを投影するための手段と
を備えている、請求項11に記載のロボット遠隔操縦システム。

前記クリック・ベクトルの他端を決定するための手段は、
前記ユーザ知覚画像の視界を供給する前記ロボットに関連付けられた前記イメージング装置の固定角およびズームを決定するための手段と、
前記ユーザ知覚画像の前記画素サイズを決定するための手段と、
前記指定した目標に対応する前記ユーザ知覚画像上の画素位置を識別するための手段と、
前記イメージング装置の固定角およびズーム、前記ユーザ知覚画像の前記画素サイズ、および前記指定した目標に対応する前記画素位置を用いて前記クリック・ベクトルの他端を計算する手段と
を備えている、請求項12に記載のロボット遠隔操縦システム。

前記目標指定手段は、ポイント-アンド-クリック選択装置であり、前記ポイント-アンド-クリック選択装置は、前記ユーザ知覚画像内で動作可能な可視ポインタと、ポイント-アンド-クリック選択装置が起動されるときに前記ユーザ知覚画像内の前記可視ポインタの位置が前記ロボットが移動すべき方への前記目標を指定するように前記ポイント-アンド-クリック選択装置を起動する手段とを含む、請求項11に記載のロボット遠隔操縦システム。

前記目標指定手段は、
アイコンを選択し、前記指定された目標に対応する前記ユーザ知覚画像の位置にドラッグするための手段と、
前記指定された目標を選択するために前記ユーザ知覚画像の前記位置に前記アイコンをドロップするための手段と
を備えている、請求項11に記載のロボット遠隔操縦システム。

前記イメージング装置はカメラである、請求項11に記載のロボット遠隔操縦システム。

前記画像情報送信手段はインターネットである、請求項11に記載のロボット遠隔操縦システム。

ある環境下でロボットを遠隔操縦するためのグラフィカル・ユーザ・インタフェースであって、
前記ロボットの周辺の環境を表すユーザ知覚画像を供給するためのディスプレイ装置と、
前記ロボットが移動すべき方へ前記ユーザ知覚画像の目標を指定するための手段と、
前記目標指定手段の動きに相関して前記ユーザ知覚画像に少なくとも一つの投影を重畳するための手段と
を備え、
前記少なくとも一つの投影は、前記ロボットが目標指定の前に移動することができるエリアを表し、前記ロボットが目標指定に基づいて移動するエリアを表す、
グラフィカル・ユーザ・インタフェース。

前記重畳手段によって供給された前記少なくとも一つの投影は、目標サークルである、請求項18に記載のグラフィカル・ユーザ・インタフェース。

前記重畳手段によって供給された前記少なくとも一つの投影は、目標サークルであり、前記重畳手段は、前記目標サークルに関連付けられたパースペクティブ・ボックスを供給するためにさらに動作する、請求項18に記載のグラフィカル・ユーザ・インタフェース。

前記目標指定手段は、前記ユーザ知覚画像内で動作可能な可視ポインタを備え、前記投影重畳手段は、前記少なくとも一つの投影を前記可視ポインタの上に重ね合せるように動作する、請求項18に記載のグラフィカル・ユーザ・インタフェース。

ある環境下でロボットを遠隔操縦するためのグラフィカル・ユーザ・インタフェースであって、
前記ロボットの周辺の環境を表すユーザ知覚画像を供給するためのディスプレイ装置と、
前記ロボットが移動すべき方へ前記ユーザ知覚画像上の目標を指定するための手段と、
前記ロボットの現在の位置に基づき前記ロボットの前記環境内の対象物の相対距離の表示を供給するために、前記ユーザ知覚画像の上にフロアー・プラン・グリッドを重畳するための手段と
を備えている、グラフィカル・ユーザ・インタフェース。

前記ロボットを遠隔操縦することを支援するために、前記ユーザ知覚画像上に少なくとも一つのローテーション・テープを重畳するための手段をさらに備えている、請求項22に記載のグラフィカル・ユーザ・インタフェース。