完全にVC++で、キータッチ・クリック無しで、ネットの動作を行わせることは出来るか?

[戻る]
たな 2006/01/12(木) 13:32:55
キーやマウスのクリックではなく、
音声で、番号を選択させたり、
エンターキーを押している仕事をなさせたいのです。
声をうまく認識できたとして、
VC++からネットにリンクして、
クリックや番号サーチ・選択の仕事を
代用させることはできるのでしょうか?
出来るとしたら、具体的には、
どういうコードにすればいいのでしょうか?

PATIO 2006/01/12(木) 14:14:39
まずは音声認識でそういう操作まで可能なのかと言う点から調べて見ては
どうですか?その部分がそもそもどうにもならないのであれば、実現の道は
限りなく険しそうです。
音声認識のソフトとアプリケーションとの連携をうまくとる事ができれば、
何とかできるのではないでしょうか。

冷たいようですが、上記の部分の情報をきちんと集めて方法論まで
到達していないのであれば、コードがどうこうと言うレベルの話ではないと
思います。まずは基礎的な情報集めから始められてはどうでしょう。

たな 2006/01/12(木) 23:21:35
いや。
今、音声認識の性能は結構いいものです。
極端に選ぶ対象が大きい時は別にして、
1、2、3、4、5、6,7、6、9、10、OK、キャンセル
の12文字くらいの発話なら9割の確率で判別できてきます。

よって、これらの文字が、各々CASEの入力としてならんでいて、
その後、従来のキーでの文字の引き取りやエンターキーでの
肩代わりとして、どう処理をすればいいか、ということが問いになります。

RAPT 2006/01/13(金) 00:44:45
リンクをクリックとか、具体的な操作と画面の動作とのマッピングについて
どう割り当てるかを別にすれば、COMを使えばできると思います。

細かい操作とか、フォームの入力とか出てくると、また別の問題も出てきますが、
単純にナビゲートするだけなら、なんとかなりそうだと思います。

COMによる操作については、「IEコンポーネント」について調べてみると吉かも。

PATIO 2006/01/13(金) 09:23:14
でしたら音声認識ソフト側から想定しているアプリケーションとの
プログラム的なインターフェイスがはっきりすれば、
後は設計しだいなのでは?
逆に言うとインターフェイスがはっきりしないと何とも言いかねますが、
特にコーディングレベルの話であればそうです。
そのインターフェイスまでこちらで調べてくれと言うのはおかしいですよね。

例えば、対象のアプリケーションに対してキー入力を同じ形で送られてくるのであれば、
一般的なキー入力による処理と同じでいいのではないかと思います。
逆に音声認識しやすい選択肢を用意して音声入力から入力させると言うデザインで
良いのではないでしょうか。
一般的なキー入力に対してのコーディングであれば、Web上で検索すればかなり引っかかると
思います。

PATIO 2006/01/13(金) 09:26:54
誤字訂正

誤)
>逆に言うとインターフェイスがはっきりしないと何とも言いかねますが、

正)
逆に言うとインターフェイスがはっきりしないと何とも言いかねます。

誤)
>例えば、対象のアプリケーションに対してキー入力を同じ形で送られてくるのであれば、

正)
例えば、対象のアプリケーションに対してキー入力と同じ形で送られてくるのであれば、

たいちう 2006/01/16(月) 10:58:34
音声認識が解決できるなら、下記のような仕様を考えてください。

IE(でなくてもいいのですが)の隣に電卓のようなウィンドウが
表示されていて、1から10までのボタンとOK、キャンセルのみ
あります。ユーザーはこのボタンをクリックするだけで、
IEを操作します。
必要なら、少々ボタンを増やしてもかまいませんが、
それ以外の操作は一切できません。

たなさんは、この条件で設計できるのでしょうか?
それとも、この設計が質問内容でしょうか?

# 最悪、十字キーを用意して、マウスポインタを動かすことで
# 全て解決できそうだけど、音声でやるとスイカ割りみたいになってしまう。
# HTMLを解析することで、スマートにできそうだけど。

ITO 2006/01/18(水) 18:26:47
.net Frameworkで検討するのほうがいいのでは、ないでしょうか。
関係者お願いします。

古いスレッドには追加発言できません。