OpenHRI Manual¶

はじめに¶

音声認識文法は、音声認識器に与える認識可能な文法（単語の構造）を定義し ます。

OpenHRIのJulius音声認識コンポーネントは、W3C-SRGS形式を使用して音声認識 文法を定義します。

ここでは、W3C-SRGS形式の音声認識文法について解説するとともにOpenHRIで用 意している文法作成用のツールについて説明します。

W3C-SRGS音声認識文法¶

W3C-SRGS(Speech Recognition Grammar Specification)は音声認識文法を定義 する規格の1つです。使用するXML形式のタグを以下に示します。

<?xml version="1.0" encoding="UTF-8" ?>
<grammar xmlns="http://www.w3.org/2001/06/grammar"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://www.w3.org/2001/06/grammar
                             http://www.w3.org/TR/speech-grammar/grammar.xsd"
         xml:lang="jp"
         version="1.0" mode="voice" root="main">

  <lexicon uri="sample-lex-jp.xml"/>

  <rule id="main">
    <one-of>
      <item><ruleref uri="#greet" /></item>
      <item><ruleref uri="#command" /></item>
    </one-of>
  </rule>

  <rule id="greet">
    <one-of>
      <item>おはよう</item>
      <item>こんにちは</item>
      <item>こんばんは</item>
      <item>さようなら</item>
    </one-of>
  </rule>

  <rule id="command">
    <item repeat="0-1">その</item>
    <one-of>
      <item>りんご</item>
      <item>ケーキ</item>
      <item>リモコン</item>
    </one-of>
    <item>を</item>
    <one-of>
      <item>取って</item>
      <item>渡して</item>
    </one-of>
    <item repeat="0-1">ください</item>
  </rule>

</grammar>

W3C-PLS音声認識辞書¶

W3C-PLS(Pronunciation Lexicon Specification)は音声認識辞書を定義する規格の1つです。 次のタグからなるXMLフォーマットを使用します。

<?xml version="1.0" encoding="UTF-8"?>
<lexicon version="1.0"
     xmlns="http://www.w3.org/2005/01/pronunciation-lexicon"
     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
     xsi:schemaLocation="http://www.w3.org/2005/01/pronunciation-lexicon
                         http://www.w3.org/TR/2007/CR-pronunciation-lexicon-20071212/pls.xsd"
     alphabet="x-KANA" xml:lang="jp">
  <lexeme>
    <grapheme>こんにちは</grapheme>
    <phoneme>{{x-KANA|こんにちわ}}</phoneme>
  </lexeme>
  <lexeme>
    <grapheme>リモコン</grapheme>
    <phoneme>{{x-KANA|りもこん}}</phoneme>
  </lexeme>
  <lexeme>
    <grapheme>ケーキ</grapheme>
    <phoneme>{{x-KANA|けーき}}</phoneme>
  </lexeme>
  <lexeme>
    <grapheme>さようなら</grapheme>
    <phoneme>{{x-KANA|さよーなら}}</phoneme>
  </lexeme>
  <lexeme>
    <grapheme>取って</grapheme>
    <phoneme>{{x-KANA|とって}}</phoneme>
  </lexeme>
  <lexeme>
    <grapheme>こんばんは</grapheme>
    <phoneme>{{x-KANA|こんばんわ}}</phoneme>
  </lexeme>
  <lexeme>
    <grapheme>りんご</grapheme>
    <phoneme>{{x-KANA|りんご}}</phoneme>
  </lexeme>
  <lexeme>
    <grapheme>を</grapheme>
    <phoneme>{{x-KANA|を}}</phoneme>
  </lexeme>
  <lexeme>
    <grapheme>ください</grapheme>
    <phoneme>{{x-KANA|ください}}</phoneme>
  </lexeme>
  <lexeme>
    <grapheme>渡して</grapheme>
    <phoneme>{{x-KANA|わたして}}</phoneme>
  </lexeme>
  <lexeme>
    <grapheme>その</grapheme>
    <phoneme>{{x-KANA|その}}</phoneme>
  </lexeme>
  <lexeme>
    <grapheme>おはよう</grapheme>
    <phoneme>{{x-KANA|おはよー}}</phoneme>
  </lexeme>
</lexicon>

ツール¶

$ validatesrgs [grammarfile]

$ validatesrgs sample-en.grxml
Validating SRGS file sample-en.grxml...
SRGS file is valid.
Validating PLS file sample-lex-en.xml...
PLS file is valid.

$ validatesrgs sample-invalid.grxml
Validating SRGS file sample-invalid.grxml...
[error] Invalid SRGS file.
Element '{http://www.w3.org/2001/06/grammar}one-of': Missing child element(s). Expected is ( {http://www.w3.org/2001/06/grammar}item )., line 12

$ srgstojulius sample-jp.grxml | juliustographviz | dot -Txlib

$ srgstopls sample-jp.grxml > sample-lex-jp.xml

はじめに¶

対話マネージャは対話機能を管理する機能を持ち、対話システムの中核となる部分です。

OpenHRIは2つの対話マネージャを用意しており、目的に応じて選択することができます（独自の対話マネージャを書くこともできます）。

SEAT: シンプルな対話マネージャ¶

SEAT (Speech Event Action Transfer) はシンプルな状態遷移モデルに基づく対話マネージャです。 以下のXMLタグを使用してシステムの動作を定義することができます。

<?xml version="1.0" encoding="UTF-8"?>
<seatml>
  <general name="sample">
    <agent name="speechin" type="rtcin" datatype="TimedString" />
    <agent name="speechout" type="rtcout" datatype="TimedString" />
  </general>
  <state name="OPEN">
    <rule>
      <key>こんにちは</key>
      <command host="speechout">こんにちは</command>
    </rule>
    <rule>
      <key>こんばんは</key>
      <command host="speechout">こんばんは</command>
    </rule>
    <rule>
      <key>バイバイ</key>
      <command host="speechout">バイバイ</command>
      <statetransition>CLOSE</statetransition>
    </rule>
  </state>
  <state name="CLOSE">
    <rule>
      <key>こんにちは</key>
      <command host="speechout">はい。なんでしょう。</command>
      <statetransition>OPEN</statetransition>
    </rule>
    <rule>
      <key>こんばんは</key>
      <command host="speechout">休憩中です</command>
    </rule>
    <rule>
      <key>バイバイ</key>
      <command host="speechout">休憩中です</command>
    </rule>
  </state>
</seatml>

$ validateseatml [scriptfile]

$ validateseatml sample-jp.seatml
validating script file sample-jp.seatml...
script file is valid.

$ validateseatml sample-invalid.seatml
validating script file sample-invalid.seatml...
[error] invalid script file.
Element 'transition': This element is not expected. Expected is one of ( command, statetransition )., line 23

$ seatmltographviz sample-jp.seatml | dot -Txlib

Soar: General Artificial Intelligence¶

Soar ( http://sitemaker.umich.edu/soar/home ) はプロダクションシステムベースのAIで最も人気がある実装の1つです。

OpenHRIは、RTMベースのシステムにコンポーネントとしてSoarを埋め込むためのラッパーを提供します。

More documents T.B.D

インストール¶

BlocksWorldシミュレータ¶

BlocksWorldシミュレータは、三菱重工PA10アームのモデルを使ってブロックを操作するワールドシミュレータです。

音響エコー除去¶

音響エコーとは、スピーカから出力された音声をマイクロフォンが拾ってしま うことで発生するループのことです。音響エコーが発生すると、正確な音声認 識が難しくなります。

OpenHRIでは、音響エコーの問題を軽減するため2種類ののコンポーネントを用 意しています。それぞれ長所・短所がありますので用途に応じて使い分けてく ださい。

使い方¶

以下に Step4: 対話システムを作ろう にて作成した対話システムにエコーサプレッサを接続する例を示します。

コンポーネントの接続¶

AudioInputの出力ポートとJuliusRTCの入力ポートのリンクを削除し、以下のリンクを接続します。

• AudioInputの出力ポートとEchoSuppressorの入力ポート「from_input」
• AudioOutputの出力ポートとEchoSuppressorの入力ポート「from_output」
• EchoSuppressorの出力ポートとJuliusRTCの入力ポート

リンクを作成すると、以下のスクリーンショットのようになります。

音源定位とは¶

音源の位置（角度）を測定します。

複数のマイクを利用し、各マイクへの音声到達時間のずれとマイク間の距離から音源の位置（角度）を計算します。

OpenHRIAudioでは、DSArrayコンポーネントで音源定位を行います。

ビームフォーミングとは¶

指定角度の音声信号を取り出します。

音源定位と同じく複数のマイクを利用し、指定角度での各マイクへの音声到達時間のずれを計算して補正します。

OpenHRIAudioでは、BeamFormingコンポーネントでビームフォーミングを行います。

使い方¶

コンポーネント¶

コンポーネント¶

ユーティリティスクリプト¶

コンポーネント¶

ユーティリティスクリプト¶

コンポーネント¶

OpenHRIAudio¶

音響コンポーネント群（OpenHRIAudio）はconfigureスクリプトを使ってパッケージ化されたC++プログラムです。

以下の手順でコンパイルしてインストールすることができます。

依存ライブラリをインストールする:

$ sudo apt-get install autotools-dev pkg-config omniidl4 uuid-dev libomniorb4-dev libspeex-dev libspeexdsp-dev libresample1-dev openrtm-aist openrtm-aist-dev portaudio19-dev libpulse-dev

最新のソースコードをチェックアウトする:

$ git clone https://yosuke@github.com/yosuke/OpenHRIAudio.git

ソースコードがあるフォルダに移動してconfigureスクリプトをセットアップする:

$ cd OpenHRIAudio
$ ./autogen.sh

configureスクリプトを起動してプロジェクトをコンパイルする:

$ ./configure
$ make

コンポーネントをインストールする:

$ sudo make install
$ sudo ldconfig

OpenHRIVoice¶

音声コンポーネント群（OpenHRIVoice）はsetupスクリプトを使ってパッケージ化されたPythonプログラムです。

以下の手順でコンパイルしてインストールすることができます。

依存ライブラリをインストールする:

$ sudo apt-get install python-beautifulsoup python-lxml python-matplotlib openrtm-aist-python

最新のソースコードをチェックアウトする:

$ git clone https://yosuke@github.com/yosuke/OpenHRIVoice.git

ソースコードがあるフォルダに移動してコンポーネントをインストールする:

$ cd OpenHRIVoice
$ sudo python setup.py install

Preparation¶

1. Download and install eclipse with RT-SystemEditor.
   1. On Ubuntu, please refer to the instruction on this page: http://openrtm.org/openrtm/en/node/945
   2. On Windows, please download and install the OpenRTM-aist-Python package provided from this page: http://openrtm.org/openrtm/en/node/949#toc3
2. Prepare a microphone and a speaker (earphone and headphone) connect to PC.
3. Create rtc.conf file.

Create a configuration file “rtc.conf” and save to working directory. Content of rtc.conf is as follows

corba.nameservers: localhost:9876
naming.formats: %n.rtc
logger.file_name:stdout

On Windows, rtc.conf file is alread allocated by the installer.

4. Launch the name server.

Start the name server with port number as specified in rtc.conf file. (In the above example 9876)

$ rtm-naming 9876

5. Launch eclipse with RT-SystemEditor installed.

Basic usage of the RT-SystemEditor¶

In this section, we describes the basic usage of the RT-SystemEditor and test audio components.

1. Launch AudioInput and AudioOutput components.

   Warning

   If you are using ubuntu 9.10 or later, please use PulseAudioInput and PulseAudioOutput components. If you are using version older than 9.10, please use PortAudioInput and PortAudioOutput components.

   ubuntu9.10 or later: enter the following commands on each terminal.

   $ pulseaudioinput
   

   $ pulseaudiooutput
   

   older version: enter the following commands on each terminal.

   $ portaudioinput
   

   $ portaudiooutput
   

2. Open the eclipse RT-SystemEditor perspective.

   

3. Select “Add name servers” button and register the name servers specified by the rtc.conf file.

   (In above example “localhost:9876”)

   

4. Click the icon on the left to open the new editor screen.

   

5. From the name service views (left panel) drag and drop the AudioInput (and AudioOutput) component to the editor screen.

   

6. Connected the dataport between the components.

   Click the connector part of the data port.

   

   Drag to the other data port.

   

   When you drop the link, a connection settings dialog will appear. No configuration change is required.

   

   Press OK (connector changes to green color)

   

Activate the component and check the operation¶

7. Activate all components.

   Press “All Activate” button.

   

   AudioInput and AudioOutput activate and change from blue to green.

   

8. Verify the operation.

   Verify that sound input entered from the microphone is played from speakers.

In this step we have learned basic usage of the RT System Editor through testing the audio components.

Proceed to Step3: Testing Voice Synthesis Component.

Preparation¶

1. Preparation of test components

Test component will output a text data in some period. Please create a test program as follows.

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import sys
import time
import OpenRTM_aist
import RTC
 
consolein_spec = ["implementation_id", "ConsoleIn",
                  "type_name",         "ConsoleIn",
                  "description",       "Console input component",
                  "version",           "1.0",
                  "vendor",            "sample",
                  "category",          "example",
                  "activity_type",     "DataFlowComponent",
                  "max_instance",      "10",
                  "language",          "Python",
                  "lang_type",         "script",
                  ""]
 
class ConsoleIn(OpenRTM_aist.DataFlowComponentBase):
    def __init__(self, manager):
        OpenRTM_aist.DataFlowComponentBase.__init__(self, manager)
        self._data = RTC.TimedString(RTC.Time(0,0),"")
        self._outport = OpenRTM_aist.OutPort("out", self._data)
 
    def onInitialize(self):
        self.registerOutPort("out", self._outport)
        return RTC.RTC_OK
 
    def onExecute(self, ec_id):
        self._data.data = "testing"
        OpenRTM_aist.setTimestamp(self._data)
        self._outport.write()
        time.sleep(5)
        return RTC.RTC_OK
 
def MyModuleInit(manager):
    profile = OpenRTM_aist.Properties(defaults_str=consolein_spec)
    manager.registerFactory(profile,
                            ConsoleIn,
                            OpenRTM_aist.Delete)
    comp = manager.createComponent("ConsoleIn")
 
def main():
    mgr = OpenRTM_aist.Manager.init(sys.argv)
    mgr.setModuleInitProc(MyModuleInit)
    mgr.activateManager()
    mgr.runManager()
 
if __name__ == "__main__":
    main()

We will call this component “ConsoleIn component” hereafter..

2. Prepare the rtc.conf

You may copy the setting used in Step2: Basic Usage of RT-SystemEditor and Testing Audio Components.

Test procedures¶

1. Start the ConsoleIn and Festival components.

Open two terminals and enter following commands respectively

% python ConsoleIn.py

% festivalrtc

Make sure you start naming service view component is displayed.

2. Place the ConsoleIn and Festival component to RT System Editor.

Drag and drop the components to the editor panel.

3. Remove the links between AudioInput-AudioOutput.

Select the link and choose “Delete” from the right-click menu.

4. Connect the ConsoleIn, Festival, and AudioOutput, respectively.

• Connect ConsoleIn output port and Festival input port.
• Connect the Festival “result” output port and AudioOutput input port.

(Please be careful not to connect to the different port. )

5. Activate and verify the behavior.

Press “All Activate” button to activate all the components.

Verify the text you set the ConsoleIn component is synthesized as audio.

In the next step, we will create a complete dialog system by connecting the speech recognition component.

Proceed to Step4: Creating Dialog System.

Preparation¶

1. Preparation of the speech recognition components

We have to provide a speech recognition grammar to run the speech recognition component.

Create the following text data.

sample-en.xml

<?xml version="1.0" encoding="UTF-8" ?>
<grammar xmlns="http://www.w3.org/2001/06/grammar"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://www.w3.org/2001/06/grammar
                             http://www.w3.org/TR/speech-grammar/grammar.xsd"
         xml:lang="en"
         version="1.0" mode="voice" root="command">
  <rule id="command">
    <one-of>
      <item>hello</item>
      <item>bye</item>
    </one-of>
  </rule>
</grammar>

2. Dialog Manager component preparation

Create the following text data.

sample-en.seatml

<?xml version="1.0" encoding="UTF-8"?>
<seatml>
  <general name="sample">
    <agent name="speechin" type="rtcin" datatype="TimedString" />
    <agent name="speechout" type="rtcout" datatype="TimedString" />
  </general>
  <state name="OPEN">
    <rule>
      <key>hello</key>
      <command host="speechout">hello</command>
    </rule>
    <rule>
      <key>bye</key>
      <command host="speechout">bye bye</command>
    </rule>
  </state>
</seatml>

3. Prepare the setting file rtc.conf

You may copy the setting used in Step2: Basic Usage of RT-SystemEditor and Testing Audio Components.

Test procedures¶

1. Start the SEAT and Julius components.

$ juliusrtc sample-en.xml

$ seat sample-en.seatml

Make sure the component is displayed in Eclipse name service view.

2. Drag and drop SEAT and Julius components to the editor panel.
3. Connect between the components.

• Remove the link between ConsoleIn component and Festival component.
• Create a link between AudioInput output port and Julius input port.
• Create a link between Julius “result” output port and SEAT input port.
• Create a link between SEAT output port and Festival input port.

Make sure that everything is connected!

4. Activate and verify the behavior.

Press “All Activate” button.

Check to receive the response by speaking “Hello” or “Goodbye” in front of the microphone.

Note

If it does not work:

Check the following points.

Check environmental noises

Check whether you have the background or ambient noise. If you want to recognize the noisy environments, consider using headset microphone or directional microphones.

Adjust audio input volume

Speech recognition will show low performance when the audio volume is too large or too small (if you see the warnings such as “Warning: strip to...” in the terminal where you have launched julius component, audio volume may not appropriate). Adjust size of volume by looking at the volume meter.

Proceed to Step5: Extending the Dialog System.