Add Token

StringTokenizer.AddToken(nuovo token)

// *********************************************************
// Explain which processing is carried out by this procedure
// *********************************************************
public void StringTokenizer.Unisci()
{
  StringTokenizer stk = new() // 
  // 
  // Finché ho tokens scritti nel pannello li metto nello String Tokenizer
  while Trim(Tokenizer.TokensTokenizer) <> Empty String
  {
    string token = "" // Il token da aggiungere, è tutta una riga
    int CRpos = 0     // Posizione del prossimo carattere di a capo (carri...
    // 
    CRpos := Find(Tokenizer.TokensTokenizer, Acapo, ??)
    // 
    // Se non ci sono a capo ne aggiungo uno in fondo
    if CRpos = ZERO
    {
      Tokenizer.TokensTokenizer := Tokenizer.TokensTokenizer +c Acapo
      CRpos := Length(Tokenizer.TokensTokenizer)
    }
    // 
    token := Left(Tokenizer.TokensTokenizer, CRpos - ONE)
    stk.AddToken(token)
    Tokenizer.TokensTokenizer := Right(Tokenizer.TokensTokenizer,
      Length(Tokenizer.TokensTokenizer) - CRpos)
  }
  // 
  // Alla fine scrivo la stringa contenuta nello string tokenizer nel campo
  // superiore
  Tokenizer.StringTokenizer := stk.GetString()
}