Existe uma correção de borda para isto que funciona bem. O seu problema não parece ser com relação diretamente a isso, a mensagem diz respeito ao processo de maximização numerica, o betareg usa um esquema de busca de valores iniciais automatica quando esse procedimento não funciona ele solta a msg. Faz um ajuste preliminar e usa as estimativas deste ajuste novamente como chute inicial e verifique se os resultados estão sensíveis a isso. Vc pode disponibilizar seus dados ?
--
Wagner Hugo Bonat
LEG - Laboratório de Estatística e Geoinformação
UFPR - Universidade Federal do Paraná