Até onde sei, a nlme::lme() não permite especificações de matrizes de covariância para o efeito aleatório, apenas para os erros (último termo do modelo). Para efeitos aleatórios acredito que só permita efeitos independentes. Porém, a lme4::lmer() está sendo desenvolvida para permitir mais especificação. Dê uma olhada na documentação correspondente. No caso de matrizes de covariância geradas por parentesco (pedigree, comuns em dados de programas genéticos) tem-se já algumas alternativas que não recordo o nome.

À disposição.

Walmes.