Falha minha... o scan() funciona só com numeros, o que tu precisa é readLines(). A desvantagem é que nao temos como pular linhas, então vamos ter que ler todo o arquivo até a linha com problema
test <- readLines("rais96.txt", n=666895)
nchar(tail(teste)) # Se todos forem iguais, importante ver qual que é o que tem na linha 666895
teste[666895]