Heloíse,

experimente fazer assim:

lat <- read.table(file="lat.txt")
lon <- read.table(file="lon.txt")

library(R.matlab)   # para ler .mat
sx <- readMat('SX.mat',maxLength=NULL, fixNames=TRUE,verbose=F,sparseMatrixClass='SparseM')

# limites de longitude
lonSX <- sx$SX[3,1,1]
lonmin <- min(as.numeric(lonSX$Lon[1:130]))
lonmax <- max(as.numeric(lonSX$Lon[1:130]))

# limites de latitude
latSX <- sx$SX[4,1,1]
latmin <- min(as.numeric(latSX$Lat[1:130]))
latmax <- max(as.numeric(latSX$Lat[1:130]))

indice=which(lat<latmax) #indices das latitudes menores do que a máxima
indice=which(lat[indice]>latmin) #indices das latitudes maiores do que a minima
indice=which(lon[indice]<lonmax) #indices das longitudes menores do que a máxima
indice=which(lon[indice]>lonmin) #indices das longitudes maiores do que a minima

no final vc terá os indices das coordenadas que encerram a área de interesse





Atenciosamente,
Tito Conte

Instituto Oceanográfico
Universidade de São Paulo 
LabPesq - Laboratório Oceanografia Pesqueira