Trocando a ordem para ficar como eu queria (na primeira imagem):

library(Matrix)
library(latticeExtra)
library(gridExtra)

m1 <- sparseMatrix(i = c(1, 1, 2, 3, 4, 4, 4, 5),
                   j = c(3, 4, 4, 1, 2, 3, 5, 4),
                   x = 1:8)

m2 <- m1/2

p1 <- image(m1) +
    layer(panel.text(x = 3,
                     y = 3,
                     labels = "Olá mundo.",
                     col = "red"))

grid.arrange(p1, image(m2), ncol = 2)