My R lecture notes / Mis apuntes de R

I link you here the “R for life sciences” lecture notes I am doing, so they are easily available.

 

Lecture notes Web html pdf epub
 1. Easy R start  html  pdf  epub
 2. Operations  html  pdf  epub
 3. Basic graphics and data  html  pdf  epub
 4. Hypothesis testing  html  pdf  epub

Spanish:

Enlazo aquí los apuntes de R que voy haciendo en inglés para que estén disponibles.

En español, mejor  empezar por aquí.

 

R – primeros pasos

R es el lenguaje de programación de referencia para estadística, aunque tiene el potencial de poder hacer casi cualquier cosa como ocurre con casi cualquier lenguaje de programación. Ha cambiado la forma de entender la forma de analizar los datos, pasando a algo cerrado con algunos tests que hace todo el mundo, a ser algo mucho más creativo. El problema principal es su curva de aprendizaje. No es fácil empezar.

¿Por donde empezamos?

  1. Instalar R
  2. Instalar R-studio
  3. Tutoriales para empezar con R

Instalar R

La web oficial de R no es precisamente amigable, ya que como ocurre  con muchos recursos gratuitos y abiertos están más pensados para los desarrolladores que para los usuarios. Hay que saber qué es cada cosa para no perderse.

R1R2Cuando das a “download R” te envía a una lista de mirrors, que son todos lo mismo, pero en diferentes servidores (así si cae uno, quedan los demás). Para instalar R puedes seguir las instrucciones de cualquiera de los mirrors (se supone que mejor cuanto más cercano), o ir a las FAQ (Frequently asked questions) y ver el tutorial de cómo instalar en tu sistema operativo.R3

Linux, Mac or Windows

El tutorial explica sólo para  la mejor forma de instalarlo,desde repositorios oficiales de R-cran. Si se añade el repositorio, NO OLVIDAR instalar la clave para que no de errores al actualizar.

En ocasiones lo más fácil es utilizar los repositorios oficiales de tu versión Linux, que ya puede tener versiones suficientemente actualizadas de R. Para Ubuntu o Mint  valdría con:

sudo apt-get update
sudo apt-get install r-base r-base-dev

Instalar R – StudioR4

R se puede utilizar directamente desde consola y utilizando archivos de texto plano para hacer los scripts y pegar trozos en la consola. Personalmente me gusta mucho cómo R – studio separa la pantalla en cuatro partes: editor texto, consola, variables y graficos (ayuda, etc), facilitando el correr líneas de código o ver los gráficos en el mismo programa. Lo  único malo es  que no está en los repositorios y que hay que instalarlo  por tanto desde su web oficial. Es tan fácil como dar a “Download RStudio” y luego “Download Opensource RStudio Desktop“, se abre desde el instalador y se instala.

CÓMO EMPEZAR CON R

R5Se supone que si has llegado hasta aquí, ya tienes R y RStudio instalados, por lo que lo que te encuentras al abrir RStudio es cómo  la figura de  la derecha. Cuatro ventanas. Pinchando en los símbolos de pestaña de la parte superior derecha de cada ventana, puedes maximizar o minimizar cada una. Por defecto las de la izquierda son arriba el editor de texto y abajo la consola, y las de la izquierda las variables (environment) y el historial (history) arriba y todo lo demás,  incluyendo plots y ayuda, abajo. Aunque la colocación de las ventanas se puede modificar al gusto de cada cual.  Las más importantes son:

EDITOR: donde se guarda y edita el código. Aquí se abren los scripts, se modifican y se prueban. No olvides dar a guardar de vez en cuando.

CONSOLA: donde se corre el código. Para correr una línea de código del editor en la consola, se presiona la tecla “Run” (parte superior del editor).

Una vez dicho esto, lo mejor para empezar el leer y practicar. Para ello se pueden seguir:

Tutoriales

aconsejo echarle un vistazo a ambos.

Webs interesantes

Algunas webs interesantes donde buscar soluciones a problemas  concretos o incluso preguntar si no están ya publicadas:

Guis

Otras guis interesantes para utilizar con R, aunque no las he probado mucho son:

 

 

 

Automatizar el paso de GPX a SHP desde R

Desde la lógica más pura del trabajo con datos en R, lo mejor es tener los datos originales sin modificar, ya que siempre que se modifican es una posibilidad nueva de error. Para poder trabajar con esos datos originales lo que hacemos es convertirlos en una matriz de datos con los que podamos trabajar.

En nuestro caso tenemos en una carpeta los datos GPX tal cual salen del GPS y una tabla CSV con el mismo nombre que contiene los datos recogidos en la libreta (Especie, nombre parcela, otros datos) sobre los mismos puntos que contiene el GPX. Es importante que el número de registros en uno y en otro sean los mismos y que estén en el mismo orden, aunque no es necesario que se llamen igual, es interesante hacerlo para poder comprobar que se han unido bien.

Pasos a seguir:

  1. Instalar rgdal
  2. Elegir directorios de trabajo
  3. Importar datos GPX en R
  4. Importar datos CSV en R
  5. Juntar todos los datos en una única SpatialPointsDataFrame
  6. Corregir errores de transcripción
  7. Eliminar repetidos
  8. Exportar SHP

Instalar rgdal

Para importar datos GPX en R necesitaremos instalar la librería rgdal. Al intentar instalarla puede ocurrir que falte gdal-config, por lo que habrá que instalarlo primero en la consola de Linux:

sudo apt-get install libgdal1-dev libproj-dev

y en la consola de R:

install.packages("rgdal", dep=T)         #rgdal package
library(rgdal)

Una vez instalada, sólo es necesario correr la última línea de código para volver a activar la librería las siguientes veces.

Elegir directorios de trabajo

Lo primero que vamos a hacer es fijar los directorios de trabajo:

#   Directorio de entrada de datos
DirDatosBrutos <- "Directorio donde están los datos GPX y CSV/"
#   Directorios para exportar datos
DirDatosSHPwp  <- "Directorio donde se querran guardar los archivos shp de puntos/"
DirDatosSHPtrk <- "Directorio donde se querrán guardar los shp de tracks/"

Observar que al principio no hay barra y al final hay una barra inclinada (en Mac o en Windows puede ser diferente). Para comprobar que están bien elegidos, podemos utilizar:

list.files()
list.files(DirDatosBrutos)
list.files(DirDatosBrutos, ".csv")
list.files(DirDatosSHPwp, ".shp")
list.files(DirDatosSHPtrk, ".shp")

Importar datos GPX en R

Para importar los datos GPX y convertirlos en variables espaciales de puntos (waypoints) o lineas (tracks) utilizaremos readOGR()

#=============================================================================== 
#          LEER DATOS GPX y csv y crear listas
#=============================================================================== 
GPXinNombres <- list.files(DirDatosBrutos, ".GPX")  # Lista nombres gpx importar
CSVinNombres <- list.files(DirDatosBrutos, ".csv")  # Lista nombres csv importar
#
#                         GPXwp           Lista de SpatialPointsDataFrame PUNTOS
GPXwp <- list()
for (i in GPXinNombres){
    nombre <- paste(DirDatosBrutos,i,sep="")
    GPXwp[[i]] <- readOGR(dsn = nombre, layer="waypoints")
}
#
#                       GPXtrk             Lista de SpatialLinesDataFrame TRACKS
GPXtrk <- list()
for (i in GPXinNombres){
  nombre <- paste(DirDatosBrutos,i,sep="")
  GPXtrk[[i]] <- readOGR(dsn = nombre, layer="tracks")
}
#                       COMPROBAR
for (i in 1:length(GPXwp)){
   plot(GPXwp[[i]])
   plot(GPXtrk[[i]],add=T)
}
# Debería salir un dibujo con los traks y waypoints de cada archivo gpx

Importar datos CSV en R

Lo ideal es que tengan el mismo nombre que los correspondientes GPX, pero si no, al menos deberían estar en el mismo orden alfabético. También los nombres de las variables deberían ser en todas las mismas. En el ejemplo son ID, Tipo, Lugar Parcela y Fecha, pero habrá que poner en cada caso los datos tomados en la libreta.

#                         CSVwp     Lista de matrices de datos espaciales
CSVwp <- list()
for (i in CSVinNombres){
nombre <- paste(DirDatosBrutos,i,sep="")
CSVwp[[i]] <- read.table(nombre,header=T,sep=",")      #,sep="\t")     #   Leer tabla
names(CSVwp[[i]]) <- c("ID","Tipo","Lugar","Parcela","Fecha")          #   Arreglar nombres variables
}
#

Limpiar variables del GPX

Podemos ver todas las variables introducidas en cada una de las tablas utilizando str() o head(). En el ejemplo sólo nos quedaremos con las variables 5, 1 y 2, “nombre”, “ele” y “time”, respectivamente, eliminando todas las demás ya que están vacías o no tienen información relevante. Comprobar siempre antes, ya que pueden variar en función del modelo de gps. Para eliminarlas de toda la lista de tablas a la vez, utilizaremos for().

#===============================================================================
#          LIMPIAR GPXs
#===============================================================================
#          Seleccionar las variables útiles y crear variable VarUtiles
head(GPXwp[[1]])
VarUtiles <- c(5,1,2)                           # Puede cambiar según modelo GPS
for(i in 1:length(GPXwp)){
GPXwp[[i]] <- GPXwp[[i]][,VarUtiles]
}
head(GPXwp[[1]])                                             # Comprobar cambios
#

Juntar las variables de los GPX con las de los CSV

Un detalle importante en este paso es que los nombres de las variables en el CSV no deben coincidir con las variables que se hayan conservado del GPX. Si es así debería cambiarse el nombre de una de las dos. En este momento tenemos una lista de gpx con tres variables cada uno y una lista de csv con 4 variables cada uno. Podrían ser más y no pasaría nada mientras estén en el mismo orden y lógicamente el número de puntos en los gpx coincida con el número de lineas de datos de cada csv. Si es así, esto debería funcionar.

#===============================================================================
#          JUNTAR GPX Y CSV
#===============================================================================
for(i in 1:length(GPXwp)){
for (j in names(CSVwp[[i]])){
GPXwp[[i]][[j]] <- CSVwp[[i]][[j]]
}
}
#                       COMPROBAR si se han añadido
head(GPXwp[[1]])

Juntar todos los datos en una única SpatialPointsDataFrame

para juntar todos los datos en una única tabla de datos espaciales “SpatialPointsDataFrame” creamos un objeto introduciremos la primera tabla y luego con for() vamos añadiendo las demás utilizando rbind() para añadir cada vez más filas. Más tarde quitaremos los elementos duplicados por lo que no debemos  preocuparnos si los archivos solapan o si se tomaron puntos repetidos.

WP <- GPXwp[[1]] # Crea tabla GPXWP
for(i in 2:length(GPXwp)){
WP <- rbind(WP,GPXwp[[i]]) # Une resto de tablas a GPXWP
}
# COMPROBAR
WP

Corregir errores de transcripción

Además de comprobar que se han introducido todos los casos es interesante comprobar también si existen errores de transcripción que haya que corregir. Para las variables cuantitativas suele ser interesante ver los valores máximos y mínimos. Las cualitativas se pueden comprobar viendo los niveles de cada factor.

levels (WP$Tipo)                                 # Debería haber sólo 4: A,H,R,S

En nuestro ejemplo resulta que en la variable Tipo se han introducido en algunos casos “Ref” en vez de “R” y “X”  en vez de “H”. Para corregirlo

levels(WP$Tipo)[levels(WP$Tipo)=="REF"] <- "R"   # Cambia REF por R
levels(WP$Tipo)[levels(WP$Tipo)=="X"] <- "H"     # Cambia X por H
levels (WP$Tipo)                                 # Debería haber sólo 4: A,H,R,S

Eliminar repetidos

Los puntos que coinciden en coordenadas y en Tipo se consideran puntos repetidos y por tanto serán eliminados para que en cada coordenada sólo pueda haber un punto de cada tipo.

#===============================================================================
#          ELIMINAR REPETIDOS
#===============================================================================
coordTipo <- cbind(coordinates(WP),WP$Tipo)           # Variables para repetidos
dupl <- duplicated (coordTipo)                        # casos duplicados
#                       COMPROBAR
# length(subset(dupl,dupl==TRUE))                     # Numero casos duplicados
# length(subset(dupl,dupl==FALSE))                    # Numero casos sin duplicar
#
str(WP)
WP <- WP[!dupl,]                                      # ELIMINAR CASOS REPETIDOS
str(WP)
#

Exportar SHP

Ahora ya podemos exportar un shp con todos los puntos de todos los gpx y con los datos del csv incluidos en la tabla de atributos utilizando la función writeOGR().

writeOGR(WP, dsn = DirDatosSHPwp, "WP-Definitivo", driver = "ESRI Shapefile", overwrite_layer = T)  # Crea WP.shp DEFINITIVO

También se puede exportar en otros formatos (GPX, CSV, etc.). Si además queremos exportar una capa de shp para cada uno de los archivos de traks de cada gpx, se puede hacer así

for(i in 1:length(GPXtrk)){
writeOGR(GPXtrk[[i]],DirDatosSHPtrk,names(GPXtrk)[i],driver="ESRI Shapefile",overwrite_layer = T)
}

No he conseguido (tampoco lo he necesitado por ahora) juntar todas las “SpatialLinesDataFrame” de las tracks de los gpx en una sólo ni eliminar los segmentos repetidos. Si en algún momento veo cómo hacerlo lo añadiría aquí. Si sabes cómo hacerlo puedes comentarlo.