Capítulo5 Organização
Aviso: Para ler a versão mais recente deste material, acesse: https://gustavojy.github.io/apostila-icdr/
Neste capítulo, trataremos sobre a manipulação dos dados. Esse processo tem como base o conceito de tidy data, no qual devemos ajustar os nossos dados em uma estrutura consistente e padronizada. Isso nos permite visualizar, analisar e modelar os dados de maneira mais fácil e rápida. Normalmente, costuma ser trabalhoso o processo de organizar a base de dados, mas, com o auxílio das ferramentas presentes no tidyverse, conseguimos obter bons resultados que, em longo prazo, faz o esforço valer a pena.
Como o próprio nome do pacote sugere, o tidyverse é baseado nos princípios de uma tidy data. Por isso, seus pacotes foram desenvolvidos para funcionarem seguindo tal princípio e serem complementares entre si.
No capítulo 4, demos início ao processo de manipulação dos dados quando alteramos a classe das variáveis, renomeamos as colunas, corrigimos problemas de encoding, além de outras ações demonstradas a partir das diversas funções e argumentos.
Neste capítulo, veremos como começar a arrumar uma base de dados já importada para o R e, posteriormente, transformar variáveis de acordo com os interesses de uma análise (capítulo 6) e visualizar os dados de forma gráfica (capítulo 7).
Para mais detalhes sobre tidy data, recomendo dois documentos que abordam o tema. Ambos são da autoria de Hadley Wickham, o idealizador do pacote tidyverse. O primeiro é o The tidy tools manifesto, que aborda os princípios que norteiam o tidyverse. O outro documento é o artigo Tidy Data, que trata de maneira teórica os conceitos de dados arrumados.
Assim sendo, vamos começar a organizar os nossos dados. A seguir, apresentaremos os pacotes tibble e tidyr.
5.1 Tibbles
Nesta seção, veremos o que são as tibbles e suas funcionalidades. No capítulo 4 vimos que o pacote readr apresenta funções que convertem diretamente os arquivos importados para o formato tibble. Isso se deve ao fato de que os pacotes presentes no tidyverse utilizam como padrão esse formato, ao invés do formato tradicional de data frame. Porém, a maioria dos outros pacotes que não estão no tidyverse ainda utilizam o formato de data frame.
Tibbles nada mais são do que uma versão mais atualizada dos data frames, apresentando ajustes importantes que facilitam o trabalho do cientista de dados. Dessa forma, os conceitos que vimos nas seções 3.8 e 3.13.1 são válidos para as tibbles. Elas fazem parte do pacote tibble, assim, devemos carregar o seu pacote.
5.1.1 Criando Tibbles
Para converter data frames em tibbles, utilizamos a função as_tibble(). Como exemplo, transformaremos a base de dados nativa do R iris para o formato tibble.
# A tibble: 150 × 5
Sepal.Length Sepal.Width Petal.Length Petal.Width Species
<dbl> <dbl> <dbl> <dbl> <fct>
1 5.1 3.5 1.4 0.2 setosa
2 4.9 3 1.4 0.2 setosa
3 4.7 3.2 1.3 0.2 setosa
4 4.6 3.1 1.5 0.2 setosa
5 5 3.6 1.4 0.2 setosa
6 5.4 3.9 1.7 0.4 setosa
7 4.6 3.4 1.4 0.3 setosa
8 5 3.4 1.5 0.2 setosa
9 4.4 2.9 1.4 0.2 setosa
10 4.9 3.1 1.5 0.1 setosa
# … with 140 more rowsPerceba que, por padrão, apenas as 10 primeiras linhas são apresentadas. Caso o número de colunas não couber na largura da tela, essas serão ocultadas da apresentação. Além disso, as tibbles mostram as dimensões da tabela (no caso, 150 x 5) e a classe de todas as colunas (entre < >).
Já os data frames, não apresentam as dimensões da tabela e nem as respectivas classes das colunas. Além disso, sua saída não é a muito boa quando trabalhamos com bases de dados extensas, como podemos ver e comparar a seguir.
[1] "data.frame" Sepal.Length Sepal.Width Petal.Length Petal.Width Species
1 5.1 3.5 1.4 0.2 setosa
2 4.9 3.0 1.4 0.2 setosa
3 4.7 3.2 1.3 0.2 setosa
4 4.6 3.1 1.5 0.2 setosa
5 5.0 3.6 1.4 0.2 setosa
6 5.4 3.9 1.7 0.4 setosa
7 4.6 3.4 1.4 0.3 setosa
8 5.0 3.4 1.5 0.2 setosa
9 4.4 2.9 1.4 0.2 setosa
10 4.9 3.1 1.5 0.1 setosa
11 5.4 3.7 1.5 0.2 setosa
12 4.8 3.4 1.6 0.2 setosa
13 4.8 3.0 1.4 0.1 setosa
14 4.3 3.0 1.1 0.1 setosa
15 5.8 4.0 1.2 0.2 setosa
16 5.7 4.4 1.5 0.4 setosa
17 5.4 3.9 1.3 0.4 setosa
18 5.1 3.5 1.4 0.3 setosa
19 5.7 3.8 1.7 0.3 setosa
20 5.1 3.8 1.5 0.3 setosa
21 5.4 3.4 1.7 0.2 setosa
22 5.1 3.7 1.5 0.4 setosa
23 4.6 3.6 1.0 0.2 setosa
24 5.1 3.3 1.7 0.5 setosa
25 4.8 3.4 1.9 0.2 setosa
26 5.0 3.0 1.6 0.2 setosa
27 5.0 3.4 1.6 0.4 setosa
28 5.2 3.5 1.5 0.2 setosa
29 5.2 3.4 1.4 0.2 setosa
30 4.7 3.2 1.6 0.2 setosa
31 4.8 3.1 1.6 0.2 setosa
32 5.4 3.4 1.5 0.4 setosa
33 5.2 4.1 1.5 0.1 setosa
34 5.5 4.2 1.4 0.2 setosa
35 4.9 3.1 1.5 0.2 setosa
36 5.0 3.2 1.2 0.2 setosa
37 5.5 3.5 1.3 0.2 setosa
38 4.9 3.6 1.4 0.1 setosa
39 4.4 3.0 1.3 0.2 setosa
40 5.1 3.4 1.5 0.2 setosa
41 5.0 3.5 1.3 0.3 setosa
42 4.5 2.3 1.3 0.3 setosa
43 4.4 3.2 1.3 0.2 setosa
44 5.0 3.5 1.6 0.6 setosa
45 5.1 3.8 1.9 0.4 setosa
46 4.8 3.0 1.4 0.3 setosa
47 5.1 3.8 1.6 0.2 setosa
48 4.6 3.2 1.4 0.2 setosa
49 5.3 3.7 1.5 0.2 setosa
50 5.0 3.3 1.4 0.2 setosa
51 7.0 3.2 4.7 1.4 versicolor
52 6.4 3.2 4.5 1.5 versicolor
53 6.9 3.1 4.9 1.5 versicolor
54 5.5 2.3 4.0 1.3 versicolor
55 6.5 2.8 4.6 1.5 versicolor
56 5.7 2.8 4.5 1.3 versicolor
57 6.3 3.3 4.7 1.6 versicolor
58 4.9 2.4 3.3 1.0 versicolor
59 6.6 2.9 4.6 1.3 versicolor
60 5.2 2.7 3.9 1.4 versicolor
61 5.0 2.0 3.5 1.0 versicolor
62 5.9 3.0 4.2 1.5 versicolor
63 6.0 2.2 4.0 1.0 versicolor
64 6.1 2.9 4.7 1.4 versicolor
65 5.6 2.9 3.6 1.3 versicolor
66 6.7 3.1 4.4 1.4 versicolor
67 5.6 3.0 4.5 1.5 versicolor
68 5.8 2.7 4.1 1.0 versicolor
69 6.2 2.2 4.5 1.5 versicolor
70 5.6 2.5 3.9 1.1 versicolor
71 5.9 3.2 4.8 1.8 versicolor
72 6.1 2.8 4.0 1.3 versicolor
73 6.3 2.5 4.9 1.5 versicolor
74 6.1 2.8 4.7 1.2 versicolor
75 6.4 2.9 4.3 1.3 versicolor
76 6.6 3.0 4.4 1.4 versicolor
77 6.8 2.8 4.8 1.4 versicolor
78 6.7 3.0 5.0 1.7 versicolor
79 6.0 2.9 4.5 1.5 versicolor
80 5.7 2.6 3.5 1.0 versicolor
81 5.5 2.4 3.8 1.1 versicolor
82 5.5 2.4 3.7 1.0 versicolor
83 5.8 2.7 3.9 1.2 versicolor
84 6.0 2.7 5.1 1.6 versicolor
85 5.4 3.0 4.5 1.5 versicolor
86 6.0 3.4 4.5 1.6 versicolor
87 6.7 3.1 4.7 1.5 versicolor
88 6.3 2.3 4.4 1.3 versicolor
89 5.6 3.0 4.1 1.3 versicolor
90 5.5 2.5 4.0 1.3 versicolor
91 5.5 2.6 4.4 1.2 versicolor
92 6.1 3.0 4.6 1.4 versicolor
93 5.8 2.6 4.0 1.2 versicolor
94 5.0 2.3 3.3 1.0 versicolor
95 5.6 2.7 4.2 1.3 versicolor
96 5.7 3.0 4.2 1.2 versicolor
97 5.7 2.9 4.2 1.3 versicolor
98 6.2 2.9 4.3 1.3 versicolor
99 5.1 2.5 3.0 1.1 versicolor
100 5.7 2.8 4.1 1.3 versicolor
101 6.3 3.3 6.0 2.5 virginica
102 5.8 2.7 5.1 1.9 virginica
103 7.1 3.0 5.9 2.1 virginica
104 6.3 2.9 5.6 1.8 virginica
105 6.5 3.0 5.8 2.2 virginica
106 7.6 3.0 6.6 2.1 virginica
107 4.9 2.5 4.5 1.7 virginica
108 7.3 2.9 6.3 1.8 virginica
109 6.7 2.5 5.8 1.8 virginica
110 7.2 3.6 6.1 2.5 virginica
111 6.5 3.2 5.1 2.0 virginica
112 6.4 2.7 5.3 1.9 virginica
113 6.8 3.0 5.5 2.1 virginica
114 5.7 2.5 5.0 2.0 virginica
115 5.8 2.8 5.1 2.4 virginica
116 6.4 3.2 5.3 2.3 virginica
117 6.5 3.0 5.5 1.8 virginica
118 7.7 3.8 6.7 2.2 virginica
119 7.7 2.6 6.9 2.3 virginica
120 6.0 2.2 5.0 1.5 virginica
121 6.9 3.2 5.7 2.3 virginica
122 5.6 2.8 4.9 2.0 virginica
123 7.7 2.8 6.7 2.0 virginica
124 6.3 2.7 4.9 1.8 virginica
125 6.7 3.3 5.7 2.1 virginica
126 7.2 3.2 6.0 1.8 virginica
127 6.2 2.8 4.8 1.8 virginica
128 6.1 3.0 4.9 1.8 virginica
129 6.4 2.8 5.6 2.1 virginica
130 7.2 3.0 5.8 1.6 virginica
131 7.4 2.8 6.1 1.9 virginica
132 7.9 3.8 6.4 2.0 virginica
133 6.4 2.8 5.6 2.2 virginica
134 6.3 2.8 5.1 1.5 virginica
135 6.1 2.6 5.6 1.4 virginica
136 7.7 3.0 6.1 2.3 virginica
137 6.3 3.4 5.6 2.4 virginica
138 6.4 3.1 5.5 1.8 virginica
139 6.0 3.0 4.8 1.8 virginica
140 6.9 3.1 5.4 2.1 virginica
141 6.7 3.1 5.6 2.4 virginica
142 6.9 3.1 5.1 2.3 virginica
143 5.8 2.7 5.1 1.9 virginica
144 6.8 3.2 5.9 2.3 virginica
145 6.7 3.3 5.7 2.5 virginica
146 6.7 3.0 5.2 2.3 virginica
147 6.3 2.5 5.0 1.9 virginica
148 6.5 3.0 5.2 2.0 virginica
149 6.2 3.4 5.4 2.3 virginica
150 5.9 3.0 5.1 1.8 virginicaCaso queira ter uma visão completa dos dados, a melhor forma de fazê-la é utilizando a função view(). Teste o seguinte comando:
Também podemos criar uma tibble do zero, a partir de vetores individuais, com a função tibble().
tibble(
nomes = c("José", "João", "Maria", "Ana"),
sexo = c("M", "M", "F", "F"),
idade = 21:24,
idade_ao_quadrado = idade ^ 2,
filhos = 0)# A tibble: 4 × 5
nomes sexo idade idade_ao_quadrado filhos
<chr> <chr> <int> <dbl> <dbl>
1 José M 21 441 0
2 João M 22 484 0
3 Maria F 23 529 0
4 Ana F 24 576 0No exemplo acima, veja que foi possível criar a coluna idade_ao_quadrado em função de outra coluna, a idade. Na coluna filhos, passamos um vetor de tamanho 1, ocorrendo o processo de reciclagem do vetor (tema tratado na seção 3.9), ou seja, foi atribuído o valor 0 para todas as demais observações até que se igualasse o número de linhas da tibble.
É possível colocar nomes de colunas com caracteres de sintaxe inválida (tema tratado na seção 3.5), desde que os nomes estejam entre acentos graves (`). No caso dos data frames, teríamos dificuldades em trabalhar com esse tipo de sintaxe, pois os nomes seriam convertidos para um formato que se enquadre na sintaxe válida, portanto, ocorreria uma alteração dos nomes designados originalmente.
A seguir, criaremos um exemplo de tibble (puramente a título de demonstração) com nomes que contêm espaços, começam com números e possuem caracteres especiais.
tibble(
`nomes dos estudantes` = c("José", "João", "Maria", "Ana"),
`2sexo` = c("M", "M", "F", "F"),
`:)idade` = 21:24,
`idade²` = `:)idade` ^ 2,
`nº filhos` = 0)# A tibble: 4 × 5
`nomes dos estudantes` `2sexo` `:)idade` `idade²` `nº filhos`
<chr> <chr> <int> <dbl> <dbl>
1 José M 21 441 0
2 João M 22 484 0
3 Maria F 23 529 0
4 Ana F 24 576 0Por consequência, quando trabalharmos com as variáveis nomeadas dessa forma, precisaremos colocá-las sempre entre acentos graves, como foi o caso da construção da coluna idade², em que tivemos que colocar a coluna :)idade entre acentos graves para que conseguíssemos elevar seus valores ao quadrado.
Por último, podemos criar tibbles com a função tribble(). A tribble() é construída definindo os nomes das colunas por fórmulas (começando com ~), cujos valores são separados por vírgulas, sendo uma forma mais visual e intuitiva para construir pequenas tibbles.
# A tibble: 3 × 3
nome id sexo
<chr> <dbl> <chr>
1 João 25 M
2 José 30 M
3 Ana 23 F Veja que é possível até mesmo adicionar um comentário (#) para criar uma delimitação entre o cabeçalho e os valores, tornando o código ainda mais visual.
5.1.2 Outras funções
Podemos adicionar novas linhas e colunas à tibble com as funções add_row() e add_column(), respectivamente.
tib <- tibble(
nomes = c("José", "João", "Maria"),
sexo = c("M", "M", "F")
)
tib_col <- add_column(tib, idade = c(26, 30, 19))
tib_col# A tibble: 3 × 3
nomes sexo idade
<chr> <chr> <dbl>
1 José M 26
2 João M 30
3 Maria F 19# A tibble: 5 × 3
nomes sexo idade
<chr> <chr> <dbl>
1 José M 26
2 João M 30
3 Maria F 19
4 Ana F 20
5 Beatriz F 235.2 Pacote tidyr
Nesta seção, abordaremos as principais ferramentas de organização de dados presentes no pacote tidyr. Portanto, precisamos rodá-lo no R.
A seguir, aplicaremos as ferramentas do tidyr em uma mesma base de dados, porém em diversas versões desarrumadas 4 . Os dados são referentes a produção (em toneladas) e a área colhida (em hectares) da cultura do milho, no Brasil, China e Índia, nos anos de 2000 e 2019. Para fazer o download da pasta contendo as bases de dados, clique aqui.
5.2.1 Base de dados tidy
Antes de abordarmos as bases desarrumadas, vamos tratar da base de dados arrumadas.
Para alcançarmos a tão desejada base de dados arrumada, devemos ter em mente as três principais propriedades de uma tidy data:
Cada variável possui sua própria coluna;
Cada observação possui sua própria linha;
Cada célula contém somente um único valor.
Figure 5.1: Seguindo os princípios da tidy data, cada variável possui uma coluna, cada observação está em uma linha e cada célula contém somente um valor.
Como citamos em capítulos anteriores, cada coluna de um data frame (ou tibble) é um vetor. Ao designar uma variável à uma única coluna, podemos trabalhar com as informações a partir de vetores individualizados. Portanto, os conceitos vistos na seção 3.9, referente aos vetores, são aplicáveis a cada uma das colunas de uma base de dados organizada. E é dessa maneira que os pacotes do tidyverse trabalham.
# A tibble: 6 × 4
pais ano colheita producao
<chr> <dbl> <dbl> <dbl>
1 Brasil 2000 11890376 32321000
2 Brasil 2019 17518054 101138617
3 China 2000 23086228 106178315
4 China 2019 41309740 260957662
5 India 2000 6611300 12043200
6 India 2019 9027130 27715100Portanto, esse é um exemplo de uma base de dados organizada. Cada coluna é uma variável, cada observação está em uma linha e cada célula contém um único valor. Assim, sempre que se deparar com uma nova base de dados, observe primeiro quais elementos são variáveis e quais são observações, e se uma célula contém um ou mais valores.
Nos próximos capítulos, veremos como utilizar uma tidy data para realizar transformações e gráficos. Mas antes, temos que tratar dos dados desarrumados.
5.2.2 Pivotagem
Uma forma de organizarmos os nossos dados é realizando a pivotagem. Este método converte as observações que estão como nome de colunas, para linhas; e variáveis que estão em linhas, para as colunas.
Pivot longer
A função pivot_longer() converte as observações que estão como nome das colunas, para linhas. Aplicaremos sua função no arquivo tidy1a_prod.csv.
# A tibble: 3 × 3
pais `2000` `2019`
<chr> <dbl> <dbl>
1 Brasil 32321000 101138617
2 China 106178315 260957662
3 India 12043200 27715100Veja que as observações referentes aos anos (2000 e 2019) estão como nome das colunas, cada qual com os valores referentes a produção de milho nos respectivos anos. Para arrumá-las, devemos criar duas novas colunas, uma para alocar os anos e outra, para os valores de produção de milho.
plonger1_tidy <- pivot_longer(data = plonger1,
col = c(`2000`, `2019`),
names_to = "ano",
values_to = "producao")
plonger1_tidy# A tibble: 6 × 3
pais ano producao
<chr> <chr> <dbl>
1 Brasil 2000 32321000
2 Brasil 2019 101138617
3 China 2000 106178315
4 China 2019 260957662
5 India 2000 12043200
6 India 2019 27715100Assim, na função pivot_longer(), utilizamos o argumento data = para indicar qual a base de dados desejamos arrumar - no caso o objeto plonger1. Em seguida, utilizamos o argumento col para selecionar as colunas que desejamos pivotar. Já no argumento names_to devemos dizer para qual coluna os nomes selecionados devem ir (no caso, os nomes 2000 e 2019), portanto, são direcionados para a nova coluna ano. Por fim, no argumento values_to, dizemos que os valores contidos nas colunas 2000 e 2019 devem ir para uma única coluna, denominada producao.
Perceba que os valores se mantém associados às antigas colunas 2000 e 2019, agora como valores de uma observação.
Podemos fazer o mesmo com os dados referentes à área colhida - presente no arquivo tidy1b_col.csv - somente alterando o atributo do argumento values_to para colheita:
# A tibble: 3 × 3
pais `2000` `2019`
<chr> <dbl> <dbl>
1 Brasil 11890376 17518054
2 China 23086228 41309740
3 India 6611300 9027130plonger2_tidy <- pivot_longer(data = plonger2,
col = c(`2000`, `2019`),
names_to = "ano",
values_to = "colheita")
plonger2_tidy# A tibble: 6 × 3
pais ano colheita
<chr> <chr> <dbl>
1 Brasil 2000 11890376
2 Brasil 2019 17518054
3 China 2000 23086228
4 China 2019 41309740
5 India 2000 6611300
6 India 2019 9027130Para juntar ambas as tabelas, utilizamos a dplyr::full_join(), presente no pacote dplyr, a qual veremos com mais detalhes no capítulo 6.
# A tibble: 6 × 4
pais ano producao colheita
<chr> <chr> <dbl> <dbl>
1 Brasil 2000 32321000 11890376
2 Brasil 2019 101138617 17518054
3 China 2000 106178315 23086228
4 China 2019 260957662 41309740
5 India 2000 12043200 6611300
6 India 2019 27715100 9027130Pivot wider
A função pivot_wider() é a oposta da pivot_longer(). Ela é usada para converter as variáveis que estão nas linhas, para o nome das colunas. Como exemplo, utilizaremos o arquivo tidy2.csv.
# A tibble: 12 × 4
pais ano tipo valor
<chr> <dbl> <chr> <dbl>
1 Brasil 2000 colheita 11890376
2 Brasil 2019 colheita 17518054
3 Brasil 2000 producao 32321000
4 Brasil 2019 producao 101138617
5 China 2000 colheita 23086228
6 China 2019 colheita 41309740
7 China 2000 producao 106178315
8 China 2019 producao 260957662
9 India 2000 colheita 6611300
10 India 2019 colheita 9027130
11 India 2000 producao 12043200
12 India 2019 producao 27715100Como podemos observar, as variáveis colheita e producao estão como valores de observações. Portanto, devemos transformá-las em nomes de colunas, recebendo os respectivos valores associados à coluna valor.
# A tibble: 6 × 4
pais ano colheita producao
<chr> <dbl> <dbl> <dbl>
1 Brasil 2000 11890376 32321000
2 Brasil 2019 17518054 101138617
3 China 2000 23086228 106178315
4 China 2019 41309740 260957662
5 India 2000 6611300 12043200
6 India 2019 9027130 27715100Assim, na função pivot_wider(), utilizamos o argumento names_from para dizer em qual coluna (tipo) estão os nomes das novas variáveis (producao e colheita) e o values_from para indicar em qual coluna estão localizados os respectivos valores das novas colunas criadas.
Portanto, podemos dizer que a pivot_longer() torna a base de dados mais longa (reduz o número de colunas e aumenta o número de linhas) e a pivot_wider(), deixa mais larga (aumenta o número de colunas e diminui o número de linhas).
Para conferir todos os argumentos das funções pivot_longer() e pivot_wider(), utilize as funções args(pivot_longer) e args(pivot_wider), respectivamente.
5.2.3 Separar e Unir
Para tratar das funções de separar e unir, exemplificaremos com os dados do arquivo tidy3.csv.
# A tibble: 6 × 3
pais ano produtividade
<chr> <dbl> <chr>
1 Brasil 2000 32321000/11890376
2 Brasil 2019 101138617/17518054
3 China 2000 106178315/23086228
4 China 2019 260957662/41309740
5 India 2000 12043200/6611300
6 India 2019 27715100/9027130 Separar
O banco de dados apresentado acima apresenta a coluna produtividade, cujos valores são representados como produção/área colhida. Portanto, precisamos separá-los em duas colunas, pois temos duas variáveis em uma mesma coluna e dois valores em uma mesma célula. Para isso utilizaremos a função separate().
sep_unir_tidy <- separate(data = sep_unir,
col = produtividade,
into = c("producao", "colheita"))
sep_unir_tidy# A tibble: 6 × 4
pais ano producao colheita
<chr> <dbl> <chr> <chr>
1 Brasil 2000 32321000 11890376
2 Brasil 2019 101138617 17518054
3 China 2000 106178315 23086228
4 China 2019 260957662 41309740
5 India 2000 12043200 6611300
6 India 2019 27715100 9027130 Na função separate(), indicamos a base de dados a ser processada no argumento data =; posteriormente, declaramos no argumento col = o nome da coluna a ser separada - no caso, a produtividade -, e com o argumento into =, dizemos o nome das novas colunas que direcionaremos os valores da coluna separada (producao e "colheita).
Por padrão, a função separate() irá quebrar os valores quando perceber que entre eles há um operador não numérico ou não textual, como foi o caso do exemplo acima, que apresentava uma / separando os valores. Caso for necessário especificar qual o separador utilizado, devemos utilizar o argumento sep.
sep_unir_tidy <- separate(data = sep_unir,
col = produtividade,
into = c("producao", "colheita"),
sep = "/")
sep_unir_tidy# A tibble: 6 × 4
pais ano producao colheita
<chr> <dbl> <chr> <chr>
1 Brasil 2000 32321000 11890376
2 Brasil 2019 101138617 17518054
3 China 2000 106178315 23086228
4 China 2019 260957662 41309740
5 India 2000 12043200 6611300
6 India 2019 27715100 9027130 Perceba que a classe das novas colunas vieram como tipo caractere. Por padrão, a função separate() sempre adotará essa classe. Para corrigirmos a classe, podemos utilizar o argumento convert = TRUE, ou seja, pedir para função adotar uma classe mais apropriada aos valores contidos nas colunas.
sep_unir_tidy <- separate(data = sep_unir,
col = produtividade,
into = c("producao", "colheita"),
sep = "/",
convert = TRUE)
sep_unir_tidy# A tibble: 6 × 4
pais ano producao colheita
<chr> <dbl> <int> <int>
1 Brasil 2000 32321000 11890376
2 Brasil 2019 101138617 17518054
3 China 2000 106178315 23086228
4 China 2019 260957662 41309740
5 India 2000 12043200 6611300
6 India 2019 27715100 9027130Feito isso, temos a classe int (números inteiros) para as colunas producao e colheita.
Também podemos separar valores informando uma quantidade de caracteres a serem considerados na separação. Para isso, informamos no argumento sep a quantidade dos primeiros caracteres que desejamos quebrar. Por exemplo, para separar os valores da coluna ano em seculo e decada, podemos passar o argumento sep = 2, ou seja, o argumento selecionará os dois primeiros caracteres dos valores contidos na coluna ano e os separará dos demais, formando as novas colunas seculo e decada.
# A tibble: 6 × 5
pais seculo decada producao colheita
<chr> <chr> <chr> <int> <int>
1 Brasil 20 00 32321000 11890376
2 Brasil 20 19 101138617 17518054
3 China 20 00 106178315 23086228
4 China 20 19 260957662 41309740
5 India 20 00 12043200 6611300
6 India 20 19 27715100 9027130Nesse caso, o argumento sep = 2 pegou os dois primneiros número e os separou dos demais. Caso houver um número negativo, o argumento considera o sinal de negativo como o primeiro caractere informado no argumento.
Unir
A função unite() é a inversa de separate(). Portanto, combina múltiplas colunas em uma única. Usaremos a unite() para juntar novamente as colunas seculo e decada para apenas a coluna novamente_ano.
# A tibble: 6 × 4
pais novamente_ano producao colheita
<chr> <chr> <int> <int>
1 Brasil 2000 32321000 11890376
2 Brasil 2019 101138617 17518054
3 China 2000 106178315 23086228
4 China 2019 260957662 41309740
5 India 2000 12043200 6611300
6 India 2019 27715100 9027130No argumento col = dizemos qual o nome da nova coluna, em seguida, as colunas a serem juntadas (seculo e decada), e o sep =, para informar qual o separador utilizado. Nesse caso, precisavamos juntar os valores sem qualquer caractere ou espaço, portanto, nosso argumento recebe apenas duas aspas "". Caso não fosse informado o argumento sep, por padrão, a função adota o underline (_) como separador.
Para conferir todos os argumentos das funções separate() e unite(), utilize as funções args(separate) e args(unite), respectivamente.
De maneira geral, essas são as principais ferramentas quando o tema é arrumar os dados. A seguir, agora com os dados arrumados, iremos transformar as nossas bases de dados para que contenha apenas as variáveis de nosso interesse e também criar novas variáveis, de acordo com as existentes.
O termo desarrumada não é o mais apropriado para nos referirmos aos demais formatos de dados, pois o formato tidy é um dos possíveis para se trabalhar com dados - principalmente quando trabalhamos com dados retangulares - utilizando o pacote
tidyverse. Portanto, quando nos referirmos a dados desarrumados, entenda como dados fora do padrão tidy data ou não-tidy. Para entender mais sobre os dados não-tidy, recomendo o post do Jeff Leek sobre o assunto.↩︎