DataFrames.jl Cheat Sheet

DataFrame v1.x cheat sheet 예제

using Pkg

# Pkg.add("RollingFunctions")

using DataFrames
using CSV
using Statistics
using RollingFunctions

Create DataFrame

DataFrame(x=[1,2,3],y=4:6,z=9)

3 rows × 3 columns

	x	y	z
	Int64	Int64	Int64
1	1	4	9
2	2	5	9
3	3	6	9

DataFrame([(x=1,y=2),(x=3,y=4)])

2 rows × 2 columns

	x	y
	Int64	Int64
1	1	2
2	3	4

DataFrame("x"=>[1,2],"y"=>[3,4])

2 rows × 2 columns

	x	y
	Int64	Int64
1	1	3
2	2	4

df = DataFrame(rand(5,3),[:x,:y,:z])

5 rows × 3 columns

	x	y	z
	Float64	Float64	Float64
1	0.0592809	0.0598258	0.0709284
2	0.279996	0.68633	0.149333
3	0.012851	0.595739	0.695829
4	0.749047	0.715371	0.462145
5	0.614465	0.340671	0.970881

DataFrame(rand(5,3),:auto)

5 rows × 3 columns

	x1	x2	x3
	Float64	Float64	Float64
1	0.58368	0.36564	0.460039
2	0.249831	0.744277	0.557417
3	0.725893	0.272886	0.394803
4	0.826081	0.185661	0.455548
5	0.960124	0.0255188	0.702536

Describe DataFrame

df = DataFrame(x=[2,1,2,4,3],y=[1,2,3,4,5],z=[5,4,3,2,1])

5 rows × 3 columns

	x	y	z
	Int64	Int64	Int64
1	2	1	5
2	1	2	4
3	2	3	3
4	4	4	2
5	3	5	1

describe(df)

3 rows × 7 columns

	variable	mean	min	median	max	nmissing	eltype
	Symbol	Float64	Int64	Float64	Int64	Int64	DataType
1	x	2.4	1	2.0	4	0	Int64
2	y	3.0	1	3.0	5	0	Int64
3	z	3.0	1	3.0	5	0	Int64

describe(df,:mean,:std)

3 rows × 3 columns

	variable	mean	std
	Symbol	Float64	Float64
1	x	2.4	1.14018
2	y	3.0	1.58114
3	z	3.0	1.58114

function zsq(x)
  x.^2
end

zsq (generic function with 1 method)

describe(df,zsq=>:k)

3 rows × 2 columns

	variable	k
	Symbol	Array…
1	x	[4, 1, 4, 16, 9]
2	y	[1, 4, 9, 16, 25]
3	z	[25, 16, 9, 4, 1]

describe(df,extrema=>:extrema)

3 rows × 2 columns

	variable	extrema
	Symbol	Tuple…
1	x	(1, 4)
2	y	(1, 5)
3	z	(1, 5)

Sort Data

sort(df,:x)

5 rows × 3 columns

	x	y	z
	Int64	Int64	Int64
1	1	2	4
2	2	1	5
3	2	3	3
4	3	5	1
5	4	4	2

sort(df,:x,rev = true)

5 rows × 3 columns

	x	y	z
	Int64	Int64	Int64
1	4	4	2
2	3	5	1
3	2	1	5
4	2	3	3
5	1	2	4

• x에 대해 오르차순 정렬 후 y에 대해서 역순 정렬

sort(df,[:x,order(:y,rev=true)])

5 rows × 3 columns

	x	y	z
	Int64	Int64	Int64
1	1	2	4
2	2	3	3
3	2	1	5
4	3	5	1
5	4	4	2

Select Observations(rows)

first(df,2)

2 rows × 3 columns

	x	y	z
	Int64	Int64	Int64
1	2	1	5
2	1	2	4

last(df,1)

1 rows × 3 columns

	x	y	z
	Int64	Int64	Int64
1	3	5	1

unique(df)

5 rows × 3 columns

	x	y	z
	Int64	Int64	Int64
1	2	1	5
2	1	2	4
3	2	3	3
4	4	4	2
5	3	5	1

unique(DataFrame(x=[2,1,2,4,3],y=[1,2,1,4,5],z=[5,4,5,2,1]))

4 rows × 3 columns

	x	y	z
	Int64	Int64	Int64
1	2	1	5
2	1	2	4
3	4	4	2
4	3	5	1

unique(df,[:x])

4 rows × 3 columns

	x	y	z
	Int64	Int64	Int64
1	2	1	5
2	1	2	4
3	4	4	2
4	3	5	1

df = CSV.read("data/participation.csv",DataFrame)

872 rows × 8 columns

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign
	Int64	String	Float64	Float64	Int64	Int64	Int64	String
1	1	no	10.7875	3.0	8	1	1	no
2	2	yes	10.5243	4.5	8	0	1	no
3	3	no	10.9686	4.6	9	0	0	no
4	4	no	11.105	3.1	11	2	0	no
5	5	no	11.1085	4.4	12	0	2	no
6	6	yes	11.0283	4.2	12	0	1	no
7	7	no	11.4547	5.1	8	0	0	no
8	8	yes	10.4909	3.2	8	0	2	no
9	9	no	10.6247	3.9	12	0	0	no
10	10	no	10.4864	4.3	11	0	2	no
11	11	no	10.6606	4.5	11	0	2	no
12	12	no	10.4676	6.0	12	0	0	no
13	13	no	11.2296	3.3	11	2	0	no
14	14	no	11.9065	5.6	14	0	0	no
15	15	no	11.5016	5.6	11	0	0	no
16	16	no	11.2935	4.7	11	0	1	no
17	17	no	10.8613	5.0	8	0	0	no
18	18	yes	11.844	3.9	12	0	0	no
19	19	no	11.0486	4.7	8	0	1	no
20	20	yes	10.9578	5.3	11	0	0	no
21	21	no	10.8601	2.9	19	0	0	no
22	22	yes	11.1081	4.6	11	0	1	no
23	23	no	10.8486	4.4	8	0	2	no
24	24	no	10.4824	2.0	12	1	0	no
25	25	yes	10.484	5.4	8	0	0	no
26	26	yes	10.6012	4.7	8	0	0	no
27	27	no	10.5406	2.8	9	2	0	no
28	28	no	11.2243	4.7	8	0	1	no
29	29	yes	10.8411	4.9	12	0	0	no
30	30	no	10.5663	3.0	11	0	1	no
⋮	⋮	⋮	⋮	⋮	⋮	⋮	⋮	⋮

filter(:lfp=> !=("no"),df)

401 rows × 8 columns

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign
	Int64	String	Float64	Float64	Int64	Int64	Int64	String
1	2	yes	10.5243	4.5	8	0	1	no
2	6	yes	11.0283	4.2	12	0	1	no
3	8	yes	10.4909	3.2	8	0	2	no
4	18	yes	11.844	3.9	12	0	0	no
5	20	yes	10.9578	5.3	11	0	0	no
6	22	yes	11.1081	4.6	11	0	1	no
7	25	yes	10.484	5.4	8	0	0	no
8	26	yes	10.6012	4.7	8	0	0	no
9	29	yes	10.8411	4.9	12	0	0	no
10	39	yes	11.1566	3.6	13	0	2	no
11	41	yes	11.1063	4.1	12	0	2	no
12	50	yes	10.6446	4.2	10	0	2	no
13	52	yes	10.467	3.2	8	0	1	no
14	53	yes	10.4782	3.4	9	0	2	no
15	54	yes	10.4355	4.4	9	0	1	no
16	55	yes	10.4273	5.8	12	0	0	no
17	56	yes	10.4718	4.4	9	0	2	no
18	64	yes	11.4112	4.0	13	0	2	no
19	66	yes	10.4933	3.5	4	0	2	no
20	67	yes	10.7186	3.1	10	1	1	no
21	69	yes	10.8147	5.5	10	0	1	no
22	72	yes	10.4729	3.5	9	0	2	no
23	76	yes	10.5176	5.6	9	0	0	no
24	78	yes	10.9099	4.3	8	0	0	no
25	79	yes	10.3636	2.4	12	0	0	no
26	80	yes	9.64615	5.4	8	0	0	no
27	82	yes	10.2798	5.2	7	0	2	no
28	85	yes	10.5409	3.4	10	0	0	no
29	90	yes	11.2358	4.9	12	0	2	no
30	100	yes	10.3482	4.8	8	0	0	no
⋮	⋮	⋮	⋮	⋮	⋮	⋮	⋮	⋮

@time filter(row->row.noc > 3,df)

  0.139630 seconds (322.82 k allocations: 17.273 MiB, 99.46% compilation time)

18 rows × 8 columns

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign
	Int64	String	Float64	Float64	Int64	Int64	Int64	String
1	75	no	10.619	4.4	17	0	4	no
2	81	no	10.1571	3.4	8	0	4	no
3	89	no	11.3389	4.4	13	0	4	no
4	96	no	11.0525	4.8	8	0	5	no
5	130	yes	10.9257	4.7	8	0	4	no
6	164	yes	11.2162	4.0	13	0	4	no
7	178	no	10.933	3.5	8	0	4	no
8	187	no	10.92	3.9	8	0	5	no
9	223	yes	10.7009	4.0	9	0	4	no
10	231	yes	10.8006	4.5	8	0	6	no
11	338	yes	10.7199	4.5	3	0	4	no
12	388	yes	10.9599	4.5	11	0	4	no
13	394	yes	10.6186	3.6	10	0	4	no
14	436	yes	10.2456	4.0	9	0	6	no
15	484	no	11.1215	4.0	11	0	4	no
16	624	no	12.3757	3.9	12	0	4	no
17	655	no	10.7595	3.7	12	0	4	no
18	724	yes	10.4728	3.8	9	0	4	yes

@time filter(:noc=> >(3),df)

  0.000078 seconds (38 allocations: 5.016 KiB)

18 rows × 8 columns

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign
	Int64	String	Float64	Float64	Int64	Int64	Int64	String
1	75	no	10.619	4.4	17	0	4	no
2	81	no	10.1571	3.4	8	0	4	no
3	89	no	11.3389	4.4	13	0	4	no
4	96	no	11.0525	4.8	8	0	5	no
5	130	yes	10.9257	4.7	8	0	4	no
6	164	yes	11.2162	4.0	13	0	4	no
7	178	no	10.933	3.5	8	0	4	no
8	187	no	10.92	3.9	8	0	5	no
9	223	yes	10.7009	4.0	9	0	4	no
10	231	yes	10.8006	4.5	8	0	6	no
11	338	yes	10.7199	4.5	3	0	4	no
12	388	yes	10.9599	4.5	11	0	4	no
13	394	yes	10.6186	3.6	10	0	4	no
14	436	yes	10.2456	4.0	9	0	6	no
15	484	no	11.1215	4.0	11	0	4	no
16	624	no	12.3757	3.9	12	0	4	no
17	655	no	10.7595	3.7	12	0	4	no
18	724	yes	10.4728	3.8	9	0	4	yes

subset(df,:age => x-> x .> 6.0)

11 rows × 8 columns

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign
	Int64	String	Float64	Float64	Int64	Int64	Int64	String
1	63	no	12.0191	6.1	13	0	0	no
2	68	no	11.3369	6.1	12	0	0	no
3	98	no	10.3385	6.2	7	0	0	no
4	185	no	10.6599	6.1	9	0	0	no
5	349	no	9.99962	6.1	11	0	0	no
6	378	no	10.6445	6.1	8	0	0	no
7	416	yes	10.8196	6.1	4	0	0	no
8	431	no	9.74372	6.1	4	0	0	no
9	568	no	10.0098	6.2	11	0	0	no
10	610	no	10.9624	6.1	5	0	0	no
11	614	no	9.85599	6.2	11	0	0	no

Select Variables (Columns)

• 정규식을 사용하여 컬럼 필터링
  • 아래 예는 첫번째 글자가 n인 컬럼을 선택한다

first(select(df,r"^n"),2)

2 rows × 2 columns

	nyc	noc
	Int64	Int64
1	1	1
2	0	1

• nyc, noc 컬럼이 아닌 컬럼을 선택한다.

first(select(df,Not([:nyc,:noc])))

DataFrameRow (6 columns)

	Column1	lfp	lnnlinc	age	educ	foreign
	Int64	String	Float64	Float64	Int64	String
1	1	no	10.7875	3.0	8	no

• df를 df1으로 복사

df1 = df[:,:]

872 rows × 8 columns

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign
	Int64	String	Float64	Float64	Int64	Int64	Int64	String
1	1	no	10.7875	3.0	8	1	1	no
2	2	yes	10.5243	4.5	8	0	1	no
3	3	no	10.9686	4.6	9	0	0	no
4	4	no	11.105	3.1	11	2	0	no
5	5	no	11.1085	4.4	12	0	2	no
6	6	yes	11.0283	4.2	12	0	1	no
7	7	no	11.4547	5.1	8	0	0	no
8	8	yes	10.4909	3.2	8	0	2	no
9	9	no	10.6247	3.9	12	0	0	no
10	10	no	10.4864	4.3	11	0	2	no
11	11	no	10.6606	4.5	11	0	2	no
12	12	no	10.4676	6.0	12	0	0	no
13	13	no	11.2296	3.3	11	2	0	no
14	14	no	11.9065	5.6	14	0	0	no
15	15	no	11.5016	5.6	11	0	0	no
16	16	no	11.2935	4.7	11	0	1	no
17	17	no	10.8613	5.0	8	0	0	no
18	18	yes	11.844	3.9	12	0	0	no
19	19	no	11.0486	4.7	8	0	1	no
20	20	yes	10.9578	5.3	11	0	0	no
21	21	no	10.8601	2.9	19	0	0	no
22	22	yes	11.1081	4.6	11	0	1	no
23	23	no	10.8486	4.4	8	0	2	no
24	24	no	10.4824	2.0	12	1	0	no
25	25	yes	10.484	5.4	8	0	0	no
26	26	yes	10.6012	4.7	8	0	0	no
27	27	no	10.5406	2.8	9	2	0	no
28	28	no	11.2243	4.7	8	0	1	no
29	29	yes	10.8411	4.9	12	0	0	no
30	30	no	10.5663	3.0	11	0	1	no
⋮	⋮	⋮	⋮	⋮	⋮	⋮	⋮	⋮

df1.lfp[1]="yes"

"yes"

• df1의 lft컬럼 주소를 df2에 복사 (뷰 관점)
  • !를 사용함

df2 = df1[!,[:lfp]]

872 rows × 1 columns

	lfp
	String
1	yes
2	yes
3	no
4	no
5	no
6	yes
7	no
8	yes
9	no
10	no
11	no
12	no
13	no
14	no
15	no
16	no
17	no
18	yes
19	no
20	yes
21	no
22	yes
23	no
24	no
25	yes
26	yes
27	no
28	no
29	yes
30	no
⋮	⋮

• df2의 lfp[1]의 값을 변경하는 경우 df1의 lfp컬럼 주소를 참조 하고 있기 때문에 df1의lfp값이 변경된다.

df2.lfp[1] = "ko"

"ko"

• 위에서 변경한 값을 확인 할 수 있다

first(df1)

DataFrameRow (8 columns)

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign
	Int64	String	Float64	Float64	Int64	Int64	Int64	String
1	1	ko	10.7875	3.0	8	1	1	no

• df의 컬럼명을 가져 온다

View Metadata

names(df)

8-element Vector{String}:
 "Column1"
 "lfp"
 "lnnlinc"
 "age"
 "educ"
 "nyc"
 "noc"
 "foreign"

• df의 row 갯수

nrow(df)

872

• df의 column 갯수

ncol(df)

8

• df의 컬럼명을 symbol로 가져온다

propertynames(df)

8-element Vector{Symbol}:
 :Column1
 :lfp
 :lnnlinc
 :age
 :educ
 :nyc
 :noc
 :foreign

• 컬럼명을 symbol로 변환하여 비교함

Symbol.(names(df)) == propertynames(df)

true

• 지정한 컬럼의 index를 가져온다.

columnindex(df,:nyc),columnindex(df,"nyc")

(6, 6)

Handle Missing Data

• df에서 "missing"을 제외 한다.

df3 = DataFrame(x1=[1,2,3,4],x2=[10,missing,30,40],
                x3=[100,200,missing,400])

4 rows × 3 columns

	x1	x2	x3
	Int64	Int64?	Int64?
1	1	10	100
2	2	missing	200
3	3	30	missing
4	4	40	400

dropmissing(df3)

2 rows × 3 columns

	x1	x2	x3
	Int64	Int64	Int64
1	1	10	100
2	4	40	400

allowmissing(df3)

4 rows × 3 columns

	x1	x2	x3
	Int64?	Int64?	Int64?
1	1	10	100
2	2	missing	200
3	3	30	missing
4	4	40	400

dropmissing!(df3)
df3

2 rows × 3 columns

	x1	x2	x3
	Int64	Int64	Int64
1	1	10	100
2	4	40	400

allowmissing(df3)

2 rows × 3 columns

	x1	x2	x3
	Int64?	Int64?	Int64?
1	1	10	100
2	4	40	400

dropmissing(df)

872 rows × 8 columns

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign
	Int64	String	Float64	Float64	Int64	Int64	Int64	String
1	1	no	10.7875	3.0	8	1	1	no
2	2	yes	10.5243	4.5	8	0	1	no
3	3	no	10.9686	4.6	9	0	0	no
4	4	no	11.105	3.1	11	2	0	no
5	5	no	11.1085	4.4	12	0	2	no
6	6	yes	11.0283	4.2	12	0	1	no
7	7	no	11.4547	5.1	8	0	0	no
8	8	yes	10.4909	3.2	8	0	2	no
9	9	no	10.6247	3.9	12	0	0	no
10	10	no	10.4864	4.3	11	0	2	no
11	11	no	10.6606	4.5	11	0	2	no
12	12	no	10.4676	6.0	12	0	0	no
13	13	no	11.2296	3.3	11	2	0	no
14	14	no	11.9065	5.6	14	0	0	no
15	15	no	11.5016	5.6	11	0	0	no
16	16	no	11.2935	4.7	11	0	1	no
17	17	no	10.8613	5.0	8	0	0	no
18	18	yes	11.844	3.9	12	0	0	no
19	19	no	11.0486	4.7	8	0	1	no
20	20	yes	10.9578	5.3	11	0	0	no
21	21	no	10.8601	2.9	19	0	0	no
22	22	yes	11.1081	4.6	11	0	1	no
23	23	no	10.8486	4.4	8	0	2	no
24	24	no	10.4824	2.0	12	1	0	no
25	25	yes	10.484	5.4	8	0	0	no
26	26	yes	10.6012	4.7	8	0	0	no
27	27	no	10.5406	2.8	9	2	0	no
28	28	no	11.2243	4.7	8	0	1	no
29	29	yes	10.8411	4.9	12	0	0	no
30	30	no	10.5663	3.0	11	0	1	no
⋮	⋮	⋮	⋮	⋮	⋮	⋮	⋮	⋮

allowmissing(df)

872 rows × 8 columns

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign
	Int64?	String?	Float64?	Float64?	Int64?	Int64?	Int64?	String?
1	1	no	10.7875	3.0	8	1	1	no
2	2	yes	10.5243	4.5	8	0	1	no
3	3	no	10.9686	4.6	9	0	0	no
4	4	no	11.105	3.1	11	2	0	no
5	5	no	11.1085	4.4	12	0	2	no
6	6	yes	11.0283	4.2	12	0	1	no
7	7	no	11.4547	5.1	8	0	0	no
8	8	yes	10.4909	3.2	8	0	2	no
9	9	no	10.6247	3.9	12	0	0	no
10	10	no	10.4864	4.3	11	0	2	no
11	11	no	10.6606	4.5	11	0	2	no
12	12	no	10.4676	6.0	12	0	0	no
13	13	no	11.2296	3.3	11	2	0	no
14	14	no	11.9065	5.6	14	0	0	no
15	15	no	11.5016	5.6	11	0	0	no
16	16	no	11.2935	4.7	11	0	1	no
17	17	no	10.8613	5.0	8	0	0	no
18	18	yes	11.844	3.9	12	0	0	no
19	19	no	11.0486	4.7	8	0	1	no
20	20	yes	10.9578	5.3	11	0	0	no
21	21	no	10.8601	2.9	19	0	0	no
22	22	yes	11.1081	4.6	11	0	1	no
23	23	no	10.8486	4.4	8	0	2	no
24	24	no	10.4824	2.0	12	1	0	no
25	25	yes	10.484	5.4	8	0	0	no
26	26	yes	10.6012	4.7	8	0	0	no
27	27	no	10.5406	2.8	9	2	0	no
28	28	no	11.2243	4.7	8	0	1	no
29	29	yes	10.8411	4.9	12	0	0	no
30	30	no	10.5663	3.0	11	0	1	no
⋮	⋮	⋮	⋮	⋮	⋮	⋮	⋮	⋮

row의 모든 column에 missing이 없는 경우만 1, 아니면 0을 돌려 준다.

completecases(df)

872-element BitVector:
 1
 1
 1
 1
 1
 1
 1
 1
 1
 1
 1
 1
 1
 ⋮
 1
 1
 1
 1
 1
 1
 1
 1
 1
 1
 1
 1

Cumulative and Moving Stats

Cumulative Stats

• nyc 컬럼의 누적 합계를 돌려 준다.

select(df,:nyc=>cumsum)

872 rows × 1 columns

	nyc_cumsum
	Int64
1	1
2	1
3	1
4	3
5	3
6	3
7	3
8	3
9	3
10	3
11	3
12	3
13	5
14	5
15	5
16	5
17	5
18	5
19	5
20	5
21	5
22	5
23	5
24	6
25	6
26	6
27	8
28	8
29	8
30	8
⋮	⋮

• df의 nyc 컬럼의 누적 곱하기를 돌려 준다

select(df,:nyc=>cumprod)

872 rows × 1 columns

	nyc_cumprod
	Int64
1	1
2	0
3	0
4	0
5	0
6	0
7	0
8	0
9	0
10	0
11	0
12	0
13	0
14	0
15	0
16	0
17	0
18	0
19	0
20	0
21	0
22	0
23	0
24	0
25	0
26	0
27	0
28	0
29	0
30	0
⋮	⋮

• age컬럼의 누적 min값을 돌려 준다

select(df,:age=>(v->accumulate(min,v)))

872 rows × 1 columns

	age_function
	Float64
1	3.0
2	3.0
3	3.0
4	3.0
5	3.0
6	3.0
7	3.0
8	3.0
9	3.0
10	3.0
11	3.0
12	3.0
13	3.0
14	3.0
15	3.0
16	3.0
17	3.0
18	3.0
19	3.0
20	3.0
21	2.9
22	2.9
23	2.9
24	2.0
25	2.0
26	2.0
27	2.0
28	2.0
29	2.0
30	2.0
⋮	⋮

• age컬럼의 누적 max값을 돌려 준다

select(df,:age=>(v->accumulate(max,v)))

872 rows × 1 columns

	age_function
	Float64
1	3.0
2	4.5
3	4.6
4	4.6
5	4.6
6	4.6
7	5.1
8	5.1
9	5.1
10	5.1
11	5.1
12	6.0
13	6.0
14	6.0
15	6.0
16	6.0
17	6.0
18	6.0
19	6.0
20	6.0
21	6.0
22	6.0
23	6.0
24	6.0
25	6.0
26	6.0
27	6.0
28	6.0
29	6.0
30	6.0
⋮	⋮

• 누적합계에 대한 평균
  • $\frac{1}{i}\sum_{j=1}^i age_j $

select(df,:age=>v->cumsum(v) ./(1:length(v)))

872 rows × 1 columns

	age_function
	Float64
1	3.0
2	3.75
3	4.03333
4	3.8
5	3.92
6	3.96667
7	4.12857
8	4.0125
9	4.0
10	4.03
11	4.07273
12	4.23333
13	4.16154
14	4.26429
15	4.35333
16	4.375
17	4.41176
18	4.38333
19	4.4
20	4.445
21	4.37143
22	4.38182
23	4.38261
24	4.28333
25	4.328
26	4.34231
27	4.28519
28	4.3
29	4.32069
30	4.27667
⋮	⋮

Moving Stats(a.k.a Rolling Stats)

• 5 이동평균
  • 5 미만의 데이터는 누적합계의 평균과 동일하게 구하고
  • 5개 이상의 데이터 부터는 현재 데이터 포함 이전 5개의 데이터 대한 이동 평균을 구함

select(df,:age=>(v->runmean(v,5)))

872 rows × 1 columns

	age_function
	Float64
1	3.0
2	3.75
3	4.03333
4	3.8
5	3.92
6	4.16
7	4.28
8	4.0
9	4.16
10	4.14
11	4.2
12	4.38
13	4.4
14	4.74
15	5.0
16	5.04
17	4.84
18	4.96
19	4.78
20	4.72
21	4.36
22	4.28
23	4.38
24	3.84
25	3.86
26	4.22
27	3.86
28	3.92
29	4.5
30	4.02
⋮	⋮

• 이동 평균과 동일한 개념으로 현재 데이터 포함 5개의 데이터에 대한 최소값을 구함

select(df,:age=>(v->runmin(v,5)))

872 rows × 1 columns

	age_function
	Float64
1	3.0
2	3.0
3	3.0
4	3.0
5	3.0
6	3.1
7	3.1
8	3.1
9	3.2
10	3.2
11	3.2
12	3.2
13	3.3
14	3.3
15	3.3
16	3.3
17	3.3
18	3.9
19	3.9
20	3.9
21	2.9
22	2.9
23	2.9
24	2.0
25	2.0
26	2.0
27	2.0
28	2.0
29	2.8
30	2.8
⋮	⋮

Ranking and Lead/Lag Functions

• *rank functions come from StatsBase.jl package
• lead and lag functions come from ShifftedArrays.jl package

using StatsBase

using ShiftedArrays

tmp01 =[30,4,4,2,4,2,11]

7-element Vector{Int64}:
 30
  4
  4
  2
  4
  2
 11

• Rank

각 원소의 오름차순 정렬된 index를 돌려 준다

tmp01 |> ordinalrank

7-element Vector{Int64}:
 7
 3
 4
 1
 5
 2
 6

tmp01 |> competerank

7-element Vector{Int64}:
 7
 3
 3
 1
 3
 1
 6

결번이 없는 순차 index - 단 동일값에 대해서 동일 index를 부여

tmp01 |> denserank

7-element Vector{Int64}:
 4
 2
 2
 1
 2
 1
 3

# ordinal 순위에서 4의 순위가 3,4,5 이고 평균값이 4.0, 
# 1의 순위가 1,2 이고 평균값이 1.5
# 순위 index의 평균값을 돌려 준다
tmp01 |> tiedrank

7-element Vector{Float64}:
 7.0
 4.0
 4.0
 1.5
 4.0
 1.5
 6.0

df_m = DataFrame([tmp01],[:x])

7 rows × 1 columns

	x
	Int64
1	30
2	4
3	4
4	2
5	4
6	2
7	11

select(df_m,:x=>tiedrank)

7 rows × 1 columns

	x_tiedrank
	Float64
1	7.0
2	4.0
3	4.0
4	1.5
5	4.0
6	1.5
7	6.0

• lead, lag

tmp01을 위로 1칸 shift한다. 아래 빈곳은 missing으로 채운다.

tmp01 |> lead

7-element ShiftedVector{Int64, Missing, Vector{Int64}}:
  4
  4
  2
  4
  2
 11
   missing

tmp01을 위로 2칸 shift한다. 아래 빈곳은 missing으로 채운다.

tmp01 |> x->lead(x,2)

7-element ShiftedVector{Int64, Missing, Vector{Int64}}:
  4
  2
  4
  2
 11
   missing
   missing

tmp01을 아래로 1칸 shift한다. 위의 빈곳은 missing으로 채운다.

tmp01 |> lag

7-element ShiftedVector{Int64, Missing, Vector{Int64}}:
   missing
 30
  4
  4
  2
  4
  2

tmp01을 아래로 2칸 shift한다. 위의 빈곳은 missing으로 채운다.

tmp01 |> x->lag(x,2)

7-element ShiftedVector{Int64, Missing, Vector{Int64}}:
   missing
   missing
 30
  4
  4
  2
  4

select(df_m,:x=>lag)

7 rows × 1 columns

	x_lag
	Int64?
1	missing
2	30
3	4
4	4
5	2
6	4
7	2

Build Data Pipeline

• @chain과 @pipe는 동일하게 동작하나 @chain을 사용하는 것이 좋음
• @chain 또는 @pipe 안에 처리되는 DataFrame을 순차적으로 처리한 결과를 다음으로 넘겨 준다
• _ 는 바로 위에서 받은 DataFrame을 나타냄
• 아래 예는 순차적으로 lfp가 yes인것만 필터링한 결과를 groupby로 foreign에 대해서 그룹으로 묶은 결과를 다음으로 넘겨 주고 combine을 사용해서 educ의 평균을 구한 결과를 최종적으로 돌려 준다.

using Chain

@chain df begin
  filter(:lfp => ==("yes"),_)
  groupby(:foreign)
  combine(:educ=>mean)
end

2 rows × 2 columns

	foreign	educ_mean
	String	Float64
1	no	10.1969
2	yes	6.85034

import Pipe

Pipe.@pipe df |>
  filter(:lfp => ==("yes"),_) |>
  groupby(_,:foreign) |>
  combine(_,:educ=>mean)

2 rows × 2 columns

	foreign	educ_mean
	String	Float64
1	no	10.1969
2	yes	6.85034

Summarize Data

Aggregating variables

combine(df,:lnnlinc=>sum)

1 rows × 1 columns

	lnnlinc_sum
	Float64
1	9317.81

combine(df,:lnnlinc=>sum=>:lnnlinc)

1 rows × 1 columns

	lnnlinc
	Float64
1	9317.81

combine(df,:age=>(x->mean(skipmissing(x)))=>:mean_age)

1 rows × 1 columns

	mean_age
	Float64
1	3.99553

# 최대값을 구할 컬럼을 입력한다
# :age중의 최대값, :lnnlinc중의 최대값을 구함
combine(df,[:age,:lnnlinc].=>maximum)

1 rows × 2 columns

	age_maximum	lnnlinc_maximum
	Float64	Float64
1	6.2	12.3757

# age가 6.2인 사람들의 정보
filter(:age=> ==(6.2),df)

3 rows × 8 columns

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign
	Int64	String	Float64	Float64	Int64	Int64	Int64	String
1	98	no	10.3385	6.2	7	0	0	no
2	568	no	10.0098	6.2	11	0	0	no
3	614	no	9.85599	6.2	11	0	0	no

# lnnlinc가 최대인 사람들의 정보
filter(:lnnlinc=> >=(12.375),df)

1 rows × 8 columns

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign
	Int64	String	Float64	Float64	Int64	Int64	Int64	String
1	624	no	12.3757	3.9	12	0	4	no

Adding variables with aggregation results

• transform이 combine과 다른점은 df에 function을 적용한 새로운 컬럼을 추가 하는 것

first(
  transform(df,:lnnlinc=>mean=>:average_lnnlinc),
  5)

5 rows × 9 columns

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign	average_lnnlinc
	Int64	String	Float64	Float64	Int64	Int64	Int64	String	Float64
1	1	no	10.7875	3.0	8	1	1	no	10.6856
2	2	yes	10.5243	4.5	8	0	1	no	10.6856
3	3	no	10.9686	4.6	9	0	0	no	10.6856
4	4	no	11.105	3.1	11	2	0	no	10.6856
5	5	no	11.1085	4.4	12	0	2	no	10.6856

# lnnlinc에 대해 5개의 이동평균을 구하고 moving_average_lnnlinc 컬럼에 추가하여
# 전체를 돌려준다
# 10 ~ 20번째 행을 보여줌
transform(df,:lnnlinc=>(x->runmean(x,5))=>:moving_average_lnnlinc)[10:15,:]

6 rows × 9 columns

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign	moving_average_lnnlinc
	Int64	String	Float64	Float64	Int64	Int64	Int64	String	Float64
1	10	no	10.4864	4.3	11	0	2	no	10.817
2	11	no	10.6606	4.5	11	0	2	no	10.7435
3	12	no	10.4676	6.0	12	0	0	no	10.5461
4	13	no	11.2296	3.3	11	2	0	no	10.6938
5	14	no	11.9065	5.6	14	0	0	no	10.9501
6	15	no	11.5016	5.6	11	0	0	no	11.1532

# 선택한 항목에 대해서 처리 하고 결과를 돌려 준다.
# 선택한 항목과 특정항목 예를들어 lnnlinc에 대해 5개의 이동평균을 구하고 
# moving_average_lnnlinc 컬럼에 추가하여 돌려준다
select(df,:lfp,:lnnlinc,:lnnlinc => (x->runmean(x,5))=> :moving_average_lnnlinc )[10:15,:]

6 rows × 3 columns

	lfp	lnnlinc	moving_average_lnnlinc
	String	Float64	Float64
1	no	10.4864	10.817
2	no	10.6606	10.7435
3	no	10.4676	10.5461
4	no	11.2296	10.6938
5	no	11.9065	10.9501
6	no	11.5016	11.1532

Adding variables by row

# row별로 원하는 컬럼에 대해 function을 적용한 결과를 새로운 컬럼에 추가 하여
# 전체를 돌려 준다.
transform(df,[:nyc,:noc]=>ByRow(+)=>:nc)[1:5,:]

5 rows × 9 columns

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign	nc
	Int64	String	Float64	Float64	Int64	Int64	Int64	String	Int64
1	1	no	10.7875	3.0	8	1	1	no	2
2	2	yes	10.5243	4.5	8	0	1	no	1
3	3	no	10.9686	4.6	9	0	0	no	0
4	4	no	11.105	3.1	11	2	0	no	2
5	5	no	11.1085	4.4	12	0	2	no	2

select(df,:lfp,:age,[:nyc,:noc]=>ByRow(+)=>:nc)[1:5,:]

5 rows × 3 columns

	lfp	age	nc
	String	Float64	Int64
1	no	3.0	2
2	yes	4.5	1
3	no	4.6	0
4	no	3.1	2
5	no	4.4	2

transform(df,:age=>ByRow(x->split(string(x),"."))=>[:f,:s])[1:5,:]

5 rows × 10 columns

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign	f	s
	Int64	String	Float64	Float64	Int64	Int64	Int64	String	SubStri…	SubStri…
1	1	no	10.7875	3.0	8	1	1	no	3	0
2	2	yes	10.5243	4.5	8	0	1	no	4	5
3	3	no	10.9686	4.6	9	0	0	no	4	6
4	4	no	11.105	3.1	11	2	0	no	3	1
5	5	no	11.1085	4.4	12	0	2	no	4	4

Group Data Sets

gdf1 = groupby(df,:educ)

GroupedDataFrame with 20 groups based on key: educ

First Group (1 row): educ = 1

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign
	Int64	String	Float64	Float64	Int64	Int64	Int64	String
1	763	yes	9.43971	2.9	1	2	0	yes

⋮

Last Group (1 row): educ = 21

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign
	Int64	String	Float64	Float64	Int64	Int64	Int64	String
1	218	no	10.9759	3.0	21	2	0	no

keys(gdf1)

20-element DataFrames.GroupKeys{GroupedDataFrame{DataFrame}}:
 GroupKey: (educ = 1,)
 GroupKey: (educ = 2,)
 GroupKey: (educ = 3,)
 GroupKey: (educ = 4,)
 GroupKey: (educ = 5,)
 GroupKey: (educ = 6,)
 GroupKey: (educ = 7,)
 GroupKey: (educ = 8,)
 GroupKey: (educ = 9,)
 GroupKey: (educ = 10,)
 GroupKey: (educ = 11,)
 GroupKey: (educ = 12,)
 GroupKey: (educ = 13,)
 GroupKey: (educ = 14,)
 GroupKey: (educ = 15,)
 GroupKey: (educ = 16,)
 GroupKey: (educ = 17,)
 GroupKey: (educ = 18,)
 GroupKey: (educ = 19,)
 GroupKey: (educ = 21,)

# tuple을 사용하여 key값으로 검색한다.
# 위 예제는 컬럼하나에 대해서 그룹을 했기 때문에 key의 차원은 1
# key값이 2번을 선택
gdf1[(2,)]

6 rows × 8 columns

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign
	Int64	String	Float64	Float64	Int64	Int64	Int64	String
1	219	no	10.3686	2.4	2	0	0	no
2	711	no	10.7054	3.9	2	1	0	yes
3	751	yes	10.531	4.1	2	0	2	yes
4	780	yes	10.6103	4.3	2	0	2	yes
5	833	no	10.4836	4.4	2	0	1	yes
6	852	yes	10.4837	3.3	2	1	3	yes

gdf2 = groupby(df,[:lfp,:educ])

GroupedDataFrame with 36 groups based on keys: lfp, educ

First Group (1 row): lfp = "yes", educ = 1

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign
	Int64	String	Float64	Float64	Int64	Int64	Int64	String
1	763	yes	9.43971	2.9	1	2	0	yes

⋮

Last Group (1 row): lfp = "no", educ = 21

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign
	Int64	String	Float64	Float64	Int64	Int64	Int64	String
1	218	no	10.9759	3.0	21	2	0	no

keys(gdf2)

36-element DataFrames.GroupKeys{GroupedDataFrame{DataFrame}}:
 GroupKey: (lfp = "yes", educ = 1)
 GroupKey: (lfp = "yes", educ = 2)
 GroupKey: (lfp = "yes", educ = 3)
 GroupKey: (lfp = "yes", educ = 4)
 GroupKey: (lfp = "yes", educ = 5)
 GroupKey: (lfp = "yes", educ = 6)
 GroupKey: (lfp = "yes", educ = 7)
 GroupKey: (lfp = "yes", educ = 8)
 GroupKey: (lfp = "yes", educ = 9)
 GroupKey: (lfp = "yes", educ = 10)
 GroupKey: (lfp = "yes", educ = 11)
 GroupKey: (lfp = "yes", educ = 12)
 GroupKey: (lfp = "yes", educ = 13)
 ⋮
 GroupKey: (lfp = "no", educ = 8)
 GroupKey: (lfp = "no", educ = 9)
 GroupKey: (lfp = "no", educ = 10)
 GroupKey: (lfp = "no", educ = 11)
 GroupKey: (lfp = "no", educ = 12)
 GroupKey: (lfp = "no", educ = 13)
 GroupKey: (lfp = "no", educ = 14)
 GroupKey: (lfp = "no", educ = 15)
 GroupKey: (lfp = "no", educ = 16)
 GroupKey: (lfp = "no", educ = 17)
 GroupKey: (lfp = "no", educ = 19)
 GroupKey: (lfp = "no", educ = 21)

# tuple을 사용하여 key값으로 검색한다.
# 위 예제는 컬럼 두개에 대해서 그룹을 했기 때문에 key의 차원은 2
# key값이 yes, 2 인 그룹을 선택
gdf2[("yes",2)]

3 rows × 8 columns

	Column1	lfp	lnnlinc	age	educ	nyc	noc	foreign
	Int64	String	Float64	Float64	Int64	Int64	Int64	String
1	751	yes	10.531	4.1	2	0	2	yes
2	780	yes	10.6103	4.3	2	0	2	yes
3	852	yes	10.4837	3.3	2	1	3	yes

# 각 그룹에 대해 combine 수행
combine(gdf1,:age=>mean=>:average_age)

20 rows × 2 columns

	educ	average_age
	Int64	Float64
1	1	2.9
2	2	3.73333
3	3	4.32727
4	4	4.426
5	5	4.19552
6	6	3.74286
7	7	4.11935
8	8	4.23121
9	9	4.02193
10	10	3.83
11	11	3.821
12	12	3.84758
13	13	3.69535
14	14	3.76
15	15	4.00667
16	16	3.57
17	17	3.66667
18	18	5.1
19	19	4.0
20	21	3.0

# 위와 같은 결과
combine(gdf1) do sdf
  DataFrame(average_age=mean(sdf.age))
end

20 rows × 2 columns

	educ	average_age
	Int64	Float64
1	1	2.9
2	2	3.73333
3	3	4.32727
4	4	4.426
5	5	4.19552
6	6	3.74286
7	7	4.11935
8	8	4.23121
9	9	4.02193
10	10	3.83
11	11	3.821
12	12	3.84758
13	13	3.69535
14	14	3.76
15	15	4.00667
16	16	3.57
17	17	3.66667
18	18	5.1
19	19	4.0
20	21	3.0

combine(gdf1,AsTable(:)=>(x->mean(x.age))=>:average_age)

20 rows × 2 columns

	educ	average_age
	Int64	Float64
1	1	2.9
2	2	3.73333
3	3	4.32727
4	4	4.426
5	5	4.19552
6	6	3.74286
7	7	4.11935
8	8	4.23121
9	9	4.02193
10	10	3.83
11	11	3.821
12	12	3.84758
13	13	3.69535
14	14	3.76
15	15	4.00667
16	16	3.57
17	17	3.66667
18	18	5.1
19	19	4.0
20	21	3.0

# 각 그룹에 대해 combine 수행
combine(gdf2,:age=>mean=>:average_age)

36 rows × 3 columns

	lfp	educ	average_age
	String	Int64	Float64
1	yes	1	2.9
2	yes	2	3.9
3	yes	3	4.47778
4	yes	4	4.16897
5	yes	5	3.8725
6	yes	6	3.53636
7	yes	7	4.04375
8	yes	8	4.11194
9	yes	9	3.94909
10	yes	10	3.73714
11	yes	11	3.70789
12	yes	12	3.93778
13	yes	13	3.44
14	yes	14	3.38182
15	yes	15	3.9125
16	yes	16	3.53333
17	yes	17	3.2
18	yes	18	5.1
19	no	2	3.56667
20	no	3	3.65
21	no	4	4.78095
22	no	5	4.67407
23	no	6	3.97
24	no	7	4.2
25	no	8	4.32
26	no	9	4.08983
27	no	10	3.88909
28	no	11	3.89032
29	no	12	3.7962
30	no	13	4.05
⋮	⋮	⋮	⋮

Combine Data Sets

df1 = DataFrame(id1=[1,2,3],x=[4,5,6],y=[7,8,9])

3 rows × 3 columns

	id1	x	y
	Int64	Int64	Int64
1	1	4	7
2	2	5	8
3	3	6	9

df2 = DataFrame(id2=[1,2,4,5],z=[10,11,12,13])

4 rows × 2 columns

	id2	z
	Int64	Int64
1	1	10
2	2	11
3	4	12
4	5	13

innerjoin(df1,df2,on=[:id1=>:id2])

2 rows × 4 columns

	id1	x	y	z
	Int64	Int64	Int64	Int64
1	1	4	7	10
2	2	5	8	11

leftjoin(df1,df2,on=[:id1=>:id2])

3 rows × 4 columns

	id1	x	y	z
	Int64	Int64	Int64	Int64?
1	1	4	7	10
2	2	5	8	11
3	3	6	9	missing

rightjoin(df1,df2,on=[:id1=>:id2])

4 rows × 4 columns

	id1	x	y	z
	Int64	Int64?	Int64?	Int64
1	1	4	7	10
2	2	5	8	11
3	4	missing	missing	12
4	5	missing	missing	13

outerjoin(df1,df2,on=[:id1=>:id2])

5 rows × 4 columns

	id1	x	y	z
	Int64	Int64?	Int64?	Int64?
1	1	4	7	10
2	2	5	8	11
3	3	6	9	missing
4	4	missing	missing	12
5	5	missing	missing	13

# df2의 id와 동일한 id를 가진 df1의 데이터를 돌려 준다
semijoin(df1,df2,on=[:id1=>:id2])

2 rows × 3 columns

	id1	x	y
	Int64	Int64	Int64
1	1	4	7
2	2	5	8

# df1의id와 df2의id를 비교하여 df2에 없는 df1의 
# id에 해당 하는 데이터를 돌려 준다
antijoin(df1,df2,on=[:id1=>:id2])

1 rows × 3 columns

	id1	x	y
	Int64	Int64	Int64
1	3	6	9

• vcat

df1 = DataFrame(id=[1,2],x=[4,5],y=[7,8])

2 rows × 3 columns

	id	x	y
	Int64	Int64	Int64
1	1	4	7
2	2	5	8

df2 = DataFrame(id=[3,4],x=[10,11],y=[12,13])

2 rows × 3 columns

	id	x	y
	Int64	Int64	Int64
1	3	10	12
2	4	11	13

vcat(df1,df2)

4 rows × 3 columns

	id	x	y
	Int64	Int64	Int64
1	1	4	7
2	2	5	8
3	3	10	12
4	4	11	13

• hcat

df1 = DataFrame(id=[1,2],x=[4,5])

2 rows × 2 columns

	id	x
	Int64	Int64
1	1	4
2	2	5

df2 = DataFrame(y=[7,8])

2 rows × 1 columns

	y
	Int64
1	7
2	8

hcat(df1,df2)

2 rows × 3 columns

	id	x	y
	Int64	Int64	Int64
1	1	4	7
2	2	5	8