중복 duplicated, rleid

Published onesixx on 19-10-3019-10-30

duplicated(), Unique()

data(iris)
dd <- data.table(iris)

dd %>% distinct()
dd[ , unique(.SD)]

## 행의 모든 컬럼이 (다른 행과) 중복값을 가지는 경우
duplicated(dd) %>% sum()       # 1개
duplicated(dd) %>% which()     # 143번째  (102번째값과 모든 컬럼이 일치)

result1 <- unique(dd)          # 143번째 삭제 
# dim(d0)                 #[1] 149   5

항상 가장 위에 있는 것만 남김.
따라서, 잘 정렬후 중복을 삭제할 필요가 있음.

## 특정 컬럼이 중복값을 가지는 경우
# Species 컬럼의 중복 행수 확인
duplicated(dd$Species) %>% sum()       # 147개
duplicated(dd$Species) %>% which()     # (1, 51, 101번째값 제외)

result2 <- dd[!duplicated(iris$Species), ]
#    Sepal.Length Sepal.Width Petal.Length Petal.Width    Species
#1            5.1         3.5          1.4         0.2     setosa
#51           7.0         3.2          4.7         1.4 versicolor
#101          6.3         3.3          6.0         2.5  virginica

result3 <- dd1[!duplicated(dd1$Species), ]
#   Sepal.Length Sepal.Width Petal.Length Petal.Width    Species
#1           7.9         3.8          6.4         2.0  virginica
#13          7.0         3.2          4.7         1.4 versicolor
#71          5.8         4.0          1.2         0.2     setosa

duplicated() 한계

unique()나 duplicated()는 중복을 제거하는데 유용하지만,
연속된(consecutive) 중복값을 제거하는데 사용할 수 없다.

a <- c(1,1,1,2,2,3,4,4,4,4,5,5,5,5,1,1,1,2,2,3)
a[!duplicated(a)]
# [1] 1 2 3 4 5
원하는 값은
# [1] 1 2 3 4 5 1 2 3  또는  [1] 1 1 2 2 3 4 4 5 5 1 1 2 2 3

순서가 있는 경우는 duplicated()도 유용하게 사용된다.

a <- c(1,1,1,2,2,3,4,4,4,4,5,5,5,5)
       F T T F T F F T T T F T T T  # 앞을 기준으로 중복 
       T T F T F F T T T F T T T F  # 뒤를 기준으로 중복 
       F T F F F F F T T F F T T F  # 중복 시작 끝만 F
       T F T T T T T F F T T F F T  # 중복 시작 끝만 T

duplicated(a)
duplicated(a, fromLast=T)
  duplicated(a) & duplicated(a, fromLast=T)
!(duplicated(a) & duplicated(a, fromLast=T))

DT <- fread("
  A   B   C 
  1   a   1 
  2   a   1 
  3   a   1
  4   a   2
  5   a   3
  6   a   3 
  7   a   1   
  8   a   2   
  9   a   2
 10   a   2
")

DT <- read.table(header=T, stringsAsFactors=F, text="
  A   B   C 
  1   a   1 
  2   a   1 
  3   a   1
  4   a   2
  5   a   3
  6   a   3 
  7   a   1   
  8   a   2   
  9   a   2
 10   a   2
") %>% data.table()

# 원하는 결과가 아님
DT[!duplicated(DT[,c('C')]),]   # 변수명으로 제거
DT[!duplicated(DT[,c(3)]),]     # 인덱스로 제거
#    A B C
# 1: 1 a 1
# 2: 4 a 2
# 3: 5 a 3

rleid() :: run length encoding id

run-length 형태의 group id

rle는 (잘 사용되진 않지만) 압축방법중, 같은값이 연속될때 그 반복수와 반복되는 값만으로 표현하는 방법.
– 원래 문자열 : (“a”,”a”,”a”,”c”,”c”,”b”,”b”,”b”,”b”)
– 압축 문자열 : a3c2b4
a가 3개 , c가 2개, b가 4개로 저장
code[] = {a, c, b}, len[]={ 3, 2, 4}

> DT = data.table(grp=c("a","a","a","c","c","b","b","b","b"))
> DT[ , gid:=rleid(grp)]
   grp gid
1:   a   1
2:   a   1
3:   a   1
4:   c   2
5:   c   2
6:   b   3
7:   b   3
8:   b   3
9:   b   3
> rleid(DT$grp)
> rleidv(DT,"grp") # same as above
[1] 1 1 1 2 2 3 3 3 3
> rleid(DT$grp, prefix="grp") # prefix with 'grp'
[1] "grp1" "grp1" "grp1" "grp2" "grp2" "grp3" "grp3" "grp3" "grp3"

> DT = data.table(grp=c("a","a","a","c","c","b","b","b","b"), value=1:9)
> DT[, cumsum(value), by=.(grp, rleid(grp))]
   grp rleid V1
1:   a     1  1
2:   a     1  3
3:   a     1  6
4:   c     2  4
5:   c     2  9
6:   b     3  6
7:   b     3 13
8:   b     3 21
9:   b     3 30
> DT[, sum(value), by=.(grp, rleid(grp))]
   grp rleid V1
1:   a     1  6
2:   c     2  9
3:   b     3 30

rleid() plot에 활용

DT[, rleid(C)]
# [1] 1 1 1 2 3 3 4 5 5 5
> DT[, rleC:=rleid(C)]
> DT
     A B C rleC
 1:  1 a 1    1
 2:  2 a 1    1
 3:  3 a 1    1
 4:  4 a 2    2
 5:  5 a 3    3
 6:  6 a 3    3
 7:  7 a 1    4
 8:  8 a 2    5
 9:  9 a 2    5
10: 10 a 2    5

data.table의 rleid()는 활용해 rle형식의 id를 만들어 주고, 이를 활용해 중복값의 시작id과 마지막id를 찾을 수 있다.

# 중복rleid 첫값
> DT[!(duplicated(rleid(C)))]
   A B C rleC
1: 1 a 1    1
2: 4 a 2    2
3: 5 a 3    3
4: 7 a 1    4
5: 8 a 2    5
# 중복rleid 마지막값
> DT[!(duplicated(rleid(C), fromLast=T))]
    A B C rleC
1:  3 a 1    1
2:  4 a 2    2
3:  6 a 3    3
4:  7 a 1    4
5: 10 a 2    5

그래프를 그리기 위해, 중복 첫값과 마지막 값을 남긴다.

DTdup <- DT[!(duplicated(rleid(C)) & duplicated(rleid(C), fromLast=T)), ]
#     A B C
# 1:  1 a 1
# 2:  3 a 1
# 3:  4 a 2
# 4:  5 a 3
# 5:  6 a 3
# 6:  7 a 1
# 7:  8 a 2

DT    %>% ggplot(aes(x=A, y=C)) + geom_point(size=3) + geom_line()
DTdup %>% ggplot(aes(x=A, y=C)) + geom_point(size=3) + geom_line()

rleid 활용

# using rleid, get max(y) and min of all cols in .SDcols for each consecutive run of 'v'
> DT = data.table(x=rep(c("b","a","c"),each=3), 
                  v=c(1,1,1,2,2,1,1,2,2), 
                  y=c(1,3,6), 
                  a=1:9, 
                  b=9:1)
> DT
   x v y a b
1: b 1 1 1 9
2: b 1 3 2 8
3: b 1 6 3 7
4: a 2 1 4 6
5: a 2 3 5 5
6: a 1 6 6 4
7: c 1 1 7 3
8: c 2 3 8 2
9: c 2 6 9 1

> DT[, c(.(y=max(y)), lapply(.SD, min)), by=rleid(v), .SDcols=v:b]
   rleid y v y a b
1:     1 6 1 1 1 7
2:     2 3 2 1 4 5
3:     3 6 1 1 6 3
4:     4 6 2 3 8 1

 flipTheCoin <- sample(c("H", "T"), 10, replace = TRUE)
 rle(flipTheCoin)

DT <- read.table(header=T, stringsAsFactors=F, text="
  A   B   C 
  1   a   1 
  2   a   1 
  3   a   1
  4   a   2
  5   a   3
  6   a   3 
  7   a   1   
  8   a   2   
  9   a   2
 10   a   2
 11   b   2
 12   b   2 
 13   b   3
 14   b   3
 15   b   3
 16   b   2
 17   b   2
 18   b   2
 19   b   3
") %>% data.table()

DT[, .SD[!(duplicated(rleid(C)) & duplicated(rleid(C), fromLast=T)), ], by=.(B)]

Signal

> DT = data.table(grp=c(NA,0,0,0,1,1,-1,-1,-1,1), value=1:10)
> DT[, cumsum(value), by=.(grp, rleid(grp))]
    grp rleid V1
 1:  NA     1  1
 2:   0     2  2
 3:   0     2  5
 4:   0     2  9
 5:   1     3  5
 6:   1     3 11
 7:  -1     4  7
 8:  -1     4 15
 9:  -1     4 24
10:   1     5 10
> DT[, sum(value), by=.(grp, rleid(grp))]
   grp rleid V1
1:  NA     1  1
2:   0     2  9
3:   1     3 11
4:  -1     4 24
5:   1     5 10

중복 duplicated, rleid

duplicated(), Unique()

duplicated() 한계

rleid() :: run length encoding id

rleid() plot에 활용

rleid 활용

Signal

onesixx

Reshaping

Simple Imputation (simputation)

Reshaping

seq()

Reshaping

group , cycle by rule

중복 duplicated, rleid

duplicated(), Unique()

duplicated() 한계

rleid() :: run length encoding id

rleid() plot에 활용

rleid 활용

Signal

onesixx

Related Posts

Reshaping

Simple Imputation (simputation)

Reshaping

seq()

Reshaping

group , cycle by rule