티스토리

Make precious life

검색하기

블로그 홈

Make precious life

syj9700.tistory.com/m

뚜찌지롱 님의 블로그입니다.

구독자: 30

방명록 방문하기

주요 글 목록

ITT 원칙과 분석군(FAS, PPS, Safety Set) 임상시험을 수행하다 보면 중도탈락, 임상시험계획서를 위반, 금지된 병용약물을 복용한 피험자들이 발생하기 다수이며, 이런 경우 편의(bias)와, 제1종오류가 커지는 문제가 발생하게 된다. 이러한 문제를 다루는 방법 중 하나로 ITT(intenion-to-treat) 원칙이 존재한다. * ITT(Intent-to-treat) 원칙 : 직관적인 해석에 따르면 목적/계획된 대로 원칙(?)이라고 할 수 있다. ITT 원칙은 1) 랜덤 배정된 피험자들이 실제로 피험자들이 투여받은 치료제에 근거하여 두 그룹을 비교하는 것이 아니라, 원래 그 피험자에게 투여하고자 했던, 랜덤 배정된 치료제에 근거하여 두 그룹을 비교하는 방법이며, 2) 모든 피험자들은 임상시험이 종료될 떄까지 추적이되어서 모든 자료를 얻어야하며, 3.. 공감수 1 댓글수 0 2022. 4. 21.
Specificity, Sensitivity, PPV, NPV (+ Recall, Precision) 전 왜 항상 confusion matrix가 익숙하지 않은 걸까요 ? 분명 볼 때마다 이해하고 넘어갔는데 이제는 내 머릿속에 들어올 때도 되지 않았니 ? 이제는 '마지막 리마인드다.. ' 라는 생각으로 포스팅을 써보겠습니다. 포스팅 제목에 써있는 측도들은 주로 분류 모델링에서 성능을 보기 위해 주로 사용됩니다. 아래의 표를 보면 더 각 측도를 구하는 절차를 자세히 알 수 있습니다. 상단의 표(Confusion matrix)에서 열은 실제로 질병이 있는지(양성, +)/없는지(음성, -)를 의미하며, 행은 검사를 수행했을 때 양성(+)/음성(-) 인지를 의미한다. 여기서, 개인적으로 헷갈렸던 점은 하단의 표(Type I error, Type II error)에서는 Positive가 '귀무가설을 기각하는 것'.. 공감수 0 댓글수 0 2022. 3. 2.
Survival Analysis and Censored Data 제대로된 공부 포스팅을 안쓴지 반년 정도된 것 같다. 논문에 취업에 너무 바쁜 나머지... 는 핑계란 것을 알지만 ! 그래도 나름 바쁜 사회 생활을 보냈다. 이제는 조금 짬(?)도 찻겠다 ㅋㅋㅋㅋㅋㅋ 업무에 필요한 개념들과 방법론들을 기록하려고 한다. 난 이제 평생 공부해야 하는 운명이니까 ㅋㅋㅋ Fighting K-직장인들 ㅎ 본 포스팅은 ISLR 2 (개정판 2 나왔어요 여러분)를 기반으로 작성합니다. 참 감사하게도 딱 적절한 시기에 내가 공부하고자 한 이론들이 개정판에 추가되었다. 이제부터 생존분석 마스터합니다. ---------------------------------------------------------------------------------------------------------.. 공감수 0 댓글수 0 2022. 2. 6.
Type I and Type II errors 귀무가설이 유지되면, 그것은 참인 귀무가설(true null hypothesis)이라고 말한다. 하지만 그렇지 않다면 그것은 거짓 귀무가설(false null hypothesis)이라고 한다. 예를 들어, $H_0$ : $\mu_t = \mu_c$를 검정한다고 하자. 그리고 실제로 두 모집단에서 평균 혈압이 차이가 없다고 하면 귀무가설이 참일 것이다. 차이가 있으면 귀무가설이 거짓일 것이다. 물론 우리는 정말 귀무가설이 참인지 거짓인지 사전에 알 수가 없다. 이러한 이유로 우리는 가설검정을 수행해야한다. 일단 가설검정을 수행하면, 데이터에 기반한 귀무가설 기각여부(Decision)는 알게 된다. 그러나 실제 모집단에서 귀무가설 기각여부(Truth)는 알 수가 없다. 따라서, 우리는 가설검정 수행시 발생할.. 공감수 0 댓글수 0 2021. 8. 13.
DTW(Dynamic Time Warping) Dynamic Time Warping에서 와핑(warping)의 사전적의미는 뒤틀림, 휨 이라는 뜻을 가지고 있으며, 동적 시간 와핑은 이름과 같이 '속도 또는 길이에 따라 움직임이 다른 두 시계열간의 유사성(거리)을 측정'하는 알고리즘으로, 그 거리가 최소화되는 방향으로 매칭시켜 누적 거리가 최소가 되는 warping(뒤틀림) 경로를 찾는다. DTW는 주로 그래픽, 비디오, 오디오와 같은 분야에서 사용되며, 의료분야에서 보행 유사성, 생체신호 분석에 사용되기도 한다. 특히, 자동음성 인식 분야에서 두각을 보이며 다른 속도를 가지는 음성을 인식하도록 해준다. 예를 들어, 두 사람의 걸음에 대한 유사성을 계산해보자. 두 사람의 걸음 패턴은 속도, 폭 등의 이유로 다르게 나타날 것이다. 이러한 경우, 우리가.. 공감수 9 댓글수 5 2021. 6. 25.
왜, 언제 스케일링(standardization, min-max)를 수행해야 할까 ? 머신러닝, 회귀 등 모델링을 수행할 때 스케일링(scaling)은 중요한 과정 중 하나임을 우리는 알고 있다. 스케일링은 범위를 재정의하는 것을 의미한다. 여기서, 표준화는 스케일링 방법 중 하나이며 우리는 이것이 언제 필요한지는 모른채 무작정 표준화를 수행하는 것이 대부분일 것이다. 본 포스팅에서는 어떻게, 왜, 언제 스케일링를 수행하는지 알아볼 것이다. ○ 왜 스케일링를 수행하는가 ? 데이터를 보면 모든 열들 즉, 변수들은 각자 다른 단위를 가지고 있다. 예를 들어, 키(height)와 몸무게(weight) 변수가 있다고 하면 단위는 각각 (cm, kg)이며 관찰한 표본이 성인이라고 가정할 때 범위는 (150-190cm), (40-100kg) 정도로 다른 단위와 범위를 가지게 된다. 이러한 단위 차이.. 공감수 7 댓글수 0 2021. 6. 11.
오즈비(Odds ratio, OR)와 상대위험도(Relative Risk, RR) 1. 오즈비와 상대위험도 오즈비와 상대위험도는 2 X 2 분할표에서 가장 널리 사용되는 연관성 측도이다. 주로 의학분야에서 많이 사용되는데 위험인자와 질환 발생과의 연관성을 확인하기 위해서 사용된다. 실험설계를 어떻게 했느냐에 따라 필요한 측도가 달라지는데 일반적으로 코호트 연구(전향적)일 경우 오즈비와, 상대위험도가 모두 쓰일 수 있으며, 사례-대조군(case-control) 연구(후향적)일 경우 오즈비가 쓰인다. 이때, 유의할 점은 사례-대조군 연구에는 상대위험도가 쓰이면 안된다. (1) 오즈비(Odds ratio, OR) 오즈비는 범주별 오즈에 대한 비를 구한 것으로 위의 실험에서는 행 기준의 오즈비를 구하는 것이 목적일 것이다. 위의 실험에서 오즈는 $\frac{P(성공)}{P(실패)} = \fr.. 공감수 17 댓글수 0 2021. 5. 27.
Group Lasso Lasso는 정규화/벌점 회귀 중 하나로 선형 회귀에 벌점을 추가하여 bias를 다소 포기하면서 더 많은 variance를 낮추는 방법이다. 즉, overfitting의 문제를 해결하기 위한 regularization 방법 중 하나이다. 벌점을 추가한다는 것은 회귀계수에 제약을 주는 것과 같은데 제약을 크게 줄수록 해당 회귀계수가 작아지게 된다. ridge는 회귀계수를 완전히 0으로 수축시키지 못하지만, 라쏘는 완전히 0으로 수축시켜 변수선택 효과를 가진다. 하지만, 변수 중 범주형 변수가 존재하는 경우, 더미변수가 생성되며 lasso는 더미변수 하나 하나를 1개의 변수로 인식하기 때문에 범주형이라는 구조적인 특성을 고려하지 못하게 된다. 이러한 문제를 해결하기 위해 Group lasso가 제안되었다. .. 공감수 0 댓글수 0 2021. 5. 21.
Ridge / Lasso regression 6.2 Shrinkage Methods subset selection에서는 선형회귀를 적합하기 위해 Least Squares를 사용하였지만, 이제부터는 대안적인 방법으로 회귀계수 추정량에 제약(constraints)을 주거나 정규화(regularizes)시킬 것이다. 이는 회귀계수 추정량을 0으로 수축시키는 것과 동일한 의미를 가진다. 이러한 처리로 인해 추정량의 분산을 상당히 줄일 수 있다. 가장 널리 알려진 방법으로 Lasso와 Ridge가 있다. 6.2.1 Ridge Regression 3장에서 다루었던 선형회귀에 대한 LS적합은 RSS를 최소로하는 추정량을 선택하는 방법이었다. Ridge 회귀는 RSS에서 추가된 항이 존재하며 이를 최소로하는 추정량을 사용한다. $\sum_{i=1}^n (y_i .. 공감수 0 댓글수 0 2021. 5. 21.
맥네마 검정(McNemar's test) 맥네마 검정은 분할표에서 각 관측치 간에 독립성이 만족하지 않을 때 사용하는 검정이다. 독립성을 만족한다면 카이제곱 검정을 수행하면된다. 또 다르게는 짝지어진(paired) 범주형 자료에 대한 대응분석으로 생각할 수 있다. 대응분석은 일반적으로 한 대상에 대해 실험을 전(Before), 후(After)로 2번(paired data) 수행하여 처리에 대한 효과가 있는지 확인하는 검정이다. 한 대상에 대해 2번 실험을 수행하기 때문에 연관되어 있다고 하는 것이며 이는 독립성을 만족하지 않는 것과 같다. 여기서, 반응변수가 연속형이라면 paired t-test 검정을 수행하지만, 반응변수는 범주형이며 특히, 범주가 2개인 경우 맥네마 검정을 이용하여 범주형 자료를 분석한다. 범주가 3개 이상으로 확장된 경우에.. 공감수 1 댓글수 0 2021. 5. 19.
Boruta 알고리즘 변수 선택은 예측 모델을 만드는데 있어서 중요한 단계이다. 데이터의 변수들을 모두 사용하는 것은 과적합(overfitting)을 발생시킬 수 있으며, 많은 시간과 비용이 든다. 실제로, 많은 머신러닝 알고리즘들은 최적의 변수보다 많은 변수를 사용하면 예측 정확도가 감소한다고 알려져 있다(Kohavi and John, 1997). 또한, 실용적인 관점에서 가능한 최고의 분류 결과를 산출하는 변수 집합을 고르는 것이 중요하며(최소-최적 문제 (minimal-optimal problem) (Nilsson et al., 2007)), 몇몇 상황에서 분류와 관련 있는 모든 변수들을 찾아내는 것 역시 중요하다(다중 연관 문제 (all-relevant problem) (Nilsson et al., 2007)). 이러.. 공감수 5 댓글수 0 2021. 5. 3.
확률변수(Random variable) 오늘은 통계에서 가장 기본적인 개념인 "확률변수"에 대해 포스팅할 것이다. 사회에 나가서 확률변수가 뭐에요? 라고 질문받았는데 벙--찌는 상황을 방지하기 위해 !! 알고 있는 개념이라도 다시 짚어보고 지나가려고 한다. 😁 확률변수란, 확률실험을 했을 때 발생할 수 있는 결과(s)를 실수값($\mathbb{R}$)으로 바꿔주는 함수이다. 이를 기호로 표현하면 다음과 같다. $X : s \rightarrow \mathbb{R} $ , $s \in S$ 이해를 돕기 위해 동전을 2번 던지는 게임을 생각해보자. 동전을 2번 던졌을 때 앞면(H) or 뒷면(T)의 조합이 나올 경우는 {HH, HT/TH, TT} 이다. 여기서, 확률변수 X 를 앞면의 갯수라고 정의하면 X({HH, HT, TH, TT}) = {2,.. 공감수 2 댓글수 1 2021. 3. 18.
6. Linear Model Selection and Regularization 회귀문제에서, 기본적인 선형회귀모형의 형태는 다음과 같다. $Y = \beta_0 + \beta_1X_1+\dots + \beta_pX_p + \epsilon_t$ 이는 Y와 $X_1, X_2, \dots , X_p$의 관계를 추론(Inference)할 수 있다는 점에서 장점을 가지며, 종종 비선형적인 모형보다 좋은 결과를 도출할 수 있다. 이 장에서는 LS적합 대신 대안적인 적합방법을 사용하여 단순 선형 회귀를 개선하는 방법에 대해 논의할 것이다. 대안적인 적합은 LS적합 보다 개선된 예측정확성(Prediction Accuracy)과 모델해석력(Model Interpretability)을 도출할 수 있다. Prediction Accuracy Y와 X들의 실제로 선형의 관계를 가진다고 할 때, OLS 추.. 공감수 0 댓글수 0 2020. 10. 25.
3. Linear regression(선형 회귀) 3. Linear regression 이번 포스팅은 지도학습에서 가장 기본적인 방법론인 선형회귀(linear regressgion)이다. 선형회귀는 질적변수(연속형) Y를 예측하는데 유용한 방법이다. 지금은 선형회귀보다 더 다양하고 예측력이 좋은 모형들이 많이 나왔으며 , 그 중 몇몇 방법론들은 선형회귀를 확장시킨 방법론들이기 때문에 기본적으로 선형회귀를 이해하고 넘어간다면 추후 새로운 접근법을 마주할 때 훨씬 수월할 것이다. (이는 마치 수학을 배울 때 기초가 가장 중요하다는 말과 같다.) 독립변수와 종속변수와의 관계, 예를 들어 TV, 라디오, 뉴스 광고의 지출(budgets)와 특정 상품의 판매량(sales)의 관계를 밝히고자 할 때 다음의 질문이 중요하다. 1. 광고 지출과 판매량간의 관계가 있는.. 공감수 2 댓글수 0 2020. 10. 8.
Resampling Method(Hold-out, Cross-Validation, Bootstrap) 재표본 방법(Resampling)은 통계학에서 매우 중요하게 여겨지고 있다. 이는 훈련용 데이터셋에서 일부 표본 집합을 반복적으로 뽑아 각 집합에 관심 모델을 적합하여 모델에 대한 정보를 얻는 기술이다. 예를 들어, 선형 회귀를 적합하여 y를 예측하는것이 목적이라고 생각해보자. 우리는 적합값의 변동성을 추정하기 위해 훈련용 데이터 셋으로부터 각기 다른 표본 집합을 뽑아 각 집합에 선형 회귀를 적합한다. 그 후 적합 결과가 얼마나 다른지 정도를 검토한다. 이러한 접근 방식을 통해 훈련용 데이터 셋만 이용하여 적합했을 때 얻을 수 없는 정보를 얻도록 해준다. 재표본 방법의 과정을 살펴보면 표본을 재추출하여 모형을 여러번 적합해야 하기 때문에 계산 비용이 많이 들게 된다. 하지만, 현대 컴퓨팅 기술이 나날히 .. 공감수 1 댓글수 0 2020. 10. 5.
Introduction to Statistical Learning with R 본 포스팅은 제목과 같이 ISLR(Introduction to Statistical Learning with R)이라는 책을 바탕으로 쓰여질 것이다. 이 책은 통계학 학부 수준에서 이해가 가능한 정도라고 생각하면 좋다. 최대한 간단하면서 뼈대를 세워가며 정보를 전달하기 위해 노력할 것이며, 포스팅의 끝에서는 전체적인 개요가 머릿속 안에 잡히는 것이 목표이다. Statistical learning은 f를 추정하는 접근법 set이다. 이 도구들은 크게 지도(supervised) or 비지도(unsupervised)로 나뉘며, supervised statistical learning은 한 개 이상의 X(독립변수)로 Y를 예측, 추정하기 위한 통계적 모형을 만드는 것이고 unsupervised statistic.. 공감수 0 댓글수 0 2020. 8. 31.
Ridge regression 1. Bias vs Variance error = bias + variance =$Error(x) = (E[\hat{f}(x)]-f(x))^2+E[\hat{f}(x)-E[\hat{f}(x)]]^2+\sigma_e^2$ bias는 예측 평균값과 실제값의 차이를 제곱한 것으로 예측값이 실제값에서 떨어진 정도를 알 수 있다. variance는 [예측값과 예측 평균값의 차이]의 제곱 평균으로 예측값들의 흩어진 정도를 나타낸다. $\sigma_e^2$은 무슨 짓을 해도 줄일 수 없는 근본적이 오차를 의미한다. ( irreducible error ) bias와 variance가 loss이므로, 직관적으로 둘 다 작은 (a)모델이 가장 좋은 모델이다. (b)모델은 예측값들의 평균값은 실제값과 비슷한데(bias 작음).. 공감수 0 댓글수 0 2020. 4. 8.
결측값(Missing Value) 실제데이터를 다뤄보면 우리가 생각하는 것 만큼 데이터가 깨끗(clean)하지 않다. 그 중 결측값이 가장 기본적인 원인이되며 다양한 원인들이 있다. 이번 블로그는 결측값에 대해 다뤄보자. 결측값을 처리하지 않고 그대로 분석에 사용하면 큰 오류가 생길 수 있다. 대부분의 통계분석 방법은 결측값을 포함하는 행을 제외한 뒤 완전한 자료에 대해 분석을 진행한다. 결측의 양이 데이터 셋의 크기에 비해 매우 작은 경우에는 행을 제거하는 방법이 분석의 편의(bias)를 없애기 위한 최선의 전략이 될 수 있다. 그러나 이 방법은 경우에 따라 표본의 수를 크게 줄일 수 있으며, 중요한 정보를 없애게 되어 예측 모형의 성능을 크게 떨어뜨리는 원인으로 작용할 수 있다. 관측된 정보를 최대한 활용하기 이해서는 결측값에 대한 .. 공감수 0 댓글수 0 2020. 4. 2.
(UMVUE)최소분산불편추정량[Rao-Blackwell, Lehmann-Scheffe, Cramer-Rao] 앞 글에서 충분통계량은 여러 개가 존재할 수 있다고 했다. 그 중 가장 단순한 형태를 가진 최소충분통계량을 찾는 방법에 대해 알아보자. [Rao-Blackwell 정리] $\hat\theta=t(X_1,X_2,\cdots,X_n)$이 $\theta$에 대한 불편추정량이고, $Y=u(X_1,X_2,\cdots,X_n)$가 $\theta$에 대한 충분통계량일 때, $\varphi(Y)=E[\hat\theta|Y]$ (Y의 함수이면서 불편추정량임) 는 $\theta$에 대해 불편추정량이고, 모든 $\theta \in \Theta$에 대해 $Var_\theta[\varphi(Y)] \leq Var_\theta(\hat\theta)$ 을 만족한다. 즉, $\hat\theta$가 불편추정량이고 $Y$가 충분통계량일.. 공감수 0 댓글수 2 2020. 3. 18.
충분통계량과 완비통계량 충분통계량에 대해 간단히 설명해보고자 한다. 어떤 분포를 따르는 확률표본 $X_1,X_2,\cdots ,X_n$가 존재한다고 하자. 모수 $\theta$를 추정하기 위해 n개의 표본을 이용할 수도 있지만, n개의 표본을 더한 하나의 값만으로도 모수를 추정할 수 있다. => 여기서 $\sum x_i$을 충분통계량이라고 하고, 그 의미는 n개의 표본이 가지고 있는 $\theta$에 대한 모든 정보와 동일한 정보력을 가지며(sufficiency), 단순한 형태(minimal type)을 띄는 것으로 설명할 수 있다. 충분통계량에 대한 그림이 어느 정도 그려졌을거라고 생각한다. 이제 충분통계량의 이론적 정의에 대해 알아보자. [충분통계량] $X_1,X_2,\cdots,X_n$ ~ $f(x;\theta)$로부터의.. 공감수 3 댓글수 0 2020. 3. 16.
바람직한 추정량 추정량의 의미와 바람직한 추정량이 되기 위한 조건에 대해 알아보자. 확률변수 $X_1, \cdots, X_n$의 함수인 통계량 $Y=u(X_1,\cdots,X_n)$ 가 모수$\theta$의 추정에 사용될 때, 이를 추정량(estimator)이라고 하고 기호로는 $\hat{\theta}=u(X_1,\cdots,X_n)$으로 표기한다. 추정량의 관측값 $u(x_1,\cdots,x_n)$은 추정치(estimate)라고 한다. - 추정량 : 모수의 추정에 사용되는 통계량 => 확률변수들의 함수이므로 확률변수가 될 수 있다. 분포를 가짐. - 추정치 : 추정량의 관측값 => 관측 후, 상수값이므로 추정치는 확률변수가 될 수 없다. 바람직한 추정량의 성질에 대해 알아보자. [불편추정량] 먼저, 편향(or 편의 :.. 공감수 1 댓글수 0 2020. 3. 6.
모수추정법 - 점추정 [서론] 점추정을 배우기에 앞서 왜 점추정을 하게 되었는지 설명하고자 한다. 통계학에서는 데이터를 다루는 목적에 따라 추론통계학(Inference Statistical)과 기술통계학(Descriptive Statistical)로 나뉜다. 여기서 우리는 추론통계학에 대해 알아보자. 추론통계학이란, 표본이 가진 정보로 모집단의 특성(모수 : parameter)을 추론하고 그 결과가 신뢰성이 있는지 검정하는 것이다. 의미에서 힌트가 있었다. 추론통계학은 크게 추정(estimation)과 검정(test)이 있다. 추정에 초점을 맞추어 보자. 추정은 표본을 추출하여 측정한 결과값을 모집단에 대한 측정결과로 사용하는 것이다. 추정에는 '점 추정(point estimation)'과 '구간 추정(interval est.. 공감수 1 댓글수 0 2020. 3. 6.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.