📚 지식 노트

경우의 수: 곱의 법칙, 순열, 조합

확률은 결국 "일어날 수 있는 경우 가운데 원하는 경우가 몇 개인가"에서 시작하므로, 먼저 세는 법을 익힌다.

• 곱의 법칙: 셔츠 3벌과 바지 2벌로 만들 수 있는 차림은 3 × 2 = 6가지다. 단계마다 고를 수 있는 수를 곱한다. 네 자리 숫자 비밀번호는 10⁴ = 10,000가지다.
• 순열: 5명 가운데 반장과 부반장을 뽑는 방법은 5 × 4 = 20가지다. 순서가 있으므로 ₅P₂ = 5!/(5 − 2)!이다. n명을 모두 줄 세우면 n!가지로, 5! = 120이다.
• 조합: 같은 5명에서 대표 2명을 뽑으면(순서 없음) (반장 A, 부반장 B)와 (반장 B, 부반장 A)가 같은 경우가 되므로 순열을 2!로 나눈다. ₅C₂ = 20/2 = 10. 로또처럼 45개에서 6개를 고르는 방법은 ₄₅C₆ = 8,145,060가지라, 한 장이 1등일 확률은 약 1.23 × 10⁻⁷이다.
• 중복순열·중복조합: 같은 것을 여러 번 골라도 되면 세는 법이 바뀐다. 아이스크림 맛 3가지에서 순서 있게 5번 고르면(중복순열) 3⁵ = 243가지다. 순서 없이 5개를 고르면(중복조합) "같은 공 5개를 칸 3개에 나눠 담기"와 같아, 공 5개와 칸막이 2개를 늘어놓을 자리에서 칸막이 자리를 고르는 ₃H₅ = ₇C₂ = 21가지다(별과 막대).

조합을 삼각형으로 늘어놓은 것이 파스칼 삼각형이다. n행의 k번째 수가 ₙCₖ이고, 각 수는 바로 위 두 수의 합이다(ₙCₖ = ₙ₋₁Cₖ₋₁ + ₙ₋₁Cₖ). "특정한 한 사람을 뽑느냐 마느냐"로 경우를 나누면 이 식이 나온다. 한 행의 합은 2ⁿ인데, n개 각각을 넣을지 뺄지 고르는 부분집합의 수와 같기 때문이다. 이항 분포의 계수도 이 삼각형에서 나온다.

파스칼 삼각형의 n행은 그대로 이항 정리의 계수다. (x + y)ⁿ = Σ ₙCₖ xⁿ⁻ᵏyᵏ이고, 3행 1, 3, 3, 1에서 (x + y)³ = x³ + 3x²y + 3xy² + y³이 나온다. 괄호 n개 가운데 y를 꺼낼 k개를 고르는 방법이 ₙCₖ가지이기 때문이다. (x + y)²을 x² + y²으로 쓰는 실수는 이 가운데 계수를 빠뜨린 것이다.

확률의 정의와 규칙: 합, 곱, 여사건

모든 결과가 똑같이 그럴듯할 때(공정한 주사위·카드) 사건 A의 확률은 P(A) = (A에 해당하는 경우의 수) / (전체 경우의 수)다. 더 일반적으로는 콜모고로프의 세 공리로 정한다. 확률은 0 이상이고, 전체 표본 공간의 확률은 1이며, 겹치지 않는 사건들의 확률은 더해진다. 나머지 규칙은 모두 여기서 나온다.

• 합의 법칙: P(A ∪ B) = P(A) + P(B) − P(A ∩ B). 카드 52장에서 하트(13장)이거나 그림 카드(J·Q·K, 12장)일 확률은 하트이면서 그림 카드인 3장을 두 번 세지 않도록 빼서 22/52이다.
• 곱의 법칙: P(A ∩ B) = P(A) × P(B | A). 카드 두 장을 차례로(넣지 않고) 뽑아 둘 다 에이스일 확률은 4/52 × 3/51 = 0.0045다. 두 번째 확률이 3/51로 바뀌는 것이 조건부 확률이다.
• 여사건: P(Aᶜ) = 1 − P(A). "적어도 하나"를 직접 세기 어려울 때 "하나도 없음"을 세어 1에서 뺀다.

여사건의 대표 예가 생일 문제다. n명 가운데 생일이 같은 쌍이 있을 확률은 "모두 다르다"의 여사건이다. 둘째 사람이 첫째와 다를 확률 364/365, 셋째가 앞 둘과 다를 확률 363/365, … 을 곱해 1에서 빼면 된다. 사람이 23명만 되어도 50.7%로 절반을 넘는다. 내 생일과 같은 사람을 찾는 문제가 아니라 아무 쌍이나 같으면 되는 문제여서, 23명이면 쌍이 253개나 되기 때문이다.

조건부 확률과 독립

조건부 확률 P(A | B) = P(A ∩ B) / P(B)는 "B가 일어났다는 걸 알 때 A일 확률"이다. 표본 공간을 B로 좁히고, 그 안에서 A가 차지하는 비율을 다시 재는 것이다.

B를 알아도 A의 확률이 바뀌지 않으면, 곧 P(A | B) = P(A)이면 두 사건은 독립이다. 같은 말로 P(A ∩ B) = P(A)·P(B)다. 주사위 두 개에서 A를 "첫째가 짝수"라 하자. B = "합이 7"이면 P(A | B) = 0.5로 P(A)와 같아 독립이다. 합이 7이 되는 여섯 쌍의 첫째 눈이 1~6에 고르게 퍼져 있기 때문이다. C = "합이 10 이상"이면 P(A | C) = 0.667로 커진다. 합이 크다는 건 큰 눈(4·6)이 나왔을 가능성을 높이므로 독립이 아니다.

독립과 배반(동시에 일어날 수 없음)은 다르다. 확률이 0이 아닌 두 배반 사건은 오히려 강하게 엮여 있다. 하나가 일어났다는 걸 알면 다른 하나는 확률이 0이 되기 때문이다. 그리고 "앞의 동전이 다섯 번 연속 앞면이었으니 이번엔 뒷면이 나올 차례"라는 생각(도박사의 오류)은 독립 시행에서 틀렸다. 동전은 지난 결과를 기억하지 않는다.

베이즈 정리: 몬티 홀 문제

곱의 법칙을 두 방향으로 쓰면 P(A ∩ B) = P(B | A)P(A) = P(A | B)P(B)이고, 여기서 바로 베이즈 정리가 나온다.

P(A | B) = P(B | A) × P(A) / P(B)

"원인 A일 때 증거 B가 나올 확률"(가능도)에서 "증거 B를 봤을 때 원인이 A일 확률"(사후 확률)로 뒤집는 식이다. 분모 P(B)는 가능한 원인마다 P(B | 원인)P(원인)을 더해 구한다(전확률 공식). 의료 검사의 양성 판정처럼 드문 병에서 직관이 크게 틀리는 예는 AI를 위한 수학 노트에 있으니, 여기서는 직관이 더 크게 엇갈리는 몬티 홀 문제를 푼다.

문 세 개 가운데 하나 뒤에 자동차가 있다. 참가자가 1번을 고르면, 답을 아는 사회자가 나머지 가운데 염소가 있는 3번을 열고 "2번으로 바꾸겠느냐"고 묻는다. 남은 문이 둘이니 반반 같지만, 바꾸면 이길 확률은 0.667이다. 열린 문이 정보를 주는 까닭은 사회자가 무작위로 연 것이 아니라 자동차를 피해서 열었기 때문이다.

문이 100개이고 사회자가 98개를 열어 하나만 남긴다고 생각하면 더 분명하다. 처음 고른 문이 맞을 확률은 여전히 1/100이고, 바꾸면 99%로 이긴다. 사회자가 답을 모른 채 무작위로 열었는데 마침 염소였다면 가능도가 달라져 계산 결과도 반반이 된다. 같은 장면이라도 증거가 어떻게 만들어졌는지가 결론을 바꾼다.

확률 변수, 기댓값, 분산

확률 변수는 결과마다 수를 붙인 것이다. 동전 세 개를 던져 나온 앞면 수 X는 0~3 가운데 하나이고, 각 값의 확률은 ₃Cₖ/8이다. 확률 변수가 각 값을 가질 확률을 모은 것이 확률 분포다.

• 기댓값 E[X] = Σ x·P(X = x): 확률을 무게로 둔 평균, 오래 반복했을 때의 평균값이다. 앞면 수의 기댓값은 1.5이다. 기댓값은 선형이라 E[aX + b] = aE[X] + b, E[X + Y] = E[X] + E[Y]가 X와 Y가 독립이 아니어도 성립한다.
• 분산 Var(X) = E[(X − E[X])²] = E[X²] − (E[X])²: 기댓값에서 얼마나 퍼졌는지. 앞면 수는 0.75이고, 단위를 원래대로 돌린 표준편차 σ는 0.87다. Var(aX + b) = a²Var(X)이고, 독립인 X, Y에서만 Var(X + Y) = Var(X) + Var(Y)다.

기댓값은 "공정한 게임인가"를 따지는 도구다. 1,000원을 내고 주사위를 던져 6이 나오면 4,000원을 받는 게임의 순이익 Y는 확률 1/6로 3,000원, 5/6로 −1,000원이다. E[Y] = −333원이므로 한 판마다 평균 333원씩 잃는다. 공정하려면 6이 나왔을 때 6,000원을 줘야 한다. 복권과 카지노 게임은 모두 기댓값이 음수가 되도록 설계된다.

선형성에 독립이 필요 없다는 점이 강력하다. 복잡한 양을 "일어나면 1, 아니면 0"인 지시 변수의 합으로 쪼개면, 각 지시 변수의 기댓값(그 사건의 확률)만 더하면 된다. 모자 n개를 무작위로 돌려줄 때 제 모자를 받는 사람 수는, 사람마다 확률 1/n짜리 지시 변수 n개의 합이라 기댓값이 n × 1/n = 1이다. 사람 수와 상관없고, 지시 변수끼리 서로 엮여 있어도 된다. 4명일 때 순열 24가지를 모두 세어 평균을 내도 1이다. 주사위 눈 여섯 가지를 모두 보려면 평균 몇 번 던져야 할까(쿠폰 수집 문제)? i − 1가지를 본 뒤 새 눈이 나올 때까지는 성공 확률 (7 − i)/6인 기하 분포라 평균 6/(7 − i)번이고, 이 여섯을 더하면 6(1 + 1/2 + … + 1/6) ≈ 14.7번이다. 곱은 다르다. E[XY] = E[X]E[Y]는 독립일 때에만 성립한다.

이산 분포: 이항, 포아송, 기하

현실의 많은 우연은 몇 가지 틀로 설명된다. 틀마다 이름이 붙은 분포가 있고, 모수 한두 개만 정하면 모든 확률이 나온다.

• 이항 분포 B(n, p): 성공 확률 p인 독립 시행을 n번 할 때 성공 횟수. P(X = k) = ₙCₖ pᵏ(1 − p)ⁿ⁻ᵏ. 평균 np, 분산 np(1 − p). 타율 3할 타자가 10타석에서 정확히 3안타를 칠 확률은 0.267로, 가장 그럴듯한 값인데도 27%가 안 된다.
• 포아송 분포 Poisson(λ): 일정한 시간·공간에서 드문 사건이 평균 λ번 일어날 때 실제 횟수. P(X = k) = e^−λλᵏ/k!. 평균과 분산이 모두 λ다. 한 시간에 평균 3통 오는 고객 문의가 한 통도 없을 확률은 e⁻³ = 0.050이다. n이 크고 p가 작은 이항 분포의 근사이기도 하다.
• 기하 분포: 성공 확률 p인 시행을 첫 성공까지 반복한 횟수. P(X = k) = (1 − p)ᵏ⁻¹p, 평균 1/p. 확률 20%짜리 뽑기는 평균 5번 만에 나오지만, 10번 해도 안 나올 확률이 0.8¹⁰ = 0.107나 된다. 지난 실패가 다음 확률을 바꾸지 않는 무기억성이 있다.

연속 분포: 균등, 정규, 지수

키·시간·무게처럼 연속인 값은 한 점의 확률이 0이다(정확히 170.000…cm일 확률). 그래서 확률 밀도 함수 f(x)를 두고, 구간 [a, b]에 들 확률을 그 아래 넓이 ∫ f(x)dx로 정한다. 밀도 자체는 1보다 클 수도 있고, 전체 넓이가 1이면 된다.

• 균등 분포 U(a, b): 구간 안에서 밀도가 1/(b − a)로 일정하다. [0, 1]에서 0.2와 0.5 사이에 들 확률은 구간 길이 0.3이다. 컴퓨터 난수 생성기가 기본으로 내놓는 분포다.
• 정규 분포 N(μ, σ²): 평균 μ에서 가장 높은 좌우 대칭 종 모양. 평균 ± 1σ, 2σ, 3σ 안에 들 확률이 68.3%, 95.4%, 99.7%이다(68–95–99.7 규칙). 값을 z = (x − μ)/σ로 바꾸면 모두 표준 정규 분포 N(0, 1) 하나로 계산할 수 있다. 정규 분포의 식과 머신러닝에서의 쓰임은 AI를 위한 수학 노트에 있다.
• 지수 분포 Exp(λ): 포아송 과정에서 다음 사건까지 기다리는 시간. 밀도 λe^−λx, 평균 1/λ. 평균 2분마다 오는 버스(λ = 0.5)를 2분 넘게 기다릴 확률은 e⁻¹ = 36.8%이다. 기하 분포의 연속판이라 역시 무기억성이 있다. 이미 5분 기다렸어도 앞으로 2분 넘게 기다릴 확률은 처음과 같다.

큰 수의 법칙과 중심 극한 정리

큰 수의 법칙: 독립이고 분포가 같은 확률 변수를 많이 모아 평균을 내면, 표본 평균은 기댓값으로 다가간다. 주사위를 많이 던질수록 눈의 평균은 3.5에 가까워진다. 근거는 분산이다. n개의 평균의 분산은 Var(X)/n이라, 표준편차가 σ/√n으로 줄어든다. 다만 "언젠가 맞춰진다"는 뜻은 아니다. 앞면이 10번 더 많이 나왔다고 뒷면이 그만큼 더 나와 메워 주는 게 아니라, 시행 수가 커지면서 그 10이 차지하는 비율이 작아질 뿐이다.

중심 극한 정리는 더 나아간다. 원래 분포가 무엇이든(분산만 유한하면) 표본 평균의 분포는 n이 커질수록 정규 분포 N(μ, σ²/n)에 가까워진다. 평평한 주사위 분포에서 출발해도 평균은 종 모양이 된다. 그래서 측정 오차처럼 작은 효과가 많이 더해진 양은 정규 분포를 따르고, 아래 절의 신뢰 구간과 검정이 "표본 평균은 대략 정규 분포"라는 가정 하나로 돌아간다. 주사위 하나의 σ = 1.71이므로 16개 평균의 σ는 0.43다.

기술 통계: 평균, 중앙값, 분산, 사분위, 상자 그림

지금부터는 확률 모형에서 자료로 방향을 바꾼다. 자료를 숫자 몇 개로 줄이는 것이 기술 통계다. 직장인 12명의 통근 시간(분)이 18, 22, 25, 27, 28, 30, 31, 33, 35, 38, 42, 95라고 하자.

• 중심: 평균은 35.3분, 크기순으로 가운데 값인 중앙값은 30.5분이다. 한 사람의 95분이 평균을 5분 넘게 끌어올렸다. 그 값을 빼면 평균은 29.9분이 되지만 중앙값은 30분으로 거의 그대로다. 소득·집값처럼 한쪽 꼬리가 긴 자료에 중앙값을 쓰는 까닭이다.
• 퍼짐: 표본 분산은 편차 제곱의 합을 n − 1로 나눈다(n으로 나누면 모분산을 조금 작게 추정한다). 표준편차는 19.9분인데, 95분을 빼면 7.0분이다. 제곱이 들어가서 이상값 하나에 크게 흔들린다.
• 사분위수: 자료를 크기순으로 넷으로 나누는 값. 아래 절반의 중앙값이 Q1 = 26, 위 절반의 중앙값이 Q3 = 36.5이고, 가운데 절반이 퍼진 폭 IQR = Q3 − Q1 = 10.5이다. 사분위수를 구하는 방식은 교재·소프트웨어마다 조금씩 다르다(여기서는 절반의 중앙값을 썼다).

상자 그림은 Q1~Q3을 상자로, 중앙값을 상자 안 선으로 그리고, 울타리 Q1 − 1.5·IQR과 Q3 + 1.5·IQR 안의 가장 먼 값까지 수염을 긋는다. 울타리 밖의 점이 이상값 후보다. 이상값은 지우기 전에 이유를 먼저 본다. 입력 실수일 수도 있지만, 버스를 두 번 갈아타는 사람처럼 진짜 다른 집단일 수도 있다.

상관과 인과: 심슨의 역설

두 양이 함께 움직이는 정도를 피어슨 상관 계수 r로 잰다. −1(완전히 반대로)부터 1(완전히 같이)까지이고, 0이면 직선 관계가 없다. 월평균 기온을 따라 오르내리는 가상의 열두 달 자료에서 아이스크림 판매량과 물놀이 사고 건수의 상관 계수는 0.97다. 그렇다고 아이스크림이 사고를 일으키는 것은 아니다. 둘 다 기온이라는 교란 변수를 따를 뿐이다. 상관은 인과의 증거가 될 수 있지만 그것만으로는 방향도, 제삼의 원인도 가려내지 못한다.

교란 변수가 결론을 아예 뒤집는 현상이 심슨의 역설이다. 두 병원의 치료 성공률을 환자 상태별로 보자(가상의 수).

A는 경증에서도 중증에서도 B보다 성공률이 높다. 그런데 합치면 B가 80%로 A의 59%보다 높다. A가 성공률이 낮은 중증 환자를 80명이나 받았기 때문이다. 합계는 "어떤 환자를 받았나"와 "얼마나 잘 치료하나"가 섞인 값이다. 어느 쪽을 믿을지는 숫자가 아니라 인과 구조가 정한다. 환자 상태가 병원 선택과 결과 모두에 영향을 주는 교란 변수라면 나눠 본 값이 맞다. 무작위 배정 실험이 강력한 까닭은 이런 교란 변수를 양쪽에 고르게 퍼뜨리기 때문이다.

표본과 추정: 표준 오차와 신뢰 구간

전체(모집단)를 다 조사할 수 없으니 일부(표본)를 뽑아 전체를 짐작한다. 표본에서 구한 값(표본 평균 x̄, 표본 비율 p̂)은 뽑을 때마다 달라지는 확률 변수다. 그 흔들림의 표준편차를 표준 오차라 하고, 평균이면 σ/√n, 비율이면 √(p(1 − p)/n)이다. 표본을 무작위로 뽑아야 이 계산이 맞다. 응답하고 싶은 사람만 답한 온라인 설문은 표본이 아무리 커도 치우침이 줄지 않는다.

중심 극한 정리로 표본 비율은 대략 정규 분포를 따르므로, p̂ ± 1.96 × 표준 오차가 95% 신뢰 구간이다. 여론 조사에서 1,000명 가운데 540명이 찬성했다면 p̂ = 0.54, 표준 오차 0.0158, 구간은 54.0% ± 3.1%p다. 뉴스의 "95% 신뢰 수준에 오차 범위 ±3.1%p"가 이 계산이다. 오차를 절반으로 줄이려면 표본이 네 배 필요하다.

"95%"의 뜻이 헷갈리기 쉽다. 참값은 정해진 하나의 수이고 구간이 표본마다 움직인다. 같은 방법으로 표본을 계속 뽑아 구간을 만들면 그 가운데 약 95%가 참값을 덮는다는 뜻이지, 이번 구간 안에 참값이 있을 확률이 95%라는 뜻이 아니다. 실무의 평균 체류 시간·전환율 구간 계산은 데이터 엔지니어링 노트에 있다.

가설 검정: p값의 뜻과 오해

동전을 20번 던져 앞면이 15번 나왔다. 이 동전이 기울었다고 말할 수 있을까? 가설 검정은 "효과가 없다"는 귀무가설(공정한 동전, p = 0.5)을 세우고, 그 가설 아래에서 지금 본 결과가 얼마나 드문지를 잰다.

p값은 귀무가설이 참일 때 지금만큼, 또는 그보다 더 극단적인 결과가 나올 확률이다. 공정한 동전으로 앞면이 15번 이상 나올 확률은 2.07%이고, 반대쪽(앞면 5번 이하)까지 더한 양쪽 p값은 4.14%다. 미리 정한 기준 α = 0.05보다 작으니 "유의 수준 5%에서 귀무가설을 기각한다"고 말한다. α는 효과가 없는데 있다고 잘못 말할 확률(1종 오류)의 상한이다.

미국통계학회(ASA)가 2016년 성명에서 짚은 오해들을 정리하면 이렇다.

• p값은 귀무가설이 참일 확률이 아니다. "귀무가설이 참이라면 이런 자료가 나올 확률"이지 "이런 자료를 봤을 때 귀무가설이 참일 확률"이 아니다. 둘을 뒤바꾸는 것은 앞의 베이즈 정리에서 본 P(B | A)와 P(A | B)를 혼동하는 것이다.
• p값은 효과의 크기나 중요성을 말하지 않는다. 표본이 아주 크면 쓸모없을 만큼 작은 차이도 p값이 작아진다. 효과 크기와 신뢰 구간을 함께 본다.
• 0.05는 마법의 선이 아니다. p = 0.049와 p = 0.051은 사실상 같은 증거다. "유의함/유의하지 않음"의 이분법만으로 결론을 내리지 않는다.
• 여러 번 검정하면 우연한 '유의'가 생긴다. 효과가 전혀 없는 비교를 20번 하면 적어도 한 번 p < 0.05가 나올 확률이 1 − 0.95²⁰ = 64.2%다. 유의한 것만 골라 보고하면(p-해킹) 결론을 믿을 수 없다. 검정을 몇 번 했는지 모두 밝힌다.
• 유의하지 않다고 효과가 없다는 증거는 아니다. 표본이 작으면 실제 효과가 있어도 못 잡는다(2종 오류). 이를 줄이는 것이 검정력이고, 실험 전에 표본 크기를 정하는 이유다.

A/B 테스트에서 두 비율을 비교하는 z 검정과 중간에 결과를 엿보면 안 되는 이유는 데이터 엔지니어링 노트에서 다룬다.

핵심 자료