몬티홀 문제

열린 문과 흔들리는 믿음

당신의 눈앞에는 굳게 닫힌 세 개의 문이 있습니다. 각각의 문에는 $1,2,3$ 이라는 숫자가 붙어 있습니다. 이 중 하나의 문 뒤에는 당신이 꿈에 그리던 최신형 스포츠카가 숨겨져 있고, 나머지 두 개의 문 뒤에는 염소가 매어져 있습니다. 여러분이 스포츠카가 있는 문을 선택한다면, 그 차는 당신의 것이 됩니다.

심호흡을 한 당신은 $1$번 문을 선택했다고 가정해 보겠습니다. 이때, 이 쇼의 진행자는 당신이 선택한 $1$번 문을 바로 여는 대신, 당신이 선택하지 않은 나머지 두개의 문, 즉 $2$번과 $3$번 문 중 하나를 향해 걸어갑니다. 그리고 그는 염소가 들어있는 $3$번 문을 활짝 열어젖힙니다. 예상대로 그곳에는 차가 없었습니다.

이제 무대 위에는 닫혀 있는 당신의 $1$번 문과, 역시 닫혀 있는 $2$번 문, 그리고 염소가 드러난 $3$번 문만이 남아 있습니다. 긴장감이 감도는 순간, 진행자는 당신을 향해 매혹적인 제안을 던집니다.

“자, $3$번 문 뒤에는 염소가 있었습니다. 이제 남은 문은 두 개입니다. 당신은 처음 선택했던 $1$번 문을 고수하시겠습니까, 아니면 $2$번 문으로 선택을 바꾸시겠습니까?”

우리의 직관은 아주 빠르게 속삭입니다. “어차피 남은 문은 두 개이고, 차는 $1$번 아니면 $2$번 뒤에 있어. 어느 쪽을 선택하든 확률은 반반($50:50$)이야. 굳이 선택을 바꿀 이유는 없어.”

이 내면의 목소리는 너무나 합리적으로 들립니다. 이미 꽝인 문 하나가 제거되었으니, 남은 두개의 문이 우리가 원하는 보물을 나눠 가질 확률은 공평하게 절반씩이어야 한다고 믿는 것이지요. 과거의 선택은 과거일 뿐, 현재 남은 두 문은 대칭적인 관계처럼 보이기 때문입니다.

앞선 영상에서 우리는 정보의 유무가 확률을 변화시킨다는 사실을 확인했습니다. 많은 사람들이 몬티홀 문제에서 오류를 범하는 이유는, 진행자의 행동을 정보가 없는 ‘무작위 선택’으로 착각하기 때문입니다.

만약 진행자가 아무것도 모른 채 문을 열었다면, 남은 두 문의 확률은 정말로 $50:50$이 되었을 것입니다. 하지만 진행자는 정답을 알고 있으며, ‘절대로 자동차가 있는 문을 열지 않는다’는 제약 조건을 따릅니다. 그가 특정 문을 피해서 열어야만 하는 제약은, 그 행동 자체가 정답의 위치에 대한 힌트를 포함하고 있음을 의미합니다. 진행자의 행동은 단순한 진행이 아니라, 계산된 정보의 제공입니다.

몬티홀 딜레마의 수학적 해법

몬티홀 문제에서 진행자는 다음과 같은 규칙을 따릅니다.

Rule

1. 진행자는 참가자가 선택한 문을 절대 열지 않는다.
2. 진행자는 자동차가 있는 문을 절대 열지 않는다.
3. 진행자는 열 수 있는 문이 둘 이상일 경우, 무작위로 하나를 선택해 연다.

상황을 수식으로 바꾸어 보겠습니다. 우리가 구해야 할 값은 ‘진행자가 $3$번 문을 열어 주어졌을 때, 자동차가 $2$번 문에 있을 확률’입니다. 두 가지 사건을 기호로 다음과 같이 정의하면, 우리의 목표는 조건부 확률 $P(C_2\mid D_3)$를 구하는 것입니다.

• $C_i$ : 자동차(Car)가 $i$번 문 뒤에 있는 사건 ($i=1,2,3$)
• $D_j$ : (우리가 1번 문을 선택한 상태에서) 진행자가 $j$번 문(Door)을 여는 사건 ($j=1,2,3$)

먼저, 진행자가 문을 열기 전, 자동차가 각 문 뒤에 있을 확률인 사전 확률은 모두 동일합니다.

$$P(C_1)=P(C_2)=P(C_3)=\frac{1}{3}$$

첫째, 자동차가 $1$번 문 뒤에 있는 경우 ($C_1$)

우리는 $1$번을 선택했고, 자동차 또한 $1$번에 숨어 있는 행운의 상황입니다. 남은 $2$번과 $3$번 문 뒤에는 모두 염소가 매여 있습니다. 이때 진행자에게는 아무런 제약이 없습니다. 그는 염소가 있는 두 문 중 어느 것을 열어도 규칙을 위반하지 않으므로, 자유로운 선택권을 가집니다. 특별한 편향이 없다면 그가 무작위로 $3$번 문을 선택해 열 확률은 정확히 절반입니다.

$$P(D_3\mid C_1)=\frac{1}{2}$$

둘째, 자동차가 $2$번 문 뒤에 있는 경우 ($C_2$)

상황이 달라졌습니다. 우리는 $1$번을 쥐고 있지만, 진짜 자동차는 $2$번에 있습니다. 진행자는 선택을 고민할 필요도 없습니다. 그는 우리가 선택한 $1$번 문을 열 수 없고, 자동차가 숨겨진 $2$번 문 또한 절대 열 수 없습니다. 그에게 남은 선택지는 오직 염소가 있는 $3$번 문 하나뿐입니다. 이 상황에서 그가 $3$번 문을 여는 행위는 선택이 아니라, 규칙에 의해 강요된 $100\%$의 필연입니다.

$$P(D_3\mid C_2)=1$$

셋째, 자동차가 $3$번 문 뒤에 있는 경우 ($C_3$)

이번에는 자동차가 $3$번 문 뒤에 숨어 있습니다. 진행자는 정답을 알고 있기에, 스포츠카가 있는 $3$번 문을 결코 열어주지 않을 것입니다. 동시에 우리가 선택한 $1$번 문도 열 수 없습니다. 따라서 진행자는 무조건 $2$번 문만을 열어야 하는 운명입니다. 즉, 자동차가 $3$번에 있는 상황에서 진행자가 $3$번 문을 여는 확률은 $0$이 됩니다.

$$P(D_3\mid C_3)=0$$

이제 조건부 확률(베이즈 정리) 공식에 이 값들을 대입하여, 진행자가 $3$번 문을 연 전체 상황($D_3$) 중에서, 실제로 차가 $2$번에 있어서 그런 행동을 했을 확률을 계산하면,

$$\begin{array}{rl}P(C_2\mid D_3)& =\frac{P(C_2\cap D_3)}{P(D_3)}\\ & =\frac{P(D_3\mid C_2)P(C_2)}{P(D_3)}\\ & =\frac{P(D_3\mid C_2)P(C_2)}{P(D_3\cap C_1)+P(D_3\cap C_2)+P(D_3\cap C_3)}\\ & =\frac{P(D_3\mid C_2)P(C_2)}{P(D_3\mid C_1)P(C_1)+P(D_3\mid C_2)P(C_2)+P(D_3\mid C_3)P(C_3)}\\ & =\frac{1\times \frac{1}{3}}{(\frac{1}{2}\times \frac{1}{3})+(1\times \frac{1}{3})+(0\times \frac{1}{3})}=\frac{2}{3}\end{array}$$

선택을 바꾸어 $2$번 문으로 갔을 경우($C_2$) 당첨 확률은 $\frac{2}{3}$인 반면, 처음 선택한 $1$번 문($C_1$)을 고수했을 경우 당첨 확률은 여전히 $\frac{1}{3}$에 머물러 있으므로 선택을 바꾸는 것이 바꾸지 않는 것보다 $2$배 더 유리합니다.

52장의 카드와 남겨진 하나

앞서 우리는 수식을 통해 선택을 바꾸는 것이 유리하다는 것을 증명했습니다. 하지만 머리로는 이해해도 가슴으로는 여전히 받아들이기 힘든 구석이 있습니다. 그 이유는 어쩌면 문의 개수가 고작 $3$개뿐이라 숫자의 차이가 피부로 와닿을 만큼 크지 않아서 그럴 수도 있습니다.

그래서 이번에는 판을 키워보겠습니다. 여기 $52$장의 트럼프 카드가 있습니다. 이 중 스페이드 에이스($♠A$)는 단 한 장뿐입니다. 딜러가 카드를 섞어 펼쳐놓았고, 우리는 그중 한 장을 뽑아 내용을 확인하지 않고 자신의 앞에 엎어두었습니다. 그리고 나머지 $51$장의 카드는 딜러의 앞에 한 뭉치로 쌓여 있습니다.

이 상황에서 확률을 따져보겠습니다. 우리가 뽑은 한 장의 카드가 스페이드 에이스일 확률은 $\frac{1}{52}$입니다. 반면, 딜러가 가져간 저 두툼한 $51$장의 카드 뭉치 어딘가에 에이스가 숨어 있을 확률은 무려 $\frac{51}{52}$이나 됩니다. 스페이드 에이스는 거의 확실하게 저 뭉치 속에 있다고 봐도 무방합니다.

이때, 카드의 내용을 모두 알고 있는 딜러가 $51$장의 카드 뭉치를 들고 하나하나 확인합니다. 그리고 몬티홀 문제의 규칙에 따라, 스페이드 에이스가 아닌 $50$장의 꽝 카드를 골라내어 바닥에 버리기 시작합니다.

이제 딜러의 손에는 단 한 장의 카드만이 남았습니다. 그는 이 남은 한 장을 뒤집어 보여주는 대신, 의미심장한 미소를 지으며 당신의 카드 옆에 엎어두며 묻습니다.

“당신의 카드를 제가 남겨둔 이 카드와 바꾸시겠습니까?”

우리의 카드가 스페이드 에이스일 확률은 여전히 $\frac{1}{52}$입니다. 하지만 딜러가 내밀고 있는 저 카드는 다릅니다. 딜러가 바닥에 카드를 한 장씩 버릴 때마다, 버려진 카드가 품고 있던 스페이드 에이스일 $\frac{1}{52}$의 가능성은 제거됩니다. 그리고 그것이 가졌던 확률의 지분은 딜러의 손에 끝까지 남아 있는 ‘최후의 한 장’에게로 고스란히 옮겨가고 차곡차곡 쌓이게 됩니다.

실제로는 확률이 이동한 것이 아니라, 조건부 확률이 갱신된 것이다.

만약 에이스가 딜러의 뭉치($\frac{51}{52}$) 속에 있었다면, 딜러가 버리고 남은 저 한 장은 $100\%$ 스페이드 에이스입니다. 즉, 카드를 바꾼다는 것은 $\frac{1}{52}$이라는 희박한 운을 버리고, $51$장의 카드가 응축된 $\frac{51}{52}$이라는 압도적인 확률의 덩어리를 취하는 것과 같습니다. 카드를 바꾸지 않는 것은, 딜러가 그 많은 카드 중 굳이 저것 하나를 남겨둔 필연적인 ‘의도’를 무시하는 셈이지요.

마무리하며

진행자가 문을 열었을 때, 혹은 딜러가 카드를 버렸을 때, 닫혀 있던 문 뒤의 자동차가 순간이동을 했을까요? 혹은 엎어둔 카드의 무늬가 마법처럼 변했을까요?

물리적 세계는 단 한 톨의 먼지도 움직이지 않았습니다. 자동차는 처음부터 그곳에 있었고, 카드는 처음부터 그 무늬였습니다. 물리적 실체는 변하지 않았는데, 어째서 수학적 확률은 $\frac{1}{3}$에서 $\frac{2}{3}$로, $\frac{1}{52}$에서 $\frac{51}{52}$로 요동친 것일까요?

우리는 은연중에 확률을 주사위나 동전 같은 사물 그 자체에 깃든 고유한 속성이라고 착각하곤 합니다. 하지만 진실은 다릅니다. 확률은 대상의 속성이 아니라, 관찰자가 가진 정보의 상태입니다.

자동차가 $2$번 문에 있다는 것은 변하지 않는 ‘사실(Fact)‘이지만, 우리가 그 사실을 모를 때 비로소 $\frac{1}{3}$이나 $\frac{2}{3}$라는 ‘확률(Probability)‘이 피어납니다. 즉, 정보가 부족할수록 확률이라는 불확실성의 안개는 짙어지고, 정보가 투입되면 그 안개는 걷힙니다. 결국 확률과 정보는 서로 다른 개념이 합쳐진 것이 아니라, 사실상 같은 실체를 부르는 다른 이름이었던 것입니다.

우리는 매 순간 선택의 문 앞에 섭니다. 굳게 닫힌 문 뒤에 무엇이 기다리고 있는지 알 수는 없습니다. 그렇기에 선택이 언제든 틀릴 수 있음에 너무 자책하지 않아도 됩니다. 오히려 멈추지 않고 실패로 부터 배운 것에 맞춰 방향을 트는 유연함. 이것이야말로 확률이 말하고자했던 가장 지혜로운 삶의 태도가 아닐까요?