수학 · 무한의 크기
끝없이 이어지는 것에 크기를 매길 수 있을까. 셈이라는 행위를 가장 밑바닥부터 다시 정의하는 순간, 무한은 하나가 아니라 여러 종류로 갈라진다. 그리고 그중 어떤 무한은 분명히 다른 무한보다 더 크다.
먼저 분명히 해 둘 것이 하나 있다. 무한은 수가 아니다.
다섯 살 무렵, 누구나 한 번쯤 마음속으로 가장 큰 수를 찾아 나선 적이 있다. 하나, 둘, 셋, 넷을 세다 보면 자연스럽게 떠오르는 질문이 있다. 내가 떠올릴 수 있는 가장 큰 수는 무엇일까. 처음엔 스물이 어마어마해 보이고, 조금 더 크면 백만이 끝처럼 느껴진다. 그러나 어떤 수를 떠올리든 거기에 1을 더하면 더 큰 수가 나온다. 수는 결코 끝나지 않는다. 바로 이 끝없음, 영원히 이어진다는 성질이 무한이다.
그래서 무한은 백만이나 1조 같은 거대한 수가 아니라, 멈추지 않고 계속된다는 하나의 개념이자 관념이다. 기호로는 ∞을 쓰지만, 그 기호는 어떤 특정한 값을 가리키지 않는다. 여기까지는 누구에게나 익숙한 이야기다.
그런데 무한에 관한 사실 가운데 가장 뜻밖의 것이 여기서 시작된다. 무한에도 여러 종류가 있다는 점이다. 모든 무한이 똑같이 한 덩어리의 끝없음이 아니다. 어떤 무한은 다른 무한보다 더 크다. 이 문장이 왜 말이 되는지 이해하려면, 먼저 셈이라는 행위가 무엇인지부터 새로 배워야 한다.
수를 셀 줄 몰라도 셈을 할 수 있다. 핵심은 일대일로 짝짓는 일이다.
양 떼를 치는 목동을 떠올려 보자. 그가 숫자를 모른다고 해도, 아침에 양이 한 마리씩 우리를 나설 때마다 주머니에 돌멩이를 하나씩 넣어 두면 된다. 저녁에 양이 돌아올 때마다 돌멩이를 하나씩 꺼낸다. 돌멩이가 정확히 다 떨어지면 양은 모두 돌아온 것이고, 돌멩이가 남으면 그만큼 양을 잃은 것이다. 그는 양이 몇 마리인지 끝내 모르지만, 양과 돌멩이를 빠짐없이 하나씩 맞붙여 본 것만으로 두 무리의 크기가 같은지 다른지를 정확히 판정했다.
이 짝짓기가 바로 셈의 본질이다. 수학에서는 두 모임의 원소를 하나도 빠뜨리지 않고, 또 겹치지도 않게 일대일로 맞붙이는 대응을 일대일 대응(bijection, 전단사 대응)이라 부른다. 그리고 두 모임의 크기가 같다는 말의 진짜 정의는 이렇다. 두 모임 사이에 일대일 대응이 존재한다. 이것이 19세기 후반에 무한을 다루는 열쇠가 되었다.
유한한 것들에서는 이 정의가 당연하게 들린다. 사과 다섯 개와 접시 다섯 개는 하나씩 짝지어지니 크기가 같다. 그런데 이 정의를 무한에 들이대는 순간, 상식이 무너지기 시작한다.
16세기에 이미 한 자연철학자가 비슷한 당혹감을 기록으로 남겼다. 1638년 출간된 그의 마지막 저작에서, 그는 제곱수 1, 4, 9, 16, 25를 자연수 1, 2, 3, 4, 5와 견주었다. 제곱수는 자연수 중 극히 일부다. 100까지만 봐도 제곱수는 열 개뿐이고, 위로 갈수록 점점 더 드물어진다. 그런데 모든 자연수에는 그것을 제곱한 수가 정확히 하나씩 대응하고, 모든 제곱수에는 그 제곱근이 정확히 하나씩 대응한다. 짝지어 보면 둘은 같은 만큼 많다. 그는 이 모순 앞에서, 많다·같다·적다 같은 말은 무한에는 함부로 쓸 수 없다고 결론지었다. 답을 내지는 못했지만, 무한에서는 부분이 전체와 같아질 수 있다는 핵심을 정확히 짚은 셈이다.
방이 1번, 2번, 3번… 끝없이 이어지는 호텔이 있다고 하자. 오늘 밤 모든 방이 꽉 찼는데, 새 손님 한 명이 도착한다. 보통 호텔이라면 만실이니 돌려보내야 한다. 그러나 이 호텔의 지배인은 방송을 한다. "모든 손님은 지금 방 번호보다 하나 큰 방으로 옮겨 주십시오." 1번 손님은 2번으로, 2번 손님은 3번으로, n번 손님은 n+1번으로 이동한다. 그러면 1번 방이 비고, 새 손님이 그곳에 든다. 누구도 쫓겨나지 않았다.
이 사고 실험은 1920년대에 한 수학자가 무한의 기묘함을 설명하려고 든 예시다. 만실인데도 손님을 더 받을 수 있는 까닭은 단 하나, 방의 수가 끝나지 않기 때문이다. 끝이 없다는 성질이, 부분과 전체를 같은 크기로 만든다.
짝짓기를 기준으로 삼으면, 무한의 첫 번째 종류가 모습을 드러낸다.
이 첫 번째 종류의 무한을 학술 용어로는 가산(可算, countable)이라 부른다. 솔직히 이 이름은 어울리지 않는다. 무한히 많은 것을 끝까지 세는 일은 애초에 불가능하기 때문이다. 그래서 이 글에서는 더 정직한 표현을 쓰겠다. 나열할 수 있는 무한이다. 첫째, 둘째, 셋째… 하고 차례를 매겨 한 줄로 늘어세울 수 있는가. 그 줄 안에 빠지는 원소가 하나도 없는가. 그럴 수 있다면 그 무한은 자연수와 같은 크기다.
자연수 1, 2, 3, 4, 5…는 정의상 이미 한 줄로 늘어서 있다. 그러면 음수까지 포함한 정수는 어떨까. 0을 중심으로 1과 −1, 2와 −2, 3과 −3이 양옆으로 뻗어 나가니, 언뜻 자연수의 두 배쯤 되는 무한처럼 보인다. 그러나 늘어세우는 순서만 바꾸면 된다. 0, 1, −1, 2, −2, 3, −3… 이렇게 한가운데서 시작해 좌우로 번갈아 집어 들면, 모든 정수가 빠짐없이 한 줄에 들어온다. 정수도 나열할 수 있다. 두 배처럼 보였지만 자연수와 같은 크기의 무한이다.
더 놀라운 것은 분수다. 1/2, 3/7, 22/100처럼 정수 둘의 비로 적히는 수를 모두 모으면, 수직선 위 어디를 들여다봐도 분수가 빽빽하게 들어차 있다. 두 분수 사이에는 언제나 또 다른 분수가 무수히 끼어 있다. 이렇게 촘촘한 것을 한 줄로 세운다는 것은 불가능해 보인다. 그런데 약간의 꾀를 부리면 가능하다.
분수를 격자판에 늘어놓아 보자. 세로로는 분자를 1, 2, 3…으로, 가로로는 분모를 1, 2, 3…으로 잡으면, 칸마다 하나의 분수가 자리한다. 모든 분수는 이 무한히 넓은 격자 어딘가에 반드시 들어 있다. 이제 이것을 한 줄로 옮겨 적어야 하는데, 첫째 줄부터 가로로 1/1, 1/2, 1/3, 1/4… 하고 훑으면 함정에 빠진다. 첫째 줄만 영원히 세다가 둘째 줄에는 영영 닿지 못한다. 가로로는 나열할 수 없다.
방법은 대각선이다. 격자를 비스듬한 대각선 띠로 잘라, 한 띠씩 훑어 내려가는 것이다. 모든 분수는 어느 한 대각선 띠 위에 반드시 놓이고, 띠는 유한한 개수의 칸으로 이루어져 있으므로 한 띠를 다 적고 다음 띠로 넘어갈 수 있다. 이렇게 지그재그로 훑으면, 격자 위 모든 분수가 언젠가는 차례를 받는다.
그래서 분수도 나열할 수 있다. 수직선을 빈틈없이 메우는 것처럼 보이던 분수가, 알고 보면 자연수와 똑같은 크기의 무한이었다는 뜻이다. 여기까지 보면 한 가지 의심이 들 만하다. 결국 모든 무한은 적당히 영리하게 줄을 세우기만 하면 다 나열되는 것 아닐까. 무한은 그냥 무한이고, 크기를 따지는 일 자체가 말장난 아닐까.
이제 수직선 위의 모든 점을 한꺼번에 다룬다. 여기서 무한은 다른 종류로 갈라진다.
수직선을 끊김 없이 채우는 모든 수를 실수(實數)라 한다. 정수와 분수는 물론이고, 분수로는 결코 적을 수 없는 수들까지 전부 포함된다. 원의 둘레를 지름으로 나눈 값 π, 자연로그의 밑 e, 2의 제곱근처럼 소수점 아래가 영원히 불규칙하게 이어지는 무리수가 모두 실수다. 소수점 아래로 끝없이 펼쳐지는 모든 소수의 모임, 그것이 실수다.
이것도 나열할 수 있을까. 0과 1 사이의 실수만 떼어 늘어세워 보려 해도 곧 막힌다. 0 다음에 무엇을 적어야 하나. 가장 작은 양의 실수란 존재하지 않는다. 0.1을 적으면 0.01을 빠뜨렸고, 0.01을 적으면 0.001을 빠뜨린다. 어떤 두 수 사이에도 또 다른 실수가 끝없이 끼어 있으니, 첫 줄을 세우려는 시도부터 좌절된다. 그러나 못 세는 것처럼 보인다는 것만으로는 증명이 아니다. 우리가 충분히 영리하지 못해서일 수도 있으니까. 놀라운 점은, 어떤 방법으로도 결코 나열할 수 없음을 엄밀하게 증명할 수 있다는 것이다.
증명의 전략은 귀류법이다. 일단 누군가 실수를 전부 나열하는 데 성공했다고 가정하자. 그런 목록이 정말 있다고 치고, 그것이 어떤 모습일지 그려 본다. 0과 1 사이의 실수가 첫째, 둘째, 셋째… 끝없이 줄지어 적혀 있고, 각 줄은 소수점 아래로 무한히 이어지는 숫자열이다. 이 목록에는 0과 1 사이의 모든 실수가 빠짐없이 들어 있다고 주장한다.
이제 이 목록을 비웃는 새로운 수를 하나 만들어 보자. 만드는 법은 이렇다. 첫째 줄의 소수점 아래 첫째 자리, 둘째 줄의 둘째 자리, 셋째 줄의 셋째 자리… 이렇게 대각선을 따라 숫자를 하나씩 뽑는다. 그런 다음 뽑은 숫자를 일정한 규칙으로 전부 바꾼다. 여기서는 이렇게 하자. 5가 아니면 5로 바꾸고, 5이면 6으로 바꾼다. 바뀐 숫자들을 차례로 이어 붙이면 0과 1 사이의 새 소수가 하나 만들어진다.
이제 방금 만든 수를 살펴보자. 이 수는 목록의 첫째 줄과 첫째 자리에서 다르다. 만드는 규칙이 그러했기 때문이다. 둘째 줄과는 둘째 자리에서 다르고, 셋째 줄과는 셋째 자리에서 다르며, n번째 줄과는 n번째 자리에서 반드시 다르다. 즉 이 수는 목록에 적힌 그 어떤 수와도 최소한 한 자리에서 어긋난다. 어느 줄과도 완전히 같을 수 없다.
그런데 우리는 이 목록이 0과 1 사이 모든 실수를 빠짐없이 담았다고 가정했다. 방금 만든 수도 0과 1 사이의 실수다. 그렇다면 그것은 목록 어딘가에 있어야 한다. 그러나 방금 보았듯 그것은 어느 줄과도 다르므로 목록에 없다. 있어야 하는데 없다. 가정이 모순에 부딪혔다. 따라서 애초의 가정, 곧 실수를 전부 나열할 수 있다는 가정이 틀렸다.
여기서 자연스러운 반문이 나온다. 그렇게 만든 수를 그냥 목록 맨 끝에 끼워 넣으면 되지 않나. 그리고 이 작업을 계속 반복하면 결국 모두 잡아낼 수 있지 않을까. 그러나 새 수를 끼워 넣어 목록을 고치는 순간, 똑같은 방법으로 그 새 목록을 비웃는 또 다른 수를 만들 수 있다. 몇 개를 더 채워 넣든 매번 빠져나가는 수가 생긴다. 어떤 목록도 실수 전체를 담을 수 없다는 사실은 그대로다.
한 가지 기술적인 단서를 덧붙인다. 소수에는 0.4999…와 0.5000…처럼 서로 다르게 적혔지만 값은 같은 표기가 있다. 이 함정을 피하려고 수학에서는 자리를 바꿀 때 0이나 9를 쓰지 않도록 규칙을 조금 더 다듬는다. 위에서 든 규칙도 5와 6만 쓰므로 이 문제에서 자유롭다. 어느 쪽이든 결론은 바뀌지 않는다.
실수는 나열할 수 없다. 자연수·정수·분수의 무한보다 더 큰, 다른 종류의 무한이다.
무한이 둘로 갈라졌으니, 이제 이름을 붙이고 줄을 세울 차례다.
어떤 모임에 원소가 몇 개나 들어 있는지를 나타내는 양을 농도(濃度, cardinality)라 한다. 유한한 모임에서는 농도가 곧 원소의 개수다. 무한한 모임에서는 농도가 무한의 크기를 가리킨다. 나열할 수 있는 무한, 곧 자연수의 농도에는 히브리 문자 알레프에 0을 붙여 ℵ₀(알레프 영)이라는 이름이 붙었다. 정수도 분수도 모두 이 ℵ₀이다.
실수의 농도는 이보다 크다. 실수는 수직선이라는 연속된 띠를 이루므로, 그 농도를 연속체(continuum)라 하고 기호로는 c로 적는다. 대각선 논법이 증명한 것은 바로 c가 ℵ₀보다 진짜로 크다는 사실이다. 두 무한은 같은 무한이 아니다.
여기서 한 걸음 더 나아가면 더 어지러운 풍경이 펼쳐진다. 어떤 모임이 주어졌을 때, 그 원소들로 만들 수 있는 모든 부분 모임을 한데 모은 것을 거듭제곱집합(멱집합, power set)이라 한다. 같은 대각선 발상을 변형하면, 어떤 모임이든 그 거듭제곱집합은 원래 모임보다 반드시 더 큰 농도를 가진다는 것을 증명할 수 있다. 유한이든 무한이든 예외가 없다.
이 정리의 결과는 충격적이다. 자연수에서 출발해 그 거듭제곱집합을 만들면 실수만큼 큰 무한이 나오고, 거기서 다시 거듭제곱집합을 만들면 그보다 더 큰 무한이 나오며, 이 과정은 영원히 멈추지 않는다. 무한은 단 두 종류가 아니라, 끝없이 더 커지는 무한의 탑을 이룬다. 그리고 이 탑에는 꼭대기가 없다. 가장 큰 무한이라는 것은 존재하지 않는다.
두 무한 사이에는 무엇이 있을까. 이 질문이 수학의 토대를 뒤흔들었다.
이제 가장 자연스러운 의문이 남는다. 자연수의 무한 ℵ₀와 실수의 무한 c 사이에, 또 다른 중간 크기의 무한이 끼어 있을까. 다시 말해 ℵ₀보다는 크고 c보다는 작은 무한이 존재할까. 1870년대에 이 무한 이론을 세운 수학자는 그런 중간 무한은 없다고 추측했다. ℵ₀ 바로 다음 크기의 무한이 곧 실수의 무한이라는 것이다. 이 추측을 연속체 가설(continuum hypothesis)이라 부른다. 한 가지 짚을 점은, 대각선 논법이 보장하는 것은 c가 ℵ₀보다 크다는 데까지이고, c가 정확히 그 바로 다음 크기라는 등식 자체가 바로 연속체 가설이라는 사실이다.
그는 평생 이 가설을 증명하려 애썼지만 끝내 성공하지 못했다. 증명에 다가서지 못한다는 사실이 그를 깊이 괴롭혔다. 1900년, 한 저명한 수학자가 파리에서 20세기 수학이 풀어야 할 23개의 문제를 발표했을 때, 연속체 가설은 그 목록의 맨 첫 번째 자리에 놓였다. 당대 최고의 수학자들이 매달릴 만큼 중요한 문제로 공인된 것이다.
그러나 답은 그 누구도 예상하지 못한 방향에서 왔다. 1940년, 한 논리학자가 수학의 표준적인 토대 위에서는 연속체 가설을 반증할 수 없음을 증명했다. 가설이 거짓이라고 말할 근거가 표준 체계 안에 없다는 뜻이다. 그로부터 23년 뒤인 1963년, 다른 수학자가 새로운 기법을 고안해 그 가설을 증명할 수도 없음을 보였다. 두 결과를 합치면 결론은 이렇다. 연속체 가설은 오늘날 수학이 딛고 선 표준 공리만으로는 증명할 수도, 반증할 수도 없다. 참이라 해도 모순이 없고, 거짓이라 해도 모순이 없다.
오랫동안 기하학에는 한 점에서 주어진 직선에 평행한 직선은 단 하나뿐이라는 전제가 있었다. 19세기에 이르러, 이 전제를 받아들이지 않아도 모순 없는 기하학이 가능하다는 사실이 밝혀졌다. 평행선의 수는 기하학의 토대에서 결정되는 것이 아니라, 어떤 세계를 고르느냐에 따라 달라지는 선택이었던 것이다.
연속체 가설도 이와 닮았다. 그것은 수학의 기본 규칙에서 참·거짓이 정해지는 명제가 아니라, 어떤 수학을 택하느냐에 따라 달라지는 갈림길이다. 답이 없다는 것이 곧 답이었다. 무한의 크기를 묻는 가장 단순한 질문이, 수학 자체의 한계를 들춰낸 셈이다.
이 모든 발상은 한 사람에게서 나왔고, 그는 그 대가를 혹독하게 치렀다.
여기까지의 이야기를 만든 사람은 독일 수학자 게오르크 칸토어(Georg Cantor)다. 1845년 상트페테르부르크에서 태어나 베를린에서 수학을 공부했고, 1868년 박사 학위를 받은 뒤 할레 대학에서 평생 연구했다. 무한을 끝없이 이어지는 과정이 아니라 이미 완성된 하나의 대상으로 다루고, 그 크기를 비교하며, 더 큰 무한과 더 작은 무한을 가르는 그의 발상은 당시 수학의 상식을 정면으로 거슬렀다.
반발은 거셌다. 특히 그의 옛 스승이었던 레오폴트 크로네커(Leopold Kronecker)가 앞장섰다. 크로네커는 수학이 유한하고 손에 잡히는 절차 안에 머물러야 한다고 믿었고, 칸토어가 다루는 무한의 위계를 근거 없는 것으로 일축했다. 그는 영향력을 동원해 칸토어의 논문 발표를 가로막기까지 했다. 무한을 비교한다는 발상은 헛소리로 매도되었고, 칸토어는 학계 안에서 사실상 사기꾼 취급을 받았다. 그를 미친 이론가로 보는 시선은 수학계 바깥의 일부 철학자와 신학자에게까지 번졌다.
이 적대는 칸토어의 정신에 깊은 그늘을 드리웠다. 그는 1884년 무렵부터 반복적인 우울증에 시달렸고, 여러 차례 병원에 입원했으며, 말년의 상당 기간을 요양 시설에서 보내다 그곳에서 생을 마쳤다. 그의 우울은 동시대인들의 적대에서 비롯되었다고 보는 견해가 많고, 일부는 양극성 장애의 증상으로 해석하기도 한다. 한편으로는 자신이 증명하려다 끝내 닿지 못한 연속체 가설이 그를 줄곧 괴롭혔다.
그러나 모두가 등을 돌린 것은 아니었다. 리하르트 데데킨트와 카를 바이어슈트라스는 그의 연구를 지지했고, 무엇보다 다비트 힐베르트가 그의 편에 섰다. 힐베르트는 칸토어가 열어 놓은 무한의 세계를 하나의 낙원에 빗대며, 누구도 우리를 이 낙원에서 내쫓지 못할 것이라고 단언했다. 칸토어 자신은 정작 동료들의 텃세에 시달린 경험 때문에 젊은 학자들을 각별히 아꼈고, 1897년 취리히에서 열린 최초의 국제 수학자 대회가 성사되는 데에도 힘을 보탰다.
그가 옳았다는 사실은 생애 말년에 이르러 비로소 인정받았다. 한때 헛소리로 몰렸던 그의 이론은 오늘날 수학의 가장 기본적인 언어가 되었다. 무한에 종류가 있다는 그 기이한 주장은, 이제 어느 대학 강의실에서나 가르치는 정설이다.
직관을 거스르는 결론이 어떻게 수학의 토대가 되었는가.
무한을 둘러싼 이 이야기의 핵심은 발상의 전환에 있다. 무한을 막연한 끝없음으로 두는 대신, 셈을 짝짓기로 다시 정의함으로써 무한끼리 크기를 견줄 수 있게 만든 것이다. 그 결과는 우리의 직관을 거스른다. 분수처럼 빽빽한 것이 자연수와 같은 크기라는 사실도, 실수가 그보다 더 큰 무한이라는 사실도, 무한의 크기가 끝없이 커진다는 사실도, 그리고 가장 단순한 질문 하나가 끝내 답을 가질 수 없다는 사실도 모두 직관과 어긋난다. 그러나 어느 것 하나 느낌이 아니라 논리로 엄밀하게 증명된 결론이다.
목록의 대각선을 따라가며 모든 항목과 어긋나는 새로운 것을 만들어 낸다는 발상은 무한의 크기를 가르는 데서 그치지 않았다. 같은 짜임새의 논증이 훗날 수학의 다른 한계를 드러내는 데 쓰였다. 충분히 강력한 수학 체계라면 참이지만 그 안에서는 증명할 수 없는 명제가 반드시 존재한다는 결과, 그리고 어떤 프로그램이 영원히 멈추지 않을지를 모든 경우에 미리 판정해 주는 만능 절차는 존재할 수 없다는 결과가 모두 이 대각선의 후예다.
끝없이 이어지는 것에 크기를 매길 수 있느냐는 물음에서 출발한 길은, 무한을 길들였을 뿐 아니라 수학과 논리의 바닥까지 비추는 등불이 되었다. 어떤 무한은 다른 무한보다 크다. 이 한 문장 뒤에는, 끝없음을 정면으로 마주한 한 사람의 집요함과 그가 치른 대가가 함께 놓여 있다.