수학 · 위상수학 이야기

100만 달러를 거절한 증명

고무판 위의 기하학에서 출발해, 100년 동안 풀리지 않던 한 질문이 마침내 답을 얻기까지. 그리고 그 답으로 100만 달러와 수학계 최고의 영예를 함께 거절한 사람의 이야기.

2026년 5월 · 약 18분 분량

2010년 여름, 미국의 한 수학 연구소가 곤란한 발표를 내놓았다. 100만 달러의 상금을 받을 사람이 그 돈을 받지 않겠다고 했다는 것이다. 상을 받을 자격이 없어서가 아니었다. 그는 100년 가까이 누구도 풀지 못한 문제를 풀어낸 장본인이었다. 다만 그는 상도, 그 전에 제안된 수학계 최고의 메달도, 그리고 세계 어느 대학에서든 받을 수 있었을 자리까지 모두 사양했다. 그리고 고향의 작은 아파트로 돌아가 사실상 자취를 감췄다.

그가 푼 문제의 이름은 푸앵카레 추측(Poincaré Conjecture)이다. 이름만 들으면 어렵고 멀게 느껴지지만, 그 핵심에 있는 질문은 의외로 소박하다. 바로 “어떤 모양이 공(球)인지 아닌지를, 우리가 어떻게 확실히 알아볼 수 있는가”다. 이 글은 그 질문이 무엇이었고, 왜 그렇게 오래 풀리지 않았으며, 어떤 뜻밖의 도구로 풀렸는지, 그리고 그것을 푼 사람이 왜 모든 보상을 거절했는지를 따라간다. 수학을 전공하지 않은 독자를 위해, 어려운 개념은 그때그때 일상의 비유로 풀어 설명한다.

1.100만 달러짜리 질문 일곱 개

2000년, 미국의 한 수학 연구소가 새 천 년을 기념하며 목록 하나를 발표했다. 당대 수학에서 가장 중요하면서도 아직 답이 없는 문제 일곱 개를 추려, 각각에 100만 달러의 상금을 걸겠다는 것이었다. 이 일곱 문제는 흔히 밀레니엄 문제(Millennium Prize Problems)라고 불린다. 단순한 명예가 아니라, 연구소가 실제로 상금을 따로 마련해두고 푸는 사람을 기다리는 방식이었다.

일곱 문제의 면면은 화려하다. 소수(素數)의 분포 깊숙한 곳을 다루는 리만 가설(Riemann Hypothesis), 컴퓨터가 풀 수 있는 문제의 한계를 묻는 P 대 NP 문제(P versus NP Problem), 유체의 흐름을 기술하는 나비에–스토크스 방정식(Navier–Stokes Equation)의 해(解)에 관한 문제, 그리고 양–밀스 이론(Yang–Mills Theory), 호지 추측(Hodge Conjecture), 버치–스위너턴다이어 추측(Birch and Swinnerton-Dyer Conjecture), 그리고 푸앵카레 추측이다. 하나하나가 그 분야의 가장 높은 봉우리로 꼽힌다.

발표로부터 사반세기가 지난 지금, 이 일곱 문제 가운데 정식으로 풀린 것은 단 하나뿐이다. 바로 푸앵카레 추측이다. 나머지 여섯은 여전히 누군가의 증명을 기다리고 있다. 그러니 푸앵카레 추측의 해결은, 단지 어려운 문제 하나가 풀린 사건이 아니라 한 시대의 수학이 넘은 결정적 분수령이었다.

2.고무판 위의 기하학

푸앵카레 추측은 위상수학(Topology)이라는 분야에서 나왔다. 위상수학을 한마디로 설명하면, ‘늘이고 구부려도 변하지 않는 성질’을 다루는 기하학이다. 우리가 학교에서 배운 보통의 기하학은 길이와 각도, 넓이를 따진다. 정사각형과 직사각형은 다른 도형이고, 큰 원과 작은 원도 구별된다. 그러나 위상수학은 그런 차이에는 관심이 없다. 대신 모양을 말랑한 고무판이나 찰흙 덩어리처럼 다룬다.

이 관점에서 보면 흥미로운 일이 벌어진다. 손잡이가 달린 커피잔과 도넛은 위상수학적으로 똑같은 물건이다. 둘 다 ‘구멍이 하나 뚫린 덩어리’이기 때문이다. 커피잔을 충분히 말랑한 찰흙으로 여기면, 컵 부분을 납작하게 눌러 펴고 손잡이의 구멍을 살려 도넛 모양으로 바꿀 수 있다. 손잡이 구멍이 도넛의 구멍이 되는 셈이다. 그래서 “위상수학자는 커피잔과 도넛을 구별하지 못하는 사람”이라는 오래된 농담이 있다.

여기서 결정적으로 중요한 것이 바로 구멍의 개수다. 자르거나 붙이는 것이 금지되어 있으므로, 변형만으로는 구멍의 개수를 바꿀 수 없다. 구멍이 없는 모양에서 구멍 하나를 만들려면 어딘가를 뚫어야 하고, 구멍을 없애려면 어딘가를 막아 붙여야 한다. 둘 다 반칙이다. 따라서 구멍의 개수는 변형을 견디고 살아남는, 그 모양의 본질적인 지문 같은 것이 된다.

그러니 위상수학에서 ‘공’이라는 말은 구슬처럼 단단한 특정 물체를 뜻하지 않는다. 럭비공이든 길쭉한 풍선이든 울퉁불퉁한 감자든, 자르거나 붙이지 않고 주물러서 둥근 공으로 만들 수 있는 모든 것을 통틀어 ‘공과 같은 모양’이라 부른다. 핵심은 단 하나, 구멍이 없다는 점이다.

3.구는 차원마다 다르다

여기서 한 단계 더 들어가야 한다. ‘공’이라는 개념은 사실 차원마다 모습이 다르다. 그리고 이 점을 분명히 해두지 않으면, 푸앵카레가 던진 질문을 정확히 이해할 수 없다.

가장 먼저, 원(圓)을 생각해보자. 평면 위에서 한 점으로부터 일정한 거리에 있는 점들을 모으면 원이 된다. 그런데 원 자체는 ‘선’이다. 그 위에 올라선 개미는 앞 아니면 뒤, 단 한 방향으로만 움직일 수 있다. 그래서 수학에서는 원을 1차원 구라고 부른다. 평면(2차원) 안에 그려져 있지만, 도형 자체가 가진 차원은 1이라는 뜻이다.

다음으로, 우리가 흔히 ‘공’이라 부르는 것의 표면을 보자. 야구공의 겉면, 혹은 지구 표면을 떠올리면 된다. 이 표면 위에서는 두 방향으로 움직일 수 있다. 지구로 치면 남북(위도)과 동서(경도)다. 어떤 위치든 두 개의 숫자로 정확히 가리킬 수 있다. 그래서 공의 표면은 2차원 구다. 표면을 둘러싼 공간은 3차원이지만, 표면 그 자체의 차원은 2다.

이제 한 칸 더 올라가자. 방금 그 비유에서 차원을 하나씩 높이면 3차원 구가 된다. 이것은 4차원 공간 안에서 한 점으로부터 일정한 거리에 있는 점들의 모임이고, 그 자체로는 ‘3차원짜리 표면’이다. 우리 머릿속으로 직접 그려보기는 거의 불가능하다. 4차원을 눈앞에 떠올리려고 애쓰면 머리만 아플 뿐이다. 그러나 논리적으로는 완벽하게 정의되는 도형이다. 굳이 직관을 빌리자면, ‘어느 방향으로든 끝없이 가는 것 같지만 결국은 자기 자신으로 닫혀 돌아오는 3차원 공간’ 정도로 상상할 수 있다.

정리하면 이렇다. 어떤 구의 ‘차원’은, 그 구를 담고 있는 공간의 차원이 아니라 구 자체의 차원, 즉 그 위에서 움직일 수 있는 방향의 수다. 공의 표면이 2차원인 것처럼, 우리가 흔히 ‘공’이라고 부를 때 떠올리는 둥근 표면은 정확히는 2차원 구다. 그리고 푸앵카레가 던진 질문이 향한 곳은, 그보다 한 단계 높은 3차원 구였다.

4.푸앵카레의 질문

1904년, 프랑스의 수학자 앙리 푸앵카레(Henri Poincaré)가 한 가지 질문을 글로 남겼다. 그는 수학의 여러 분야는 물론 물리학과 철학까지 넘나든 당대의 거장이었다. 그의 질문은 거칠게 옮기면 이렇다. “구멍이 없고 크기가 유한한 3차원 공간이라면, 그것은 반드시 3차원 구일 수밖에 없는가?”

여기서 두 가지 조건이 등장한다. 하나는 ‘크기가 유한하다’는 것이다. 끝없이 뻗어나가지 않고, 비유하자면 충분히 큰 상자 안에 담아 뚜껑을 닫을 수 있는 공간이라는 뜻이다. 다른 하나는 ‘구멍이 없다’는 것인데, 바로 이 조건을 수학적으로 정확히 표현하는 일이 관건이었다. 3차원에서는 도넛처럼 눈에 보이는 구멍을 가리키기가 쉽지 않기 때문이다. 수학자들은 이를 위해 영리한 시험법을 쓴다. 바로 고리 시험이다.

모든 올가미를 한 점으로 오므릴 수 있는 공간을 수학에서는 단일연결(simply connected)이라고 부른다. 즉 ‘구멍이 없다’는 막연한 말을, ‘어떤 고리든 한 점으로 줄어든다’는 분명한 시험으로 바꿔놓은 것이다. 공의 표면은 단일연결이고, 도넛은 그렇지 않다.

그리하여 푸앵카레의 질문은 이렇게 다듬어졌다. “유한하면서 단일연결인 3차원 공간은 반드시 3차원 구인가?” 2차원 표면에서는 이런 종류의 사실이 이미 알려져 있었다. 푸앵카레는 한 차원 더 높은 3차원에서도 똑같은 일이 성립하리라 짐작했다. 흥미롭게도 그는 처음 내놓았던 거친 형태의 추측을 스스로 반례로 무너뜨린 뒤, 조건을 ‘단일연결’로 가다듬어 다시 물었다. 다만 그것은 어디까지나 ‘추측’이었다. 증명은 그의 몫이 아니었고, 그 뒤로 무려 한 세기에 걸쳐 누구의 몫도 되지 못했다.

유한하고 구멍이 없는 3차원 공간은 결국 3차원 구일 수밖에 없는가 — 이 한 문장이 100년을 버텼다.

5.거꾸로 내려온 사다리

여기서 가장 뜻밖의 반전이 등장한다. 푸앵카레는 3차원을 물었지만, 수학자들은 같은 질문을 임의의 차원으로 넓혀 생각했다. 4차원 구, 5차원 구, 그 이상까지 똑같은 추측을 세울 수 있었다. 상식적으로는 우리가 사는 3차원이 가장 다루기 쉽고, 차원이 높아질수록 어려워질 것 같다. 그런데 실제로는 정반대였다.

차원 1과 2의 경우는 일찍부터 알려져 있었다. 그 다음으로 함락된 것은 놀랍게도 높은 차원 쪽이었다. 1960년 무렵, 미국의 수학자 스티븐 스메일(Stephen Smale)이 5차원 이상의 모든 경우를 한꺼번에 증명했다. 그는 이 업적으로 1966년 필즈상(Fields Medal)을 받았다. 필즈상은 흔히 ‘수학계의 노벨상’이라 불리는 최고의 영예다. 비슷한 시기에 다른 수학자들도 독립적으로 높은 차원의 증명을 내놓았다.

다음으로 무너진 것은 4차원이었다. 1982년, 마이클 프리드먼(Michael Freedman)이 4차원 경우를 증명했고, 1986년 필즈상을 받았다. 이때는 스메일이 쓴 방법이 통하지 않아, 전혀 다른 기발한 기법이 동원되어야 했다. 이렇게 해서 1, 2차원은 고전적으로, 5차원 이상은 1960년대에, 4차원은 1980년대에 차례로 정리됐다. 이 일련의 과정에서만 여러 개의 필즈상이 나왔다. 차원의 사다리에서, 가운데와 위쪽이 먼저 채워진 것이다.

그렇다면 단 하나, 끝까지 비어 있던 칸은 어디였을까. 바로 푸앵카레가 애초에 물었던 3차원이었다. 가장 친숙하고 쉬워 보이던 우리 세계의 차원이, 알고 보니 가장 견고한 마지막 요새였다.

6.모양을 둥글게 만드는 열

3차원이라는 마지막 요새를 무너뜨린 도구는, 위상수학의 전통적인 ‘자르고 붙이기’가 아니라 전혀 다른 발상에서 나왔다. 모양을 시간에 따라 ‘흐르게’ 해서 스스로 둥글어지게 만들자는 생각이었다. 그 도구의 이름이 리치 흐름(Ricci flow)이다.

리치 흐름은 1982년 미국의 수학자 리처드 해밀턴(Richard Hamilton)이 고안했다. 직관적으로는 ‘모양에 적용하는 열방정식’이라 부를 만하다. 뜨거운 쇠막대를 떠올려보자. 한쪽만 뜨겁게 달궈도, 시간이 지나면 열이 저절로 퍼져나가 막대 전체의 온도가 고르게 평평해진다. 이것이 열방정식이 기술하는 현상이다. 리치 흐름은 ‘온도’ 대신 ‘휘어진 정도’, 즉 곡률(curvature)에 대해 똑같은 일을 한다. 뾰족하고 심하게 휜 부분은 깎여나가고, 움푹한 부분은 채워지면서, 모양 전체가 시간이 흐를수록 점점 더 고르고 둥글게 변해간다.

이것이 해밀턴이 세운 전략이었다. 그는 리치 흐름이 여러 중요한 경우에 실제로 모양을 둥글게 만든다는 사실을 증명해냈다. 단순히 아이디어에 그치지 않고, 거기에 살을 붙이고 도구를 벼려 ‘프로그램’으로 발전시켰다. 푸앵카레 추측을 향한 가장 유망한 길이 비로소 열린 것이다. 리치 흐름의 토대를 닦은 이 공로로 해밀턴은 훗날 여러 권위 있는 상을 받았다. 다만 그 자신은 이 길의 끝에 놓인 마지막 관문 하나를 넘지 못하고 멈춰 서 있었다.

7.특이점이라는 벽, 그리고 수술

해밀턴의 길을 막은 마지막 관문은 특이점(singularity)이라 불린다. 리치 흐름이 늘 모양을 얌전히 둥글게만 만들어주는 것은 아니라는 데서 문제가 시작됐다. 어떤 모양에서는 흐름이 진행되는 도중, 일부분이 점점 가늘어지다가 끊어질 듯 잘록해지면서 그 지점의 곡률이 무한대로 치솟아 버린다. 마치 계산이 0으로 나누기에 부딪힌 것처럼, 흐름이 그 순간 더 이상 정의되지 않고 멈춰버린다. 이런 폭발 지점이 바로 특이점이다.

전형적인 장면은 아령 모양이다. 두 개의 덩어리가 가느다란 목으로 이어진 형태를 떠올려보자. 리치 흐름을 돌리면 이 목이 점점 더 가늘어지다가 끝내 한 점으로 잘록하게 조여든다. 바로 그 목에서 곡률이 터지면서 흐름이 멈춘다. 해밀턴은 이 특이점들을 완전히 통제할 수 없었다. 어떤 모양의 특이점이 생길 수 있는지, 혹시 통제 불능의 괴상한 특이점이 끝없이 쏟아져 나오지는 않을지를 장담하지 못해, 프로그램은 여기서 멈춰 있었다.

이 기법을 수술을 동반한 리치 흐름(Ricci flow with surgery)이라 부른다. 핵심은 단순히 ‘자르고 막는다’는 발상이 아니라, 그 일을 해도 괜찮다는 것을 엄밀하게 증명한 데 있다. 러시아의 수학자 그리고리 페렐만(Grigori Perelman)은 2002년과 2003년에 걸쳐 세 가지를 보여주었다. 첫째, 나타날 수 있는 나쁜 특이점은 통제 가능한 몇 가지 모양뿐이다. 둘째, 수술이 유한한 시간 안에 무한히 반복되지 않는다. 셋째, 수술을 해도 우리가 알아내려는 위상수학적 정보가 망가지지 않는다. 이 세 가지가 갖춰지자, 흐름은 끝까지 진행될 수 있었고, 남은 조각들은 결국 둥근 구로 판명됐다. 마침내 푸앵카레의 추측이 증명된 것이다.

8.푸앵카레보다 큰 질문

리치 흐름이라는 강력한 도구가 등장했지만, 실제로 푸앵카레 추측을 푼 증명은 이 추측 하나만 겨냥한 것이 아니었다. 그보다 훨씬 큰 그림 속에서 푸앵카레 추측이 자연스럽게 떨어져 나왔다. 그 큰 그림의 이름은 기하화 추측(Geometrization Conjecture)이다.

1982년, 한 미국 수학자가 3차원 모양 전체에 관한 대담한 가설을 내놓았다. 우리가 떠올릴 수 있는 모든 ‘닫힌 3차원 공간’은, 적절히 잘라 나누면 몇 개의 조각이 되는데, 그 조각 하나하나는 정해진 여덟 가지 표준 기하 가운데 하나의 모습을 띤다는 것이다. 구의 기하, 평평한 기하, 안장처럼 휘어진 기하 등 여덟 가지가 마치 기본 원소처럼 정해져 있고, 어떤 복잡한 3차원 공간도 결국 이 원소들의 조합으로 분해된다는 주장이었다.

이 추측이 중요한 이유는, 그것이 참이라면 푸앵카레 추측은 그 안에 포함된 특별한 한 경우로 저절로 따라 나오기 때문이다. 구멍이 없고 유한한 3차원 공간이라는 조건을 기하화 추측에 대입하면, 가능한 답은 가장 단순한 표준 기하, 즉 구의 기하뿐으로 좁혀진다. 다시 말해 기하화 추측을 증명하는 사람은, 그 부산물로 푸앵카레 추측까지 함께 증명하게 되는 구조였다. 더 어렵고 더 일반적인 산을 넘으면, 그 능선 위에 푸앵카레라는 봉우리가 함께 놓여 있는 셈이다.

그래서 1980년대 이후 이 문제에 도전한 수학자들의 진짜 목표는 점점 더 분명해졌다. 리치 흐름으로 기하화 추측 전체를 공략하는 것. 그것이 성공하면 100년 묵은 푸앵카레 추측은 자동으로 무너진다. 문제는 그 길이 누구도 끝까지 걸어본 적 없는 험로였다는 점이다.

9.인터넷에 올라온 증명

2002년 늦가을, 한 편의 논문이 학술지가 아니라 인터넷의 무료 논문 공개 사이트에 조용히 올라왔다. 작성자는 러시아의 수학자 그리고리 페렐만(Grigori Perelman)이었다. 이듬해에 걸쳐 그는 두 편을 더 올렸고, 세 편을 합치면 리치 흐름으로 기하화 추측을 증명하는 전체 논증이 완성되는 구성이었다. 정식 학술지 투고도, 요란한 발표도 없었다. 누구나 내려받아 읽을 수 있게 인터넷에 던져 놓은 것이 전부였다.

푸앵카레 추측은 그럴 만한 자격이 있는 대상이었다. 100년 가까운 세월 동안 수많은 도전자가 “풀었다”고 나섰다가 오류가 드러나기를 반복했다. 잘못된 증명 시도가 수학사에서 손꼽힐 만큼 쌓인 문제였다. 역설적이게도 이는 그만큼 많은 사람이 진지하게 매달렸다는 증거이기도 했다. 그러니 인터넷에 올라온 이 증명 역시 처음에는 “이번에야말로 진짜인가”라는 의심 어린 흥분 속에서 검토되기 시작했다.

검증은 가볍지 않았다. 세계 곳곳의 연구진이 논문을 장(章) 단위로 나눠 맡아 한 줄 한 줄 따라갔지만, 한 장을 온전히 이해하는 데에만 막대한 시간이 들었다. 페렐만이 압축적으로 적어 놓은 단계들을 다른 수학자들이 빠짐없이 풀어 쓰고 빈틈을 메우는 작업이 이어졌고, 그 결과를 정리한 해설 원고들은 각각 수백 쪽에 이르렀다. 이런 집단 검증을 거쳐, 논문이 공개된 지 여러 해가 지난 뒤에야 수학계는 결론을 내렸다. 페렐만의 증명은 옳다. 푸앵카레 추측은 참이다.

10.모든 보상을 거절하다

여기까지라면 “위대한 난제를 푼 천재” 이야기로 끝났을 것이다. 수학자가 오랜 난제를 푸는 일은 분명 큰 사건이지만, 그것만으로 세상의 머리기사가 되지는 않는다. 페렐만을 1년 가까이 대중의 화제로 만든 것은 증명 그 자체가 아니라, 그가 보인 뜻밖의 선택이었다.

2006년, 수학계는 4년마다 한 번 수여하는 최고의 영예인 필즈상(Fields Medal)을 그에게 안기기로 했다. 흔히 ‘수학의 노벨상’이라 불리는 상이다. 페렐만은 이를 거절했다. 시상식에 나타나지도 않았다. 이어 2010년, 100만 달러의 밀레니엄 상금이 그의 몫으로 공식 결정되었을 때도 그는 받지 않겠다고 밝혔다. 세계 어느 대학이든 그를 원했고 어떤 자리든 그의 것이 될 수 있었지만, 그는 그 길도 택하지 않았다.

흥미로운 역설이 여기 있다. 어려운 문제를 푼 수학자는 뉴스가 되지 않지만, 어려운 문제를 풀고도 100만 달러를 마다한 수학자는 1년 내내 뉴스가 되었다. 그는 그 관심마저 원하지 않았다. 고향인 상트페테르부르크의 작은 집으로 돌아가 어머니와 조용히 지내며, 사실상 수학계 전면에서 물러났다. 세계를 돌며 강연하던 짧은 시기 이후로, 그는 스스로 빛 바깥으로 걸어 들어갔다.

그의 선택을 두고 평가는 갈린다. 누군가는 학문적 양심의 결벽이라 부르고, 누군가는 지나친 고립이라 안타까워한다. 다만 한 가지는 분명하다. 그는 문제를 푸는 일 자체가 목적이었지, 그 대가가 목적이 아니었다는 점이다.

11.남은 여섯 문제, 그리고 남은 것

100년에 걸친 이 이야기를 시간 순으로 다시 짚으면, 한 질문이 어떻게 여러 세대의 손을 거쳐 마침내 닫혔는지가 한눈에 들어온다.

주목할 점은 차원의 순서다. 우리가 사는 3차원이 가장 어려웠고, 가장 늦게 풀렸다. 높은 차원에는 모양을 자유롭게 비틀 여유 공간이 많아 오히려 증명의 길이 트였던 반면, 3차원은 그 여유가 없어 마지막까지 버틴 것이다. 푸앵카레가 처음 물었던 바로 그 차원이, 100년 동안 가장 끈질긴 저항을 보인 셈이다.

밀레니엄 문제 일곱 가운데 풀린 것은 여전히 이 하나뿐이다. 리만 가설을 비롯한 나머지 여섯은 지금도 답을 기다린다. 각각에는 변함없이 100만 달러가 걸려 있다. 누군가에게는 그 문제들이 한낱 추상적 수수께끼로 보일 것이다. 그러나 푸앵카레 추측의 100년이 보여주듯, 이런 질문 하나가 풀리는 과정에서 수학은 전에 없던 도구를 발명하고, 서로 동떨어져 보이던 분야들이 한 줄기로 이어진다. 모양을 둥글게 펴는 ‘열’ 같은 발상이 100년 묵은 기하학의 난제를 끝낸 것처럼 말이다.

그리고 그 끝에는, 답을 손에 쥐고도 모든 보상을 돌려보낸 한 사람이 있었다. 그는 문제가 풀렸다는 사실로 충분했고, 나머지는 자신의 몫이 아니라고 여겼다. 푸앵카레 추측의 이야기가 오래 기억되는 이유는 100만 달러 때문이 아니라, 어쩌면 그 돈을 거절한 이 마지막 장면 때문일지도 모른다.