수학사 · 정수론
17세기 한 법관이 책 여백에 남긴 메모 한 줄이, 어떻게 인류 최고의 수학자들을 358년 동안 괴롭혔고 마침내 풀렸는가.
어떤 문제는 한 줄로 적을 수 있을 만큼 단순하다. 그러나 그 답을 찾는 데에는 358년의 세월과 수백 명의 천재가 필요할 수도 있다. 페르마의 마지막 정리가 바로 그런 문제였다. 학교에서 배우는 피타고라스 정리만 알면 질문 자체는 누구나 이해할 수 있지만, 그 답을 향한 길은 세 세기 반 동안 거의 모든 도전자를 되돌려보냈다.
1637년 무렵, 프랑스 남부 툴루즈. 본업은 법을 다루는 일이었고 수학은 어디까지나 취미였던 한 사람이 저녁마다 고대 그리스 수학책을 펼쳐 들었다. 어느 날 그는 책의 한 페이지 여백에 라틴어로 짧은 메모를 휘갈겼다. 풀어 옮기면 이렇다. “나는 이것을 증명하는 정말 놀라운 방법을 찾아냈다. 그러나 이 여백은 그것을 적기에는 너무 좁다.”
문제는, 그가 그 ‘놀라운 증명’을 어디에도 적어 두지 않았다는 데 있다. 다른 수학자들에게 보낸 편지에서도 그는 이 증명을 끝내 언급하지 않았다. 그가 세상을 떠난 뒤, 아들이 아버지의 메모를 모두 본문에 실은 새 판본을 출간하면서 이 한 줄도 세상에 알려졌다. 남은 것은 오직 여백의 메모뿐, 증명은 함께 사라졌다.
이 메모가 가리킨 식을 이해하려면 누구나 학교에서 한 번은 마주친 피타고라스 정리에서 출발해야 한다. 직각삼각형에서 두 변을 각각 제곱해 더하면 빗변의 제곱과 같다는, 바로 그 관계다.
x² + y² = z²이 식을 만족하는 ‘정수 짝’은 아주 많다. 가장 유명한 것이 3, 4, 5다. 3을 제곱하면 9, 4를 제곱하면 16, 둘을 더하면 25이고, 이는 정확히 5의 제곱이다. 5·12·13도, 8·15·17도 같은 규칙을 따른다. 이렇게 깔끔하게 맞아떨어지는 정수 짝은 하나둘이 아니라 무한히 많다.
그 법관은 여기서 한 걸음 더 나아갔다. “제곱(2제곱) 대신 세제곱이면 어떨까? 네제곱이면?” 다시 말해, 지수를 2보다 큰 어떤 수 n으로 바꾼 식을 떠올린 것이다.
xⁿ + yⁿ = zⁿ여기서 n은 2보다 큰 정수 (3, 4, 5, …)세제곱의 합이 또 다른 세제곱이 되는 0이 아닌 정수 짝이 있을까? 네제곱은? 그는 한참을 따져 본 끝에, 지수가 2보다 큰 모든 경우에 그런 정수 짝은 단 하나도 존재하지 않는다고 결론지었다. 단지 못 찾았다는 게 아니라, 절대 없다는 주장이었다.
여기에 이 문제의 기묘한 매력이 있다. 지수가 2인 식 하나는 무한히 많은 해를 거느린다. 그런데 지수가 3, 4, 5로 올라간 무한히 많은 식은 하나같이 해가 텅 비어 있다는 것이다. 단 한 칸의 차이가 ‘무한’과 ‘전무’를 가른다.
이 사람은 평생 수많은 수학적 주장을 책 곳곳의 메모로 남겼다. 대개 “나는 이것을 증명할 수 있다”는 호언과 함께였다. 후대 수학자들은 그 메모를 단서 삼아 빠진 증명을 하나씩 메워 나갔고, 놀랍게도 그가 옳았던 경우가 거의 전부였다.
그런데 딱 하나, 이 명제만은 누구도 증명해 내지 못했다. 끝까지 남은 마지막 미해결 명제라는 뜻에서 ‘마지막 정리’라는 이름이 붙었다. 마지막 하나로 남았다는 사실은 곧 가장 귀한 보석이라는 뜻이기도 했다. 도전했다 실패한 사람이 늘어날수록, 풀리지 않은 세월이 길어질수록, 이 문제는 점점 더 탐나는 대상이 되어 갔다.
추측 · 정리 · 증명, 무엇이 다른가 — 수학에서 추측은 “아마 참일 것”이라며 책상 위에 올려놓은 아이디어다. 그럴듯해 보여도 아직 참인지 거짓인지 모른다. 정리는 빈틈없는 논리로 참임이 확정된 명제다. 그 둘 사이를 잇는 다리가 증명이다. 여백의 명제는 본인이 ‘정리’라 불렀지만, 정작 다리(증명)가 없었으므로 350년 넘게 사실상 거대한 ‘추측’으로 남아 있던 셈이다.
자연스러운 의심이 따라붙는다. 정말 증명을 알고 있었을까, 아니면 허세였을까? 20세기에 이르러 이 문제가 얼마나 깊은지 분명해지자, 크게 세 가지 가설이 떠돌았다.
첫째, 후대를 골탕 먹이려는 짓궂은 장난이었다는 설 — 가장 가능성이 낮다고 본다. 둘째, 17세기의 도구만으로도 가능한 우아한 증명이 실제로 있었는데 우리가 아직 그만큼 영리하지 못해 못 찾고 있을 뿐이라는 설 — 가능은 하지만 희박하다. 그리고 가장 유력한 설명은, 그가 증명을 했다고 믿었지만 사실은 틀렸다는 것이다.
그는 혼자 연구했고, 누구에게도 그 증명을 보여 주지 않았다. 그래서 “세 번째 줄에 문제가 있다”고 짚어 줄 사람이 곁에 없었다. 실제로 훗날 여러 수학자가 증명을 완성했다고 발표했다가 동료들에게 오류를 지적당하는 일이 거듭됐다. 그러므로 후대가 진짜로 찾던 것은 그의 (아마도 결함 있는) 증명이 아니라, 그의 주장이 결국 옳았는지를 가려 줄 어떤 완전한 증명이었다.
다만 한 가지는 확실하다. 그는 지수가 4인 경우, 즉 네제곱끼리의 식만큼은 직접, 그것도 대단히 영리한 방법으로 증명해 두었다. 흔히 ‘무한강하법’이라 부르는 논법이다.
무한강하법: 끝나지 않는 내리막은 없다 — 논리는 이렇다. “해가 하나라도 있다고 치자. 그러면 그 해로부터 반드시 더 작은 해를 만들 수 있다. 그 작은 해에서 또 더 작은 해를, 끝없이.” 그런데 자연수는 1보다 작아질 수 없으니 이런 무한한 내리막은 존재할 수 없다. 결국 처음의 “해가 있다”는 가정 자체가 틀린 것이다. 내려가도 내려가도 바닥에 닿지 않는 계단을 떠올려 보라. 그런 계단은 있을 수 없으니, 계단 자체가 애초에 환상이었던 셈이다.
지수 4가 풀리자 문제는 의외로 한결 정리된다. 지수가 소수(1과 자기 자신으로만 나뉘는 수, 2·3·5·7·11…)인 경우만 증명하면 나머지는 자동으로 따라오기 때문이다. 그래서 수학자들은 소수 지수를 하나씩 공략하기 시작했다.
18세기, 한 거장이 지수 3을 무너뜨렸다(작은 빈틈은 훗날 메워졌다). 19세기 초에는 지수 5가 두 수학자의 협업으로 함락됐고, 곧이어 지수 7도 쓰러졌다. 그러나 이런 식이라면 무한히 많은 소수를 영원히 하나씩 상대해야 한다는 막막함이 남았다.
이 무렵 한 여성 수학자가 판을 바꾼다. 여성이 정식 교육을 받기 어려웠던 시대에 남자 가명까지 써 가며 연구한 그는, 한 번에 소수 하나가 아니라 특정한 성질을 가진 소수들 전체를 한꺼번에 다루는 전략을 처음으로 제시했다. 오늘날 정수론에서 쓰는 ‘소피 제르맹 소수’라는 이름이 그에게서 왔다.
19세기 중반에는 또 다른 수학자가 ‘이상수(ideal number)’라는 새로운 개념을 발명해, ‘정규 소수’라 불리는 무한히 많은 소수에 대해 정리를 한꺼번에 증명했다. 정복의 보폭이 훨씬 넓어진 것이다.
20세기에는 컴퓨터까지 동원돼 지수 400만까지 일일이 확인됐다. 단 하나의 반례도 나오지 않았다. 그러나 ‘400만까지 참’과 ‘모든 경우에 참’은 천지 차이다. 수는 끝없이 이어지고, 수학은 무한을 일일이 확인하는 것이 아니라 논증으로 정복해야 한다. 모든 n에 대한 증명은 여전히 누구도 닿지 못할 봉우리처럼 보였다.
여백의 메모 — 한 법관이 책 여백에 “놀라운 증명”을 적었다고 남긴다.
세상에 알려지다 — 아들이 메모를 모두 실은 새 판본을 펴내며 명제가 공개된다.
지수 3 — 한 거장이 세제곱의 경우를 증명한다(빈틈은 후일 보완).
지수 5 — 두 수학자의 협업으로 다섯제곱의 경우가 함락된다.
지수 7 — 또 하나의 소수 지수가 쓰러진다.
소수 무리 전체 — 한 여성 수학자가 특정 소수들을 한꺼번에 다루는 길을 연다.
정규 소수 — ‘이상수’를 발명해 무한히 많은 소수를 한 번에 증명한다.
두 세계의 추측 — 타원곡선과 모듈러 형식을 잇는 대담한 추측이 제기된다.
다리가 놓이다 — ‘유령 곡선’과 그에 관한 정리로, 이 문제가 그 추측 위에 통째로 얹힌다.
발표 — 사흘에 걸친 강의 끝에 증명이 선언되고 세계가 환호한다.
구멍과 완성 — 발견된 오류를 1년 만에 메우고 정식 출판. 358년 만의 마침표.
돌파구는 엉뚱한 곳에서 열렸다. 20세기 수학의 서로 다른 두 영역, 타원곡선과 모듈러 형식이다.
타원곡선은 이름과 달리 타원도 아니고 흔한 곡선도 아니다. y² = x³ + ax + b 같은 3차식의 해들이 이루는, 도넛 모양에 가까운 대상이다. 모듈러 형식은 복소수를 넣으면 복소수를 돌려주는, 믿기 힘들 만큼 대칭성이 높은 특별한 함수다. 한쪽은 기하학에서, 다른 쪽은 해석학에서 자라난, 족보가 완전히 다른 두 집안이었다.
1950년대, 두 일본 수학자의 이름이 붙은 추측이 제기됐다. 겉보기에 아무 상관 없어 보이는 이 두 세계가 사실은 같은 대상을 서로 다른 언어로 적은 것에 불과하다는, 대담하다 못해 무모해 보이던 주장이었다.
두 언어로 적힌 같은 책 — 똑같은 이야기가 한국어판과 영어판으로 따로 출간돼 있다고 하자. 글자도 문법도 완전히 다르지만 담긴 내용은 같다. 이 추측은 “모든 타원곡선에는 그와 내용이 똑같은 모듈러 형식 짝이 반드시 있다”고 말한다. 그렇다면 한쪽 세계에서 도무지 풀리지 않는 문장을, 사전을 펴서 다른 쪽 언어로 옮긴 뒤 거기서 풀어낼 수 있게 된다. 두 분야를 잇는 일종의 거대한 사전인 셈이다.
결정적 연결은 1980년대에 놓였다. 한 수학자가 이렇게 뒤집어 물었다. “만약 페르마가 틀렸다면, 즉 xⁿ + yⁿ = zⁿ에 정수 해가 정말로 존재한다면 무슨 일이 벌어질까?”
그 가상의 해로부터 아주 기이한 타원곡선 하나를 만들 수 있었다. 이 곡선은 성질이 너무도 괴상해서, 도저히 짝이 되는 모듈러 형식을 가질 수 없을 것처럼 보였다. 존재한다면 두 세계를 잇는 사전에 결코 실릴 수 없는, 말하자면 ‘유령 곡선’이었다.
논리는 이렇게 맞물린다.
“유령 곡선은 결코 모듈러일 수 없다”는 마지막 고리를 또 다른 수학자가 엄밀하게 증명해 냈다. 이로써 300년 넘게 풀리지 않던 정수론 문제가, 전혀 다른 분야의 거대한 추측 하나에 통째로 얹혔다. 이제 그 추측을 (적어도 필요한 부분만이라도) 증명하기만 하면, 페르마의 마지막 정리는 덤으로 따라오게 된 것이다.
이야기의 주인공은 한 아이로 거슬러 올라간다. 열 살 무렵 동네 도서관에서 이 문제를 처음 만난 소년은, 사라진 증명을 자기 손으로 되찾겠다고 마음먹었다. 똑똑한 열 살이면 문제 자체는 충분히 이해할 수 있다. 다만 자신이 무엇에 발을 들이는지까지는 알 수 없었을 뿐이다.
그는 자라면서 학교 선생님에게, 대학 강사에게, 박사가 된 뒤에도 이 문제를 붙들고 놓지 않았다. 어느덧 한 대학의 교수가 되어 있던 그는 앞서 놓인 그 ‘다리’의 소식을 접하고 어린 시절의 집착에 다시 불이 붙는다. 이제 페르마의 정리를 정면으로 두드리는 대신, ‘덤으로 페르마를 안겨 줄’ 그 큰 추측에 달려들 길이 열린 것이다.
너무나 무모한 도전이었기에, 그는 누구에게도 알리지 않기로 했다. 위원회 회의에 빠지기 시작했고, 연구실에 모습을 드러내는 일이 점점 줄었다. 동료들은 그가 아이디어가 고갈돼 학자로서 끝난 줄로만 알았다. 그렇게 그는 7년을 거의 완전한 비밀 속에서 보냈다.
7년의 끝에서 그는 마침내 필요한 만큼의 그 추측을 손에 넣었고, 그것은 곧 페르마의 마지막 정리의 증명을 의미했다. 그는 한 수학 연구소에서 사흘에 걸친 강의를 열었다. 무엇을 발표할지 정확히 아는 사람은 거의 없었지만, 강당의 공기는 팽팽했다.
마지막 강의의 끝, 그는 칠판에 페르마의 정리를 또박또박 적고는 짧게 말했다. “여기서 멈추겠습니다.” 강당은 우레와 같은 박수로 뒤덮였다. 350년 넘게 인류를 따라다닌 문제가 막 무너진 순간이었다. 이튿날 그의 얼굴은 전 세계 신문 1면을 장식했다.
그러나 수학의 규칙은 냉정하다. 어떤 증명도 동료들의 검증을 거쳐 학술지에 실려야 비로소 인정된다. 그 검증 과정에서 한 심사자가 증명의 한 부분에서 미묘한 구멍을 발견했다.
처음에 그는 금방 메울 수 있으리라 여겼다. 그러나 실을 잡아당길수록 매듭은 더 단단히 엉켰다. 세계가 떠받든 영웅으로 추대된 직후, 그는 어쩌면 실수를 공개적으로 인정해야 할지 모르는 처지에 놓였다. 1년에 걸친, 길고 고통스러운 시간이었다.
진짜 어려운 문제는 순순히 항복하지 않는다. 끝까지 맞서 싸우면서, 비로소 자신이 풀 가치가 있었음을 증명한다.
막바지에 옛 제자 한 사람이 합류했다. 1994년 9월, 그는 한때 가망 없다며 옆으로 치워 두었던 옛 접근법이, 정작 실패의 원인이었던 다른 방법과 결합하는 순간 정확히 그 빈틈을 메운다는 사실을 깨닫는다. 막 쓰러뜨렸다고 안심한 괴물이 되살아나 마지막 일격을 가해 오는 영화처럼, 문제는 끝까지 저항하다 결국 무릎을 꿇었다.
보강된 증명은 1995년에 정식으로 출판됐다. 100쪽을 훌쩍 넘는 분량이었다. 지수가 2보다 큰 모든 경우에 xⁿ + yⁿ = zⁿ은 0이 아닌 정수 해를 갖지 않는다 — 마침내, 그 법관은 옳았다.
결말은 묘한 여운을 남긴다. 페르마는 분명 옳았다. 그러나 그를 옳다고 증명해 준 것은, 그가 살아서는 결코 볼 수 없었던 20세기의 수학이었다. 타원곡선도, 모듈러 형식도, 그 둘을 잇는 다리도 그의 시대로부터 300년이 지나서야 태어났다.
그래서 많은 수학자는 이 정리의 진짜 유산이 ‘답’ 그 자체가 아니라, 답을 찾는 과정에서 만들어지고 단련된 수학이라고 말한다. 한 줄짜리 질문을 풀기 위해 동원되고 새로 발명된 도구들이 정수론과 기하학의 넓은 영역을 통째로 끌어올렸다. 증명을 완성한 사람은 훗날 기사 작위와 수학계 최고의 상을 받았지만, 그가 연 문은 상 하나로 닫히지 않는다.
그리고 여백의 그 메모는 끝내 미스터리로 남았다. 그가 보았다는 “정말 놀라운 증명”이 진짜였는지 착각이었는지는 영원히 알 수 없다. 어쩌면 그것이야말로 이 이야기에 가장 잘 어울리는 결말일지 모른다. 가장 단순한 한 줄이, 가장 오래, 그리고 가장 멀리 인류를 끌고 갔으니.