수론과 해석학

리만 가설: 소수에 숨은 100만 달러의 수수께끼

가장 어렵게 100만 달러를 버는 방법이 무엇이냐 묻는다면, 적지 않은 수학자가 망설임 없이 한 가지를 꼽을 것이다. 바로 1859년 한 독일 수학자가 던진 하나의 추측을 증명하는 일이다.

2000년, 미국 매사추세츠주 케임브리지에 자리한 클레이 수학연구소(Clay Mathematics Institute, CMI)는 새 천년을 기념하여 일곱 개의 수학 난제를 발표하였다. 이른바 밀레니엄 문제(Millennium Prize Problems)다. 각 문제에는 100만 달러의 상금이 걸렸고, 그 면면은 수론에서 위상수학, 유체역학, 계산 복잡도, 양자장론에 이르기까지 현대 수학의 가장 깊은 골짜기들을 가로지른다.

발표로부터 사반세기가 지난 지금, 일곱 문제 가운데 풀린 것은 단 하나, 푸앵카레 추측(Poincaré conjecture)뿐이다. 흥미로운 사실은 이 문제를 해결한 러시아 수학자 그리고리 페렐만(Grigori Perelman)이 100만 달러의 상금을 끝내 거절하였다는 점이다. 그는 명예와 돈에 관심이 없으며 상의 취지에 철학적으로 동의하지 않는다고 밝혔다. 이 일화는 한 가지를 분명히 보여 준다. 수학자가 이런 문제에 매달리는 것은 결코 돈 때문이 아니라는 것이다.

남은 여섯 문제 가운데 오늘날 가장 유명한 것이 바로 리만 가설(Riemann Hypothesis)이다. 1990년대 중반 앤드루 와일스(Andrew Wiles)가 리처드 테일러(Richard Taylor)의 도움을 받아 페르마의 마지막 정리를 증명한 이후, 리만 가설은 "가장 유명한 미해결 문제"라는 왕좌를 물려받았다. 페르마의 마지막 정리는 밀레니엄 문제가 아니었지만, 리만 가설은 그 일곱 문제의 한 자리를 차지하고 있다. 그리고 이 가설은 1900년 다비트 힐베르트(David Hilbert)가 내건 23개의 문제 목록에도 이미 들어 있었으니, 한 세기가 넘도록 수학자들을 사로잡아 온 셈이다.

놀라운 점은 이 거대한 문제의 핵심이 겉보기에는 무척 단순한 질문이라는 것이다. 어떤 함수가 정확히 0이 되는 지점은 어디인가. 그 질문에 답하기 위해, 먼저 그 함수가 무엇인지부터 살펴보자.

제타 함수, 무한히 더하는 기계

이야기의 중심에는 리만 제타 함수(Riemann zeta function)가 있다. 함수란 어떤 값을 넣으면 그에 대응하는 다른 수를 돌려주는 규칙이다. 제타 함수는 s라는 값을 받아, 다음과 같은 무한급수가 수렴하는 값을 돌려준다.

예를 들어 s에 2를 넣어 보자. 그러면 각 항은 자연수의 제곱의 역수가 된다.

이 합은 더해 갈수록 어떤 정해진 값에 점점 가까워진다. 수학자들은 이런 급수를 수렴급수(convergent series)라 부른다. 첫 n개의 항을 더한 부분합이, 항을 늘릴수록 어떤 특정한 수로 수렴해 가는 것이다. 그 수를 극한(limit)이라 한다.

그렇다면 ζ(2)는 정확히 얼마일까. 이 값을 구하는 일은 수백 년 동안 수학자들을 괴롭힌 유명한 문제였다. 스위스의 도시 이름을 따 바젤 문제(Basel problem)라 불린 이 난제의 답은, 무척이나 뜻밖이었다.

18세기의 위대한 수학자 레온하르트 오일러(Leonhard Euler)는 1730년대에 이 합이 다음과 같음을 증명하였다.

제곱수의 역수를 더했을 뿐인데, 어째서 원의 둘레와 지름의 비인 π가 튀어나오는가. 정수와 원이 도대체 무슨 상관이란 말인가. 이 등식이 던지는 놀라움이야말로 제타 함수가 수학의 가장 깊은 곳을 건드리고 있다는 첫 신호였다. 오일러의 증명은 지금도 어렵지 않게 찾아볼 수 있으니, 관심 있는 독자는 직접 확인해 보길 권한다.

같은 방식으로 s 자리에 다른 값을 넣을 수 있다. s=3이면 세제곱수의 역수를 모두 더한 값 ζ(3)이 되고, 이 역시 수렴한다. 1보다 큰 어떤 실수를 넣어도 급수는 얌전히 한 값으로 수렴한다.

제타 함수가 소수와 만나는 지점

제타 함수가 단순한 수학적 호기심을 넘어서는 까닭은, 그것이 소수(prime number)와 깊이 얽혀 있기 때문이다. 그 연결고리를 처음 발견한 사람 역시 오일러였다. 1737년, 그는 제타 함수가 다음과 같은 무한곱으로도 표현된다는 사실을 증명하였다.

왼쪽은 모든 자연수에 대한 합이고, 오른쪽은 오직 소수에 대한 곱이다. 이 두 가지가 같다는 사실은 결코 우연이 아니다. 모든 자연수가 소수들의 곱으로 유일하게 분해된다는 산술의 기본정리(fundamental theorem of arithmetic)가 바로 이 등식의 뿌리이기 때문이다. 다시 말해 제타 함수는 그 정의 안에 소수의 정보를 통째로 품고 있다.

이 연결은 이야기의 마지막에서 다시 결정적으로 등장한다. 그러나 그 전에, 리만은 오일러가 멈춘 자리에서 한 걸음 더 대담하게 나아갔다.

발산하는 합, 그리고 −1⁄12라는 수수께끼

지금까지 우리는 1보다 큰 s만 다루었다. 그렇다면 s에 음수를 넣으면 어떻게 될까. s = −1을 대입해 보자. 1⁄n⁻¹은 곧 n 자신이므로, 각 항은 다음과 같이 풀린다.

모든 자연수의 합이다. 이 합은 한없이 커지기만 할 뿐 어떤 유한한 값으로도 수렴하지 않는다. 이런 급수를 발산급수(divergent series)라 부른다. 상식적으로는 여기에 유한한 값을 붙일 방법이 없다. 그래서 위 등호에 따옴표를 씌워 두었다.

그런데 바로 이 지점에서 리만의 통찰이 빛난다. 이 무한한 합을 제타 함수라는 더 큰 틀 안에 놓으면, s = −1에 의미 있는 값을 부여하는 길이 열린다는 것이다. 그리고 그 값은 놀랍게도 다음과 같다.

"1+2+3+⋯ = −1⁄12"라는, 언뜻 터무니없어 보이는 등식이 인터넷에 자주 떠도는 데에는 이런 사연이 있다. 자연수를 그냥 더해서 음수가, 그것도 분수가 나올 리는 없다. 다만 발산하는 합 자체에 값을 매긴 것이 아니라, 제타 함수를 훨씬 정교한 방법으로 확장했을 때 −1 자리에서 나타나는 값이 −1⁄12라는 뜻이다. 그 "훨씬 정교한 방법"을 이해하려면, 먼저 수의 세계를 한 차원 넓혀야 한다.

상상의 수, 그리고 복소평면

리만이 한 일의 핵심은 s를 자연수에 가두지 않은 것이다. 그는 s가 모든 실수, 나아가 복소수(complex number)가 될 수 있다고 보았다.

복소수가 필요해지는 까닭은 이렇다. 실수의 범위 안에서는 −1의 제곱근을 찾을 수 없다. 어떤 실수든 제곱하면 0 이상이 되기 때문이다. 한 가지 선택지는 "그런 수는 없다"고 금지하는 것이다. 그러나 수학자들은 오래전부터 더 나은 길을 알고 있었다. −1의 제곱근을 실수에 새로 덧붙여 버리면 된다.

실수를 하나의 직선 위에 늘어선 점들이라고 생각해 보자. 0이 있고, 1이 있고, 2가 있다. 1⁄2은 0과 1의 한가운데에, √2는 그 어딘가에, π는 3보다 조금 오른쪽에 자리한다. 모든 실수가 이 직선 위에 있다. 그러나 −1의 제곱근은 이 직선 어디에서도 찾을 수 없다. 그래서 우리는 포기하는 대신 평면을 그린다. 직선과 수직으로 또 하나의 축을 세우고, 그 위에 −1의 제곱근을 표시하는 것이다.

이렇게 하면 평면 위의 모든 점이 하나의 수가 된다. 가로축에 대한 사영을 실수부(real part), 세로축에 대한 사영을 허수부(imaginary part)라 한다. 표기가 다소 번거로우므로, −1의 제곱근을 보통 i라는 기호로 쓴다. 예컨대 가로로 2, 세로로 3만큼 떨어진 점은 2 + 3i로 나타낸다.

요컨대 실수가 한 줄의 직선이라면, 복소수는 그 직선을 품은 너른 평면이다. 이 평면을 복소평면(complex plane)이라 부른다. i는 이 직선 어디에도 없는 "상상의 수"이지만, 일단 평면에 자리를 내어 주고 나면 실수와 똑같이 더하고 곱할 수 있는 어엿한 수가 된다.

해석적 연속, 함수의 영토를 넓히다

제타 함수의 원래 급수는 s의 실수부가 1보다 클 때에만 수렴한다. 복소평면으로 말하자면, 실수부가 1인 세로선의 오른쪽 영역에서만 함수가 얌전히 정의된다는 뜻이다. 그 바깥, 특히 발산하는 −1 같은 자리에서는 급수만으로는 손쓸 도리가 없다.

그러나 복소수를 입력으로 받는 함수의 세계에는 특별한 마법이 있다. 제타 함수처럼 매끄럽고 좋은 성질을 갖춘 함수를 정칙함수(holomorphic function)라 하는데, 이런 함수는 해석적 연속(analytic continuation)이라는 성질을 누린다. 처음에 정의된 좁은 영역의 함수값들이, 마치 그 자체로 정해진 운명이 있는 것처럼, 더 넓은 영역으로 자연스럽게 단 하나의 방식으로 이어진다는 것이다.

리만은 1859년의 기념비적 논문에서 바로 이 일을 해냈다. 원래는 실수부가 1보다 큰 영역에서만 살던 제타 함수를, 단 한 점을 제외한 복소평면 전체로 확장한 것이다. 그 예외의 한 점이 바로 s = 1이다. 이 자리에서는 어떤 방법으로도 함수를 이어 붙일 수 없고, 함수값이 무한대로 치솟는다. 이런 점을 극(pole) 또는 특이점(singularity)이라 부른다.

흥미로운 역설이 여기 있다. 우리는 보통 1이 i보다 훨씬 단순하고 다루기 쉬운 수라고 여긴다. 그러나 제타 함수에서는 정반대다. 상상의 수인 i에서는 함수가 멀쩡히 정의되는 반면, 정작 평범한 실수 1에서는 함수가 무너진다. 다행히 무너지는 곳은 이 한 점뿐이다. s = 1은 제타 함수의 아킬레스건이지만, 동시에 함수의 여러 성질을 좌우하는 무척 중요한 급소이기도 하다.

이렇게 확장된 제타 함수 덕분에, 비로소 −1에 −1⁄12라는 값을 부여할 수 있다. 컴퓨터로 6 + 9i 같은 복소수를 넣어도 명확히 하나의 값이 계산되어 나온다. 누가 계산하든 같은 답이 나오며, 모호함은 없다. 오직 s = 1에서만 정의되지 않을 뿐이다.

0이 되는 자리를 찾아서

이제 무대가 갖춰졌다. 리만 가설은 한마디로 제타 함수의 영점(zero)에 관한 질문이다. 즉 어떤 s에 대하여 ζ(s) = 0이 되는가를 묻는다. 이것이 100만 달러짜리 질문의 전부다.

그런데 영점에는 두 종류가 있다. 우선 어렵지 않게 알 수 있는 "뻔한" 영점들이 있다. 음의 짝수, 즉 −2, −4, −6, … 에서 제타 함수는 모두 0이 된다. 이들은 함수의 대칭 관계식에서 곧바로 따라 나오므로 별다른 신비가 없다. 그래서 이들을 자명한 영점(trivial zeros)이라 부른다.

진짜 문제는 그 나머지, 곧 비자명한 영점(non-trivial zeros)이다. 그리고 이들의 위치에는 강력한 제약이 있음이 알려져 있다. 자명하지 않은 모든 영점은 반드시 하나의 좁은 띠 안에 모여 있어야 한다. 실수부가 0과 1 사이인 복소수들의 영역, 이를 임계 띠(critical strip)라 한다.

이 임계 띠 한가운데, 실수부가 정확히 1⁄2인 세로선이 지나간다. 이를 임계선(critical line)이라 한다. 1⁄2 + 14i 같은 점이 이 선 위에 놓인다. 리만이 제시한 가설은 다음과 같다.

달리 말하면, 비자명한 영점들은 임계 띠 어딘가에 흩어져 있을 수도 있었으나, 리만은 그들이 단 하나의 직선 위에 가지런히 정렬되어 있으리라 내다본 것이다. 영점이 차지할 수 있는 자리가 이론적으로 가장 적은, 가장 질서정연한 상황을 가설은 주장한다.

가설을 무너뜨리는 방법은 간단명료하다. 임계 띠 안에 있되 임계선에서 벗어난 영점, 곧 실수부가 1⁄2이 아닌 비자명한 영점을 단 하나라도 찾아내면 된다. 그 반례를 제시하는 사람 역시 100만 달러를 받는다. 그러나 한 세기 반 동안 무수한 수학자가 그런 한 점을 찾아 헤맸음에도, 아직 아무도 발견하지 못했다.

소수의 음악, 영점이 지휘하다

지금까지의 이야기는 다소 난해한 추상의 유희처럼 들릴지 모른다. 그러나 여기에는 겉보기보다 훨씬 깊은 사연이 있다. 리만은 1859년의 논문에서, 제타 함수의 영점이 놓인 위치가 소수의 분포를 직접 좌우한다는 사실을 밝혀냈기 때문이다.

소수가 얼마나 중요한지는 새삼 말할 필요가 없다. 사람들은 수천 년 동안 소수를 연구해 왔다. 18세기 후반, 소년 시절의 카를 프리드리히 가우스(Carl Friedrich Gauss)는 300만에 이르는 방대한 소수표를 손수 계산하며 그 속의 규칙을 찾으려 했다. 이때 등장하는 것이 소수 계량 함수(prime-counting function) π(x)다. x 이하의 소수가 몇 개인지를 세는 함수로, 새 소수를 만날 때마다 1씩 뛰어오르는 계단 모양을 그린다.

가우스는 이 계단의 평균적인 추세가 x ⁄ ln x에 가깝다는 것을 간파했다. 즉 어떤 수 근처에서 소수가 나타나는 빈도는 그 수의 자연로그에 반비례한다는 것이다. 더 정밀하게는, 로그적분(logarithmic integral)이라 불리는 다음 함수가 소수의 개수를 한층 잘 근사한다.

이것이 바로 소수 정리(Prime Number Theorem)의 골자다. 가우스와 아드리앵마리 르장드르(Adrien-Marie Legendre)가 데이터로부터 추측했고, 한 세기 뒤인 1896년 자크 아다마르(Jacques Hadamard)와 샤를장 드 라 발레푸생(Charles-Jean de la Vallée Poussin)이 각자 독립적으로 증명하였다. 두 증명 모두 제타 함수의 성질에 기대고 있었다는 점이 의미심장하다.

아래 표는 Li(x)가 실제 소수 개수에 얼마나 가까운지를 보여 준다. x가 커질수록 거친 근사 x ⁄ ln x의 오차는 줄지 않고 누적되는 반면, Li(x)는 놀라우리만치 정확하게 따라붙는다.

10억 이하에 소수가 5천만 개 넘게 있는데, Li(x)의 오차는 고작 1,701개에 불과하다. 비율로 따지면 0.003퍼센트 수준이다. 그러나 리만의 야심은 평균적 근사에 머물지 않았다. 그는 이 근사의 오차까지 정확히 기술하고자 했다.

리만의 명시적 공식(explicit formula)이 알려 주는 바는 이렇다. 매끄러운 근사 곡선과 실제 소수 계단 사이의 차이는, 비자명한 영점 하나하나가 만들어 내는 진동(파동)을 모두 합한 것과 같다. 각 영점은 마치 하나의 음(音)처럼, 소수 분포에 고유한 진동수와 진폭의 떨림을 보탠다.

여기에 리만 가설의 진정한 무게가 있다. 만약 어떤 영점이 임계선을 벗어나 실수부가 1⁄2보다 큰 자리에 있다면, 그 음은 다른 음들보다 비정상적으로 크게 울려 소수의 분포에 예상보다 큰 불규칙성을 일으킬 것이다. 가설이 참이라는 말은 곧, 소수가 가능한 한 가장 규칙적으로 분포한다는 보장과 같다.

이 관계가 놀라운 것은, 두 세계가 본디 전혀 다른 수학의 영역에 속하기 때문이다. 제타 함수와 그 영점, 해석적 연속은 복소해석학(complex analysis)의 대상이다. 반면 소수는 정수론(number theory)의 영역에 산다. 그런데 리만은 이 둘이 실은 한 몸처럼 긴밀히 묶여 있음을 드러냈다. 영점의 위치를 안다는 것은 곧 소수의 운명을 안다는 것이다.

증명과 증거 사이의 깊은 골

그렇다면 지금까지 발견된 영점들은 모두 어디에 있을까. 답은 한결같다. 임계선 위에 있다. 컴퓨터를 동원한 검증은 상상을 초월하는 규모로 진행되어 왔다. 2004년에는 처음 약 10조(10¹³)개의 비자명한 영점이 빠짐없이 임계선 위에 있음이 확인되었고, 앤드루 오들리즈코(Andrew Odlyzko)는 10²³번째 부근의 영점까지 계산해 냈다. 단 하나의 예외도 발견되지 않았다.

이론적 진전도 있었다. 1914년 고드프리 하디(G. H. Hardy)는 임계선 위에 영점이 무한히 많다는 것을 증명했고, 1989년 브라이언 콘리(Brian Conrey)는 비자명한 영점 가운데 적어도 40퍼센트 이상이 임계선 위에 놓인다는 것을 보였다. 그러나 "40퍼센트 이상"과 "전부"는 천양지차다.

여기서 수학과 다른 학문의 결정적 차이가 드러난다. 10조 개의 영점이 모두 임계선 위에 있다는 사실은 압도적인 정황 증거이지만, 그 자체로는 증명이 아니다. 다음 영점이, 혹은 10¹⁰⁰번째 영점이 선을 벗어나지 않으리라는 보장은 어디에도 없기 때문이다. 수학은 무한한 모든 경우에 대한 빈틈없는 논증을 요구한다.

수학사에는 "그럴듯한 패턴"이 끝내 깨진 유명한 사례가 있다. 가우스와 리만조차 Li(x)가 항상 π(x)보다 크리라 믿었다. 검증 가능한 모든 범위에서 실제로 그러했기 때문이다. 그러나 1914년 존 리틀우드(J. E. Littlewood)는 충분히 큰 x에서 이 부등호가 무한히 여러 번 뒤집힌다는 것을 증명했다. 그 역전이 처음 일어나는 지점은 너무나 거대하여, 오늘날에도 구체적인 위치를 정확히는 알지 못한다. 컴퓨터로 확인 가능한 영역의 패턴이 영원하리라는 믿음이 얼마나 위험한지를 보여 주는 일화다.

물리학과의 뜻밖의 만남

리만 가설을 증명하려는 시도 가운데 가장 매혹적인 갈래는 뜻밖에도 물리학에서 비롯되었다. 힐베르트-폴리아 추측(Hilbert–Pólya conjecture)이 그 출발점이다. 이 추측은, 제타 함수 비자명한 영점들의 허수부가 어떤 물리적 계의 에너지 준위처럼 행동한다고 본다. 다시 말해 그 영점들을 고윳값으로 갖는 특별한 연산자가 존재할지 모른다는 것이다. 만약 그런 연산자를 찾는다면, 그 수학적 성질로부터 모든 영점이 자동으로 임계선 위에 놓임이 따라 나와 가설이 증명될 수 있다.

이 발상에 극적인 무게를 실어 준 것은 한 번의 우연한 만남이었다. 1972년, 수론학자 휴 몽고메리(Hugh Montgomery)는 프린스턴 고등연구소(Institute for Advanced Study)에서 차를 마시던 중 물리학자 프리먼 다이슨(Freeman Dyson)에게 자신의 연구를 들려주었다. 그는 임계선 위 영점들 사이의 간격이 따르는 통계적 분포 공식을 막 발견한 참이었다. 그 공식을 들은 다이슨은 곧바로 알아보았다. 그것은 무거운 원자핵의 에너지 준위를 기술할 때 쓰이는 무작위 행렬(random matrix)의 고윳값 간격 분포와 정확히 같은 형태였던 것이다.

이 발견은 몽고메리-오들리즈코 법칙(Montgomery–Odlyzko law)으로 이어졌다. 오들리즈코의 방대한 수치 계산은, 제타 영점들이 실제로 무작위 행렬의 고윳값처럼 통계적으로 분포함을 확인해 주었다. 양자 카오스(quantum chaos)와 수론이 같은 언어로 말하고 있었던 셈이다.

이 깊은 유비(類比)는 가설의 증명으로 가는 새로운 길을 제시하는 동시에, 순수수학의 가장 추상적인 대상이 물질세계의 물리학과 은밀히 맞닿아 있을지 모른다는 경이를 안겨 준다. 프랑스 수학자 알랭 콘(Alain Connes)을 비롯한 여러 연구자가 이 방향에서 가설에 접근하고 있으나, 결정적 연산자는 아직 손에 잡히지 않았다.

만약 증명된다면, 무엇이 달라지는가

리만 가설이 참으로 밝혀진다면, 소수 정리의 오차에 가장 날카로운 상한이 따라온다. 1976년 로웰 쇤펠트(Lowell Schoenfeld)가 보인 바에 따르면, 가설이 참일 때 충분히 큰 x에 대해 다음이 성립한다.

소수의 개수를 추정할 때 발생하는 오차가 이론적으로 가능한 가장 작은 크기로 묶인다는 뜻이다. 나아가 정수론의 수백 가지 정리가 "리만 가설이 참이라면"이라는 단서를 달고 증명되어 있다. 가설이 확정되는 순간, 이 모든 결과가 한꺼번에 무조건적인 정리로 승격된다. 단 하나의 증명이 수학의 광대한 영역에 연쇄적인 빛을 비추는 셈이다.

한편 "리만 가설이 풀리면 인터넷 암호가 모두 깨진다"는 이야기가 종종 떠돌지만, 이는 사실과 거리가 있다. 오늘날 널리 쓰이는 RSA 같은 공개키 암호의 안전성은 큰 수를 소인수분해하기가 어렵다는 데 기댄다. 리만 가설은 소수가 평균적으로 어떻게 분포하는지를 다룰 뿐, 특정한 큰 수를 빠르게 분해하는 방법을 알려 주지는 않는다. 따라서 가설이 증명된다 해도 암호가 곧장 무력화되지는 않는다.

다만 더 미묘한 연결은 실재한다. 리만 가설의 확장판인 일반화 리만 가설(Generalized Riemann Hypothesis, GRH)은 어떤 수가 소수인지 빠르게 판정하는 알고리즘의 정당성을 보증하고, 산술수열 안에 나타나는 소수의 위치를 이론적으로 제어하는 데 쓰인다. 이런 도구들은 암호 체계가 안전한 소수를 효율적으로 골라 쓰는 데 간접적으로 기여한다. 요컨대 가설의 영향은 암호를 "깨는" 쪽이 아니라, 소수를 다루는 알고리즘의 토대를 단단히 다지는 쪽에 가깝다.

왜 풀리지 않은 채로 가장 빛나는가

리만 가설이 한 세기 반 동안 풀리지 않았다는 사실은, 그것이 사소하거나 인위적인 문제여서가 아니다. 오히려 정반대다. 이 하나의 가설은 무한히 더하는 단순한 급수에서 출발하여, 복소평면과 해석적 연속을 거쳐, 소수의 분포라는 수론의 심장으로 이어지고, 끝내는 양자물리학의 에너지 준위에까지 닿는다. 서로 멀리 떨어진 수학과 과학의 영역들이 이 한 점에서 만난다.

페렐만이 상금을 거절했듯, 수학자들이 이 문제에 일생을 거는 것은 100만 달러 때문이 아니다. 소수라는 가장 오래된 신비의 한가운데, 정확히 1⁄2이라는 가느다란 선 위에 모든 것이 정렬되어 있으리라는 그 질서를 증명하고 싶기 때문이다. 그 선 위에서, 정수와 원과 무한과 물질이 하나의 진실로 수렴하기를 기다리고 있다.