미국의 수학자이자 전기공학자, 암호학자였던 섀넌은 '정보이론(Information Theory)'이라는 학문을 사실상 혼자 힘으로 세운 인물로 평가받습니다. 오늘 이 글에서는 그가 어떤 업적을 남겼는지, 그리고 학자로서의 이미지와는 다른 '괴짜 천재'로서의 면모까지 함께 살펴보겠습니다.
디지털 회로 이론 (1937)
섀넌의 첫 번째 혁명은 놀랍게도 그가 대학원생이던 시절, MIT 석사 학위 논문에서 시작됐습니다.
논문 제목은 <계전기와 스위치로 이루어진 회로의 기호학적 분석(A Symbolic Analysis of Relay and Switching Circuits)> 그는 이 논문에서 19세기 수학자 조지 부울(George Boole)이 만든 '부울 대수(Boolean Algebra)'를 전기 회로에 그대로 적용할 수 있다는 사실을 증명했습니다.
스위치의 On/Off를 0과 1이라는 이진수로, 그리고 회로의 연결 방식을 AND·OR·NOT 같은 논리 연산으로 치환할 수 있다는 발상이었죠. 즉 "전기 회로가 논리적 사고를 대신할 수 있다"는 것을 처음으로 증명한 논문이었습니다.
훗날 MIT 공대는 이 논문을 "20세기 가장 중요한, 그리고 가장 유명한 석사 논문"이라 평가했습니다. 오늘날 우리가 쓰는 모든 디지털 컴퓨터, CPU, 반도체 설계의 뿌리가 바로 이 논문에 있습니다.
정보이론 - 비트(bit)의 탄생 (1948)
섀넌의 두 번째, 그리고 가장 유명한 업적은 벨 연구소(Bell Labs) 재직 시절인 1948년, <통신의 수학적 이론(A Mathematical Theory of Communication)> 이라는 논문을 통해 나왔습니다.
이 논문이 혁명적이었던 이유는 접근 방식 자체에 있습니다. 섀넌은 정보의 '의미'를 과감히 배제했습니다. 통신 공학에서 중요한 건 메시지가 무슨 뜻인지가 아니라, 여러 메시지 후보 중 하나를 선택할 때 해소되는 '불확실성의 양'이라고 본 것이죠. 이 발상 덕분에 정보를 마치 물리량처럼 수학적으로 다룰 수 있게 됐습니다.
- 비트(bit)의 공식화 - 정보의 최소 단위를 가리키는 용어 자체는 벨 연구소의 동료 존 튜키(John Tukey)가 제안한 것이었지만, 섀넌은 이를 정보 측정의 표준 단위로 정식 채택하고 이론적으로 정의했습니다.
- 정보 엔트로피(Entropy) - 열역학에서 빌려온 개념으로, 메시지의 불확실성(=정보량)을 수치화했습니다.
- 채널 용량과 섀넌 한계 - 잡음이 섞인 통신 채널에서도 오류 없이 정보를 전달할 수 있는 이론적 최대 속도가 존재한다는 것을 수학적으로 증명했습니다. 오늘날 5G, 와이파이, 위성통신의 속도 설계는 여전히 이 '섀넌 한계'를 기준으로 삼습니다.
한마디로 이 논문 한 편이 오늘날의 통신·데이터 압축·인터넷 산업 전체의 이론적 토대가 되었다고 해도 과언이 아닙니다.
암호학자 - 아날로그를 디지털로
섀넌은 제2차 세계대전 중 벨 연구소에서 암호 해독 프로젝트에 참여했고, 이 과정에서 앨런 튜링(Alan Turing)과도 직접 교류했습니다. 이때의 연구는 이후 두 가지 중요한 성과로 이어집니다.
- 일회용 패드(One-Time Pad)의 완전성 증명 - 올바르게 사용된 일회용 패드 암호는 도청만으로는 절대 해독할 수 없다는 사실을, 정보이론을 이용해 최초로 수학적으로 증명했습니다. '완전 비밀성(Perfect Secrecy)'이라는 개념도 이때 나왔습니다.
- 나이퀴스트-섀넌 샘플링 정리 - 아날로그 신호(소리, 전파 등)를 손실 없이 디지털 신호로 변환할 수 있는 조건을 제시했습니다. 오늘날 MP3, CD, 디지털카메라, 음성 통화 모두 이 정리 없이는 존재할 수 없습니다.
AI의 씨앗 - 체스 두는 컴퓨터와 미로 탈출 쥐
섀넌의 관심사는 통신을 넘어 '기계도 생각할 수 있는가'라는 질문으로 확장됩니다.
1950년, 그는 컴퓨터가 체스를 두도록 하는 미니맥스(Minimax) 알고리즘 논문을 발표했습니다. 당시엔 이를 실행할 만한 컴퓨터조차 없었지만, 이 이론은 훗날 IBM '딥 블루'가 세계 챔피언 가리 카스파로프를 꺾을 때, 그리고 더 나아가 딥마인드 '알파고'의 탐색 알고리즘에도 영향을 미쳤습니다. 실제로 1965년에는 소련의 체스 챔피언이자 체스 컴퓨터 개발자였던 미하일 보트비닉과 실제로 체스를 두기도 했다는 흥미로운 일화도 전해집니다.
같은 시기 그는 '테세우스(Theseus)'라는 이름의 기계 쥐를 직접 제작합니다. 자기 스위치로 이루어진 미로 속을 돌아다니다가, 한 번 지나간 길을 '기억'해서 다음번엔 더 빠르게 목적지를 찾아가는 장치였죠. 오늘날 관점에서 보면 초보적인 형태의 강화학습(Reinforcement Learning)을 기계로 구현한 최초의 사례 중 하나로 평가받습니다.
괴짜발명가
학문적 성과 못지않게 흥미로운 건 섀넌의 인간적인 면모입니다. 그는 연구실에서도 늘 '놀이'를 진지하게 즐긴 사람이었습니다.
- 외발자전거를 타면서 저글링을 했고, 불을 뿜는 트럼펫을 만들었습니다.
- 상자의 스위치를 켜면 뚜껑이 열리고 기계 손이 나와 스스로 스위치를 끈 뒤 다시 상자 속으로 들어가는, 아무 쓸모도 없지만 보는 사람을 웃게 만드는 '세상에서 가장 쓸데없는 기계(Useless Machine)'를 만든 일화는 지금도 유튜브 등에서 회자됩니다.
숨은 투자 고수
이는 같은 기간 워런 버핏(약 21.6%)보다도 높은 수치입니다. 그는 주식과 안전자산을 절반씩 나눠 정기적으로 리밸런싱하면, 개별 자산의 방향성과 무관하게 전체 자산이 우상향할 수 있다는 현상을 발견했는데, 이는 오늘날 '섀넌의 도깨비(Shannon's Demon)'라는 이름으로 자산배분 전략에서 자주 인용됩니다. 참고로 그는 왜 이렇게 유리한 방법을 두고 자기가 직접 주식을 하냐는 질문에, "수수료가 부당하게 비싸다"고 답했다는 일화도 전해집니다.
AI 스타트업 Anthropic이 자사의 대표 AI 모델에 'Claude'라는 이름을 붙인 것은, 바로 이 클로드 섀넌에서 영감을 받은 것으로 알려져 있습니다. 정보이론의 아버지가 컴퓨터와 통신의 기틀을 세웠듯, 오늘날 AI 역시 그가 정의한 '비트'와 '정보' 위에서 작동하고 있다는 점을 생각하면 꽤 상징적인 이름이라 할 수 있습니다.
0 댓글