바둑이라는 게임에서 인간이 공식적으로 기계를 이길 수 없음이 증명되자, 사람들은 기계가 인간을 지배할 수도 있지 않을까 걱정하기 시작한다.
데카르트는 이미 380년 전에 그의 책 <방법서설(Discourse on the Method)>에서 기계가 사람처럼 이성을 가질 수 없다고 주장했는데, 그 이유는 다음과 같다.
여기서 나는 다음과 같은 것을 분명히 하려고 했다. 즉 원숭이나 이성이 없는 다른 동물들과 똑같은 기관과 모양을 가진 기계가 있다면, 이 기계가 저 동물과 동일한 본성을 갖지 않았음을 알 수 있는 어떠한 수단도 우리에게 없다는 것이다. 반면에 우리 신체와 비슷하고, 우리 행동을 가능한 한 흉내낼 수 있는 기계가 있다고 하더라도, 그것이 진정한 인간일수 없다는 것을 알 수 있는 아주 확실한 두 가지 수단을 갖고 있다는 것이다. 첫째, 그 기계는 우리가 다른 사람에게 우리 생각을 알게 할 때처럼, 말을 사용하거나 다른 기호를 조립하여 사용하는 일이 결코 없다는 것이다. 물론 기계가 말을 할 수 있도록, 나아가 그 기관에 어떤 변화를 일으키는 물질적 작용에 따라 어떤 말을 할 수 있도록 만들어질 수 있다. 가령 어디를 만지면 무슨 일이 일이냐고 묻는다든가, 혹은 다른 곳을 만지면 아픈 소리를 지른다든가 하는 것 등이다. 그러나 그 기계는 자기 앞에서 말해지는 모든 의미에 대해 대답할 정도로 말들을 다양하게 정돈할 수 없지만, 아무리 우둔한 사람이라도 그런 것을 할 수 있다. 둘째는, 그 기계가 우리 못지 않게 혹은 종종 더 잘 많은 일을 처리한다고 하더라도, 역시 무언가 다른 일에 있어서는 하지 못하는 일이 있으며, 이로부터 그 기계는 인식이나 이해가 아니라 기관의 배치에 의해서만 움직인다는 것이 드러난다. 왜냐하면 이성은 모든 상황에 적절히 대처할 수 있는 보편적인 도구인 반면에, 이 기계가 개별적인 행동을 하기 위해서는 이에 필요한 개별적인 배치가 기관 속에서 이루어져야 하지만, 우리 이성이 우리에게 행동하게 하는 것과 같은 방식으로 삶의 모든 상황에서 행동하기에 충분한 다양한 배치가 한 기계 속에 있다는 것은 사실 불가능한 일이기 때문이다.
I worked especially hard to show that if any such machines had the organs and outward shape of a monkey or of some other animal that doesn’t have reason, we couldn’t tell that they didn’t possess entirely the same nature as these animals; whereas if any such machines bore a resemblance to our bodies and imitated as many of our actions as was practically possible, we would still have two very sure signs that they were nevertheless not real men. (1) The first is that they could never use words or other constructed signs, as we do to declare our thoughts to others. We can easily conceive of a machine so constructed that it utters words, and even utters words that correspond to bodily actions that will cause a change in its organs (touch it in one spot and it asks ‘What do you mean?’, touch it in another and it cries out ‘That hurts!’, and so on); but not that such a machine should produce different sequences of words so as to give an appropriately meaningful answer to whatever is said in its presence—which is something that the dullest of men can do. (2) Secondly, even though such machines might do some things as well as we do them, or perhaps even better, they would be bound to fail in others; and that would show us that they weren’t acting through understanding but only from the disposition of their organs. For whereas reason is a universal instrument that can be used in all kinds of situations, these organs need some particular disposition for each particular action; hence it is practically impossible for a machine to have enough different organs to make it act in all the contingencies of life in the way our reason makes us act.
요즘 기계들은 사람처럼 말을 하고 사람의 말을 알아 듣는(것처럼 보인)다. 그렇지만 그것들이 사람처럼 행동한다 해도 그것은 그렇게 하도록 설계되었기 때문이지, 그것들이 의미를 이해하고 하는 것은 아니다.
알파고가 이세돌이나 커제를 이길 수 있는 것은 그렇게 하도록 프로그램되었기 때문이다. 알파고는 바둑이라는 놀이가 역사적으로나 철학적으로 어떤 의미가 있는지 알지 못하고 알 수도 없다.
인간의 특정 부분을 흉내낼 수 있는 기계를 만들 수는 있지만, 인간과 같은 기계를 만들 수는 없다. 현재까지의 결론은 진정한 의미의 튜링 기계(인공지능)는 만들 수 없다는 것이다.