미국 Google는 6월 8일, 시애틀에서 개최된 Search Marketing Expo에서 새로운 Web 인덱스화 시스템 Caffeine를 발표했다. 구글은 "Caffeine를 사용하면 Google의 기존 시스템보다 “현실” 에 가까운 검색 결과를 표시할 수 있다" 라고 말하고 있다.
지금까지 Google은 Web상의 정보의 일단을 매일 저녁 크로링하여 인덱스화해 검색 결과적으로 표시해 왔다.
Caffeine는 기존 시스템과 같게 Web의 크로링에 의해서 새로운 정보를 찾아내지만, 그 인덱스화는 실시간으로 행해진다고 한다.
Google의 웹/스팸메일팀 책임자인 Matt Cutts 씨는, "순간적으로 처리하기 때문에 몇초 후에는 최신 결과를 제공할 수 있다" 라고 코멘트 했다.
Matt Cutts씨에 의하면, Google는 창업 당시 인덱스의 업데이트를 4개월에 1회로 행했다고 한다. 2000년 즈음이 되어 정보의 인덱스화를 매월 실시하게 되었지만 그 프로세스에는 1주부터 10일 정도 필요했다. 즉, 복수의 유저가 검색한 말이 같아도 액세스 한 Google의 데이터 센터가 다르면 얻을 수 있는 결과가 차이가 난다는 것을 의미한다.
"여담이지만, 우리는 이전 데이터 센터를 한 번에 업데이트 할 만한 캐퍼시티(수용력)이 없었던 것이다.(중략) Caffeine는 몇일전부터 가동하기 시작했고 현재는 모든 Google 데이터 센터에서 적용되고 있다"
Caffeine는 "보다 신선한" 결과를 표시 할 뿐만 아니라 "Google의 능력을 극적으로 강화한다" 는 것이기도 하다. Caffeine 덕분에 Google은 "약 100 페타바이트"의 대량의 문서를 인덱스화할 수 있게 된다라는 것.
Google의 인덱스화 기술의 진보에는 최신 정보를 인터넷으로부터 최대한 빠르게 습득하고 싶다고 하는 유저가 더욱 증가하고 있는 현상이 기반하고 있다. 구글은, "미국의 동시 다발 테러 후 사람들은 1분이라도 새로운 정보를 찾으려고 하는것 같다" 라고 밝혔다.