Как то на днях мне понадобилось обработать 8Гб данных (38 миллионов строк, или около того). Данные эти находились в одном txt файле… Не буду углубляться в рассуждения кто такой добрый и умный что передал данные в таком виде… Факт есть факт – в этих 8Гб надо было осуществлять поиск. Вначале думал о решении в лоб: Excel или Access. Но оба продукта от Microsoft не позволили этого сделать в силу внутренних ограничений. Поэтому пришлось воспользоваться старым добрым MySQL’ом. Импорт вопреки мои ожиданиям занял считанные секунды. Сам импорт сделал при помощи load-data и mysqlimport:

http://phpclub.ru/mysql/doc/load-data.html
http://phpclub.ru/mysql/doc/mysqlimport.html

Само-собой для эффективного поиска БД надо индексировать. Поиск по не индексированным 8Гб занимал в среднем 40-50 сек.

Пост написал как напоминание самому себе, ведь не каждый день приходится заниматься такой экзотикой как импорт данных из текстового файла объемом 8Гб :).

P.S. MySQL взял из XAMPP’а :).