Журнал Витуса

http://packetstormsecurity.org/files/41548/md5coll.c.html

По-моему, код для ее генерации где-то публиковали. Погуглить надо.

From:

dzz

From:

city_rat

По-моему, как раз только профессиональный... не знаю кто, но отморожен должен быть на полную голову, - начнет проверку идентичности файлов с генерации md5.

Ну и уж если фишка так легла - то, по-моему, нужно быть полным профессиональным... ну, см. выше, чтобы не вспомнить первым делом о принципиальной неуникальности хэша.

From:

Файлы нужно аттачить к баг-репорту уже поместив в текст баг-репорта их md5 в качестве пруфа их одинаковости.

From:

city_rat

Этот вариант я как раз и назвал "фишка так легла". Ну т.е. если версия об идентичности файла изначально была подкреплена представлением md5 или еще какого хэша: вбросили так, или изучаемая система автоматом генерит хэши за какой-то надобностью.

Но ~~первая~~ вторая мысль у любого нормального человека, который вообще слышал, что такое хэш, в этом случае должна быть "а не коллизия ли у нас?". Вторая - потому что первая, конечно, "ух ты!".

From:

А в чём шутка? Человек должен использовать файловую систему с автоматической дедупликацией на основе md5?

From:

Человек будет неделю долбиться, пытаясь понять почему два одинаковых файла отображаются по-разному. Но над Тутубалиным, похоже, пошутили тоньше.

From:

С чего же это они одинаковые?

From:

dzz

Ну, кто же будет проводить побайтовое сравнение при совпадении md5?
Кроме тех, разумеется, кто сталкивался с коллизиями раньше.

From:

Нет, это каким одарённым нужно быть программистом, чтобы считать md5 для того, чтобы только сравнить два файла? Хотя, конечно, профессия не гарантирует ни высокого ума, ни образования.

P. S. Как же задолбал этот ШМ, снова требующий OpenID через пять минут после того, как я предоставил его. Все хорошие новости СУПа не раздражают больше.

From:

dzz

Ну, если файлы, к примеру, имеют одинаковый размер и совпадающую "обозримую" порцию байт в начале и в конце, то сравнить хэш - вполне логичный шаг даже при наличии ума и образования. Тем более, что это, как и побайтное сравнение, делается одной командой.

From:

Нет, это совершенно нелогичный шаг. В любом случае нужно прочитать каждый байт. И я знаю, как сравнить файлы одной командой побайтово (а если бы и не знал, любой, занимающийся программированием хотя бы полгода, напишет свой велосипед), а как сравнить их, посчитав md5?

From:

dzz

> а как сравнить их, посчитав md5?

всё написано до нас ;)

# for i in file1 file2; do md5sum $i; done

From:

dzz

Несовпадение md5 - это верный признак различия файлов. Проблема в том, что совпадение md5 НЕ ВСЕГДА означает их совпадение. Хотя в подавляющем большинстве случаев таки означает.

From:

Это только считает md5-суммы, я спрашивал о команде, которая использует md5 для того, чтобы сказать, что файлы одинаковы.

Кстати, как вы собираетесь сравнивать md5-суммы? Посчитать от них md5-суммы и дальше по рекурсии?

From:

dzz

> Кстати, как вы собираетесь сравнивать md5-суммы? Посчитать от них md5-суммы и дальше по рекурсии?

Вы не поверите... Глазками. Размер итогового хэша - 32 шестнадцатиричных разряда.

From:

http://alextutubalin.livejournal.com/295423.html?replyto=4089599&style=mine

И это ПОСЛЕ всего треда про коллизию.

From:

При чём здесь коллизия? Возможны более вероятные причины, и они в комментариях озвучены.

А md5… Человек, я так понимаю, совсем не программист.

From:

А чем же я эти .ppm-файлы тогда породил, как не собственной программой?

From:

Э-э-э… Откуда получены файлы мне было неизвестно. Но меня удивляет, что кто-то считает md5 для того, чтобы проверить, что файлы одинаковы. Тем более о fc /b вы знаете, зачем md5?

From:

Привычка.
Когда файлов 10 (5 пар), проще md5 *ppm | awk '{print $1}' | sort | uniq -c | grep -v '^2' (и выдаст что-то только если есть разница)

А когда их ~600 (большой тестовый набор, 300 эталонов и 300 результатов прогона) общим объемом больше 10Gb, то md5 банально быстрее в разы т.к. эталоны можно просто не считывать с диска (и не хранить), их md5 не меняется.

Ну и соответственно, когда файлов всего 2 - проще тоже md5 и последние 3-4 цифры на глазок сравнить. Коллизии в моем случае (генерация моим кодом) настолько невероятны, что я пренебрегаю.

From:

Ну да, это разумная причина.

uniq -u

From:

Ну вот лично мне с трудом верится, что те несколько кусочков кода, которые я переписал на SSE вдруг ВНЕЗАПНО породили другой output, но с тем же MD5.
Было бы весьма удивительно.

Оба сравниваемых ppm порождены моей программой.

P.S. Анальное огораживание в этом аналоге ЖЖ меня удивляет.

From:

В таком раскладе вероятность появления двух файлов с совпадающией md5 действительно мала.

Хотя из твоего поста мне было неочевидно, что файлы породил ты сам. Вот если бы эти файлы были присланы кем-то репортящем баг, это могла бы быть такая шутка.

From:

Осталось выяснить, кто именно надо мной пошутил. Зеркало?

From: