![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
vitus_wagnerhttps://www.theregister.com/2025/12/22/europe_gets_serious_about_cutting/
Тут пишут что европейские правительственные и муниципальные органы слегка задумались о том, что 90% их цифровой инфраструктуры зависит от заокеанских производителей софта и провайдеров облачных сервисов.
Интересно как насчет тайских производителей жестких дисков и тайваньских производителей оперативной памяти? Наладить-то собственное производство сложнее будет, чем перейти с google на nextcloud и с MS Office на LibreOffice.
X-Post to LJ
no subject
Date: 2025-12-24 08:17 am (UTC)В своё время Советский Союз регулярно вытраливал цифровые свалки мира.
no subject
Date: 2025-12-24 03:50 pm (UTC)Я, к стати, не удивлюсь, если через 15 лет мы им будем эльбрусы поставлять...
no subject
Date: 2025-12-26 03:21 am (UTC)no subject
Date: 2025-12-26 04:48 am (UTC)За 15 лет соответствующую отрасль промышленности вполне можно развить. В 1970 году в США не производилось ни одного микропроцессора. В 1985 производились 32-битные процессоры Motorola 68020. MIPS R2000 и Intel 80386.
no subject
Date: 2025-12-26 02:41 pm (UTC)"но нет сырья и кадров" ©
Производились.... R2000
Нет, не производились. Не в США.
Производился i386 (по 1.5 микронному техпроцессу) и 68020 - по сопоставимому (правда с проблемами).
В принципе - при наличии масок - условный белорусский Интеграл это даже осилит.
Вот только есть вопросы:
Я же специально спрашиваю, потому что современное микроэлектронное производство это очень дорого. Не зря же производства после определённого технологического уровня сильно консолидировались. (Можно почитать новости из США с ценником завода по производству микросхем, и даже если поделить на 4, с учётом более дешёвой рабочей силы - это всё равно очень много).
А уж производство полного цикла (вон тут новости, что Китай пытается сделать EUV литограф, но пока, даже со специалистами переманенными от ASML, с проектом начавшимся в 2019-м рабочих чипов так и нет). А для микросхем нужна ещё специальная химия и материалы. И производство оборудования по производственной цепочке.
У РФ же на текущий момент пожалуй нет ничего или есть мало. (Есть купленные линии, где-то нанометров на 90? Возможность эти линии обновить РФ в своё время шикарно просрала).
В общем - в текущем политическом и экономическом климате в РФ - это всё предельно маловероятно.
Чтобы стало выгодно Европе покупать "эльбрусы" в РФ... я даже не знаю, что должно произойти и насколько суммарно упасть уровень производства в остальном мире.
(те "Эльбрусы", что делались чисто в РФ были вроде бы на 300/500МГц? (но могу помнить не точно) Первое поколение. Всё что выше - TSMC).
no subject
Date: 2025-12-29 04:14 pm (UTC)no subject
Date: 2025-12-29 07:04 pm (UTC)Не, технологический уровень не слиьно просядет. Просядет норма прибоыли, которая в этой отрасли сейчас запредельная. Упадет до уровня, какой и должен быть в зрелых отраслях промышленности.
no subject
Date: 2025-12-29 08:14 pm (UTC)Потому что если бы это было так - было бы пространство для демпинга с целью занятия рынка (тем более, что современные нанометры - в значительной мере "виртуальные"). Но это не так.
no subject
Date: 2025-12-29 09:24 pm (UTC)Экономику демагогией про "поддержку отечественного" не обмануть.
no subject
Date: 2025-12-29 11:39 pm (UTC)Потеря цепочек приводит ещё и к потере неочевидных знаний и оснастки для производства (если что-то редкое/единичное).
no subject
Date: 2025-12-30 08:27 am (UTC)no subject
Date: 2025-12-30 04:34 pm (UTC)Скорее надеяться, что вместе с развалом цепочек - развалится и силовое применение патентных прав. И какой-нибудь Китай или "Меганезия", пошлют в жопу патент и запилят это сами. Но маловероятно.
PS. С одной стороны - Sam Zeloof продемонстрировал, что микросхемы на уровне где-то 1 микрона можно делать в прилично оборудованной лаборатории "почти дома". Да, с отвратительным выходом и с зависимостью от химии (пластины/фоторезист/реактивы), но литографию он делал обычным DLP проектором, вроде бы, с заменённой оптикой.
С другой - всё высокотехнологичное уйдёт с концами, да и проектор - это тоже продукт современной цивилизации.
no subject
Date: 2025-12-30 05:11 pm (UTC)Патенты это только ухудшают, но главной проблемой будет сама фрагментация глобального рынка, в принципе.
А 486DX я думаю никому не нужен (это, наверное, лучшее что можно на 1 микроне сгондобобить). По идее все, что крупнее 90 нм вполне реплицируемо. Это оставляет компьютеры как есть, но исключает нафиг как обучение моделей, так и инференс. Возможно, китайцы сохранят 28-45 нм, но тоже мне кажется не очень вероятно.
Никто не сможет производить 3 нм или 5 нм. Современные чипы исчезнут до восстановления кооперации.
no subject
Date: 2025-12-30 06:09 pm (UTC)Патенты - штука принципиально национальная. И если китайские компании волнуют американские патенты. то только из-за желания продавать продукцию на американском рыынке.
Более того, известны случаи, когда государство по своим соображениям аннулировало патент, им же выданный.
Так например, патент братьев Райт на летательный аппарат тяжелее воздуха был аннулирован в начале Первой Мировой. Потому что желающим вступить в войну американцам нужна была военная авиация. А одни Райты ее произвести не могли и продавать лицензии на вменяемых условиях не хотели.
no subject
Date: 2025-12-30 09:08 pm (UTC)Очень не факт, что в области хайтека так получится. Но даже если и,в любом случае, это добавляет ЕЩЕ денежных сложностей к главному -- потери финансового рычага мировой кооперации.
no subject
Date: 2025-12-31 02:42 pm (UTC)Кстати нет. 90нм - это уровень iP4 и Pentium M. Скорее всего что-то класса Core2Duo можно сделать (там было 65нм, ну хорошо, сделаем upscale, и понизим тактовую частоту).
Так что - инференс на средних/малых моделях вполне. А вот обучение уйдёт тем, кто сможет позволить себе электричество и совсем специализированное железо.
PS. Куда больше проблем будет с памятью.
no subject
Date: 2025-12-31 03:40 pm (UTC)Польза в агентских системах начинается с уровня GLM-4.7/Deepseek-3.2, а эти модели требуют современный VRAM под терабайт и GPU с прорвой ядер. Плотность на 90нм по сравнению с SOTA падает раз в 50-100, разница в энергоэффективности так же. Может и можно пойти по пути Cerebras и делать чип на весь блин, но это будет такой кипятильник! Причем на блин мало что влезет, соответственно надо сотни и сотни блинов в параллель. И все охлаждать, градирней...
А, и интерконнект между блинами будет веселый.
Вилы, вобщем. Я попытался посчитать, получаются какие-то безумные мегаватты.
no subject
Date: 2025-12-31 04:21 pm (UTC)Я полагаю что там еще есть место для оптимизация на уровне алгоритмов. В смысле тех, которые эту модель интерпретируют. whisper.cpp за последние 2-3 года разогнали довольно сильно.
Короче, интеллект равный человеческому должен расходовать не более 15-20 ватт энергии и занимать объем примерно не более человеческого черепа. Мы можем с уверенностью это сказать, поскольку это характеристики человеческого мозга, большая часть которого, кстати, занимается не интеллектуальной деятельность. а управлением функциями организма и всякой моторикой.
Конечно, может быть генератор видео на смартфон 2020 года и не влезет. Но для тех моделей, которые питают современные чаты, это должна быть вполен достаточная платформа.
no subject
Date: 2025-12-31 04:53 pm (UTC)(Причём с довольно медленной обработкой информации).
С алгоритмами и оптимизацией - там же массовое перемножение матриц, оно сильно меньше по вычислениям стать не может. (Может стать частично аналоговым, но это уже новое железо. Но даже так - не то).
Может стать в духе "стекляшка определённой структуры и лазеры", но тогда модель становится неизменной, пока не поменяешь преломляющую часть. В общем... скорее нет. Особенно на современных чат-моделях (они очень большие).
no subject
Date: 2025-12-31 06:22 pm (UTC)no subject
Date: 2026-01-01 07:20 am (UTC)Попробуем сравнить с обучением человека. Человек обучается где-то 15-17 лет по общеобразовательной программе, и потом 3-6 лет по специальности. При этом человек спит, ест, осваивает моторные навыки. Так что можно считать что на собственно обучение (включая неформальное, вроде обучения поведению за столом) у него уходит не больше 8 часов в сутки.
Следовательно ИИ, который учится круглосуточно, на том же железе, на котором он потом будет работать, должен требовать 5 лет для обучения общим для всех ИИ задачам, и 1-2 года на специализацию.
А если мы запускаем его на всего лишь на порядок более мощном железе, чем он потом будет работать, то полгода на обшеобразовательную программу (которую после разработки нового софта нужно выполнить один раз) и полтора-два с половино месяца на специализацию.
Сейчас обучение намного более затратно. Из чего следует, что мы его готовить не умеем.
Должна развиться ИИ-педагогика. Подготовка датесетов для обучения так чтобы они требововали не больше места, чем та информация, которую в ходе обучения успевает впитать человек (а это не так много), использование старых ИИ для тренировки новых. Не как сейчас "а, обучалка ИИ утонет в бессмысленном ИИ-контенте", а целенаправлено, как со времен палеолита люди передающт навыки молодым поколениям.
Соответственно если у нас ИИ будет работать на смартфоне, топовой нынешней геймерской рабочей станции должно хватьи для доучивания модели общеобразованной на нужную специализацию за месяц.
Конечно, это очень непростая задача - выкинуть из педагогики гуманистический фактор, и оставить только универсалии, пригодные для обучения любого интеллекта. Но кто это сделает, имеет шансы захватить мир Еще и потому что обученные по этой системе люди не будут иметь лишних тараканов в голове.
no subject
Date: 2026-01-01 02:17 pm (UTC)Во-первых, человек не "чистый лист". Наша нейронка миллионы лет предобучалась эволюцией, поэтому нам хватает одного-двух примеров, чтобы понять суть. ИИ же стартует с рандомного шума, и ему нужны тысячи примеров, чтобы просто статистически нащупать закономерность. Если ограничить датасет тем объемом, что потребляет человек, сеть просто не обучится.
Проблема не в "лишней информации", а в том, что модели -- это статистические губки. ИИ нужен шум и огромный объем вариаций, чтобы нащупать правильное распределение вероятностей. Если дать ИИ только "школьный учебник", он не станет умным, случится оверфит и модель не сможет обобщать знания на новые ситуации. Человек умеет обобщать с малого, модель -- нет. Я сам не понимал как это работает, пока не стал делать распознавание жестов на tensorflow и на малом датасете у меня постоянно стал случаться оверфит, в результате чего оно просто не работало.
Во-вторых, тезис про железо неверен. У человека обучение и работа происходят на одном и том же железе, а у кремния это разные процессы. Обучение (создание структуры весов) требует на порядки больше ресурсов, чем инференс (эксплуатация этой структуры). Поэтому на геймерской карте модель можно запустить, но качественно обучить с нуля — нет. Нужны десятки тысяч карт.
no subject
Date: 2026-01-01 03:21 pm (UTC)Языковая деяетльость к предобуению эволюцией имеет мало отношения. Язык каждый млденец все равно учит с нуля.
Другой вопрос в том, что культурой выработаны способы обучения людей.
А ИИ мы кормим случайными данными и надеемся что само научится. Да научится. Но каждая модель проходит за свое обучение фактически весь путь развития человеческой культуры, а не индивидуума. Поэтому и расхоует в дестки тысяч раз больше ресурсов, чем можно было бы.
Что касается железа, то сэр, вы невнимательны. Первый тезис которы я выдвинул, это то что возможно ускорение работы минимум на порядок, а то и на два. Так что работать ИИ должен мочь не на топовой геймерской рабочей стации. а на средней руки смартоне или Raspberry PI. При словии что у нас доступен такой уровень нижележащих алгоритмов работы с нейронной сети, топовой рабочей станции уже будет хватать для обучения, так как мы хотим, чтобы обучение у нас присходило на порядок быстрее, чем обучение человека. Который вообще говоря, процесс обучения от процесса эксплуатации не отделяет и гоняет их на одном и том же "железе".
От загоняния в модель школьных учебников толку, естествено не будет. Поскольку они расчитаны на использование человеком, живущим в обществе. А в случае нейрости мы пытамся заменить жизнь на набор созданных этим обществом мертвых текстов.
no subject
Date: 2026-01-01 03:33 pm (UTC)По поводу железа и оптимизации: тут ошибка в оценке разрыва между процессами.
Даже если мы оптимизируем алгоритмы в 100 раз, пропорция сохранится. Обучение — это не просто "запустить модель много раз". Это хранение градиентов, состояний оптимизатора и огромных батчей в памяти. Это математически другая операция (backpropagation), которая всегда будет на порядки тяжелее прямого прохода (inference).
Если инференс ужмется до Raspberry Pi, то обучение этой же модели ужмется дай бог до одной серверной H100, но никак не до домашней рабочей станции. Математику градиентного спуска нельзя обмануть оптимизацией кода.
no subject
Date: 2026-01-02 02:03 am (UTC)Вот это, кстати интересный вопрос. А точно проблема не в голосовом аппарате?
no subject
Date: 2026-01-03 10:25 pm (UTC)А шимпанзе, которых учили тому же самому языку жестов, упираются в потолок развития 2-3 летнего ребенка. Они могут выучить слова, но не могут осилить грамматику. Так что проблема именно в центральном процессоре, а не в динамиках.
no subject
Date: 2026-01-04 03:03 am (UTC)И после определённого возраста - обучить их языку уже практически невозможно.
Так что проблема тут программно/аппаратная.
PS. получается по весу/объёму мозга (при схожей структуре, ЕМНИС, у высших приматов уже вполне человеческое устройство мозга) - у шимпанзе как раз примерно и получается как у ребёнка 2 лет? Критерий конечно дурной, но что есть.
no subject
Date: 2025-12-31 04:57 pm (UTC)Тем более, что как раз с распараллеливаемостью перемножения матриц у нас всё ± хорошо.
"Make Helios great again" (там, кстати исходники в общий доступ выложили).
1. https://en.wikipedia.org/wiki/Helios_(operating_system)
no subject
Date: 2025-12-31 05:57 pm (UTC)А на 90 нм инференс не сделать никак. Не влезетъ. Надо прорву блинов-кипятильников (кстати охлаждение и у cerebras-то хайтек, а тут вообще надо что-то на грани фантастики) и потом их как-то увязать. А быструю шину между ними короткую и без проблем на таком уровне -- уже не фантастика, а фэнтези.
Да еще и частоты релистично 1-2 гигагерц максимум.
no subject
Date: 2026-01-03 10:38 am (UTC)no subject
Date: 2026-01-04 03:08 am (UTC)То есть условная военка может заплатить "сколько попросят". Но гражданского применения не будет.
Причём писали про это всё давно, ещё году в 2012-2013, на моей памяти.