Секретное подразделение Amazon, пишет издание «404Медиа», занималось закупкой книг, которых нет в Сети. Такой новый объем данных очень хорошо подходит для тренировки нейросетей, ведь обучать ИИ на сгенерированных тестах нельзя, это будет серьезно ухудшать качество.
После использования книги шли в макулатуру, даже какие-то редко встречающиеся экземпляры. На первый взгляд это кажется кощунством: зачем уничтожать купленную книгу, если после сканирования ее можно перепродать? Но этому есть логичное объяснение — скорость и стоимость сканирования.
В случае Amazon, о котором сейчас вышло расследование у «404Медиа», книги действительно поступали на склад в Лас-Вегасе, где их переплеты срезали, страницы пропускали через сканеры, а физические экземпляры после этого фактически уже нельзя было продать как книги. Amazon подтвердила, что закупает книги через коммерческие каналы, не конкретизируя, для какой цели.
А почему не сделать аккуратно, сохранив книгу в ее первозданном виде? Дело в том, что сканирование должно быть быстрым, а для этого книгу надо «распотрошить» на отдельные, не сшитые листы бумаги.
Если книга в переплете, страницы нужно перелистывать или использовать специальный сканер, который умеет осторожно переворачивать листы. А если срезать корешок, получается пачка отдельных листов — их можно очень быстро прогнать через промышленный автоматический сканер. Именно поэтому используется такой способ destructive scanning — «разрушающее сканирование».
Стоимость труда при обработке миллионов книг становится огромной.
Если речь идет не о сотне книг, а о сотнях тысяч или миллионах, экономия нескольких минут на каждой книге превращается в колоссальную сумму.
У Anthropic, например, в рамках аналогичного проекта речь шла о планах обработать до 2 миллионов книг за шесть месяцев!
Поэтому, книги покупаются только ради текста. После того как текст отсканирован и распознан, физическая оболочка, какой бы старой или редкой она ни была, становится не нужной.
Сохранение книги с целью перепродажи потребовало бы ввести целый ряд действий. Нужно сохранить книги целыми, отсортировать, оценить состояние, сфотографировать, разместить на площадке, найти покупателей, отправить им. Все это может стоить гораздо больше, чем цена, по которой книгу продадут.
Причем ИИ для обучения не нужны именно раритетные книги. ИИ-компании интересуются старыми изданиями, книгами на мало распространенных языках, узкоспециализированными трудами и т. п. Для обычного читателя такие книги часто не представляют интереса.
Эпштейн был связан с тайным советником гиганта в сфере искусственного интеллекта Anthropic
Так делает не только Amazon. Anthropic точно также скупала книги, массово срезала переплеты, сканировала и отправляла бумагу в макулатуру.
Какой-нибудь букинист имел редкую книгу, которую он годами держал на полке, но вот нашелся покупатель. Книга уходит, отправитель не подозревает, что через пару недель ее переплет срежут, страницы отсканируют, а оригинал отправят в переработку.
Именно такие случаи сейчас и вызывают наибольшее возмущение у продавцов редких книг. Но это нормальная эмоциональная реакция: человеку, который всю жизнь занимается книгами, неприятно видеть, как ее тут же разрезают и отправляют в переработку. Фактически же ничего архистрашного не происходит: речь не идет об уничтожении культурного наследия. Действительно раритетные фолианты стоят огромных денег и они точно не попадут на вторичный рынок, для машинного обучения и затем на переработку.
Любой букинист прекрасно понимает стоимость и ценность того или иного экземпляра и не станет продавать его за обычные деньги. Понятия «редкая книга» и «уникальная книга» – это далеко не одно и то же.
И, конечно, после сканирования остается электронная копия книги, которая хранится постоянно и используется не только для обучения моделей, но и для дальнейшего поиска и исследований.
Комментариев (0)