Почему так сложно извлекать текст из PDF?
Согласно распространённым представлениям, извлечение текста из PDF не должно быть такой уж сложной задачей. Ведь вот он, текст, прямо у нас перед глазами, и люди постоянно и с большим успехом воспринимают содержимое PDF. Откуда взяться трудностям в автоматическом извлечении текста?
Оказывается, точно так же, как работа с именами людей сложна для алгоритмов из-за множества пограничных случаев и неправильных предположений, так и работа с PDF сложна из-за чрезвычайной гибкости PDF-формата.
Основная проблема в том, что PDF не предполагался как формат для ввода данных – его разрабатывали, как канал вывода, дающий возможность тонкой подстройки вида итогового документа.
По сути, формат PDF состоит из потока инструкций, описывающих, как создаётся изображение на странице. В частности, текстовые данные хранятся не в виде параграфов – или даже слов – а в виде символов, нарисованных на определённых местах в странице. В итоге при преобразовании текста или документа Word в PDF большая часть семантики контента теряется. Вся внутренняя структура текста превращается в аморфный суп из плавающих на странице символов.
Наполняя FilingDB, мы извлекли текстовые данные из десятков тысяч PDF-документов. В процессе мы наблюдали за тем, как оказались неверными абсолютно все наши предположения о структуре PDF-файлов. Наша миссия оказалась особенно трудной потому, что нам приходилось обрабатывать PDF-документы, приходящие от разных источников, с совершенно разными стилями, шрифтами и внешним видом.
Ниже описывается, какие особенности PDF-файлов делают сложной или даже невозможной задачу извлечения из них текста.
Защита от чтения PDF
Вы могли встречать PDF-файлы, запрещающие копировать из них текстовое содержимое. К примеру, вот, что выдаёт программа SumatraPDF при попытке скопировать текст из защищённого от копирования документа:
Интересно, что текст виден, но при этом программа для просмотра отказывается передавать выделенный текст в буфер обмена.
Это реализовано при помощи нескольких флагов с «разрешениями доступа», один из которых управляет разрешением на копирование. Важно понимать, что сам PDF-файл это делать не заставляет – его содержимое от этого не меняется, и задача по его реализации лежит полностью на программе для просмотра.
Естественно, это на самом деле не защищает от извлечения текста из PDF, поскольку любая достаточно продвинутая библиотека для работы с PDF позволит пользователю либо поменять эти флаги, либо проигнорировать их.
Символы за пределами страниц
Частенько в PDF можно встретить больше текстовых данных, чем те, что показаны на странице. Возьмём эту страницу из ежегодного отчёта Nestle за 2010-й.
К этой странице прикреплено больше текста, чем видно. В частности, в содержимом, связанном с нею, можно найти следующее:
Этот текст расположен вне границ страницы, поэтому большинство просмотрщиков PDF его не показывают. Однако данные там есть, и их можно извлечь программно.
Такое иногда бывает из-за принимаемых в последнюю минуту решений о замене или удалении текста в процессе утверждения.
Мелкие или невидимые символы
Иногда на странице PDF можно встретить очень маленькие или вообще невидимые символы. Вот, к примеру, страница из отчёта Nestle за 2012 год.
На странице имеется мелкий белый текст на белом фоне, где написано следующее:
Wyeth Nutrition logo Identity Guidance to markets
Vevey Octobre 2012 RCC/CI&D
Иногда это делается для повышения доступности, с теми же целями, которым служит тег alt в HTML.
Слишком много пробелов
Иногда в PDF между буквами слов вставлены дополнительные пробелы. Это наверняка сделано в целях кернинга (изменения интервала между символами).
К примеру, в отчёте Hikma Pharma от 2013 года есть такой текст:
Если его скопировать, получим:
В общем случае сложно решить задачу реконструкции исходного текста. Наиболее успешно у нас работает подход с применением оптического распознавания символов, OCR.
Недостаточно пробелов
Иногда в PDF не хватает пробелов, или они заменены другим символом.
Пример 1: следующая выдержка сделана из ежегодного отчёта SEB за 2017.
Пример 2: отчёт Eurobank от 2013 содержит следующее:
И снова лучше всего оказалось использовать для таких страниц OCR.
Встроенные шрифты
PDF работает со шрифтами, мягко говоря, сложным образом. Чтобы понять, как хранятся в PDF текстовые данные, сначала нам нужно разобраться в глифах, названиях глифов и шрифтах.
- Глиф – это набор инструкций, описывающих, как изображать символ или букву.
- Название глифа – это название, связанное с этим глифом. К примеру, «торговая марка» для ™ или «а» для глифа «а».
- Шрифт – это список глифов и связанных с ними названий. К примеру, в большинстве шрифтов есть глиф, который большинство людей распознает, как букву «а», при этом в разных шрифтах содержатся различные способы изображения этой буквы.
К примеру, PDF может содержать код символа 116, который он сопоставляет с названием глифа «t», который, в свою очередь, сопоставлен глифу, описывающему, как выводить на экран символ «t».
Большинство PDF используют стандартную кодировку символов. Кодировка символов – это набор правил, присваивающих смысл самим кодам символов. К примеру:
- В ASCII и Unicode для обозначения буквы «t»используется код символа 116.
- Unicode сопоставляет код символа 9786 глифу «белый смайлик», который выводится, как ☺, а в ASCII такой код не определён.
Хотя для человека итоговый результат ничем не отличается, машина запутается из-за таких кодов символов. Если коды символов не соответствуют стандартной кодировке, программным способом почти невозможно понять, что обозначают коды 1, 2 или 3.
Зачем же в PDF нужно включать нестандартные шрифты и кодировку?
- Одна причина – усложнить извлечение текста.
- Вторая – использование субшрифтов. В большинстве шрифтов есть глифы для очень большого числа кодовых символов, при этом в PDF может использоваться небольшое их подмножество. Для экономии места создатель PDF может обрезать все ненужные глифы и создать компактный субшрифт, который скорее всего будет использовать нестандартную кодировку.
Карта кодирования, которую вы только что сделали – та, что сопоставляет цифры 1 и 116 – называется в PDF-стандарте картой ToUnicode. В PDF-документах могут содержаться собственные карты ToUnicode, однако это не обязательно.
Распознавание слов и параграфов
Воссоздание параграфов и даже слов из аморфного символьного супа PDF-файлов – задача сложная.
PDF-документ содержит список символов на странице, а распознавать слова и параграфы должен потребитель. Люди от природы эффективно справляются с этим, поскольку чтение – навык распространённый.
Чаще всего используется алгоритм группировки, сравнивающий размеры, расположение и выравнивание символов, с целью определить, что является словом или параграфом.
У простейших реализаций таких алгоритмов сложность легко может достичь O(n²), из-за чего обработка плотно забитых страниц может проходить долго.
Порядок текста и параграфов
Распознавание текста и порядка параграфов – задача сложная по двум причинам.
Во-первых, иногда правильного ответа просто нет. Если у документов с обычным типографским набором с одной колонкой последовательность чтения выходит естественной, то у документов с более смелым расположением элементов определить её сложнее. К примеру, не совсем ясно, должна ли следующая вставка идти до, после или в середине статьи, рядом с которой она расположена:
Во-вторых, даже когда человеку ответ ясен, компьютеры определить точный порядок параграфов бывает очень сложно – даже с использованием ИИ. Возможно, это утверждение покажется вам чересчур смелым, но в некоторых случаях правильную последовательность параграфов можно определить, только понимая содержимое текста.
Рассмотрим данное расположение компонентов в два столбца, где описано приготовление овощного салата.
В западном мире разумно предположить, что чтение идёт слева направо и сверху вниз. Поэтому мы, не изучая содержимого текста, можем свести все варианты к двум: A B C D и A C B D.
Изучив содержание, поняв, о чём там говорится, и зная, что овощи моют перед нарезкой, мы можем понять, что правильным порядком будет A C B D. Алгоритмически это определить крайне сложно.
При этом «в большинстве случаев» работает подход, полагающийся на порядок хранения текста внутри PDF-документа. Обычно он соответствует порядку вставки текста во время создания. Когда большие отрезки текста содержат по многу параграфов, они обычно соответствуют тому порядку, который подразумевал их автор.
Встроенные изображения
Нередко часть содержимого документа (или весь документ) оказывается отсканированным изображением. В таких случаях в нём нет текстовых данных, и приходится прибегать к OCR.
К примеру, ежегодный отчёт Yell от 2011 года доступен только в виде скана:
Почему бы просто всё не распознать?
Хотя OCR может помочь с некоторыми описанными проблемами, у него тоже есть свои недочёты.
- Длительное время обработки. Запуск OCR на скане из PDF обычно отнимает на порядок больше времени (а то и ещё дольше), чем прямое извлечение текста из PDF.
- Сложности с нестандартными символами и глифами. Алгоритмам OCR сложно работать с новыми символами – смайликами, звёздочками, кружочками, квадратиками (в списках), надстрочными индексами, сложными математическими символами, и т.п.
- Нет подсказок о последовательности текста. Упорядочивать текст, извлекаемый из PDF-документа, легче, поскольку большую часть времени этот порядок соответствует порядку вставки текста в файл. При извлечении текста с изображений таких подсказок не будет.
Тестирование
Пока что мы ещё не упоминали о том, насколько сложно подтвердить, что текст был извлечён правильно или ожидаемо. Мы обнаружили, что лучше всего проводить обширный набор тестов, изучающих как базовые метрики (длину текста, длину страницы, соотношение количества слов и пробелов), так и более сложные (процент английских слов, процент нераспознанных слов, процент чисел), а также следить за предупреждениями типа подозрительных или неожиданных символов.
Что мы можем посоветовать для извлечения текста из PDF? Прежде всего убедиться, что у текста нет более удобного источника.
Если интересующие вас данные идут только в формате PDF, тогда важно понимать, что эта проблема кажется простой лишь на первый взгляд, а решить её со 100% точностью может и не получиться.
Закорючки, иероглифы кракозябры при копировании из pdf
Адекватного решения на просторах интернета я не нашел.
Пост для таких же как и я.
Решение оказалось простым это программа Adobe Acrobat.
Инструкция: 1) Открываем приложение Adobe Acrobat
2) В левом столбике нажимаем «Мой компьютер» -> «рабочий стол»
3) Выбираем нужный нам файл ( у меня он был на рабочем столе)
4) В правом столбике (правой части экрана) ищем иконку в виде листика со стрелочкой в кружке, при наведение будет написано «Экспорт PDF» нажимаем
5) Далее нажимаем «Экспорт» и выбираем папку куда сохранить файл.
Студенческое общество
836 постов 3.5K подписчиков
@moderator, а можно добавить возможность менять сообщество также, как редактируем теги? Народ частенько промахивается, а сделать ничего нельзя каждый раз.
Автору: совет дельный, конечно, но PDF формат был разработан Adobe, которая, собственно, и делает Acrobat специально для работы с этим форматом, поэтому совсем неудивительно, что без Акробата у вас были проблемы с копированием из файла, особенно если файл был специально так сделан, например.
Да ты просто гений!
Спасибо, полезная информация, хоть и немного не своевременно, но может кому-то еще это реально поможет.
Где ты был 5 лет назад, но спасибо
Срезался
Не поступил я. В Политех. Не набрал 0.5 балла.
Приехал домой. Маме рассказал, что отдал документы в техникум, туда берут.
Лег спать, а тут отец пришел с работы. И я слышу разговор отца с мамой:
— Юр, не поступил Коля. По конкурсу не прошел.
Долгая пауза.
— Ты знаешь, Надя. Не напирай на него. Я за него спокоен, серьезный парень. Захочет ВУЗ закончить- закончит. Не лезь, не торопи. Ему и так сейчас непросто. 17 лет. Сам решит.
Универ я закончил через 8 лет ( сначала техникум, потом завод, заочное).
Спасибо, батя, что не подгонял. Оценил
После кино
Мне 7-8 лет. Идем с отцом из кино. Приезжал " кинокрут", крутил зарубежные фильмы, показывал в ДК.
Иду и канючу:
— Мне скучно, так скучно. Пойдем домой.
Отец посмотрел на меня, улыбнулся и сказал:
— Главное, чтобы тебе со мной скучно не было лет через 30. Хорошо время провели, потом поймешь.
Прошло 35 лет. Батя, мне с тобой не скучно. Ты прав, отлично время провели. Фильм не помню ( одно запомнил, один мужик другого отравил), зато помню, как шли домой и ты меня переносил через лужи. От тебя пахло табаком, холодом. Ты был силен и я хотел, чтобы мы еще с тобой пошли куда нибудь. Отлично время провели.
Хочу написать про первого человека ) на Пикабу заказал у меня торт )) спасибо вам, за доверие
Летняя распродажа в steam началась
На волне постов о банке Tinkoff
Звонок из банка
— Добрый день. Вас беспокоят из банка. Подтверждаете ли перевод на 50 тыс такому то гражданину?
— Кто вы?
— Из такого то банка.
— Соедините меня с казахоязычным специалистом.
— Все казахоязычные сейчас заняты.
— Хочу на казахском.
— тут тут гудки.
У мошенника алгоритм сломался. Никакой подготовки. Везде халтура. Ребята, так не пойдет.
Меркантильность
Вот тут все пишут про девушек, что всем денег подавай, машины дорогие и т.д. Я никогда такой не была, но тем не менее отношения у меня так и не сложились. Сейчас мне 36 и кроме насмешек по поводу возраста я ничего не слышу. Привыкла к одиночеству, благо сейчас много всего, всегда есть чем заняться. Не скажу, что я страшная, но и не красавица, я обычная каких большинство. Поэтому не всегда всё упирается в меркантильность, иногда просто кому-то не везёт. Всем добра.
Советы от экспертов
Новые комиссии от тинькова
Вот тут даже слов нет — скринов достаточно
Открытие
Бритни Спирс в стиле System of a Down
Ну или наоборот
Раскатали
В школе занимался баскетболом. Серьезно занимался. С прыжка мяч в корзину рукой отправлял. Кто занимался- поймет.
Как то подошел тренер:
— Ребята, с вами хотят сыграть
— Кто?
— Увидите.
Выходят мужики ( автодело вел один, трудовик и еще пара, не помню кто)
Вот мы их раскатали.
Счет был разгромный. Мы такие крутые.
Сегодня отжался от пола 15 раз на трясущихся руках. Подумалось.
" А ведь тем мужикам было 40-45, а они с нами, на равных вышли. Вот мы дураки. Я бы сейчас тот темп и 10 мин не вытянул"
А они играли и посмеивались. Как будто знали что то)))
Понимаю, что очень темно, но.
Докажите им, докажите!
В ‘Король и шут’ набирали, наверное, или ‘Дискотеку Аварию’
Рациональный подход к отдыху
Ответ на пост «Когда ты гот, но живешь в деревне»
Психологическое состояние
— Оцените своё психологическое состояние?
— Как мобильная игра.
— Это как?
— Поначалу было интересно, но в итоге наскучила и потеряла смысл. Но ты всё равно заходишь каждый день, выполняешь бессмысленные ежедневные задания, потому что а вдруг потом опять захочется поиграть.
Цены на пиломатериал и загородную недвижку в РФ обвалились, но производители и продавцы ещё этого не поняли
В прошлом году цены на пиломатериалы улетели в космос, а за ними и стоимость строительства загородных домов. Домостроительные компании привыкли к сезонному росту цен, но обычно он составлял не более 15-20% за сезон, что позволяло учитывать эту погрешность при ценообразовании, но к прошлому сезону нас жизнь не готовила. Тем не менее, спрос на домостроение был. Обычно я слежу за ценой по одному из наиболее покупаемых проектов — вот этому домику на 67 квадратных метров:
Осенью 2019 года он стоил 1 450 000 рублей. Осенью 2020 года он стоил 1 720 000 рублей. Осенью 2021 года он стоил 3 200 000 рублей.
Ну, ок, подумали мы. Цены выросли по всему миру, значит когда они снизятся в мире, они снизятся и у нас! Но, как известно, отечественный рынок живёт по другим законам: нефть дорожает — бензин дорожает, нефть дешевеет — бензин дорожает. Мировые цены вернулись на свои места ещё в конце прошлого сезона, но производители пиломатериалов в РФ и не думали снижать стоимость. А зачем, если «пипл хавает»? К тому же, многие продавцы закупились на пике и не собирались продавать себе в убыток. Так, многие рынки закупали фанеру по 1 200 рублей за лист и выставляли её по 1 800 рублей. Но тут случилось несколько событий, которые одно за одним повлияли на лесопереработку в целом. От заградительных пошлин и запретов на экспорт, до которых наконец-то дотумкали в высоких кабинетах министерств, до вишенки на торте — спецоперации.
Лес на корню подешевел в два, а местами в три раза. Но лесозаготовители просто перестали его пилить, ожидая «отскока» к жирным ценам. Тем временем, спрос на рынке загородного домостроения начал уверенно падать, ибо у желающих построить дом появился выбор — купить небольшой замок в Чехии, виллу на берегу моря в Монтенегро или построить каркасник в Подмосковье. Всё это обходилось примерно в одну цену.
Мы, домостроительные компании, пытались договариваться с лесопереработчиками. Предлагали различные схемы работы, в том числе и фьючерсы с предоплатой. Но ответ был один — вставайте в очередь, мы не будем продавать в сезон «себе в убыток» — читай «без навара в 1000%». Ок. Многие компании изменили технологии, стали строить из других материалов или сократили объёмы строительства. И производители, а также перепродавцы пиломатериалов встали перед простым экономическим фактом — если долго повышать цены, спрос не просто снижается, он пропадает.
На днях позвонил друг, который занимается производством топливных пеллет:
А я говорю: «А чего они ожидали? Что люди будут строить деревянные дома за миллиард? Среди покупателей деревянных домов очень мало миллиардеров. Миллиардеры предпочитают замки и не в этой стране. А для обычных людей цены нужно было снижать в начале сезона, а не в середине, когда вдруг стало ясно, что побарыжить как в прошлом году не получится. Так что пусть себе свои пиломатериалы в задницу засунет теперь. Только пусть берёт строганные, чтобы не занозился.»
Ну, и полез посмотреть — что с ценами сейчас. А на бирже вот что.
Добрый день! Как цены на фьючерсы влияют на цены реальных пиломатериалов? У нас скопилось 40000 кубов доски. Европа отвалилась, и куда мне продавать? Может я тут найду ответ?
Конечно, найдёшь! В задницу запихай себе эту доску! Она ведь не просто так «скопилась». А потому, что вы сраную дюймовку продавали дороже метра профильной трубы. Теперь храни эту доску и молись, чтобы она не зацвела, до лучших времён. Это лет 30, по моим прикидкам. Но есть и другой способ — начать продавать в реальных рыночных ценах, а не в ваших фантазиях о дорогих внедорожниках. Тем более, что на внедорожник сейчас не с какими ценами не заработаешь. Если это не Нива, конечно.
Разумные люди уже начали понимать, что задирая цену или сидя на горе дров слона не продашь денег не заработаешь. И снижают цену, стремясь успеть в сезон. А кто-то верит в рост спроса. Мечтатели. На скрине актуальная (25.06.2022) цена на один и тот же лист OSB-3 Калевала 9 мм.
В общем, наступает интересное время. Цены падают вместе с доходами граждан РФ, поэтому, думаю что следом мы увидим снижение спроса на вторичную загородную недвижимость — все, кто хотел, уже отстроились или закупились и сараи в 100 км от МКАД по цене в 2 млн. рублей никого не интересуют. Люди же продолжают мыслить прежними категориями и выкладывают свои развалившиеся халупы и бытовки по цене дворцов.
Чем можно расшифровать pdf файл?(Решено)
Да, интересный вариант. Там текст скривлен, так что либо руками, либо как-то так распознавать и править ошибки.
там где? он скинул файл? мне теперь любопытно
глянь че могу
https://brandfolder.com/workbench/extract-text-from-image
короче
все еще так тупо, что аж гениально
делаешь, сука, скриншот страницы
загружаешь в тулзу
получаешь текст
с самой пдфкой ничего не сделал, нужно именно в изображение конвертнуть тем или иным способом
ну или можешь попробовать всю пдфку конвертнуть в жипег и разом прогнать
д
medical
equipment
МЕДИЦИНСКАЯ
БАЛЬНЕОЛОГИЧЕСКАЯ ВАННА
Technomex, Польша
T-MP DISCOVERY
T-MP UWM
Ванна T-MP Discovery предназначена для классических бальнеоло-
гических процедур с применением лекарственных настоев или ме-
дикаментов. Прекрасно подходит для принятия ванн использова-
нием местных минеральных вод.
Современный дизайн и эргономичная форма чаши ванны позволяют
пациенту расслабиться во время процедуры и обеспечивают более
эффективную терапию.
Дополнительными модификациями ванны являются:
• T-MP/B/Discovery — модель для грязевых процедур
• T-MP/S/Discovery — модель для солевых растворов
• T-MP/S/B/Discovery — модель для соленой воды, сероводорода
и грязевых ванн
• T-MP/K Discovery — модель для принятия ванн с углекислотой
СПЕЦИФИКАЦИЯ
Ванна T-MP UWM предназначена для проведения подводного руч-
ного массажа при помощи гибкого шланга со сменными наконечни-
ками. Интегрированные в конструкцию ванны регулятор давления и
манометр позволяют точно дозировать силу водяной струи, исходя-
щей из гидромассажного шланга от 0 до 6 бар (атмосфер).
Объем
Модель ванны
Тип
Габаритные
размеры (мм)
2200 x 950 x 980
01.501.119
T-MP Discovery
240
Электронная панель управления позволяет легко программировать
время автоматического гидромассажа. В зависимости от необходи-
мого эффекта для увеличения интенсивности воздействия в воду
могут добавляться биологически активные субстанции (масла, экс-
тракты трав).
Ванна имеет два уровня наполнения: на 200 и 350 литров.
01.501.121
T-MP/B/Discovery
240
2200 x 950 x 980
01.501.120
240
2200 x 950 x 900
T-MP/S/Discovery
T-MP/S/B/Discovery
01.501.124
240
2200 x 950 x 900
Вследствие небольшого объема ванна идеально подходит для про-
ведения ручного подводного массажа детей и подростков.
СПЕЦИФИКАЦИЯ
Модель ванны
Тип
Объем (л)
Габаритные
размеры (мм)
01.501.004
T-MP UWM
250
2080 x 840 x 740
СТАНДАРТНЫЕ ЦВЕТА ВАНН
2004
10217
6027