Суммарное количество ошибок crc

Не многие пользователи ПК знают, что возникновение ошибок вроде «Ошибка в данных (CRC)» может быть связано не только с неисправностью накопителя (неважно какого), где хранятся эти данные, но и с неполадками комплектующих компьютера, которые отвечают за передачу, обработку или временное хранение данных.

Если ошибки CRC связаны именно с накопителем, не факт, что при их возникновении на экране появится окно с соответствующим сообщением. Просто факт повреждения целостности данных может определить и сам диск, точнее — встроенная в него управляющая микропрограмма, вследствие чего контроллер накопителя будет предпринимать повторные попытки обработать их. И только когда завершатся эти попытки, система отобразит соответствующее сообщение. Кстати, вместо ошибок CRC система может показывать ошибки чтения или записи данных. И это обычно означает наличие более серьезных проблем.

Касательно регистрации ошибок CRC самим накопителем. Как известно, у всех современных дисков присутствуют, т.к. S.M.A.R.T. атрибуты, в которых хранятся различные технические сведение об устройстве. За хранение CRC ошибок отвечает атрибут «CRC Error Count UltraDMA», о котором мы еще поговорим. Но, опять-таки, вовсе необязательно, что увеличивающееся количество ошибок в этом атрибуте является следствием неполадок в работе самого диска.

Что такое и почему возникают ошибки CRC?

«CRC» — Cyclic Redundancy Check (циклический избыточный код) — представляет собой алгоритм, отвечающий за проверку целостности данных (в нашем случае — файлов). Выдаваемые им ошибки, если простыми словами, сообщают нам о том, что структура обработанного (скопированного, перемещенного) или загруженного в память (открытого, запущенного) файла не соответствует его первоначальной структуре. Алгоритм CRC сначала анализирует первоначальные данные, затем конечные. В обоих случаях он должен выдать одинаковый код (контрольную сумму), что будет являться свидетельством целостности обработанных файлов. Если же эти коды разные, то, значит, имеет место нарушение целостности.

Важно понимать, что ошибки CRC не являются прямым свидетельством повреждения данных именно на накопителе, хотя это одна из причин их возникновения.

Выше мы говорили о неполадках в работе других комплектующих компьютера, что также могут являться причиной ошибок CRC. Вот несколько примеров:

• Порты на самом SSD-диске или материнской плате. Здесь, как правило, стоит рассматривать вопрос нестабильного соединения, т.к. поломка портов обычно приводит к невозможности определения накопителя системной платой.
• Контроллер, отвечающий за связь между SSD-диском и материнской платой. Помимо всевозможных электротехнических неполадок, также может иметь место несовместимость контроллера с накопителем. Возможно, что он работает на гораздо меньших скоростях, нежели SSD-диск, потому не успевает обработать какую-то часть данных.
• Оперативная память. В операциях с файлами ОЗУ может принимать участие в качестве буфера, т.е. временного хранилища данных. И если на каком-то этапе будет иметь место подмена, редактирование, затирание и т.д. какой-то части данных, то алгоритм CRC, естественно, сгенерирует разные контрольные суммы для исходного и обработанного файла.
• Процессор. Объяснение примерно то же, что и в случае с оперативной памятью. Только сюда еще можно добавить некорректный подсчет контрольной суммы самим алгоритмом CRC или возникновение его внутренних ошибок из-за того, что в работе процессора наблюдаются какие-то «аномалии».

Нельзя исключать из причин возникновения ошибок CRC и программные сбои. К банальным неполадкам в работе операционной системы и действиям вредоносных программ также добавим:

• Редактирование данных в оперативной памяти со стороны каких-то программ. Это необязательно вирусы. Например, к ним относятся приложения для оптимизации работы ПК, у которых предусмотрена функция очистка памяти от мусора.
• Сбои в драйвере контроллера запоминающих устройств или иных комплектующих ПК, так или иначе участвующих в работе SSD-накопителя.
• Неправильно выставленные для SSD-диска параметры в BIOS/UEFI.
• Неудачный разгон процессора и/или оперативной памяти при помощи специализированных утилит.

Этот список причин, вызывающих ошибки CRC, можно продолжать и дальше, но лучше перейдем к их устранению.

Просмотр SMART-атрибутов SSD-диска

Первое, что рекомендуется сделать — воспользоваться любой программой, позволяющей считать SMART-атрибуты твердотельного накопителя. Можно прибегнуть к помощи фирменных утилит, выпускаемых самими разработчиками SSD-дисков (вроде Samsung Magician или Intel Memory and Storage), или воспользоваться сторонними приложениями, например — CrystalDiskInfo. Все, что от нас требуется — просмотреть значение ранее упоминавшегося атрибута «CRC Error Count UltraDMA», в котором хранится количество CRC-ошибок, зафиксированных самим SSD-диском.

Для примера будем использовать программу CrystalDiskInfo. Ввиду того, что разработчики позаботились о переводе всех атрибутов на русский язык, нужный нам именуется как «CRC-ошибки UltraDMA»:

Обратите внимание на колонку «Raw-значения». В ней будет указано общее количество зарегистрированных диском CRC-ошибок в шестнадцатеричном формате. При необходимости это число можно перевести в привычный для нас десятеричный формат, используя калькулятор Windows в режиме «Программист»:

• В калькуляторе открываем меню «Вид» и выбираем пункт «Программист»:

• Устанавливаем переключатель слева в положение «Hex» и вводим в него значение из атрибута «CRC-ошибки UltraDMA» (нули вначале вписывать не нужно), в нашем случае это — «1546E»:

• Теперь просто устанавливаем переключатель слева в положение «Dec» и получаем значение атрибута «CRC-ошибки UltraDMA» в десятичном формате:

Таким образом, исследуемый диск зарегистрировал 87150 ошибок CRC. Но само по себе данное число не дает никаких намеков на то, что являлось причиной возникновения этих ошибок. Однако их чрезмерно быстрое увеличение будет являться свидетельством наличия неполадок либо в самом диске, либо на компьютере. Это придется выяснять самостоятельно.

Рекомендации по поиску и устранению причин CRC-ошибок

Чтобы отбросить вариант неполадок с компьютером или SSD, лучшим способом будет подключение накопителя к другому ПК и последующая проверка атрибута «CRC-ошибки UltraDMA» по истечению нескольких часов/дней эксплуатации диска или после выполнения операций с крупными файлами или большим их количеством (копирование, установка игр, перемещение с одного раздела в другой, если их несколько). Если количество ошибок не увеличилось, возможно, проблема кроется в самом компьютере. И это могут быть как аппаратные, так и программные неполадки.

Если же другого компьютера под рукой нет, то можно попробовать следующее:

• Если к компьютеру подключены другие диски, их следует временно отключить. Это особенно касается случаев, когда параллельно с SSD-накопителями используются механические винчестеры (жесткие диски).
• Подключить SSD-накопитель к другому порту, если таковые присутствуют в материнской плате.
• В случае со стационарными компьютерами и SSD-дисками в форм-факторе «2.5»: заменить SATA-кабель и/или попробовать запитать устройство при помощи другого кабеля питания, если в блоке питания они предусмотрены.
• При подключении SSD-диска к компьютеру через переходник (например, «mSATA to SATA»), можно попробовать поменять и его, если таковой имеется в наличии.
• Выставить в BIOS/UEFI рекомендуемые для конкретного типа SSD-накопителя параметры. Мы не можем точно сказать, что конкретно перенастраивать. Возможно, стоит попробовать изменить версию интерфейса SATA (например, выставить SATA 2 вместо SATA 3, или наоборот) или PCIe — в зависимости от того, какой тип контроллера предусмотрен в материнской плате и/или в каком режиме он работает. А, возможно, дело и вовсе в параметрах оперативной памяти и/или процессора (тайминги, уровни напряжений, частотные характеристики и т.д.).
• Если в компьютер установлено несколько планок оперативной памяти, можно попробовать оставить только одну из них. Если она всего одна, стоит попробовать установить ее в другой слот для ОЗУ (обычно их, как минимум, два даже у ноутбуков).

Почти все вышеперечисленное относится к аппаратной составляющей компьютера. Но, как мы уже выяснили, ошибки CRC могут быть вызваны и программными неполадками. В таких случаях мы можем порекомендовать сделать следующее:

• Удалить имеющиеся на диске разделы, а затем создать новые (т.е. выполнить повторную разметку диска). Все хранящиеся данные на накопителе будут удалены, потому предварительно копируем их на другой носитель (или в облачное хранилище, например).
• Переустановить драйвер контроллера запоминающих устройств, скачав актуальную версию с сайта производителя материнской платы или ноутбука.
• Выполнить сканирование SSD-диска на предмет поврежденных блоков памяти (битых секторов) и логических ошибок, используя фирменную утилиту от производителя. Обычно такое сканирование «приводит в чувство» управляющий накопителем контроллер.
• Переустановить или обновить программное обеспечение (прошивку) SSD-диска при помощи все той же фирменной утилиты. Там, как правило, все очень просто — процедура проходит либо в полностью автоматическом, либо в полуавтоматическом режиме (прошивку придется скачивать самому). Однако это потребует наличия еще одного диска с операционной системой на борту (или можно попробовать загрузиться с флешки с Live-версией ОС Windows).
• Если на компьютере ранее выполнялся разгон, например, процессора при помощи специализированного софта, пробуем вернуть первоначальные значения увеличенных характеристик.
• Временно отключить антивирусы и/или другие программы, способные изменять содержимое оперативной памяти.

Однако никакие манипуляции с диском и/или программным обеспечением компьютера не помогут, если рабочий ресурс SSD-диска подходит к концу (это, кстати, также можно проверить при помощи фирменной программы от производителя). Возникновение ошибок CRC в данном случае может являться последним (первое — это когда на диск не удается ничего записать, а только считать) предзнаменованием полного выхода из строя элементов памяти твердотельного накопителя.

Некоторые пользователи при загрузке (или установке) файлов с каких-либо источников могут столкнуться с ошибкой CRC, проявляющей себя сообщением «Ошибка в данных (CRC)». Данная проблема обычно возникает в ситуации, когда система фиксирует несовпадение контрольных данных загружаемого файла, вследствие чего возникает сообщение об ошибке в данных CRC. В этой статье я расскажу, что это за ошибка, при каких условиях она возникает, а также поясню как её исправить.

Что такое CRC

Прежде чем начать описывать, что делать в ситуации, когда появляется ошибка CRC, следует пояснить, что такое «CRC».

Как известно, CRC (Cycle Redundancy Check – в переводе «циклическая избыточная проверка») являет собой алгоритм создания и проверки «контрольной суммы файла». Последняя используется в слежении за целостностью передаваемых данных с целью профилактики их повреждения или потери.

Данный алгоритм на основе циклического кода вычисляет контрольную сумму файла и добавляет её к телу самого файла. При загрузке (копировании) данного файла система, обладая алгоритмом вычисления контрольной суммы, проверяет правильность полученных данных, и при возникновении нестыковок выдаёт сообщение об ошибке CRC (data error — cycle redundancy check ).

Алгоритм CRC был изобретён в далёком 1961 году, пережил несколько качественных улучшений, и ныне является универсальным средством для проверки целостности получаемых данных.

Особенности возникновения ошибки

Что же до причин возникновения данной дисфункции, то конкретные причины ошибки CRC могут быть следующими:

• Потеря или повреждение какого-либо из пакетов сетевых данных при их передаче;
• Потеря или повреждение данных на жёстком диске (к примеру, из-за плохих секторов);
• Физическое повреждение оптического диска с информацией (CD, DVD и др.);
• Нарушение целостности системного реестра;
• Случайный сбой при инсталляции программы;
• Неверная конфигурация файлов и так далее.

Для отображения кода CRC существует такая программа как HashTab, которая, после своей установки, в свойствах самого файла (кликаем правой клавишей мыши на файле, затем выбираем «Свойства) отображает значения контрольных сумм данного файла.

Ошибка в данных CRC — проблемы с жёстким диском

Итак, как исправить ошибку CRC? Поскольку она регулярно случается из-за проблем к доступу жёсткого диска, то рекомендую выполнить следующее:

Действие 1. Восстановите потерянные данные на жёстком диске. Если данная проблема возникла при попытке получения доступа к какому-либо файлу на жёстком диске, тогда стоит использовать различные программы для восстановления потерянных данных. В частности, можно попробовать в деле такие программные продукты как Power Data Recovery или BadCopy Pro, предназначенные именно для рассматриваемых мной задач.

К примеру, чтобы воспользоваться Power Data Recovery, необходимо скачать и установить приложение, в меню выбрать «Damaged Partition Recovery», и осуществить полное сканирование (Full Scan). Если потерянные данные удастся восстановить, тогда, первым делом, нужно будет скопировать их на надёжный и безопасный носитель.

Действие 2. Альтернативным вариантом восстановления доступа к данным на винчестере является использование системной утилиты проверки диска.

1. Зайдите в Проводник, кликните правой клавишей мыши на проблемном диске (например, С:), в появившемся меню выберите «Свойства».
2. Перейдите на вкладку «Сервис», кликните на «Выполнить проверку», поставьте галочки напротив двух опций проверки диска, нажмите на «Ок», а затем перезагрузите компьютер.
3. После перезагрузки система автоматически задействует проверку целостности данных на жёстком диске, и попытается восстановить повреждённые сектора (может занять какое-то время).

Действие 3. Также можно запустить командную строку от имени администратора (нажать на кнопку «Пуск», в строке поиска написать cmd (не нажимая на ввод), кликнуть на появившийся вверху однотипный результат правой клавишей мыши, и выбрать «Запуск от имени администратора). В командной строке необходимо написать:

chkdsk c: /r /f — (вместо «с:» впишите имя другого проблемного диска при необходимости) затем нажать на ввод, и дождаться окончания проверки.

Как исправить ошибку CRC — альтернативные варианты

Кроме проблем с жёстким диском, ошибка CRC может возникать и по другим причинам. Потому чтобы пофиксить ошибку CRC сделайте следующее:

• Скачайте торрент-файл из другого источника. Если вы скачали какой-либо файл с торрентов и получили ошибку CRC, тогда запустите торрент-клиент, удалите закачку с ошибкой, а потом и сами некорректно загруженные файлы на жёстком диске. Попробуйте поискать альтернативную закачку той же программы на торрент-трекере, возможно проблемная закачка была создана не совсем корректно, или файлы в ней были повреждены. В некоторых ситуациях не будет лишним и переустановить торрент-клиент, причина ошибки CRC может быть и в нём;
• Если вы получили данную ошибку при попытке считывания данных с СД (ДВД) диска, тогда, для начала, необходимо аккуратно протереть поверхность диска мягкой тканью с целью удаления пыли или грязи на его поверхности, а затем попробовать считать его содержимое с помощью уже упомянутой программы BadCopyPro;

• Если данная ошибка возникла при установке какой-либо игры, будет проще загрузить её образ ещё раз (или сами файлы программы) из другого источника с помощью проверенных программ уровня Download Master, возможно, это поможет избавиться от ошибки CRC.

Заключение

Если у вас возникла ошибка в данных CRC, то, прежде всего, определитесь с условиями, при которых возникла данная ошибка. Наиболее часто она возникает при попытке закачки и установки образов дисков (или самых программ) из сети. Эффективным средством в этом случае будет использование альтернативных ресурсов для закачки данных файлов, что, в большинстве случаев, помогает эффективно решить указанную проблему. Если же вы имеете дело с дисфункцией в работе жёсткого диска, тогда необходимо использовать программы уровня Power Data Recovery или BadCopyPro, способных помочь в восстановлении доступа к нужным вам файлам.

A cyclic redundancy check (CRC) is an error-detecting code commonly used in digital networks and storage devices to detect accidental changes to digital data. Blocks of data entering these systems get a short check value attached, based on the remainder of a polynomial division of their contents. On retrieval, the calculation is repeated and, in the event the check values do not match, corrective action can be taken against data corruption. CRCs can be used for error correction (see bitfilters).^[1]

CRCs are so called because the check (data verification) value is a redundancy (it expands the message without adding information) and the algorithm is based on cyclic codes. CRCs are popular because they are simple to implement in binary hardware, easy to analyze mathematically, and particularly good at detecting common errors caused by noise in transmission channels. Because the check value has a fixed length, the function that generates it is occasionally used as a hash function.

Introduction[edit]

CRCs are based on the theory of cyclic error-correcting codes. The use of systematic cyclic codes, which encode messages by adding a fixed-length check value, for the purpose of error detection in communication networks, was first proposed by W. Wesley Peterson in 1961.^[2]
Cyclic codes are not only simple to implement but have the benefit of being particularly well suited for the detection of burst errors: contiguous sequences of erroneous data symbols in messages. This is important because burst errors are common transmission errors in many communication channels, including magnetic and optical storage devices. Typically an n-bit CRC applied to a data block of arbitrary length will detect any single error burst not longer than n bits, and the fraction of all longer error bursts that it will detect is (1 − 2⁻ⁿ).

Specification of a CRC code requires definition of a so-called generator polynomial. This polynomial becomes the divisor in a polynomial long division, which takes the message as the dividend and in which the quotient is discarded and the remainder becomes the result. The important caveat is that the polynomial coefficients are calculated according to the arithmetic of a finite field, so the addition operation can always be performed bitwise-parallel (there is no carry between digits).

In practice, all commonly used CRCs employ the Galois field, or more simply a finite field, of two elements, GF(2). The two elements are usually called 0 and 1, comfortably matching computer architecture.

A CRC is called an n-bit CRC when its check value is n bits long. For a given n, multiple CRCs are possible, each with a different polynomial. Such a polynomial has highest degree n, which means it has n + 1 terms. In other words, the polynomial has a length of n + 1; its encoding requires n + 1 bits. Note that most polynomial specifications either drop the MSB or LSB, since they are always 1. The CRC and associated polynomial typically have a name of the form CRC-n-XXX as in the table below.

The simplest error-detection system, the parity bit, is in fact a 1-bit CRC: it uses the generator polynomial x + 1 (two terms),^[3] and has the name CRC-1.

Application[edit]

A CRC-enabled device calculates a short, fixed-length binary sequence, known as the check value or CRC, for each block of data to be sent or stored and appends it to the data, forming a codeword.

When a codeword is received or read, the device either compares its check value with one freshly calculated from the data block, or equivalently, performs a CRC on the whole codeword and compares the resulting check value with an expected residue constant.

If the CRC values do not match, then the block contains a data error.

The device may take corrective action, such as rereading the block or requesting that it be sent again. Otherwise, the data is assumed to be error-free (though, with some small probability, it may contain undetected errors; this is inherent in the nature of error-checking).^[4]

Data integrity[edit]

CRCs are specifically designed to protect against common types of errors on communication channels, where they can provide quick and reasonable assurance of the integrity of messages delivered. However, they are not suitable for protecting against intentional alteration of data.

Firstly, as there is no authentication, an attacker can edit a message and recompute the CRC without the substitution being detected. When stored alongside the data, CRCs and cryptographic hash functions by themselves do not protect against intentional modification of data. Any application that requires protection against such attacks must use cryptographic authentication mechanisms, such as message authentication codes or digital signatures (which are commonly based on cryptographic hash functions).

Secondly, unlike cryptographic hash functions, CRC is an easily reversible function, which makes it unsuitable for use in digital signatures.^[5]

Thirdly, CRC satisfies a relation similar to that of a linear function (or more accurately, an affine function):^[6]

where depends on the length of and . This can be also stated as follows, where , and have the same length

as a result, even if the CRC is encrypted with a stream cipher that uses XOR as its combining operation (or mode of block cipher which effectively turns it into a stream cipher, such as OFB or CFB), both the message and the associated CRC can be manipulated without knowledge of the encryption key; this was one of the well-known design flaws of the Wired Equivalent Privacy (WEP) protocol.^[7]

Computation[edit]

To compute an n-bit binary CRC, line the bits representing the input in a row, and position the (n + 1)-bit pattern representing the CRC’s divisor (called a «polynomial») underneath the left end of the row.

In this example, we shall encode 14 bits of message with a 3-bit CRC, with a polynomial x³ + x + 1. The polynomial is written in binary as the coefficients; a 3rd-degree polynomial has 4 coefficients (1x³ + 0x² + 1x + 1). In this case, the coefficients are 1, 0, 1 and 1. The result of the calculation is 3 bits long, which is why it is called a 3-bit CRC. However, you need 4 bits to explicitly state the polynomial.

Start with the message to be encoded:

11010011101100

This is first padded with zeros corresponding to the bit length n of the CRC. This is done so that the resulting code word is in systematic form. Here is the first calculation for computing a 3-bit CRC:

11010011101100 000 <--- input right padded by 3 bits
1011               <--- divisor (4 bits) = x³ + x + 1
------------------
01100011101100 000 <--- result

The algorithm acts on the bits directly above the divisor in each step. The result for that iteration is the bitwise XOR of the polynomial divisor with the bits above it. The bits not above the divisor are simply copied directly below for that step. The divisor is then shifted right to align with the highest remaining 1 bit in the input, and the process is repeated until the divisor reaches the right-hand end of the input row. Here is the entire calculation:

11010011101100 000 <--- input right padded by 3 bits
1011               <--- divisor
01100011101100 000 <--- result (note the first four bits are the XOR with the divisor beneath, the rest of the bits are unchanged)
 1011              <--- divisor ...
00111011101100 000
  1011
00010111101100 000
   1011
00000001101100 000 <--- note that the divisor moves over to align with the next 1 in the dividend (since quotient for that step was zero)
       1011             (in other words, it doesn't necessarily move one bit per iteration)
00000000110100 000
        1011
00000000011000 000
         1011
00000000001110 000
          1011
00000000000101 000
           101 1
-----------------
00000000000000 100 <--- remainder (3 bits).  Division algorithm stops here as dividend is equal to zero.

Since the leftmost divisor bit zeroed every input bit it touched, when this process ends the only bits in the input row that can be nonzero are the n bits at the right-hand end of the row. These n bits are the remainder of the division step, and will also be the value of the CRC function (unless the chosen CRC specification calls for some postprocessing).

The validity of a received message can easily be verified by performing the above calculation again, this time with the check value added instead of zeroes. The remainder should equal zero if there are no detectable errors.

11010011101100 100 <--- input with check value
1011               <--- divisor
01100011101100 100 <--- result
 1011              <--- divisor ...
00111011101100 100

......

00000000001110 100
          1011
00000000000101 100
           101 1
------------------
00000000000000 000 <--- remainder

The following Python code outlines a function which will return the initial CRC remainder for a chosen input and polynomial, with either 1 or 0 as the initial padding. Note that this code works with string inputs rather than raw numbers:

def crc_remainder(input_bitstring, polynomial_bitstring, initial_filler):
    """Calculate the CRC remainder of a string of bits using a chosen polynomial.
    initial_filler should be '1' or '0'.
    """
    polynomial_bitstring = polynomial_bitstring.lstrip('0')
    len_input = len(input_bitstring)
    initial_padding = (len(polynomial_bitstring) - 1) * initial_filler
    input_padded_array = list(input_bitstring + initial_padding)
    while '1' in input_padded_array[:len_input]:
        cur_shift = input_padded_array.index('1')
        for i in range(len(polynomial_bitstring)):
            input_padded_array[cur_shift + i] 
            = str(int(polynomial_bitstring[i] != input_padded_array[cur_shift + i]))
    return ''.join(input_padded_array)[len_input:]

def crc_check(input_bitstring, polynomial_bitstring, check_value):
    """Calculate the CRC check of a string of bits using a chosen polynomial."""
    polynomial_bitstring = polynomial_bitstring.lstrip('0')
    len_input = len(input_bitstring)
    initial_padding = check_value
    input_padded_array = list(input_bitstring + initial_padding)
    while '1' in input_padded_array[:len_input]:
        cur_shift = input_padded_array.index('1')
        for i in range(len(polynomial_bitstring)):
            input_padded_array[cur_shift + i] 
            = str(int(polynomial_bitstring[i] != input_padded_array[cur_shift + i]))
    return ('1' not in ''.join(input_padded_array)[len_input:])

>>> crc_remainder('11010011101100', '1011', '0')
'100'
>>> crc_check('11010011101100', '1011', '100')
True

CRC-32 algorithm[edit]

This is a practical algorithm for the CRC-32 variant of CRC.^[8] The CRCTable is a memoization of a calculation that would have to be repeated for each byte of the message (Computation of cyclic redundancy checks § Multi-bit computation).

Function CRC32
   Input:
      data:  Bytes     // Array of bytes
   Output:
      crc32: UInt32    // 32-bit unsigned CRC-32 value

// Initialize CRC-32 to starting value
crc32 ← 0xFFFFFFFF

for each byte in data do
   nLookupIndex ← (crc32 xor byte) and 0xFF
   crc32 ← (crc32 shr 8) xor CRCTable[nLookupIndex]  // CRCTable is an array of 256 32-bit constants

// Finalize the CRC-32 value by inverting all the bits
crc32 ← crc32 xor 0xFFFFFFFF
return crc32

In C, the algorithm looks as such:

#include <inttypes.h> // uint32_t, uint8_t

uint32_t CRC32(const uint8_t data[], size_t data_length) {
	uint32_t crc32 = 0xFFFFFFFFu;
	
	for (size_t i = 0; i < data_length; i++) {
		const uint32_t lookupIndex = (crc32 ^ data[i]) & 0xff;
		crc32 = (crc32 >> 8) ^ CRCTable[lookupIndex];  // CRCTable is an array of 256 32-bit constants
	}
	
	// Finalize the CRC-32 value by inverting all the bits
	crc32 ^= 0xFFFFFFFFu;
	return crc32;
}

Mathematics[edit]

Mathematical analysis of this division-like process reveals how to select a divisor that guarantees good error-detection properties. In this analysis, the digits of the bit strings are taken as the coefficients of a polynomial in some variable x—coefficients that are elements of the finite field GF(2) (the integers modulo 2, i.e. either a zero or a one), instead of more familiar numbers. The set of binary polynomials is a mathematical ring.

Designing polynomials[edit]

The selection of the generator polynomial is the most important part of implementing the CRC algorithm. The polynomial must be chosen to maximize the error-detecting capabilities while minimizing overall collision probabilities.

The most important attribute of the polynomial is its length (largest degree(exponent) +1 of any one term in the polynomial), because of its direct influence on the length of the computed check value.

The most commonly used polynomial lengths are 9 bits (CRC-8), 17 bits (CRC-16), 33 bits (CRC-32), and 65 bits (CRC-64).^[3]

A CRC is called an n-bit CRC when its check value is n-bits. For a given n, multiple CRCs are possible, each with a different polynomial. Such a polynomial has highest degree n, and hence n + 1 terms (the polynomial has a length of n + 1). The remainder has length n. The CRC has a name of the form CRC-n-XXX.

The design of the CRC polynomial depends on the maximum total length of the block to be protected (data + CRC bits), the desired error protection features, and the type of resources for implementing the CRC, as well as the desired performance. A common misconception is that the «best» CRC polynomials are derived from either irreducible polynomials or irreducible polynomials times the factor 1 + x, which adds to the code the ability to detect all errors affecting an odd number of bits.^[9] In reality, all the factors described above should enter into the selection of the polynomial and may lead to a reducible polynomial. However, choosing a reducible polynomial will result in a certain proportion of missed errors, due to the quotient ring having zero divisors.

The advantage of choosing a primitive polynomial as the generator for a CRC code is that the resulting code has maximal total block length in the sense that all 1-bit errors within that block length have different remainders (also called syndromes) and therefore, since the remainder is a linear function of the block, the code can detect all 2-bit errors within that block length. If is the degree of the primitive generator polynomial, then the maximal total block length is , and the associated code is able to detect any single-bit or double-bit errors.^[10] We can improve this situation. If we use the generator polynomial , where is a primitive polynomial of degree , then the maximal total block length is , and the code is able to detect single, double, triple and any odd number of errors.

A polynomial that admits other factorizations may be chosen then so as to balance the maximal total blocklength with a desired error detection power. The BCH codes are a powerful class of such polynomials. They subsume the two examples above. Regardless of the reducibility properties of a generator polynomial of degree r, if it includes the «+1» term, the code will be able to detect error patterns that are confined to a window of r contiguous bits. These patterns are called «error bursts».

Specification[edit]

The concept of the CRC as an error-detecting code gets complicated when an implementer or standards committee uses it to design a practical system. Here are some of the complications:

• Sometimes an implementation prefixes a fixed bit pattern to the bitstream to be checked. This is useful when clocking errors might insert 0-bits in front of a message, an alteration that would otherwise leave the check value unchanged.
• Usually, but not always, an implementation appends n 0-bits (n being the size of the CRC) to the bitstream to be checked before the polynomial division occurs. Such appending is explicitly demonstrated in the Computation of CRC article. This has the convenience that the remainder of the original bitstream with the check value appended is exactly zero, so the CRC can be checked simply by performing the polynomial division on the received bitstream and comparing the remainder with zero. Due to the associative and commutative properties of the exclusive-or operation, practical table driven implementations can obtain a result numerically equivalent to zero-appending without explicitly appending any zeroes, by using an equivalent,^[9] faster algorithm that combines the message bitstream with the stream being shifted out of the CRC register.
• Sometimes an implementation exclusive-ORs a fixed bit pattern into the remainder of the polynomial division.
• Bit order: Some schemes view the low-order bit of each byte as «first», which then during polynomial division means «leftmost», which is contrary to our customary understanding of «low-order». This convention makes sense when serial-port transmissions are CRC-checked in hardware, because some widespread serial-port transmission conventions transmit bytes least-significant bit first.
• Byte order: With multi-byte CRCs, there can be confusion over whether the byte transmitted first (or stored in the lowest-addressed byte of memory) is the least-significant byte (LSB) or the most-significant byte (MSB). For example, some 16-bit CRC schemes swap the bytes of the check value.
• Omission of the high-order bit of the divisor polynomial: Since the high-order bit is always 1, and since an n-bit CRC must be defined by an (n + 1)-bit divisor which overflows an n-bit register, some writers assume that it is unnecessary to mention the divisor’s high-order bit.
• Omission of the low-order bit of the divisor polynomial: Since the low-order bit is always 1, authors such as Philip Koopman represent polynomials with their high-order bit intact, but without the low-order bit (the or 1 term). This convention encodes the polynomial complete with its degree in one integer.

These complications mean that there are three common ways to express a polynomial as an integer: the first two, which are mirror images in binary, are the constants found in code; the third is the number found in Koopman’s papers. In each case, one term is omitted. So the polynomial may be transcribed as:

In the table below they are shown as:

Obfuscation[edit]

CRCs in proprietary protocols might be obfuscated by using a non-trivial initial value and a final XOR, but these techniques do not add cryptographic strength to the algorithm and can be reverse engineered using straightforward methods.^[11]

Standards and common use[edit]

Numerous varieties of cyclic redundancy checks have been incorporated into technical standards. By no means does one algorithm, or one of each degree, suit every purpose; Koopman and Chakravarty recommend selecting a polynomial according to the application requirements and the expected distribution of message lengths.^[12] The number of distinct CRCs in use has confused developers, a situation which authors have sought to address.^[9] There are three polynomials reported for CRC-12,^[12] twenty-two conflicting definitions of CRC-16, and seven of CRC-32.^[13]

The polynomials commonly applied are not the most efficient ones possible. Since 1993, Koopman, Castagnoli and others have surveyed the space of polynomials between 3 and 64 bits in size,^{[12][14][15][16]} finding examples that have much better performance (in terms of Hamming distance for a given message size) than the polynomials of earlier protocols, and publishing the best of these with the aim of improving the error detection capacity of future standards.^[15] In particular, iSCSI and SCTP have adopted one of the findings of this research, the CRC-32C (Castagnoli) polynomial.

The design of the 32-bit polynomial most commonly used by standards bodies, CRC-32-IEEE, was the result of a joint effort for the Rome Laboratory and the Air Force Electronic Systems Division by Joseph Hammond, James Brown and Shyan-Shiang Liu of the Georgia Institute of Technology and Kenneth Brayer of the Mitre Corporation. The earliest known appearances of the 32-bit polynomial were in their 1975 publications: Technical Report 2956 by Brayer for Mitre, published in January and released for public dissemination through DTIC in August,^[17] and Hammond, Brown and Liu’s report for the Rome Laboratory, published in May.^[18] Both reports contained contributions from the other team. During December 1975, Brayer and Hammond presented their work in a paper at the IEEE National Telecommunications Conference: the IEEE CRC-32 polynomial is the generating polynomial of a Hamming code and was selected for its error detection performance.^[19] Even so, the Castagnoli CRC-32C polynomial used in iSCSI or SCTP matches its performance on messages from 58 bits to 131 kbits, and outperforms it in several size ranges including the two most common sizes of Internet packet.^[15] The ITU-T G.hn standard also uses CRC-32C to detect errors in the payload (although it uses CRC-16-CCITT for PHY headers).

CRC-32C computation is implemented in hardware as an operation (CRC32) of SSE4.2 instruction set, first introduced in Intel processors’ Nehalem microarchitecture. ARM AArch64 architecture also provides hardware acceleration for both CRC-32 and CRC-32C operations.

Polynomial representations of cyclic redundancy checks[edit]

The table below lists only the polynomials of the various algorithms in use. Variations of a particular protocol can impose pre-inversion, post-inversion and reversed bit ordering as described above. For example, the CRC32 used in Gzip and Bzip2 use the same polynomial, but Gzip employs reversed bit ordering, while Bzip2 does not.^[13]
Note that even parity polynomials in GF(2) with degree greater than 1 are never primitive. Even parity polynomial marked as primitive in this table represent a primitive polynomial multiplied by . The most significant bit of a polynomial is always 1, and is not shown in the hex representations.

Name	Uses	Polynomial representations	Parity[20]	Primitive[21]	Maximum bits of payload by Hamming distance[22][15][21]
Normal	Reversed	Reciprocal	Reversed reciprocal	≥ 16	15	14	13	12	11	10	9	8	7	6	5	4	3	2[23]
CRC-1	most hardware; also known as parity bit	0x1	0x1	0x1	0x1	even
CRC-3-GSM	mobile networks[24]	0x3	0x6	0x5	0x5	odd	yes [25]	–	–	–	–	–	–	–	–	–	–	–	–	–	4	∞
CRC-4-ITU	ITU-T G.704, p. 12	0x3	0xC	0x9	0x9	odd
CRC-5-EPC	Gen 2 RFID[26]	0x09	0x12	0x05	0x14	odd
CRC-5-ITU	ITU-T G.704, p. 9	0x15	0x15	0x0B	0x1A	even
CRC-5-USB	USB token packets	0x05	0x14	0x09	0x12	odd
CRC-6-CDMA2000-A	mobile networks[27]	0x27	0x39	0x33	0x33	odd
CRC-6-CDMA2000-B	mobile networks[27]	0x07	0x38	0x31	0x23	even
CRC-6-DARC	Data Radio Channel[28]	0x19	0x26	0x0D	0x2C	even
CRC-6-GSM	mobile networks[24]	0x2F	0x3D	0x3B	0x37	even	yes [29]	–	–	–	–	–	–	–	–	–	–	1	1	25	25	∞
CRC-6-ITU	ITU-T G.704, p. 3	0x03	0x30	0x21	0x21	odd
CRC-7	telecom systems, ITU-T G.707, ITU-T G.832, MMC, SD	0x09	0x48	0x11	0x44	odd
CRC-7-MVB	Train Communication Network, IEC 60870-5[30]	0x65	0x53	0x27	0x72	odd
CRC-8	DVB-S2[31]	0xD5	0xAB	0x57	0xEA[12]	even	no [32]	–	–	–	–	–	–	–	–	–	–	2	2	85	85	∞
CRC-8-AUTOSAR	automotive integration,[33] OpenSafety[34]	0x2F	0xF4	0xE9	0x97[12]	even	yes [32]	–	–	–	–	–	–	–	–	–	–	3	3	119	119	∞
CRC-8-Bluetooth	wireless connectivity[35]	0xA7	0xE5	0xCB	0xD3	even
CRC-8-CCITT	ITU-T I.432.1 (02/99); ATM HEC, ISDN HEC and cell delineation, SMBus PEC	0x07	0xE0	0xC1	0x83	even
CRC-8-Dallas/Maxim	1-Wire bus[36]	0x31	0x8C	0x19	0x98	even
CRC-8-DARC	Data Radio Channel[28]	0x39	0x9C	0x39	0x9C	odd
CRC-8-GSM-B	mobile networks[24]	0x49	0x92	0x25	0xA4	even
CRC-8-SAE J1850	AES3; OBD	0x1D	0xB8	0x71	0x8E	odd
CRC-8-WCDMA	mobile networks[27][37]	0x9B	0xD9	0xB3	0xCD[12]	even
CRC-10	ATM; ITU-T I.610	0x233	0x331	0x263	0x319	even
CRC-10-CDMA2000	mobile networks[27]	0x3D9	0x26F	0x0DF	0x3EC	even
CRC-10-GSM	mobile networks[24]	0x175	0x2BA	0x175	0x2BA	odd
CRC-11	FlexRay[38]	0x385	0x50E	0x21D	0x5C2	even
CRC-12	telecom systems[39][40]	0x80F	0xF01	0xE03	0xC07[12]	even
CRC-12-CDMA2000	mobile networks[27]	0xF13	0xC8F	0x91F	0xF89	even
CRC-12-GSM	mobile networks[24]	0xD31	0x8CB	0x197	0xE98	odd
CRC-13-BBC	Time signal, Radio teleswitch[41][42]	0x1CF5	0x15E7	0x0BCF	0x1E7A	even
CRC-14-DARC	Data Radio Channel[28]	0x0805	0x2804	0x1009	0x2402	even
CRC-14-GSM	mobile networks[24]	0x202D	0x2D01	0x1A03	0x3016	even
CRC-15-CAN		0xC599[43][44]	0x4CD1	0x19A3	0x62CC	even
CRC-15-MPT1327	[45]	0x6815	0x540B	0x2817	0x740A	odd
CRC-16-Chakravarty	Optimal for payloads ≤64 bits[30]	0x2F15	0xA8F4	0x51E9	0x978A	odd
CRC-16-ARINC	ACARS applications[46]	0xA02B	0xD405	0xA80B	0xD015	odd
CRC-16-CCITT	X.25, V.41, HDLC FCS, XMODEM, Bluetooth, PACTOR, SD, DigRF, many others; known as CRC-CCITT	0x1021	0x8408	0x811	0x8810[12]	even
CRC-16-CDMA2000	mobile networks[27]	0xC867	0xE613	0xCC27	0xE433	odd
CRC-16-DECT	cordless telephones[47]	0x0589	0x91A0	0x2341	0x82C4	even
CRC-16-T10-DIF	SCSI DIF	0x8BB7[48]	0xEDD1	0xDBA3	0xC5DB	odd
CRC-16-DNP	DNP, IEC 870, M-Bus	0x3D65	0xA6BC	0x4D79	0x9EB2	even
CRC-16-IBM	Bisync, Modbus, USB, ANSI X3.28, SIA DC-07, many others; also known as CRC-16 and CRC-16-ANSI	0x8005	0xA001	0x4003	0xC002	even
CRC-16-OpenSafety-A	safety fieldbus[34]	0x5935	0xAC9A	0x5935	0xAC9A[12]	odd
CRC-16-OpenSafety-B	safety fieldbus[34]	0x755B	0xDAAE	0xB55D	0xBAAD[12]	odd
CRC-16-Profibus	fieldbus networks[49]	0x1DCF	0xF3B8	0xE771	0x8EE7	odd
Fletcher-16	Used in Adler-32 A & B Checksums	Often confused to be a CRC, but actually a checksum; see Fletcher’s checksum
CRC-17-CAN	CAN FD[50]	0x1685B	0x1B42D	0x1685B	0x1B42D	even
CRC-21-CAN	CAN FD[50]	0x102899	0x132281	0x064503	0x18144C	even
CRC-24	FlexRay[38]	0x5D6DCB	0xD3B6BA	0xA76D75	0xAEB6E5	even
CRC-24-Radix-64	OpenPGP, RTCM104v3	0x864CFB	0xDF3261	0xBE64C3	0xC3267D	even
CRC-24-WCDMA	Used in OS-9 RTOS. Residue = 0x800FE3.[51]	0x800063	0xC60001	0x8C0003	0xC00031	even	yes[52]	–	–	–	–	–	–	–	–	–	–	4	4	8388583	8388583	∞
CRC-30	CDMA	0x2030B9C7	0x38E74301	0x31CE8603	0x30185CE3	even
CRC-32	ISO 3309 (HDLC), ANSI X3.66 (ADCCP), FIPS PUB 71, FED-STD-1003, ITU-T V.42, ISO/IEC/IEEE 802-3 (Ethernet), SATA, MPEG-2, PKZIP, Gzip, Bzip2, POSIX cksum,[53] PNG,[54] ZMODEM, many others	0x04C11DB7	0xEDB88320	0xDB710641	0x82608EDB[15]	odd	yes	–	10	–	–	12	21	34	57	91	171	268	2974	91607	4294967263	∞
CRC-32C (Castagnoli)	iSCSI, SCTP, G.hn payload, SSE4.2, Btrfs, ext4, Ceph	0x1EDC6F41	0x82F63B78	0x05EC76F1	0x8F6E37A0[15]	even	yes	6	–	8	–	20	–	47	–	177	–	5243	–	2147483615	–	∞
CRC-32K (Koopman {1,3,28})	Excellent at Ethernet frame length, poor performance with long files	0x741B8CD7	0xEB31D82E	0xD663B05D	0xBA0DC66B[15]	even	no	2	–	4	–	16	–	18	–	152	–	16360	–	114663	–	∞
CRC-32K2 (Koopman {1,1,30})	Excellent at Ethernet frame length, poor performance with long files	0x32583499	0x992C1A4C	0x32583499	0x992C1A4C[15]	even	no	–	–	3	–	16	–	26	–	134	–	32738	–	65506	–	∞
CRC-32Q	aviation; AIXM[55]	0x814141AB	0xD5828281	0xAB050503	0xC0A0A0D5	even
Adler-32		Often confused to be a CRC, but actually a checksum; see Adler-32
CRC-40-GSM	GSM control channel[56][57][58]	0x0004820009	0x9000412000	0x2000824001	0x8002410004	even
CRC-64-ECMA	ECMA-182 p. 51, XZ Utils	0x42F0E1EBA9EA3693	0xC96C5795D7870F42	0x92D8AF2BAF0E1E85	0xA17870F5D4F51B49	even
CRC-64-ISO	ISO 3309 (HDLC), Swiss-Prot/TrEMBL; considered weak for hashing[59]	0x000000000000001B	0xD800000000000000	0xB000000000000001	0x800000000000000D	odd

Implementations[edit]

• Implementation of CRC32 in GNU Radio up to 3.6.1 (ca. 2012)
• C class code for CRC checksum calculation with many different CRCs to choose from

CRC catalogues[edit]

• Catalogue of parametrised CRC algorithms
• CRC Polynomial Zoo

See also[edit]

• Mathematics of cyclic redundancy checks
• Computation of cyclic redundancy checks
• List of hash functions
• List of checksum algorithms
• Information security
• Simple file verification
• LRC

References[edit]

Further reading[edit]

• Warren Jr., Henry S. (2013). Hacker’s Delight (2 ed.). Addison Wesley. ISBN 978-0-321-84268-8.

External links[edit]

• ISO/IEC 13239:2002: Information technology — Telecommunications and information exchange between systems — High-level data link control (HDLC) procedures
• CRC32-Castagnoli Linux Library

A cyclic redundancy check (CRC) is an error-detecting code commonly used in digital networks and storage devices to detect accidental changes to digital data. Blocks of data entering these systems get a short check value attached, based on the remainder of a polynomial division of their contents. On retrieval, the calculation is repeated and, in the event the check values do not match, corrective action can be taken against data corruption. CRCs can be used for error correction (see bitfilters).^[1]

CRCs are so called because the check (data verification) value is a redundancy (it expands the message without adding information) and the algorithm is based on cyclic codes. CRCs are popular because they are simple to implement in binary hardware, easy to analyze mathematically, and particularly good at detecting common errors caused by noise in transmission channels. Because the check value has a fixed length, the function that generates it is occasionally used as a hash function.

Introduction[edit]

CRCs are based on the theory of cyclic error-correcting codes. The use of systematic cyclic codes, which encode messages by adding a fixed-length check value, for the purpose of error detection in communication networks, was first proposed by W. Wesley Peterson in 1961.^[2]
Cyclic codes are not only simple to implement but have the benefit of being particularly well suited for the detection of burst errors: contiguous sequences of erroneous data symbols in messages. This is important because burst errors are common transmission errors in many communication channels, including magnetic and optical storage devices. Typically an n-bit CRC applied to a data block of arbitrary length will detect any single error burst not longer than n bits, and the fraction of all longer error bursts that it will detect is (1 − 2⁻ⁿ).

Specification of a CRC code requires definition of a so-called generator polynomial. This polynomial becomes the divisor in a polynomial long division, which takes the message as the dividend and in which the quotient is discarded and the remainder becomes the result. The important caveat is that the polynomial coefficients are calculated according to the arithmetic of a finite field, so the addition operation can always be performed bitwise-parallel (there is no carry between digits).

In practice, all commonly used CRCs employ the Galois field, or more simply a finite field, of two elements, GF(2). The two elements are usually called 0 and 1, comfortably matching computer architecture.

A CRC is called an n-bit CRC when its check value is n bits long. For a given n, multiple CRCs are possible, each with a different polynomial. Such a polynomial has highest degree n, which means it has n + 1 terms. In other words, the polynomial has a length of n + 1; its encoding requires n + 1 bits. Note that most polynomial specifications either drop the MSB or LSB, since they are always 1. The CRC and associated polynomial typically have a name of the form CRC-n-XXX as in the table below.

The simplest error-detection system, the parity bit, is in fact a 1-bit CRC: it uses the generator polynomial x + 1 (two terms),^[3] and has the name CRC-1.

Application[edit]

A CRC-enabled device calculates a short, fixed-length binary sequence, known as the check value or CRC, for each block of data to be sent or stored and appends it to the data, forming a codeword.

When a codeword is received or read, the device either compares its check value with one freshly calculated from the data block, or equivalently, performs a CRC on the whole codeword and compares the resulting check value with an expected residue constant.

If the CRC values do not match, then the block contains a data error.

The device may take corrective action, such as rereading the block or requesting that it be sent again. Otherwise, the data is assumed to be error-free (though, with some small probability, it may contain undetected errors; this is inherent in the nature of error-checking).^[4]

Data integrity[edit]

CRCs are specifically designed to protect against common types of errors on communication channels, where they can provide quick and reasonable assurance of the integrity of messages delivered. However, they are not suitable for protecting against intentional alteration of data.

Firstly, as there is no authentication, an attacker can edit a message and recompute the CRC without the substitution being detected. When stored alongside the data, CRCs and cryptographic hash functions by themselves do not protect against intentional modification of data. Any application that requires protection against such attacks must use cryptographic authentication mechanisms, such as message authentication codes or digital signatures (which are commonly based on cryptographic hash functions).

Secondly, unlike cryptographic hash functions, CRC is an easily reversible function, which makes it unsuitable for use in digital signatures.^[5]

Thirdly, CRC satisfies a relation similar to that of a linear function (or more accurately, an affine function):^[6]

where depends on the length of and . This can be also stated as follows, where , and have the same length

as a result, even if the CRC is encrypted with a stream cipher that uses XOR as its combining operation (or mode of block cipher which effectively turns it into a stream cipher, such as OFB or CFB), both the message and the associated CRC can be manipulated without knowledge of the encryption key; this was one of the well-known design flaws of the Wired Equivalent Privacy (WEP) protocol.^[7]

Computation[edit]

To compute an n-bit binary CRC, line the bits representing the input in a row, and position the (n + 1)-bit pattern representing the CRC’s divisor (called a «polynomial») underneath the left end of the row.

In this example, we shall encode 14 bits of message with a 3-bit CRC, with a polynomial x³ + x + 1. The polynomial is written in binary as the coefficients; a 3rd-degree polynomial has 4 coefficients (1x³ + 0x² + 1x + 1). In this case, the coefficients are 1, 0, 1 and 1. The result of the calculation is 3 bits long, which is why it is called a 3-bit CRC. However, you need 4 bits to explicitly state the polynomial.

Start with the message to be encoded:

11010011101100

This is first padded with zeros corresponding to the bit length n of the CRC. This is done so that the resulting code word is in systematic form. Here is the first calculation for computing a 3-bit CRC:

11010011101100 000 <--- input right padded by 3 bits
1011               <--- divisor (4 bits) = x³ + x + 1
------------------
01100011101100 000 <--- result

The algorithm acts on the bits directly above the divisor in each step. The result for that iteration is the bitwise XOR of the polynomial divisor with the bits above it. The bits not above the divisor are simply copied directly below for that step. The divisor is then shifted right to align with the highest remaining 1 bit in the input, and the process is repeated until the divisor reaches the right-hand end of the input row. Here is the entire calculation:

11010011101100 000 <--- input right padded by 3 bits
1011               <--- divisor
01100011101100 000 <--- result (note the first four bits are the XOR with the divisor beneath, the rest of the bits are unchanged)
 1011              <--- divisor ...
00111011101100 000
  1011
00010111101100 000
   1011
00000001101100 000 <--- note that the divisor moves over to align with the next 1 in the dividend (since quotient for that step was zero)
       1011             (in other words, it doesn't necessarily move one bit per iteration)
00000000110100 000
        1011
00000000011000 000
         1011
00000000001110 000
          1011
00000000000101 000
           101 1
-----------------
00000000000000 100 <--- remainder (3 bits).  Division algorithm stops here as dividend is equal to zero.

Since the leftmost divisor bit zeroed every input bit it touched, when this process ends the only bits in the input row that can be nonzero are the n bits at the right-hand end of the row. These n bits are the remainder of the division step, and will also be the value of the CRC function (unless the chosen CRC specification calls for some postprocessing).

The validity of a received message can easily be verified by performing the above calculation again, this time with the check value added instead of zeroes. The remainder should equal zero if there are no detectable errors.

11010011101100 100 <--- input with check value
1011               <--- divisor
01100011101100 100 <--- result
 1011              <--- divisor ...
00111011101100 100

......

00000000001110 100
          1011
00000000000101 100
           101 1
------------------
00000000000000 000 <--- remainder

The following Python code outlines a function which will return the initial CRC remainder for a chosen input and polynomial, with either 1 or 0 as the initial padding. Note that this code works with string inputs rather than raw numbers:

def crc_remainder(input_bitstring, polynomial_bitstring, initial_filler):
    """Calculate the CRC remainder of a string of bits using a chosen polynomial.
    initial_filler should be '1' or '0'.
    """
    polynomial_bitstring = polynomial_bitstring.lstrip('0')
    len_input = len(input_bitstring)
    initial_padding = (len(polynomial_bitstring) - 1) * initial_filler
    input_padded_array = list(input_bitstring + initial_padding)
    while '1' in input_padded_array[:len_input]:
        cur_shift = input_padded_array.index('1')
        for i in range(len(polynomial_bitstring)):
            input_padded_array[cur_shift + i] 
            = str(int(polynomial_bitstring[i] != input_padded_array[cur_shift + i]))
    return ''.join(input_padded_array)[len_input:]

def crc_check(input_bitstring, polynomial_bitstring, check_value):
    """Calculate the CRC check of a string of bits using a chosen polynomial."""
    polynomial_bitstring = polynomial_bitstring.lstrip('0')
    len_input = len(input_bitstring)
    initial_padding = check_value
    input_padded_array = list(input_bitstring + initial_padding)
    while '1' in input_padded_array[:len_input]:
        cur_shift = input_padded_array.index('1')
        for i in range(len(polynomial_bitstring)):
            input_padded_array[cur_shift + i] 
            = str(int(polynomial_bitstring[i] != input_padded_array[cur_shift + i]))
    return ('1' not in ''.join(input_padded_array)[len_input:])

>>> crc_remainder('11010011101100', '1011', '0')
'100'
>>> crc_check('11010011101100', '1011', '100')
True

CRC-32 algorithm[edit]

This is a practical algorithm for the CRC-32 variant of CRC.^[8] The CRCTable is a memoization of a calculation that would have to be repeated for each byte of the message (Computation of cyclic redundancy checks § Multi-bit computation).

Function CRC32
   Input:
      data:  Bytes     // Array of bytes
   Output:
      crc32: UInt32    // 32-bit unsigned CRC-32 value

// Initialize CRC-32 to starting value
crc32 ← 0xFFFFFFFF

for each byte in data do
   nLookupIndex ← (crc32 xor byte) and 0xFF
   crc32 ← (crc32 shr 8) xor CRCTable[nLookupIndex]  // CRCTable is an array of 256 32-bit constants

// Finalize the CRC-32 value by inverting all the bits
crc32 ← crc32 xor 0xFFFFFFFF
return crc32

In C, the algorithm looks as such:

#include <inttypes.h> // uint32_t, uint8_t

uint32_t CRC32(const uint8_t data[], size_t data_length) {
	uint32_t crc32 = 0xFFFFFFFFu;
	
	for (size_t i = 0; i < data_length; i++) {
		const uint32_t lookupIndex = (crc32 ^ data[i]) & 0xff;
		crc32 = (crc32 >> 8) ^ CRCTable[lookupIndex];  // CRCTable is an array of 256 32-bit constants
	}
	
	// Finalize the CRC-32 value by inverting all the bits
	crc32 ^= 0xFFFFFFFFu;
	return crc32;
}

Mathematics[edit]

Mathematical analysis of this division-like process reveals how to select a divisor that guarantees good error-detection properties. In this analysis, the digits of the bit strings are taken as the coefficients of a polynomial in some variable x—coefficients that are elements of the finite field GF(2) (the integers modulo 2, i.e. either a zero or a one), instead of more familiar numbers. The set of binary polynomials is a mathematical ring.

Designing polynomials[edit]

The selection of the generator polynomial is the most important part of implementing the CRC algorithm. The polynomial must be chosen to maximize the error-detecting capabilities while minimizing overall collision probabilities.

The most important attribute of the polynomial is its length (largest degree(exponent) +1 of any one term in the polynomial), because of its direct influence on the length of the computed check value.

The most commonly used polynomial lengths are 9 bits (CRC-8), 17 bits (CRC-16), 33 bits (CRC-32), and 65 bits (CRC-64).^[3]

A CRC is called an n-bit CRC when its check value is n-bits. For a given n, multiple CRCs are possible, each with a different polynomial. Such a polynomial has highest degree n, and hence n + 1 terms (the polynomial has a length of n + 1). The remainder has length n. The CRC has a name of the form CRC-n-XXX.

The design of the CRC polynomial depends on the maximum total length of the block to be protected (data + CRC bits), the desired error protection features, and the type of resources for implementing the CRC, as well as the desired performance. A common misconception is that the «best» CRC polynomials are derived from either irreducible polynomials or irreducible polynomials times the factor 1 + x, which adds to the code the ability to detect all errors affecting an odd number of bits.^[9] In reality, all the factors described above should enter into the selection of the polynomial and may lead to a reducible polynomial. However, choosing a reducible polynomial will result in a certain proportion of missed errors, due to the quotient ring having zero divisors.

The advantage of choosing a primitive polynomial as the generator for a CRC code is that the resulting code has maximal total block length in the sense that all 1-bit errors within that block length have different remainders (also called syndromes) and therefore, since the remainder is a linear function of the block, the code can detect all 2-bit errors within that block length. If is the degree of the primitive generator polynomial, then the maximal total block length is , and the associated code is able to detect any single-bit or double-bit errors.^[10] We can improve this situation. If we use the generator polynomial , where is a primitive polynomial of degree , then the maximal total block length is , and the code is able to detect single, double, triple and any odd number of errors.

A polynomial that admits other factorizations may be chosen then so as to balance the maximal total blocklength with a desired error detection power. The BCH codes are a powerful class of such polynomials. They subsume the two examples above. Regardless of the reducibility properties of a generator polynomial of degree r, if it includes the «+1» term, the code will be able to detect error patterns that are confined to a window of r contiguous bits. These patterns are called «error bursts».

Specification[edit]

The concept of the CRC as an error-detecting code gets complicated when an implementer or standards committee uses it to design a practical system. Here are some of the complications:

• Sometimes an implementation prefixes a fixed bit pattern to the bitstream to be checked. This is useful when clocking errors might insert 0-bits in front of a message, an alteration that would otherwise leave the check value unchanged.
• Usually, but not always, an implementation appends n 0-bits (n being the size of the CRC) to the bitstream to be checked before the polynomial division occurs. Such appending is explicitly demonstrated in the Computation of CRC article. This has the convenience that the remainder of the original bitstream with the check value appended is exactly zero, so the CRC can be checked simply by performing the polynomial division on the received bitstream and comparing the remainder with zero. Due to the associative and commutative properties of the exclusive-or operation, practical table driven implementations can obtain a result numerically equivalent to zero-appending without explicitly appending any zeroes, by using an equivalent,^[9] faster algorithm that combines the message bitstream with the stream being shifted out of the CRC register.
• Sometimes an implementation exclusive-ORs a fixed bit pattern into the remainder of the polynomial division.
• Bit order: Some schemes view the low-order bit of each byte as «first», which then during polynomial division means «leftmost», which is contrary to our customary understanding of «low-order». This convention makes sense when serial-port transmissions are CRC-checked in hardware, because some widespread serial-port transmission conventions transmit bytes least-significant bit first.
• Byte order: With multi-byte CRCs, there can be confusion over whether the byte transmitted first (or stored in the lowest-addressed byte of memory) is the least-significant byte (LSB) or the most-significant byte (MSB). For example, some 16-bit CRC schemes swap the bytes of the check value.
• Omission of the high-order bit of the divisor polynomial: Since the high-order bit is always 1, and since an n-bit CRC must be defined by an (n + 1)-bit divisor which overflows an n-bit register, some writers assume that it is unnecessary to mention the divisor’s high-order bit.
• Omission of the low-order bit of the divisor polynomial: Since the low-order bit is always 1, authors such as Philip Koopman represent polynomials with their high-order bit intact, but without the low-order bit (the or 1 term). This convention encodes the polynomial complete with its degree in one integer.

These complications mean that there are three common ways to express a polynomial as an integer: the first two, which are mirror images in binary, are the constants found in code; the third is the number found in Koopman’s papers. In each case, one term is omitted. So the polynomial may be transcribed as:

In the table below they are shown as:

Obfuscation[edit]

CRCs in proprietary protocols might be obfuscated by using a non-trivial initial value and a final XOR, but these techniques do not add cryptographic strength to the algorithm and can be reverse engineered using straightforward methods.^[11]

Standards and common use[edit]

Numerous varieties of cyclic redundancy checks have been incorporated into technical standards. By no means does one algorithm, or one of each degree, suit every purpose; Koopman and Chakravarty recommend selecting a polynomial according to the application requirements and the expected distribution of message lengths.^[12] The number of distinct CRCs in use has confused developers, a situation which authors have sought to address.^[9] There are three polynomials reported for CRC-12,^[12] twenty-two conflicting definitions of CRC-16, and seven of CRC-32.^[13]

The polynomials commonly applied are not the most efficient ones possible. Since 1993, Koopman, Castagnoli and others have surveyed the space of polynomials between 3 and 64 bits in size,^{[12][14][15][16]} finding examples that have much better performance (in terms of Hamming distance for a given message size) than the polynomials of earlier protocols, and publishing the best of these with the aim of improving the error detection capacity of future standards.^[15] In particular, iSCSI and SCTP have adopted one of the findings of this research, the CRC-32C (Castagnoli) polynomial.

The design of the 32-bit polynomial most commonly used by standards bodies, CRC-32-IEEE, was the result of a joint effort for the Rome Laboratory and the Air Force Electronic Systems Division by Joseph Hammond, James Brown and Shyan-Shiang Liu of the Georgia Institute of Technology and Kenneth Brayer of the Mitre Corporation. The earliest known appearances of the 32-bit polynomial were in their 1975 publications: Technical Report 2956 by Brayer for Mitre, published in January and released for public dissemination through DTIC in August,^[17] and Hammond, Brown and Liu’s report for the Rome Laboratory, published in May.^[18] Both reports contained contributions from the other team. During December 1975, Brayer and Hammond presented their work in a paper at the IEEE National Telecommunications Conference: the IEEE CRC-32 polynomial is the generating polynomial of a Hamming code and was selected for its error detection performance.^[19] Even so, the Castagnoli CRC-32C polynomial used in iSCSI or SCTP matches its performance on messages from 58 bits to 131 kbits, and outperforms it in several size ranges including the two most common sizes of Internet packet.^[15] The ITU-T G.hn standard also uses CRC-32C to detect errors in the payload (although it uses CRC-16-CCITT for PHY headers).

CRC-32C computation is implemented in hardware as an operation (CRC32) of SSE4.2 instruction set, first introduced in Intel processors’ Nehalem microarchitecture. ARM AArch64 architecture also provides hardware acceleration for both CRC-32 and CRC-32C operations.

Polynomial representations of cyclic redundancy checks[edit]

The table below lists only the polynomials of the various algorithms in use. Variations of a particular protocol can impose pre-inversion, post-inversion and reversed bit ordering as described above. For example, the CRC32 used in Gzip and Bzip2 use the same polynomial, but Gzip employs reversed bit ordering, while Bzip2 does not.^[13]
Note that even parity polynomials in GF(2) with degree greater than 1 are never primitive. Even parity polynomial marked as primitive in this table represent a primitive polynomial multiplied by . The most significant bit of a polynomial is always 1, and is not shown in the hex representations.

Name	Uses	Polynomial representations	Parity[20]	Primitive[21]	Maximum bits of payload by Hamming distance[22][15][21]
Normal	Reversed	Reciprocal	Reversed reciprocal	≥ 16	15	14	13	12	11	10	9	8	7	6	5	4	3	2[23]
CRC-1	most hardware; also known as parity bit	0x1	0x1	0x1	0x1	even
CRC-3-GSM	mobile networks[24]	0x3	0x6	0x5	0x5	odd	yes [25]	–	–	–	–	–	–	–	–	–	–	–	–	–	4	∞
CRC-4-ITU	ITU-T G.704, p. 12	0x3	0xC	0x9	0x9	odd
CRC-5-EPC	Gen 2 RFID[26]	0x09	0x12	0x05	0x14	odd
CRC-5-ITU	ITU-T G.704, p. 9	0x15	0x15	0x0B	0x1A	even
CRC-5-USB	USB token packets	0x05	0x14	0x09	0x12	odd
CRC-6-CDMA2000-A	mobile networks[27]	0x27	0x39	0x33	0x33	odd
CRC-6-CDMA2000-B	mobile networks[27]	0x07	0x38	0x31	0x23	even
CRC-6-DARC	Data Radio Channel[28]	0x19	0x26	0x0D	0x2C	even
CRC-6-GSM	mobile networks[24]	0x2F	0x3D	0x3B	0x37	even	yes [29]	–	–	–	–	–	–	–	–	–	–	1	1	25	25	∞
CRC-6-ITU	ITU-T G.704, p. 3	0x03	0x30	0x21	0x21	odd
CRC-7	telecom systems, ITU-T G.707, ITU-T G.832, MMC, SD	0x09	0x48	0x11	0x44	odd
CRC-7-MVB	Train Communication Network, IEC 60870-5[30]	0x65	0x53	0x27	0x72	odd
CRC-8	DVB-S2[31]	0xD5	0xAB	0x57	0xEA[12]	even	no [32]	–	–	–	–	–	–	–	–	–	–	2	2	85	85	∞
CRC-8-AUTOSAR	automotive integration,[33] OpenSafety[34]	0x2F	0xF4	0xE9	0x97[12]	even	yes [32]	–	–	–	–	–	–	–	–	–	–	3	3	119	119	∞
CRC-8-Bluetooth	wireless connectivity[35]	0xA7	0xE5	0xCB	0xD3	even
CRC-8-CCITT	ITU-T I.432.1 (02/99); ATM HEC, ISDN HEC and cell delineation, SMBus PEC	0x07	0xE0	0xC1	0x83	even
CRC-8-Dallas/Maxim	1-Wire bus[36]	0x31	0x8C	0x19	0x98	even
CRC-8-DARC	Data Radio Channel[28]	0x39	0x9C	0x39	0x9C	odd
CRC-8-GSM-B	mobile networks[24]	0x49	0x92	0x25	0xA4	even
CRC-8-SAE J1850	AES3; OBD	0x1D	0xB8	0x71	0x8E	odd
CRC-8-WCDMA	mobile networks[27][37]	0x9B	0xD9	0xB3	0xCD[12]	even
CRC-10	ATM; ITU-T I.610	0x233	0x331	0x263	0x319	even
CRC-10-CDMA2000	mobile networks[27]	0x3D9	0x26F	0x0DF	0x3EC	even
CRC-10-GSM	mobile networks[24]	0x175	0x2BA	0x175	0x2BA	odd
CRC-11	FlexRay[38]	0x385	0x50E	0x21D	0x5C2	even
CRC-12	telecom systems[39][40]	0x80F	0xF01	0xE03	0xC07[12]	even
CRC-12-CDMA2000	mobile networks[27]	0xF13	0xC8F	0x91F	0xF89	even
CRC-12-GSM	mobile networks[24]	0xD31	0x8CB	0x197	0xE98	odd
CRC-13-BBC	Time signal, Radio teleswitch[41][42]	0x1CF5	0x15E7	0x0BCF	0x1E7A	even
CRC-14-DARC	Data Radio Channel[28]	0x0805	0x2804	0x1009	0x2402	even
CRC-14-GSM	mobile networks[24]	0x202D	0x2D01	0x1A03	0x3016	even
CRC-15-CAN		0xC599[43][44]	0x4CD1	0x19A3	0x62CC	even
CRC-15-MPT1327	[45]	0x6815	0x540B	0x2817	0x740A	odd
CRC-16-Chakravarty	Optimal for payloads ≤64 bits[30]	0x2F15	0xA8F4	0x51E9	0x978A	odd
CRC-16-ARINC	ACARS applications[46]	0xA02B	0xD405	0xA80B	0xD015	odd
CRC-16-CCITT	X.25, V.41, HDLC FCS, XMODEM, Bluetooth, PACTOR, SD, DigRF, many others; known as CRC-CCITT	0x1021	0x8408	0x811	0x8810[12]	even
CRC-16-CDMA2000	mobile networks[27]	0xC867	0xE613	0xCC27	0xE433	odd
CRC-16-DECT	cordless telephones[47]	0x0589	0x91A0	0x2341	0x82C4	even
CRC-16-T10-DIF	SCSI DIF	0x8BB7[48]	0xEDD1	0xDBA3	0xC5DB	odd
CRC-16-DNP	DNP, IEC 870, M-Bus	0x3D65	0xA6BC	0x4D79	0x9EB2	even
CRC-16-IBM	Bisync, Modbus, USB, ANSI X3.28, SIA DC-07, many others; also known as CRC-16 and CRC-16-ANSI	0x8005	0xA001	0x4003	0xC002	even
CRC-16-OpenSafety-A	safety fieldbus[34]	0x5935	0xAC9A	0x5935	0xAC9A[12]	odd
CRC-16-OpenSafety-B	safety fieldbus[34]	0x755B	0xDAAE	0xB55D	0xBAAD[12]	odd
CRC-16-Profibus	fieldbus networks[49]	0x1DCF	0xF3B8	0xE771	0x8EE7	odd
Fletcher-16	Used in Adler-32 A & B Checksums	Often confused to be a CRC, but actually a checksum; see Fletcher’s checksum
CRC-17-CAN	CAN FD[50]	0x1685B	0x1B42D	0x1685B	0x1B42D	even
CRC-21-CAN	CAN FD[50]	0x102899	0x132281	0x064503	0x18144C	even
CRC-24	FlexRay[38]	0x5D6DCB	0xD3B6BA	0xA76D75	0xAEB6E5	even
CRC-24-Radix-64	OpenPGP, RTCM104v3	0x864CFB	0xDF3261	0xBE64C3	0xC3267D	even
CRC-24-WCDMA	Used in OS-9 RTOS. Residue = 0x800FE3.[51]	0x800063	0xC60001	0x8C0003	0xC00031	even	yes[52]	–	–	–	–	–	–	–	–	–	–	4	4	8388583	8388583	∞
CRC-30	CDMA	0x2030B9C7	0x38E74301	0x31CE8603	0x30185CE3	even
CRC-32	ISO 3309 (HDLC), ANSI X3.66 (ADCCP), FIPS PUB 71, FED-STD-1003, ITU-T V.42, ISO/IEC/IEEE 802-3 (Ethernet), SATA, MPEG-2, PKZIP, Gzip, Bzip2, POSIX cksum,[53] PNG,[54] ZMODEM, many others	0x04C11DB7	0xEDB88320	0xDB710641	0x82608EDB[15]	odd	yes	–	10	–	–	12	21	34	57	91	171	268	2974	91607	4294967263	∞
CRC-32C (Castagnoli)	iSCSI, SCTP, G.hn payload, SSE4.2, Btrfs, ext4, Ceph	0x1EDC6F41	0x82F63B78	0x05EC76F1	0x8F6E37A0[15]	even	yes	6	–	8	–	20	–	47	–	177	–	5243	–	2147483615	–	∞
CRC-32K (Koopman {1,3,28})	Excellent at Ethernet frame length, poor performance with long files	0x741B8CD7	0xEB31D82E	0xD663B05D	0xBA0DC66B[15]	even	no	2	–	4	–	16	–	18	–	152	–	16360	–	114663	–	∞
CRC-32K2 (Koopman {1,1,30})	Excellent at Ethernet frame length, poor performance with long files	0x32583499	0x992C1A4C	0x32583499	0x992C1A4C[15]	even	no	–	–	3	–	16	–	26	–	134	–	32738	–	65506	–	∞
CRC-32Q	aviation; AIXM[55]	0x814141AB	0xD5828281	0xAB050503	0xC0A0A0D5	even
Adler-32		Often confused to be a CRC, but actually a checksum; see Adler-32
CRC-40-GSM	GSM control channel[56][57][58]	0x0004820009	0x9000412000	0x2000824001	0x8002410004	even
CRC-64-ECMA	ECMA-182 p. 51, XZ Utils	0x42F0E1EBA9EA3693	0xC96C5795D7870F42	0x92D8AF2BAF0E1E85	0xA17870F5D4F51B49	even
CRC-64-ISO	ISO 3309 (HDLC), Swiss-Prot/TrEMBL; considered weak for hashing[59]	0x000000000000001B	0xD800000000000000	0xB000000000000001	0x800000000000000D	odd

Implementations[edit]

• Implementation of CRC32 in GNU Radio up to 3.6.1 (ca. 2012)
• C class code for CRC checksum calculation with many different CRCs to choose from

CRC catalogues[edit]

• Catalogue of parametrised CRC algorithms
• CRC Polynomial Zoo

See also[edit]

• Mathematics of cyclic redundancy checks
• Computation of cyclic redundancy checks
• List of hash functions
• List of checksum algorithms
• Information security
• Simple file verification
• LRC

References[edit]

Further reading[edit]

• Warren Jr., Henry S. (2013). Hacker’s Delight (2 ed.). Addison Wesley. ISBN 978-0-321-84268-8.

External links[edit]

• ISO/IEC 13239:2002: Information technology — Telecommunications and information exchange between systems — High-level data link control (HDLC) procedures
• CRC32-Castagnoli Linux Library

Пользователи регулярно сталкиваются с различными системными сбоями, возникающими по программным или аппаратным причинам. Одной из распространённых проблем является ошибка CRC, сопровождающаяся сообщением с соответствующим текстом «Ошибка данных в CRC». Она свидетельствует о несовпадении контрольных сумм загружаемого файла, что говорит о его изменении или повреждении, и может проявляться при использовании внутренних и внешних накопителей информации. Часто сбой встречается во время записи оптического диска, копирования данных с диска на компьютер, установке игр и приложений или при работе с торрент-клиентами. Момент отслеживания появления сбоя всегда имеет значение, поскольку способ решения проблемы напрямую зависит от того, при каких условиях возникла ошибка CRC.

Что такое CRC

Циклический избыточный код или CRC (англ. Cycle Redundancy Check) является алгоритмом вычисления контрольной суммы файла, используемой для проверки корректности передаваемой информации. То есть в результате обработки информации получается определённое значение, которое обязательно будет разным для файлов, даже на один бит отличающихся между собой. Так, алгоритм, базирующийся на циклическом коде, определяет контрольную сумму и приписывает её к передаваемым данным. В свою очередь принимающая сторона также владеет алгоритмом нахождения контрольной суммы, что даёт возможность системе проверить целостность получаемых данных. Когда эти числа соответствуют, информация передаётся успешно, а при несовпадении значений контрольной суммы возникает ошибка в данных CRC, это означает, что файл, к которому обратилась программа, был изменён или повреждён.

Причины возникновения ошибки CRC

В большинстве случаев проблема носит аппаратный характер, но иногда возникает и по программным причинам. Сообщение «Ошибка данных в CRC» может говорить о неисправности HDD, нарушении файловой системы или наличии битых секторов. Нередко сбой возникает при инициализации жёсткого диска или твердотельного накопителя SSD после подсоединения к компьютеру, несмотря на конструктивные отличия и разницу в способе функционирования, это происходит, поскольку не удаётся правильно прочитать данные. Тогда неполадка может заключаться не только в механических повреждениях, но и в неисправности интерфейсов подключения или плохом контакте. Ошибка в устройствах SSD с интерфейсом PCI-E также случается из-за накопившихся загрязнений на плате. Проблемы с доступом к внешним накопителям нередко связаны с неисправностью портов. Среди программных причин ошибку в данных CRC способны вызывать сбои драйверов устройств. Источником проблемы при установке программного обеспечения посредством торрент-клиента чаще всего является повреждённый архив. Таким образом, можно выделить следующие причины ошибки CRC:

• Случайный сбой во время установки софта.
• Потеря или повреждение данных при их передаче.
• Загрузка повреждённого архива.
• Неправильные записи системного реестра.
• Некорректные драйверы устройств.
• Повреждение оптического диска.
• Неисправность разъёмов.
• Повреждение секторов жёсткого диска, файловой системы HDD.
• Неправильная конфигурация файлов и другие причины.

Как исправить ошибку CRC

Факторов, провоцирующих проблему не так уж и мало. Определить источник неприятности чаще всего можно исходя из условий, при которых проявилась ошибка в данных CRC, тогда можно сузить круг возможных причин и понять, как исправить сбой. Все действия, направленные на устранение неисправности будут эффективны в различных ситуациях.

Ошибка в данных CRC при подключении устройства

В случае возникновения проблемы при работе с внешними накопителями прежде, чем лечить устройство посредством специализированных утилит, первым делом следует проверить работу с другими разъёмами. Если порт неисправен, то вопрос может решиться подключением носителя к иному порту на девайсе. Ещё одна причина – плохой контакт, например это часто встречается в адаптере подключения SD карты, а также при использовании устройств HDD или SSD. Флешка, СД карта или другой подключаемый накопитель также могут быть неисправными, для чтения данных с повреждённых устройств используется специальный софт, например, BadCopyPro, но при выходе из строя носителя программные методы бессильны.

Возникновение сбоя при попытке доступа к файлам на HDD

«Ошибка в данных CRC» нередко проявляется по причине нарушения целостности файловой системы или битых секторов на жёстком диске. Поскольку не удаётся правильно прочесть информацию, с этим может быть связан ряд сбоев, включая ситуацию, когда винчестер не инициализируется. Диагностировать HDD можно с помощью встроенных средств Windows или сторонних программ.

Проверка инструментом Chkdsk

В арсенале ОС имеется немало интегрированных служб для решения различных задач. Проверить файловую систему на ошибки, а также обнаружить битые сектора можно с использованием утилиты Check disk, вызываемой из командной строки. Чтобы просканировать жёсткий диск выполняем следующие действия:

В ряде случаев, когда нет доступа ко всему диску или ошибка в данных CRC проявляется при обращении к софту, который раньше работал, сканирование потребуется выполнить в режиме восстановления, для чего потребуется загрузочная флешка или диск с соответствующей ОС Windows. Изменив порядок запуска устройств (выставить в Boot приоритет для съёмного накопителя) и запустившись с загрузочного носителя можно открыть командную строку следующим образом:

Сканирование системной утилитой проверки диска

Можно выполнить проверку на ошибки и другим способом:

При выборе системного диска потребуется запланировать проверку, в таком случае он будет просканирован при следующей загрузке Windows. Для восстановления HDD применяется также сторонний софт, например, HDD Regenerator, Acronis Disk Director, Victoria и прочие. При этом в случае с физическими повреждениями устройства выправить их программно не получится, поэтому лучше заранее скопировать важную информацию с жёсткого диска, возможно, его время уже на исходе.

Проблема при скачивании с CD/DVD носителя

Если ошибка выскакивает при копировании информации с оптического диска на внутренний накопитель, возможно, что диск просто загрязнён или повреждён. Для начала нужно очистить поверхность носителя и попытаться выполнить процедуру снова. Если не помогло, ищем другой источник информации, а при его отсутствии и необходимости восстановления данных с диска можно использовать программу BadCopyPro, которая считывает и возвращает к жизни файлы с испорченных накопителей, если это возможно. К сожалению, при сильно выраженных повреждениях диска скопировать с него файлы не удастся.

Ошибка в данных CRC при записи оптического диска, установке программ или игр

Если проблема возникла в процессе записи образа, скачанного с просторов интернета, на CD/DVD, стоит проверить контрольные суммы записываемых данных перед выполнением процедуры. Для этой цели используется утилита HashTab, после установки которой, в свойствах файла появится новая вкладка «Хеш-суммы файлов», с её помощью вы сможете сравнить значение с исходником. Так, при несовпадении контрольных сумм, следует скачать образ снова.

Повторно скачать файл или архив следует также, когда с помощью скачанного дистрибутива программы она не устанавливается на компьютер. Данные могли быть повреждены в процессе загрузки или не были полностью выкачаны. Удобно применять для скачивания uTorrent, поскольку утилита самостоятельно определяет значения контрольных сумм и перекачивает часть информации, загрузившейся с ошибкой. В случае скачивания данных по прямым ссылкам можно использовать Download Master. При этом не исключено, что архив или файл уже был повреждён изначально и в таком виде залит на ресурс, потому нужно попробовать скачать его с альтернативного источника.

Ошибка в uTorrent

Когда ошибка в данных CRC появляется в программе uTorrent, исправляем её следующими действиями:

• Выполняем обновление клиента.
• Удаляем проблемную раздачу в программе, а также недокачавшийся файл в папке на компьютере.
• Ищем аналогичную раздачу на другом ресурсе и скачиваем оттуда.

Вышеперечисленных способов достаточно, чтобы избавиться от ошибки в данных CRC, возникающей при различных условиях. Так, определив источник появления сбоя, можно целенаправленно устранить проблему. В большинстве случаев исправить ошибку удаётся программными средствами, но, когда речь идёт о физической неисправности накопителя, следует задуматься о его замене.

25.08.2012, 03:11. Показов 584955. Ответов 2

75

Read error preset timeout limit victoria что это

Как читать вывод показателей SMART
Работа с показаниями Smartudm

При чтении S.M.A.R.T. программа строит таблицу такого типа:
Attribute * Spin Up Time
ID 3
Threshold 63
Value 236
Worst 235
Raw 000000001199h
Type PR SP

Attribute — имя атрибута;
ID — номер атрибута;
Value — значение атрибута (выше лучше);
Threshold — пороговое значения атрибута (если значение меньше чем Threshold, готовьтесь к неприятностям);
Worst — самое низкое значение атрибута за все время тестирования;
Raw — текущее значение атрибута в 16-ричном значении (меньше лучше);
Type — тип атрибута (PR — Performance-related, ER — Error rate, EC — Events count, SP — Self-preserve).

Значения параметров SMART
Raw Read Error Rate — Частота появления ошибок при чтении данных с диска. Данный параметр показывает частоту появления ошибок при операциях чтения с поверхности диска по вине аппаратной части накопителя.
Spin Up Time — Время раскрутки шпинделя. Среднее время раскрутки шпинделя диска от 0 RPM до рабочей скорости. Предположительно, в поле raw value содержится время в миллисекундах/секундах.
Reallocated Sector Count — Количество переназначенных секторов. Когда жесткий диск встречает ошибку чтения/записи/верификации он пытается переместить данные из него в специальную резервную область (spare area) и, в случае успеха, помечает сектор как «переназначенный». Также, этот процесс называют remapping, а переназначенный сектор — remap. Благодаря этой возможности, на современных жестких дисках очень редко видны [при тестировании поверхности] так называемые bad block. Однако, при большом количестве ремапов, на графике чтения с поверхности будут заметны «провалы» — резкое падение скорости чтения (до 10% и более). Поле raw value содержит общее количество переназначенных секторов.
Throughput Performance — Средняя производительность (пропускная способность) диска. Уменьшение значения value этого атрибута с большой вероятностью указывает на проблемы в накопителе.
Start/Stop Count — Количество циклов запуск/останов шпинделя. Поле raw value хранит общее количество включений/выключений диска.
Read Channel Margin — Запас канала чтения. Назначение этого атрибута не документировано и в современных накопителях не используется.
Seek Error Rate — Частота появления ошибок позиционирования БМГ. В случае сбоя в механической системе позиционирования, повреждения сервометок (servo), сильного термического расширения дисков и т.п. возникают ошибки позиционирования. Чем их больше, тем хуже механики и/или поверхности жесткого диска.
Seek Time Performance — Средняя производительность операций позиционирования БМГ. Данный параметр показывает среднюю скорость позиционирования привода БМГ на указанный сектор. Снижение значения этого атрибута говорит о неполадках в механике привода.
Power-On Hours — Количество отработанных часов во включенном состоянии. Поле raw value этого атрибута показывает количество часов (минут, секунд — в зависимости от производителя), отработанных жестким диском. Снижение значения (value) атрибута до критического уровня (threshold) указывает на выработку диском ресурса (MTBF — Mean Time Between Failures). На практике, даже падение этого атрибута до нулевого значения не всегда указывает на реальное исчерпывание ресурса и накопитель может продолжать нормально функционировать.
Spin Retry Count — Количество повторов попыток старта шпинделя диска. Данный атрибут фиксирует общее количество попыток раскрутки шпинделя и его выхода на рабочую скорость, при условии, что первая попытка была неудачной. Снижение значения этого атрибута говорит о неполадках в механике привода.
Recalibration Retries — Количество повторов попыток рекалибровки накопителя. Данный атрибут фиксирует общее количество попыток сброса состояния накопителя и установки головок на нулевую дорожку, при условии, что первая попытка была неудачной. Снижение значения этого атрибута говорит о неполадках в механике привода.
Device Power Cycle Count — Количество полных циклов запуска/останова жесткого диска.
Soft Read Error Rate — Частота появления «программных» ошибок при чтении данных с диска. Данный параметр показывает частоту появления ошибок при операциях чтения с поверхности диска по вине программного обеспечения, а не аппаратной части накопителя.
End-to-End error — Данный атрибут-часть технологии HP SMART IV, это означает, что после передачи через кэш памяти буфера данных паритет данных между хостом и жестким диском не совпадают.
Reported UNC Errors — Ошибки, которые не могли быть восстановлены, используя методы устранения ошибки аппаратными средствами.
Load/Unload cycle count — Количество циклов вывода БМГ в специальную парковочную зону/в рабочее положение. Подробнее — см. описание технологии Head Load/Unload Technology.
Drive Temperature — Температура. Данный параметр отражает в поле raw value показание встроенного температурного сенсора в градусах Цельсия.
Reallocation Event Count — Количество операций переназначения (ремаппинга). Поле raw value этого атрибута показывает общее количество попыток переназначения сбойных секторов в резервную область, предпринятых накопителем. При этом, учитываются как успешные, так и неудачные операции.
Current Pending Sector Count — Текущее количество нестабильных секторов. Поле raw value этого атрибута показывает общее количество секторов, которые накопитель в данный момент считает претендентами на переназначение в резервную область (remap). Если в дальнейшем какой-то из этих секторов будет прочитан успешно, то он исключается из списка претендентов. Если же чтение сектора будет сопровождаться ошибками, то накопитель попытается восстановить данные и перенести их в резервную область, а сам сектор пометить как переназначенный (remapped). Постоянно ненулевое значение raw value этого атрибута говорит о низком качестве (отдельной зоны) поверхности диска.
Uncorrectable Sector Count — Количество нескорректированных ошибок. Атрибут показывает общее количество ошибок, возникших при чтении/записи сектора и которые не удалось скорректировать. Рост значения в поле raw value этого атрибута указывает на явные дефекты поверхности и/или проблемы в работе механики накопителя.
UltraDMA CRC Error Count — Общее количество ошибок CRC в режиме UltraDMA. Поле raw value содержит количество ошибок, возникших в режиме передачи данных UltraDMA в контрольной сумме (ICRC — Interface CRC). Примечание автора. Практика, собранная статистика и изучение журналов ошибок SMART показывают: в большинстве случаев ошибки CRC возникают при сильном завышении частоты PCI (больше номинальных 33.6 MHz), сильно перекрученом кабеле, а также — по вине драйверов ОС, которые не соблюдают требований к передачи/приему данных в режимах UltraDMA.
Write Error Rate (Multi Zone Error Rate)- Частота появления ошибок при записи данных. Показывает общее количество ошибок, обнаруженных во время записи сектора. Чем больше значение в поле raw value (и ниже значение value), тем хуже состояние поверхности диска и/или механики привода.
Disk Shift — Сдвиг пакета дисков относительно оси шпинделя. Актуальное значение атрибута содержится в поле raw value. Единицы измерения — не известны. Подробности — см. в описании технологии G-Force Protection. Примечание. Сдвиг пакета дисков возможен в результате сильной ударной нагрузки на накопитель в результате его падения или по иным причинам.
G-Sense Error Rate — Частота появления ошибок в результате ударных нагрузок. Данный атрибут хранит показания ударочувствительного сенсора — общее количество ошибок, возникших в результате полученных накопителем внешних ударных нагрузок (при падении, неправильной установки, и т.п.). Подробнее — см. описание технологии G-Force Protection.
Loaded Hours — Нагрузка на привод БМГ, вызванная общей наработкой часов накопителем. Учитывается только период, в течении которого головки находились в рабочем положении.
Load/Unload Retry Count — Нагрузка на привод БМГ, вызванная многочисленными повторениями операций чтения, записи, позиционирования головок и т.п. Учитывается только период, в течении которого головки находились в рабочем положении.
Load Friction — Нагрузка на привод БМГ, вызванная трением в механических частях накопителя. Учитывается только период, в течении которого головки находились в рабочем положении.
Load/Unload Cycle Count — Общее количество циклов нагрузки на привод БМГ. Учитывается только период, в течении которого головки находились в рабочем положении.
Load-in Time — Общее время нагрузки на привод БМГ. Предположительно, данный атрибут показывает общее время работы накопителя под нагрузкой, при условии, что головки находятся в рабочем состоянии (вне парковочной зоны).
Torque Amplification Count — Количество усилий вращающего момента привода.
Power-Off Retract Count — Количество зафиксированных повторов в(ы)ключения питания накопителя.
GMR Head Amplitude — Амплитуда дрожания GMR-головок (GMR-Head) в рабочем состоянии.

Источник

RemontCompa .ru

Содержание:

↑ Как произвести тест жёсткого диска в программе Victoria и как исправить сбойные сектора (бэд-блоки) в работающей Windows

Операционная система на нём постоянно зависает и периодически при загрузке запускается проверка жёсткого диска на ошибки. Последней каплей для хозяина винчестера стало то, что не получалось скопировать важные данные на другой диск и даже переустановка операционной системы закончилась очередным зависанием на распаковке файлов Windows, замена установочного диска с операционкой ничего не дала, зависание повторилось на другом этапе установки. Вот тогда и встал вопрос о том, что делать с этим жёстким диском, ведь на одном из разделов находились важные данные и их нужно было скопировать.

↑ Запуск Victoria

Выбираем начальную вкладку Standard. Если у нас несколько жёстких дисков, в правой части окна выделяем левой мышью нужный жёсткий диск, в нашем случае WDC WD5000AAKS-00A7B2

и переходим на вкладку SMART,

жмем кнопку Get SMART, справа от кнопки засветится сообщение GOOD и откроется S.M.A.R.T. выбранного нами жёсткого диска.

↑ Тест поверхности жёсткого диска в программе Victoria

В правой части окна программы отметьте пункт Ignor и пункт read , затем нажмите Start . Запустится простой тест поверхности жёсткого диска без исправления ошибок. Этот тест не принесёт никаких плохих или хороших воздействий на Ваш винчестер, но когда тест закончится, мы узнаем в каком состоянии находится наш жёсткий диск.

13 сбойных секторов (бэд-блоков), все они начинаются в области 6630400 , а заканчиваются на 980000000 , то есть рассыпаны по всему жёсткому диску. Номера бэд-блоков нужно записать. Друзья, вполне возможно все наши проблемы с жёстким диском могут быть из-за этих 13 бэдов и от них нужно избавиться, но сначала сделаем посекторный образ больного винта.

Жёсткий диск пострадавшего WDC WD5000AAKS-00A7B2 (объём 500 ГБ) был разделён на два раздела: диск D: с операционной системой объём 120 ГБ и диск E: с данными объём 345 ГБ.

↑ Создание посекторного образа всего жёсткого диска или нужного раздела в программе DMDE

DMDE скачивается в архиве, разархивируем его и запускаем файл dmde.exe.

Принимаем условия Лицензионного соглашения. В начальном окне программы нам нужно для создания образа выбрать или Физическое устройство (то есть полностью жёсткий диск) или раздел с данными.

Новый том (F:) и ОК. Нужно чтобы раздел, на котором будет создан посекторный образ неисправного жёсткого диска (или раздела с нечитаемыми данными) был по объёму не меньше этого диска.

После прерывания операции заходим на Новый том (F:) и смотрим, есть ли на нём какие-либо данные и. они есть, всё основное, что нам было нужно программе DMDE удалось перенести на диск (F:), практически все данные читаются без ошибок. Значит случай у нас не сложный и бэды в основном софтовые.

Но в некоторых случаях не всё так будет радужно и при попытке войти на раздел с посекторной копией нас будет ждать вот эта ошибка: Нет доступа к F:. Файл или папка повреждены. Чтение невозможно.

Нет доступа к F:. Файловая система не распознана. Убедитесь, что все требуемые системные драйвера загружены и том не повреждён.

Но и в этом случае сдаваться мы не будем и поступим так.

↑ Что делать, если создание посекторного образа пойдёт с ошибками

Друзья, не всегда процесс создания посекторной копии заканчивается успешно даже по истечении нескольких часов, но если прекратить создание посекторной копии данные в ней могут оказаться нечитаемые.

Или в процессе создания посекторной копии появится вот такая ошибка «Запрос не был выполнен из-за ошибки ввода/вывода на устройстве» (смотрите скришнот ниже) обозначающая, что DMDE не смогла прочитать информацию в сбойном секторе (номер сектор указан в ошибке) в этом случае нажмите

«Повторить», произойдёт повторная попытка считывания информации с данного сектора и она может закончится успехом. Если данная ошибка с этим же сектором появится опять, тогда нажмите

«Игнорировать» и создание посекторного образа продолжится, но информацию в этом секторе мы потеряем и в результате в посекторной копии не откроется один какой-либо файл. Если ошибка «Запрос не был выполнен из-за ошибки ввода/вывода на устройстве» будет появляться слишком часто, можно выбрать

«Игнорировать всё» и подобные ошибки будут пропущены, а можно нажать кнопку

«Параметры» и соответствующе настроить программу DMDE для такого тяжёлого случая. Нажмите в этом окне кнопку Параметры.

• Если DMDE Вам не поможет, тогда можно попробовать другие программы, например Acronis True Image. Конечно, существуют ещё способы, с помощью которых можно сделать посекторный образ сбойного винта, например загрузиться с какой-нибудь операционной системы, основанной на Linux, к примеру Ubuntu, но сам процесс описывать здесь не буду и лучше напишу отдельную статью. Также под Линуксом можно запустить утилиту safecopy ..
• Что делать, если всё же посекторную копию жёсткого диска Вам сделать не удастся, выбирать Вам. Можете обратиться в хороший и зарекомендовавший себя сервис по восстановлению данных и посекторную копию с Вашего жёсткого диска снимут на специальном дорогостоящем оборудовании специалисты, например с помощью того же комплекса PC−3000. Если Вам не жалко Ваши данные, то можете рискнуть и запустить в программе Victoria алгоритмы, избавляющие поверхность Вашего жёсткого диска от сбойных секторов (бэд-блоков), как это сделать написано далее, жёсткий диск после этой операции может вернуться к жизни.
• Важно: Казанский (разработчик программы Виктория) обещает, что самый новаторский алгоритм скрытия бэд-блоков BB = Advanced REMAP НЕ деструктивен для данных, но в некоторых случаях для Ваших файлов это может быть деструктивно, так как даже самый продвинутый алгоритм Виктории Advanced REMAP скрытие дефектов (ремап), это по любому изменение трансляции винта, а значит потеря пользовательских данных (подробности далее. Хочу сказать, что иногда бывало и так, что вылечит Victoria жёсткий диск от бэдов и Вам даже удастся скопировать инфу с такого харда, но к сожалению не вся информация получается читаемая.

↑ Как избавится от сбойных секторов (бэд-блоков) с помощью программы Victoria

Пока идёт сканирование поговорим вот о чём.

• Чаще всего попадаются софтовые (программные) бэды, которые убираются быстрее всего обнулением — алгоритмом Erase, да и при неудачной записи в сектор нулей вполне может произойти Remap, так как микропрограмма винчестера может посчитать такой сектор сбойным. Если Erase не поможет, тогда можно выбрать Remap, но как мы знаем, шансы, что Remap будет произведён в работающей Windows невелики.
• Софтовые (программные) бэды в некоторых случаях можно убрать даже простым форматированием средствами самой Windows. Всю разницу между существующими бэд-блоками: физическими и программными, читайте в нашей статье всё о бэд-блоках. В двух словах объясню, что физические бэды (физически разрушившийся сектор) восстановить невозможно (возможен только ремап, переназначение), а логические (программные, ошибки логики сектора) восстановить можно.
• Друзья, мы можем избавиться от бэд-блоков посекторно, но тогда наша статья будет ещё длиннее, это мы тоже сделаем в следующей статье.

Режим Write не ищет никаких сбойных секторов, а просто сразу затирает всю информацию на жёстком диске путём заполнения всех секторов нулями, это и есть на жаргоне ремонтников «Запись по всей поляне», данный алгоритм способен вылечить жёсткий диск от бэдов и просто плохих секторов с большой задержкой чтения, но п осле такого теста восстановить данные на жёстком диске будет невозможно, так что скопируйте предварительно все важные файлы на переносной жёсткий диск.

Источник