| Author |
Message |
vld92
Joined: 24 Oct 2009
Posts: 95
|
Posted: Mon Nov 29, 2010 22:05 Post subject:
|
|
|
Было бы удобно, если бы появился функционал автоматического решения конфликтов по энтропии прилежащих участков. Плюс энтропию можно использовать в др спорных ситуациях.
|
|
|
Сергей

Joined: 26 Aug 2005
Posts: 20281
Flash-Extractor developer
|
Posted: Mon Nov 29, 2010 22:37 Post subject:
|
|
|
Поясните что имеете в виду под энтропией
|
|
|
vld92
Joined: 24 Oct 2009
Posts: 95
|
Posted: Tue Nov 30, 2010 10:44 Post subject:
|
|
В термодинамике - это мера энергетического беспорядка системы, применительно к информации - беспорядка информации.
Например у сильно сжатых архивов и jpg энтропия будет близка к 1, у dbf например 0,23, у MSWord 0,44. Коэффициенты приведены для примера.
Есть например 3 спорных блока по 100кб. Вычисляем энтропию 2 кбайт с начала этого блока и 2 кбайт с конца, так с каждым блоком. Также вычисляется энтропия прилегающих 2 кбайт того участка куда надо этот блок интегрировать. Подходящим считается блок у которого энтропия равна, либо попадает в вилку энтропий "дырки".
|
|
|
vlad_krsk

Joined: 15 Dec 2006
Posts: 411
Location: Красноярск
|
Posted: Tue Nov 30, 2010 13:23 Post subject:
|
|
|
А вычислять энтропию по равности соседних байтов? Типа, если все байты сектора(страницы) одинаковые, то энтропия = 0. Я правильно понял?
|
|
|
vld92
Joined: 24 Oct 2009
Posts: 95
|
Posted: Tue Nov 30, 2010 14:37 Post subject:
|
|
| vlad_krsk wrote: | | А вычислять энтропию по равности соседних байтов? Типа, если все байты сектора(страницы) одинаковые, то энтропия = 0. Я правильно понял? |
Нет, есть специальные алгоритмы доступные в инете, если надо - поищу точнее. Там учитывается не только статистическое количество, но и упорядоченность информации. В деталях пока не силён
|
|
|
Сергей

Joined: 26 Aug 2005
Posts: 20281
Flash-Extractor developer
|
Posted: Tue Nov 30, 2010 15:05 Post subject:
|
|
|
Может просто - берём блок ближний к двум соседнем?
|
|
|
vld92
Joined: 24 Oct 2009
Posts: 95
|
Posted: Tue Nov 30, 2010 15:49 Post subject:
|
|
Опыта у меня пока не много, программа как по дефолту делает?
В RAIDreconstructor энтропия используется, можно перенять опыт.
|
|
|
Сергей

Joined: 26 Aug 2005
Posts: 20281
Flash-Extractor developer
|
Posted: Tue Nov 30, 2010 16:04 Post subject:
|
|
|
Программа перебором на основе Check_Files
|
|
|
vld92
Joined: 24 Oct 2009
Posts: 95
|
Posted: Tue Nov 30, 2010 16:14 Post subject:
|
|
|
А если файл большой, и в нём конфликты, то как я понимаю эффект меньше будет?
|
|
|
vld92
Joined: 24 Oct 2009
Posts: 95
|
Posted: Mon Dec 27, 2010 19:49 Post subject:
|
|
|
Было бы удобнее если бы в хэкс-вьювере запоминалась история того что искалось, например 10 последних поисков.
|
|
|
asm
Joined: 02 Nov 2007
Posts: 129
Location: HDD Masters (Минск)
|
Posted: Mon May 09, 2011 4:44 Post subject:
|
|
Пожелания по RAID Explorer. Очень бы хотелось чтобы в новой версии RAID Explorer был учтен один момент. А именно отработка случаев с дефектами поверхности.
Допустим имеем RAID 5. из 3 жестких дисков. Как минимум 2 диска содержат дефекты поверхности. Создали копии в обход дефектов сторонним средствами и непрочитанное например забили паттерном "BAD!BAD!BAD!BAD!" Вот хотелось бы реакции RAID Explorer'а который видя такое при построении образа - пытался бы воссоздать потерю на основании данных других дисков (естественно если на других дисках дефектов нет). Очевидно что данный режим представляет определенную нагрузку, посему сделать его опциональным. Или как вариант - импорт карт чтения поверхности от стороннего продукта и на основании оной делать выводы где делать замену поврежденных данных на результат XOR сложения.
На сегодняшний день - этого больше всего не хватает в RAID Explorer.
|
|
|
asm
Joined: 02 Nov 2007
Posts: 129
Location: HDD Masters (Минск)
|
Posted: Sat Jun 04, 2011 14:06 Post subject:
|
|
Есть немало случаев когда флеш с XOR и во всем дампе нет boot сектора. Но указывая его вирутальные параметры цепляемся за FAT, Root и т.п.
Вот собственно проверка конфликтов при отсутствии boot сектора не работает ибо решение ищется на основе check_files. Можно ли было бы для разруливания конфликтов ввести возможности ввода необходимых параметров файловой системы?
|
|
|
asm
Joined: 02 Nov 2007
Posts: 129
Location: HDD Masters (Минск)
|
Posted: Sat Jun 11, 2011 13:51 Post subject:
|
|
Наверное есть смысл пересмотреть политику с ипользованием кодов коррекции ошибок налету. Ибо скорость работы сей операции оставляет желать лучшего.
Хорошо когда дамп небольшой, количество битовых ошибок невелико, конфликтов немного и сборщик корректно находит все блоки. Но в ситуациях когда имеем дело с большими флешками, с XOR'ом то ручной поиск многих данных превращается в каторгу с включенной ЕСС (а без ЕСС нередки случаи когда данные попросту не найдутся из-за битовых ошибок)
Понятно что Вы закрыли XOR паттерны от посторонних глаз (по крайней мере усложнили их несанкционированное использование). Но ведь при коррекции содержимого в дампах никто не мешает не сохранять вариант без ксора. (например закрыть его уже своим собственным ксором введенным в виде опции в каждом layout)
|
|
|
Сергей

Joined: 26 Aug 2005
Posts: 20281
Flash-Extractor developer
|
Posted: Sat Jun 11, 2011 14:06 Post subject:
|
|
ASM, всё что вы продложили правильно
И я понимаю необходимость таких возмоностей в некоторыхз ситуациях
Но мне очень сложно будет это реализовать
- по рейдам - я попробую
- по конфиликтам - это действительно почти невозможно учитываю внутренюю структуру программы
- по ксорам - вообще нереально, учитываю внутреннюю структуру программы
|
|
|
asm
Joined: 02 Nov 2007
Posts: 129
Location: HDD Masters (Минск)
|
Posted: Wed Jun 15, 2011 18:54 Post subject:
|
|
Сергей, а можно ли сделать сохранение результатов сканирования в сборщике, чтобы можно было прервать процедуру и продолжить позже. Ибо такая необходимость может возникнуть.
Сохранять как результаты сканирования, уже введенные размеры банков, разобранные конфликты, как вариант добавить подставляемые вирутальные параметры ФС. Это бы позволило затяжные работы делать в несколько этапов и как-то полегче переносить сложности эксплуатации нового FE
------------------
что касается использования виртуального MBR и виртуальных параметров файловой системы, то все эти параметры у вас вводятся когда открыт образ. так можно ж сделать переменную-флаг,при установке которого автоматически будут вводится эти параметры при построении образа (сами параметры в виде доп. полей в параметрах сборщика). Вроде как полагаю суть кода, то это не будет сверх-сложной реализацией, а просто небольшой процедурой, после чего решение автоконфликтов на основании check_files не будет представляться такой великой сложностью при отсутствующем boot секторе в дампе.
вопрос использования переменных, так ничто не мешает ввести дублирующие переменные и просто их значение при установленном флаге передавать тем, что используются в сегодняшнем виртуальном MBR
|
|
|
|