CAM Rating

Мало что может так порадовать редакцию информационно-аналитического журнала, как известие о реальном сравнении производительности и функциональности конкурирующих CAD-пакетов, так сказать, "в честном бою". Аналитики и редакторы не только всячески приветствуют участие разработчиков в таких мероприятиях, но и весьма жестко критикуют уклоняющихся. Подобной критике, в том числе и с нашей стороны, в свое время подвергалась компания SDRC, которая всегда стремилась избегать публичной оценки I-deas. Чем это закончилось, всем хорошо известно...

К сожалению, серьезные мероприятия высокого уровня, когда привлекаются непосредственно компании- разработчики, требуют от организаторов больших усилий и терпения, а потому проводятся не часто. И вот 7 августа этого года в США произошло яркое событие, всколыхнувшее специалистов по САПР во всем мире. Нетрудно предположить, что волны от него еще долго будут распространяться как в прессе, так и в сферах маркетинга. Речь идет о конкурсе, который сами организаторы назвали "перестрелкой между Inventor и SolidWorks". Его главной сенсацией стало не просто поражение SolidWorks во всех шести раундах, но поражение явное, фатальное и сокрушительное. По крайней мере, такой однозначный вывод напрашивается после прочтения пресс-релизов Autodesk.

Впрочем, именно эта однозначность и вызывает самое большое недоумение у любого специалиста, знакомого с данной тематикой. Как могли так долго заблуждаться многие авторитетные аналитики, называя SolidWorks локомотивом, который первым реализует новаторские идеи и решения, подхватываемые затем конкурентами? И как вообще SolidWorks мог столько лет считаться лидером среди МCAD-пакетов среднего класса, если некоторые тестовые задачи с его помощью решить вообще не удалось? Когда и в чем настолько прибавил Inventor, что так явно обошел SolidWorks?

Все эти вопросы побудили нас более подробно проанализировать организацию, методику и результаты конкурса. Увы, чем глубже мы погружались в тему, тем больше недоумения возникало, и теплые чувства в наших сердцах постепенно остывали.

Прежде всего, несколько слов о том, как все происходило. Как уже было сказано, достопамятное событие состоялось 7 августа 2002 года. Инициаторами и соорганизаторами выступили две ассоциации пользователей AutoCAD - Marin AutoCAD Users Group и Silicon Valley AutoCAD Power Users (SVAPU). Как можно понять из опубликованной информации, за подготовку тестовых заданий отвечала президент SVAPU - г-жа Elise Moss. В качестве судьи этого шестираундового поединка была приглашена г-жа Betty Baugh, президент Industrial Designers Society of America.

Хотя речь все время идет о сравнении CAD-систем, не стоит забывать, что работают с этими системами живые люди, и от уровня их подготовленности результаты зависят не меньше, чем от производительности компьютера и возможностей применяемого софта.

Autodesk подошла к делу со всей серьезностью - играть за ее цвета был выставлен менеджер по продуктам этой компании Кевин Шнейдер (Kevin Schneider). Он работает с Inventor'ом около трех лет (надо полагать, с момента появления пакета) и имеет степень инженера-механика. "Это лучший жокей в конюшне Autodesk" - так характеризует Кевина г-н Roopinder Tara, редактор Интернет-издания TenLinks.

C SolidWorks все оказалось намного сложнее. SolidWorks Corporation в лице своего руководства (Joe Dunne и John McEleney) участвовать в конкурсе отказалась. Как сообщила г-жа Moss, она связывалась ними по телефону и по e-mail, но ее приглашения были отклонены. Назвать такую позицию SolidWorks конструктивной трудно, хотя свои резоны у руководителей компании, как мы увидим, имелись.

Как бы то ни было, по логике вещей, официальный отказ должен был поставить крест на всей затее "вокзала для двоих". Тем и следовало бы завершить эту историю, засвидетельствовав позорную неявку SolidWorks на ристалище. Возможно, на такой исход рассчитывали и руководители SolidWorks Corp., но они явно недооценили настойчивость организаторов. Получив отказ, последние стали связываться с местными реселлерами SolidWorks и предлагать им выставить участника, - ход, безусловно, сильный с точки зрения PR, но бессмысленный по сути. После отказа высших чинов SolidWorks рассчитывать на согласие кого-то из реселлеров было бы, как минимум, наивно.

"Мы обзвонили всех консультантов по SolidWorks, каких только смогли найти в районе San Francisco Bay. Некоторые из них потом пришли в качестве зрителей, но только Ким Добсон (Kym Dobson) оказался достаточно смел, чтобы принять вызов, и он достоин уважения за свое мужество и честность, - сказала потом Elise Moss. - Мы наняли (we hired) эксперта по SolidWorks, который работал с этим продуктом начиная с 1995 года". В своей статье г-жа Moos уточняет: "Ким использовал SolidWorks начиная с 1995 года и обучал SolidWorks инженеров своего отдела. В настоящее время он безработный и собирается начать собственный консультационный бизнес".

Мы намеренно цитируем г-жу Moos, чтобы подчеркнуть некоторую абсурдность ситуации. Для менеджеров по продуктам и консультантов доскональное знание новейших возможностей пакета и умение применить эти знания в неожиданных ситуациях - это профессиональная необходимость. Но даже среди них далеко не все способны биться за честь корпоративного флага в высшей лиге - по чужим правилам и с включенным секундомером. Это не только вопрос знаний, но и психологии, особых навыков и опыта. Специалистов для подобных конкурсов натаскивают месяцами. То, что для соревнования с лучшим профессиональным демонстратором Inventor организаторы со всей серьезностью наняли безработного инженера, не имеющего конкурсного опыта, походит на неудачную шутку.

В работе Ким использовал лаптоп Toshiba Satellite, на котором была инсталлирована учебная версия SolidWorks 2001 Plus. Следующая версия системы, SolidWorks 2003, на тот момент готовилась к бета-тестированию, а ее выход запланирован на конец года. Нам досконально не известно, насколько сильно учебная версия SolidWorks отличается от промышленной, но физически это разные CD. Компания SolidWorks в своем сообщении заявила, что использование учебных версий для сравнения с промышленными не является корректным. Для примера указывается, что в учебную версию не включена возможность анимации, которая требовалась на одном из этапов тестирования. Нам также не известно, были ли установлены все сервис-паки (промежуточные обновления версий) - эти достаточно важные подробности не сообщаются.

Компьютеры обоих участников обладали схожими вычислительными характеристиками (процессор 1.2GHz, RAM 512Mb), однако их графические подсистемы разнились: в профессиональном лаптопе Кевина (Dell Precision m50) была установлена высокопроизводительная видеокарта NVIDIA GeForce2 Go с 32Mb RAM, в то время как в Toshiba Satellite использовалась встроенная видеокарта (подробности о модели, производителе чипсета и прочие характеристики не сообщаются). Некоторые авторы указывают, что эта карта не поддерживает OpenGL, что позволяет обоснованно усомниться в ее эффективности для трехмерной графики SolidWorks. На наш взгляд, это тоже является промахом организаторов.

Подробнее о том, как происходила "перестрелка" и каковы были тестовые задания, мы расскажем чуть ниже. Ну а сейчас о том, что было дальше. Организаторы незамедлительно оповестили весь мир о полученных результатах. Разумеется, вслед за ними победные реляции разместила на своем сайте Autodesk. Несколько позже руководство SolidWorks Corp, похоже, изрядно ошеломленное, распространило обращение, в котором попыталось объяснить свою позицию. То ли этот документ был предназначен для сугубо внутриамериканского употребления, то ли авторам было не совсем удобно за маловразумительные аргументы, но нам пришлось потрудиться, чтобы его найти.

В этом обращении, помимо уже отмеченных более-менее убедительных моментов некорректного, по мнению SolidWorks, проведения тестов, представители компании указывают на то, что они предлагали организаторам провести это соревнование в сентябре, поскольку "сейчас компания сфокусирована на завершении выпуска бета-версии SolidWorks 2003", но получили отказ. Не совсем понятно, каким образом "отрыв от производства" одного человека мог "расфокусировать" отнюдь не малочисленную компанию. Маловероятно, что руководители SolidWorks предполагали использовать в "перестрелке" совсем свежую версию, только что выставленную для бета-тестирования.

Кроме того, отмечается, что "... пользователь, выбранный, нанятый и оплаченный организаторами для представления SolidWorks, был CAD-менеджером и признался организаторам, что редко использовал SolidWorks в последние два года. Очевидный факт, что его знания базировались на SolidWorks 2000, а не на SolidWorks 2001 Plus". Резонно. Но кто, собственно говоря, мешал предотвратить подобную ситуацию?

Вопреки нашим ожиданиям никакого серьезного разбора полетов в разосланных SolidWorks материалах нет. Тестовые задачи и ход конкурса практически не комментируются. Вместо этого следует список из 27 пунктов, описывающих возможности, в которых SolidWorks превосходит Inventor, и которые не были включены в тестовые задачи. Непонятно только, почему этот список появился после того, как все случилось, а не до? Почему включение этих возможностей в тестовые задачи не стало предметом переговоров и условием участия SolidWorks в "перестрелке"? От подобных предложений организаторам было бы уклониться куда сложнее, чем в вопросе о дате, так как они входят в нормальную процедуру согласования условий - дабы исключить "стрельбу из кустов по колесам" одного из участников.

Устранившись от участия в конкурсе, SolidWorks Corporation заняла, на наш взгляд, неконструктивную и проигрышную позицию. Этим она фактически выдала организаторам карт-бланш на собственную трактовку дальнейших событий. По здравому рассуждению, вообще непонятно, чего испугались руководители SolidWorks. Даже при не совсем удачном выступлении SolidWorks (но уж, в любом случае, не таком провальном, как это случилось) у них оставался бы аргумент, что из-за неуступчивости организаторов относительно даты проведения "дуэли", с новейшей версией Inventor'а состязалась уже сходящая со сцены версия SolidWorks. При этом у SolidWorks оставалось бы право на ответный вызов после выхода новой версии с использованием всех преимуществ "своего поля", игнорировать который Autodesk не смогла бы. Надо сказать, подобное поведение не характерно для компании SolidWorks, которая славилась тем, что никогда не избегала вызовов, брошенных конкурентами. В этой связи вспоминается замечание экспертов CAD/CAM Publishing, опубликованное в прошлом номере нашего журнала, что, перевалив за 400 сотрудников, став крупной организацией, SolidWorks рискует утратить динамизм и гибкость, присущие небольшой молодой компании.

Ознакомиться с заданиями и скачать файлы, которые предлагались участникам конкурса, может любой желающий (адрес сайта - www.power.org), что мы и не преминули сделать. Немного информации для тех, кто последует нашему примеру. На наш взгляд, эти задания излишне лапидарны, так что придется дополнительно обращаться к статье г-жи Moss, в которой она кратко описывает ход конкурса (www.caddigest.com/subjects/adsk_inventor/ select/moss_shootout.htm). Заметим также, что архивы заданий собраны небрежно, и в качестве задания для четвертого этапа повторно указано задание для третьего, - впрочем, разобраться с этим можно по упомянутой статье. Кроме того, в архиве для SolidWorks в каталоге для 4-го этапа пропущен XLS-файл спецификации - его можно скопировать из архива Inventor'а. Остается надеяться, что самим участникам конкурса повезло больше и для них задания были подготовлены более аккуратно.

Поскольку выступавший за цвета SolidWorks г-н Добсон не только показал низкие результаты, но и вовсе не справился с некоторыми заданиями, нас крайне заинтересовал вопрос его компетентности. Этот же факт отмечает упомянутое сообщение SolidWorks Corp., в котором сказано, что база г-на Добсона явно ограничена возможностями версии 2000, так как в последние два года с SolidWorks он работал редко. Впрочем, эта компания - лицо заинтересованное. Для того, чтобы добиться ясности, мы решили обратиться к реселлерам SolidWorks в Балтии - COLLA Ltd. - с целью подбить на проведение следственного эксперимента.

Будет преувеличением сказать, что специалисты компании были в восторге от такого предложения, однако в итоге взаимовыгодное соглашение (они делают - мы пишем) было достигнуто. Участвовать согласились двое: уже знакомый читателям нашего журнала вице-президент компании COLLA г-н Иво Липсте, отвечающий помимо прочего за вопросы обучения, и столь удачно для нас оказавшийся в гостях у рижских коллег технический специалист компании SolidWorks Russia г-н Михаил Малов.

Сразу скажем, что г-н Липсте - не самый быстрый жокей SolidWorks, а застарелая привычка объяснять и обучать не раз заставляла его отворачиваться от экрана с целью подробно прокомментировать свои действия. Зато ему весьма пригодился опыт проектирования в области радиотехники, приобретенный в период работы на заводе ВЭФ. Михаилу, подобного опыта не имеющему, пришлось труднее. Тем не менее результаты, показанные им в некоторых раундах, свидетельствуют, что у него есть неплохие шансы в конкурсе на лучшего жокея, если он когда-нибудь будет проводиться "твердоделами". Надо учесть, что Михаил работал на чужом компьютере и, как он признался позже, ему не хватало ряда привычных настроек и "горячих клавиш". Впрочем, на мировой рекорд мы и не рассчитывали.

Задания по всем шести раундам были подготовлены нашей редакцией, так что наши конкурсанты их заранее не видели и что конкретно от них потребуется - не знали. На ознакомление с каждым заданием мы отводили минуту, после чего включали секундомер. К сожалению, в отличие от организаторов американской "перестрелки", мы не смогли предоставить конкурсантам реальный образец электротехнического изделия, с моделью которого предлагают оперировать данные тесты, а также цифровой измерительный инструмент (ввиду отсутствия того, что можно померить). Несомненно, это несколько ухудшило результат, поскольку, как вы сами можете убедиться, из заданий и иллюстраций не всегда можно понять расположение отверстий, выявить правильный из конфликтующих размеров и некоторые другие подробности. Однако мы посчитали, что для решения главной задачи это не столь существенно.

Мы решили не утомлять читателей техническими подробностями того, что и как делали наши конкурсанты, ограничившись минимальным описанием. Весьма интересными оказались их комментарии относительно характера самих тестовых заданий. Для сравнения мы также публикуем результаты, полученные участниками "перестрелки" в США (заметим, что некоторые цифры, приведенные организаторами, почему-то существенно отличаются от опубликованных в пресс-релизе Autodesk).

У наших участников дела обстояли так. Иво Липсте, начиная выполнение этого задания, отметил, что по его опыту в реальной практике случаи, когда можно эффективно "поднять" модель из проекций, встречаются редко, поэтому он обычно учит пользователей строить модели по чертежу, используя для этого только один вид. Этот способ несколько увеличивает трудоемкость, но позволяет надежно получать корректные модели, не вызывающие проблем при дальнейшей работе с ними, что он и собирается показать. В результате на выполнение этого задания Иво потратил немного больше 15 мин., что вполне сопоставимо со временем, показанным Кевином.

Михаил пошел другим путем и воспользовался имеющимися в SolidWorks средствами преобразования 2D-чертежей AutoCAD в 3D-модели, закончив выполнение этого задания менее чем за 7 мин. - вдвое быстрее, чем лучший жокей Autodesk. Он отметил, что столкнулся в работе с небольшой трудностью, поскольку внутренний и наружный радиусы сгиба на чертеже заданы одинаковыми, что явно некорректно. Мы попросили Михаила продемонстрировать нам возможность выбора слоев при импорте DWG/DXF-файла, и он показал нам меню в одном из диалоговых окон транслятора, занимающее почти четверть его размера. Странно, что Ким Добсон, как следует из отчета, этого не заметил.

Время Иво Липсте в этом раунде составило 10 мин., и он не встретил каких-либо трудностей. Михаил "отстрелялся" несколько менее удачно, затратив в общей сложности около 14 мин. Точность построенных участниками моделей полностью удовлетворила наше строгое жюри.

Поскольку это было первое задание, в котором участникам предлагалось самостоятельно построить деталь, нас заинтересовал вопрос: в какой степени влияет на результат знание характера задачи и опыт в ее решении? Чтобы узнать точный ответ, мы на следующий день попросили г-на Липсте повторить некоторые раунды. Нельзя сказать, что результат стал полной неожиданностью: время прохождения этого этапа сократилось до 7 мин.

Система предупредила о наличии в исходной модели ошибки, однако автоматически создала корректную твердотельную модель. Для того, чтобы убедиться в этом, мы попросили конкурсантов проделать несколько операций, которые возможны только с твердыми телами (прорезать в модели несколько отверстий, достроить на одной из граней элемент и т.п.). Все наши просьбы были выполнены без каких-либо проблем.

На выполнение этого задания Ким затратил более 20 минут, но так и не смог полностью завершить сборку, поскольку столкнулся с проблемой установки детали DC9 Power Jack. Впрочем, тут имеются некоторые расхождения в источниках: если верить пресс-релизу Autodesk, он все же закончил это задание за 42 минуты.

Иво Липсте управился с заданиями этого раунда примерно за 28 минут (заметная часть из которых, кстати сказать, была потрачена на объяснение проблемы). Благодаря обширной практике в конструировании радиотехники установка пресловутого разъема DC9 Power Jack не вызвала у него трудностей. Суть проблемы заключается в том, что отверстий в печатной плате оказалось больше, чем ножек у разъема, причем их шаг не совпадает с шагом ножек. Как пояснил нам Иво, такая ситуация встречается при монтаже электронных и электротехнических компонентов. При этом деталь привязывается по центру или по крепежным отверстиям, - подразумевается, что при установке ножки попросту разгибаются как нужно.

Михаил, как он позже пояснил нам, первоначально пытался, следуя привычной ему логике авиастроителя, "идти от внешних обводов", привязав детали к отверстиям в корпусе, но быстро убедился в невозможности установить на них после этого печатную плату. Идея была отброшена, и при построении "от платы" сборка уже не вызвала больших проблем (за исключением установки все того же разъема DC9). Несмотря на это, он показал достаточно неплохое время - немногим более 15 мин.

Оба наших участника отметили, что при повторном выполнении такого задания результаты могут быть существенно улучшены. "Сложности с этим заданием неизбежно возникнут у любого человека, не знакомого с особенностями работы в области электроники, - сказал Михаил. - Куча сюрпризов (11 отверстий в плате под 9 ножек детали, причем шаг отверстий отличается от шага ножек, межцентровые расстояния отверстий в плате иные, чем крепежные отверстия в деталях) сбивает на нелестные мысли о слепившем детали предшественнике и о софте, который он использовал".

Оба наших участника с задачей справились легко, затратив чуть больше 4 мин., и не встретили каких-либо трудностей. Поскольку механизм этих операций в SolidWorks существенно не менялся на протяжении уже нескольких версий, странная неудача Кима вызывает удивление, даже если он не работал всерьез с последней версией.

Задание: модифицировать верхнюю и нижнюю прямоугольные детали из листового металла в пластмассовые детали. Готовое изделие должно иметь полукруглое поперечное сечение и эллиптическую форму в продольном направлении для улучшения внешнего вида.

Как пишет г-жа Moss, для того, "чтобы у участни- ков были некото- рые ориентиры", она до начала раунда рассказала им о том, как сама выполняла это задание. Методика была следующей: она построила эскиз на основе эллипса и провернула его вокруг оси, построенной вдоль основания корпуса, после чего преобразовала полученное тело в оболочку.

Время, затраченное на выполнение этого задания, не фиксировалось, но продолжительность раунда была ограничена 10 минутами. Ни один из участников не смог уложиться в отведенный срок, однако Кевин все же закончил это задание, в то время как Ким не смог модифицировать даже одну из предложенных деталей.

Поскольку ни один из "дуэлянтов" в лимит не уложился, мы не стали ограничивать наших испытуемых по времени. Но и никаких ориентиров, в отличие от г-жи Moss, мы не давали, оставив выбор метода построения на их усмотрение. Вероятно, это была наша ошибка, поскольку оба участника использовали для модификации более трудоемкое построение по сечениям и направляющим кривым. Как потом выяснилось, они посчитали такое решение более общим и, следовательно, более корректным с точки зрения возможности дальнейших модификаций.

"Решение на основе сечений и направляющих кривых более полно в том смысле, что можно в широких пределах менять угол раствора дуги сечения, сохраняя параметризацию", - справедливо заметил Михаил. Однако этот метод, безусловно, более сложен и времени он требует больше. Тем не менее оба участника завершили этот раунд успешно: Михаилу потребовалось чуть больше 20 минут, Иво - около получаса. При повторном выполнении этого задания (после того, как мы рассекретили методику построения г-жи Moss), Иво уложился в 14 минут.

Какие же выводы можно сделать из полученных нами контрольных результатов? Во-первых, не обнаружилось ни одного задания, с которым не смог справиться SolidWorks. Более того, результаты наших участников явно превосходят достижения Кима Добсона. Отсюда возникают обоснованные сомнения либо в работоспособности версии SolidWorks, которую использовал Ким, либо в его квалификации - не только как "эксперта", но и просто как пользователя. Мы не предлагаем стрелять в пианиста, но в любом случае, сама "перестрелка" начинает видеться в ином свете.

Во-вторых, уровень сложности предложенных заданий явно недостаточен даже для того, чтобы выявить реальные возможности куда более скромных пакетов. С другой стороны, выполнение некоторых задач требует специальных навыков и опыта, не имеющих отношения непосредственно к функциональности MCAD-систем, что ставит участников в неравное положение. Особого внимания здесь заслуживает 4-й раунд. Результат представителя Autodesk Кевина Шнейдера, который не встретил трудностей при выполнении заданий этого раунда (как не встретил их и Иво Липсте), показывает, что он знает особенности проектирования электротехнических изделий. Напротив, и Ким Добсон, и Михаил Малов, не знакомые со спецификой этой отрасли, столкнулись с проблемами. И уж совершенно непонятно, почему организаторы, фактически продиктовавшие участникам методику построений в 6-м раунде (где без этого, как показал наш опыт, вполне можно было обойтись), ни словом не обмолвились о подводных камнях, заложенных ими в задания 4-го раунда, хотя там, на наш взгляд, пояснения действительно необходимы.

Надо подчеркнуть, что у нас нет никаких оснований сомневаться в личной честности г-жи Moss и других организаторов, и мы далеки от мысли, что Кевин Шнейдер был предварительно ознакомлен с конкретными заданиями данного конкурса. Но точно так же нельзя сбрасывать со счетов вполне очевидную возможность того, что готовившие конкурс функционеры SVAPU не единожды видели процесс демонстрации пакета Inventor специалистами Autodesk, а посему хорошо знакомы с методами и процедурами, которые используются в этих демонстрациях, что и повлияло на характер предложенных ими заданий.

К сожалению, организованные подобным образом "перестрелки" льют воду на мельницу тех, кто утверждает, что сравнение пакетов в открытом соревновании невозможно в принципе. Нам представляется, что это не так, и что состязания CAD-систем могут быть крайне полезными для всех сторон. Однако для получения корректных результатов необходимо соблюдение ряда условий:

1. Мероприятия такого ранга должны проводиться под эгидой каких-либо независимых организаций, консультационных компаний или авторитетных изданий (к примеру, CAD/CAM Publishing, CADENCE или CIMdata), о которых заведомо известно, что они не станут брать взносов "на укрепление объективности" от заинтересованных сторон.

4. Желательно, чтобы каждую из сторон представляли несколько участников, примерно равных по квалификации и опыту, а для сравнения использовались усредненные статистически достоверные результаты. При этом, на наш взгляд, не обязательно привлекать только "профессиональных дуэлянтов", - если говорить о специфических отраслях, например о том же приборостроении, результаты набивших руку пользователей могут оказаться более впечатляющими.

5. И, наконец, итоги каждого такого соревнования следует рассматривать в первую очередь не как повод для громкой PR-акции (хотя мы реалисты и понимаем, что без этого тоже не обойдется), но как объект непредвзятого и доброжелательного анализа для выявления сильных и слабых сторон каждого из пакетов в каждом конкретном случае.

"Перестрелка" между Inventor и SolidWorks