製造業×品質、転換期を迎えるモノづくりの在り方 特集

AI製品の品質保証はどうする、日本初のガイドラインで品質と開発速度を両立せよAI基礎解説(2/3 ページ)

» 2019年05月27日 11時00分 公開
[朴尚洙MONOist]

「伝統的な非AIプロダクトの品質保証にも役立つガイドラインになった」

 今回発表したAIプロダクト品質保証ガイドラインは、AIプロダクトの品質保証に共通の指針を与えるべく策定された。「150ページに迫る充実した内容」(西氏)になっている。ただし、AIや機械学習の技術が発展途上であることもあり、網羅性や完全性を意図したガイドラインにはなっていない。ガイドラインを企業内などで活用する際には、社内や組織の状況を反映し自己責任で利用する必要がある。また、西氏は「結果として、伝統的な非AIプロダクトの品質保証にも役立つガイドラインになった」と強調する。

AIプロダクト品質保証ガイドラインの概要 AIプロダクト品質保証ガイドラインの概要(クリックで拡大) 出典:QA4AIコンソーシアム

 ガイドラインの前半は、AIプロダクトの品質保証に関する全体的な考え方を紹介している。後半は、生成系、スマートスピーカー、産業用プロセス、自動運転という4つのWGで検討したドメインごとのガイドラインになっている。西氏は「ドメインごとのガイドラインは、技術の熟成度やリリース済みのプロダクト数、背景などによって“書きっぷり”が違うので、実際に読んでみてほしい」と語る。

ガイドラインの構造 ガイドラインの構造(クリックで拡大) 出典:QA4AIコンソーシアム

 今回のガイドラインでは、AIプロダクトの品質保証活動は5つの軸と、そのバランスによってQA活動を評価するとしている。5つの軸とは、データがきちんとしているかを見る「Data Integrity」、モデルがきちんとしているかを見る「Model Robustness」、システム全体としての価値が高く何かが起きても何とかなるかを見る「System Quality」、プロセスの機動性を見る「Process Agility」、(良くも悪くも)顧客の期待が高いかを見る「Customer Expectation」だ。

AIプロダクトの品質保証活動における5つの軸とバランス AIプロダクトの品質保証活動における5つの軸とバランス(クリックで拡大) 出典:QA4AIコンソーシアム
Data IntegrityModel Robustness 「Data Integrity」(左)と「Model Robustness」(右)(クリックで拡大) 出典:QA4AIコンソーシアム
System QualityProcess AgilityCustomer Expectation 「System Quality」(左)と「Process Agility」(中央)、「Customer Expectation」(右)(クリックで拡大) 出典:QA4AIコンソーシアム

 これら5つの軸と併せて重要なのが、バランスである。例えば5つの軸の評価をレーダーチャートとしてみることでバランスを可視化できる。「可視化の方法は5軸のレーダーチャートとは限らない。例えば、Customer Expectationという軸に対して、残りの4軸を対比させるようなレーダーチャートでもよい」(西氏)。また、PoC(概念実証)、βリリース、継続的実運用といった開発の各段階で、面積は異なっていてもバランスはとれている必要があるという。

5つの軸のバランスの良しあしバランスの可視化の例 5つの軸のバランスの良しあし(左)とバランスの可視化の例(右)(クリックで拡大) 出典:QA4AIコンソーシアム

 また西氏は、QA活動の弊害として指摘される「過剰品質」についても説明した。「やるべきことを分かってしっかり品質を確保していることは“余力”であって、過剰品質ではない。何をやるべきか分からず、無駄を繰り返していることこそが過剰品質だ。そのことをはき違えてはいけない」と説明する。

余力と過剰品質の違い 余力と過剰品質の違い(クリックで拡大) 出典:QA4AIコンソーシアム

Copyright © ITmedia, Inc. All Rights Reserved.