　オムロンは、2030年でもドライバーが責任を負うレベル3以下の自動運転車が主流だと見込む。そのため、ドライバーが運転に集中しているか、あるいはすぐに手動運転に復帰できるかを判断する機能が必要になることから、同センサーを開発した。産学連携のプロジェクトを通じて一般家庭の自家用車などに同センサーを広く搭載してもらい、運転中のドライバーのデータを集める実証実験も進めている。

　ドライバーモニタリング技術の市場規模は2025年に1500万台で、多ければ2000万台となる見通しだ。同センサーは2019～2020年ごろの量産を目指す。

コックピットでデモンストレーションを実施した（左）。ステアリングの奥にドライバー見守りセンサーが装着されている（右）（クリックして拡大）

目や顔の向き、行動の内容から集中度を判断

　ドライバー見守り車載センサーは、3つの指標からドライバーの集中度を判定する。1つはドライバーが進行方向や周囲を注意して確認し、わき見をしていないか。2つ目はドライバーの行動内容、3つ目が運転席にいるかどうかだ。

　2016年に発表した技術と異なるのは、オムロン独自の顔画像センシング技術の進化により、マスクやサングラスの着用などで顔の一部が隠れていてもまぶたの開閉、視線や顔の向きを識別することが可能になった点だ。また、自動運転中でも運転席に人が座っていることを求める規制を踏まえて、運転席に座っていることもセンシングの指標とした。

　行動内容については、「センターコンソールの操作など運転上必要な短時間の行動」「スマートフォンの操作や飲食、携帯電話機での通話といったすぐ中断できる行動」「体調不良や居眠りなど運転に復帰できない状態」という3段階で識別する。

進行方向を見ている状態。「Eyes ON（進行方向を見ている）」「Readiness HIGH（運転にすぐに応じられる状態）」となっている（左）。わき見している状態で「Eyes OFF」となっているが、運転以外のことはしていないので「Readiness HIGH」という評価（中央）。サングラスをかけた状態でわき見しながら電話をかけている。「Eyes OFF」「Readiness MID」という評価になった（右）（クリックして拡大）

　運転中のドライバーの多種多様な行動をカバーする上では、実走行のデータを取り込んでデータベースを充実させ、ディープラーニングによる処理に反映した。実走行のデータ収集は名古屋大学と協力している。一般のドライバー数十名の協力を得て、運転中の顔画像、心電図や脈波、CANデータやGPS情報、車両の周囲の画像などを収集。今後3年で1000人までデータを提供するドライバーを増やしていく計画だ。

　実走行では集中力が低下した状態のデータが得にくいというデメリットがあるが、シミュレーターや助手席よりも実環境に近いのが利点となる。今後は、カメラ画像から体調不良の兆候を検出したり、非接触の脈波センサーを活用してより細かいバイタルセンシングを実現していく。

消費電力4Wでディープラーニングができる理由

オムロンの川出雅人氏

　開発したセンサーは、近赤外線カメラと画像データを処理するCPUで構成されている。CPUは車載用として広く採用されている低コストな製品を採用した。「一般的にいわれるディープラーニングは、画像を全て処理させるため大きな負荷がかかる。オムロンでは、処理に必要な特徴をある程度割り出して、処理が不要な部分を省くことで処理の負荷を大幅に軽減した」（オムロン技術・知財本部センシング研究開発センター画像センシング研究室の川出雅人氏）というのが、安価なCPUでのディープラーニングを実現する決め手となった。

　「CEATEC JAPAN 2017」（2017年10月3～6日、幕張メッセ）の会場では、ドライバー見守り車載センサーを体験できるコックピット型のデモンストレーションも実施する予定だ。