随着基因编辑、大数据、人工智能等新技术的应用发展,国家从对传统的生命科学和医学的伦理监管转向了针对更为广泛科技活动的科技伦理治理。2021年修订的《科学技术进步法》新增明确国家建立科技伦理委员会,将完善科技伦理制度规范,健全审查、评估、监管体系,并要求科研机构、高校、企事业单位等履行科技伦理管理主体责任。2022年3月,中共中央办公厅、国务院办公厅发布《关于加强科技伦理治理的意见》明确开展科技活动应当遵守增进人类福祉、尊重生命权利、坚持公平公正、合理控制风险、保持公开透明的原则,并从治理体制、制度保障、审查监管、教育培训等方面提出加强科技伦理治理的意见,在科技伦理审查方面,意见提出要建立科技伦理审查和监管制度、建立健全科技伦理(审查)委员会的设立标准、运行机制、登记制度、监管制度,建立科技伦理高风险科技活动伦理审查结果专家复核机制等等。
为了具体落实《科学技术进步法》《关于加强科技伦理治理的意见》中关于建立科技伦理审查和监管制度的原则性规定和意见要求,科技部于今年4月份起草公布了《科技伦理审查办法》(以下简称为“《审查办法》”)征求意见稿,近日,科技部等十部门颁布《审查办法》,并将于今年12月1日正式施行。
《审查办法》对科技伦理审查的适用范围、主体职责、审查程序、监督管理进行了规范。我国对于涉及人的生命科学和医学领域的伦理审查已有较长的监管实践和相对完善的监管制度支撑,而《审查办法》是覆盖各领域科技伦理审查的综合性、通用性规定,其颁布后从事其他可能带来伦理风险的创新科技活动的也将有具体的规范和标准可适用,特别是依照现行规定应当建立科技伦理审查制度的单位主体,例如利用算法推荐技术提供互联网信息服务的企业(尤其是需要履行算法备案义务的企业)在制定科技伦理审查相关制度、建立科技伦理审查机制也将有更细化的规范要求。
本文将通过问答方式介绍《审查办法》的主要规定内容,并对受新规影响较大的人工智能等新技术行业科技伦理审查监管落地和相关企业合规应对进行说明分析和建议。
一、 哪些科技活动落入审查范围?
《审查办法》重点针对可能响人的合法权益和动物福利以及对生命健康、生态环境、公共秩序、可持续发展等带来伦理风险的科技活动。根据《审查办法》,开展以下科技活动须进行科技伦理审查:
(1) 涉及以人为研究参与者的科技活动,包括以人为测试、调查、观察等研究活动的对象,以及利用人类生物样本、个人信息数据等的科技活动;
(2) 涉及实验动物的科技活动;
(3) 不直接涉及人或实验动物,但可能在生命健康、生态环境、公共秩序、可持续发展等方面带来伦理风险挑战的科技活动;
(4) 依据法律、行政法规和国家有关规定需进行科技伦理审查的其他科技活动。
除1-3项列举的科技活动外,其中,第4项提及“依据法律、行政法规和国家有关规定”需进行科技伦理审查的其他科技活动,例如,根据《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》,应用深度合成等算法推荐技术提供互联网信息服务的活动。
二、 哪些属于实施清单管理的科技活动?
《审查办法》明确将对可能产生较大伦理风险挑战的新兴科技活动实施清单管理,清单上列举的科技活动须进行双重审查,即通过单位初步审查后还须报请所在地方或相关行业主管部门组织开展专家复核,并在获得伦理审查批准后在国家科技伦理管理信息登记平台进行登记,具体请见下文第五和第七部分。
《审查办法》公布了需要开展专家复核的伦理活动清单:
(1) 对人类生命健康、价值理念、生态环境等具有重大影响的新物种合成研究。
(2) 将人干细胞导入动物胚胎或胎儿并进一步在动物子宫中孕育成个体的相关研究。
(3) 改变人类生殖细胞、受精卵和着床前胚胎细胞核遗传物质或遗传规律的基础研究。
(4) 侵入式脑机接口用于神经、精神类疾病治疗的临床研究。
(5) 对人类主观行为、心理情绪和生命健康等具有较强影响的人机融合系统的研发。
(6) 具有舆论社会动员能力和社会意识引导能力的算法模型、应用程序及系统的研发。
(7) 面向存在安全、人身健康风险等场景的具有高度自主能力的自动化决策系统的研发。
与征求意见稿相比,正式稿明确清单将会根据工作需要动态调整,由科技部发布。这也体现了对于科技活动采取“敏捷治理”的监管思路,在鼓励技术创新的同时可以通过调整清单方式可以快速、灵活地对新生或变化的风险进行应对。
根据科技部有关负责人介绍,纳入清单管理的科技活动主要以下三个因素:(1)是科学技术自身的伦理风险,包括科学知识和安全信息的充分程度,技术的成熟度、操作难易程度、安全性、有效性和可控性;(2)是科技活动伦理风险发生的可能性、风险种类、严重程度、影响范围等;(3)是科技活动的必要合理性、目标人群或目标应用场景等。
三、 伦理审查的责任主体是谁?科技伦理(审查)委员会的设立要求是什么?
根据《审查办法》,高等学校、科研机构、医疗卫生机构、企业等是科技伦理审查管理的责任主体。《审查办法》明确要求从事生命科学、医学、人工智能等科技活动的单位,研究内容涉及科技伦理敏感领域的,应设立科技伦理(审查)委员会。对于其他依照《审查办法》需要开展科技伦理审查的单位可根据实际情况决定是否设立。但何为“科技伦理敏感领域”,还有待监管进一步明确。
《审查办法》要求单位必须为科技伦理(审查)委员会提供人力、场所和经费支持,保障其可以独立开展伦理审查工作《审查办法》明确科技伦理(审查)委员会的职责,并对组成结构做了非常严格的要求:
四、 由谁来负责开展审查和复核?
设立科技伦理(审查)委员会的单位主体由本单位的科技伦理(审查)委员来负责开展科技伦理审查工作,而对于未设立科技伦理(审查)委员会但从事科技活动有科技伦理审查需求的单位或者虽然设立了但无法胜任审查工作的,按照《审查办法》须书面委托其他满足要求的科技伦理(审查)委员会开展伦理审查,通常应委托同级别以上科技伦理(审查)委员会。
实施清单管理的科技活动,在通过本单位的初步审查后,需要报请所在地方或相关行业主管部门,由地方或相关行业主管部门组织成立的复核专家组开展复核。
五、 如何开展伦理审查?
根据《审查办法》,单位开展科技活动须进行科技伦理风险评估,经评估属于《审查办法》所列需开展审查的科技活动范围的,由科技活动负责人向科技伦理(审查)委员会提交申请材料,申请科技伦理审查,技伦理(审查)委员会根据申请材料决定是否受理并通知申请人。
根据适用条件的不同,科技伦理审查程序分为以下四种:
六、 伦理审查的内容和标准是什么?
根据《审查办法》,科技伦理(审查)委员会应从科技伦理原则,科技人员资质、研究基础和设施条件、科技活动的科学价值和社会价值、风险受益合理性、伦理风险控制方案和应急预案科学恰当、可操作性以及所制定利益冲突申明和管理方案和理性等方面对拟开展的科技活动开展审查。
同时,《审查办法》还根据不同科技活动的特点和监管要求,分别对以人为研究参与者、涉及实验动物,涉及数据和算法的科技活动的明确审查重点。例如,针对涉及数据和算法的科技活动,《审查办法》要求审查:
(1)数据的收集、存储、加工、使用等处理活动以及研究开发数据新技术等符合国家数据安全和个人信息保护等有关规定,数据安全风险监测及应急处理方案得当;(2)算法和系统研发符合公平算法、模型和系统的设计、实现、应用等遵守公平、公正、透明、可靠、可控等原则,符合国家有关要求,伦理风险评估审核和应急处置方案合理,用户权益保护措施全面得当。
七、哪些主体还需要履行平台登记和报告义务?
根据《审查办法》,地方、相关行业主管部门负责本地方、本系统科技伦理审查的监督管理工作。除了对可能产生较大伦理风险挑战的新兴科技活动实施专家复核清单管理外,《审查办法》还将建立国家科技伦理管理信息登记平台(“平台”)以“登记和提交报告”为抓手,为地方、相关行业主管部门加强对科技伦理监管提供支撑。
根据《审查办法》,设立科技伦理(审查)委员会以及开展清单管理活动的单位须履行以下登记和报告义务:
(1) 单位应在设立科技伦理(审查)委员会后30日内,通过平台进行登记。登记内容包括科技伦理(审查)委员会组成、章程、工作制度等。
(2) 单位应在纳入清单管理的科技活动获得伦理审查批准后30日内,通过平台进行登记。登记内容包括科技活动实施方案、伦理审查与复核情况等。
(3) 单位应于每年3月31日前,向平台提交上一年度科技伦理(审查)委员会工作报告、纳入清单管理的科技活动实施情况报告等。
八、违规行为调查主体是谁?违规后果是什么?
《审查办法》进一步明确《关于加强科技伦理治理的意见》关于高等学校、科研机构、医疗卫生机构、企业等是科技伦理违规行为单位内部调查处理的第一责任主体的规定,要求单位及时主动调查科技伦理违规行为,依法依规追责问责。单位及其负责人涉嫌科技伦理违规行为的,由上级主管部门调查处理单位或其负责人涉嫌科技伦理违规行为的,由其上级主管部门调查处理,没有上级主管部门的,由其所在地的省级科技行政管理部门负责组织调查处理。
根据《审查办法》,科技活动承担单位、科技人员、科技伦理(审查)委员会、委员违反办法规定的,将由有管辖权的机构依据法律、行政法规和相关规定给予处罚或者处理;造成财产损失或者其他损害的,依法承担民事责任;构成犯罪的,依法追究刑事责任。
《科学技术进步法》是《审查办法》的上位法,根据《科学技术进步法》,进行违背科技伦理的科学技术研究开发和应用活动,或从事科学技术活动违反科学技术活动管理规范的,将可能面临以下处罚:由有关主管部门责令限期改正,并可以追回有关财政性资金,给予警告或者通报批评,暂停拨款、终止或者撤销相关财政性资金支持的科学技术活动;情节严重的,由有关主管部门向社会公布其违法行为,依法给予行政处罚和处分,禁止一定期限内承担或者参与财政性资金支持的科学技术活动、申请相关科学技术活动行政许可、取消一定期限内财政性资金支持的科学技术活动管理资格;对直接负责的主管人员和其他直接责任人员依法给予行政处罚和处分等。
九、人工智能行业的伦理审查和监管落地情况?
根据《审查办法》规定和科技部有关负责人解答,下一步相关行业主管部门和地方按照职责权限和隶属关系建立本系统、本地方科技伦理审查的监督管理机制,制定和修订本系统本地方的科技伦理审查办法、细则等制度规范,建立健全对纳入清单管理的科技活动的专家复核机制。
对于人工智能行业,一方面,监管机构也在逐渐重视人工智能应用所带来的伦理风险,例如近年来,证券监管机构和交易所对拟上市的人工智能企业都涉及到关于科技伦理方面的审核和问询,要求披露和说明公司在保证人工智能技术可控、符合伦理规范的措施,说明分析公司在技术和业务开展过程所面临的伦理风险等。
另一方面,在《关于加强科技伦理治理的意见》和《审查办法》征求意见稿颁布后,有关地方和行业主管部门也开始着手落实部署。例如,广东、海南、云南、辽宁、湖南等多省陆续颁布科技伦理治理方案、建立科技伦理审查备案中心,具体落实科技伦理审查和监管。2023年5月,工信部正式成立工信部科技伦理委员会、工业和信息化领域科技伦理专家委员会。工信部科技伦理委员会负责统筹规范和指导协调工业和信息化领域科技伦理治理工作。工业和信息化领域科技伦理专家委员会在科技伦理委员会的领导下开展工作,提供决策咨询支撑,开展科技伦理审查专家复核。专家委员会覆盖政策、技术、管理、伦理、法律等多学科专家,秘书处设在中国信息通信研究院。此外,工信部还将组织制定重点领域科技伦理审查规范和标准,我们可以期待未来对于人工智能行业的科技伦理审查会有更细化的规范和标准出台。
十、相关企业如何开展合规应对?
随着《审查办法》的正式颁布,科技伦理审查制度的“另一只靴子”终于落地,从事数据、算法、人工智能等新技术企业在办法年底生效实施前,应对本单位开展的科技活动进行风险评估,识别是否属于《审查办法》的适用范围,并做好以下合规应对:
(1) 根据《审查办法》的规定和本单位实际情况设立科技伦理(审查)委员会,并建立科技伦理(审查)委员会的管理制度和工作规范;制定章程,建立审查、监督、保密管理、档案管理等制度规范、工作规程和利益冲突管理机制;建立科技伦理应急审查制度。
(2) 开展对委员的科技伦理审查业务培训和科技人员的科技伦理知识培训。
(3) 参考本行业优秀实践,对本单位的科技活动开展科技伦理审查,留存相关科技活动审查申请和审查决定材料,并进行跟踪审查。
(4) 密切关注国家科技伦理管理信息登记平台、地方和行业主管部门对于本系统本地方的科技伦理审查办法、细则等制度规范、专家复核机制的进一步落地,并及时作出合规响应。
作者简介
辛小天
北京德和衡(深圳)律师事务所合伙人
辛小天,数字经济与人工智能业务中心总监,网络空间安全战略与法律委员会委员,清华大学创业引导年度荣誉导师。
曾就职于MayerBrown JSM 律师事务所,美国美富律师事务所,通用电气及奇虎360 。擅长数据合规、互联网法律及合规风控、投融资以及并购法律、反垄断法、公司法及劳动相关法律、外商投资及外资公司设立相关法律。
手机:13911159437
邮箱:xinxiaotian@deheheng.com
杨雪娇
北京德和衡律师事务所联席合伙人
杨雪娇,北京德和衡律师事务所联席合伙人,毕业于浙江大学和德国慕尼黑大学。
擅长领域:民商事、互联网和TMT领域合规
手机:13810048335
邮箱:yangxuejiao@deheheng.com